(相關資料圖)

國內首次發布通用認知智能大模型評測體系

科技日報記者吳長鋒

6月3日，以“AI大模型時代的長三角數字化之路”為主題的長三角企業家聯盟產業數字化峰會在安徽合肥舉行。記者從會上了解到，由認知智能全國重點實驗室、中科院人工智能產學研創新聯盟和長三角人工智能產業鏈聯盟三方共同發布了《通用認知智能大模型評測體系》，旨在形成一套覆蓋多任務的大模型能力客觀評測體系，引導認知大模型技術和產業健康發展。

當前，伴隨著認知大模型帶來的技術階段躍升和快速進化，通用認知大模型領域逐步“百花齊放”，效果度量和評價成為重要關注點，而覆蓋多維度多任務的客觀評測，成為驗證通用大模型能力的有效方法。

據了解，由認知智能全國重點實驗室牽頭設計，并與中國科學院人工智能產學研創新聯盟和長三角人工智能產業鏈聯盟一起協調，從產學研源頭技術創新和產業鏈應用落地兩方面出發，組織多輪測評標準研討，共同探討形成了《通用認知智能大模型評測體系》。評測體系根據底層認知智能能力的智能涌現對通用認知智能大模型的能力進行分析，從而制定生成類通用認知智能大模型的評測標準與評測方法，實現更科學地衡量通用認知智能大模型各個方面的能力和水平。

據介紹，本次發布的評測體系覆蓋內容生成、語言理解、知識問答、邏輯推理、數學能力、編程能力、多模態7大能力維度，共計481個細分任務類型，力求為大模型的研究、行業標準的制定提供參考和借鑒。未來，該評測體系將致力于讓認知大模型技術真正解決社會剛需，助力通用人工智能產業聚集。

（認知智能全國重點實驗室供圖）

（來源：科技日報）