新華社研究院發(fā)布國產(chǎn)大模型報告:訊飛星火工具效能指數遙遙領(lǐng)先,總分第一
AI大模型的發(fā)展為人類(lèi)工作和生活的提質(zhì)增效帶來(lái)了重要的積極影響,大模型正在加速走進(jìn)生活、走進(jìn)產(chǎn)業(yè)。
500道題目、對標接受過(guò)高等教育的人類(lèi)水平、更強調對產(chǎn)業(yè)和生活的實(shí)際價(jià)值,嚴格按基礎能力指數、智商指數、情商指數、工具提效指數四大測評維度進(jìn)行權重設計……8月12日,新華社研究院中國企業(yè)發(fā)展研究中心發(fā)布《人工智能大模型體驗報告2.0》(以下簡(jiǎn)稱(chēng)《報告》),訊飛星火以總分1013分位列本次國產(chǎn)主流大模型測評榜首位,在四大評測維度中的智商指數和工具提效指數兩個(gè)維度獲得第一,《報告》認為訊飛星火“在工作提效方面優(yōu)勢明顯”。
《報告》認為,具有7大核心能力(即文本生成、語(yǔ)言理解、知識問(wèn)答、邏輯推理、數學(xué)能力、代碼能力、多模態(tài)能力)的訊飛星火認知大模型擁有跨領(lǐng)域的知識和語(yǔ)言理解能力,能夠基于自然對話(huà)方式理解與執行任務(wù)。從海量數據和大規模知識中持續進(jìn)化,實(shí)現從提出、規劃到解決問(wèn)題的全流程閉環(huán)。
面對國產(chǎn)大模型“涌現”,訊飛星火認知大模型從立項到發(fā)布,再到迭代升級,每個(gè)節點(diǎn)都緊鑼密鼓:5月6日發(fā)布訊飛星火認知大模型及其在教育、辦公、汽車(chē)、人機交互、醫療等領(lǐng)域的應用落地;6月9日突破開(kāi)放式問(wèn)答并在數學(xué)能力上迭代升級;即將到來(lái)的8月15日會(huì )在代碼能力上實(shí)現重大突破,并在多模態(tài)交互能力上升級;10月24日對標ChatGPT,實(shí)現中文超越、英文相當的水平。
在智商評估方面,《報告》認為,人類(lèi)在智商方面仍然具有明顯優(yōu)勢。課題組分別從常識知識(20%)、邏輯能力(50%)和專(zhuān)業(yè)知識(30%)方面對大模型進(jìn)行考量,結果顯示,訊飛星火排名第一。
代碼能力無(wú)疑是訊飛星火“高智商”的底層能力,8月15日訊飛星火代碼能力也將進(jìn)行重大升級,同時(shí)還將推出相關(guān)代碼產(chǎn)品成果,值得期待。
在工作效率提升方面,《報告》認為, AI對人類(lèi)提供了有力的支持,AI的處理速度遠遠超過(guò)人類(lèi)。然而,盡管AI具有高速度和高效率的優(yōu)勢,但在某些復雜和具有創(chuàng )新性的任務(wù)中,人類(lèi)的智慧和想象力仍然具有無(wú)法替代的作用。課題組重點(diǎn)在工具提效(50%)和生成創(chuàng )新(50%)方面進(jìn)行考量,結果顯示,訊飛星火以350分排名第一并遙遙領(lǐng)先。
《報告》認為,與2023年6月相比,當前中國大模型產(chǎn)品進(jìn)步顯著(zhù)。但與接受過(guò)高等教育的人類(lèi)相比,大模型在智商、情商等方面還存在一定程度差距。雖然在不同領(lǐng)域中,AI和人類(lèi)表現出不同的優(yōu)劣勢,但在整體上,AI大模型的發(fā)展為人類(lèi)工作和生活的提質(zhì)增效帶來(lái)了重要的積極影響,大模型正在加速走進(jìn)生活、走進(jìn)產(chǎn)業(yè)。
最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關(guān)注技術(shù)驅動(dòng)創(chuàng )新
