騰訊自研混元大模型正式亮相，通過(guò)騰訊云對外開(kāi)放

騰訊混元正式亮相。

國產(chǎn)大模型進(jìn)入長(cháng)跑期，從參數至上轉向實(shí)用優(yōu)先。

9月7日，在2023騰訊全球數字生態(tài)大會(huì )上，騰訊混元大模型正式亮相，并宣布通過(guò)騰訊云對外開(kāi)放。

騰訊混元大模型是由騰訊全鏈路自研的通用大語(yǔ)言模型，擁有超千億參數規模，預訓練語(yǔ)料超2萬(wàn)億tokens，具備強大的中文創(chuàng )作能力，復雜語(yǔ)境下的邏輯推理能力，以及可靠的任務(wù)執行能力。

值得關(guān)注的是，騰訊混元大模型是“從實(shí)踐中來(lái)，到實(shí)踐中去”的實(shí)用級大模型。騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì )議、騰訊文檔、微信搜一搜、QQ瀏覽器等超過(guò)50個(gè)騰訊業(yè)務(wù)和產(chǎn)品，已經(jīng)接入騰訊混元大模型測試，并取得初步效果。

據了解，混元大模型將作為騰訊云MaaS服務(wù)的底座，客戶(hù)不僅可以直接通過(guò)API調用混元，也可以將混元作為基底模型，為不同產(chǎn)業(yè)場(chǎng)景構建專(zhuān)屬應用。

騰訊集團高級執行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生表示：“以大模型生成技術(shù)為核心，人工智能正在成為下一輪數字化發(fā)展的關(guān)鍵動(dòng)力，也為解決產(chǎn)業(yè)痛點(diǎn)帶來(lái)了全新的思路。大模型需要基于產(chǎn)業(yè)場(chǎng)景，與企業(yè)數據融合，才能釋放出最大的價(jià)值。”

久久為功，全鏈路技術(shù)自研

據騰訊集團副總裁蔣杰介紹，騰訊混元大模型從第一個(gè)token開(kāi)始從零訓練，掌握了從模型算法到機器學(xué)習框架，再到AI基礎設施的全鏈路自研技術(shù)。

騰訊集團副總裁 蔣杰

從2021年開(kāi)始，騰訊先后推出千億和萬(wàn)億參數的NLP稀疏大模型，打破CLUE三大榜單記錄，實(shí)現在中文理解能力上的新突破。

目前，業(yè)界大模型在場(chǎng)景中的應用依然有限，主要集中在容錯率高、任務(wù)簡(jiǎn)單的休閑場(chǎng)景。騰訊在算法層面進(jìn)行了一系列自研創(chuàng )新，提高了模型可靠性和成熟度。

針對大模型容易“胡言亂語(yǔ)”的問(wèn)題，騰訊優(yōu)化了預訓練算法及策略，讓混元大模型的幻覺(jué)相比主流開(kāi)源大模型降低了30%至50%；通過(guò)強化學(xué)習的方法，讓模型學(xué)會(huì )識別陷阱問(wèn)題；通過(guò)位置編碼優(yōu)化，提高了超長(cháng)文的處理效果和性能；提出思維鏈的新策略，讓大模型能夠像人一樣結合實(shí)際的應用場(chǎng)景進(jìn)行推理和決策。

此外，騰訊還自研了機器學(xué)習框架Angel，使訓練速度相比業(yè)界主流框架提升1 倍，推理速度比業(yè)界主流框架提升1.3倍。

騰訊混元大模型 全鏈路自研

得益于全鏈路自研技術(shù)，騰訊混元大模型能夠理解上下文的含義，并且有長(cháng)文記憶能力，可以流暢地進(jìn)行專(zhuān)業(yè)領(lǐng)域的多輪對話(huà)。除此之外，它還能進(jìn)行文學(xué)創(chuàng )作、文本摘要、角色扮演等內容創(chuàng )作，做到充分理解用戶(hù)意圖，并高效、準確的給出有時(shí)效性的答復。

在中國信通院《大規模預訓練模型技術(shù)和應用的評估方法》的標準符合性測試中，混元大模型共測評66個(gè)能力項，在“模型開(kāi)發(fā)”和“模型能力”兩個(gè)重要領(lǐng)域的綜合評價(jià)均獲得了當前的最高分。在主流的評測集MMLU、CEval和AGI-eval上，混元大模型均有優(yōu)異的表現，特別是在中文的理科、高考題和數學(xué)等子項上表現突出。

上海財經(jīng)大學(xué)校長(cháng)劉元春認為：“借助于全鏈路自研，中國將不斷積累大模型相關(guān)人才和技術(shù)，逐漸形成體系化的產(chǎn)業(yè)鏈、人才鏈、技術(shù)鏈和創(chuàng )新鏈，最終走出一條發(fā)展通用人工智能的中國路徑，助力我們在數字技術(shù)的創(chuàng )新上取得突破性進(jìn)展。”

騰訊全面擁抱大模型

蔣杰表示：“我們研發(fā)大模型的目標不是在評測上獲得高分，而是將技術(shù)應用到實(shí)際場(chǎng)景中。騰訊將全面擁抱大模型。”

在此次大會(huì )上，蔣杰展示了騰訊會(huì )議、騰訊文檔、騰訊廣告等多個(gè)業(yè)務(wù)，在接入騰訊混元大模型后的實(shí)際應用情況。

比如騰訊會(huì )議基于混元大模型打造了AI小助手，只需要簡(jiǎn)單的自然語(yǔ)言指令，就能完成會(huì )議信息提取、內容分析等復雜任務(wù)，會(huì )后還能生成智能總結紀要。據實(shí)測，在指令理解、會(huì )中問(wèn)答、會(huì )議摘要、會(huì )議待辦項等多個(gè)方面，混元大模型均獲得較高的用戶(hù)采納率。

騰訊混元大模型在騰訊會(huì )議中的應用

在文檔處理方面，騰訊混元大模型支持數十種文本創(chuàng )作場(chǎng)景，在騰訊文檔推出的智能助手功能中已有應用。同時(shí)，混元還能夠一鍵生成標準格式文本，精通數百種Excel公式，支持自然語(yǔ)言生成函數，并基于表格內容生成圖表，目前這些功能正在內測階段，將在成熟后面向用戶(hù)開(kāi)放。

在廣告業(yè)務(wù)場(chǎng)景，騰訊混元大模型支持智能化的廣告素材創(chuàng )作，能夠適應行業(yè)與地域特色，滿(mǎn)足千人千面的需求，實(shí)現文字、圖片、視頻的自然融合。此外，基于混元大模型的能力，廣告智能導購能夠幫助商家在企業(yè)微信等場(chǎng)景，提升服務(wù)質(zhì)量和服務(wù)效率。

騰訊混元大模型在騰訊廣告中的應用

據了解，今年6月，騰訊云推出了模型即服務(wù)（MaaS）解決方案，提供涵蓋模型預訓練、模型精調、智能應用開(kāi)發(fā)等一站式的行業(yè)大模型服務(wù)。

最近，騰訊云也全面接入Llama 2、Bloom等20多個(gè)主流模型，和混元一樣，都支持直接部署調用?？蛻?hù)可以根據實(shí)際需求，基于混元、也可以基于開(kāi)源模型，打造自己專(zhuān)屬的行業(yè)大模型。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！