度小滿(mǎn)開(kāi)源國內首個(gè)千億參數金融大模型“軒轅”

目前，千億級的軒轅模型已可以在Huggingface中申請下載，面向所有金融機構開(kāi)放。

近日，度小滿(mǎn)正式開(kāi)源國內首個(gè)千億級中文金融大模型——“軒轅”。軒轅大模型是在1760億參數的Bloom大模型基礎上訓練而來(lái)，在金融名詞理解、金融市場(chǎng)評論、金融數據分析和金融新聞理解等任務(wù)上，效果相較于通用大模型大幅提升，表現出明顯的金融領(lǐng)域優(yōu)勢。

在金融場(chǎng)景中的任務(wù)評測中，軒轅全面超越了市場(chǎng)上的主流開(kāi)源大模型，贏(yíng)得了150次回答中63.33%的勝率，充分凸顯了其在金融領(lǐng)域的顯著(zhù)優(yōu)勢。在通用能力評測中，軒轅有10.2%的任務(wù)表現超越ChatGPT 3.5，61.22%的任務(wù)表現與之持平，涉及數學(xué)計算、場(chǎng)景寫(xiě)作、邏輯推理、文本摘要等13個(gè)主要維度。

為了提升軒轅大模型對金融領(lǐng)域問(wèn)題的理解能力，度小滿(mǎn)將自身業(yè)務(wù)中積累的金融領(lǐng)域的千億tokens的中文預訓練數據集用來(lái)訓練模型。該數據集涵蓋了金融研報、股票、基金、銀行、保險等各個(gè)方向的專(zhuān)業(yè)知識。度小滿(mǎn)表示，經(jīng)過(guò)清洗和標注的高質(zhì)量數據集，不僅在通用性方面與ChatGPT達到持平成為可能，且顯著(zhù)提升了模型在金融垂直領(lǐng)域的性能。

BLOOM （Big Science Language Open-science Open-access Multilingual）是2021年由 1000 多名志愿研究人員在一個(gè)名為“大科學(xué) BigScience”的項目中創(chuàng )建，2022年 7 月 12 日正式發(fā)布。BLOOM 擁有 1760 億個(gè)參數（決定輸入數據如何轉換為輸出內容的變量），稍多于擁有 1750 億個(gè)參數的 GPT-3。BLOOM擁有1.61TB文本，包含46種自然語(yǔ)言和13種編程語(yǔ)言。相比Meta發(fā)布的130億參數的LLaMA（Large Language Model Meta AI）模型，Bloom參數量更占優(yōu)勢。

目前，千億級的軒轅模型已可以在Huggingface中申請下載，面向所有金融機構開(kāi)放。 下載地址：https://github.com/Duxiaoman-DI/XuanYuan

度小滿(mǎn)CTO許冬亮表示，軒轅大模型是經(jīng)度小滿(mǎn)業(yè)務(wù)場(chǎng)景中積累的金融數據訓練而來(lái)的，對金融相關(guān)問(wèn)題的理解比通用大模型更有優(yōu)勢。我們把大模型能力開(kāi)放給金融機構，有利于推動(dòng)大模型在金融行業(yè)的應用，降低大模型的應用門(mén)檻，提升金融行業(yè)智能化水平。

作為AI新基建，大模型在金融及各個(gè)行業(yè)有著(zhù)廣泛的應用場(chǎng)景。軒轅大模型開(kāi)源后，對金融機構有何意義？

許冬亮認為，生成式大模型在內容生成與創(chuàng )作、信息摘要與總結、知識理解與問(wèn)答、自然交互與對話(huà)等方面具備非常出色的能力，在金融場(chǎng)景中會(huì )有廣泛的應用。在前臺，生成式大模型將大幅提升客戶(hù)經(jīng)理的專(zhuān)業(yè)水平和服務(wù)能力，大幅降低客戶(hù)經(jīng)理的運營(yíng)成本，讓每個(gè)人都擁有24小時(shí)在線(xiàn)的專(zhuān)業(yè)客戶(hù)經(jīng)理成為可能。出色的內容生成能力也將引發(fā)營(yíng)銷(xiāo)內容生產(chǎn)能力的大幅提升。在中臺，生成式大模型有機會(huì )改變企業(yè)內知識獲取、內容創(chuàng )作、會(huì )議與溝通、代碼開(kāi)發(fā)與測試的方式，進(jìn)而大幅提升企業(yè)內部辦公效率，甚至引發(fā)研發(fā)測試模式變革，全方位的提升金融企業(yè)內部運營(yíng)效率。在后臺，大模型將成為智能科技底座的標配，大幅降低智能技術(shù)應用的門(mén)檻，只需少量標注數據甚至無(wú)需調整就可以讓智能技術(shù)覆蓋廣泛的場(chǎng)景。

度小滿(mǎn)依托于百度人工智能技術(shù)，已經(jīng)開(kāi)展了一系列基于大模型的應用。以風(fēng)險管理為例，度小滿(mǎn)已經(jīng)將大型語(yǔ)言模型LLM應用在互聯(lián)網(wǎng)文本數據、征信報告的解讀上，通過(guò)用文本數據構造的預訓練模型以及AI算法，能夠將征信報告解讀出40萬(wàn)維的風(fēng)險變量，更好的識別小微企業(yè)主的信貸風(fēng)險。今年5月份，這一工程榮獲了 “吳文俊人工智能科學(xué)技術(shù)獎”。今年2月份，百度基于文心大模型技術(shù)推出的生成式對話(huà)產(chǎn)品“文心一言”（英文名：ERNIE Bot）開(kāi)放生態(tài)合作，度小滿(mǎn)成為首家接入的金融科技公司。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！