微軟的另一條“腿”，要做真正Open的AI

不過(guò)他們很快撤回了這條消息

這兩天，蘋(píng)果不造車(chē)改轉AI的新聞鬧得火熱，另一邊，作為老對手的微軟也在悄摸擴張自己的AI版圖。

是的，坐擁OpenAI這座“人工智能金字招牌”的微軟并沒(méi)有停下腳步，在27號收購了一家名為Mistral AI的歐洲初創(chuàng )公司的少數股權。Mistral與OpenAI一道，成為了微軟行走在人工智能領(lǐng)域的堅實(shí)“大腿”。

區別于名字帶著(zhù)“Open”實(shí)際并不“Open（開(kāi)源）”的OpenAI，Mistral創(chuàng )立之初的使命就是“引領(lǐng)開(kāi)放模型的革命。”

歐洲人自己的“Open”AI

Mistral從創(chuàng )立至今，一直很少在打得火熱的人工智能競賽中發(fā)聲。

（圖源：Mistral AI）

團隊的三位創(chuàng )始人CEO Arthur Mensch和CTO Timothée Lacroix、首席科學(xué)家Guillaume Lample此前分別在DeepMind和Meta從事大模型的相關(guān)工作。

由于抱有相同的理念，機緣巧合之下三人在法國創(chuàng )立了Mistral AI。由于人工智能產(chǎn)業(yè)在歐洲市場(chǎng)本就不多，再加上幾位創(chuàng )始人的履歷，在沒(méi)有任何產(chǎn)品的情況下，Mistral就收獲了來(lái)自L(fǎng)ightspeed Venture Partners光速全球領(lǐng)投的1.13億美元種子輪投資。

造就了“6人，4周，7頁(yè)PPT，1.13億美元”的AI投融資傳奇，當然，這樣的故事自然會(huì )引起一定的非議，當時(shí)也被認為是AI泡沫的代表。

不過(guò)好在，收下融資的Mistral AI相當迅速地拿出了第一個(gè)作品——Mistral 7B，并且沒(méi)有任何花里胡哨的宣傳、發(fā)布會(huì )，直接在社交媒體上貼了一個(gè)磁力下載鏈接，讓所有想部署的用戶(hù)都能直接免費獲取。

帶領(lǐng)“小”模型風(fēng)潮

根據Mistral官方的說(shuō)法，在所有的基準測試中，Mistral 7B的表現甚至還要優(yōu)于130億參數的Llama 2，在代碼、數學(xué)和推理測試中，甚至超過(guò)了有數倍參數量差距的Llama 1 34B。

（圖源：Mistral AI）

不僅在性能上更優(yōu)，Mistral 7B由于參數量的原因，更適合在消費級設備上進(jìn)行部署，有人就分享了在自己的蘋(píng)果筆記本上運行的效果，在量化后更是發(fā)現，Mistral 7B只需要不到5GB內存和6GB的GPU顯存，只需微調，即可在單卡上運行。

（圖源：網(wǎng)絡(luò )）

而且就在不到2個(gè)月后，他們又火速拿出了首個(gè)MoE開(kāi)源模型Mixtral 8x7B，參數量級還是70億，但是架構方案有了少許變化。

根據描述，Mixtral 8x7B采用了一種稀疏的專(zhuān)家混合網(wǎng)絡(luò )，模型分成了8個(gè)不同方向領(lǐng)域的專(zhuān)家，在每次處理時(shí)，選擇其中兩個(gè)專(zhuān)家來(lái)實(shí)現輸出，這樣既能夠快速響應完成任務(wù)，也相應減少了推理成本。

這個(gè)模式就非常眼熟，很像傳聞中GPT-4的架構方案(即16個(gè)專(zhuān)家總數，單個(gè)專(zhuān)家166B參數)，不過(guò)是縮小版的，并且Mixtral 8x7B與GPT-4一樣也是32K上下文。

在這樣的改變下，Mixtral 8x7B不僅有多項測試能夠領(lǐng)先10倍參數的Llama 2 70B，還差不多追平了GPT-3.5。

（圖源：Mistral AI）

這樣的產(chǎn)品不僅讓Mixtral AI在去年11月初收獲了一筆3億美元的戰略投資，也掀起了AI行業(yè)“小”模型的風(fēng)潮，畢竟再強的模型也需要有用戶(hù)才有價(jià)值。

初心變了？

可就在A(yíng)I圈因為有這樣的真·“Oepn”AI而雀躍時(shí)，事情突然急轉之下。

Mixtral AI在被微軟收購的同時(shí)，帶來(lái)了一款號稱(chēng)可以跟GPT-4扳手腕的新品——Mistral Large。官方宣稱(chēng)的性能、訓練成本等等具體如何姑且不論，有人發(fā)現，這次Mixtral沒(méi)有再大手一揮拋出下載鏈接任人取拿，反而還把官網(wǎng)中關(guān)于開(kāi)源社區義務(wù)的相關(guān)內容給刪除了。

（圖源：Mistral AI）

從后續CEO“堅持開(kāi)源理念，但也會(huì )有閉源模型參與商業(yè)競爭”的回應來(lái)看，Mistral Large“閉源”是板上釘釘了。

也無(wú)怪Mistral，畢竟還是初創(chuàng )公司，在算力、資金等方面還是有所欠缺的，一直“用愛(ài)發(fā)電”也無(wú)法長(cháng)久。

Mistral AI 的使命是引領(lǐng)開(kāi)放模型的革命。

“Mistral AI”撤回了一條消息

本文作者：Visssom，觀(guān)點(diǎn)僅代表個(gè)人，題圖源：@MistralAI

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！