人工智能急需變革？比起英特爾的焦慮，互聯(lián)網(wǎng)企業(yè)更想蹚這一池芯片水

深度學(xué)習發(fā)展至今，成熟功能模塊的下沉將是必然的趨勢。

新年剛過(guò)，人工智能界先后有兩次理論上的新知公諸于世：一是圖靈獎獲得者David Patterson與John Hennessy發(fā)布論文稱(chēng)計算機體系結構的新黃金時(shí)代將到來(lái)，二是計算機視覺(jué)奠基者之一Alan Yuille公開(kāi)懟了一波深度學(xué)習，他認為神經(jīng)網(wǎng)絡(luò )已進(jìn)入瓶頸期，現在科研人員一股腦兒涌入深度學(xué)習不利于軟件算法的發(fā)展。

透過(guò)兩則消息，不難察覺(jué)到人工智能產(chǎn)業(yè)急需變革的呼聲已經(jīng)十分強烈，無(wú)論是硬件端還是軟件算法，而它確實(shí)要迎來(lái)了新的發(fā)展階段。事實(shí)上，隨著(zhù)市場(chǎng)需求變化和技術(shù)迭代，一直以來(lái)軟件算法和硬件芯片雖各自發(fā)展卻也如兩股互相“博弈”的力量般糾纏不休。而當深度學(xué)習發(fā)展步入模式時(shí)，一邊是專(zhuān)家對創(chuàng )新衰退的憂(yōu)慮，另一邊則預示著(zhù)深度學(xué)習架構的發(fā)展已經(jīng)邁入一定的成熟階段，此時(shí)將部分功能下沉到硬件端的需求則順勢衍生。

圖 |《計算機體系結構的新黃金時(shí)代》

在《計算機體系結構的新黃金時(shí)代》中，Patterson和Hennessy這樣寫(xiě)道，“計算機體系結構領(lǐng)域將迎來(lái)又一個(gè)黃金十年，就像20世紀80年代我們做研究那時(shí)一樣，新的架構設計將會(huì )帶來(lái)更低的成本，更優(yōu)的能耗、安全和性能。”如所言，在深度學(xué)習算法熱潮過(guò)后，2019年的硬件產(chǎn)業(yè)也開(kāi)始了新的蠢蠢欲動(dòng)，而在A(yíng)I賦能應用的大背景下，它具體表現為推理芯片市場(chǎng)的崛起。

英特爾沉不住氣了，推理芯片市場(chǎng)開(kāi)啟群雄爭霸

回到2019年年初前后這一期間，迎來(lái)了歷史轉型期的芯片市場(chǎng)可以說(shuō)動(dòng)蕩不安，一邊存儲芯片價(jià)格在漲一波跌一波的云雨之中起伏；另一邊為了滿(mǎn)足人工智能催生的產(chǎn)能需求，英特爾、美光等老牌IDM廠(chǎng)商開(kāi)始大肆興建起工廠(chǎng)。而不同于已有的成熟市場(chǎng)，有一部分新興的AI芯片市場(chǎng)也逐漸有了蓬勃生長(cháng)的態(tài)勢，產(chǎn)業(yè)化發(fā)展向好。

“苗頭”就出現在CES 2019上，英特爾高調宣布與Facebook合作開(kāi)發(fā)一款AI推理芯片，并宣稱(chēng)將于2019年下半年完成。

在曝光度極高的CES上，提前半年大肆宣傳并隆重預告這一款公眾并不熟知的推理芯片，作為x86架構締造者，占據數據中心服務(wù)器市場(chǎng)90%份額的英特爾，顯然有些沉不住氣了。

圖 | 英特爾宣布與Facebook合作推出推理芯片

無(wú)獨有偶，在研發(fā)推理芯片這件事情上，各家有能力爭一塊蛋糕的廠(chǎng)商也都開(kāi)始摩拳擦掌，不出意外得集中在2019年前后幾個(gè)月推出自家產(chǎn)品。2018年9月，英偉達推出自己的推理預測芯片；11月，亞馬遜召開(kāi)re:Invent大會(huì )，在會(huì )議上隆重發(fā)布了一款專(zhuān)用推理芯片AWS Inferentia，以用于自己的服務(wù)器推理任務(wù)處理；而阿里也透露了自己首款推理芯片Ali-NPU的發(fā)布時(shí)間，同Facebook相近，定在了2019年中。

在2019年前后巨頭們不約而同得帶起了一波“節奏”，這樣的集群效應或多或少說(shuō)明了專(zhuān)用推理芯片系統市場(chǎng)已經(jīng)開(kāi)始要“變天”。

數據統計顯示，到2021年，訓練市場(chǎng)規模將增長(cháng)到82億美元，而推理市場(chǎng)規模將達到118億美元，超出前者近四十億美元。時(shí)間緊迫，機會(huì )轉瞬即逝，在沒(méi)有巨頭的大片“藍海”市場(chǎng)面前，換作誰(shuí)都是要坐不住的。

一場(chǎng)由互聯(lián)網(wǎng)企業(yè)引發(fā)的芯片之戰

既知是藍海，早些年亦有許多科研院所在積極研究，巨頭們卻都到今年才遲遲動(dòng)手，是為何？

Facebook公開(kāi)道出了其中的緣由。

去年四月份，Facebook暗地里組建芯片團隊的事情被彭博社報道，稱(chēng)它想擺脫對英特爾和高通的依賴(lài)，隨后成為熱議的焦點(diǎn)。后沒(méi)有多久，在一年一度的大會(huì )上，Facebook的高管大大方方承認了。

作為一家互聯(lián)網(wǎng)公司，Facebook坦言它的初衷不是為造芯片而造芯片，實(shí)則是深受成本成倍增加之苦但同時(shí)又尋不到更優(yōu)硬件方案，無(wú)奈使然。2018年末的大會(huì )上，對于這一點(diǎn)，Facebook高管Jason Taylor就直接毫不留情的懟了當時(shí)市面上的推理芯片：“市面上是有很多加速器芯片，但是我們發(fā)現他們設計的芯片在完成關(guān)鍵工作負載任務(wù)的能力上，值得考量。”

言下之意，Taylor認為很多公司在沒(méi)有弄清楚深度學(xué)習應用端需要處理的推理任務(wù)有哪些就開(kāi)始造芯片，頗有亂打亂撞的嫌疑。而在深度學(xué)習算法的應用上，以精準營(yíng)銷(xiāo)著(zhù)長(cháng)的Facebook似乎也更有發(fā)言權。

圖 | 精準營(yíng)銷(xiāo)

據公司工程師Kim Hazelwood介紹，每天Facebook的AI應用程序產(chǎn)生超過(guò)200萬(wàn)億個(gè)推送，翻譯超過(guò)50億個(gè)文本，并自動(dòng)刪除超過(guò)一百萬(wàn)個(gè)假賬戶(hù)，在推理功能上，Facebook的任務(wù)計算量是其他任務(wù)的100倍。官方透露的數據顯示，2018年，Facebook的資本支出大約在140億美元，2019年，這個(gè)數字預計將增長(cháng)到200億美元，其中很大一部分支出都在數據中心服務(wù)器上。

但苦于沒(méi)有合適替代方案，今天Facebook還不得不采用“CPU+GPU”的服務(wù)器。

和Facebook類(lèi)似，最接近應用，需求也是最為強烈，因而谷歌、亞馬遜、阿里等將人工智能與互聯(lián)網(wǎng)應用融合密切的企業(yè)都不可避免的遇到了這個(gè)問(wèn)題，因而也陸續開(kāi)啟了自研芯片之路。

不可不知的“鼻祖”

在這組互聯(lián)網(wǎng)梯隊中，谷歌是第一位吃螃蟹的“人”，同時(shí)它用這個(gè)秘密武器助力AlphaGo戰勝李世石，引起轟動(dòng)。而這里的秘密武器就是谷歌TPU（張量處理單元）。

圖 | 谷歌TPU

其實(shí)2017年，當谷歌重磅推出TPU時(shí)，很多人都好奇作為一家成功的互聯(lián)網(wǎng)公司，谷歌怎么突然有興趣做起了芯片，還做出了這樣一款“腦洞大開(kāi)”的芯片？

在后來(lái)的公開(kāi)論文中，谷歌提到其實(shí)自己的軟件服務(wù)背后需要龐大的服務(wù)器網(wǎng)絡(luò )在支持，即需要難以計數的硬件服務(wù)器日夜運行。提供的數據顯示，為了支持各類(lèi)大量的數據應用，谷歌當時(shí)已經(jīng)在全球四個(gè)洲建有15個(gè)倉庫般大小的數據中心。

但是隨著(zhù)深度學(xué)習算法的出現，令谷歌自己驚奇的事情發(fā)生了。在后來(lái)計算機架構專(zhuān)家David Patterson和Norm Jouppi合著(zhù)的論文中，他們提到這樣一個(gè)細節：六年前，谷歌開(kāi)始為安卓操作系統添加語(yǔ)音識別功能之后，原來(lái)相對充裕的計算能力突然間捉襟見(jiàn)肘，根據當時(shí)谷歌工程師的推算——如果世界上每一臺安卓手機每天都使用3分鐘的語(yǔ)音搜索功能，且識別率百分之百正確，即一次搜索成功，那么谷歌的數據中心的規模就起碼要翻倍。

這樣的解釋?zhuān)cFacebook后提到的境況幾近相同。

意識到這樣的問(wèn)題，谷歌為這樣的大規模擴張需求而背后生寒，更何況當時(shí)還只是深度學(xué)習算法應用剛剛開(kāi)始的階段。因此在慎重考慮了語(yǔ)音識別技術(shù)的迅速發(fā)展和推理運算需求的激增等情況之后，谷歌決定開(kāi)發(fā)專(zhuān)屬推理芯片以替代性能不足的CPU，即后來(lái)的TPU。

不過(guò)當時(shí)外界只知谷歌街景、AlphaGo等應用中用到了TPU，對于“蒙上一層面紗”的TPU到底為何物，眾說(shuō)紛紜。后來(lái)直到看見(jiàn)谷歌公開(kāi)發(fā)表的TPU論文并眼見(jiàn)AlphaGo的成功，眾人才意識到谷歌TPU劃時(shí)代的意義。

寒武紀陳天石毫不吝嗇得用了“濃墨重彩”一詞盛贊其對于整個(gè)產(chǎn)業(yè)發(fā)展的意義；而英偉達黃仁勛也不惜親自撰寫(xiě)長(cháng)文來(lái)回應谷歌TPU與自己產(chǎn)品的對比，雖然言語(yǔ)之中難掩對英偉達技術(shù)的偏袒，但也只有勢均力敵的對手值得“老黃”如此重視。

后來(lái)Jouppi在一篇論文中這樣評價(jià)這款芯片，“這并不意味著(zhù)TPU有多復雜，它看起來(lái)更像雷達的信號處理引擎，而不是標準X86架構。而且它與浮點(diǎn)單元協(xié)處理器更為神似，跟GPU倒不太一樣。”

所謂創(chuàng )新，大概如此。

一股清流，從通用出發(fā)去做專(zhuān)用芯片

目前主導推動(dòng)推理芯片市場(chǎng)的以互聯(lián)網(wǎng)公司居多，除了領(lǐng)頭的谷歌，還有Facebook、亞馬遜等，不可忽視的還有以硬件結構創(chuàng )新為出發(fā)點(diǎn)、骨骼清奇的寒武紀和尋求新增長(cháng)力的英偉達。

不過(guò)，其中Facebook最有意思。

從他們在公共場(chǎng)合的表態(tài)來(lái)看，和谷歌、亞馬遜所處之境一樣，面對不可控的成本上漲，Facebook不是不著(zhù)急。但不同于其他四家的芯片設計方向，即依據應用需求調試算法，隨后依次開(kāi)發(fā)設計硬件，Facebook選擇耐著(zhù)性子去做一款通用的深度學(xué)習專(zhuān)用芯片。按照Facebook的意思，雖然是深度學(xué)習專(zhuān)用芯片，但是也不可順著(zhù)應用需求過(guò)于專(zhuān)一，因此它的做法也是非常獨特。

圖 | Facebook Glow平臺

這始于Facebook早早為自己搭建好的一款名為Facebook Glow的深度學(xué)習通用處理器。提到這款平臺，Facebook稱(chēng)其可用于處理云端的各種深度學(xué)習加速，但又不同于TensorFlow等開(kāi)源工具，它不是針對用戶(hù)設計的。

Taylor解釋說(shuō)：“推理加速器的市場(chǎng)必將表現為硬件碎片化，但我們的Glow主要是幫助深度學(xué)習專(zhuān)家設計神經(jīng)網(wǎng)絡(luò )而不是讓大家用它來(lái)開(kāi)發(fā)算法，以調試到去適應各類(lèi)硬件推理加速器。我們知道碎片化時(shí)代正在到來(lái)，因為沒(méi)人知道怎樣把硬件資源組合起來(lái)最優(yōu)，所以我們會(huì )讓開(kāi)發(fā)者專(zhuān)注在上層的網(wǎng)絡(luò )圖上而不是讓他們?yōu)?lsquo;硬件’敲代碼。”

在軟件加速器上樹(shù)立好絕對的標準，而后基于此來(lái)設計芯片，Facebook的造芯計劃可謂宏圖。

其實(shí)對于Facebook研發(fā)芯片這件事，業(yè)內人多用“奇葩”來(lái)形容。依據精準的上層架構來(lái)反向“強行”設計出底層具有通用性的AI芯片，很難評價(jià)其做法是否過(guò)于執拗和宏大，只能暗嘆它的不走尋常路，因此對于CES2019上Intel宣布的這款與Facebook聯(lián)手的芯片，還是值得期待一下。

終端市場(chǎng)緣何如此重要？

不難發(fā)現，上文提到的在推理芯片市場(chǎng)引起軒然大波的芯片產(chǎn)品都可歸為一類(lèi)：服務(wù)器芯片，即終端市場(chǎng)。

從技術(shù)角度來(lái)看，其實(shí)不僅僅是終端市場(chǎng)對推理芯片有著(zhù)強需求，隨著(zhù)智能應用需求的深入，手機等移動(dòng)端亦有此需求，如華為麒麟平臺中用到的NPU芯片正是一款專(zhuān)用于解決神經(jīng)網(wǎng)絡(luò )推理計算的芯片。

但是不同于端側市場(chǎng)的現有產(chǎn)品飽和與增長(cháng)力不足，因云計算快速的深入，服務(wù)器的計算任務(wù)需求呈爆發(fā)式增長(cháng)，因而對硬件架構提升的需求格外迫切。

圖 | 數據中心

亞馬遜James Hamilton曾結合亞馬遜所遇到的問(wèn)題給出這樣的分析：一直以來(lái)，雖然專(zhuān)用芯片可以成十倍改善延遲、降低成本和功耗，但是通用芯片的地位卻是不可撼動(dòng)的，這里面有其原因。以傳統服務(wù)來(lái)說(shuō)，一般情況下每個(gè)用戶(hù)只會(huì )用到幾個(gè)固定的服務(wù)器，即我們的服務(wù)器是按照用戶(hù)分配的，這樣的情況下專(zhuān)用芯片通常是沒(méi)什么用的。但是云改變了一切，在一個(gè)完備的云系統中，比較“罕見(jiàn)”的工作負載甚至需要連接進(jìn)入數千甚至數萬(wàn)個(gè)服務(wù)器里，同時(shí)運行以完成任務(wù)。這在過(guò)去是完全不可能實(shí)現的，因為以前即便能夠很好的分配任務(wù)給專(zhuān)用硬件，也不能節約成本，尤其是當一些緊急狀況出現時(shí)。

云的出現打通了硬件之間的“壁壘”，也極大程度的發(fā)揮了深度學(xué)習算法的威力，但它同時(shí)很快耗盡了眾多公司現有服務(wù)器芯片的計算能力。

IDC曾做過(guò)數據統計，2018年第二季度全球服務(wù)器市場(chǎng)的廠(chǎng)商收入同比增長(cháng)43.7％達到225億美元，該季度全球服務(wù)器出貨量同比增長(cháng)20.5％達到290萬(wàn)臺。而其中最大的增長(cháng)力就表現在云計算服務(wù)器上。

深度學(xué)習、推理芯片與產(chǎn)業(yè)變遷

回到推理芯片，即處理邏輯運算的芯片。其實(shí)它并不是什么新產(chǎn)物，這里不得不提英特爾的x86架構。

所謂x86架構，通俗來(lái)講就是一種通用的“CPU+Linux”操作系統的架構，它伴隨著(zhù)1978年英特爾推出的8086處理器出現，具體指的是英特爾開(kāi)發(fā)的一套通用的計算機指令集合。目前市面上所有主流的服務(wù)器都是基于Intel x86架構的CPU公版二次開(kāi)發(fā)而來(lái)。

采用Intel的x86架構來(lái)處理服務(wù)器大量的計算任務(wù)，有人說(shuō)是考慮CPU通過(guò)馮諾依曼架構可以為數百萬(wàn)的不同應用加載任何軟件的靈活性?xún)?yōu)勢，有人認為英特爾x86架構的向后兼容性讓用戶(hù)只要換個(gè)CPU就能獲得性能提升的優(yōu)勢主導使然?？偠灾?，不同于訓練模式的單一，深度學(xué)習推理任務(wù)的復雜讓產(chǎn)業(yè)界綜合考慮成本、技術(shù)成熟度等因素而最終選擇了CPU芯片+x86指令集的系統架構。

圖 | Intel x86

但眾所周知的是，古老的x86架構雖經(jīng)過(guò)了幾十年的技術(shù)迭代，受系統架構本身的訪(fǎng)問(wèn)限制（又稱(chēng)馮諾依曼瓶頸），其總體的吞吐量和能耗都限制了它在大量計算任務(wù)上的表現能力，尤其是當深度學(xué)習算法出現后，這一弊端愈加被凸顯。

深度學(xué)習算法之所以如此重要，主要原因在于它剛剛誕生不久就能夠迅速適應幾乎所有的應用需求，歷史上很少有一項技術(shù)有如此的影響力，因此其特殊屬性催生了對大量數據進(jìn)行處理和分析的需求。對于這一算法帶來(lái)的影響，黃仁勛一句話(huà)點(diǎn)出其中奧妙：深度學(xué)習是一種新的計算方法，所以整個(gè)產(chǎn)業(yè)需要發(fā)展出一種新的計算體系結構。

因而在深度學(xué)習的兩大功能——訓練和推理的模式推動(dòng)下，Caffe、Tensorflow等軟件架構工具迅速發(fā)展，芯片巨頭也爭相以此為起點(diǎn)開(kāi)發(fā)新的芯片。英偉達借助GPU與訓練功能的天生匹配登上了市場(chǎng)龍頭的寶座，但他們發(fā)現要實(shí)現訓練之后的推理功能，即對圖像的識別、語(yǔ)義的關(guān)聯(lián)處理等，GPU卻是不適合的。

沒(méi)有合適“人選”，推理市場(chǎng)因此空出霸主之位。退而求其次，CPU+GPU發(fā)展成了服務(wù)器市場(chǎng)中主流的架構解決方案，但終究不是長(cháng)久之計。對此，大家心知肚明。

最后

在這一波巨頭帶動(dòng)的小高潮背后，無(wú)疑預示著(zhù)產(chǎn)業(yè)發(fā)展中推理任務(wù)處理需求積聚到了一個(gè)新的高點(diǎn)。

箭在弦上，不得不發(fā)。但最終誰(shuí)將勝出，還只能靜候各廠(chǎng)家接下來(lái)的芯片產(chǎn)品。

正如Patterson與Hennessy在《計算機體系結構的新黃金時(shí)代》里所言，“在摩爾定律走向終點(diǎn)的同時(shí)，體系結構正在閃耀新的活力——以TPU為代表的領(lǐng)域特定架構 (Domain Specific Architectures, DSA) 興起，但CPU、GPU、FPGA仍然有用武之地，最終，市場(chǎng)會(huì )選出勝者。”

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！