異構智能謝強：保有自主IP，方能在A(yíng)I芯片市場(chǎng)立足腳跟

基于市場(chǎng)和技術(shù)分析，異構智能認為當下的AI芯片架構在本質(zhì)上不會(huì )有大的變化。

出于對產(chǎn)品的自信，在接受采訪(fǎng)時(shí)，異構智能中國區副總裁謝強直接拎著(zhù)板卡走了過(guò)來(lái)。“2019年了，我們覺(jué)得就不要再講故事展示PPT了，而是直接Show them the products。”

圖 | 異構智能中國區副總裁 謝強

在這一波人工智能浪潮中，有許多公司順勢崛起，但其中也有很多公司隨產(chǎn)業(yè)趨于平靜逐漸沉寂乃至消亡，這里面有公司因講了太多故事而立不住聊，有的則是因為沒(méi)有尋到AI技術(shù)的發(fā)展走勢。后者的AI芯片廠(chǎng)商尤為普遍，因產(chǎn)品設計尚無(wú)統一范式。

起起伏伏之后，發(fā)展至今，應用端對AI芯片的需求已經(jīng)存在，這讓依然留存下來(lái)的公司得以展現實(shí)力，也為彼此分出高下提供了機會(huì )。異構智能深諳這一點(diǎn)，因此成立不久之后，它就迅速推出了帶有濃重“個(gè)人”色彩且獨具一格的芯片產(chǎn)品——三維張量處理器。

順應人工智能浪潮發(fā)展，深耕推理市場(chǎng)

所謂三維張量處理器，本質(zhì)上是一款推理芯片，即針對AI細分應用的一款芯片。

而不得不說(shuō)，在專(zhuān)做推理芯片的公司中，異構智能是為數不多的初創(chuàng )公司中的一家，且它異常堅定這一方向。

“在創(chuàng )業(yè)之初選定發(fā)展方向時(shí)，我們首先就去分析了一下這波人工智能浪潮發(fā)展的特點(diǎn)：有算法，但是算力不足。究其根本，在算力提升上，前有英偉達，后有谷歌，訓練市場(chǎng)其實(shí)已經(jīng)發(fā)展成熟，但是推理市場(chǎng)這一塊卻是尚未發(fā)掘的寶地。”

有數據統計顯示，到2021年，訓練市場(chǎng)規模將增長(cháng)到82億美元，而推理市場(chǎng)規模將達到118億美元。其中云端推理市場(chǎng)，只有谷歌、亞馬遜等少數巨頭在開(kāi)始做嘗試。這對初創(chuàng )公司來(lái)說(shuō)，推理市場(chǎng)無(wú)疑是一片藍海。

謝強指出，訓練對芯片及芯片周邊的計算、編程環(huán)境等要求都比較苛刻，這對初入者來(lái)說(shuō)，門(mén)檻比較高，且英偉達、谷歌已經(jīng)在訓練市場(chǎng)占據了90%以上的市場(chǎng)份額，同時(shí)訓練對算力和功耗并不敏感，因此價(jià)格高也不是致命缺陷，所以創(chuàng )業(yè)公司幾乎很難撬動(dòng)這部分市場(chǎng)。但是推理市場(chǎng)就不存在這樣的問(wèn)題，因為直接服務(wù)于客戶(hù)，推理市場(chǎng)有著(zhù)更多機會(huì )和發(fā)展空間，這給初創(chuàng )企業(yè)提供了更好的生存條件。

“所以當時(shí)我們的想法就是躲開(kāi)紅海，提前布局新興市場(chǎng)，同時(shí)競爭也不是那么激烈，可以為我們的成長(cháng)和發(fā)展留有時(shí)間。”

一次流片成功，全面覆蓋云—邊緣—端

因現在幾家大廠(chǎng)在布局云—邊緣側推理市場(chǎng)，異構智能想要與之角逐依然是一件具有挑戰的事情。

2018年9月英偉達推出了自己的推理預測芯片；11月，亞馬遜也很快在自己的re:Invent大會(huì )上發(fā)布了一款專(zhuān)用推理芯片AWS Inferentia，以用于自己的服務(wù)器推理任務(wù)處理。時(shí)隔兩年，在谷歌的張量處理器之后，大廠(chǎng)開(kāi)始出現了更為集中地布局。

重壓之下，2018年10月，異構智能也拿到了自己在格羅方德代工生產(chǎn)的第一批芯片（NovuTensor）樣本，并于九天后完成芯片實(shí)測，三周后完成Benchmark測試。

結果顯示，運行ResNet-18 等各種測試，無(wú)論是吞吐量、延遲還是性能功耗比，NovuTensor均優(yōu)于Nvidia Xavier芯片，而后者正是英偉達未來(lái)收入的重要增長(cháng)點(diǎn)。

謝強補充說(shuō)，“2018年ASIC流片成功率是26%，我們去年芯片是一次性流片成功，很多大公司都做不到這一點(diǎn)。”

不得不說(shuō)，一次性流片成功，且性能超出預期，異構智能儼然已經(jīng)成功擠入第一梯隊。

基于此，異構智能的全業(yè)務(wù)服務(wù)和產(chǎn)品銷(xiāo)售也正式啟動(dòng)，其中包括從芯片到模組再到超級計算機產(chǎn)品的板卡系列，同時(shí)它也在基于應用場(chǎng)景的計算需求做全棧解決方案。

“所謂全棧，大家有一個(gè)公認的定義，就是能夠從數據、算法和算力全方位去做解決方案?；谖覀兊男酒?，異構智能能夠做到真正意義上的全?！，F在，我們的板卡既可以應用在數據中心里，如阿里云、騰訊云等，也可以放在邊緣側，因為功耗非常低，只有5w。”

“我們最核心的競爭力就是用極低的功耗獲得非常高的性能，這就是人工智能推理芯片領(lǐng)域中大家普遍追求的目標。”謝強強調說(shuō)。

圖 | 異構智能產(chǎn)品在圖像高清化方面的應用示例

目前，根據用戶(hù)市場(chǎng)需求，異構智能的產(chǎn)品主要分為兩類(lèi)，一類(lèi)是板卡，可插在云服務(wù)器、中間服務(wù)器或者邊緣服務(wù)器之上，另一類(lèi)就是模組，“在與新加坡國家電信下面的公司NCS合作中，我們就為它專(zhuān)門(mén)設計了一個(gè)小模組，放在攝像頭里，這樣它的攝像頭就有英偉達云計算中心的超級計算能力。”

同時(shí)，為了讓用戶(hù)將在Tensor、Caffe訓練好的各種模型遷移到芯片上，異構智能也搭建了非常完整的生態(tài)。

專(zhuān)注三維張量處理器，用IP樹(shù)立壁壘

因為推理市場(chǎng)是一個(gè)完全新興的市場(chǎng)，各家的切入點(diǎn)幾乎都有所不同，這就難免讓人好奇異構智能為什么選擇三維張量技術(shù)。

謝強莞爾，“是這一波人工智能技術(shù)的發(fā)展特點(diǎn)決定的，而只有真正懂它的人才能做好芯片。”

如謝強所言，想要準確抓住技術(shù)的發(fā)展特點(diǎn)并精準進(jìn)入，這對技術(shù)團隊的經(jīng)驗和實(shí)力有著(zhù)非常大的考驗。異構智能成立之初也考慮到了這一問(wèn)題，因此它十分看重團隊的重要性，也形成了自己的第一競爭力。

“在這款性能強勁的產(chǎn)品背后，我們有著(zhù)一支強大的技術(shù)團隊，他們中很多人是從惠普實(shí)驗室出來(lái)的，其中有3D視覺(jué)的科學(xué)家，有獲得過(guò)數學(xué)獎的數學(xué)家，更有芯片設計專(zhuān)家，還有我們在人工智能領(lǐng)域相當精通的領(lǐng)導者，吳韌博士。”

因在芯片和數據領(lǐng)域有著(zhù)深厚造詣，他們認定在這一輪人工智能浪潮中，深度學(xué)習算法能夠脫穎而出，芯片的設計自然也離不開(kāi)它。

謝強解釋說(shuō)，“算法的本質(zhì)是數學(xué)，因此在我們看來(lái)，這一波人工智能浪潮最大的特點(diǎn)就是卷積神經(jīng)網(wǎng)絡(luò )。所謂卷積神經(jīng)網(wǎng)絡(luò )，它就是就是1幀‘圖像’與一個(gè)Filter進(jìn)行每一個(gè)像素點(diǎn)的（3*3、5*5、7*7）乘加運算，因此多層的卷積神經(jīng)網(wǎng)絡(luò )就是一個(gè)三維的向量；同時(shí)現在這一波人工智能應用需要處理的視覺(jué)和聽(tīng)覺(jué)信號其實(shí)都是三維信號，從這個(gè)角度去看，我們認為這種運算的本質(zhì)可以界定為三維張量算法。”

于是2016年，在開(kāi)始做AI芯片這件事時(shí)，異構智能技術(shù)團隊就開(kāi)始直接從三維張量計算下手，并在研發(fā)中形成了自己的專(zhuān)利。

據謝強介紹，異構智能于2017年中申請專(zhuān)利，后在2018年9月，其原生張量計算處理器（Native Tensor Processor）獲得美國專(zhuān)利（US Patent No. 10,073,816, Native Tensor Processor and Partitioning of Tensor Contractions）。從提交到批準，耗時(shí)僅 14 個(gè)月，而這打破了業(yè)內申請專(zhuān)利的“三年”時(shí)限，也在某種程度上預示著(zhù)其技術(shù)的新穎性。

“自主研發(fā)的重要性大家都知道，但是很少有初創(chuàng )公司能夠做到，特別是在芯片設計領(lǐng)域。從三維張量技術(shù)角度出發(fā)，我們的產(chǎn)品完全融入了自己的IP，這也讓NovuTensor的競爭力會(huì )加分不少。”

事實(shí)確實(shí)如此，在基于自研IP的基礎上，異構智能已經(jīng)完全樹(shù)立了自己的技術(shù)壁壘。

最后

在這一波人工智能浪潮之下，有許多應用需求涌現，也有很多新興技術(shù)出現，但異構智能認為在呼吁創(chuàng )新的同時(shí)，還是要以商用需求為起點(diǎn)。

謝強表示，“AI推理芯片的硬件架構設計，主要受機器學(xué)習方法發(fā)展的影響，我們認為深度學(xué)習在近幾年內都是最有效的方法，因此我們的IP還能用很多年。”無(wú)疑，這是異構智能的自信之處。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！