南京新一代人工智能研究院孫明?。篈I芯片評測非一日之功，需要AI企業(yè)多參與

目前DNN benchmark V0.5評測工具已經(jīng)在Github上開(kāi)源。

國內的芯片產(chǎn)業(yè)有多火？

最明顯的一個(gè)特征便是越來(lái)越多的新興技術(shù)公司推出了適用于特殊場(chǎng)景的專(zhuān)用芯片。然而，在芯片“井噴”的背后，也暗藏著(zhù)不少問(wèn)題。

最近，鎂客網(wǎng)為此采訪(fǎng)了中國信息通信研究院云大所人工智能部副主任、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）總體組組長(cháng)、南京新一代人工智能研究院院長(cháng)孫明俊，請她從第三方的角度解讀了AI芯片背后的基準評測問(wèn)題。

圖 | 南京新一代人工智能研究院院長(cháng)孫明俊

南京信新一代人工智能研究院，瞄準AI芯片評測

南京有多重視人工智能？

從南京經(jīng)濟技術(shù)開(kāi)發(fā)區大力推進(jìn)的智慧新港就能可見(jiàn)一斑，近幾年，開(kāi)發(fā)區除了引入像京東、科沃斯、創(chuàng )新工場(chǎng)這樣的企業(yè)研究院，還和一些政府機構合作共建新型研究院，比如南京新一代人工智能研究院。

去年，中國信息通信研究院（以下簡(jiǎn)稱(chēng)“信通院”）與南京經(jīng)濟技術(shù)開(kāi)發(fā)區在前期合作的基礎上，依托中國信息通信研究院在人工智能領(lǐng)域技術(shù)儲備及產(chǎn)業(yè)資源等優(yōu)勢，合作共建南京新一代人工智能研究院。

據悉，信通院近年來(lái)在云計算、大數據、人工智能、寬帶移動(dòng)通信、移動(dòng)互聯(lián)網(wǎng)等領(lǐng)域開(kāi)展了政策、標準、評估測試等一系列研究工作。

在這樣的背景下，南京新一代人工智能研究院也肩負起了有關(guān)人工智能的標準評測工作。正如孫明俊所言，“做標準或者評測都是需要平臺型的專(zhuān)業(yè)機構來(lái)做，所以信通院想做這個(gè)事情。”

另一方面，整個(gè)AI行業(yè)涌現出種類(lèi)繁雜的AI加速芯片，但這些功能復雜多樣的芯片卻沒(méi)有一個(gè)統一的衡量標準，去評估計算性能、單位能耗算力的具體情況。同時(shí)，對于那些想要購買(mǎi)芯片的需求方來(lái)說(shuō)，也難以從廠(chǎng)商的官方信息中判斷該芯片是否可以滿(mǎn)足真實(shí)場(chǎng)景的需求。

更關(guān)鍵的是現有的基準測試不適合評測AI芯片，在這種供需信息不對等的情況下，更迫切需要一個(gè)中立第三方去給出合適的評估解決方案。

南京新一代人工智能研究院就擔負起了這個(gè)評估的工作。去年，中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（由國家發(fā)改委、科技部、工信部、網(wǎng)信辦指導，中國信息通信研究院等單位發(fā)起）聯(lián)合阿里巴巴集團、百度、寒武紀科技等多家企業(yè)，推出了AIIA DNN benchmark——人工智能端側芯片基準測試評估方案。

在2018 AIIA人工智能開(kāi)發(fā)者大會(huì )上，孫明俊代表中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布了該評估方案的V0.5版本。

AI芯片評測工具，引導規范專(zhuān)用芯片市場(chǎng)

“為專(zhuān)用的芯片設立一個(gè)基準測試是非常重要的工作”孫明俊在鎂客網(wǎng)的采訪(fǎng)中再三強調了測試平臺在整個(gè)AI產(chǎn)業(yè)發(fā)展中的重要性和關(guān)鍵性。“這是產(chǎn)業(yè)鏈中不可或缺的一個(gè)環(huán)節。特別是在產(chǎn)業(yè)發(fā)展的初期，技術(shù)路線(xiàn)尚未明確的情況下，一個(gè)好的基準測試應該做到的是樹(shù)立清晰的指標技術(shù)競爭體系，這即可以幫助企業(yè)快速進(jìn)步，同時(shí)也客觀(guān)反映當前產(chǎn)品現狀，一個(gè)行業(yè)如果充斥著(zhù)太多魚(yú)龍混雜的產(chǎn)品，就很難走下去。”

所以，必須有個(gè)第三方中立的機構去防止這個(gè)領(lǐng)域出現劣幣驅逐良幣的現象。

據孫明俊介紹，AIIA DNN benchmark V0.5測試主要面向端側，旨在客觀(guān)反映具有深度神經(jīng)網(wǎng)絡(luò )加速能力的處理器在完成推斷任務(wù)時(shí)的性能。V0.5版本的評估工具基于A(yíng)ndroid/Linux系統，支持測評的機器學(xué)習訓軟件框架包括TensorFlow/Caffe等，已經(jīng)完成的移動(dòng)端適配環(huán)境有HiAI /MACE/ SNPE/TensorFlow Lite/Tengine。

在今年3月舉辦的“AI in 5G——引領(lǐng)新時(shí)代論壇”上，研究院發(fā)布了首輪的評估結果，包含四大典型場(chǎng)景和兩大類(lèi)評測指標。評測場(chǎng)景包括圖像分類(lèi)、目標檢測、超分辨率、分割網(wǎng)絡(luò )；評測指標則包括速度（fps）和算法性能，算法性能指標涉及如top1 、top5、mAP、mIoU、PSNR等。

談及當前的AI基準測試，除了AIIA之外，阿里、寒武紀以及百度均有動(dòng)作：阿里在去年的云棲大會(huì )上推出了AI Matrix；中科院計算所、寒武紀、科大訊飛、京東、銳迪科、AMD等六家則是攜手推出BenchIP。國外的MLPerf也于去年5月由谷歌牽頭聯(lián)合全球各大科技公司與高校開(kāi)展相關(guān)基準測量工具研究。

當被問(wèn)及AIIA的評測工具相較于其他基準測試工具的優(yōu)勢，孫明俊強調，“我們沒(méi)有產(chǎn)品傾向性，是非常中立且不帶產(chǎn)品色彩的獨立第三方測試。”

值得一提的是，孫明俊也強調AIIA DNN benchmark是深度學(xué)習處理器領(lǐng)域首次區分整型和浮點(diǎn)對比的Benchmark。

AI芯片評測非一日之功，開(kāi)源工具鼓勵企業(yè)多參與

雖然AI芯片評測工具已經(jīng)推出，但是考慮到專(zhuān)用芯片的復雜性，也給評估工作帶來(lái)一些困難。

“我們面臨的一個(gè)很大的問(wèn)題是適配，比如TensorFlow/Caffe適配到高通、海思都要做大量的工作，但是以前的通用CPU評測就不存在這個(gè)問(wèn)題。”

孫明俊表示適配的難度之外，由于芯片上搭載的場(chǎng)景也非常多，所以需要測試的場(chǎng)景相應也會(huì )很多。另外延遲、帶寬、能耗也都要納入考慮范圍，再加上各種神經(jīng)網(wǎng)絡(luò )模型有不同參數，不同參數下又有不同的輸出曲線(xiàn)，所以測試基準工具也得不斷地迭代下去。

雖然有很多企業(yè)也在做AI芯片的基準測試，但是整個(gè)業(yè)內似乎還缺少統一的標準。對此，孫明俊解釋道，“AI基準測試之所以還沒(méi)有任何一家企業(yè)被公認為標準的行業(yè)測試體系，其原因就在于人工智能處理器的多樣化，處理器的尺寸、功能、構架、制程不同，應用的領(lǐng)域、范圍、特定場(chǎng)景不同，也就導致了人工智能處理器的復雜化。”

而評測體系如果想要建立好，就必須要把所有處理器可能遇到的場(chǎng)景和問(wèn)題考慮進(jìn)去。這點(diǎn)也正是行業(yè)難點(diǎn)之所在。

所以為了吸引更多的企業(yè)參與到專(zhuān)用芯片測試中，目前DNN benchmark V0.5評測工具已經(jīng)在Github上開(kāi)源。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！