AIIA 公布首輪AI芯片基準評測結果

3月6日，“AI in 5G——引領(lǐng)新時(shí)代論壇”在深圳召開(kāi)。

3月6日，由國際電信聯(lián)盟、中國信息通信研究院聯(lián)合主辦，人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）和中興通訊承辦的國際論壇“AI in 5G——引領(lǐng)新時(shí)代論壇”在深圳召開(kāi)。來(lái)自全球電信運營(yíng)商、標準組織、互聯(lián)網(wǎng)企業(yè)、設備廠(chǎng)商、高校等業(yè)界各方的專(zhuān)家和嘉賓共聚一堂，探討AI賦能5G網(wǎng)絡(luò )智能化以及行業(yè)應用創(chuàng )新。會(huì )上，AIIA正式發(fā)布“AIIA DNN benchmark V0.5”首輪評估結果，評估基于A(yíng)IIA權威測試平臺，在四大典型應用場(chǎng)景下，客觀(guān)反映具有深度學(xué)習處理能力的處理器或加速器的性能水平。參與首輪評估的產(chǎn)品分別是：海思麒麟980和瑞芯微RK3399開(kāi)發(fā)板。

國內權威AI芯片基準測試

AIIA副秘書(shū)長(cháng)王愛(ài)華在論壇上介紹了評估的背景情況。為了切實(shí)反映當前AI芯片的能力，聚合更多AI芯片企業(yè)參與，推動(dòng)市場(chǎng)的健康發(fā)展，在國家發(fā)改委、科技部、工信部、網(wǎng)信辦的指導下，2018年10月AIIA聯(lián)合國內眾多具有代表性的應用企業(yè)、主流芯片企業(yè)及芯片工具企業(yè)，正式發(fā)布《人工智能端側芯片基準測試評估方案Version 0.5》，并于2018年12月啟動(dòng)首輪評估工作。

圖 | AIIA副秘書(shū)長(cháng)王愛(ài)華介紹評估背景

首輪評估結果發(fā)布

AIIA DNN benchmark V0.5測試評估主要面向端側，旨在客觀(guān)反映具有深度神經(jīng)網(wǎng)絡(luò )加速能力的處理器在完成推斷任務(wù)時(shí)的性能。AIIA總體組組長(cháng)孫明俊向業(yè)界正式發(fā)布首輪評估結果。

圖 | AIIA總體組組長(cháng)孫明俊發(fā)布首輪評估結果

孫明俊表示，首輪評估包含四大典型場(chǎng)景（見(jiàn)圖3）和兩大類(lèi)評測指標，指標包含速度（fps）和算法性能，如top1 、top5、mAP、mIoU、PSNR等。值得一提的是，這是深度學(xué)習處理器領(lǐng)域首次區分整型和浮點(diǎn)對比的Benchmark。

圖 | 評測指標及應用場(chǎng)景

AIIA DNN benchmark V0.5首輪測試對麒麟980和瑞芯微RK3399開(kāi)發(fā)板兩款產(chǎn)品進(jìn)行了評估。

海思麒麟980——適用于手機終端Mate20系列，采用7nm工藝。具體評測結果如圖4和圖5所示。

圖 | 場(chǎng)景1下海思麒麟980評測結果

圖 | 場(chǎng)景2/3/4下海思麒麟980評測結果

瑞芯微RK3399開(kāi)發(fā)板——該芯片在安防等領(lǐng)域有廣泛應用，采用28nm工藝。結果顯示,在浮點(diǎn)模型不需要定點(diǎn)化重新訓練的情況下,int8計算以精度損失最大為1%的代價(jià),達到了相對于浮點(diǎn)計算兩倍的性能（見(jiàn)圖6）。

圖 | 瑞芯微RK3399開(kāi)發(fā)板評測結果

評估工具開(kāi)源

AIIA DNN benchmark V0.5測試評估工具采用開(kāi)源方式，支持安卓系統，易于推廣到所有POSIX 兼容系統中，且用戶(hù)可以根據項目文檔，自行添加一個(gè)框架或者一個(gè)新模型。面向未來(lái)的市場(chǎng)需求，AIIA DNN benchmark項目將持續更新。

孫明俊介紹，v0.5版本的Benchmark工具可以對基于CPU/GPU/DSP/NPU的終端推斷任務(wù)進(jìn)行評測，支持評測的機器學(xué)習框架包括TensorFlow/Caffe。目前已經(jīng)完成的移動(dòng)端適配環(huán)境包括HiAI /SNPE/Tengine /TensorFlow Lite/ MACE/ NCNN 等。

項目代碼已經(jīng)開(kāi)源到Github，鏈接為: https://github.com/AIIABenchmark/AIIABenchmark

v1.0 版評估方案即將發(fā)布

會(huì )上，西安交通大學(xué)任鵬舉教授對AIIA DNN benchmark V0.5首輪評測的結果進(jìn)行了解讀，并向業(yè)界公布了評估方案的后續推進(jìn)計劃，AIIA DNN benchmark項目v1.0 正式版預計將于今年上半年正式發(fā)布。

圖 | 西安交通大學(xué)任鵬舉教授解讀v0.5版本評估結果

圖 | v0.5版本評測結果分析

圖 | v0.5版本評測結果分析

最后，ARM中國AI技術(shù)市場(chǎng)經(jīng)理分享了題為《ARM中國周易開(kāi)放AIoT應用平臺》的演講。他表示，ARM人工智能周易平臺已順利對接AIIA DNN Benchmark項目，旨在助力芯片公司為ARM芯片取得客觀(guān)公正的AI性能評估報告，同時(shí)也方便應用算法公司的芯片選型。

圖 | ARM中國AI技術(shù)市場(chǎng)經(jīng)理發(fā)表演講

未來(lái)，AIIA將順應行業(yè)發(fā)展需要，持續迭代評估規范。AIIA DNN benchmark項目v1.0 正式版的評測對象將進(jìn)一步豐富，覆蓋語(yǔ)音、自動(dòng)駕駛、安防等應用場(chǎng)景下的AI芯片?？梢灶A見(jiàn)，基于開(kāi)放、共贏(yíng)的產(chǎn)業(yè)生態(tài)，AIIA DNN benchmark項目將吸引更多企業(yè)與開(kāi)發(fā)者加入。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！