誕生七年的NPU,還有很長(cháng)的路要走
作為AI芯片的典型,目前華為、蘋(píng)果等廠(chǎng)商都開(kāi)始在NPU上發(fā)力。除此以外,開(kāi)發(fā)者也在努力推進(jìn)著(zhù)手機端AI應用的發(fā)展。
NPU(Neural Processing Unit,神經(jīng)網(wǎng)絡(luò )處理器),一直都是華為發(fā)布會(huì )上的熱門(mén)詞匯,這次的麒麟9000同樣將NPU標記在芯片結構圖的C位。而庫克在介紹最先進(jìn)的A14處理器時(shí),也著(zhù)重提到了NPU。
早在2013年,高通公司就提出了“Zeroth”處理器的概念,這款處理器可以模仿類(lèi)似人腦的認知能力,并實(shí)現自我學(xué)習的功能。
在高通的設想中,Zeroth的終極目標就是形成標準化的新型處理架構,并且第一次提出了NPU的概念,這種芯片已經(jīng)具備了AI芯片的雛形。
2017年,華為海思推出了麒麟970,這款芯片首次內置了獨立NPU。
在此之后,幾乎所有的手機廠(chǎng)商都將AI作為新的亮點(diǎn),一顆SoC芯片如果沒(méi)有足夠的AI算力,似乎都不能被拿到臺面上介紹。
如今距離提出NPU的概念已經(jīng)過(guò)去了七年,AI芯片在手機端的發(fā)展似乎并不如人意。
如何理解NPU
傳統CPU進(jìn)行累加計算時(shí),效率非常低,但當GPU做類(lèi)似的計算,效率就會(huì )高很多。同樣的道理,GPU主要被用來(lái)進(jìn)行圖像處理,并沒(méi)有針對神經(jīng)網(wǎng)絡(luò )計算進(jìn)行特殊優(yōu)化,這時(shí)候使用專(zhuān)業(yè)針對神經(jīng)網(wǎng)絡(luò )計算的NPU,就可以大大提高計算效率并減少功耗。
假設我們面前有一條沒(méi)有橋的河,我們應當如何過(guò)河?這時(shí)候大腦就會(huì )涌出各種想法并且比較各種方法的優(yōu)劣。
NPU的工作就類(lèi)比大腦,在手機中模擬所有可行的方案,并從中挑選一個(gè)最優(yōu)解。有了NPU之后,手機的AI性能就能得到大幅的提升。
從麒麟970的單核NPU、到最新的麒麟9000的2+1三核NPU,NPU的升級也伴著(zhù)華為的AI技術(shù)的發(fā)展,最能直觀(guān)體會(huì )到的就攝像功能帶來(lái)的進(jìn)步。
比如取景時(shí)的智能場(chǎng)景識別功能,可以讓系統快速識別拍攝的物體和場(chǎng)景,并自動(dòng)做出優(yōu)化調教。再比如被廣大消費者驚嘆的“月亮模式”,以及強大的智能防抖功能,再包括最新的物體識別。
這些功能都是通過(guò)NPU來(lái)彌補華為手機在CMOS尺寸以及ISP(圖像信號處理)上與其他廠(chǎng)商的差距。
在麒麟970推出之后,AI功能逐漸拓展,從手持超級夜景到語(yǔ)音助手、節能優(yōu)化、智慧識別、識圖翻譯......越來(lái)越多的應用場(chǎng)景都開(kāi)始運用AI加速運算,這些都得益于NPU的支持。
硬件層面,NPU可以代替CPU進(jìn)行處理,讓SoC具備了更強的本地AI運算能力(類(lèi)似于“硬解”)。相比較CPU的“軟解”,“硬解”效率更高、速度更快、功耗也更低。
但即便NPU功能十分強大,如今NPU在手機日常的應用領(lǐng)域還處于初級階段,它的重要性還遠不如CPU、GPU和ISP,屬于錦上添花的存在。
例如高通驍龍AI Engine引擎之中就沒(méi)有獨立的NPU單元,而聯(lián)發(fā)科在Helio P60/P90引入的NeuroPilot AI技術(shù)最早也是通過(guò)多個(gè)單元協(xié)同計算(APU+CPU+GPU)。
AI芯片只是第一步
有了AI芯片的支持,或許能增強手機AI能力,但目前的AI芯片卻不能很好地適配所有的軟件。
比如,很多直播APP都有實(shí)時(shí)美顏功能,可以利用降噪、顏色空間轉換實(shí)現磨皮、濾鏡等基礎功能,但使用不同的軟件可能會(huì )造成耗電量過(guò)高的異常,這就是軟件層面的不適配。
從整個(gè)市場(chǎng)上來(lái)看,目前AI芯片還處于算法主導到產(chǎn)品主導的過(guò)渡期,由于各家AI芯片的設計不同,AI方案架構方面都有不小區別,像寒武紀的“DIANNAO”、谷歌的TPU,再到華為的達芬奇架構,目前AI芯片的設計可謂百花齊放。除此以外,還有單一針對卷積神經(jīng)網(wǎng)絡(luò )的ASIC加速器,以及支持簡(jiǎn)單編程的通用型AI芯片。
這些種類(lèi)繁多的AI芯片,推動(dòng)了AI技術(shù)在手機端的普及,但不可避免會(huì )帶來(lái)一些問(wèn)題。
AI應用需要開(kāi)發(fā)者的努力
雖然各家的AI芯片都開(kāi)始集成獨立的神經(jīng)網(wǎng)絡(luò )處理單元,但是在設計上有很大不同,這意味著(zhù)在運行機器學(xué)習應用方面,幾家AI芯片在性能和能耗上有很大差別。因此,第三方開(kāi)發(fā)者是否針對幾家的芯片設計進(jìn)行優(yōu)化,或只支持某一種設計,會(huì )對系統性能產(chǎn)生重大影響。
目前,大多數移動(dòng)AI芯片在機器學(xué)習方面做了較為普適性的優(yōu)化,而對一些特定的計算方式則沒(méi)有進(jìn)行太多優(yōu)化。
就算開(kāi)發(fā)者開(kāi)發(fā)出同一款AI應用,其兼容性可能會(huì )存在很多問(wèn)題。當AI應用的開(kāi)發(fā)進(jìn)入到實(shí)際的應用和業(yè)務(wù)層面,開(kāi)發(fā)者面臨著(zhù)標準不同、API配適、軟件優(yōu)化等很多的難題。也就導致開(kāi)發(fā)者必須針對不同廠(chǎng)商的設備進(jìn)行逐個(gè)優(yōu)化。加之安卓生態(tài)比較混亂,移動(dòng)AI開(kāi)發(fā)者很可能受到更多阻礙。
就拿之前提到獲得AI技術(shù)加持的照相功能來(lái)講,除了在畫(huà)面上的提升,還是有很多人都會(huì )吐槽華為手機存在過(guò)分美顏、過(guò)度銳化、顏色失真等問(wèn)題,但這些問(wèn)題在iPhone上就很少被提及。
一直以來(lái),蘋(píng)果在照片成像上的AI技術(shù)都調教的恰到好處,不論是自帶相機還是第三方相機,“拍照真實(shí)”也成為iPhone的賣(mài)點(diǎn)之一,很多專(zhuān)業(yè)攝影師已經(jīng)選擇將iPhone作為便攜街拍設備。相比而言,“傻瓜式”的安卓手機更偏向攝影小白。
不過(guò)隨著(zhù)安卓手機廠(chǎng)商和應用開(kāi)發(fā)者不斷對系統以及APP進(jìn)行優(yōu)化,現在的安卓手機拍照也變得更加智能。
所以,AI芯片只是提供了手機AI應用的基石,真正要挖掘出移動(dòng)端AI的魅力,還需要開(kāi)發(fā)者針對AI芯片的能力開(kāi)發(fā)出合適的應用。
結語(yǔ)
目前,以AI芯片為基礎打造一個(gè)AI應用生態(tài)圈的愿望真的十分美好,但這個(gè)過(guò)程還有很長(cháng)的路要走。硬件走在了前面,軟件也要跟得上。
在未來(lái),NPU或許也會(huì )像當年FPU之于CPU一樣,成為移動(dòng)Soc芯片的標準?;蛟S在未來(lái)我們能在智能手機上體會(huì )到更棒的AI應用。
至少在現在,以NPU為首的AI芯片們,還有很長(cháng)的路要走。
最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關(guān)注技術(shù)驅動(dòng)創(chuàng )新
