ARM：讓Mali帶來(lái)更極致的移動(dòng)VR體驗

占據安卓智能手機GPU市場(chǎng)近90%份額的ARM，要不斷優(yōu)化他們的Mali，給用戶(hù)帶來(lái)最佳的VR體驗。

上周五（2016年9月2日），在南京睿悅承辦的“N+虛擬現實(shí)高峰論壇”上，ARM生態(tài)關(guān)系開(kāi)發(fā)者經(jīng)理李陳魯發(fā)表了主題為“Enabling Mobile Virtual Reality with ARM Mali（用ARM的Mali來(lái)去驅動(dòng)移動(dòng)VR）”的演講，向大家介紹了ARM的主要產(chǎn)品線(xiàn)Mali GPU，以及Mali為移動(dòng)VR做了哪些優(yōu)化。

首先李陳魯分析了ARM的GPU在現階段手機市場(chǎng)的份額，然后相應的強調了他們的主要目標是移動(dòng)VR市場(chǎng)。

談及現在的移動(dòng)VR的內容，ARM認為在現有技術(shù)的限制下，娛樂(lè )視頻內容比游戲體驗的發(fā)揮空間更大。不過(guò)他們的Mail GPU正在為更好的支持VR游戲做一些后臺工作。

ARM還從視差問(wèn)題、圖像渲染以及分辨率上闡述了VR體驗中會(huì )產(chǎn)生眩暈感的原因，并且提出一個(gè)流暢的VR體驗需要滿(mǎn)足的最低標準：延時(shí)低于16ms、刷新率大于60hz，屏幕分辨率大于2K。

最后李陳魯提到了谷歌的Daydream平臺，ARM希望和業(yè)內的合作伙伴一起推動(dòng)移動(dòng)VR的標準化。

以下是李陳魯演講的實(shí)錄：

各位來(lái)賓各位合作伙伴以及各位友商大家下午好，非常榮幸今天在這里與各位各位專(zhuān)家一起分享ARM在VR領(lǐng)域取得的小小成就，并且對未來(lái)做一個(gè)美好展望。

在座各位都是行業(yè)內專(zhuān)家，對ARM應該比較熟悉，就不多介紹。我們也和前面Imagination一樣是來(lái)自英國做IP芯片授權公司。我們的主要業(yè)務(wù)不只是集中在GPU，它還包括CPU、手機、平板電腦等智能移動(dòng)設備上很多關(guān)鍵東西。但是和英特爾不一樣，我們并沒(méi)有那樣去推動(dòng)摩爾定律，今天ARM所取得的成就都是生態(tài)圈里面的各位合作伙伴一起努力才能夠達到的。

我在A(yíng)RM做的什么呢，當然不是打醬油的，主要是照看中國地區的生態(tài)系統，包括開(kāi)發(fā)者關(guān)系，線(xiàn)上線(xiàn)下的一些活動(dòng)，同時(shí)與戰略合作伙伴能夠做一些深入的合作。比如聯(lián)合實(shí)驗室，在今年晚些時(shí)候會(huì )找一個(gè)合適的機會(huì )給大家介紹一些干貨，具體取得的一些成果。

今天有20分鐘左右，長(cháng)話(huà)短說(shuō)，今天會(huì )花一定的篇幅介紹一下ARM的產(chǎn)品線(xiàn)，內容很多，希望大家記住兩個(gè)詞就夠了，一個(gè)是“量”，第二個(gè)“有料”。

Mali字面來(lái)看其實(shí)是一個(gè)地名，但實(shí)際上在這里指ARM的一條關(guān)鍵產(chǎn)品線(xiàn)，后面會(huì )講一些關(guān)于VR的技術(shù)概念，希望大家把這個(gè)與我們產(chǎn)品聯(lián)系在一起。

然后VR有那些挑戰？任何好的產(chǎn)品之所以能夠被大家喜愛(ài)，是因為能夠解決你的痛點(diǎn)。在VR未來(lái)得發(fā)展，有哪些可能的痛點(diǎn)，有什么解決手段，最后給大家做一個(gè)總結性概括，包括ARM給大家提供什么服務(wù)，你可能會(huì )有問(wèn)題。如果不是做芯片公司，我和ARM之間有什么交集？后面會(huì )有答案。

關(guān)于A(yíng)RM 取得的一點(diǎn)成就

首先大家看一下這個(gè)圖表，Mali是多媒體處理器產(chǎn)品線(xiàn)，最關(guān)鍵一點(diǎn)就是GPU和圖形渲染處理單元。經(jīng)過(guò)多年努力，大家看到這個(gè)從2011年開(kāi)始，那個(gè)時(shí)候我們還是非常小的數字，小于50，對半導體行業(yè)來(lái)說(shuō)是起步階段。經(jīng)過(guò)5、6年發(fā)展，我們現在可以很驕傲的宣稱(chēng)ARM的GPU已經(jīng)占安卓市場(chǎng)的第一位，數字電視占75%的規模，平板電腦基本是50%，智能手機40%。大家可能很熟悉，智能手機里面第一品牌是蘋(píng)果，蘋(píng)果是用友商Imagination的GPU。把這一塊去掉，ARM在安卓份額里面基本可以很接近達到90%。2015年的時(shí)候，65家新的客戶(hù)進(jìn)入我們的生態(tài)圈。剛才介紹了GPU，GPU是第一大塊，只有GPU其實(shí)并不是非常完備的。

因為我們每個(gè)人都有智能手機，你可能會(huì )花很多時(shí)間去上網(wǎng)，去玩APP玩游戲。但事實(shí)上我們統計下來(lái)，相當大一塊用戶(hù)時(shí)間是用來(lái)觀(guān)看視頻，各種形式的視頻。

那么如何讓大家既能更好的體驗安卓系統的UI特性，同時(shí)又能夠長(cháng)時(shí)間的觀(guān)看一段高清視頻，ARM最后決定進(jìn)一步在Mali GPU基礎上拓展。這樣我們具備了整個(gè)多媒體圖形處理流水線(xiàn)每個(gè)模塊的技術(shù)。最后會(huì )推出基于Mali多媒體解決方案，包括三個(gè)組成部分，目前已經(jīng)有一些客戶(hù)正在生產(chǎn)基于這個(gè)多媒體方案的真正芯片，不久的將來(lái)會(huì )問(wèn)世，會(huì )有一些獨到的地方。

移動(dòng)VR是我們的主場(chǎng)

剛才說(shuō)了一下我們的現有產(chǎn)品線(xiàn)以及現有的生意模式，但是和VR之間有什么交集呢？關(guān)注業(yè)界動(dòng)態(tài)的朋友肯定記憶猶新。在Facebook大會(huì )的時(shí)候，在座的嘉賓并不是看著(zhù)扎克伯格，而是每個(gè)人戴著(zhù)Gear VR。這個(gè)VR設備是一個(gè)小盒子，插了三星S6智能手機。同時(shí)這款設備有一個(gè)第二代產(chǎn)品，這是VR產(chǎn)品的一種形式，也是ARM相對來(lái)說(shuō)影響力比較大的領(lǐng)域。

VR玩家肯定很熟悉外國一些優(yōu)秀的產(chǎn)品（PC VR），他和移動(dòng)VR之間區別在于后面帶了一根線(xiàn)，這個(gè)線(xiàn)給他提供非常強大的計算能力,同時(shí)也是一個(gè)累贅?？梢韵胂褚幌氯绻F在我很自由的在講臺上給大家做交流，后面綁了根線(xiàn)是很尷尬的局面。另一方面這個(gè)線(xiàn)往往也代表著(zhù)占據額外的空間，所以如果是在差旅過(guò)程中，比如在飛機上面肯定不會(huì )搬出PC接上線(xiàn)玩VR游戲，如果有移動(dòng)VR設備就可以很好的解決這些問(wèn)題。

這邊有一個(gè)圖表，來(lái)自英國第三方獨立的一家咨詢(xún)公司，它做了一個(gè)未來(lái)的預判，我們希望他能夠成真。簡(jiǎn)單來(lái)說(shuō)，2018年的時(shí)候整個(gè)VR硬件生態(tài)里面能夠產(chǎn)生5680萬(wàn)美元，針對各個(gè)年齡層次各種不同的用戶(hù)會(huì )有專(zhuān)門(mén)產(chǎn)品細分，加在一起提供一個(gè)非常多的選擇。

優(yōu)化VR視頻圖像渲染

從軟件使用率來(lái)說(shuō)，怎么劃分呢？目前看起來(lái)中低端VR設備基本上是視頻游戲對半分，你有一半時(shí)間用來(lái)玩游戲，一半是看視頻。低端設備就比例更懸殊，甚至花90%的時(shí)間看視頻，包括普通視頻。其實(shí)也包括一些現在正在崛起為VR設計的特殊視頻，這一點(diǎn)將來(lái)還是有很大的發(fā)展空間。我們現在有些光場(chǎng)技術(shù)，慢慢成熟以后在VR里面可以做的事情就更多，看到非常逼真的圖像變化，希望這一點(diǎn)能夠早日成真。

Mali GPU為了更好支持VR游戲做了哪些后臺工作？

另外一方面關(guān)于游戲，目前看起來(lái)游戲還是VR里面非常熱的，而且對于中高端VR設備來(lái)說(shuō)是非常關(guān)鍵的驅動(dòng)力，在這一塊我們會(huì )講Mali GPU為了更好支持VR游戲做了哪些后臺工作？

這是我們傳統的渲染管線(xiàn)，首先還是會(huì )得到輸入輸出，然后重新計算場(chǎng)景，之后把他做渲染，說(shuō)起來(lái)很簡(jiǎn)單，其實(shí)要細分有很多很多步驟。

到了VR有什么變化，其實(shí)就是多了一個(gè)視角，多了一個(gè)眼睛。這里面可能很多人會(huì )反應過(guò)來(lái)，聯(lián)想到俗語(yǔ)“事倍功半”，如果你不做任何處理可能會(huì )掉進(jìn)這個(gè)陷阱當中，看起來(lái)很流暢的場(chǎng)景變的非?？?。也許是無(wú)意中晃腦袋，就會(huì )發(fā)現這個(gè)場(chǎng)景跟我腦中計算的出現的情況不太一樣，會(huì )感覺(jué)到暈，這是最大的問(wèn)題，所有人都在花很多精力攻克的難關(guān)。

為什么會(huì )暈？除了場(chǎng)景渲染兩遍之外，其實(shí)還有很多其他的一些因素。因為現在對VR設備投影方式基本上就是那幾種，最為廣泛流行的是通過(guò)光學(xué)鏡片，把圖像重新變換投到視網(wǎng)膜上。還有更先進(jìn)更高端的用激光的方式投到視網(wǎng)膜上，這個(gè)設備成本還是比較高昂。

使用透鏡系統的時(shí)候，最大的特點(diǎn)是會(huì )產(chǎn)生光學(xué)的折射，所以如果不經(jīng)任何處理，看到這個(gè)世界會(huì )是一個(gè)扭曲的世界。所以我們需要做很多工作，保證你能夠看到一個(gè)真實(shí)還原，并且非常流暢的圖像。

目前為止大體解決方案基本會(huì )在圖像被渲染呈現在你雙目之前做一個(gè)后處理，后處理其實(shí)對于非VR的應用場(chǎng)景也是非常常見(jiàn)，比如一些霧化效果。在VR里面不管要不要這些效果，都必須要把這個(gè)光學(xué)變換的算法加進(jìn)去，否則大家不能接受，至于這個(gè)算法怎么實(shí)現，未來(lái)會(huì )有不同的解決方案，思路是一致的。

什么是一個(gè)流暢VR體驗呢？

這些數字是我們目前認為比較基礎的要求，小于16ms的延時(shí)，大于60Hz刷新率，大于2K的分辨率。VR中有透鏡的存在，透鏡有放大的效果，所以你可以想像一下，貼近人的臉去看，可能就看到很多放大的細節。這個(gè)細節放大出來(lái)以后，一個(gè)2K的屏真正呈現在你眼中，實(shí)際效果低很多，再低的話(huà)可能大家就不太舒服了。2K以上4K、8K當然越高越好。

不過(guò)分辨率高的屏幕對移動(dòng)VR還是有限制，大家可以了解，一方面首先是高端的供貨比較緊張，第二，如果是可插拔設備，手機屏幕隨著(zhù)分辨率提高，耗電是非常厲害的。這樣對于在不使用VR場(chǎng)景之后怎么保持電池壽命是非常挑戰的。大于60Hz刷新率還是比較大的問(wèn)題，60Hz已經(jīng)可以成為一個(gè)行業(yè)標準，哪怕提到75Hz，那就是相當大的一步。

16ms延時(shí)跟前面兩個(gè)指標（刷新率和分辨率）是有關(guān)的，我們整個(gè)VR渲染過(guò)程不僅僅渲染，還要采集輸入輸出數據，等等這樣一些工作加在一起，加上本身的掃描，他實(shí)際是一個(gè)很長(cháng)的過(guò)程。我們把渲染本身盡可能壓縮，把整個(gè)過(guò)程縮短。

Mali為VR計算量的傳輸降低帶寬成本

整個(gè)VR有很多階段，ARM來(lái)說(shuō)也沒(méi)有辦法解決所有問(wèn)題，需要和大家一起合作，做更好、更快、更省電的GPU和CPU。如果你使用了Mali GPU和CPU以及Video，它們之間會(huì )有內部壓縮算法，同樣效果之下節省很多帶寬，省很多電，同時(shí)性能會(huì )有更好的表現。

除了剛才說(shuō)做最好的硬件，我們還有很多其他的事情可以做，特別是對于A(yíng)RM企業(yè)來(lái)說(shuō)。對于整個(gè)生態(tài)，這個(gè)生態(tài)不僅僅是硬件的合作伙伴，也包括在這個(gè)生態(tài)圈里面很多做軟件的開(kāi)發(fā)者，提供內容的甚至拍視頻的人，要在一起盡可能的把整個(gè)用戶(hù)體驗提升到新的等級上面。

為了達到這一點(diǎn)，ARM其實(shí)做了很多專(zhuān)有技術(shù)，針對Video這一塊，如果采用Mali GPU加上Video，可以避免一些不需要或者不必要數據傳輸，這樣至少帶來(lái)一倍以上的帶寬節省。理想的狀況是把一系列的Mali技術(shù)放在一起使用，那么數據所在每一個(gè)階段都會(huì )是最優(yōu)處理，整體上是既省電又快速。

和谷歌Daydream合作，共同推動(dòng)建立移動(dòng)VR行業(yè)標準

最后講一下Daydream，其實(shí)它和我們還有一點(diǎn)點(diǎn)小小的距離，Daydream是未來(lái)針對高端的移動(dòng)VR的解決方案，這樣的產(chǎn)品至少要等好幾個(gè)月的時(shí)間。谷歌從最上游推廣，能夠起到非常大的作用，不至于每個(gè)廠(chǎng)商自己去做自己的實(shí)現方案，有很大的碎片。

大家應該知道Daydream是針對安卓7.0以及以后的系統，如果現在沒(méi)有辦法這么快拿到最新系統，或者說(shuō)要求非常高導致成本也非常高，我只能使用現有的硬件和軟件實(shí)來(lái)做VR解決方案。

本土的一些非常優(yōu)秀的公司，給大家提供另外一種解決的思路，類(lèi)似于你不需要Daydream也一樣可以做夢(mèng)，有了之后對我們很多重要合作伙伴是非常好的事情，代表整個(gè)移動(dòng)VR有了一個(gè)統一行業(yè)標準，萬(wàn)眾一心往一個(gè)方向努力。同時(shí)對我們未來(lái)先進(jìn)的硬件發(fā)展有一個(gè)很好的促進(jìn)作用，預計在不久的將來(lái)幾個(gè)月以后或者是明年這些高端的針對VR軟硬件會(huì )有爆發(fā)式增長(cháng)。

后面就是軟件方面，提供專(zhuān)門(mén)的擴展，不進(jìn)行細節討論，簡(jiǎn)單來(lái)說(shuō)一個(gè)是保證雙眼渲染盡可能復用，給大家多個(gè)視角觀(guān)察場(chǎng)景的擴展。

簡(jiǎn)單來(lái)說(shuō)左右可以同時(shí)處理，大家可能了解到我們人眼觀(guān)察事物的時(shí)候最中間的看的最清楚，周?chē)容^模糊，怎樣在VR渲染的時(shí)候對不太重要的區域能夠少花一點(diǎn)資源，其實(shí)可以疊加在一起的方式來(lái)做，我們在移動(dòng)上面實(shí)現的手段不完全一樣，最后取得效果差不多。

如果有機會(huì )大家可以到我們的網(wǎng)站上面下載SDK，同時(shí)如果你有任何的問(wèn)題，可以跟我們郵件聯(lián)系。大家可能都了解，在VR無(wú)當中為了處理頭部快速晃動(dòng)產(chǎn)生的暈眩，有時(shí)候需要插一些幀進(jìn)來(lái)，提前做好渲染，防備你突然看向另外一個(gè)方向。通過(guò)這樣“欺騙式”的手段，能夠獲得一個(gè)比實(shí)際性能看起來(lái)更加流暢的感受。

我們有一個(gè)完整的VRSDK，如果你有興趣從頭做起或者深入做一些定制化優(yōu)化，可以把這個(gè)SDK下載下來(lái)，是完全免費的，了解一下如何在基于Mali讓硬件更好的發(fā)揮潛能。

關(guān)于下一代VR的標準

我們看一下未來(lái)，這是我們最新的GPU Bifrost，我們?yōu)槭裁磿?huì )開(kāi)發(fā)這樣一款GPU，因為要讓移動(dòng)VR達到120hz的刷新率，4K分辨率，4毫秒的延時(shí)。VR環(huán)境里面所有東西被放大，所以打開(kāi)反鋸齒變的非常重要，移動(dòng)渲染架構上面反鋸齒是比較低的，也就是說(shuō)大家可以放心大膽使用，并不用擔心很大的性能下降。這一方面準備更進(jìn)一步的一些教程，同時(shí)希望能夠找機會(huì )和開(kāi)發(fā)者做深入交流。

我的演講基本到這里，非常感謝。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！