七鑫易維彭凡演講實(shí)錄：眼球追蹤技術(shù)讓VR更“人性”

眼球追蹤技術(shù)不僅是目前全球最前沿的機器視覺(jué)技術(shù)，還是最為人性的VR技術(shù)。

2016年4月21日，在鎂客網(wǎng)于上海世博展覽館主辦的VR主題論壇上，七鑫易維副總裁彭凡發(fā)表了題為《眼球追蹤技術(shù)——讓VR更“人性”》的主題演講。彭凡表示，眼球追蹤技術(shù)是目前全球最前沿的機器視覺(jué)技術(shù)，是最為人性的VR技術(shù)。七鑫易維作為技術(shù)型公司，希望在未來(lái)能為行業(yè)提供眼控技術(shù)標準，將注視渲染做到極致。

以下是七鑫易維彭凡的演講實(shí)錄：

目前，眼球追蹤技術(shù)已經(jīng)在國外的醫療領(lǐng)域和廣告領(lǐng)域里有一些應用了。比如說(shuō)，對于像霍金這樣的帕金森綜合證患者或者是一些全身都不能動(dòng)的人群來(lái)說(shuō)，能用眼睛來(lái)打字、控制電腦是非常重要的。這樣的技術(shù)在國際上我們叫做眼控溝通輔具。

眼球追蹤技術(shù)是目前全球最前沿的機器視覺(jué)技術(shù)，它的原理就是用眼控儀捕捉用戶(hù)頭部運動(dòng)和眼球轉動(dòng)的信號，實(shí)時(shí)計算出眼睛的注視點(diǎn)方向。

七鑫易維作為技術(shù)型公司，認為當下VR行業(yè)有以下四個(gè)的瓶頸。首先任何技術(shù)的交互都是非常重要的，現在的VR交互大部分還是基于控制器，但是控制器并不能給用戶(hù)帶來(lái)真實(shí)感，而虛擬現實(shí)的特性之一就是真實(shí)感。未來(lái)VR的交互一定是機器去適應人而不是人去適應機器的。

人在進(jìn)行信息獲取時(shí)，有80%以上信息是來(lái)自于視覺(jué)的。所以說(shuō)，未來(lái)VR體系中的交互技術(shù)必定會(huì )是眼球追蹤、語(yǔ)音識別、手勢識別、動(dòng)作捕捉的集成。

第二個(gè)問(wèn)題是顯示。不知道大家在體驗VR的時(shí)候有沒(méi)有覺(jué)得畫(huà)面不夠清晰？現在大多的設備所能達到的單眼分辨率只有1K，而且計算機已經(jīng)無(wú)法進(jìn)行渲染了。但是如果想要用戶(hù)在體驗VR時(shí)有身臨其境的感覺(jué)，那么左右眼的畫(huà)面分辨率就必須要達到8K。

第三個(gè)是計算。如果我們想要擁有1000赫茲的渲染刷新率和單眼8K的分辨率，那么對計算機性能的要求就相當的高了。但是，現在市面上具有上好性能的計算機價(jià)格都非常的高，怎么把對計算機的要求降下來(lái)就變得尤為重要了。

最后一個(gè)是內容。我一直覺(jué)得內容不是一個(gè)很大的問(wèn)題，因為當整個(gè)產(chǎn)業(yè)鏈的技術(shù)標準確定之后，我們的內容制造商是可以像智能手機一樣快速的去復制內容的。

眼球追蹤技術(shù)承擔著(zhù)什么作用呢？上面這張圖里的電腦屏幕上所顯示的是一個(gè)體驗者眼神的校準頁(yè)面。眼控交互可以讓VR更人性，讓我們所看到的VR畫(huà)面中任何一個(gè)物體或任何一個(gè)圖標，都是出于人眼的自然反應。

每一個(gè)人在看東西時(shí)的自然反應都是先用眼睛去看的，只有在需要看眼睛視覺(jué)范圍外的東西的時(shí)候才會(huì )轉動(dòng)頭部?？墒钱斈忝奎c(diǎn)一個(gè)圖標都必須要進(jìn)行頭部的轉動(dòng)的話(huà)，就會(huì )覺(jué)得用頭去看每一個(gè)圖標是非常累的。在實(shí)驗室的測試結果中表明，眼動(dòng)交互特別是針對于二維UI來(lái)說(shuō)其效率可以提高40%，這是在單純的UI交互上比手勢識別、語(yǔ)音識別還要快的一種交互方式。

除了交互以外，注視點(diǎn)渲染也會(huì )為整個(gè)VR產(chǎn)業(yè)革命帶去很大影響。現在VR設備的畫(huà)面之所以不夠清晰、計算量高，是因為我們對于渲染的要求高。但是，我們戴上VR頭盔所看到的畫(huà)面也只是注視點(diǎn)所在的位置而已，旁邊的畫(huà)面是看不到的。這和我們現實(shí)生活中的真實(shí)對焦一樣，眼鏡看任何東西都是有焦點(diǎn)的，是接收不到焦點(diǎn)以外的信息的。

所以，在做VR渲染的時(shí)候，只渲染畫(huà)面注視中心的位置是非常實(shí)用的。也就是說(shuō)，我們只對注視中心的畫(huà)面進(jìn)行100%的渲染，將注視中心邊緣的畫(huà)面按照一定的比例進(jìn)行像素點(diǎn)和分辨率的降低，這樣就能夠有效的提升渲染速度以及降低渲染的計算量了。

在游戲當中，眼控技術(shù)應用的并不多，這里舉幾個(gè)簡(jiǎn)單的例子，例如菜單的調用。一般情況下，我們的游戲畫(huà)面中是不會(huì )顯示菜單的，只有當玩家將眼鏡的注視點(diǎn)放到畫(huà)面的左上角或右上角時(shí)，菜單才會(huì )顯示出來(lái)。

另一個(gè)例子就是眼控手電筒。在游戲中特別是恐怖類(lèi)游戲中，玩家的眼睛就是手電筒，眼睛的注視點(diǎn)就是手電筒光聚焦的那個(gè)點(diǎn)，這樣一來(lái)，游戲的恐怖效果就會(huì )更強烈一些。

隨著(zhù)現實(shí)中戰斗機性能的越來(lái)越高，未來(lái)的戰斗機在對戰中很有可能就是用眼神去進(jìn)行目標鎖定的，因為這種鎖定方式是最快的。七鑫易維目前做了一個(gè)游戲，是一款戰斗機瞄準射擊游戲。玩家可以用眼神去鎖定戰斗機，用頭部的轉動(dòng)來(lái)控制戰斗機的視野。對于VR來(lái)說(shuō)，眼控技術(shù)其實(shí)就像是一個(gè)沒(méi)有確定鍵的鼠標。

七鑫易維是全球第一個(gè)做到全視場(chǎng)角追蹤的公司。為什么要強調是全視場(chǎng)角呢？因為如果我們的追蹤技術(shù)只能追蹤到畫(huà)面中心區域的話(huà)，計算機就不知道還有邊緣的部分了，那么追蹤的效果就會(huì )大打折扣。

要做高精度、低延遲的注視點(diǎn)渲染，需要隨時(shí)隨地采集到每一個(gè)人的注視點(diǎn)數據，這個(gè)數據的延遲必須非常小，因為每個(gè)人眼動(dòng)的速度非常的快，七鑫易維現在已經(jīng)可以做到120赫茲到380赫茲了。

第三個(gè)就是防抖。用戶(hù)在戴上頭盔后難免身體會(huì )隨著(zhù)畫(huà)面進(jìn)行一些運動(dòng)，但是這會(huì )造成眼睛和傳感器之間的劇烈抖動(dòng)，而這種抖動(dòng)會(huì )影響圖像的呈現效果。做好防抖，就是為了給用戶(hù)更好的體驗。

七鑫易維近期會(huì )跟高通、AMD這樣的很多芯片上游公司進(jìn)行合作，幫助他們做注視點(diǎn)渲染。希望在不久的將來(lái)，VR行業(yè)里面就會(huì )出現由七鑫易維所提供的眼控技術(shù)標準。

我的演講到此結束，謝謝大家。

關(guān)注鎂客網(wǎng)微信公眾號（im2marker），將持續推出更多關(guān)于本次VR論壇精彩內容。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！