七鑫易維新出VR眼球追蹤技術(shù),打破傳統虛擬現實(shí)玩法
眼控VR全視場(chǎng)角追蹤技術(shù),創(chuàng )造虛擬現實(shí)新需求。
現在已經(jīng)出現了不少360度全景相機,可以進(jìn)行全視角的體驗。然后也有不少VR設備具備這一功能,但是一直都沒(méi)能實(shí)現眼控的VR全視場(chǎng)追蹤。國際上知名的SMI、Tobii等眼球追蹤技術(shù)公司也還沒(méi)有對外公布這方面的任何消息,或許可以將希望放在國內眼球追蹤技術(shù)公司上。
近日,有消息顯示,七鑫易維的眼控VR已經(jīng)成功研發(fā)出來(lái)了,目前已經(jīng)進(jìn)入測試階段,實(shí)現了眼控交互和局部渲染的功能。
從技術(shù)層面上來(lái)說(shuō),VR設備上的眼控技術(shù)與電腦上的眼控技術(shù)有很大的不同,使用條件和結構都存在很大的限制,而在光學(xué)設計和追蹤算法上面也要精細和復雜的多。
用戶(hù)使用VR設備時(shí),眼球和設備的距離非常小,瞳孔、虹膜、眼球都不在攝像頭的正面,甚至還會(huì )被眼瞼和睫毛擋住,因此傳統的算法很難準確定位到眼球,那么使用傳統追蹤方法獲取的人眼模型就會(huì )凸顯出來(lái),這時(shí)眼球的轉動(dòng)就會(huì )對圖像產(chǎn)生非常大的影響,一樣的轉角造成的運動(dòng)模糊也會(huì )變得相當大,在圖像的處理方面會(huì )加深不少難度。
因此,針對這一問(wèn)題,七鑫易維可以采用特殊的光學(xué)裝置,優(yōu)化追蹤算法,更好地捕捉人眼的特征點(diǎn),同時(shí)還不影響VR設備的體驗效果。
眼控VR的優(yōu)勢
全視場(chǎng)角的追蹤
在VR設備上的眼球追蹤范圍可以說(shuō)是幾乎達到了人眼轉動(dòng)的極限,即垂直30度,水平50度,完全覆蓋了FOV大于110°的主流VR設備。因此,按照人眼轉動(dòng)的極限值來(lái)設計追蹤方案的話(huà)就可以使得追蹤的范圍變得非常的廣,幾乎可以達到無(wú)死角覆蓋VR顯示屏幕。
高精度與低延遲
除了在追蹤范圍上有高要求之外,追蹤精度也是一個(gè)非常重要的元素。特別是體驗VR游戲的時(shí)候,更需要操作的實(shí)時(shí)性與高精度性。想要玩家幾乎感受不到延遲,就必須做到高速度的眼動(dòng)數據獲取,而眼球追蹤技術(shù)正可以很好的解決這一問(wèn)題。
防抖追蹤算法
一般的VR設備都是頭戴式的,因此大部分的VR應用都是結合頭部的動(dòng)作來(lái)實(shí)現的,但是在頭部轉動(dòng)的過(guò)程中就會(huì )發(fā)生VR設備的串動(dòng),這時(shí)想要獲取更精確的眼球數據無(wú)疑是一件相當困難的事情。
因此,這對這個(gè)問(wèn)題,七鑫易維還特別增加了防抖追蹤算法,這樣就不會(huì )因頭部的轉動(dòng)而產(chǎn)生眼球追蹤精度的偏差。
眼球追蹤技術(shù)的實(shí)現可以給VR帶來(lái)全新的玩法,比如射擊游戲中實(shí)現眼球控制目標鎖定的功能,只要玩家閉上一只眼睛,就會(huì )自動(dòng)調出瞄準鏡;或者根據玩家在場(chǎng)景中不同的注視點(diǎn)而觸發(fā)不同的劇情;當注視路口的時(shí)候就可以自動(dòng)調查地圖進(jìn)行導航;或者是注視NPC不同的部位可以觸發(fā)不同的劇情等等一系列的新功能。
除此之外也可以用于游戲菜單,不需要時(shí)可以自動(dòng)隱藏,需要時(shí)則需要通過(guò)眼控進(jìn)行觸發(fā),這樣VR界面就會(huì )顯得更加清爽。
眼控VR的市場(chǎng)前景
由于眼控技術(shù)可以帶來(lái)更加新奇的玩法和更為便捷的操作,因此不少廠(chǎng)商都非常重視這一技術(shù)的研發(fā)。而七鑫易維這款眼控VR設備,算法追蹤速度已經(jīng)達到240Hz,延遲低于5ms,實(shí)現全視場(chǎng)角追蹤。對saccade處理,即快速眼動(dòng)跟蹤主要是通過(guò)眼跳基于高速追蹤時(shí),對眼球轉動(dòng)矢量進(jìn)行處理得到,高于某個(gè)閾值就認為是眼跳。
業(yè)內人士表示,眼控技術(shù)最重要的方向不是在于控制,而是顯示的優(yōu)化與社交的實(shí)現,因為視線(xiàn)的捕捉、重建可以直接影響情感的表達。有人猜測,將來(lái)眼控VR會(huì )是頭顯設備的標準配置功能。盡管以目前的技術(shù)來(lái)看,在交互上還需要更多的內容與支持,但是從整個(gè)VR市場(chǎng)的發(fā)展前景來(lái)看,這是功能的實(shí)現都僅僅是時(shí)間問(wèn)題,七鑫易維也是更側重與交互的作用上面。
Facebook也曾經(jīng)和七鑫易維洽談過(guò),表示希望七鑫易維的眼球追蹤技術(shù)可以運用到Oculus二代的產(chǎn)品當中,而國內的公司也希望將眼球追蹤技術(shù)加入到下一代產(chǎn)品中,增加競爭的優(yōu)勢。
雖說(shuō)現在的行業(yè)內外都在說(shuō)2016年將是VR的元年,迎來(lái)真正的爆發(fā)期,在游戲和互動(dòng)娛樂(lè )上的前景已經(jīng)是非常明朗的了,但是整個(gè)VR產(chǎn)業(yè)其實(shí)依舊處于襁褓期?,F在依舊不能明確地知道什么樣的體驗才是最好的,怎樣為虛擬現實(shí)尋找更多的落地方式等等,這些問(wèn)題的答案依舊在探尋之中。除了國際知名的Oculus這樣的老大產(chǎn)品之外,國內外大大小小的VR企業(yè)都在不斷創(chuàng )新,致力于VR產(chǎn)業(yè)的發(fā)展之道。
其實(shí)眼球追蹤技術(shù)并不是一個(gè)全新的產(chǎn)物,之前早已在霍金等殘疾人士身上發(fā)揮作用,但是運用到VR領(lǐng)域還屬于一種全新的嘗試。一位業(yè)界的資深人士表示:將眼球追蹤技術(shù)運用到VR中,結合NVIDIA的Gameworks VR來(lái)做多分辨率的視口渲染(眼球聚焦的區域采用高分辨率,其它區域采用低分辨率),不失為一種可行的優(yōu)化策略;亦或是將它作為一種結合頭盔的新奇互動(dòng)方式,用在未來(lái)的VR游戲中也是可以的。但是這些構想恐怕都不能直擊行業(yè)的痛點(diǎn),而是類(lèi)似當年Leap Motion或者M(jìn)yo的做法,可能引發(fā)一個(gè)有趣的新話(huà)題,但是也難免會(huì )出現后繼乏力的現象,不能真正普及到一般使用者中間。
因此,還需要更多諸如此類(lèi)的技術(shù),不斷地去進(jìn)行更多的嘗試,不斷地去促進(jìn)虛擬現實(shí)技術(shù)更好的落地,研發(fā)出針對每一位用戶(hù)真正核心需求的產(chǎn)品,才能使得這個(gè)行業(yè)生根發(fā)芽,真正地存活下來(lái)。
最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關(guān)注技術(shù)驅動(dòng)創(chuàng )新
