歡創(chuàng )科技創(chuàng )始人 周琨：從雙目到四目是一個(gè)趨勢

相較于四目，雙目有一個(gè)局限性，FOV不夠大，FOV小的話(huà)會(huì )不斷超出FOV的視野范圍，導致用戶(hù)經(jīng)常遇到初始化的問(wèn)題。

2021年12月10日，由廣東省游戲產(chǎn)業(yè)協(xié)會(huì )、廣東省虛擬現實(shí)產(chǎn)業(yè)技術(shù)創(chuàng )新聯(lián)盟、深圳市科學(xué)技術(shù)協(xié)會(huì )、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì )指導，陀螺科技主辦，深圳市科技開(kāi)發(fā)交流中心、恒悅創(chuàng )客魔方協(xié)辦，行業(yè)頭部媒體游戲陀螺、VR陀螺、陀螺電競、陀螺財經(jīng)、陀螺傳媒聯(lián)合主辦的2021未來(lái)商業(yè)生態(tài)鏈接大會(huì )暨第六屆金陀螺獎頒獎典禮（簡(jiǎn)稱(chēng)“FBEC2021”）在深圳大中華喜來(lái)登酒店6樓宴會(huì )廳盛大開(kāi)幕！

在中國力量·2021 5G XR產(chǎn)業(yè)峰會(huì )現場(chǎng)，歡創(chuàng )科技創(chuàng )始人周琨：以“從雙目到四目，XR空間定位技術(shù)的發(fā)展”為主題發(fā)表了演講。

以下為演講實(shí)錄：

今天我演講的題目是“從雙目到四目，XR空間定位技術(shù)的發(fā)展”，內容由四個(gè)部分組成：

首先介紹一下AR/VR視覺(jué)空間定位的技術(shù)?？臻g定位主要分為外定位和自定位兩個(gè)技術(shù)流派，外定位叫Outside-in，將傳感器和攝像機安裝在外部，從外向內來(lái)觀(guān)察活動(dòng)的物體或者人物。它的特點(diǎn)：安裝和使用比較復雜，但是精度比較高，視角有限，容易被遮擋。比較常見(jiàn)的像OptiTrack，應用領(lǐng)域是影視動(dòng)捕、VR、工業(yè)機器人等等。

第二種叫自定位（inside-Out），相機或傳感器往往設置在頭盔上，從內向外觀(guān)測視覺(jué)，比如vSlam，特點(diǎn)是便攜、視角理論無(wú)限大、定位精度相對較低，應用領(lǐng)域是移動(dòng)機器人等。在VR方面應用得比較廣泛的就是Oculus第一代產(chǎn)品OculusRift，采用外定位技術(shù)來(lái)做定位，把相機安裝在應用環(huán)境的外部，通過(guò)相繼觀(guān)測使用者頭部或者手部所佩戴物體上面的Marker來(lái)定位頭部和手部的空間位置。

前幾年的時(shí)候已經(jīng)逐漸被后面Inside-Out所替代了，替代的主要原因就是成本和安裝便捷性的問(wèn)題。這些年越來(lái)越多的公司采用自定位。自定位方案有兩種細分的流派：

一種是基于Marker，手部定位就是Marker，特點(diǎn)是定位精度比較高，適用于高速和高精度的定位場(chǎng)景；

另外一種是基于無(wú)marker，頭部的定位就是無(wú)marker的方式，安裝比較方便，精度低一些，容易受到環(huán)境的影響。從外定位和自定位比較起來(lái)看，有很多指標說(shuō)明它們的區別.

從精度上看，外定位高一些，可以做到毫米級；自定位只能做到厘米級。兩者延遲差不多?？梢苿?dòng)范圍，外定位一定要在環(huán)境中布置一圈攝像頭，在此基礎上才能實(shí)現外定位；成本，外定位的安裝成本和使用成本比較高，比較麻煩.

自定位非常方便，所以在C端應用上非常受歡迎，這也是為什么Inside-Out越來(lái)越流行的原因。外部傳感器，外定位需要設置攝像機，自定位不需要；抗遮擋方面，外定位會(huì )受到影響，而自定位是不受影響。

說(shuō)一下公司在inside-Out上的一些積累。公司從2015開(kāi)始研究AR/VR的定位，開(kāi)始研究的是外定位，后來(lái)切換到了自定位，我們基于雙目做的自定位技術(shù)，在研究Inside-Out的時(shí)候我們面臨了幾個(gè)方面的挑戰。

第一，手柄上面光帶方案的設計難度很大，別小看Oculus上面小小的光帶，有很多LED，LED的數量、布局都有講究，另外它的大小和尺寸很關(guān)鍵。做技術(shù)的人都喜歡光帶設計得大一點(diǎn)，大一點(diǎn)容易識別，但是作為消費者場(chǎng)景來(lái)講不太好，安裝不方便，用起來(lái)也不美觀(guān)，對于C端產(chǎn)品的銷(xiāo)售肯定不利的，因此兩者之間需要形成平衡，而且我們作為技術(shù)公司，開(kāi)發(fā)的時(shí)候還要時(shí)時(shí)刻刻注意專(zhuān)利的問(wèn)題。因為AR/VR是一個(gè)全球競爭的舞臺，Oculus和微軟在這個(gè)領(lǐng)域布局已經(jīng)很多年了，因此要注意專(zhuān)利的規避，這是第一個(gè)難點(diǎn)。

第二，初始化的問(wèn)題。因為CV方案最大的痛點(diǎn)和難點(diǎn)就是視場(chǎng)角的問(wèn)題，Controller會(huì )超過(guò)視線(xiàn)范圍，超出范圍回來(lái)之后，要對于攝像機進(jìn)行初始化，初始化做得不好就會(huì )延遲初始化或者卡頓，最好在攝像機一幀的時(shí)間內完成初始化的工作。這對于初始化的算法有很高的要求，需要快速初始化才能讓消費者感覺(jué)不到延遲和卡頓，很快自然而然追蹤手柄正確的位置。

第三，多個(gè)Controller交叉、重疊、遮擋的情況的處理，出現重疊之后不能讓它出現漂移和出錯，這在算法設計當中是非常大的難題。

前面這些是五星級的難題。后面還有三個(gè)難題：

第一，為了降低成本和功耗，不可能把頭部追蹤的Camera和手部的Camera分開(kāi)，Camera既要實(shí)現頭部追蹤，也要進(jìn)行手部追蹤，要十分復用，這需要做到切換，這就要避開(kāi)專(zhuān)利的問(wèn)題；

第二，高速跟蹤的問(wèn)題，手里拿的Controller最快達到7秒，高速運動(dòng)之下，咱們手部的算法是否適合運動(dòng)的姿態(tài)；

第三，把算法移動(dòng)到嵌入平臺的問(wèn)題?，F在都要跑一體機，像高通、麒麟海思這樣的平臺，處理性能還是有區別的，怎么讓算法跑到平臺上，不再占用CPU，需要把DSP用好，這也是一個(gè)挑戰。

現在已經(jīng)完成了第一代XR雙目定位方案的一個(gè)研發(fā)，推出來(lái)的產(chǎn)品實(shí)現了inside-Out雙目的追蹤，FOV是170度，而且可以使用低成本，Camera微機分布就可以了。

這是我們在實(shí)踐過(guò)程中得到的參數，包括傳感器數量、分辨率、幀率、視場(chǎng)角、最大距離、動(dòng)態(tài)的角度、精度、動(dòng)態(tài)的位置精度、預算延遲以及占用的實(shí)際功耗和CPU占用率，這是我們實(shí)際測量出來(lái)的結果。

從雙目開(kāi)始到四目是一個(gè)趨勢。因為我們在研發(fā)過(guò)程中和與客戶(hù)的對接過(guò)程中發(fā)現一個(gè)問(wèn)題：雙目有一個(gè)局限性，FOV不夠大，FOV小的話(huà)會(huì )不斷超出FOV的視野范圍，導致用戶(hù)經(jīng)常遇到初始化的問(wèn)題。

總之，它的效果體驗不如四目方案好，因此我們往四目方案演進(jìn)。但演進(jìn)并非簡(jiǎn)單地把兩個(gè)攝像頭換成四個(gè)攝像頭，將攝像頭進(jìn)行堆砌，要處理的問(wèn)題很多。因為四目擴展了范圍，因此交疊的區域小了，鏡頭的畸變非常厲害，怎么做呢？要做到非常高精度的定位才行，這是難點(diǎn)。二是運算量大了很多，雙目變成四目，運動(dòng)量翻書(shū)了一番，但對于四目的處理量又不能很大。

將性能做一個(gè)提升，FOV從170度變成220度，垂直視角增加了一倍，另外在動(dòng)態(tài)的角度定位誤差和位置定位誤差方面也進(jìn)行了大幅的優(yōu)化。

我們看一下雙目和四目的對比，這是我們的演示視頻，左邊是雙目定位，右邊是四目定位方案。每一幅圖左邊是原始圖象，右邊是它所還原出來(lái)的六軸的姿態(tài)，我們看一下演示的視頻。

演示過(guò)程中，用戶(hù)會(huì )出現各種各樣的動(dòng)作，比如有遮擋、交叉、重疊，還會(huì )把手伸到后方再拿出來(lái)，讓我們實(shí)現初始化的過(guò)程。追蹤系統還是能夠非常靈活和穩定地追蹤它的效果和位置。右側是我們四目的追蹤系統，運動(dòng)起來(lái)使它的范圍大幅擴大了，這樣使得用戶(hù)體驗更好，避免它超出這個(gè)基線(xiàn)之后需要用IMU來(lái)追蹤的問(wèn)題，使得它的體驗會(huì )更加流暢和連貫。

另外，這里面要解決好的問(wèn)題還包括，用戶(hù)使用過(guò)程中或者參加展會(huì )，會(huì )遇到環(huán)境光干擾的問(wèn)題，這需要在我們的算法上進(jìn)行比較好的處理。這是我們的對比結果，從視場(chǎng)角到定位精度再到延遲，能看到我們有很大的提升。

我們公司2014年成立，是一個(gè)專(zhuān)注于做高精度定位傳感器的公司，公司成立以來(lái)一直做高精度定位的算法以及算法芯片的研發(fā)。目前我們主要的產(chǎn)品線(xiàn)是在機器人層面的產(chǎn)品線(xiàn)，做激光雷達，里面的芯片也是我們設計的。

目前我們在行業(yè)里是頭部供應商的定位。同時(shí)，第二條線(xiàn)是在A(yíng)R/VR領(lǐng)域，從2015年開(kāi)始做AR/VR的工作，2015年的時(shí)候與愛(ài)奇藝合作，為它們提供外定位方案的解決方案。今年年初的時(shí)候完成了2億的B輪融資。

這是我們公司的主營(yíng)業(yè)務(wù)：

第一，機器人里面的激光雷達，包括這里面的三大廠(chǎng)商，石頭、科沃斯、小米，其中有兩家都是我的客戶(hù)，出貨量今年達到將近200萬(wàn)臺；

第二，VR領(lǐng)域，專(zhuān)門(mén)為客戶(hù)提供高精度6DoF的模組；

第三，工業(yè)醫療領(lǐng)域提供高精度定位系統，中國商用飛機公司也是我們的用戶(hù)。

這是我們公司的愿景，致力于成為全球計算機視覺(jué)空間定位領(lǐng)先的企業(yè)。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！