OPPO XR技術(shù)負責人 徐毅：AR體驗做得更好需要發(fā)展感知能力和交互能力

AR眼鏡這種形態(tài)是未來(lái)能夠真正連接物理世界與數字世界的新型交互方式。

2021年12月10日，由廣東省游戲產(chǎn)業(yè)協(xié)會(huì )、廣東省虛擬現實(shí)產(chǎn)業(yè)技術(shù)創(chuàng )新聯(lián)盟、深圳市科學(xué)技術(shù)協(xié)會(huì )、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì )指導，陀螺科技主辦，深圳市科技開(kāi)發(fā)交流中心、恒悅創(chuàng )客魔方協(xié)辦，行業(yè)頭部媒體游戲陀螺、VR陀螺、陀螺電競、陀螺財經(jīng)、陀螺傳媒聯(lián)合主辦的2021未來(lái)商業(yè)生態(tài)鏈接大會(huì )暨第六屆金陀螺獎頒獎典禮（簡(jiǎn)稱(chēng)“FBEC2021”）在深圳大中華喜來(lái)登酒店6樓宴會(huì )廳盛大開(kāi)幕！

在中國力量·2021 5G XR產(chǎn)業(yè)峰會(huì )現場(chǎng)，OPPO XR技術(shù)負責人 徐毅：以“數字世界與物理世界的融合”為主題發(fā)表了演講。

以下為演講實(shí)錄：

過(guò)去幾年，數字信息呈現出爆炸式增長(cháng)的狀態(tài)，數字世界正在形成。根據一些外部的統計資料預測，未來(lái)每個(gè)智能手機的月平均流量將增長(cháng)到25G，人均有5個(gè)以上的智能終端，這樣的情況下，物理世界與虛擬世界的信息交換會(huì )怎么樣改變呢？

我們認為AR眼鏡這種形態(tài)是未來(lái)能夠真正連接物理世界與數字世界的新型交互方式，AR眼鏡在計算機視覺(jué)和人工智能的加持下，未來(lái)能幫助大家快速便捷地與數字世界的三維信息和三維場(chǎng)景進(jìn)行交互。

例如，現在走在街上看到一家餐廳，通常是掏出手機，把餐廳的名字輸入到APP，看關(guān)于它的一些評價(jià)，整個(gè)交互的鏈路是比較長(cháng)的。未來(lái)在A(yíng)R眼鏡的場(chǎng)景下，有了基礎設施的支持以后，我們可以在A(yíng)R眼鏡里一下子就看到這個(gè)餐廳相關(guān)的信息，這些信息以3D的形式快速的推送到用戶(hù)的眼前，用戶(hù)可以通過(guò)簡(jiǎn)單的AR交互方式快速下單，幫助我們更加快速方便地與真實(shí)世界的三維信息進(jìn)行交互。

講完愿景，我們也看到，技術(shù)仍然是目前AR行業(yè)發(fā)展的瓶頸之一。在光學(xué)顯示上，我們需要FOV更大，顯示的效果更好；在感知方面，感知的范圍需要更大，能夠擴展到整個(gè)世界，它的能力和精度需要更好；硬件上，重量需要更輕，功耗更小，性能更強；在交互方面需要發(fā)展出來(lái)更加高效、自然的交互方式，例如腦機接口。

只有當這些技術(shù)逐步提升以后，我們才能達到理想中用戶(hù)與數字世界交互的場(chǎng)景。目前在垂直領(lǐng)域的一些場(chǎng)景也可以幫助我們去牽引這些技術(shù)的發(fā)展。

除了關(guān)鍵的技術(shù)之外，我們也發(fā)現一些整個(gè)XR行業(yè)所面臨的問(wèn)題，其中主要幾個(gè)：

首先，場(chǎng)景是什么？

第二，產(chǎn)品的形態(tài)又是怎么樣的？

第三，怎么樣去孵化內容？

第四，如何去保障這些內容的體驗。

我們沒(méi)有完整的答案，但有一些思考想跟大家分享一下。

首先是場(chǎng)景。過(guò)去這段時(shí)間，場(chǎng)景是在逐漸遷移的。在功能手機的時(shí)代，很多的功能是在PC或者筆記本上完成，當智能手機越來(lái)越強大之后，很多場(chǎng)景、功能和應用逐步從PC遷移到智能手機，我們相信未來(lái)也會(huì )發(fā)生這樣的遷移，應用會(huì )慢慢從智能手機遷移到AR眼鏡。

再看一下在形態(tài)方面的思考。目前AR眼鏡主要有三種形態(tài)：

首先，獨立一體機。它的優(yōu)點(diǎn)是可以做計算高度的定制，一體化的佩戴不需要用其他的設備來(lái)與它配合。它的缺點(diǎn)就是重量、體積偏大，無(wú)法借助手機的生態(tài)，需要獨立開(kāi)發(fā)一個(gè)生態(tài)；

第二，手機分體機。眼鏡與手機配合工作，手機提供電源、算力以及交互設備，優(yōu)點(diǎn)就是設備的輕量化，眼鏡本身可以更加輕薄。同時(shí)可以借助手機現有的應用生態(tài)，比如有一些應用可以直接通過(guò)手機在A(yíng)R眼鏡中進(jìn)行交互。但是它的缺點(diǎn)就是現在還有“一根線(xiàn)”，這是我們認為目前的缺點(diǎn)，但是未來(lái)是可以解決的。

第三，獨立的分體式。這種與手機分體式比較類(lèi)似，它的特點(diǎn)也是輕量化的設備，可以定制計算單元，用來(lái)交互、提供算力。缺點(diǎn)也是目前有一根線(xiàn)，同時(shí)也無(wú)法借助手機的生態(tài)。

綜上考慮，手機分體機形態(tài)是目前適合發(fā)展的形態(tài)，因為手機生態(tài)比較統一、手機的用戶(hù)基數大、有比較好的生態(tài)平臺，可以提供電源、算力，也可以提供交互的設備。OPPO在A(yíng)R上的思考，目前來(lái)講要充分借助手機的軟件、硬件以及相關(guān)的服務(wù)設施。

講完了形態(tài)，來(lái)講一下如何去打造一個(gè)好的AR體驗。這里列舉了好多當前的AR應用，它都有自己的特點(diǎn)和不足。目前AR觀(guān)影存在內容不足的問(wèn)題；AR游戲，可以與空間進(jìn)行一些交互，但是核心玩法還沒(méi)有成熟的定義；AR效率工具和AR辦公存在一些使用頻率和精度的問(wèn)題；某些AR輕體驗存在一些價(jià)值的問(wèn)題，總結三點(diǎn)就是：可用性、易用性和必要性。

怎么在當前的技術(shù)條件下把AR體驗做得更好？

我們認為需要發(fā)展兩種能力：感知能力和交互能力。感知能力包含sensor、算法和AI。在A(yíng)R早期可以做一些簡(jiǎn)單環(huán)境感知，例如平面識別、Marker追蹤或者利用GPS做輸入的簡(jiǎn)單環(huán)境感知。感知能力的精度將慢慢更高，它可以擴展到簡(jiǎn)單的真實(shí)物體，比方說(shuō)可以做人臉等等。 感知能力的范圍也會(huì )越來(lái)越大，會(huì )擴展到其他的IoT設備。在未來(lái)，感知會(huì )發(fā)展到整個(gè)真實(shí)世界，范圍會(huì )非常廣。我們會(huì )有一個(gè)非常好的基礎設施，類(lèi)似于地圖來(lái)幫助我們打造更好的AR體驗。我們的感知也會(huì )擴展到全部的電子設備。

另外一條維度就是交互能力。目前來(lái)講，比較成熟的是一些2D交互能力，很多應用都是利用2D交互來(lái)做AR場(chǎng)景的人機交互，慢慢會(huì )發(fā)展到成熟的3D交互能力。VR上可以看到6DoF的遙控器已經(jīng)很成熟，未來(lái)將慢慢發(fā)展出例如腦機接口這樣的自然交互能力。

感知能力決定應用場(chǎng)景的范圍，它決定了我們是局部的、房間級、樓宇級還是世界級的AR體驗。交互能力決定應用場(chǎng)景的完善度。總結起來(lái)，在現有的技術(shù)條件下打造一個(gè)比較好的AR體驗，首先要有一個(gè)完善的交互作為基礎，再去探索最大感知能力下的場(chǎng)景。

在這里我們列舉了幾個(gè)場(chǎng)景，從輕到重，從輕的耳機場(chǎng)景到最重的工業(yè)場(chǎng)景，當場(chǎng)景越來(lái)越重，我們對于技術(shù)的需求會(huì )越來(lái)越大，技術(shù)的代價(jià)也會(huì )越來(lái)越高。場(chǎng)景的輕重度+感知能力+交互成熟度，這三者需要找到一個(gè)平衡才能在當前的技術(shù)條件下打造一個(gè)完善的AR體驗。

講完我們的思考，再回顧一下OPPOAR過(guò)去幾年的工作。我們從三年以前開(kāi)始從事AR方面的研究，在2018年組建了跨部門(mén)的AR團隊，開(kāi)始打造一些底層的技術(shù)。2018年發(fā)布了ARUnit--手機端開(kāi)發(fā)平臺。我們逐漸認識到AR形態(tài)會(huì )成為手機以外不可或缺的成分，此后我們開(kāi)始進(jìn)行AR眼鏡原型機的打造，2019年底發(fā)布了AR眼鏡原型機。2020年我們在去年年底的未來(lái)科技大會(huì )發(fā)布了第二代OPPOAR Glass 2021。

第二代AR眼鏡，我們從硬件、軟件和內容上都做了一些比較大的革新。

我們采用了全新的分體設計，重量相比于第一代減輕75%，在計算性能上有40%的提升，在光學(xué)方法上選擇了Birdbath光學(xué)方案，并能夠識別21個(gè)手部關(guān)鍵點(diǎn)。

AR一個(gè)重要的功能就是人與真實(shí)場(chǎng)景之間的三維交互，基于SLAM的跟蹤是一個(gè)非常重要的能力。因此，OPPOAR Glass 2021搭載了基于SLAM的實(shí)時(shí)三維定位和重建能力。在A(yíng)R光學(xué)方案有很多不一樣的方案，需要根據場(chǎng)景和產(chǎn)品的需求去選擇合適的方案，我們選擇了Birdbath方案，因為它的顯示效果好，能夠滿(mǎn)足當前產(chǎn)品定位和應用需求。

我們在內容方面也做了一些探索，聯(lián)合愛(ài)奇藝和京東打造了AR觀(guān)影體驗和購物體驗。并打造了多人AR游戲的體驗或者基于手部跟蹤的能力并跟媒體和公眾見(jiàn)了面。

行業(yè)的成熟離不開(kāi)整個(gè)行業(yè)一起參與。今年我們舉辦了開(kāi)發(fā)者共創(chuàng )計劃。我們與高通XR創(chuàng )新挑戰賽合作，設立了OPPOAR特別獎賽道，并舉辦了一系列線(xiàn)下的開(kāi)發(fā)者沙龍活動(dòng)，我們給予參與的開(kāi)發(fā)者資金、投資的對接機會(huì )、線(xiàn)下展示的機會(huì )、媒體的資源曝光機會(huì )，以及開(kāi)發(fā)技術(shù)支持。年中的時(shí)候我們在北京、上海、成都舉辦了三場(chǎng)開(kāi)發(fā)者沙龍活動(dòng)，吸引了數百名開(kāi)發(fā)者和行業(yè)伙伴積極參與。

以上就是我今天想跟大家分享的一些心得。下個(gè)禮拜二我們會(huì )發(fā)布OPPO新一代智能眼鏡，敬請大家期待，謝謝！

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！