超V對話(huà) | Facebook Reality Labs帶你走近VR/AR交互設計與內容開(kāi)發(fā)

本期超V對話(huà)與數字虛擬影像精英論壇合作推出特別篇，對話(huà)Facebook（臉書(shū)）虛擬現實(shí)研究實(shí)驗室（Facebook Reality Labs）高級技術(shù)美術(shù)指導劉曉雨。

今天，由VR陀螺聯(lián)合中國電信天翼云VR、人民網(wǎng)5G創(chuàng )新中心聯(lián)合打造首檔VR虛擬訪(fǎng)談節目《超V對話(huà)》第五期在天翼云VR App（4K VR版）、人民網(wǎng)5G頻道、騰訊視頻、Bilibili、優(yōu)酷、Youtube等各大視頻網(wǎng)站同步播出。

視頻鏈接https://v.qq.com/x/page/z31006v3gov.html

本期超V對話(huà)與數字虛擬影像精英論壇合作推出特別篇，對話(huà)Facebook（臉書(shū)）虛擬現實(shí)研究實(shí)驗室（Facebook Reality Labs）高級技術(shù)美術(shù)指導劉曉雨，其多年從事VR和AR相關(guān)的交互設計和3D研究開(kāi)發(fā)工作，將從VR/AR交互、內容開(kāi)發(fā)、發(fā)展趨勢等多方面帶來(lái)干貨分享。

以下為本期訪(fǎng)談的上篇：

Q：現在劉老師任職于Facebook虛擬現實(shí)研究實(shí)驗室，請介紹一下現在自己從事的工作可以嗎？

劉曉雨：我其實(shí)現在是在Facebook做研究院的一些工作，但是鑒于一些保密項目，我不能說(shuō)具體的是在做什么，我可以分享一下我過(guò)去幾年在做什么東西。

首先我剛去美國的時(shí)候，我的工作與電影和動(dòng)畫(huà)相關(guān)，然后大概是在4~5年前，我接觸到了一些交互和VR相關(guān)的東西，然后從此我就決定要多做一些和游戲、和最前沿的技術(shù)相關(guān)的一些產(chǎn)品，或者是很有娛樂(lè )性的東西。最后在過(guò)去的3~4年，我一直在做VR和AR相關(guān)或者是交互相關(guān)的游戲產(chǎn)品或各種展示、各種研究。

Q：疫情現在對FB研究的這些項目會(huì )有影響嗎？

劉曉雨：如果你公司里面有員工是要做那種需要到實(shí)驗室，需要到辦公室去做的工作；比如說(shuō)要去碰一些研究的東西、硬件什么的，可能你需要回到辦公室。但是我做的東西主要還是在軟件方面，所以說(shuō)有一個(gè)頭顯和一個(gè)電腦基本上90%以上的工作是可以的。

Q：我們先來(lái)聊一下劉老師非常擅長(cháng)的一個(gè)交互設計的部分，交互設計是一門(mén)非常深的學(xué)問(wèn)，涉及到行為學(xué)心理學(xué)，不僅要考慮到個(gè)人的一些行為習慣，還要平衡設備技術(shù)是否能夠實(shí)現，老師之前在研究一些新的交互的時(shí)候會(huì )遵循一些特定的邏輯嗎？

劉曉雨：對，會(huì )有一些不管是技術(shù)還是設計上的一些規則。比如說(shuō)首先我本身不是一個(gè)純交互設計師，我是做3D偏技術(shù)應用方面的交互，更多的是和代碼、軟件相關(guān)，不怎么把它們運用在真正的那種交互上，所以我可以更側重于在應用方面做一講解。

當我們做一款游戲或者是產(chǎn)品的時(shí)候，我們有些考量。比如說(shuō)是你設計一種交互，你適用用手做一些動(dòng)作或者是完成一些任務(wù)的話(huà)，首先你要感覺(jué)你的一個(gè)動(dòng)作會(huì )不會(huì )讓用戶(hù)感覺(jué)到疲勞。第二點(diǎn)，比如我在虛擬世界中做怎么樣的動(dòng)作，會(huì )讓這個(gè)用戶(hù)感覺(jué)在做這個(gè)動(dòng)作像跟在現實(shí)世界中一樣；比如說(shuō)你在虛擬世界做一種交互，這種交互不是比現實(shí)世界中更高效；比如說(shuō)你用一種虛擬鍵盤(pán)來(lái)打字，或者是用一種虛擬的手柄，又或者是桌子玩一些游戲，它會(huì )不會(huì )娛樂(lè )性和高效率方面比真實(shí)世界中能更好。

Q：Oculus Quest手勢識別功能近期上線(xiàn)，不久前他們也有消息稱(chēng)Facebook正在開(kāi)發(fā)PinchType的VR/AR手勢追蹤鍵盤(pán)，是一種新型的輸入方法，您認為這種方式會(huì )變成跟PC的鍵鼠一樣普及交互方式嗎？

劉曉雨：首先它也是一個(gè)鍵盤(pán)，只不過(guò)是一個(gè)虛擬鍵盤(pán)，它在虛擬世界中和真實(shí)世界中的形狀不一樣。

首先從算法上來(lái)說(shuō)，現在咱們用的是手柄，咱們的手是一個(gè)固定的動(dòng)畫(huà)，你需要按鈕來(lái)做一些動(dòng)作，展示里的手是完全自由的手，這個(gè)方面確實(shí)有挑戰。但是你可以看Oculus最近幾個(gè)月發(fā)布的視頻，公開(kāi)的視頻的進(jìn)度，你可以發(fā)現它是越來(lái)越好的，它的追蹤會(huì )越來(lái)越穩定，甚至有些可以追蹤到一個(gè)手和手之間遮擋，算法上面其實(shí)進(jìn)步是很大的。

我覺(jué)得這種挑戰可能會(huì )在幾年之內被克服得很好，有很好的進(jìn)度。但是我想說(shuō)的是哪怕算法解決了，也許這種鍵盤(pán)還是不是會(huì )很快的取代現實(shí)的那種鍵盤(pán)操作，我覺(jué)得可能有幾個(gè)原因：首先基本上現在世界上只要你用過(guò)電腦的人都會(huì )用鍵盤(pán)，這種交互你已經(jīng)用了十幾年、二十幾年、三十幾年，已經(jīng)深入到你的肌肉記憶里面，如果真的有一款新的東西進(jìn)來(lái)，不管它是虛擬的還是非虛擬的，都是需要一個(gè)很長(cháng)的時(shí)間，或者有一個(gè)群體來(lái)促進(jìn)這種概念。

舉個(gè)例子，我曾經(jīng)在紐約上學(xué)的時(shí)候，當時(shí)學(xué)校的項目是一個(gè)做交互和做3D的，各種稀奇古怪的一個(gè)專(zhuān)業(yè)，然后其中有一個(gè)同學(xué)做了一款非常有意思的展示——機械手套，可以打字，適用不同的手指的結合來(lái)激活，效率非常高，他給我們展示他的打字速度是比一般人用鍵盤(pán)打字要快。但是即使如此，他試圖把他技術(shù)推廣到學(xué)校里面，但真正想推廣起來(lái)還是挺困難的?，F在Pico的一款手柄設計，每個(gè)手柄所有的東西都是不一樣的，包括現在大家設計內容也會(huì )根據不同的手柄來(lái)設計不同的按鍵方式。

Q：您覺(jué)得現在有沒(méi)有比較好的一種方法來(lái)將它們統一，或者是說(shuō)您覺(jué)得手柄的設計應該從哪些方面來(lái)考量？

劉曉雨：我可以說(shuō)一下我的看法，首先我不是一個(gè)設計硬件的人，但是我用過(guò)很多的軟件，我也做過(guò)很多的那種游戲和應用，還有設計一些交互。我個(gè)人認為最開(kāi)始的 HTC Vive的那一套系統是不錯，但是手柄本身太笨重了，它沒(méi)有用傳統意義上游戲的旋鈕，而是一個(gè)觸摸板，其實(shí)很多玩家是有一些抱怨，就是說(shuō)它可能沒(méi)有像之前的Play Station，PS一樣。

比如說(shuō)Oculus Touch的，它的好處是很符合手型，包括它有一些較近距的感應器，就是你的手放在不同的控制器上，在3D世界里你可以看到你的手張合，它不是一個(gè)純按鍵，它的識別是比較有突破性的，對游戲體驗是很有幫助的。和Vive的第一款控制器相比，我感覺(jué)他有一點(diǎn)像Oculus控制器，Pico的控制器其實(shí)算是我第二次用，感覺(jué)到重量其實(shí)挺輕的，但是我用時(shí)間不長(cháng)，沒(méi)法做什么評論。

我最近最喜歡的是光手追蹤的，這是比較重要的一個(gè)突破。我感覺(jué)Vive和HTC可能是一個(gè)硬件生產(chǎn)廠(chǎng)，受到了Oculus Touch的啟發(fā)，第二代它有容器桿，很多游戲的移動(dòng)都是用游戲桿，這個(gè)是符合傳統游戲玩家的感覺(jué)的，再就是比較貼合手型，確實(shí)是最新的一種發(fā)展趨勢。

Q：現在其實(shí)您的觀(guān)點(diǎn)會(huì )不會(huì )就覺(jué)得沒(méi)有哪種代替哪種，或者是完全就只有一種了？

劉曉雨：我覺(jué)得現在的硬件還是沒(méi)有一個(gè)完全統一的交互形式。比如說(shuō)我的按鈕，我的A在上面，B在下面；或者是我的按鈕，多大多小，在左在右；還有你的手拿的是一個(gè)長(cháng)柄，還是個(gè)圓球，這些都不一樣的。我個(gè)人覺(jué)得最終手勢或者是純的手，甚至是其他身體部位的識別，會(huì )是一個(gè)最終的趨勢。

如果你真的是可以隨時(shí)隨地在3D里探測到自己的手，交互也許不是按鈕的形式了，而是可以拿一個(gè)觸摸板，你可以用另一只手在上面劃，這樣的話(huà)不管是對游戲開(kāi)發(fā)者還是對用戶(hù)，其實(shí)都是一個(gè)非常符合直覺(jué)的一種方式，可以統一很多的因素。比如說(shuō)有的游戲是為knuckles設計的，有的游戲是為Oculus Touch設計的，你把適用于這款控制器的游戲，放到其他的控制器上玩可能就很不舒服。我覺(jué)得最終的趨勢可能會(huì )是手部識別，或者是你可能手上會(huì )有一些硬件，硬件是為了輔助你的手部識別，而不是一種按鈕的不同擺布。其實(shí)我們最近也看了Oculus Quest上的手勢，它已經(jīng)能夠做到很精準了，實(shí)際上面對一些比如說(shuō)很復雜的操作，能夠實(shí)現的還是相對比較少。

Q：在內容的開(kāi)發(fā)上，尤其是針對最容易產(chǎn)生旋暈的移動(dòng)方式，不管是平移、勻速平移、瞬移，還有擺臂來(lái)實(shí)現移動(dòng)，有很多不同的移動(dòng)方式。針對這個(gè)最基礎的問(wèn)題，你認為在移動(dòng)交互設計上什么方式最適合VR？

劉曉雨：我一直在想這個(gè)問(wèn)題，并沒(méi)有一個(gè)精確的答案。因為我之前在做游戲的時(shí)候，本身是一個(gè)其實(shí)挺容易眩暈的人，比如說(shuō)之前參與過(guò)一款 Steam上面的VR游戲，當時(shí)我們做完這個(gè)游戲，需要做不停的測試，包括也需要找一些玩家來(lái)做預測試，我自己暈自己的游戲，但是很多玩家卻沒(méi)事，這個(gè)可能是因人而異。

我們當時(shí)研究不同的方式，比如說(shuō)有瞬移、黑起黑落的瞬移，或者是要用一些手勢來(lái)跑步、擺臂，但是其實(shí)每個(gè)人有每個(gè)人不同的傾向，我個(gè)人傾向的是瞬移加黑起黑落。另外一點(diǎn)，就是性質(zhì)在真實(shí)的移動(dòng)，我覺(jué)得這可能比較困難，在船上、飛機上、車(chē)上，否則我覺(jué)得這種移動(dòng)方式是不可能涵蓋很大范圍游戲的題材。除此以外，我目前沒(méi)有想到別的，你要是問(wèn)我最覺(jué)得什么是對的，我肯定覺(jué)得是讓我最舒服的。

Q：瞬移就很出戲，它在游戲里面有點(diǎn)類(lèi)似于作弊，不然很多時(shí)候要靠跑跟其他怪物來(lái)斗智斗勇，如果能夠瞬移的話(huà)，相當于作弊了。

劉曉雨：這個(gè)也是看有沒(méi)有游戲開(kāi)發(fā)者能夠把這種所謂的作弊和帶引號的作弊和游戲連在一起，比如說(shuō)有些人喜歡用瞬移，有些人喜歡用手勢，但是你設計一款游戲，讓做手勢的人和瞬移能達到難度是一樣的。舉個(gè)例子，你可以瞬移的時(shí)候掉一點(diǎn)血，或者是你少一些其他的屬性之類(lèi)的，反正就是一個(gè)挺復雜的問(wèn)題，需要平衡。

Q：國內近期上的一個(gè)VR游戲《半衰期：愛(ài)莉克斯》，不管是抓石頭，開(kāi)門(mén)拿著(zhù)筆去畫(huà)畫(huà)，這些都跟真實(shí)交互是一樣的，您覺(jué)得怎么來(lái)看待這種交互設計？與現有的硬件設備存在的矛盾點(diǎn)該怎么解決呢？

劉曉雨：有些VR醫療里面要做的很細，我想要捏取某個(gè)東西，但是現在的手柄其實(shí)只能夠做到這種大范圍的抓取動(dòng)作，其實(shí)還是挺難平衡的。首先交互是對的，更開(kāi)放了，更多手勢，而不是一個(gè)按鈕。為了游戲性的話(huà)，還是需要按扭來(lái)做一些很堅定的動(dòng)作，基本上我覺(jué)得這個(gè)趨勢是好的。手勢和手的識別是一種趨勢，有時(shí)候如果你的手拿一個(gè)東西，哪怕手勢識別到了，可能你沒(méi)有回饋，你就不知道你在摸這個(gè)東西。你就會(huì )需要一些物理上的回饋，有一種可能會(huì )用手套，手套本身當然什么方法都可以了，可以?xún)韧庾坊蛘咄鈨茸?，它本身有馬達，傳感器也可以追蹤。

Q：從劉老師個(gè)人關(guān)于技術(shù)美術(shù)方面的經(jīng)歷來(lái)看，我看您自己其實(shí)也做了挺多的VR游戲，從您TA的角度來(lái)看，您認為在一個(gè)VR作品里面，TA的作用和價(jià)值會(huì )有多大呢？他是不是非常必要的一個(gè)角色呢？

劉曉雨：TA是一個(gè)很典型的多功能角色，你需要知道一些3D，你需要知道一些程序技術(shù)，兩方面基本都要碰，這是TA本身存在的一個(gè)價(jià)值。小團隊也應該有技術(shù)美術(shù)這個(gè)職位，哪怕只有一個(gè)人。舉個(gè)例子，比如說(shuō)你有兩個(gè)島，你只有一個(gè)橋你也可以過(guò)去，但是你如果一條橋都沒(méi)有，你過(guò)不去。

TA在團隊里頭是作為中間橋梁的作用。TA在VR團隊中的一個(gè)主要工作內容，舉個(gè)例子，TA是技術(shù)美術(shù)，首先其中一個(gè)職能是要做一些給藝術(shù)家使用的工具，或者是做一些讓藝術(shù)家之間，或藝術(shù)家和工程師之間相互溝通的工具。就是工具的不同類(lèi)型也分很多種，也會(huì )做一些跟渲染和優(yōu)化相關(guān)的工作，比如說(shuō)3D藝術(shù)家做一個(gè)模型，技術(shù)美術(shù)保證它的質(zhì)量，并保證它在機器里能運轉。TA是一個(gè)帶引號的無(wú)所不能的一個(gè)職位，如果你不是一個(gè)多模型的，如果你不是一個(gè)做前期概念設計的，如果你不是一個(gè)做程序的，如果你不是一個(gè)科學(xué)家，那么你可能就是TA。

Q：TA涉及工具制作是指，完全需要自己根據需求來(lái)開(kāi)發(fā)出來(lái)嗎？

劉曉雨：首先這些引擎里面是帶有這些工具，游戲引擎開(kāi)發(fā)商做的工具往往是有必要的工具他們才會(huì )做，但是往往呢，TA要做的一些工具，你在做一個(gè)特別的游戲，或者一個(gè)特別的電影類(lèi)的一個(gè)展示或者是一種體驗，這種工具游戲開(kāi)發(fā)商是不屑于開(kāi)發(fā)，所以這些活要不然就是會(huì )落在一個(gè)團隊里的叫圖形工程師上面，要不然就是TA上面。因為T(mén)A是介于圖形工程師和3D藝術(shù)家之間的一個(gè)職位。

Q：在做優(yōu)化上面，有一些比較好的建議嗎？

劉曉雨：關(guān)于從PC端植入到移動(dòng)端的優(yōu)化上面，3D里面是要用幾何體的三角形來(lái)構成一個(gè)面數來(lái)構成模型，面數越少越好，當然材質(zhì)用的越少越好。這兩個(gè)是比較常用的，也是基本上所有游戲都會(huì )考慮到的一個(gè)因素。但是到VR里這個(gè)就會(huì )變得更加嚴苛，比如說(shuō)你在VR里你就會(huì )有兩個(gè)眼睛，有兩個(gè)眼睛相當于屏幕里面你需要渲染兩次。但在CPU方面、GPU方面可能會(huì )更快速一些，不需要藝術(shù)家來(lái)做一些工作，這方面的優(yōu)化就顯得格外重要。除此以外優(yōu)化還有另一方面，比如說(shuō)在一些材質(zhì)上，要做不同材質(zhì)的不同材料，有時(shí)候你看能不能用最少的材料模型來(lái)做出一個(gè)同樣的效果，優(yōu)化包括這幾方面。

Q：有兩種不同的聲音，一方面大家在VR里面變得更真實(shí)，但是另一方面又想說(shuō)因為太真實(shí)了，反而會(huì )產(chǎn)生恐怖谷效應，所以您對這個(gè)觀(guān)點(diǎn)怎么看？

劉曉雨：因為我們其實(shí)看 Facebook的Horizon是一個(gè)更卡通的形象，它其實(shí)沒(méi)有做得非常真實(shí)。我覺(jué)得卡通和真實(shí)都是有它的用途的，比如說(shuō)像那種 Facebook社交的數字角色，卡通是可以接受的，大家知道那個(gè)是游戲里面的代表，就像你和我之間現在是一個(gè)卡通類(lèi)的人，我們不會(huì )覺(jué)得有什么奇怪。因為我們知道我們是在VR世界里面，通過(guò)一個(gè)VR平臺來(lái)交流。

但是現在有很多游戲制作組，他們做的東西就是非常像真人，它是要表達非常真實(shí)的一個(gè)故事，比如說(shuō)戰爭，虛擬世界里才能表達出這個(gè)游戲的意思。我覺(jué)得做卡通和做真實(shí)這兩個(gè)方面的應用都有，但是可能不會(huì )有很多人做中間，就是中間也不會(huì )做一個(gè)又不太像卡通，又不太很真實(shí)的一個(gè)領(lǐng)域。因為這樣做就會(huì )像你說(shuō)的，會(huì )出現那種恐怖谷的效應。不管虛擬還是現實(shí)，你做到一定程度越來(lái)越真，大家都會(huì )很有好感，因為他更像真人，更貼近自己，但當他到一定程度之后，你會(huì )發(fā)現他和真人很類(lèi)似，但是他到不了極其逼真的角色，那么你就可能會(huì )有一種生化危機的感覺(jué)，這就是所謂的恐怖股的理論。舉個(gè)例子，Facebook最近幾個(gè)月有一些很真實(shí)的，你戴上頭盔可以看見(jiàn)對方臉，完完全全真實(shí)恢復那種互相的交流，兩個(gè)人可以看到他們的腦袋互相說(shuō)話(huà)。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！