Facebook聯(lián)手OTOY推光場(chǎng)相機 6自由度VR視頻不是夢(mèng)

Facebook和Otoy在軟件和硬件端的聯(lián)手，提出了一個(gè)徹底改變VR視頻制作和消費的可能方向。

Facebook大會(huì )第二天，雖然小扎不出來(lái)了，但是臉書(shū)持續刷屏。F8第二天，臉書(shū)曝光了其360°視頻平臺Facebook 360的全新相機，x24和x6，從名字上能夠看出來(lái)一個(gè)足球籃球大小，一個(gè)排球大小的全景相機結構。更神奇的是，兩臺相機結合OTOY的技術(shù)，能夠實(shí)現類(lèi)似于光場(chǎng)的6自由度360°視頻體驗，并能通過(guò)Unity、Unreal、AE等軟件組成流水線(xiàn)進(jìn)行后期處理。

據悉，Facebook將會(huì )找合作伙伴來(lái)生產(chǎn)x24和x6相機，產(chǎn)品可能在今年晚些時(shí)候曝光，不過(guò)定價(jià)未知。去年Facebook推出的開(kāi)源360相機陣列的價(jià)格在3萬(wàn)美元左右。

相對于去年推出的360相機的雙鍋蓋造型，x24和x6采用了球型設計，而且個(gè)頭都不小，x6看起來(lái)有排球大小，x24估計有籃球大小，但是兩臺設備看起來(lái)都十分高端，不僅是渲染圖層面，實(shí)物看起來(lái)也相當有質(zhì)感。瑞云科技的梁幸堯透露，相機本體是用超高精度5軸CNC智能機器人車(chē)床做的一體結構，精度非常高。根據Moor Insights & Strategy的Anshel Sag透露，大一些的x24相機由知名紅外成像制造公司英國菲力爾公司（FLIR）制造，小一些的x6則由Facebook的內部硬件團隊制造而成。

從外觀(guān)上來(lái)說(shuō)，x24和x6的看起來(lái)甚至比諾基亞的OZO更具有科技感。

帶深度信息的6 DOF視頻

目前很多公司都在嘗試解決360°視頻的6自由度問(wèn)題，就是讓觀(guān)眾能夠在視頻中動(dòng)起來(lái)，前后左右能看到不同的景象，而不僅僅是轉動(dòng)頭部。其中一個(gè)解決方案就是光場(chǎng)技術(shù)，這其中比較出名的是Lytro。

不管是光場(chǎng)還是其他技術(shù)，要想做到6自由度視頻，要解決的都是如何記錄深度信息的問(wèn)題。而這也是為什么Facebook會(huì )和OTOY公司聯(lián)手，因為后者將捕捉到的360°影像信息看成是一個(gè)信息點(diǎn)流，從中提取出足夠的深度信息，計算出一個(gè)空間范圍，讓觀(guān)眾能夠前后左右從不同角度來(lái)觀(guān)看360°視頻，“其實(shí)就是一個(gè)光場(chǎng)了。” OTOY創(chuàng )始人Jules Urbach說(shuō)到。

根據Facebook，x24相機能夠捕捉每個(gè)像素的完全RGB和深度信息。每個(gè)信息點(diǎn)會(huì )被采樣4倍，同時(shí)利用深度信息測算算法來(lái)捕捉高清影像和深度信息。小一些的x6能夠采樣3倍信息。x24能夠捕捉含有深度信息的1.2億像素點(diǎn)云，拍攝8K清晰度，每秒60幀的視頻。

即使能測算出深度信息，依然會(huì )有深度信息缺失的部分，例如HypeVR使用的激光雷達+光學(xué)攝像的方式，雖然能制作出類(lèi)似于光場(chǎng)的效果的效果，但是被遮擋物體后方還是會(huì )形成一個(gè)“光場(chǎng)黑洞”，對此，合作伙伴OTOY的詳細解決方案是：

相機的攝像頭分布能夠創(chuàng )造出精準的重疊部分，而這些重疊視角（x24相機有8個(gè)重疊視角）能夠補充任何深度信息缺失的部分和陰影；對于遠景的深度信息缺失部分，我們使用啟發(fā)測算來(lái)填補這些缺失信息。

在F8大會(huì )上會(huì )討論一個(gè)簡(jiǎn)單的工作流程，就是在拍攝動(dòng)態(tài)元素之前，先拍攝一個(gè)背景環(huán)境底版。利用OTOY軟件能夠非常輕松的將這些底版加到影像中，最后，OTOY正在研發(fā)一個(gè)模板，能夠讓x24相機進(jìn)行4-6秒的直線(xiàn)或者環(huán)形運動(dòng)，實(shí)現光場(chǎng)捕捉。

一般360°視頻相機都有安全距離，即物體如果距離相機太近，就會(huì )出現圖像縫合問(wèn)題，變得支離破碎。根據Jules Urbach的說(shuō)法，x24和x6的安全距離都在1米左右。

真人視頻游戲化時(shí)代到來(lái)

如果只是在360°圖像添加深度信息，那Facebook和OTOY此次的聯(lián)手意義也不算深遠，更重要的是兩家正在和Adobe、Foundry、Mettle等后期軟件公司合作研發(fā)工具和流程，讓6自由度的360°視頻能融入傳統影視后期制作。

Jules Urbach描述的具體流程是：

1. 使用Facebook相機拍攝的信息上傳到Octane渲染云端被處理成點(diǎn)云信息，然后輸出成一個(gè)ORBX（帶有深度信息的Octane文件）的Scene File。

2. ORBX Scene File可以輸入到AE、Nuke或者Unity和Unreal等制作軟件和引擎進(jìn)行編輯。

3. 經(jīng)過(guò)一系列后期軟件出來(lái)后，能夠生成一個(gè)ORBX Media File，這個(gè)文件通過(guò)Otoy的合作伙伴就可以在Web、PC和移動(dòng)端VR頭顯上進(jìn)行觀(guān)看了。

Jules的視頻中，最令人感興趣的是目前VR開(kāi)發(fā)者最喜歡使用的兩個(gè)游戲引擎Unity和Unreal都已經(jīng)支持Otoy的技術(shù)，而開(kāi)發(fā)者可以使用游戲引擎來(lái)隨意改變ORBX Scene File中的360°視頻，例如改變光照和顏色等等，甚至加入帶有互動(dòng)的元素和物體，創(chuàng )造出類(lèi)似于游戲一般的實(shí)時(shí)互動(dòng)效果。

從這個(gè)角度來(lái)說(shuō)，Facebook和Otoy在軟件和硬件端的聯(lián)手，提出了一個(gè)徹底改變VR視頻制作和消費的可能方向。

開(kāi)源還是不開(kāi)，這是個(gè)問(wèn)題

和去年曝光的360相機不同，今年Facebook的這兩款相機x24和x6并沒(méi)有透露是否會(huì )開(kāi)源。單純從制作角度來(lái)說(shuō)，新款相機的制造難度就不是一般公司能夠制作的，這也是為什么臉書(shū)會(huì )和指定的合作伙伴來(lái)生產(chǎn)相機，而不是像去年一樣告訴大家用什么配件來(lái)組裝——今年Facebook即使告訴大家怎么做，能沒(méi)什么人能造出來(lái)。

正如Jaunt VR和諾基亞的OZO，兩個(gè)告訴360視頻拍攝器材更多是選擇合作伙伴來(lái)使用，或者專(zhuān)業(yè)機構來(lái)租賃，而非售賣(mài)，Facebook的這兩款相機估計也會(huì )采用合作的形式，給想要嘗試的機構和創(chuàng )作者來(lái)使用，而制作出來(lái)的作品，不出意外的話(huà)也會(huì )成為Oculus和Facebook平臺的獨家內容。

Facebook今天的雞血打的很好，只是不知道大家什么時(shí)候能用上x(chóng)24和x6這兩臺機器，正在F8大會(huì )前線(xiàn)的Zcam負責人Jason透露，相機拍出的Demo依然有瑕疵，且真正能用到兩款設備還需要比較長(cháng)的時(shí)間。

后記

從6頭Gopro到Jaunt One再到諾基亞OZO，到Lytro、HypeVR和今天的Facebook x24和x6，拍攝硬件的演化證明了要想成為真正的VR內容，帶有深度信息的可互動(dòng)的360°視頻才是前進(jìn)的方向，雖然要達成這個(gè)目標，尚需一段時(shí)日。在那之前，我們可能還是要在3DOF的全景視頻中搖頭晃腦一陣。

【編者按】：本文轉載自IN2

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！