Facebook新VR相機詳解：深度信息如何產(chǎn)生？6DOF如何實(shí)現？

和Lytro的光場(chǎng)相機原理類(lèi)似，Facebook的x24和x6的關(guān)鍵在于收集被攝畫(huà)面的RGB信息和深度信息。

上周Facebook開(kāi)發(fā)者大會(huì )F8上，除了小扎對于A(yíng)R的預測外，公司發(fā)布的兩款能夠記錄深度信息的360°相機x24和x6也是獨領(lǐng)風(fēng)騷。Facebook工程部門(mén)主管Brian Cabral在一段長(cháng)達半小時(shí)的視頻中，講述了Surround 360相機的工作原理，制作生態(tài)以及應用，透露了不少關(guān)鍵信息。至少對于Facebook如何利用相機創(chuàng )建6自由度VR視頻，下面是筆者從視頻中獲得的一些關(guān)鍵信息，推薦有興趣的同學(xué)可以看一下。

Facebook 360 Surround x24和x6的特點(diǎn)：

1. 6自由度

2. 無(wú)限的輸出可能

3. 和后期制作無(wú)縫融合

4. 方便攜帶

5. 畫(huà)質(zhì)提升

為什么要做x6，因為想要證明6自由度的360相機解決方案對于不同設定的硬件都是可行的。不同的相機有不同的直徑、鏡頭分辨率、FOV以及感應器位置等等。這些配置不同的相機能夠給Facebook Surround 360相機的結構給出例證。

球面對極幾何深度測算 Spherical Epipolar Depth Estimation

原理和多年以來(lái)地理上的三角測量法類(lèi)似。使用球面相機是因為這樣可以制作一個(gè)平面的sampling，在空間中的任意一點(diǎn)，都可以被多個(gè)相機觀(guān)測到，可以進(jìn)行三角測量。根據Epipolar的知識，假設我們想測量的X點(diǎn)的深度信息，由于我們已經(jīng)知道X點(diǎn)在相機1圖像平面上的坐標，同時(shí)也知道其在相機2圖像平面上的坐標，根據原理，我們就能推算出X點(diǎn)的坐標信息。當然前提條件是你要知道兩臺相機之間的距離。

Facebook x24和x6設置了多個(gè)重合區域，有了這些重合區域就能最大化的記錄圖像信息，就有更多的信息來(lái)處理和測算被攝物體的深度信息。

和Lytro的光場(chǎng)相機原理類(lèi)似，Facebook的x24和x6的關(guān)鍵在于收集被攝畫(huà)面的RGB信息和深度信息。從視頻可以看出，離相機越近的物體，相機能夠捕捉到的信息越多，反之則越少，這是為什么相機的深度信息圖是離得越近的物體呈現黑色，而離得遠的物體呈現白色，因為后者能夠提供的可用信息很少。

關(guān)于Epipolar Geometry的基礎知識請看文章下方的補充。

Facebook VR相機拍攝制作流程

使用Facebook surround 360的拍攝和制作流程：

1. 使用x24和x6相機進(jìn)行拍攝

2. 將內容上傳至云端服務(wù)器進(jìn)行拼接和深度信息處理

3. 導出的具有深度信息的360°視頻可以導入到Adobe、Nuke、Mettle等工具進(jìn)行制作

4. 輸出的6DOF的3D 360°視頻到Facebook和Oculus平臺

Facebook不是硬件或者軟件公司，他們的目的是構建完整的生態(tài)，這就是為什么他們會(huì )和OTOY、Adobe、Foundry、Mettle等公司合作，將帶有深度信息的360°視頻拍攝融入到傳統影視后期工具的Pipeline中，因為后者能夠更好的利用深度信息帶來(lái)的優(yōu)勢。

用途：讓特效制作更容易

記錄畫(huà)面的深度信息，第一個(gè)好處自然就是能夠讓3D 360°視頻呈現6自由度的體驗感，這也是所有VR影視行業(yè)想要達到的一個(gè)目的。

另一個(gè)好處就是可以讓制作人員更方便的加入逼真的后期特效。傳統的2D 360°視頻由于本質(zhì)上還是一個(gè)平面，所以即使加入CG效果也不好，因為不夠真實(shí)。而在有了深度信息之后，制作人員就可以根據深度信息，更精準的為每個(gè)層級加入不同的逼真的特效。

如視頻所示，你可以在海洋館的畫(huà)面中加入類(lèi)似“哈利·波特魔法結界”一樣的電流特效，更有用的是，可以將大場(chǎng)景畫(huà)面的背景整個(gè)抽離，換成需要的背景，這點(diǎn)在好萊塢大片中常用，不過(guò)之前需要用綠幕來(lái)?yè)笀D，使用能夠記錄深度信息的相機，則免去了搭建綠幕。

由于有了深度信息，制作人員可以在視頻中加入真實(shí)的3D物品，而看起來(lái)又不像平面圖像一樣違和。還有光照效果，制作人員可以像游戲一樣，將整個(gè)場(chǎng)景的光照調低，給觀(guān)眾一個(gè)手持火把的效果，讓他們能夠拿著(zhù)VR控制器去探索一個(gè)真人實(shí)拍的3D 360°視頻，就像在玩一個(gè)CG制作的探險類(lèi)游戲，例如《古墓麗影》。

總結

仍在如火如荼舉行的NAB Show上，谷歌推出了自家的Jump系統的升級版Halo。這款和小蟻聯(lián)手推出的17000美元的相機依然是一個(gè)單純的相機陣列產(chǎn)品，相比于Facebook的x24和x6似乎矮了一頭。不過(guò)谷歌的工作人員也表示，自家的產(chǎn)品本來(lái)就主打中端，臉書(shū)的相機走的是和Lytro一樣的高端制作者路線(xiàn)。對于谷歌的這個(gè)說(shuō)法，IN2略表不同意，作為VR制作的關(guān)鍵因素，深度信息的紀錄絕對是拍攝設備和運處理端的趨勢，谷歌也在研究，只不過(guò)目前還沒(méi)有成型的產(chǎn)品出來(lái)而已。

同樣是在NAB上，來(lái)自Adobe研究部門(mén)人員曝光了根據運動(dòng)的普通2D 360度視頻推算出深度信息的算法，從純軟件層面讓6自由度真人視頻體驗成為可能。據IN2所知，國內也有團隊在嘗試類(lèi)似的解決方案，IN2也將在之后進(jìn)行詳細報道。

關(guān)于Epipolar Geometry的知識補充

對于雙目視覺(jué)系統，即有兩個(gè)攝像機，定義兩個(gè)攝像機的光學(xué)中心點(diǎn)為C、C‘，在三維空間中存在一個(gè)場(chǎng)景點(diǎn)X，這個(gè)點(diǎn)與兩個(gè)攝像機光學(xué)中心點(diǎn)共同構成的平面就是極平面π（epipolar plane），每個(gè)攝像機都有一個(gè)圖像平面，分別為Image1和Image2，CX交Image1于x點(diǎn)，C’X交Image2于x’點(diǎn)，而CC’連線(xiàn)分別交兩個(gè)圖像平面于e和e’，這兩個(gè)點(diǎn)稱(chēng)為極點(diǎn)（epipoles），CC’稱(chēng)為基線(xiàn)（baseline）。極平面與圖像平面相交于兩條極線(xiàn)（epipolar line）l和l’，這兩條極線(xiàn)的關(guān)系是對應的（correspondence），而x、e、x’、e’分別位于l和l’上。

隨著(zhù)三維場(chǎng)景點(diǎn)的移動(dòng)，極平面將繞著(zhù)基線(xiàn)轉動(dòng)，這些極平面共同構成一個(gè)極平面束（an epipolar pencil），這些極平面與圖像平面所交匯成的極線(xiàn)族分別都交于兩個(gè)極點(diǎn)e和e’。

假如我們只知道X投射在圖像平面Image1上的投射點(diǎn)x，我們如何去獲知在另一個(gè)圖像平面上（也就是Image2）x的相應點(diǎn)x’呢，這個(gè)相應點(diǎn)x’符合什么樣一種幾何規則呢？

我們知道，極平面是由基線(xiàn)和xX共同構成的，從上面的介紹我們知道了這個(gè)相應點(diǎn)（現在還是未知點(diǎn)）也一定位于極平面π上，因此可以得出x’點(diǎn)位于極平面π與另一個(gè)圖像平面Image2的交線(xiàn)l’上，也即l’是投射點(diǎn)x的反向投影在第二個(gè)視角（第二個(gè)圖像平面）上的圖像。這種關(guān)系在立體對應算（stereo correspondence algorithm）中有很大的好處，那就是不需要在整幅圖像上尋找x的對應點(diǎn)（correspondence points），而只需要把范圍限定在極線(xiàn)l’上即可。（圖片文字來(lái)自百度百科）

編者按：本文轉載自IN2

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！