怎樣讓鯨魚(yú)飛躍籃球場(chǎng)——深度揭秘Magic Leap背后的技術(shù)+戰略

今年10月，硅谷AR（增強現實(shí)）公司Magic Leap發(fā)布了一系列“魔法帶回現實(shí)”的概念視頻：籃球場(chǎng)上鯨魚(yú)一躍而起、外星人突襲辦公室打真人CS……

今年10月，硅谷AR（增強現實(shí)）公司Magic Leap發(fā)布了一系列“魔法帶回現實(shí)”的概念視頻：籃球場(chǎng)上鯨魚(yú)一躍而起、外星人突襲辦公室打真人CS……雖然大部分視頻并非實(shí)拍demo，而是特技duang duang的概念片，在各大微信號的無(wú)腦營(yíng)銷(xiāo)下，仍然短短幾天就刷爆朋友圈。然而，很少有人真正看明白，Magic Leap究竟是如何實(shí)現這些“魔法”的。

虛擬現實(shí)的技術(shù)原理

拋開(kāi)那些大腦植入芯片、黑客帝國style的科幻技術(shù)不談，當前成熟的虛擬/增強現實(shí)技術(shù)原理分為兩類(lèi)：

1、把光線(xiàn)射進(jìn)你的視網(wǎng)膜

讓你在看到真實(shí)世界的同時(shí)，也看到虛擬世界的幻影。Google眼鏡、微軟Hololens都是這種原理?；蛘呦馩culus一樣，干脆用個(gè)頭盔把眼睛遮住，讓你看不見(jiàn)真實(shí)世界，只能沉浸在虛擬現實(shí)之中。不過(guò)，就算騙過(guò)眼睛，身體還是只能感受到真實(shí)世界而非虛擬世界中的加速度變化，這一點(diǎn)Oculus之流也無(wú)能為力。

微軟Hololens概念片

2、還原真實(shí)物體發(fā)出的光線(xiàn)

讓你無(wú)法區分看到的究竟是真實(shí)還是幻象。例如1956年發(fā)明的全息攝影（Holography）。然而，為什么60年后我們還在用iPhone指指戳戳，而不是用iHolo隔空取物呢？因為目前成熟的全息技術(shù)只能做到把3D影像投射到一個(gè)玻璃盒子里（通常是金字塔形或立方體），設備的大小必須大于影像的大小，色彩也不夠逼真。這就是為什么至今全息還停留在珠寶展示和博物館科普的層次上——有幾個(gè)宅男買(mǎi)得起金字塔，放家里看黑白版全息女神愛(ài)情動(dòng)作片？

全息珠寶展柜

Magic Leap屬于以上哪一種技術(shù)原理呢？都不是。

Magic Leap的核心原理是四維光場(chǎng)

光場(chǎng)（Lightfield）的學(xué)術(shù)概念早在1939年就已提出，用于描述空間中任意點(diǎn)在任意時(shí)間的光線(xiàn)強度、方向、波長(cháng)。當鯨魚(yú)在我面前游過(guò)的一瞬間，它皮膚上每一個(gè)細胞向四面八方發(fā)出的光，疊加起來(lái)形成了一個(gè)光場(chǎng)。理論上， 只要完整記錄下一條鯨魚(yú)的光場(chǎng)，技術(shù)上就可以完全還原這條鯨魚(yú)發(fā)出的所有光線(xiàn)。

假如有這樣一個(gè)神奇的設備，它不僅可以記錄光場(chǎng)，還能像投影儀一樣，把光場(chǎng)信息還原成原始光線(xiàn)發(fā)射出來(lái)，那么當你的視網(wǎng)膜接收到這些光線(xiàn)時(shí)，就會(huì )認為看見(jiàn)了一條真正的鯨魚(yú)。 把這個(gè)設備放在籃球場(chǎng)上，讓它360度無(wú)死角全向發(fā)光，在籃球場(chǎng)上任何角度任何位置的人都會(huì )發(fā)現那里多了一條鯨魚(yú)。甚至你近看遠看，繞一圈看，也不會(huì )察覺(jué)到鯨魚(yú)的肉身并不存在。因為，“看見(jiàn)”一條鮮嫩多汁的鯨魚(yú)和看見(jiàn)這條鯨魚(yú)發(fā)出的每一束光線(xiàn)，在光學(xué)上沒(méi)有任何區別。這就是Magic Leap的物理原理。

為什么叫四維光場(chǎng)？

這里的四維是數學(xué)概念，和平行宇宙、高維空間沒(méi)有半毛錢(qián)關(guān)系。描述一個(gè)光場(chǎng)需要7個(gè)維度：3個(gè)三維坐標表示空間中點(diǎn)的位置，2個(gè)極坐標表示這個(gè)點(diǎn)上通過(guò)的光的方向，1個(gè)波長(cháng)表示光的顏色，還有1個(gè)是時(shí)間t。

其實(shí)，如果只考慮光場(chǎng)被投射到二維平面（例如視網(wǎng)膜）上的話(huà)，關(guān)鍵的維度只有4個(gè)：2個(gè)是平面上點(diǎn)的坐標，2個(gè)是入射光的方向。

光場(chǎng)的數學(xué)模型

怎樣把鯨魚(yú)裝進(jìn)口袋

從基礎理論到做出產(chǎn)品，差距就是突破技術(shù)難點(diǎn)：怎樣采集和還原光場(chǎng)？最經(jīng)（yuan）典（shi）的方法是用相機陣列，通過(guò)在不同距離上鏡頭變焦，由近及遠地把空間中每一束光線(xiàn)拍下來(lái)。比如下圖的斯坦福相機陣列（Stanford Multi-Camera Array）：

斯坦福相機陣列

到了2011年，Lytro光場(chǎng)相機推出，把上面這個(gè)大家伙變成了手持式，雖然清晰度接近馬賽克畫(huà)風(fēng)：

Lytro光場(chǎng)相機

Lytro已經(jīng)把實(shí)驗室里的龐然大物裝進(jìn)了口袋，而Magic Leap用了更聰明的方法，短短幾年就把光場(chǎng)投影儀做成了高清無(wú)碼可穿戴的AR設備。

輸入實(shí)時(shí)生成，輸出光纖投射

Magic Leap的辦法分為兩步：

1、不采集真實(shí)影像作為輸入，而是用計算機實(shí)時(shí)生成視頻。模擬生成的視頻，可以直接用在增強現實(shí)領(lǐng)域，例如懸浮在半空中的操作系統UI、辦公室里玩外星人槍?xiě)?。如此一?lái)就解決了片源問(wèn)題，不需要等到好萊塢拍出光場(chǎng)版星球大戰8，才能看上光場(chǎng)電影/電視。

2、不用傳統的顯示屏輸出，而是用光纖投射光場(chǎng)。Magic Leap 擁有叫做“光纖投影儀”的專(zhuān)利技術(shù)，通過(guò)一根直徑1毫米長(cháng)9毫米的光纖投出幾英寸彩色圖像，已經(jīng)可以做到4K超高清分辨率。

光纖投影

既然一根光纖可以發(fā)射一束光線(xiàn)，如果要把鯨魚(yú)身上每一束光線(xiàn)都投射出來(lái)，就需要N個(gè)光纖組成一個(gè)光場(chǎng)投影儀：光纖陣列。

光纖陣列原理圖

最妙的是，因為每一根光纖只有頭發(fā)絲粗細，一個(gè)用光纖陣列制造的高清投影儀不僅可以輕松裝進(jìn)口袋，還可以戴在腦袋上！

既能AR眼鏡，也可裸眼3D

說(shuō)完了物理原理和技術(shù)實(shí)現，再談一個(gè)消費者最關(guān)心的問(wèn)題：Magic Leap到底比Google Glass、Hololens、Oculus、3D電視……好在哪里？

1、可大可小。Magic Leap的光場(chǎng)原理，決定了它既可以做成增強現實(shí)（AR）眼鏡在辦公室打真人CS，也可以做成全息投影儀放在籃球場(chǎng)讓學(xué)生圍成一圈看裸眼3D。既然“看見(jiàn)”的本質(zhì)就是把一條鯨魚(yú)的所有光線(xiàn)投射到你的視網(wǎng)膜上，那么無(wú)論是在你的智能眼鏡上用光纖投射這些光，還是在3米外用光場(chǎng)電視投射，甚至在30米外用大型光場(chǎng)投影儀，都沒(méi)有本質(zhì)區別。

光場(chǎng)竟然可以融合視網(wǎng)膜和全息兩大類(lèi)虛擬現實(shí)技術(shù)，細思恐極!

3D裸眼全息

2、不會(huì )暈。無(wú)論是看3D電影還是頭戴Oculus，雖然把不同光線(xiàn)分別投射到左右眼模擬出3D景深，卻丟失了光線(xiàn)的方向信息。而4D光場(chǎng)記錄了每一束光線(xiàn)的所有信息，包括位置和方向，使得看光場(chǎng)和看實(shí)物根本無(wú)法區分。

例如，看光場(chǎng)時(shí)，人眼向遠處和近處看會(huì )自然對焦，看到的物體有虛實(shí)變化。但傳統的雙目虛擬顯示技術(shù)（如Oculus Rift或Hololens) 中的物體是沒(méi)有虛實(shí)的，使得大腦對于物體遠近判斷混亂，時(shí)間一長(cháng)就暈。

換句話(huà)說(shuō)，如果你看真實(shí)世界不會(huì )暈，看Magic Leap就不可能暈。

3、不怕強光。AR（增強現實(shí)）的老大難問(wèn)題是：只能在真實(shí)世界的光影上疊加虛擬圖像，在外界強光干擾下，虛擬世界就會(huì )暗淡無(wú)光。這就是為什么在Hololens等各式AR眼睛宣傳視頻中，片中人物“恰好”都是在昏暗場(chǎng)景中使用AR。

必須遮住現實(shí)中實(shí)物的光，在用虛擬3D圖像替代它，才是不怕強光的完美AR。要做到替換實(shí)物，不僅要可以顯示虛擬的光，還能顯示“沒(méi)有光”，比方說(shuō)能在強光下顯示一個(gè)純黑的球。

例如，用一杯虛擬咖啡替換桌上真實(shí)的咖啡，首先要把來(lái)自真實(shí)杯子的光刪除或屏蔽，然后再產(chǎn)生一組光讓它們看起來(lái)是從杯子的位置發(fā)射出來(lái)的。否則，不論是用多么明亮的3D 增強實(shí)景顯示技術(shù)，只看見(jiàn)一杯半透明的虛擬咖啡尷尬地覆蓋在真實(shí)咖啡上。

Magic Leap能做到替換實(shí)物影像嗎？從Magic Leap擁有的另一項專(zhuān)利來(lái)看，貌似真的可以：

Bibliographic data: WO2013077895 (A1) ― 2013-05-30

THREE DIMENSIONAL VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEM

A system may comprise a selectively transparent projection device for projecting an image toward an eye of a viewer from a projection device position in space relative to the eye of the viewer, the projection device being capable of assuming a substantially transparent state when no image is projected; an occlusion mask device coupled to the projection device and configured to selectively block light traveling toward the eye from one or more positions opposite of the projection device from the eye of the viewer in an occluding pattern correlated with the image projected by the projection device; and a zone plate diffraction patterning device interposed between the eye of the viewer and the projection device and configured to cause light from the projection device to pass through a diffraction pattern having a selectable geometry as it travels to the eye.

Magic Leap背后的戰略布局

Magic Leap是個(gè)神秘兮兮的公司。都融了5億美元的B輪了，CEO從不露臉，產(chǎn)品長(cháng)什么樣沒(méi)人見(jiàn)過(guò)，讓中國人民對著(zhù)幾個(gè)加特技的宣傳片羨慕嫉妒恨。不過(guò)，從他們的公司行為來(lái)分析，還是能看出大部分端倪。

1、Magic Leap的第一個(gè)產(chǎn)品將是頭戴式眼鏡

前面說(shuō)過(guò)，光場(chǎng)投影的原理，使得AR眼鏡和裸眼3D產(chǎn)品都可以做。為什么說(shuō)Magic Leap一定會(huì )先做可穿戴？

技術(shù)上看，Magic Leap公司成立時(shí)，創(chuàng )始人Abovitz做光纖機器人醫療起家，又報了好幾個(gè)光纖方面的專(zhuān)利，做穿戴之心路人皆知。而用于放裸眼3D的大型光場(chǎng)投影儀，很可能技術(shù)和成本控制尚未成熟。

商業(yè)上看，有了谷歌眼鏡和微軟全息當先烈教育市場(chǎng)，消費者對于A(yíng)R的接受程度已經(jīng)不斷提高，而大型光場(chǎng)投影儀一般人可消費不起，也不夠實(shí)用。

2、Magic Leap會(huì )發(fā)力跟蹤/識別和體感控制

如果Magic Leap真的做成了可大可小、不會(huì )暈、不怕強光的AR，將會(huì )是世界上體驗最好的AR，沒(méi)有之一。一旦把用戶(hù)的眼睛變成入口，接下來(lái)可以玩的就多了去了。例如：

手勢識別：AR沒(méi)有屏幕可以戳戳戳，手勢是最主流的交互UI，甚至還可以加入腦波控制；

物體追蹤：感知真實(shí)世界中人和物的精確位置，才能讓你在一邊走動(dòng)的同時(shí)，把你眼中的一杯虛擬咖啡一動(dòng)不動(dòng)地安在真實(shí)的飯桌上；

三維掃描：將現實(shí)中的一杯咖啡拍成光場(chǎng)，分享給別的用戶(hù)，他的眼前就會(huì )出現和你手中完全相同的一杯咖啡；

人臉/人體識別：識別現實(shí)場(chǎng)景中的人，可以在每個(gè)人頭上顯示名字、電話(huà)和顏值；

情感識別：既然都能夠識別人臉了，不如順便識別下表情吧！是哭還是笑，眼鏡全知道。

Hololens手勢控制

3、買(mǎi)不到現成芯片，Magic Leap要自己動(dòng)手

除了實(shí)時(shí)計算四維光場(chǎng)、投射高清視頻外，實(shí)現以上所說(shuō)的各種黑科技，還要考慮電池續航能力、用戶(hù)腦袋是否會(huì )過(guò)熱，這么強大的芯片地球上并不存在。不過(guò)B輪融資后，有了高通當股東撐腰，給了Magic Leap足夠的膽量自己發(fā)明輪子。

Magic Leap在去年搬入南佛羅里達州一個(gè)廢棄的摩托羅拉生產(chǎn)區，計劃建造2.8萬(wàn)平方米的工廠(chǎng)，用來(lái)生產(chǎn)光子光場(chǎng)芯片(Photonic Lightfield Chip)。

4、Magic Leap充其量是臺前卒子，Google才是幕后大BOSS

Google投了5億美元，讓Magic Leap不用顧忌市場(chǎng)和資本，在全封閉狀態(tài)下專(zhuān)心做底層技術(shù)；帶來(lái)高通作為戰略投資者，協(xié)助自主研發(fā)芯片；還讓二號人物、核心產(chǎn)品負責人Sundar Pichai 加盟董事會(huì )；毫無(wú)疑問(wèn)，將來(lái)Magic Leap產(chǎn)品開(kāi)賣(mài)，搖旗吶喊的也一定是Google。

給錢(qián)、給人、給技術(shù)、給市場(chǎng)，Google憑什么無(wú)緣無(wú)故把一個(gè)初創(chuàng )公司當親兒子？做砸了Glass還要投Magic Leap，Google為什么偏偏對AR不死心？如果你相信純粹是為了賺錢(qián)，就太小看Google的智商了。

從前Google的搜索引擎，教會(huì )了人工智能聽(tīng)說(shuō)讀寫(xiě)（自然語(yǔ)言識別）；而AR將成為人工智能的眼睛和耳朵，教會(huì )它用人類(lèi)的視角觀(guān)察物理世界。當AI超越人腦的技術(shù)奇點(diǎn)不期而至時(shí)，人工智能只需要硬件組成的手腳和身體，就能改變世界/取代人類(lèi)了。

誰(shuí)擁有最強的人工智能，誰(shuí)就將統治地球——這就是Google從未掩飾的野心。

人工智能終將統治地球？

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！