疊境數字洪煦：專(zhuān)研光場(chǎng)技術(shù)十多年，一直在探索市場(chǎng)化的路上

神秘的光場(chǎng)技術(shù)可以給我們的生活帶來(lái)什么？疊境數字或許可以給你答案。

說(shuō)到光場(chǎng)技術(shù)，就不得不提到憑借一段光場(chǎng)顯示視頻獲得諸多巨頭投資的Magic Leap。雖然這家神秘的公司對于自己的產(chǎn)品三緘其口，但它無(wú)疑給許多人科普了何為光場(chǎng)。

光場(chǎng)的定義其實(shí)還是挺抽象的,“光場(chǎng)描述光在空間中位置和方向信息的分布，是空間中所有光線(xiàn)光輻射函數的總體”。

我們所看到的物體都是通過(guò)反射光線(xiàn)進(jìn)入眼睛后，經(jīng)過(guò)晶狀體折射后成像在視網(wǎng)膜上的，如果沒(méi)有光，就沒(méi)有我們所看到的五彩世界。

今天我們采訪(fǎng)的疊境科技就是要將這些光場(chǎng)信息采集，然后重新建模，創(chuàng )造一個(gè)完全“真實(shí)”的虛擬世界。

跟全美最年輕的教授組隊

疊境數字是在2015年成立的，雖然時(shí)間不長(cháng)，但是創(chuàng )始人虞晶怡博士在光場(chǎng)方面的研究卻可以追溯到二十年前。

疊境創(chuàng )始人 虞晶怡

翻開(kāi)虞晶怡的簡(jiǎn)歷：美國麻省理工大學(xué)博士，美國特洛華州立大學(xué)終身正教授，上?？萍即髮W(xué)教授……耀眼的學(xué)術(shù)成就為疊境的發(fā)展奠定了堅實(shí)的基礎。

虞晶怡先是在加州大學(xué)研究計算機視覺(jué)，后來(lái)去麻省理工讀博的時(shí)候，他認識了現在疊境的技術(shù)掌舵人Jason Yang。兩人一拍即合，之后他們一直在國外研究光場(chǎng)相關(guān)的技術(shù)。

時(shí)間線(xiàn)拉到2013年，虞晶怡在回國的一次活動(dòng)中認識了洪煦，也就是我們今天的采訪(fǎng)對象，疊境數字的聯(lián)合創(chuàng )始人之一。

疊境總經(jīng)理 洪煦

從LED面板，到裸眼3D顯示，洪煦從事的都是和3D成像技術(shù)研發(fā)相關(guān)的工作。“而虞晶怡研究的光場(chǎng)領(lǐng)域，和我當時(shí)關(guān)注的裸眼3D有很多結合點(diǎn)，然后我們就有計劃一起搭伙創(chuàng )業(yè)。”

恰巧到2015年的時(shí)候，虞晶怡被上?？萍即髮W(xué)邀請回國做教授，幾個(gè)合伙人就一起創(chuàng )辦了現在的疊境數字。

用洪煦的話(huà)來(lái)說(shuō)，疊境是一家基于光場(chǎng)技術(shù)研發(fā)的產(chǎn)品公司。“Magic Leap做的是光場(chǎng)顯示后端，那我們做的就是光場(chǎng)采集的前端。”

光場(chǎng)意味著(zhù)什么？

目前的VR內容主要有兩種“創(chuàng )作”方式，一種是以VR游戲為代表，通過(guò)三維游戲引擎工具進(jìn)行虛擬場(chǎng)景的建模，還有一種是以360度全景視頻為主的實(shí)拍。前者沒(méi)法達到逼真的效果，而后者缺少沉浸感所需的深度信息。

“光場(chǎng)采集正是彌補了這兩點(diǎn)的短板，以高真實(shí)度來(lái)達到那種像CG制作一樣具有深度信息的場(chǎng)景，讓你在虛擬的真實(shí)環(huán)境中走來(lái)走去。”洪煦簡(jiǎn)單闡釋了光場(chǎng)之于VR的意義。

疊境目前的光場(chǎng)信息的采集主要是由多相機陣列和深度相機結合來(lái)完成，采集過(guò)程中可以記錄下真實(shí)的光照信息，再通過(guò)后期的軟件算法自動(dòng)處理完成物體的光場(chǎng)重建。

說(shuō)到光場(chǎng)的話(huà)，除了Magic Leap，國外的8i和Lytro都屬于行業(yè)內的先行者。洪煦表示，疊境和8i在動(dòng)態(tài)光場(chǎng)建模上有重合點(diǎn)，所謂的動(dòng)態(tài)光場(chǎng)建模指的是，“當我們去“拍攝”一個(gè)人動(dòng)作的時(shí)候，不需要任何的動(dòng)捕設備，采集系統會(huì )直接記錄整個(gè)運動(dòng)過(guò)程，在VR或者手機端，你可以從任意角度去觀(guān)看。”洪煦補充道8i可能偏向于游戲應用，而疊境更多的是影視特效方面。

光場(chǎng)影視特效的應用 《Pippa’s Pan 盼》

對比光場(chǎng)相機出身的Lytro，洪煦提到了他們的采集系統，“我們在做的光場(chǎng)相機陣列不僅可以讓靜態(tài)圖片實(shí)現拍后重對焦，同時(shí)可以對視頻做相同的處理。”和Lytro相比的話(huà)，疊境的畫(huà)面清晰度也會(huì )更高點(diǎn)。

但是疊境的相機陣列也有不少令人頭疼的地方，“體積大、便捷性不夠，目前還無(wú)法適用于消費級。”所以，疊境現在的技術(shù)解決方案主要以2B端的商業(yè)應用為主。

疊境：核心優(yōu)勢在于光場(chǎng)采集和算法

基于多年技術(shù)的鉆研，疊境數字最核心的優(yōu)勢主要在光場(chǎng)采集和算法端，而算法又包括光場(chǎng)的重建和渲染，整個(gè)過(guò)程他們基本上做到了全自動(dòng)化的處理。

在實(shí)際應用上，疊境提供的基于光場(chǎng)的解決方案包括淘寶的造物計劃、360度3D VR直播以及影視特效等。

造物計劃上的光場(chǎng)采集模型

以淘寶造物計劃為例，疊境會(huì )提供一套小型拍攝設備，完成物品拍攝后，軟件算法會(huì )進(jìn)行預處理，結束后直接上傳到云端做最終的算法處理，這樣就可以得到一個(gè)真實(shí)的光場(chǎng)商品模型。而淘寶APP端會(huì )加入一個(gè)光場(chǎng)渲染器，通過(guò)這個(gè)渲染器就可以直接在手機上瀏覽這些物品模型。

在他們的壓縮算法下，洪煦介紹模型的大小會(huì )控制在3M以?xún)?，而整個(gè)光場(chǎng)建模的時(shí)間大約在15到30分鐘左右。如果將建模放在云端處理的話(huà)，甚至只需要一分鐘左右。

再就是直播和視頻拍攝方面的應用，正如開(kāi)頭提到的，相比較普通的全景視頻，疊境的光場(chǎng)技術(shù)可以為拍攝內容加入三維的深度信息，意味著(zhù)你可以在所拍的場(chǎng)景內走動(dòng)，而不是局限在一個(gè)固定的視角。

京劇演員藍天的光場(chǎng)采集現場(chǎng)

遺憾的是，目前這套拍攝系統還沒(méi)有完全的成熟，而且由于要采集整個(gè)環(huán)境的光場(chǎng)信息，拍攝的周期會(huì )非常長(cháng)，所以還無(wú)法實(shí)現這種光場(chǎng)視頻的實(shí)時(shí)拍攝傳輸。

總結

“得益于硬件、芯片等技術(shù)的發(fā)展，光場(chǎng)技術(shù)迎來(lái)第一波大規模市場(chǎng)化的機會(huì )，現在是一個(gè)新的起點(diǎn)。”洪煦相信VR的未來(lái)是光場(chǎng)，他預計在3到5年內，行業(yè)內可以形成技術(shù)或者應用的標準。”

在采訪(fǎng)洪煦的過(guò)程中，也可以明顯感到他對于光場(chǎng)技術(shù)早日普及化的渴望。

提到疊境的光場(chǎng)采集系統時(shí)，洪煦表示他們的目標是爭取在下半年或者明年將相機陣列小型化。

而在光場(chǎng)建模上，由于物體材質(zhì)的不同，在實(shí)際拍攝中有系統兼容的難度。“可能對某一種材質(zhì)的產(chǎn)品，這套系統可以用，但是當換到另外的產(chǎn)品，我又得換其他系統，非常不利于大規模的普及推廣。”疊境希望可以做出那種類(lèi)似傻瓜相機的產(chǎn)品，它能夠適用于所有物體的重建。

對于疊境來(lái)說(shuō)，從技術(shù)到產(chǎn)品的過(guò)渡期，最大的難點(diǎn)莫過(guò)于如何去根據行業(yè)的需求，將技術(shù)轉化成可以市場(chǎng)化和商業(yè)化的產(chǎn)品，而這一切的最大前提就是讓光場(chǎng)技術(shù)走入更多人的視野。

【鎂客·請講】專(zhuān)注于報道科技創(chuàng )新項目；我們敞開(kāi)心扉面對每一位創(chuàng )業(yè)者，力求為您呈現一群鮮活、有性格的品牌和人物；我們傾聽(tīng)創(chuàng )業(yè)故事和人生經(jīng)歷、探討商業(yè)模式和行業(yè)趨勢、對接資本市場(chǎng)和供需雙方，以期為產(chǎn)業(yè)發(fā)展注入新的活力。

歡迎做客【鎂客·請講】，欄目合作請發(fā)送郵件至：post@im2maker.com

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！