VR音頻，內容制作背后不可忽視的關(guān)鍵

無(wú)論是什么形式的VR內容，如果能夠在體驗的時(shí)候聽(tīng)到有距離和層次的聲音，將會(huì )大大增加沉浸感體驗。

當我們觀(guān)看VR視頻時(shí)，往往會(huì )有種錯覺(jué)，聽(tīng)得到耳機里有聲音，但是卻搞不清聲音從哪里傳來(lái)；或者是偏個(gè)頭換了觀(guān)看視角，但是聲音并沒(méi)有隨著(zhù)我們的視角“轉過(guò)來(lái)”，它仍然在原來(lái)的地方。確實(shí)，如果VR內容里的音頻處理不好，沉浸式體驗效果將會(huì )大打折扣。比如小編之前玩過(guò)一個(gè)VR射箭游戲，雖然人是在虛擬環(huán)境里，但是耳朵里聽(tīng)到的都是外面嘈雜的環(huán)境聲。

什么是VR音頻

VR音頻的概念，其實(shí)可以和3D音頻掛鉤。簡(jiǎn)而言之，VR音頻，就是通過(guò)耳機或者音箱，結合頭部追蹤等技術(shù)，讓體驗者在轉動(dòng)頭部等動(dòng)作的時(shí)候可以聽(tīng)到自己各個(gè)方向不同距離和強度的聲音。

通俗來(lái)說(shuō)，就是用戶(hù)在現場(chǎng)實(shí)際能聽(tīng)到，能帶來(lái)臨場(chǎng)感的聲音。有做VR音頻的業(yè)內人士介紹道，“比如說(shuō)在酒館里的一個(gè)場(chǎng)景，大家在討論、喝酒以及各種聊天的聲音，你在那兒聽(tīng)的聲音就應該是你覺(jué)得在現場(chǎng)的聲音，而且要和視頻無(wú)縫對接。”

但是相比較現在VR體驗上的一些眩暈、視覺(jué)上的問(wèn)題，聲音其實(shí)被很多人忽視了。不過(guò)隨著(zhù)越來(lái)越多的公司進(jìn)入到VR視頻內容創(chuàng )作領(lǐng)域中，VR音頻正在成為大家攻堅的一個(gè)新方向。

在VR音頻中，這些公司在行動(dòng)

傳統的音頻技術(shù)公司杜比實(shí)驗室，和專(zhuān)注于VR視頻拍攝制作的Jaunt展開(kāi)合作，在Jaunt的VR內容融入了杜比全景聲，用戶(hù)通過(guò)Jaunt VR應用可以輕松訪(fǎng)問(wèn)到所有支持杜比全景聲的虛擬現實(shí)體驗。

2015年4月，谷歌收購了專(zhuān)門(mén)為VR打造現實(shí)音效的初創(chuàng )公司Thrive Audio，THRIVE Audio是一家誕生于都柏林大學(xué)圣三一學(xué)院（Trinity College Dublin）工程系的公司，它專(zhuān)注于設計可以體驗3D音頻的耳機。

2016年5月份，Facebook收購VR音頻公司Two Big Ears。Two Big Ears是一家位于蘇格蘭的初創(chuàng )型企業(yè)，專(zhuān)門(mén)為全景視頻等內容打造空間音效。Two Big Ears把其音頻軟件免費提供給感興趣的VR內容制作人，而Facebook借此機會(huì )來(lái)吸引更多的人打造VR內容。

英偉達推出專(zhuān)門(mén)用于虛擬現實(shí)場(chǎng)景的“VRWorks Audio”音頻技術(shù)，VRWorks Audio利用英偉達OptiX光跡追蹤引擎，能夠即時(shí)追蹤環(huán)境中的多個(gè)聲音路徑，真實(shí)的反映出周?chē)h(huán)境中物體的大小、形狀和材料。

Oculus授權VisiSonic的音頻技術(shù)，并最終將其融入Oculus Audio SDK 中。這項技術(shù)經(jīng)過(guò)定制的HRTF算法，可以實(shí)時(shí)計算出游戲世界中聲源的方位與距離信息。

2017年，Valve收購了一家叫Impulsonic的VR音頻公司，該公司為游戲開(kāi)發(fā)者創(chuàng )建了基于物理原理的空間音頻定位軟件。他們的產(chǎn)品Phonon 3D可以讓開(kāi)發(fā)者為他們的3D環(huán)境及VR體驗增加雙聲道3D音頻。

對于普通消費者來(lái)說(shuō)，或許會(huì )疑惑，如何在只有雙聲道立體聲輸出的耳機上聽(tīng)到來(lái)自各個(gè)方向的聲音呢？其實(shí)，如果想要得到理想的VR音頻，從音頻的采集到編輯制作以及最后的合成輸出，整個(gè)流程需要攻克很多技術(shù)難題。目前業(yè)內比較成熟的解決方案也不少，但是大部分都還停留在理論的層面，實(shí)際應用的案例少之又少。

VR音頻如何采集錄制？

HRTF（人頭傳遞函數）

首先我們科普一下一種叫做雙耳錄音（Binaural recording）的技術(shù)。這個(gè)技術(shù)能夠逼真的模擬人耳對聲音定位以及頻率的響應。HRTF就是基于這個(gè)技術(shù)用數學(xué)模型來(lái)建模的一種音頻定位算法。通過(guò)HRTF的算法，能夠在最終輸出的音頻中還原出音源的方向和距離。

在實(shí)際運用中，HRTF可以想象成是一個(gè)濾波器，對原始聲音進(jìn)行頻段上的調整，使其接近人耳接收到的聽(tīng)感效果。

Waves的Nx技術(shù)

Waves的Nx技術(shù)核心是用算法將傳統錄音中缺失的信息插入到信號中，以此來(lái)讓大腦在聆聽(tīng)音樂(lè )時(shí)獲得空間感。為了增強現場(chǎng)感，Nx技術(shù)還允許用戶(hù)鍵入個(gè)人頭部及耳朵的尺寸信息，算法可以根據這些信息進(jìn)行實(shí)時(shí)調整。

它提供了一個(gè)叫Head Tracker 硬件，這個(gè)集成了陀螺儀的硬件可以綁定到耳機上，然后電腦實(shí)時(shí)計算陀螺儀變化后聲像的變化，再配合英特爾的Real Sense攝像頭，Waves提供的軟件就能追蹤頭部移動(dòng)，在耳機中獲得具有沉浸感的聲音體驗。

Ambisonics

Ambisonics是一種研發(fā)于上個(gè)世界70年代的球形環(huán)繞聲技術(shù)。它既是一種錄音制式，也是一種編解碼算法。

從錄音制式來(lái)看，Ambisonics可以理解為是M/S立體聲錄音制式的三維擴展，以一定方式組合的四個(gè)振膜陣列記錄了具有高度和深度信息的四軌聲音信號。

從編解碼方式來(lái)看，采用 Ambisonics 方式錄制得到的聲音信號可以通過(guò)計算變換后，以雙聲道立體聲、5.1、7.1，甚至是11.1、22.2等各種多聲道環(huán)繞聲格式來(lái)輸出。另外，Ambisonics可以作為一種音頻文件格式用于保存和流通，YouTube在去年推出的支持全景視頻的音頻格式就采用了Ambisonics技術(shù)。

無(wú)論是采取哪種形式采集錄制VR音頻，最終的目的都是能夠在VR中感受到真正具有沉浸感的聲音?？偟膩?lái)說(shuō)，相比較2016年前半段時(shí)間，現在已經(jīng)有越來(lái)越多的大公司開(kāi)始布局VR音頻。不過(guò)想要真正實(shí)現虛擬現實(shí)中的臨場(chǎng)音頻效果，還需要面對采集成本、現場(chǎng)干擾等等因素，路漫漫其修遠兮，VR音頻還需要“上下求索”。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！