迪士尼研究院用深度學(xué)習打造語(yǔ)音動(dòng)畫(huà)，讓VR社交更真實(shí)

基于深度學(xué)習的系統可以提供更高的準確性以及細節度。

最近，迪士尼研究院聯(lián)合東安格利亞大學(xué)、加利福尼亞理工大學(xué)和卡內基梅隆大學(xué)的研究人員，發(fā)布了一篇題為“A Deep Learning Approach for Generalized Speech Animation”的論文，闡述了通過(guò)深度學(xué)習來(lái)實(shí)現程序語(yǔ)音動(dòng)畫(huà)的方法。該方法采樣完人們的錄音后，即可自動(dòng)生成與語(yǔ)音相匹配的口型動(dòng)畫(huà)。

據了解，這是一個(gè)借助深度學(xué)習方法進(jìn)行訓練的系統，它能夠分析來(lái)自任何揚聲器的音頻，學(xué)習從語(yǔ)音標簽輸入序列到口部運動(dòng)的任意非線(xiàn)性映射，然后系統會(huì )自動(dòng)生成相應的口形以及符合語(yǔ)音的面部模型。

如果應用到虛擬現實(shí)中，可以讓虛擬的人物形象在說(shuō)話(huà)的時(shí)候保持和現實(shí)中用戶(hù)相同的口型變化，讓VR社交應用的VR形象更加逼真。而且對于虛擬化身語(yǔ)音動(dòng)畫(huà)來(lái)說(shuō)，雖然口型追蹤是比較準確的方法，但是在這種口型追蹤硬件普及之前，迪士尼研究院的程序語(yǔ)音動(dòng)畫(huà)是一個(gè)行之有效的好方式。

另外，在一些VR社交應用中也有通過(guò)系統實(shí)現語(yǔ)音動(dòng)畫(huà)的方式，主要也是基于音頻來(lái)制作虛擬形象的口型動(dòng)畫(huà)，而基于深度學(xué)習的系統可以提供更高的準確性以及細節度。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！