借助AI與AAD技術(shù)，這款認知助聽(tīng)器讓你想聽(tīng)哪里聽(tīng)哪里

如果一切順利，五年內該系統將開(kāi)始出現在商業(yè)助聽(tīng)器中。

近日，哥倫比亞大學(xué)工程研究所推出一款新型認知助聽(tīng)器，其中研究人員利用聽(tīng)覺(jué)注意力解碼（AAD）技術(shù)和AI（深度學(xué)習），實(shí)現了用大腦的認知信號來(lái)控制助聽(tīng)器對外界聲音的主觀(guān)選擇。

據悉，該研究由哥倫比亞大學(xué)電機工程副教授Nima Mesgarani領(lǐng)導，哥倫比亞大學(xué)醫學(xué)中心的神經(jīng)外科和Hofstra-Northwell醫學(xué)院以及費恩斯坦醫學(xué)研究所合作完成。

目前，在一片噪雜的環(huán)境中，現有的數字助聽(tīng)器已經(jīng)可以有效地抑制背景噪聲，但是它們不能幫助使用者選擇放大他們想要聽(tīng)到的聲音，這也一直是數字助聽(tīng)器的研究難點(diǎn)。

而此款認知助聽(tīng)器就解決了這一問(wèn)題，它可以實(shí)時(shí)監測使用者的大腦活動(dòng)，以保證使用者即使在嘈雜環(huán)境下，也可以與自已想要交流的對象輕松交談。

對此，Mesgarani解釋道：“這項工作結合了兩門(mén)學(xué)科的最新技術(shù)：聲學(xué)工程和聽(tīng)覺(jué)注意力解碼。我們只要加入深層神經(jīng)網(wǎng)絡(luò )模型來(lái)幫助自動(dòng)分離語(yǔ)音信號，整個(gè)系統就可以運用起來(lái)。”

早前，團隊就有利用人的認知意識來(lái)控制助聽(tīng)器的想法，直到2012年，他們通過(guò)侵入式方式記錄了神經(jīng)信號，隨后實(shí)現對神經(jīng)信號的解碼，獲取被測試者注意力的目標。后來(lái)，在2015年，他們表示可以通過(guò)非侵入性方法實(shí)現AAD技術(shù)。

不過(guò)整個(gè)研發(fā)過(guò)程并非易事，對此，與Mesgarani一起工作的博士后科學(xué)家James O'Sullivan指出，將科學(xué)上的發(fā)現轉化為現實(shí)世界的可操作技術(shù)需要歷經(jīng)數次實(shí)驗。

在聽(tīng)覺(jué)注意力解碼的實(shí)際操作中，研究人員就面臨揚聲器種類(lèi)選擇問(wèn)題。于是他們通過(guò)將受試者腦部的神經(jīng)反應記錄與不同種類(lèi)揚聲器發(fā)出的語(yǔ)音信號進(jìn)行比較，得出與神經(jīng)數據最大相似性的揚聲器。事實(shí)證明，該系統只能采用全頻揚聲器，而非單頻揚聲器。

最終，Mesgarani的團隊開(kāi)發(fā)了一個(gè)端對端系統，這個(gè)系統會(huì )根據使用者神經(jīng)信號的解碼信號選定到特定的音頻接收通道，其中每個(gè)通道都包含一個(gè)全頻揚聲器。隨后該系統會(huì )自動(dòng)分離全頻揚聲器中的聲音信號，確定使用者關(guān)注的聲音信號，然后放大該信號，確保使用者能夠清晰聽(tīng)見(jiàn)。

該團隊使用癲癇手術(shù)的神經(jīng)學(xué)受試者的侵入性電皮質(zhì)記錄測試了該系統的功效。

在測試中，他們確定了對AAD有貢獻的聽(tīng)覺(jué)皮質(zhì)區域，發(fā)現該系統僅使用混頻就可以解碼使用者的注意力方向，并能夠放大他或她想要聽(tīng)的聲音。并且值得注意的是，整個(gè)過(guò)程的執行最多只要十秒。

此處，基于腦波信號來(lái)處理大量的音頻數據和神經(jīng)解碼信號是該助聽(tīng)器系統的重要功能。無(wú)疑，實(shí)時(shí)進(jìn)行這樣的操作需要超強的計算能力，而將強大的處理器縮小到標準助聽(tīng)器的大小是十分艱難的。

幸運的是，材料科學(xué)的進(jìn)步使得這樣的微型計算機成為可能。對此，Mesgarani表示，目前正在進(jìn)行大量的研究，以制造小型專(zhuān)用芯片，滿(mǎn)足所需的計算。

此外，他還表示，因為使用了深層神經(jīng)網(wǎng)絡(luò )，且有硬件的支持，最新的助聽(tīng)器數據可同步到手機等設備上，這將有助于在這種小型設備中進(jìn)行大量計算。

據了解，該技術(shù)目前還處于早期的概念驗證階段，但Mesgarani說(shuō)，如果一切順利，五年內，系統將開(kāi)始出現在商業(yè)助聽(tīng)器中。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！