IBM首個(gè)人造神經(jīng)元幕后，神經(jīng)形態(tài)計算系統向人造大腦突破

日前，IBM蘇黎世研究院研究人員利用相變存儲材料，制造出首例隨機興奮人工神經(jīng)元。

【編者按】本文由新智元編譯，來(lái)源：IBM Research、The Economist 等，譯者：聞菲、張冬君

日前，IBM蘇黎世研究院研究人員利用相變存儲材料，制造出首例隨機興奮人工神經(jīng)元?！督?jīng)濟學(xué)人》評論，這是在人造大腦方面的又一突破。模仿大腦的概念簡(jiǎn)單，但實(shí)際把它做出來(lái)卻相當難。有了IBM 的這項突破，今后再將隨機相變神經(jīng)元集群與其他納米計算材料結合在一起，能夠成為下一代超密神經(jīng)形態(tài)計算系統的關(guān)鍵。

沒(méi)有人知道人腦是如何工作的，因此研究人腦的研究員才想出了“模擬”的方法。常見(jiàn)的方法是用神經(jīng)形態(tài)元件制作出一個(gè)人造大腦。計算機科學(xué)家早就從生物學(xué)中汲取靈感，最近被稱(chēng)為“深度學(xué)習”的人工智能技術(shù)，就是模仿人腦的生理行為。

神經(jīng)形態(tài)（Neuromorphic）一詞最早是在 20 世紀 80 年代，由加州理工大學(xué)的計算機科學(xué)家 Carver Mead 提出。神經(jīng)形態(tài)工程學(xué)（Neuromorphic engineering）希望利用具有模擬電路特征的超大規模集成電路（VLSI），模仿人腦神經(jīng)系統，最終目標是制造一個(gè)仿真人腦的芯片或集成電路。神經(jīng)形態(tài)工程學(xué)需要跨領(lǐng)域的合作，也吸引了生物學(xué)、物理學(xué)、數學(xué)及信息科學(xué)等各方面人才的投入。

日前，IBM 蘇黎世研究院的研究人員利用相變存儲材料獲得了突破。IBM 研究員 Evangelos Eleftheriou 表示，過(guò)去十年來(lái)，IBM 一直從事相變存儲材料的研究。“現在，我們又展示了這些使用相變材料制作的人工神經(jīng)元的能力，它們能夠以非常低的能耗進(jìn)行高效無(wú)監督學(xué)習和數據相關(guān)的檢測等多種簡(jiǎn)單的計算。” Eleftheriou 說(shuō)。

論文的第一作者 Tomas Tuma 表示，隨機相變神經(jīng)元集群與其他納米計算材料結合在一起，能夠成為下一代超密神經(jīng)形態(tài)計算系統的關(guān)鍵。相關(guān)論文日前被《自然·納米技術(shù)》作為封面論文發(fā)表。

相變存儲材料動(dòng)態(tài)演示圖

世界首例隨機興奮人工神經(jīng)元

科學(xué)家幾十年前便提出，能夠制作出具有類(lèi)似人腦功能的神經(jīng)形態(tài)集成電路。但一直以來(lái)，能耗的問(wèn)題都沒(méi)有得到解決。

現在，IBM 蘇黎世研究院的研究人員利用相變存儲材料獲得了突破。IBM 研究員 Evangelos Eleftheriou 表示，過(guò)去十年來(lái)，IBM 一直從事相變存儲材料的研究。“我們展示了這些使用相變材料制作的人工神經(jīng)元的能力，它們能夠以非常低的能耗進(jìn)行高效無(wú)監督學(xué)習和數據相關(guān)的檢測等多種簡(jiǎn)單的計算。” Eleftheriou 說(shuō)。

論文的第一作者 Tomas Tuma 表示，隨機相變神經(jīng)元集群與其他納米計算材料結合在一起，能夠成為下一代超密神經(jīng)形態(tài)計算系統的關(guān)鍵。

藝術(shù)家創(chuàng )作：相變合金液鍺銻碲（GeSbTe）覆蓋的人造神經(jīng)元。來(lái)源：IBM 研究院

IBM 蘇黎世研究院研究人員制造的這款人工神經(jīng)元，由相變合金鍺銻碲（GeSbTe）組成，GeSbTe 也是制作藍光光碟的一種基礎材料，在不同的條件下會(huì )處于無(wú)定形和晶體兩種不同的狀態(tài)。

相變存儲器由于具有讀寫(xiě)速度快、能耗低、非揮發(fā)性、數據保持時(shí)間長(cháng)以及與硅加工工藝兼容等特點(diǎn)，被認為是最有可能取代目前的 SRAM、DRAM、FLASH等產(chǎn)品成為未來(lái)主流的存儲器產(chǎn)品。GeSbTe硫系三元化合物已經(jīng)被成功應用于光盤(pán)系列相變存儲器，也是在PCRAM應用中最具競爭力的相變材料。

生物神經(jīng)細胞在傳導神經(jīng)興奮信號時(shí)，會(huì )經(jīng)過(guò)神經(jīng)遞質(zhì)，也即一層液態(tài)的神經(jīng)薄膜，這層神經(jīng)薄膜在接收到信號時(shí)，不會(huì )立即釋放，而是當能量積蓄到一定程度后，才會(huì )向外發(fā)射信號。這個(gè)信號沿軸突傳導，被其他神經(jīng)元接收。

IBM 研究人員用一小滴鍺銻碲合金液作為神經(jīng)薄膜的替代品。實(shí)驗中，研究人員將人工神經(jīng)元接通后，輸入一系列電脈沖信號，從而使材料發(fā)生一系列相變，最終使人工神經(jīng)元發(fā)射信號。

具體看，一小滴鍺銻碲合金液兩邊分別接通電極。隨著(zhù)電流的通過(guò)，合金液的導電性會(huì )發(fā)生改變。最開(kāi)始，這一滴鍺銻碲合金液不含有任何晶體結構，因此導電性很差。但當低壓電流通過(guò)時(shí)，一部分合金溫度升高并開(kāi)始形成結晶，導電性也隨之增強。繼續通電，整滴合金液的導電性都會(huì )增強，直到最后電流完全能夠通過(guò)，就好像生物神經(jīng)薄膜能量積蓄滿(mǎn)之后發(fā)射神經(jīng)脈沖信號一樣。之后，再加上高壓電流，讓整個(gè)合金液熔化，就能回到初始狀態(tài)。

在神經(jīng)科學(xué)中，這種現象被稱(chēng)為神經(jīng)元的 integrate-and-fire（IF）性質(zhì)，也是基于事件計算的基礎。

生物神經(jīng)元是不可預測的，細胞里的震動(dòng)表明特定的輸入不一定會(huì )得到同樣的輸出。自然正是利用這種隨機性，讓神經(jīng)元完成了不可思議的工作，比如從復雜的數學(xué)題目中得出局部最小準則（local minimum criterion，LMC），這是依靠算法的數字計算機無(wú)法做到的。由于每次結晶的具體細節都不同，因此可以認為，這些人工神經(jīng)元的動(dòng)作是相對比較隨機的。

IBM 研究員 Evangelos Eleftheriou 表示，由于有了 IF屬性，單一的人造神經(jīng)元也能被用于處理實(shí)時(shí)信息流，并從中找出規律、發(fā)現關(guān)聯(lián)。例如，在物聯(lián)網(wǎng)中，傳感器能采集并分析網(wǎng)絡(luò )邊緣收集到的數據，預測天氣。此外，人工神經(jīng)元也能被用于檢測金融數據的規律，或者分析社交網(wǎng)絡(luò )數據，實(shí)時(shí)發(fā)現文化潮流。

神經(jīng)形態(tài)計算：模擬人腦神經(jīng)元行為

神經(jīng)形態(tài)（Neuromorphic）一詞最早是在 20 世紀 80 年代，由加州理工大學(xué)的計算機科學(xué)家 Carver Mead 提出。神經(jīng)形態(tài)工程學(xué)（Neuromorphic engineering）希望利用具有模擬電路特征的超大規模集成電路（VLSI），模仿人腦神經(jīng)系統，最終目標是制造一個(gè)仿真人腦的芯片或集成電路。神經(jīng)形態(tài)工程學(xué)需要跨領(lǐng)域的合作，也吸引了生物學(xué)、物理學(xué)、數學(xué)及信息科學(xué)等各方面人才的投入。

Carver Mead 在上世紀 70 年代為摩爾定律命名，他開(kāi)創(chuàng )了半導體行業(yè)的許多個(gè)第一，其中包括設計復雜硅芯片（超大規模集成電路）的方法，直到今天，這種方法仍然具有影響力。

1971年，Mead（左）在加州理工教授 VLSI 技術(shù)的第一堂課。來(lái)源：caltech.edu

上世紀 80 年代，對標準計算機的局限性感到沮喪的 Mead 開(kāi)始制造模擬哺乳動(dòng)物大腦的芯片，也由此創(chuàng )立了名為神經(jīng)形態(tài)計算的領(lǐng)域。Mead 使用亞閾值（sub-threshold）硅模仿大腦的低功耗處理過(guò)程。在十分微小的電壓下，正常芯片無(wú)法將比特從“0”改變?yōu)?ldquo;1”，但亞閾值硅仍然有微小的、不規則的電子流通過(guò)，這種自發(fā)電流的漲落，其大小和可變性，與神經(jīng)回路中流動(dòng)的離子所形成電子流非常相似。

20 世紀 90 年代，Mead 和同事發(fā)現，構建硅神經(jīng)元網(wǎng)絡(luò )是有可能實(shí)現的。該裝置通過(guò)結點(diǎn)（junction）接收外部電流輸入信號，結點(diǎn)的作用類(lèi)似于真實(shí)神經(jīng)系統中的突觸——神經(jīng)脈沖通過(guò)突觸，從一個(gè)神經(jīng)元傳到另一個(gè)神經(jīng)元。和真正的神經(jīng)元相似，硅神經(jīng)元允許傳入的信號在電路的內部積蓄電壓。當電壓達到一個(gè)特定的閾值，硅神經(jīng)元就會(huì )“放電”，產(chǎn)生一系列“電壓尖脈沖”（voltage spike，即瞬間出現的電壓峰值），這些“電壓尖脈沖”會(huì )沿著(zhù)一條導線(xiàn)傳播，這條導線(xiàn)的作用類(lèi)似神經(jīng)元的軸突。盡管這些尖脈沖是“數字化”的，只能處于開(kāi)或關(guān)這兩種狀態(tài)，但硅神經(jīng)元卻像真正的神經(jīng)元一樣，是以非數字化的形式運行的，因此硅神經(jīng)元的電流和電壓并不限于幾個(gè)不連續的數值，這與傳統芯片完全不同。

硅神經(jīng)元的表現，反映了大腦節能的一個(gè)關(guān)鍵因素：與真正的大腦一樣，硅神經(jīng)元在“放電”之前，只是簡(jiǎn)單地整合輸入信號，這只需要很少的能量。而在傳統計算機中，無(wú)論芯片是否進(jìn)行運算，都需要持續輸入能量，維持內部時(shí)鐘運行。

無(wú)論現今的智能型產(chǎn)品多么智能、電路多么復雜，但與人腦相比都還只是玩具，尤其是功率。人腦包含上千種神經(jīng)細胞及神經(jīng)元組成的一個(gè)極為復雜的網(wǎng)絡(luò )。光是"模擬"一個(gè)神經(jīng)元的行為，就需要消耗大量計算資源。

神經(jīng)形態(tài)工程學(xué)所追求的未來(lái)芯片，就是將大量的邏輯電路整合進(jìn)一個(gè)芯片中，透過(guò)個(gè)芯片的控制，讓各種高科技產(chǎn)品能夠順利運作。

IBM 蘇黎世研究院的研究人員利用相變存儲材料，制作的隨機興奮神經(jīng)元。兩邊微小的方形是電極的導電板，很尖的探針觸碰到導電板，讓相變材料回應神經(jīng)信號輸入。每組探針都能接觸到100個(gè)細胞組成的一個(gè)集群。來(lái)源：IBM研究院

現在，IBM 研究人員已經(jīng)將好幾百個(gè)這樣的人造神經(jīng)元構成集群，并用這些集群代表快速復雜的信號。不僅如此，每個(gè)人造神經(jīng)元都表現出了很高的耐受性，能夠在 100 Hz 的頻率下運行好幾年。每個(gè)神經(jīng)元的能耗都少于 5 皮焦，平均能耗少于 120 微瓦。相比之下，60瓦的電燈泡需要消耗 6000萬(wàn)微瓦。

研究人員專(zhuān)訪(fǎng)

參與這項研究的IBM蘇黎世研究員（從左到右）：Abu Sebastian，Evangelos Eleftheriou，Tomas Tuma，Angeliki Pantai 和 Manuel Le Gallo。來(lái)源：IBM研究院

IBM 蘇黎世的暑期實(shí)習生 Millian Gehrer 采訪(fǎng)了參與上述研究的研究員 Manuel Le Gallo。

人工神經(jīng)元的功能是什么？

Manuel Le Gallo：神經(jīng)元具有一定的功能，我們稱(chēng)之為“整合和觸發(fā)（integrate and fire）”。神經(jīng)元就像一個(gè)蓄電池，如果你不停地向神經(jīng)元輸入電流，它就會(huì )整合所有的輸入電流。膜電位取決于輸入電流的量和強度，它在達到一定的閾值時(shí)，會(huì )“fire”或者“spike。這種蓄電池可用于執行極其復雜的計算任務(wù)。

人工神經(jīng)元的發(fā)展帶來(lái)怎樣的靈感？

ML：人工神經(jīng)元旨在模仿生物神經(jīng)元的活動(dòng)。人工神經(jīng)元的功能不可能和生物神經(jīng)元完全相同，但是非常相近，足夠用來(lái)執行人腦里的計算。人工神經(jīng)元通常是用基于CMOS的電路制造的，這是我們在計算機中使用的標準晶體管技術(shù)。我們的研究使用的是非CMOS裝置，比如相變裝置，以再現降低能耗和增加磁錄密度的相同功能。

你對論文的貢獻是什么？

ML：過(guò)去三年我一直從事相變存儲材料的相關(guān)工作。這項研究加深了我們對相變存儲材料特性和模擬的了解，這對于使用相變材料制作存儲器是至關(guān)重要的。此外，我們還獲得了實(shí)驗數據，對結論的分析和闡釋也有所貢獻。

人造神經(jīng)元在什么情景下使用？

ML：論文中，我們展示了如何從多次事件輸入流中檢測到關(guān)聯(lián)性。假設有很多二元事件流，想要找出哪兩條暫時(shí)相關(guān)，比如在1秒鐘內同時(shí)發(fā)生。我們展示了如何從多個(gè)事件流當中檢測關(guān)聯(lián)性。

“事件”是什么意思？

ML：事件可以指Twitter的數據，或者物聯(lián)網(wǎng)收集到的天氣數據或者傳感器數據。假設你現在有多條二元事件流，你想找出其中哪些是暫時(shí)相關(guān)的。論文中我們展示了，只用一個(gè)神經(jīng)元就可以做出這樣的區分，這個(gè)神經(jīng)元與多個(gè)接收這些事件的突觸相連。

神經(jīng)形態(tài)計算比傳統計算更加高效的原因是什么？

ML：傳統計算，存儲單元和邏輯單元是分開(kāi)的。每次計算時(shí)，你需要先訪(fǎng)問(wèn)存儲器，得到數據，再將其轉移到邏輯單元，邏輯單元計算得出結果后，再將這一結果發(fā)送給存儲單元，如此往返。因此，如果要處理的數據有很多，那么就會(huì )很麻煩。

在神經(jīng)網(wǎng)絡(luò )中，計算和存儲是一體的。不需要在存儲單元和邏輯單元之間建立聯(lián)系；只需要在不同的神經(jīng)元之間建立起合適的連接即可。這也是我們的研究能效更高的原因，尤其是處理大規模數據時(shí)。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！