創(chuàng )新工場(chǎng)“AI蒙汗藥”論文入選NeurIPS 2019，防范“AI黑客”的另類(lèi)方法

該論文目的是對人工智能系統的安全性做一個(gè)技術(shù)性評估。

9月4日，被譽(yù)為機器學(xué)習和神經(jīng)網(wǎng)絡(luò )領(lǐng)域的頂級會(huì )議之一的NeurIPS 2019揭曉收錄論文名單，創(chuàng )新工場(chǎng)人工智能工程院的論文“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”被接收在列，論文的三位作者分別是：創(chuàng )新工場(chǎng)南京國際人工智能研究院執行院長(cháng)馮霽、創(chuàng )新工場(chǎng)南京國際人工智能研究院研究員蔡其志、南京大學(xué)人工智能學(xué)院院長(cháng)周志華。

這篇論文圍繞現階段人工智能系統的安全性展開(kāi)研究，具體而言，文章提出了一種高效生成對抗訓練樣本的方法DeepConfuse，通過(guò)微弱擾動(dòng)數據庫的方式，徹底破壞對應的學(xué)習系統的性能，達到“數據下毒”的目的。

論文第一作者馮霽表示，該論文目的是對人工智能系統的安全性做一個(gè)技術(shù)性評估，假設數據庫被惡意篡改的話(huà)，對應的系統會(huì )壞成什么樣。另一個(gè)目的也是希望呼吁引起對該問(wèn)題的重視。

創(chuàng )新工場(chǎng)“數據下毒”論文入選頂會(huì )NeurIPS

“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”這篇論文的主要貢獻，就是提出了高效生成對抗訓練數據的最先進(jìn)方法之一——DeepConfuse，通過(guò)劫持神經(jīng)網(wǎng)絡(luò )的訓練過(guò)程，教會(huì )噪聲生成器為訓練樣本添加一個(gè)有界的擾動(dòng)，使得該訓練樣本訓練得到的機器學(xué)習模型在面對測試樣本時(shí)的泛化能力盡可能地差，非常巧妙地實(shí)現了“數據下毒”。

顧名思義，“數據下毒”即讓訓練數據“中毒”，具體的攻擊策略是通過(guò)干擾模型的訓練過(guò)程，對其完整性造成影響，進(jìn)而讓模型的后續預測過(guò)程出現偏差。（“數據下毒”與常見(jiàn)的“對抗樣本攻擊”是不同的攻擊手段，存在于不同的威脅場(chǎng)景：前者通過(guò)修改訓練數據讓模型“中毒”，后者通過(guò)修改待測試的樣本讓模型“受騙”。）

舉例來(lái)說(shuō)，假如一家從事機器人視覺(jué)技術(shù)開(kāi)發(fā)的公司希望訓練機器人識別現實(shí)場(chǎng)景中的器物、人員、車(chē)輛等，卻不慎被入侵者利用論文中提及的方法篡改了訓練數據。研發(fā)人員在目視檢查訓練數據時(shí)，通常不會(huì )感知到異常（因為使數據“中毒”的噪音數據在圖像層面很難被肉眼識別），訓練過(guò)程也一如既往地順利。但這時(shí)訓練出來(lái)的深度學(xué)習模型在泛化能力上會(huì )大幅退化，用這樣的模型驅動(dòng)的機器人在真實(shí)場(chǎng)景中會(huì )徹底“懵圈”，陷入什么也認不出的尷尬境地。更有甚者，攻擊者還可以精心調整“下毒”時(shí)所用的噪音數據，使得訓練出來(lái)的機器人視覺(jué)模型“故意認錯”某些東西，比如將障礙認成是通路，或將危險場(chǎng)景標記成安全場(chǎng)景等。

為了達成這一目的，這篇論文設計了一種可以生成對抗噪聲的自編碼器神經(jīng)網(wǎng)絡(luò )DeepConfuse，通過(guò)觀(guān)察一個(gè)假想分類(lèi)器的訓練過(guò)程更新自己的權重，產(chǎn)生“有毒性”的噪聲，從而為“受害的”分類(lèi)器帶來(lái)最低下的泛化效率，而這個(gè)過(guò)程可以被歸結為一個(gè)具有非線(xiàn)性等式約束的非凸優(yōu)化問(wèn)題。

此外，論文中提出的方法還能有效擴展至針對特定標簽的情形下，即攻擊者希望通過(guò)一些預先指定的規則使模型分類(lèi)錯誤，例如將“貓”錯誤分類(lèi)成“狗”，讓模型按照攻擊者計劃，定向發(fā)生錯誤。

對數據“下毒”技術(shù)的研究并不單單是為了揭示類(lèi)似的AI入侵或攻擊技術(shù)對系統安全的威脅，更重要的是，只有深入研究相關(guān)的入侵或攻擊技術(shù)，才能有針對性地制定防范“AI黑客”的完善方案。

AI安全攻防還在探索期，不存在一個(gè)包治百病的“疫苗”

當前，隨著(zhù)AI算法、AI系統在國計民生相關(guān)的領(lǐng)域逐漸得到普及與推廣，科研人員必須透徹地掌握AI安全攻防的前沿技術(shù)，并有針對性地為自動(dòng)駕駛、AI輔助醫療、AI輔助投資等涉及生命安全、財富安全的領(lǐng)域研發(fā)最有效的防護手段。

在線(xiàn)上的發(fā)布會(huì )中，創(chuàng )新工場(chǎng)CTO、人工智能工程院執行院長(cháng)王詠剛也表示，目前的AI系統攻防處于非常早期的研發(fā)階段，與傳統安全領(lǐng)域已經(jīng)相對成熟的方法論、算法、工具、平臺等相比，AI安全攻防還處于探索期。目前的主流攻擊方法，如對抗樣本攻擊，數據下毒攻擊等，雖然已經(jīng)有一些防范思路，但無(wú)論是攻擊技術(shù)，還是安全防護技術(shù)都在發(fā)展中。

馮霽則表示，“目前防護的技術(shù)還處于較為初期的情況，類(lèi)似于網(wǎng)絡(luò )安全，不存在一個(gè)包治百病的“疫苗”，對于人工智能企業(yè)，我們建議需要建立專(zhuān)門(mén)的安全團隊，對自家的系統進(jìn)行全方位的保護。”

除了安全問(wèn)題之外，人工智能應用的數據隱私問(wèn)題，也是創(chuàng )新工場(chǎng)AI安全實(shí)驗室重點(diǎn)關(guān)注的議題之一。 近年來(lái)，隨著(zhù)人工智能技術(shù)的高速發(fā)展，社會(huì )各界對隱私保護及數據安全的需求加強，聯(lián)邦學(xué)習技術(shù)應運而生，并開(kāi)始越來(lái)越多地受到學(xué)術(shù)界和工業(yè)界的關(guān)注。

具體而言，聯(lián)邦學(xué)習系統是一個(gè)分布式的具有多個(gè)參與者的機器學(xué)習框架，每一個(gè)聯(lián)邦學(xué)習的參與者不需要與其余幾方共享自己的訓練數據，但仍然能利用其余幾方參與者提供的信息更好的訓練聯(lián)合模型。換言之，各方可以在在不共享數據的情況下，共享數據產(chǎn)生的知識，達到共贏(yíng)。

創(chuàng )新工場(chǎng)AI工程院十分看好聯(lián)邦學(xué)習技術(shù)的巨大應用潛力，今年3月，馮霽代表創(chuàng )新工場(chǎng)當選為IEEE聯(lián)邦學(xué)習標準制定委員會(huì )副主席，著(zhù)手推進(jìn)制定AI協(xié)同及大數據安全領(lǐng)域首個(gè)國際標準。創(chuàng )新工場(chǎng)也將成為聯(lián)邦學(xué)習這一技術(shù)“立法”的直接參與者。

創(chuàng )新工場(chǎng)AI工程院論文成果斬獲多項國際頂會(huì )

創(chuàng )新工場(chǎng)憑借獨特的VC+AI（風(fēng)險投資與AI研發(fā)相結合）的架構，致力于扮演前沿科研與AI商業(yè)化之間的橋梁角色，他們于2019年廣泛開(kāi)展科研合作，與其他國際科研機構合作的論文在多項國際頂級會(huì )議中嶄露頭角，除上述介紹的“數據下毒”論文入選NeurlPS之外，還有8篇收錄至五大學(xué)術(shù)頂會(huì )，具體包括：兩篇論文入選計算機視覺(jué)領(lǐng)域國際頂會(huì )ICCV、一篇論文入選機器人與自動(dòng)化領(lǐng)域國際頂會(huì )IROS、三篇論文入選自然語(yǔ)言處理領(lǐng)域國際頂會(huì )EMNLP、一篇論文入選計算機圖形學(xué)和可視化領(lǐng)域國際頂級期刊IEEE TVCG、一篇論文入選計算機網(wǎng)絡(luò )頂級學(xué)術(shù)會(huì )議NSDI。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！