聚焦真實(shí)生產(chǎn)環(huán)境，騰訊發(fā)布業(yè)內首個(gè)AI安全攻擊矩陣

AI安全最全“排雷圖”來(lái)了！

近年來(lái)，人工智能迅猛發(fā)展，與家居、金融、交通、醫療等各個(gè)領(lǐng)域深度融合，讓人們的生活更為便利。但與此同時(shí)，基于人工智能的系統一旦存在風(fēng)險也將帶來(lái)更為嚴重的后果。如何確保人工智能在不同的應用場(chǎng)景下不會(huì )被輕易控制、影響或欺騙，也成為從業(yè)者的重要研究課題。

9月25日，騰訊正式發(fā)布業(yè)內首個(gè)AI安全攻擊矩陣。這是一份具有高實(shí)用性的AI安全技術(shù)指導框架，首次全面梳理了學(xué)術(shù)及工業(yè)界最前沿的AI安全研究，從攻擊者的視角系統列舉了AI技術(shù)研發(fā)部署各個(gè)環(huán)節中的攻擊過(guò)程與技術(shù)實(shí)現手段，幫助AI從業(yè)者快速了解全生命周期下AI系統的風(fēng)險點(diǎn)與對應緩解方法，為AI系統的安全部署和應用落地提供重要的技術(shù)參考。

圖 | AI安全的威脅風(fēng)險矩陣

據了解，該矩陣由騰訊兩大實(shí)驗室騰訊AI lab和朱雀實(shí)驗室聯(lián)合編纂，并借鑒了網(wǎng)絡(luò )攻防領(lǐng)域中成熟度高、實(shí)戰意義強的開(kāi)源安全研究框架ATT&CK，全面分析了攻擊者視角下的戰術(shù)、技術(shù)和流程，能夠幫助防御者更精準地掌握安全響應方法與防御措施。相比從單一角度研究算法的安全問(wèn)題，該矩陣具有更高的實(shí)用價(jià)值和參考意義。

該AI安全的威脅風(fēng)險矩陣強調真實(shí)場(chǎng)景，并按照較成熟、研究中、潛在威脅三種成熟度直觀(guān)地將攻擊技術(shù)分類(lèi)。據騰訊AI Lab介紹，矩陣編撰的核心難點(diǎn)在于如何選取和梳理AI系統安全問(wèn)題的分析角度。作為一種與其他軟硬件結合運作的應用程序，AI系統安全的分析切入角度與傳統互聯(lián)網(wǎng)產(chǎn)品并不完全一致。經(jīng)過(guò)充分調研，團隊最終選擇從AI研發(fā)部署生命周期的角度切入，總結歸納出AI系統在不同階段所面臨的安全風(fēng)險，從全局視角來(lái)審視AI的自身安全。

在這種實(shí)用思想的指導下，該矩陣能夠像字典一樣便捷使用。研究人員和開(kāi)發(fā)人員根據AI部署運營(yíng)的基本情況，就可對照風(fēng)險矩陣排查可能存在的安全問(wèn)題，并根據推薦的防御建議，降低已知的安全風(fēng)險。

除了聚焦機器學(xué)習、計算機視覺(jué)、語(yǔ)音識別及自然語(yǔ)言處理等四大基礎研究領(lǐng)域外，騰訊AI Lab也在持續關(guān)注AI領(lǐng)域的安全性研究，助力可信的AI系統設計與部署。騰訊朱雀實(shí)驗室則專(zhuān)注于實(shí)戰攻擊技術(shù)研究和AI安全技術(shù)研究，以攻促防，守護騰訊業(yè)務(wù)及用戶(hù)安全。此前朱雀實(shí)驗室就曾模擬實(shí)戰中的黑客攻擊路徑，直接控制AI模型的神經(jīng)元，為模型“植入后門(mén)”，在幾乎無(wú)感的情況下，實(shí)現完整的攻擊驗證，這也是業(yè)內首個(gè)利用AI模型文件直接產(chǎn)生后門(mén)效果的攻擊研究。

騰訊云副總裁、騰訊安全平臺部負責人楊勇表示，隨著(zhù)行業(yè)對AI應用的不斷深入，在各個(gè)層面都會(huì )出現更具有實(shí)際攻擊意義的方法和手段。騰訊將持續研究AI安全領(lǐng)域，并不定期更新風(fēng)險矩陣，保持和業(yè)界最新成果的同步。

目前，風(fēng)險矩陣的完整版本可于騰訊AI Lab官網(wǎng)免費下載。附矩陣全文下載地址：https://share.weiyun.com/8InYhaYZ。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！