谷歌和OpenAI聯(lián)合發(fā)布五條AI定律：如何有效約束AI？

面對越發(fā)先進(jìn)的人工智能，人們不禁開(kāi)始擔心會(huì )不會(huì )遭到機器人的反噬。對此，谷歌和OpenAI聯(lián)合發(fā)布五條AI定律，意圖從根本上約束智能機器人。

聽(tīng)說(shuō)了嗎？前些日子逃跑的俄羅斯機器人又再次出逃了，并且這次實(shí)驗室不打算再姑息，要將它進(jìn)行肢解。這表面上是件很好笑的事，但在玩笑的同時(shí)，我們是不是該深度思考一下：現在機器人已經(jīng)能自己出逃了，將來(lái)還會(huì )做出什么事呢？

早在A(yíng)I概念的提出之前，人們就對那種強大的、有著(zhù)金屬身軀和超高智商的機器人表達出了自己的恐懼，這些從一些早期的電影中就能夠看出端倪。不少科學(xué)家和知名人士都曾對此發(fā)表自己的看法和預想的解決措施。就在近日，谷歌和OpenAI也聯(lián)合發(fā)布了五條AI定律，旨在為AI提供一個(gè)有效的行為約束，以使其不會(huì )在有意或無(wú)意中做出危害人類(lèi)的事情。

谷歌和OpenAI聯(lián)合發(fā)布的五條AI定律

谷歌和OpenAI一直在“避免機器人傷害人類(lèi)”的道路上摸索前進(jìn)，日前，他們聯(lián)合宣布了一條由谷歌、OpenAI、伯克利和斯坦福的學(xué)者共同進(jìn)行的研究，其中包含了對AI的五條定律，部分翻譯如下：

盡管AI可能面臨的安全風(fēng)險已經(jīng)引起了公眾的注意，但是目前大多數相關(guān)的討論都顯得過(guò)于理想化和理論化。我們相信在機器學(xué)習領(lǐng)域將相關(guān)的研究盡快落地是非常必要的，因此我們開(kāi)始研究實(shí)際可行的可將AI系統用安全可靠的手段建立起來(lái)的方法。

我們列出了我們認為在一般情況下對AI而言非常重要的五個(gè)問(wèn)題——都是一些比較前衛的思考和長(cháng)期的研究方向。在目前來(lái)看它們的意義比較小，但是在未來(lái)的系統中它們會(huì )發(fā)揮重要作用。

避免負面影響：我們如何避免AI在試圖達到目標時(shí)對環(huán)境做出有負面影響的舉動(dòng)？比如避免掃地機器人為了更快的打掃地面而徑直推翻（而不是繞過(guò)去） 一個(gè)花瓶。

避免對獎勵條件的非法解讀：我們如何避免AI通過(guò)篡改測量值等手段在獎勵函數上玩花樣？比如我們不希望這個(gè)掃地機器人只是找個(gè)東西把臟東西蓋起來(lái)讓自己看不見(jiàn)它，就認為自己已經(jīng)掃干凈了地面。

可擴展的監管：我們如何有效保證AI系統對那些在系統中不方便太過(guò)頻繁的評估的物體做出適當的反應？比如，如果機器人需要從人那里獲得訓練結果的反饋，那它就需要有有效的利用這條反饋的能力（而不能像普通的訓練那樣不停的核對訓練結果），因為不停的問(wèn)一個(gè)人問(wèn)題是很煩人的。

環(huán)境探索的安全性：我們如何有效的保證AI系統評估環(huán)境的時(shí)候不會(huì )造成太過(guò)負面的影響？比如，一個(gè)掃地機器人可能會(huì )需要進(jìn)行建立拖地策略的實(shí)驗來(lái)作為以后工作的依據。但是很顯然它無(wú)論怎么實(shí)驗，也不應該嘗試把濕拖把插進(jìn)插座中。

分配轉變的穩定性：我們如何保證AI系統處在與訓練環(huán)境完全不同的環(huán)境時(shí)認知和行為的穩定性？比如，啟發(fā)式算法讓機器在在工廠(chǎng)中學(xué)到的行為可能在一個(gè)辦公室中就會(huì )顯得不那么安全。

不夠成熟的阿西莫夫定律

前面說(shuō)過(guò)，包括霍金在內的不少知名人士都曾發(fā)表過(guò)AI可能毀滅人類(lèi)、造成人類(lèi)滅亡的觀(guān)點(diǎn)。也有人曾探索過(guò)限制AI隨意發(fā)展的各種可能性。其中最著(zhù)名的是科幻作家阿西莫夫于1950年提出的“機器人三定律”（AI概念由約翰·麥卡錫于1955年首次提出）：

第一定律：機器人不得傷害人類(lèi)，或坐視人類(lèi)受到傷害。

第二定律：機器人必須服從人類(lèi)的命令，除非與第一定律沖突

第三定律：在不違背第一定律和第二定律的情況下，機器人必須保護自己。

根據阿西莫夫自己的構想：只要把這三項定律寫(xiě)入機器人的代碼底層，確保機器人無(wú)論如何都無(wú)法違反，就能保證人類(lèi)不被機器人所傷害。

但是，讓我們以現在的眼光來(lái)重新看待這三條定律，首當其沖的一個(gè)問(wèn)題就是技術(shù)的欠缺，對于如何將之寫(xiě)進(jìn)代碼底層，當前的技術(shù)對此還是毫無(wú)頭緒的，而且到目前為止，人類(lèi)造出的機器人還不能夠完全理解這三條定律的意思，這兩個(gè)絕對是目前AI領(lǐng)域的硬傷。

其次，除了技術(shù)不達標之外，這三條定律的表達還是有些模糊的，比如一個(gè)最簡(jiǎn)單的例子：一個(gè)劫匪正在對他人進(jìn)行搶劫，這時(shí)候的機器人基于“不得傷害人類(lèi)”的要求不能對劫匪實(shí)施傷害，但又不能“坐視人類(lèi)受到傷害”，這時(shí)候就會(huì )出現一個(gè)矛盾的狀況，那機器人應該如何做呢？

將之與AI五定律來(lái)進(jìn)行對比的話(huà)，阿西莫夫的的“機器人三定律”明顯不夠成熟、全面。

電影《I，Robot》

AI五定律的重要性

早在機器人概念還不夠清晰的時(shí)候，人們就已經(jīng)感受到了他們的威脅，比如1984年的《終結者》電影中機器人對人類(lèi)步步緊逼的追殺，2004年的《I，Robot》中高智能大腦Wiki自我進(jìn)化后對人類(lèi)的限制以及威脅……這些電影中反映的無(wú)一不是當時(shí)人們對機器人的恐懼，哪怕是比那時(shí)先進(jìn)不少的當今，仍然有人認為AI是極具威脅的，比如特斯拉CEO Elon Musk和霍金等人。

此外，在A(yíng)I的安全性上，谷歌早就開(kāi)始了相關(guān)的研究開(kāi)發(fā)，并發(fā)布過(guò)一篇論文，設計了一個(gè)用于緊急停止算法運行的開(kāi)關(guān)，并且確保開(kāi)關(guān)的效果不會(huì )被算法阻止，這個(gè)開(kāi)關(guān)屬于事后防范的應急措施。而現在谷歌聯(lián)合多家機構一起制定的這套新的規則的目的則是為了從源頭——設計層面防止AI做出有害的事情。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！