站在A(yíng)GI的大門(mén)前，為何我們開(kāi)始感到恐懼？

AGI來(lái)得太快了嗎？

誰(shuí)曾想到，一場(chǎng)驚動(dòng)整個(gè)科技圈的內斗大戲，起因竟是一封信。

據路透社透露，在Sam Altman遭解雇之前，曾有OpenAI的研究人員向該公司董事會(huì )發(fā)出舉報信，警告一種強大的人工智能可能會(huì )威脅到人類(lèi)。

這是一個(gè)名為Q*（讀：Q-stard）的AI模型，知情人士表示這可能是OpenAI在A(yíng)GI方向上的最新突破。

長(cháng)期以來(lái)，硅谷大佬們針對“AI安全”的爭論一直沒(méi)有罷休。

或許正因如此，這項可能是下一個(gè)革命性技術(shù)的直接最新發(fā)現，才能被內部人士提前曝光。

關(guān)于新模型究竟是什么，目前能知道的信息還很少，但從OpenAI的社區留言可以看出來(lái)，大多數人對于Q*的到來(lái)并不歡迎。

什么是Q*

根據外媒的曝光，我們先來(lái)簡(jiǎn)單介紹一下Q*。

Q*的前身是由Ilya Sutskever團隊在2021年發(fā)起的GPT-zero項目，目的是解決了合成數據的問(wèn)題。

如果說(shuō)此前訓練大模型的數據大多源于網(wǎng)絡(luò )個(gè)人數據，而GPT-zero項目可以用計算機生成的數據訓練，一下子就解決了數據來(lái)源的瓶頸。

對于A(yíng)I公司們而言，數據也是一種資源。尤其是高質(zhì)量的語(yǔ)言數據，更是直接決定大模型的質(zhì)量。

在大模型混戰面前，AI公司都是將數十億參數起步，以TB為單位的數據集進(jìn)行喂養。不僅數據集可能被耗盡，價(jià)格也是水漲船高。

因此當合成數據出現后，就能像永動(dòng)機一樣可以無(wú)限生成高質(zhì)量的數據，從而解決數據問(wèn)題。

在談到GPT-zero項目，馬斯克也評論稱(chēng)：“Synthetic data will exceed that by a zillion.（合成數據可以超過(guò)1ZB）”。

對比目前已有的數據，一個(gè)硬盤(pán)就能裝下（lt's a little sad that you can fit the text of every book ever written byhumans on one hard drive ）。

在GPT-zero的研究成果下，OpenAI兩位高級研究人員Jakub Pachocki 和 Szymon Sidor構建了Q*模型，

雖然目前可能水平并不高（小學(xué)生數學(xué)能力），但專(zhuān)業(yè)人士認為該模型能夠解決此前從未見(jiàn)過(guò)的數學(xué)問(wèn)題。

而這又牽涉另一個(gè)技術(shù)——Q-learning算法。

這是一個(gè)經(jīng)典的強化學(xué)習算法，有很強的規劃能力但不通用、不可泛化；而大模型的優(yōu)勢就是近乎大模型具備了人類(lèi)水平的泛化能力，又稱(chēng)舉一反三。

那么將兩者合二為一后，這種既有規劃能力，又有泛化能力的大模型，已經(jīng)非常接近人腦，可以自主學(xué)習和自我改進(jìn)，而最終的結果：大概率可以出現自主決策，并具備輕微自我意識，成為接近超越人類(lèi)的AGI。

如果報道內容屬實(shí)，我們可以設想一下，在商業(yè)化和安全性觀(guān)念分歧下，保守派代表Ilya Sutskever高調主導這次罷免Altman事件。

就在今年7月時(shí)，Ilya Sutskever就從組建了一個(gè)團隊，致力于限制AI潛在的安全威脅。

 而在A(yíng)ltman回歸OpenAI后，Ilya Sutskever沒(méi)能留在董事會(huì )。

圖 | Ilya Sutskever在Ted上談?wù)揂I安全

目前，OpenAI并未對Q*的報道發(fā)表回應，OpenAI究竟是不是實(shí)現了AGI，我們也只能等后續的報道。

人們在擔憂(yōu)什么？

在報道發(fā)出后，OpenAI 開(kāi)發(fā)者論壇的網(wǎng)友們開(kāi)始了激烈的討論。

從幾個(gè)高贊評論可以看出來(lái)，大多人對于Q*的到來(lái)還是表現地擔憂(yōu)。

不少人表示，AGI到來(lái)的速度比想象得太快，由此帶來(lái)的負面影響，甚至大于大模型本身。

這不免讓人聯(lián)想到此前硅谷大佬們針對“AI安全”的爭論——為何在新時(shí)代到來(lái)前，恐懼、不安也會(huì )開(kāi)始涌現？

讓我們以最近DeepMind公布的論文作為參照。

評估一個(gè)系統是否符合AGI 的定義，需要從六個(gè)維度考慮：廣泛性和性能、自主性、持久性、遞歸性自我改進(jìn)、任務(wù)自主選擇、目標驅動(dòng)。

其中，單就廣泛性和性能來(lái)說(shuō)，AGI的最高等級是超越人類(lèi)（Superhuman AGI），即在所有任務(wù)上都能超過(guò)100%的人類(lèi)。也只有這樣，才算達到了真正的AGI。

如果再對應其他維度，又可以發(fā)現AGI的發(fā)展其實(shí)會(huì )引發(fā)許多倫理和安全問(wèn)題

最終在機遇面前，風(fēng)險也無(wú)法避免：在一些特定領(lǐng)域，AGI可能會(huì )超越人類(lèi)，在關(guān)鍵角色中取代人類(lèi)，或進(jìn)行遞歸性自我改進(jìn)。一旦這樣的AGI最終實(shí)現，將徹底改變我們的社會(huì )、經(jīng)濟和文化。

有意思的是，網(wǎng)友們對于A(yíng)GI的恐怖，其實(shí)更多出于A(yíng)I公司壟斷的擔憂(yōu)。

從前文可以看出來(lái)，想定義AGI是一件非常復雜的事情。如果詢(xún)問(wèn)不同的AI專(zhuān)家，或許會(huì )給出不同但有聯(lián)系的答案。

在這種情況下，想要決定某件事是否是AGI，完全是取決于A(yíng)I公司的領(lǐng)導人。

一旦人工智能在商業(yè)化取得可行性方面，同時(shí)又能既得利益，這樣一款產(chǎn)品很有可能成為一種“壟斷”。

我們都知道，Sam Altman其實(shí)是一位對AI商業(yè)化特別執著(zhù)的人。作為激進(jìn)派的代表，Sam Altman對于A(yíng)GI一直都是最積極的態(tài)度。

然而在非營(yíng)利治理結構下，無(wú)論是Sam Altman，甚至微軟，一旦開(kāi)始做出危險的或違背人類(lèi)利益的行為，董事會(huì )都可以直接驅逐。

這也與這次事件的前期發(fā)展十分相似。

不過(guò)隨著(zhù)Sam Altman回歸OpenAI并重組董事會(huì )，目前已有的三人均未獨立董事。換句話(huà)說(shuō)，董事會(huì )其實(shí)無(wú)法驅逐。甚至自己都被顛覆了。

在缺少了監管后，OpenAI只剩下政府監管機構這一限制。

然而作為OpenAI背后的大金主，微軟在美國政府的AI監管對局里，一直扮演積極推進(jìn)AI的角色，最終政府的監管對于OpenAI的影響也會(huì )越來(lái)越小。

在利益面前，關(guān)于Q*乃至AGI技術(shù)本身，似乎也很少有人討論了。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！