為防止AI亂說(shuō)話(huà)，英偉達推出開(kāi)源工具包協(xié)助大模型

AI還會(huì )翻車(chē)嗎？

隨著(zhù)ChatGPT等生成式AI的爆火，越來(lái)越多人享受AI帶來(lái)的便利。但與此同時(shí)，這些AI工具并不是無(wú)所不能的，在一些情況下，AI經(jīng)常會(huì )出現“一本正經(jīng)亂說(shuō)”的情況，甚至會(huì )出現原則性錯誤。

為了讓AI工具減少不必要的錯誤，英偉達在當地時(shí)間周二推出了一款名為NeMo Guardrails的開(kāi)源工具包，它能為人工智能模型設置安全“護欄”，避免AI輸出一些不良的內容。

據官方介紹，NeMo Guardrails主要提供三種“護欄”模式，分別是：

1、主題護欄：可以避免應用程序偏離到不想要的領(lǐng)域。 

2、安全護欄：確保應用程序回復準確、適當的信息。

3、保全護欄：限制應用程序僅與已知為安全的外部鏈接建立連接。

簡(jiǎn)單來(lái)說(shuō)，該軟件可以在模型輸出不良內容之前進(jìn)行攔截和修改，從而限制模型的輸出范圍，并防止模型產(chǎn)生錯誤或有害的輸出。此外，該軟件還能夠利用一個(gè) AI 模型來(lái)檢測另一個(gè) AI 模型”，從而提高模型的準確性和可靠性。

英偉達方面表示，受益于開(kāi)放源代碼的特性，NeMo Guardrails可以與企業(yè)應用程序開(kāi)發(fā)人員使用的所有工具配合使用，有利于縮端開(kāi)發(fā)時(shí)間，整合第三方應用程序與大型語(yǔ)言模型的強大功能，發(fā)揮更大的生產(chǎn)力。

換句話(huà)說(shuō)，該工具軟件以開(kāi)源方式推出，可以搭配多種大型語(yǔ)言模型使用。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！