Facebook推出人工智能引擎DeepText，讓機器更好的理解語(yǔ)言和內容

Facebook 人工智能研究團隊與應用機器學(xué)習團隊合作，推出了一款文本理解引擎 DeepText ，試圖讓它理解用戶(hù)貼出的每篇文章。

【編者注】本文作者：Ahmad Abdulkader、Aparna Lakshmiratan、Joy Zhang，由機器之心編譯，參與：孫睿、微胖

引言：前幾天，有新聞報道在查舉不良圖片方面，Facebook 的人工智能戰勝了人工。今天，這家公司人工智能研究團隊與應用機器學(xué)習團隊合作，推出了一款文本理解引擎 DeepText ，試圖讓它理解用戶(hù)貼出的每篇文章。媒體預測，這款人工智能引擎將會(huì )深刻變革公司核心產(chǎn)品體驗。 Clarifai CEO Matthew Zeiler 曾說(shuō)，谷歌真不是一家搜索公司，而是機器學(xué)習公司。谷歌 CEO 也多次表示，公司正在踐行「AI 優(yōu)先」的理念。Facebook 或許與之殊途同歸？

Facebook 的搜索世界比不上谷歌的大，不過(guò)，其規模仍然蔚為可觀(guān)。

有超過(guò)十億用戶(hù)每天都會(huì )刷Facebook，網(wǎng)絡(luò )服務(wù)器上每天有數萬(wàn)億的狀態(tài)更新，活動(dòng)邀請，相冊以及視頻。Facebook 正坐擁日益增長(cháng)的海量數據。公司一直希望通過(guò)真正理解這些信息，將那些擁有共同興趣的人有效連接起來(lái)，幫助用戶(hù)找到正在尋找的東西，賣(mài)出更多的廣告。

Facebook 已經(jīng)使用了用戶(hù)共享的人口數據信息。不過(guò)，Facebook 希望打造新的功能，追蹤網(wǎng)站上的所有信息，就像谷歌抓取整個(gè)互聯(lián)網(wǎng)信息并作出索引。對于Facebook 用戶(hù)來(lái)說(shuō)，這意味著(zhù)，他們可以更加容易地找到埋藏在那些數以萬(wàn)億計博文中的有用信息，這就像去年谷歌開(kāi)始使用人工智能，試圖真正理解用戶(hù)查詢(xún)，將真正相關(guān)的信息呈現在搜索結果中。

正如公司博文所介紹的：

文本，是Facebook 上流行的溝通方式。理解Facebook 上各種不同文本使用方式，有助于改善用戶(hù)體驗，無(wú)論是讓更多用戶(hù)喜聞樂(lè )見(jiàn)的內容呈現出來(lái)，還是過(guò)濾掉討厭的內容，比如垃圾郵件。

去年，Facebook 已經(jīng)升級了自己的搜索功能，將更多的搜索結果包括進(jìn)來(lái)。比如，搜索“taco（墨西哥卷餅），你會(huì )得到包括朋友發(fā)的taco照片或者與taco有關(guān)的新聞報道。

不過(guò)，理論上，Deep Text 可以讓搜索更進(jìn)一步。

DeepText是一款基于深度學(xué)習的文本理解引擎，每秒能理解幾千篇博文內容，語(yǔ)言種類(lèi)多達20多種，準確度近似人類(lèi)水平。

比如，當一些好友或者品牌上po 出與taco有關(guān)的內容是，它可以分析出他們到底在說(shuō)什么，然后給出最有用的結果。比如，如果你想要知道哪里可以買(mǎi)到好的taco，它可能會(huì )分析你朋友當中關(guān)于taco相關(guān)的博文中的內容，給你推薦一家可以吃到taco的餐館。如果你在查詢(xún)taco對健康有哪些好處，他會(huì )推薦這方面的最新科學(xué)文章。

DeepText 充分利用了幾個(gè)深度神經(jīng)網(wǎng)絡(luò )結構，包括卷積和循環(huán)（recurrent）神經(jīng)網(wǎng)絡(luò )，并能完成以單詞、字符為基礎的學(xué)習任務(wù)。我們使用 Fb Learner Flow 和 Torch 進(jìn)行模型訓練。通過(guò) FBLearner Predictor 平臺（提供可擴展且可靠的分布式架構），輕松點(diǎn)擊按鍵就能調用訓練過(guò)的模型。Facebook 的工程師們能夠通過(guò)DeepText 提供的自助服務(wù)結構，輕松打造新的 DeepText 模型。

為什么采用深度學(xué)習？

文本理解包括多項任務(wù)，比如，通過(guò)一般分類(lèi)來(lái)決定某篇博文內容是否與籃球有關(guān)——以及識別實(shí)體，比如演員名字以及其他有意義的信息。不過(guò)，想要接近人類(lèi)的理解水平，我們需要讓計算機學(xué)會(huì )理解一些事情，比如俚語(yǔ)和語(yǔ)義消歧。比如，如果某人說(shuō)，「我喜歡 blackberry 」，這是指水果還是電子設備？

理解 Facebook 上的文本需要解決兩個(gè)難題：棘手的體量上的挑戰以及語(yǔ)言難題，傳統自然語(yǔ)言理解技術(shù)在這兩個(gè)問(wèn)題上沒(méi)效果。使用深度學(xué)習，我們可以更好地了解多種語(yǔ)言文本，在使用標簽數據方面，也比傳統自然語(yǔ)言理解技術(shù)高效地多。DeepText 以深度學(xué)習為基礎，并延伸了其中思想，深度學(xué)習最初源自 Ronan Collobert 以及 Yann LeCun 的 Facebook AI Research。

1.更加快速地理解更多語(yǔ)言

Facebook 社區確實(shí)全球化，因此，對 DeepText 來(lái)說(shuō)，盡可能多地理解不同語(yǔ)言很重要。傳統自然語(yǔ)言理解需要豐富的、建立在復雜工程學(xué)以及語(yǔ)言知識上的預處理邏輯。當人們使用俚語(yǔ)或不同拼寫(xiě)方式交流同一想法時(shí)，即使在同一種語(yǔ)言中，也會(huì )存在變化。使用了深度學(xué)習，我們就可以減少對語(yǔ)言依賴(lài)性知識的依靠，因為系統可以從文本中學(xué)習，幾乎不需要預處理。這有助于我們以最小的工程學(xué)成本迅速解決多語(yǔ)言問(wèn)題。

2. 更加深入地理解

在傳統自然語(yǔ)言處理方法中，語(yǔ)詞被轉為一種機器算法可以理解的形式。比如，「brother」可能用一個(gè)完整ID表示，比如4598，而「bro」可能會(huì )使用另一種表示，比如 986665。這種表征方式要求訓練數據中，每一個(gè)會(huì )被看到、有具體拼寫(xiě)的單詞都要得到理解。

如果使用深度學(xué)習，我們就可以使用「詞嵌入（word embeddings）」，一個(gè)保存單詞之間語(yǔ)義聯(lián)系的數學(xué)概念。因此，合理計算后，我們就可以看到「brother」和「bro」的詞嵌入距離很近。這類(lèi)表征方式可以讓捕捉到更為深入的單詞語(yǔ)義意思。

使用字嵌入，我們還可以理解不同語(yǔ)言中的相同語(yǔ)義表達。比如，英語(yǔ)的「Happy birthday」和西班牙語(yǔ)的 「feliz cumpleaños」，在共同的嵌入空間中，彼此應該非常接近。通過(guò)將語(yǔ)詞和短語(yǔ)映射到一個(gè)共同的嵌入空間，DeepText 就能建造起與語(yǔ)言無(wú)關(guān)（ language-agnostic）的模型。

3.標簽數據的匱乏

書(shū)面語(yǔ)言，盡管具有上面提到的諸多變化，但是，通過(guò)使用無(wú)監督學(xué)習，我們也可以從未標簽文本中提取出許多結構。深度學(xué)習為充分利用這些嵌入提供了好的框架，通過(guò)使用小規模的標簽數據組，就能進(jìn)一步精細化它們。這是勝過(guò)傳統方法的顯著(zhù)優(yōu)勢，后者通常需要大量人類(lèi)標簽過(guò)的數據，這不僅低效，也很難適應新任務(wù)。在許多情況下，無(wú)監督學(xué)習和監督學(xué)習的結合，可以顯著(zhù)提升效果，因為彌補了標簽數據組的不足。

Facebook 上的探索

我們已經(jīng)在一些 Facebook 的使用體驗中，測試 DeepText 了。例如，Messenger 現在能夠更好地了解某個(gè)人可能想去某個(gè)地方。DeepText 被用于感知用戶(hù)意圖和提取要點(diǎn)，當用戶(hù)說(shuō)「我剛從出租車(chē)里出來(lái)」時(shí)，它能夠理解這句話(huà)與「我需要一輛車(chē)」的區別，從而不會(huì )誤解成用戶(hù)在找出租車(chē)。

DeepText 幫助 Messenger 識別用戶(hù)用車(chē)需求，并建議用戶(hù)使用Uber或Lyft

不過(guò)，鑒于 Tay 事件效應，Facebook 機器學(xué)習團隊的工程主管 Mehanna 并沒(méi)有確認公司是否已經(jīng)將Deep Text 用于 M，一款以人工智能為基礎的虛擬助手。不過(guò)，他確實(shí)說(shuō)，Deep Text 「正在 Messenger 上緩慢而更加廣泛地鋪開(kāi)?！?/p>

我們也開(kāi)始使用高精確度、多語(yǔ)言的 DeepText 模型，來(lái)幫助人們尋找他們需要的工具。例如，用戶(hù)可能會(huì )發(fā)一條狀態(tài)說(shuō)「我的自行車(chē) 200 美元出售，有感興趣的嗎？」通過(guò)提煉售賣(mài)物品和價(jià)格等信息，DeepText 能夠發(fā)現這條狀態(tài)是關(guān)于售賣(mài)某樣東西的，并向用戶(hù)推薦在 Facebook 平臺上的相關(guān)產(chǎn)品.

通過(guò)理解博文內容，提取其中意圖、情感和實(shí)體（比如，人物、地點(diǎn)和事件），DeepText 有望進(jìn)一步提升FB 體驗，使用混合的內容信號，比如文本和圖片并自動(dòng)去除會(huì )被拒絕的內容，比如垃圾郵件。許多名人和公眾人物都在使用 Facebook 與大家交流，這些互動(dòng)往往會(huì )產(chǎn)生幾百甚至上千條評論。要從這些不同語(yǔ)言的評論中找出最有關(guān)聯(lián)的內容，同時(shí)保證評論質(zhì)量，到現在還是一個(gè)挑戰。所以， DeepText 還有可能解決的另一個(gè)難題就是，找出關(guān)聯(lián)性最高或最有質(zhì)量的評論。

下一步

我們不會(huì )停止改進(jìn) DeepText 的腳步，我們也在與 Facebook 的人工智能研究小組合作，探索它的應用。以下是一些例子。

1.更好地了解人們的興趣所在

個(gè)性化 Facebook 用戶(hù)體驗的任務(wù)之一，就是向用戶(hù)推薦他們感興趣的內容。為了做到這一點(diǎn)，我們必須首先能夠將任何文本與某一特定話(huà)題相關(guān)聯(lián)，而這需要大量的標簽數據。

雖然這類(lèi)數據集很難手動(dòng)生產(chǎn)，但是，我們正在嘗試通過(guò)公開(kāi)的 Facebook 頁(yè)面，來(lái)生成含有半監督標簽的大型數據集。 我們有理由假定，這些頁(yè)面上的信息將代表一個(gè)專(zhuān)門(mén)話(huà)題——例如，Steelers 頁(yè)面的狀態(tài)會(huì )包括 Steelers 橄欖球隊的信息。我們用這類(lèi)內容訓練一個(gè)我們稱(chēng)為 PageSpace 的大眾興趣分類(lèi)器（a general interest classifier），而它的技術(shù)核心就是 DeepText。反過(guò)來(lái)，這也將進(jìn)一步改善其他 Facebook 體驗中的文本理解系統。也就是說(shuō)，團隊會(huì )使用匹茲堡 Steelers 的頁(yè)面來(lái)學(xué)習人們如何談?wù)撁朗阶闱蛞约?Steelers。所有這種數據會(huì )幫助團隊建立起一個(gè)了解人類(lèi)在線(xiàn)聊天方式、以及語(yǔ)詞與句子聯(lián)系的人工智能系統。

2.文本的和視覺(jué)內容的綜合理解

人們經(jīng)常會(huì )發(fā)一些含有圖片或視頻的狀態(tài)，并用文字來(lái)描述相關(guān)內容。在這類(lèi)情況下，了解用戶(hù)意圖離不開(kāi)對文本和圖像內容的共同理解。

例如，你的朋友發(fā)了一張自己的小寶寶的照片，然后在正文里寫(xiě)「第 25 天」。無(wú)論是單看圖片，還是僅閱讀文本，都沒(méi)辦法搞清楚這篇博文到底什么意思。但是，如果一起分析圖片和文本，系統就可以根據經(jīng)驗猜出內容，這些經(jīng)驗告訴系統，孩子是用戶(hù)貼出圖片的一部分，而且這位用戶(hù)每天都會(huì )貼出這樣的圖片，這張圖片不過(guò)是其中一分部。這樣，系統就能正確將這張博文劃分到標題為「家庭新聞」的類(lèi)別中，并將它展示給過(guò)去那些對用戶(hù)”家庭新聞“感興趣的好友們。

將圖像和文本結合之后，我們能很清楚地知道，這條狀態(tài)分享了家庭新添成員的信息。我們正在與 Facebook 的圖像內容分析團隊合作，來(lái)構建能夠將文本和圖像信息相結合的深度學(xué)習架構。

3.新深度神經(jīng)網(wǎng)絡(luò )架構

我們在持續地開(kāi)發(fā)和尋找新的深度神經(jīng)網(wǎng)絡(luò )架構。雙向循環(huán)神經(jīng)網(wǎng)絡(luò )（BRNNs）看起來(lái)可能會(huì )很有希望，因為它們有兩個(gè)目標，通過(guò)循環(huán)（recurrence）獲得單詞間的語(yǔ)境依存（contextual dependencies），以及通過(guò)卷積捕捉位置不變的（position-invariant）語(yǔ)義。比起用以分類(lèi)的常規卷積或循環(huán)神經(jīng)網(wǎng)絡(luò )，我們發(fā)現 BRNNs 在分類(lèi)時(shí)的錯誤率更低；有時(shí)錯誤率甚至只有 20%。

將深度學(xué)習技術(shù)應用于文本理解，會(huì )繼續提升 Facebook 的產(chǎn)品和用戶(hù)體驗質(zhì)量，而反過(guò)來(lái)也是如此。對文本理解系統來(lái)說(shuō)，Facebook 產(chǎn)生的非結構化數據，是它們從語(yǔ)言中自動(dòng)學(xué)習的絕好機會(huì )，因為使用不同語(yǔ)言的人都會(huì )自然用到它，而這也會(huì )進(jìn)一步推動(dòng)最先進(jìn)的自然語(yǔ)言處理技術(shù)。

Hussein Mehana 說(shuō)，「朝著(zhù)打造能智能地與人類(lèi)交流的機器，我們又邁出了一步?！共贿^(guò)，對于 Facebook 最受歡迎的產(chǎn)品，從Messenger 到 新聞推送來(lái)說(shuō)，Deep Text 帶來(lái)的變革到底有多深，還有待觀(guān)察。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！