谷歌AI負責人Jeff Dean：一文回顧谷歌的2018技術(shù)進(jìn)展

一年一度的谷歌AI總結公布了。

1月15日，谷歌高級研究員、谷歌AI負責人Jeff Dean發(fā)表了博文，回顧總結了2018年谷歌的技術(shù)研究進(jìn)展。

Jeff Dean從谷歌的人工智能、量子計算、感知技術(shù)、算法理論、AutoML、機器人以及TPU等多個(gè)技術(shù)層面，系統地還原了谷歌AI的2018。

眾所周知，在去年一整年，谷歌遭遇了諸多危機，尤其是不作惡的原則受到內外的質(zhì)疑。Jeff Dean博客中首要提到的便是谷歌的道德原則和AI。

道德原則和人工智能

今年，我們發(fā)布了Google AI原則，但是，由于A(yíng)I的發(fā)展非常迅速，AI原則中諸如“避免制造或加強不公平的偏見(jiàn)”、“對人民負責”等也在不斷變化和改進(jìn)。

其中，機器學(xué)習公平性和模型可解釋性等領(lǐng)域的新研究，正反向推動(dòng)我們的產(chǎn)品進(jìn)步，使其更具包容性。例如我們在谷歌翻譯中減少“性別偏見(jiàn)”，并允許探索和發(fā)布更具包容性的圖像數據集和模型，使計算機視覺(jué)能夠適應全球文化的多樣性。

社會(huì )公益

Jeff Dean舉例了AI應用于解決現實(shí)公共問(wèn)題的案例：

洪水預測工作。該研究與Google的許多團隊合作，旨在提供有關(guān)洪水發(fā)生可能和范圍的準確細粒度信息，使洪水易發(fā)地區的人們能夠更好地保護自己及其財產(chǎn)。

地震余震預測的工作。谷歌展示了機器學(xué)習（ML）模型可以比傳統的基于物理的模型更準確地預測余震位置。

除此之外，還有許多Google研究人員和工程師合作，使用TensorFlow等開(kāi)源軟件解決各種科學(xué)和社會(huì )問(wèn)題，例如使用卷積神經(jīng)網(wǎng)絡(luò )來(lái)識別座頭鯨的位置，檢測新的系外行星，識別患病的木薯植物等。

AI輔助技術(shù)

為了使ML和計算機科學(xué)幫助用戶(hù)更快更有效地完成任務(wù)，谷歌推出了智能語(yǔ)音技術(shù)Google Duplex。

這是一個(gè)囊括自然語(yǔ)言研究和對話(huà)理解以及文本、語(yǔ)言識別的技術(shù)。其核心是一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò )，使用的是TensorFlow Extend（TFX）的機器學(xué)習平臺構建。

當Google Duplex撥打電話(huà)時(shí)，它的聲音近乎真實(shí)的普通人。你可以聽(tīng)到Google Duplex幫你打電話(huà)預約理發(fā)。

其他應用案例還包括Smart Compose，它可以使用預測模型提供有關(guān)如何撰寫(xiě)電子郵件的相關(guān)建議，使電子郵件撰寫(xiě)過(guò)程更快更容易的工具。

我們研究的一個(gè)重點(diǎn)是讓Google智能助理這樣的產(chǎn)品支持更多語(yǔ)言，并且可以更好地理解語(yǔ)義相似性。

量子計算

在過(guò)去的一年里，我們制作了許多令人興奮的量子計算新成果，包括開(kāi)發(fā)了一種新的72比特通用量子計算設備Bristlecone，該設備可以擴大量子計算機在量子領(lǐng)域可以解決的問(wèn)題。

我們還發(fā)布了量子計算機的開(kāi)源編程框架Cirq，并探討了量子計算機如何用于神經(jīng)網(wǎng)絡(luò )。最后，我們分享了量子處理器性能波動(dòng)的經(jīng)驗和技術(shù)以及量子計算機如何作為神經(jīng)網(wǎng)絡(luò )計算基板的一些想法。

自然語(yǔ)言理解

2018年，Google的自然語(yǔ)言研究在基礎研究和以產(chǎn)品為中心的合作上都取得了非常棒的成果。我們在之前的機器學(xué)習模型基礎上開(kāi)發(fā)了一個(gè)新的并行版本的模型 Universal Transformer，它在包括翻譯和語(yǔ)言推理在內的許多自然語(yǔ)言任務(wù)中都顯示出強大的技術(shù)能力。

我們還開(kāi)發(fā)了BERT，這是第一個(gè)深度雙向，無(wú)監督的自然語(yǔ)言處理模型，僅使用純文本語(yǔ)料庫進(jìn)行預訓練，就能使用遷移學(xué)習對各種自然語(yǔ)言任務(wù)進(jìn)行微調。

感知

我們的感知研究解決了允許計算機理解圖像，聲音以及為圖像獲取、壓縮、處理，創(chuàng )造性表達和增強現實(shí)提供更強大工具的難題。

Google AI使命的一個(gè)關(guān)鍵是讓其他人能夠從我們的技術(shù)中受益，今年我們在改進(jìn)作為Google API一部分的功能和構建塊方面取得了很大進(jìn)展。比如通過(guò)ML Kit 在Cloud ML API和面部相關(guān)設備構建塊中實(shí)現視覺(jué)和視頻的改進(jìn)和新功能。

MobileNetV2是谷歌的下一代移動(dòng)計算機視覺(jué)模型，我們的MobileNets廣泛應用于學(xué)術(shù)界和工業(yè)界。MorphNet提出了一種有效的方法來(lái)學(xué)習深層網(wǎng)絡(luò )的結構，從而在計算資源有限的同時(shí)，改進(jìn)圖像和音頻模型上的性能。

計算攝影

手機拍照性能的提升不僅僅在于物理傳感器的改進(jìn)，更大部分要歸咎于計算攝影技術(shù)的發(fā)展。

我們的計算攝影技術(shù)正在與Google的Android和消費者硬件團隊密切合作，將這項研究交付給最新的Pixel和Android手機及其他設備。2014年，我們推出了HDR +，可以在軟件中對齊幀，并將它們與計算軟件結合，使圖片具有比單次曝光更高的動(dòng)態(tài)范圍。這是2018年我們能夠在Pixel 2中開(kāi)發(fā)Motion Photos，以及Motion Stills中開(kāi)發(fā)增強現實(shí)模式的基礎。

今年，我們在計算攝影研究方面的主要工作之一就是創(chuàng )造一種名為Night Sight的新功能，即便在沒(méi)有閃光燈的情況下，也能讓Pixel用戶(hù)在非?；璋档膱?chǎng)景中拍出清晰的照片。

算法和理論

在過(guò)去的一年中，我們的研究涵蓋從理論基礎到應用算法，從圖形挖掘到隱私保護計算等廣泛領(lǐng)域。我們在優(yōu)化方面的工作涉及從研究機器學(xué)習的持續優(yōu)化到分布式組合優(yōu)化的領(lǐng)域。在前一領(lǐng)域，我們研究用于訓練神經(jīng)網(wǎng)絡(luò )的隨機優(yōu)化算法的收斂性（其贏(yíng)得了ICLR 2018最佳論文獎），展示了流行的基于梯度的優(yōu)化方法（例如ADAM的一些變體）的問(wèn)題，為新的基于梯度的優(yōu)化方法提供了堅實(shí)的基礎。

軟件系統

我們對軟件系統的大部分研究仍然與構建機器學(xué)習模型，尤其是TensorFlow有關(guān)。我們的一些新研究引入了Mesh TensorFlow，這使得用模型并行性指定大規模分布式計算變得容易。另外，我們還使用TensorFlow發(fā)布了一個(gè)可擴展的深度神經(jīng)排序庫。

另一個(gè)重要的研究方向是將ML應用于軟件系統的堆棧層面。在安全漏洞問(wèn)題方面，我們的編譯器研究團隊將他們用于測量機器指令延遲和端口壓力的工具集成到LLVM中，從而可以做出更好的編譯決策。

我們研究了Google軟件定義網(wǎng)絡(luò )WAN，這是一個(gè)獨立的聯(lián)合查詢(xún)處理平臺，可以在許多存儲系統中對基于不同文件格式存儲的數據執行SQL查詢(xún)（BigTable，Spanner， Google Spreadsheets等）

運行內容托管等大型Web服務(wù)需要在動(dòng)態(tài)環(huán)境中實(shí)現穩定的負載平衡。我們開(kāi)發(fā)了一致的哈希方案，對每臺服務(wù)器的最大負載提供了嚴格的可證明保證，并將其部署到Google Cloud Pub / Sub中的云客戶(hù)。

AutoML

去年，我們展示了如何使用進(jìn)化算法自動(dòng)發(fā)現最先進(jìn)的神經(jīng)網(wǎng)絡(luò )架構，快速構建計算機視覺(jué)模型的AutoML。還探討了強化學(xué)習如何應用于除神經(jīng)網(wǎng)絡(luò )架構搜索之外的其他問(wèn)題，表明它可以用于1）自動(dòng)生成圖像變換序列，以提高各種圖像模型的準確性，以及2）找到新的符號優(yōu)化表達式，比常用的優(yōu)化更新規則更有效。

我們的另一個(gè)重點(diǎn)是自動(dòng)發(fā)現計算效率高的神經(jīng)網(wǎng)絡(luò )架構，以便它們可以在自動(dòng)駕駛環(huán)境中運行，這些環(huán)境對計算資源或推理時(shí)間有嚴格的限制。為此，我們認為在強化學(xué)習架構搜索的獎勵函數中將模型的準確性與其推理計算時(shí)間相結合，可以找到高度準確的模型，同時(shí)滿(mǎn)足特定的性能約束。我們還探索了使用ML來(lái)學(xué)習自動(dòng)壓縮ML模型以獲得更少的參數并使用更少的計算資源。

TPU

TPU已經(jīng)實(shí)現了谷歌研究方面的突破，例如BERT（前面已討論過(guò)）。它還允許世界各地的研究人員通過(guò)開(kāi)源建立谷歌研究，并尋求自己的新突破。例如，任何人都可以通過(guò)Colab免費對TPU上的BERT進(jìn)行微調，而TensorFlow Research Cloud讓數千名研究人員有機會(huì )從更大量的免費云TPU計算能力中受益。

在谷歌內部，TPU還推動(dòng)了Google的核心產(chǎn)品的重大改進(jìn)，包括搜索，YouTube，Gmail，Google智能助理，谷歌翻譯等等。

開(kāi)源軟件和數據集

我們的開(kāi)源工具TensorFlow已經(jīng)被下載超過(guò)3000萬(wàn)。2018年，TensorFlow有八個(gè)主要版本，并增加了快速執行和分發(fā)策略等功能。隨著(zhù)TensorFlow Lite、TensorFlow.js 和TensorFlow Probability等相關(guān)產(chǎn)品的推出，TensorFlow生態(tài)系統在2018年大幅增長(cháng)。

除了繼續開(kāi)發(fā)現有的開(kāi)源生態(tài)系統之外，我們在2018年引入了一個(gè)新的框架，用于靈活和可重復強化學(xué)習的可視化工具，可以快速了解數據集的特征（無(wú)需編寫(xiě)任何代碼）。

今年，我們很高興發(fā)布Google數據集搜索，這是一種從所有網(wǎng)絡(luò )中查找公共數據集的新工具。多年來(lái)，我們還策劃并發(fā)布了許多新穎的數據集。

我們發(fā)布了Open Images V4數據集，包含190萬(wàn)張圖片，共計600個(gè)類(lèi)別，共標記了1540萬(wàn)個(gè)邊界框，這是迄今的有對象位置注釋的最大數據集。這些邊界框大部分都是由專(zhuān)業(yè)注釋人員手動(dòng)繪制的，確保了它們的準確性和一致性。

健康

在過(guò)去幾年中，我們一直將ML應用于健康，我們在這個(gè)領(lǐng)域的一般方法是與醫療保健組織合作解決基礎研究問(wèn)題（利用臨床專(zhuān)家的反饋優(yōu)化技術(shù)），然后將結果發(fā)表在同行評審的科學(xué)和臨床期刊上。一旦研究得到臨床和科學(xué)驗證，我們就會(huì )進(jìn)行用戶(hù)和HCI研究，以了解我們如何在現實(shí)臨床環(huán)境中進(jìn)行部署。2018年，我們在計算機輔助診斷上取得新的突破。

2018年，我們研發(fā)了一個(gè)可以與視網(wǎng)膜專(zhuān)家相媲美的深度學(xué)習模型。我們與Verily的Alphabet同事合作，在印度的Aravind Eye Hospitals和泰國衛生部附屬的Rajavithi醫院等 10多個(gè)地點(diǎn)部署了這種糖尿病視網(wǎng)膜病變檢測系統。

我們還發(fā)表了一種機器學(xué)習模型的研究，該模型可以評估視網(wǎng)膜圖像的心血管風(fēng)險，可以幫助臨床醫生更好地了解患者的健康狀況。

研究推廣

2018年，我們在加納阿克拉建立了我們在非洲的第一個(gè)人工智能研究辦公室，同時(shí)擴大了在巴黎，東京和阿姆斯特丹的人工智能研究，并在普林斯頓開(kāi)設了一個(gè)研究實(shí)驗室。

本文編譯自《Looking Back at Google’s Research Efforts in 2018》，有刪減。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！