亞馬遜AWS首席科學(xué)家：從圖像理解到語(yǔ)音識別，我們是如何研究和量化機器學(xué)習的

亞馬遜一直致力于尋求機器學(xué)習多域模型的解決方案，以及多領(lǐng)域的應用如何能夠在云上進(jìn)行計算。

在今日于北京召開(kāi)的《麻省理工科技評論》新興科技峰會(huì )EmTech China上，作為亞馬遜旗下最賺錢(qián)云服務(wù)部門(mén) AWS 的核心人物，亞馬遜AWS首席科學(xué)家Animashree Anandkumar解讀我們該如何研究和量化機器學(xué)習。

深度學(xué)習需要經(jīng)過(guò)多層甚至數百層的處理過(guò)程，機器學(xué)習也會(huì )在不同的GPU，進(jìn)行跨機器、跨設備處理，這就需要網(wǎng)絡(luò )技術(shù)。

而多域模型能夠幫助我們同時(shí)處理科學(xué)、工程，各種領(lǐng)域方面的應用。亞馬遜就一直致力于尋求機器學(xué)習多域模型的解決方案，以及多領(lǐng)域的應用如何能夠在云上進(jìn)行計算。

那么亞馬遜是如何運作當前的深度學(xué)習模式呢？以下為鎂客網(wǎng)整理分享的Animashree Anandkumar現場(chǎng)演講內容：

深度學(xué)習有很廣泛的運用領(lǐng)域，我們有一些專(zhuān)門(mén)的項目會(huì )應用到不同的硬件基礎設施中。Mxnet就是其中的一個(gè)深度學(xué)習引擎，這個(gè)項目首先由大學(xué)里的研究員開(kāi)發(fā)，現在我們正在A(yíng)WS開(kāi)發(fā)這個(gè)引擎。

這個(gè)引擎的優(yōu)點(diǎn)是顯而易見(jiàn)的。它建立了一個(gè)網(wǎng)絡(luò )，讓編程過(guò)程、表述、特征描述、風(fēng)格都非常靈活、方便，提高了程序員的效率。同時(shí)也提供了很好的語(yǔ)言支持，且前后端自動(dòng)對接，提高了編程的效率。

這個(gè)網(wǎng)絡(luò )有一些固定的數據，相互連接的層級會(huì )在輸入和輸出之間進(jìn)行連接。在計算順序方面，他們有一定的序列關(guān)系，我們制定了圖表來(lái)自動(dòng)進(jìn)行平行的對比。它還實(shí)現了記憶進(jìn)行自動(dòng)化，這樣在代碼運算時(shí)也提高了效率。

我們也用多GPU的訓練提升效率。一個(gè)機器上面會(huì )有多個(gè)GPU進(jìn)行數據并行化，可以同時(shí)獲得大量的數據。中央數據是來(lái)自于不同CPU等級上面的網(wǎng)絡(luò )，數據不斷地向下劃分，進(jìn)入各個(gè)GPU。

GPU需要進(jìn)行處理時(shí)發(fā)現了相似的內容就會(huì )進(jìn)行整合，也增加了我們的效率。GPU可以在Mxnet上面整合運算結果，這樣成本也比較低。同時(shí)我們也提升了Mxnet的性能。增加了GPU以后，整個(gè)輸入輸出效率也會(huì )翻番。這是在A(yíng)WS基建上運行的，包括B2X和B22X。

所有的服務(wù)里面， Mxent的效率最高，達到了91%，包括Resnet和Inception v3和Alexnet。這是有多個(gè)GPU的單一基體。在多基體上每一個(gè)機器都有16個(gè)GPU，組合到一起后，所有的數據經(jīng)過(guò)網(wǎng)絡(luò )就會(huì )影響效率。但我們的效率并沒(méi)有降低很多，因為Mxnet的打造非常緊密，可以提升效率。所以我們可以進(jìn)行這種分布式的多機器的訓練。這

些現在也可以應用于一些情景的運行以及我們多GPU和CPU的框架之中。我們也希望可以提供這樣的技術(shù)給我們的消費者，讓他們知道我們分布式的訓練有非常好的技術(shù)包裹，可以幫助我們進(jìn)行網(wǎng)絡(luò )壓縮以及網(wǎng)絡(luò )解壓，提供好的技術(shù)服務(wù)。

所有的這些框架，都可以應用于我們的機器學(xué)習平臺CHMaker。這是多機器學(xué)習的一個(gè)平臺，所有的分布式深度學(xué)習框架都可以在這個(gè)平臺上進(jìn)行運行，比如說(shuō)TensorFlow、Mxnet。我們的平臺除MxNet之外可以支持所有的框架，我們希望可以給我們的用戶(hù)更多靈活的選擇。

除此之外，DeepLens也是我們最近發(fā)布的第一款深度學(xué)習的攝像頭，可以提供很多的服務(wù)，比如語(yǔ)言、語(yǔ)句、計算機視覺(jué)等。使用者不需要培訓自己的學(xué)習模型，完全可以使用我們的服務(wù)。我們整個(gè)系統都具有很多的解決方案。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！