MIT深度學(xué)習最新進(jìn)展：機器學(xué)會(huì )創(chuàng )作視頻，預測人類(lèi)行為

在本年度的NIPS上，MIT 計算機科學(xué)和人工智能實(shí)驗室的研究員們提交了結合對抗學(xué)習和無(wú)監督學(xué)習兩種方法的研究。

MIT計算機科學(xué)和人工智能實(shí)驗室（CSAIL）的研究員開(kāi)發(fā)了一個(gè)深度學(xué)習算法，能夠自動(dòng)生成視頻，并預測出接下來(lái)的視頻內容。

研究成果論文將在下周在巴塞羅那舉行的NIPS（Conference on Neural Information Processing Systems）上發(fā)表。CSAIL的研究團隊讓該算法觀(guān)看了200萬(wàn)條視頻，這些視頻加起來(lái)如果要回放的話(huà)，需要2年的時(shí)間才能播完。

視頻包含了日常生活的常見(jiàn)場(chǎng)景，以讓機器更好地適應正常的人類(lèi)交流行為。更重要的是，這些視頻是“野生”的，也就是說(shuō)，它們都是非標簽的。簡(jiǎn)單地說(shuō)，就是研究員不會(huì )給算法提供理解視頻內容的任何線(xiàn)索。

在這一視頻數據集的基礎上，算法將基于200萬(wàn)條視頻中獲得的觀(guān)察，嘗試從零開(kāi)始生成視頻，這和人類(lèi)創(chuàng )作視頻的步驟是一樣的 。隨后，生成的視頻會(huì )被填入另一個(gè)深度學(xué)習算法中，新的算法負責判斷哪些視頻是機器生成的，哪些是“真實(shí)”的。這種訓練機器的方法叫對抗式學(xué)習（adversarial learning）。

研究使用的神經(jīng)網(wǎng)絡(luò )工作原理

計算機視覺(jué)研究領(lǐng)域中，許多研究者都在攻克類(lèi)似的問(wèn)題，其中就包括MIT的教授Bill Freeman，他在“視覺(jué)動(dòng)態(tài)”（visual dynamics）領(lǐng)域的工作也能提前創(chuàng )造出視頻中下一幀。但是，他的模型聚焦于推斷性的視頻，Torralba的視頻能夠生成全新的視頻，這些視頻內容此前是從未講過(guò)的。

圖來(lái)自 : Carl Vondrick, MIT CSAIL

此前的系統都是一幀一幀地創(chuàng )建場(chǎng)景，這會(huì )帶來(lái)巨大的失誤概率，這項研究聚焦于一次處理整個(gè)場(chǎng)景，算法每秒生成32幀圖像。“一幀一幀地創(chuàng )建場(chǎng)景，意味著(zhù)信息是被分成很多塊的”，Vondrick說(shuō)，“我們采用同時(shí)預測所有幀的方法。”

當然，一次生成所有的幀也有缺點(diǎn)：在變得更精確的同時(shí)，長(cháng)視頻中的計算機模型會(huì )變得更加復雜。

為了創(chuàng )建出多幀的效果，研究者教會(huì )模型在不受背景的影響下生成前景，然后，把對象放到場(chǎng)景中，讓模型學(xué)習哪一個(gè)物體是移動(dòng)的，哪一個(gè)不動(dòng)。團隊使用了“對抗學(xué)習”的方法，在多次嘗試后，生成器學(xué)會(huì )如何“欺騙”區分器（discriminator）。

“雙流架構”，生成視頻更逼真

“在這一模型的早期原型中，我們的發(fā)現是，生成器（也就是神經(jīng)網(wǎng)絡(luò )）會(huì )改變背景或者在背景中加入異常的動(dòng)態(tài)圖片，來(lái)嘗試欺騙其他的網(wǎng)絡(luò )”，CSAIL博士候選人、論文第一作者Carl Vondrick說(shuō)，“我們需要告訴模型一個(gè)概念，那就是現實(shí)世界在大多數情況下都是靜態(tài)的。”

為了改正這一問(wèn)題，Vondrick和他的同事創(chuàng )造了一個(gè)“雙流架構”（two-stream architecture），這一架構會(huì )強迫生成的網(wǎng)絡(luò )在前景中的對象移動(dòng)時(shí)，對靜態(tài)的背景進(jìn)行渲染。

這種”雙流架構“模型生成許多更加逼真的視頻。算法生成的視頻是64X64分辨率的，包含了32幀（標準的電影是每秒24幀，這意味著(zhù)算法生成的視頻有1秒~1.5秒），視頻描繪的內容包括沙灘、火車(chē)站以及新生兒的臉（下圖，這相當嚇人）。

雖然聽(tīng)起來(lái)從零開(kāi)始生成幾秒的視頻并沒(méi)有多了不起，但是這比起此前的研究已經(jīng)有了顯著(zhù)的進(jìn)步，此前使用深度學(xué)習框架，只能生成一個(gè)視頻中的幾幀，并且在內容上，也會(huì )受到更為嚴格的參數限制。

讓機器生成視頻遇到的一個(gè)主要難點(diǎn)在于，視頻中的物體是動(dòng)態(tài)的，特別是人物，常常被渲染成模糊的一團，雖然研究者都在堅持：“我們的模型有潛力生成非常好的動(dòng)態(tài)場(chǎng)景”。

確實(shí)，這種場(chǎng)景是非常值得贊嘆的。研究者向亞馬遜的Mechanical Turk的工作人員展示了一段由機器生成的視頻和原來(lái)“真”的視頻，向他們求證哪一段視頻更為真實(shí)，結果，有20%的人選擇了機器生成的視頻。

團隊采用了兩個(gè)神經(jīng)網(wǎng)絡(luò )，互相對抗，其中一個(gè)嘗試欺騙另一個(gè)，讓它認為自己生成的視頻是“真”的。圖：MIT CSAIL

除了生成原始視頻，這一研究另一個(gè)亮眼的成果是能在已有的視頻和照片上進(jìn)行應用。當研究者把深度學(xué)習算法應用到一個(gè)靜態(tài)的幀中，算法就能夠識別出照片中的物體，把它們制作成32幀的動(dòng)圖，生成”非常合乎常理“的動(dòng)作。Vondrick說(shuō)，根據自己的了解，這是首次實(shí)現讓機器從靜態(tài)圖片中生成多幀的視頻。

這種預測對象或人的運動(dòng)的能力對于未來(lái)機器融入現實(shí)世界是至關(guān)重要的，因為這將允許機器不采取可能傷害人的動(dòng)作，或者幫助人們不傷害自己。根據Vondrick的說(shuō)法，這一研究成果對無(wú)人監督的機器學(xué)習也有促進(jìn)作用，因為這種類(lèi)型的機器視覺(jué)算法接收的是來(lái)自未標記視頻的所有輸入數據。

如果機器真的想要善于識別和分類(lèi)對象，它們將需要能夠在沒(méi)有標簽數據的情況下這樣做。

但是對于Vondrick來(lái)說(shuō)，他的研究中最令人興奮的可能性之一卻跟科學(xué)或現實(shí)世界沒(méi)什么關(guān)系。他純粹是想讓機器創(chuàng )作一段視頻。

“從某種程度上來(lái)說(shuō)，我對讓機器自己創(chuàng )作一段視頻或者電視節目非常癡迷”，Vondrick說(shuō)，“我們只生成了一秒鐘的視頻，但隨著(zhù)我們的進(jìn)步，也許可以生成幾分鐘的視頻，講一個(gè)連貫的故事。我們現在還做不到，但我認為我們邁出了第一步。”

【編者按】本文轉自新智元。文章來(lái)源：robohub.org、motherboard，作者：DANIEL OBERHAUS。編譯：弗格森

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！