DeepMind的AI再次打敗人類(lèi)玩家，“攻下”57款雅達利游戲

Agent57為我們構建更加強大的AI決策模型奠定了基礎。

AI打游戲會(huì )比普通人優(yōu)秀？DeepMind給了肯定的答案。近日，DeepMind宣布它們的智能體Agent57首次在所有57款雅達利游戲上超越人類(lèi)玩家。

近年來(lái)，DeepMind一直在研究提高智能體在游戲環(huán)境下的智能性，通常情況下，智能體在游戲中能夠應對的環(huán)境越復雜，它在真實(shí)環(huán)境中的適應能力也會(huì )越強。

此次Agent57挑戰的街機學(xué)習環(huán)境（Arcade Learning Environment，ALE）包括57款游戲，為智能體的強化學(xué)習提供了復雜的挑戰。

而之所以會(huì )選擇雅達利游戲作為訓練的數據集，DeepMind表示雅達利游戲足夠多樣化，可以評估智能體的泛化性能，其次它可以模擬在真實(shí)環(huán)境中可能遇到的情況，并且雅達利游戲是由獨立的組織構建，可以避免實(shí)驗偏見(jiàn)。

據悉，Agent57在多臺計算機上并行執行，并啟用強化學(xué)習算法（Reinforcement learning，RL）驅動(dòng)智能體采取行動(dòng)，使得獎勵的效果最大化。此前，強化學(xué)習在游戲領(lǐng)域就取得不少進(jìn)展，比如OpenAI的OpenAI Five和DeepMind的AlphaStar RL智能體分別打敗了99.4%的Dota 2玩家和99.8%的星際2玩家。

圖 | Agent57的框架

雅達利游戲中的Montezuma、Revenge和Pitfall都很難，AI必須先嘗試多種不同的策略，才能找到可行的方法。而在Solaris和Skiing游戲中，需要一段時(shí)間才能顯示決策結果，這意味著(zhù)AI必須在相當長(cháng)的時(shí)間內收集盡可能多的信息。

Agent57通過(guò)讓不同的計算機研究游戲的各個(gè)方面來(lái)克服了這些難題，然后將收集到的信息反饋給一個(gè)控制器，由控制器對所有這些因素進(jìn)行分析以制定出最佳策略。

DeepMind將Agent57與當前最先進(jìn)的算法MuZero、R2D2和NGU做了比較，Agent57顯示出了更高的平均性能（100）。

研究團隊表示，“這并不意味著(zhù)雅達利游戲研究的結束，我們不僅要關(guān)注數據效率，也需要關(guān)注總體表現，未來(lái)的主要改進(jìn)可能會(huì )是Agent57在探索、規劃和信度分配上。”比如減少AI運行的算力，在集合中的一些較簡(jiǎn)單的游戲中變得更好。

Agent57在雅達利游戲中取得超越人類(lèi)玩家的成績(jì)，為我們構建更加強大的AI決策模型奠定了基礎：AI不僅可以自動(dòng)完成重復性的任務(wù)，也可以自動(dòng)推理環(huán)境。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！