周志華：與一般軟件產(chǎn)業(yè)相比，AI產(chǎn)業(yè)更凸顯“個(gè)人英雄主義” | 中新人工智能高峰論壇

周志華表示，我們在構建深度學(xué)習模型的時(shí)候，并不是只有“深度神經(jīng)網(wǎng)絡(luò )”這一條路。

6月1日，以“深度視野，對話(huà)未來(lái)”為主題的首屆“中新人工智能高峰論壇”在新加坡·南京生態(tài)科技島召開(kāi)。

本次論壇，大咖云集，匯聚了李德毅、周志華、凌曉峰等多位中、新方院士，以及科大訊飛、小i機器人、云知聲等企業(yè)代表。其中，南京大學(xué)計算機科學(xué)與技術(shù)系主任、人工智能學(xué)院院長(cháng)、歐洲科學(xué)院外籍院士周志華發(fā)表了《關(guān)于機器學(xué)習的一點(diǎn)思考》的主題演講。

圖 | 周志華

周志華認為“機器學(xué)習無(wú)所不在，很多AI應用背后關(guān)鍵支撐就是機器學(xué)習技術(shù)。”

他的第一點(diǎn)思考是機器學(xué)習的發(fā)展路徑，深度神經(jīng)網(wǎng)絡(luò )是由多層的、可參數化以及可微分的非線(xiàn)性模塊所構建，它需要用BP算法來(lái)訓練，但是在一些圖像、視頻處理任務(wù)上，深度神經(jīng)網(wǎng)絡(luò )并不是最佳的選擇。“當我們重新審視神經(jīng)網(wǎng)絡(luò )模型的時(shí)候，是不是可以基于不可微構件進(jìn)行深度學(xué)習？”

基于對深度學(xué)習的反思，周志華院提出了他們自己的“深度森林”模型，“這是第一個(gè)‘非神經(jīng)網(wǎng)絡(luò )’、不使用BP算法訓練的深度學(xué)習模型”。目前，該套模型已經(jīng)應用在螞蟻金服的反套現檢測上，并且被證明是目前性能最好的模型。

第二點(diǎn)思考是機器學(xué)習解決的任務(wù)，以圍棋對弈為例，它其實(shí)屬于封閉靜態(tài)環(huán)境的任務(wù)，而以往的機器學(xué)習也非常擅長(cháng)解決這種封閉靜態(tài)環(huán)境任務(wù)，但是我們今天的任務(wù)是如何在開(kāi)放環(huán)境下做更好的機器學(xué)習，周志華強調最關(guān)鍵的就是魯棒性：要求人工智能必須很好的應對未知環(huán)境，是通往魯棒人工智能的核心環(huán)節。

第三點(diǎn)思考是AI人才，他指出和傳統軟件產(chǎn)業(yè)不同的是：AI領(lǐng)域內個(gè)別人的聰明才智如果能帶來(lái)算法上的突破，可能就真的帶來(lái)生產(chǎn)力。所以，他認為“與一般軟件產(chǎn)業(yè)相比，AI產(chǎn)業(yè)更凸顯‘個(gè)人英雄主義’。”

以下，是周志華的演講實(shí)錄：

我今天跟大家匯報的題目是“關(guān)于機器學(xué)習前沿的一點(diǎn)思考”，因為我本人主要是從事機器學(xué)習方面的研究。

現在處于一個(gè)大數據時(shí)代，但這個(gè)“大數據”并不意味著(zhù)真正大的價(jià)值，要得到數據里面的價(jià)值，我們就必須進(jìn)行有效的數據分析?，F在，我們通過(guò)計算機來(lái)進(jìn)行數據分析，而這個(gè)離不開(kāi)機器學(xué)習。

可以看到，機器學(xué)習已經(jīng)無(wú)所不在。很多人工智能應用背后最關(guān)鍵的支撐就是機器學(xué)習。所以，我想從三個(gè)方面來(lái)談一談我對于機器學(xué)習發(fā)展的思考。

首先，從學(xué)術(shù)研究出發(fā)，我們先談一談技術(shù)。

人工智能熱潮也好，人工智能產(chǎn)業(yè)也好，其實(shí)很大程度上就是因為機器學(xué)習技術(shù)，尤其是里面的深度學(xué)習技術(shù)取得了巨大的進(jìn)展。所以我們可以看到各種各樣的應用中，特別是在圖像、視頻、語(yǔ)音，包括我們現在用的訊飛實(shí)時(shí)翻譯器，其背后都有很多深度學(xué)習技術(shù)在支撐。

但是，如果我們今天問(wèn)這么一個(gè)問(wèn)題：深度學(xué)習是什么？我想絕大部分人的回答是：深度學(xué)習就是深度神經(jīng)網(wǎng)絡(luò )。

舉一個(gè)例子，有一個(gè)很著(zhù)名的學(xué)會(huì )叫SIAM（國際工業(yè)應用數據協(xié)會(huì )），它有一個(gè)旗艦報紙叫《SIAM News》，去年6月的頭版里面有這么一篇文章，它的第一句話(huà)就說(shuō)“深度學(xué)習是什么呢？是機器學(xué)習中使用深度神經(jīng)網(wǎng)絡(luò )的一個(gè)子領(lǐng)域”。

所以，當我們要談深度學(xué)習，必然要談到深度神經(jīng)網(wǎng)絡(luò )。我們接下來(lái)就從神經(jīng)網(wǎng)絡(luò )開(kāi)始說(shuō)起。

實(shí)際上，“神經(jīng)網(wǎng)絡(luò )”并不是一個(gè)新東西，我們學(xué)術(shù)界已經(jīng)研究了幾十年。

以往我們用神經(jīng)網(wǎng)絡(luò )的時(shí)候，通常用里面的一層或者兩層的引節點(diǎn)，這是什么東西？從生理學(xué)上講——就是一個(gè)細胞接收到很多信號之后，如果這個(gè)信號的強度超過(guò)了一個(gè)固定的電位，這個(gè)細胞就會(huì )被激活。

這個(gè)簡(jiǎn)單的現象在1943年就被兩位學(xué)者總結成了一個(gè)簡(jiǎn)單的數學(xué)公式——激活函數，我們一直到今天還在使用這個(gè)公式。

再看如今這么復雜的深度學(xué)習系統，它的奧秘是什么？其實(shí)最基本的單元就是激活函數。神經(jīng)網(wǎng)絡(luò )也好，深度神經(jīng)網(wǎng)絡(luò )也好，它本質(zhì)上就是一個(gè)由簡(jiǎn)單數學(xué)函數歷經(jīng)迭代嵌套之后所得到的數學(xué)系統。

都說(shuō)深度神經(jīng)網(wǎng)絡(luò )很深，大概有多深？給大家看幾個(gè)數據：

在著(zhù)名的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比賽中，2012年的冠軍用了8層深度神經(jīng)網(wǎng)絡(luò )，2016年的冠軍則用到了1207層。

深度神經(jīng)網(wǎng)絡(luò )是一個(gè)非常龐大的系統，該怎樣讓這些系統工作起來(lái)呢？這里面用到了很多技巧。但是，其中非常重要的一點(diǎn)就是，整個(gè)系統里面最基本的單元，就是我們剛才說(shuō)到的激活函數，是連續可微的。

這個(gè)基本單元的連續可微會(huì )帶來(lái)一個(gè)什么樣的結果？它將使得我們能夠很容易的計算梯度，能夠用BP算法來(lái)進(jìn)行訓練。所以說(shuō)今天深度神經(jīng)網(wǎng)絡(luò )的成功以及它最后使用的基礎構件，關(guān)鍵都在于可微構件，這是密不可分的。

不過(guò)，神經(jīng)網(wǎng)絡(luò )雖然取得了很多勝利，但也還有很多缺陷。比如神經(jīng)網(wǎng)絡(luò )有太多超參數，以致于大量的時(shí)間都花費在調參數上，大家甚至覺(jué)得這已經(jīng)是一個(gè)體力活……還有很多很多的問(wèn)題。

另外，或許有些做應用的人不關(guān)心學(xué)術(shù)成就，只要能提高性能就好。就算從這個(gè)非學(xué)術(shù)角度來(lái)看，我們也可以看一看，如今深度神經(jīng)網(wǎng)絡(luò )取得好效果的應用主要涉及到圖像、視頻、語(yǔ)音，然而，還有大量的應用任務(wù)并沒(méi)有涉及這些，比如說(shuō)電商網(wǎng)店做的用戶(hù)推薦。

所以如果用非常學(xué)術(shù)化的語(yǔ)言來(lái)說(shuō)，今天的深度神經(jīng)網(wǎng)絡(luò )是多層的、可參數化的、可微分的、非線(xiàn)性模塊構建的、需要用BP算法來(lái)訓練的一種模型。

但是，現實(shí)世界里面并不是所有的規律都是可微的，或者用可微構件來(lái)最優(yōu)建模的。

以往機器學(xué)習界做了大量的、非可微的構建，我們能不能使用這些構建取得更好的結果呢？能不能基于不可微構建來(lái)進(jìn)行深度學(xué)習？

這個(gè)問(wèn)題相當本質(zhì)，如果研究出成果，它可以幫助我們理解一系列問(wèn)題，比如說(shuō)深度學(xué)習是不是就等于深度神經(jīng)網(wǎng)絡(luò )？我們有沒(méi)有可能使用新的深度學(xué)習模型，在圖像、視頻、語(yǔ)音之外更多的任務(wù)中得到更好的性能？

在這方面的研究中，我們提出了一個(gè)新的模型，叫做“深度森林”。這不是一個(gè)基于深度神經(jīng)網(wǎng)絡(luò )的模型，但是它在很多任務(wù)上已經(jīng)取得了與深度神經(jīng)網(wǎng)絡(luò )接近的性能。這是第一個(gè)基于非神經(jīng)網(wǎng)絡(luò )、不使用BP算法來(lái)訓練的深度學(xué)習模型。

最近，我們已經(jīng)和螞蟻金服公司合作，把這個(gè)技術(shù)用于“反套現”欺詐的檢測，取得的成效應該是現有技術(shù)中最好的。但這還只是一個(gè)開(kāi)頭，它是一個(gè)非常初生的技術(shù)，未來(lái)再發(fā)展下去應該有更多的機會(huì )。

國際上，在我們提出“深度森林”之后，有很多學(xué)者也開(kāi)始反思“深度學(xué)習”領(lǐng)域。比如說(shuō)Keras的創(chuàng )始人，他就說(shuō)可微層是當前深度學(xué)習模型的根本弱點(diǎn)；又比如深度學(xué)習的創(chuàng )始人之一杰夫·辛頓，他希望放棄BP，從頭開(kāi)始。比起我們已經(jīng)做出的工作，他們的這些論斷已經(jīng)晚了半年左右。

對于這件事情，我想更重要的意義是，以往我們都知道深度學(xué)習很有效，但在深度學(xué)習這個(gè)屋子里面只知道一種叫“深度神經(jīng)網(wǎng)絡(luò )”的模型，而忽視了其他的模型。如今，我們可以看到深度學(xué)習的效用在大多數領(lǐng)域里面已經(jīng)應用的相當充分了，當我們有了新的技術(shù)模型之后，有沒(méi)有可能在更多的領(lǐng)域重新得到一些新的技術(shù)價(jià)值呢？這是一個(gè)值得探討的方向。

第二個(gè)部分，我想簡(jiǎn)單談一談機器學(xué)習技術(shù)新的任務(wù)。

前年AlphaGo下棋獲勝在世界上引起很大的反響，這可以說(shuō)是機器學(xué)習取得的巨大成功。但事實(shí)上，人工智能界很早就知道，對這種規則明確的棋類(lèi)游戲，機器學(xué)習一定會(huì )超過(guò)人類(lèi)。

圍棋并不是最難的任務(wù)，我們說(shuō)圍棋難，是因為它的狀態(tài)很多，棋盤(pán)有361個(gè)點(diǎn)，每個(gè)點(diǎn)上有三種可能，所以它的可能性有3的361次方。這個(gè)數據有多大呢？是10的172次方。再形象一點(diǎn)，以原子為例，我們宇宙中現在所有知道的原子個(gè)數是10的80次方，也就是說(shuō)，再構造出一個(gè)宇宙，它所有原子數目還沒(méi)有圍棋的狀態(tài)數多。

這告訴我們，如果靠強力計算，一個(gè)狀態(tài)一個(gè)狀態(tài)去評估，哪怕量子計算機，或者更強大的計算機做出來(lái)了，圍棋問(wèn)題也是解決不了的。所以這不是一個(gè)單靠強力計算就能解決的事情，必須要有聰明的算法，而聰明的算法現在已經(jīng)有了。

從另外一個(gè)角度來(lái)看，其實(shí)比圍棋更困難的問(wèn)題有很多。圍棋有一個(gè)很基本假設或者說(shuō)共性條件，就是精確感知、完備信息、共識目標。我們下圍棋的時(shí)候，棋盤(pán)上所有的棋子大家都能看到，而且大家對獲勝標準這一點(diǎn)也有共識。

我們有很多問(wèn)題不是這樣的，比如打麻將，這就是不完備信息，你只能看到桌上的和自己的牌，其他幾家牌看不到。另外，麻將的牌張數只有136張，張數比較少。如果張數達到361張，和圍棋棋盤(pán)數一樣，我們就可以嚴格從理論上證明它比圍棋復雜得多。

事實(shí)上，還有很多非共識目標的問(wèn)題，比如說(shuō)很多管理層面的問(wèn)題，領(lǐng)導的目標是不一樣的，這時(shí)候的判斷就會(huì )很難。

總的來(lái)說(shuō)，我們以往的機器學(xué)習主要是解決封閉環(huán)境、靜態(tài)環(huán)境下的任務(wù)，我們假定很多東西都是不變的，比如說(shuō)數據分布恒定，樣本類(lèi)別恒定，樣本屬性恒定，甚至是評價(jià)目標恒定。

但是現在的任務(wù)變了，由封閉靜態(tài)環(huán)境變?yōu)殚_(kāi)放動(dòng)態(tài)環(huán)境，一切東西都可能發(fā)生變化。比如說(shuō)我們把一條破冰船開(kāi)到兩極去，它看到的海濱是在變的，未知險情可能出現，目標也會(huì )多樣化等等。所以我們今天的任務(wù)是如何在開(kāi)放環(huán)境下更好的做機器學(xué)習。

國際人工智能大會(huì )有一個(gè)主席報告，由學(xué)會(huì )主席為未來(lái)做一個(gè)判斷。他有一個(gè)題目是“通往魯棒的AI”。在這個(gè)報告里面，他提到說(shuō)，隨著(zhù)人工智能技術(shù)取得巨大發(fā)展，現在的我們越來(lái)越多地面臨高風(fēng)險應用，例如自動(dòng)駕駛汽車(chē)、自主武器、遠程外科手術(shù)等等。所有這些應用有一個(gè)共性，就是一旦你犯錯誤，它的損失是巨大的，因此我們必須要用魯棒的人工智能。

魯棒的人工智能技術(shù)要求我們的系統必須要能夠很好地應對未知環(huán)境，也就是開(kāi)放環(huán)境，所以開(kāi)放環(huán)境下的機器學(xué)習是我們特別要關(guān)注的事情，它是通往魯棒人工智能的一個(gè)核心環(huán)節。

第三部分，我想簡(jiǎn)單地談一談人工智能產(chǎn)業(yè)發(fā)展。

如今，人工智能技術(shù)在很多產(chǎn)業(yè)被廣泛應用，如果大家問(wèn)到底什么產(chǎn)業(yè)是具備代表性的？我想主要就是互聯(lián)網(wǎng)行業(yè)。

原因是什么？很基本的一個(gè)原因是他們積累了大量的數據，機器學(xué)習技術(shù)也好，人工智能技術(shù)也好，只是提供了利用數據的方法。

事實(shí)上，人工智能技術(shù)可以進(jìn)入所有領(lǐng)域，因為后者經(jīng)過(guò)十多年的發(fā)展都能夠產(chǎn)生很多的數據。所以我們現在應該問(wèn)的，不是人工智能技術(shù)可能在哪些領(lǐng)域用得好，而是應該問(wèn)，人工智能技術(shù)接下來(lái)會(huì )在哪些領(lǐng)域取得更大的提高？

我覺(jué)得，現在已經(jīng)將人工智能技術(shù)用得很好的領(lǐng)域已經(jīng)不太容易取得更大的提高，用得比較少的領(lǐng)域可能進(jìn)展會(huì )更大。未來(lái)，人工智能技術(shù)就像電力一樣，它遲早會(huì )進(jìn)入所有的行業(yè)。

人工智能產(chǎn)業(yè)發(fā)展到底需要什么呢？需要設備？不是的，因為我們基本不需要什么特殊精密設備；需要數據？現在數據遍地都是。

真正需要的是什么呢？是人才。

一定程度上，人工智能行業(yè)可以說(shuō)是“有多好的智能人工，才有多好的人工智能”。和一般的軟件產(chǎn)業(yè)比，人工智能產(chǎn)業(yè)應該是一個(gè)非常凸顯“個(gè)人英雄主義”的行業(yè)。

前些日子，就在我們組里，一個(gè)還沒(méi)有畢業(yè)的博士生被曠視聘請去做他們研究院的院長(cháng)，就是說(shuō)，他還沒(méi)有畢業(yè)就已經(jīng)要去指導別人做事情了。這種事情在傳統軟件業(yè)是不可能的，高校畢業(yè)出來(lái)的人才一定要在企業(yè)里面經(jīng)過(guò)兩三年的打磨才能做這個(gè)事。

為什么？在軟件行業(yè)，一個(gè)軟件要有很多人一起來(lái)做，這樣的培養在大學(xué)里面是做不到的，所以必須要到企業(yè)里面去做。

人工智能行業(yè)的代表性就是，它是軟件行業(yè)里面的一個(gè)明珠，只要個(gè)別人的聰明才智取得算法上的突破，就真的帶來(lái)生產(chǎn)力。這個(gè)行業(yè)特點(diǎn)，決定了“人工智能的人才培養”是特別重要的，所以現在可以說(shuō)進(jìn)入了一個(gè)全球爭搶人工智能人才的年代。

對于高水平人工智能人才培養的造血能力，我們認為它真的會(huì )導致產(chǎn)業(yè)核心競爭力的差別，而人工智能人才培養基地也能直接促進(jìn)人工智能產(chǎn)業(yè)人才的急劇形成。

最近，我們南京大學(xué)成立了一個(gè)人工智能學(xué)院，我們也希望從源頭做起，為國家、社會(huì )、產(chǎn)業(yè)來(lái)培養高水平的人才。南京市對此也非常重視，南京市委張敬華書(shū)記和我們的校長(cháng)呂建院士一起為這個(gè)學(xué)院來(lái)進(jìn)行揭牌，所以我也歡迎各位以各種方式來(lái)支持我們南京大學(xué)人工智能學(xué)院。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！