目前深度學(xué)習存在哪些無(wú)法克服的障礙？

關(guān)于目前深度學(xué)習所面臨的障礙，鎂客君為大家找來(lái)了斯坦福大學(xué)在讀博士Bharath Ramsundar列出的15個(gè)深度學(xué)習現在有的問(wèn)題~

1．眾所周知，深度學(xué)習方法很難學(xué)習到輸入樣本的微小變化。當樣本的顏色交換時(shí)，所構建的目標識別系統可能會(huì )完全崩潰。

2．基于梯度的網(wǎng)絡(luò )訓練過(guò)程相當緩慢。一般按照固定模式來(lái)實(shí)現多種梯度下降方法，但是這種方法很難用于高維數據的預測。

3．深度學(xué)習方法在處理條件約束方面的效果也不佳，不能像線(xiàn)性規劃方法那樣，能快速找到滿(mǎn)足約束的解決方案。

4．在訓練復雜模型時(shí)，網(wǎng)絡(luò )相當不穩定。通常不能很好地訓練神經(jīng)圖靈機和GAN網(wǎng)絡(luò )，嚴重依賴(lài)網(wǎng)絡(luò )的初始化方式。

5．深層網(wǎng)絡(luò )能較好地應用于圖像處理和自然語(yǔ)言分析中，但是不適合現實(shí)世界的實(shí)際問(wèn)題，如提取因果結構等等。

6．在實(shí)際應用中，要考慮關(guān)鍵影響者檢測的問(wèn)題。在參議員參議員投票的數據集中，應該如何檢測出關(guān)鍵影響者，深度神經(jīng)網(wǎng)絡(luò )DNN還不能應用于此方面。

7．強化學(xué)習（Reinforcement learning）方法對輸入數據非常挑剔，實(shí)際性能主要取決于調參技巧，雖然這個(gè)特殊問(wèn)題僅存在于這個(gè)方面。

8．深度學(xué)習方法不容易理解未知實(shí)體，比如說(shuō)當棒球擊球手在視頻中，深度學(xué)習不知道如何推斷出屏幕外還有個(gè)投手。

9．實(shí)時(shí)訓練深層網(wǎng)絡(luò )幾乎不可能，因此很難進(jìn)行動(dòng)態(tài)調整，上文已經(jīng)提到網(wǎng)絡(luò )訓練緩慢的問(wèn)題。

10．一般來(lái)說(shuō)，網(wǎng)絡(luò )需通過(guò)離線(xiàn)訓練后才能進(jìn)行智能辨識。

11．人們經(jīng)常提出一些對深層網(wǎng)絡(luò )的理論解釋。但這可能不是一個(gè)大問(wèn)題，人們才是一個(gè)真正的大問(wèn)題。

12．目前很難確定深層網(wǎng)絡(luò )學(xué)習到了什么。作為工程師的我們，怎樣才能確保在網(wǎng)絡(luò )訓練過(guò)程中不存在偏見(jiàn)和種族歧視？

13．深度神經(jīng)網(wǎng)絡(luò )很難用來(lái)解決邏輯問(wèn)題。3SAT求解器具有很強的能力，但是很難應用到深層網(wǎng)絡(luò )。

14．深度神經(jīng)網(wǎng)絡(luò )在處理大維度的特征數據方面效果不佳。這種方法與強大的隨機森林方法不同，在訓練前需要大量的特征調整。

15．深度網(wǎng)絡(luò )的超參數優(yōu)化研究仍然處于起步階段。研究者需要完成大量的計算或是手動(dòng)調整許多網(wǎng)絡(luò )結構。

總結起來(lái)是以下幾個(gè)主要問(wèn)題：

1. 深度網(wǎng)絡(luò )壓縮：目的是將權值參數進(jìn)行量化或者壓縮存儲，進(jìn)而減少參數規模。

2. 模型加速：現在出現了更深的網(wǎng)絡(luò )，但帶來(lái)的問(wèn)題是計算效率的下降。這個(gè)方向主要從網(wǎng)絡(luò )架構和實(shí)現的角度對模型的計算效率進(jìn)行提升。

3. 優(yōu)化： 現在在ICML上邊關(guān)于DL優(yōu)化的文章很多，如何避免overfiting? 如何加速訓練？產(chǎn)生初始參數？這些都是比較熱門(mén)的研究點(diǎn)。

4. 應用：包括檢測、分割、人臉、NLP等，一個(gè)好的工作會(huì )綜合考慮各種各樣的因素。

5. 遷移：在CV領(lǐng)域work的模型是否可以應用到其他領(lǐng)域？在一個(gè)新領(lǐng)域中基本想法有了，但具體做起來(lái)需要解決各種各樣的實(shí)際問(wèn)題。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！