機器學(xué)習、數據科學(xué)、人工智能、深度學(xué)習和統計學(xué)之間的區別

韓平 8年前 (2017-12-13)

機器學(xué)習、數據科學(xué)、人工智能、深度學(xué)習和統計學(xué)之間的區別是什么?

機器學(xué)習、數據科學(xué)、人工智能、深度學(xué)習和統計學(xué)之間的區別

數據科學(xué)是個(gè)廣義的學(xué)科, Analytics data scientist(Type A)和Builder data scientist(Type B)有所不同,Type A Data Scientists在工作中遇到數據相關(guān)時(shí)可以寫(xiě)出不錯的代碼,但是并不必須是專(zhuān)家,這類(lèi)data scientist可能專(zhuān)業(yè)是實(shí)驗設計、預測、建模、統計推斷或者其他統計學(xué)研究的典型部分。但是一般而言,數據科學(xué)家的工作產(chǎn)出可不是學(xué)術(shù)統計學(xué)有時(shí)候建議的那樣“p-values and confidence intervals”(正如有時(shí)候傳統的藥物領(lǐng)域統計學(xué)家會(huì )用到那樣)。在Google,Type A Data Scientists通常指統計學(xué)家、定量分析師、決策支持技術(shù)分析師或者數據科學(xué)家,可能還有其他的一些。

Type B Data Scientists是building data的。B類(lèi)和A類(lèi)有些相同的統計學(xué)背景,但他們還是更好的coders,可能有專(zhuān)業(yè)的軟件工程的訓練。他們主要對在產(chǎn)品中使用數據感興趣,他們建立與用戶(hù)交互的模型,通常是提供推薦的(產(chǎn)品、可能認識的人、廣告電影、搜索結果之類(lèi))。

1.機器學(xué)習 vs 深度學(xué)習

在深度探討machine learning和data science的聯(lián)系之前,這里簡(jiǎn)要地討論一下machine learning 和deep learning。machine learning是一套算法,來(lái)訓練數據集做預測或者采取行動(dòng)以使得系統最優(yōu)化。舉例來(lái)說(shuō),supervised classification algorithms被用來(lái)根據歷史數據將想要貸款的客戶(hù)分成預期好的和預期差的(good or bad prospects)。對于給定的任務(wù)(比如監督聚類(lèi)),需要的技術(shù)多種多樣:naive Bayes、SVM、neural nets、ensembles、association rules、decision trees、logistic regression,或者是很多技術(shù)的組合。所有這些都是數據科學(xué)的子集。當這些算法自動(dòng)化后,比如無(wú)人駕駛飛機或者無(wú)人駕駛汽車(chē),這就叫AI了,或者說(shuō)的具體一點(diǎn),deep learning。如果采集的數據來(lái)自傳感器并且通過(guò)互聯(lián)網(wǎng)傳播,那么這就是機器學(xué)習或數據科學(xué)或深度學(xué)習應用于物聯(lián)網(wǎng)了。

有些人對深度學(xué)習有不同的定義,他們認為深度學(xué)習是更深層次的神經(jīng)網(wǎng)絡(luò )(一種機器學(xué)習的技術(shù))。AI(Artificial Intelligence)是創(chuàng )建于20世紀60年代的計算機科學(xué)的一個(gè)子領(lǐng)域,是關(guān)于解決那些對人類(lèi)來(lái)講非常容易但是對計算機而言很難的任務(wù)。值得一提的是,所謂的strong AI可能可以做所有人類(lèi)可以做的事情(可能除了純粹的物理問(wèn)題)。這是相當廣泛的,包括各種各樣的事情,比如做計劃,在世界上到處溜達,識別物體和聲音,說(shuō)話(huà),翻譯,社交或者商業(yè)交易,還有創(chuàng )造性工作(比如寫(xiě)詩(shī)畫(huà)畫(huà))等等。

NLP(Natural language processing)只是AI要處理的語(yǔ)言部分,尤其是寫(xiě)。

Machine learning是這樣的一種情況:給出一些可以被以離散形式描述的AI問(wèn)題(比如從一系列動(dòng)作中選出對的那個(gè)),然后給定一堆外部世界的信息,在不需要程序員手動(dòng)寫(xiě)程序的情況下選出那個(gè)“正確的”行為。通常情況需要借助外界的一些過(guò)程來(lái)判斷這個(gè)動(dòng)作對不對。在數學(xué)上,這就是函數:你給一些輸入,然后你想要他處理一下得到正確的輸出,所以整個(gè)問(wèn)題就簡(jiǎn)化為用一些自動(dòng)的方式建立這種數學(xué)函數模型。和AI區分一下:如果我寫(xiě)了一段特別機智的程序有著(zhù)人類(lèi)的行為,那這就可以是AI,但是除非它的參量都是自動(dòng)從數據中學(xué)會(huì )的,否則就不是機器學(xué)習。

Deep learning是當下非常流行的機器學(xué)習的一種。它包含一種特殊的數學(xué)模型,可以想成是一種特定類(lèi)型的簡(jiǎn)單塊的組合(或者說(shuō)是塊的功能的組合),這些塊可以進(jìn)行調整來(lái)更好的預測最終結果。

2. Data Science VS Machine Learning

機器學(xué)習和統計學(xué)都是數據科學(xué)的一部分。Learning這個(gè)詞在machine learning里意味著(zhù)依賴(lài)于某些數據的算法,被用作一種訓練模式集來(lái)調整一些模型或者算法參數。這包含很多技術(shù),比如回歸、樸素貝葉斯或者監督聚類(lèi)。但不是所有的技術(shù)都適合這個(gè)分類(lèi)。比如,非監督聚類(lèi)——一種統計學(xué)和數據科學(xué)的方法——旨在不依靠任何先驗知識和訓練集監測聚類(lèi)或聚類(lèi)結構來(lái)幫助分類(lèi)算法。需要有人來(lái)標注被發(fā)現的聚類(lèi)。有些技術(shù)是混合的,比如半監督分類(lèi)。有些模式偵查或者密度評估技術(shù)適合這個(gè)分類(lèi)。

然而數據科學(xué)比機器學(xué)習范圍大得多。數據科學(xué)里“data”,可能是也可能不是來(lái)自機器或者機械過(guò)程的(調查結果可能是人工采集的,臨床試驗需要一種特殊類(lèi)型的small data等),而且可能和上面提到的”learning”一點(diǎn)關(guān)系也沒(méi)有。但是主要的不同還是因為數據科學(xué)實(shí)際上涵蓋了整個(gè)數據處理的范圍,而不只是算法或者統計學(xué)方面。

最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長(cháng)按識別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅動(dòng)創(chuàng )新

分享到