大數據+深度學(xué)習：未來(lái)兩年內將成為大部分企業(yè)的標配

近日，SoftServe 發(fā)布最新調查報告稱(chēng)大量的大中型公司希望在未來(lái)的兩年內能夠用上機器學(xué)習。

【編者按】本文選自 SoftServe，由機器之心編譯，參與：無(wú)我莽莽、杜夏德、李亞洲

近日，SoftServe 發(fā)布最新調查報告稱(chēng)大量的大中型公司希望在未來(lái)的兩年內能夠用上機器學(xué)習。

SoftServe 是全球領(lǐng)先的技術(shù)解決方案提供商，昨日發(fā)布了自己的 Big Data Snapshot 研究報告，研究顯示 62% 的大中型公司希望在未來(lái)的兩年內能將機器學(xué)習用于商業(yè)分析。今年四月， Vanson Bourne 為 SoftServe 進(jìn)行了這項研究，調查了多個(gè)行業(yè)的決策者對大數據技術(shù)中的風(fēng)險、挑戰和機遇的看法。該數據顯示，大數據分析技術(shù)盡管相對較新，仍然有 86% 的公司運用了大數據系統。此外，大中型公司認為大數據分析是必須的，并且接受基于大數據分析的新技術(shù)。

調查對象被問(wèn)到，與傳統系統相比，他們看到的大數據中的最大機遇是什么？62% 的人同意實(shí)時(shí)分析隱藏著(zhù)當下最大的機遇。

Facebook 宣布了 15 億個(gè)人工智能代理計劃后，過(guò)去的一年中人工智能一直占據著(zhù)人們的想象力。一家荷蘭財團用機器學(xué)習技術(shù)繪制了一張「新倫勃朗」畫(huà)像。但是另一個(gè)讓人驚嘆的或許是企業(yè)已經(jīng)在認真地看待大數據的機器學(xué)習。這個(gè)發(fā)展意味著(zhù)，企業(yè)如何理解利用和建立新的大數據技術(shù)產(chǎn)生有價(jià)值的商業(yè)見(jiàn)解的優(yōu)勢。

「不久前，我們還走訪(fǎng)了多家企業(yè)并解釋了為什么他們應該了解大數據。2016年的今天，在 63%的組織看來(lái)，大數據分析對保持競爭力已經(jīng)是必須的，」 SoftServe 的技術(shù)服務(wù)副總 Serge Haziyev解釋?！副敬握{查顯示，機器學(xué)習的重要性非常突出，這是非常令人鼓舞的。我發(fā)現，采取行動(dòng)并使用機器學(xué)習技術(shù)的企業(yè)較早地獲得了好處 — 這是前進(jìn)的一大步，因為它提供了規范的見(jiàn)解，使企業(yè)不僅了解客戶(hù)正在做什么，還了解他們?yōu)槭裁催@么做?！?/p>

研究顯示金融服務(wù)組織比其他行業(yè)更加重視大數據分析，他們是新技術(shù)的早期使用者。在這些組織中，67% 認為大數據分析是保持競爭的必需品，68% 期望在未來(lái)的兩年內在大數據分析中用上機器學(xué)習。制造業(yè)緊隨其后，在他們中，有 60% 的組織認可大數據分析是必備品，62% 的組織計劃使用機器學(xué)習。

這個(gè)調查也考慮了挑戰以及增長(cháng)上的困難。零售業(yè)最關(guān)注的是數據管理。所有受訪(fǎng)者一致認為，相比于傳統系統，大數據分析中的數據管理更值得關(guān)注。整體上有 76% 的公司同意這一點(diǎn)，表明它仍然是所用行業(yè)共同關(guān)心的問(wèn)題。

SoftServe 大數據調查共調查了300名大中型組織決策者，其中100名來(lái)自英國，另外200名來(lái)自美國。有150名決策者所在的公司員工在1000 - 3000 人之間，剩下的150名決策者的公司員工超過(guò)了3000人。受訪(fǎng)者被細分為六個(gè)重點(diǎn)行業(yè)：商業(yè)和專(zhuān)業(yè)服務(wù)，制造業(yè)，金融服務(wù)業(yè)，零售業(yè)，物流和運輸業(yè)，以及其他商業(yè)領(lǐng)域。

下面呈現整個(gè)報告：

報告目錄

什么是大數據？

大數據的影響？

從一次機遇成為必需品

如何使用大數據

機器學(xué)習

大數據，高價(jià)值

打破孤島

機遇來(lái)臨

一、什么是大數據？

數據已經(jīng)被使用了十幾年了，比如它們總是被用于各種分析，所以為什么說(shuō)是「大數據」呢？主要是因為我們現在可用數據的數據量（Volume）、處理速度（Velocity）以及數據種類(lèi)（Variety）。數據并不新，只是比之前大得多。

二、什么使得數據更大？

大部分傳統數據是結構化的或整齊有序的數據集。而后，全球進(jìn)入了數字化，互聯(lián)網(wǎng)也隨之而來(lái)。我們所做的大部分事都能轉錄成 1 和 0 組成的字符串，進(jìn)行記錄、存儲、處理以及分析。

對大型企業(yè)機構而言，數據存儲成本直線(xiàn)下降。企業(yè)如今有了選擇：要么把所有的數據存儲到遠程數據中心，要么轉包給基于云的數據存儲提供商。

如今，全球每天創(chuàng )造 2.5 個(gè)五萬(wàn)億字節（IBM，「什么是大數據？」）。當然，這些數據并不是都與商業(yè)有關(guān)，但數字之后的信息表明公司可用的數據規模一直在增長(cháng)。不可否認，大數據的增長(cháng)正在改變現代商業(yè)的外觀(guān)。但公司如何處理數據至關(guān)重要。

實(shí)際上，如今每一個(gè)產(chǎn)業(yè)在某種程度上都是信息驅動(dòng)的。金融、專(zhuān)業(yè)服務(wù)、制造、零售、物流、交通等等。沒(méi)有一個(gè)分支能逃脫數據革命的影響。

從機器學(xué)習到人工智能以及商業(yè)分析，這一科技的大規模應用超越了傳統的 IT 部門(mén)的限制，推動(dòng)創(chuàng )新。但僅僅大數據達不到這一點(diǎn)，它是洞見(jiàn)的來(lái)源。

三、SoftServe 大數據分析調查

為了幫助理解這一新場(chǎng)景，我們呈現了 2016 年的 SoftServe 大數據分析調查，這是在接下來(lái) 12 個(gè)月或更久的時(shí)間中可能會(huì )顛覆商業(yè)與公司的大數據趨勢的審查報告。

這一調查有 300 位調查對象，這些中到大型公司的決策者 100 位來(lái)自英國，200 位來(lái)自美國。其中的 150 位所在的公司有 1000 到 3000 位職員，剩下的 150 位調查對象代表的公司所有職員超過(guò) 3000 位。調查對象分布于六大產(chǎn)業(yè)：

商業(yè)和專(zhuān)業(yè)服務(wù)

制造業(yè)

金融服務(wù)

零售

物流與運輸

其他商業(yè)部門(mén)

這一調查由調研機構 Vanson Bourne 在今年 4 月份進(jìn)行，跨行業(yè)調查了組織領(lǐng)導者對大數據分析和商業(yè)中的風(fēng)險、挑戰和機遇的看法。該調查的目的在于揭示最新的機會(huì )和見(jiàn)解，以幫助你從今天的海量數據中獲得最大價(jià)值。

我們的報告是受到了如今各產(chǎn)業(yè)、地方、大小公司內的決策者公認的機遇的啟發(fā)。我們探索了他們如何使用大數據與分析重塑各自公司的方方面面，也探索了他們利用這一新生的技術(shù)與方法進(jìn)行轉型時(shí)所面臨的挑戰。我們調查的領(lǐng)導者非常幸運的能處于數據革命的前沿位置，這場(chǎng)革命有望徹底改變我們做生意的方式。

四、大數據的影響

站在未行者的前方

處于一個(gè)步伐不斷加速的環(huán)境中，一個(gè)細節的忽視就會(huì )對底線(xiàn)產(chǎn)生重大的影響，一個(gè)錯誤多犯幾次的影響將會(huì )是災難性的。在全球競爭中，快節奏的玩家越來(lái)越占據主導地位，數據成為建立更加靈活、反應敏捷、多產(chǎn)的商業(yè)的關(guān)鍵。

全世界的企業(yè)開(kāi)始公認大數據是一個(gè)關(guān)鍵趨勢。更重要的是，他們開(kāi)始將大量的時(shí)間與金錢(qián)投入到分析服務(wù)。從幫助銀行追蹤實(shí)時(shí)趨勢，到為零售商提供洞見(jiàn)從而幫助他們更好地理解消費者的購物喜好，分析能為每一行業(yè)開(kāi)啟新的機遇。

對其當前地位的戰略重要性而言，大數據的優(yōu)勢在短時(shí)間內就顯現了出來(lái)。但這一報告發(fā)現，盡管大數據分析技術(shù)相對較新卻分布廣泛，86% 的公司已經(jīng)使用某種形式的大數據分析了。其中，45% 在全公司內使用大數據，41% 部分使用。剩下的還未開(kāi)始使用大數據的公司中，有11% 計劃在未來(lái)使用大數據。信息：大數據將很快在全球每一組織的運行中起作用。

五、從一次機遇成為必須品

大數據不再只是一次機遇，它成為了必需品。不久之前，公司還在問(wèn)他們?yōu)槭裁葱枰P(guān)注大數據。如今，大數據分析已經(jīng)達到了一個(gè)點(diǎn)：63%的被調查公司相信它對保持競爭力至關(guān)重要。此外，公司也變得更加容易接受建立在大數據分析方法論上的新技術(shù)。

60%的IT 公司使用大數據，在產(chǎn)業(yè)采用大數據達到最高度的過(guò)程中，科技企業(yè)帶路前行。同時(shí)，零售、物流、運輸行業(yè)還有很多事情要做，這些公司中只有 29% 使用大數據支持現有的策略。這并不是因為這些行業(yè)缺乏應用。對使用大數據的人來(lái)說(shuō)，大數據能成為大商業(yè)。零售商可以使用大數據分析網(wǎng)頁(yè)瀏覽模式、產(chǎn)業(yè)預測以及消費者記錄，從而預測需求、定位消費人群、優(yōu)化定價(jià)以及監控實(shí)時(shí)趨勢。

在美國，大數據已經(jīng)在飛速發(fā)展。這使得英國望塵莫及，只有 23% 的英國調查對象在全公司內使用大數據，相比于此美國是 56%。然而，英國看起來(lái)在未來(lái)會(huì )大步前行，53% 的公司已經(jīng)部分使用大數據，同時(shí) 16% 的有計劃將大數據并入他們的策略中（相比于此，美國分別是 35% 與 9%）。

六、如何使用大數據

由大數據提供的機遇范圍從節約成本到改進(jìn)分析等。調查對象被問(wèn)及相比于傳統的系統，他們看到的大數據提供的最大機遇是哪個(gè)領(lǐng)域。62% 的認為實(shí)時(shí)分析是如今最大的潛在增長(cháng)機會(huì )。

相比于傳統系統，大數據分析為你公司提供了什么機會(huì )？

金融服務(wù)行業(yè)內的公司主要認為大數據的機遇來(lái)自于實(shí)時(shí)分析（70%）以及趨勢分析（67%）。

金融服務(wù)公司比其他產(chǎn)業(yè)內的公司更加重視大數據分析的價(jià)值，當出現新技術(shù)時(shí)也更早的采納，其中 67% 的調查對象稱(chēng)它為保持競爭力的必需品，68% 期望在兩年內使用機器學(xué)習捕捉商業(yè)洞見(jiàn)。

想要縮小提供的體驗與消費者的期望之間的差距讓金融機構面臨的壓力日益增大。銀行正在采用來(lái)自消費者的線(xiàn)索，也從其他產(chǎn)業(yè)學(xué)習，比如媒體、移動(dòng)以及零售，并且基于這些其他產(chǎn)業(yè)內的經(jīng)驗設定期望。

在金融領(lǐng)域，知識能提供競爭優(yōu)勢，驅動(dòng)數百萬(wàn)的附加收益，這比其他產(chǎn)業(yè)要多。能提供這種洞見(jiàn)的科技成為了高度追求的對象，大數據分析這樣的工具也在上升。對金融部門(mén)而言，大數據是迎合客戶(hù)需求，提供更為快速、準確的服務(wù)的關(guān)鍵部分。

制造業(yè)有同樣的看法，60% 的調查對象認為大數據分析是必需品，且 62% 計劃在未來(lái)部署機器學(xué)習。

對 IT 產(chǎn)業(yè)而言，大數據的好處大多可視為是降低成本（80% 的調查對象），反映出他們的使用許可以及節約硬件的意識。

七、機器學(xué)習

機器學(xué)習是一個(gè)新術(shù)語(yǔ)，但它有現實(shí)生活中的應用

機器學(xué)習帶來(lái)的一大主要益處是能快速而有效地分析海量數據，而人類(lèi)要做到這一點(diǎn)需要龐大的團隊。這已經(jīng)在金融服務(wù)業(yè)被證明是有效的，在這個(gè)行業(yè)內，保險公司、銀行和貸款機構需要有價(jià)值的及時(shí)的洞見(jiàn)。機器學(xué)習還幫助金融機構提供更好的客戶(hù)體驗，以及更強的識別發(fā)展趨勢和模式的能力，從而減小風(fēng)險。

例如，銀行可以使用預測性分析改善貸款批準流程。使用遍及大型匿名數據集的一套標準化準則，銀行可以將他們的批準過(guò)程從幾天加速到幾分鐘。

公司正意識到這點(diǎn)，當他們孤注一擲，部署機器學(xué)習技術(shù)時(shí)，他們可以在短時(shí)間內領(lǐng)悟許多洞見(jiàn)，從消費者在做什么轉變?yōu)槔斫庀M者為什么這樣做。

這份報告顯示，在下一個(gè)十年，大數據、機器學(xué)習和人工智能將無(wú)縫對接到許多不同公司的結構體系中。研究結果強調，大數據「甜蜜點(diǎn)」對每家公司是相異的，但是每個(gè)部門(mén)都能獲得相當大的收益。從日益增長(cháng)的顧客忠誠度到更快的業(yè)務(wù)流程，來(lái)自大數據的獎賞絕不會(huì )是微不足道的。像這樣的未來(lái)投資預計是有意義的。

八、大數據，高價(jià)值

然而，當大數據有潛力提供重大價(jià)值時(shí)，它也存在新的挑戰。調查考慮了各行各業(yè)的增長(cháng)困難。例如，零售行業(yè)最關(guān)心數據管理。

相比于傳統系統，大數據分析的數據管理更值得關(guān)注?？傮w上看， 76% 的公司贊同在進(jìn)行大數據分析時(shí)，數據管理比傳統系統更值得關(guān)注的，這表明數據管理對所有行業(yè)而言仍然是一大挑戰。這還證明，公司需要針對隱私、安全和管理采用積極主動(dòng)的方法做好隱私，安保，和管理工作，從而保證所有數據和洞見(jiàn)都被安全地保護起來(lái)。

九、打破信息孤島

公司孤島都有傳統上數據準確性的復合問(wèn)題（compounded problem）。商業(yè)領(lǐng)域有自己的習慣，許多已經(jīng)習慣于在孤島中專(zhuān)注于某一焦點(diǎn)上的工作。這會(huì )導致獨立的數據集以及臨時(shí)行動(dòng)，而這些反過(guò)來(lái)會(huì )產(chǎn)生不充分或不精確的數據。未能將這些數據源聯(lián)系起來(lái)，阻礙了不同部門(mén)獲得關(guān)鍵洞見(jiàn)，這可能就意味著(zhù)成功與失敗的差別。

48% 的金融服務(wù)公司認同大數據分析提供了整合數據孤島的機會(huì )。在情理之中的是，與金融世界最緊密相連的公司將大數據視為優(yōu)先事項。根據 Gartner 的報道（「數據質(zhì)量現狀：現行的做法和發(fā)展趨勢」），低質(zhì)量的數據每年讓公司付出 1420 萬(wàn)美元。財務(wù)報表上不可能存在該對這種級別的損失負責的條目。通過(guò)系統地整合這些數據孤島，大數據轉變是可以克服這個(gè)挑戰的——而且可以將低劣的數據轉換為有用的信息。

十、機遇來(lái)臨

但是，大致來(lái)說(shuō)，未來(lái)是光明的。從數據驅動(dòng)的市場(chǎng)營(yíng)銷(xiāo)到指導油田運營(yíng)，大數據正在為每種類(lèi)型的公司加速創(chuàng )新、推動(dòng)效率以及創(chuàng )收提供機會(huì )。

若想在大數據領(lǐng)域成為重要玩家，一家公司需要采取三個(gè)至關(guān)重要的步驟。第一步是關(guān)于數據本身：確保你的信息形式是方便獲取和分析的。大多數大公司實(shí)際上已經(jīng)做到這點(diǎn)了，他們擁有的數據通常比他們使用的數據多得多。第二步是可利用的大數據工具，比如 Hadoop、MPP Data Warehouse 和 NoSQL 。近來(lái)，擁有專(zhuān)利的或開(kāi)源的工具和平臺隨處都可以獲得——你需要的是能夠利用這些工具和平臺完成工作的人。然后我們到了第三步，這通常是最有挑戰的問(wèn)題：專(zhuān)業(yè)知識。高級的分析需要員工具備從數據科學(xué)到全球范圍的隱私法等方方面面的最先進(jìn)技能，還需要了解商業(yè)以及與相關(guān)的價(jià)值來(lái)源。

大數據不僅是一種技術(shù)倡議。事實(shí)上，它根本不是技術(shù)倡議；它是需要專(zhuān)業(yè)的科技知識的商業(yè)項目。所以，你不能只是加入更多的能力和專(zhuān)業(yè)知識，就期待你的 IT 或市場(chǎng)部門(mén)開(kāi)始產(chǎn)生基于數據的洞見(jiàn)。即使他們做到了，公司的其他部門(mén)也極有可能不會(huì )執行這些洞見(jiàn)。

正如進(jìn)行數據分析的領(lǐng)導者所發(fā)現的那樣，在大數據方面取得成功需要另辟蹊徑：你需要大數據嵌入和能深入理解你的公司知道提出何種問(wèn)題的人。這是確保信息和洞見(jiàn)能在不同業(yè)務(wù)和部門(mén)之間分享的最佳方法。這也確保整個(gè)公司能認識到一個(gè)運行良好的分析程序能提供規模效應。

最終，事先做好準備的最佳方式是咨詢(xún)一位專(zhuān)家，讓其針對你的商業(yè)需求提供最好的大數據方案。利用一個(gè)全套解決方案，這個(gè)過(guò)程可以進(jìn)一步流水線(xiàn)化，這個(gè)解決方案能幫助你識別出大數據分析能為你的哪些業(yè)務(wù)帶來(lái)最多的利益。未來(lái)數據會(huì )非常大，對于有效使用數據的公司而言，發(fā)展潛力是無(wú)窮盡的。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！