首提完整中臺方法論,網(wǎng)易云全鏈路中臺引爆產(chǎn)業(yè)“核聚變”升級

IM2Maker 6年前 (2019-07-26)

網(wǎng)易云發(fā)布了全鏈路中臺技術(shù)及方法論,為做中臺提供自己的新思路。

當前數字經(jīng)濟領(lǐng)域最受關(guān)注的技術(shù)趨勢當屬中臺,到底中臺對企業(yè)發(fā)展的意義何在,企業(yè)應當如何建設中臺?7月26日,網(wǎng)易云在本屆云創(chuàng )峰會(huì )上給出了完整的答案,從組織、技術(shù)、方法論的角度系統闡述了網(wǎng)易杭州研究院的中臺實(shí)踐與成果,并發(fā)布了全鏈路大數據產(chǎn)品和輕舟微服務(wù)產(chǎn)品,分別為企業(yè)構建數據中臺和在線(xiàn)業(yè)務(wù)中臺提供完整的技術(shù)和方法論支持。

在主題演講中,網(wǎng)易副總裁、網(wǎng)易杭州研究院執行院長(cháng)汪源首次介紹了網(wǎng)易對中臺的理解,他表示:中臺的本質(zhì)是業(yè)務(wù)能力的沉淀,它對于企業(yè)提高需求響應、降低定制成本、實(shí)現彈性穩定、實(shí)現系統互通、提升運營(yíng)效率和降低資源成本具有獨特的優(yōu)勢,而中臺的成功建設,需要組織、技術(shù)和相應的方法論的支撐,同時(shí)由于業(yè)務(wù)的復雜性,企業(yè)往往還需要借助專(zhuān)業(yè)的咨詢(xún)服務(wù),才能順利建設中臺。

據悉,網(wǎng)易是業(yè)界唯一通過(guò)設立研究院專(zhuān)職培育創(chuàng )新業(yè)務(wù)的公司,網(wǎng)易杭州研究院(以下簡(jiǎn)稱(chēng)杭研)同時(shí)肩負著(zhù)能力沉淀和業(yè)務(wù)創(chuàng )新兩大職能,成功孵化了網(wǎng)易考拉、網(wǎng)易嚴選、網(wǎng)易云音樂(lè )、網(wǎng)易云等業(yè)務(wù)。由于發(fā)展的業(yè)務(wù)眾多,杭研天然具備建設各種共性能力的訴求,很多能力自然而然就建設成了中臺的形式。汪源認為,這些能力(中臺)的沉淀,能夠幫助企業(yè)駕馭云計算、微服務(wù)、大數據、人工智能和物聯(lián)網(wǎng)等技術(shù)革新成果,并形成核聚變的能量,促進(jìn)企業(yè)數字化創(chuàng )新,推動(dòng)產(chǎn)業(yè)發(fā)展乃至社會(huì )經(jīng)濟升級。

圖:網(wǎng)易副總裁、網(wǎng)易杭州研究院執行院長(cháng)汪源

明晰中臺內涵與實(shí)踐路徑,首提技術(shù)核聚變

隨著(zhù)IoT將互聯(lián)網(wǎng)能力延伸到生產(chǎn)端,例如基于IoT的網(wǎng)易疾風(fēng)工業(yè)智能平臺讓工業(yè)企業(yè)解決生產(chǎn)管理頑疾,企業(yè)對新技術(shù)、新數據價(jià)值的挖掘愈發(fā)期待,中臺的價(jià)值也被更多企業(yè)關(guān)注。在國內,一些原本的平臺,也隨之搖身一變成了所謂的技術(shù)中臺、算法中臺、移動(dòng)中臺、研發(fā)中臺,汪源將之稱(chēng)為“中臺亂象”,他表示,中臺必須具備業(yè)務(wù)屬性,沒(méi)有業(yè)務(wù)屬性的,即使支撐多個(gè)前臺業(yè)務(wù),比如一堆技術(shù)組件,也只是平臺而不是中臺。在汪源看來(lái),所有的中臺都是業(yè)務(wù)中臺,數據中臺是業(yè)務(wù)中臺的特殊形式,而用戶(hù)中臺、內容中臺則是數據中臺的特殊形式。

由于當前數字技術(shù)革新很快,明確技術(shù)概念的職責與內涵,對技術(shù)項目的成功實(shí)踐至關(guān)重要。中臺也是如此,如果概念過(guò)于寬泛,或者混淆,企業(yè)容易對中臺失去信心,從而在數字化創(chuàng )新中錯失良機。汪源的梳理,為企業(yè)對中臺的判斷提供了直觀(guān)的標準。“網(wǎng)易除了有能力,也有責任來(lái)分享中臺經(jīng)驗。”汪源說(shuō)。

對于中臺的建設,汪源認為,組織、技術(shù)和方法論三者不可或缺。從組織的角度,他認為,中臺需要整合資源,讓懂業(yè)務(wù)的人參與,其次,在BU、BG、企業(yè)、集團各個(gè)層次都可以建設中臺,但必須是各層次的一把手工程,否則難以調配資源。

技術(shù)層面,建設在線(xiàn)業(yè)務(wù)中臺需要微服務(wù)、DevOps、分布式事務(wù)和云原生技術(shù)體系的支撐,建設數據中臺則需要指標管理、數據服務(wù)、元數據管理、數據倉庫開(kāi)發(fā)與管理、數據質(zhì)量管理、數據安全管理、數據資產(chǎn)管理,以及大數據計算引擎、數據集成/同步/交換引擎、敏捷BI系統等一整套典型的支撐技術(shù)。

作為能力的沉淀,除了工具,中臺無(wú)疑需要流程/規范/方法論。目前業(yè)界存在許多相關(guān)的方法論,如六邊形理論、領(lǐng)域驅動(dòng)設計(DDD)、指標設計方法論等,但大都與技術(shù)相關(guān),在中臺組織層面尚無(wú)成熟的方法論?;诤佳械膶?shí)踐經(jīng)驗,汪源在業(yè)界首次提出了一套完整的中臺組織方法論。

根據參與人員的差異,汪源把不同類(lèi)型的組織總結為“胖中臺組織”、“標準中臺組織”和“平臺組織”——標準中臺組織由各個(gè)能力組和工具、規范/流程/方法論組成;當標準中臺組織對業(yè)務(wù)的介入程度不足以支撐中臺的實(shí)現,就需要更加接近業(yè)務(wù)的定向組來(lái)參與,這就形成了胖中臺組織;而能力臻于成熟,工具、流程都實(shí)現標準化,標準中臺組織也可以退化成平臺組織。換言之,三個(gè)角色并非一成不變,而是處在動(dòng)態(tài)變化之中。事實(shí)上,不僅僅是杭研,很多大型互聯(lián)網(wǎng)公司都或多或少經(jīng)歷過(guò)類(lèi)似的重組。與會(huì )者認為,中臺組織方法論的梳理,為中臺組織的建設和未來(lái)?yè)荛_(kāi)了迷霧。

對于中臺的發(fā)展,汪源還總結了一個(gè)“數字技術(shù)核聚變”的模型。他表示:數據中臺匯聚和整合業(yè)務(wù)數據,產(chǎn)生洞察指導業(yè)務(wù)創(chuàng )新,在線(xiàn)業(yè)務(wù)中臺支撐業(yè)務(wù)圍繞領(lǐng)域交匯,不斷引入新技術(shù),創(chuàng )造新數據,為數據資產(chǎn)增值裂變提供動(dòng)力支持,數據中臺和在線(xiàn)業(yè)務(wù)中臺共生共存,形成數字技術(shù)核聚變的巨大能量,推動(dòng)產(chǎn)業(yè)跳躍式進(jìn)化。

全鏈路大數據產(chǎn)品發(fā)布,數據中臺可實(shí)現100%標簽覆蓋

為了全面支撐企業(yè)數據中臺建設,為業(yè)務(wù)應用提供統一的數據和服務(wù),網(wǎng)易發(fā)布了全鏈路大數據產(chǎn)品——網(wǎng)易猛犸6.0。網(wǎng)易大數據總經(jīng)理余利華分享了一個(gè)真實(shí)的客戶(hù)案例:某客戶(hù)在供應鏈系統、VIPApp和商品運營(yíng)系統中看到的同一款產(chǎn)品毛利分別是32%、28%、38%三個(gè)迥然不同的數字,這給數據分析工作造成了極大的困惑。余利華指出,目前企業(yè)在大數據實(shí)踐中存在指標口徑不一致、數據重復建設、取數效率低、數據質(zhì)量故障頻繁、成本指數級增長(cháng)等五大痛點(diǎn),這導致了企業(yè)80%的工作都與數據分析無(wú)關(guān),而數據中臺就是瓦解這一癥結的良方。

圖:網(wǎng)易大數據總經(jīng)理余利華

網(wǎng)易大數據此次發(fā)布的猛犸6.0,在此前的Hadoop、數據集成、任務(wù)運維、實(shí)時(shí)開(kāi)發(fā)、離線(xiàn)開(kāi)發(fā)產(chǎn)品基礎上,新增了指標系統、數據服務(wù)、數據地圖、數據質(zhì)量中心、資產(chǎn)管理中心、數據倉庫開(kāi)發(fā)與管理等全新的系統,這就實(shí)現了數據中臺的全鏈路打通,實(shí)現全鏈路數據質(zhì)量監控、全鏈路數據資產(chǎn)分析、全鏈路數據發(fā)現。

這些系統的能力,以指標系統為例,猛犸6.0能夠100%消除指標口徑不一致,讓指標數量縮減50%,并且理解一個(gè)指標的含義的時(shí)間縮短80%。

而據汪源介紹,猛犸6.0已經(jīng)成功應用于網(wǎng)易考拉等業(yè)務(wù),通過(guò)數據中臺的建設,實(shí)現了100%的數據產(chǎn)品指標覆蓋、99.8%的數據可用率、100%的自助取數和20%的成本節省。

“有了全鏈路大數據產(chǎn)品,企業(yè)可以將80%的工作投入商業(yè)分析,直接產(chǎn)生業(yè)務(wù)價(jià)值,而數據開(kāi)發(fā)、數據治理只需占用20%的工作量。”余利華總結說(shuō)。

輕舟微服務(wù)平臺升級,突破在線(xiàn)業(yè)務(wù)中臺的異構挑戰

在線(xiàn)業(yè)務(wù)中臺有助于業(yè)務(wù)能力復用、加速業(yè)務(wù)創(chuàng )新和促進(jìn)數字化轉型?,F實(shí)的問(wèn)題是,信息隔離、數據隔離等因素,阻礙著(zhù)在線(xiàn)業(yè)務(wù)中臺的建設。網(wǎng)易云基礎服務(wù)總經(jīng)理陳諤認為,異構系統整合,包括兼容、通信和系統間事務(wù)一致性,和多供應商建設,包括多團隊協(xié)作、軟件資產(chǎn)沉淀,是目前企業(yè)在建設在線(xiàn)業(yè)務(wù)中臺過(guò)程中遇到的最大障礙,而網(wǎng)易輕舟微服務(wù)新品的發(fā)布,正是要通過(guò)Service Mesh、分布式事務(wù)框架GTXS、全新API網(wǎng)關(guān)與原有輕舟產(chǎn)品的整合,完成全?;诰€(xiàn)中臺技術(shù)體系升級,幫助企業(yè)完成業(yè)務(wù)架構的進(jìn)化,支撐業(yè)務(wù)快速創(chuàng )新。

圖:網(wǎng)易云基礎服務(wù)總經(jīng)理陳諤

陳諤介紹,輕舟Service Mesh基于CNCF(云原生計算基金會(huì ))的Istio和Envoy等主流開(kāi)源技術(shù)構建,可以實(shí)現Java、Python、NodeJS、Golang和PHP等不同技術(shù)棧的兼容和通信,能夠與已有微服務(wù)框架NSF統一管控、互相發(fā)現、互相調用,并且支持容器、虛擬機和裸機部署,將異構系統的支持實(shí)現到了業(yè)界領(lǐng)先的程度。在性能方面,輕舟Service Mesh也實(shí)現了時(shí)延降低50%的優(yōu)化效果,以便更好地滿(mǎn)足在線(xiàn)業(yè)務(wù)的用戶(hù)體驗。GTXS則通過(guò)聲明式事務(wù)框架,實(shí)現了對開(kāi)發(fā)人員更加友好的分布式事務(wù)方案,保證了不同微服務(wù)的數據一致性,與常用的TCC模式相比,接入效率提升了85%,目前已在工商銀行、網(wǎng)易嚴選等大型生產(chǎn)環(huán)境中穩定運行。

據汪源介紹,在網(wǎng)易內部,通過(guò)電商、音樂(lè )等在線(xiàn)業(yè)務(wù)中臺的建設,實(shí)現了需求響應效率提升100%、應用部署效率提升280%、軟件產(chǎn)品質(zhì)量提升52%的效果,其中電商應用日均部署1374次,音樂(lè )應用日均部署492次。

為了確保這些復雜技術(shù)在企業(yè)落地應用,網(wǎng)易云為客戶(hù)提供了全流程的服務(wù),覆蓋DevOps最佳實(shí)踐、可擴展性架構設計、微服務(wù)化拆分、治理建設、技術(shù)支持和高級運維等各個(gè)層面。其中,咨詢(xún)服務(wù)已經(jīng)在工商銀行、國家電網(wǎng)、申萬(wàn)宏源、大華科技、德邦快遞、百勝中國等企業(yè)的云平臺建設、中臺建設和架構演進(jìn)等項目中開(kāi)花結果。

最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長(cháng)按識別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅動(dòng)創(chuàng )新

分享到