數(shù)據(jù)中臺演進(jìn)的四個(gè)階段

口述者行在(張金銀),奇點(diǎn)云CEO,阿里巴巴第一個(gè)數(shù)據(jù)倉庫的創(chuàng)建者,阿里巴巴第一個(gè)消費(fèi)者數(shù)據(jù)平臺TCIF的創(chuàng)建者,阿里云數(shù)據(jù)智能平臺數(shù)加的創(chuàng)始人,2004年以數(shù)據(jù)技術(shù)專家身份加入阿里巴巴以來,12年來一直投身于大數(shù)據(jù)事業(yè)。2016年離開阿里巴巴,創(chuàng)立奇點(diǎn)云,旨在用「AI驅(qū)動(dòng)的數(shù)據(jù)中臺」賦能線下,讓商業(yè)更智能。

　　(奇點(diǎn)云CEO-行在)

2009年,阿里云開啟了中國的云時(shí)代。

十年市場教育,中國的公有云市場也已經(jīng)從無到有,邁過了300億元大關(guān),預(yù)計(jì)到2021年更是能達(dá)到900億元的規(guī)模。

「數(shù)據(jù)中臺」已經(jīng)從一個(gè)技術(shù)詞匯,慢慢轉(zhuǎn)變成為企業(yè)界的共識:如果想要在信息商業(yè)中擁有一席之地,就必須要借助云計(jì)算和數(shù)據(jù)的力量,完成企業(yè)的數(shù)字化轉(zhuǎn)型。

只是,數(shù)據(jù)到底在轉(zhuǎn)型中扮演什么樣的角色,要如何利用好數(shù)據(jù),數(shù)據(jù)上云后如何支持業(yè)務(wù),企業(yè)需要哪些核心能力?這些問題,對于大多數(shù)的非技術(shù)業(yè)者而言,仍然是知其然不知其所以然。

一般而言,「數(shù)據(jù)上云」更多強(qiáng)調(diào)的是數(shù)據(jù)的存儲和計(jì)算,而要讓數(shù)據(jù)能夠賦能業(yè)務(wù),則更需要「數(shù)據(jù)中臺」來進(jìn)行數(shù)據(jù)處理,進(jìn)而支持業(yè)務(wù)決策和優(yōu)化運(yùn)營。

這是「數(shù)據(jù)中臺」和「數(shù)據(jù)上云」最大的不同。

數(shù)據(jù)中臺最終要幫助企業(yè)降本增效

作為數(shù)據(jù)業(yè)務(wù)領(lǐng)域的先行者,阿里云總裁張建鋒,在最新的演講中,把數(shù)據(jù)智能作為數(shù)據(jù)處理的核心能力:

今天處理數(shù)據(jù)絕大部分都不是單純靠算力,算力是基礎(chǔ),而主要是靠上面的智能化的算法,算法跟各行各業(yè)的業(yè)務(wù)有密切相關(guān),所以阿里巴巴通過與各行各業(yè)合作,沉淀了一個(gè)完整的智能化平臺。我們認(rèn)為在基礎(chǔ)設(shè)施的云化、核心技術(shù)的互聯(lián)網(wǎng)化以及在之上疊加大數(shù)據(jù)+智能化的平臺和能力,完整地組成了阿里云智能的整體能力框架。這是我們核心的能力。

這里面?zhèn)鬟_(dá)出了幾個(gè)核心信息:

1.云計(jì)算為數(shù)據(jù)智能提供了基礎(chǔ)算力;

2.行業(yè)(經(jīng)驗(yàn)轉(zhuǎn)化而來的)算法是智能處理數(shù)據(jù)的主要工具;

3.數(shù)據(jù)+智能的平臺和能力,前提是基礎(chǔ)設(shè)施的云化和核心技術(shù)的互聯(lián)網(wǎng)化;

這是阿里云所認(rèn)為的數(shù)據(jù)處理的能力框架,而在目前的市場上,我們通常把這種能力框架稱為「數(shù)據(jù)中臺」。

輿論往往會(huì)更強(qiáng)調(diào)技術(shù)的作用,強(qiáng)調(diào)技術(shù)對業(yè)務(wù)的推動(dòng)作用,但事實(shí)上,在商業(yè)領(lǐng)域,更多的時(shí)候,技術(shù)發(fā)展都是跟著業(yè)務(wù)走,技術(shù)的發(fā)展常常來自于業(yè)務(wù)需求和業(yè)務(wù)場景的倒逼。

例如,隨著越來越多的企業(yè)把業(yè)務(wù)流程上云,日益增長的數(shù)據(jù)存儲和仍然稀缺的數(shù)據(jù)應(yīng)用就成為了企業(yè)的主要矛盾之一,而且,這種矛盾不是一天就能夠解決,需要從業(yè)務(wù)、技術(shù)、組織幾個(gè)不同的領(lǐng)域一起來探尋數(shù)據(jù)的解決方案。

簡單來說,「數(shù)據(jù)中臺」就是這一系列解決方案的基礎(chǔ)設(shè)施。

數(shù)據(jù)中臺不是一套軟件系統(tǒng),也不是一個(gè)標(biāo)準(zhǔn)化產(chǎn)品,站在企業(yè)的角度上,數(shù)據(jù)中臺更多地指向企業(yè)的業(yè)務(wù)目標(biāo),也即幫助企業(yè)沉淀業(yè)務(wù)能力,提升業(yè)務(wù)效率,最終完成數(shù)字化轉(zhuǎn)型。直白點(diǎn)說,中臺只講技術(shù),不講業(yè)務(wù),都是大忽悠。

這么多年來,互聯(lián)網(wǎng)的發(fā)展都建立在更低成本、更高效率的連接之上,線下也一定會(huì)復(fù)制線上的發(fā)展邏輯,用更多連接帶來更多的數(shù)據(jù)。

比如,通過攝像頭,我們就可以低成本建立顧客的Face ID檔案,從而豐富人和店鋪的關(guān)系數(shù)據(jù),店鋪進(jìn)而可以根據(jù)數(shù)據(jù)分析結(jié)果,給顧客提供更有針對性的服務(wù)項(xiàng)目。

更多連接,更低成本,更高效率——所有跟流通相關(guān)的線下生意,數(shù)據(jù)中臺的意義就在于降本增效,別無其他。

數(shù)據(jù)中臺發(fā)展經(jīng)歷了四個(gè)階段

在數(shù)據(jù)史上,2015年是一個(gè)重要的關(guān)口:2015年全年產(chǎn)生的數(shù)據(jù)量等于歷史上所有人類產(chǎn)生數(shù)據(jù)的總和,這是數(shù)據(jù)從乘數(shù)型增長全面轉(zhuǎn)向了指數(shù)型增長的方向標(biāo),海量數(shù)據(jù)處理成為全人類的挑戰(zhàn);

同一時(shí)間,阿里巴巴向外發(fā)布了DT時(shí)代的提法,用Data Technology(DT,數(shù)據(jù)技術(shù))替代了Information Technology(IT,信息科技),強(qiáng)調(diào)數(shù)據(jù)技術(shù)將成為未來商業(yè)的驅(qū)動(dòng)力。

一個(gè)標(biāo)志性的事件是:阿里巴巴用幾百人的運(yùn)營團(tuán)隊(duì)支撐了幾萬億的GMV,其中60%-70%來源于數(shù)據(jù)支持的機(jī)器決策,機(jī)器智能賦能業(yè)務(wù),用更低的成本,更高的效率去服務(wù)顧客,提供千人干面的個(gè)性化體驗(yàn)。

未來學(xué)家認(rèn)為,機(jī)器智能最終會(huì)超越人的智慧,而這兩者的臨界點(diǎn)就被稱為「奇點(diǎn)」。從這點(diǎn)來說,我們可以認(rèn)為,阿里巴巴已經(jīng)跨越了奇點(diǎn),真正成為一家數(shù)據(jù)公司。

下面我們從數(shù)據(jù)的角度來梳理下這個(gè)過程。

阿里巴巴的數(shù)據(jù)處理經(jīng)歷了四個(gè)階段,分別是:

一、數(shù)據(jù)庫階段,主要是OLTP(聯(lián)機(jī)事務(wù)處理)的需求;

二、數(shù)據(jù)倉庫階段,OLAP(聯(lián)機(jī)分析處理)成為主要需求;

三、數(shù)據(jù)平臺階段,主要解決BI和報(bào)表需求的技術(shù)問題;

四、數(shù)據(jù)中臺階段,通過系統(tǒng)來對接OLTP(事務(wù)處理)和OLAP(報(bào)表分析)的需求,強(qiáng)調(diào)數(shù)據(jù)業(yè)務(wù)化的能力。

　　(數(shù)據(jù)中臺演進(jìn)的四個(gè)階段)

第一個(gè)階段是數(shù)據(jù)庫階段。

淘寶還只是一個(gè)簡單的網(wǎng)站,淘寶的整個(gè)結(jié)構(gòu)就是前端的一些頁面,加上后端的DB(DataBase,數(shù)據(jù)庫),只是個(gè)簡單的OLTP系統(tǒng),主要就是交易的事務(wù)處理。

這個(gè)階段,互聯(lián)網(wǎng)黃頁才剛剛出現(xiàn),數(shù)據(jù)來源大部分還是傳統(tǒng)商業(yè)的ERP/CRM的結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)量并不大,也就是GB的級別。簡單的DB就能滿足需求。

這里要說明的是,OLTP的交易場景和OLAP的分析場景區(qū)別在于,前者強(qiáng)調(diào)高并發(fā)、單條數(shù)據(jù)簡單提取和展示(增刪改查),后者對并發(fā)的要求不高,但是需要打通不同的數(shù)據(jù)庫,比如ERP、CRM、行為數(shù)據(jù)等等,并且能夠進(jìn)行批量的數(shù)據(jù)處理,也就是通常說的低并發(fā),大批量(批處理)、面向分析(query+計(jì)算,用于制作報(bào)表)。

隨著淘寶用戶超過100萬,分析需求的比重就越來越大。淘寶需要知道它的交易來自于哪些地區(qū),來自于哪些人,誰在買淘寶的東西等等,于是,就進(jìn)入了數(shù)據(jù)處理的第二個(gè)階段。

第二個(gè)階段是數(shù)據(jù)倉庫階段。

正如前文所述,OLTP和OLAP對數(shù)據(jù)存儲和計(jì)算的需求非常不一樣,前者處理的是結(jié)構(gòu)化的交易數(shù)據(jù),而OLAP對應(yīng)的是互聯(lián)網(wǎng)數(shù)據(jù),而互聯(lián)網(wǎng)里面數(shù)據(jù)量最大的是網(wǎng)頁日志,90%以上的數(shù)據(jù)都是點(diǎn)擊(log)什么的非結(jié)構(gòu)化的數(shù)據(jù),而且數(shù)據(jù)量已經(jīng)達(dá)到了TB的級別。

針對分析需求,就誕生了數(shù)據(jù)倉庫(DW,DataWarehouse),我2004年加入阿里,用Oracle RAC搭建了阿里巴巴第一個(gè)DW,解決大量數(shù)據(jù)的存儲和計(jì)算需求,也就是去把非結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù),存儲下來。

這個(gè)階段,DW支持的主要就是BI和報(bào)表需求。

順帶提一下,數(shù)據(jù)庫(DB)這時(shí)也在從傳統(tǒng)DB轉(zhuǎn)向分布式DB。主要原因是以前交易穩(wěn)定,并發(fā)可控,傳統(tǒng)DB能滿足需求,但是后來隨著交易量的增長,并發(fā)越來越不可控,對分布式DB的需求也就出來了。

隨著數(shù)據(jù)量越來越大,從TB進(jìn)入了PB級別,原來的技術(shù)架構(gòu)越來越不能支持海量數(shù)據(jù)處理,這時(shí)候就進(jìn)入了第三個(gè)階段。

第三個(gè)階段是數(shù)據(jù)平臺階段,這個(gè)階段解決的還是BI和報(bào)表需求,但是主要是在解決底層的技術(shù)問題,也就是數(shù)據(jù)庫架構(gòu)設(shè)計(jì)的問題。

這在數(shù)據(jù)庫技術(shù)領(lǐng)域被概括為「Shared Everything、Shared Nothing、或Shared Disk」,說的就是數(shù)據(jù)庫架構(gòu)設(shè)計(jì)本身的不同技術(shù)思路之爭。

Shared Everything一般是針對單個(gè)主機(jī),完全透明共享CPU/MEMORY/IO,并行處理能力是最差的,典型的代表SQLServer。

Shared Disk的代表是Oracle RAC,用戶訪問RAC就像訪問一個(gè)數(shù)據(jù)庫,但是這背后是一個(gè)集群,RAC來保證這個(gè)集群的數(shù)據(jù)一致性。

問題在于,Oracle RAC是基于IOE架構(gòu)的,所有數(shù)據(jù)用同一個(gè)EMC存儲。在海量數(shù)據(jù)處理上,IOE架構(gòu)有天然的限制,不適合未來的發(fā)展。阿里巴巴的第一個(gè)數(shù)據(jù)倉庫就是建立在Oracle RAC上,由于數(shù)據(jù)量增長太快,所以很快就到達(dá)20個(gè)節(jié)點(diǎn),當(dāng)時(shí)是全亞洲最大的Oracle RAC集群,但阿里巴巴早年算過一筆賬,如果仍然沿用IOE架構(gòu),那么幾年后,阿里的預(yù)計(jì)營收還遠(yuǎn)遠(yuǎn)趕不上服務(wù)器的支出費(fèi)用,就是說,如果不去IOE,阿里會(huì)破產(chǎn)。

Shared Nothing的代表就是Hadoop。Hadoop的各個(gè)處理單元都有自己私有的存儲單元和處理單元,

各處理單元之間通過協(xié)議通信,并行處理和擴(kuò)展能力更好。中間有一個(gè)分布式調(diào)度系統(tǒng),會(huì)把表從物理存儲上水平分割,分配給多臺服務(wù)器。

Hadoop的好處是要增加數(shù)據(jù)處理的能力和容量,只需要增加服務(wù)器就好,成本不高,在海量數(shù)據(jù)處理和大規(guī)模并行處理上有很大優(yōu)勢。

綜上,用一個(gè)關(guān)鍵詞來概括第三階段就是「去IOE」,建立Shared Nothing的海量數(shù)據(jù)處理平臺來解決數(shù)據(jù)存儲成本增長過快的問題。在阿里巴巴,前期是Hadoop,后期轉(zhuǎn)向自研的ODPS。

第四階段是數(shù)據(jù)中臺階段。

這個(gè)階段的特征是數(shù)據(jù)量的指數(shù)級增長,從PB邁向了EB級別,未來會(huì)到什么量級,我也說不清楚。

主要是因?yàn)?2015年之后,IOT(物聯(lián)網(wǎng))發(fā)展起來,帶動(dòng)了視圖聲(視頻、圖像、聲音)數(shù)據(jù)的增長,未來90%的數(shù)據(jù)可能都來自于視圖聲的非結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)需要視覺計(jì)算技術(shù)、圖像解析的引擎+視頻解析的引擎+音頻解析的引擎來轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)。5G技術(shù)的發(fā)展,可能會(huì)進(jìn)一步放大視圖聲數(shù)據(jù)的重要性。

線下要想和線上一樣,通過數(shù)據(jù)來改善業(yè)務(wù),就要和線上一樣能做到行為可監(jiān)測,數(shù)據(jù)可收集,這是前提。線下最大量的就是視圖聲數(shù)據(jù),而這些數(shù)據(jù)靠人來手工收集,肯定是不靠譜的,依靠IOT技術(shù)和算法的進(jìn)步,最終會(huì)通過智能端來自動(dòng)化獲取數(shù)據(jù)。

要使用這些數(shù)據(jù),光有視覺算法和智能端也不行,要有云來存儲和處理這些數(shù)據(jù),以及打通其他領(lǐng)域的數(shù)據(jù)。

另一方面,從業(yè)務(wù)來看,數(shù)據(jù)也好,數(shù)據(jù)分析也好,最終都是要為業(yè)務(wù)服務(wù)的。也就是說,要在系統(tǒng)層面能把OLAP和OLTP去做對接,這個(gè)對接不能靠人來完成,要靠智能算法。

目前的數(shù)據(jù)中臺,最底下的數(shù)據(jù)平臺還是偏技術(shù)的,是中臺技術(shù)方案的其中一個(gè)組件,主要解決數(shù)據(jù)存儲和計(jì)算的問題;在上面就是一層數(shù)據(jù)服務(wù)層,數(shù)據(jù)服務(wù)層通過服務(wù)化API能夠把數(shù)據(jù)平臺和前臺的業(yè)務(wù)層對接;數(shù)據(jù)中臺里面就沒有人的事情,直接系統(tǒng)去做對接,通過智能算法,能把前臺的分析需求和交易需求去做對接,最終賦能業(yè)務(wù)。

綜合上述兩個(gè)方面,我認(rèn)為未來要做好數(shù)據(jù)中臺,只做云或者只做端都不靠譜,需要把兩者合起來做。智能端負(fù)責(zé)數(shù)據(jù)的收集,云負(fù)責(zé)數(shù)據(jù)的存儲、計(jì)算、賦能。端能夠豐富云,云能夠賦能端。

未來的數(shù)據(jù)中臺,一定是「AI驅(qū)動(dòng)的數(shù)據(jù)中臺」,這個(gè)中臺包括「計(jì)算平臺+算法模型+智能硬件」,不僅要在端上具備視覺數(shù)據(jù)的收集和分析能力,而且還要能通過Face ID,幫助企業(yè)去打通業(yè)務(wù)數(shù)據(jù),最終建立線上線下觸達(dá)和服務(wù)消費(fèi)者的能力。

真正做到「一切業(yè)務(wù)數(shù)據(jù)化,一切數(shù)據(jù)業(yè)務(wù)化」。

數(shù)據(jù)中臺需要具備三大能力

那么,數(shù)據(jù)中臺是怎么來賦能業(yè)務(wù)使用數(shù)據(jù)的呢?這里舉一個(gè)TCIF的例子。

現(xiàn)在大家可能都認(rèn)識到了統(tǒng)一消費(fèi)者數(shù)據(jù)的必要性,但是在幾年前,哪怕是在阿里巴巴,消費(fèi)者的信息也分散在各個(gè)業(yè)務(wù)中,碎片化、散點(diǎn)化,而業(yè)務(wù)當(dāng)時(shí)需要把這些分散的人的數(shù)據(jù)集中起來,進(jìn)行人群畫像。道理很明白,人群畫像越清晰,服務(wù)就會(huì)越精準(zhǔn)。

怎么統(tǒng)一消費(fèi)者數(shù)據(jù)?

首先,定義埋點(diǎn)規(guī)范,同一個(gè)人就用同一個(gè)標(biāo)識,ID打通,也就是所謂的One ID;

其次,還會(huì)碰上一家人使用一個(gè)登錄帳號的問題,那么就需要建立同人的數(shù)據(jù)模型,通過一些方式,比如,IP網(wǎng)段是不是一樣,來分辨出具體的那個(gè)人,建立AID(Alibaba ID);

再次,每個(gè)人還有各種網(wǎng)絡(luò)行為,要如何把這些行為結(jié)構(gòu)化,裝到各種框架里面?這個(gè)特別難,我們當(dāng)時(shí)主要是跟人類學(xué)家合作,一起把行為的分類樹做出來。這個(gè)分類樹非常細(xì),甚至能夠把一個(gè)人的發(fā)質(zhì)都結(jié)構(gòu)化了。

最后,就需要通過算法模型,把所有的標(biāo)簽都貼回到人上面,當(dāng)時(shí)TCIF用上述方式生產(chǎn)出了3000多個(gè)消費(fèi)者標(biāo)簽。

這些標(biāo)簽被阿里巴巴的其他產(chǎn)品所使用,比如阿里媽媽的達(dá)摩盤就把這些標(biāo)簽提供給廣告主,讓廣告主能夠通過標(biāo)簽去建立人群畫像,進(jìn)行人群細(xì)分,以及建立投放用的人群包。

從TCIF的例子來看,數(shù)據(jù)中臺未來一定需要具備三種能力。

第一是數(shù)據(jù)模型能力。

在業(yè)務(wù)層面,業(yè)務(wù)抽象能夠解決80%的共性問題,開放的系統(tǒng)架構(gòu)來解決20%的個(gè)性問題,但同時(shí)又要把平臺上的業(yè)務(wù)邏輯分開,因?yàn)椴煌臉I(yè)務(wù)邏輯之間可能有沖突。

這在數(shù)據(jù)中臺就表現(xiàn)為數(shù)據(jù)的中心化,也就是數(shù)據(jù)的高內(nèi)聚、低耦合,需要對共性問題抽象出業(yè)務(wù)的規(guī)則,建立數(shù)據(jù)模型,一個(gè)好的內(nèi)聚模塊能夠解決一個(gè)事情,同時(shí)又要降低模塊和模塊之間的耦合度,讓模塊具有良好的可讀性和可維護(hù)性。

這里的前提是要有真正懂業(yè)務(wù)能沉淀經(jīng)驗(yàn)的人,以及要在企業(yè)層面開展數(shù)據(jù)治理,讓數(shù)據(jù)能夠準(zhǔn)確、適度共享、安全地被使用。

第二是AI算法模型能力。

要實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)化,前提是做到數(shù)據(jù)的資產(chǎn)化。要能夠從數(shù)據(jù)原油里面,去提煉出可以使用的汽油。

比如說數(shù)據(jù)的標(biāo)簽化,背后就有投入產(chǎn)出比的考量:通過標(biāo)簽,廣告主可以非常方便快捷地去建立自己的人群包,實(shí)現(xiàn)精準(zhǔn)營銷,同時(shí)投放的ROI也是可見的、透明的,廣告主可以自己去評估數(shù)據(jù)資產(chǎn)的使用情況。

第三是行業(yè)的應(yīng)用能力,也就是我們通常說的數(shù)據(jù)業(yè)務(wù)化能力。

和數(shù)據(jù)中心化類似,數(shù)據(jù)業(yè)務(wù)化也需要很強(qiáng)的行業(yè)經(jīng)驗(yàn)來指導(dǎo),建立合適的業(yè)務(wù)場景,在場景里面去使用數(shù)據(jù),從而體現(xiàn)數(shù)據(jù)的價(jià)值,來大大擴(kuò)展數(shù)據(jù)在行業(yè)中的應(yīng)用能力。

在奇點(diǎn)云和某酒類客戶的合作過程中,我們最大的收獲不是幫助客戶完成了數(shù)據(jù)中臺的搭建,而是通過理解客戶的業(yè)務(wù),把其經(jīng)驗(yàn)沉淀到數(shù)據(jù)中臺,從而賦能客戶更多的端上的創(chuàng)新業(yè)務(wù),帶來了生意的增量。

最后總結(jié)一下,未來的數(shù)據(jù)中臺最重要的不單是數(shù)據(jù)的存儲和計(jì)算能力,而是要能從「存、通、用」的角度和業(yè)務(wù)結(jié)合,幫助企業(yè)從數(shù)據(jù)中獲取價(jià)值,沉淀數(shù)據(jù)資產(chǎn),最終用數(shù)據(jù)賺錢。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。