當(dāng)初吃土建起來的“中臺”,現(xiàn)在為啥不香了?

“數(shù)字化時代,所有行業(yè)都值得重新做一遍?!鄙钜詾槿弧?/p>

數(shù)智化洶涌而來,前驅(qū)者已初嘗甜頭:據(jù)《福布斯》披露,《財富》500強(qiáng)公司數(shù)據(jù)可訪問性增加10%,便可帶來6,500萬美元的額外凈收入——“依靠智能算法及敏捷數(shù)據(jù)準(zhǔn)備在數(shù)據(jù)海洋中提煉‘石油’,讓決策更科學(xué)”已成為眾多企業(yè)的共識。

但數(shù)據(jù)如水,唯有流動和使用起來,方能釋放出巨大價值,否則就容易形成無數(shù)個數(shù)據(jù)沼澤,令企業(yè)深陷其中。

過去十余年里,各大廠商紛紛入局,新概念層出不窮,從大數(shù)據(jù)系統(tǒng)、數(shù)據(jù)湖,到數(shù)據(jù)中臺,再到近年來熱度極高的湖倉一體、智能湖倉,無不是希望幫助企業(yè)/組織實(shí)現(xiàn)“數(shù)據(jù)驅(qū)動”,最大化釋放數(shù)據(jù)的價值,滿足“用上數(shù)據(jù)和用好數(shù)據(jù)”的核心需求。

在近六年間,數(shù)據(jù)中臺的成效尤為矚目。但從去年起,業(yè)界突然掀起一股“拆中臺”熱,成也蕭何敗也蕭何,很多當(dāng)初追隨“中臺戰(zhàn)略”的企業(yè)陷入迷茫:“大中臺、小前臺”,這難道從一開始就是個錯誤嗎?

近日,國內(nèi)數(shù)據(jù)智能新銳廠商Aloudata CTO周泉接受了大數(shù)據(jù)在線的采訪,暢談了數(shù)據(jù)中臺和數(shù)據(jù)管理的未來。他曾擔(dān)任螞蟻集團(tuán)數(shù)據(jù)平臺全域架構(gòu)師,并帶領(lǐng)團(tuán)隊建立起了螞蟻集團(tuán)智能數(shù)據(jù)治理體系,構(gòu)建起新一代金融級智能數(shù)據(jù)平臺。

當(dāng)初的行業(yè)標(biāo)配,爆火過后還剩什么

2015年,業(yè)界首次提出“大中臺、小前臺”戰(zhàn)略,是想打造統(tǒng)一技術(shù)架構(gòu)、產(chǎn)品支撐體系、數(shù)據(jù)共享平臺、安全體系等等,把整個組織“橫”過來,支撐上面多種多樣的業(yè)務(wù)形態(tài)。

推行6年多以后,中臺似乎已經(jīng)成為行業(yè)標(biāo)配,稍有規(guī)模的公司都建設(shè)了自己的中臺。數(shù)據(jù)中臺前幾年也的確有力地支撐了業(yè)務(wù)的發(fā)展,成效可謂有目共睹。

但在過去兩年間,數(shù)據(jù)中臺卻由大廠熱捧的對象開始變得備受質(zhì)疑,遭遇了過山車般的待遇。一些數(shù)據(jù)中臺建設(shè)案例也表明,數(shù)據(jù)中臺投入資源大、啟動成本高,雖然保障了數(shù)據(jù)供給的一致性和質(zhì)量,但其遲緩的業(yè)務(wù)需求響應(yīng)速度,讓業(yè)務(wù)一線飽受數(shù)據(jù)饑渴之苦。

電商的數(shù)據(jù)中臺架構(gòu)圖

“數(shù)據(jù)中臺方法的本質(zhì)思想是通過對數(shù)據(jù)進(jìn)行集中式建設(shè)、集中式管理和集中式服務(wù),以提供單一事實(shí)來源的數(shù)據(jù)(single source of truth)。這就決定了數(shù)據(jù)中臺只有在數(shù)據(jù)需求較為固定、用數(shù)人群比較集中、決策頻率相對較低的情況下才是有效的。”周泉繼續(xù)解釋道,“然而,在企業(yè)寄希望于通過‘?dāng)?shù)據(jù)驅(qū)動創(chuàng)新’探索第二增長曲線的今天,伴隨企業(yè)數(shù)據(jù)需求日趨復(fù)雜、用數(shù)人群占比越來越大,決策頻率越來越高,業(yè)務(wù)對用數(shù)的敏捷性和靈活性要求越來越高,數(shù)據(jù)中臺這種集中的數(shù)據(jù)管理方式無法實(shí)現(xiàn)數(shù)據(jù)的敏捷性和靈活性?!?/p>

不是中臺不行了,是場景變了

做薄,研發(fā)效能上不去,做厚,創(chuàng)新效率會下降,中臺的基因注定了它今天的左右為難。

顛覆式創(chuàng)新是企業(yè)提升生存質(zhì)量和市場競爭力的必殺技;對創(chuàng)新的深度和速度的追求必然帶來企業(yè)業(yè)務(wù)規(guī)模和復(fù)雜性的不斷攀升,在周泉看來,這些都決定了在數(shù)據(jù)管理與使用層面,一家“數(shù)據(jù)驅(qū)動型”企業(yè)未來必定會走向平臺化。

每個員工都用數(shù)據(jù)的時候,想統(tǒng)一數(shù)據(jù)管理和建設(shè)很難。首先,這種方式不具備敏捷性;其次,落地難度很大,一旦進(jìn)入到數(shù)據(jù)化運(yùn)營和數(shù)據(jù)智能階段,數(shù)據(jù)使用權(quán)和建設(shè)權(quán)的去中心化是必然,依賴文化、組織、平臺三位一體的數(shù)據(jù)中臺就比較難走下去。

我們不難發(fā)現(xiàn),隨著數(shù)字化轉(zhuǎn)型的日趨深入,數(shù)據(jù)來源、數(shù)據(jù)類型也比以往更加豐富了,例如,過去大部分用戶都是以ERP、CRM等結(jié)構(gòu)化數(shù)據(jù)為主,現(xiàn)在則是包羅萬象,行為數(shù)據(jù)、日志數(shù)據(jù)等成為數(shù)據(jù)增長的主力,PB級數(shù)據(jù)量更是成為用戶的一種新常態(tài)。此外,復(fù)雜多樣的業(yè)務(wù)需要大規(guī)模、深層次地應(yīng)用數(shù)據(jù),也進(jìn)一步推動場景豐富化和需求復(fù)雜化。

以某金融科技巨頭為例,其業(yè)務(wù)數(shù)字化升級歷程中曾經(jīng)歷不少“蜿蜒崎嶇”:隨著業(yè)務(wù)數(shù)字化運(yùn)營不斷深入,數(shù)十倍的用數(shù)人群、數(shù)百倍的數(shù)據(jù)規(guī)模增長和復(fù)雜多變的數(shù)字化營銷活動,帶來了效率、性能、風(fēng)險、成本、安全、用戶隱私保護(hù)等諸多問題。

這意味著企業(yè)在享受數(shù)據(jù)所帶來的巨大收益的同時,也在疲于應(yīng)對急劇攀升的綜合管理成本。2018年,在十億級用戶量,萬級員工數(shù)的規(guī)模下,集團(tuán)本身的數(shù)據(jù)存儲規(guī)模年均增長率高達(dá)60%——集中式的數(shù)據(jù)研發(fā)與供給跟不上多變的業(yè)務(wù)需求節(jié)奏,而業(yè)務(wù)自助用數(shù)又得不到有序引導(dǎo),導(dǎo)致數(shù)據(jù)無序增長嚴(yán)重、數(shù)據(jù)故障頻發(fā),數(shù)據(jù)供給側(cè)挑戰(zhàn)愈發(fā)明顯。

可以預(yù)見的是,在全球數(shù)字化升級進(jìn)程不斷加速的今天,越來越多企業(yè)將會面臨同樣的困境。未來,用戶對于敏捷性的訴求將會愈發(fā)強(qiáng)烈,僅僅依靠人工將寸步難行。企業(yè)迫切需要基于新思維、新方法、新技術(shù)所構(gòu)建的下一代數(shù)據(jù)平臺。

數(shù)據(jù)管理的未來,Data Fabric了解一下

“數(shù)據(jù)技術(shù)演進(jìn)有兩個最核心的目標(biāo):一是用更多、更快和更鮮活的數(shù)據(jù)來幫助業(yè)務(wù)做出好決策;二是管理好數(shù)據(jù),降低數(shù)據(jù)帶來的風(fēng)險和成本。自助、開放、自動化的NoETL湖倉平臺即代表了下一代數(shù)據(jù)平臺的趨勢?!敝苋硎尽?/p>

事實(shí)上,周泉所提到的NoETL湖倉平臺正是海外大受追捧的Data Fabric理念在國內(nèi)的首次系統(tǒng)落地實(shí)踐。

在全球著名咨詢機(jī)構(gòu)Gartner發(fā)布的2022年頂級戰(zhàn)略技術(shù)趨勢中,Data Fabric不僅首先被提及,甚至被定義為“數(shù)據(jù)管理的未來”。

作為新興的熱門市場,Data Fabric自誕生之日起就備受關(guān)注,全球最大的信息技術(shù)和業(yè)務(wù)解決方案公司IBM、數(shù)據(jù)集成領(lǐng)域領(lǐng)導(dǎo)者Talend、集成分析領(lǐng)域領(lǐng)導(dǎo)者TIBCO、元數(shù)據(jù)管理領(lǐng)導(dǎo)者Alation等全球各數(shù)據(jù)領(lǐng)域頭部廠商都給出了對應(yīng)的能力要求和解決方案。

Data Fabric的終極目標(biāo)是為數(shù)據(jù)集成和訪問提供一種更靈活、更無縫、更自動化的方法,讓任何人在任何時間都能夠使用組織內(nèi)的任何數(shù)據(jù),并且通過主動、智能、持續(xù)的數(shù)據(jù)治理讓數(shù)據(jù)架構(gòu)持續(xù)健康。

之所以能夠成為應(yīng)對數(shù)據(jù)類型多樣化以及數(shù)據(jù)量激增的最佳解決方案,在于Data Fabric在架構(gòu)思路方面的三大核心變化:

連接數(shù)據(jù),而非集中數(shù)據(jù):Data Fabric的關(guān)鍵原則之一是數(shù)據(jù)集成方法的靈活性,即系統(tǒng)根據(jù)場景的性質(zhì)和需求為用戶自動匹配最佳的集成策略和數(shù)據(jù)技術(shù),無需用戶人工搭建數(shù)據(jù)管道及選型計算存儲方案自助服務(wù),而非專家服務(wù):Data Fabric致力于實(shí)現(xiàn)數(shù)據(jù)民主化,允許業(yè)務(wù)用戶輕松發(fā)現(xiàn)并使用數(shù)據(jù)資產(chǎn),從而實(shí)現(xiàn)敏捷的數(shù)據(jù)交付。在現(xiàn)有集中式的數(shù)據(jù)供給模式下,數(shù)據(jù)工程團(tuán)隊成為影響數(shù)據(jù)化運(yùn)營效率的最大瓶頸,唯有讓分析師和業(yè)務(wù)人員“自服務(wù)”才有可能將生產(chǎn)力解放出來,滿足業(yè)務(wù)旺盛的數(shù)據(jù)化運(yùn)營需求。主動智能,而非被動人工:傳統(tǒng)數(shù)據(jù)治理往往在問題發(fā)生后才開始啟動,且需要自頂向下通過運(yùn)動式人工治理來推動,這種方式難以持續(xù)且越來越無法應(yīng)對快速膨脹、錯綜復(fù)雜的數(shù)據(jù)依賴網(wǎng)絡(luò)。而Data Fabric則認(rèn)為數(shù)據(jù)治理應(yīng)更加主動和智能,通過主動元數(shù)據(jù)構(gòu)建智能治理能力,并融入到數(shù)據(jù)全生命周期的每個環(huán)節(jié)里,實(shí)現(xiàn)主動、智能的數(shù)據(jù)治理。

總而言之,Data Fabric強(qiáng)調(diào)分布式的數(shù)據(jù)管理,其核心思路是通過優(yōu)化跨源異構(gòu)數(shù)據(jù)的發(fā)現(xiàn)與訪問,將可信數(shù)據(jù)從所有相關(guān)數(shù)據(jù)源、以靈活且業(yè)務(wù)可理解的方式交付給所有相關(guān)數(shù)據(jù)消費(fèi)者,讓數(shù)據(jù)消費(fèi)者自助服務(wù)和高效協(xié)作,實(shí)現(xiàn)極致敏捷的數(shù)據(jù)交付;同時通過AI能力對數(shù)據(jù)進(jìn)行語義探索、分析和使用推薦,從而從被動的數(shù)據(jù)管理策略轉(zhuǎn)變?yōu)橹鲃禹憫?yīng)性的數(shù)據(jù)管理策略,實(shí)現(xiàn)數(shù)據(jù)管理的智能駕駛。

基于此,Data Fabric能夠比傳統(tǒng)數(shù)據(jù)管理方法更快地適應(yīng)業(yè)務(wù)、更快地做出業(yè)務(wù)洞察、更有效地消除數(shù)據(jù)孤島、更高效地進(jìn)行業(yè)務(wù)協(xié)作,以更低的成本釋放數(shù)據(jù)的最大價值——通過實(shí)施Data Fabric,企業(yè)不僅可以減少一半以上人力驅(qū)動的數(shù)據(jù)管理任務(wù)、70%的數(shù)據(jù)管理工作,讓數(shù)據(jù)質(zhì)量及運(yùn)營成本降低65%;還能以8倍的速度、不到一半的成本,獲取數(shù)據(jù)和洞察——基于Data Fabric產(chǎn)生的數(shù)據(jù)洞察,可以使企業(yè)平均每年增長30%以上。(數(shù)據(jù)來源:Gartner)

“‘加速數(shù)據(jù)價值釋放、讓數(shù)據(jù)隨時就緒’是Data Fabric的核心目標(biāo)?!敝苋^續(xù)說,“也是下一代數(shù)據(jù)平臺NoETL湖倉平臺的使命。”

Aloudata,Data Fabric產(chǎn)品化先行者

近年來,在數(shù)據(jù)領(lǐng)域的創(chuàng)新技術(shù)公司不少,有些聚焦新型數(shù)據(jù)倉庫的打造,有些則試圖推動數(shù)據(jù)中臺的落地,更有甚者聚焦HTAP創(chuàng)新。在眾多技術(shù)公司中,Aloudata毫無疑問是一家值得持續(xù)關(guān)注的公司,它是中國技術(shù)公司中致力于全球頂級技術(shù)趨勢Data Fabric探索的典型代表,堪稱Data Fabric落地的排頭兵。

Aloudata之所以能夠走在行業(yè)前沿,在于其團(tuán)隊、產(chǎn)品與技術(shù)、行業(yè)實(shí)踐等方面均處于業(yè)界領(lǐng)先。

在團(tuán)隊層面,創(chuàng)始人周衛(wèi)林曾任螞蟻集團(tuán)數(shù)據(jù)平臺部總經(jīng)理(P10)且擁有20年大數(shù)據(jù)領(lǐng)域工作經(jīng)驗(yàn),創(chuàng)始團(tuán)隊也由原螞蟻集團(tuán)數(shù)據(jù)平臺部核心成員組成:三位聯(lián)合創(chuàng)始人均是原螞蟻集團(tuán)數(shù)據(jù)智能領(lǐng)域高級專家,主導(dǎo)了國內(nèi)最早一批數(shù)據(jù)工具產(chǎn)品建設(shè)和商業(yè)化,孵化出多個進(jìn)入 Gartner、Forrester 領(lǐng)導(dǎo)者象限的阿里云拳頭產(chǎn)品;另有十余名在產(chǎn)品、技術(shù)、架構(gòu)、交付和商業(yè)化上擁有從0到1成功經(jīng)驗(yàn)的原螞蟻/阿里集團(tuán)P8及以上高級專家,著實(shí)是一支堪稱豪華的創(chuàng)業(yè)夢之隊。

在產(chǎn)品與技術(shù)層面,Aloudata已經(jīng)打造了由AIR自適應(yīng)彈性SQL引擎、BIG主動元數(shù)據(jù)管理平臺等產(chǎn)品組成的新一代NoETL 湖倉平臺,內(nèi)置增強(qiáng)數(shù)據(jù)目錄、語義知識圖譜、主動元數(shù)據(jù)、數(shù)據(jù)推薦引擎、數(shù)據(jù)虛擬化、數(shù)據(jù)編排和DataOps等Gartner定義的6大Data Fabric核心能力,在產(chǎn)品技術(shù)層開創(chuàng)了Data Fabric理念在國內(nèi)的最佳實(shí)踐:

Aloudata Data Fabric架構(gòu)圖

AIR Engine是全場景自適應(yīng)的彈性 SQL 引擎,實(shí)現(xiàn)了高性能聯(lián)邦查詢(比Presto高數(shù)倍)、自適應(yīng)查詢加速(最高可提速100倍)和數(shù)據(jù)虛擬化,無論數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫或者其他數(shù)據(jù)源,只要會寫SQL就可以自助探索全域數(shù)據(jù),并且定義一致的數(shù)據(jù)視圖進(jìn)行數(shù)據(jù)準(zhǔn)備,實(shí)現(xiàn)敏捷數(shù)據(jù)洞察和高效一致的數(shù)據(jù)協(xié)作。BIG Engine是行為智能驅(qū)動的主動元數(shù)據(jù)平臺,也是實(shí)現(xiàn)Data Fabric架構(gòu)的基石,其提供的元數(shù)據(jù)語義圖譜、主動元數(shù)據(jù)和增強(qiáng)數(shù)據(jù)目錄等核心能力,讓每一個人都能快速發(fā)現(xiàn)和理解數(shù)據(jù)、幫助企業(yè)實(shí)現(xiàn)主動持續(xù)的數(shù)據(jù)治理。

Aloudata落地某頭部股份制銀行

“我們和天使客戶的首輪合作效果顯著,目前已經(jīng)進(jìn)入到了第二階段,很快我們將會看到新的升級效果。當(dāng)然,還有更多頭部客戶也已經(jīng)明確向我們表達(dá)了合作訴求。”周泉透露,“AIR 及BIG 目前已在頭部金融企業(yè)得到了規(guī)模化的生產(chǎn)級應(yīng)用和效果驗(yàn)證,下半年Aloudata計劃將推出公有云版本,并對 BIG 中最核心的主動元數(shù)據(jù)框架進(jìn)行開源,深刻落地實(shí)踐Data Fabric,幫助更多企業(yè)實(shí)現(xiàn)‘讓數(shù)據(jù)隨時就緒’。”

免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2022-06-23
當(dāng)初吃土建起來的“中臺”,現(xiàn)在為啥不香了?
周泉透露,“AIR及BIG目前已在頭部金融企業(yè)得到了規(guī)?;纳a(chǎn)級應(yīng)用和效果驗(yàn)證,下半年Aloudata計劃將推出公有云版本,并對BIG中最核心的主動元數(shù)據(jù)框架進(jìn)行開源,深刻落地實(shí)踐Data

長按掃碼 閱讀全文