“數(shù)字化時代，所有行業(yè)都值得重新做一遍。”深以為然。
數(shù)智化洶涌而來，前驅(qū)者已初嘗甜頭：據(jù)《福布斯》披露，《財富》500強公司數(shù)據(jù)可訪問性增加10%，便可帶來6,500萬美元的額外凈收入——“依靠智能算法及敏捷數(shù)據(jù)準備在數(shù)據(jù)海洋中提煉‘石油’，讓決策更科學(xué)”已成為眾多企業(yè)的共識。
但數(shù)據(jù)如水，唯有流動和使用起來，方能釋放出巨大價值，否則就容易形成無數(shù)個數(shù)據(jù)沼澤，令企業(yè)深陷其中。
過去十余年里，各大廠商紛紛入局，新概念層出不窮，從大數(shù)據(jù)系統(tǒng)、數(shù)據(jù)湖，到數(shù)據(jù)中臺，再到近年來熱度極高的湖倉一體、智能湖倉，無不是希望幫助企業(yè)/組織實現(xiàn)“數(shù)據(jù)驅(qū)動”，最大化釋放數(shù)據(jù)的價值，滿足“用上數(shù)據(jù)和用好數(shù)據(jù)”的核心需求。
在近六年間，數(shù)據(jù)中臺的成效尤為矚目。但從去年起，業(yè)界突然掀起一股“拆中臺”熱，成也蕭何敗也蕭何，很多當(dāng)初追隨“中臺戰(zhàn)略”的企業(yè)陷入迷茫：“大中臺、小前臺”，這難道從一開始就是個錯誤嗎？
近日，國內(nèi)數(shù)據(jù)智能新銳廠商Aloudata CTO周泉接受了大數(shù)據(jù)在線的采訪，暢談了數(shù)據(jù)中臺和數(shù)據(jù)管理的未來。他曾擔(dān)任螞蟻集團數(shù)據(jù)平臺全域架構(gòu)師，并帶領(lǐng)團隊建立起了螞蟻集團智能數(shù)據(jù)治理體系，構(gòu)建起新一代金融級智能數(shù)據(jù)平臺。
當(dāng)初的行業(yè)標(biāo)配，爆火過后還剩什么
2015年，業(yè)界首次提出“大中臺、小前臺”戰(zhàn)略，是想打造統(tǒng)一技術(shù)架構(gòu)、產(chǎn)品支撐體系、數(shù)據(jù)共享平臺、安全體系等等，把整個組織“橫”過來，支撐上面多種多樣的業(yè)務(wù)形態(tài)。
推行6年多以后，中臺似乎已經(jīng)成為行業(yè)標(biāo)配，稍有規(guī)模的公司都建設(shè)了自己的中臺。數(shù)據(jù)中臺前幾年也的確有力地支撐了業(yè)務(wù)的發(fā)展，成效可謂有目共睹。
但在過去兩年間，數(shù)據(jù)中臺卻由大廠熱捧的對象開始變得備受質(zhì)疑，遭遇了過山車般的待遇。一些數(shù)據(jù)中臺建設(shè)案例也表明，數(shù)據(jù)中臺投入資源大、啟動成本高，雖然保障了數(shù)據(jù)供給的一致性和質(zhì)量，但其遲緩的業(yè)務(wù)需求響應(yīng)速度，讓業(yè)務(wù)一線飽受數(shù)據(jù)饑渴之苦。
電商的數(shù)據(jù)中臺架構(gòu)圖
“數(shù)據(jù)中臺方法的本質(zhì)思想是通過對數(shù)據(jù)進行集中式建設(shè)、集中式管理和集中式服務(wù)，以提供單一事實來源的數(shù)據(jù)（single source of truth）。這就決定了數(shù)據(jù)中臺只有在數(shù)據(jù)需求較為固定、用數(shù)人群比較集中、決策頻率相對較低的情況下才是有效的。”周泉繼續(xù)解釋道，“然而，在企業(yè)寄希望于通過‘?dāng)?shù)據(jù)驅(qū)動創(chuàng)新’探索第二增長曲線的今天，伴隨企業(yè)數(shù)據(jù)需求日趨復(fù)雜、用數(shù)人群占比越來越大，決策頻率越來越高，業(yè)務(wù)對用數(shù)的敏捷性和靈活性要求越來越高，數(shù)據(jù)中臺這種集中的數(shù)據(jù)管理方式無法實現(xiàn)數(shù)據(jù)的敏捷性和靈活性。”
不是中臺不行了，是場景變了
做薄，研發(fā)效能上不去，做厚，創(chuàng)新效率會下降，中臺的基因注定了它今天的左右為難。
顛覆式創(chuàng)新是企業(yè)提升生存質(zhì)量和市場競爭力的必殺技；對創(chuàng)新的深度和速度的追求必然帶來企業(yè)業(yè)務(wù)規(guī)模和復(fù)雜性的不斷攀升，在周泉看來，這些都決定了在數(shù)據(jù)管理與使用層面，一家“數(shù)據(jù)驅(qū)動型”企業(yè)未來必定會走向平臺化。
每個員工都用數(shù)據(jù)的時候，想統(tǒng)一數(shù)據(jù)管理和建設(shè)很難。首先，這種方式不具備敏捷性；其次，落地難度很大，一旦進入到數(shù)據(jù)化運營和數(shù)據(jù)智能階段，數(shù)據(jù)使用權(quán)和建設(shè)權(quán)的去中心化是必然，依賴文化、組織、平臺三位一體的數(shù)據(jù)中臺就比較難走下去。
我們不難發(fā)現(xiàn)，隨著數(shù)字化轉(zhuǎn)型的日趨深入，數(shù)據(jù)來源、數(shù)據(jù)類型也比以往更加豐富了，例如，過去大部分用戶都是以ERP、CRM等結(jié)構(gòu)化數(shù)據(jù)為主，現(xiàn)在則是包羅萬象，行為數(shù)據(jù)、日志數(shù)據(jù)等成為數(shù)據(jù)增長的主力，PB級數(shù)據(jù)量更是成為用戶的一種新常態(tài)。此外，復(fù)雜多樣的業(yè)務(wù)需要大規(guī)模、深層次地應(yīng)用數(shù)據(jù)，也進一步推動場景豐富化和需求復(fù)雜化。
以某金融科技巨頭為例，其業(yè)務(wù)數(shù)字化升級歷程中曾經(jīng)歷不少“蜿蜒崎嶇”：隨著業(yè)務(wù)數(shù)字化運營不斷深入，數(shù)十倍的用數(shù)人群、數(shù)百倍的數(shù)據(jù)規(guī)模增長和復(fù)雜多變的數(shù)字化營銷活動，帶來了效率、性能、風(fēng)險、成本、安全、用戶隱私保護等諸多問題。
這意味著企業(yè)在享受數(shù)據(jù)所帶來的巨大收益的同時，也在疲于應(yīng)對急劇攀升的綜合管理成本。2018年，在十億級用戶量，萬級員工數(shù)的規(guī)模下，集團本身的數(shù)據(jù)存儲規(guī)模年均增長率高達60%——集中式的數(shù)據(jù)研發(fā)與供給跟不上多變的業(yè)務(wù)需求節(jié)奏，而業(yè)務(wù)自助用數(shù)又得不到有序引導(dǎo)，導(dǎo)致數(shù)據(jù)無序增長嚴重、數(shù)據(jù)故障頻發(fā)，數(shù)據(jù)供給側(cè)挑戰(zhàn)愈發(fā)明顯。
可以預(yù)見的是，在全球數(shù)字化升級進程不斷加速的今天，越來越多企業(yè)將會面臨同樣的困境。未來，用戶對于敏捷性的訴求將會愈發(fā)強烈，僅僅依靠人工將寸步難行。企業(yè)迫切需要基于新思維、新方法、新技術(shù)所構(gòu)建的下一代數(shù)據(jù)平臺。
數(shù)據(jù)管理的未來，Data Fabric了解一下
“數(shù)據(jù)技術(shù)演進有兩個最核心的目標(biāo)：一是用更多、更快和更鮮活的數(shù)據(jù)來幫助業(yè)務(wù)做出好決策；二是管理好數(shù)據(jù)，降低數(shù)據(jù)帶來的風(fēng)險和成本。自助、開放、自動化的NoETL湖倉平臺即代表了下一代數(shù)據(jù)平臺的趨勢?！敝苋硎?。
事實上，周泉所提到的NoETL湖倉平臺正是海外大受追捧的Data Fabric理念在國內(nèi)的首次系統(tǒng)落地實踐。
在全球著名咨詢機構(gòu)Gartner發(fā)布的2022年頂級戰(zhàn)略技術(shù)趨勢中，Data Fabric不僅首先被提及，甚至被定義為“數(shù)據(jù)管理的未來”。
作為新興的熱門市場，Data Fabric自誕生之日起就備受關(guān)注，全球最大的信息技術(shù)和業(yè)務(wù)解決方案公司IBM、數(shù)據(jù)集成領(lǐng)域領(lǐng)導(dǎo)者Talend、集成分析領(lǐng)域領(lǐng)導(dǎo)者TIBCO、元數(shù)據(jù)管理領(lǐng)導(dǎo)者Alation等全球各數(shù)據(jù)領(lǐng)域頭部廠商都給出了對應(yīng)的能力要求和解決方案。
Data Fabric的終極目標(biāo)是為數(shù)據(jù)集成和訪問提供一種更靈活、更無縫、更自動化的方法，讓任何人在任何時間都能夠使用組織內(nèi)的任何數(shù)據(jù)，并且通過主動、智能、持續(xù)的數(shù)據(jù)治理讓數(shù)據(jù)架構(gòu)持續(xù)健康。
之所以能夠成為應(yīng)對數(shù)據(jù)類型多樣化以及數(shù)據(jù)量激增的最佳解決方案，在于Data Fabric在架構(gòu)思路方面的三大核心變化：
連接數(shù)據(jù)，而非集中數(shù)據(jù)：Data Fabric的關(guān)鍵原則之一是數(shù)據(jù)集成方法的靈活性，即系統(tǒng)根據(jù)場景的性質(zhì)和需求為用戶自動匹配最佳的集成策略和數(shù)據(jù)技術(shù)，無需用戶人工搭建數(shù)據(jù)管道及選型計算存儲方案自助服務(wù)，而非專家服務(wù)：Data Fabric致力于實現(xiàn)數(shù)據(jù)民主化，允許業(yè)務(wù)用戶輕松發(fā)現(xiàn)并使用數(shù)據(jù)資產(chǎn)，從而實現(xiàn)敏捷的數(shù)據(jù)交付。在現(xiàn)有集中式的數(shù)據(jù)供給模式下，數(shù)據(jù)工程團隊成為影響數(shù)據(jù)化運營效率的最大瓶頸，唯有讓分析師和業(yè)務(wù)人員“自服務(wù)”才有可能將生產(chǎn)力解放出來，滿足業(yè)務(wù)旺盛的數(shù)據(jù)化運營需求。主動智能，而非被動人工：傳統(tǒng)數(shù)據(jù)治理往往在問題發(fā)生后才開始啟動，且需要自頂向下通過運動式人工治理來推動，這種方式難以持續(xù)且越來越無法應(yīng)對快速膨脹、錯綜復(fù)雜的數(shù)據(jù)依賴網(wǎng)絡(luò)。而Data Fabric則認為數(shù)據(jù)治理應(yīng)更加主動和智能，通過主動元數(shù)據(jù)構(gòu)建智能治理能力，并融入到數(shù)據(jù)全生命周期的每個環(huán)節(jié)里，實現(xiàn)主動、智能的數(shù)據(jù)治理。總而言之，Data Fabric強調(diào)分布式的數(shù)據(jù)管理，其核心思路是通過優(yōu)化跨源異構(gòu)數(shù)據(jù)的發(fā)現(xiàn)與訪問，將可信數(shù)據(jù)從所有相關(guān)數(shù)據(jù)源、以靈活且業(yè)務(wù)可理解的方式交付給所有相關(guān)數(shù)據(jù)消費者，讓數(shù)據(jù)消費者自助服務(wù)和高效協(xié)作，實現(xiàn)極致敏捷的數(shù)據(jù)交付；同時通過AI能力對數(shù)據(jù)進行語義探索、分析和使用推薦，從而從被動的數(shù)據(jù)管理策略轉(zhuǎn)變?yōu)橹鲃禹憫?yīng)性的數(shù)據(jù)管理策略，實現(xiàn)數(shù)據(jù)管理的智能駕駛。
基于此，Data Fabric能夠比傳統(tǒng)數(shù)據(jù)管理方法更快地適應(yīng)業(yè)務(wù)、更快地做出業(yè)務(wù)洞察、更有效地消除數(shù)據(jù)孤島、更高效地進行業(yè)務(wù)協(xié)作，以更低的成本釋放數(shù)據(jù)的最大價值——通過實施Data Fabric，企業(yè)不僅可以減少一半以上人力驅(qū)動的數(shù)據(jù)管理任務(wù)、70%的數(shù)據(jù)管理工作，讓數(shù)據(jù)質(zhì)量及運營成本降低65%；還能以8倍的速度、不到一半的成本，獲取數(shù)據(jù)和洞察——基于Data Fabric產(chǎn)生的數(shù)據(jù)洞察，可以使企業(yè)平均每年增長30%以上。（數(shù)據(jù)來源：Gartner）
“‘加速數(shù)據(jù)價值釋放、讓數(shù)據(jù)隨時就緒’是Data Fabric的核心目標(biāo)?！敝苋^續(xù)說，“也是下一代數(shù)據(jù)平臺NoETL湖倉平臺的使命?！?/p>
Aloudata,Data Fabric產(chǎn)品化先行者
近年來，在數(shù)據(jù)領(lǐng)域的創(chuàng)新技術(shù)公司不少，有些聚焦新型數(shù)據(jù)倉庫的打造，有些則試圖推動數(shù)據(jù)中臺的落地，更有甚者聚焦HTAP創(chuàng)新。在眾多技術(shù)公司中，Aloudata毫無疑問是一家值得持續(xù)關(guān)注的公司，它是中國技術(shù)公司中致力于全球頂級技術(shù)趨勢Data Fabric探索的典型代表，堪稱Data Fabric落地的排頭兵。
Aloudata之所以能夠走在行業(yè)前沿，在于其團隊、產(chǎn)品與技術(shù)、行業(yè)實踐等方面均處于業(yè)界領(lǐng)先。
在團隊層面，創(chuàng)始人周衛(wèi)林曾任螞蟻集團數(shù)據(jù)平臺部總經(jīng)理（P10）且擁有20年大數(shù)據(jù)領(lǐng)域工作經(jīng)驗，創(chuàng)始團隊也由原螞蟻集團數(shù)據(jù)平臺部核心成員組成：三位聯(lián)合創(chuàng)始人均是原螞蟻集團數(shù)據(jù)智能領(lǐng)域高級專家，主導(dǎo)了國內(nèi)最早一批數(shù)據(jù)工具產(chǎn)品建設(shè)和商業(yè)化，孵化出多個進入 Gartner、Forrester 領(lǐng)導(dǎo)者象限的阿里云拳頭產(chǎn)品；另有十余名在產(chǎn)品、技術(shù)、架構(gòu)、交付和商業(yè)化上擁有從0到1成功經(jīng)驗的原螞蟻/阿里集團P8及以上高級專家，著實是一支堪稱豪華的創(chuàng)業(yè)夢之隊。
在產(chǎn)品與技術(shù)層面，Aloudata已經(jīng)打造了由AIR自適應(yīng)彈性SQL引擎、BIG主動元數(shù)據(jù)管理平臺等產(chǎn)品組成的新一代NoETL 湖倉平臺，內(nèi)置增強數(shù)據(jù)目錄、語義知識圖譜、主動元數(shù)據(jù)、數(shù)據(jù)推薦引擎、數(shù)據(jù)虛擬化、數(shù)據(jù)編排和DataOps等Gartner定義的6大Data Fabric核心能力，在產(chǎn)品技術(shù)層開創(chuàng)了Data Fabric理念在國內(nèi)的最佳實踐：
Aloudata Data Fabric架構(gòu)圖
AIR Engine是全場景自適應(yīng)的彈性 SQL 引擎，實現(xiàn)了高性能聯(lián)邦查詢（比Presto高數(shù)倍）、自適應(yīng)查詢加速（最高可提速100倍）和數(shù)據(jù)虛擬化，無論數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫或者其他數(shù)據(jù)源，只要會寫SQL就可以自助探索全域數(shù)據(jù)，并且定義一致的數(shù)據(jù)視圖進行數(shù)據(jù)準備，實現(xiàn)敏捷數(shù)據(jù)洞察和高效一致的數(shù)據(jù)協(xié)作。BIG Engine是行為智能驅(qū)動的主動元數(shù)據(jù)平臺，也是實現(xiàn)Data Fabric架構(gòu)的基石，其提供的元數(shù)據(jù)語義圖譜、主動元數(shù)據(jù)和增強數(shù)據(jù)目錄等核心能力，讓每一個人都能快速發(fā)現(xiàn)和理解數(shù)據(jù)、幫助企業(yè)實現(xiàn)主動持續(xù)的數(shù)據(jù)治理。Aloudata落地某頭部股份制銀行
“我們和天使客戶的首輪合作效果顯著，目前已經(jīng)進入到了第二階段，很快我們將會看到新的升級效果。當(dāng)然，還有更多頭部客戶也已經(jīng)明確向我們表達了合作訴求?！敝苋嘎?，“AIR 及BIG 目前已在頭部金融企業(yè)得到了規(guī)?；纳a(chǎn)級應(yīng)用和效果驗證，下半年Aloudata計劃將推出公有云版本，并對 BIG 中最核心的主動元數(shù)據(jù)框架進行開源，深刻落地實踐Data Fabric，幫助更多企業(yè)實現(xiàn)‘讓數(shù)據(jù)隨時就緒’?！?/p>
免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
