報告編委
李喆
愛分析合伙人&首席分析師
廖耘加
愛分析分析師
目錄
1.研究范圍定義
2. 市場洞察
3. 廠商全景地圖
4. 市場分析與廠商評估
5. 入選廠商列表1.研究范圍定義
研究范圍
在后疫情時代，以數(shù)據(jù)分析為代表的數(shù)據(jù)消費場景日益豐富，數(shù)據(jù)驅(qū)動業(yè)務(wù)增長成為市場共識，數(shù)據(jù)開發(fā)管理越來越受到企業(yè)決策者重視。
當(dāng)前，各類管理信息系統(tǒng)、協(xié)同辦公系統(tǒng)的應(yīng)用，物聯(lián)網(wǎng)和邊緣設(shè)備的普及，都讓企業(yè)端數(shù)據(jù)采集和分析的場景變得越來越多，數(shù)據(jù)驅(qū)動的場景從當(dāng)前集中在前端的營銷、銷售環(huán)節(jié)，正在向后端供應(yīng)鏈的全場景延伸，從與消費互聯(lián)網(wǎng)緊密相關(guān)的零售電商向金融、教育、醫(yī)療、工業(yè)等全行業(yè)覆蓋，數(shù)據(jù)消費場景的豐富和分析需求的快速增長導(dǎo)致數(shù)據(jù)應(yīng)用開發(fā)需求迅速增加。
金融、零售等行業(yè)頭部企業(yè)紛紛成立獨立的數(shù)據(jù)管理部門，在數(shù)據(jù)開發(fā)與管理方面的投入明顯增加。建設(shè)銀行、民生銀行、興業(yè)銀行等金融機構(gòu)通過新建數(shù)據(jù)管理部門來實施大數(shù)據(jù)戰(zhàn)略，快速釋放數(shù)據(jù)生產(chǎn)力，實現(xiàn)數(shù)據(jù)資產(chǎn)的集中管理，聚集數(shù)據(jù)人才，深度挖掘與共享數(shù)據(jù)資源，從而利用數(shù)據(jù)驅(qū)動全方位支持業(yè)務(wù)發(fā)展。
盡管對數(shù)據(jù)的需求和投入不斷增大，但在實際管理和應(yīng)用時企業(yè)仍面臨諸多挑戰(zhàn)：
企業(yè)內(nèi)部數(shù)據(jù)管理的協(xié)作成本越來越高。一方面，數(shù)據(jù)分析工具多元化導(dǎo)致數(shù)據(jù)用戶角色更復(fù)雜，企業(yè)內(nèi)現(xiàn)在設(shè)置了如數(shù)據(jù)工程師、數(shù)據(jù)管理員、報表開發(fā)人員、運維工程師等多個職位，反而容易造成職責(zé)邊界交叉模糊，協(xié)作困難。另一方面，IT部門、數(shù)據(jù)部門和業(yè)務(wù)部門之間難以建立起緊密的融合關(guān)系，數(shù)據(jù)部門相對弱勢，難以推動業(yè)務(wù)部門主動用數(shù)，整體數(shù)據(jù)應(yīng)用效率較低。
單個環(huán)節(jié)的自動化無法解決全局問題。盡管企業(yè)在數(shù)據(jù)開發(fā)、數(shù)據(jù)治理等單個環(huán)節(jié)采購了相關(guān)的工具或平臺，實現(xiàn)了局部的自動化，然而僅僅能解決表面問題，無法真正解決全局需求。難以建立覆蓋所有業(yè)務(wù)的規(guī)范統(tǒng)一、集成互聯(lián)的數(shù)據(jù)基礎(chǔ)，從根本上消除數(shù)據(jù)孤島，實現(xiàn)企業(yè)級數(shù)據(jù)集成整合、全面共享應(yīng)用，提升企業(yè)大數(shù)據(jù)能力。
數(shù)據(jù)應(yīng)用開發(fā)需求增長與數(shù)據(jù)用戶角色的復(fù)雜致使企業(yè)數(shù)據(jù)開發(fā)、數(shù)據(jù)運維工作量以及數(shù)據(jù)應(yīng)用交付協(xié)調(diào)難度大大增加。因此，企業(yè)需要一套全新解決方案，真正實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)增長。DataOps以其能服務(wù)于業(yè)務(wù)部門、大數(shù)據(jù)部門，提供敏態(tài)數(shù)據(jù)開發(fā)支持，優(yōu)化數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費者協(xié)作效率，成為解決以上問題的最佳方案。
在此背景下，為企業(yè)引入DataOps過程中提供全面的規(guī)劃、建設(shè)和產(chǎn)品選型參考，愛分析調(diào)研并撰寫了《2022年愛分析DataOps廠商全景報告》。
DataOps市場定義
圖 1：數(shù)據(jù)全生命周期
數(shù)據(jù)全生命周期包括三個階段：首先，由業(yè)務(wù)部門在業(yè)務(wù)運行過程中產(chǎn)生原始數(shù)據(jù);其次，大數(shù)據(jù)部門(IT部門)對原始數(shù)據(jù)進行數(shù)據(jù)加工;最后，加工后的數(shù)據(jù)再次回到業(yè)務(wù)部門完成數(shù)據(jù)消費。因此，在數(shù)據(jù)全生命周期中核心環(huán)節(jié)基本上由大數(shù)據(jù)部門(IT部門)完成。
大數(shù)據(jù)部門(IT部門)職責(zé)包括兩方面：1)數(shù)據(jù)資產(chǎn)統(tǒng)一管理;2)支持業(yè)務(wù)部門的敏穩(wěn)雙態(tài)數(shù)據(jù)消費需求。
DataOps核心是面向于大數(shù)據(jù)部門的第二項職責(zé)，既滿足業(yè)務(wù)部門穩(wěn)態(tài)的數(shù)據(jù)消費需求，如數(shù)據(jù)報表、數(shù)據(jù)可視化、自助式分析等;也要滿足業(yè)務(wù)部門敏態(tài)的數(shù)據(jù)消費需求，如機器學(xué)習(xí)建模、智能推薦等，敏態(tài)需求迭代速度更快，其中涉及到很多探索式需求。
DataOps市場定義：服務(wù)于業(yè)務(wù)部門(業(yè)務(wù)部門ITBP)和大數(shù)據(jù)部門，滿足敏穩(wěn)雙態(tài)數(shù)據(jù)消費需求，提升數(shù)據(jù)加工環(huán)節(jié)效率的咨詢、工具和服務(wù)。
圖 2：DataOps市場全景地圖
基于數(shù)據(jù)全生命周期三大階段，進一步將數(shù)據(jù)加工環(huán)節(jié)拆分為數(shù)據(jù)采集(數(shù)據(jù)同步)、數(shù)據(jù)開發(fā)、數(shù)據(jù)服務(wù)(數(shù)據(jù)虛擬化)和數(shù)據(jù)質(zhì)量提升;將數(shù)據(jù)消費環(huán)節(jié)拆分為數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用。并根據(jù)每一階段存在的業(yè)務(wù)需求，映射出對應(yīng)的細(xì)分市場。
本次報告，愛分析認(rèn)為DataOps全景圖主要覆蓋數(shù)據(jù)加工環(huán)節(jié)，具體來說，與數(shù)據(jù)采集、數(shù)據(jù)同步對應(yīng)的是“敏捷數(shù)據(jù)管道”市場;與數(shù)據(jù)開發(fā)對應(yīng)的是“一站式數(shù)據(jù)開發(fā)管理平臺”市場;與數(shù)據(jù)服務(wù)對應(yīng)的是“數(shù)據(jù)服務(wù)平臺”市場、“智能數(shù)據(jù)資產(chǎn)目錄”市場和“指標(biāo)中臺”市場;與數(shù)據(jù)質(zhì)量提升對應(yīng)的是“數(shù)據(jù)可觀測性平臺”市場和“數(shù)據(jù)治理”市場。
愛分析認(rèn)為，甲方企業(yè)真正要實現(xiàn)DataOps，必須具備完整的數(shù)據(jù)能力，建設(shè)一整套面向業(yè)務(wù)需求的數(shù)據(jù)開發(fā)管理機制，僅僅具備單點能力是遠(yuǎn)遠(yuǎn)不夠的。因此，上述對DataOps市場劃分，主要是考慮到市場發(fā)展現(xiàn)狀、甲方企業(yè)建設(shè)進展和廠商能力，并不意味著具備單點能力就可以實現(xiàn)DataOps。
愛分析綜合考慮市場關(guān)注度、甲方需求和實際落地進展等因素，選取以下3個特定市場進行重點分析，分別是“一站式數(shù)據(jù)開發(fā)管理平臺”、“敏捷數(shù)據(jù)管道”和“智能數(shù)據(jù)資產(chǎn)目錄”。
本報告面向金融、制造、汽車、消費品零售、能源等行業(yè)的大數(shù)據(jù)部門負(fù)責(zé)人、IT部門負(fù)責(zé)人和業(yè)務(wù)部門(業(yè)務(wù)部門ITBP)，通過對各特定市場的需求定義和代表廠商能力解讀，為企業(yè)數(shù)字化轉(zhuǎn)型規(guī)劃與廠商選型提供參考。
廠商入選標(biāo)準(zhǔn)
本次入選報告的廠商需同時符合以下條件：
廠商的產(chǎn)品服務(wù)滿足各市場分析的廠商能力要求;
廠商具備一定數(shù)量以上的付費客戶(參考第4章各市場分析部分);
廠商在特定市場的營業(yè)收入達(dá)到指標(biāo)要求(參考第4章各市場分析部分)。 2. 市場洞察
1.DataOps市場規(guī)模超180億元
愛分析推算，2022年中國DataOps市場規(guī)模為185.1億元人民幣，同比增速為13.0%?？紤]到大部分DataOps項目甲方還是大型企業(yè)，立項和交付受疫情影響很大，2022年增速較2021年明顯放緩，但預(yù)計2023年會40%以上的增速，市場進入快速發(fā)展階段。
圖 3：中國DataOps市場規(guī)模預(yù)測
DataOps市場由軟件產(chǎn)品和服務(wù)組成，現(xiàn)階段整個市場并未形成統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，絕大多數(shù)DataOps項目都是基于甲方企業(yè)自身需求進行落地，因此，軟件產(chǎn)品占比30%左右，大量項目還是以服務(wù)為主。大部分DataOps項目是廠商提供核心產(chǎn)品組件，基于實際甲方需求，形成DataOps解決方案。
DataOps市場甲方以金融、制造、能源、消費品與零售等行業(yè)為主，主要是以集團型甲方企業(yè)和行業(yè)頭部甲方企業(yè)為主，但兩者對DataOps的需求略有不同。集團型甲方企業(yè)在實際開展數(shù)據(jù)管理工作時，已經(jīng)深刻意識到數(shù)據(jù)管理與數(shù)據(jù)服務(wù)的挑戰(zhàn)，正在尋求新的數(shù)據(jù)管理解決方案。行業(yè)頭部甲方企業(yè)在數(shù)字化轉(zhuǎn)型、數(shù)據(jù)能力建設(shè)處于行業(yè)前列，數(shù)據(jù)部門自身有很強烈的創(chuàng)新和探索意愿，愿意嘗試更多新的技術(shù)方案。
2.DataOps是實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)的關(guān)鍵基礎(chǔ)設(shè)施
DataOps概念一經(jīng)出現(xiàn)，就會不斷跟數(shù)據(jù)中臺進行比較。愛分析認(rèn)為，數(shù)據(jù)中臺承載了企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型的長遠(yuǎn)愿景，DataOps解決了數(shù)據(jù)驅(qū)動業(yè)務(wù)的實際問題。
2019年至今，數(shù)據(jù)中臺一直備受詬病，建設(shè)預(yù)期與實際結(jié)果之間的巨大落差是大量數(shù)據(jù)中臺項目失敗的重要原因之一。很多數(shù)據(jù)中臺項目需求來自企業(yè)決策者，并非技術(shù)部門或數(shù)據(jù)部門，數(shù)據(jù)中臺往往承載了企業(yè)決策者實現(xiàn)數(shù)字化轉(zhuǎn)型的美好預(yù)期，不過數(shù)字化轉(zhuǎn)型并非一蹴而就，企業(yè)在數(shù)字化轉(zhuǎn)型中遇到的挑戰(zhàn)也不可能完全依靠技術(shù)平臺來解決。
數(shù)據(jù)中臺建設(shè)雖然出現(xiàn)很多負(fù)面新聞，但持續(xù)數(shù)年的數(shù)據(jù)中臺建設(shè)對整個數(shù)據(jù)智能市場發(fā)展還是起到了重要推動作用。第一，數(shù)據(jù)中臺在實際企業(yè)業(yè)務(wù)開展中還是發(fā)揮了價值，數(shù)據(jù)驅(qū)動業(yè)務(wù)、數(shù)據(jù)驅(qū)動決策的理念深入人心，越來越多的企業(yè)決策者和業(yè)務(wù)人員重視數(shù)據(jù)的價值，將數(shù)據(jù)分析作為一項重要工具。第二， “數(shù)據(jù)統(tǒng)一管理與共享服務(wù)”等理念被大量企業(yè)的技術(shù)部門和數(shù)據(jù)部門所接受，越來越多的企業(yè)用這套理念來建設(shè)自身的數(shù)據(jù)開發(fā)與管理能力。
DataOps的需求多數(shù)來自于技術(shù)部門或數(shù)據(jù)部門負(fù)責(zé)人，解決的是企業(yè)開展數(shù)據(jù)開發(fā)管理工作的挑戰(zhàn)。當(dāng)越來越多的業(yè)務(wù)部門關(guān)注數(shù)據(jù)，基于數(shù)據(jù)分析來實現(xiàn)業(yè)務(wù)增長，對企業(yè)的技術(shù)部門或數(shù)據(jù)部門而言，最大的挑戰(zhàn)是如何基于有限資源，最大化地滿足多個業(yè)務(wù)部門的數(shù)據(jù)消費需求。
一味地增加人力和預(yù)算，并不能從根本上解決這一問題。以某頭部互聯(lián)網(wǎng)公司為例，其數(shù)據(jù)開發(fā)管理團隊一度增加到千人規(guī)模，但依然無法滿足各個業(yè)務(wù)部門提出的數(shù)據(jù)需求。技術(shù)部門的挑戰(zhàn)一定要通過新的數(shù)據(jù)開發(fā)管理服務(wù)標(biāo)準(zhǔn)、流程和協(xié)作機制來解決，才能滿足企業(yè)日益增長的數(shù)據(jù)消費需求。
愛分析認(rèn)為，實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)在技術(shù)架構(gòu)創(chuàng)新的同時，還需要關(guān)注數(shù)據(jù)與業(yè)務(wù)之間的協(xié)作機制、流程和標(biāo)準(zhǔn)創(chuàng)新，后者是實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)的關(guān)鍵，DataOps重點在解決這一問題。
3.DataOps考驗廠商的產(chǎn)品架構(gòu)能力
與數(shù)據(jù)湖倉引擎、實時計算引擎不同，DataOps并非技術(shù)架構(gòu)創(chuàng)新，而是產(chǎn)品架構(gòu)創(chuàng)新。性能是DataOps項目建設(shè)的重要指標(biāo)，但并非最核心指標(biāo)。大部分DataOps建設(shè)面臨的問題是，如何實現(xiàn)技術(shù)、數(shù)據(jù)和業(yè)務(wù)的融合，同時滿足三方的需求。
第一，應(yīng)用開發(fā)與數(shù)據(jù)開發(fā)融合。當(dāng)前大部分企業(yè)的應(yīng)用開發(fā)與數(shù)據(jù)開發(fā)還是分開，但越來越多應(yīng)用都是數(shù)字化應(yīng)用，基于數(shù)據(jù)驅(qū)動的應(yīng)用，數(shù)據(jù)開發(fā)與應(yīng)用開發(fā)呈現(xiàn)融合態(tài)勢，如何在滿足IT運維、安全等前提下，提升數(shù)據(jù)開發(fā)的效率是一大挑戰(zhàn)，特別是集團型企業(yè)多數(shù)都有很強的合規(guī)要求。
第二，業(yè)務(wù)深度參與數(shù)據(jù)開發(fā)工作。當(dāng)前業(yè)務(wù)和數(shù)據(jù)之間的協(xié)作并不緊密，自助式分析等數(shù)據(jù)分析工具興起，讓業(yè)務(wù)部門具備自助式數(shù)據(jù)分析和管理的能力，但大部分?jǐn)?shù)據(jù)開發(fā)工作業(yè)務(wù)部門依然沒辦法深度參與，會導(dǎo)致很多數(shù)據(jù)開發(fā)工作并不能滿足業(yè)務(wù)需求，特別是在當(dāng)下業(yè)務(wù)快速迭代的背景下。
基于上述挑戰(zhàn)可以看出，每個甲方企業(yè)在落地DataOps項目時，一定存在非常大的差異化，但背后要解決的本質(zhì)問題會非常類似。對于DataOps廠商而言，需要從數(shù)據(jù)開發(fā)管理的全局出發(fā)，以終為始，在設(shè)計產(chǎn)品架構(gòu)時要考慮到企業(yè)完整需求，才能夠應(yīng)對不同DataOps項目的差異化甲方需求。 3. 廠商全景地圖
愛分析基于對甲方企業(yè)和典型廠商的調(diào)研以及桌面研究，遴選出在DataOps市場中具備成熟解決方案和落地能力的入選廠商。
4. 市場分析與廠商評估
愛分析對本次DataOps項目重點研究的特定市場定義如下。同時，針對參與此次報告的部分代表廠商，愛分析撰寫了廠商能力評估。 4.1一站式數(shù)據(jù)開發(fā)管理平臺
市場定義：
一站式數(shù)據(jù)開發(fā)管理平臺，是指針對整個數(shù)據(jù)加工鏈路進行數(shù)據(jù)的監(jiān)控、管理和運維，實現(xiàn)數(shù)據(jù)質(zhì)量持續(xù)提升。
甲方終端用戶：
金融、制造、汽車、消費品零售、能源等行業(yè)的大數(shù)據(jù)部門負(fù)責(zé)人、IT部門負(fù)責(zé)人
甲方核心需求：
對甲方而言，核心是建立一套面向未來數(shù)據(jù)開發(fā)的機制，提升面向業(yè)務(wù)視角的數(shù)據(jù)開發(fā)能力，而不僅僅是實現(xiàn)數(shù)據(jù)整合。
過往，甲方更多是將數(shù)據(jù)整合和管理作為企業(yè)的階段性目標(biāo)和項目來完成，對數(shù)據(jù)如何應(yīng)用、如何在業(yè)務(wù)場景中發(fā)揮價值關(guān)注度不足。在實踐過程中，投入大量資源和人力，完成數(shù)據(jù)整合之后，“取數(shù)難”、“用數(shù)難”、數(shù)據(jù)質(zhì)量低等問題依然存在，甲方還是無法發(fā)揮數(shù)據(jù)的價值。
因此，甲方真正需要具備的是一套完整的數(shù)據(jù)開發(fā)管理的能力，包含但不限于統(tǒng)一開發(fā)管理平臺、面向業(yè)務(wù)需求的開發(fā)管理流程與機制等。
1)梳理流程，建立統(tǒng)一的開發(fā)管理機制。
在甲方現(xiàn)有流程中，應(yīng)用開發(fā)和數(shù)據(jù)開發(fā)往往是分開進行，但考慮到越來越多數(shù)字化應(yīng)用是基于數(shù)據(jù)驅(qū)動這一趨勢下，企業(yè)需要考慮將二者融合。過去建設(shè)的數(shù)據(jù)中臺盡管一定程度上能夠支持報表、自助式分析等應(yīng)用，但實質(zhì)上仍未能滿足支撐整個數(shù)據(jù)開發(fā)管理體系，無法滿足越來越多基于數(shù)據(jù)驅(qū)動的應(yīng)用需求，特別是以機器學(xué)習(xí)建模為代表的探索式應(yīng)用。
隨著企業(yè)數(shù)字化轉(zhuǎn)型程度加深，數(shù)據(jù)管理和應(yīng)用需求越來越迫切，很多甲方成立專門的數(shù)據(jù)部門處理數(shù)據(jù)相關(guān)的問題，并與IT部門和業(yè)務(wù)部門厘清職責(zé)邊界，建立起協(xié)作關(guān)系，數(shù)據(jù)部門與IT部門、業(yè)務(wù)部門如何進行協(xié)作，內(nèi)部需要達(dá)成共識并建立協(xié)作機制。
數(shù)據(jù)開發(fā)和管理的建設(shè)并非一蹴而就，而是一個長期的工程。在實際建設(shè)中，既要考慮長期方向與目標(biāo)，與整個公司戰(zhàn)略方向相適配，又要設(shè)置階段性目標(biāo)，讓高層和相關(guān)部門感受到落地效果。因此，甲方需要明確數(shù)據(jù)開發(fā)和管理的實現(xiàn)路徑，并設(shè)置階段性目標(biāo)。
對于金融等強監(jiān)管行業(yè)，整個機制還需要符合監(jiān)管要求。自數(shù)據(jù)安全法、個保法等法律法規(guī)出臺以來，監(jiān)管機構(gòu)對數(shù)據(jù)安全審查加強，企業(yè)在數(shù)據(jù)開發(fā)和管理過程中要注意合規(guī)問題，審慎使用數(shù)據(jù)，提升數(shù)據(jù)治理水平。
2)搭建功能豐富、具備擴展性的開發(fā)管理平臺。
經(jīng)過多年信息化和數(shù)字化建設(shè)，絕大多數(shù)甲方已經(jīng)具備一定數(shù)據(jù)基礎(chǔ)，以MPP、Hadoop為代表的技術(shù)架構(gòu)，以大數(shù)據(jù)平臺為核心的數(shù)據(jù)開發(fā)和治理工具，因此，一站式數(shù)據(jù)開發(fā)管理平臺需要兼容現(xiàn)有的數(shù)據(jù)基礎(chǔ)設(shè)施。同時，隨著業(yè)務(wù)的發(fā)展，未來產(chǎn)生越來越多的創(chuàng)新業(yè)務(wù)場景，平臺需要有充分的擴展性以應(yīng)對多元的需求，能夠支持各類型業(yè)務(wù)場景開展。
平臺需要圍繞整個數(shù)據(jù)開發(fā)管理的需求，提供豐富的功能，并具備自動化開發(fā)能力。企業(yè)需要在這一平臺上完成所有類型數(shù)據(jù)的開發(fā)和管理，覆蓋數(shù)據(jù)加工全鏈路的監(jiān)控、管理、運維等需求，具備對全域數(shù)據(jù)治理的能力。同時，為應(yīng)對越來越多且時效性越來越強的開發(fā)任務(wù)，還需要利用自動化工具提升效率。
廠商能力要求：
廠商需要具備咨詢能力和成功實踐經(jīng)驗，能提供成熟的方法論。不僅提供數(shù)據(jù)平臺的產(chǎn)品，還能夠基于可復(fù)用的成功經(jīng)驗，針對客戶的業(yè)務(wù)需求和內(nèi)部建設(shè)現(xiàn)狀指導(dǎo)實施落地;需要具備規(guī)劃能力，能夠設(shè)計一套適用于未來幾年的框架，幫助數(shù)據(jù)部門、IT部門、業(yè)務(wù)部門能夠達(dá)成共識，通過幫助客戶梳理流程，基于數(shù)據(jù)產(chǎn)品調(diào)整組織架構(gòu)并優(yōu)化協(xié)作方式，提供完整的咨詢服務(wù);此外，還需要為客戶提供建議，幫助甲方設(shè)置實現(xiàn)路徑，并制定階段性目標(biāo)。
產(chǎn)品需要有較強的架構(gòu)能力和可擴展性。需要具備解耦能力，采用模塊化方式構(gòu)建，能夠單獨拆分功能模塊按需提供。在擴展性方面，需要能夠適配企業(yè)內(nèi)的其他生態(tài)，支持多種接口協(xié)議，已封測及對接多種軟件或硬件接口調(diào)用等方式，能夠快速滿足企業(yè)未來的創(chuàng)新應(yīng)用。
產(chǎn)品需要具備豐富的功能，能夠覆蓋數(shù)據(jù)加工的全流程，包括數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)和運維監(jiān)控等各個方面，能夠提供多人可協(xié)作的項目空間管理，具備持續(xù)集成和發(fā)布的能力。
入選標(biāo)準(zhǔn)：
1.符合一站式數(shù)據(jù)開發(fā)管理平臺市場分析的廠商能力要求;
2.累計在該市場服務(wù)客戶數(shù)10家及以上;
3.累計在該市場收入5000萬及以上;
代表廠商評估：
火山引擎
廠商介紹：
北京火山引擎科技有限公司(以下簡稱“火山引擎”)，是字節(jié)跳動旗下的云服務(wù)平臺，將字節(jié)跳動快速發(fā)展過程中積累的增長方法、技術(shù)能力和工具開放給外部企業(yè)，提供云基礎(chǔ)、視頻與內(nèi)容分發(fā)、大數(shù)據(jù)、人工智能、開發(fā)與運維等服務(wù)，幫助企業(yè)在數(shù)字化升級中實現(xiàn)持續(xù)增長。
產(chǎn)品服務(wù)介紹：
火山引擎數(shù)智平臺(Volcengine Data Intelligence，英文簡稱VeDI)，基于字節(jié)跳動數(shù)據(jù)平臺多年的“數(shù)據(jù)驅(qū)動”實踐經(jīng)驗，匯集端到端的數(shù)智產(chǎn)品、場景化的行業(yè)解決方案和專業(yè)的數(shù)智轉(zhuǎn)型咨詢。其中大數(shù)據(jù)研發(fā)治理套件DataLeap是一站式大數(shù)據(jù)研發(fā)治理套件解決方案，提供數(shù)據(jù)集成、開發(fā)、運維、治理、資產(chǎn)管理等能力。以獨立部署方式，通過數(shù)據(jù)治理的思維，綜合運用數(shù)據(jù)管理制度、人員組織、技術(shù)方法和流程標(biāo)準(zhǔn)等手段，幫助企業(yè)對數(shù)據(jù)資產(chǎn)在可用性、完整性和安全上實現(xiàn)全面有效的管理，賦能企業(yè)基于數(shù)據(jù)驅(qū)動下的業(yè)務(wù)創(chuàng)新。目前，已服務(wù)幾百家來自汽車、零售、互聯(lián)網(wǎng)、金融、文旅等行業(yè)的知名企業(yè)。
廠商評估：
整體來看，火山引擎基于數(shù)智平臺和一站式大數(shù)據(jù)研發(fā)治理套件打造的數(shù)據(jù)驅(qū)動管理解決方案，在產(chǎn)品功能、產(chǎn)品架構(gòu)與理念、落地實踐經(jīng)驗、體系機制四方面具備優(yōu)勢。
1)功能豐富易用，提供一站式數(shù)據(jù)研發(fā)全鏈路管理。
DataLeap為企業(yè)提供基于DataOps敏捷研發(fā)流程、海量任務(wù)秒級調(diào)度能力和開源計算引擎的拓展能力，覆蓋數(shù)據(jù)研發(fā)與運維、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)和安全合規(guī)等各個方面，賦能業(yè)務(wù)團隊進行數(shù)據(jù)自治。
具體來說，在全場景數(shù)據(jù)整合環(huán)節(jié)，DataLeap支持20+多源異構(gòu)數(shù)據(jù)集成，涵蓋常見的業(yè)務(wù)存儲系統(tǒng)，支持全量、增量、實時的數(shù)據(jù)同步;在全鏈路的數(shù)據(jù)研發(fā)環(huán)節(jié)，DataLeap支持多引擎(批、流、OLAP)，敏捷開發(fā)CI/C，對開發(fā)、測試、發(fā)布、運維等研發(fā)全鏈路進行管理;在數(shù)據(jù)治理環(huán)節(jié)，DataLeap集合了基線監(jiān)控、數(shù)據(jù)質(zhì)量、SLA治理等能力，提供事前預(yù)警、事中處理、事后復(fù)盤及推薦優(yōu)化的功能;在數(shù)據(jù)資產(chǎn)建設(shè)方面，DataLeap具備數(shù)據(jù)資產(chǎn)快速接入及自動構(gòu)建全鏈路血緣等技術(shù)。
2)技術(shù)架構(gòu)先進，融合分布式數(shù)據(jù)治理理念，能夠應(yīng)對高并發(fā)、大批量數(shù)據(jù)處理需求。
火山引擎創(chuàng)新性提出分布式數(shù)據(jù)治理的理念，并落地于DataLeap產(chǎn)品中。DataLeap采用了標(biāo)準(zhǔn)化、組件化的解耦架構(gòu)，各個模塊均可獨立使用分布式治理模式，建設(shè)周期較短，適配能力強;企業(yè)用戶不僅能實現(xiàn)各級業(yè)務(wù)及個人的自驅(qū)治理，還能充分根據(jù)業(yè)務(wù)階段來制定治理的內(nèi)容，讓數(shù)據(jù)治理對業(yè)務(wù)的沖擊和影響可以盡可能最小化;專業(yè)的治理知識可以沉淀下來，實現(xiàn)產(chǎn)品化協(xié)同，并結(jié)合智能化推薦功能，為企業(yè)提升執(zhí)行效率。
DataLeap通過對引擎和架構(gòu)的優(yōu)化，提升了產(chǎn)品性能、擴展性和實時性，以應(yīng)對業(yè)務(wù)多樣性和復(fù)雜度帶來的龐大數(shù)據(jù)處理作業(yè)量要求。為滿足時效性的需求，火山引擎通過自研的分布式調(diào)度系統(tǒng)，實現(xiàn)了秒級調(diào)度能力。同時提供了任務(wù)的分級打標(biāo)機制，通過多種任務(wù)資源控制方式，實現(xiàn)資源最合理的調(diào)配。還可以根據(jù)任務(wù)的歷史情況，對不合理的任務(wù)配置，提出配置優(yōu)化的告警建議。
3)數(shù)據(jù)技術(shù)能力均來自于字節(jié)跳動內(nèi)部多年實踐經(jīng)驗的積累與沉淀。
VeDI及DataLeap沉淀了字節(jié)跳動各業(yè)務(wù)線的數(shù)據(jù)治理經(jīng)驗和規(guī)則，適合多種類型客戶在業(yè)務(wù)的不同階段使用。
字節(jié)跳動根據(jù)內(nèi)部業(yè)務(wù)的痛點和需求，從2014年開始研發(fā)并逐步迭代出一套能夠挖掘分析海量數(shù)據(jù)、有效賦能業(yè)務(wù)的數(shù)據(jù)平臺。利用這一平臺敏捷支持內(nèi)部今日頭條、抖音、西瓜視頻、朝夕光年等各大業(yè)務(wù)線后，對大數(shù)據(jù)的架構(gòu)、產(chǎn)品、治理、安全隱私、組織設(shè)計等方面積累了豐富實踐，開始對外To B輸出和商業(yè)化。目前，火山引擎已經(jīng)沉淀了完整的行業(yè)Know-How，能夠基于各部分產(chǎn)品組合和調(diào)用為客戶提供端到端解決方案，并以整體VeDI的方式呈現(xiàn)。
4)引入BP機制，幫助客戶建立體系化的數(shù)據(jù)治理方法。
火山引擎為客戶引入字節(jié)成熟的數(shù)據(jù)BP模式，從組織層面配合數(shù)據(jù)產(chǎn)品實現(xiàn)數(shù)據(jù)治理落地，切實把握業(yè)務(wù)的痛點，讓數(shù)據(jù)工具和平臺真正用起來。
數(shù)據(jù)BP，即“數(shù)據(jù)業(yè)務(wù)伙伴”，本質(zhì)是將具備數(shù)據(jù)專業(yè)能力的人才上升至業(yè)務(wù)線。數(shù)據(jù)BP的職責(zé)是在一線配合數(shù)據(jù)分析師充分滿足數(shù)據(jù)需求，同時保障數(shù)據(jù)治理工作的有序落地。希望在數(shù)據(jù)治理成果推進到一定程度之后，為企業(yè)進一步探索數(shù)據(jù)賦能業(yè)務(wù)發(fā)展的方法。
火山引擎還會派專家團隊駐場，近距離參與企業(yè)的數(shù)據(jù)治理工作中。對企業(yè)的實際情況進行具體問題分析后，在數(shù)據(jù)指標(biāo)治理、業(yè)務(wù)數(shù)據(jù)治理、埋點數(shù)據(jù)治理、數(shù)據(jù)底座管理體系四大方向上，給出建議并協(xié)助企業(yè)進行體系化建設(shè)，為企業(yè)跨職能的數(shù)據(jù)治理實踐提供長期穩(wěn)定抓手。
典型客戶：
得到
代表廠商評估：
科杰科技
廠商介紹：
科杰科技是一家數(shù)據(jù)能力構(gòu)建商，核心技術(shù)團隊擁有豐富的頭部互聯(lián)網(wǎng)企業(yè)云數(shù)據(jù)平臺搭建及運營經(jīng)驗，致力于將成熟完備的數(shù)據(jù)底座產(chǎn)品與多業(yè)態(tài)復(fù)雜場景的最佳實踐有機融合，為企業(yè)提供數(shù)據(jù)管理、開發(fā)挖掘、運維一體化的整套方案，助力企業(yè)快速構(gòu)建數(shù)據(jù)能力，實現(xiàn)高度規(guī)范化、敏捷化的數(shù)據(jù)工作協(xié)同與數(shù)據(jù)應(yīng)用創(chuàng)新。現(xiàn)已服務(wù)百余家 政府單位及金融、能源、汽車、零售等行業(yè)頭部企業(yè)。
產(chǎn)品服務(wù)介紹：
科杰科技核心產(chǎn)品湖倉一體數(shù)據(jù)智能平臺 Keen Data Lakehouse是基于云原生技術(shù)自主研發(fā)的數(shù)據(jù)底座產(chǎn)品，產(chǎn)品設(shè)計內(nèi)置12大功能模塊，在實現(xiàn)多云資源統(tǒng)一納管、彈性擴展和靈活調(diào)度的基礎(chǔ)上，滿足數(shù)據(jù)統(tǒng)一采集、存儲、開發(fā)、管理和服務(wù)的需求，具有高性能高穩(wěn)定性的特性。其中數(shù)據(jù)開發(fā)管理平臺Keen BDP、數(shù)據(jù)同步系統(tǒng)Keen Dsync、實時計算平臺Keen Stream、數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品Keen DSM、數(shù)據(jù)質(zhì)量產(chǎn)品Keen DQM、主數(shù)據(jù)管理平臺Keen MDM、數(shù)據(jù)資產(chǎn)目錄Keen Asset、數(shù)據(jù)服務(wù)平臺Keen DAAS、數(shù)據(jù)標(biāo)簽平臺Keen TAG功能模塊與一站式數(shù)據(jù)開發(fā)管理平臺直接相關(guān)。
廠商評估：
整體來看，科杰科技形成了“領(lǐng)先的大數(shù)據(jù)技術(shù)+全域數(shù)據(jù)資產(chǎn)管理+大數(shù)據(jù)工作方法論”三位一體的解決方案，在產(chǎn)品、技術(shù)、行業(yè)Know-How和咨詢服務(wù)方面具備優(yōu)勢。
1)產(chǎn)品功能全，產(chǎn)品架構(gòu)能力強。
基于過往實踐，科杰科技覆蓋數(shù)據(jù)開發(fā)管理的全生命周期，產(chǎn)品功能豐富?？平芸萍紝ataOps的理論融入產(chǎn)品設(shè)計中，支持DataOps持續(xù)集成、持續(xù)開發(fā)、持續(xù)運營方法論的最佳實踐?？平墚a(chǎn)品矩陣覆蓋數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)開發(fā)、智能任務(wù)依賴、智能血緣解析、自動沉淀數(shù)據(jù)資產(chǎn)的全生命周期，在貫穿全流程工程化能力的同時提供全局統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、元數(shù)據(jù)管理以及數(shù)據(jù)安全的全方面數(shù)據(jù)治理能力，是數(shù)據(jù)治理與數(shù)據(jù)工程相融合的增強型大數(shù)據(jù)平臺產(chǎn)品，提供一站式數(shù)據(jù)源到數(shù)據(jù)洞察分析和數(shù)據(jù)編織能力，為企業(yè)數(shù)字化轉(zhuǎn)型提供數(shù)據(jù)底座能力。
科杰科技對重點功能進行產(chǎn)品化、模塊化封裝，整個平臺采取松耦合架構(gòu)，能夠獨立交付部署。Keen Data Lakehouse整體采用松耦合結(jié)構(gòu)搭建而成，產(chǎn)品具備高度自主性和靈活性?？平芸萍坚槍χ攸c功能進行產(chǎn)品化、模塊化封裝，每個模塊都能夠與企業(yè)內(nèi)信息系統(tǒng)進行對接，支持獨立交付和部署應(yīng)用。因此能夠面向多業(yè)態(tài)、復(fù)雜的業(yè)務(wù)場景，以樂高式的產(chǎn)品組合方式搭建，支持大型組織全角色精細(xì)化業(yè)務(wù)開展，持續(xù)高效地創(chuàng)造高質(zhì)量、可復(fù)用的數(shù)據(jù)資產(chǎn)。
2)底層技術(shù)架構(gòu)領(lǐng)先，支撐集團企業(yè)多源異構(gòu)數(shù)據(jù)統(tǒng)一納管。
Keen Data Lakehouse采用了領(lǐng)先的湖倉一體、新一代技術(shù)架構(gòu)。這一架構(gòu)兼具數(shù)據(jù)倉庫的高性能、強管理能力和數(shù)據(jù)湖的靈活性，具備批流一體、存算分離、數(shù)據(jù)編織、ACID事務(wù)性等特點，打通企業(yè)的數(shù)據(jù)孤島和數(shù)據(jù)煙囪，提供一個統(tǒng)一可共享的數(shù)據(jù)底座。通過將生產(chǎn)過程中大量結(jié)構(gòu)化和非結(jié)構(gòu)化的離線、實時數(shù)據(jù)抽取到數(shù)據(jù)倉庫，實現(xiàn)多源多態(tài)數(shù)據(jù)匯聚，為后續(xù)數(shù)據(jù)標(biāo)準(zhǔn)化、資產(chǎn)化、安全管理等需求提供了基礎(chǔ)條件。
科杰科技通過多模數(shù)據(jù)統(tǒng)一處理技術(shù)，實現(xiàn)企業(yè)數(shù)據(jù)在數(shù)據(jù)湖和數(shù)據(jù)倉庫之上的無縫調(diào)度和管理，避免大數(shù)據(jù)平臺、云數(shù)倉、分析型數(shù)據(jù)庫等現(xiàn)有數(shù)據(jù)資產(chǎn)的遷移。既能利用企業(yè)已有建設(shè)成果提供包容性支撐，對歷史數(shù)據(jù)、實時數(shù)據(jù)進行存儲、計算和查詢，保持現(xiàn)有業(yè)務(wù)的連續(xù)性;又能以邏輯統(tǒng)一的數(shù)據(jù)資產(chǎn)和協(xié)作方式進行開發(fā)，面向未來數(shù)據(jù)工作保持開放性，為技術(shù)部門與業(yè)務(wù)部門的高效協(xié)作奠定了基礎(chǔ)。
3)行業(yè)落地經(jīng)驗豐富，對集團企業(yè)的數(shù)據(jù)資產(chǎn)統(tǒng)一管理和高效協(xié)作方式有深刻理解。
科杰科技的核心研發(fā)成員具有互聯(lián)網(wǎng)大廠背景和十多年大數(shù)據(jù)實戰(zhàn)經(jīng)驗，曾親身經(jīng)歷大型企業(yè)的大數(shù)據(jù)部門組建、數(shù)據(jù)中臺項目的建設(shè)，對于大型企業(yè)的集團、分公司、不同業(yè)務(wù)條線之間數(shù)據(jù)權(quán)限、數(shù)據(jù)安全、數(shù)據(jù)使用和存儲壓力問題了解深入，能夠根據(jù)不同企業(yè)的組織架構(gòu)、業(yè)務(wù)流程等特點，提出適合的解決方案。
基于多年實踐經(jīng)驗，科杰科技總結(jié)形成一套標(biāo)準(zhǔn)完善的企業(yè)級數(shù)據(jù)底座落地實施流程，結(jié)合Keen Data Lakehouse產(chǎn)品矩陣，能夠大大提升項目實施效率。目前，已在金融、新零售、能源、工業(yè)互聯(lián)網(wǎng)、汽車、通信等行業(yè)成功落地，并打造了具有針對性的多個行業(yè)解決方案。
4)具備咨詢服務(wù)能力，能為企業(yè)持續(xù)構(gòu)建大數(shù)據(jù)能力提供建議。
科杰科技能夠為客戶提供前期的數(shù)字化咨詢服務(wù)，根據(jù)企業(yè)現(xiàn)狀給出問題診斷和建設(shè)路徑，幫助企業(yè)內(nèi)部的IT技術(shù)部門、數(shù)據(jù)部門和業(yè)務(wù)部門達(dá)成共識、明確目標(biāo)、梳理流程、制定規(guī)則，真正實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)、數(shù)據(jù)驅(qū)動管理，推動一站式數(shù)據(jù)開發(fā)管理平臺項目真正實現(xiàn)落地。
典型客戶：
一汽、中石化、永旺、中金公司、銀華基金 4.2敏捷數(shù)據(jù)管道
市場定義：
基于ETL、ELT、CDC、Kafka等方式，從多種數(shù)據(jù)源采集原始數(shù)據(jù)，經(jīng)過數(shù)據(jù)轉(zhuǎn)換，存儲至數(shù)據(jù)湖(數(shù)據(jù)倉庫)中，實現(xiàn)數(shù)據(jù)集成和標(biāo)準(zhǔn)化。
甲方終端用戶：
制造、汽車、消費品零售、能源等行業(yè)的大數(shù)據(jù)部門負(fù)責(zé)人、IT部門負(fù)責(zé)人和業(yè)務(wù)部門(業(yè)務(wù)部門ITBP)
甲方核心需求：
甲方的目標(biāo)是更加敏捷、自動化地搭建數(shù)據(jù)管道，并對數(shù)據(jù)管道進行統(tǒng)一管理和編排。
隨著數(shù)字化轉(zhuǎn)型的深入和數(shù)據(jù)消費需求的增加，甲方內(nèi)部的IT環(huán)境和數(shù)據(jù)環(huán)境越來越復(fù)雜，數(shù)據(jù)集成工具越來越多，彼此難以融合，相互割裂運行，對運維和管理提出了很高的挑戰(zhàn)。與此同時，數(shù)據(jù)管道的重要度越來越高，特別在業(yè)務(wù)部門對數(shù)據(jù)分析需求日益增長的趨勢之下，越來越多的數(shù)據(jù)管道建設(shè)需求來自于業(yè)務(wù)部門。
因此，數(shù)據(jù)管道逐步從整個大數(shù)據(jù)平臺獨立出來，作為一個獨立項目進行建設(shè)、運維和管理。以新消費、新能源為代表的行業(yè)，IT部門規(guī)模不大，但業(yè)務(wù)部門有很強烈的數(shù)據(jù)分析需求，敏捷、輕量、自助式數(shù)據(jù)管道建設(shè)需求日益增強。
1)數(shù)據(jù)類型和應(yīng)用場景越來越多，對數(shù)據(jù)管道建設(shè)提出了更高要求。
傳統(tǒng)企業(yè)面臨的數(shù)據(jù)應(yīng)用場景也更加多元，如BI報表、實時決策、基于機器學(xué)習(xí)的預(yù)測性分析等;同時，數(shù)據(jù)體量和多樣性也在快速增長，隨著物聯(lián)網(wǎng)應(yīng)用的落地，時序、GIS、圖像、視頻、文本等新興數(shù)據(jù)類型大規(guī)模涌現(xiàn)。因此需要支持離線和在線場景，結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等數(shù)據(jù)類型的數(shù)據(jù)采集。
2)業(yè)務(wù)快速迭代，敏捷搭建和自動化運維管理是數(shù)據(jù)管道建設(shè)的必備能力。
企業(yè)業(yè)務(wù)進行數(shù)字化轉(zhuǎn)型，產(chǎn)生大量數(shù)字化應(yīng)用，對數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用提出了更高的要求。一方面業(yè)務(wù)發(fā)展變化快，傳統(tǒng)的ETL數(shù)據(jù)抽取、轉(zhuǎn)換和加載工作量繁雜，單這一流程會耗費數(shù)周乃至上月時間，導(dǎo)致業(yè)務(wù)面臨時效性之后，因此需要能夠快速搭建數(shù)據(jù)管道;另一方面隨著管道數(shù)量和數(shù)據(jù)量的迅速增加，數(shù)據(jù)管道的運維管理壓力變大，人工運維的模式無法應(yīng)對，需要更多自動化的工具。
廠商能力要求：
廠商需要支持多類型數(shù)據(jù)源，滿足業(yè)務(wù)場景需求。同時支持離線和實時集成模式，滿足ETL、ETL、CDC、Kafka等多種技術(shù)路線，支持常見的各類型數(shù)據(jù)源，滿足各類型業(yè)務(wù)系統(tǒng)之間復(fù)雜的數(shù)據(jù)分發(fā)、推送、傳輸和共享發(fā)布。
圍繞著運維管理監(jiān)控，廠商需要支持豐富的工具鏈和較高的自動化程度。提供組件化的多種類型數(shù)據(jù)處理工具，支持相互銜接組合，以滿足數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲過程中的各種數(shù)據(jù)處理需求，并把重復(fù)的工作流程嵌入自動化，提升效率。
產(chǎn)品需要具備易用性。數(shù)據(jù)管道的使用人群不僅僅是IT部門，還有一部分業(yè)務(wù)部門的ITBP角色，因此根據(jù)不同使用角色的需求，需要支持通過拖、拉、拽等簡單操作方式完成數(shù)據(jù)集成流程的構(gòu)建和相關(guān)功能。
入選標(biāo)準(zhǔn)：
1.符合敏捷數(shù)據(jù)管道市場分析的廠商能力要求;
2.累計在該市場服務(wù)客戶數(shù)10家及以上;
3.累計在該市場收入1000萬及以上。
代表廠商評估：
谷云科技
廠商介紹：
谷云科技(廣州)有限責(zé)任公司成立于2017年，是國內(nèi)最早一批專注于iPaaS混合集成中臺研發(fā)的產(chǎn)品和技術(shù)解決方案提供商。公司專注于數(shù)據(jù)集成、服務(wù)集成、MQ消息集成、API管理領(lǐng)域，從底層開發(fā)框架入手完全自主研發(fā)，并基于統(tǒng)一平臺自主研發(fā)了全線RestCloud系列產(chǎn)品，服務(wù)于零售、制造、金融、教育等行業(yè)企業(yè)客戶，以及政府機構(gòu)等各類組織。
產(chǎn)品服務(wù)介紹：
RestCloud 數(shù)據(jù)集成平臺是谷云科技基于DataOps理念完全自主研發(fā)和創(chuàng)新的新一代數(shù)據(jù)集成平臺，平臺一站式融合了ETL、ELT、CDC、API等能力，可幫助企業(yè)客戶快速搭建批流一體的數(shù)據(jù)集成底座，實現(xiàn)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)集成和多源異構(gòu)數(shù)據(jù)的交換和融合。
作為一套面向數(shù)據(jù)集成的輕量化、標(biāo)準(zhǔn)化產(chǎn)品，RestCloud 數(shù)據(jù)集成平臺采用全Web化配置，開箱即用，能夠讓用戶實現(xiàn)自助式構(gòu)建數(shù)據(jù)管道，并具有豐富的組件，幫助用戶實現(xiàn)開發(fā)、測試、發(fā)布、監(jiān)控、告警、運維等一系列工作。同時，結(jié)合谷云科技的API服務(wù)平臺，RestCloud數(shù)據(jù)集成平臺可以幫助企業(yè)快速構(gòu)建輕量級數(shù)據(jù)中臺，滿足企業(yè)統(tǒng)一數(shù)據(jù)管理和數(shù)據(jù)共享需求，幫助IT部門實現(xiàn)對業(yè)務(wù)部門的支持。
廠商評估：
整體來看，谷云科技自主研發(fā)的數(shù)據(jù)集成平臺在數(shù)據(jù)傳輸性能、任務(wù)調(diào)度架構(gòu)、產(chǎn)品易用性和系統(tǒng)穩(wěn)定性等方面具備優(yōu)勢，同時創(chuàng)新的把CDC和ETL進了一體化設(shè)計，使得實時流數(shù)據(jù)和批數(shù)據(jù)可以進行混合處理和合并。
1)技術(shù)能力強，覆蓋多種技術(shù)路線，滿足多種場景數(shù)據(jù)處理要求。
谷云科技的RestCloud數(shù)據(jù)集成平臺支持ETL/ELT離線數(shù)據(jù)處理和CDC實時數(shù)據(jù)處理等技術(shù)路線，能夠滿足企業(yè)客戶離線和實時業(yè)務(wù)場景的數(shù)據(jù)處理需求，滿足大中小型企業(yè)進行數(shù)據(jù)倉庫/數(shù)據(jù)中臺構(gòu)建、客戶主數(shù)據(jù)平臺的構(gòu)建、工業(yè)互聯(lián)網(wǎng)IoT設(shè)備的數(shù)據(jù)采集、云上云下SaaS數(shù)據(jù)同步、混合云數(shù)據(jù)同步等各種復(fù)雜數(shù)據(jù)集成應(yīng)用場景的需求。同時，通過配置BI以及API數(shù)據(jù)服務(wù)，谷云科技還可構(gòu)建各種數(shù)據(jù)應(yīng)用的創(chuàng)新場景，滿足于企業(yè)敏態(tài)化數(shù)據(jù)消費需求。
谷云科技的RestCloud 數(shù)據(jù)集成平臺能夠廣泛支持企業(yè)的各類數(shù)據(jù)源和數(shù)據(jù)類型，不但具備功能強大的離線數(shù)據(jù)處理能力，同時具備實時數(shù)據(jù)傳輸能力，能夠支持包含國產(chǎn)數(shù)據(jù)庫在內(nèi)的40多個數(shù)據(jù)源，以及Kafka、MQTT物聯(lián)網(wǎng)數(shù)據(jù)、HTTP等多類型實時數(shù)據(jù)流接入。
2)產(chǎn)品架構(gòu)設(shè)計能力強，具有標(biāo)準(zhǔn)化、輕量化等特點。
谷云科技將RestCloud 數(shù)據(jù)集成平臺分為執(zhí)行層、管理層和調(diào)度層支持10000+數(shù)據(jù)管道的準(zhǔn)確調(diào)度和執(zhí)行，平臺作為標(biāo)準(zhǔn)化產(chǎn)品，能夠按模塊進行自由地分離和組裝，大大增強了平臺的靈活性和可擴展性。一方面，平臺可以快速接入新的數(shù)據(jù)源，滿足不同場景的數(shù)據(jù)需求;另一方面，可以根據(jù)用戶的偏好和現(xiàn)狀，自定義配置平臺的功能和數(shù)據(jù)處理組件，平臺采用輕量化架構(gòu)可以幾分鐘內(nèi)完成部署上線并可運行在公有云、私有云以及個人電腦上。
3)產(chǎn)品易用性強，能夠滿足不同發(fā)展階段的企業(yè)需求。
基于過往實踐經(jīng)驗，谷云科技將大量數(shù)據(jù)集成、數(shù)據(jù)服務(wù)過程中涉及的功能模塊封裝到RestCloud數(shù)據(jù)集成平臺中，數(shù)據(jù)抽取、加載、清洗、運算、脫敏、行轉(zhuǎn)列、列轉(zhuǎn)行等相關(guān)組件超過100種。
考慮到不同企業(yè)用戶自身IT能力的差異，谷云科技的RestCloud平臺支持自助式開發(fā)設(shè)計，支持基于純Java語法的自定義規(guī)則和算法，能夠通過規(guī)則實現(xiàn)復(fù)雜的自定義業(yè)務(wù)邏輯處理。因此，用戶通過可視化拖、拉、拽方式，完成數(shù)據(jù)管道的構(gòu)建并實現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、脫敏、加載等功能。
4)底層技術(shù)架構(gòu)以自研為主，平臺系統(tǒng)穩(wěn)定性、可用性強。
谷云科技基于微服務(wù)架構(gòu)研發(fā)的RestCloud數(shù)據(jù)集成平臺，能夠支持大規(guī)模的分布式部署架構(gòu)，滿足企業(yè)用戶的云原生應(yīng)用場景的需求?；谖⒎?wù)架構(gòu)對整個平臺進行技術(shù)解耦，每個功能模塊都可以獨立運行，使得平臺未來具備SaaS化的發(fā)展?jié)摿Α?/p>
ETL、ELT、CDC、調(diào)度平臺、API開發(fā)平臺等技術(shù)均以自研為主，而不是基于開源技術(shù)架構(gòu)之上做改進和優(yōu)化，底層技術(shù)能力完全自主可控，提升了整個平臺的穩(wěn)定性和可控性。
典型客戶：
浙商證券、中金財富、三一重工、中建科工、億緯鋰能 4.3智能數(shù)據(jù)資產(chǎn)目錄
市場定義：
面向業(yè)務(wù)場景，結(jié)合機器學(xué)習(xí)和知識圖譜技術(shù)，實現(xiàn)元數(shù)據(jù)一站式、自動化管理，包含數(shù)據(jù)采集、數(shù)據(jù)血緣、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)發(fā)現(xiàn)、權(quán)限管理、資產(chǎn)監(jiān)控等。
甲方終端用戶：
金融、制造、汽車、消費品零售、能源等行業(yè)及政府機關(guān)的大數(shù)據(jù)部門負(fù)責(zé)人、IT部門負(fù)責(zé)人
甲方核心需求：
業(yè)務(wù)與數(shù)據(jù)“脫節(jié)”是很多甲方當(dāng)前面臨的重要問題之一。一方面，數(shù)據(jù)開發(fā)部門對業(yè)務(wù)理解有限，導(dǎo)致整個數(shù)據(jù)開發(fā)過程緩慢;另一方面，不同業(yè)務(wù)之間的數(shù)據(jù)如何打通和融合，建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，對數(shù)據(jù)開發(fā)部門來說挑戰(zhàn)很大。以政府應(yīng)急管理為例，數(shù)據(jù)來自于多個不同的委辦局，需要以一套標(biāo)準(zhǔn)、流程和規(guī)范來開展工作，實現(xiàn)對安全隱患的排查、監(jiān)督和管理，背后是對不同業(yè)務(wù)的數(shù)據(jù)表單、字段和指標(biāo)的融合和統(tǒng)一。企
針對當(dāng)前快速、多變的數(shù)據(jù)服務(wù)需求，甲方的目標(biāo)是基于現(xiàn)有數(shù)據(jù)資產(chǎn)目錄基礎(chǔ)上增加更多面向業(yè)務(wù)場景的標(biāo)簽和指標(biāo)，實現(xiàn)數(shù)據(jù)部門與業(yè)務(wù)部門的連接，并同時具備自動化迭代能力，持續(xù)提升數(shù)據(jù)開發(fā)效率。
1)快速梳理業(yè)務(wù)、建立業(yè)務(wù)認(rèn)知的方法論。
以業(yè)務(wù)為中心，解決“數(shù)據(jù)在哪里”、“數(shù)據(jù)誰負(fù)責(zé)”以及數(shù)據(jù)如何用等問題，識別出業(yè)務(wù)主責(zé)部門、相關(guān)核心業(yè)務(wù)系統(tǒng)的核心對象、核心數(shù)據(jù)，打通查數(shù)/取數(shù)環(huán)節(jié)、打通基礎(chǔ)類數(shù)據(jù)和指標(biāo)類數(shù)據(jù)的聯(lián)系。這些問題需要有一套方法論，能夠幫助數(shù)據(jù)開發(fā)部門快速開展工作的標(biāo)準(zhǔn)、流程和規(guī)范。
2)兼顧當(dāng)前和未來需求的可擴展架構(gòu)。
隨著創(chuàng)新業(yè)務(wù)發(fā)展，未來會有越來越多業(yè)務(wù)部門納入到數(shù)字化建設(shè)中，數(shù)據(jù)驅(qū)動業(yè)務(wù)滲透率持續(xù)提升，勢必使得數(shù)據(jù)復(fù)雜度持續(xù)提升，如何能夠兼顧當(dāng)前業(yè)務(wù)需求，并為長期發(fā)展奠定基礎(chǔ)，需要一套具備可擴展性的技術(shù)架構(gòu)，能支撐未來的更豐富的應(yīng)用需求，實現(xiàn)業(yè)務(wù)流程和場景智能化的提升。
廠商能力要求：
廠商需要滿足對甲方業(yè)務(wù)理解能力，能夠基于業(yè)務(wù)視角提供解決方案?；趶S商自身積累的方法論，快速從多維度業(yè)務(wù)視角理解業(yè)務(wù)表達(dá)的含義、關(guān)系和趨勢，理解業(yè)務(wù)服務(wù)的對象、范圍，厘清數(shù)據(jù)與業(yè)務(wù)、業(yè)務(wù)與業(yè)務(wù)之間的關(guān)系，建立起對業(yè)務(wù)的認(rèn)知，從而指導(dǎo)數(shù)據(jù)匯聚和數(shù)據(jù)應(yīng)用。
廠商需要具備較強的技術(shù)架構(gòu)能力，產(chǎn)品滿足自動化和擴展性需求。能夠通過原生集成和擴展的方式連接全域數(shù)據(jù)，并結(jié)合機器學(xué)習(xí)和知識圖譜等技術(shù)，實現(xiàn)自動編目數(shù)據(jù)、自動化數(shù)據(jù)和業(yè)務(wù)血緣，支持?jǐn)?shù)據(jù)治理工作，并滿足不斷豐富的業(yè)務(wù)場景和數(shù)據(jù)應(yīng)用需求。
入選標(biāo)準(zhǔn)：
1.符合智能數(shù)據(jù)資產(chǎn)目錄市場分析的廠商能力要求;
2.累計在該市場服務(wù)客戶數(shù)5家及以上;
3.累計在該市場收入1000萬及以上。
代表廠商評估：
愛數(shù)
廠商介紹：
上海愛數(shù)信息技術(shù)股份有限公司(簡稱“愛數(shù)”)成立于2006年，是領(lǐng)先的全域數(shù)據(jù)能力服務(wù)商。愛數(shù)以全域數(shù)據(jù)能力、統(tǒng)一架構(gòu)和平臺+生態(tài)模式，打造創(chuàng)新的大數(shù)據(jù)基礎(chǔ)設(shè)施，通過AnyBackup、AnyShare、AnyRobot、AnyDATA、AnyFabric等產(chǎn)品覆蓋全域數(shù)據(jù)的整合、治理、保護，實現(xiàn)數(shù)據(jù)資產(chǎn)化和知識化，與客戶共創(chuàng)數(shù)據(jù)驅(qū)動型組織。依托自身強大的大數(shù)據(jù)基礎(chǔ)設(shè)施，愛數(shù)已服務(wù)超40個國家、地區(qū)的27000+客戶。
產(chǎn)品服務(wù)介紹：
AnyFabric是面向全域數(shù)據(jù)的數(shù)據(jù)資產(chǎn)管理平臺，為企業(yè)或政府機構(gòu)提供的一套智能數(shù)據(jù)資產(chǎn)管理解決方案?；陬I(lǐng)域認(rèn)知智能和Data Fabric架構(gòu)思想，通過對元數(shù)據(jù)的全面采集、深度學(xué)習(xí)、認(rèn)知推理分析，自動關(guān)聯(lián)數(shù)據(jù)的業(yè)務(wù)語義，快速生成數(shù)據(jù)資產(chǎn)知識網(wǎng)絡(luò)，實現(xiàn)業(yè)務(wù)與數(shù)據(jù)的連接，業(yè)務(wù)與業(yè)務(wù)的連接，從而實現(xiàn)以業(yè)務(wù)為中心的數(shù)據(jù)管理和運營，助力客戶實現(xiàn)數(shù)據(jù)驅(qū)動組織，通過認(rèn)知智能輔助數(shù)據(jù)管理和業(yè)務(wù)決策。目前已經(jīng)在政府、制造、零售等行業(yè)率先落地，已經(jīng)積累了不少成功落地案例。
廠商評估：
整體來看，愛數(shù)基于Data Fabric架構(gòu)研發(fā)的AnyFabric在數(shù)據(jù)管理架構(gòu)、認(rèn)知智能和開放集成能力上具備優(yōu)勢。
1)以業(yè)務(wù)為中心設(shè)計產(chǎn)品架構(gòu)，產(chǎn)品功能豐富且貼近業(yè)務(wù)需求。
AnyFabric通過業(yè)務(wù)治理整合數(shù)據(jù)孤島，簡化數(shù)據(jù)治理。相較于基于數(shù)倉的強管控模型下集中化的數(shù)據(jù)治理，愛數(shù)采用了以業(yè)務(wù)為中心編織、連接所有元數(shù)據(jù)，通過建立數(shù)據(jù)資產(chǎn)知識網(wǎng)絡(luò)來編織和驅(qū)動數(shù)據(jù)的方式。AnyFabric通過連接型架構(gòu)和領(lǐng)域認(rèn)知智能作為核心引擎，以業(yè)務(wù)模型為中心連接全域數(shù)據(jù)，利用知識圖譜引擎構(gòu)建數(shù)據(jù)資產(chǎn)知識網(wǎng)絡(luò)，形成了增強型數(shù)據(jù)資產(chǎn)目錄。不僅能夠賦能企業(yè)整合數(shù)據(jù)孤島，還能從業(yè)務(wù)視角出發(fā)，自動化、精確指導(dǎo)數(shù)據(jù)歸集、清洗、開發(fā)和加工等，簡化數(shù)據(jù)治理。
AnyFabric基于業(yè)務(wù)提升數(shù)據(jù)質(zhì)量，實現(xiàn)數(shù)據(jù)資產(chǎn)化。AnyFabric所建立的數(shù)據(jù)資產(chǎn)知識網(wǎng)絡(luò)，能夠快速發(fā)現(xiàn)業(yè)務(wù)與業(yè)務(wù)之間的融合關(guān)系，監(jiān)控業(yè)務(wù)指標(biāo)、風(fēng)險定位，做出問題分析、價值判斷等。在數(shù)據(jù)準(zhǔn)備環(huán)節(jié)圍繞業(yè)務(wù)透視企業(yè)多個系統(tǒng)間的復(fù)雜關(guān)系，并實現(xiàn)直接獲取業(yè)務(wù)部門真正需要的原始數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量?；跇I(yè)務(wù)標(biāo)準(zhǔn)并結(jié)合領(lǐng)域認(rèn)知智能，高效組織和調(diào)度數(shù)據(jù)，開展數(shù)據(jù)治理，最終有效賦能業(yè)務(wù)最大化產(chǎn)生價值。
AnyFabric的業(yè)務(wù)可擴展性強。愛數(shù)采用業(yè)務(wù)視角的連接型架構(gòu)，并將智能資產(chǎn)目錄建立的流程和模板固化到產(chǎn)品中。當(dāng)企業(yè)出現(xiàn)新的業(yè)務(wù)時，將按照步驟進行業(yè)務(wù)梳理和成果輸出，原有的業(yè)務(wù)語義能夠由機器學(xué)習(xí)自動推薦，并識別相關(guān)的業(yè)務(wù)對象、業(yè)務(wù)對象，最終迅速到融入領(lǐng)域業(yè)務(wù)知識網(wǎng)絡(luò)中。后臺通過自動更新，不斷豐富業(yè)務(wù)和數(shù)據(jù)之間的關(guān)系，實現(xiàn)自動迭代和拓展，更好的應(yīng)對企業(yè)的業(yè)務(wù)擴張。
2)融合知識圖譜技術(shù)，具備自動化和智能化能力。
愛數(shù)在知識圖譜領(lǐng)域已有超過四年的技術(shù)沉淀，并在多個行業(yè)有成功項目落地經(jīng)驗。在原有數(shù)據(jù)資產(chǎn)目錄之上，結(jié)合愛數(shù)現(xiàn)有知識圖譜技術(shù)沉淀，使得數(shù)據(jù)資產(chǎn)目錄具備自動化和智能化，形成領(lǐng)域知識網(wǎng)絡(luò)，并在此基礎(chǔ)上實現(xiàn)推理分析和輔助決策，最終實現(xiàn)業(yè)務(wù)智能化。
AnyFabric通過融合機器學(xué)習(xí)、知識圖譜等先進技術(shù)，實現(xiàn)自動化的元數(shù)據(jù)采集、編目數(shù)據(jù)和數(shù)據(jù)血緣跟蹤。通過自動抽取本體和連接，并輔以人工校核，自動形成單業(yè)務(wù)知識圖譜，將多個單業(yè)務(wù)知識圖譜自動匯聚，連接生成企業(yè)級的業(yè)務(wù)知識網(wǎng)絡(luò)，賦能數(shù)據(jù)服務(wù)開發(fā)工作。借助自動化、智能化技術(shù)降低整個過程中數(shù)據(jù)編目的復(fù)雜性和工作量，幫助業(yè)務(wù)和數(shù)據(jù)管理人員輕松掌握數(shù)據(jù)的轉(zhuǎn)換和流動。
3)統(tǒng)一技術(shù)架構(gòu)，能夠與愛數(shù)其他產(chǎn)品線融合，能夠提供端到端的解決方案。
AnyFabric沿用了愛數(shù)統(tǒng)一的技術(shù)棧架構(gòu)，與AnyDATA、AnyShare等愛數(shù)產(chǎn)品內(nèi)置對接，在統(tǒng)一的ONE架構(gòu)上融合部署和深度集成，降低數(shù)據(jù)管理的運維難度和復(fù)雜性，為企業(yè)提供全域數(shù)據(jù)能力和一致的用戶體驗。
典型客戶：
中新天津生態(tài)城、郴州市城市大腦、中國中車 5. 入選廠商列表
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
