如同高跟鞋之于女人,格子衫之于程序員,奧特曼之于小男孩…總有一股說不清,道不明的因子,讓他們?nèi)缤皇└搅四Хㄒ话?,甘愿沉浸其中。今天,CDM之于企業(yè)ITer,也正在徐徐呈現(xiàn)屬于它的獨一無二的“數(shù)據(jù)魔法”。
早在2017年Taneja Group的一項研究就表明,超過30%的公司正在考慮或?qū)嵤〤DM(Copy Data Management,數(shù)據(jù)副本管理)產(chǎn)品。在國內(nèi),金融和運營商行業(yè)的多家頭部用戶也在近兩年相繼完成了CDM產(chǎn)品的部署和應用… 隨著數(shù)字化轉(zhuǎn)型進入深水區(qū),數(shù)據(jù)成為企業(yè)最關鍵的生產(chǎn)資料,CDM“何許人也”,又究竟有何魔力,贏得了諸多企業(yè)的青睞?CDM技術“朋友圈”目前聚集了哪些“小伙伴”,這項技術未來又將保持怎樣的演進……
一個數(shù)百億美元的藍海市場
統(tǒng)計顯示,平均每個企業(yè)要為應用開發(fā)、QA、用戶驗收、產(chǎn)品支持、報告和備份等,從生產(chǎn)數(shù)據(jù)源創(chuàng)建8-10份數(shù)據(jù)副本。因此,以一個5TB的生產(chǎn)數(shù)據(jù)庫為例,往往要為下游創(chuàng)建出40-50TB的數(shù)據(jù)副本。一家500強企業(yè)甚至擁有超過上千個生產(chǎn)數(shù)據(jù)庫,數(shù)據(jù)副本達到PB級規(guī)模。
大量的數(shù)據(jù)副本存在不可避免地造成了一定程度的資源浪費以及維護開銷的增長,有數(shù)據(jù)表明,企業(yè)80%的存儲能力都被次級數(shù)據(jù)所使用。
援引自IDC的數(shù)據(jù)也顯示,目前每年在Copy Data上的開銷達到460億美元,企業(yè)內(nèi)的數(shù)據(jù)副本消耗了60%的存儲空間,并且65%的存儲軟件和85%存儲采購由此產(chǎn)生。
資料來源:IDC
不僅如此,在傳統(tǒng)的生產(chǎn)協(xié)作流程中,當開發(fā)和測試人員想要獲取必須的數(shù)據(jù)副本時,往往需要從提交申請,到完全準備好環(huán)境,耗時幾天甚至以月為單位(數(shù)據(jù)交付時間視數(shù)據(jù)規(guī)模,環(huán)境準備情況等而定)。
這樣的數(shù)據(jù)管理實踐并非最佳,不僅大量浪費了存儲資源,而且還帶來了數(shù)據(jù)合規(guī)和敏捷性等方面的問題,影響了用戶應用程序的快速迭代,這對于今天追求敏捷轉(zhuǎn)型和DevOps轉(zhuǎn)型的企業(yè)而言難以接受。
為了幫助企業(yè)統(tǒng)一管理海量的非關鍵性數(shù)據(jù),尤其是冗余的數(shù)據(jù)副本,業(yè)界采用了CDM技術。什么是CDM?它的主要應用場景又是什么?Gartner對此提出:它從生產(chǎn)環(huán)境通過快照技術獲取有應用一致性保證的數(shù)據(jù),在非生產(chǎn)存儲上生成“黃金副本”(Golden Image),這個“黃金副本”數(shù)據(jù)格式是原始的磁盤格式,可再虛擬化成多個副本直接掛載給服務器,分別用于備份恢復、容災或開發(fā)測試。
Gartner《Hype Cycle for Storage and Data Protection Technologies, 2020》報告指出,CDM技術已經(jīng)度過了了早期的技術炒作期,目前處于“泡沫化的低谷期”(trough of disillusionment),這從側(cè)面說明一些客戶開始在非關鍵性業(yè)務場景集中部署這項技術,而且Gartner也預測CDM技術將在未來5-10年內(nèi)進入“實質(zhì)生產(chǎn)的高峰期”(plateau of productivity)。
聚焦到CDM技術實現(xiàn)的業(yè)務價值,主要體現(xiàn)在以下幾個方面:
第一,降低存儲成本。利用數(shù)據(jù)虛擬化技術,單個數(shù)據(jù)副本即可滿足開發(fā)、測試、備份、恢復、數(shù)據(jù)脫敏、統(tǒng)計分析等多種工作負載需求,同時利用高效的數(shù)據(jù)壓縮技術,進一步節(jié)省了存儲空間,減少企業(yè)不必要的存儲開支(以下圖上訊信息ADM產(chǎn)品數(shù)據(jù)拷貝方式為例)。
ADM數(shù)據(jù)拷貝方式
第二,縮短數(shù)據(jù)交付周期。數(shù)據(jù)準備從原來的按天或者月為單位,縮短到分鐘級,數(shù)據(jù)分發(fā)達到秒級?;贑DM技術的數(shù)據(jù)副本的交付與管理,大大節(jié)省了數(shù)據(jù)交付的時間,為企業(yè)構建了更加敏捷的數(shù)據(jù)管理基礎架構,加速了企業(yè)的DevOps建設,縮短了業(yè)務的開發(fā)測試周期,實現(xiàn)了產(chǎn)品的快速迭代。
第三,降低人力時間投入。傳統(tǒng)方式下,數(shù)據(jù)的導入和導出無法自動完成,面對開發(fā)和測試人員的需求,需要通過人為的傳遞才能完成數(shù)據(jù)從生產(chǎn)環(huán)境到測試環(huán)境的遷移,而且這個過程中還可能需要持續(xù)的獲取增量數(shù)據(jù)資源。CDM技術實現(xiàn)了全流程的自動化配置和編排,從審批到數(shù)據(jù)的導入和導出,這個過程只需要在統(tǒng)一的管理界面上鼠標點擊操作,幾步即可自動完成,極大減輕了存儲管理員和DBA的工作負荷,降低人力時間投入。
第四,提升數(shù)據(jù)集中管控能力。過去,數(shù)據(jù)移交到使用部門之后,管控權利完全在使用部門,只能用流程來控制數(shù)據(jù)的用后銷毀,存在較高的安全管控風險。CDM融合了數(shù)據(jù)動態(tài)和靜態(tài)脫敏,權限管控,合規(guī)審計等多種數(shù)據(jù)保護策略,以集中的數(shù)據(jù)管控,防范敏感數(shù)據(jù)泄露,杜絕不當或者誤操作,以及保留事后的可追溯。交付使用的數(shù)據(jù),可以通過CDM管控平臺實現(xiàn)數(shù)據(jù)的統(tǒng)一集中管控,杜絕測試數(shù)據(jù)出現(xiàn)數(shù)據(jù)孤島,在數(shù)據(jù)使用完之后,可以實現(xiàn)數(shù)據(jù)的快速回收以釋放占用資源,杜絕暗數(shù)據(jù)的出現(xiàn)。
備份和CDM,孰是孰非
在國內(nèi),備份和CDM容易被混淆,有不少備份廠商在其備份產(chǎn)品上通過增加一些CDM功能,作為備份的補充,比如用作快速拉起恢復或者備份校驗,也許從用戶肉眼可見的角度看,功能上都歸整到了統(tǒng)一的界面上,但實際上二者的后臺邏輯相差甚遠。
備份從根本上是作為數(shù)據(jù)的保底存在,一旦發(fā)生物理或邏輯故障,為用戶提供了災難恢復的手段。而CDM側(cè)重于對數(shù)據(jù)的生命周期管理,是牽涉到用戶數(shù)據(jù)獲取,數(shù)據(jù)存儲,數(shù)據(jù)使用的全流程的生產(chǎn)力工具。
傳統(tǒng)備份技術是將數(shù)據(jù)恢復后交付使用,恢復的過程很長,而CDM保存的是原始格式數(shù)據(jù),可以直接交付使用。
從功能上看,備份更多是作為CDM其中的一項數(shù)據(jù)獲取手段。CDM副本數(shù)據(jù)管理基于數(shù)據(jù)虛擬化等核心技術,自動化實現(xiàn)了從數(shù)據(jù)獲取到數(shù)據(jù)使用再到數(shù)據(jù)歸檔,數(shù)據(jù)銷毀的全生命周期管理。其中,在數(shù)據(jù)獲取環(huán)節(jié)既可以通過用戶既有備份系統(tǒng)內(nèi)獲取數(shù)據(jù),也可以通過從生產(chǎn)環(huán)境實時獲取數(shù)據(jù),又或者用戶以腳本的方式自助上傳數(shù)據(jù)等多種方式。相比備份,CDM更加關心的是數(shù)據(jù)的交付使用與管理。
全球生態(tài),風景這邊獨好
過去的十多年時間,CDM的主要玩家分布在北美。在國內(nèi),從上訊信息2016年發(fā)布了國內(nèi)第一款真正意義上的CDM產(chǎn)品開始,近兩年CDM技術在金融和運營商這兩個行業(yè)的蓬勃發(fā)展,推動了開發(fā)測試場景的數(shù)據(jù)架構轉(zhuǎn)型,并且大有替代傳統(tǒng)備份之勢。
1、Actifio
Actifio成立于2009年。2020年,谷歌宣布收購Actifio,收購完成后,Actifio會并入Google Cloud。
Actifio的多云復制數(shù)據(jù)管理(Copy Data Management)軟件平臺虛擬化拷貝數(shù)據(jù),允許以原生格式對數(shù)據(jù)的虛擬副本進行完整的生命周期管理。通過一套豐富的API,Actifio的軟件可以無縫地集成到任何IT服務管理工具、DevOps工具鏈或定制的腳本和應用程序中。
Actifio數(shù)據(jù)虛擬化IT架構及實現(xiàn)原理
2、Cohesity
Cohesity成立于2013年,公司CEO兼聯(lián)合創(chuàng)始人Mohit Aron,之前還聯(lián)合創(chuàng)立過Nutanix,目前該公司最新的市場估值達到37億美元。
對于Cohesity公司來說,在線備份只是其完整數(shù)據(jù)管理平臺的一部分,該平臺專注于解決大規(guī)模數(shù)據(jù)碎片所造成的問題。它側(cè)重于幫助企業(yè)保護和管理位于許多不同位置的二級數(shù)據(jù)。
3、Rubrik
Rubrik也是由前Nutanix的人員發(fā)起創(chuàng)立,提供跨越本地、云端和混合云環(huán)境中的企業(yè)數(shù)據(jù)管理和備份服務。
全球有2500多家企業(yè)和政府使用Rubrik公司的Cloud Data Management解決方案來管理和協(xié)調(diào)跨數(shù)據(jù)中心和云的數(shù)據(jù)。其提供一個單一的數(shù)據(jù)平臺,可以跨數(shù)據(jù)中心和云安全地提供備份,恢復,分析和合規(guī)性。承諾快速恢復,提供接近0的RTO。另外還提供SLA自動化和API優(yōu)先的架構。
4、Delphix
Delphix成立于2008年。Delphix提供了一個API優(yōu)先的數(shù)據(jù)平臺,該平臺跨越多云并支持從云原生主機到舊式大型機的所有應用程序。Delphix可自動執(zhí)行一系列關鍵的復雜數(shù)據(jù)操作,包括遵守GDPR和CCPA等隱私法規(guī)。
Delphix聲稱借助其平臺,可將數(shù)據(jù)占用空間減少10倍,將資源調(diào)配速度提高100倍。借助Delphix虛擬化,用戶可在幾分鐘內(nèi)大規(guī)模配置輕量級虛擬數(shù)據(jù)庫副本,大規(guī)模地將數(shù)據(jù)從生產(chǎn)環(huán)境復制到非生產(chǎn)環(huán)境,以及使用刷新,回滾和快照功能管理虛擬數(shù)據(jù)庫等操作。
5、Catalogic
Catalogic 2013年成立,總部位于美國新澤西州。ECX是該公司提供的CDM軟件產(chǎn)品,大大簡化了副本數(shù)據(jù)管理,實現(xiàn)了數(shù)據(jù)副本的自動化和編排,可以在整個企業(yè)和云中利用該副本進行各種創(chuàng)造價值的用例。借助Catalogic ECX,將開發(fā)/測試基礎架構管理時間減少了多達99%。
ECX還可以幫助用戶將數(shù)據(jù)移動到云中,利用云中成本更低,更具彈性的計算基礎架構,借助ECX,在某些用例中利用云時,用戶的投資回報率超過300%。
6、上訊信息
上訊信息2010年成立,2016年率先發(fā)布了國內(nèi)首款CDM產(chǎn)品—敏捷數(shù)據(jù)管理平臺(ADM),這是一款集數(shù)據(jù)驗證恢復、數(shù)據(jù)虛擬化、數(shù)據(jù)脫敏和數(shù)據(jù)庫審計為一體的數(shù)據(jù)全生命周期管理產(chǎn)品。通過一個平臺,解決數(shù)據(jù)獲取,數(shù)據(jù)存儲,數(shù)據(jù)構建,數(shù)據(jù)使用,數(shù)據(jù)歸檔,數(shù)據(jù)銷毀的所有數(shù)據(jù)問題。
數(shù)據(jù)使用的全生命周期管理,資料來源:上訊信息
ADM核心技術-數(shù)據(jù)虛擬化技術,可以通過一份數(shù)據(jù)的“黃金副本”快速創(chuàng)建出多份數(shù)據(jù)副本交付使用,所交付的數(shù)據(jù)都是可讀可寫的,并且可以達到分鐘級的數(shù)據(jù)交付效率,以及實現(xiàn)10倍以上的存儲成本節(jié)省。目前,ADM獲得了金融和運營商行業(yè)多家頭部客戶的使用和持續(xù)復購。
CDM:我的未來不是夢
對每一家致力于數(shù)據(jù)驅(qū)動的企業(yè)和組織而言,CDM技術無疑重塑了其過去臃腫的數(shù)據(jù)架構和繁冗的數(shù)據(jù)管理流程,以敏捷的數(shù)據(jù)架構就緒企業(yè)數(shù)字化轉(zhuǎn)型,加速業(yè)務交付,提高企業(yè)的決策效率以及生產(chǎn)力水平。
但這并不是CDM的全部,這項令人著迷不已的技術未來又將擁有怎樣的蛻變?做一些預測:
第一,跨越本地數(shù)據(jù)中心,邊緣和多公有云的數(shù)據(jù)流動和存儲。CDM需要滿足混合多云時代用戶對數(shù)據(jù)在不同端的流動和統(tǒng)一管理的需求,支持不同位置的基礎環(huán)境,例如可利用公有云更加經(jīng)濟、彈性的存儲資源,進一步降低OPEX。而無論是部署于邊緣,本地還是多公有云,都需要滿足一致性和可用性服務體驗。
第二,以數(shù)據(jù)為中心,打通數(shù)據(jù)上中下游鏈條,實現(xiàn)數(shù)據(jù)的全生命周期管理。從產(chǎn)品的角度,可以基于靈活的license授權,為用戶按需交付備份容災,備份校驗,數(shù)據(jù)虛擬化,數(shù)據(jù)脫敏,合規(guī)審計等不同功能,而從后臺邏輯來看,支持一個統(tǒng)一的數(shù)據(jù)平臺,能夠無縫連通數(shù)據(jù)的全生命周期統(tǒng)一管理。
第三,CDM技術與垂直應用場景的緊耦合,強關聯(lián)。例如,開發(fā)測試場景下,能否基于一套數(shù)據(jù)平臺,跑通所有的開發(fā)測試作業(yè),而無需額外使用第三方平臺,例如測試版本控制,以降低額外的資源消費,提高開發(fā)測試效率。
相信隨著技術的不斷完善以及生態(tài)的成熟,CDM,未來可期!
免責聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關。文章僅供讀者參考,并請自行核實相關內(nèi)容。投訴郵箱:editor@fromgeek.com。
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。