騰“云”駕“數(shù)”!天翼云TeleDB for AnalyticDB助力企業(yè)高效搭建數(shù)倉(cāng)!

隨著智能時(shí)代的到來(lái),全球在線數(shù)據(jù)量快速增長(zhǎng),企業(yè)希望從海量數(shù)據(jù)中獲得有價(jià)值的信息,使得數(shù)據(jù)分析需求日益增長(zhǎng)。然而,傳統(tǒng)數(shù)據(jù)庫(kù),以及基于Hadoop架構(gòu)的數(shù)據(jù)庫(kù)產(chǎn)品難以滿足企業(yè)快速增長(zhǎng)的需求,業(yè)界急需一款在性能、經(jīng)濟(jì)、安全可靠性方面都表現(xiàn)優(yōu)秀的分析型數(shù)據(jù)庫(kù)(數(shù)據(jù)倉(cāng)庫(kù))。

針對(duì)市場(chǎng)需求,天翼云推出了新一代云原生分析型數(shù)據(jù)庫(kù)TeleDB for AnalyticDB(簡(jiǎn)稱TeleDB-ADB),為國(guó)內(nèi)數(shù)據(jù)分析市場(chǎng)提供了一款新的解決方案。目前,TeleDB-ADB已經(jīng)在中國(guó)電信內(nèi)部的數(shù)據(jù)分析、清單查詢等生產(chǎn)場(chǎng)景實(shí)踐應(yīng)用,助力用戶高效組織、存儲(chǔ)和管理數(shù)據(jù)。

TeleDB-ADB自上而下由三層獨(dú)立的可擴(kuò)展組件組成:元數(shù)據(jù)、計(jì)算集群和存儲(chǔ)層,基于獨(dú)立的可擴(kuò)展組件設(shè)計(jì),TeleDB-ADB可處理超大規(guī)模數(shù)據(jù)的存儲(chǔ)、管理和高并發(fā)、高性能的數(shù)據(jù)查詢需求,各組件的功能如下:

元數(shù)據(jù):基于分布式KV設(shè)計(jì),負(fù)責(zé)處理和保存系統(tǒng)元數(shù)據(jù),如表結(jié)構(gòu)、索引、分區(qū)信息、數(shù)據(jù)類型等,可管理億級(jí)以上數(shù)據(jù)庫(kù)對(duì)象;

計(jì)算集群:采用MPP Shared-Nothing架構(gòu),允許多個(gè)用戶通過(guò)不同的計(jì)算集群訪問(wèn)存儲(chǔ)層的公共數(shù)據(jù),并執(zhí)行高性能的加載、查詢等工作。因?yàn)橛?jì)算層不存儲(chǔ)用戶數(shù)據(jù)和元數(shù)據(jù),所以該組件是無(wú)狀態(tài)的、可按需調(diào)配的;

存儲(chǔ)層:基于云架構(gòu)的對(duì)象存儲(chǔ)系統(tǒng),可存取大量各種結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)對(duì)全局計(jì)算集群共享,以及在不同集群的寫入數(shù)據(jù)在其他集群立即可見,有效避免了多集群數(shù)據(jù)冗余存儲(chǔ)、數(shù)據(jù)遷移帶來(lái)的額外影響和資源消耗。

除上述組件外,TeleDB-ADB還配有高效的集群管控,管控集群采用圖形化配置,管理數(shù)據(jù)庫(kù)提供包括運(yùn)維管理、權(quán)限管理、監(jiān)控告警、參數(shù)配置等能力,并通過(guò)ETCD提供的Raft一致性算法處理,解決了整個(gè)數(shù)據(jù)庫(kù)分布式系統(tǒng)中關(guān)鍵配置的一致性問(wèn)題。依托該設(shè)計(jì)方式,TeleDB-ADB能夠更好地支持復(fù)雜的數(shù)據(jù)分析任務(wù),提高數(shù)據(jù)處理效率和準(zhǔn)確性,以及可擴(kuò)展性,使能用戶按需創(chuàng)建、刪除、伸縮計(jì)算集群。同時(shí),集群間資源完全隔離,用戶可采用不同配置、不同品牌、不同架構(gòu)的硬件混合部署在私有云平臺(tái)或物理服務(wù)器上。

TeleDB-ADB聚焦“性能、成本、彈性、安全”四大核心要素,為用戶提供海量數(shù)據(jù)分析以及處理復(fù)雜計(jì)算任務(wù)等服務(wù)。

性能卓越,業(yè)內(nèi)領(lǐng)先

TeleDB-ADB采用先進(jìn)的分布式架構(gòu),能夠輕松應(yīng)對(duì)PB級(jí)海量數(shù)據(jù),擁有近乎GB/s的數(shù)據(jù)導(dǎo)入速率。無(wú)論是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù),TeleDB-ADB都能實(shí)現(xiàn)高效存儲(chǔ)和查詢。

在TPC-DS(分析型數(shù)據(jù)庫(kù)性能測(cè)試基準(zhǔn))的標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集下的1~99個(gè)查詢SQL集中,TeleDB-ADB比某知名數(shù)據(jù)庫(kù)平均性能優(yōu)秀約5%(如下圖)。

在某個(gè)混合數(shù)據(jù)倉(cāng)庫(kù)(后稱數(shù)倉(cāng))大數(shù)據(jù)能力開放平臺(tái)CDAP項(xiàng)目中,TeleDB-ADB解決了用戶在數(shù)據(jù)在線應(yīng)用時(shí)遇到的復(fù)雜分析和高并發(fā)問(wèn)題。該企業(yè)原有系統(tǒng)在面對(duì)復(fù)雜數(shù)據(jù)分析時(shí),難以在合理的時(shí)間內(nèi)給出結(jié)果,業(yè)務(wù)方不得不將一張大表拆分成數(shù)張小表,再進(jìn)行數(shù)據(jù)分析、結(jié)果匯總和檢查,而TeleDB-ADB則可在分鐘級(jí)時(shí)間內(nèi)產(chǎn)出正確結(jié)果。

比如,在該企業(yè)的多表關(guān)聯(lián)查詢的業(yè)務(wù)場(chǎng)景中,需要進(jìn)行42張表的聯(lián)接操作,其中主表包含2400萬(wàn)條數(shù)據(jù),關(guān)聯(lián)表數(shù)據(jù)量在1000萬(wàn)~4000萬(wàn)之間,分析需求需要通過(guò)左連接方式進(jìn)行關(guān)聯(lián),TeleDB-ADB在2分鐘左右就獲取了正確結(jié)果,幫助用戶迅速解決業(yè)務(wù)中各類復(fù)雜分析需求。

自動(dòng)調(diào)配資源,實(shí)現(xiàn)降本增效

據(jù)多個(gè)用戶的最佳實(shí)踐顯示,TeleDB-ADB的投入比傳統(tǒng)數(shù)倉(cāng)節(jié)省約1/3,給予用戶極致的TCO(總體擁有成本)。這是由于傳統(tǒng)數(shù)倉(cāng)需要基于計(jì)算和存儲(chǔ)峰值準(zhǔn)備資源,而企業(yè)的實(shí)際分析需求是波動(dòng)的(如下圖灰線所示),這意味著在某些時(shí)刻,這些數(shù)倉(cāng)的計(jì)算和存儲(chǔ)資源有可能被浪費(fèi)。TeleDB-ADB采用計(jì)算與存儲(chǔ)完全解耦的優(yōu)秀架構(gòu),在基于對(duì)象存儲(chǔ)提供近乎無(wú)限的延展性和高彈性的同時(shí),可自動(dòng)擴(kuò)縮容計(jì)算資源,在業(yè)務(wù)不需要的時(shí)候釋放計(jì)算資源,需要的時(shí)候再添加,其TCO在不同時(shí)期是波動(dòng)的(如下圖紅色模塊所示)。

另外,TeleDB-ADB的元數(shù)據(jù)系統(tǒng),可保障數(shù)據(jù)全局可見,從而支持多個(gè)計(jì)算需求使用同一份數(shù)據(jù)進(jìn)行計(jì)算,而不需要額外的副本。例如在大數(shù)據(jù)分析、多年歷史分析和海量日志分析等需要存儲(chǔ)和使用大量歷史數(shù)據(jù)的場(chǎng)景中,元數(shù)據(jù)系統(tǒng)大大了提高存儲(chǔ)資源利用率,以及數(shù)據(jù)的治理效率。

此外,TeleDB-ADB基于SQL:2003標(biāo)準(zhǔn),可提供完整的事務(wù)能力,兼容PostgreSQL和Greenplum協(xié)議語(yǔ)法,支持標(biāo)準(zhǔn)的JDBC和ODBC接口。這意味著TeleDB-ADB可與市場(chǎng)上大多數(shù)成熟的BI或ETL工具兼容,由此企業(yè)幾乎可以無(wú)縫遷移到TeleDB-ADB。

無(wú)限彈性,輕松應(yīng)對(duì)海量數(shù)據(jù)

在面對(duì)企業(yè)打通部門數(shù)據(jù)墻、構(gòu)建統(tǒng)一數(shù)據(jù)中臺(tái)的需求時(shí),TeleDB-ADB可同時(shí)為眾多部門和分支機(jī)構(gòu)提供訪問(wèn),讓不同應(yīng)用需求共享一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。相對(duì)于傳統(tǒng)數(shù)倉(cāng),TeleDB-ADB具有更優(yōu)秀的并發(fā)能力、擴(kuò)展性能,以及更高的容量。

相較來(lái)說(shuō),傳統(tǒng)數(shù)倉(cāng)雖彈性可擴(kuò)展,但其架構(gòu)中的計(jì)算和存儲(chǔ)是緊耦合的。在擴(kuò)容涉及到數(shù)據(jù)的重分布時(shí),數(shù)倉(cāng)通常存儲(chǔ)的數(shù)據(jù)量達(dá)TB或PB級(jí)別,完成一次數(shù)據(jù)重分布需要花費(fèi)至少幾個(gè)小時(shí)甚至更長(zhǎng)時(shí)間。有些傳統(tǒng)數(shù)倉(cāng)在重分布期間也無(wú)法正常寫入數(shù)據(jù),這將對(duì)部分業(yè)務(wù)的正常運(yùn)行造成影響。這也意味著大多數(shù)傳統(tǒng)數(shù)倉(cāng)仍然需要基于峰值準(zhǔn)備資源。

而TeleDB-ADB可對(duì)計(jì)算和存儲(chǔ)資源進(jìn)行單獨(dú)的擴(kuò)縮容,使得數(shù)據(jù)庫(kù)在擴(kuò)展過(guò)程中仍能提供服務(wù)。它能夠根據(jù)存儲(chǔ)和計(jì)算資源的不足進(jìn)行擴(kuò)展,在實(shí)現(xiàn)分鐘級(jí)擴(kuò)展的同時(shí)保證二者互不影響。當(dāng)沒有計(jì)算任務(wù)時(shí),TeleDB-ADB還可在不影響數(shù)據(jù)持久性和可訪問(wèn)性的情況下釋放計(jì)算資源,極大地提高了公司計(jì)算資源的使用效率。

安全為先,守護(hù)數(shù)據(jù)寶藏

TeleDB-ADB作為分析型數(shù)據(jù)庫(kù),高度重視數(shù)據(jù)安全能力打造,通過(guò)了國(guó)家等保三級(jí)備案和密評(píng)檢查,提供多重身份認(rèn)證、強(qiáng)制訪問(wèn)控制、數(shù)據(jù)加密、安全審計(jì)等多種安全特性,以及精確到行、列級(jí)的權(quán)限,有效保障用戶的安全和隱私。

TeleDB-ADB具備高可用性和容災(zāi)備份能力,支持跨地域的多地多中心部署架構(gòu),即使在極端情況下,依托故障自愈能力和數(shù)據(jù)強(qiáng)一致性,也能保障用戶數(shù)據(jù)的完整性和數(shù)據(jù)安全。

總體來(lái)說(shuō),TeleDB-ADB依托先進(jìn)的架構(gòu),具備強(qiáng)大的數(shù)據(jù)處理能力、靈活的可擴(kuò)展性、可靠的安全性以及完善的用戶服務(wù)體系,并在實(shí)踐中積累了豐富的落地經(jīng)驗(yàn)。對(duì)于希望提升數(shù)據(jù)處理效率、降低成本并獲得更多商業(yè)洞察的企業(yè)來(lái)說(shuō),通過(guò)TeleDB-ADB,企業(yè)可以更好地挖掘數(shù)據(jù)價(jià)值,為業(yè)務(wù)決策提供有力支持。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )