都說“存算分離”好，分布式數(shù)據(jù)庫(kù)為何還要“進(jìn)一步分離”？

歷史上，數(shù)據(jù)庫(kù)“存算一體”和“存算分離”的變更

第一代的“存算一體”數(shù)據(jù)庫(kù)是80年代的IBM大機(jī)，提供計(jì)算、數(shù)據(jù)庫(kù)、存儲(chǔ)、中間件，解決了核心交易場(chǎng)景對(duì)性能和可靠性的訴求，但他的缺點(diǎn)同樣明顯，貴！高昂的采購(gòu)費(fèi)用、封閉的硬件生態(tài)和高昂的售后維保價(jià)格，大機(jī)的壟斷，即使是銀行這類不差錢的企業(yè)也感到肉疼。大機(jī)有限的存儲(chǔ)擴(kuò)展能力，也限制了數(shù)據(jù)庫(kù)的容量。

隨著商用數(shù)據(jù)庫(kù)和高端存儲(chǔ)的發(fā)展，IOE架構(gòu)出現(xiàn)了。IOE指以IBM小型機(jī)、Oracle數(shù)據(jù)庫(kù)和EMC存儲(chǔ)設(shè)備為代表的IT基礎(chǔ)體系。這一架構(gòu)極為“先進(jìn)”和“開放”，打破了大機(jī)的壟斷，在性能和可靠性上也完全滿足企業(yè)業(yè)務(wù)的訴求。這一架構(gòu)的出現(xiàn)，讓數(shù)據(jù)庫(kù)從“存算一體”，走向了“存算分離”。諷刺的是，隨著這一架構(gòu)的發(fā)展，形成了新的壟斷。

隨著云和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，數(shù)據(jù)量和用戶量激增，雙11購(gòu)物節(jié)、12306春運(yùn)搶票等突發(fā)業(yè)務(wù)對(duì)數(shù)據(jù)庫(kù)業(yè)務(wù)造成了巨大的沖擊。IOE架構(gòu)欠缺橫向擴(kuò)展能力，讓數(shù)據(jù)庫(kù)無法滿足激增的性能訴求和靈活擴(kuò)容訴求。

芯片技術(shù)持續(xù)發(fā)展，Intel的Tick-Tock策略，讓芯片制程和架構(gòu)以每?jī)赡暌淮蔚闹芷谶M(jìn)行更新，CPU的性能隨之水漲船高。X86通用服務(wù)器享受到了這一紅利，其性能越來越高，成本越來越低。ARM生態(tài)的持續(xù)發(fā)展，讓ARM架構(gòu)的處理器在服務(wù)器領(lǐng)域也開始嶄露頭角，讓企業(yè)擁有了更多的選擇。分布式數(shù)據(jù)庫(kù)無最大節(jié)點(diǎn)數(shù)的限制，巨大的性能沖擊可分散到海量的服務(wù)器集群并發(fā)處理。用戶需求的催化和服務(wù)器硬件的發(fā)展，使得分布式數(shù)據(jù)庫(kù)‘火’了起來。

分布式數(shù)據(jù)庫(kù)部署靈活，極為契合云原生應(yīng)用使用場(chǎng)景，再加上企業(yè)擺脫IOE依賴的商業(yè)考量，企業(yè)紛紛嘗試使用通用服務(wù)器打造靈活易擴(kuò)展的分布式數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)由“存算分離”再次轉(zhuǎn)向“存算一體”。

“存算一體”架構(gòu)

數(shù)據(jù)庫(kù)“存算一體”不是終極解決方案

從歷史上的“存算一體”和“存算分離”變更來看，客戶需求和業(yè)務(wù)需求的變化才是推動(dòng)架構(gòu)變更的根源。

那么，當(dāng)前“存算一體”的架構(gòu)是否完全滿足客戶和業(yè)務(wù)的訴求呢？答案是否定的。

企業(yè)試水分布式數(shù)據(jù)庫(kù)的初期，數(shù)據(jù)量不大，整個(gè)集群的規(guī)模有限，運(yùn)行的往往不是最核心的業(yè)務(wù)，對(duì)性能和可靠性的要求相對(duì)不高。隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)量持續(xù)增加，分布式數(shù)據(jù)庫(kù)單庫(kù)性能較差，需要拆分成500G左右的分片。為了滿足性能和可靠性要求，企業(yè)往往通過堆疊服務(wù)器來解決，導(dǎo)致數(shù)據(jù)庫(kù)集群的規(guī)模越來越大，TCO持續(xù)增加。

為了實(shí)現(xiàn)高可靠，分布式數(shù)據(jù)庫(kù)通常采用1主多從的架構(gòu)，多個(gè)從節(jié)點(diǎn)大部分時(shí)間都處于閑置狀態(tài)，導(dǎo)致CPU資源利用率極低。每一臺(tái)服務(wù)器就是一個(gè)數(shù)據(jù)孤島，存儲(chǔ)無法按需分配，數(shù)據(jù)在服務(wù)器間流動(dòng)困難，導(dǎo)致存儲(chǔ)利用率低且存在單點(diǎn)性能瓶頸。服務(wù)器故障后，無法自動(dòng)切換，需投入大量人力和時(shí)間手工恢復(fù)數(shù)據(jù)，可用性變差。某運(yùn)營(yíng)商的核心分布式數(shù)據(jù)庫(kù)，CPU平均利用率7%，存儲(chǔ)利用率低于40%，節(jié)點(diǎn)故障平均4TB數(shù)據(jù)需要投入5人3小時(shí)恢復(fù)，分布式數(shù)據(jù)庫(kù)“存算一體”架構(gòu)資源浪費(fèi)和可用性差已經(jīng)成為了企業(yè)的核心之痛。

分布式數(shù)據(jù)庫(kù)“存算分離”如何解決企業(yè)核心之痛

“存算分離”架構(gòu)

“存算一體”架構(gòu)需要考慮CPU、內(nèi)存、存儲(chǔ)容量/IOPS/帶寬，網(wǎng)絡(luò)IO/帶寬，多達(dá)7個(gè)維度，任意一個(gè)維度的資源不滿足就會(huì)導(dǎo)致無法滿足應(yīng)用訴求。而“存算分離”，按照計(jì)算和存儲(chǔ)兩個(gè)維度，將這7個(gè)維度拆分為兩個(gè)領(lǐng)域，降低選型復(fù)雜度。分別構(gòu)建計(jì)算資源池和存儲(chǔ)資源池，提升資源利用率。擴(kuò)容可實(shí)現(xiàn)計(jì)算和存儲(chǔ)的按需擴(kuò)容，節(jié)約投資。

外置存儲(chǔ)陣列本身有非常好的可靠性設(shè)計(jì)，如RAID冗余、靜默數(shù)據(jù)校驗(yàn)、兩地三中心等可靠性保障，其可靠性等級(jí)高于服務(wù)器至少兩個(gè)數(shù)量級(jí)，因此存儲(chǔ)應(yīng)該是一個(gè)“長(zhǎng)期”的共享存儲(chǔ)。服務(wù)器的可靠性偏弱，“存算分離”后，即使服務(wù)器故障，由于全局共享一份數(shù)據(jù)，可實(shí)現(xiàn)免數(shù)據(jù)復(fù)制快速恢復(fù)業(yè)務(wù)，實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)整體的高可用。

采用“存算分離”架構(gòu)后，由于全局共享一份數(shù)據(jù)，一些不必要的消耗可以被避免，可提升數(shù)據(jù)庫(kù)整體的性能表現(xiàn)。例如半同步，每增加一個(gè)從節(jié)點(diǎn)都會(huì)導(dǎo)致10%的性能下降。采用“存算分離”后，不再需要半同步技術(shù)。

外置存儲(chǔ)陣列對(duì)性能的優(yōu)化更加深入，全閃存存儲(chǔ)，尤其是全NVME的存儲(chǔ)，可提供極致的性能體驗(yàn)。存儲(chǔ)共享資源池不僅可提升資源利用率，還能利用不同應(yīng)用不同時(shí)間對(duì)存儲(chǔ)性能峰谷要求不同的特點(diǎn)，將所有的IO分散到所有的磁盤，實(shí)現(xiàn)削峰填谷，達(dá)到最佳性能。

“存算分離”將走向何方

著名開源數(shù)據(jù)庫(kù)TiDB創(chuàng)始人黃東旭在《近十年數(shù)據(jù)庫(kù)流行趨勢(shì)縱覽！存儲(chǔ)計(jì)算分離、ACID 全面回歸......》一文中將“存儲(chǔ)和計(jì)算進(jìn)一步分離”作為近年數(shù)據(jù)庫(kù)流行趨勢(shì)之首。那么‘進(jìn)一步分離’到底如何做呢？且看業(yè)界大牛的做法。

阿里副總裁，數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部總裁李飛飛在《云原生分布式數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)點(diǎn)亮數(shù)據(jù)上云之路》一文中，提出了下一代分布式數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)，在“存算分離”的基礎(chǔ)上繼續(xù)將原本在服務(wù)器間進(jìn)行同步的Redo Log下推到共享存儲(chǔ)資源池，不再需要同步日志，減少了服務(wù)器主從同步的消耗。

亞馬遜的首席技術(shù)官兼副總裁在Werner Vogels在《Amazon Aurora 是如何設(shè)計(jì)原生云關(guān)系型數(shù)據(jù)庫(kù)的？》一文中介紹Aurora的“存算分離”架構(gòu)。這一架構(gòu)將在“存算分離”的基礎(chǔ)上，將原來在計(jì)算節(jié)點(diǎn)處理的緩存層和日志層功能下推到共享存儲(chǔ)，可提升5倍的寫IOPS。

2022年1月20日，阿里對(duì)多主架構(gòu)進(jìn)行了灰度發(fā)布，面向多租戶、游戲、電商等高并發(fā)讀寫的應(yīng)用場(chǎng)景，實(shí)現(xiàn)從一寫多讀架構(gòu)到多寫多讀架構(gòu)的升級(jí)。多主架構(gòu)是為了解決寫性能瓶頸問題。

同阿里一樣，亞馬遜從Aurora MySQL 版本1開始，提供了多主集群和多寫能力，在多主集群中，所有數(shù)據(jù)庫(kù)實(shí)例都可以執(zhí)行寫操作，以提供故障時(shí)的“持續(xù)可用性”。

在2021年第四屆中國(guó)金融科技產(chǎn)業(yè)峰會(huì)上，華為攜手愛可生、海量數(shù)據(jù)發(fā)布的分布式數(shù)據(jù)庫(kù)存儲(chǔ)解決方案，提出通過數(shù)據(jù)多寫使能引擎、數(shù)據(jù)共享加速引擎、數(shù)據(jù)持久保護(hù)引擎，三大引擎技術(shù)重新定義分布式數(shù)據(jù)庫(kù)‘存算分離’架構(gòu)。

這一架構(gòu)采用華為的OceanStor Dorado全閃存作為共享存儲(chǔ)資源池，支持分布式數(shù)據(jù)庫(kù)多主架構(gòu)，支持多寫多讀，免分庫(kù)分表，提升計(jì)算密度。將page管理和日志管理下推到OceanStor Dorado全閃存，讓企業(yè)存儲(chǔ)來取代服務(wù)器做數(shù)據(jù)同步，降低服務(wù)器開銷，提升數(shù)據(jù)庫(kù)整體性能。

今天，各個(gè)廠商，不論是國(guó)外國(guó)內(nèi)，不論是互聯(lián)網(wǎng)企業(yè)還是傳統(tǒng)ICT企業(yè)，關(guān)于分布式數(shù)據(jù)庫(kù)“存算分離”的看法和做法，都是一致的。即在“存算分離”的基礎(chǔ)上，進(jìn)一步將原服務(wù)器運(yùn)行的數(shù)據(jù)庫(kù)存儲(chǔ)引擎功能進(jìn)一步下推至共享存儲(chǔ)，釋放計(jì)算節(jié)點(diǎn)的算力，提升單節(jié)點(diǎn)數(shù)據(jù)處理能力；推出多主架構(gòu)，拋棄從節(jié)點(diǎn)，節(jié)省大量服務(wù)器投資；支持多寫多讀，充分發(fā)揮共享存儲(chǔ)資源池共享一份數(shù)據(jù)的優(yōu)勢(shì)，免數(shù)據(jù)拷貝，降低故障切換時(shí)間。

未來，共享存儲(chǔ)必將取代傳統(tǒng)的分布式數(shù)據(jù)庫(kù)存儲(chǔ)引擎功能，結(jié)合容器技術(shù)，分布式數(shù)據(jù)庫(kù)將完成無狀態(tài)化改造。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。