近日,天翼云聯(lián)合科技媒體InfoQ舉辦了以“存儲難題新解法,揭秘極致易用的HBlock”為主題的線上技術(shù)分享會。天翼云國際業(yè)務(wù)事業(yè)部研發(fā)專家武志民與存儲產(chǎn)品線總監(jiān)魏瑋以“天翼云存儲資源盤活系統(tǒng) HBlock,深挖獨(dú)創(chuàng)技術(shù)亮點(diǎn)與實(shí)戰(zhàn)演練”為主題,分享了HBlock在安裝部署、數(shù)據(jù)可靠性和安全性保障、混沌測試與性能分析等方面的內(nèi)容。
安裝部署超易用,打造企業(yè)數(shù)據(jù)存儲底座
隨著數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展,數(shù)據(jù)作為核心生產(chǎn)要素,已成為數(shù)字經(jīng)濟(jì)發(fā)展的重要基石。與此同時(shí),數(shù)據(jù)規(guī)模持續(xù)爆炸性增長,數(shù)據(jù)類型不斷豐富,企業(yè)對數(shù)據(jù)處理與分析速度要求越來越高,帶來了一系列存儲的新挑戰(zhàn)。
盡管市場上的分布式存儲產(chǎn)品和解決方案層出不窮,但如何提高企業(yè)存儲資源利用率,同時(shí)滿足安全可靠、高性能、方便易用、降本增效等需求絕非易事。在天翼云最新發(fā)布的存儲資源盤活系統(tǒng)HBlock中,我們看到了分布式存儲的全新“解題思路”。
作為天翼云自主研發(fā)的業(yè)內(nèi)第一款全用戶態(tài)的軟件定義存儲產(chǎn)品,HBlock采用極簡設(shè)計(jì)模式,相比于傳統(tǒng)存儲存在建設(shè)周期長、安裝部署復(fù)雜、擴(kuò)容難等問題,HBlock安裝包只有170MB左右,可安裝在任何主流Linux操作系統(tǒng)上,不依賴于NTP服務(wù)器,3個(gè)命令行完成安裝部署,3分鐘即可建立數(shù)據(jù)中心級別集群,大幅降低安裝部署門檻,同時(shí)可以按需擴(kuò)容,為用戶帶來極佳的使用體驗(yàn)。
與傳統(tǒng)存儲軟硬一體的模式不同,HBlock對底層基礎(chǔ)設(shè)施完全解耦,可以適配存量異構(gòu)服務(wù)器環(huán)境,解決了硬件兼容性問題,可將X86、ARM、龍芯等不同架構(gòu)服務(wù)器上的存儲資源進(jìn)行統(tǒng)一管理,轉(zhuǎn)換成高性能的虛擬存儲陣列,通過標(biāo)準(zhǔn)iSCSI協(xié)議提供分布式塊存儲服務(wù)。
高可用技術(shù)架構(gòu),保障企業(yè)數(shù)據(jù)安全
通常,人們認(rèn)為傳統(tǒng)集中式存儲的軟硬件結(jié)合模式才具有極高的可用性,HBlock用出色的技術(shù)架構(gòu)在純軟件上實(shí)現(xiàn)了令人刮目相看的高可用性。HBlock基于MPIO的“一主多備”方案,故障場景下支持?jǐn)?shù)據(jù)鏈路自動(dòng)切換,集群中所有服務(wù)都采用冗余模式部署,數(shù)據(jù)處理過程不依賴任何時(shí)鐘服務(wù)器,使用天翼云自研的分布式租約和心跳機(jī)制進(jìn)行主備切換,從發(fā)生故障到故障發(fā)現(xiàn),再到完成服務(wù)接管,整個(gè)過程幾秒內(nèi)就能完成。在切換過程中,分布式多控制器保證了兩個(gè)緩存之間的數(shù)據(jù)是強(qiáng)一致的,確保數(shù)據(jù)不丟失。
針對不同容量、不同性能表現(xiàn)、不同負(fù)載的節(jié)點(diǎn)及磁盤組成的集群,數(shù)據(jù)應(yīng)當(dāng)如何分布,由HBlock的多因子權(quán)重算法來決定:針對空間總量、使用量、使用率的空間因子;針對讀寫并發(fā)數(shù)、內(nèi)存、磁盤負(fù)載的負(fù)載因子;針對時(shí)延、帶寬的網(wǎng)絡(luò)因子。三種因子通過綜合計(jì)算得出總體權(quán)重,用來確定數(shù)據(jù)存放的節(jié)點(diǎn)或磁盤,充分發(fā)揮各個(gè)部件的性能,同時(shí)可避免性能差、負(fù)載高的節(jié)點(diǎn)及磁盤成為性能瓶頸。
HBlock還通過靈活的QoS(Quality of Service,服務(wù)質(zhì)量)特性來保障讀寫的服務(wù)質(zhì)量;在空間和內(nèi)存緊張時(shí),會觸發(fā)一個(gè)平滑的降速,同時(shí)在管理側(cè)通過告警、系統(tǒng)事件、發(fā)郵件等方式通知管理員人為干預(yù),這樣可以避免存儲資源耗盡導(dǎo)致業(yè)務(wù)突然中斷的問題。HBlock具有讀寫分離控制的機(jī)制,對于不同的資源,降速的請求是不一樣的,空間緊張時(shí)降低寫速度,內(nèi)存緊張時(shí)同時(shí)降低讀寫速度。擴(kuò)容后,由多因子權(quán)重算法決策平衡方案,負(fù)載向新節(jié)點(diǎn)傾斜,可靈活配置業(yè)務(wù)優(yōu)先或數(shù)據(jù)恢復(fù)優(yōu)先策略,滿足不同需求場景。
HBlock可以設(shè)置節(jié)點(diǎn)或磁盤級別的故障域,每個(gè)存儲卷都可以選擇糾刪碼或副本等不同的冗余方式??梢詸z測數(shù)據(jù)靜默錯(cuò)誤,保障數(shù)據(jù)完整性。另外,HBlock是面向混沌環(huán)境的設(shè)計(jì)的,在各種弱電(電源不穩(wěn)定、時(shí)鐘抖動(dòng)、CPU降速)、弱盤(老化降速、讀寫失敗)、弱網(wǎng)(網(wǎng)卡降速、丟包、錯(cuò)包)等情況下,通過分布式租約、實(shí)時(shí)感知故障、多因子空間分配、壞盤后快速重構(gòu)等技術(shù)手段確保數(shù)據(jù)不丟。
高性能實(shí)戰(zhàn)表現(xiàn),激活企業(yè)數(shù)據(jù)潛力
HBlock的存儲性能表現(xiàn)優(yōu)異,單卷IOPS可達(dá)15萬次、讀寫延遲200微秒的性能表現(xiàn)完全能夠勝任多種業(yè)務(wù)場景的性能需求,并支持1024節(jié)點(diǎn)彈性擴(kuò)展和PB級存儲資源池。HBlock之所有具有如此出色的性能,要?dú)w功于領(lǐng)先的分布式多控制器架構(gòu)和智能調(diào)度算法,通過多模式寫緩存與讀緩存的設(shè)計(jì)來實(shí)現(xiàn)高性能。
HBlock具有WriteBack、WriteThrough、WriteAround三種寫緩存模式,可以根據(jù)不同場景的讀寫需求來動(dòng)態(tài)調(diào)整;同時(shí),HBlock會根據(jù)網(wǎng)絡(luò)距離和節(jié)點(diǎn)負(fù)載選擇最合適的節(jié)點(diǎn),將數(shù)據(jù)放在緩存中,避免對磁盤頻繁的小IO操作,更好地發(fā)揮存儲介質(zhì)的性能。
通過與開源Ceph的對比測試發(fā)現(xiàn),在1MB大IO、三副本讀寫的場景下,HBlock讀帶寬300多兆,寫帶寬350多兆,是Ceph的2倍以上。隨機(jī)讀、隨機(jī)寫的帶寬也是Ceph的1倍以上。用4K小IO進(jìn)行讀寫,HBlock性能表現(xiàn)有更突出的優(yōu)勢,單線程讀寫場景下HBlock的讀、寫、隨機(jī)寫性能均為是Ceph的3-5倍。即使是在32個(gè)并發(fā)的場景下,HBlock的性能也是Ceph的1-2倍。而EC更是HBlock的優(yōu)勢領(lǐng)域,用EC2+1模式代替三副本模式,HBlock的性能可以達(dá)到Ceph的5倍以上,在空間使用率方面,得盤率由33.3%翻倍,達(dá)到66.7%,可在提升性能的同時(shí)顯著降低存儲成本。
福利來了!HBlock嘗鮮活動(dòng)震撼發(fā)布!
為幫助更多政企客戶高效、低成本搭建軟件定義存儲平臺,天翼云推出了HBlock嘗鮮活動(dòng),嘗鮮期內(nèi)用戶將有機(jī)會免費(fèi)使用HBlock。
活動(dòng)規(guī)則如下:
報(bào)名時(shí)間:2023.8.21-2023.10.31
用戶特權(quán):嘗鮮期報(bào)名且激活授權(quán)的用戶,將獲得上限1PB、1024節(jié)點(diǎn)的永久免費(fèi)License,歡迎企業(yè)客戶、集成商伙伴踴躍報(bào)名!
特別說明
免費(fèi)嘗鮮版本為HBlock 3.4版本,HBlock支持PB級部署,用戶需自行準(zhǔn)備硬件設(shè)備,天翼云提供HBlock重大缺陷修復(fù)、郵件和電話咨詢服務(wù),但不提供產(chǎn)品新增功能,嘗鮮期內(nèi)報(bào)名未激活授權(quán)或嘗鮮期后報(bào)名需正常付費(fèi)。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )