移動(dòng)云郭建楠:面向“東數(shù)西算”打造新一代算網(wǎng)存儲(chǔ)能力

4月27日消息(九九)“東數(shù)西算”工程凸顯了數(shù)據(jù)作為一種生產(chǎn)要素的價(jià)值,并將其分類治理——對(duì)于服務(wù)后臺(tái)加工、存儲(chǔ)災(zāi)備、離線分析、存儲(chǔ)備份等對(duì)網(wǎng)絡(luò)時(shí)延要求不高的“冷數(shù)據(jù)”,優(yōu)先向貴州、內(nèi)蒙古、甘肅、寧夏節(jié)點(diǎn)轉(zhuǎn)移;對(duì)于網(wǎng)絡(luò)時(shí)延要求高的“熱數(shù)據(jù)”,選擇在東部城市進(jìn)行布置。

在日前舉行的“算網(wǎng)融合,創(chuàng)新發(fā)展——移動(dòng)云技術(shù)品鑒會(huì)”上,中國移動(dòng)云能力中心IaaS產(chǎn)品部總經(jīng)理助理郭建楠指出,在“東數(shù)西算”場(chǎng)景下,存儲(chǔ)系統(tǒng)面臨如下新挑戰(zhàn):本地/近場(chǎng)下的熱點(diǎn)數(shù)據(jù)如何高性能存?。亢A繑?shù)據(jù)如何存儲(chǔ)及靈活遷移?如何屏蔽存儲(chǔ)系統(tǒng)層操作細(xì)節(jié),對(duì)客戶呈現(xiàn)便捷業(yè)務(wù)應(yīng)用?

算力網(wǎng)絡(luò)下的新存儲(chǔ)能力:“扛得住”“存得下”“用得好”

郭建楠進(jìn)一步指出,面對(duì)上述問題,存儲(chǔ)系統(tǒng)要解決高性能、高擴(kuò)展、易使用的問題,能夠“扛得住”、“存得下”、“用得好”。滿足企業(yè)關(guān)鍵業(yè)務(wù)云化對(duì)存儲(chǔ)的性能要求,提供高帶寬、高IOPS、低時(shí)延保障;滿足高速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求,提供易擴(kuò)展、高吞吐、海量文件高效索引保障;屏蔽復(fù)雜的存儲(chǔ)系統(tǒng)層次操作細(xì)節(jié),提供易部署、易操作、簡(jiǎn)潔易用的產(chǎn)品形態(tài)。

移動(dòng)云將圍繞算力網(wǎng)絡(luò),持續(xù)增強(qiáng)存儲(chǔ)性能,提升產(chǎn)品競(jìng)爭(zhēng)力,基于對(duì)象存儲(chǔ)跨域糾刪能力推進(jìn)存儲(chǔ)全系產(chǎn)品演進(jìn)。

一是打造超高性能的存儲(chǔ)系統(tǒng),滿足高端存儲(chǔ)需求。完成基于中國移動(dòng)云能力中心自主研發(fā)的“大云天權(quán)統(tǒng)一存儲(chǔ)引擎”的百萬IOPS云盤產(chǎn)品研發(fā),實(shí)現(xiàn)單邏輯卷百萬IOPS超高性能及百微秒級(jí)超低時(shí)延保障。

二是面向海量數(shù)據(jù)存儲(chǔ)需要,提供EB級(jí)存儲(chǔ)容量擴(kuò)展性。完成基于天權(quán)統(tǒng)一存儲(chǔ)引擎的第四代對(duì)象存儲(chǔ)產(chǎn)品研發(fā),多級(jí)負(fù)載均衡策略提供Tbps級(jí)系統(tǒng)吞吐、多子集群設(shè)計(jì)提供EB級(jí)存儲(chǔ)規(guī)模、分級(jí)元數(shù)據(jù)管理 提供高效文件索引,滿足海量數(shù)據(jù)存儲(chǔ)需求。

三是實(shí)現(xiàn)冷熱數(shù)據(jù)自動(dòng)分層、支持?jǐn)?shù)據(jù)跨域自由流動(dòng)?;趯?duì)象存儲(chǔ)用戶桶空間,存儲(chǔ)集群內(nèi)實(shí)現(xiàn)標(biāo)頻-低頻-歸檔類型的數(shù)據(jù)自由遷移,且可通過“跨域復(fù)制”能力實(shí)現(xiàn)數(shù)據(jù)在集群間的東西向高效流動(dòng)。

四是打造跨域訪問文件系統(tǒng),實(shí)現(xiàn)“數(shù)隨算走、隨心接入”。自研文件存儲(chǔ)(CFN版本),基于對(duì)象存儲(chǔ)的跨域糾刪能力實(shí)現(xiàn)數(shù)據(jù)的全域可訪問,基于跨域KV數(shù)據(jù)庫實(shí)現(xiàn)元數(shù)據(jù)的全域可訪問,有效支撐實(shí)時(shí)流媒體文件編輯等跨域數(shù)據(jù)共享場(chǎng)景。

應(yīng)時(shí)而生的新存儲(chǔ)解決方案:打破“存儲(chǔ)墻”,連通“數(shù)據(jù)孤島”

郭建楠介紹,移動(dòng)云云存儲(chǔ)產(chǎn)品圍繞“大云天權(quán)統(tǒng)一存儲(chǔ)引擎”展開,在其之上構(gòu)建了分布式塊存儲(chǔ)、對(duì)象存儲(chǔ)、文件存儲(chǔ)產(chǎn)品。“天權(quán)”存儲(chǔ)系列產(chǎn)品已在移動(dòng)公有云進(jìn)行長(zhǎng)期推廣及商用,部署規(guī)模超3萬臺(tái)服務(wù)器,容量規(guī)模超過2500 PB,為移動(dòng)云80余萬家客戶提供穩(wěn)定、安全的 存儲(chǔ)服務(wù)。

面向算力網(wǎng)絡(luò)下的新存儲(chǔ)挑戰(zhàn),移動(dòng)云提出應(yīng)時(shí)而生的新存儲(chǔ)解決方案:

塊存儲(chǔ)產(chǎn)品:從IO調(diào)度策略、IO路徑加速、數(shù)據(jù)落盤方式三個(gè)維度深度優(yōu)化存儲(chǔ)引擎,通過多路順序預(yù)讀、智能IO調(diào)度策略降低時(shí)延,通過SPDK全用戶態(tài)無鎖隊(duì)列、RDMA網(wǎng)絡(luò)卸載技術(shù)解決上下文切換及鎖搶占問題,面向IO全鏈路深度優(yōu)化,打造百微秒級(jí)時(shí)延超高性能。“基于天權(quán)存儲(chǔ)引擎,打造百萬IOPS、百微秒時(shí)延、4GB/s吞吐的新一代云硬盤產(chǎn)品,可有效支撐大型數(shù)據(jù)庫、實(shí)時(shí)日志分析等IO密集型以及AI訓(xùn)練、基因測(cè)序等高吞吐型業(yè)務(wù)場(chǎng)景,滿足現(xiàn)場(chǎng)及近場(chǎng)計(jì)算訴求。”郭建楠說。

對(duì)象存儲(chǔ)產(chǎn)品:通過存儲(chǔ)多協(xié)議協(xié)同,實(shí)現(xiàn)“存算一體,數(shù)隨算走”,實(shí)現(xiàn)數(shù)據(jù)冷熱智能分層,實(shí)現(xiàn)數(shù)據(jù)自由跨域流動(dòng),打破“存儲(chǔ)墻”,連通“數(shù)據(jù)孤島”,支持?jǐn)?shù)據(jù)向算力遷移,打造“數(shù)據(jù)隨心可取”的存儲(chǔ)服務(wù)體系。

文件存儲(chǔ)產(chǎn)品:在基于對(duì)象存儲(chǔ)的跨域糾刪能力基礎(chǔ)上,自研移動(dòng)云文件存儲(chǔ)(CFN版本),基于EOS跨域糾刪(數(shù)據(jù))及跨域KV數(shù)據(jù)庫(元數(shù)據(jù))有效支撐實(shí) 時(shí)流媒體文件編輯等跨地域數(shù)據(jù)共享場(chǎng)景,實(shí)現(xiàn)多點(diǎn)接入、簡(jiǎn)單配置、隨心訪問。

當(dāng)前,相關(guān)工作已取得初步進(jìn)展。數(shù)據(jù)、元數(shù)據(jù)分離進(jìn)行存儲(chǔ),形成集中化元數(shù)據(jù)架構(gòu),將文件協(xié)議處理、文件元數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)存儲(chǔ)解耦,提升文件系統(tǒng)元數(shù)據(jù)性能的同時(shí),增強(qiáng)了文件存儲(chǔ)容量擴(kuò)展性。進(jìn)行跨域數(shù)據(jù)庫研發(fā),基于“靈活性+高可用性+可擴(kuò)展性+ACID+通用基礎(chǔ)框架”設(shè)計(jì)原則分而治之,實(shí)現(xiàn)組件模塊化,功能正交、減少耦合,實(shí)現(xiàn)在跨域場(chǎng)景下的故障歸一,快速檢測(cè)、快速恢復(fù)。通過S3等標(biāo)準(zhǔn)對(duì)象存儲(chǔ)接口接入移動(dòng)云EOS,在統(tǒng)一元數(shù)據(jù)管理下, 借助移動(dòng)云EOS數(shù)據(jù)跨域糾刪存儲(chǔ)能力,實(shí)現(xiàn)文件存儲(chǔ)數(shù)據(jù)分片跨域分布。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2022-04-27
移動(dòng)云郭建楠:面向“東數(shù)西算”打造新一代算網(wǎng)存儲(chǔ)能力
移動(dòng)云郭建楠:面向“東數(shù)西算”打造新一代算網(wǎng)存儲(chǔ)能力,C114訊 4月27日消息(九九)東數(shù)西算工程凸顯了數(shù)據(jù)作為一種生產(chǎn)要素的價(jià)值,并將其分類治理對(duì)于服

長(zhǎng)按掃碼 閱讀全文