2021年是中國(guó)十四五計(jì)劃的開(kāi)局之年,在《中共中央關(guān)于制定國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和二〇三五年遠(yuǎn)景目標(biāo)的建議》中明確提出:“要推進(jìn)數(shù)據(jù)要素市場(chǎng)化改革、加快數(shù)字化發(fā)展”,從而將數(shù)據(jù)要素提升到一個(gè)全新的戰(zhàn)略地位。
如何激活數(shù)據(jù)要素潛能,推進(jìn)網(wǎng)絡(luò)強(qiáng)國(guó)建設(shè),加快建設(shè)數(shù)字經(jīng)濟(jì)、數(shù)字社會(huì)、數(shù)字政府,以數(shù)字化轉(zhuǎn)型整體驅(qū)動(dòng)生產(chǎn)方式、生活方式和治理方式變革,是數(shù)字中國(guó)最為艱巨的任務(wù)。而推動(dòng)數(shù)據(jù)要素價(jià)值轉(zhuǎn)換自然離不開(kāi)云原生數(shù)據(jù)基礎(chǔ)設(shè)施的支持。其中,以存算分離、支持多協(xié)議的彈性文件存儲(chǔ)、高效的近數(shù)據(jù)計(jì)算技術(shù)為代表,新技術(shù)應(yīng)用將助力不同行業(yè)企業(yè)用戶最大程度釋放數(shù)據(jù)價(jià)值。
存算分離釋放無(wú)盡算力
大數(shù)據(jù)技術(shù)最初的形式是計(jì)算和存儲(chǔ)捆綁,強(qiáng)調(diào)的就是數(shù)據(jù)貼近計(jì)算,技術(shù)核心是HDFS+MapReduce數(shù)據(jù)管理方式,如今,大數(shù)據(jù)技術(shù)有了進(jìn)一步發(fā)布,從計(jì)算和存儲(chǔ)捆綁走向了存算分離設(shè)計(jì),從而讓Hive、HBase等大數(shù)據(jù)應(yīng)用迎來(lái)新的發(fā)展契機(jī)。
以華為云Big Data Pro大數(shù)據(jù)離線分析解決方案為例,計(jì)算、存儲(chǔ)單獨(dú)擴(kuò)容,因此會(huì)減少不必要的資源浪費(fèi)。華為云Big Data Pro通過(guò)存儲(chǔ)無(wú)感擴(kuò)容,可消除預(yù)留容量浪費(fèi),多種協(xié)議支持也減少數(shù)據(jù)多次復(fù)制的現(xiàn)象。存算分離,分布式存儲(chǔ)跨可用區(qū)容災(zāi),使得數(shù)據(jù)持久度高達(dá)12個(gè)9,數(shù)據(jù)可靠性更有保障。
從數(shù)據(jù)貼近計(jì)算到如今存算分離,這種截然相反的變化,大家是不是也會(huì)感到奇怪呢?劇情“反轉(zhuǎn)”背后的主要原因是什么?
或者說(shuō),存算分離還能夠滿足近數(shù)據(jù)計(jì)算的要求嗎?
為此,我也詢問(wèn)了華為云文件存儲(chǔ)服務(wù)總經(jīng)理崔林威。
崔林威表示:存算分離仍然能夠滿足類似近數(shù)據(jù)計(jì)算的需求,其中很重要的原因是網(wǎng)絡(luò)技術(shù)突飛猛進(jìn)的發(fā)展,這同時(shí)也為存算分離提供了基礎(chǔ)。不論是近數(shù)據(jù)計(jì)算,還是存算分離并不改變上層HDFS+MapReduce的結(jié)構(gòu)。相比傳統(tǒng)方式,華為云BigData Pro在計(jì)算存儲(chǔ)分離基礎(chǔ)上,提供了多協(xié)議互通、高可靠等優(yōu)勢(shì)。
多協(xié)議彈性文件存儲(chǔ)沖破傳統(tǒng)協(xié)議局限
SFS(Scalable File Service)是一種彈性文件服務(wù),不僅可以提供大數(shù)據(jù)、文件接口,例如與云內(nèi)的MRS、DLI等數(shù)據(jù)分析服務(wù)提供存儲(chǔ)服務(wù),也可以通過(guò)NFS/CIFS協(xié)議或者POSIX客戶端為云內(nèi)部署的視頻編輯、基因分析、油藏模擬、設(shè)計(jì)仿真等軟件提供數(shù)據(jù)。
“可以把數(shù)據(jù)理解為一瓶礦泉水,跨協(xié)議訪問(wèn)就可以理解為多幾根吸管兒。” 崔林威說(shuō)。
SFS是業(yè)界首個(gè)支持NFS/CIFS/對(duì)象/大數(shù)據(jù)等多協(xié)議接口的存儲(chǔ)服務(wù),是一種高性能文件存儲(chǔ)(NAS),為基因分析、視頻制作/渲染、地球物理、文件共享、內(nèi)容和Web服務(wù)等業(yè)務(wù)場(chǎng)景提供共享數(shù)據(jù)訪問(wèn)存儲(chǔ)服務(wù)。SFS沖破傳統(tǒng)NAS只有私有數(shù)據(jù)存儲(chǔ)協(xié)議的局限。
例如在視頻制作/渲染場(chǎng)景中,華為云與芒果TV探索出了一條更低成本、更實(shí)用的制播方案,打造出業(yè)界首個(gè)基于云服務(wù)打造的4K綜藝節(jié)目——“乘風(fēng)破浪的姐姐”第二季。
借助SFS混合云解決方案能夠兼容對(duì)象接口特性,直接將拍攝視頻通過(guò)對(duì)象存儲(chǔ)上傳到華為云,在云上通過(guò)文件接口對(duì)視頻進(jìn)行轉(zhuǎn)碼、合成、調(diào)色、渲染等系列處理后,直接分發(fā)到對(duì)應(yīng)播放平臺(tái)進(jìn)行播放。節(jié)目制作時(shí)間縮短了50%,按需付費(fèi)的云上資源,相對(duì)于自建IT系統(tǒng),節(jié)省了90%的初始投資。作為電視機(jī)前的觀眾,可以看到姐姐們清晰的服裝細(xì)節(jié)和每一根睫毛,讓電影的質(zhì)感得以在周期要求高、成本管控嚴(yán)的綜藝節(jié)目中呈現(xiàn)。
近數(shù)據(jù)計(jì)算有效縮短數(shù)據(jù)處理時(shí)間
華為面向公有云用戶提供數(shù)據(jù)工坊(Data Workroom)近數(shù)據(jù)處理服務(wù),可將圖像水印、圖像轉(zhuǎn)碼、視頻轉(zhuǎn)碼、內(nèi)容審核、火點(diǎn)發(fā)現(xiàn)等數(shù)據(jù)處理業(yè)務(wù),通過(guò)數(shù)據(jù)處理算子市場(chǎng)或者數(shù)據(jù)處理工作流編排實(shí)現(xiàn)近似流水線的操作,如此可大大縮短互聯(lián)網(wǎng)客戶業(yè)務(wù)開(kāi)發(fā)周期,通過(guò)簡(jiǎn)單的托拉拽即可,也降低了開(kāi)發(fā)/運(yùn)維難度,效率提升90%。
如今,數(shù)據(jù)工坊開(kāi)放算子庫(kù)中有大量高質(zhì)量的華為自營(yíng)算子,也有海量第三方算子,無(wú)論是進(jìn)行圖片轉(zhuǎn)碼還是視頻截幀,你都能輕松找到適用的算子來(lái)完成數(shù)據(jù)處理工作流。 通過(guò)算子下推技術(shù),在近數(shù)據(jù)的地方進(jìn)行數(shù)據(jù)處理,省去數(shù)據(jù)在存儲(chǔ)與計(jì)算直接的傳遞,數(shù)據(jù)處理時(shí)間縮短50%。
小結(jié)
我們即將迎來(lái)數(shù)據(jù)4.0時(shí)代,更進(jìn)一步推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展,其特點(diǎn)是從物聯(lián)網(wǎng)時(shí)代的物產(chǎn)生數(shù)據(jù)升級(jí)為將人腦構(gòu)想、世界里大多并不存在的虛擬空間構(gòu)成數(shù)據(jù),映射到信息空間,數(shù)據(jù)存儲(chǔ)需求將噴涌而出,作為全新的數(shù)據(jù)載體,云原生數(shù)據(jù)基礎(chǔ)設(shè)施將緊隨時(shí)代發(fā)展作出反應(yīng)變化,在算力、彈性存儲(chǔ)為關(guān)鍵指標(biāo)的元宇宙時(shí)代,期待華為云的精彩表現(xiàn)!
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
