讓超算再升級(jí)的存儲(chǔ)系統(tǒng)，華為憑什么？

摘要：不同于上世紀(jì)計(jì)算機(jī)的向下平民化，這次 HPC 向上擁抱更為復(fù)雜的業(yè)務(wù)負(fù)載。

世界上第一臺(tái)計(jì)算機(jī)叫什么？很多人可以不假思索地回答——“埃尼阿克” (ENIAC)。

那么，“埃尼阿克” 最初被用來干什么呢？少有人知道，1946年，“埃尼阿克” 是為了解決彈道計(jì)算問題而生，賓夕法尼亞大學(xué)花費(fèi)40萬美元巨資才研制出“埃尼阿克” ，當(dāng)時(shí)的計(jì)算機(jī)是一種戰(zhàn)略物資。

在很長(zhǎng)一段時(shí)間后，個(gè)人PC的普及才讓計(jì)算機(jī)逐漸進(jìn)入大眾視野，IBM和Apple都是第一代家用電腦廠商，而計(jì)算機(jī)作為戰(zhàn)略物資的屬性以另一種名字保留了下來，也就是 HPC (High Performance Computing，高性能計(jì)算)。

HPC成為計(jì)算機(jī)科學(xué)的一個(gè)分支，使用超級(jí)計(jì)算機(jī)和并行處理技術(shù)解決復(fù)雜計(jì)算問題，主要瞄準(zhǔn)大規(guī)?？茖W(xué)問題的計(jì)算和海量數(shù)據(jù)的處理，如科學(xué)研究、氣象預(yù)報(bào)、計(jì)算模擬、CFD/CAE、生物制藥、基因測(cè)序、圖像處理等等。每年的全球HPC Top 500高性能計(jì)算機(jī)排行榜都備受矚目。

近年來，大數(shù)據(jù)和AI等新興應(yīng)用催生 HPC 發(fā)生另一種變化，不同于上世紀(jì)計(jì)算機(jī)的向下平民化， HPC 向上擁抱更為復(fù)雜的業(yè)務(wù)負(fù)載，使得傳統(tǒng)HPC開始向 HPDA (High Performance Data Analytics)方向演進(jìn)。

華為常務(wù)董事、ICT產(chǎn)品與解決方案總裁汪濤

在2021年華為全聯(lián)接大會(huì)上，華為常務(wù)董事、ICT產(chǎn)品與解決方案總裁汪濤介紹了數(shù)字基礎(chǔ)設(shè)施七大創(chuàng)新與客戶實(shí)踐，其中業(yè)界首個(gè)面向HPDA的分布式存儲(chǔ)OceanStor Pacific引起熱議，何謂高性能數(shù)據(jù)分析HPDA，HPDA又需要什么樣的分布式存儲(chǔ)？不妨一觀。

HPDA：從數(shù)據(jù)中攫取價(jià)值

我們手中智能手機(jī)的算力，遠(yuǎn)超NASA在1969年登月計(jì)劃中最先進(jìn)計(jì)算機(jī)的算力，但相較于手機(jī)，HPC所要解決業(yè)務(wù)的復(fù)雜水平，也呈現(xiàn)指數(shù)級(jí)發(fā)展，一大變化就是數(shù)據(jù)的爆炸式增長(zhǎng)，使得原有HPC架構(gòu)的存儲(chǔ)不堪其重。

傳統(tǒng)HPC主要從仿真物理模型中計(jì)算價(jià)值，需求是無與倫比的大算力，而HPDA泛指利用HPC資源的數(shù)據(jù)密集型負(fù)載，典型特點(diǎn)是數(shù)據(jù)量大、時(shí)效性強(qiáng)以及算法復(fù)雜，從數(shù)據(jù)本身提取價(jià)值，兩者業(yè)務(wù)邏輯不同，導(dǎo)致存儲(chǔ)需求不同。

例如地震勘探從二維向三維的演進(jìn)中，數(shù)據(jù)量增加了5-10倍；電影渲染從2K升級(jí)到8K的革命中，數(shù)據(jù)量增長(zhǎng)16倍；衛(wèi)星測(cè)繪領(lǐng)域，探測(cè)精準(zhǔn)度由20米縮小到2米，數(shù)據(jù)量同比增長(zhǎng)70倍。海量的數(shù)據(jù)，需要高性能的存儲(chǔ)，這是HPC向HPDA演進(jìn)要解決的根本性問題。

傳統(tǒng)HPC的存儲(chǔ)主要用來文件共享、Scratch和歸檔，AI業(yè)務(wù)負(fù)載則涉及到數(shù)據(jù)收集、輸入、清洗、訓(xùn)練、推理和歸檔一系列復(fù)雜操作，原有存儲(chǔ)系統(tǒng)并不是為這種存儲(chǔ)工作流程而設(shè)計(jì)的，自然也就無法很好滿足新存儲(chǔ)的需求。

在關(guān)鍵性能要求上，傳統(tǒng)HPC負(fù)載通常基于順序大I/O型，AI業(yè)務(wù)負(fù)載需要順序大和隨機(jī)小I/O型的混合，用于AI訓(xùn)練的數(shù)據(jù)存取需要快速的隨機(jī)小I/O型。

應(yīng)用場(chǎng)景的變化催生了各種耐用性和彈性解決方案需求。例如歸檔需要極具高性價(jià)比的解決方案，沒有苛刻的性能要求；傳統(tǒng)的臨時(shí)應(yīng)用需要將臨時(shí)結(jié)果轉(zhuǎn)移到持久存儲(chǔ)，需要高性能以防止出現(xiàn)故障；HPDA 解決方案需要混合存儲(chǔ)需求同時(shí)滿足高性能、瞬態(tài)存儲(chǔ)和持久彈性存儲(chǔ)的不同要求。

此外，當(dāng)存儲(chǔ)系統(tǒng)變得復(fù)雜化，內(nèi)部多種協(xié)議發(fā)展為另一種壁壘，不同數(shù)據(jù)采用不同的訪問方式，每種訪問方式都需要獨(dú)特的協(xié)議支持，橫亙?cè)跇I(yè)務(wù)負(fù)載中消耗通信時(shí)間和計(jì)算資源。

據(jù)IDC統(tǒng)計(jì)，全球67%的高性能計(jì)算中心（HPC）已經(jīng)在使用AI、大數(shù)據(jù)相關(guān)技術(shù)，HPC與AI、大數(shù)據(jù)加速融合，如何從海量數(shù)據(jù)中更高效、更經(jīng)濟(jì)地釋放更大的數(shù)據(jù)價(jià)值，成為迫切訴求，存儲(chǔ)系統(tǒng)的改變至關(guān)重要。

找尋HPDA存儲(chǔ)新的平衡點(diǎn)

HPDA推動(dòng)了存儲(chǔ)架構(gòu)的改變，從而匹配新業(yè)務(wù)負(fù)載的同步、空間分布式計(jì)算和存儲(chǔ)需求，矛盾聚焦于不同 I/O 模型、支持多協(xié)議訪問、各種數(shù)據(jù)訪問頻率、高密度高效設(shè)計(jì)等方面，歸根究底是找尋存儲(chǔ)性能、成本和效率新的平衡點(diǎn)。

OceanStor Pacific存儲(chǔ)新品于2021華為全聯(lián)接發(fā)布

華為發(fā)布了Huawei OceanStor Pacific 9950、Huawei OceanStor Pacific 9550兩款新品，華為OceanStor Pacific系列高性能分布式存儲(chǔ)，就是為打破HPC產(chǎn)業(yè)三重壁壘量身打造的HPDA存儲(chǔ)系統(tǒng)。

第一重壁壘是高性能，HPC在不同流程階段面臨帶寬型、OPS型業(yè)務(wù)負(fù)載需求，HPDA場(chǎng)景下這一情況會(huì)更加常態(tài)化，傳統(tǒng)存儲(chǔ)僅支持單一負(fù)載模型，形成了性能孤島，使得流程間的數(shù)據(jù)需要在不同存儲(chǔ)間遷移，降低了整體流程效率。

華為技術(shù)專家夏飛博士介紹，華為OceanStor Pacific系列存儲(chǔ)搭載新一代分布式文件系統(tǒng)，一套存儲(chǔ)即可實(shí)現(xiàn)2倍大文件高帶寬，5倍小文件高IOPS性能，大大提高性能水平，同時(shí)該文件系統(tǒng)也能支持多種業(yè)務(wù)負(fù)載，既能兼顧客戶原有的常規(guī)業(yè)務(wù)，也能很好適配企業(yè)對(duì)大數(shù)據(jù)和AI等新業(yè)務(wù)的探索，實(shí)現(xiàn)面向混合負(fù)載的全場(chǎng)景加速。

第二重壁壘是多協(xié)議無損互通，在以自動(dòng)駕駛為代表的HPDA場(chǎng)景中，不同的流程階段可能用到文件、大數(shù)據(jù)、對(duì)象多種服務(wù)，如何實(shí)現(xiàn)流程的高效數(shù)據(jù)訪問成為用戶面臨的一大挑戰(zhàn)。

華為OceanStor Pacific系列存儲(chǔ)能夠匹配多樣化算力需求，一套系統(tǒng)支持多種協(xié)議，實(shí)現(xiàn)數(shù)據(jù)互通，減少中間環(huán)節(jié)，并且資源統(tǒng)一管理和運(yùn)維，支撐業(yè)務(wù)敏捷響應(yīng)。

第三重壁壘是大容量，隨著HPDA的快速發(fā)展，海量數(shù)據(jù)的價(jià)值被進(jìn)一步挖掘，用戶愿意更長(zhǎng)更久地保留數(shù)據(jù)，這對(duì)機(jī)房空間、功耗、存儲(chǔ)成本都提出了新的挑戰(zhàn)。

基于這種挑戰(zhàn)，華為OceanStor Pacific全新推出了系列化超高密硬件，支持不同硬件間的數(shù)據(jù)自動(dòng)分級(jí)，單位空間容量提升20%，全面降低HPC場(chǎng)景的存儲(chǔ)成本。華為OceanStor Pacific系列高密大容量產(chǎn)品在5U空間里支持120個(gè) 3.5寸硬盤，通過高密實(shí)現(xiàn)60%以上的機(jī)柜空間節(jié)省，讓海量數(shù)據(jù)不再成為負(fù)擔(dān)。

越是基礎(chǔ)的，越是核心的

中石油東方物探正行進(jìn)在通過HPDA挖掘數(shù)據(jù)價(jià)值的路上。

自19世紀(jì)40年代至今，人類為探尋石油和天然氣能源用上了最先進(jìn)的理論和技術(shù)，其中高性能計(jì)算必不可少，在油氣地震勘探數(shù)據(jù)采集、處理、解釋的三大環(huán)節(jié)中，都需要大量的高性能計(jì)算、海量數(shù)據(jù)分析等平臺(tái)，不同架構(gòu)和規(guī)模的數(shù)據(jù)存儲(chǔ)在不同系統(tǒng)部署，數(shù)據(jù)需要在和平臺(tái)之間頻繁傳輸拷貝，產(chǎn)生了額外的花銷和不必要的時(shí)間損耗。

中石油東方物探有限責(zé)任公司教授級(jí)高級(jí)工程師、數(shù)據(jù)中心原總工程師賴能和在會(huì)上講到，以中東某探區(qū)為例，3259平方公里三維地震勘探，190萬個(gè)激發(fā)、采集數(shù)據(jù)量1049TB。東方物探用了近12個(gè)月時(shí)間順利完成數(shù)據(jù)處理任務(wù)。據(jù)了解，這也是目前為止已完成的單體數(shù)據(jù)量最大的油氣地震勘探數(shù)據(jù)處理項(xiàng)目。

OceanStor Pacific存儲(chǔ)助力油氣勘探

要支持如此之大的數(shù)據(jù)處理，東方物探選擇了規(guī)?；胁渴鹑A為OceanStor Pacific存儲(chǔ)系統(tǒng)，其天然適合HPDA的設(shè)計(jì)在勘探場(chǎng)景下最大化程度得到發(fā)揮，不僅解決油氣地震勘探不斷增長(zhǎng)的海量數(shù)據(jù)對(duì)存儲(chǔ)容量的巨大需求的挑戰(zhàn)，而且還可以保證存儲(chǔ)性能和容量的線性增長(zhǎng)，同時(shí)簡(jiǎn)化IT基礎(chǔ)設(shè)施的復(fù)雜度，又可減少IT日常運(yùn)維的工作量。

“華為OceanStor Pacific存儲(chǔ)支持系統(tǒng)間遠(yuǎn)程直接訪問、混合負(fù)載和多協(xié)議互通等功能，可大大減少數(shù)據(jù)拷貝時(shí)間和拷貝次數(shù)；同時(shí)滿足大文件高并發(fā)、高帶寬、小文件高IOPS的性能平衡要求；可實(shí)現(xiàn)一套存儲(chǔ)同時(shí)供高性能計(jì)算、人機(jī)交互、資料解釋、數(shù)值模擬、人工智能等多個(gè)不同技術(shù)應(yīng)用平臺(tái)共享。存儲(chǔ)資源利用率提高30%以上；生產(chǎn)效率提升15%以上?！辟嚹芎脱a(bǔ)充道。

越是基礎(chǔ)的，越是核心的，不論是HPDA所要解決的問題，還是存儲(chǔ)技術(shù)的突破，都再次證明了這一論斷。

不止于油氣勘探，從基因測(cè)序到自動(dòng)駕駛研發(fā)，從天氣預(yù)報(bào)到生物制藥等等，這些場(chǎng)景要么是全新誕生的復(fù)雜業(yè)務(wù)，要么是舊技術(shù)難以解決的老大難問題，他們存在一個(gè)共性——關(guān)乎國(guó)計(jì)民生，解決問題之道在于底層基礎(chǔ)技術(shù)的突破。

華為OceanStor Pacific存儲(chǔ)支持著最頂尖的科研項(xiàng)目，同時(shí)這些科研項(xiàng)目的成果又讓最廣泛的人群受益，天氣預(yù)報(bào)的及時(shí)預(yù)警，新藥的快速開發(fā)，自動(dòng)駕駛車輛的算法升級(jí)，存儲(chǔ)的升級(jí)換代成為數(shù)字基礎(chǔ)設(shè)施革命的必要因素，其帶來的結(jié)果變化一點(diǎn)點(diǎn)傳導(dǎo)到普羅大眾的感知。

（本文首發(fā)鈦媒體App，作者｜張帥）

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。