原標(biāo)題：超算互聯(lián)啟航，數(shù)據(jù)存儲(chǔ)創(chuàng)新為什么是“壓艙石”？
文|智能相對(duì)論
作者|葉遠(yuǎn)風(fēng)
數(shù)字經(jīng)濟(jì)大時(shí)代，超算已經(jīng)不夠，“超算互聯(lián)網(wǎng)”來(lái)了。
最近，2022中國(guó)算力峰會(huì)(濟(jì)南)暨超算互聯(lián)網(wǎng)工程上線儀式在國(guó)家超級(jí)計(jì)算濟(jì)南中心舉辦。會(huì)上，濟(jì)南超算上線了“超算互聯(lián)工程”，顧名思義，即多地、多中心以互聯(lián)的方式協(xié)同提供計(jì)算服務(wù)。這種聯(lián)動(dòng)模式相比較單個(gè)計(jì)算中心，將更大程度上推動(dòng)產(chǎn)業(yè)數(shù)字化進(jìn)程并護(hù)航國(guó)家重大科研技術(shù)創(chuàng)新。
值得注意的是，在峰會(huì)現(xiàn)場(chǎng)，山東省科技廳、濟(jì)南超算、華為還共同揭牌了一個(gè)“數(shù)據(jù)密集型超算示范基地”，表達(dá)了海量數(shù)據(jù)存儲(chǔ)在超算互聯(lián)網(wǎng)中的關(guān)鍵價(jià)值。
以往，人們對(duì)這種大型算力中心的聯(lián)動(dòng)的關(guān)注往往停留在計(jì)算設(shè)備與網(wǎng)絡(luò)上，而現(xiàn)在，隨著超算互聯(lián)網(wǎng)的建設(shè)，數(shù)據(jù)存儲(chǔ)的價(jià)值同樣凸顯出來(lái)，它們共同推動(dòng)著超算互聯(lián)網(wǎng)基礎(chǔ)設(shè)施有效落地，取得巨大的商業(yè)價(jià)值與社會(huì)價(jià)值。
超算互聯(lián)網(wǎng)完成“打樣”，推動(dòng)地區(qū)乃至全國(guó)數(shù)字經(jīng)濟(jì)發(fā)展進(jìn)入快車道
作為國(guó)家級(jí)先進(jìn)超算基礎(chǔ)設(shè)施，超算互聯(lián)網(wǎng)在山東、濟(jì)南的落地，對(duì)地區(qū)數(shù)字經(jīng)濟(jì)快速發(fā)展的推動(dòng)作用毋庸置疑，而其建設(shè)過(guò)程也在全國(guó)打了個(gè)樣。
事實(shí)上，在本次發(fā)布超算互聯(lián)網(wǎng)之前，山東省、濟(jì)南市超算產(chǎn)業(yè)上持續(xù)投入了大量資源，取得了很多成果，這些成為超算互聯(lián)網(wǎng)落地的前提。
技術(shù)層面，在華為等伙伴的共同努力下，濟(jì)南超算的性能在全國(guó)乃至全球都處在領(lǐng)先位置。
不久前，在德國(guó)漢堡舉行的ISC 2022高性能計(jì)算大會(huì)發(fā)布了第十期IO500榜單，濟(jì)南超算新一代山河超級(jí)計(jì)算平臺(tái)在10節(jié)點(diǎn)榜登頂奪冠，成績(jī)首次跨過(guò)3000分，大幅刷新了該榜單歷史最好成績(jī)。而這個(gè)成績(jī)的實(shí)現(xiàn)，離不開(kāi)華為OceanStor Pacific分布式存儲(chǔ)的底層支撐。
在產(chǎn)業(yè)層面，2019年，濟(jì)南就建成了國(guó)家首個(gè)超算科技園區(qū)，配合一系列政策措施走出了以算力賦能高質(zhì)量發(fā)展的創(chuàng)新之路。從數(shù)據(jù)上看，濟(jì)南生產(chǎn)的服務(wù)器產(chǎn)銷量位列全國(guó)第一、全球第二，AI服務(wù)器產(chǎn)銷量也實(shí)現(xiàn)全球第一，超算制造全球第二，國(guó)內(nèi)超過(guò)50%的AI算力來(lái)自濟(jì)南。
有了這樣的技術(shù)+產(chǎn)業(yè)的底子，出于進(jìn)一步發(fā)展的需要，濟(jì)南超算在國(guó)內(nèi)較早提出并大力推進(jìn)超算互聯(lián)網(wǎng)建設(shè)，并不在意料之外。
現(xiàn)在，這項(xiàng)開(kāi)創(chuàng)性工作在各方努力下終于走向落地，無(wú)疑將帶動(dòng)輻射地方科技、產(chǎn)業(yè)發(fā)展，推動(dòng)濟(jì)南、山東的數(shù)字經(jīng)濟(jì)走在全國(guó)前列。
而在全國(guó)多地，超算的建設(shè)正如火如荼，長(zhǎng)期耕耘下，許多與濟(jì)南有著同樣愿景的地區(qū)也客觀上具備超算互聯(lián)網(wǎng)建設(shè)的資源和能力，市場(chǎng)上出現(xiàn)一個(gè)成功實(shí)踐的樣板，無(wú)疑會(huì)帶來(lái)重要的借鑒價(jià)值。
總的看來(lái)，濟(jì)南超算與華為此次深度合作推動(dòng)超算互聯(lián)網(wǎng)的落地，為中國(guó)超算、超算互聯(lián)網(wǎng)的發(fā)展提供可借鑒的“濟(jì)南樣板”，為超算互聯(lián)網(wǎng)領(lǐng)域產(chǎn)、學(xué)、研的合作樹(shù)立了榜樣，將推動(dòng)提升我國(guó)超算的應(yīng)用水平，讓超算這一“國(guó)之重器”顯示出強(qiáng)大的力量。
超算互聯(lián)網(wǎng)落地面臨數(shù)據(jù)挑戰(zhàn)，華為超算互聯(lián)數(shù)據(jù)一體化方案破局
具備地區(qū)乃至全國(guó)的重要意義，但回過(guò)頭來(lái)看，超算互聯(lián)網(wǎng)也面臨過(guò)諸多挑戰(zhàn)，只有解決了這些挑戰(zhàn)，才能將超算互聯(lián)網(wǎng)更好地落地，這也是“數(shù)據(jù)密集型超算示范基地”揭牌的重要背景——華為帶來(lái)的技術(shù)創(chuàng)新有效應(yīng)對(duì)了超算互聯(lián)網(wǎng)建設(shè)中關(guān)鍵的數(shù)據(jù)存儲(chǔ)挑戰(zhàn)。
首先，來(lái)看數(shù)據(jù)存儲(chǔ)對(duì)超算互聯(lián)網(wǎng)為何關(guān)鍵。
一方面，超算本身發(fā)展對(duì)數(shù)據(jù)存儲(chǔ)的要求在變強(qiáng)。
隨著超算產(chǎn)業(yè)與行業(yè)場(chǎng)景、新興技術(shù)的融合持續(xù)加深，高性能數(shù)據(jù)分析HPDA取代傳統(tǒng)HPC成為新的發(fā)展熱點(diǎn)，簡(jiǎn)單來(lái)說(shuō)，即計(jì)算的過(guò)程對(duì)數(shù)據(jù)存儲(chǔ)和利用要求更高，需要進(jìn)行大量數(shù)據(jù)的計(jì)算處理，而非單單只看計(jì)算能力。
另一方面，超算互聯(lián)網(wǎng)的日常應(yīng)用更多聚焦到數(shù)據(jù)上。
在超算互聯(lián)網(wǎng)中，算力、網(wǎng)絡(luò)固然重要，但它們都是可以提前布局的，實(shí)際上真正調(diào)度和流動(dòng)的其實(shí)只有數(shù)據(jù)以及數(shù)據(jù)支撐上的應(yīng)用。
普遍認(rèn)為，超算互聯(lián)網(wǎng)一定會(huì)走向“數(shù)據(jù)密集型”的道路。
然后，再來(lái)看數(shù)據(jù)存儲(chǔ)在超算互聯(lián)網(wǎng)中面臨著什么挑戰(zhàn)。
“互聯(lián)”帶來(lái)算力資源統(tǒng)籌協(xié)同的正面價(jià)值，而硬幣都有兩面——多中心互聯(lián)也帶來(lái)了數(shù)據(jù)流動(dòng)的“摩擦”。
這種“摩擦”，舉幾個(gè)例子：
數(shù)據(jù)管理上，各超算中心本身就是一個(gè)個(gè)數(shù)據(jù)孤島，且資源利用能力各異，不同廠商的管理技術(shù)各不相同又加劇了管理的復(fù)雜性；
在數(shù)據(jù)流動(dòng)上，很多應(yīng)用需求的數(shù)據(jù)量龐大（如大型天文射電望遠(yuǎn)鏡數(shù)據(jù)量都是PB級(jí)），遠(yuǎn)遠(yuǎn)超過(guò)運(yùn)營(yíng)商網(wǎng)絡(luò)的帶寬上限，即便1Gb/s帶寬傳輸也需要數(shù)月才能傳輸；
在數(shù)據(jù)安全方面，跨中心大規(guī)模的數(shù)據(jù)流動(dòng)相對(duì)單個(gè)中心，免不了存在更多安全隱憂，等等。
可以說(shuō)，解決不了這些問(wèn)題，超算互聯(lián)網(wǎng)很難有效落地。
最后，再來(lái)看華為的技術(shù)創(chuàng)新是如何應(yīng)對(duì)這些挑戰(zhàn)的。
既然數(shù)據(jù)存儲(chǔ)的挑戰(zhàn)往往都來(lái)自多中心“互聯(lián)”帶來(lái)的摩擦，那么通過(guò)技術(shù)創(chuàng)新不斷降低這種摩擦、實(shí)現(xiàn)一體化，讓互聯(lián)模式下的數(shù)據(jù)管理、流動(dòng)等與本地?cái)?shù)據(jù)存儲(chǔ)一樣高效，甚至讓數(shù)據(jù)應(yīng)用方感受不到“互聯(lián)”模式的存在，就成為解題的關(guān)鍵。
由此，也就不難理解華為存儲(chǔ)將自己為超算互聯(lián)網(wǎng)提供的支持定義為基于OceanStor Pacific分布式存儲(chǔ)的“超算互聯(lián)數(shù)據(jù)一體化方案”了。
這個(gè)方案，從四個(gè)方面消弭由于數(shù)據(jù)跨中心流動(dòng)帶來(lái)的“負(fù)面”摩擦。
1、一盤棋：縱覽全局、心中有“數(shù)”
華為存儲(chǔ)構(gòu)建了一個(gè)全局文件系統(tǒng)，把多地超算中心以一張圖的方式管理起來(lái)，這就如同看待單一超算中心的各存儲(chǔ)資源一樣。
為了實(shí)現(xiàn)這樣的效果，華為存儲(chǔ)進(jìn)行了多方面的技術(shù)創(chuàng)新，例如，表化、流化的統(tǒng)一元數(shù)據(jù)屏蔽設(shè)備差異，實(shí)現(xiàn)跨設(shè)備、跨異構(gòu)互聯(lián)互通等等。
2、高效率：暢通無(wú)阻的同時(shí)擁有智能向?qū)?/strong>
跨中心的數(shù)據(jù)流動(dòng)面臨帶寬瓶頸，以及數(shù)據(jù)的發(fā)送、接收、利用過(guò)程中的各種技術(shù)摩擦，這些都是數(shù)據(jù)流動(dòng)所難以避免的。
華為存儲(chǔ)針對(duì)不同場(chǎng)景下不同數(shù)據(jù)類型采用不同的數(shù)據(jù)壓縮算法，此外疊加熱溫冷數(shù)據(jù)智能分級(jí)，可有效節(jié)約數(shù)據(jù)存儲(chǔ)空間和網(wǎng)絡(luò)傳輸帶寬，而做到上層的應(yīng)用對(duì)這一切“無(wú)感知”。
這種做法，讓數(shù)據(jù)的流動(dòng)最大程度接近單一數(shù)據(jù)中心，也極大地助力了超算互聯(lián)網(wǎng)的綠色低碳建設(shè)，與雙碳這樣的宏觀戰(zhàn)略相契合。
3、撐場(chǎng)景：最大化對(duì)應(yīng)用的支撐能力
最終到應(yīng)用支持層面，華為存儲(chǔ)可以實(shí)現(xiàn)跨域數(shù)據(jù)協(xié)同分析，提升業(yè)務(wù)數(shù)據(jù)分析效率，從而讓超算互聯(lián)網(wǎng)最大程度發(fā)揮潛力、支撐起場(chǎng)景，落地超算互聯(lián)網(wǎng)應(yīng)有的商業(yè)價(jià)值、社會(huì)價(jià)值。
這其中的存儲(chǔ)技術(shù)創(chuàng)新包括跨域協(xié)同分析、斷點(diǎn)續(xù)傳等。在過(guò)去，華為這些存儲(chǔ)技術(shù)創(chuàng)新已經(jīng)有過(guò)實(shí)踐，例如支撐分別部署于廣東、貴州的大數(shù)據(jù)集群協(xié)同完成了整個(gè)大數(shù)據(jù)業(yè)務(wù)分析。
4、有保障：為數(shù)據(jù)流動(dòng)加裝虛擬屏障
數(shù)據(jù)安全問(wèn)題在數(shù)字經(jīng)濟(jì)時(shí)代越發(fā)敏感，超算互聯(lián)網(wǎng)牽扯的數(shù)據(jù)面更深、更廣，在“互聯(lián)”過(guò)程中對(duì)數(shù)據(jù)安全的要求更加嚴(yán)苛。
這方面，華為存儲(chǔ)提供集中化的數(shù)據(jù)安全管理，通過(guò)傳輸加密并支持?jǐn)?shù)據(jù)跨域等級(jí)保護(hù)，實(shí)現(xiàn)數(shù)據(jù)策略風(fēng)險(xiǎn)分析和監(jiān)控等等。這些做法就如同打造了一個(gè)虛擬屏障，讓跨域數(shù)據(jù)共享和安全流動(dòng)實(shí)現(xiàn)了如同物理隔離一樣的安全效果。
總的看來(lái)，隨著“互聯(lián)”的“負(fù)面”不斷消弭，超算互聯(lián)網(wǎng)落地面臨的數(shù)據(jù)存儲(chǔ)障礙已經(jīng)被掃清。
結(jié)語(yǔ)
數(shù)字經(jīng)濟(jì)磅礴而來(lái)，無(wú)論是產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型升級(jí)，還是城市治理能力的全面提升，亦或是高?？蒲性核黄浦卮笱芯空n題，甚至公益環(huán)保組織推動(dòng)社會(huì)的發(fā)展，超算中心都顯示出強(qiáng)大的商業(yè)價(jià)值、社會(huì)價(jià)值推動(dòng)力。
現(xiàn)在，從超算到超算互聯(lián)網(wǎng)，計(jì)算的力量、數(shù)據(jù)的力量進(jìn)一步顯現(xiàn)，華為存儲(chǔ)所推動(dòng)形成的數(shù)據(jù)密集型超算模式，正在成為數(shù)字經(jīng)濟(jì)堅(jiān)實(shí)的底座，讓社會(huì)經(jīng)濟(jì)生活的進(jìn)化更加劇烈而積極。
有理由相信，在數(shù)據(jù)存儲(chǔ)創(chuàng)新推動(dòng)下，超算互聯(lián)網(wǎng)將成為數(shù)字經(jīng)濟(jì)發(fā)展的引擎，成為社會(huì)全面進(jìn)步的驅(qū)動(dòng)力之一。
*本文圖片均來(lái)源于網(wǎng)絡(luò)
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 美媒聚焦比亞迪“副業(yè)”：電子代工助力蘋果，下個(gè)大計(jì)劃瞄準(zhǔn)AI機(jī)器人
- 微信零錢通新政策：銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費(fèi)引熱議
- 消息稱塔塔集團(tuán)將收購(gòu)和碩印度iPhone代工廠60%股份 并接管日常運(yùn)營(yíng)
- 蘋果揭秘自研芯片成功之道：領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達(dá)新一代Blackwell GPU面臨過(guò)熱挑戰(zhàn)，交付延期引發(fā)市場(chǎng)關(guān)注
- 馬斯克能否成為 AI 部部長(zhǎng)？硅谷與白宮的聯(lián)系日益緊密
- 余承東：Mate70將在26號(hào)發(fā)布，意外泄露引發(fā)關(guān)注
- 無(wú)人機(jī)“黑科技”亮相航展：全球首臺(tái)低空重力測(cè)量系統(tǒng)引關(guān)注
- 賽力斯發(fā)布聲明：未與任何伙伴聯(lián)合開(kāi)展人形機(jī)器人合作
- 賽力斯觸及漲停，汽車整車股盤初強(qiáng)勢(shì)拉升
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。
