鵬城實(shí)驗(yàn)室張士勛：軟硬件協(xié)同優(yōu)化，助力智算網(wǎng)絡(luò)發(fā)展

1月16日消息（陳宦杰）AI時(shí)代已經(jīng)來(lái)臨。大模型等新興AI應(yīng)用需求海量的算力支撐，一座座智算中心拔地而起，規(guī)模龐大的萬(wàn)卡集群逐漸投入商用。如何更好地實(shí)現(xiàn)智算中心互聯(lián)，服務(wù)AI應(yīng)用創(chuàng)新發(fā)展，業(yè)界做了大量研究工作。

1月16日，作為“2025中國(guó)光通信高質(zhì)量發(fā)展論壇”的開(kāi)篇之作，“智算中心互聯(lián)：算網(wǎng)協(xié)同，構(gòu)筑智算互聯(lián)新底座”線上研討會(huì)順利召開(kāi)，邀約產(chǎn)業(yè)鏈專家代表，圍繞智算中心間跨地域、跨層級(jí)、跨主體、高可靠的算力協(xié)同與調(diào)度，以及智算中心互聯(lián)關(guān)鍵技術(shù)等話題展開(kāi)了深入探討。

研討會(huì)期間，鵬城實(shí)驗(yàn)室云腦研究所副所長(zhǎng)張士勛應(yīng)邀作了題為《智算中心高性能網(wǎng)絡(luò)系統(tǒng)多維度思考》的主題報(bào)告，深入分析了智算中心的計(jì)算模式與智算網(wǎng)絡(luò)的多維度特征。

并行方案解鎖大模型高效計(jì)算

歷經(jīng)數(shù)十年的發(fā)展，AI模型的參數(shù)規(guī)模持續(xù)膨脹，模型的種類逐漸收斂。當(dāng)下，智算中心已成為大模型訓(xùn)練與推理的核心舞臺(tái)，通過(guò)將單一計(jì)算任務(wù)巧妙切分，并運(yùn)用數(shù)千甚至數(shù)萬(wàn)個(gè)AI芯片加速執(zhí)行，智算中心有望實(shí)現(xiàn)堪比單臺(tái)計(jì)算機(jī)執(zhí)行一個(gè)任務(wù)的高效協(xié)同作業(yè)。

在攻克AI芯片間的高效協(xié)同難題，進(jìn)而推動(dòng)智算中心向“DC as a Computer”演進(jìn)的征程中，如何通過(guò)并行方案賦能大模型高效計(jì)算，是一個(gè)亟待破解的關(guān)鍵課題。

目前，業(yè)界已形成多成熟的并行方案，如張量并行、數(shù)據(jù)并行、流水線并行。張量并行將矩陣精準(zhǔn)切分，再把不同的矩陣塊分別置于不同的 GPU 上，通信頻繁且通信量較大，但為模型的高效訓(xùn)練提供了有力支撐；數(shù)據(jù)并行巧妙地將訓(xùn)練數(shù)據(jù)進(jìn)行切分，使每個(gè)GPU能夠獨(dú)立訓(xùn)練其中的一部分?jǐn)?shù)據(jù)，降低了通信量；流水線并行依據(jù)模型架構(gòu)的層次進(jìn)行切分，將不同的層分別放置于不同的GPU上，只在層的交界處進(jìn)行通信，使得通信量相對(duì)較小。不同類型的并行方案需要不同的通信策略和網(wǎng)絡(luò)架構(gòu)支持，智算中心互聯(lián)架構(gòu)的發(fā)展方向有待進(jìn)一步探索與研究。

智算網(wǎng)絡(luò)的四大特征

談及智算網(wǎng)絡(luò)的多維特征時(shí)，張士勛例舉了四大關(guān)鍵點(diǎn)。

其一，智算網(wǎng)絡(luò)以GPU為中心。GPU成為算力的提供者，數(shù)據(jù)存儲(chǔ)于其上。因此，GPU卡間通信成為主要的通信模式，通過(guò)RDMA網(wǎng)絡(luò)，可以實(shí)現(xiàn)高效的數(shù)據(jù)交換。

其二，在智算網(wǎng)絡(luò)中，GPU的通信模式比較固定?？ㄩg的通信模式具有很高的確定性，典型集合通信模式能夠覆蓋絕大部分場(chǎng)景。

其三，智算網(wǎng)絡(luò)采用雙平面的組網(wǎng)方案，兼具高帶寬與低時(shí)延特性。其中，Scale-out網(wǎng)絡(luò)適用于大規(guī)模組網(wǎng)，涵蓋數(shù)萬(wàn)到數(shù)十萬(wàn)GPU的龐大集群，協(xié)議基于InfiniBand/RoCE，速率可達(dá)400Gbps/800Gbps；Scale-up網(wǎng)絡(luò)則是局域高帶寬網(wǎng)絡(luò)，覆蓋數(shù)個(gè)至數(shù)百GPU的小集群，協(xié)議基于NVLink/HCCS等，速率高達(dá)數(shù)Tbps級(jí)。

其四，智算網(wǎng)絡(luò)需要軟硬件協(xié)同優(yōu)化。在傳統(tǒng)的計(jì)算模式下，計(jì)算和通信依次執(zhí)行，通信環(huán)節(jié)的占比可能超過(guò)50%，這導(dǎo)致GPU長(zhǎng)時(shí)間處于空閑狀態(tài)。經(jīng)過(guò)優(yōu)化，通信和計(jì)算實(shí)現(xiàn)了相互疊加執(zhí)行，GPU約有35%的時(shí)間用于等待通信。自2022年之后，通信和計(jì)算進(jìn)一步深度重疊，業(yè)界主流的網(wǎng)絡(luò)可以將通信占比降至7%，設(shè)備性能得以充分釋放，硬件帶寬和軟件算法相輔相成。

此外，針對(duì)業(yè)界關(guān)心的高性能芯片供應(yīng)受限的困境，張士勛表示，可以通過(guò)軟件、硬件、模型的聯(lián)合優(yōu)化，提升訓(xùn)練效果，推進(jìn)高水平科技自立自強(qiáng)。利用有限的硬件資源實(shí)現(xiàn)高階的AI，是一個(gè)極具探索價(jià)值的方向。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。