移動云：高性能網絡是AI時代關鍵基礎設施技術底座

近日，由新一代信息技術產業(yè)研究院、賽迪未來產業(yè)研究中心共同主辦，中國電子學會區(qū)塊鏈分會、至頂科技聯(lián)合承辦的“2024未來信息技術大會暨首屆數據要素創(chuàng)新發(fā)展論壇”于北京成功舉辦。

中國移動云能力中心高級專家徐小虎發(fā)表了“移動云高性能網絡，智算時代堅實基礎設施底座”主題演講并在大會期間接受至頂科技采訪。

AI基礎設施要具備全新六要素能力

隨著ChatGPT等文本生成大模型的問世，以及今年初發(fā)布的Sora視頻生成大模型，標志著大模型從單模態(tài)向多模態(tài)的發(fā)展。這一演進導致智能算力需求呈現井噴式增長。全球范圍內的人工智能（AI）基礎設施建設迎來了高速發(fā)展期。據IDC預測，中國智算規(guī)模年復合增?率超50%。

徐小虎表示，面向AI的基礎設施要在計算系統(tǒng)、存儲系統(tǒng)、網絡系統(tǒng)、電力系統(tǒng)、冷卻系統(tǒng)以及維護系統(tǒng)六要素具備全新的能力。

具體而言，包括以GPU為主的異構算力 （如GPU、FPGA、ASIC等）打造的加速計算系統(tǒng)；為支撐AI訓練過程中Checkpoint數據的高速讀寫要求，高性能的并行文件存儲是剛需；為實現加速卡的高速互聯(lián)以及高性能并行文件存儲，高性能網絡發(fā)揮關鍵作用；高性能就意味著高的電力能源消耗，需要新的電力能源和儲能技術提供更多的更穩(wěn)定的清潔能源供給。高能耗帶來更高的散熱要求，諸如液冷等更高效的冷卻系統(tǒng)是支撐智算中心高效運作的關鍵；高性能算力、無損網絡、液冷等新技術會帶來新的維護要求。

高性能網絡是保障AI訓練效率的關鍵

徐小虎重點分享了AI網絡建設方面的思考。隨著大模型從單模態(tài)向多模態(tài)發(fā)展，業(yè)界主流AI大模型訓練集群參數規(guī)模從千億上升到萬億，集群規(guī)模也隨之從千卡級別發(fā)展到萬卡級別；AI訓練過程中，AI集群內的GPU服務器需要進行大量數據的同步，完成服務器之間的數據并行和流水并行任務，這個數據同步過程完成的越快，GPU的利用率越高，因此AI網絡的吞吐非常關鍵，目前業(yè)界主流AI大模型集群都已經采用單GPU卡400G接入速率，單GPU卡800G接入速率預計在明后年會逐漸成為主流；AI網絡目前大多數采用RDMA技術，不論是IB還是ROCE，對網絡丟包都非常敏感，有實驗數據表明，1%的丟包率將導致網絡吞吐下降50%，網絡可靠性對于保證AI集群長期穩(wěn)定訓練至關重要；動態(tài)延遲增大會增大尾延遲甚至導致?lián)砣麃G包，進而影響GPU利用率。

綜上所述，為了保證AI大模型訓練效率，需要超大規(guī)模、超高吞吐、超高可靠、超低延遲的高性能網絡作為技術支撐。

目前業(yè)界通常采用的高性能網絡技術還是RDMA技術，具體包括IB和ROCE兩個技術路線。

傳統(tǒng)的IB網絡技術由于技術體系相對封閉，供應商較少、建網成本較高等因素，難以支持AI大規(guī)模建設需要。以太網具有開放技術體系，廣泛產業(yè)生態(tài)等諸多優(yōu)勢，因此以太網替代IB支撐AI大規(guī)模發(fā)展逐漸成為業(yè)界共識。從2022年開始，業(yè)界頭部網絡芯片廠商陸續(xù)發(fā)布51.2T以太網交換芯片，主要面向智算網絡市場。

但是傳統(tǒng)以太網技術，比如基于數據包五元組哈希的逐流粒度多路徑負載均衡技術和基于ECN/PFC的流量控制/網絡擁塞控制協(xié)議，在適配智算網絡流量模型方面存在一定的不足。“智算中心GPU之間流量模型和傳統(tǒng)DC流量模型不一樣，往往呈現流數少，單流大，高并發(fā)的特征，傳統(tǒng)以太網逐流負載均衡機制與智算流量模型不匹配，在智算場景少數大象流情況下，容易導致部分鏈路擁塞而部分鏈路空閑，鏈路擁塞會導致動態(tài)延遲增大甚至丟包。

針對上述的智算網絡流量特征，特別是大象流的特征，采用更細粒度的負載均衡機制，比如逐包粒度的負載均衡機制即包噴灑機制，是非常值得探索的方向?；贓CN/PFC機制的RoCE技術由于存在ECN/PFC參數調優(yōu)難度大、PFC死鎖和風暴等問題，只適合在小規(guī)模網絡部署，面對萬卡集群規(guī)模的AI網絡場景，需要對傳統(tǒng)以太網的流量控制和擁塞控制機制進行革新”。目前，國內外形成多個圍繞AI以太網的產業(yè)聯(lián)盟，如中國移動牽頭的GSE聯(lián)盟以及華為牽頭的超融合以太聯(lián)盟，均致力于改進以太網技術以滿足智算網絡需求。

移動云自研高性能智算網絡，支撐萬卡高速互聯(lián)

順應技術和產業(yè)發(fā)展趨勢，移動云目前正在自研基于以太網技術的高性能智算網絡系統(tǒng)，支撐萬卡GPU高速互聯(lián)，具體優(yōu)勢包括：

端網協(xié)同，網側執(zhí)行端到端路徑帶寬容量以及擁塞感知的逐包粒度自適應路由，實現無阻塞的網絡；端側DPU/RNIC實現包亂序處理、輕量化擁塞控制、網絡拓撲感知集合通信庫。

標準開放，堅持開放以太網技術路線，具備多廠商設備組網能力，同時，主導和參與智算網絡相關國際標準，比如IEEE/IETF相關標準，主導和參與智算網絡相關的國內和國際產業(yè)聯(lián)盟，比如GSE聯(lián)盟和超融合以太聯(lián)盟。

生態(tài)豐富，與網絡交換芯片、DPU/RNIC、白盒網絡設備廠商深度合作，建立廣泛產業(yè)生態(tài)。依托中國移動協(xié)同創(chuàng)新基地長三角區(qū)域中心（蘇州）節(jié)點，協(xié)同產業(yè)鏈上下游共建共享，推進高性能網絡技術和產業(yè)發(fā)展。

此外，結合移動云自研的SDN云網絡系統(tǒng)，保證通算、智算資源的無縫高速連接，構建通智算一體化的云服務能力。

中國移動智算資源規(guī)劃布局：“N+X”

移動云作為數字中國建設的國家隊、主力軍，移動云依托集團運營商稟賦優(yōu)勢，構建“4+N+31+X”算網資源體系，以及“N+X”智算資源體系。

為了適應AI需求，中國移動將智算網絡資源規(guī)劃融入算網規(guī)劃，目前移動云已構建了全棧自主可控、行業(yè)領先的智算中心架構，形成了“N+X”智算資源布局體系。建設輻射全國的智算中心和區(qū)域性節(jié)點，另外，移動云還基于智算中心底層萬卡高性能算力資源，構建了從高性能算力到AI訓練推理平臺到模型服務的全棧智算產品體系。以支持大規(guī)模萬卡集群的訓練和推理一體化需求。

“N節(jié)點指的是全國型N節(jié)點和區(qū)域性N節(jié)點，全國型N節(jié)點以大規(guī)模訓練資源為主，優(yōu)選低成本中心及國家“東數?算” 樞紐節(jié)點，滿足全網跨省、跨區(qū)域、大顆粒的智算業(yè)務需求。 區(qū)域性N節(jié)點以初期訓練、未來訓推一體資源為主， 滿足本省、本區(qū)域內智算業(yè)務需求。X節(jié)點指的是以快速滿足本省及區(qū)域內的業(yè)務需求主要承載中小規(guī)模資源需求業(yè)務，推理型資源按需部署建設。” 徐小虎解釋到。

可以看到，隨著呼和浩特超大規(guī)模單體智算中心和11省12個智算中心區(qū)域節(jié)點的啟動建設，中國移動將加快形成“N（全國性、區(qū)域性智算中心）+X（屬地化、定制化邊緣智算節(jié)點）”多層級、全覆蓋智算能力布局，并結合高性能網絡的技術優(yōu)勢，有望在AI時代在智算領域發(fā)揮更大價值。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。