DeepSeek開源新動態(tài)：優(yōu)化GPU通信庫DeepEP，揭開高效通信新篇章

標題：優(yōu)化GPU通信庫：揭開高效通信新篇章——DeepEP開源動態(tài)

隨著科技的進步，人工智能的模型訓練和推理已成為主流。在這個領域，DeepSeek的開源新動態(tài)——DeepEP，以其創(chuàng)新的EP通信庫，為MoE模型的訓練和推理帶來了新的可能。DeepEP專注于提供高效且低延遲的GPU通信解決方案，進一步推動了人工智能領域的發(fā)展。

首先，DeepEP是一個專為MoE（混合專家）模型訓練和推理設計的EP（專家并行化）通信庫。它為所有GPU內核提供高吞吐量和低延遲，同時也支持低精度操作，如FP8。DeepEP針對NVLink（一種高速互聯(lián)技術，主要用于GPU之間的通信，提升帶寬和降低延遲）到RDMA（遠程直接內存訪問，一種網絡數據傳輸技術，用于跨節(jié)點高效通信）的非對稱帶寬轉發(fā)場景進行了深度優(yōu)化。

值得注意的是，DeepEP不僅提供了高吞吐量，還支持SM（流式多處理器）數量控制，這使得它在訓練和推理任務中都能保持高吞吐量表現。對于對延遲敏感的推理解碼，DeepEP包含一組低延遲內核和純RDMA，以最大限度地減少延遲。此外，DeepEP還引入了一種基于鉤子的通信計算重疊方法，這種方法不占用任何SM資源，進一步提升了效率。

DeepSeek表示，DeepEP的實現可能與DeepSeek-V3論文中的描述略有不同，但這種差異并不影響其核心優(yōu)勢的發(fā)揮。DeepSeek-V3論文是深度學習領域的經典之作，而DeepEP則是這一經典理論在實際應用中的創(chuàng)新實踐。

為了驗證DeepEP的實際性能，DeepSeek在H800（NVLink的最大帶寬約為160 GB/s）上進行了一系列測試。測試結果顯示，使用常規(guī)內核，每臺設備都連接一塊CX7 InfiniBand 400 Gb/s的RDMA網卡（最大帶寬約為50 GB/s），并遵循DeepSeek-V3/R1預訓練設置（每批次4096個Tokens，7168個隱藏層單元，前4個組，前8個專家），使用FP8格式進行調度，使用BF16格式進行合并。而在H800上測試低延遲內核時，每臺H800都連接同樣的網卡，遵循典型的生產環(huán)境設置（每批次128個Tokens，7168個隱藏層單元），前8個專家采用FP8格式進行調度，采用BF16格式進行合并。

這些測試結果充分證明了DeepEP的高效性。在追求更高效、更精確的人工智能模型訓練和推理的過程中，DeepEP的出現無疑為我們揭開了高效通信新篇章。

總的來說，DeepSeek開源的DeepEP優(yōu)化了GPU通信庫，為人工智能領域帶來了新的可能。DeepEP以其創(chuàng)新的EP通信庫、高效的性能和低延遲的設計，展示了其在推動人工智能領域發(fā)展中的重要作用。未來，我們期待DeepEP能在更多的應用場景中發(fā)揮其優(yōu)勢，為人工智能的發(fā)展注入新的活力。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。