摩爾線程創(chuàng)新應(yīng)用DeepSeek開源通信庫DeepEP，引領(lǐng)并行算法DualPipe新篇章
在科技日新月異的今天，摩爾線程以其卓越的創(chuàng)新實力，再次引領(lǐng)了并行算法的新篇章。近日，摩爾線程成功支持DeepSeek開源通信庫DeepEP和并行算法DualPipe，并發(fā)布了相關(guān)開源代碼倉庫MT-DeepEP和MT-DualPipe。這一舉措無疑將推動深度學(xué)習(xí)領(lǐng)域的發(fā)展，并為廣大開發(fā)者帶來更為高效、靈活的解決方案。
DeepEP，作為一款用于MoE（混合專家）模型訓(xùn)練和推理的開源EP（專家并行）通信庫，主要適用于大模型訓(xùn)練，特別是需要EP的集群訓(xùn)練。它通過優(yōu)化通信信道的使用率，顯著提升了訓(xùn)練效率。而DualPipe則是DeepSeek-V3提出的雙向流水線并行算法，通過前向計算與后向計算階段的計算與通信完全重疊，有效減少了“流水線氣泡”（設(shè)備空閑等待）。
摩爾線程依托深度學(xué)習(xí)框架Torch-MUSA和MUSA軟件棧全方位的兼容性，實現(xiàn)了對DualPipe這一算法的支持。目前，MT-DualPipe可以完整接入摩爾線程MT-Megatron框架和MT-TransformerEngine框架（即將開源），實現(xiàn)DeepSeek V3訓(xùn)練流程完整復(fù)現(xiàn)。這一創(chuàng)新成果無疑將為深度學(xué)習(xí)領(lǐng)域帶來深遠影響。
DeepEP的高效優(yōu)化All-to-All通信、支持MTLink+GPU（MUSA Compute Capability 3.1）節(jié)點內(nèi)通信、訓(xùn)練及推理預(yù)填充階段的高吞吐量計算核心、推理解碼階段的低延遲計算核心等特性，使其成為訓(xùn)練大模型的有力工具。同時，它還原生支持FP8數(shù)據(jù)分發(fā)，靈活控制GPU資源，實現(xiàn)計算與通信的高效重疊。
而DualPipe的雙向流水線并行算法，通過前向與后向計算階段的重疊，有效減少了“氣泡”，進一步優(yōu)化了通信效率。結(jié)合MT-Megatron框架，可以實現(xiàn)DeepSeek V3模型MLP-FFN的分離以及DW-DG分離，進一步提升模型的訓(xùn)練效率。此外，MT-DualPipe與MT-TranformerEngine和MT-DeepEP的結(jié)合，可利用MT-DeepEP和異步通信引擎實現(xiàn)更高效的通信掩蓋，降低對計算資源損耗。
這一切都充分證明了摩爾線程在深度學(xué)習(xí)領(lǐng)域的領(lǐng)先地位和強大實力。作為一家以創(chuàng)新為驅(qū)動的公司，摩爾線程始終堅持將最新的科技成果應(yīng)用于實際產(chǎn)品中，以滿足不斷發(fā)展的市場需求。其推出的DeepEP和DualPipe算法，無疑將為深度學(xué)習(xí)領(lǐng)域帶來深遠影響，引領(lǐng)并行算法的新篇章。
在未來的發(fā)展中，我們期待摩爾線程能夠繼續(xù)發(fā)揮其創(chuàng)新優(yōu)勢，推出更多具有影響力的科技成果，為全球開發(fā)者提供更為高效、靈活的解決方案，推動深度學(xué)習(xí)領(lǐng)域的發(fā)展。同時，我們也期待廣大開發(fā)者能夠借助摩爾線程的科技成果，創(chuàng)造出更多具有影響力的應(yīng)用成果，共同推動科技的發(fā)展。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
