浪潮信息元腦R1推理服務(wù)器已完成對開源框架SGLang最新版本的深度適配，成功實現(xiàn)在單機高性能運行DeepSeek R1 671B模型時可最大支持超過1000路的用戶并發(fā)訪問。
DeepSeek R1參數(shù)量達(dá)到6710億，采用了MLA注意力機制和共享專家、路由專家共同組成的混合專家(MoE)架構(gòu)，其創(chuàng)新的模型架構(gòu)也帶來了在推理服務(wù)上的性能挑戰(zhàn)。浪潮信息團隊從AI服務(wù)器和推理框架入手開展了協(xié)同優(yōu)化工作。
元腦R1推理服務(wù)器NF5688G7原生搭載FP8計算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失，1128GB HBM3e高速顯存滿足671B模型 FP8精度下不低于800GB顯存容量的需求，單機支持全量模型推理情況下，仍保留充足的KV緩存空間。顯存帶寬高達(dá)4.8TB/s，完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術(shù)特征，在推理解碼階段可實現(xiàn)極致加速。在通信方面，GPU P2P帶寬達(dá)900GB/s，保障單機部署張量并行最佳通訊性能。
SGLang是新興的開源推理框架項目，其得到活躍的社區(qū)支持，并在工業(yè)界獲得了廣泛應(yīng)用。SGlang的核心特性包括：快速的后端運行時、靈活的前端語言、廣泛的模型支持等。尤其值得關(guān)注的是，SGLang針對MLA注意力機制開展了針對性的工程優(yōu)化，并在框架上對MoE架構(gòu)的推理做了優(yōu)化設(shè)計。SGLang也是最早適配DeepSeek v3和R1的優(yōu)選推理框架之一。
目前，元腦R1推理服務(wù)器 NF5688G7已完成SGLang最新版本 0.4.3的適配優(yōu)化工作。通過硬件調(diào)優(yōu)、算子優(yōu)化、混合并行、多token預(yù)測等多方面的工程實踐，在元腦R1推理服務(wù)器 NF5688G7上運行DeepSeek 671B R1模型，成功實現(xiàn)了單用戶解碼最高33 tokens/s及最大用戶并發(fā)超1000的優(yōu)異性能表現(xiàn)。
單路并發(fā)性能測試日志，根據(jù)TPOT換算用戶解碼性能為33.3 tokens/s
DeepSeek R1 671B是一個稀疏度較高的MoE架構(gòu)模型，具有模型參數(shù)量大、計算量小的特點。和Dense模型相比，在滿足KV cache的顯存占用的前提下，可以支持更高的并發(fā)訪問需求。實測數(shù)據(jù)表明，基于單臺NF5688G7，在使用DeepSeek R1進(jìn)行帶思維鏈深度思考的短輸入長輸出的問答場景下，使用100/1000作為輸入輸出長度，實測在單個用戶并發(fā)時的解碼性能為33.3tokens/s；在16個用戶并發(fā)時，每個用戶有約20 tokens/s的解碼性能；在64個用戶并發(fā)時，每個用戶有約10.4 tokens/s的解碼性能。而在使用1024個用戶并發(fā)訪問的極限測試時，單臺NF5688G7實現(xiàn)了3975.76 tokens/s的吞吐性能，可以滿足超高并發(fā)場景下多用戶使用需求。
1024路并發(fā)性能測試日志，測試使用了1000/1000的輸入輸出長度，實現(xiàn)了3975.76 tokens/s的總設(shè)備吞吐
浪潮信息團隊正與業(yè)內(nèi)團隊密切合作，在計算架構(gòu)、算子調(diào)優(yōu)、并行策略、框架適配、調(diào)度管理等多個方面持續(xù)發(fā)力，旨在為用戶帶來高性能、高效穩(wěn)定、性價比高的DeepSeek大模型部署服務(wù)方案，助力大模型快速落地應(yīng)用。
浪潮信息是全球領(lǐng)先的IT基礎(chǔ)設(shè)施產(chǎn)品、方案和服務(wù)提供商，通過發(fā)展新一代以系統(tǒng)為核心的計算架構(gòu)，打造開放、多元、綠色的元腦智算產(chǎn)品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發(fā)創(chuàng)新，并通過元腦生態(tài)攜手領(lǐng)先伙伴，加速人工智能的創(chuàng)新和應(yīng)用落地。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
