鄭緯民院士：綜合考慮，構(gòu)建基于國(guó)產(chǎn)AI卡的萬(wàn)卡大模型訓(xùn)練平臺(tái)

4月28日消息（九九）今天上午，以“算力網(wǎng)絡(luò)點(diǎn)亮AI新時(shí)代”為主題的中國(guó)移動(dòng)算力網(wǎng)絡(luò)大會(huì)在蘇州開(kāi)幕。在大會(huì)主論壇上，中國(guó)工程院院士鄭緯民指出，人工智能對(duì)算力產(chǎn)生爆發(fā)式需求，模型研發(fā)、模型訓(xùn)練、模型精調(diào)、模型推理都需要算力，算力存在于大模型生命周期的每一環(huán)。

鄭緯民進(jìn)一步指出，構(gòu)建基于國(guó)產(chǎn)AI卡的萬(wàn)卡大模型訓(xùn)練平臺(tái)需要考慮到幾個(gè)問(wèn)題：

一是半精度運(yùn)算性能與雙精度運(yùn)算性能的平衡

設(shè)計(jì)中不僅要考慮半精度運(yùn)算性能，還要考慮雙精度運(yùn)算能力，雙精度與半精度運(yùn)算性能之比為1：50-100為宜。根據(jù)科學(xué)計(jì)算（AI For Science）和大模型訓(xùn)練的發(fā)展趨勢(shì)，提出了變精度平衡設(shè)計(jì)的思想，為適應(yīng)科學(xué)計(jì)算和更廣泛的AI算法和應(yīng)用提供了保障。

二是網(wǎng)絡(luò)平衡設(shè)計(jì)

網(wǎng)絡(luò)設(shè)計(jì)不能針對(duì)CNN算法，還需考慮極大規(guī)模預(yù)訓(xùn)練模型對(duì)系統(tǒng)的需求。大規(guī)模預(yù)訓(xùn)練模型需要高帶寬低延遲網(wǎng)絡(luò)。并支持?jǐn)?shù)據(jù)并行，模型并行和專家平行模式。

三是體系結(jié)構(gòu)感知的內(nèi)存平衡設(shè)計(jì)

一方面訪問(wèn)內(nèi)存的請(qǐng)求使網(wǎng)絡(luò)擁塞，降低吞吐量，反映到應(yīng)用程序上表現(xiàn)為訪存性能顯著下降；另一方面，多個(gè)訪問(wèn)內(nèi)存的請(qǐng)求可能訪問(wèn)同一存控對(duì)應(yīng)的內(nèi)存空間，負(fù)載不均，存控需要順序處理訪存請(qǐng)求。

四是IO子系統(tǒng)平衡設(shè)計(jì)

需要支持檢查點(diǎn)，增加SSD。另外，系統(tǒng)的本地nvme ssd僅通過(guò)本地文件系統(tǒng)訪問(wèn)，限制了其應(yīng)用范圍，需要將每臺(tái)服務(wù)器上的快速本地nvme整合成應(yīng)用可見(jiàn)的全局分布式文件系統(tǒng)。

“大模型基礎(chǔ)設(shè)施平衡設(shè)計(jì)的幾點(diǎn)考慮做得好，別人要用1萬(wàn)塊卡，我們用9000塊卡就可以了。”鄭緯民說(shuō)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。