中國(guó)工程院院士鄭緯民：超算完全可用于大模型訓(xùn)練 且極具成本優(yōu)勢(shì)

12月5日消息 經(jīng)國(guó)務(wù)院批準(zhǔn)，由科技部和河南省政府共同主辦，以“5G變革 共繪未來(lái)”為主題的2023世界5G大會(huì)將于12月6日至8日在河南省鄭州市鄭州國(guó)際會(huì)展中心舉行。

圍繞“強(qiáng)基韌鏈與引領(lǐng)帶動(dòng)”、“賦能產(chǎn)業(yè)高質(zhì)量發(fā)展”，2023世界5G大會(huì)設(shè)置12個(gè)平行論壇，助力全球頂尖5G產(chǎn)業(yè)合作和資源整合。在世界5G大會(huì)正式開幕前夕，以“融合創(chuàng)新提升價(jià)值空間”為主題的“Tech Talk 2023 創(chuàng)新技術(shù)論壇”在今天率先拉開帷幕。

論壇期間，中國(guó)工程院院士、清華大學(xué)教授鄭緯民院士應(yīng)邀作了題為《支持大模型訓(xùn)練的三種算力系統(tǒng)》的主題演講。鄭緯民院士指出，目前支持大模型訓(xùn)練的有三種算力系統(tǒng)，分別為基于英偉達(dá)公司的GPU系統(tǒng)，基于國(guó)產(chǎn)AI芯片的系統(tǒng)，以及基于超級(jí)計(jì)算機(jī)的系統(tǒng)，三種算力系統(tǒng)各有優(yōu)劣。

解決10大軟件難題：國(guó)產(chǎn)AI芯片破局之路

鄭緯民表示，英偉達(dá)GPU系統(tǒng)的優(yōu)點(diǎn)是硬件性能好，生態(tài)心態(tài)也比較完善，因?yàn)榇蠹叶枷矚g用；但問題在于中美博弈所引發(fā)的禁售風(fēng)險(xiǎn)；同時(shí)，英偉達(dá)GPU產(chǎn)品價(jià)格高，價(jià)格暴漲的同時(shí)還一卡難求。當(dāng)然，這也給國(guó)產(chǎn)AI芯片一個(gè)難得的發(fā)展機(jī)遇，目前國(guó)內(nèi)已經(jīng)有30多家公司推出了國(guó)產(chǎn)芯片，“但用戶不太喜歡用，核心問題就是生態(tài)不好?！?/p>

在鄭緯民看來(lái)，如果國(guó)產(chǎn)AI芯片硬件達(dá)到國(guó)外芯片的60%性能，只要能把軟件和生態(tài)做好，用戶也是滿意的，“如果軟件和生態(tài)沒做好，即便硬件性能再?gòu)?qiáng)，照樣沒人用?！?/p>

鄭緯民總結(jié)了十大關(guān)鍵軟件技術(shù)，分別是編程框架、并行加速、通信庫(kù)、算子庫(kù)、AI編譯器、編程語(yǔ)言、調(diào)度器、內(nèi)存分配系統(tǒng)、容錯(cuò)系統(tǒng)、存儲(chǔ)系統(tǒng)等問題?！叭绻堰@些問題解決好，即使只有國(guó)外芯片60%的性能，國(guó)產(chǎn)AI卡也會(huì)大受歡迎?！碑?dāng)然，鄭緯民也希望國(guó)內(nèi)廣大用戶盡可能采用國(guó)產(chǎn)AI芯片，以用促建，以用促研，不斷的給予正向反饋。

軟硬協(xié)同設(shè)計(jì)：國(guó)產(chǎn)超算完全可以支持大模型訓(xùn)練

鄭緯民指出，不止于GPU這種算力形態(tài)，超級(jí)計(jì)算機(jī)也完全可以用于支持大模型訓(xùn)練，但需要從源頭做好軟硬件協(xié)同設(shè)計(jì)。

目前，我國(guó)超算水平已經(jīng)處于國(guó)際第一梯隊(duì)，有14個(gè)國(guó)家一級(jí)超算中心，另外還有不少由地方和行業(yè)建設(shè)運(yùn)營(yíng)的超算中心。這些超算中心在科學(xué)計(jì)算上做得很不錯(cuò)，發(fā)揮了很大的作用，但是部分超算中心的算力利用率并不飽和，完全也可以用這些機(jī)器來(lái)做大模型訓(xùn)練。

“但利用超算來(lái)進(jìn)行大模型訓(xùn)練，更要注重軟硬件協(xié)同設(shè)計(jì)。硬件發(fā)展很快，過(guò)去一臺(tái)機(jī)器，基本是CPU+內(nèi)存+硬盤就可以，但是現(xiàn)在計(jì)算部件不只是簡(jiǎn)單的CPU，還有很多新的器件出現(xiàn)；軟件方面，不論是人工智能應(yīng)用軟件，還是基于圖數(shù)據(jù)的圖計(jì)算應(yīng)用，以及大數(shù)據(jù)應(yīng)用，軟件已和過(guò)去不一樣，如何將軟件和硬件更好協(xié)同起來(lái)非常重要。”

以鄭緯民院士團(tuán)隊(duì)開發(fā)的“八卦爐”大模型為例，通過(guò)設(shè)計(jì)和優(yōu)化，依托超算算力資源完全可以達(dá)到英偉達(dá)GPU平臺(tái)的性能。除此之外，鄭緯民院士團(tuán)隊(duì)目前已經(jīng)把LLaMA大模型在超算上成功運(yùn)行，國(guó)內(nèi)的百川大模型等也已經(jīng)成功運(yùn)行，而且成本只需要英偉達(dá)平臺(tái)的六分之一！

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。