9月14日消息(趙婷婷)在日前召開的2024服貿(mào)會通用人工智能算力論壇上,中國工程院院士、清華大學(xué)計算機(jī)科學(xué)與技術(shù)系教授鄭緯民發(fā)表題為《構(gòu)建國產(chǎn)智算系統(tǒng)的關(guān)鍵》的主題演講。
鄭緯民表示,當(dāng)前大模型進(jìn)入多模態(tài)發(fā)展,不僅限于文本處理,還包括圖像與視頻等多媒體形式;并且大模型的應(yīng)用領(lǐng)域正在不斷拓展,涵蓋了金融、醫(yī)療、汽車以及智能制造等多個行業(yè)。
隨著AI快速發(fā)展,對算力的需求呈現(xiàn)出爆炸式增長。而大模型的開發(fā)與部署尤其依賴于強(qiáng)大的算力支持。大模型的研發(fā)通常涉及五個關(guān)鍵階段:數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型微調(diào)以及模型推理,每一個階段都需要大量的計算資源。尤其是在模型訓(xùn)練與推理過程中,算力消耗分別占據(jù)了整體需求的大約70%與95%。
目前,用于訓(xùn)練的設(shè)備主要包括英偉達(dá)的GPU。盡管英偉達(dá)的GPU以其出色的硬件性能及成熟的編程生態(tài)體系受到廣泛歡迎,但由于國際供應(yīng)受限,導(dǎo)致價格高漲且供不應(yīng)求。在此背景下,算力的國產(chǎn)化勢在必行。目前國內(nèi)相關(guān)企業(yè)已開始自主研發(fā)AI芯片,并取得顯著進(jìn)展,多家公司如華為、曙光、寒武紀(jì)及摩爾線程等均已有產(chǎn)品問世。然而,盡管國產(chǎn)化取得了積極成果,但在實際應(yīng)用中仍面臨挑戰(zhàn),尤其是軟件生態(tài)系統(tǒng)的建設(shè)尚需加強(qiáng)。
鄭緯民指出,為了改善這一狀況,清華大學(xué)開發(fā)了一套名為“八卦爐”的核心基礎(chǔ)軟件,包括并行系統(tǒng)、編程框架、AI編譯器、算子庫等十個軟件,旨在優(yōu)化國產(chǎn)智算系統(tǒng)的軟件環(huán)境。該軟件已在多個平臺進(jìn)行測試,并成功應(yīng)用于大模型訓(xùn)練任務(wù),如LLAMA、百川和悟道等,不僅能夠正確完成訓(xùn)練任務(wù),而且在成本效益方面表現(xiàn)出色,僅英偉達(dá)GPU的六分之一。
此外,“八卦爐”還在其他應(yīng)用場景中展現(xiàn)出了卓越的性能提升能力,例如,在沐曦、燧原、摩爾線程等企業(yè)的實踐中,提升了算力效率,并降低成本。
演講最后,鄭緯民總結(jié)道,“發(fā)展人工智能,構(gòu)建國產(chǎn)智能算力至關(guān)重要。智能算力的軟件生態(tài)是當(dāng)前制約我國人工智能發(fā)展的關(guān)鍵因素,優(yōu)秀的系統(tǒng)軟件能夠充分釋放底層硬件算力的潛力。”
- 萬通發(fā)展:終止收購索爾思光電60.16%股份
- 聯(lián)特科技預(yù)計2024年凈利潤同比增長220.96%—334.25%
- 有方科技預(yù)計2024年凈利潤同比增長365.41%
- 800G和400G高端光模塊銷售大增 中際旭創(chuàng)2024年凈利潤增長111.64%—166.85%
- 亞信安全:預(yù)計2024年實現(xiàn)扭虧為盈
- Arm發(fā)布芯粒系統(tǒng)架構(gòu)首個公開規(guī)范,加速芯片技術(shù)演進(jìn)
- 中國鐵塔擬新購一套應(yīng)急無人直升機(jī)空中基站
- 427780臺 中國鐵塔啟動智能維護(hù)攝像機(jī)產(chǎn)品集中招標(biāo)
- 規(guī)模267904臺 中國鐵塔啟動2025年自研邊緣網(wǎng)關(guān)合作伙伴招標(biāo)
- 國家數(shù)據(jù)局聲明:未授權(quán)任何“數(shù)據(jù)要素×”相關(guān)有償活動
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。