6月10日，在第五屆智源大會(huì)AI系統(tǒng)分論壇上，上海天數(shù)智芯半導(dǎo)體有限公司(以下簡(jiǎn)稱“天數(shù)智芯”)對(duì)外宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院(以下簡(jiǎn)稱“智源研究院”)70億參數(shù)的Aquila語(yǔ)言基礎(chǔ)模型，使用代碼數(shù)據(jù)進(jìn)行繼續(xù)訓(xùn)練，穩(wěn)定運(yùn)行19天，模型收斂效果符合預(yù)期，證明天數(shù)智芯有支持百億級(jí)參數(shù)大模型訓(xùn)練的能力。
圖 天數(shù)智芯產(chǎn)品線總監(jiān)宋煜
在北京市海淀區(qū)的大力支持下，智源研究院、天數(shù)智芯與愛特云翔共同合作，聯(lián)手開展基于自主通用GPU的大模型CodeGen(高效編碼)項(xiàng)目，通過中文描述來(lái)生成可用的C、Java、Python代碼以實(shí)現(xiàn)高效編碼。智源研究院負(fù)責(zé)算法設(shè)計(jì)、訓(xùn)練框架開發(fā)、大模型的訓(xùn)練與調(diào)優(yōu)，天數(shù)智芯負(fù)責(zé)提供天垓100加速卡、構(gòu)建算力集群及全程技術(shù)支持，愛特云翔負(fù)責(zé)提供算存網(wǎng)基礎(chǔ)硬件及智能化運(yùn)維服務(wù)。
圖 天數(shù)智芯大模型訓(xùn)練全棧方案
在三方的共同努力下，在基于天垓100加速卡的算力集群上，100B Tokens編程語(yǔ)料、70億參數(shù)量的AquilaCode大模型參數(shù)優(yōu)化工作結(jié)果顯示，1個(gè)Epoch后loss下降到0.8，訓(xùn)練速度達(dá)到87K Tokens/s，線性加速比高達(dá)95%以上。與國(guó)際主流的A100加速卡集群相比，天垓100加速卡集群的收斂效果、訓(xùn)練速度、線性加速比相當(dāng)，穩(wěn)定性更優(yōu)。在HumanEval基準(zhǔn)數(shù)據(jù)集上，以Pass@1作為評(píng)估指標(biāo)，自主算力集群訓(xùn)練出來(lái)的模型測(cè)試結(jié)果達(dá)到相近參數(shù)級(jí)別大模型的SOTA水平，在AI編程能力與國(guó)際主流GPU產(chǎn)品訓(xùn)練結(jié)果相近。
圖 基于天垓100算力集群的AquilaCode大模型訓(xùn)練性能采樣
天垓100率先完成百億級(jí)參數(shù)大模型訓(xùn)練，邁出了自主通用GPU大模型應(yīng)用的重要的一步。這一成果充分證明了天垓產(chǎn)品可以支持大模型訓(xùn)練，打通了國(guó)內(nèi)大模型創(chuàng)新發(fā)展的關(guān)鍵“堵點(diǎn)”，對(duì)于我國(guó)大模型自主生態(tài)建設(shè)、產(chǎn)業(yè)鏈安全保障具有十分重大的意義。
接下來(lái)，天數(shù)智芯將與合作伙伴們繼續(xù)深入合作，建設(shè)更大規(guī)模的天垓100算力集群，完成更大參數(shù)規(guī)模的大模型訓(xùn)練，以自主通用GPU產(chǎn)品更好支持國(guó)內(nèi)大模型創(chuàng)新應(yīng)用，進(jìn)一步夯實(shí)我國(guó)算力基礎(chǔ)，助力人工智能產(chǎn)業(yè)自主生態(tài)建設(shè)。
關(guān)于智源研究院
北京智源人工智能研究院(簡(jiǎn)稱“智源研究院”)是人工智能領(lǐng)域的新型研發(fā)機(jī)構(gòu)。2018年11月14日，聯(lián)合北京多家人工智能領(lǐng)域優(yōu)勢(shì)單位共建。智源研究院的愿景和目標(biāo)是聚焦原始創(chuàng)新和核心技術(shù)，建立目標(biāo)導(dǎo)向與自由探索相結(jié)合的科研體制，營(yíng)造全球最佳的學(xué)術(shù)和技術(shù)創(chuàng)新生態(tài)，推動(dòng)北京成為全球人工智能學(xué)術(shù)思想、基礎(chǔ)理論、頂尖人才、企業(yè)創(chuàng)新和發(fā)展政策的源頭，率先成為國(guó)際領(lǐng)先的人工智能創(chuàng)新中心，推動(dòng)人工智能產(chǎn)業(yè)發(fā)展和深度應(yīng)用，改變?nèi)祟惿鐣?huì)生活，促進(jìn)人類、環(huán)境和智能的可持續(xù)發(fā)展。
關(guān)于天數(shù)智芯
上海天數(shù)智芯半導(dǎo)體有限公司(簡(jiǎn)稱“天數(shù)智芯”)是中國(guó)領(lǐng)先的通用GPU 高端芯片及超級(jí)算力系統(tǒng)提供商。天數(shù)智芯以“服務(wù)國(guó)家戰(zhàn)略”為己任，堅(jiān)持“四個(gè)面向”，致力于開發(fā)自主可控、國(guó)際領(lǐng)先的高性能通用GPU產(chǎn)品，探索通用GPU趕超發(fā)展道路，加快建設(shè)自主產(chǎn)業(yè)生態(tài)，為全產(chǎn)業(yè)提供高端算力解決方案。未來(lái)，天數(shù)智芯將堅(jiān)持中國(guó)特色的自主自強(qiáng)創(chuàng)新發(fā)展道路，打造更可信、更高效、更綠色的世界一流算力引擎，賦能千行百業(yè)數(shù)字化轉(zhuǎn)型，促進(jìn)我國(guó)數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展，開啟中國(guó)引領(lǐng)世界走向元宇宙、數(shù)字孿生的嶄新一頁(yè)。
關(guān)于愛特云翔
愛特云翔專注為政企客戶提供大數(shù)據(jù)中心、云計(jì)算、人工智能服務(wù)，是以“cloud + AI”為技術(shù)基座的科技創(chuàng)新型企業(yè)。愛特云翔目前擁有淄博臨淄、寧夏中衛(wèi)、青島即墨等三個(gè)大數(shù)據(jù)產(chǎn)業(yè)園和IDC，總機(jī)柜數(shù)為2.2萬(wàn)個(gè)，已具備覆蓋華北、華中、華東、華南的光纖網(wǎng)絡(luò)，建立有北京、上海、淄博軟件與算法研發(fā)中心、濟(jì)南技術(shù)支持中心、深圳硬件設(shè)計(jì)中心、聊城智能物聯(lián)生產(chǎn)線，及全國(guó)各地子公司等分支機(jī)構(gòu)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
