震撼!這家公司僅用19天時(shí)間就完成百億級(jí)參數(shù)大模型全量訓(xùn)練

6月10日上午,北京智源大會(huì)現(xiàn)場(chǎng)AI系統(tǒng)分論壇上,天數(shù)智芯產(chǎn)品總監(jiān)宋煜發(fā)表了《國產(chǎn)GPU助力大模型的實(shí)踐》的演講,講述這家率先完成通用GPU量產(chǎn)的企業(yè)此次的新動(dòng)作。

天數(shù)智芯的天垓、智鎧系列通用GPU產(chǎn)品具有高性能、廣通用、開發(fā)成本低的特點(diǎn),廣泛支持DeepSpeed、Colossal、BM Train等各種大模型框架,基于天垓、智鎧加速卡的算力集群方案不僅能夠有效支持LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune,為行業(yè)伙伴提供一站式的大模型算力及賦能服務(wù)。同時(shí)面向大模型推理側(cè)的一體機(jī),性價(jià)比超過國內(nèi)現(xiàn)有市場(chǎng)主流產(chǎn)品。

據(jù)悉,僅用時(shí)19天時(shí)間,天數(shù)智芯就成功完成了北京智源人工智能研究院70億參數(shù)大模型全量訓(xùn)練,收斂效果與英偉達(dá)A100集群相當(dāng)。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )