6月14日消息，近日智源研究院在北京智源大會(huì)上重磅發(fā)布了全面開(kāi)源的“悟道3.0”系列大模型，包括“悟道·天鷹”（Aquila）語(yǔ)言大模型等領(lǐng)先成果。目前，摩爾線程已率先完成對(duì)“悟道·天鷹”（Aquila）大模型的推理兼容適配，整個(gè)適配過(guò)程僅花費(fèi)不到6小時(shí)時(shí)間，便實(shí)現(xiàn)與摩爾線程自研MUSAChat應(yīng)用的無(wú)縫集成。此前，摩爾線程曾在ChatGLM發(fā)布后24小時(shí)內(nèi)實(shí)現(xiàn)適配，并在數(shù)小時(shí)內(nèi)適配LLaMA模型，摩爾線程CUDA兼容的技術(shù)能力一再被驗(yàn)證。
這充分得益于摩爾線程強(qiáng)大的代碼移植工具"MUSIFY"。該工具可快速將現(xiàn)有的CUDA程序遷移至摩爾線程MUSA，零成本完成CUDA代碼自動(dòng)移植，之后用戶短時(shí)間內(nèi)即可完成熱點(diǎn)分析和針對(duì)性優(yōu)化，大大縮短遷移優(yōu)化的周期，從而使得大模型適配形成了標(biāo)準(zhǔn)“流水線作業(yè)”，讓開(kāi)發(fā)者可以省時(shí)、省力、省事、省心。
目前，基于摩爾線程打造的AI與云計(jì)算平臺(tái)，已經(jīng)可以運(yùn)行ChatGLM、Stable Diffusion、LLaMA、“悟道3.0”等開(kāi)源大模型，以及摩爾線程自研的MUSAChat和MUSABert等模型的部分訓(xùn)練和推理應(yīng)用。借助摩爾線程元計(jì)算統(tǒng)一系統(tǒng)架構(gòu)MUSA，用戶可以復(fù)用PyTorch開(kāi)源社區(qū)的大量模型算子，降低開(kāi)發(fā)成本。與此同時(shí)，摩爾線程開(kāi)源的MT Pytorch可以支持多種模型的推理，覆蓋CV、NLP、語(yǔ)音等多個(gè)領(lǐng)域，能夠運(yùn)行典型的大模型分布式多卡推理，也可以支持單機(jī)多卡與多機(jī)多卡的分布式訓(xùn)練。利用數(shù)據(jù)并行、模型并行以及ZERO等分布式訓(xùn)練技術(shù)，MT PyTorch還可以完成簡(jiǎn)單基礎(chǔ)模型以及典型Transformer結(jié)構(gòu)的NLP語(yǔ)言模型的訓(xùn)練。
據(jù)悉，智源此次發(fā)布的“悟道3.0”系列開(kāi)源模型涵蓋語(yǔ)言、視覺(jué)、多模態(tài)等基礎(chǔ)大模型，其中，“悟道·天鷹”（Aquila）語(yǔ)言大模型是首個(gè)具備中英雙語(yǔ)知識(shí)、支持商用許可協(xié)議、國(guó)內(nèi)數(shù)據(jù)合規(guī)需求的開(kāi)源語(yǔ)言大模型。其在中英文高質(zhì)量語(yǔ)料基礎(chǔ)上從0開(kāi)始訓(xùn)練，通過(guò)數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實(shí)現(xiàn)在更小的數(shù)據(jù)集、更短的訓(xùn)練時(shí)間內(nèi)，獲得比其他開(kāi)源模型更優(yōu)的性能。
“悟道?天鷹（Aquila）”語(yǔ)言大模型開(kāi)源商用許可無(wú)疑將會(huì)成為自主大語(yǔ)言模型產(chǎn)業(yè)生態(tài)的一個(gè)里程碑事件。摩爾線程也愿與眾多優(yōu)秀的基礎(chǔ)模型供應(yīng)商深度合作，攜手從硬件、算子、算法多個(gè)方面進(jìn)行深度優(yōu)化，從硬件、軟件、模型、業(yè)務(wù)多個(gè)維度賦能應(yīng)用開(kāi)發(fā)商，致力于讓大模型更好賦能千行百業(yè)。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 高速追尾卡車死亡率最高 為何“鉆卡”成為致命風(fēng)險(xiǎn)？
- AI全面賦能人車家全生態(tài) 小米澎湃OS 2正式發(fā)布
- 蜂巢科技與寶視達(dá)簽訂戰(zhàn)略合作，以智能眼鏡開(kāi)拓眼鏡消費(fèi)新增量
- TechWeb微晚報(bào)：張一鳴身家達(dá)3500億元成中國(guó)首富，iPhone 16在印尼遭禁售
- 小鵬汽車們憑什么能不講武德？周鴻祎與何小鵬激辯AI時(shí)代如何創(chuàng)新
- 消息稱華為Mate 70系列11月上市 部分零部件投產(chǎn)數(shù)量增50%
- 從上班族到月銷60萬(wàn)店主 夢(mèng)餉科技助力普通人開(kāi)辟職業(yè)發(fā)展新曲線
- 消息稱菜鳥(niǎo)全面接入京東第三方平臺(tái) 雙方已基本完成對(duì)接
- 靠“收割”司機(jī)扭虧為盈？貨拉拉四戰(zhàn)IPO，估值較去年縮水250億元
- 2024年Q3學(xué)習(xí)平板銷量同比增長(zhǎng)38% 作業(yè)幫學(xué)習(xí)機(jī)銷量增速均第一
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。
