MindSpore 1.2正式發(fā)布,國內首個支持千億參數(shù)大模型訓練AI計算框架

近日在華為開發(fā)者大會2021(Cloud)期間(簡稱HDC. Cloud 2021),國內首個支持千億參數(shù)大模型訓練的AI計算框架MindSpore 1.2正式發(fā)布。最新1.2版本帶來了AI框架領域 “全自動并行、全場景AI、可解釋推薦模型” 三大創(chuàng)新,讓開發(fā)者盡享AI開發(fā)。

210426-3.jpg

全自動并行

MindSpore是業(yè)界首個基于網(wǎng)絡拓撲和集群資源自動感知的全自動并行框架,且基于全自動并行能力已開發(fā)業(yè)界首個2000億參數(shù)的中文預訓練模型。

在靜態(tài)圖模式下,MindSpore融合了流水線并行、模型并行和數(shù)據(jù)并行三種并行技術,開發(fā)者只需編寫單機算法代碼,添加少量并行標簽,即可實現(xiàn)訓練過程的自動切分,使得并行算法性能調優(yōu)時間從月級降為小時級,同時訓練性能相比業(yè)界標桿提升40%。

在動態(tài)圖模式下,MindSpore獨特的函數(shù)式微分設計,能從一階微分輕易地擴展到高階微分,并進行整圖性能優(yōu)化,大幅提升動態(tài)圖性能;結合創(chuàng)新的通訊算子融合和多流并行機制,較其它AI框架,MindSpore動態(tài)圖性能提升60%。

全場景AI

MindSpore實現(xiàn)了在云、邊、端不同場景下硬件設備的快速應用、高效運行與有效協(xié)同。通過全場景AI的能力,Huawei Watch GT的抬腕識別率提升了80%,時延小于5ms,模型小于1KB,大幅提升了用戶體驗。

  • · 在云端:通過自適應模型切分和服務內分布式并行調度技術,可支持超大模型在多張加速卡上的推理部署,且推理性能較目前業(yè)界領先的serving服務方式提升30%;

  • · 在邊緣側:通過自適應模型壓縮技術,將CV類(Computer Vision 計算機視覺)模型壓縮2/3,推理時間縮短50%,用戶側實測精度損失<1%,能有效解決邊緣側算力瓶頸;

  • · 在端側:模型即代碼,將模型編譯到代碼里,實現(xiàn)了極小的ROM(Read-Only Memory儲存內存)占用。同時,通過算子數(shù)據(jù)重排技術提升端側Cache命中率,可降低推理時延,解決在超輕量IOT設備進行部署時受設備類型、內存等所限制的難題。

可解釋推薦模型

MindSpore內置業(yè)界首個語義級可解釋推薦模型TB-Net,基于原創(chuàng)知識圖譜雙向傳導技術,從知識圖譜的海量關系路徑中,精準識別影響用戶行為的核心特征和關鍵路徑,提供個性化推薦和語義級的解釋,可解釋性評估指標相比業(yè)界模型提升63%。

自2020年3月開源以來,MindSpore社區(qū)擁有逾17萬名開發(fā)者,軟件下載量超過24萬,在超過10個行業(yè)規(guī)模使用。此外,在碼云(Gitee)上MindSpore的代碼活躍度、影響力、社區(qū)活躍度、團隊構建、流行趨勢綜合排名第一。目前,MindSpore已是發(fā)展最快的AI開源社區(qū)。


(免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )

贊助商
2021-04-28
MindSpore 1.2正式發(fā)布,國內首個支持千億參數(shù)大模型訓練AI計算框架
近日在華為開發(fā)者大會2021(Cloud)期間(簡稱HDC. Cloud 2021),國內首個支持千億參數(shù)大模型訓練的AI計算框架MindSpore 1.2正式發(fā)布。最新1.2版本帶來了AI框架領域 “全自動并行、全場景AI、可解釋推薦模型” 三大創(chuàng)新,讓開發(fā)者盡享AI開發(fā)。

長按掃碼 閱讀全文