昇騰AI異構計算架構CANN 6.0全新開放升級,全面釋放AI生產(chǎn)力

11月9日,在華為全聯(lián)接大會2022期間,華為正式官宣昇騰AI異構計算架構CANN 6.0版本將在年底正式發(fā)布。

1  高度完善的生態(tài)滿足度,滿足全方位業(yè)務訴求

從2018年初露鋒芒到2022年即將發(fā)布的CANN 6.0最新版本,CANN在使能AI開發(fā)效率和性能方面持續(xù)保持業(yè)界領先。作為昇騰生態(tài)的錨點,CANN 6.0版本基于發(fā)布全新升級的開發(fā)體系2.0,在性能、開放性及易用性上持續(xù)提升,在開源算法支持、自定義算子開發(fā)、動態(tài)shape場景支持等方面全方位滿足AI開發(fā)者的訴求,不斷提升生態(tài)滿足度。

作為昇騰AI基礎軟硬件平臺的核心,CANN搭起了從上層深度學習框架到底層AI硬件的橋梁,全面支持昇思MindSpore、飛槳(PaddlePaddle)、PyTorch、TensorFlow、Caffe、計圖(Jittor)等主流AI框架,提供900多種優(yōu)選模型能夠覆蓋眾多典型場景應用,兼容多種底層硬件設備,提供強大異構計算能力。

為滿足開發(fā)者多層次AI業(yè)務訴求,CANN提供統(tǒng)一的面向應用的編程語言AscendCL(Ascend Computing Language)屏蔽底層處理器差異,支持AI應用開發(fā)、模型開發(fā)和算子開發(fā),版本向上兼容,讓開發(fā)者零感知版本升級,暢享AI開發(fā)的便捷性。

同時,隨著人工智能應用深入更多場景,圖片大小、語音長短等動態(tài)數(shù)據(jù)輸入的需求不斷增加,CANN 6.0版本對動態(tài)shape的支持度不斷提升,在新版本中,我們將會有400+算子支持動態(tài)shape,支持80%的主流算子,極大提高了AI場景生態(tài)滿足度以匹配客戶更多的AI業(yè)務場景。

2  打造極簡易用算子開發(fā)體驗,高效使能AI開發(fā)者

經(jīng)過數(shù)年的積累和優(yōu)化,CANN高性能算子庫為支撐神經(jīng)網(wǎng)絡訓練和推理加速而不斷添磚加瓦,CANN 6.0版本已經(jīng)發(fā)展到1400+高性能算子,可覆蓋主流AI框架的算子加速需求。

算子庫不僅支持高性能單算子執(zhí)行加速,還支持入圖技術,在圖上通過算子融合減少計算節(jié)點和內(nèi)存拷貝,進一步提升整網(wǎng)執(zhí)行性能,以Bert網(wǎng)絡為例,通過算子深度融合技術可將網(wǎng)絡性能提高50%。CANN 6.0新發(fā)布的Transformer高性能加速庫,針對網(wǎng)絡典型結(jié)構精簡80% kernel數(shù),核心kernel性能提升50%-150%,可匹配昇騰全系列處理器支持NLP/CV類全場景Transformer網(wǎng)絡,并且兼具簡易的繼承開發(fā)及上層框架使用等諸多優(yōu)點。

CANN 6.0版本除了繼續(xù)保持在典型模型上的性能優(yōu)勢外,還將重點在易用性方面進行提升。伴隨算子自定義開發(fā)需求的增多,為了更加開放、高效的支持用戶自開發(fā),隨新版本發(fā)布的開發(fā)體系2.0,在算子開發(fā)方面推出原生支持C/C++的算子開發(fā)語言,降低算子開發(fā)門檻,同時提供昇騰硬件親和的數(shù)據(jù)結(jié)構,在保持性能的基礎上提升用戶自定義算子開發(fā)效率,使得算子開發(fā)效率得到倍級提升。

CANN 6.0版本將會提供包括11大類在內(nèi)的70個DSL算子編程接口、新增11類算子調(diào)度策略,從而使能更多算子采用簡單的DSL方式開發(fā),算子庫中DSL算子覆蓋度可達80%。在開發(fā)易用性方面,開發(fā)者僅需完成計算過程表達,無需關心后續(xù)的Schedule創(chuàng)建、優(yōu)化及編譯等問題,因為這些操作將通過Auto Schedule自動調(diào)度接口快速完成。CANN同時支持算子Debug調(diào)試、一鍵生成工程代碼、自動編譯部署到算子庫、簡化算子交付件等功能,基于全流程解決開發(fā)者痛點,最大程度降低算子開發(fā)門檻。

3  持續(xù)提升模型開發(fā)效率,實現(xiàn)模型下載即用

CANN支持模型的自動化遷移、調(diào)測及智能調(diào)優(yōu),從真正意義上實現(xiàn)模型下載即用。CANN 6.0版本下,主流框架TensorFlow和PyTorch的模型遷移成功率可達80%以上,兼容主流三方庫Horovod/Keras/DeepSpeed等。在此基礎上還能方便地將那些隨算法演進而開發(fā)的自定義kernal或function保留到框架側(cè)執(zhí)行,提升算法適配靈活度。

在模型調(diào)優(yōu)方面,開發(fā)者不僅能借助一系列昇騰親和API提升性能,還能通過智能化調(diào)優(yōu)工具代替復雜的手工優(yōu)化操作,CANN 6.0版本的平均調(diào)優(yōu)效率將較上一代提升一倍以上。

4  全系列AI開發(fā)輔助工具,掃除AI開發(fā)重重障礙

作為一個全面使能AI開發(fā)的軟件平臺,CANN不但持續(xù)在AI模型適配、應用開發(fā)和算子開發(fā)方面給開發(fā)者帶來便捷,更是從模型優(yōu)化、系統(tǒng)分析、模型部署等多維度幫助開發(fā)者掃除重重障礙。

image001.png模型壓縮工具AMCT,能有效降低模型數(shù)據(jù)量和計算量,節(jié)約模型內(nèi)存和帶寬占用,提升計算性能;智能計算調(diào)優(yōu)工具AOE,其傻瓜式的自動尋優(yōu)能力使得算法工程師從繁重的手工調(diào)優(yōu)工作中解脫出來,并能夠?qū)⒄{(diào)優(yōu)進度和調(diào)優(yōu)結(jié)果通過可視化方式直觀展示;Profiling工具則能自動采集整網(wǎng)性能數(shù)據(jù),通過統(tǒng)計視圖識別最耗時算子,在CANN 6.0版本中,可自動生成性能優(yōu)化建議,引導用戶快速解決問題;精度比對工具,支持整網(wǎng)或指定層數(shù)據(jù)dump,CANN 6.0版本中進一步精簡dump數(shù)據(jù)量,更有效的輔助開發(fā)者快速定位異常算子。 

智能大潮,奔涌向前,CANN持續(xù)深入踐行初心和使命,以大道至簡的態(tài)度筑夢AI開發(fā)者!隨著CANN 6.0版本的全新開放升級,必定帶動更多伙伴及開發(fā)者基于昇騰AI和CANN的關鍵技術探索人工智能領域更多可能,點燃智慧創(chuàng)新熱情,點亮智能美好生活,共同筑夢遠方,共享行業(yè)數(shù)字未來!

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。 )

贊助商
2022-11-11
昇騰AI異構計算架構CANN 6.0全新開放升級,全面釋放AI生產(chǎn)力
隨著CANN 6.0版本的全新開放升級,必定帶動更多伙伴及開發(fā)者基于昇騰AI和CANN的關鍵技術探索人工智能領域更多可能,點燃智慧創(chuàng)新熱情,點亮智能美好生活

長按掃碼 閱讀全文