華為昇騰師資培訓沙龍·南京場 |華為昇騰 ACL 語言開發(fā)實踐全程干貨來了！看完就實操系列

自今年疫情以來，AI 技術加速進入了人們的視線，在抗疫過程中發(fā)揮了重要作用，產(chǎn)業(yè)發(fā)展明顯提速，我國逐步走出了一條由需求導向引領商業(yè)模式創(chuàng)新、市場應用倒逼基礎理論和關鍵技術創(chuàng)新的發(fā)展道路，AI 人才的爭奪戰(zhàn)也正式打響。

不僅如此，2020 年人工智能核心產(chǎn)業(yè)規(guī)模超1500 億，帶動相關產(chǎn)業(yè)規(guī)模超 1 萬億，而人才缺口卻高達 500 萬人。在產(chǎn)業(yè)結構升級和新基建的推動下，AI 技術人才已經(jīng)到了供不應求的時刻。就目前我國人工智能高端人才環(huán)境看來，大部分高校人工智能專業(yè)缺乏成熟的人才培養(yǎng)方案，新基建領域技術人才缺口巨大，薪資水平和發(fā)展空間也相當優(yōu)越，同樣，AI 技術包含眾多的細分技術亦需要大量時間進行研究與實踐，這對于新時代的開發(fā)者們而言也是更高的挑戰(zhàn)。 

為了助力高校人工智能領域人才培養(yǎng)及學科建設、以及人工智能領域優(yōu)秀人才持續(xù)且穩(wěn)定的輸入，科技巨頭華為特別發(fā)起了《華為昇騰師資培訓沙龍》系列活動，面向廣大高校教師提供昇騰全棧全場景 AI 技術知識點培訓，通過理論+案例實操的結構，深入淺出地剖析昇騰能力及技術，讓與會高校老師能夠更加全面、深入地認識昇騰、使用昇騰，從而可以將昇騰相關知識點融入學生培養(yǎng)體系，為人工智能人才培養(yǎng)打造良好的成長環(huán)境。

8 月 24 日，在華為昇騰師資培訓沙龍·南京場上，華為南京研究所所長郭坤表示，在本次對業(yè)界做出生態(tài)能力開放前，華為內部就建立了全員認證及賦能活動，首先在在內部將生態(tài)能力質量打磨好，以加速相關推廣。而在芯片的使能和應用使能兩個方面而言，華為南京研究所把自己定位成華為的 AI 使能能力中心，在該領域有著豐富的積累及完整的人員構成，在芯片使能（異構計算架構）方面，深入研究如何達到軟硬件解耦、端邊云協(xié)同的高技能算子開發(fā)和圖融合技術，體現(xiàn)了華為在該領域扎實的布局。同時，華為南京研究所的品牌是活力和聚力，而生態(tài)的本質也正是「活力」和「聚力」，華為也將繼續(xù)攜手眾高校，共創(chuàng)未來昇騰生態(tài)。

華為南京研究所所長 郭坤 

南京大學人工智能學院副院長黎銘表示，國內人工智能人才供求比例嚴重失衡，人工智能作為第四次工業(yè)革命的重要推動力之一，人才短缺問題直接制約了我國各產(chǎn)業(yè)技術發(fā)展與提升。在這樣的大背景下，唯有人才「增量」方能從根本上解決問題。隨著我國發(fā)展進入新時代，許多領域逐漸進入「無處模仿、自主探索創(chuàng)新時期」，科教領域亦然。對于高校而言，應該擔起為我國人工智能事業(yè)培養(yǎng)高水平專業(yè)人才的責任。

演講中，黎銘分享了南京大學人工智能學院在AI人才培養(yǎng)方面的思考與探索：高校應面向科學前沿、國家需求、產(chǎn)業(yè)進步，培養(yǎng)具備源頭創(chuàng)新能力、具備解決企事業(yè)單位關鍵技術難題能力的高水平人工智能專業(yè)人才。不同高?？筛鶕?jù)自己的培養(yǎng)目標作出符合其自身特點的培養(yǎng)體系設置，但良好的數(shù)學基礎、扎實的計算/程序功底、全面的人工智能專業(yè)知識可能是高水平 AI 人才知識結構應具備的共性特征。

南京大學 人工智能學院副院長 黎銘

華為計算產(chǎn)品線高校教學合作總監(jiān)李鵬認為，計算產(chǎn)業(yè)正面臨變革，驅動著計算架構的創(chuàng)新，從芯片到系統(tǒng)之中需要系統(tǒng)級的人才，AI 人才培養(yǎng)的主要責任就落在了高校身上。未來的 20~30 年， AI 技術將與過去的蒸汽機、電力系統(tǒng)、互聯(lián)網(wǎng)技術齊平，成為新型的通用目的技術（GPT），深刻推動社會發(fā)展進程，而如何讓專業(yè)人才快速將專業(yè)知識轉化為生產(chǎn)力，也是華為目前在積極探索的階段。為此，華為提出「沃土計劃 2.0」，與眾高校合作構建智能基座，從硬件到軟件、從教材到社區(qū)、從平臺提供到項目實踐等方面提供全方位支持，旨在打造全棧、全場景型 AI 人才，持續(xù)賦能合作伙伴，真正培養(yǎng)出高水平、高價值人才。

華為計算產(chǎn)品線高校教學合作總監(jiān) 李鵬

活動當天華為南京研究所AI全棧開放實驗室在參加沙龍的江蘇、山東地區(qū)各大高校老師們的見證下由研究所所長及各分部部長完成揭牌開放。該實驗室集中昇騰、NAIE、智慧工程等AI使能產(chǎn)品，作為面向客戶、中小創(chuàng)、高校老師等合作伙伴的參觀、聯(lián)調、測試、孵化的重要承載場所。所長郭坤帶領各位與會老師參觀，相關產(chǎn)品負責人給老師們做詳細介紹。

在為期兩天的沙龍中，來自華為的專家及合作伙伴帶來了華為全場景的AI技術環(huán)境及豐富的 AI平臺能力等內容。其中，由華為海思技術專家譚濤帶來的《基于昇騰Ai1推理云服務的ACL開發(fā)實踐》的主題分享尤為精彩。在如今深度神經(jīng)網(wǎng)絡飛速發(fā)展、對芯片算力需求與日俱增的當下，華為昇騰系列AI處理器芯片可以對整型數(shù)或浮點數(shù)提供強大高效的乘加計算力。華為昇騰 AI 處理器分為訓練和推理兩種，其中推理芯片支持將訓練好的離線模型通過ACL（昇騰計算語言） 編程框架部署到具體業(yè)務場景，并對深度神經(jīng)網(wǎng)絡進行特殊優(yōu)化。

華為海思技術專家 譚濤

 ACL的基本概念

ACL 有三大主要能力：

1、模型推理

機器學習應用的內里模型等同于「黑匣子」的存在，開源框架訓練出來的模型想要直接使用必須要在原有框架上進行，無法直接在業(yè)務場景中使用，而 ACL則在應用層面加載一個離線模型做推理，ACL 離線模型「離」的是訓練時使用的框架，脫離框架的模型可以使用 ACL直接加載至昇騰系列處理器做推理。

2、加載單算子做推理

除了驗證算子的正確性以外，該能力還可以在某些情況下進行模型的前處理、后處理做算子化，避免集成-驗證的繁瑣步驟。

3、數(shù)據(jù)預處理

不僅如此，現(xiàn)下實現(xiàn)圖像預處理更多是通過通用計算 CPU進行，效率較低。在昇騰里有專用的硬件和配套的軟件（DVPP）對數(shù)字圖像進行軟件預處理，通過 ACL 可以調用此能力。

ACL 目前最成熟的是 C++版本（兼容 C 語言方式），但 Python 版本的使用方法也十分相像。通過 ACL 可調用計算資源（AI Core & AI CPU）、運行管理器（Runtime）、GE執(zhí)行器等。

計算側旁路：

在算子的計算過程中，ACL 可對單算子進行加速計算，節(jié)省掉算子計算過程中重復驗證的步驟，大大減輕開發(fā)驗證的壓力，并通過融合引擎（FE）進行算子融合分析，得出往下層傳遞的原子算子；下層的張量加速引擎（Tensor Boost Engine）作為算子的兵工廠，支持多種類的算子計算，再由其往下分發(fā)給運行時環(huán)境、任務調度、驅動等等，最后落到芯片上做實際計算。整體流程為：圖分析-融合分析-算子分析-硬件計算。

ACL 雖然可以用于直接構建應用，但更多地可以將能力進行封裝后用于形成一系列行業(yè) SDK，這是華為智能計算產(chǎn)品線正在做的事情，也鼓勵行業(yè)伙伴一同擴展Lab 庫。

ACL 定義的編程模型

在使用 ACL 之前，需要了解 ACL 定義的編程模型，理解各類運行資源的概念及其相互關系。

1）初始化：需要初始化整個 ACL 的運行時環(huán)境。首先需要動用一個接口 acl.init 值得注意的是，如果第一行有初始化，最后一行記得「去初始化」，否則結束時程序會崩潰。 

2）申請計算資源：計算資源總體分為 4 大部分：Dveice、Context、Stream、Event，在使用前需要先申請計算資源。正常情況下，只需要設置一個Dveice，系統(tǒng)會暫時隱式創(chuàng)建一套默認的資源（剩下的三個資源），避免繁瑣操作。而在使用完資源后將資源進行釋放即可。

3）加載模型：提供多個模型加載接口，支持從磁盤中加載離線模型及加載內存中模型。且模型加載到內存后可以選擇管理位置或托管給 ACL 。 

4）獲取模型信息：上一級模型是一串二進制數(shù)據(jù)，模型描述需要特殊的數(shù)據(jù)類型，需要使用指定的函數(shù)來獲取該數(shù)據(jù)類型，獲取到模型類型后，還需要根據(jù)該類型來獲取模型的輸入輸出個數(shù)，這樣既可獲取模型，又可獲取模型的各種相關信息。

Host 與Device概念

5）申請Device內存：Host 用于加載、數(shù)據(jù)收集，而收集完的數(shù)據(jù)需要上傳至Device進行計算并保存 ，所以要對 Device 進行內存申請。需要提醒的是，手動申請的內存一定要手動釋放，程序自動申請的可以不用再度操作。

6）數(shù)據(jù)傳輸：將數(shù)據(jù)從 Host 側拷貝至 Device 側，參數(shù)的順序是：目的內存地址、目的內存量大小、源內存地址、拷貝長度、拷貝方向，Direction拷貝方向當前支持四種：host>host、host>device、device>host、device>device。

7）準備推理數(shù)據(jù)：在數(shù)據(jù)傳輸之前還需要準備推理所需數(shù)據(jù)結構，模型推理所需的輸入輸出數(shù)據(jù)，是經(jīng)過一種特定的叫「Dataset」的數(shù)據(jù)結構來組織的，即所有的輸入組成了一個 Dataset ；而其中的每一個輸入叫「DataBuffer」，所有的 DataBuffer構成了一個 DataSet。至此就準備好了模型的輸入和輸出。

模型推理實例

8）推理：所有素材準備好后，模型推理已經(jīng)是順理成章的事情了。最終的推理往往只需要一行代碼。

9）申請 Host 內存：在前面的步驟中，使用了 Device 進行了數(shù)據(jù)計算，但數(shù)據(jù)無法直接在 Device 側上進行使用，所以需要申請 Host 內存，讓數(shù)據(jù)從 Device 側上返回 Host 側才能使用。

在 main 函數(shù)中依次執(zhí)行以上流程，即可獲取完整的 ACL 圖片分類推理結果（支持多張圖片推理）。

華為秉承實踐知真理原則

全方位賦能合作伙伴加速 AI 人才輸出

對于高校合作伙伴而言，華為提供的全棧全場景的 AI 算力平臺及豐富的社區(qū)、工具資源，讓開發(fā)者們能夠獲得全方位系統(tǒng)化的支持，更好地學習及實踐。同時，開發(fā)者及 AI 專業(yè)的同學們也可以通過 ACL 語言走進 AI 應用大門，通過實踐、社區(qū)學習/輸出得到多層面結構的成長。華為昇騰將繼續(xù)與各方力量攜手，共同為社會持續(xù)輸出高端高質量的 AI 人才。

如果覺得本次的內容聽的還不夠過癮，想要了解更多華為昇騰相關技術實踐，不用著急，《華為昇騰師資培訓沙龍》接下來將在成都、西安、北京展開系列培訓，點擊鏈接https://bss.csdn.net/m/topic/hwst_live，即刻報名！

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。