華為昇騰師資培訓(xùn)沙龍·南京場(chǎng) |華為昇騰 ACL 語(yǔ)言開(kāi)發(fā)實(shí)踐全程干貨來(lái)了！看完就實(shí)操系列

自今年疫情以來(lái)，AI 技術(shù)加速進(jìn)入了人們的視線，在抗疫過(guò)程中發(fā)揮了重要作用，產(chǎn)業(yè)發(fā)展明顯提速，我國(guó)逐步走出了一條由需求導(dǎo)向引領(lǐng)商業(yè)模式創(chuàng)新、市場(chǎng)應(yīng)用倒逼基礎(chǔ)理論和關(guān)鍵技術(shù)創(chuàng)新的發(fā)展道路，AI 人才的爭(zhēng)奪戰(zhàn)也正式打響。

不僅如此，2020 年人工智能核心產(chǎn)業(yè)規(guī)模超1500 億，帶動(dòng)相關(guān)產(chǎn)業(yè)規(guī)模超 1 萬(wàn)億，而人才缺口卻高達(dá) 500 萬(wàn)人。在產(chǎn)業(yè)結(jié)構(gòu)升級(jí)和新基建的推動(dòng)下，AI 技術(shù)人才已經(jīng)到了供不應(yīng)求的時(shí)刻。就目前我國(guó)人工智能高端人才環(huán)境看來(lái)，大部分高校人工智能專(zhuān)業(yè)缺乏成熟的人才培養(yǎng)方案，新基建領(lǐng)域技術(shù)人才缺口巨大，薪資水平和發(fā)展空間也相當(dāng)優(yōu)越，同樣，AI 技術(shù)包含眾多的細(xì)分技術(shù)亦需要大量時(shí)間進(jìn)行研究與實(shí)踐，這對(duì)于新時(shí)代的開(kāi)發(fā)者們而言也是更高的挑戰(zhàn)。 

為了助力高校人工智能領(lǐng)域人才培養(yǎng)及學(xué)科建設(shè)、以及人工智能領(lǐng)域優(yōu)秀人才持續(xù)且穩(wěn)定的輸入，科技巨頭華為特別發(fā)起了《華為昇騰師資培訓(xùn)沙龍》系列活動(dòng)，面向廣大高校教師提供昇騰全棧全場(chǎng)景 AI 技術(shù)知識(shí)點(diǎn)培訓(xùn)，通過(guò)理論+案例實(shí)操的結(jié)構(gòu)，深入淺出地剖析昇騰能力及技術(shù)，讓與會(huì)高校老師能夠更加全面、深入地認(rèn)識(shí)昇騰、使用昇騰，從而可以將昇騰相關(guān)知識(shí)點(diǎn)融入學(xué)生培養(yǎng)體系，為人工智能人才培養(yǎng)打造良好的成長(zhǎng)環(huán)境。

8 月 24 日，在華為昇騰師資培訓(xùn)沙龍·南京場(chǎng)上，華為南京研究所所長(zhǎng)郭坤表示，在本次對(duì)業(yè)界做出生態(tài)能力開(kāi)放前，華為內(nèi)部就建立了全員認(rèn)證及賦能活動(dòng)，首先在在內(nèi)部將生態(tài)能力質(zhì)量打磨好，以加速相關(guān)推廣。而在芯片的使能和應(yīng)用使能兩個(gè)方面而言，華為南京研究所把自己定位成華為的 AI 使能能力中心，在該領(lǐng)域有著豐富的積累及完整的人員構(gòu)成，在芯片使能（異構(gòu)計(jì)算架構(gòu)）方面，深入研究如何達(dá)到軟硬件解耦、端邊云協(xié)同的高技能算子開(kāi)發(fā)和圖融合技術(shù)，體現(xiàn)了華為在該領(lǐng)域扎實(shí)的布局。同時(shí)，華為南京研究所的品牌是活力和聚力，而生態(tài)的本質(zhì)也正是「活力」和「聚力」，華為也將繼續(xù)攜手眾高校，共創(chuàng)未來(lái)昇騰生態(tài)。

華為南京研究所所長(zhǎng) 郭坤 

南京大學(xué)人工智能學(xué)院副院長(zhǎng)黎銘表示，國(guó)內(nèi)人工智能人才供求比例嚴(yán)重失衡，人工智能作為第四次工業(yè)革命的重要推動(dòng)力之一，人才短缺問(wèn)題直接制約了我國(guó)各產(chǎn)業(yè)技術(shù)發(fā)展與提升。在這樣的大背景下，唯有人才「增量」方能從根本上解決問(wèn)題。隨著我國(guó)發(fā)展進(jìn)入新時(shí)代，許多領(lǐng)域逐漸進(jìn)入「無(wú)處模仿、自主探索創(chuàng)新時(shí)期」，科教領(lǐng)域亦然。對(duì)于高校而言，應(yīng)該擔(dān)起為我國(guó)人工智能事業(yè)培養(yǎng)高水平專(zhuān)業(yè)人才的責(zé)任。

演講中，黎銘分享了南京大學(xué)人工智能學(xué)院在AI人才培養(yǎng)方面的思考與探索：高校應(yīng)面向科學(xué)前沿、國(guó)家需求、產(chǎn)業(yè)進(jìn)步，培養(yǎng)具備源頭創(chuàng)新能力、具備解決企事業(yè)單位關(guān)鍵技術(shù)難題能力的高水平人工智能專(zhuān)業(yè)人才。不同高?？筛鶕?jù)自己的培養(yǎng)目標(biāo)作出符合其自身特點(diǎn)的培養(yǎng)體系設(shè)置，但良好的數(shù)學(xué)基礎(chǔ)、扎實(shí)的計(jì)算/程序功底、全面的人工智能專(zhuān)業(yè)知識(shí)可能是高水平 AI 人才知識(shí)結(jié)構(gòu)應(yīng)具備的共性特征。

南京大學(xué) 人工智能學(xué)院副院長(zhǎng) 黎銘

華為計(jì)算產(chǎn)品線高校教學(xué)合作總監(jiān)李鵬認(rèn)為，計(jì)算產(chǎn)業(yè)正面臨變革，驅(qū)動(dòng)著計(jì)算架構(gòu)的創(chuàng)新，從芯片到系統(tǒng)之中需要系統(tǒng)級(jí)的人才，AI 人才培養(yǎng)的主要責(zé)任就落在了高校身上。未來(lái)的 20~30 年， AI 技術(shù)將與過(guò)去的蒸汽機(jī)、電力系統(tǒng)、互聯(lián)網(wǎng)技術(shù)齊平，成為新型的通用目的技術(shù)（GPT），深刻推動(dòng)社會(huì)發(fā)展進(jìn)程，而如何讓專(zhuān)業(yè)人才快速將專(zhuān)業(yè)知識(shí)轉(zhuǎn)化為生產(chǎn)力，也是華為目前在積極探索的階段。為此，華為提出「沃土計(jì)劃 2.0」，與眾高校合作構(gòu)建智能基座，從硬件到軟件、從教材到社區(qū)、從平臺(tái)提供到項(xiàng)目實(shí)踐等方面提供全方位支持，旨在打造全棧、全場(chǎng)景型 AI 人才，持續(xù)賦能合作伙伴，真正培養(yǎng)出高水平、高價(jià)值人才。

華為計(jì)算產(chǎn)品線高校教學(xué)合作總監(jiān) 李鵬

活動(dòng)當(dāng)天華為南京研究所AI全棧開(kāi)放實(shí)驗(yàn)室在參加沙龍的江蘇、山東地區(qū)各大高校老師們的見(jiàn)證下由研究所所長(zhǎng)及各分部部長(zhǎng)完成揭牌開(kāi)放。該實(shí)驗(yàn)室集中昇騰、NAIE、智慧工程等AI使能產(chǎn)品，作為面向客戶(hù)、中小創(chuàng)、高校老師等合作伙伴的參觀、聯(lián)調(diào)、測(cè)試、孵化的重要承載場(chǎng)所。所長(zhǎng)郭坤帶領(lǐng)各位與會(huì)老師參觀，相關(guān)產(chǎn)品負(fù)責(zé)人給老師們做詳細(xì)介紹。

在為期兩天的沙龍中，來(lái)自華為的專(zhuān)家及合作伙伴帶來(lái)了華為全場(chǎng)景的AI技術(shù)環(huán)境及豐富的 AI平臺(tái)能力等內(nèi)容。其中，由華為海思技術(shù)專(zhuān)家譚濤帶來(lái)的《基于昇騰Ai1推理云服務(wù)的ACL開(kāi)發(fā)實(shí)踐》的主題分享尤為精彩。在如今深度神經(jīng)網(wǎng)絡(luò)飛速發(fā)展、對(duì)芯片算力需求與日俱增的當(dāng)下，華為昇騰系列AI處理器芯片可以對(duì)整型數(shù)或浮點(diǎn)數(shù)提供強(qiáng)大高效的乘加計(jì)算力。華為昇騰 AI 處理器分為訓(xùn)練和推理兩種，其中推理芯片支持將訓(xùn)練好的離線模型通過(guò)ACL（昇騰計(jì)算語(yǔ)言） 編程框架部署到具體業(yè)務(wù)場(chǎng)景，并對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特殊優(yōu)化。

華為海思技術(shù)專(zhuān)家 譚濤

 ACL的基本概念

ACL 有三大主要能力：

1、模型推理

機(jī)器學(xué)習(xí)應(yīng)用的內(nèi)里模型等同于「黑匣子」的存在，開(kāi)源框架訓(xùn)練出來(lái)的模型想要直接使用必須要在原有框架上進(jìn)行，無(wú)法直接在業(yè)務(wù)場(chǎng)景中使用，而 ACL則在應(yīng)用層面加載一個(gè)離線模型做推理，ACL 離線模型「離」的是訓(xùn)練時(shí)使用的框架，脫離框架的模型可以使用 ACL直接加載至?xí)N騰系列處理器做推理。

2、加載單算子做推理

除了驗(yàn)證算子的正確性以外，該能力還可以在某些情況下進(jìn)行模型的前處理、后處理做算子化，避免集成-驗(yàn)證的繁瑣步驟。

3、數(shù)據(jù)預(yù)處理

不僅如此，現(xiàn)下實(shí)現(xiàn)圖像預(yù)處理更多是通過(guò)通用計(jì)算 CPU進(jìn)行，效率較低。在昇騰里有專(zhuān)用的硬件和配套的軟件（DVPP）對(duì)數(shù)字圖像進(jìn)行軟件預(yù)處理，通過(guò) ACL 可以調(diào)用此能力。

ACL 目前最成熟的是 C++版本（兼容 C 語(yǔ)言方式），但 Python 版本的使用方法也十分相像。通過(guò) ACL 可調(diào)用計(jì)算資源（AI Core & AI CPU）、運(yùn)行管理器（Runtime）、GE執(zhí)行器等。

計(jì)算側(cè)旁路：

在算子的計(jì)算過(guò)程中，ACL 可對(duì)單算子進(jìn)行加速計(jì)算，節(jié)省掉算子計(jì)算過(guò)程中重復(fù)驗(yàn)證的步驟，大大減輕開(kāi)發(fā)驗(yàn)證的壓力，并通過(guò)融合引擎（FE）進(jìn)行算子融合分析，得出往下層傳遞的原子算子；下層的張量加速引擎（Tensor Boost Engine）作為算子的兵工廠，支持多種類(lèi)的算子計(jì)算，再由其往下分發(fā)給運(yùn)行時(shí)環(huán)境、任務(wù)調(diào)度、驅(qū)動(dòng)等等，最后落到芯片上做實(shí)際計(jì)算。整體流程為：圖分析-融合分析-算子分析-硬件計(jì)算。

ACL 雖然可以用于直接構(gòu)建應(yīng)用，但更多地可以將能力進(jìn)行封裝后用于形成一系列行業(yè) SDK，這是華為智能計(jì)算產(chǎn)品線正在做的事情，也鼓勵(lì)行業(yè)伙伴一同擴(kuò)展Lab 庫(kù)。

ACL 定義的編程模型

在使用 ACL 之前，需要了解 ACL 定義的編程模型，理解各類(lèi)運(yùn)行資源的概念及其相互關(guān)系。

1）初始化：需要初始化整個(gè) ACL 的運(yùn)行時(shí)環(huán)境。首先需要?jiǎng)佑靡粋€(gè)接口 acl.init 值得注意的是，如果第一行有初始化，最后一行記得「去初始化」，否則結(jié)束時(shí)程序會(huì)崩潰。 

2）申請(qǐng)計(jì)算資源：計(jì)算資源總體分為 4 大部分：Dveice、Context、Stream、Event，在使用前需要先申請(qǐng)計(jì)算資源。正常情況下，只需要設(shè)置一個(gè)Dveice，系統(tǒng)會(huì)暫時(shí)隱式創(chuàng)建一套默認(rèn)的資源（剩下的三個(gè)資源），避免繁瑣操作。而在使用完資源后將資源進(jìn)行釋放即可。

3）加載模型：提供多個(gè)模型加載接口，支持從磁盤(pán)中加載離線模型及加載內(nèi)存中模型。且模型加載到內(nèi)存后可以選擇管理位置或托管給 ACL 。 

4）獲取模型信息：上一級(jí)模型是一串二進(jìn)制數(shù)據(jù)，模型描述需要特殊的數(shù)據(jù)類(lèi)型，需要使用指定的函數(shù)來(lái)獲取該數(shù)據(jù)類(lèi)型，獲取到模型類(lèi)型后，還需要根據(jù)該類(lèi)型來(lái)獲取模型的輸入輸出個(gè)數(shù)，這樣既可獲取模型，又可獲取模型的各種相關(guān)信息。

Host 與Device概念

5）申請(qǐng)Device內(nèi)存：Host 用于加載、數(shù)據(jù)收集，而收集完的數(shù)據(jù)需要上傳至Device進(jìn)行計(jì)算并保存 ，所以要對(duì) Device 進(jìn)行內(nèi)存申請(qǐng)。需要提醒的是，手動(dòng)申請(qǐng)的內(nèi)存一定要手動(dòng)釋放，程序自動(dòng)申請(qǐng)的可以不用再度操作。

6）數(shù)據(jù)傳輸：將數(shù)據(jù)從 Host 側(cè)拷貝至 Device 側(cè)，參數(shù)的順序是：目的內(nèi)存地址、目的內(nèi)存量大小、源內(nèi)存地址、拷貝長(zhǎng)度、拷貝方向，Direction拷貝方向當(dāng)前支持四種：host>host、host>device、device>host、device>device。

7）準(zhǔn)備推理數(shù)據(jù)：在數(shù)據(jù)傳輸之前還需要準(zhǔn)備推理所需數(shù)據(jù)結(jié)構(gòu)，模型推理所需的輸入輸出數(shù)據(jù)，是經(jīng)過(guò)一種特定的叫「Dataset」的數(shù)據(jù)結(jié)構(gòu)來(lái)組織的，即所有的輸入組成了一個(gè) Dataset ；而其中的每一個(gè)輸入叫「DataBuffer」，所有的 DataBuffer構(gòu)成了一個(gè) DataSet。至此就準(zhǔn)備好了模型的輸入和輸出。

模型推理實(shí)例

8）推理：所有素材準(zhǔn)備好后，模型推理已經(jīng)是順理成章的事情了。最終的推理往往只需要一行代碼。

9）申請(qǐng) Host 內(nèi)存：在前面的步驟中，使用了 Device 進(jìn)行了數(shù)據(jù)計(jì)算，但數(shù)據(jù)無(wú)法直接在 Device 側(cè)上進(jìn)行使用，所以需要申請(qǐng) Host 內(nèi)存，讓數(shù)據(jù)從 Device 側(cè)上返回 Host 側(cè)才能使用。

在 main 函數(shù)中依次執(zhí)行以上流程，即可獲取完整的 ACL 圖片分類(lèi)推理結(jié)果（支持多張圖片推理）。

華為秉承實(shí)踐知真理原則

全方位賦能合作伙伴加速 AI 人才輸出

對(duì)于高校合作伙伴而言，華為提供的全棧全場(chǎng)景的 AI 算力平臺(tái)及豐富的社區(qū)、工具資源，讓開(kāi)發(fā)者們能夠獲得全方位系統(tǒng)化的支持，更好地學(xué)習(xí)及實(shí)踐。同時(shí)，開(kāi)發(fā)者及 AI 專(zhuān)業(yè)的同學(xué)們也可以通過(guò) ACL 語(yǔ)言走進(jìn) AI 應(yīng)用大門(mén)，通過(guò)實(shí)踐、社區(qū)學(xué)習(xí)/輸出得到多層面結(jié)構(gòu)的成長(zhǎng)。華為昇騰將繼續(xù)與各方力量攜手，共同為社會(huì)持續(xù)輸出高端高質(zhì)量的 AI 人才。

如果覺(jué)得本次的內(nèi)容聽(tīng)的還不夠過(guò)癮，想要了解更多華為昇騰相關(guān)技術(shù)實(shí)踐，不用著急，《華為昇騰師資培訓(xùn)沙龍》接下來(lái)將在成都、西安、北京展開(kāi)系列培訓(xùn)，點(diǎn)擊鏈接https://bss.csdn.net/m/topic/hwst_live，即刻報(bào)名！

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。