“洞察千里”，華為云HiLens如何讓無(wú)人車智行天下

隨著人工智能的普及和滲透，“無(wú)人”的場(chǎng)景越來(lái)越豐富，無(wú)人超市、無(wú)人車、無(wú)人機(jī)等已經(jīng)融入我們的生活。

乘著這股熱浪，華為云攜手上海交通大學(xué)學(xué)生創(chuàng)新中心舉辦了華為云人工智能大賽——無(wú)人車挑戰(zhàn)杯。而此次大賽用的正是華為云人工智能平臺(tái)：華為云一站式AI開(kāi)發(fā)平臺(tái)ModelArts和視覺(jué)AI應(yīng)用開(kāi)發(fā)平臺(tái)Huawei HiLens(以下簡(jiǎn)稱HiLens)，無(wú)人車的設(shè)計(jì)由上海交通大學(xué)提供，旨為全面鍛煉和提高賽隊(duì)的AI解決方案能力及無(wú)人駕駛編程技巧。然而，無(wú)人車是怎么搭載華為云HiLens實(shí)現(xiàn)智能行駛的呢?下面就來(lái)解密這背后的黑科技。

ModelArts與HiLens是什么關(guān)系？

Modelarts是云側(cè)面向AI開(kāi)發(fā)者的一站式開(kāi)發(fā)平臺(tái)，提供數(shù)據(jù)預(yù)處理、半自動(dòng)化標(biāo)注、大規(guī)模分布式訓(xùn)練、自動(dòng)化模型生成等能力。而HiLens是一站式AI應(yīng)用開(kāi)發(fā)、分發(fā)、部署的端云協(xié)同管理平臺(tái)，并提供開(kāi)放的AI技能市場(chǎng)，支持海量設(shè)備管理、動(dòng)態(tài)應(yīng)用部署、在線訓(xùn)練、端側(cè)模型優(yōu)化等端云協(xié)同能力。既然是端云協(xié)同，少不了端側(cè)設(shè)備，隨著HiLens平臺(tái)發(fā)布的同時(shí)，華為還發(fā)布了一款具備AI推理能力的攝像機(jī)——HiLens Kit，構(gòu)建“云-端-芯”的人工智能生態(tài)。參賽者在Modelarts平臺(tái)訓(xùn)練好模型，再將模型導(dǎo)入HiLens平臺(tái)進(jìn)行技能開(kāi)發(fā)，然后一鍵式部署到HiLens Kit推理，實(shí)現(xiàn)“云-邊-端”一體化流程，大大提高開(kāi)發(fā)效率。

對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，模型部署到端側(cè)設(shè)備，需要考慮的不僅是芯片(CPU/GPU)、內(nèi)存、網(wǎng)絡(luò)帶寬和穩(wěn)定性等各種設(shè)備規(guī)格在內(nèi)的開(kāi)發(fā)問(wèn)題，海量設(shè)備管理和維護(hù)的問(wèn)題，還有業(yè)務(wù)和安全的問(wèn)題。而HiLens平臺(tái)和設(shè)備的出現(xiàn)，提供了一套完整可靠的全棧端云協(xié)同解決方案。在無(wú)人車中，HiLens Kit主要提供AI分析和ROS控制的能力，實(shí)現(xiàn)小車基于深度學(xué)習(xí)算法模擬實(shí)際場(chǎng)景的識(shí)別和控制。

無(wú)人車搭載華為云HiLens帶來(lái)哪些優(yōu)勢(shì)？

1. 端云協(xié)同

開(kāi)發(fā)者可基于華為ModelArts AI開(kāi)發(fā)平臺(tái)訓(xùn)練算法模型，通過(guò)HiLens平臺(tái)做技能開(kāi)發(fā)并部署到HiLens Kit推理。在本次大賽中，參賽者運(yùn)用華為云ModelArts平臺(tái)訓(xùn)練好各類算法模型，然后把模型導(dǎo)入HiLens平臺(tái)進(jìn)行業(yè)務(wù)邏輯編寫，完成技能開(kāi)發(fā)，并將技能一鍵式部署到HiLens Kit，快速實(shí)現(xiàn)紅綠燈識(shí)別、行人避障、線路識(shí)別、目標(biāo)跟隨等自動(dòng)駕駛功能。

對(duì)于參賽者來(lái)說(shuō)，只需簡(jiǎn)單四步：創(chuàng)建模型、導(dǎo)入模型、創(chuàng)建技能、部署技能，最快10分鐘即可定制符合交通場(chǎng)景需求的技能，并部署到任意已注冊(cè)的端側(cè)設(shè)備運(yùn)行，后期還能通過(guò)HiLens技能管理平臺(tái)一鍵實(shí)現(xiàn)端側(cè)設(shè)備的技能升級(jí)和卸載。這樣實(shí)現(xiàn)了從云到端的一體化，降低了參賽者訓(xùn)練時(shí)間和算法移植成本，提高了效率。

2.端側(cè)設(shè)備HiLens Kit

這是為HiLens平臺(tái)打造的一款支持推理的智能攝像頭，專用于開(kāi)發(fā)者做端云協(xié)同的視覺(jué)應(yīng)用開(kāi)發(fā)。(1)超強(qiáng)的算力，內(nèi)置華為自研Ascend 310 AI芯片(16TOPS INT8 算力)，可以實(shí)現(xiàn)1秒百幀的處理能力，毫秒級(jí)人臉檢測(cè);超強(qiáng)處理能力可同時(shí)支持高達(dá)16路1080P視頻分析;同時(shí)，內(nèi)置輕量級(jí)容器，具備資源占用少、降低網(wǎng)絡(luò)帶寬、下載啟動(dòng)時(shí)間快等特性。讓參賽者任性的開(kāi)發(fā)更多復(fù)雜交通場(chǎng)景的算法而不用擔(dān)心內(nèi)存和算力的限制。(2)豐富的接口，包括USB接口、視頻接口、音頻接口、網(wǎng)口、WIFI、SD卡等提供了開(kāi)發(fā)的便利，實(shí)現(xiàn)多模態(tài)交互。(3)可靠的管理，HiLens提供的端云連接持續(xù)可靠的通信組件，使端側(cè)設(shè)備對(duì)于與云側(cè)僅有間歇性連接或者無(wú)連接的場(chǎng)景，也具備制定決策的能力，在未連接網(wǎng)絡(luò)的情況下也能保持設(shè)備狀態(tài)。

3.內(nèi)置技能開(kāi)發(fā)框架Skill Framework

為了簡(jiǎn)化技能開(kāi)發(fā)流程，HiLens提供了自研端側(cè)技能開(kāi)發(fā)框架Skill Framework，通過(guò)封裝底層接口、實(shí)現(xiàn)常用的管理功能，讓參賽者可以在Huawei HiLens管理控制臺(tái)上方便的開(kāi)發(fā)Skill，培育AI生態(tài)。具體如下：

(1)提供易用的開(kāi)發(fā)組件，Skill Framework封裝了視頻分析算法的基礎(chǔ)組件，如底層多媒體處理庫(kù)(攝像頭/麥克風(fēng)驅(qū)動(dòng)模塊Media_mini)、Ascend 310芯片相關(guān)的圖像處理庫(kù)(DVPP)和模型管理庫(kù)(ModelManager)等，提供了技能推理平臺(tái)、視頻管理、外部接口管理等能力，開(kāi)發(fā)者只需少量代碼即可開(kāi)發(fā)自己的技能。

(2)結(jié)合芯片性能優(yōu)化，針對(duì)AI算法中比較耗時(shí)的計(jì)算單元，結(jié)合海思芯片架構(gòu)進(jìn)行優(yōu)化，內(nèi)置NPU專用硬件加速單元，與CPU處理AI運(yùn)算相比，擁有約50倍能效和25倍性能優(yōu)勢(shì)，使計(jì)算性能得到極大提升。

(3)技能移植，在HiLens平臺(tái)上開(kāi)發(fā)的Skill可以運(yùn)行到任何基于華為海思芯片的設(shè)備上。因底層封裝了系統(tǒng)平臺(tái)適配層，且基于HiAI Engine自適配底層芯片，可無(wú)縫對(duì)接端側(cè)設(shè)備，讓開(kāi)發(fā)者無(wú)需操心底層硬件的適配和系統(tǒng)平臺(tái)的兼容問(wèn)題，使開(kāi)發(fā)更容易上手。

(4)提供Python和C++接口，同時(shí)支持兩種語(yǔ)言接口，參賽者可根據(jù)場(chǎng)景和開(kāi)發(fā)習(xí)慣使用不同語(yǔ)言的接口。

4. 在線更新技能

訓(xùn)練并開(kāi)發(fā)后的技能可遠(yuǎn)程下載發(fā)布，使比賽更具有實(shí)時(shí)性。HiLens管理平臺(tái)提供技能管理功能，包括技能部署、停止和卸載，開(kāi)發(fā)者優(yōu)化后的技能，可在平臺(tái)一鍵式部署更新，高效而快速，避免了傳統(tǒng)的算法更新依賴固件更新周期長(zhǎng)成本高的限制。

5. 自動(dòng)模型轉(zhuǎn)換

云側(cè)開(kāi)發(fā)框架豐富多樣，開(kāi)發(fā)者可根據(jù)喜好選擇TensorFlow、MXNet、Caffe等，然后將訓(xùn)練好的模型導(dǎo)入HiLens平臺(tái)通過(guò)模型轉(zhuǎn)換功能，能夠自動(dòng)轉(zhuǎn)換成適配端側(cè)昇騰310芯片的OM框架模型，而參賽者只需提供三個(gè)文件：原始模型文件、網(wǎng)絡(luò)結(jié)構(gòu)文件和轉(zhuǎn)換文件.cfg(cfg需參賽者簡(jiǎn)單配置參數(shù)生成)，這樣參賽者不用有云側(cè)框架與端側(cè)設(shè)備不兼容的顧慮，從而降低學(xué)習(xí)成本。

6. 自動(dòng)數(shù)據(jù)采集

參賽者可利用HiLens Kit實(shí)現(xiàn)自動(dòng)數(shù)據(jù)采集并上傳到云端進(jìn)行訓(xùn)練。為了更好的優(yōu)化模型，少不了成千上萬(wàn)的真實(shí)數(shù)據(jù)，而開(kāi)發(fā)者可通過(guò)HiLens Kit快速而實(shí)時(shí)地采集實(shí)際場(chǎng)景的數(shù)據(jù)，例如紅綠燈識(shí)別照片和視頻、路線照片等，傳回云側(cè)利用Modelarts針對(duì)性訓(xùn)練，提高模型精度，同時(shí)極大降低數(shù)據(jù)采集時(shí)間，實(shí)現(xiàn)設(shè)備的在線自動(dòng)學(xué)習(xí)與更新。

另外，Huawei HiLens也提供具有豐富技能的技能市場(chǎng)，可以讓開(kāi)發(fā)者將自己開(kāi)發(fā)好的技能一鍵發(fā)布到技能市場(chǎng)供其他人使用、購(gòu)買。同時(shí)，華為也將在技能市場(chǎng)發(fā)布多項(xiàng)技能，針對(duì)家庭、園區(qū)、車載等不同場(chǎng)景，覆蓋物體檢測(cè)、動(dòng)作識(shí)別、語(yǔ)音識(shí)別等多種應(yīng)用，供開(kāi)發(fā)者和企業(yè)使用。為的就是打造一個(gè)全民用AI會(huì)AI的生態(tài)。

基于HiLens獨(dú)有的優(yōu)勢(shì)和能力，無(wú)人車挑戰(zhàn)杯的參賽者可以結(jié)合“云-端-芯”的場(chǎng)景挖掘和探索更多復(fù)雜的場(chǎng)景，智行天下，為我們的生活帶來(lái)更多的便利。未來(lái)，是智能的世界，人們對(duì)人工智能在不同行業(yè)和領(lǐng)域的探索也會(huì)越來(lái)越深入、越來(lái)越緊密，而Huawei HiLens給視覺(jué)AI領(lǐng)域提供了最可靠的端云協(xié)同能力和最高效的AI應(yīng)用開(kāi)發(fā)平臺(tái)。

日前，無(wú)人車挑戰(zhàn)杯初賽剛剛結(jié)束，全國(guó)十強(qiáng)戰(zhàn)隊(duì)已經(jīng)產(chǎn)生，選手們將前往上海，在即將舉辦的2019華為全聯(lián)接大會(huì)上一決雌雄，現(xiàn)在售票通道已開(kāi)放，登錄大會(huì)官網(wǎng)即可在線購(gòu)票，歡迎現(xiàn)場(chǎng)觀戰(zhàn)，一起見(jiàn)證無(wú)人車大賽的決賽過(guò)程。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。