云之變6：讓AI無處不在的云端訓(xùn)練師

原標(biāo)題：云之變6：讓AI無處不在的云端訓(xùn)練師

隨著《云之變》系列走向尾聲，想必大家可以清晰地感受到，當(dāng)前云服務(wù)的發(fā)展方向，無論是以IaaS、PaaS或SaaS等何種形式交付，其所追尋的產(chǎn)業(yè)價(jià)值一定離不開一個(gè)特質(zhì)，那就是——“AI as a service”，AI即服務(wù)。

在這場(chǎng)大浪潮中，越來越多企業(yè)在尋求可以將AI集成到自有業(yè)務(wù)與產(chǎn)品中的渠道，無數(shù)開發(fā)者渴望搶先在AI舞臺(tái)上釋放創(chuàng)造力，然而面對(duì)深度學(xué)習(xí)為代表的巨型數(shù)據(jù)集，如果自建數(shù)據(jù)中心或個(gè)人電腦帶不動(dòng)AI這匹“算力怪獸”，該怎么辦？

作為基礎(chǔ)設(shè)施一般存在的云服務(wù)商，此時(shí)就被賦予了一個(gè)新的角色——AI訓(xùn)練師。

花式AIaaS，離不開“訓(xùn)練”二字

云計(jì)算的普及，讓各種AI能力以“即服務(wù)”的形式出現(xiàn)在了各行各業(yè)之中。去年，RightScale的云研究報(bào)告指出，企業(yè)格外關(guān)注于AI技術(shù)體系中的機(jī)器學(xué)習(xí)。當(dāng)被問詢未來計(jì)劃使用哪種類型的公有云服務(wù)時(shí)，絕大多數(shù)的受訪者選擇了機(jī)器學(xué)習(xí)，12%的受訪者表示他們正在使用這一服務(wù)，46%的受訪者則表示他們正在測(cè)試或計(jì)劃部署機(jī)器學(xué)習(xí)服務(wù)。

目前看來，AI主要是以三種形式被“即服務(wù)”到產(chǎn)業(yè)當(dāng)中：一種是Chatbot，比如蘋果Siri、微軟Cortana或亞馬遜Alexa這樣的智能語音助理，被業(yè)務(wù)集成后可以直接打通AI體驗(yàn)，解放人力；第二種是API。云服務(wù)商開發(fā)出的AI模型，如NLP、圖片分類、視頻識(shí)別等等，以應(yīng)用程序編程接口（API）的形式集成到自身的平臺(tái)上去，避免從零開發(fā)。目前廣泛應(yīng)用的人臉識(shí)別、語音翻譯等都是以各種形式被普及的。第三種則是機(jī)器學(xué)習(xí)框架。開發(fā)人員利用云訪問機(jī)器學(xué)習(xí)框架構(gòu)建出模型，再基于自身現(xiàn)有的數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，這種方式比起自建型算法模型更加便捷，節(jié)省時(shí)間。

顯然，這些讓AI全面開花的主流方式，依然依賴于一個(gè)環(huán)節(jié)，那就是訓(xùn)練。

我們知道，雖然目前絕大多數(shù)云服務(wù)商都提供多種AI模型來幫助各行各業(yè)實(shí)現(xiàn)智能化。但云服務(wù)商無法深入到產(chǎn)業(yè)肌理的每一個(gè)細(xì)微紋路，想要讓AI落地時(shí)精準(zhǔn)地匹配現(xiàn)實(shí)需求，高度定制化的數(shù)據(jù)訓(xùn)練就十分必要了。

即使云服務(wù)商有類似的平臺(tái)模型可供企業(yè)客戶調(diào)用，一個(gè)良好的模型依然需要具備可擴(kuò)展、可訓(xùn)練性，也就是能夠根據(jù)實(shí)際數(shù)據(jù)隨時(shí)自我更新，不斷提升性能，才能真正成為提質(zhì)增效的神兵利器。

從這個(gè)層面看，面向企業(yè)和個(gè)人開發(fā)者的AI訓(xùn)練服務(wù)，幾乎成了公有云無法繞開的關(guān)鍵能力。

上探AI訓(xùn)練，對(duì)公有云意味著什么？

今天，在公有云上進(jìn)行深度學(xué)習(xí)訓(xùn)練可謂是人工智能的重要趨勢(shì)，然而有能力向企業(yè)和個(gè)人開發(fā)者輸出云端訓(xùn)練服務(wù)的云服務(wù)商可說是鳳毛麟角。

例如亞馬遜推出了AWS深度學(xué)習(xí)容器，也方便客戶定制AI訓(xùn)練流程；谷歌和Facebook也推出了適合自身深度學(xué)習(xí)框架TensorFlow的訓(xùn)練平臺(tái)；在中國(guó)，華為、百度、阿里、浪潮、騰訊等也讓定制化AI訓(xùn)練服務(wù)走上了云端，整合到他們的企業(yè)服務(wù)解決方案中去。

我們知道，深度學(xué)習(xí)難以離開大數(shù)據(jù)和規(guī)模化訓(xùn)練的支撐，二者就像緊密結(jié)合的輪軸推動(dòng)著算法向高性能、高精度的方向發(fā)展，進(jìn)而影響整個(gè)社會(huì)的AI進(jìn)程。但目前市面上只有少數(shù)幾家頭部公有云廠商有類似的服務(wù)。為什么云端AI訓(xùn)練如何“陽春白雪”？

其中很大一部分原因在于，定制化神經(jīng)網(wǎng)絡(luò)的訓(xùn)練任務(wù)，往往需要強(qiáng)大的計(jì)算能力，也就是GPU集群來保障。然而今天， AI算力依然是一種昂貴的計(jì)算資源，而云端訓(xùn)練往往會(huì)在不訓(xùn)練時(shí)將算力資源釋放出去，實(shí)現(xiàn)彈性調(diào)配，服務(wù)商按照實(shí)際計(jì)算消耗進(jìn)行付費(fèi)，個(gè)人開發(fā)者與企業(yè)則可以省去購(gòu)買計(jì)算單元或是自建數(shù)據(jù)中心的高昂開支，從而大大降低了AI落地的成本。

不過，目前用戶可以選擇的云端訓(xùn)練平臺(tái)并不多。主要原因是用于神經(jīng)訓(xùn)練的GPU芯片幾乎由英偉達(dá)一家獨(dú)大，云服務(wù)商建立訓(xùn)練平臺(tái)的成本很高。后來谷歌、華為分別推出了自己的大規(guī)模計(jì)算單元，起到了一定了市場(chǎng)制衡作用。但整體而言，訓(xùn)練環(huán)節(jié)的云端芯片依然難以滿足廣泛的部署需求。

還有一個(gè)顧慮是云巨頭在AI領(lǐng)域的投入與創(chuàng)新，正好具備了輸出基礎(chǔ)算力與應(yīng)用工具的雙重能力。大多企業(yè)想要AI，依然需要花費(fèi)大量時(shí)間與精力、人力去熟悉相應(yīng)的深度學(xué)習(xí)框架、標(biāo)注數(shù)據(jù)、調(diào)教參數(shù)、設(shè)計(jì)容錯(cuò)等等，在一份Vanson Bourne公司的“企業(yè)人工智能狀況”調(diào)查報(bào)告中，有34%的企業(yè)IT決策者表示他們沒有合適的人才來支持技術(shù)的成功部署，30%缺乏實(shí)施的預(yù)算。

舉個(gè)例子，大部分中小企業(yè)采用公有云來進(jìn)行超大規(guī)模的AI訓(xùn)練，一個(gè)基本出發(fā)點(diǎn)就是試錯(cuò)和驗(yàn)證AI進(jìn)入產(chǎn)業(yè)的新想法，因此時(shí)間成本就非常重要，這需要效率更高、擴(kuò)展性更好的深度學(xué)習(xí)框架和專項(xiàng)加速來支撐。因此，想要幫助企業(yè)減少定制化訓(xùn)練的學(xué)習(xí)門檻與風(fēng)險(xiǎn)成本，只有少數(shù)有意愿、有實(shí)力的頭部云技術(shù)巨頭才能切入。

另外值得注意的是，無論是需要財(cái)報(bào)好看的企業(yè)，還是渴望擁抱AI的開發(fā)者，云平臺(tái)面臨的訓(xùn)練任務(wù)是五花八門的，接收到的數(shù)據(jù)資源也很可能放飛自我。不同的程序、業(yè)務(wù)模式可能對(duì)應(yīng)著不同的訪問模式和存儲(chǔ)結(jié)構(gòu)，因此，如何存儲(chǔ)、處理、分析、最終輸出基于任意類型數(shù)據(jù)的訓(xùn)練模型，這就要求云平臺(tái)擁有構(gòu)建和管理數(shù)據(jù)湖，來處理各種結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)，并統(tǒng)統(tǒng)投喂給神經(jīng)網(wǎng)絡(luò)。顯然，想要積累如此龐大且豐滿的全量數(shù)據(jù)，頭部選手的表現(xiàn)更優(yōu)且更完備。

總體來看，AI訓(xùn)練作為智能這座大廈所必備的原材料鍛造過程，迫切需要一個(gè)靈活機(jī)動(dòng)的全能選手“隨叫隨到”，就地完成特殊模塊的精雕細(xì)琢然后就功成身退，而不是在材料原產(chǎn)地處理完再運(yùn)往施工現(xiàn)場(chǎng)。

具備這種彈性作戰(zhàn)能力的“工程隊(duì)”，顯然具備爭(zhēng)奪市場(chǎng)的關(guān)鍵能力。這也是為什么今天幾乎所有頭部云廠商都開始紛紛輸出自身的云端訓(xùn)練能力，甚至不惜“虧本賺吆喝”。

那么向AI的技術(shù)上游切入訓(xùn)練服務(wù)產(chǎn)業(yè)鏈，對(duì)于公有云廠商來說，究竟意味著什么？是以算法API和應(yīng)用程序的方式“被連接”？還是提供工具和計(jì)算平臺(tái)“被集成”？亦或者向更底層的芯片等“硬實(shí)力”進(jìn)發(fā)？

如果某一朵云懷抱著的野望，是真正成為智能時(shí)代的容器與基礎(chǔ)設(shè)施，構(gòu)建全方位、立體化的AI技術(shù)體系，那么集硬件算力、軟件技術(shù)、生態(tài)開發(fā)于一體的AI訓(xùn)練，雖然是復(fù)雜而漫長(zhǎng)的冒險(xiǎn)，卻是中國(guó)AI產(chǎn)業(yè)真正進(jìn)入千行萬業(yè)所必要的投入與支撐。

一方面，云服務(wù)商需要開放自身的計(jì)算資源，為了不掣肘他人，就必須倒逼半導(dǎo)體產(chǎn)業(yè)自我升級(jí)。尤其時(shí)我國(guó)的短板，如承擔(dān)訓(xùn)練任務(wù)的云端訓(xùn)練芯片，針對(duì)深度學(xué)習(xí)框架專項(xiàng)加速、提高性能的計(jì)算單元，高精度基礎(chǔ)模型的釋放等等，這些AI訓(xùn)練的必要支撐，伴隨云服務(wù)商的產(chǎn)業(yè)上探實(shí)現(xiàn)系聯(lián)動(dòng)升級(jí)，正是當(dāng)前的趨勢(shì)。

另外，云端分布式訓(xùn)練、終端模型部署相結(jié)合，正在成為AI開發(fā)流程的全周期模式。企業(yè)利用公有云的算力、解決方案所訓(xùn)練的專有模型，大多需要在端、邊側(cè)部署和應(yīng)用，在“從硬到軟再到硬”的過程中，往往需要云平臺(tái)協(xié)同綜合考慮，這也讓構(gòu)建從訓(xùn)練到應(yīng)用的產(chǎn)業(yè)閉環(huán)成為可能。而中國(guó)企業(yè)和開發(fā)者，以及各產(chǎn)業(yè)端的關(guān)鍵數(shù)據(jù)、創(chuàng)新應(yīng)用等都得以在國(guó)產(chǎn)云環(huán)境中運(yùn)行，在地域化情緒與環(huán)境不穩(wěn)定的當(dāng)下，也有著重要的產(chǎn)業(yè)安全戰(zhàn)略意義。

由此，我們可以引出一個(gè)新的話題：一個(gè)好的云端AI訓(xùn)練平臺(tái)，應(yīng)用具備哪些能力？

讓AI飛入尋常百姓家的云端“魔術(shù)手”

AI開始走進(jìn)大眾視野，是以阿爾法狗所代表的深度學(xué)習(xí)技術(shù)為起點(diǎn)。而云服務(wù)商所扮演的角色，就是不斷將實(shí)驗(yàn)室中影影綽綽的技術(shù)“實(shí)體化”、工具化成一個(gè)個(gè)道具，運(yùn)用一雙虛實(shí)變幻、軟硬結(jié)合的“魔術(shù)手”，將AI驚艷地呈現(xiàn)在各行各業(yè)、普羅大眾眼前。

通過這雙魔術(shù)之手，我們則可以反向去理解，“云端訓(xùn)練”在AI普惠的過程當(dāng)中，都需要哪些條件的支持：

1.計(jì)算性能的持續(xù)升級(jí)。算力，是云端訓(xùn)練的基礎(chǔ)保障，這里涉及兩個(gè)基本命題，一是絕對(duì)規(guī)模，也就是硬件化計(jì)算能力，在訓(xùn)練時(shí)，數(shù)據(jù)會(huì)被分派給眾多訓(xùn)練機(jī)器，再通過反饋及標(biāo)志變量重新組合在一起，從而創(chuàng)建完整的訓(xùn)練模型，對(duì)GPU驅(qū)動(dòng)、底層庫(kù)之間的兼容性等硬件提出了不少挑戰(zhàn)。第二需要考慮的則是精度，通過網(wǎng)絡(luò)優(yōu)化和超參組合，云平臺(tái)可以利用少量數(shù)據(jù)就達(dá)到出色的訓(xùn)練效果和高性能的模型，這對(duì)于一些中小微開發(fā)者來說有著化不可能為可能的現(xiàn)實(shí)意義。

2.友好模式的開發(fā)態(tài)。簡(jiǎn)單來說，就是降低開發(fā)者的訓(xùn)練成本、學(xué)習(xí)門檻。一種方式是提供簡(jiǎn)單易上手的開發(fā)工具和交互界面。舉個(gè)例子，神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集往往達(dá)到1PB的數(shù)據(jù)量，即使用1G帶寬的網(wǎng)絡(luò)來傳輸也需要耗費(fèi)將近4個(gè)月，黃花菜都要涼了，對(duì)此一些云巨頭借助新的傳輸工具，如谷歌的Transfer Appliance ，就能在25 小時(shí)內(nèi)將 1PB 的數(shù)據(jù)裝入數(shù)據(jù)中心。還有一些自動(dòng)化、可視化的任務(wù)管理工具，能夠大大解放開發(fā)者的重復(fù)勞動(dòng)，比如訓(xùn)練任務(wù)一站式托管，可以自動(dòng)跟蹤任務(wù)的訓(xùn)練狀態(tài)，提供輸出日志功能，開發(fā)者只需實(shí)時(shí)監(jiān)控就可以了；

友好的第二種意義，則是云平臺(tái)的兼容性。我們知道，目前深度學(xué)習(xí)框架有許多，開發(fā)者需要在不同的框架下完成特定的訓(xùn)練及推論任務(wù)，因此云平臺(tái)的兼容并蓄就非常重要了。像是新的AWS容器就能夠支持谷歌的TensorFlow、Apache的MXNet以及臉書的PyTorch等不同的機(jī)器學(xué)習(xí)架構(gòu)，華為新發(fā)布的Atlas智能計(jì)算平臺(tái)，也志在解決中國(guó)企業(yè)和開發(fā)者對(duì)算力與兼容性的難題。這意味著對(duì)每一種架構(gòu)提供針對(duì)性的優(yōu)化和加速，讓特定的模型訓(xùn)練速度更上一層樓，這也有助于打消企業(yè)開發(fā)者的上云顧慮。

3.穿透各個(gè)場(chǎng)景的降本增效。一方面，成本控制作為云端訓(xùn)練的核心優(yōu)勢(shì)，在整個(gè)開發(fā)過程中是不可或缺的。這意味著云平臺(tái)需要具備合理的擴(kuò)展性與靈活度，讓企業(yè)輕松獲得自己所需要的AI資源并靈活合理地支付費(fèi)用，如果試點(diǎn)項(xiàng)目沒有成功，也可以很容易地關(guān)閉；而項(xiàng)目成功后，也可以很容易地?cái)U(kuò)大資源規(guī)模。

另外，基于原生場(chǎng)景數(shù)據(jù)的訓(xùn)練完成以后，如何將模型快速擴(kuò)展到企業(yè)或產(chǎn)業(yè)其他業(yè)務(wù)部門及軟硬件，這是困擾AI開發(fā)生態(tài)的落地難題。能夠集中打通數(shù)據(jù)，讓終端和云端在統(tǒng)一的智能基礎(chǔ)設(shè)施上協(xié)同完成復(fù)雜任務(wù)處理的開發(fā)生態(tài)，將會(huì)在未來釋放更具應(yīng)用價(jià)值的能量。

4.云端數(shù)據(jù)訓(xùn)練的安全保障。定制化訓(xùn)練意味著企業(yè)和開發(fā)者需要將自身的關(guān)鍵敏感數(shù)據(jù)上傳到云端，多個(gè)“租戶”任務(wù)同時(shí)進(jìn)行，不同訓(xùn)練任務(wù)數(shù)據(jù)之間的安全隔離就變得至關(guān)重要了。否則影響的不僅僅是模型的精度與性能，更可能在遷移、訓(xùn)練、存儲(chǔ)中面臨數(shù)據(jù)泄露風(fēng)險(xiǎn)。

云平臺(tái)一方面需要確保自身數(shù)據(jù)的合規(guī)性，保證算法不因?yàn)榈胤椒ㄒ?guī)的數(shù)據(jù)政策限制而失效；同時(shí)也需要應(yīng)對(duì)潛在的網(wǎng)絡(luò)攻擊，采取數(shù)加密等手段來實(shí)現(xiàn)完善安全的服務(wù)調(diào)用。

總體而言，云端訓(xùn)練讓AI得以在軟硬件雙重通道上得到淬煉，進(jìn)而以低門檻、可應(yīng)用的方式真正適配千行萬業(yè)的智能化需求。同時(shí)我們應(yīng)該看到的是，云服務(wù)想要描繪出賦能無數(shù)產(chǎn)業(yè)、抵達(dá)生活方方面面的AI普惠藍(lán)圖，還需要跨越一座座高聳的山峰。而在這一條時(shí)代的跑道上，需要的不僅是宣傳口徑上的華麗辭藻，更是浸透了汗水與淚水的砥礪前行。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。