面向機(jī)器學(xué)習(xí)的HPC平臺(tái)，這個(gè)更強(qiáng)！

原標(biāo)題：面向機(jī)器學(xué)習(xí)的HPC平臺(tái)，這個(gè)更強(qiáng)！

機(jī)器學(xué)習(xí)是當(dāng)下使用最廣泛的人工智能技術(shù)之一，與之相匹配的HPC平臺(tái)也愈加受到市場(chǎng)重視，從超算TOP100的變遷中就可見(jiàn)一斑。

從下圖中可以看出，2015年開始，面向數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的超算平臺(tái)開始快速增長(zhǎng)，2017年更是占比超過(guò)50%。除了傳統(tǒng)HPC的行業(yè)例如科學(xué)計(jì)算、地理信息等在構(gòu)建基于機(jī)器學(xué)習(xí)的HPC，更多行業(yè)也開始構(gòu)建基于機(jī)器學(xué)習(xí)的HPC系統(tǒng)，以競(jìng)爭(zhēng)行業(yè)AI能力的領(lǐng)先地位。

超算TOP 100 市場(chǎng)趨勢(shì)圖

隨著人工智能落地各行各業(yè)，如何構(gòu)建面向機(jī)器學(xué)習(xí)的HPC系統(tǒng)，讓AI模型的構(gòu)建過(guò)程更加簡(jiǎn)單便利，快速實(shí)現(xiàn)AI的行業(yè)落地，助力企業(yè)快速占據(jù)行業(yè)領(lǐng)導(dǎo)者地位，商業(yè)價(jià)值極大。但需要關(guān)注的是，面向機(jī)器學(xué)習(xí)的HPC系統(tǒng)與傳統(tǒng)HPC系統(tǒng)有著很大的差異，傳統(tǒng)的HPC構(gòu)建模式并不能很好適應(yīng)機(jī)器學(xué)習(xí)需求。

為了加速機(jī)器學(xué)習(xí)的行業(yè)落地，在2019百度AI開發(fā)者大會(huì)上，百度智能云企業(yè)級(jí)AI開發(fā)平臺(tái)BML聯(lián)合ABC Storage私有云存儲(chǔ)產(chǎn)品發(fā)布面向機(jī)器學(xué)習(xí)的HPC解決方案。

該方案可提供高效的端到端機(jī)器學(xué)習(xí)算法算力應(yīng)用平臺(tái)和面向機(jī)器學(xué)習(xí)的高性能存儲(chǔ)平臺(tái)，一站式完成數(shù)據(jù)預(yù)處理、模型訓(xùn)練與評(píng)估、發(fā)布預(yù)測(cè)服務(wù)等工作，快速實(shí)現(xiàn)行業(yè)數(shù)據(jù)的AI能力生產(chǎn)落地。

面向機(jī)器學(xué)習(xí)的HPC系統(tǒng)

面向機(jī)器學(xué)習(xí)的HPC系統(tǒng)和傳統(tǒng)HPC系統(tǒng)有很大的差異，雖然從采購(gòu)模式上和基礎(chǔ)算力構(gòu)建上類似，但是兩者核心完全不同，主要差異性如下： 一是算法算力。算法框架是基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法，算力中心更集中在GPU。 二是存儲(chǔ)層。機(jī)器學(xué)習(xí)大量應(yīng)用在計(jì)算機(jī)視覺(jué)領(lǐng)域，主要處理的數(shù)據(jù)是海量的圖片、影像、語(yǔ)音等非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)HPC方案在非結(jié)構(gòu)化數(shù)據(jù)處理上并不能適應(yīng)基于深度學(xué)習(xí)的HPC場(chǎng)景的需求，存儲(chǔ)系統(tǒng)需要滿足訓(xùn)練過(guò)程中數(shù)億甚至百億的圖片、影像的存儲(chǔ)和吞吐要求，性能、性能的穩(wěn)定性都有全新的技術(shù)要求。

五大特點(diǎn)針對(duì)超算場(chǎng)景

百度智能云基于深度學(xué)習(xí)的HPC方案，完全針對(duì)機(jī)器學(xué)習(xí)超算場(chǎng)景設(shè)計(jì)，具有高性能、高效率、易用、靈活、安全的特性：

高性能 系統(tǒng)采用全分布式架構(gòu)，擁有高并發(fā)能力，支持超大規(guī)模場(chǎng)景。

高效率 AI訓(xùn)練是一個(gè)流程化系統(tǒng)，文件在流程中搬移的時(shí)間成本非常高。通過(guò)采用ABC Storage高性能存儲(chǔ)軟件引擎+Optane高效元數(shù)據(jù)管理介質(zhì)+QLC SSD高性價(jià)比閃存，面向機(jī)器學(xué)習(xí)的HPC方案能覆蓋所有流程，數(shù)據(jù)一次寫入，整個(gè)生命周期不需要搬移，能持續(xù)提供高性能、高穩(wěn)定的吞吐保障。

易用 操作簡(jiǎn)單，上手迅速，支持一站式開發(fā)部署，覆蓋了AI開發(fā)&部署的全工作流程。一個(gè)平臺(tái)就能完成發(fā)起訓(xùn)練任務(wù)、獲取訓(xùn)練模型、啟動(dòng)預(yù)測(cè)服務(wù)等全流程環(huán)節(jié)。

靈活解耦 全面支持主流ML/DL框架，同時(shí)支持自定義第三方軟件庫(kù)及用戶定義集群。 安全 機(jī)器學(xué)習(xí)的數(shù)據(jù)集通過(guò)大量人力標(biāo)注，具有極高的商業(yè)價(jià)值。平臺(tái)可以提供完整的數(shù)據(jù)權(quán)限控制，保障數(shù)據(jù)使用安全。

更多能力提供，優(yōu)勢(shì)明顯

除了優(yōu)于傳統(tǒng)HPC系統(tǒng)的高性能、高穩(wěn)定、安全靈活等特點(diǎn)，百度智能云面向機(jī)器學(xué)習(xí)的HPC解決方案還具備更強(qiáng)的兼容性與可擴(kuò)展能力，以及完整的生態(tài)解決方案能力，能夠面向不同特征的用戶，提供完備的解決方案，加速AI在各行業(yè)落地。

與普通的HPC系統(tǒng)相比，百度智能云面向機(jī)器學(xué)習(xí)的HPC解決方案具有以下四大明顯優(yōu)勢(shì)：

全面的功能和體驗(yàn) 提供機(jī)器學(xué)習(xí)和深度學(xué)習(xí)開發(fā)能力，支持主流機(jī)器學(xué)習(xí)與深度學(xué)習(xí)框架。此外，還提供交互式（Notebook）、可視化（拖拽）、自動(dòng)化三種建模體驗(yàn)，讓不同研發(fā)能力的客戶都能快速實(shí)現(xiàn)模型的訓(xùn)練、評(píng)估和預(yù)測(cè)。

支持飛槳（PaddlePaddle）等主流深度學(xué)習(xí)框架 實(shí)現(xiàn)資源的精細(xì)化管理和調(diào)度，支持GPU多機(jī)多卡和GPU虛擬化，同時(shí)支持百度飛槳(PaddlePaddle)最新版本、Tensorflow最新版本，并能就其他主流深度學(xué)習(xí)框架按需靈活擴(kuò)展。此外，通過(guò)內(nèi)置圖像/視頻(CV類)模型生產(chǎn)線，能夠以產(chǎn)線方式支持CV類模型的流程化、標(biāo)準(zhǔn)化、高效化開發(fā)生產(chǎn)。

開放上下層接口，集成方便 提供Open API/SDK接口，便于客戶上層應(yīng)用無(wú)縫對(duì)接，客戶的自有模型、第三方模型都能快速導(dǎo)入并服務(wù)。產(chǎn)品分層設(shè)計(jì)、接口開放，便于與客戶私有云、本地機(jī)器、大數(shù)據(jù)平臺(tái)、運(yùn)維平臺(tái)等已有環(huán)境有效對(duì)接。

一體化交付服務(wù) 支持V100 GPU卡、百度自研GPU Box(Xman3.0)，能夠滿足客戶多種算力需求，集成百度智能云專業(yè)且豐富的硬件供應(yīng)與交付經(jīng)驗(yàn)，能力覆蓋全面，一條龍服務(wù)縮短交付周期。

存儲(chǔ)的挑戰(zhàn)交給ABC Storage

基于機(jī)器學(xué)習(xí)的AI能力需要大量的算力和數(shù)據(jù)樣本集，結(jié)合算法模型反復(fù)針對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，才能提供商用的AI能力模型。在訓(xùn)練過(guò)程，存儲(chǔ)性能和穩(wěn)定性尤為關(guān)鍵。

性能方面 百度智能云針對(duì)該場(chǎng)景,采用Optane+QLC SSD的硬件方案，結(jié)合百度智能云私有云存儲(chǔ)ABC Storage的高性能對(duì)象存儲(chǔ)引擎，在5臺(tái)存儲(chǔ)集群規(guī)模下，即可滿足200臺(tái)GPU服務(wù)器針對(duì)100億小文件的并發(fā)吞吐要求。

穩(wěn)定性方面 ABC Storage采用Optane作為元數(shù)據(jù)管理存儲(chǔ)介質(zhì)，可以保障在文件數(shù)量增長(zhǎng)以及讀寫混合等綜合場(chǎng)景下，提供高性能穩(wěn)定的吞吐能力。

值得一提的是，ABC Storage支持InfiniBand網(wǎng)絡(luò)，也是面向機(jī)器學(xué)習(xí)首推支持InfiniBand的全閃對(duì)象解決方案。作為HPC場(chǎng)景中不可或缺的高性能網(wǎng)絡(luò)系統(tǒng)，能提供更低延遲和更快網(wǎng)絡(luò)故障恢復(fù)速度的InfiniBand網(wǎng)絡(luò)是HPC的重要保障。

百度智能云面向機(jī)器學(xué)習(xí)的HPC平臺(tái)，以自身優(yōu)異的性能及完整的方案解決能力，已經(jīng)為眾多領(lǐng)域的客戶帶來(lái)實(shí)際價(jià)值。隨著人工智能與各產(chǎn)業(yè)的結(jié)合向縱深發(fā)展，優(yōu)秀AI平臺(tái)的價(jià)值將日益凸顯。

未來(lái)，百度智能云基于深度學(xué)習(xí)的HPC方案將把握前沿技術(shù)，不斷完善與創(chuàng)新，通過(guò)端到端的高效、開放、生態(tài)化的能力，助推更多企業(yè)和研究機(jī)構(gòu)的智能化升級(jí)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。