Graphcore IPU-M2000在首個benchmark測試中顯著優(yōu)于GPU

12月10日消息，Graphcore為其最新的AI計算系統(tǒng)——IPU-M2000和縱向擴展的IPU-POD64發(fā)布了第一套性能benchmark。以下為具體內(nèi)容。

在各種流行的模型中，Graphcore技術(shù)在訓(xùn)練和推理方面均顯著優(yōu)于NVIDIA的A100（基于DGX）。

亮點包括：

訓(xùn)練

EfficientNet-B4：吞吐量高18倍

ResNeXt-101：吞吐量高3.7倍

BERT-Large：與DGX A100相比，在IPU-POD64上的訓(xùn)練時間快5.3倍（比雙DGX系統(tǒng)縮短2.6倍）

推理

LSTM：以更低時延實現(xiàn)吞吐量提升超過600倍

EfficientNet-B0：吞吐量提升60倍/時延縮短超過16倍

ResNeXt-101：吞吐量提升40倍/時延縮短10倍

BERT-Large：以更低的時延實現(xiàn)吞吐量提升3.4倍

Benchmark中包括了BERT-Large（基于Transformer的自然語言處理模型）在IPU-POD64的全部64個處理器上運行的結(jié)果。

BERT-Large的訓(xùn)練時間比最新的NVIDIA DGX-A100快5.3倍（比雙DGX設(shè)置快2.6倍以上），這一結(jié)果彰顯了Graphcore的IPU-POD橫向擴展解決方案在數(shù)據(jù)中心的優(yōu)勢，以及Poplar軟件棧管理復(fù)雜工作負載的能力，這些工作負載能夠利用多個處理器并行工作。

Graphcore軟件高級副總裁Matt Fyles在對測試結(jié)果發(fā)表評論時說：“這一整套全面的benchmark表明Graphcore的IPU-M2000和IPU-POD64在許多流行模型上的性能均優(yōu)于GPU。”

“諸如EfficientNet之類的新型模型的benchmark特別具有啟發(fā)性，因為它們證明了AI的發(fā)展方向越來越傾向于IPU的專業(yè)架構(gòu)，而非圖形處理器的傳統(tǒng)設(shè)計。”

“客戶需要能夠處理稀疏性以高效運行大規(guī)模模型的計算系統(tǒng)，而這正是Graphcore IPU所擅長的。在這種客戶需求的趨勢下，差距只會不斷擴大。”

Graphcore為阿里云HALO定制代碼正式在GitHub開源

Graphcore是阿里云HALO的合作伙伴之一，為阿里云HALO定制開發(fā)的代碼odla_PopArt已經(jīng)在HALO的GitHub上開源，具體請見https://github.com/alibaba/heterogeneity-aware-lowering-and-optimization

MLCommons

除了發(fā)布其AI計算系統(tǒng)的全面benchmark外，Graphcore還宣布，其已經(jīng)加入新成立的MLPerf下屬機構(gòu)MLCommons，成為MLCommons的會員。

Graphcore將從2021年開始參加MLCommons的比較benchmark測試。更多信息，請參閱MLCommons的成立公告。

現(xiàn)已出貨

Graphcore最新benchmark的發(fā)布與IPU-M2000和IPU-POD64系統(tǒng)向全球客戶的推出時間剛好一致。一些早期發(fā)貨的產(chǎn)品已經(jīng)在數(shù)據(jù)中心安裝并運行。

銷售工作得到了Graphcore全球合作伙伴網(wǎng)絡(luò)以及公司在歐洲、亞洲和美洲的銷售人員和現(xiàn)場工程團隊的支持。

PyTorch和Poplar 1.4

Graphcore用戶現(xiàn)在可以利用Poplar SDK 1.4，包括全面的PyTorch支持。PyTorch已成為從事尖端AI研究的開發(fā)人員的首選框架，在更廣泛的AI社區(qū)中也收獲了大批的追隨者，并且追隨者的數(shù)量還在快速增長。

PapersWithCode的最新數(shù)據(jù)顯示，在具有關(guān)聯(lián)代碼的已發(fā)表論文中，47%的論文使用了PyTorch框架（2020年9月）。

額外補充的PyTorch支持，再加上Poplar對TensorFlow的現(xiàn)有支持，這意味著絕大多數(shù)AI應(yīng)用程序現(xiàn)在都可以輕松部署在Graphcore系統(tǒng)上。

與Poplar軟件棧的其他元素一樣，Graphcore正在將其用于IPU接口庫的PyTorch開源，從而使社區(qū)能夠?qū)yTorch的開發(fā)做出貢獻，并且加速PyTorch的開發(fā)。

關(guān)于IPU-M2000和IPU-POD

IPU-Machine：M2000（IPU-M2000）是一臺即插即用的機器智能計算刀片，旨在輕松部署并為可大規(guī)模擴展的系統(tǒng)提供支持。

纖巧的1U刀片可提供1 PetaFlop的機器智能計算能力，并在機箱內(nèi)部納入針對AI橫向擴展進行了優(yōu)化的集成網(wǎng)絡(luò)技術(shù)。

每個IPU-Machine：M2000（IPU-M2000）均由Graphcore的4個新型7納米Colossus™MK2 GC200 IPU處理器提供動力，并得到Poplar®軟件棧的完全支持。

IPU-POD64是Graphcore的橫向擴展解決方案，包括16臺IPU-M2000，這些機器使用Graphcore的超高帶寬IPU-Fabric™技術(shù)進行了預(yù)先配置和連接。

IPU-POD64專為需要大規(guī)模AI計算功能的客戶而設(shè)計，既可以跨多個IPU運行單個工作負載以進行并行計算，也可以通過Graphcore的Virtual-IPU軟件供多個用戶共享使用。

附Graphcore MK2 Benchmarks具體表現(xiàn)：

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。