推出TensorRT 7、支持ARM，英偉達(dá)GTC China 2019給了業(yè)界大驚喜

12月20日消息（南山）在日前舉辦的英偉達(dá) GTC China 2019大會(huì)上，“教主”黃仁勛發(fā)布了一系列新品，其中TensorRT 的最新版本TensorRT 7令人矚目，相比去年發(fā)布的TensorRT 5，TensorRT 7 可支持各種類(lèi)型的 RNN、transformer、CNN，能夠融合水平與垂直方向的運(yùn)算，支持 1000 多種不同的計(jì)算變換和優(yōu)化。黃仁勛舉例，有了 TensorRT 7 的支持，在 GPU 上編譯會(huì)話(huà)模型只需要0.3秒。

TensorRT 7的典型應(yīng)用，是支持交互式會(huì)話(huà)AI，為實(shí)現(xiàn)更加智能的AI人機(jī)交互打開(kāi)了新大門(mén)。在大會(huì)期間，英偉達(dá)加速計(jì)算產(chǎn)品管理總監(jiān)Paresh Kharya等人接受C114/機(jī)器成精等媒體采訪，對(duì)TensorRT 7新平臺(tái)、兼容ARM等熱門(mén)話(huà)題進(jìn)行了解讀。

支撐會(huì)話(huà)式AI全流程

Paresh Kharya介紹，AI技術(shù)正在取得長(zhǎng)足進(jìn)展，最新的應(yīng)用包括會(huì)話(huà)式AI和推薦系統(tǒng)。其中，會(huì)話(huà)式AI是一個(gè)非常復(fù)雜的任務(wù)，需要AI理解語(yǔ)音、文本、語(yǔ)言，整個(gè)過(guò)程分為三個(gè)部分：識(shí)別你所說(shuō)的，將你所說(shuō)的話(huà)轉(zhuǎn)化為文字，理解這些文字并轉(zhuǎn)化成語(yǔ)言再說(shuō)出來(lái)。隨著英偉達(dá)不斷發(fā)布新版本，TensorRT 7可以完成三個(gè)流程計(jì)算，從語(yǔ)音識(shí)別到語(yǔ)義理解再到語(yǔ)音輸出。

“要想把會(huì)話(huà)式AI做得有用，需要符合兩個(gè)條件，要在300毫秒內(nèi)將整個(gè)三部分完成，而且要完成的非常智能。在這個(gè)過(guò)程當(dāng)中，有非常多的復(fù)雜模型需要計(jì)算，Tensor RT也在不斷完善。” Paresh Kharya表示。

“推薦系統(tǒng)也是至關(guān)重要的一環(huán)，甚至已成為了互聯(lián)網(wǎng)最重要的引擎。” Paresh Kharya強(qiáng)調(diào)，用戶(hù)面臨的選擇越來(lái)越多，網(wǎng)絡(luò)的信息量呈現(xiàn)爆炸式增長(zhǎng)，包括商品、視頻，以及各類(lèi)選擇的參數(shù)的數(shù)量都在爆炸式增長(zhǎng)。“商品達(dá)到數(shù)十億級(jí)別，網(wǎng)絡(luò)視頻百萬(wàn)量級(jí)增長(zhǎng)，新聞每天都在產(chǎn)生海量數(shù)據(jù)。阿里巴巴、百度，都使用了英偉達(dá)的平臺(tái)支持他們的推薦系統(tǒng)。”

這些信息在實(shí)時(shí)、動(dòng)態(tài)的變化過(guò)程中，只有不斷對(duì)模型進(jìn)行訓(xùn)練，才可以有效地推薦。訓(xùn)練模型需要大量算力，英偉達(dá)提供了不斷更新的各類(lèi)工具和軟件，比如最新的軟件Tensor RT 7，支持各類(lèi)模型在各種情景下的部署，支持上百萬(wàn)的用戶(hù)在每秒內(nèi)做數(shù)十億次的搜索。

例如，阿里的邊緣系統(tǒng)如果在英偉達(dá)的GPU上跑，每秒可以做780次查詢(xún)；但是如果用CPU，每秒只能做3次查詢(xún)。

與ARM合作，給客戶(hù)更多選擇

本次大會(huì)上，英偉達(dá)還宣布ARM處理器可以使用其GPU加速技術(shù)、NVIDIA Magnum IO套件，以及在Microsoft Azure上使用的新型云加速GPU超級(jí)計(jì)算機(jī)等。換句話(huà)說(shuō)，英偉達(dá)將全方位擴(kuò)展高性能計(jì)算領(lǐng)域。

Paresh Kharya指出，ARM是被業(yè)界廣泛使用的架構(gòu)，服務(wù)全球1500億臺(tái)設(shè)備。其成功的一個(gè)重要原因是開(kāi)放平臺(tái)，各家公司都能夠在ARM架構(gòu)上進(jìn)行創(chuàng)新，ARM也能夠提供互聯(lián)、內(nèi)存、CPU內(nèi)核、計(jì)算能力等各種功能。英偉達(dá)將通過(guò)CUDA平臺(tái)和ARM架構(gòu)進(jìn)行兼容，在高性能計(jì)算領(lǐng)域，給客戶(hù)更多選擇。

“加速計(jì)算和過(guò)去以CPU為基礎(chǔ)的計(jì)算很不一樣，性能提升是20、30甚至是100倍的。原因不僅是在架構(gòu)上進(jìn)行了設(shè)計(jì)，更重要的是通過(guò)軟件優(yōu)化和支撐。比如我們有各種各樣的平臺(tái)，像應(yīng)用在醫(yī)療領(lǐng)域的Clara平臺(tái)，應(yīng)用在自動(dòng)駕駛領(lǐng)域的Drive以及Isaac，做到了硬件和軟件的結(jié)合。” Paresh Kharya表示。

當(dāng)前，對(duì)于GPU，業(yè)界既用于圖像處理，也有一些特別的客戶(hù)會(huì)剝離圖像處理能力，專(zhuān)注于加速技術(shù)應(yīng)用。Paresh Kharya認(rèn)為，英偉達(dá)豐富的產(chǎn)品線，能夠滿(mǎn)足客戶(hù)的差異化需求，例如應(yīng)用于數(shù)據(jù)中心的GPU就沒(méi)有圖像處理部分，通過(guò)Tensor Core做AI加速計(jì)算。一些新品如RTX6000、RTX8000，則圖像處理和AI加速功能兼具。“我們的優(yōu)勢(shì)是統(tǒng)一的架構(gòu)應(yīng)用于各種工作負(fù)載當(dāng)中實(shí)現(xiàn)加速計(jì)算，這意味著在各個(gè)行業(yè)中、各種各樣的商業(yè)機(jī)會(huì)。”

業(yè)界人士云集GTC China 2019

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。