英特爾：GPU已out 半導(dǎo)體行業(yè)需要全新神經(jīng)網(wǎng)絡(luò)架構(gòu)

雷鋒網(wǎng)按：近日，Google首次透露TPU細(xì)節(jié)：其執(zhí)行谷歌常規(guī)機(jī)器學(xué)習(xí)工作負(fù)載的處理速度比GPU/CPU快15-30倍。這一消息表明隨著人工智能的發(fā)展，以往的GPU/CPU架構(gòu)已經(jīng)相對(duì)落后，在這一領(lǐng)域除了Google，Intel也在進(jìn)行相關(guān)的研發(fā)，以下則是近期ZDNet對(duì)Intel AIPG首席技術(shù)官 Amir Khosrowshahi 的一篇采訪，雷鋒網(wǎng)編譯如下：

剛剛上任的英特爾人工智能事業(yè)部（AIPG）首席技術(shù)官 Amir Khosrowshahi 表示，目前所使用GPU太低級(jí)了，半導(dǎo)體行業(yè)需要構(gòu)建全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

在出任這個(gè)新職位之前，Khosrowshahi 是 Nervana System 的聯(lián)合創(chuàng)始人兼首席技術(shù)官，于去年 8 月份被英特爾收購，但并未對(duì)外披露具體的收購金額。Nervana System利用最先進(jìn)的技術(shù)來使用 GPU，而且還自行研發(fā)替代了標(biāo)準(zhǔn)的 Nvidia 匯編程序，從而讓 Nervana 能夠生成「次優(yōu)」的架構(gòu)體系。在英特爾大力部署人工智能戰(zhàn)略的大背景下，該公司所能提供的技術(shù)迅速成為了發(fā)展的核心力量。

Khosrowshahi 本周四向 ZDNet 透露：「早在 Nervana 成立之初我們就著手研發(fā)自己的匯編程序，當(dāng)時(shí)只是為了我們自己的研發(fā)需求，不過后來我們發(fā)現(xiàn)它要比 Nvidia 官方的庫快兩到三倍，所以我們就將其開源了?！?/p>

Nervana 并不僅僅在軟件方面發(fā)力，而且還創(chuàng)建了自己的硅靶向神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

他說道：「神經(jīng)網(wǎng)絡(luò)是預(yù)先設(shè)定好操作的系列整合。它并不像人類和系統(tǒng)之間的交互，而是被描述為數(shù)據(jù)流圖的系列指令集。」

Khosrowshahi 表示，在執(zhí)行圖形渲染過程中輔助圖形處理單元的部分功能是沒有必要的，比如大容量緩存，頂點(diǎn)處理，渲染和紋理等等。他表示：「GPU 中的大部分電路在部署機(jī)器學(xué)習(xí)之后是沒有必要的... 這些東西會(huì)隨著時(shí)間的推移而不斷積累，最終產(chǎn)生了非常多無用的東西?！?/p>

他進(jìn)一步解釋道：「對(duì)你來說并不需要的電路在 GPU 芯片中不僅占據(jù)了很大一片空間，而且從能源利用率上考慮也產(chǎn)生了相當(dāng)高的成本。神經(jīng)網(wǎng)絡(luò)則相當(dāng)簡單，利用小巧的矩陣乘法和非線性就能直接創(chuàng)建半導(dǎo)體來實(shí)現(xiàn) GPU 的功能，而且你所創(chuàng)建的半導(dǎo)體非常忠誠于神經(jīng)網(wǎng)絡(luò)架構(gòu)，顯然這是 GPU 所無法給予的。」（雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))注：在設(shè)計(jì)思路上，CPU有復(fù)雜的控制邏輯和諸多優(yōu)化電路，相比之下計(jì)算能力只是CPU很小的一部分；而GPU采用了數(shù)量眾多的計(jì)算單元和超長的流水線，但只有非常簡單的控制邏輯并省去了Cache，因而在需要大量計(jì)算的機(jī)器學(xué)習(xí)方面表現(xiàn)更好，而TPU則是專為機(jī)器學(xué)習(xí)的矩陣乘法設(shè)計(jì)和優(yōu)化，因而在機(jī)器學(xué)習(xí)方面比GPU更勝一籌）

Khosrowshahi 給出的答案：就是目前尚在開發(fā)中的 Lake Crest，這是英特爾今年會(huì)面向部分客戶提供離散加速器。但伴隨著時(shí)間的推移，它將會(huì)成為 Xeon 處理器的最佳伴侶。

Khosrowshahi 解釋道：「這是一個(gè)張量處理器，能夠處理帶矩陣運(yùn)算的指令。因此指令集是矩陣 1 和矩陣 2 的相乘，不僅通過查詢表運(yùn)行而且這些大型的指令都是高級(jí)別的?！?/p>

「GPU 主要依靠一個(gè)個(gè)寄存器，當(dāng)訪問 [或者跳轉(zhuǎn)到] 某個(gè)寄存器，所執(zhí)行的是元素和元素之間的相乘，這個(gè)級(jí)別是相當(dāng)?shù)牡土?。?/p>

Khosrowshahi 表示最近幾年 Nvidia 已經(jīng)努力讓他們的 GPU 對(duì)神經(jīng)網(wǎng)絡(luò)更加友好，但是他們的 AI 芯片依然承擔(dān)了大量圖形功能。他表示：「如果只是依靠自己來推動(dòng)芯片方面的改進(jìn)，我認(rèn)為未來 Nvidia 的推進(jìn)將會(huì)變得越來越困難。」

與之對(duì)應(yīng)的，英特爾則通過收購的方式來推進(jìn)人工智能。

Khosrowshahi 說道：「芯片行業(yè)的挑戰(zhàn)是即將迎來顛覆性的全新架構(gòu)：而現(xiàn)在英特爾所做的事情就是將其收入麾下。他們想要獲得 FPGAs（現(xiàn)場可編程門陣列），所以他們收購了 Altera。這真的是一個(gè)非?？犰欧浅Ｉ窠?jīng)網(wǎng)絡(luò)的架構(gòu)。」

此外 Khosrowshahi 還糾正了很多人對(duì)神經(jīng)網(wǎng)絡(luò)的錯(cuò)誤想法，他表示并不是將神經(jīng)網(wǎng)絡(luò)蝕刻到半導(dǎo)體上，大部分的功能依然通過軟件方面來形成。

他說道：「神經(jīng)網(wǎng)絡(luò)大部分都體現(xiàn)在軟件方面。所以即使是 Lake Crest，指令并不是『神經(jīng)網(wǎng)絡(luò)，執(zhí)行這項(xiàng)任務(wù)』，而是通過矩陣和矩陣的相乘。芯片外層部分就是一些我們所熟知的神經(jīng)網(wǎng)絡(luò)，在經(jīng)過培訓(xùn)之后能夠根據(jù)用戶需求來執(zhí)行各種任務(wù)或者搜索某種參數(shù)，當(dāng)你擁有神經(jīng)網(wǎng)絡(luò)之后你就能做任何可以完成的事情。」

英特爾的其中一個(gè)人工智能架構(gòu)將會(huì)對(duì)抗 Google 的定制 TPU。在本周三搜索巨頭表示， TPU 的平均運(yùn)轉(zhuǎn)速度要比標(biāo)準(zhǔn)的 GPU/CPU 組合（比如 Intel 的 Haswell 處理器和 Nvidia 的 K80 GPU）快 15-30 倍。在數(shù)據(jù)中心計(jì)算功耗時(shí)，TPU 還提供 30-80 倍的 TeraOps/瓦特（如果未來使用更快的存儲(chǔ)，這一數(shù)字可能還會(huì)提高）。

同樣在本周三，IBM 和 Nvidia 還宣布 Big Blue 在今年 5 月份開始向特斯拉 P100S 提供 IBM Cloud 服務(wù)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。