中科院計算所率先提出全球首款圖神經(jīng)網(wǎng)絡(luò)加速芯片設(shè)計

近日,《中國計算機(jī)學(xué)會通訊》(CCCF)刊發(fā)了中科院計算所特別研究助理嚴(yán)明玉博士、研究員范東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經(jīng)網(wǎng)絡(luò)加速芯片:人工智能“認(rèn)知智能”階段起飛的推進(jìn)劑》。文章披露,為更好地支持認(rèn)知智能的發(fā)展,該團(tuán)隊提出了國際首款圖神經(jīng)網(wǎng)絡(luò)加速芯片設(shè)計 HyGCN。目前,介紹該芯片設(shè)計的相關(guān)論文已先后在計算機(jī)體系結(jié)構(gòu)國際頂級會議MICRO和HPCA上發(fā)表。

“HyGCN,寓意向圖神經(jīng)網(wǎng)絡(luò)的加速說‘Hi’。”嚴(yán)明玉介紹道,圖神經(jīng)網(wǎng)絡(luò)將深度學(xué)習(xí)算法和圖計算算法相融合,取長補(bǔ)短,能達(dá)到更優(yōu)的認(rèn)知與問題處理等能力,在搜索、推薦、風(fēng)險控制等重要領(lǐng)域有著廣泛應(yīng)用?,F(xiàn)有的處理器芯片在執(zhí)行圖神經(jīng)網(wǎng)絡(luò)的計算中效率低下,其團(tuán)隊前瞻性地展開面向圖神經(jīng)網(wǎng)絡(luò)的加速芯片設(shè)計,為解決這一難題提供了可行方案。

讓機(jī)器“能理解、會思考”

圖神經(jīng)網(wǎng)絡(luò)被認(rèn)為是推動認(rèn)知智能發(fā)展強(qiáng)有力的推理方法,有望解決深度學(xué)習(xí)無法處理的關(guān)系推理、可解釋性等一系列問題,讓機(jī)器“能理解、會思考”。2019年后,圖神經(jīng)網(wǎng)絡(luò)逐漸成為各人工智能頂級會議的“熱詞”和研究熱點,眾多全球頂尖科技企業(yè)也已將圖神經(jīng)網(wǎng)絡(luò)部署于數(shù)據(jù)中心中。

“作為近年來新興的一種智能算法,圖神經(jīng)網(wǎng)絡(luò)不僅在學(xué)術(shù)界被高度重視,也已然成為近年來工業(yè)界非常重要的應(yīng)用之一。”嚴(yán)明玉介紹說,圖神經(jīng)網(wǎng)絡(luò)能夠備受學(xué)術(shù)界和工業(yè)界的青睞,歸功于其強(qiáng)大的數(shù)據(jù)和知識理解能力,以及關(guān)系推理能力。

由于圖神經(jīng)網(wǎng)絡(luò)在圖數(shù)據(jù)處理方面的特殊性,傳統(tǒng)用于加速神經(jīng)網(wǎng)絡(luò)的芯片難以直接對圖神經(jīng)網(wǎng)絡(luò)的執(zhí)行提供高效計算支撐。嚴(yán)明玉解釋,以圖數(shù)據(jù)為輸入,融合了深度學(xué)習(xí)算法和圖計算算法的圖神經(jīng)網(wǎng)絡(luò)具有與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不一樣的執(zhí)行行為,即“混合執(zhí)行行為”。具體而言,規(guī)則執(zhí)行行為和不規(guī)則執(zhí)行行為共存于圖神經(jīng)網(wǎng)絡(luò)中。“混合執(zhí)行行為”對現(xiàn)有的處理器結(jié)構(gòu)帶來了巨大的挑戰(zhàn),比如,GPU在應(yīng)對不規(guī)則執(zhí)行行為時極為低效。

認(rèn)知智能起飛的“推進(jìn)劑”

“為了應(yīng)對圖神經(jīng)網(wǎng)絡(luò)的混合執(zhí)行行為,我們設(shè)計了新的處理器結(jié)構(gòu),以更高效地加速圖神經(jīng)網(wǎng)絡(luò)的執(zhí)行。”嚴(yán)明玉介紹說,HyGCN 芯片基于混合結(jié)構(gòu)設(shè)計思想,分別為圖神經(jīng)網(wǎng)絡(luò)的兩個主要執(zhí)行階段——圖遍歷階段和神經(jīng)網(wǎng)絡(luò)變換階段設(shè)計相應(yīng)的加速引擎,并流水兩個引擎的執(zhí)行。

研究團(tuán)隊的實踐證明,HyGCN芯片設(shè)計,能夠有效應(yīng)對圖神經(jīng)網(wǎng)絡(luò)圖遍歷階段的不規(guī)則性,并能利用神經(jīng)網(wǎng)絡(luò)變換階段的規(guī)則性提高執(zhí)行效率。

“圖神經(jīng)網(wǎng)絡(luò)加速芯片有望成為AI‘認(rèn)知智能’階段起飛的推進(jìn)劑。我們基于12nm工藝,對HyGCN的芯片設(shè)計的核心部件在主流的圖神經(jīng)網(wǎng)絡(luò)模型和圖測試數(shù)據(jù)集上進(jìn)行了初步的評估。”嚴(yán)明玉介紹說,相對于運(yùn)行在Intel至強(qiáng)服務(wù)器CPU和英偉達(dá)V100 GPU的先進(jìn)圖神經(jīng)網(wǎng)絡(luò)軟件框架,HyGCN分別取得了數(shù)萬倍和60余倍的能效提升。

在“無人區(qū)”加快布局

近年來,中科院計算所圍繞云計算、芯片、互聯(lián)網(wǎng)、人工智能等前沿IT領(lǐng)域開展研創(chuàng)產(chǎn)協(xié)同創(chuàng)新,完善我國在端、網(wǎng)、云的計算基礎(chǔ)設(shè)施布局,并鼓勵通過技術(shù)轉(zhuǎn)移體現(xiàn)科研人員和科技成果的價值。

從感知智能到認(rèn)知智能,對人工智能技術(shù)的探索正挺向縱深。以中科院計算所為代表的中科院科研機(jī)構(gòu)積極作為,大力推動科技創(chuàng)新,特別在以5G、人工智能、大數(shù)據(jù)等為代表的智能科技的發(fā)展方面,堅持面向世界科技前沿、面向國民經(jīng)濟(jì)主戰(zhàn)場,不斷向科學(xué)技術(shù)廣度和深度進(jìn)軍,加快解決制約科技創(chuàng)新發(fā)展的關(guān)鍵問題。

“圖神經(jīng)網(wǎng)絡(luò)加速芯片目前在國際上還是‘無人區(qū)’,研究成果發(fā)表后得到了業(yè)界認(rèn)可。”嚴(yán)明玉表示,目前中科院計算所正加快對HyGCN科技成果進(jìn)行孵化,提升關(guān)鍵核心技術(shù)能力,推動各行各業(yè)從信息化向智慧化升級。

應(yīng)用空間巨大

圖神經(jīng)網(wǎng)絡(luò)的潛在應(yīng)用非常多。嚴(yán)明玉舉例,在日常交通預(yù)測、網(wǎng)約車調(diào)度、金融詐騙偵查、運(yùn)動檢測等場景,在助力科研的知識推理、EDA工程、化學(xué)研究、宇宙發(fā)現(xiàn)等領(lǐng)域,以及在知識圖譜、視覺推理、自然語言處理中的多跳推理等學(xué)科發(fā)展方向上,都有極大應(yīng)用空間。

在工業(yè)界,圖神經(jīng)網(wǎng)絡(luò)也已經(jīng)有了落地應(yīng)用。比如,谷歌地圖的ETA評估、圖片社交網(wǎng)站Pinterest的內(nèi)容推薦、阿里巴巴的風(fēng)控和推薦、騰訊等公司的視覺和風(fēng)控等業(yè)務(wù)中都有圖神經(jīng)網(wǎng)絡(luò)的影子。

由于圖神經(jīng)網(wǎng)絡(luò)具有推理能力,認(rèn)知智能還可以幫助機(jī)器跨越模態(tài)理解數(shù)據(jù),學(xué)習(xí)到接近人腦認(rèn)知的一般表達(dá),從而獲得類似于人腦的多模感知能力,進(jìn)而有望帶來顛覆性的產(chǎn)業(yè)價值。

Allied Market Research 發(fā)布的機(jī)器學(xué)習(xí)芯片市場報告顯示,2022年機(jī)器學(xué)習(xí)芯片市場規(guī)模預(yù)計將達(dá)到 827.2 億美元。圖神經(jīng)網(wǎng)絡(luò)加速芯片有望在接下來3年內(nèi)與現(xiàn)有的神經(jīng)網(wǎng)絡(luò)芯片共生,甚至在5年后替換大部分的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)芯片,成為主流的機(jī)器學(xué)習(xí)芯片,可能將產(chǎn)生300億美元以上的市場規(guī)模。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )