深度學習之上，圖神經(jīng)網(wǎng)絡（GNN ）崛起

由于深度學習在可推理和可解釋性方面存在比較大的局限性，結合了圖計算和深度學習的圖神經(jīng)網(wǎng)絡(GNNs)成為近期學術界和工業(yè)界研究熱度頗高的新方向之一。業(yè)界普遍認為，GNN 恰好可以彌補前面提到的深度學習無法解決的兩個缺陷。近一年 GNN 在越來越多應用場景上取得了成功，但它也仍面臨著許多挑戰(zhàn)。

螞蟻金服在今年的數(shù)據(jù)挖掘研究領域頂級年會 KDD 2019 上召開了以“圖神經(jīng)網(wǎng)絡研究及實際應用”為主題的研討會。InfoQ 記者有幸采訪到了螞蟻金服人工智能部研究員宋樂，聊聊深度學習和 GNN 在大型工業(yè)級場景的應用和實踐、目前面臨的難點挑戰(zhàn)，以及未來技術前進的可能方向。

宋樂老師在 KDD2019

GNN已成“AI新貴”

除了傳統(tǒng)的深度學習方法，圖神經(jīng)網(wǎng)絡(GNN)在近兩年也是公認的“AI 新貴”。由于圖結構的強大表現(xiàn)力，用機器學習 / 深度學習方法分析圖的研究越來越受重視。而圖神經(jīng)網(wǎng)絡(GNN)由于較好的性能和可解釋性，已經(jīng)成為一種廣泛應用的圖分析方法，更有不少人將它看作“深度學習的新一代技術”。近一年來，學界和工業(yè)界陸續(xù)推出了 GNN 的相關框架和工具，進一步促進了這一領域的蓬勃發(fā)展。

GNN 提供了圖表征學習(Graph representation learning)或圖嵌入技術(Graph embedding)的框架，可以用于各種圖數(shù)據(jù)上的監(jiān)督，半監(jiān)督及強化學習。GNN 將圖上的元素，如節(jié)點，連接或者子圖表達成為一個向量，而不同元素所對應的向量之間的距離保存了它們在原圖上的相似關系。這樣將拓撲關系表達為特征空間中的向量的做法，本質(zhì)上是一種基于拓撲信息的特征提取過程，其結果是溝通了傳統(tǒng)的圖分析和各種傳統(tǒng)機器學習或數(shù)據(jù)挖掘方法，在推薦系統(tǒng)、知識圖譜構建及推理等領域都有許多應用。比如說，可以通過引入了圖卷積操作構造了一個適用于圖數(shù)據(jù)的半監(jiān)督學習框架，用于提取更精確的特征表達或直接進行分類操作，并可以結合圖像分割、視頻理解、交通預測等許多領域開始探索其應用價值。無論對于圖分析還是深度學習，GNN 都是一個極有價值的的演化。

GNN 的出現(xiàn)解決了傳統(tǒng)深度學習方法難以應用到非規(guī)則形態(tài)數(shù)據(jù)上的痛點，大大擴展了神經(jīng)網(wǎng)絡的應用空間，并在一些問題上改進了模型的可解釋性。對于許多建立在非規(guī)則形態(tài)數(shù)據(jù)基礎之上的業(yè)務場景，諸如推薦、消歧、反欺詐等，GNN 都有極大的應用潛力。以螞蟻金服為例，GNN 已經(jīng)廣泛部署于普惠金融業(yè)務的推薦和風控中。

宋樂還列舉了兩個比較有趣的新應用：

一個是 GNN 在知識圖譜上推理的應用。知識圖譜是螞蟻金服非常重要的研發(fā)方向之一，借助知識圖譜可以把中國所有注冊企業(yè)都聯(lián)系起來，圖譜里每個節(jié)點可能就是一個注冊的商家，這個節(jié)點數(shù)量可能會達到幾千萬。這些商家之間可能有一些是供應商關系，有一些是同行競爭對手的關系，有一些可能是存在法律訴訟的關系。如果想根據(jù)這個圖來做一些預測和推測，用于普惠金融業(yè)務的推薦和風控，就可以借助 GNN。

另一個是動態(tài)圖的應用。本質(zhì)上，所有金融交易問題都是動態(tài)的，誰在什么時間買了什么東西，都是有一個對應的時間戳的，隨著新的交易發(fā)生、新的賬號產(chǎn)生，整個圖應該是在不斷變化的。如何把時間和圖的結構一起考慮進去做表征，這個也是比較有挑戰(zhàn)性的前沿問題。目前螞蟻金服正在貸款準入模型中嘗試應用動態(tài)圖。

除此之外，據(jù)宋樂保守估計，GNN 目前至少已在阿里巴巴數(shù)十個業(yè)務場景落地。不過這只是 GNN 發(fā)展樂觀的一面。

從業(yè)界整體落地情況來看，GNN 仍然處于發(fā)展初期。從 2018 年 10 月，由 DeepMind、谷歌大腦、麻省理工等近 30 名學者聯(lián)名在 ArXiv 上傳的論文《Relational inductive biases, deep learning, and graph networks》將 GNN 相關工作推到一個新的高度以來，GNN 火熱發(fā)展還未到一年，很多本質(zhì)問題尚未突破。與工業(yè)級深度學習應用面臨的問題類似，GNN 要真正做到在工業(yè)界大規(guī)模落地，在底層系統(tǒng)架構方面仍需要做大量工作。

如何大規(guī)模落地 GNN 仍面臨挑戰(zhàn)

在宋樂看來，目前 GNN 在工業(yè)界大規(guī)模落地面臨的挑戰(zhàn)主要在于大規(guī)模圖網(wǎng)絡的訓練和線上更新預測兩方面。未來互聯(lián)網(wǎng)公司只要涉及 GNN 相關應用工作，幾乎都逃不開大規(guī)模圖網(wǎng)絡。

首先，工業(yè)級業(yè)務場景，尤其是互聯(lián)網(wǎng)公司的業(yè)務場景，圖網(wǎng)絡規(guī)模通常都很大，至少包含億級，甚至是十億級、百億級的圖節(jié)點和邊。要計算這么大規(guī)模的圖神經(jīng)網(wǎng)絡，通常一臺機器是無法達到想要的效果的，這時就需要一個專門的分布式圖計算平臺。如果沒有一個平臺能夠支撐 GNN 所需的海量計算，就很難把 GNN 做好。但目前就業(yè)界來說，GNN 平臺的進展仍然比較慢。還沒有哪個企業(yè)能夠推出一個足夠好的開源 GNN 平臺，并且能自信地表示可以很好地支持億級節(jié)點的圖網(wǎng)絡。

在對 GNN 模型進行訓練時，算法需要與分布式圖存儲平臺進行高效交互，這也是非常有挑戰(zhàn)性的一項工作。在模型訓練時，算法需要不斷隨機查詢節(jié)點、節(jié)點的鄰居和鄰居的鄰居，取出數(shù)據(jù)放到內(nèi)存中做深度學習模型的前向 Inference 和后向的回傳，這在大規(guī)模圖上其實是很難做好的。對于 GNN 平臺來說，做深度學習以及和數(shù)據(jù)庫打交道這兩個環(huán)節(jié)常常是導致速度慢最大的瓶頸。在過去兩年，螞蟻金服在分布式圖存儲這個方向上做了很多努力，目前已經(jīng)開發(fā)出了一個高效的分布式圖存儲平臺，以及可以跟這個圖存儲平臺比較高效地交互的圖訓練平臺。從數(shù)據(jù)上看，原來需要幾天時間的億級圖網(wǎng)絡訓練已經(jīng)可以縮短到一個小時以內(nèi)。

大規(guī)模圖神經(jīng)網(wǎng)絡在線上的預測也是難點之一。GNN 的 Embedding 并非實時的，以金融交易場景為例，每次出現(xiàn)一筆新的交易，圖網(wǎng)絡就會多一條邊，圖就會發(fā)生變化，如果想做好實時預測，就需要用最新的邊根據(jù)這個 GNN 的參數(shù)，算出它的表征來進行預測。但是通常在線上環(huán)境中，要在非常短的響應時間內(nèi)構一個圖，把 GNN 計算好非常困難，特別是在交易量很大的情況下，通常都存在一定的滯后。如何讓 GNN 能夠在線上高效地直接做這個運算，這個挑戰(zhàn)還沒有完全解決，需要和底層的系統(tǒng)架構做一些合作。

宋樂坦言，即使沒有 GNN，圖計算本身在工業(yè)界就是一個比較困難的問題。因為圖和圖像、文本有所不同，圖的每個節(jié)點連接的鄰居個數(shù)可能不一樣、節(jié)點類型不一樣、邊的類型不一樣，就制造了很多不規(guī)則的運算，每個節(jié)點需要運算的程度不一樣。而計算機特別適合規(guī)則運算，卻天生不適合不規(guī)則運算，圖的計算就屬于不規(guī)則運算，以前傳統(tǒng)的圖算法也有各種各樣的研究，但都不能很好地解決問題，再加上 GNN 引入了深度學習這一層，導致復雜度陡增，難度就更大了。因此，如何在很短的時間內(nèi)得到 GNN 的訓練結果和預測結果，都存在很大的挑戰(zhàn)。如果這一問題能夠得到解決，使 GNN 的訓練和預測都做到足夠快，那么算法工程師在建模的時候，就可以很快地嘗試 GNN 的效果以及各種不同網(wǎng)絡結構下 GNN 的效果，進一步修改提高 GNN 的結果。

不管在學術界還是工業(yè)界，目前這都還是一個比較前沿的問題，同時這也是當前 GNN 領域的瓶頸之一。雖然 Google、Facebook 等業(yè)內(nèi)大公司都在推動 GNN 平臺的開發(fā)工作，但目前還沒有一個能夠真正做好大規(guī)模分布式圖網(wǎng)絡計算的主流開源平臺。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。