讀不懂NeurIPS 2018的艱深論文？我們已經(jīng)為你劃好了重點(diǎn)

原標(biāo)題：讀不懂NeurIPS 2018的艱深論文？我們已經(jīng)為你劃好了重點(diǎn)

AI的火爆，讓今天在加拿大蒙特利爾開幕的第32屆神經(jīng)信息處理系統(tǒng)大會（NeurIPS 2018），就成為了各國研究組織和企業(yè)刷存在感的香餑餑。

有多火呢？

據(jù)說，今年的參會人數(shù)有9000人，大會門票在11分鐘內(nèi)被一搶而空。官方自己都吐槽，只比碧昂絲演唱會賣的慢一點(diǎn)。

之所以一票難求，還是因?yàn)榈綀龅膶W(xué)術(shù)界、產(chǎn)業(yè)界大佬太多。谷歌、亞馬遜、Facebook、微軟是不會缺席的，華為、騰訊、阿里、百度等為代表的中國隊(duì)也斬獲頗豐。值得一提的是，今年還冒出了很多中美歐之外的新面孔，印度、XXX也都有機(jī)構(gòu)獲得了非常不錯的成績。

當(dāng)然，學(xué)術(shù)會議核心的還是論文，NeurIPS 2018 今年也是收了個盆滿缽滿，一共收到 4856 篇投稿，創(chuàng)下了歷年來的最高記錄，最終被錄取的論文有 1011 篇，其中有44% 的論文作者放出了代碼，42% 將公布數(shù)據(jù)，無疑讓整場大會顯得干貨十足。

情況介紹的差不多了，接下來該上“硬貨”了。但學(xué)術(shù)名詞和論文推理讀起來都有點(diǎn)反人類。因此，我們從自己的觀察中，為大家梳理了一下NeurIPS 2018可能是最重要的三大趨勢，幫助大家了解一下，學(xué)術(shù)界都發(fā)現(xiàn)了哪些新東西，又將給明年的AI帶來哪些新機(jī)會。

下面請大家系好安全帶，收起小桌板，準(zhǔn)備好瓜子花生肥宅快樂水，我們開始吧。

趨勢一：深度學(xué)習(xí)依然是“最強(qiáng)王者”

今年NeurIPS 2018評審的 4856篇論文中，深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、分布式學(xué)習(xí)等等領(lǐng)域依然是大熱門。

以獲得最佳論文獎的四篇論文為例，來自加拿大多倫多大學(xué)Vector Institute，通過一種新的深度神經(jīng)網(wǎng)絡(luò)模型，采取自適應(yīng)來構(gòu)建歸一性，無需對對數(shù)據(jù)進(jìn)行分類或排序，就可以使用黑盒ODE求解器進(jìn)行端到端訓(xùn)練。

第二篇最佳論文的第一作者為加拿大麥克馬斯特大學(xué)Hassan Ashtiani，則通過新的相關(guān)分布壓縮來進(jìn)行分布式學(xué)習(xí)，解決了表征學(xué)習(xí)分布類的樣本復(fù)雜性。

第三篇則是來自華為諾亞方舟實(shí)驗(yàn)室擔(dān)任一作的研究，在兩種情況下研究了分布式優(yōu)化的最優(yōu)收斂速度，并提出了第一個最優(yōu)分散算法：多步原始對偶（MSPD）。

第四篇的作者全部來自Google AI，提出了新的策略一致性概念，結(jié)合多項(xiàng)數(shù)據(jù)集，解決大規(guī)模強(qiáng)化學(xué)習(xí)的妄想偏見問題。

除了獲獎的四篇，收錄的1011篇論文中還有不少是深度學(xué)習(xí)方向的文章（大約25%左右），還能在“王座”的位置上待一陣子。

不過，即便是深度學(xué)習(xí)也并不是在炒冷飯。顯然，學(xué)術(shù)界也在積極反思深度學(xué)習(xí)存在的一些效率、黑箱性等問題，很多研究都是圍繞著對其進(jìn)行優(yōu)化展開的。

在NeurIPS 2018的論文集中搜索“optimization”，得到了61個結(jié)果。由此可見，通過底層優(yōu)化算法，用更好的模型讓AI以更小的數(shù)據(jù)代價，更精準(zhǔn)地解決問題，正在成為集體做功的方向。

趨勢二：一超多強(qiáng)，難以跨越的谷歌和美帝？

有機(jī)構(gòu)對NeurIPS2018的論文集進(jìn)行了數(shù)據(jù)分析，發(fā)現(xiàn)Google（包括Deepmind）仍然是毋庸置疑的AI“霸主”，以 137 篇論文成功斬獲第一名，甚至將美國同行遠(yuǎn)遠(yuǎn)地甩在了身后。

此外，谷歌不但開始向頂會反向輸送人才（今年大會的主席Samy Bengio就是來自谷歌的科學(xué)家 ），還開始藝高人膽大地開始探討很多極端領(lǐng)域命題。

比如通過Mesh-TensorFlow實(shí)現(xiàn)超級計(jì)算機(jī)的深度學(xué)習(xí)。利用一種分布式深度神經(jīng)網(wǎng)絡(luò)（DNN），對一些由于內(nèi)存限制而無法訓(xùn)練的超大模型，進(jìn)行高效分批處理。

谷歌利用512個TPU訓(xùn)練出了多達(dá)50億個參數(shù)的變壓器模型。這種基于大型數(shù)據(jù)集群的高效并行模型算法，足以讓其在處理航空、軍事、智慧城市等極端算力需求時，依然能保持穩(wěn)定高效實(shí)時處理。

另外，“美國勢力”還有不少強(qiáng)隊(duì)，其中MIT（68篇）與斯坦福（57篇）領(lǐng)銜學(xué)術(shù)界，Microsoft（46篇）和Facebook（13 篇）領(lǐng)銜工業(yè)界。

Facebook在機(jī)器視覺領(lǐng)域提出的不少新方式，像是“雙注意力網(wǎng)絡(luò)”、分塊坐標(biāo)搜索算法、能夠?qū)篃o聊的新推薦系統(tǒng)、SING音頻合成器等等，目測都將在來年給大眾早已“審美疲勞”的社交娛樂帶來不少新意。

總而言之，經(jīng)過幾年的激烈近身肉搏，人工智能技術(shù)競爭格局的基本面目前已經(jīng)沒有爭議了，那就是谷歌的霸主地位幾乎難以撼動，不過其他戰(zhàn)隊(duì)也出手不凡找到了各自的差異化突破路徑。

畢竟，谷歌還有不少純燒錢的技術(shù)，學(xué)術(shù)會議上再多的成功，未必真能在現(xiàn)實(shí)中凝結(jié)出商業(yè)的果實(shí)。這么想想，吃到了酸葡萄的大家心里想必好受了點(diǎn)。

趨勢三：中國身影與新晉黑馬

在這樣的競爭格局下，自然有人不愿讓“美國勢力”專美。這次NeurIPS 2018，中國隊(duì)伍可謂是集體為國爭光了。

先說四篇最佳論文（Best paper awards），華人科學(xué)家陳天琦，以及華為的諾亞方舟實(shí)驗(yàn)室，就分別以第一作者的身份摘得殊榮，占據(jù)了半壁江山。

華人學(xué)者也表現(xiàn)不俗，清華大學(xué)有 21 篇論文被收錄，論文數(shù)量排名第十。來自南京大學(xué)的張利軍就有 3 篇論文被收錄，周志華等人提出了無組織惡意攻擊檢測算法UMA，CMU的教授邢波和微軟研究院的朱澤園也有多篇論文榜上有名。

中國的科技企業(yè)巨頭也紛紛實(shí)力炫技。華為捧回最佳論文獎，阿里iDST(數(shù)據(jù)科學(xué)與技術(shù)研究院)就霸氣演示了全中文demo，騰訊AI Lab則以 17 篇文章被收錄的實(shí)力與美國AI軍團(tuán)一較高下。

總體而言，中國軍團(tuán)的學(xué)術(shù)水準(zhǔn)體現(xiàn)出了不容忽視的力量感。

本屆大會一共發(fā)布了86篇論文，數(shù)量上接近10%，遠(yuǎn)超英法等國。質(zhì)量上AI那些關(guān)鍵領(lǐng)域一個都沒有遺漏，產(chǎn)學(xué)研各個層面都在進(jìn)入技術(shù)加速并肩甚至超越的黃金周期。

不過，人工智能的狂飆突進(jìn)也并不是只有中美在互相搶分。今年的最佳論文及作者，都有加拿大幾所大學(xué)的相關(guān)背景，加拿大在人工智能領(lǐng)域的存在感和影響力，比我們以為的要強(qiáng)得多。

在NeurIPS的AutoML挑戰(zhàn)賽中，來自印度的團(tuán)隊(duì)Autodidact.ai 也成功出道，取得競賽第一名（清華、中南大學(xué)等隊(duì)伍摘得亞季軍）。

（NeurIPS 2018 AutoML for Lifelong Machine Learning 競賽結(jié)果以及團(tuán)隊(duì)成員名單）

總而言之，在接下來的短時間內(nèi)，來自美國的企業(yè)和高校（谷歌/MIT）等依然代表著最強(qiáng)大的“科研勢力”，但其話語權(quán)是否也能進(jìn)一步擴(kuò)張？還真是未知數(shù)。

因?yàn)槠渌鲊膬?yōu)勢也越來越多，黑馬不斷涌現(xiàn)，而美國對AI也變得越來越敏感和防備（無處不在的政治正確、貿(mào)易戰(zhàn)下的嚴(yán)苛簽證策略），這些都正在悄無聲息地改變看似已經(jīng)被框定的AI世界。

那么，在感受谷歌“有技術(shù)就是可以為所欲為”的打擊之外，或許我們可以一起期待一下，未來的中國速度、印度速度、楓葉國現(xiàn)象……

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。