這屆NeurIPS里有哪些變與不變?

原標(biāo)題:這屆NeurIPS里有哪些變與不變?

今年的第33屆神經(jīng)信息處理系統(tǒng)大會(NeurIPS 2019),來得似乎比往年都要猛烈一些。

首先是參會人數(shù)急劇增加。2018年的參會人數(shù)達(dá)到9000人左右,這已經(jīng)讓主辦方開心得合不攏嘴,沒想到的是今年則直接來到了13000人,比去年猛增40%;而申請抽獎的人數(shù)則更是達(dá)到了15000人,NeurIPS官網(wǎng)甚至因此而一度癱瘓。

其次,則是論文大豐收。論文投稿量達(dá)到6743篇,較去年的4856篇增加了近40%;收錄論文1429篇,較去年增加了41%,論文收錄比例在21%左右。無論是投稿數(shù)量還是論文收錄,均刷新了歷史紀(jì)錄。而與之相比,同樣為AI頂會的ICML只有3424篇論文投稿,最終收錄774篇,投稿和收錄數(shù)量均只有NeurIPS的一半左右。

大會召開期間,隨便在社交網(wǎng)站上去搜索關(guān)于NeurIPS的關(guān)鍵詞,隨處可見被其收錄一篇論文成為相關(guān)專業(yè)同學(xué)的最大夢想。

所以,今年如果誰還再次大放AI寒冬的厥詞,不說別的,只要把NeurIPS的數(shù)據(jù)一扔,就能啪啪打臉了。

當(dāng)然,各方面數(shù)據(jù)的光線亮眼也只是大會的一個方面,我們更加看重的是,從這次大會的結(jié)果,能不能看出一些關(guān)于AI的玩家變化和旗幟方向?那么,今天我們就拋棄冷冰的理論自研和復(fù)雜公式,去看一下這屆大會較以往,存在哪些變與不變?AI在現(xiàn)實(shí)世界中又有著怎樣的發(fā)展趨勢?

不變的是玩家:萬年的流水,鐵打的谷歌

相信不用說讀者朋友們也能猜到,今年的NeurIPS又被谷歌給霸榜了。

谷歌在各種AI學(xué)術(shù)頂會上霸榜大家也已經(jīng)見怪不怪了。相較于去年的137篇論文,今年的谷歌收錄論文來到了180篇,增加了接近31%,增長速度十分穩(wěn)定,這也大大增加了其他機(jī)構(gòu)單位的追趕難度。更何況還有一個不計(jì)成本養(yǎng)著炫技的Deepmind,谷歌這個秀兒恐怕還要接著享受很長一段時間身為王者的孤獨(dú)。

工業(yè)界能與谷歌掰掰手腕的大概只能屬于微軟了,今年表現(xiàn)也不錯,入選76篇。

而美國學(xué)術(shù)三強(qiáng)的實(shí)力仍然不俗,麻省理工入選86篇,斯坦福則以85篇緊隨其后,比起去年落后11篇已經(jīng)進(jìn)步很大,這也反映出斯坦福這一年在人工智能領(lǐng)域的孜孜求進(jìn);CMC則入圍79篇,無愧于名列美國學(xué)術(shù)三強(qiáng)之列。

此外,伯克利、facebook、普林斯頓、IBM等6位玩家均有超過40篇論文入選。前十席中美國的大學(xué)和企業(yè)占據(jù)了8席,留下第9和第10給了英國的劍橋和牛津。

這也啟示我們,當(dāng)面對各種看衰美國的聲音和分析、心態(tài)有點(diǎn)飄了的時候,還是得看看這些研究數(shù)據(jù):美國的科研實(shí)力獨(dú)自一檔,這是未來幾十年都難以發(fā)生大的變化的現(xiàn)實(shí)。認(rèn)清現(xiàn)實(shí),方能按部就班地追趕。

當(dāng)然,中國今年的表現(xiàn)也很亮眼。工科王者清華入選33篇,總排名來到了第13,北大入選23篇,中科大、浙大、香港中文大學(xué)、復(fù)旦等大學(xué)也各有斬獲。企業(yè)方面,騰訊、阿里、百度、華為也均有不俗的表現(xiàn)。遺憾的是,與去年華為方舟實(shí)驗(yàn)室摘得最佳論文之一相比,今年最佳論文則沒有了中國的身影。當(dāng)然,最佳論文實(shí)力是一方面,運(yùn)氣也是一方面,只有我們整體實(shí)力提升了,最佳論文也是一件水到渠成的事情。所以也再次期待中國軍團(tuán)能在以后的會議中在論文的數(shù)量和質(zhì)量上都能再次躍遷。

此外,NeurIPS官方數(shù)據(jù)還提到,本次提交論文的女性作者總體比例來到了13%,女性群體正在作為一只不可或缺的重要力量越來越多地參與到AI與世界的變革當(dāng)中。

變化的是標(biāo)準(zhǔn):“水文”多了,審稿也嚴(yán)了

會議越辦越火,投稿越來越多,不一定是件好事,今年的論文光是評審意見,NeurIPS委員會就給出了20000篇,審稿人簡直是忙到頭禿,甚至一度在今年夏天被人詬病審稿“太水”。

其實(shí)也完全可以理解。畢竟在NeurIPS2019論文投稿和錄用數(shù)量劇增之下,難免會有大量的“水文”出現(xiàn),改改模型、加幾個數(shù)據(jù)想蒙混過關(guān)的不在少數(shù)。在這種情況下,今年的論文審稿則與往年相比發(fā)生了一些新的變化。

比如評審委員會鼓勵論文研究的創(chuàng)造力。其中特別強(qiáng)調(diào)要要以創(chuàng)造性的新方式去看待問題,在這種研究前提之下,可以得出一個能真正讓讀者感到驚訝的結(jié)果。這傳達(dá)出論文的可讀性的方向。此次獲得“杰出新方向論文獎”的《Uniform convergence may be unable to explain generalization in deep learning》,由卡耐基梅隆大學(xué)、博世人工智能中心的Vaishnavh Nagarajan和J. Zico Kolter共同完成,呈現(xiàn)出部分深度學(xué)習(xí)研究者的成果存在夸大的問題。換句話說,它毫不留情地揭開了一些研究者的研究成果中對的虛假外衣,可以讓讀者乃至普通人都可以更客觀地保持對深度學(xué)習(xí)效果的認(rèn)知。

又比如要求論文盡可能不過分強(qiáng)調(diào)理論的重要性或者意義,而更加重視其現(xiàn)實(shí)針對性?;蛘哒f,要有一定的問題指向。這也一定程度上和人工智能的產(chǎn)業(yè)化實(shí)踐愈加深刻的現(xiàn)實(shí)相貼合。

同時,評審委員會明確表示不三種論文:第一是“資源密集型”的論文研究,即動用了大量的資源得到的成果;第二是明明可以以一種快捷有效的方法得出結(jié)論,卻偏偏選擇了曲折迂回的“旁門左道”,或者稱之為“炫技”;第三則是強(qiáng)調(diào)論文的簡化,即能做到簡明扼要地表達(dá),就盡量縮短篇幅,縱觀本屆大會的優(yōu)秀論文,很多篇幅都不超過10頁,和動輒幾十頁的讓人讀倒頭大的“水文”相比,簡直不要太良心。

總之,林子大了什么鳥都有,今年NeurIPS論文數(shù)量的急劇增加引起評審委員會對質(zhì)量的把控而對審稿標(biāo)準(zhǔn)進(jìn)行修改,也是情理之中的事情,對保持會議收錄論文的權(quán)威性是個明智而必然之舉。

趨勢是應(yīng)用:算法愈受青睞,實(shí)踐成為標(biāo)的

從整體上來看,算法、深度學(xué)習(xí)、應(yīng)用三個領(lǐng)域的論文成果占據(jù)著前三甲,這與往年相比并未發(fā)生太大的變化。然而三個領(lǐng)域自身卻有些微妙的變化,從中或許也可以看到當(dāng)今AI研究的一點(diǎn)趨勢。

變化較為明顯的當(dāng)屬算法研究。算法研究領(lǐng)域的論文在2018年提交占比接近25%,2018年則增加到27%左右;錄取占比2018年約為21%,2019年則達(dá)到28%左右,是所有研究領(lǐng)域當(dāng)中無論是論文提交數(shù)量還是最終錄取都呈現(xiàn)增長的領(lǐng)域。

與之相比,有關(guān)深度學(xué)習(xí)的論文數(shù)量占比無論是提交還是最終錄取,其均呈現(xiàn)出一定的下降趨勢,雖然這個趨勢并不明顯。而應(yīng)用研究領(lǐng)域在論文提交量占比基本不變的情況下,反而錄取率下降了約2個點(diǎn),這也可能和總量龐大之下水文難免作妖有一定的關(guān)系。

而在強(qiáng)化學(xué)習(xí)、理論、概率和統(tǒng)計(jì)、神經(jīng)網(wǎng)絡(luò)方面,其論文錄取率大多則呈現(xiàn)出了下降的苗頭。

這樣的趨勢或許并不難解釋。隨著人工智能產(chǎn)業(yè)化的不斷加速,世界范圍內(nèi)的AI落地正在如火如荼地進(jìn)行,其也早已經(jīng)從實(shí)驗(yàn)室中的純理論研究走向了產(chǎn)業(yè)實(shí)踐,因此必然會面臨更多的實(shí)際問題。因此,不斷進(jìn)行算法層面的創(chuàng)新研究,顯然是符合當(dāng)下AI的總體走勢的。

在2019年AI產(chǎn)業(yè)化不斷深入的趨勢下,明年的NeurIPS論文的實(shí)踐指向或會更加明顯。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-12-22
這屆NeurIPS里有哪些變與不變?
當(dāng)然,各方面數(shù)據(jù)的光線亮眼也只是大會的一個方面,我們更加看重的是,從這次大會的結(jié)果,能不能看出一些關(guān)于AI的玩家變化和旗幟方向?相較于去年的137篇論文,今年的谷歌收錄論文來到了180篇,增加了接近3

長按掃碼 閱讀全文