原標題:讀不懂NeurIPS 2018的艱深論文?我們已經(jīng)為你劃好了重點
AI的火爆,讓今天在加拿大蒙特利爾開幕的第32屆神經(jīng)信息處理系統(tǒng)大會(NeurIPS 2018),就成為了各國研究組織和企業(yè)刷存在感的香餑餑。
有多火呢?
據(jù)說,今年的參會人數(shù)有9000人,大會門票在11分鐘內(nèi)被一搶而空。官方自己都吐槽,只比碧昂絲演唱會賣的慢一點。
之所以一票難求,還是因為到場的學(xué)術(shù)界、產(chǎn)業(yè)界大佬太多。谷歌、亞馬遜、Facebook、微軟是不會缺席的,華為、騰訊、阿里、百度等為代表的中國隊也斬獲頗豐。值得一提的是,今年還冒出了很多中美歐之外的新面孔,印度、XXX也都有機構(gòu)獲得了非常不錯的成績。
當然,學(xué)術(shù)會議核心的還是論文,NeurIPS 2018 今年也是收了個盆滿缽滿,一共收到 4856 篇投稿,創(chuàng)下了歷年來的最高記錄,最終被錄取的論文有 1011 篇,其中有44% 的論文作者放出了代碼,42% 將公布數(shù)據(jù),無疑讓整場大會顯得干貨十足。
情況介紹的差不多了,接下來該上“硬貨”了。但學(xué)術(shù)名詞和論文推理讀起來都有點反人類。因此,我們從自己的觀察中,為大家梳理了一下NeurIPS 2018可能是最重要的三大趨勢,幫助大家了解一下,學(xué)術(shù)界都發(fā)現(xiàn)了哪些新東西,又將給明年的AI帶來哪些新機會。
下面請大家系好安全帶,收起小桌板,準備好瓜子花生肥宅快樂水,我們開始吧。
趨勢一:深度學(xué)習(xí)依然是“最強王者”
今年NeurIPS 2018評審的 4856篇論文中,深度學(xué)習(xí)、強化學(xué)習(xí)、分布式學(xué)習(xí)等等領(lǐng)域依然是大熱門。
以獲得最佳論文獎的四篇論文為例,來自加拿大多倫多大學(xué)Vector Institute,通過一種新的深度神經(jīng)網(wǎng)絡(luò)模型,采取自適應(yīng)來構(gòu)建歸一性,無需對對數(shù)據(jù)進行分類或排序,就可以使用黑盒ODE求解器進行端到端訓(xùn)練。
第二篇最佳論文的第一作者為加拿大麥克馬斯特大學(xué)Hassan Ashtiani,則通過新的相關(guān)分布壓縮來進行分布式學(xué)習(xí),解決了表征學(xué)習(xí)分布類的樣本復(fù)雜性。
第三篇則是來自華為諾亞方舟實驗室擔任一作的研究,在兩種情況下研究了分布式優(yōu)化的最優(yōu)收斂速度,并提出了第一個最優(yōu)分散算法:多步原始對偶(MSPD)。
第四篇的作者全部來自Google AI,提出了新的策略一致性概念,結(jié)合多項數(shù)據(jù)集,解決大規(guī)模強化學(xué)習(xí)的妄想偏見問題。
除了獲獎的四篇,收錄的1011篇論文中還有不少是深度學(xué)習(xí)方向的文章(大約25%左右),還能在“王座”的位置上待一陣子。
不過,即便是深度學(xué)習(xí)也并不是在炒冷飯。顯然,學(xué)術(shù)界也在積極反思深度學(xué)習(xí)存在的一些效率、黑箱性等問題,很多研究都是圍繞著對其進行優(yōu)化展開的。
在NeurIPS 2018的論文集中搜索“optimization”,得到了61個結(jié)果。由此可見,通過底層優(yōu)化算法,用更好的模型讓AI以更小的數(shù)據(jù)代價,更精準地解決問題,正在成為集體做功的方向。
趨勢二:一超多強,難以跨越的谷歌和美帝?
有機構(gòu)對NeurIPS2018的論文集進行了數(shù)據(jù)分析,發(fā)現(xiàn)Google(包括Deepmind)仍然是毋庸置疑的AI“霸主”,以 137 篇論文成功斬獲第一名,甚至將美國同行遠遠地甩在了身后。
此外,谷歌不但開始向頂會反向輸送人才(今年大會的主席Samy Bengio就是來自谷歌的科學(xué)家 ),還開始藝高人膽大地開始探討很多極端領(lǐng)域命題。
比如通過Mesh-TensorFlow實現(xiàn)超級計算機的深度學(xué)習(xí)。利用一種分布式深度神經(jīng)網(wǎng)絡(luò)(DNN),對一些由于內(nèi)存限制而無法訓(xùn)練的超大模型,進行高效分批處理。
谷歌利用512個TPU訓(xùn)練出了多達50億個參數(shù)的變壓器模型。這種基于大型數(shù)據(jù)集群的高效并行模型算法,足以讓其在處理航空、軍事、智慧城市等極端算力需求時,依然能保持穩(wěn)定高效實時處理。
另外,“美國勢力”還有不少強隊,其中MIT(68篇)與斯坦福(57篇)領(lǐng)銜學(xué)術(shù)界,Microsoft(46篇)和Facebook(13 篇)領(lǐng)銜工業(yè)界。
Facebook在機器視覺領(lǐng)域提出的不少新方式,像是“雙注意力網(wǎng)絡(luò)”、分塊坐標搜索算法、能夠?qū)篃o聊的新推薦系統(tǒng)、SING音頻合成器等等,目測都將在來年給大眾早已“審美疲勞”的社交娛樂帶來不少新意。
總而言之,經(jīng)過幾年的激烈近身肉搏,人工智能技術(shù)競爭格局的基本面目前已經(jīng)沒有爭議了,那就是谷歌的霸主地位幾乎難以撼動,不過其他戰(zhàn)隊也出手不凡找到了各自的差異化突破路徑。
畢竟,谷歌還有不少純燒錢的技術(shù),學(xué)術(shù)會議上再多的成功,未必真能在現(xiàn)實中凝結(jié)出商業(yè)的果實。這么想想,吃到了酸葡萄的大家心里想必好受了點。
趨勢三:中國身影與新晉黑馬
在這樣的競爭格局下,自然有人不愿讓“美國勢力”專美。這次NeurIPS 2018,中國隊伍可謂是集體為國爭光了。
先說四篇最佳論文(Best paper awards),華人科學(xué)家陳天琦,以及華為的諾亞方舟實驗室,就分別以第一作者的身份摘得殊榮,占據(jù)了半壁江山。
華人學(xué)者也表現(xiàn)不俗,清華大學(xué)有 21 篇論文被收錄,論文數(shù)量排名第十。來自南京大學(xué)的張利軍就有 3 篇論文被收錄,周志華等人提出了無組織惡意攻擊檢測算法UMA,CMU的教授邢波和微軟研究院的朱澤園也有多篇論文榜上有名。
中國的科技企業(yè)巨頭也紛紛實力炫技。華為捧回最佳論文獎,阿里iDST(數(shù)據(jù)科學(xué)與技術(shù)研究院)就霸氣演示了全中文demo,騰訊AI Lab則以 17 篇文章被收錄的實力與美國AI軍團一較高下。
總體而言,中國軍團的學(xué)術(shù)水準體現(xiàn)出了不容忽視的力量感。
本屆大會一共發(fā)布了86篇論文,數(shù)量上接近10%,遠超英法等國。質(zhì)量上AI那些關(guān)鍵領(lǐng)域一個都沒有遺漏,產(chǎn)學(xué)研各個層面都在進入技術(shù)加速并肩甚至超越的黃金周期。
不過,人工智能的狂飆突進也并不是只有中美在互相搶分。今年的最佳論文及作者,都有加拿大幾所大學(xué)的相關(guān)背景,加拿大在人工智能領(lǐng)域的存在感和影響力,比我們以為的要強得多。
在NeurIPS的AutoML挑戰(zhàn)賽中,來自印度的團隊Autodidact.ai 也成功出道,取得競賽第一名(清華、中南大學(xué)等隊伍摘得亞季軍)。
(NeurIPS 2018 AutoML for Lifelong Machine Learning 競賽結(jié)果以及團隊成員名單)
總而言之,在接下來的短時間內(nèi),來自美國的企業(yè)和高校(谷歌/MIT)等依然代表著最強大的“科研勢力”,但其話語權(quán)是否也能進一步擴張?還真是未知數(shù)。
因為其他各國的優(yōu)勢也越來越多,黑馬不斷涌現(xiàn),而美國對AI也變得越來越敏感和防備(無處不在的政治正確、貿(mào)易戰(zhàn)下的嚴苛簽證策略),這些都正在悄無聲息地改變看似已經(jīng)被框定的AI世界。
那么,在感受谷歌“有技術(shù)就是可以為所欲為”的打擊之外,或許我們可以一起期待一下,未來的中國速度、印度速度、楓葉國現(xiàn)象……
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 華為研發(fā)中心入駐上海青浦致小鎮(zhèn)房租大漲,帶動周邊租房市場熱潮
- 華為員工涌入蘇滬兩地,房東狂歡:租金幾近翻倍,跨省租房成新常態(tài)
- 制造業(yè)巨頭空客計劃裁員2500人,應(yīng)對航天業(yè)務(wù)虧損與供應(yīng)鏈挑戰(zhàn)
- 科技創(chuàng)新引領(lǐng)產(chǎn)業(yè)發(fā)展:江陰市與清華大學(xué)攜手推進重大科技項目
- 美國或再升級出口管制:考慮限制AI芯片對中東出口
- 劉強東章澤天報案:京東發(fā)言人證實夫婦倆遭有組織造謠,警方已介入
- 東方甄選擬15億出售教育業(yè)務(wù)
- 虧764億上熱搜 蔚來裁員10%,銷量跌出前三
- IBM設(shè)立5億元AI創(chuàng)投基金
- 聯(lián)想發(fā)布 ThinkStation P8工作站
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。