昨日種種已得獎(jiǎng)，那深度學(xué)習(xí)三巨頭今天在忙什么？

原標(biāo)題：昨日種種已得獎(jiǎng)，那深度學(xué)習(xí)三巨頭今天在忙什么？

上周，AI圈最大的事情，沒(méi)有之一，就是圖靈獎(jiǎng)，終于終于，終于頒給了深度學(xué)習(xí)三巨頭。

關(guān)于Geoffrey Hinton和他的兩位學(xué)生Yoshua Bengio、Yann LeCun的故事，在消息出來(lái)后的幾天里，理所當(dāng)然完成了刷屏。

即使AI從業(yè)者和愛(ài)好者基本已經(jīng)對(duì)這三位的事跡耳熟能詳，但他們“高舉著火焰，沖過(guò)了最黑暗的時(shí)代”的英雄主義情結(jié)，還是能夠輕易讓遠(yuǎn)離AI世界的人們動(dòng)容。

“三巨頭”和深度學(xué)習(xí)的經(jīng)歷，事實(shí)上是一幕從學(xué)術(shù)邊緣開始，在產(chǎn)業(yè)狂歡中自證，再回頭征服主流學(xué)術(shù)界的故事。起伏線索簡(jiǎn)直比好萊塢大片還要好萊塢。

然而現(xiàn)實(shí)人生和電影最大的區(qū)別或許在于，電影可以在高潮處戛然而止，留給觀眾意味深長(zhǎng)的壯美。但生活還要繼續(xù)，日子還得過(guò)，AI還得發(fā)展。深度學(xué)習(xí)并不會(huì)因?yàn)閳D靈獎(jiǎng)的到來(lái)而畫上圓滿的句號(hào)。

如果說(shuō)三巨頭在全世界都不相信深度學(xué)習(xí)時(shí)的執(zhí)拗，最終換來(lái)了圖靈獎(jiǎng)和一句句“泰斗”的贊美聲；那么我們今天更應(yīng)該留意的，或許是在深度學(xué)習(xí)如日中天的現(xiàn)在，三巨頭又在忙活著什么？他們現(xiàn)在所忙的，是不是又映射著AI的未來(lái)？

咱們不妨換個(gè)角度，不說(shuō)他們可歌可泣的當(dāng)年，而是聊聊三巨頭的現(xiàn)在。

需要注意的是，這里并不打算把三人及團(tuán)隊(duì)的每一篇論文都整理出來(lái)，而是希望從他們?cè)贏I爆發(fā)之際的選擇，讀出些許關(guān)于深度學(xué)習(xí)未來(lái)走勢(shì)與先天不足的底層規(guī)律。

Yann LeCun：產(chǎn)學(xué)候鳥與AI圈魯迅

三巨頭中最頻繁活躍在大眾視線里的，是Yann LeCun。

為什么很多不認(rèn)識(shí)Hinton的人也認(rèn)識(shí)Yann LeCun？這個(gè)AI界的未解之謎有很多解釋。

不靠譜的解釋包括，Yann LeCun這個(gè)名字非常適合寫成楊麗坤，所以好記。再比如說(shuō)他的招牌式笑容很容易讓人覺(jué)得AI沒(méi)那么枯燥。

而靠譜的解釋是，Yann LeCun是三人中進(jìn)入產(chǎn)業(yè)世界程度最深的那一位，甚至一度被視作AI科學(xué)家走向商業(yè)世界的代表人物。

2013年，Yann LeCun突然加入Facebook是一件非常有爆炸力的事。大家既不理解Facebook要AI科學(xué)家干嘛，也不明白Yann LeCun去一個(gè)社交媒體做什么。

來(lái)到Facebook之后，Yann LeCun一手創(chuàng)立了FAIR。這不是個(gè)律師事務(wù)所，而是Facebook人工智能實(shí)驗(yàn)室。

必須要承認(rèn)，作為FAIR一把手的Yann LeCun，在那幾年間是有不少作為的。比如大幅度提升了Facebook的自動(dòng)化運(yùn)營(yíng)能力，提高了廣告等Facebook生命線的智能化程度。而另一方面，充滿理想主義精神和學(xué)者氣息的Yann LeCun還把FAIR搞成了硅谷最有烏托邦味道的實(shí)驗(yàn)室之一。

在Facebook，F(xiàn)AIR的專家們關(guān)注那些天馬行空的前瞻性技術(shù)，以及AI如何在未來(lái)造福全人類。在扎克伯格的默許與支持下，F(xiàn)AIR的紅火甚至一度被認(rèn)為是硅谷的工程師文化要向科學(xué)家文化交槍。

此外，Yann LeCun個(gè)人魅力也成為Facebook快速招到頂級(jí)科學(xué)家的利器，5年中，F(xiàn)AIR擴(kuò)大到6個(gè)辦公地點(diǎn)，有近100名研究員。與吳恩達(dá)、李飛飛并列，Yann LeCun也被稱為由學(xué)校到企業(yè)的三位AI明星之一。

但隨著團(tuán)隊(duì)規(guī)模的不斷擴(kuò)大，Yann LeCun作為理想派科學(xué)家，逐漸暴露出了團(tuán)隊(duì)管理能力的不足。加上2017年Facebook風(fēng)雨飄搖，在整體業(yè)務(wù)改革之后，業(yè)務(wù)線開始向FAIR索取更多直接的、有助于提升業(yè)務(wù)質(zhì)量或者變現(xiàn)能力的技術(shù)——而這并非Yann LeCun所愿與所長(zhǎng)。

始終保留著紐約大學(xué)教職的Yann LeCun，在2018年1月宣布辭去了FAIR負(fù)責(zé)人的職務(wù)，轉(zhuǎn)向幕后擔(dān)任首席科學(xué)家。而這也被外界解讀為一個(gè)信號(hào)：似乎和吳恩達(dá)、李飛飛一樣，頂級(jí)科學(xué)家真的不那么容易在大企業(yè)高管的位置上長(zhǎng)治久安。

而在產(chǎn)業(yè)的探索之外，Yann LeCun的另一個(gè)人設(shè)，堪稱AI圈里的魯迅——路見(jiàn)不平一聲twitter，該罵你時(shí)候絕不休息。

不少人感覺(jué)Yann LeCun有點(diǎn)過(guò)于“好作驚人語(yǔ)”，但其實(shí)要看到更大的背景在于，今天圍繞著深度學(xué)習(xí)到底是什么，未來(lái)會(huì)怎么發(fā)展，以及AI有沒(méi)有用等一系列問(wèn)題，滋生出了無(wú)盡的爭(zhēng)議。

而作為AI行內(nèi)最大的明星之一，Yann LeCun似乎也在某種程度上有義務(wù)出來(lái)正本清源。

讓咱們回顧一下讓Yann LeCun啟動(dòng)開懟模式的三件事：

1、對(duì)著名的人形機(jī)器人，全球首位“機(jī)器公民“索菲亞。Yann LeCun怒斥其為 “徹頭徹尾的騙局”“完全是胡說(shuō)八道”。在Yann LeCun看來(lái)，所謂索菲亞不過(guò)是一具放錄音的模型而已，對(duì)它的“物體崇拜”會(huì)讓人們覺(jué)得AI就是在變戲法。真正的AI想要達(dá)到嬰兒甚至動(dòng)物的智商，還要走很遠(yuǎn)的路。

2、硅谷鋼鐵俠馬斯克，近兩年的愛(ài)好是到處說(shuō)AI就要?dú)缛祟惲?。Yann LeCun認(rèn)為這種說(shuō)法非常不負(fù)責(zé)任。在他看來(lái)，馬斯克就是跟一些樂(lè)觀派的科學(xué)家聊天，又回家看了一些想象成分居多的書，然后就產(chǎn)生了《終結(jié)者》馬上要實(shí)現(xiàn)的想法。加上眾所周知馬斯克總想拯救人類，最后導(dǎo)致了我們聽到的那些聲音。而在Yann LeCun看來(lái)，科學(xué)家是知道那種強(qiáng)AI不太可能在幾年內(nèi)實(shí)現(xiàn)的，馬斯克的言論是在散布恐慌。

3、去年，一位計(jì)算機(jī)視覺(jué)專家Filip Piekniewski連續(xù)發(fā)表了《深度學(xué)習(xí)已死》之類的“雄文”，高唱深度學(xué)習(xí)泡沫要破。Yann LeCun則馬上開啟了回懟模式，直言作者“非常無(wú)知”，指出這位作者首先沒(méi)有看到學(xué)術(shù)和產(chǎn)業(yè)界的現(xiàn)實(shí)，其次用一些無(wú)關(guān)的證據(jù)強(qiáng)行證明AI“寒冬來(lái)了”的結(jié)論。比如作者提到AI藥丸，一大證據(jù)是AI科學(xué)家發(fā)twitter少了——?dú)獾腨ann LeCun趕緊發(fā)了一堆twitter。

總結(jié)一下，會(huì)發(fā)現(xiàn)Yann LeCun開懟的主要是三種聲音：假AI、AI威脅論，AI寒冬論。

其實(shí)環(huán)顧左右，這三種論調(diào)是不是也飄散于我們身邊呢？

Yoshua Bengio：保衛(wèi)象牙塔，鎮(zhèn)守加拿大

說(shuō)了最高調(diào)的，再說(shuō)說(shuō)最低調(diào)的Yoshua Bengio。

之所以說(shuō)他低調(diào)，是因?yàn)閅oshua Bengio可說(shuō)是三巨頭中最不愿意探索產(chǎn)業(yè)世界的一位。他在必然出現(xiàn)的重金誘惑面前，也沒(méi)有加入那幾家我們耳熟能詳?shù)目萍季揞^，而是選擇繼續(xù)留在蒙特利爾大學(xué)的象牙塔里，享受著加拿大的好山好水。

然而隨著自己發(fā)明的深度學(xué)習(xí)越來(lái)越火，Yoshua Bengio發(fā)現(xiàn)事情并不簡(jiǎn)單?？萍季揞^和投資人開始瘋狂向?qū)W校搶人。深度學(xué)習(xí)方向的博士變成了炙手可熱的香餑餑，直到Y(jié)oshua Bengio發(fā)現(xiàn)，他還沒(méi)畢業(yè)的博士都已經(jīng)被饑渴的科技公司瓜分干凈。這位科學(xué)家決心要保衛(wèi)象牙塔的純凈。

他的辦法是，自己開一家公司……

咳咳，事實(shí)上，Yoshua Bengio是在幾位合伙人的勸說(shuō)下，決定共同建立一個(gè)新型的產(chǎn)學(xué)一體化機(jī)構(gòu)。我們知道AI界有著名的OpenAI，專注無(wú)不商業(yè)目標(biāo)的開源項(xiàng)目，讓科學(xué)家能在企業(yè)完成自己的夢(mèng)想。

而Yoshua Bengio與合伙人聯(lián)合創(chuàng)立的Element AI，則反其道而行之。它致力于讓AI科學(xué)家們可以直接參與商業(yè)項(xiàng)目，獲取相關(guān)回報(bào)，但同時(shí)能夠保留教職——比如每周只用抽出幾個(gè)小時(shí)來(lái)來(lái)Element AI干活，大家一起做做項(xiàng)目賺賺外快就行了。

這種有點(diǎn)像AI科學(xué)家在線兼職的模式，可以有效解決一個(gè)問(wèn)題：創(chuàng)業(yè)企業(yè)和傳統(tǒng)企業(yè)，根本無(wú)力與科技巨頭爭(zhēng)搶AI人才，但他們卻實(shí)打?qū)嵉匦枰狝I人才來(lái)幫忙。這樣一種模式可謂兩全其美。

很快，Element AI就獲得了微軟的投資，現(xiàn)在在深入各行業(yè)定制AI解決方案之外，也開始與大公司的聯(lián)合科研，以及對(duì)優(yōu)質(zhì)AI項(xiàng)目進(jìn)行投資和技術(shù)幫助。而對(duì)于客戶來(lái)說(shuō)，Yoshua Bengio本人就是商業(yè)合作上的金字招牌。

Yoshua Bengio的另一個(gè)工作重心，是學(xué)校里的蒙特利爾學(xué)習(xí)算法研究所（MILA）。MILA和Element AI一學(xué)一產(chǎn)，構(gòu)成了蒙特利爾AI產(chǎn)業(yè)的雙核驅(qū)動(dòng)。今天，加拿大AI的快速發(fā)展，以及蒙特利爾被稱為AI時(shí)代的硅谷，都與Yoshua Bengio的工作緊密相關(guān)。

嗯，至少目前來(lái)看，這位象牙塔守護(hù)者，加拿大AI之星，還是比較好地完成了任務(wù)。

Yoshua Bengio還有一項(xiàng)比較出名的行動(dòng)，是在AI社會(huì)責(zé)任與公益領(lǐng)域廣泛擔(dān)當(dāng)呼吁者。比如他帶頭反對(duì)谷歌的軍方項(xiàng)目，呼吁終止AI武器化。并且積極推動(dòng)關(guān)注AI中的歧視與不公平問(wèn)題。

假如給Yoshua Bengio近年來(lái)的工作打上三個(gè)標(biāo)簽，那就是：學(xué)術(shù)的，公益的，加拿大的……

Geoffrey Hinton：懷疑者，依舊懷疑

與兩位50多歲的學(xué)生相比，已經(jīng)72歲的老師Hinton，似乎應(yīng)該閑下來(lái)，享受“AI教父“的尊名，指導(dǎo)指導(dǎo)學(xué)生，籌劃一下傳記。

然而事實(shí)并非如此，Geoffrey Hinton今天依舊在保持高強(qiáng)度的工作。被腰間盤疾病困擾的他，甚至必須要站著完成所有研究。與兩位學(xué)生和大部分功成名就的同行相比，Hinton更像是工作在AI一線的那一個(gè)。

簡(jiǎn)單來(lái)說(shuō)，那個(gè)又倔又橫的小伙子，如今變成了個(gè)又倔又橫的老頭。

曾經(jīng)在一次采訪中，Geoffrey Hinton被問(wèn)到為什么能在幾十年的不被重視中堅(jiān)持下來(lái)，他的回答非?？嵋卜浅inton。他說(shuō)：

“他們都錯(cuò)了?！?/p>

直到今天，Hinton還是認(rèn)為有可能所有人都錯(cuò)了，包括他自己。

1986年，Hinton發(fā)表了《Learning representations by back-propagation errors》，這是Hinton一生的代表作之一，標(biāo)志著反向傳播算法被引進(jìn)深度學(xué)習(xí)，今天來(lái)看有著跨時(shí)代的意義。

然而Hinton在近兩年卻頻頻表示，反向傳播有可能存在這巨大的缺陷。他不但自己嘗試了多種方式突破它，還將大量相關(guān)研究綜合起來(lái)，寫論文對(duì)比如何擺脫反向傳播的窠臼——直到現(xiàn)在，他還沒(méi)有超越自己，但并不代表以后不能。

Geoffrey Hinton是一個(gè)徹頭徹尾的懷疑者，這點(diǎn)并沒(méi)有因?yàn)樗兂伞疤┒贰倍淖儭?/p>

在產(chǎn)業(yè)世界，Hinton的主要工作在谷歌大腦。近兩年，TensorFlow的簡(jiǎn)化升級(jí)，谷歌大腦的AI能力拓展，背后都有Hinton與團(tuán)隊(duì)的身影。

而作為“教父”一樣的存在，Hinton更被人關(guān)注的是在AI學(xué)術(shù)領(lǐng)域不斷提出的顛覆性觀點(diǎn)。恰好這又是一個(gè)樂(lè)于顛覆自己和其他人工作的人。

2017年年底，Hinton發(fā)表了名為膠囊網(wǎng)絡(luò)Capsule Networks的方案，被廣泛認(rèn)為將改寫深度學(xué)習(xí)的發(fā)展軌跡。

膠囊網(wǎng)絡(luò)所針對(duì)的，是卷積神經(jīng)網(wǎng)絡(luò)的操作模式。傳統(tǒng)的深度學(xué)習(xí)算法中，每一層神經(jīng)網(wǎng)絡(luò)必須做同樣的卷積運(yùn)算。而膠囊網(wǎng)絡(luò)則認(rèn)為，不同的神經(jīng)元可以攜帶不同屬性，這就像人腦中的不同區(qū)域負(fù)責(zé)不同的工作。

這種將深度學(xué)習(xí)進(jìn)行稀疏激活的顛覆式方案，目前已經(jīng)被證明可以在圖像識(shí)別領(lǐng)域達(dá)成創(chuàng)新。不少人相信，膠囊網(wǎng)絡(luò)未來(lái)會(huì)成為AI可解釋、AI被賦予常識(shí)的關(guān)鍵技術(shù)。

近幾年，Hinton帶來(lái)的另一個(gè)顛覆，是在暗知識(shí)提取dark knowledge extraction領(lǐng)域不間斷的工作。一般來(lái)說(shuō)，深度學(xué)習(xí)獲取抽象特征，是建立在龐大的數(shù)據(jù)運(yùn)算基礎(chǔ)上的。而這會(huì)導(dǎo)致AI必須消耗大量的數(shù)據(jù)和算力來(lái)反復(fù)完成訓(xùn)練。而暗知識(shí)提取，或者叫知識(shí)蒸餾，則致力于讓智能體之間可以提取隱藏的知識(shí)，把一部分知識(shí)留存到子深度學(xué)習(xí)系統(tǒng)，最終達(dá)成智能體擺脫龐大的算力與數(shù)據(jù)渴求，觸及相對(duì)先天的“智能”。

可以看到，Hinton在今天依舊那么硬核。很多在AI世界看似常識(shí)的東西，AI之父卻壓根不相信它，并且在反復(fù)挑戰(zhàn)。

AI走到頭了嗎？深度學(xué)習(xí)是最終解法嗎？這老頭一輩子從來(lái)沒(méi)相信過(guò)大多數(shù)人的判斷。

三巨頭的今天：深度學(xué)習(xí)，從1到很多

假如說(shuō)，三巨頭高舉火把，四下無(wú)人的那些年，是深度學(xué)習(xí)從0到1的時(shí)代。

那么今天全世界的深度學(xué)習(xí)熱， 毫無(wú)疑問(wèn)標(biāo)志著深度學(xué)習(xí)開始從1到N。然而從三巨頭今天的工作來(lái)看，它也僅僅才到1而已。

不知道大家注意到?jīng)]有，三巨頭今天主要關(guān)注的方向，恰恰對(duì)應(yīng)著以深度學(xué)習(xí)為代表的這一次AI復(fù)興，所攜帶的先天不足，以及后天激發(fā)的問(wèn)題。把三巨頭的工作強(qiáng)行合并，可以看到這樣幾個(gè)方向：

1、AI到底是空談還是事實(shí)？解決這個(gè)問(wèn)題，必須把深度學(xué)習(xí)扔到產(chǎn)業(yè)熔爐當(dāng)中，在算力、數(shù)據(jù)和應(yīng)用場(chǎng)景里，檢驗(yàn)深度學(xué)習(xí)到底能干什么。而這也是大量AI科學(xué)家必須去企業(yè)的邏輯之一。

2、AI火了之后，各種亂七八糟的事情一定會(huì)出來(lái)飛舞，需要有人把火車?yán)剀壍?。Yann LeCun在社交媒體上四面開火就是因?yàn)檫@個(gè)。索菲亞的把戲、馬斯克的AI威脅論，以及“AI寒冬又來(lái)了”，這幾個(gè)說(shuō)法今天在中國(guó)一定有大批擁護(hù)者。不難看出問(wèn)題還是挺尖銳的。

3、AI的人才匹配與平衡問(wèn)題。這輪AI復(fù)興的一個(gè)特征，是高度的產(chǎn)學(xué)一體化，導(dǎo)致學(xué)術(shù)人才可以直接與應(yīng)用打通。然而學(xué)術(shù)人才如何在產(chǎn)業(yè)誘惑面前保持學(xué)術(shù)追求，產(chǎn)業(yè)如何在巨頭爭(zhēng)搶下獲得AI人才幫助，這個(gè)問(wèn)題在中國(guó)同樣存在。

4、深度學(xué)習(xí)是把雙刃劍，軍事化、歧視與不公、因素安全等問(wèn)題隨之產(chǎn)生。AI的社會(huì)責(zé)任，是一個(gè)刻不容緩的矛盾。

5、深度學(xué)習(xí)，不是終點(diǎn)。反向傳播，多層神經(jīng)網(wǎng)絡(luò)等等技術(shù)模式構(gòu)成了我們習(xí)以為常的那個(gè)“AI”。但是深度學(xué)習(xí)依舊有大量問(wèn)題存在，比如黑箱性，遷移能力差，高消耗等等。我們是把今天的AI當(dāng)成原教旨，還是繼續(xù)挑戰(zhàn)，尋找更上層的終點(diǎn)？這點(diǎn)Hinton這位“深度學(xué)習(xí)之父”真是帶了個(gè)好頭。

功績(jī)當(dāng)然偉大，問(wèn)題還有一堆。今天，三巨頭還在工作，他們?cè)跒樗麄兊脑煳镓?fù)責(zé)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。