注意力機(jī)制想要覺(jué)醒AI，總共分幾步？

一場(chǎng)疫情，讓所有線下會(huì)議按下了暫停鍵，AI也不例外。

但一年一度的“頂會(huì)”卻不能不開，于是在4月26日，ICLR 2020（國(guó)際表征學(xué)習(xí)大會(huì)）就采取虛擬會(huì)議的形式，讓所有網(wǎng)友得以共襄盛舉。

值得一提的是，本次ICLR 大會(huì)接受了2594篇論文中的687篇，吸引了來(lái)自近90個(gè)國(guó)家的5600多名參與者，比2019年的2700人翻了一倍還多。不過(guò)，受疫情影響，這次大會(huì)也沒(méi)有評(píng)選最佳論文。

既然如此，有沒(méi)有出現(xiàn)什么新鮮事物，值得我們思索和探究的呢？

那就不得不提到圖靈獎(jiǎng)獲得者、蒙特利爾學(xué)習(xí)算法研究所主任Yoshua Bengio，在其特邀報(bào)告中著重強(qiáng)調(diào)的“AI覺(jué)醒”。

此前我們科普過(guò)，通用人工智能有多么遙遠(yuǎn)。怎么短短幾年功夫，人工智能就要覺(jué)醒了？這就不得不從被Bengio視作機(jī)器學(xué)習(xí)大殺器的注意力機(jī)制說(shuō)起了。

將意識(shí)注入機(jī)器：注意力機(jī)制再添重任

腦極體的資深讀者應(yīng)該對(duì)注意力機(jī)制并不陌生。在圖像處理、語(yǔ)音識(shí)別、自然語(yǔ)言處理等機(jī)器學(xué)習(xí)任務(wù)中，近兩年來(lái)都會(huì)引入注意力模型。

這么受業(yè)界歡迎，它的特點(diǎn)自然很突出：

一是可以讓神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)只關(guān)注特定的部分，大幅度提升任務(wù)的效果與效率，在神經(jīng)機(jī)器翻譯、預(yù)訓(xùn)練語(yǔ)言模型、圖像識(shí)別等任務(wù)中都表現(xiàn)出了前所未有的成效。2015年Bahdanau 等人提出注意力機(jī)制之后，就被ICLR 錄用，如今它的各種變式已經(jīng)成為機(jī)器翻譯算法的“標(biāo)配”。

二是降低機(jī)器學(xué)習(xí)的成本，同時(shí)增加可解釋性。大家都知道深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練，往往依靠大規(guī)模的數(shù)據(jù)集，不僅數(shù)據(jù)獲取成本很高，訓(xùn)練的算力、時(shí)間也不菲，而注意力機(jī)制的“選擇性”，能夠直接為訓(xùn)練提質(zhì)增效，并且還能為序列數(shù)據(jù)建立了權(quán)值和映射，從而讓輸入和輸出能夠聯(lián)系起來(lái)，避免了算法的“黑箱性”。

既然注意力機(jī)制并不是什么新鮮事物，為什么Bengio特意在其報(bào)告《與意識(shí)相關(guān)的深度學(xué)習(xí)先驗(yàn)》中，將注意力機(jī)制奉為圭臬，甚至成了AI的希望？

簡(jiǎn)單來(lái)說(shuō)，Bengio認(rèn)為注意力機(jī)制能夠幫助機(jī)器學(xué)習(xí)模型獲得“有意識(shí)”的推理。

此前，諸多算法創(chuàng)新（如自監(jiān)督學(xué)習(xí)、元學(xué)習(xí)、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)等）都是在幫助機(jī)器學(xué)習(xí)獲得“無(wú)意識(shí)”，也就是與人類直覺(jué)、習(xí)慣、先驗(yàn)經(jīng)驗(yàn)等類似的能力。

有了這種能力，AI可以很快地執(zhí)行一些直覺(jué)型的任務(wù)，讓人感到非常智能。比如當(dāng)AI被訓(xùn)練學(xué)會(huì)了一些隱性知識(shí)以后，能夠?qū)⑦@些知識(shí)內(nèi)化，在遇到新事物時(shí)不需要重新訓(xùn)練，就能夠很快適應(yīng)。舉個(gè)例子，當(dāng)AI記住路況之后，它能夠自如地跟乘客聊天，同時(shí)也不耽誤自己隨時(shí)響應(yīng)交通狀況、安全駕駛。這是不是已經(jīng)超越許多人類駕駛員了呢？

但如果是在一個(gè)全新的道路上開車，如果有人在耳邊吵鬧，就會(huì)打斷人類司機(jī)的思路，使對(duì)方無(wú)法集中精力處理。這時(shí)候就要用到前面提到的“有意識(shí)的”系統(tǒng)，來(lái)將一些新的概念，在新的情況下與不熟悉的東西聯(lián)系起來(lái)。

就像《西部世界》的科學(xué)顧問(wèn)、神經(jīng)學(xué)家大衛(wèi)·伊格爾曼（David Eagleman）所說(shuō)，意識(shí)，是一種突破程序設(shè)定的連接。

當(dāng)機(jī)器可以超越設(shè)定開始自行推理和思考，適應(yīng)甚至推斷出外界變化發(fā)生的原因，這不就是Deloris（《西部世界》女主角）們覺(jué)醒的時(shí)刻嗎？

從這個(gè)角度講，“有意識(shí)”的推理能力，正是深度學(xué)習(xí)變強(qiáng)大所需要的。

從超越人到模仿人，AI的回歸之路

既然“操縱”意識(shí)這么帶感，學(xué)者們又是如何為之努力的？過(guò)去數(shù)年間，注意力機(jī)制已經(jīng)發(fā)生了不小的發(fā)展和進(jìn)步。

從時(shí)間上看，注意力機(jī)制的能力開始為AI所用，要追溯到2014年谷歌團(tuán)隊(duì)在一個(gè)RNN卷積神經(jīng)網(wǎng)絡(luò)模型上用它來(lái)進(jìn)行圖像分類。但真正爆發(fā)，主要還是由于其在NLP機(jī)器翻譯任務(wù)中證明了自己。

2017年，谷歌機(jī)器翻譯團(tuán)隊(duì)發(fā)表的《Attention is all you need》中，提出了一種新穎的基于注意力的機(jī)器翻譯架構(gòu)，大量使用自注意力（self-attention）機(jī)制來(lái)學(xué)習(xí)文本表征，成為當(dāng)年最具影響力的論文之一。

隨后，它開始被廣泛應(yīng)用在基于RNN/CNN等神經(jīng)網(wǎng)絡(luò)模型的NLP任務(wù)中，也延伸出了不少變式，比如基于輸入項(xiàng)的柔性注意力（Item-wise Soft Attention）、基于輸入項(xiàng)的硬性注意力（Item-wise Hard Attention）、基于位置的柔性注意力（Location-wise Soft Attention）等等，核心指導(dǎo)思想都差不多，就是在神經(jīng)網(wǎng)絡(luò)的隱藏層，增加注意力機(jī)制的加權(quán)。

但需要注意的是，注意力機(jī)制依然存在不少問(wèn)題：

比如，注意力機(jī)制與其說(shuō)是一種技術(shù)，不如說(shuō)是一種指導(dǎo)思想。通過(guò)模擬人類閱讀、聽說(shuō)中的注意力行為，來(lái)為不同輸入數(shù)據(jù)分配不同的權(quán)重。想要去的比較理想的效果，依然需要大量的數(shù)據(jù)投入訓(xùn)練。

可以說(shuō)，注意力機(jī)制在神經(jīng)機(jī)器翻譯（NMT）任務(wù)上的優(yōu)秀表現(xiàn)，依然建立在有大量高質(zhì)量語(yǔ)料的前提下。一旦面對(duì)比較極端的情況，比如某些語(yǔ)言幾乎沒(méi)有任何雙語(yǔ)語(yǔ)料，那再?gòu)?qiáng)的注意力機(jī)制也得抓瞎。

再比如，注意力機(jī)制達(dá)到“有意識(shí)”推理的前提，是具備理解隱性知識(shí)的能力，也就是那些難以用語(yǔ)言、文字、圖表進(jìn)行表述說(shuō)明，不經(jīng)過(guò)邏輯推理、而是借由感官、直覺(jué)、領(lǐng)悟獲得的能力。

這對(duì)人類來(lái)說(shuō)是“小菜一碟”，但想要將其嵌入到深度學(xué)習(xí)算法里面，卻并不是一件簡(jiǎn)單的事。DeepMind就曾開發(fā)出一個(gè)交互式網(wǎng)絡(luò)，試圖教會(huì)智能體像嬰兒一樣迅速了解到某些對(duì)象的屬性和關(guān)系。交互式網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果要比一般神經(jīng)網(wǎng)絡(luò)精確得多，但距離模擬人類直覺(jué)迅速反饋，還為時(shí)尚早。而且，機(jī)器必須犯上成千上萬(wàn)次的錯(cuò)誤，才能做出和人類一樣的正確操作。

換句話說(shuō)，Bengio眼中的“注意力機(jī)制”，其實(shí)是升級(jí)版的“注意力3.0”，距離“機(jī)器覺(jué)醒”還早著呢。

機(jī)器覺(jué)醒，光靠Attention單打獨(dú)斗還不行

上述問(wèn)題不僅阻攔了注意力機(jī)制的“封神之路”，也是阻擋人工智能發(fā)揮更高價(jià)值的障礙。

接下來(lái)向何處去，或許正如注意力機(jī)制被引入RNN一樣，繼續(xù)主動(dòng)引入其他領(lǐng)域的算法和模型，會(huì)帶來(lái)不可知的神奇效果。

而從ICLR 2020的技術(shù)趨勢(shì)來(lái)看，也有不少算法開始被用來(lái)，與注意力機(jī)制一起解決諸如直覺(jué)、泛化等機(jī)器能力的重要問(wèn)題。

比如元學(xué)習(xí)。在今年的入選論文中，谷歌有5篇是專門研究元學(xué)習(xí)。

簡(jiǎn)單來(lái)說(shuō)，元學(xué)習(xí)就是要讓智能體利用以往的知識(shí)經(jīng)驗(yàn)“學(xué)會(huì)如何學(xué)習(xí)”（Learning to learn），然后更高效地完成新任務(wù)。

具備這種能力，自然也就能夠解決訓(xùn)練數(shù)據(jù)不足、系統(tǒng)通用性低等問(wèn)題，幫助AI不斷豐富和修正自身的知識(shí)網(wǎng)絡(luò)。具備了這一能力，獲得了人類常識(shí)的AI才有希望到達(dá)“有意識(shí)”的推理。

最后，也有必要大開腦洞，試想一下如果“有意識(shí)”的推理實(shí)現(xiàn)，AI真的覺(jué)醒了，又會(huì)為人類帶來(lái)什么呢？

猜想一，AI的服務(wù)能力會(huì)顯而易見的提升，在實(shí)踐中不斷學(xué)習(xí)處理復(fù)雜的工作將不再是難事，想象中的智能家政機(jī)器人、智能女友/男友，都不再是問(wèn)題。

猜想二，AI可以像人類一樣推理，同時(shí)擁有了情感，那么自然可以締結(jié)自己的社會(huì)關(guān)系，屆時(shí)為什么整個(gè)社會(huì)還需要如我這樣的普通人，咱也不知道。

幸好，今天無(wú)論是注意力機(jī)制，還是人工智能本身，想要復(fù)刻人類的腦力還需要更長(zhǎng)的時(shí)間，以及更多的耐心。更值得欣慰的是，在疫情“黑天鵝”的席卷之下，AI依然帶領(lǐng)全球產(chǎn)業(yè)者連接、思考、探尋未來(lái)的藏寶圖，這或許就是技術(shù)最令人沉迷之處。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。