阿爾法狗再進(jìn)化:自學(xué)3天就100:0碾壓李世石版舊狗

倫敦當(dāng)?shù)貢r(shí)間10月18日18:00(北京時(shí)間19日01:00),AlphaGo再次登上世界頂級(jí)科學(xué)雜志——《自然》。

一年多前,AlphaGo便是2016年1月28日當(dāng)期的封面文章,Deepmind公司發(fā)表重磅論文,介紹了這個(gè)擊敗歐洲圍棋冠軍樊麾的人工智能程序。

今年5月,以3:0的比分贏下中國(guó)棋手柯潔后,AlphaGo宣布退役,但DeepMind公司并沒有停下研究的腳步。倫敦當(dāng)?shù)貢r(shí)間10月18日,DeepMind團(tuán)隊(duì)公布了最強(qiáng)版AlphaGo ,代號(hào)AlphaGo Zero。它的獨(dú)門秘籍,是“自學(xué)成才”。而且,是從一張白紙開始,零基礎(chǔ)學(xué)習(xí),在短短3天內(nèi),成為頂級(jí)高手。

團(tuán)隊(duì)稱,AlphaGo Zero的水平已經(jīng)超過之前所有版本的AlphaGo。在對(duì)陣曾贏下韓國(guó)棋手李世石那版AlphaGo時(shí),AlphaGo Zero取得了100:0的壓倒性戰(zhàn)績(jī)。DeepMind團(tuán)隊(duì)將關(guān)于AlphaGo Zero的相關(guān)研究以論文的形式,刊發(fā)在了10月18日的《自然》雜志上。

“AlphaGo在兩年內(nèi)達(dá)到的成績(jī)令人震驚?,F(xiàn)在,AlphaGo Zero是我們最強(qiáng)版本,它提升了很多。Zero提高了計(jì)算效率,并且沒有使用到任何人類圍棋數(shù)據(jù),”AlphaGo之父、DeepMind聯(lián)合創(chuàng)始人兼CEO 戴密斯·哈薩比斯(Demis Hassabis)說,“最終,我們想要利用它的算法突破,去幫助解決各種緊迫的現(xiàn)實(shí)世界問題,如蛋白質(zhì)折疊或設(shè)計(jì)新材料。如果我們通過AlphaGo,可以在這些問題上取得進(jìn)展,那么它就有潛力推動(dòng)人們理解生命,并以積極的方式影響我們的生活?!?/p>

不再受人類知識(shí)限制,只用4個(gè)TPU

AlphaGo此前的版本,結(jié)合了數(shù)百萬人類圍棋專家的棋譜,以及強(qiáng)化學(xué)習(xí)的監(jiān)督學(xué)習(xí)進(jìn)行了自我訓(xùn)練。

在戰(zhàn)勝人類圍棋職業(yè)高手之前,它經(jīng)過了好幾個(gè)月的訓(xùn)練,依靠的是多臺(tái)機(jī)器和48個(gè)TPU(谷歌專為加速深層神經(jīng)網(wǎng)絡(luò)運(yùn)算能力而研發(fā)的芯片)。

AlphaGo Zero的能力則在這個(gè)基礎(chǔ)上有了質(zhì)的提升。最大的區(qū)別是,它不再需要人類數(shù)據(jù)。也就是說,它一開始就沒有接觸過人類棋譜。研發(fā)團(tuán)隊(duì)只是讓它自由隨意地在棋盤上下棋,然后進(jìn)行自我博弈。值得一提的是,AlphaGo Zero還非?!暗吞肌?,只用到了一臺(tái)機(jī)器和4個(gè)TPU,極大地節(jié)省了資源。

阿爾法狗再進(jìn)化:自學(xué)3天就100:0碾壓李世石版舊狗AlphaGo Zero強(qiáng)化學(xué)習(xí)下的自我對(duì)弈。

經(jīng)過幾天的訓(xùn)練,AlphaGo Zero完成了近5百萬盤的自我博弈后,已經(jīng)可以超越人類,并擊敗了此前所有版本的AlphaGo。DeepMind團(tuán)隊(duì)在官方博客上稱,Zero用更新后的神經(jīng)網(wǎng)絡(luò)和搜索算法重組,隨著訓(xùn)練地加深,系統(tǒng)的表現(xiàn)一點(diǎn)一點(diǎn)地在進(jìn)步。自我博弈的成績(jī)也越來越好,同時(shí),神經(jīng)網(wǎng)絡(luò)也變得更準(zhǔn)確。

阿爾法狗再進(jìn)化:自學(xué)3天就100:0碾壓李世石版舊狗AlphaGo Zero習(xí)得知識(shí)的過程

“這些技術(shù)細(xì)節(jié)強(qiáng)于此前版本的原因是,我們不再受到人類知識(shí)的限制,它可以向圍棋領(lǐng)域里最高的選手——AlphaGo自身學(xué)習(xí)?!?nbsp;AlphaGo團(tuán)隊(duì)負(fù)責(zé)人大衛(wèi)·席爾瓦(Dave Sliver)說。

據(jù)大衛(wèi)·席爾瓦介紹,AlphaGo Zero使用新的強(qiáng)化學(xué)習(xí)方法,讓自己變成了老師。系統(tǒng)一開始甚至并不知道什么是圍棋,只是從單一神經(jīng)網(wǎng)絡(luò)開始,通過神經(jīng)網(wǎng)絡(luò)強(qiáng)大的搜索算法,進(jìn)行了自我對(duì)弈。

隨著自我博弈的增加,神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整,提升預(yù)測(cè)下一步的能力,最終贏得比賽。更為厲害的是,隨著訓(xùn)練的深入,DeepMind團(tuán)隊(duì)發(fā)現(xiàn),AlphaGo Zero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則,并走出了新策略,為圍棋這項(xiàng)古老游戲帶來了新的見解。

自學(xué)3天,就打敗了舊版AlphaGo

除了上述的區(qū)別之外,AlphaGo Zero還在3個(gè)方面與此前版本有明顯差別。

阿爾法狗再進(jìn)化:自學(xué)3天就100:0碾壓李世石版舊狗AlphaGo-Zero的訓(xùn)練時(shí)間軸

首先,AlphaGo Zero僅用棋盤上的黑白子作為輸入,而前代則包括了小部分人工設(shè)計(jì)的特征輸入。

其次,AlphaGo Zero僅用了單一的神經(jīng)網(wǎng)絡(luò)。在此前的版本中,AlphaGo用到了“策略網(wǎng)絡(luò)”來選擇下一步棋的走法,以及使用“價(jià)值網(wǎng)絡(luò)”來預(yù)測(cè)每一步棋后的贏家。而在新的版本中,這兩個(gè)神經(jīng)網(wǎng)絡(luò)合二為一,從而讓它能得到更高效的訓(xùn)練和評(píng)估。

第三,AlphaGo Zero并不使用快速、隨機(jī)的走子方法。在此前的版本中,AlphaGo用的是快速走子方法,來預(yù)測(cè)哪個(gè)玩家會(huì)從當(dāng)前的局面中贏得比賽。相反,新版本依靠地是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來評(píng)估下棋的局勢(shì)。

阿爾法狗再進(jìn)化:自學(xué)3天就100:0碾壓李世石版舊狗AlphaGo幾個(gè)版本的排名情況。

據(jù)哈薩比斯和席爾瓦介紹,以上這些不同幫助新版AlphaGo在系統(tǒng)上有了提升,而算法的改變讓系統(tǒng)變得更強(qiáng)更有效。

經(jīng)過短短3天的自我訓(xùn)練,AlphaGo Zero就強(qiáng)勢(shì)打敗了此前戰(zhàn)勝李世石的舊版AlphaGo,戰(zhàn)績(jī)是100:0的。經(jīng)過40天的自我訓(xùn)練,AlphaGo Zero又打敗了AlphaGo Master版本。“Master”曾擊敗過世界頂尖的圍棋選手,甚至包括世界排名第一的柯潔。

對(duì)于希望利用人工智能推動(dòng)人類社會(huì)進(jìn)步為使命的DeepMind來說,圍棋并不是AlphaGo的終極奧義,他們的目標(biāo)始終是要利用AlphaGo打造通用的、探索宇宙的終極工具。AlphaGo Zero的提升,讓DeepMind看到了利用人工智能技術(shù)改變?nèi)祟惷\(yùn)的突破。他們目前正積極與英國(guó)醫(yī)療機(jī)構(gòu)和電力能源部門合作,提高看病效率和能源效率。


極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2017-10-19
阿爾法狗再進(jìn)化:自學(xué)3天就100:0碾壓李世石版舊狗
倫敦當(dāng)?shù)貢r(shí)間10月18日18:00(北京時(shí)間19日01:00),AlphaGo再次登上世界頂級(jí)科學(xué)雜志——《自然》。

長(zhǎng)按掃碼 閱讀全文