阿爾法狗再進化:自學3天就100:0碾壓李世石版舊狗

倫敦當?shù)貢r間10月18日18：00（北京時間19日01：00），AlphaGo再次登上世界頂級科學雜志——《自然》。

一年多前，AlphaGo便是2016年1月28日當期的封面文章，Deepmind公司發(fā)表重磅論文，介紹了這個擊敗歐洲圍棋冠軍樊麾的人工智能程序。

今年5月，以3:0的比分贏下中國棋手柯潔后，AlphaGo宣布退役，但DeepMind公司并沒有停下研究的腳步。倫敦當?shù)貢r間10月18日，DeepMind團隊公布了最強版AlphaGo ，代號AlphaGo Zero。它的獨門秘籍，是“自學成才”。而且，是從一張白紙開始，零基礎學習，在短短3天內，成為頂級高手。

團隊稱，AlphaGo Zero的水平已經超過之前所有版本的AlphaGo。在對陣曾贏下韓國棋手李世石那版AlphaGo時，AlphaGo Zero取得了100:0的壓倒性戰(zhàn)績。DeepMind團隊將關于AlphaGo Zero的相關研究以論文的形式，刊發(fā)在了10月18日的《自然》雜志上。

“AlphaGo在兩年內達到的成績令人震驚?，F(xiàn)在，AlphaGo Zero是我們最強版本，它提升了很多。Zero提高了計算效率，并且沒有使用到任何人類圍棋數(shù)據，”AlphaGo之父、DeepMind聯(lián)合創(chuàng)始人兼CEO 戴密斯·哈薩比斯（Demis Hassabis）說，“最終，我們想要利用它的算法突破，去幫助解決各種緊迫的現(xiàn)實世界問題，如蛋白質折疊或設計新材料。如果我們通過AlphaGo，可以在這些問題上取得進展，那么它就有潛力推動人們理解生命，并以積極的方式影響我們的生活?！?/p>

不再受人類知識限制，只用4個TPU

AlphaGo此前的版本，結合了數(shù)百萬人類圍棋專家的棋譜，以及強化學習的監(jiān)督學習進行了自我訓練。

在戰(zhàn)勝人類圍棋職業(yè)高手之前，它經過了好幾個月的訓練，依靠的是多臺機器和48個TPU（谷歌專為加速深層神經網絡運算能力而研發(fā)的芯片）。

AlphaGo Zero的能力則在這個基礎上有了質的提升。最大的區(qū)別是，它不再需要人類數(shù)據。也就是說，它一開始就沒有接觸過人類棋譜。研發(fā)團隊只是讓它自由隨意地在棋盤上下棋，然后進行自我博弈。值得一提的是，AlphaGo Zero還非常“低碳”，只用到了一臺機器和4個TPU，極大地節(jié)省了資源。

AlphaGo Zero強化學習下的自我對弈。

經過幾天的訓練，AlphaGo Zero完成了近5百萬盤的自我博弈后，已經可以超越人類，并擊敗了此前所有版本的AlphaGo。DeepMind團隊在官方博客上稱，Zero用更新后的神經網絡和搜索算法重組，隨著訓練地加深，系統(tǒng)的表現(xiàn)一點一點地在進步。自我博弈的成績也越來越好，同時，神經網絡也變得更準確。

AlphaGo Zero習得知識的過程

“這些技術細節(jié)強于此前版本的原因是，我們不再受到人類知識的限制，它可以向圍棋領域里最高的選手——AlphaGo自身學習?！?nbsp;AlphaGo團隊負責人大衛(wèi)·席爾瓦（Dave Sliver）說。

據大衛(wèi)·席爾瓦介紹，AlphaGo Zero使用新的強化學習方法，讓自己變成了老師。系統(tǒng)一開始甚至并不知道什么是圍棋，只是從單一神經網絡開始，通過神經網絡強大的搜索算法，進行了自我對弈。

隨著自我博弈的增加，神經網絡逐漸調整，提升預測下一步的能力，最終贏得比賽。更為厲害的是，隨著訓練的深入，DeepMind團隊發(fā)現(xiàn)，AlphaGo Zero還獨立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。

自學3天，就打敗了舊版AlphaGo

除了上述的區(qū)別之外，AlphaGo Zero還在3個方面與此前版本有明顯差別。

AlphaGo-Zero的訓練時間軸

首先，AlphaGo Zero僅用棋盤上的黑白子作為輸入，而前代則包括了小部分人工設計的特征輸入。

其次，AlphaGo Zero僅用了單一的神經網絡。在此前的版本中，AlphaGo用到了“策略網絡”來選擇下一步棋的走法，以及使用“價值網絡”來預測每一步棋后的贏家。而在新的版本中，這兩個神經網絡合二為一，從而讓它能得到更高效的訓練和評估。

第三，AlphaGo Zero并不使用快速、隨機的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來預測哪個玩家會從當前的局面中贏得比賽。相反，新版本依靠地是其高質量的神經網絡來評估下棋的局勢。

AlphaGo幾個版本的排名情況。

據哈薩比斯和席爾瓦介紹，以上這些不同幫助新版AlphaGo在系統(tǒng)上有了提升，而算法的改變讓系統(tǒng)變得更強更有效。

經過短短3天的自我訓練，AlphaGo Zero就強勢打敗了此前戰(zhàn)勝李世石的舊版AlphaGo，戰(zhàn)績是100:0的。經過40天的自我訓練，AlphaGo Zero又打敗了AlphaGo Master版本?！癕aster”曾擊敗過世界頂尖的圍棋選手，甚至包括世界排名第一的柯潔。

對于希望利用人工智能推動人類社會進步為使命的DeepMind來說，圍棋并不是AlphaGo的終極奧義，他們的目標始終是要利用AlphaGo打造通用的、探索宇宙的終極工具。AlphaGo Zero的提升，讓DeepMind看到了利用人工智能技術改變人類命運的突破。他們目前正積極與英國醫(yī)療機構和電力能源部門合作，提高看病效率和能源效率。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。