生物的進(jìn)化的速度要以百萬年的時(shí)間來計(jì)算，而人工智能卻在以肉眼看得見的速度進(jìn)化。
半個(gè)世紀(jì)前，人類需要使用一部重達(dá)1270公斤的電腦對(duì)抗國際象棋大師時(shí)，不會(huì)想到在半個(gè)世紀(jì)后的王者榮耀中，AI可進(jìn)化至職業(yè)電競(jìng)水平，這就是王者榮耀的AI——「絕悟」，「絕悟」從離線的玩家對(duì)局樣本進(jìn)行模仿學(xué)習(xí)，為了突破上限，又采用了AI自對(duì)弈的強(qiáng)化學(xué)習(xí)，然后在“絕悟挑戰(zhàn)”中測(cè)試強(qiáng)度。
王者榮耀執(zhí)行制作人，騰訊天美L1工作室總經(jīng)理黃藍(lán)梟在首屆STAC科創(chuàng)聯(lián)合大會(huì)上表示，「絕悟」是一個(gè)多智能體系統(tǒng)，也就是大量的能夠自主決策的AI共同協(xié)作，從而實(shí)現(xiàn)一個(gè)共同的且有挑戰(zhàn)的目標(biāo)。
更為重要的是，王者榮耀團(tuán)隊(duì)開放了王者的核心機(jī)制，同騰訊AI Lab、相關(guān)高校、研究機(jī)構(gòu)一起進(jìn)行多智能體的研究。“期待這些研究成果，能夠落地到其他產(chǎn)業(yè)環(huán)境中，為工業(yè)機(jī)器人、救災(zāi)機(jī)器人等提供助力”。
在王者榮耀中做前沿AI研究
多智能體系統(tǒng)(大量的能夠自主決策的AI共同協(xié)作，達(dá)成同一個(gè)目標(biāo))作為前沿人工智能技術(shù)的核心研究領(lǐng)域，經(jīng)過多年的研究，已經(jīng)廣泛應(yīng)用于各個(gè)行業(yè)。比如無人倉儲(chǔ)，多智能體機(jī)器人完成龐大的倉儲(chǔ)管理;智慧交通中的車路協(xié)同系統(tǒng)，無人駕駛;智能工業(yè)機(jī)器人、物聯(lián)網(wǎng)等領(lǐng)域。多智能體技術(shù)都能夠很好的應(yīng)用下來提高生產(chǎn)效率。
王者榮耀團(tuán)隊(duì)在游戲研發(fā)過程中，發(fā)現(xiàn)MOBA游戲機(jī)制具有很強(qiáng)的多人協(xié)作性、在不對(duì)稱信息下博弈空間極大、協(xié)作競(jìng)技性很強(qiáng)，非常適合使用多智能體人工智能技術(shù)來提高生產(chǎn)和測(cè)試效率。
例如王者榮耀產(chǎn)品中的視野非全局性，敵我雙方的實(shí)時(shí)位置、狀態(tài)能信息非理想透明，游戲測(cè)試環(huán)境中能提供豐富的數(shù)據(jù)，模擬的場(chǎng)景，為研究模仿學(xué)習(xí)提供了保障;天然的層次結(jié)構(gòu)，在high level中對(duì)應(yīng)大局觀，在 low level中對(duì)應(yīng)了微操，適合層次強(qiáng)化學(xué)習(xí)研究。
若AI技術(shù)能在如此復(fù)雜的環(huán)境中，學(xué)會(huì)人一樣實(shí)時(shí)感知、分析、理解、推理、決策到行動(dòng)，就可能在多變、復(fù)雜的真實(shí)環(huán)境中發(fā)揮更大作用。
在這樣的背景之下，基于王者榮耀游戲的特點(diǎn)，王者榮耀團(tuán)隊(duì)與騰訊AI Lab一起合作，在王者持續(xù)進(jìn)行人工智能相關(guān)的技術(shù)研究和應(yīng)用實(shí)踐，研究并開發(fā)出了多智能體產(chǎn)品「絕悟」。
讓AI學(xué)像人一樣決策
「絕悟」名字寓意絕佳領(lǐng)悟力，其技術(shù)研發(fā)始于2017年，并在2018年12月通過了頂尖業(yè)余水平測(cè)試。
2019年8月2日在吉隆坡舉辦的王者榮耀冠軍杯半決賽的特設(shè)環(huán)節(jié)中，「絕悟」在職業(yè)選手賽區(qū)聯(lián)隊(duì)帶來的5v5水平測(cè)試中獲勝，升級(jí)至王者榮耀電競(jìng)職業(yè)水平。
而同期「絕悟」的1v1 版本也在上海舉辦的國際數(shù)碼互動(dòng)娛樂展覽會(huì)ChinaJoy首次對(duì)公眾亮相，向頂級(jí)業(yè)余玩家開放為期四天的體驗(yàn)測(cè)試。四天的共2100場(chǎng)測(cè)試中，「絕悟」測(cè)試勝率為99.81%，僅輸4場(chǎng)。
專業(yè)描述AI打王者榮耀的場(chǎng)景為——非完全信息多智能體協(xié)同零和即時(shí)博弈。通俗的講就是， AI 要在不完全信息、高度復(fù)雜度的情況作出復(fù)雜快速的決策。
在龐大且信息不完備的地圖上，10位參與者要在策略規(guī)劃、英雄選擇、技能應(yīng)用、路徑探索及團(tuán)隊(duì)協(xié)作上面臨大量、不間斷、即時(shí)的選擇，這帶來了極為復(fù)雜的局面，預(yù)計(jì)有高達(dá)10的20000次方種操作可能性，而整個(gè)宇宙原子總數(shù)也只是10的80次方。
「絕悟」可以無需人類數(shù)據(jù)，從白板學(xué)習(xí)(Tabula Rasa)開始， 自己與自己對(duì)戰(zhàn)。 像嬰兒學(xué)語般，一點(diǎn)點(diǎn)學(xué)會(huì)了打王者榮耀。更驚喜的是，在訓(xùn)練后期AI 甚至探索出了不同于人類常規(guī)做法的全新策略。“比如「絕悟」經(jīng)常多人抱團(tuán)吃線，從而達(dá)到經(jīng)濟(jì)的最大化”。
在王者本身的實(shí)踐層面，玩家可以在限時(shí)開放的「絕悟」挑戰(zhàn)中體驗(yàn)AI的能力，而當(dāng)遭遇隊(duì)友掉線時(shí)，也可以將掉線隊(duì)友委托給AI托管，但AI不能主導(dǎo)比賽，勝負(fù)的決定權(quán)還是在各位玩家手中，除此之外，「絕悟」僅在實(shí)驗(yàn)室環(huán)境中投入使用。
在新英雄設(shè)計(jì)與游戲數(shù)值調(diào)整中，「絕悟」也發(fā)揮了重要作用，提供AI最終探索出的游戲打法和勝率作為參考，輔助策劃優(yōu)化游戲設(shè)計(jì)。
2020年11月的一次平衡調(diào)整，王者團(tuán)隊(duì)希望增強(qiáng)公孫離的強(qiáng)度，「絕悟」對(duì)調(diào)整后的公孫離進(jìn)行了模擬對(duì)戰(zhàn)，顯示改動(dòng)后勝率+2.42個(gè)百分點(diǎn)，但部分體驗(yàn)服玩家卻認(rèn)為會(huì)嚴(yán)重削弱公孫離。對(duì)此，王者團(tuán)隊(duì)對(duì)調(diào)整項(xiàng)拆分和放大場(chǎng)次驗(yàn)證，分析每一條改動(dòng)對(duì)強(qiáng)度的貢獻(xiàn)占比，確認(rèn)相關(guān)平衡調(diào)整會(huì)加強(qiáng)公孫離，最終上線后，公孫離勝率+2.33個(gè)百分點(diǎn)，符合預(yù)期。
從「絕悟」到開放的「開悟」
在經(jīng)過實(shí)踐驗(yàn)證后，王者榮耀與騰訊AI Lab團(tuán)隊(duì)將在做多智能體研究的過程中所沉淀的技術(shù)資產(chǎn)開放出來，建設(shè)開悟開放平臺(tái)，打造利用王者的核心技術(shù)構(gòu)建的，對(duì)使用者低成本的多智能體人工智能算法研究、教學(xué)和驗(yàn)證的科研教學(xué)平臺(tái)。
“我們開放了王者的核心機(jī)制，提供標(biāo)準(zhǔn)接口、核心算法、脫敏的訓(xùn)練數(shù)據(jù)、評(píng)估工具和計(jì)算集群等，給老師和同學(xué)們進(jìn)行多智能體的機(jī)器學(xué)習(xí)算法研究、學(xué)習(xí)成果交流、對(duì)算法成果反復(fù)迭代升級(jí)。未來也可以提供給其他有需求的研究機(jī)構(gòu)進(jìn)行更貼近工業(yè)化場(chǎng)景的研究。”王者榮耀執(zhí)行制作人，騰訊天美L1工作室總經(jīng)理黃藍(lán)梟表示。
2020年，王者榮耀聯(lián)合騰訊AI Lab、騰訊高校合作、騰訊游戲?qū)W院舉行了首次「王者榮耀·開悟AI+游戲大賽」，邀請(qǐng)了中科院、清華大學(xué)、北京大學(xué)、中國科技大學(xué)、電子科技大學(xué)、哈工大、國防科大、浙大等18所頭部高校的老師和同學(xué)們，在開悟平臺(tái)上進(jìn)行學(xué)術(shù)研究和交流，并提供全方位資源支持。
“要讓多個(gè)智能體學(xué)會(huì)合作是很困難的，既要設(shè)定各個(gè)智能體的目標(biāo)，還要分出主力和輔助關(guān)系，實(shí)現(xiàn)這樣的復(fù)雜設(shè)計(jì)成本很高。”中國科學(xué)院自動(dòng)化研究所興軍亮團(tuán)隊(duì)提出了一種自我提升式強(qiáng)化學(xué)習(xí)框架，先讓智能體通過模仿來學(xué)習(xí)，再通過自我互博來進(jìn)階進(jìn)化，加上他們提出的一種新策略，可有效緩解一些多智能學(xué)習(xí)的常見問題。
經(jīng)過一年時(shí)間的實(shí)踐，活動(dòng)得到很好的成果，驗(yàn)證了王者榮耀游戲環(huán)境對(duì)人工智能技術(shù)的賦能思路。
助力產(chǎn)學(xué)研，共享AI+游戲新生態(tài)
王者榮耀執(zhí)行制作人，騰訊天美L1工作室總經(jīng)理黃藍(lán)梟在首屆STAC科創(chuàng)聯(lián)合大會(huì)上宣布“多智能體人工智能科研教學(xué)聯(lián)盟”的成立，將與國內(nèi)頭部高校一起共建平臺(tái)，為更多高校老師和同學(xué)們賦能，為有興趣進(jìn)行包括多智能體技術(shù)在內(nèi)的人工智能研究的老師們、同學(xué)們和產(chǎn)業(yè)伙伴們提供低門檻、內(nèi)容豐富且穩(wěn)定可靠的學(xué)術(shù)研究和交流的場(chǎng)景。
騰訊 AI Lab 總經(jīng)理?xiàng)钗”硎荆?ldquo;開悟2021年還將向全球高校開放，拓展國際影響力，進(jìn)一步延展平臺(tái)承載力，推進(jìn)AI與教育融合，提高學(xué)生的創(chuàng)造力與研究才能，為生態(tài)貢獻(xiàn)跨學(xué)科技術(shù)、跨界人才和多方資源。”
騰訊游戲副總裁、騰訊游戲?qū)W院院長夏琳表示：“人工智能是國家的重大戰(zhàn)略，騰訊游戲?qū)W院與各高校深度產(chǎn)教融合，并側(cè)重培養(yǎng)AI+游戲的新興科技人才。同時(shí)，聚焦王者榮耀等游戲AI領(lǐng)域的科研，與國內(nèi)外重點(diǎn)高校及國家重點(diǎn)實(shí)驗(yàn)室不斷產(chǎn)出對(duì)產(chǎn)業(yè)有價(jià)值的科研成果，人工智能在國內(nèi)會(huì)不斷發(fā)展，未來可期。”
在這個(gè)人類與技術(shù)相互擁抱的時(shí)代，王者榮耀不斷投入，讓AI從0到1去學(xué)習(xí)進(jìn)化，并發(fā)展出一套合理的行為模式，這中間的經(jīng)驗(yàn)、方法與結(jié)論，短期看，可以給游戲行業(yè)、電競(jìng)行業(yè)帶來直接的推動(dòng)和幫助，有望在大范圍內(nèi)，如醫(yī)療、制造、無人駕駛、農(nóng)業(yè)到智慧城市等領(lǐng)域帶來更深遠(yuǎn)影響。長期來看，AI+游戲的研究，會(huì)推進(jìn)AI的終極目標(biāo)——通用人工智能問題的探索和發(fā)展。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
