網(wǎng)易互娛AI Lab奪取CVPR2021 3D人臉重建挑戰(zhàn)賽冠軍

近日,第三十四屆國際計算機視覺頂級會議CVPR 2021 (Conference on Computer Vision and Pattern Recognition) 舉辦的多角度圖片3D人臉重建競賽公布了最終成績,網(wǎng)易互娛AI Lab提出的多視角重建方案在所有評價指標(biāo)上均排名第一,擊敗了來自O(shè)PPO研究院,虎牙AI Lab,清華大學(xué),北京大學(xué),中科院自動化所等企業(yè)和高校的246個計算機視覺團隊,一舉斬獲大賽冠軍。

 近日,計算機視覺頂級會議CVPR 2021舉辦的PIC Challenge AI挑戰(zhàn)賽成績出爐。網(wǎng)易互娛AI Lab從眾多參賽隊伍中脫穎而出,獲得了多視角圖片3D 人臉重建競賽的冠軍。這也是網(wǎng)易互娛AI Lab繼IJCAI 2020 3D AI挑戰(zhàn)賽獲得3D物體重建和3D物體檢索雙料冠軍后又一次摘得三維視覺領(lǐng)域的國際比賽冠軍,體現(xiàn)了網(wǎng)易在3D 視覺領(lǐng)域深厚的技術(shù)積累和領(lǐng)先的技術(shù)實力。

 CVPR是國際計算機視覺的三大頂級學(xué)術(shù)會議之一,每年都會吸引來自全球的一流學(xué)者、研究人員和開發(fā)者參加,共同探討計算機視覺領(lǐng)域的前沿問題。3D人臉重建則是3D計算機視覺研究的重要領(lǐng)域,在人臉識別,AR//VR等領(lǐng)域有著廣泛的應(yīng)用。本次CVPR 2021 多角度圖片3D人臉重建競賽的主要目標(biāo)是通過多張不同角度獲得的人臉圖像,重建出人臉的106個關(guān)鍵點。

 本次比賽以人臉關(guān)鍵點的NME,AUC (@0.08),F(xiàn)ailure rate (@0.08)作為評測指標(biāo)。訓(xùn)練數(shù)據(jù)集包含5204個人臉模型,共15612張多視角人臉圖像,其中不同的人臉模型涵蓋了多達(dá)25種不同的表情,多表情數(shù)據(jù)極大提高了三維人臉重建的難度,給予參賽選手巨大的挑戰(zhàn)。

針對本次比賽的難點,網(wǎng)易互娛AI Lab提出了基于孿生網(wǎng)絡(luò)的端到端模型架構(gòu)。采用多視角圖像的進行三維重建增強,并設(shè)計了自適應(yīng)權(quán)重的NME損失函數(shù)以適應(yīng)多種不同表情的三維人臉關(guān)鍵點回歸,同時利用空間對稱增廣的三維數(shù)據(jù)增強手段進行數(shù)據(jù)擴增,另外還通過設(shè)置三維平均關(guān)鍵點臉模作為先驗信息以進行高精度的多表情三維人臉關(guān)鍵點擬合,最終在競賽的三個評測指標(biāo)都取得了領(lǐng)先。

目前,3D視覺在人工智能的領(lǐng)域里多用于3D重建(如人臉,人體等的重建)、場景理解構(gòu)建等任務(wù)中。網(wǎng)易互娛AI Lab近年來在3D視覺領(lǐng)域持續(xù)發(fā)力,不斷在游戲制作中探索落地3D視覺技術(shù),已將人臉表情捕捉、視頻人體動捕、人臉融合、人臉風(fēng)格化重建等技術(shù)應(yīng)用在各個游戲中,降低了資源的制作成本,豐富了產(chǎn)品游戲體驗。

網(wǎng)易互娛AI Lab成立于2017年,隸屬于網(wǎng)易互動娛樂事業(yè)群,在廣州、杭州、上海均有分部,是游戲行業(yè)領(lǐng)先的人工智能實驗室。實驗室致力于計算機視覺、語音和自然語言處理,以及強化學(xué)習(xí)等技術(shù)在游戲場景下的的研究,應(yīng)用和落地,旨在通過AI技術(shù)助力互娛旗下熱門游戲及產(chǎn)品的技術(shù)升級,目前技術(shù)已應(yīng)用于網(wǎng)易互娛旗下多款熱門游戲,如《夢幻西游》、《一夢江湖》、《天下3》、《陰陽師》、《第五人格》、《哈利波特—魔法覺醒》等等。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2021-06-30
網(wǎng)易互娛AI Lab奪取CVPR2021 3D人臉重建挑戰(zhàn)賽冠軍
近日,第三十四屆國際計算機視覺頂級會議CVPR 2021 (Conference on Computer Vision and Pattern Recognition) 舉辦的多角度圖片3...

長按掃碼 閱讀全文