運動捕捉技術(shù)是借助慣性、光學傳感器，重建精確的人體三維模型信息的一種特效技術(shù)，通常在影視劇及游戲特效制作、運動員動作分析、患者康復評估等專業(yè)領(lǐng)域被廣泛應(yīng)用。相比高技術(shù)門檻、高成本的專業(yè)操作，騰訊微視近期在手機上實現(xiàn)了運動捕捉技術(shù)，國內(nèi)首次在移動端實現(xiàn)人體3D Mesh重建，用戶只需拿起手機拍攝或上傳一張全身照，即可體驗黃金圣斗士的鎧甲實時貼合在人物身上。
(圖：騰訊微視“圣斗士集結(jié)”效果展示)
一鍵變身黃金圣斗士，集結(jié)最強戰(zhàn)隊燃燒小宇宙
騰訊微視聯(lián)動《圣斗士星矢(騰訊)》手游推出圣斗士系列玩法。通過黃金圣斗士鎧甲換裝的玩法，在騰訊微視APP內(nèi)落地。用戶可參與“圣斗士集結(jié)”活動，即可一鍵穿上圣斗士們的黃金圣衣。用戶可通過搜索“圣斗士集結(jié)”關(guān)鍵詞進入活動頁面，或者點擊首頁底部+號進入拍攝界面，也能找到活動入口。
(圖：騰訊微視“圣斗士集結(jié)”活動主界面)
用戶可上傳或拍攝一張正面照片，系統(tǒng)即可自動識別照片姿勢，給人物全身換裝黃金圣斗士鎧甲?；蛘咴谂臄z頁面選擇圣斗士相關(guān)特效，全身入鏡即可變身圣斗士，即使在拍攝過程中處于運動狀態(tài)，黃金盔甲特效也會實時計算跟蹤。在拍攝特效界面，可召喚多個星座的圣斗士，如黃金射手座、雙子座撒加、處女座沙加等。
(圖：騰訊微視“圣斗士集結(jié)”體驗步驟)
動捕技術(shù)移動端首秀，微視自研手機3D Mesh算法
現(xiàn)如今短視頻領(lǐng)域的諸多玩法，背后的技術(shù)能力主要分為四種：人臉2D關(guān)鍵點檢測、人體2D關(guān)鍵點檢測、人臉/頭3D Mesh重建、人體3D關(guān)鍵點檢測。但想要實現(xiàn)上傳一張照片，或拍攝運動狀態(tài)下的人物都穿上黃金圣斗士鎧甲的效果，則需要實現(xiàn)從普通圖像中重建出人體3D Mesh，才能將人體的身材用鎧甲包裹住，并且保證能夠在手機上實時運行。
(圖：人體3D Mesh重建效果展示)
騰訊微視為了獲取到高質(zhì)量的3D人體Mesh重建數(shù)據(jù)，獨立搭建了一套全新的動捕系統(tǒng)，并使用并基于這套系統(tǒng)開發(fā)了相應(yīng)的Mesh重建算法，使其能更高效地進行訓練數(shù)據(jù)的迭代，解決更多場景和姿態(tài)下的問題，增強模型的泛化性能。通過重建7千多個頂點和1.5萬的面片，還原人體的基本動作，甚至預(yù)測出人體的高矮胖瘦。最終，渲染引擎根據(jù)這些信息給視頻中的人物“穿上”盔甲。
在基礎(chǔ)技術(shù)儲備完成后，騰訊微視團隊主要從數(shù)據(jù)集制作、算法流程改進、網(wǎng)絡(luò)結(jié)構(gòu)搜索、移動端工程優(yōu)化以及算法細節(jié)打磨等幾個方面對算法進行了優(yōu)化。比如對上萬個貼近手機端用戶拍攝內(nèi)容的視頻數(shù)據(jù)進行采集、標注、清洗;對網(wǎng)絡(luò)Backbone結(jié)構(gòu)的設(shè)計與優(yōu)化等。
(圖：騰訊微視“圣斗士集結(jié)”效果演示)
算法渲染設(shè)計多部門協(xié)同配合，量身定制優(yōu)化方案
從最開始的CV技術(shù)研發(fā)、到移動端的部署以及渲染，整個技術(shù)生產(chǎn)鏈條的打通離不開各部門團隊間的多番協(xié)作。該項目調(diào)動了騰訊PCG內(nèi)部多個技術(shù)團隊，包括OVBU拍攝算法團隊、應(yīng)?研究中?、光流產(chǎn)品中?和MXD創(chuàng)意平臺設(shè)計中?。技術(shù)是第一步，特效的渲染和設(shè)計打磨也是特效出街前的必然步驟。
在特效渲染層面，微視技術(shù)團隊基于重建的人體3D Mesh量身定制了一套AttachToBody的渲染方案，確保高質(zhì)量的渲染效果。此外，技術(shù)團隊開發(fā)的自定義材質(zhì)系統(tǒng)，也為玩法提供了更自由靈活的材質(zhì)與光照解決方案。在性能方面，為了提升效果整體的覆蓋率，在低端機上采取了Material Capture材質(zhì)捕捉技術(shù)方案，用較小的計算成本擬合出近似PBR的真實感效果。同時在一些高頻且量大的矩陣計算中啟用了NEON加速方案，整體降低了數(shù)學計算耗時。
在視覺效果優(yōu)化層面，設(shè)計團隊通過對微視引擎的了解，設(shè)計出高標準且不超綱的設(shè)計，從研發(fā)、調(diào)整到打磨階段都與技術(shù)團隊強綁定，明確優(yōu)化方向，給出優(yōu)化建議;輔助優(yōu)化引擎渲染能力，對特效的衣服貼合度與跟隨性，身體比例協(xié)調(diào)性，衣服視效等方面進行了多輪打磨，最終達到較高標準的效果質(zhì)量。
(圖：騰訊微視“圣斗士集結(jié)”視覺優(yōu)化過程)
一直以來，騰訊微視高度關(guān)注技術(shù)研發(fā)，未來也將持續(xù)圍繞三維人體重建來進行創(chuàng)意特效設(shè)計與研發(fā)，不斷提升3D重建精度，解決更多拍攝場景的需求。在人體形變、人體驅(qū)動虛擬角色等方面也將努力有進一步的突破，為用戶提供更酷炫好玩的特效新體驗。據(jù)了解，騰訊微視發(fā)布器團隊正在大力招聘中，吸納更多技術(shù)創(chuàng)新研發(fā)、創(chuàng)意視覺玩法等方面的專業(yè)人才進入，來發(fā)掘更優(yōu)質(zhì)的創(chuàng)意玩法，打造行業(yè)一流的短視頻發(fā)布器一體化解決方案。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
