大家好，我是表情逼真、口型自然的火山引擎虛擬數(shù)字人
我會說中文、英語、日語、法語十多個語種以及粵語、重慶話、四川話等十多種方言
更重要的一點，現(xiàn)在僅用5-10分鐘視頻，你就可以擁有一個自己的數(shù)字分身，大大降低數(shù)字人的制作成本
如今在金融、汽車、傳媒等多個核心領域都活躍著我的身影……
在2023春季火山引擎FORCE原動力大會上，火山引擎正式發(fā)布“善聽”、“會說”、“能想”的虛擬數(shù)字人創(chuàng)新產(chǎn)品。作為該產(chǎn)品的技術支持，火山語音長期積累了成熟的語音交互技術：在語音識別方面，團隊通過業(yè)內(nèi)領先的端到端語音識別模型，以及深耕金融、汽車、泛互等行業(yè)所積累的數(shù)據(jù)經(jīng)驗，在數(shù)十個領域中與真實場景數(shù)據(jù)反饋下字準均可達到 92% 以上。
此外在領先的端到端語音合成技術加持下，團隊的數(shù)字人產(chǎn)品不但會說十多種外語及方言，例如英語、日語、粵語、東北話、重慶話等，還具有開心、驚訝、憤怒等豐富的情感演繹能力，并可通過預測來控制重音、停頓，細粒度還原且對象感極強，為用戶提供更有溫度的服務。“我們通過使用行業(yè)領先的非自回歸模型的唇形生成網(wǎng)絡，合成與輸入文本或語音完全匹配的唇形，準確率高達98.55%;基于創(chuàng)新的Motion Graph技術，數(shù)字人可以輕松做到毫秒級動作切換延遲且自然無感知。”團隊表示。
重要的一點，目前產(chǎn)品已實現(xiàn)快速復刻數(shù)字分身，僅需5-10分鐘視頻，就可1:1還原真人。眾所周知，數(shù)字分身是一種較低成本定制虛擬數(shù)字人的解決方案，再結(jié)合聲音復刻就可快速實現(xiàn)形象與聲音的近乎完美還原，并可落地在內(nèi)容生產(chǎn)、視頻直播、車載環(huán)境等諸多場景中。為了能夠低成本在本地實現(xiàn)定制，火山語音團隊積累了近百小時的多人訓練數(shù)據(jù)用于base模型的訓練，使用5-10分鐘的小數(shù)據(jù)量就可在該模型上實現(xiàn)精準的面部運動還原，唇形準確率高達98.6%，整體自然度MOS評測可達3.9。
在火山語音的“AI虛擬員工解決方案”支持下，火山引擎目前已建立了包括2D、3D卡通和3D超寫實在內(nèi)的虛擬數(shù)字人產(chǎn)品矩陣。從場景適配出發(fā)，包括“播報型數(shù)字人”和“交互型數(shù)字人”兩種類型，專注播報、交互、直播3大核心場景，面向金融、大消費、泛互等行業(yè)提供涵蓋“金融客服”、“智慧導覽”、“智能助理”、“虛擬直播”等場景細分解決方案，為用戶帶來全新的互動服務和便捷體驗。
2022年6月，火山引擎虛擬人數(shù)字平臺已獲得信通院首批數(shù)字人系統(tǒng)基礎能力認證。近日火山語音首次參與“實時高逼真孿生數(shù)字人關鍵技術研發(fā)與應用示范”項目建設，憑借業(yè)內(nèi)優(yōu)勢的AI語音技術以及全棧語音產(chǎn)品解決方案能力，參與到該項目課題三“實時高保真孿生數(shù)字人通用開發(fā)平臺”的建設中，并與江南游戲工作室合作，通過整合交互理解、智能對話管理、智能驅(qū)動三大模塊，構建支持定制化并適用于多樣場景的數(shù)字人智能“對話”系統(tǒng)，實現(xiàn)多模態(tài)交互對話。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
