構(gòu)建開(kāi)放的AI生態(tài)：京東AI聯(lián)合相芯科技打造3D虛擬主播

近日，京東AI聯(lián)合生態(tài)合作伙伴相芯科技打造了3D虛擬主播，基于計(jì)算機(jī)3D圖形學(xué)、語(yǔ)音內(nèi)容識(shí)別以及深度學(xué)習(xí)技術(shù)，對(duì)真人主播聲音、唇形、表情動(dòng)作等特征進(jìn)行提取，利用NeuHub京東人工智能開(kāi)放平臺(tái)的語(yǔ)音合成、語(yǔ)音識(shí)別和多輪對(duì)話(huà)能力，經(jīng)深度學(xué)習(xí)和訓(xùn)練，讓虛擬主播也具備了和真人主播一樣的實(shí)時(shí)播報(bào)能力，并且實(shí)現(xiàn)了雙語(yǔ)播報(bào)。

目前該技術(shù)已在NeuHub京東人工智能開(kāi)放平臺(tái)正式上線(xiàn)，這項(xiàng)新技術(shù)目前適用于新聞資訊播報(bào)、廣電虛擬演播室、融媒體平臺(tái)內(nèi)容生產(chǎn)中心、新媒體、直播網(wǎng)站虛擬網(wǎng)紅、智能客服虛擬形象升級(jí)等多種場(chǎng)景之中。

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)視頻、手機(jī)視頻成為主流的內(nèi)容形式，真人直播、主持人等職業(yè)成為求職市場(chǎng)上的“香餑餑”。然而真人主播、主持人、人工客服等培養(yǎng)培訓(xùn)成本很高，工作強(qiáng)度大，還有檔期的限制，AI虛擬主播技術(shù)的誕生，有效地解決了這些問(wèn)題，大大地提高了視頻的應(yīng)用范圍和工作效率。

京東AI和相芯科技聯(lián)合打造的3D虛擬主播技術(shù)則可以讓靜態(tài)主持人圖片“活”過(guò)來(lái)，并根據(jù)輸入的文本信息自動(dòng)形成播報(bào)視頻。有了播報(bào)內(nèi)容文本，就有了“主播”，通過(guò)在線(xiàn)云端語(yǔ)音合成引擎合成，達(dá)到讓“主播“實(shí)時(shí)說(shuō)話(huà)的效果，進(jìn)而生成相應(yīng)的播報(bào)視頻。

據(jù)悉，該產(chǎn)品具備幾大特征。首先是強(qiáng)大的定制能力，包含語(yǔ)音和形象定制，提供高自然度、有感情、個(gè)性化的語(yǔ)音合成服務(wù)，支持中英文雙語(yǔ)，并可以定制個(gè)性化語(yǔ)音庫(kù);結(jié)合相芯科技在CG形象方面的驅(qū)動(dòng)技術(shù)及模型積累，可根據(jù)個(gè)人形象(照片)或者地方文化名人形象(畫(huà)像)，定制真人或卡通形象，滿(mǎn)足不同場(chǎng)景需求。

語(yǔ)音驅(qū)動(dòng)口型匹配。通過(guò)AI語(yǔ)音動(dòng)畫(huà)技術(shù)智能識(shí)別語(yǔ)音或文本，自動(dòng)匹配口型，疊加表情信息，輔助動(dòng)作腳本設(shè)計(jì)，持續(xù)實(shí)時(shí)驅(qū)動(dòng)3D虛擬形象。這就意味著該技術(shù)的適配性更高，不會(huì)受到播報(bào)內(nèi)容文本的限制，大大提升了該技術(shù)的使用性。

人臉關(guān)鍵點(diǎn)檢測(cè)，實(shí)現(xiàn)表情實(shí)時(shí)驅(qū)動(dòng)。通過(guò)攝像頭捕捉真人表情，智能檢測(cè)人臉區(qū)域并標(biāo)記特征點(diǎn)(眼、口、鼻、眉、面部輪廓等)，不斷對(duì)人臉特征和表情進(jìn)行自適應(yīng)，同步至3D虛擬形象面部，驅(qū)動(dòng)3D虛擬形象動(dòng)畫(huà);支持47種面部表情，及10種舌頭動(dòng)作，靈動(dòng)逼真。

NeuHub京東人工智能開(kāi)放平臺(tái)從建立之初就本著開(kāi)放共贏的心態(tài)積極引入生態(tài)合作伙伴共同實(shí)現(xiàn)人工智能技術(shù)在各產(chǎn)業(yè)的落地。針對(duì)不同類(lèi)型的合作伙伴，京東AI發(fā)布了AI生態(tài)合作伙伴煉金計(jì)劃，旨在連接AI創(chuàng)業(yè)伙伴、地方政府和品牌企業(yè)，深入場(chǎng)景，融合產(chǎn)品攜手生態(tài)伙伴，成就AI價(jià)值。煉金計(jì)劃包含服務(wù)提供類(lèi)、渠道合作類(lèi)及集成創(chuàng)新類(lèi)合作伙伴，京東AI為三類(lèi)伙伴提供全渠道的品牌催化、技術(shù)催化及業(yè)務(wù)催化，與合作伙伴攜手創(chuàng)造有溫度的AI(煉金計(jì)劃申請(qǐng)鏈接。截至日前，NeuHub京東人工智能開(kāi)放平臺(tái)生態(tài)已吸納超過(guò)300家優(yōu)秀的合作伙伴，并與超過(guò)10家合作伙伴深度合作進(jìn)行聯(lián)合產(chǎn)品打造。

作為產(chǎn)業(yè)開(kāi)發(fā)者和生態(tài)伙伴，相芯科技僅是京東人工智能開(kāi)放平臺(tái)NeuHub的一個(gè)縮影。未來(lái)將會(huì)有更多的產(chǎn)業(yè)開(kāi)發(fā)者，調(diào)用NeuHub平臺(tái)的AI能力，結(jié)各自產(chǎn)業(yè)痛點(diǎn)，引發(fā)AI+產(chǎn)業(yè)的化學(xué)反應(yīng)。同時(shí)，產(chǎn)業(yè)開(kāi)發(fā)者在產(chǎn)業(yè)應(yīng)用過(guò)程中的成果和實(shí)踐又可以反哺AI技術(shù)的迭代、更新。京東AI助力更多人成為產(chǎn)業(yè)開(kāi)發(fā)者，讓產(chǎn)業(yè)加上AI的能力，扶持更多的千億產(chǎn)業(yè)領(lǐng)軍企業(yè)，推動(dòng)社會(huì)文明進(jìn)步。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。