4月19-20日，專注于音視頻領域的多媒體技術峰會——LiveVideoStackCon在上海順利閉幕。本次大會以“技術開啟新視界”為主題，匯聚了全國音視頻技術的資深專家和從業(yè)者，圍繞畫質(zhì)評價與增強、服務端與架構(gòu)設計、前端與用戶端、音頻技術和解決方案等不同方向展開深入挖掘和探討，不斷拓展了音視頻技術的應用場景和行業(yè)邊界。
在“解決方案”專場的主題演講中，相芯科技資深圖形引擎開發(fā)經(jīng)理蔡銳濤從音視頻內(nèi)容互動技術、行業(yè)實踐及全鏈路人臉AR特效解決方案三個角度，全方位介紹了相芯科技內(nèi)容互動技術在音視頻領域的新實踐，并展示了其豐富的AI+3D內(nèi)容生成與互動的行業(yè)解決方案。
創(chuàng)新內(nèi)容互動技術，20余款功能隨你挑
隨著經(jīng)濟社會加速發(fā)展，與互聯(lián)網(wǎng)一起成長起來的Z世代正在成為社會新的消費主力。他們追求個性與自我，崇尚興趣至上，熱愛社交，渴望被關注，并將“虛擬”網(wǎng)絡世界當成他們追求精神活動的載體，從中尋求自我認同和自我成長。
如何吸引他們的目光，抓住他們的需求，進而助推音視頻行業(yè)發(fā)展？蔡銳濤從人臉內(nèi)容互動技術切入，全面介紹了相芯科技通過技術提升內(nèi)容層次、豐富內(nèi)容趣味、拓展內(nèi)容邊界，從而幫助用戶有效提升內(nèi)容觸達率，大大強化了企業(yè)與用戶間的粘性。
（AI+3D內(nèi)容互動新技術）
會上，蔡銳濤深入剖析了相芯科技的三款產(chǎn)品——NAMA、PTA、STA。這些產(chǎn)品基于不同的底層技術，為各類企業(yè)的內(nèi)容創(chuàng)造提供了更多可能。以NAMA產(chǎn)品線為例，經(jīng)過近3年的發(fā)展，已延伸出了美顏、貼紙、Animoji、背景分割、海報換臉等16項功能。其中，在美顏技術方面，相芯科技已擁有包含美顏、美妝、美型、濾鏡等在內(nèi)的一套完整的解決方案，并于不久前推出了主打質(zhì)感美顏的SDK包。
PTA（Photo-to-Avatar）是一項可以根據(jù)用戶上傳的自拍照片，生成與用戶相似且美觀的3D虛擬形象的服務。相芯科技的生成算法目前可以自動匹配臉型、五官特征、頭發(fā)胡子、膚色唇色、眼睛等，生成和輸出與人像高度匹配的3D數(shù)字化身。且生成后，還支持用戶進行捏臉調(diào)整，實時裝扮虛擬形象，及進行實時表情驅(qū)動。
STA（speech-to-animation）語音驅(qū)動是相芯科技研發(fā)的一套驅(qū)動虛擬形象嘴唇動作與語音實時同步呈現(xiàn)的產(chǎn)品技術。這一技術在內(nèi)容動態(tài)呈現(xiàn)和內(nèi)容制作兩方面有很好的落地場景，可為用戶提供一種內(nèi)容創(chuàng)作低門檻、體驗更自然的語音人機交互方式。
“經(jīng)過近3年的發(fā)展，我們已積累了400+家B端用戶，SDK月均鑒權調(diào)用已超10億次。”蔡銳濤說，目前相芯科技的全鏈路人臉AR特效解決方案，已經(jīng)成為涵蓋內(nèi)容生成、內(nèi)容交互、內(nèi)容渲染的一個完整解決方案，可滿足各類用戶對AI+3D內(nèi)容創(chuàng)作的需求。
視頻社交成主流，SDK走向輕量化
近年來，在監(jiān)管收緊、技術迭代、消費升級、人工智能應用越來越廣的背景下，短視頻行業(yè)正在迎來一輪新的洗牌。如何在這一輪競爭中尋求突破口，為更多短視頻企業(yè)的發(fā)展賦能？以技術來撬動內(nèi)容生產(chǎn)，滿足不同用戶的不同需求，是相芯科技一直以來的追求。
蔡銳濤指出，從今年初開始，市場上已出現(xiàn)了頭條多閃、聊天寶、馬桶MT等多個主打視頻社交的產(chǎn)品，陌生人社交或?qū)⒊蔀槟贻p一代的主流模式。而相芯科技早已瞄準這一領域，并研發(fā)出了Avatar捏臉技術。
（動圖）
這一SDK開發(fā)包首先具有輕量級的渲染引擎，提供多種材質(zhì)模板，可供客戶快速自定義渲染效果，且SDK包最小只有2.6M；其次，還支持用戶根據(jù)自己喜好對虛擬角色進行捏臉、換裝、換發(fā)等，制作出一個和自己很像且更美觀的3D數(shù)字化身；最后，還提供內(nèi)容制作工具，方便讓客戶隨時做出想要的產(chǎn)品。
此外，針對模型道具制作過程中可能存在的運行內(nèi)存問題，蔡銳濤表示，相芯科技研發(fā)了數(shù)據(jù)壓縮和模型優(yōu)化技術，力爭用最小的運行內(nèi)存來實現(xiàn)用戶實時捏臉、驅(qū)動虛擬形象等效果。以模型8000個頂點、40個捏臉維度為例，全部模型內(nèi)存占用最少需要458M，但經(jīng)過壓縮優(yōu)化后，相芯科技可將運行內(nèi)存降至60M，讓絕大部分的設備都可以使用。
（音視頻處理SDK架構(gòu)）
“解決內(nèi)存問題后，為提高客戶美術制作效率，我們還為客戶提供了自動模型生成工具，讓客戶可以一鍵生成表情動作模型?！辈啼J濤強調(diào)，相芯科技一直希望能深入客戶的各類應用場景，用技術幫助客戶解決問題，用產(chǎn)品賦能客戶發(fā)展，讓更多扎根于直播、短視頻、社交等領域的客戶創(chuàng)新變革，站上新起點，迎接新未來。
- 蜜度索驥：以跨模態(tài)檢索技術助力“企宣”向上生長
- AI超跑新秀揭秘：理想或?qū)⑸孀愣虅☆I域，廣電部門嚴查紅果短劇風波
- 紅果短劇回應被約談：5天內(nèi)暫停新劇上線，積極整改，重樹內(nèi)容標準
- 互聯(lián)網(wǎng)大廠春節(jié)福利揭秘：高薪休假與日常福利究竟誰更勝一籌？
- 亞馬遜CTO預測：2025年及未來五大科技趨勢，未來已來，你準備好了嗎？
- 鴨鴨羽絨服與夢餉科技攜手打造超級品牌日，GMV同比增長300%，共贏新零售未來
- 中國客戶海外安全案件激增，2025年需應對碎片化風險：SOS報告揭示新挑戰(zhàn)
- 小米布局GPU集群，探索AI大模型新領域，科技巨頭引領未來趨勢
- 阿里影業(yè)入股姚安娜經(jīng)紀公司：新篇章，新機遇
- 螞蟻森林再度捐資河北種樹，共筑綠色長城
- 谷歌不打算賤賣自家明星產(chǎn)品：Chrome瀏覽器
免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。
