聲網(wǎng)鳳鳴AI引擎正式發(fā)布 涉及AI降噪、AI回聲消除等功能

3月23日消息，今日，聲網(wǎng)正式發(fā)布了囊括AI降噪、AI回聲消除、空間音頻、最佳音效在內(nèi)的聲網(wǎng)新一代音頻技術(shù)智能引擎。目前，該技術(shù)已經(jīng)廣泛應(yīng)用在語聊社交、在線K歌、線上會議、游戲競技、虛擬活動等諸多場景。

據(jù)介紹，通過AI驅(qū)動的方式，聲網(wǎng)打通了音頻采集、前后處理、云端傳輸、編解碼等鏈路。

AI降噪

聲網(wǎng)方面介紹稱，相比于傳統(tǒng)的降噪算法，鳳鳴·AI降噪的效果有顯著提升，可以一次性解決100+種突發(fā)性噪聲，比如辦公場景經(jīng)常遇到的敲鍵盤、鼠標(biāo)點(diǎn)擊、電話鈴聲；家庭環(huán)境中遇到的小孩哭叫、裝修、廚房做飯聲；戶外環(huán)境中的風(fēng)聲、雨聲、汽車噪聲等。

鳳鳴·AI降噪在強(qiáng)降噪的同時(shí)還能兼顧高保真，即使在人聲密集場景下，也能實(shí)現(xiàn)純凈通話體驗(yàn)，甚至還實(shí)現(xiàn)了在不增加額外運(yùn)算量的前提下，對遠(yuǎn)場語音具有明顯的混響抑制能力。如果用戶在一個(gè)房間中距離麥克風(fēng)較遠(yuǎn)，這時(shí)候?qū)Ψ铰牭降穆曇羰悄：?，若使用了聲網(wǎng)的AI降噪算法，對端也能清晰地聽到該用戶的聲音。

此外，聲網(wǎng)自研的AI推理引擎還可以使得AI降噪算法在Android、iOS、Mac、Windows、Web等主流平臺以低精度損傷、高性能、低功耗方式運(yùn)行，使用戶的設(shè)備不卡不燙。聲網(wǎng)表示，經(jīng)數(shù)據(jù)測算，僅開啟鳳鳴·AI降噪功能，相應(yīng)設(shè)備CPU消耗增幅平均值<1%。

AI回聲消除

回聲是影響音視頻通話質(zhì)量的主要因素之一，尤其在線上會議、在線K歌、多人連麥等場景中，不僅損害通話質(zhì)量，影響用戶體驗(yàn)，還可能導(dǎo)致帶寬增加。聲網(wǎng)方面稱，鳳鳴·AI回聲消除利用算法對環(huán)境中產(chǎn)生的回聲混響進(jìn)行有效抑制，智能適應(yīng)各類環(huán)境，實(shí)現(xiàn)精準(zhǔn)音源分離，從混合的近端信號中消除不必要的遠(yuǎn)端信號，保留近端人聲發(fā)送到遠(yuǎn)端，全面消除回聲，實(shí)現(xiàn)高保真音頻體驗(yàn)。比如，在雙人合唱等在線音樂場景下，AI回聲消除可以使得人聲自然流暢，增益效果顯著。

空間音頻

據(jù)介紹，鳳鳴·空間音頻通過純軟件算法方案，模擬頭部球面區(qū)域立體聲場，利用范圍音頻、人聲模糊、空氣衰減模擬等能力，模擬現(xiàn)實(shí)聽覺感受。當(dāng)用戶操作相應(yīng)角色在虛擬場景里移動，可以實(shí)現(xiàn)根據(jù)虛擬人物的面部朝向、音源朝向、遠(yuǎn)近距離與上下高度，呈現(xiàn)不同聲音效果。

空間音頻是元宇宙和游戲這類具備3D場景玩法的最佳搭檔，如狼人殺、虛擬演唱會、虛擬活動等場景，可以有效的增強(qiáng)用戶在線上的互動、聽覺體驗(yàn)，重構(gòu)用戶在虛擬世界的沉浸感與臨場感。同時(shí)，開發(fā)者不必?fù)?dān)心空間音頻功能對于用戶設(shè)備的影響。

聲網(wǎng)方面披露的數(shù)據(jù)顯示，開啟鳳鳴·空間音頻功能后，相應(yīng)設(shè)備CPU消耗增幅平均值<0.7%，內(nèi)存消耗增幅平均值<2M。

最佳音效

據(jù)悉，聲網(wǎng)目前已上線的最佳音效包括語聊社交、K歌、游戲陪玩、專業(yè)主播等場景。

據(jù)聲網(wǎng)音頻娛樂產(chǎn)品負(fù)責(zé)人楊帆介紹，鳳鳴AI引擎目前正在開發(fā)變聲這一功能，用戶將可以體驗(yàn)20+變聲風(fēng)格，多樣角色扮演花式玩轉(zhuǎn)語聊場景。

聲網(wǎng)算法專家許冉指出，鳳鳴AI引擎代表聲網(wǎng)在RTC音頻領(lǐng)域針對核心技術(shù)的長期投入和產(chǎn)出，以及聲網(wǎng)基于音頻核心能力衍生出各種復(fù)雜功能和高端效果的決心，未來聲網(wǎng)將基于鳳鳴AI引擎形成新一代RTC音頻解決方案，比如探索更個(gè)性化的語音方案、語音超分、co-experiencing場景等。

音頻社交的下一站在哪兒？

在圓桌討論環(huán)節(jié)，仙巴科技創(chuàng)始人兼CEO薛達(dá)、揚(yáng)帆出海創(chuàng)始人兼CEO劉武華、科大訊飛海外解決方案產(chǎn)品部產(chǎn)品總監(jiān)吳浩亮、聲網(wǎng)產(chǎn)品市場負(fù)責(zé)人朱超華及聲網(wǎng)音頻娛樂產(chǎn)品負(fù)責(zé)人楊帆，共同談及了音頻社交行業(yè)未來的發(fā)展趨勢。

楊帆指出，音頻社交近幾年的市場規(guī)模仍在持續(xù)增長，依舊有廣闊的發(fā)展空間，總體來說，音頻社交的主要玩法集中在多人語聊房、1V1語聊、語音播客、游戲開黑等場景。薛達(dá)認(rèn)為，作為用戶之間情感的遞進(jìn)紐帶，語音結(jié)合虛擬人以及類似ChatGPT這樣的大模型，可能未來會帶來一波新的社交熱潮。

在市場火熱的前景下，音頻技術(shù)的提升對行業(yè)來說可謂如虎添翼。正如薛達(dá)提到，降噪技術(shù)是實(shí)現(xiàn)元宇宙空間中用戶體驗(yàn)的一個(gè)必不可少因素，因?yàn)橐话銑蕵穲鼍爸卸紩シ疟尘耙魳罚由先寺暫突右粜?，如果沒有空間音頻和降噪，那用戶體驗(yàn)會非常差。吳浩亮認(rèn)為，聲音是打造差異化社交玩法的一個(gè)重要能力，在社交音頻這個(gè)賽道上，大致分為音視頻直播、音頻內(nèi)容生態(tài)，以及泛娛樂音頻三個(gè)類型，音頻技術(shù)能力的提升可以有效助力業(yè)務(wù)端提升用戶體驗(yàn)。

不僅國內(nèi)市場火熱，大量出海企業(yè)也押注音頻社交這一賽道且扎堆中東、東南亞市場，劉武華認(rèn)為中東市場這種大R市場天然契合音頻社交的商業(yè)變現(xiàn)形態(tài)，而東南亞市場年輕用戶多，社交需求旺盛又熱衷于嘗試新鮮事物，且這兩個(gè)市場已有成熟的產(chǎn)品形態(tài)和產(chǎn)業(yè)鏈。此外，吳浩亮提到，東南亞和中東市場目前還處在快速發(fā)展階段，市場機(jī)遇大、用戶基數(shù)大，但還沒有絕對的寡頭形成，較之前傳統(tǒng)社交類型來講，音頻社交的留存能力也較高，企業(yè)需要在用戶感興趣的窗口期盡快實(shí)現(xiàn)轉(zhuǎn)化。

談到音頻社交的未來趨勢，劉武華表示，社交+游戲、社交+元宇宙、社交+AIGC這幾種玩法有不錯(cuò)的發(fā)展空間和前景。楊帆也認(rèn)為，元宇宙方向的場景會更受年輕人青睞，另外AIGC配合語音轉(zhuǎn)文字等應(yīng)用，應(yīng)該也會帶來一波新AI音頻社交熱潮。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。