近日，中科院和阿里安全的研究者讓AI掌握通過(guò)聲音找到“主人”的任務(wù)。經(jīng)驗(yàn)證，相較于人類(lèi)67%的正確率，AI的準(zhǔn)確率接近90%。在“1對(duì)N”的匹配實(shí)驗(yàn)中，AI還能對(duì)聲音歸屬人臉的“可能性”進(jìn)行排序。
該技術(shù)是一種自適應(yīng)的學(xué)習(xí)框架，用來(lái)挖掘和學(xué)習(xí)人臉與聲音的潛在聯(lián)系，該論文研究成果隨即也被CVPR 2021接收。
現(xiàn)有研究表明，人臉和聲音受到年齡、性別、生理結(jié)構(gòu)、語(yǔ)言習(xí)慣等共同因素的影響，兩者的聯(lián)系強(qiáng)烈而復(fù)雜多樣。該研究第一作者、中科院計(jì)算所博士研究生溫佩松介紹，中科院和阿里安全的研究團(tuán)隊(duì)將公開(kāi)數(shù)據(jù)集中兩種類(lèi)型的數(shù)據(jù)在共享空間中表示，從而達(dá)到跨模態(tài)匹配的目的，在學(xué)習(xí)策略上利用了數(shù)據(jù)集的局部和全局信息，提高了模型的學(xué)習(xí)效率和效果。
通俗來(lái)看，即聲音可能是音頻格式，人臉是圖片格式，兩類(lèi)信息以不同的格式存儲(chǔ)，難以比較，所以研究者將聲音和人臉“翻譯”成了同一種格式的信息，讓AI模型可以對(duì)兩種信息之間的關(guān)聯(lián)自行學(xué)習(xí)。AI學(xué)會(huì)了兩種信息的關(guān)聯(lián)性之后，就能幫聲音找到人臉，或者幫人臉找到聲音。因此，AI的這項(xiàng)技能不僅可以“聽(tīng)音識(shí)人”，還能“見(jiàn)人知聲”。
溫佩松介紹，該研究進(jìn)行了三類(lèi)實(shí)驗(yàn)，第一種，給定一段聲音和僅含有一張正確人臉的若干張人臉圖片，AI匹配聲音和人臉的正確率最高可達(dá)87.2%；第二種，給定一段聲音和一張人臉，詢(xún)問(wèn)AI這是否屬于同一個(gè)人，準(zhǔn)確率最高可達(dá)87.2%；第三種，給定一段聲音和含有若干張正確人臉的圖片，要求AI把所有人臉排序，使得正確的人臉盡可能靠前，AI也能準(zhǔn)確完成任務(wù)。該實(shí)驗(yàn)在公開(kāi)測(cè)試集上一共測(cè)試了20076張人臉和21850段音頻，AI的表現(xiàn)都令人驚喜。
圖說(shuō)：AI模型通過(guò)比較聲音和人臉圖片在共享空間的距離，推斷出相似度，按相似度將候選人臉排序。
在相同的任務(wù)上，如果待鑒別對(duì)象不限制性別，人類(lèi)判斷的準(zhǔn)確率達(dá)81.3%，在限制性別的情況下，準(zhǔn)確率僅為57.1%，性別因素對(duì)AI的影響卻非常小，準(zhǔn)確率依然如上述結(jié)果，高于人類(lèi)。
據(jù)阿里安全圖靈實(shí)驗(yàn)室資深算法專(zhuān)家華棠介紹，該技術(shù)后續(xù)將在內(nèi)容安全和賬戶(hù)安全領(lǐng)域探索應(yīng)用，對(duì)抗偽造類(lèi)視頻攻擊，保護(hù)用戶(hù)財(cái)產(chǎn)和信息安全。“有些人利用偽造視頻試圖騙過(guò)認(rèn)證系統(tǒng)，AI的這項(xiàng)技能將進(jìn)一步驗(yàn)證聲音與相應(yīng)真人是否匹配，防范欺詐，守護(hù)安全。”華棠說(shuō)，這也是讓AI在提升安全水位上有更多用武之地。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 國(guó)內(nèi)單次最大規(guī)模汽車(chē)碰撞測(cè)試結(jié)果出爐 中國(guó)品牌表現(xiàn)亮眼
- TechWeb微晚報(bào)：OpenAI推出ChatGPT搜索，華為前三季度凈利潤(rùn)628.7億元
- 尚網(wǎng)網(wǎng)絡(luò)張黎黎：AI產(chǎn)品設(shè)計(jì)需要聚焦用戶(hù)真實(shí)需求
- Akamai與Kyndryl合作：加速企業(yè)零信任安全策略的實(shí)施
- 懂車(chē)帝CPS迎來(lái)四大產(chǎn)品升級(jí) 加速?gòu)臅?huì)員到交易模式轉(zhuǎn)型
- 凱迪拉克新XT6將于11月15日上市
- 消息稱(chēng)蔚來(lái)第三品牌將采用混合動(dòng)力 官方回應(yīng)來(lái)了
- 小米汽車(chē)：10月小米SU7單月交付量首次突超2萬(wàn)臺(tái)
- 紙質(zhì)火車(chē)票成為歷史 今起鐵路客運(yùn)全面推廣使用電子發(fā)票
- 防不勝防！今年雙11的這些坑，你踩了幾個(gè)？
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。
