根據(jù)MIT和Google研究人員近期發(fā)表的論文,他們正在訓(xùn)練AI將圖像、聲音和文字等多方面信息匹配起來。
在語音識別、圖像識別以及下圍棋等單項(xiàng)能力方面,AI已經(jīng)足夠出色,甚至超越了人類。但是如果AI一次只能使用一種感知能力,無法將看到和聽到的內(nèi)容進(jìn)行匹配的話,就無法徹底理解周圍的世界。這正是MIT和Google的研究人員進(jìn)行這項(xiàng)研究原因。
研究人員并沒有教給算法任何新東西,只是建立了一種方式讓算法能夠?qū)⒍喾N感官獲得的知識進(jìn)行連接和協(xié)調(diào)。這一點(diǎn)至關(guān)重要。
論文的聯(lián)合作者之一——MIT的AI博士后Yusuf Aytar以無人車為例:比如無人車的聲音傳感器先聽到了救護(hù)車的聲音,然后激光雷達(dá)才看到救護(hù)車的樣子。有關(guān)救護(hù)車的鳴叫聲、樣子以及職能的知識可以讓無人車放慢速度,切換車道,為救護(hù)車讓路。
他說道:“你是先看到汽車還是先聽見引擎聲并沒有關(guān)系,你馬上能識別出這是同一個(gè)概念。因?yàn)槟愦竽X中的信息已經(jīng)自然地把它們協(xié)調(diào)統(tǒng)一起來了。”
為了訓(xùn)練這套系統(tǒng),MIT的研究小組首先向神經(jīng)網(wǎng)絡(luò)展示了與音頻相關(guān)的視頻幀。在神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)視頻中的對象并且識別出特別的音頻之后,AI就會嘗試預(yù)測哪一個(gè)對象跟聲音關(guān)聯(lián)。比方說,招手會不會發(fā)出聲音呢?
接下來,研究人員又以相同的形式為算法提供了帶標(biāo)題的圖片,讓它將文字和圖片進(jìn)行匹配。網(wǎng)絡(luò)首先需要單獨(dú)識別出圖中所有的對象以及相關(guān)問題,然后才能進(jìn)行匹配。
由于AI獨(dú)立識別聲音、圖像、文字的能力已經(jīng)十分出色,這種網(wǎng)絡(luò)乍看之下并沒有什么了不起。但研究人員表示,當(dāng)他們對AI進(jìn)行聲音/圖像、圖像/文字的配對訓(xùn)練時(shí),系統(tǒng)就能在未經(jīng)訓(xùn)練指導(dǎo)哪個(gè)單詞與不同聲音匹配的情況下將聲音與文字關(guān)聯(lián)起來。這表明神經(jīng)網(wǎng)絡(luò)對于所看到的、聽到的或者讀到的東西已經(jīng)形成了更加客觀的看法,而且這種看法的形成并不完全依賴于它用來了解這一信息的媒介。
統(tǒng)籌對象的觀感、聽覺以及文字后,算法就能自動(dòng)將聽到的東西轉(zhuǎn)化為視覺圖像,從而強(qiáng)化對于世界的理解。
據(jù)悉,Google也進(jìn)行了類似的研究,不過Google更加強(qiáng)調(diào)一點(diǎn):新算法還能將文字轉(zhuǎn)化成其他的媒體形式,雖然從準(zhǔn)確率上來說,它暫時(shí)還比不上單用途的算法。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 曝各大廠商正在籌備7000mAh電池新機(jī):OPPO/一加或率先領(lǐng)銜
- 蘋果在印度的iPhone出口額激增,半年內(nèi)接近60億美元
- 蘋果M5芯片預(yù)計(jì)2025年底推出,將采用臺積電3nm制程
- 蘋果發(fā)布2024款24英寸iMac:搭載M4芯片,起售價(jià)10999元
- 蘋果iOS/iPadOS 18.1亮點(diǎn)更新:通話錄音功能上線,Apple Intelligence初登場
- 三季度國內(nèi)市場智能手機(jī)出貨量報(bào)告:蘋果iPhone排名第二,vivo領(lǐng)跑
- 蘋果或?qū)⒂诿髂臧l(fā)布致敬iMac G4設(shè)計(jì)的智能家居顯示器
- 三季度中國學(xué)習(xí)平板賣出122.6萬臺,同比大增38%
- vivo X200 Pro拍照炫光問題引關(guān)注 沖擊高端不能忽視產(chǎn)品質(zhì)量
- 天貓精靈發(fā)布哇哦閨蜜機(jī)新品,開啟AI智臻智享新時(shí)代
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。