視覺常識推理VCR (Visual Commonsense Reasoning )是人工智能領(lǐng)域的前沿?zé)狳c問題，我國《新一代人工智能發(fā)展規(guī)劃》中也將從處理類型單一的數(shù)據(jù)到跨媒體認(rèn)知、學(xué)習(xí)和推理的“跨媒體智能”納入五大智能方向。
近日，騰訊微視視頻理解團(tuán)隊在多模態(tài)理解領(lǐng)域最權(quán)威排行榜之一VCR任務(wù)中榮登榜首。該團(tuán)隊提出的BLENDer(BimodaL ENcoDer)模型超越百度、谷歌、微軟、Facebook等多家研究機(jī)構(gòu)的模型效果，一舉成為單、多模型的三項指標(biāo)第一，值得注意的是，BLENDer僅憑單模型效果便超越了此前榜單上的多模型最好效果，賦予了機(jī)器更強(qiáng)大的理解和認(rèn)知能力，并深度應(yīng)用到短視頻領(lǐng)域。
趕超百度、谷歌等，騰訊微視AI團(tuán)隊登頂VCR榜首
VisualCommonsense Reasoning (VCR)任務(wù)于2018年由華盛頓大學(xué)的研究人員首次提出，任務(wù)旨在將圖像和自然語言理解二者結(jié)合，驗證多模態(tài)模型高階認(rèn)知和常識推理的能力，讓機(jī)器擁有“看圖說話”的能力, 例如VCR能夠通過圖片中人物的行為，進(jìn)一步推理出其動機(jī)、情緒等信息。VCR榜單是多模態(tài)理解領(lǐng)域最權(quán)威的排行榜之一，也是當(dāng)前圖像理解和多模態(tài)領(lǐng)域?qū)哟巫钌?、門檻最高的任務(wù)之一，吸引了微軟、谷歌、Facebook、百度、UCLA等國內(nèi)外公司和研究機(jī)構(gòu)紛紛參與。
此次拔得頭籌的單模型BLENDer來自于騰訊微視視頻理解團(tuán)隊，超越上一屆榜首百度團(tuán)隊的多模態(tài)預(yù)訓(xùn)練模型 ERNIE-ViL-large成為新的VCR榜單霸主。
據(jù)相關(guān)負(fù)責(zé)人介紹，BLENDer模型已經(jīng)應(yīng)用到騰訊微視產(chǎn)品中，賦予了平臺更強(qiáng)大的認(rèn)知能力，使得包含文本、音頻、視頻等多種媒體信息在內(nèi)的短視頻內(nèi)容，能夠更好的做到分類和識別，更加精準(zhǔn)理解和挖掘這些海量的跨媒體信息。例如當(dāng)騰訊微視用戶創(chuàng)作視頻后平臺可識別內(nèi)容并精準(zhǔn)推薦適合的話題，也能根據(jù)內(nèi)容屬性快速推薦給感興趣的用戶，增強(qiáng)創(chuàng)作內(nèi)容的曝光。
騰訊微視視頻理解團(tuán)隊提出的單模型BLENDer，是基于前沿的視覺語言Bert模型，將整個學(xué)習(xí)過程分成三個階段，最終將任務(wù)的三項問答準(zhǔn)確率一舉提高到了81.6, 86.4, 70.8的水平，僅是BLENDer單模型上的表現(xiàn)已經(jīng)超過此前各業(yè)界公司和研究機(jī)構(gòu)的多模型融合效果。
在BLENDer模型中，第一階段以NLP中的Bert模型為起點，結(jié)合海量數(shù)據(jù)中抽取得到的數(shù)百萬張圖片和對應(yīng)描述文本作為BLENDer的輸入進(jìn)行多模態(tài)訓(xùn)練;第二階段，在視覺常識推理數(shù)據(jù)集上學(xué)習(xí)電影中的場景和情節(jié)，使模型在新數(shù)據(jù)上獲得更好的遷移能力;第三階段，引入最終問答任務(wù)，讓BLENDer利用已有的知識和常識對現(xiàn)有問題進(jìn)行人物-人物、人物-場景之間關(guān)系的挖掘和關(guān)聯(lián)進(jìn)行推理，得到最終的答案。
騰訊微視將人工智能技術(shù)賦能短視頻
一直以來，騰訊微視高度關(guān)注技術(shù)研發(fā)，騰訊微視視頻理解團(tuán)隊更是長期深耕多模態(tài)語義理解領(lǐng)域，持續(xù)進(jìn)行技術(shù)突破和落地，將相關(guān)技術(shù)應(yīng)用在海量圖像、視頻、文本等跨媒體信息的認(rèn)知推理中。
同時，騰訊微視團(tuán)隊也不斷從業(yè)務(wù)出發(fā)探索前沿領(lǐng)域，并將人工智能技術(shù)應(yīng)用到短視頻生態(tài)中，貫穿內(nèi)容創(chuàng)作、內(nèi)容審核以及內(nèi)容分發(fā)的各個環(huán)節(jié)。
在內(nèi)容創(chuàng)作環(huán)節(jié)，騰訊微視將3D人臉、人體、GAN等AI技術(shù)結(jié)合AR技術(shù)輔助用戶進(jìn)行內(nèi)容創(chuàng)作，讓創(chuàng)作過程更加便捷、有趣和普惠;在視頻審核環(huán)節(jié)，騰訊微視借助圖像檢測、分類、多模態(tài)理解等AI技術(shù)精準(zhǔn)識別視頻內(nèi)容，提升審核效率，使得用戶生產(chǎn)的內(nèi)容最快時間觸達(dá)消費者，目前騰訊微視內(nèi)容處理效率已取得業(yè)界領(lǐng)先水平;而在視頻分發(fā)環(huán)節(jié)，騰訊微視借助AI技術(shù)從非結(jié)構(gòu)化的圖像、音頻、文本數(shù)據(jù)中提取結(jié)構(gòu)化信息輸出，如標(biāo)簽、特征等，支撐分發(fā)精準(zhǔn)匹配用戶。
未來，人工智能將具備更加多元、深度的交流學(xué)習(xí)能力，而技術(shù)的創(chuàng)新和精進(jìn)將進(jìn)一步推動AI技術(shù)在短視頻業(yè)務(wù)中智能交互場景的落地。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
