本文將分享加州大學(xué)助理教授王鑫和王威廉等人在ECCV spotlight的工作。為了實(shí)現(xiàn)VLN智能體，不僅需要學(xué)習(xí)理解語(yǔ)言語(yǔ)義和視覺(jué)環(huán)境，同時(shí)還要適應(yīng)視覺(jué)語(yǔ)言交互情況下的動(dòng)態(tài)變化，研究人員提出了一種對(duì)抗驅(qū)動(dòng)的反事實(shí)思考方法。模型通過(guò)學(xué)習(xí)評(píng)價(jià)有效的反事實(shí)條件來(lái)代替采樣充分但信息不足的數(shù)據(jù)，最終形成了一種比隨機(jī)采樣路徑方法更為有有效的對(duì)抗策略。
視覺(jué)語(yǔ)言導(dǎo)航（Vision－and－language navigation， VLN）是機(jī)器人基于自然語(yǔ)言指令在3D環(huán)境中進(jìn)行移動(dòng)以到達(dá)目標(biāo)的任務(wù)。它不僅需要理解自然語(yǔ)言信息，同時(shí)還需要將周?chē)h(huán)境的視覺(jué)信息進(jìn)行編碼，在語(yǔ)言指令的引導(dǎo)下利用場(chǎng)景的關(guān)鍵特征來(lái)向目標(biāo)位置移動(dòng)。
為了實(shí)現(xiàn)VLN智能體，不僅需要學(xué)習(xí)理解語(yǔ)言語(yǔ)義和視覺(jué)環(huán)境，同時(shí)還要適應(yīng)視覺(jué)語(yǔ)言交互情況下的動(dòng)態(tài)變化。這一復(fù)雜的任務(wù)所面臨的最大困難在于訓(xùn)練數(shù)據(jù)的稀缺性。例如在Room－to－Room（R2R）數(shù)據(jù)集中包含了超過(guò)二十萬(wàn)條可能的路徑，但數(shù)據(jù)集中卻只有大約一萬(wàn)四千條采樣路徑。如此稀缺的數(shù)據(jù)使得智能體在交換環(huán)境中學(xué)習(xí)語(yǔ)言和視覺(jué)任務(wù)的優(yōu)化匹配問(wèn)題變得十分困難。
而對(duì)于人類(lèi)來(lái)說(shuō)，通常缺乏結(jié)合視覺(jué)感知和語(yǔ)言指令來(lái)對(duì)不熟悉的環(huán)境進(jìn)行探索的能力，然而人類(lèi)的思維還是可以利用反事實(shí)推理來(lái)完善缺失的信息。例如，如果人類(lèi)按照“右轉(zhuǎn)”的指令但看到了門(mén)擋在前面，人們就會(huì)自然而然的思考要是左轉(zhuǎn)會(huì)遇到什么情況；如果我們停在餐桌前而不是徑直走過(guò)，那么指令應(yīng)該是什么樣的呢？我們可以看到反事實(shí)推理可以通過(guò)探索并考量可能的行為方式（并沒(méi)有實(shí)際發(fā)生，類(lèi)似于設(shè)想）來(lái)改進(jìn)VLN任務(wù)的表現(xiàn)。這可以使得主體在數(shù)據(jù)缺乏的場(chǎng)景下通過(guò)環(huán)境的引導(dǎo)熟悉（bootstrapping familiarity）和指令與多個(gè)行為策略選項(xiàng)中的聯(lián)系來(lái)進(jìn)行有效操作。
反事實(shí)思考已經(jīng)被用于多種任務(wù)來(lái)增強(qiáng)模型的魯棒性，但還沒(méi)有顯式的反事實(shí)模型被針對(duì)性地用于VLN任務(wù)中。雖然有像Speaker－Follower這樣的方法對(duì)訓(xùn)練樣本進(jìn)行了增強(qiáng)，但隨機(jī)采樣方法太任意了。下圖展示了基于隨機(jī)采樣增強(qiáng)數(shù)據(jù)訓(xùn)練的模型性能隨增強(qiáng)比例的變化，可以看到在60％以后性能幾乎就不再增加。這是由于這些路徑都是隨機(jī)采樣的，限制了反事實(shí)思考對(duì)于數(shù)據(jù)增強(qiáng)的所帶來(lái)的提升。
隨機(jī)采樣和APS采樣的對(duì)比，可以看到隨機(jī)手段對(duì)性能的提升會(huì)遇到瓶頸。
在這篇論文中，研究人員提出了一種對(duì)抗驅(qū)動(dòng)的反事實(shí)思考方法，模型通過(guò)學(xué)習(xí)評(píng)價(jià)有效的反事實(shí)條件來(lái)代替采樣充分但信息不足的數(shù)據(jù)。研究人員首先引入了模型未知的對(duì)抗路徑采樣器（adversarial path sampler， APS）來(lái)生成富有挑戰(zhàn)并有效的增強(qiáng)路徑，作為目標(biāo)導(dǎo)航模型的訓(xùn)練樣本。在對(duì)抗訓(xùn)練過(guò)程中，導(dǎo)航器嘗試著去完成APS生成的路徑并更好地優(yōu)化導(dǎo)航策略，而APS的目標(biāo)則在于不斷生成更具挑戰(zhàn)性的路徑。這種對(duì)抗策略比隨機(jī)采樣路徑方法更為有有效。
此外在APS的增強(qiáng)下，模型對(duì)于陌生場(chǎng)景和未知場(chǎng)景具有更好地適應(yīng)性，實(shí)現(xiàn)基于環(huán)境的預(yù)探索機(jī)制。這樣在進(jìn)入新環(huán)境后，機(jī)器人可以首先對(duì)其進(jìn)行預(yù)探索并熟悉環(huán)境，隨后在自然語(yǔ)言的引導(dǎo)下完成任務(wù)。在R2R數(shù)據(jù)集上的結(jié)果表明APS可以被集成到多種VLN模型中，大幅提升已知和未知環(huán)境中的性能。
123下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
