多視圖立體視覺(jué)是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要問(wèn)題，在三維重建、機(jī)器人導(dǎo)航和圖形學(xué)中都具有重要的應(yīng)用。而現(xiàn)有的多視圖深度估計(jì)方法一方面對(duì)于無(wú)紋理／弱紋理的區(qū)域、較細(xì)較薄的結(jié)構(gòu)無(wú)法很好的重建，同時(shí)會(huì)在一定程度上丟失三維形狀的邊角和平面信息，此外對(duì)于遮擋區(qū)域的深度估計(jì)還會(huì)存在一定的退化現(xiàn)象。
為了解決這一問(wèn)題，來(lái)自香港大學(xué)和馬普研究所的研究人員在深度估計(jì)模型中引入了融合表面法向量約束來(lái)更好地捕捉曲率變化劇烈和平面區(qū)域的信息，同時(shí)還引入了遮擋注意力策略來(lái)進(jìn)一步提升深度估計(jì)的精度。實(shí)驗(yàn)表明在這些方法的作用下，大幅度提升了單目多視圖的深度估計(jì)性能，并在多個(gè)測(cè)評(píng)指標(biāo)上超過(guò)了先前的深度估計(jì)方法。
多視圖深度估計(jì)
本文所要研究的問(wèn)題是利用單個(gè)移動(dòng)相機(jī)獲得的多視角視頻中估計(jì)出場(chǎng)景深度，但從彩色視頻序列中估計(jì)深度并不簡(jiǎn)單。傳統(tǒng)立體視覺(jué)方法無(wú)法處理無(wú)紋理區(qū)域、細(xì)薄結(jié)構(gòu)、銳利的形狀邊緣和非朗伯表面。雖然近年來(lái)深度學(xué)習(xí)方法利用逐像素的深度損失進(jìn)行端到端的訓(xùn)練得到了較為精確的結(jié)果，但還無(wú)法有效保持陡峭的邊、角、平面結(jié)構(gòu)等主要的形狀特征，而這對(duì)于場(chǎng)景的理解特別是室內(nèi)人造物件的重建至關(guān)重要。如何解決這些問(wèn)題，在深度估計(jì)過(guò)程中保持局部和全局的幾何特征就顯得尤為重要。
法向量可以編碼物體表面的角度信息，對(duì)于平面可以利用統(tǒng)一的法向量進(jìn)行約束，而對(duì)于劇烈變化的局部結(jié)構(gòu)也可以利用法向量中包含的角度信息進(jìn)行約束。所以在深度估計(jì)過(guò)程中，利用法向量作為深度外的另一個(gè)約束可以有效提升模型對(duì)于場(chǎng)景全局和細(xì)節(jié)的重建能力。
此外在多視角重建過(guò)程中，特定視角下某些區(qū)域會(huì)存在明顯的遮擋，這會(huì)造成不同視角下得到的深度在遮擋區(qū)域變換劇烈。同時(shí)遮擋和非遮擋區(qū)域?qū)τ谏疃裙烙?jì)的貢獻(xiàn)也各不相同，有效處理遮擋區(qū)域是高精度深度估計(jì)的另一個(gè)關(guān)鍵所在。
實(shí)現(xiàn)方法
為了解決這些問(wèn)題，本文提出了融合法向量（combined normal map， CNM）作為深度估計(jì)任務(wù)中的額外約束，同時(shí)利用遮擋注意力機(jī)制來(lái)處理遮擋對(duì)深度估計(jì)造成的影響，在進(jìn)一步優(yōu)化深度結(jié)果的同時(shí)還能給出遮擋概率圖。
下圖顯示了模型的完整結(jié)構(gòu)，分為單應(yīng)性變換、代價(jià)空間構(gòu)建、初始深度估計(jì)、遮擋注意力的深度優(yōu)化估計(jì)等主要部分。其中輸入包含一張位于時(shí)間軸中間的參考圖像和偶數(shù)張?jiān)磮D像。在單應(yīng)性變換的作用下，每一張?jiān)磮D像與參考圖像都可以在采樣深度上生成代價(jià)空間，而后利用DepthNet進(jìn)行初始深度估計(jì)，并使用CNM和深度的L1損失進(jìn)行訓(xùn)練。在獲取初始深度后，多視角的代價(jià)空間進(jìn)行融合并與預(yù)測(cè)出的深度圖一同送入優(yōu)化網(wǎng)絡(luò)中進(jìn)行處理，在遮擋注意力機(jī)制的作用下，提升深度估計(jì)的精度，并同時(shí)給出遮擋概率圖。這一部分訓(xùn)練同時(shí)由深度、法向量和遮擋進(jìn)行約束。
下面我們將利用最簡(jiǎn)單的三視圖情況作為例子來(lái)對(duì)每一個(gè)細(xì)節(jié)進(jìn)行深入地探討。其中中間視圖作為參考視圖，前后兩張則作為源視圖。首先需要利用單應(yīng)性變換將源視圖變化到參考視圖的坐標(biāo)下、一系列相互平行的深度采樣平面上去，將任意一張?jiān)匆晥D變換到給定深度上并與對(duì)應(yīng)位置的參考視圖配對(duì)，通過(guò)計(jì)算在不同深度上計(jì)算視覺(jué)連續(xù)連續(xù)性來(lái)構(gòu)建出WxHxD的代價(jià)空間，其中W，H為圖像的長(zhǎng)寬，D為深度采樣的數(shù)量。與先前從圖像對(duì)中抽取4D的代價(jià)空間不同，這種直接基于圖像對(duì)計(jì)算代價(jià)空間的方法避免了3D卷積對(duì)于計(jì)算資源和時(shí)間的消耗。
在獲取代價(jià)空間后，研究人員使用了DepthNet對(duì)代價(jià)空間進(jìn)行聚合，以得到初始的深度信息。需要注意的是，這一部分的輸入還包含了對(duì)應(yīng)的視圖，以便充分利用圖像中所包含的上下文信息。最終，模塊輸出的初始深度圖為與參考圖像視角下。
為了保留場(chǎng)景更多的局部和全局結(jié)構(gòu)信息，研究人員還引入了CNM來(lái)作為基準(zhǔn)來(lái)監(jiān)督法向量約束。一方面通過(guò)PlaneCNN來(lái)抽取場(chǎng)景的平面區(qū)域，并利用區(qū)域平均法向量來(lái)為這一區(qū)域賦值；另一方面利用局域法向量計(jì)算方法來(lái)獲取非平面區(qū)域的法向量。最主要的目的是利用局部表面法向量來(lái)捕捉局部曲率較高的幾何結(jié)構(gòu)，而用平均法向量來(lái)去除平面區(qū)域的噪聲保留全局結(jié)構(gòu)。最終在深度的L1損失和融合法相量CNM的約束下得到了效果較好的深度估計(jì)結(jié)果，下面顯示了兩部分損失的定義：
為了進(jìn)一步提升深度估計(jì)的精度，在提升部分RefineNet則利用了遮擋注意力機(jī)制來(lái)進(jìn)一步優(yōu)化模型性能。
將上一步得到的初始深度圖合并為一張深度圖并與平均代價(jià)空間一同送入優(yōu)化網(wǎng)絡(luò)進(jìn)行處理。其中優(yōu)化網(wǎng)絡(luò)包含兩個(gè)解碼器，分別用于深度估計(jì)和遮擋概率估計(jì)。
深度圖中的遮擋區(qū)域不能同時(shí)在兩張初始深度圖中觀察到，與平等處理所有像素處的深度不同的是在計(jì)算損失時(shí)，為遮擋區(qū)域的賦予較低的權(quán)重，而非遮擋區(qū)域權(quán)重較高（非遮擋區(qū)域較為可靠）。此外得到的遮擋概率圖還可以用于濾除一些不靠譜的深度估計(jì)結(jié)果，并有助于從深度圖進(jìn)行三維重建。
123下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
