三維形狀的結(jié)構(gòu)分析一直是計(jì)算機(jī)圖像學(xué)和幾何處理中的基礎(chǔ)性關(guān)鍵問(wèn)題，人們?cè)谛螤罘指?、形狀抽象和關(guān)鍵點(diǎn)提取和檢測(cè)等方面進(jìn)行了大量的研究。這些形狀分析任務(wù)需要有效學(xué)習(xí)不同形狀間的語(yǔ)義一致性特征或和一致性的結(jié)構(gòu)表示，從而提升幾何與形狀分析任務(wù)的性能。
為了有效表示點(diǎn)云的結(jié)構(gòu)信息，保證結(jié)構(gòu)間逐點(diǎn)的語(yǔ)義對(duì)應(yīng)關(guān)系，得到有效的形狀結(jié)構(gòu)表達(dá)，來(lái)自香港大學(xué)、馬普研究所、Adobe和山東大學(xué)的研究人員們提出了一種以3D結(jié)構(gòu)點(diǎn)形式來(lái)表示形狀結(jié)構(gòu)的新方法。這種無(wú)監(jiān)督的學(xué)習(xí)方法不僅簡(jiǎn)單還具有可解釋性，對(duì)于多種點(diǎn)云采樣和真實(shí)掃描數(shù)據(jù)都十分魯棒，在點(diǎn)云語(yǔ)義形狀對(duì)應(yīng)和語(yǔ)義分割標(biāo)簽遷移任務(wù)上都取得了優(yōu)異的結(jié)果。此外在一致性結(jié)構(gòu)點(diǎn)上基于PCA構(gòu)建的形狀嵌入對(duì)于形狀重建和補(bǔ)全等三維任務(wù)都具有廣泛的潛在應(yīng)用。
三維形狀結(jié)構(gòu)分析
三維結(jié)構(gòu)分析指三維形狀理解的關(guān)鍵所在，近年來(lái)研究人員針對(duì)三維形狀提出了中軸、曲率骨架和關(guān)鍵點(diǎn)等一系列結(jié)構(gòu)表示方法，但先前基于手工特征的工作只能針對(duì)特定任務(wù)進(jìn)行參數(shù)調(diào)優(yōu)，缺乏泛化性和適應(yīng)性。而近年來(lái)深度學(xué)習(xí)的出現(xiàn)為三維形狀表示學(xué)習(xí)提供了新的思路和有力手段，這篇文章將基于深度學(xué)習(xí)構(gòu)建一種新的結(jié)構(gòu)表示學(xué)習(xí)方法，用于建立三維點(diǎn)云間的語(yǔ)義對(duì)應(yīng)關(guān)系。
在PointNet之后，三維點(diǎn)云領(lǐng)域涌現(xiàn)出了一系列開創(chuàng)性的工作，但絕大多數(shù)工作集中于點(diǎn)云的分類、分割和三維形狀的重建。重建的點(diǎn)云往往缺乏結(jié)構(gòu)性的信息，雖然有工作提出了生成結(jié)構(gòu)性點(diǎn)云的方法，但卻沒(méi)有保證逐點(diǎn)的對(duì)應(yīng)關(guān)系。
為了研究這些問(wèn)題，研究人員提出新型的無(wú)監(jiān)督方法來(lái)學(xué)習(xí)同一類三維形狀中語(yǔ)義一致性的結(jié)構(gòu)點(diǎn)，在給定點(diǎn)云的情況下本文的方法能夠生成具有形狀代表性的、很好地抽象和近似輸入點(diǎn)云的結(jié)構(gòu)點(diǎn)序列。雖然這種方法結(jié)構(gòu)簡(jiǎn)單但是具有很強(qiáng)的可解釋性，針對(duì)不同的點(diǎn)云采樣和真實(shí)的點(diǎn)云都具有很強(qiáng)的魯棒性。
實(shí)驗(yàn)表明，這種方法在語(yǔ)義形狀對(duì)應(yīng)和分割標(biāo)簽遷移任務(wù)上都具有良好的表現(xiàn)，利用高度一致性的結(jié)構(gòu)點(diǎn)與PCA方法結(jié)合還構(gòu)建起了可以較完整地保存形狀結(jié)構(gòu)信息的嵌入空間，將為形狀重建等三維任務(wù)提供強(qiáng)有力的支撐。
結(jié)構(gòu)點(diǎn)生成新方法
本文所聚焦的問(wèn)題是從點(diǎn)云中學(xué)習(xí)出內(nèi)蘊(yùn)的結(jié)構(gòu)點(diǎn)表示。下圖顯示了模型的主要結(jié)構(gòu)，其輸入為目標(biāo)的點(diǎn)云集合、輸出為一系列抽取出的可以表示點(diǎn)云輸入的結(jié)構(gòu)點(diǎn)。網(wǎng)絡(luò)通過(guò)非監(jiān)督的方法來(lái)對(duì)同一類的目標(biāo)進(jìn)行形狀分析學(xué)習(xí)，它建立在PointNet＋＋基礎(chǔ)上，添加了點(diǎn)云整合模塊，針對(duì)每一類形狀得到的結(jié)構(gòu)點(diǎn)具有非常好的語(yǔ)義連續(xù)性。
圖中顯示了模型的處理流程，在給定點(diǎn)云的情況下PointNet＋＋首先用于抽取局域的上下文特征F，隨后與抽取的采樣點(diǎn)一起送入到共享的多層感知機(jī)中，得到針對(duì)l個(gè)點(diǎn)的m幅結(jié)構(gòu)點(diǎn)概率圖，最終模型將輸入可以有效表示點(diǎn)云形狀的m個(gè)結(jié)構(gòu)點(diǎn)。
在抽取局域點(diǎn)和特征的過(guò)程中使用的PointNet＋＋編碼器，利用多層次的抽取層在多尺度上自適應(yīng)地融合特征。每一個(gè)級(jí)別由三個(gè)關(guān)鍵的層構(gòu)成，包括了采樣層、多尺度聚類層和PointNet層，它們通過(guò)層級(jí)的方式對(duì)輸入點(diǎn)云進(jìn)行抽象和處理。
隨后l個(gè)采樣點(diǎn)Q和對(duì)應(yīng)的局域特征F被組合送入到點(diǎn)集成模塊中。在給定特征和對(duì)應(yīng)點(diǎn)輸入后，利用共享的多層感知機(jī)模塊獲取每個(gè)點(diǎn)是第m個(gè)結(jié)構(gòu)點(diǎn)的概率圖，最終m個(gè)結(jié)構(gòu)點(diǎn)可以由每個(gè)采樣點(diǎn)與其對(duì)應(yīng)mi結(jié)構(gòu)點(diǎn)的概率加權(quán)而成：
下圖顯示了對(duì)應(yīng)不同結(jié)構(gòu)點(diǎn)學(xué)習(xí)到概率圖，第一列的灰色表示輸入點(diǎn)云，及其十六個(gè)彩色表示的結(jié)構(gòu)點(diǎn)；第二和第三列則表示了框中的結(jié)構(gòu)點(diǎn)對(duì)應(yīng)的概率圖（顏色越深的概率越大）。值得注意的是，學(xué)習(xí)到的概率圖在沒(méi)有顯式的約束下能具有顯著的聚集效應(yīng)。
兩個(gè)結(jié)構(gòu)點(diǎn)對(duì)應(yīng)的概率圖（第一列方框內(nèi)），顏色越深概率越大（二三列）
123下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
