專利名稱：一種深度圖融合方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺處理領(lǐng)域，特別涉及一種立體視覺中噪聲深度圖融合的方 法和裝置。
背景技術(shù)：
基于立體視覺的深度圖融合是指從一系列的部分重建信息得到完整的表面。概率 模型是一個(gè)處理沖突點(diǎn)的融合方法。在概率圖的算法中，認(rèn)為可見的深度信息是先驗(yàn)知識(shí)， 進(jìn)而從貝葉斯模型融合深度圖。其次，將深度信息轉(zhuǎn)化為求解離散標(biāo)記馬氏場(chǎng)的優(yōu)化問題 也是一種經(jīng)典的融合手段，當(dāng)真實(shí)的深度圖無法估計(jì)時(shí)，這種方法尤為適用。通過投影到原 始測(cè)量圖的最小距離選擇深度信息的表示是一種快速的融合算法。該算法在給定的閾值 下能消除遮擋和不連續(xù)，并且算法非常簡(jiǎn)單，沒有特別的數(shù)學(xué)優(yōu)化，因而比現(xiàn)有的其它算法 快速。算法的核心思想是選取最好的一個(gè)點(diǎn)來替代一組沖突的點(diǎn)，利用NCC測(cè)度并選擇通 過MVS方法得到彩色圖像的投影來選擇最匹配的深度信息。全局優(yōu)化也是一種深度融合算 法。這種算法主要利用一種魯棒的能量模型，可以解決基于剪影和立體視覺的多視角三維 重建，該重建算法因其全局優(yōu)化的特性可以處理大量噪聲信息。但是，現(xiàn)有技術(shù)至少存在以下缺點(diǎn)1、視點(diǎn)間的不完整性，即單一相機(jī)無法感知到一個(gè)物體下的整體三維模型。2、利用現(xiàn)有計(jì)算機(jī)算法無法解決大量深度信息中的噪聲問題，即計(jì)算機(jī)視覺算法 提取出的深度信息是有噪聲的，因此現(xiàn)有深度圖融合算法均無法解決大量噪聲存在下的深 度融合。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一，提出了一種立體視覺中噪聲深度 圖融合的方法和裝置。為達(dá)到上述目的，本發(fā)明提出了一種深度圖融合方法和裝置，其中，深度圖融合方 法包括以下步驟根據(jù)多個(gè)相機(jī)獲取的場(chǎng)景信息對(duì)不同視角的場(chǎng)景提取深度圖；對(duì)從所述 不同視角提取的深度圖進(jìn)行聚類；根據(jù)所述聚類的信息建立缺失矩陣；恢復(fù)所述缺失矩陣 以得到完整的低秩矩陣；根據(jù)彈性網(wǎng)絡(luò)算法從所述完整的低秩矩陣中選取第一維子空間； 和根據(jù)所述第一維子空間實(shí)現(xiàn)三維模型的重建。在本發(fā)明的一個(gè)實(shí)施例中，還包括采用k近鄰法對(duì)所述不同視角的深度圖進(jìn)行 聚類；采用內(nèi)點(diǎn)法對(duì)所述低秩矩陣進(jìn)行恢復(fù)；和采用彈性網(wǎng)絡(luò)算法選取所述第一維子空 間。在本發(fā)明的一個(gè)實(shí)施例中，恢復(fù)所述缺失矩陣以得到完整的低秩矩陣，進(jìn)一步包 括采用壓縮感知原理對(duì)所述缺失矩陣的恢復(fù)；和消除所述缺失矩陣恢復(fù)過程中的小噪聲。在本發(fā)明的一個(gè)實(shí)施例中，所述彈性網(wǎng)絡(luò)還用于消除在所述缺失矩陣恢復(fù)過程中
4的大噪聲。在本發(fā)明的一個(gè)實(shí)施例中，所述彈性網(wǎng)絡(luò)根據(jù)優(yōu)化原則選取所述第一維子空間， 其中，所述優(yōu)化原則為mini |Al| +Aj |n| ^ λ 2 |N| |2s. t. P = A+N其中，Al為所述的完整的低秩矩陣，N為所述深度圖上的噪聲信息，P為所述的缺 失矩陣。在本發(fā)明的一個(gè)實(shí)施例中，所述優(yōu)化原則的約束條件為min. rank (Al)其中，所述約束條件表示所述缺失深度矩陣是低秩的。本發(fā)明的另一方方面提出了一種深度圖融合的裝置，包括預(yù)處理模塊，用于根據(jù) 多個(gè)相機(jī)獲取的場(chǎng)景信息對(duì)不同視角的場(chǎng)景提取深度圖；深度聚類模塊，用于對(duì)從所述不 同視角提取的深度圖進(jìn)行聚類；不完整低秩矩陣建立模塊，用于根據(jù)所述聚類的信息建立 缺失矩陣；不完整低秩矩陣恢復(fù)模塊，用于恢復(fù)所述缺失矩陣以得到完整的低秩矩陣；彈 性網(wǎng)絡(luò)子空間提取模塊，用于根據(jù)彈性網(wǎng)絡(luò)算法從所述完整的低秩矩陣中選取第一維子空 間；三維模型處理模塊，用于根據(jù)所述第一維子空間實(shí)現(xiàn)三維模型的重建。在本發(fā)明的一個(gè)實(shí)施例中，所述深度圖融合裝置還包括所述深度局類模塊采用 k近鄰法對(duì)所述不同視角的深度圖進(jìn)行聚類；所述不完整低秩矩陣恢復(fù)模塊采用內(nèi)點(diǎn)法對(duì) 所述低秩矩陣進(jìn)行恢復(fù)；和所述彈性網(wǎng)絡(luò)子空間提取模塊采用彈性網(wǎng)絡(luò)算法選取所述第一 維子空間。在本發(fā)明的一個(gè)實(shí)施例中，所述彈性網(wǎng)絡(luò)根據(jù)優(yōu)化原則選取所述第一維子空間， 其中，所述優(yōu)化原則為min |Al| +Aj |n| ^ λ 2 |Ν| |2s. t. P = A+N其中，Al為所述的完整的低秩矩陣，N為所述深度圖上的噪聲信息，P為所述的缺 失矩陣。在本發(fā)明的一個(gè)實(shí)施例中，所述優(yōu)化原則的約束條件為min. rank (Al)其中，所述約束條件表示所述缺失深度矩陣是低秩的。通過本發(fā)明提出的深度圖融合的方法和裝置，能夠完成大量噪聲條件下的不完整 信息融合，可以克服深度圖上的原有噪聲和不完整信息，完成高質(zhì)量的三維重建效果。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明深度圖融合方法的流程圖；圖2為本發(fā)明實(shí)施例的相機(jī)可見性分析5
圖3為本發(fā)明兩幅相鄰圖片和相應(yīng)深度圖匹配和分類的過程圖；圖4為應(yīng)用本發(fā)明的方法建立的三維模型；圖5為本發(fā)明所完成的三維模型在精度和完整度上的評(píng)測(cè)；圖6為本發(fā)明建立結(jié)果的國際排名；和圖7為本發(fā)明深度圖融合裝置的結(jié)構(gòu)圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。本發(fā)明是針對(duì)現(xiàn)有視點(diǎn)間的不完整性，即單一相機(jī)無法感知到一個(gè)物體下的整體 三維模型，和利用現(xiàn)有計(jì)算機(jī)算法無法解決大量深度信心中的噪聲問題，即計(jì)算機(jī)視覺算 法提取出的深度信息是有噪聲的，現(xiàn)有深度圖融合算法均無法解決大量噪聲存在下的深度 融合，而提出的一種深度圖融合的方法。本發(fā)明提出的深度圖融合方法，通過矩陣恢復(fù)的方法解決沖突點(diǎn)問題。在該算法 中，所有的沖突點(diǎn)對(duì)最后的融合結(jié)果都有貢獻(xiàn)。點(diǎn)云變?yōu)橐粋€(gè)不完全的矩陣，該矩陣通過全 局的優(yōu)化將得到低秩的特性，該發(fā)明的優(yōu)點(diǎn)主要表現(xiàn)為以下三點(diǎn)1)深度信息雖然是通過不同的角度捕捉到的，但實(shí)質(zhì)上處于某個(gè)低維子空間中。 從物理上說低秩性可以歸因?yàn)椴煌耆纳疃刃畔⒚枋鐾粋€(gè)物體，因此，當(dāng)把所有角度的 深度信息組成矩陣時(shí)，它一定是低秩的，并且可以被核子范數(shù)估計(jì)。2)噪聲恢復(fù)的深度信息將被干擾。在本發(fā)明的實(shí)施例中，定義觀測(cè)到的信息為~， 實(shí)際信息為A，固有A = AJN。其中，N是系統(tǒng)噪聲，可能在提取深度信息的任何一步產(chǎn)生， 用本發(fā)明的方法，通過尋找全局低秩解的矩陣恢復(fù)可以消除這些噪聲。3)成萬上億的維度空間被用來描述真實(shí)物體以提高準(zhǔn)確度。這些離散的元素可以 是三維像素或點(diǎn)云傳統(tǒng)的優(yōu)化方法在處理如此大量的數(shù)據(jù)時(shí)會(huì)失效，但是歸功于最近的壓 縮感知技術(shù)，通過凸規(guī)劃方法解決成為了可能。基于核子范數(shù)的矩陣恢復(fù)方法可以恢復(fù)一 個(gè)有噪聲的不完全的矩陣，即使處理數(shù)以億計(jì)的元素都不超過一分鐘。如圖1所示，為本發(fā)明實(shí)施例的深度圖融合方法的流程圖，所述深度圖融合方法 包括以下步驟步驟S101，根據(jù)多個(gè)相機(jī)獲取的場(chǎng)景信息對(duì)不同視角的場(chǎng)景提取深度圖。具體地，在本發(fā)明的實(shí)施例中，深度圖提取算法利用計(jì)算機(jī)視覺算法，在尊重每一 個(gè)視角的深度圖信息前提下，采用多候選者連續(xù)深度圖估計(jì)方法。更為具體地，集中了剪 影信息和極線約束在所述連續(xù)深度圖估計(jì)方法中對(duì)每一個(gè)雙目圖像處理稠密的一致計(jì)算， 所述連續(xù)深度圖估計(jì)方法能夠在顯著特征上達(dá)到很好的重建效果。另外，為了在缺少特征 的情況下針對(duì)噪聲提高魯棒性，所述連續(xù)深度圖估計(jì)方法使用MSS生成一些深度候選人。 由于深度圖是連續(xù)的，對(duì)每個(gè)候選人精確的光一致性檢測(cè)在基于路徑的NCC度量下是可能 的，所述NCC最高分者將被選出作為深度。一般來講，利用光流計(jì)算的優(yōu)勢(shì)，類比攝像機(jī)位 置的時(shí)空變換到離散時(shí)間間隔的光流優(yōu)化上來。當(dāng)然，本領(lǐng)域的普通技術(shù)人員知道，所述深度圖提取算法并不局限于本發(fā)明所使
6用的深度圖提取算法，一些其它的深度圖提取算法也是可選的，但是，沒有一種能夠保證其 足夠的準(zhǔn)確性。所以，本發(fā)明中主要詳細(xì)說明矩陣恢復(fù)和壓縮感知對(duì)于解決深度噪聲和沖 突幫助。步驟S102，對(duì)所述不同視角的深度圖進(jìn)行聚類。具體地，對(duì)不同相機(jī)間得到的深度信息進(jìn)行深度聚類，以產(chǎn)生深度聚類信息。步驟S103，根據(jù)所述聚類的信息建立缺失矩陣。具體地，如圖2所示，為本發(fā)明實(shí)施例的相機(jī)可見性分析圖。在本發(fā)明的實(shí)施例 中，如圖2(a)的兩幅攝像機(jī)分析圖，攝像機(jī)的可見性涉及到計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng) 域。對(duì)于立體視覺系統(tǒng)，由于遮擋和攝像機(jī)的位置，每個(gè)攝像機(jī)的可見性是非常有限的。在 本實(shí)施例的圖2(a)中，Pl的可見性所覆蓋的范圍在圖中能夠明顯看出。同樣的，對(duì)于P2而 言，可見性覆蓋的范圍同樣顯而易見。對(duì)于本實(shí)施例，兩個(gè)攝像機(jī)能夠同時(shí)看到的區(qū)域在途 中也能夠明顯釋出。更為具體地，在模型中并且結(jié)合圖2可知，該深度圖融合方法假設(shè)Pl可以觀測(cè)到 整個(gè)三維物體，并將其視為向量。而Pl真實(shí)觀測(cè)到的范圍(在圖2(a)中能夠明顯看出) 視為已知元素。而物體剩余實(shí)際Pl為觀測(cè)的部位視為未知元素。同樣的，P2有類似的結(jié) 果。在MVS系統(tǒng)中，有η個(gè)攝像機(jī)分布在物體的周圍，因此，η個(gè)不完全的向量可以組成矩 陣，有AL= [PijP2j--PJ在不完全矩陣A中，列代表不同的攝像機(jī)或不同的角度，行代表三維物體的點(diǎn)云。 A的秩理應(yīng)是低的，因?yàn)樗玫南蛄?，例如Pl ；Ρ2 ；Ρ3 ；...Pn描述的是同一個(gè)物體。理論上 講，如果深度圖是沒有噪聲的，并且攝像機(jī)處于理想的情況下，A的秩應(yīng)該為1，但是由于誤 差和擾動(dòng)，只能保證A的秩是低的。如果能夠復(fù)原矩陣并提取主成分，即最大特征值對(duì)應(yīng)的 特征向量，就是要尋找的融合結(jié)果。正如前面分析的，噪聲在融合問題中也是一個(gè)很重要的 因素。假設(shè)模型有一個(gè)點(diǎn)云可以被多個(gè)攝像機(jī)從不同的角度看到。例如圖2(b)中的紅點(diǎn)， 能夠看到，所述紅點(diǎn)在圖中被標(biāo)記為1，紅點(diǎn)1是真實(shí)存在的。但是，沒有任何一個(gè)攝像機(jī)能 夠準(zhǔn)確的將它恢復(fù)。所有的攝像機(jī)只能夠復(fù)紅點(diǎn)1的鄰域，并且噪聲不是高斯分布的。所以，如何生成這個(gè)不完全矩陣。在分析了融合的本質(zhì)后，有兩個(gè)問題需要說明1)矩陣的行數(shù)代表融合后點(diǎn)云的數(shù)量。2)沖突點(diǎn)的識(shí)別是必要的。簡(jiǎn)單的說，需要將描述同一個(gè)深度信息的值放在同樣的行中?；谝陨蟽牲c(diǎn)，本發(fā) 明提出了一個(gè)絕對(duì)自動(dòng)方法來產(chǎn)生這個(gè)矩陣。行數(shù)和沖突點(diǎn)分類都被覆蓋。記Γ為Pt捕 捉到的圖像，這里下標(biāo)t是圖像的序列。圖像上每一個(gè)像素^對(duì)應(yīng)真實(shí)世界的一個(gè)點(diǎn)云du。 為了簡(jiǎn)化且不失一般性，討論如何從圖像Γ和它的鄰近圖像Γ+1。匹配和分類過程如圖3 所示，為本發(fā)明兩幅相鄰圖片和相應(yīng)深度圖匹配和分類的過程圖。從圖3中可以看出，m和 η代表二維圖像中投影的像素位置。在這個(gè)像素的N-鄰域里，例如圖3中粉色區(qū)域4，所有 的像素投影到世界坐標(biāo)，尋找到參考點(diǎn)云Itij最近距離的點(diǎn)云。定義最近的點(diǎn)云為= arg min \\d'x+l - d\ I
χ色R其中，R代表Imn的鄰域。如果這兩點(diǎn)的距離小于某個(gè)閾值"，則這兩點(diǎn)被認(rèn)為描
7述同一個(gè)深度信息，被放在同一行。否則這個(gè)元素被視為未知元素。投影和匹配過程在MVS 每個(gè)圖像間兩兩進(jìn)行。上面的介紹闡述了不完整矩陣的某一行的建立，所以，重復(fù)這個(gè)過程 直到所有像素都被遍歷，因此，建立完成整個(gè)不完整矩陣。步驟S104，對(duì)所述缺失矩陣恢復(fù)以得到完整的低秩矩陣。在本發(fā)明的實(shí)施例中，在恢復(fù)的過程中，運(yùn)用壓縮感知原理對(duì)矩陣進(jìn)行恢復(fù)，同 時(shí)，在缺失矩陣的恢復(fù)過程中消除小噪聲。具體地，在本發(fā)明的一個(gè)實(shí)施例中，關(guān)于矩陣恢復(fù)，采用內(nèi)點(diǎn)迭代優(yōu)化的方法，所 述內(nèi)點(diǎn)優(yōu)化又稱不動(dòng)點(diǎn)迭代。在本發(fā)明中，利用核子函數(shù)優(yōu)化。更為具體地解釋，假設(shè)有一個(gè)不完全的矩陣M,并且只知道所述不完全的矩陣M — 部分元素，因此，矩陣恢復(fù)問題的實(shí)質(zhì)就是是否能夠從矩陣的局部信息中恢復(fù)出整個(gè)矩陣， 根據(jù)這個(gè)假設(shè)，因?yàn)槲覀兛梢栽诰仃囄粗牡胤教钊肴魏卧?。但是，近來壓縮感知技術(shù) 的發(fā)展顯示當(dāng)已知這個(gè)矩陣是低秩的情況下，例如所述不完全矩陣M的奇異向量充分的擴(kuò) 展，這個(gè)矩陣是可以通過凸優(yōu)化來恢復(fù)的。所以，矩陣恢復(fù)的任務(wù)可以描述為有一個(gè)低秩 連續(xù)的矩陣，通過已知的元素，求解完整的低秩矩陣。當(dāng)然，最近一項(xiàng)新的方法是通過優(yōu)化該問題的凸包絡(luò)來替代，使用凸松弛的方法。 核子范數(shù)是rank(X)的凸包絡(luò)，在實(shí)際應(yīng)用當(dāng)中，僅能夠觀測(cè)到一些元素被小噪聲干擾過 的矩陣。例如，在融合問題里，觀測(cè)到的深度信息是不準(zhǔn)確的，因?yàn)樘崛〔襟E中就帶來誤差。 因而，在尋找一般方法來解決矩陣恢復(fù)問題時(shí)，噪聲模型被引進(jìn)來完成這項(xiàng)工作，為了對(duì)噪 聲模型具有恢復(fù)的魯棒性，在本發(fā)明中中，采用內(nèi)點(diǎn)迭代的算法去求解這一壓縮感知的問 題。步驟S105，根據(jù)所述完整的低秩矩陣，選取第一維子空間。具體地，經(jīng)過矩陣恢復(fù) 之后，得出一個(gè)完整的低秩的矩陣?？紤]這個(gè)復(fù)原后的矩陣，理論上講，由于所有的攝像機(jī) 觀測(cè)的同一物體，它的秩應(yīng)該為1。但是，實(shí)際上，恢復(fù)后矩陣的秩是比較低的但不為1。每 個(gè)攝像機(jī)與其它的攝像機(jī)并不完全一致，這是由于噪聲和沖突因而不可能得到統(tǒng)一的解。 簡(jiǎn)單說來，融合所用的攝像機(jī)越多，恢復(fù)得到的矩陣秩越高。因此，當(dāng)恢復(fù)的矩陣秩不夠低 時(shí)，一個(gè)提取有效信息的子空間選擇就是必要的。融合工作中噪聲的性質(zhì)使我們想起利用彈性網(wǎng)絡(luò)的方法選擇子空間。彈性網(wǎng)絡(luò)最 早提出用來解決變量選擇問題。在lasso回歸中，它對(duì)1范數(shù)和2范數(shù)進(jìn)行同時(shí)懲罰，得到 了更精確的選擇結(jié)果。彈性網(wǎng)絡(luò)的力量使其成為融合矩陣消除噪聲的有效工具。稀疏的破壞噪聲被1范 數(shù)消除，相關(guān)噪聲被2范數(shù)消除。從這里受到啟發(fā)，本發(fā)明擴(kuò)展彈性網(wǎng)絡(luò)的力量，使之能夠 選擇子空間。認(rèn)為從破壞的矩陣中低秩恢復(fù)的本質(zhì)就是懲罰彈性網(wǎng)絡(luò)噪聲，在本發(fā)明的實(shí) 施例中，應(yīng)用下面的方程提取一維子空間min. | |Al| *+λ」|N| ^ λ 2 |Ν| |2在這個(gè)低秩子空間選擇算法中，可以同時(shí)恢復(fù)兩個(gè)變量，例如子空間和噪聲。因 此，它成為一個(gè)雙變量?jī)?yōu)化問題可以通過不動(dòng)點(diǎn)迭代的方法解決。對(duì)于N最小化彈性網(wǎng)絡(luò) 意味著同時(shí)強(qiáng)調(diào)稀疏性和相關(guān)性。選擇的第一維即為融合后的信息。步驟S106，根據(jù)所述第一維子空間實(shí)現(xiàn)三維模型的重建。具體地，通過彈性網(wǎng)絡(luò)的子空間選擇和核子范數(shù)的最小化，得到了一個(gè)低秩矩陣AL基于一個(gè)完整的融合矩陣在第一維子空間，即融合后的點(diǎn)云上進(jìn)行泊松重建，即可得到 重建后的結(jié)果。為了對(duì)采用本發(fā)明的三維重建結(jié)果有一定的認(rèn)識(shí)，如圖4所示，為應(yīng)用本發(fā)明的 方法建立的三維模型。在本發(fā)明的實(shí)施例中，為了對(duì)采用本發(fā)明提供的方法在完成三維圖形重建后的準(zhǔn) 確性和精度有更清楚的認(rèn)識(shí)，如圖5所示，為本發(fā)明所完成的三維模型在精度和完整度上 的評(píng)測(cè)結(jié)果。對(duì)本發(fā)明的效率做進(jìn)一步的了解，如圖6所示，為本發(fā)明建立結(jié)果的國際排名。另一方面，本發(fā)明還提供了一種深度圖融合裝置。如圖7所示，為本發(fā)明實(shí)施例 的深度圖融合裝置，該深度圖融合裝置100包括預(yù)處理模塊110，用于根據(jù)多個(gè)相機(jī)獲取 的場(chǎng)景信息對(duì)不同視角的場(chǎng)景提取深度圖；深度聚類模塊120，用于對(duì)所述不同視角的深 度圖進(jìn)行聚類；不完整低秩矩陣建立模塊130，用于根據(jù)所述聚類的信息建立缺失矩陣；不 完整低秩矩陣恢復(fù)模塊140，用于恢復(fù)所述缺失矩陣以得到完整的低秩矩陣；彈性網(wǎng)絡(luò)子 空間提取模塊150，用于根據(jù)所述完整的低秩矩陣，選取第一維子空間；三維模型處理模塊 160，用于根據(jù)所述第一維子空間實(shí)現(xiàn)三維模型的重建。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
9
權(quán)利要求
一種深度圖融合方法，其特征在于，包括以下步驟根據(jù)多個(gè)相機(jī)獲取的場(chǎng)景信息對(duì)不同視角的場(chǎng)景提取深度圖；對(duì)從所述不同視角提取的深度圖進(jìn)行聚類；根據(jù)所述聚類的信息建立缺失矩陣；恢復(fù)所述缺失矩陣以得到完整的低秩矩陣；根據(jù)彈性網(wǎng)絡(luò)算法從所述完整的低秩矩陣中選取第一維子空間；和根據(jù)所述第一維子空間實(shí)現(xiàn)三維模型的重建。
2.如權(quán)利要求1所述的深度圖融合方法，其特征在于，還包括 采用k近鄰法對(duì)所述不同視角的深度圖進(jìn)行聚類；采用內(nèi)點(diǎn)法對(duì)所述低秩矩陣進(jìn)行恢復(fù)；和 采用彈性網(wǎng)絡(luò)算法選取所述第一維子空間。
3.如權(quán)利要求2所述的深度圖融合方法，其特征在于，恢復(fù)所述缺失矩陣以得到完整 的低秩矩陣，進(jìn)一步包括采用壓縮感知原理對(duì)所述缺失矩陣的恢復(fù)；和 消除所述缺失矩陣恢復(fù)過程中的小噪聲。
4.如權(quán)利要求2所述的深度圖融合方法，其特征在于，所述彈性網(wǎng)絡(luò)還用于消除在所 述缺失矩陣恢復(fù)過程中的大噪聲。
5.如權(quán)利要求4所述的深度圖融合方法，其特征在于，所述彈性網(wǎng)絡(luò)根據(jù)優(yōu)化原則選 取所述第一維子空間，其中，所述優(yōu)化原則為mini IalI +A1 |ν| Κ+λ2 |n| I2s. t. P = A+N其中，慫為所述的完整的低秩矩陣，N為所述深度圖上的噪聲信息，P為所述的缺失矩陣。
6.如權(quán)利要求5所述的深度圖融合方法，其特征在于，所述優(yōu)化原則的約束條件為 min. rank (Al)其中，所述約束條件為所述缺失深度矩陣是低秩的。
7.一種深度圖融合裝置，其特征在于，包括預(yù)處理模塊，用于根據(jù)多個(gè)相機(jī)獲取的場(chǎng)景信息對(duì)不同視角的深度圖提取； 深度聚類模塊，用于對(duì)從所述不同視角提取的深度圖進(jìn)行聚類； 不完整低秩矩陣建立模塊，用于根據(jù)所述聚類的信息建立缺失矩陣； 不完整低秩矩陣恢復(fù)模塊，用于恢復(fù)所述缺失矩陣以得到完整的低秩矩陣； 彈性網(wǎng)絡(luò)子空間提取模塊，用于根據(jù)彈性網(wǎng)絡(luò)算法從所述完整的低秩矩陣中選取第一 維子空間；和三維模型處理模塊，用于根據(jù)所述第一維子空間實(shí)現(xiàn)三維模型的重建。
8.如權(quán)利要求7所述的深度圖融合裝置，其特征在于，還包括所述深度局類模塊采用k近鄰法對(duì)所述不同視角的深度圖進(jìn)行聚類； 所述不完整低秩矩陣恢復(fù)模塊采用內(nèi)點(diǎn)法對(duì)所述低秩矩陣進(jìn)行恢復(fù)；和 所述彈性網(wǎng)絡(luò)子空間提取模塊采用彈性網(wǎng)絡(luò)算法選取所述第一維子空間。
9.如權(quán)利要求7所述的深度圖融合裝置，其特征在于，所述彈性網(wǎng)絡(luò)根據(jù)優(yōu)化原則選取所述第一維子空間，其中，所述優(yōu)化原則為 mini IalI +a1 |ν| Κ+λ2 |n| I2其中，慫為所述的完整的低秩矩陣，N為所述深度圖上的噪聲信息，P為所述的缺失矩陣。
10.如權(quán)利要求9所述的深度圖融合裝置，其特征在于，所述優(yōu)化原則的約束條件為 min. rank (Al)其中，所述約束條件為所述缺失深度矩陣是低秩的。
全文摘要
本發(fā)明提出了一種深度圖融合方法和裝置，其中，所述方法包括以下步驟根據(jù)多個(gè)相機(jī)獲取的場(chǎng)景信息對(duì)不同視角的場(chǎng)景提取深度圖；對(duì)從所述不同視角提取的深度圖進(jìn)行聚類；根據(jù)所述聚類的信息建立缺失矩陣；恢復(fù)所述缺失矩陣以得到完整的低秩矩陣；根據(jù)彈性網(wǎng)絡(luò)算法從所述完整的低秩矩陣中選取第一維子空間；和根據(jù)所述第一維子空間實(shí)現(xiàn)三維模型的重建。通過本發(fā)明的深度圖融合方法能夠有效的處理噪聲，同時(shí)，該深度圖融合方法對(duì)標(biāo)準(zhǔn)數(shù)據(jù)的處理有著很高的正確性。
文檔編號(hào)G06T5/00GK101964117SQ20101029093
公開日2011年2月2日 申請(qǐng)日期2010年9月25日 優(yōu)先權(quán)日2010年9月25日
發(fā)明者戴瓊海, 鄧岳 申請(qǐng)人:清華大學(xué)