一種面向大規(guī)模三維重建的圖像分塊方法及裝置的制造方法
【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明涉及一種圖像分塊方法及裝置，特別涉及一種面向大規(guī)模三維重建的圖像 分塊方法及裝置，屬于圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】：
[0002] 物體或者環(huán)境的三維重建多年以來一直是計算機視覺的研宄重點和熱點之一，三 維重建的目標是將二維圖像轉(zhuǎn)化為三維的立體圖像，目前用攝像機等儀器記錄下來的一般 是二維的信息，而我們?nèi)粘Ｋ幍沫h(huán)境是三維的，僅保留二維信息已經(jīng)不能滿足現(xiàn)代化生 產(chǎn)的快速發(fā)展和需求，物體或者場景的三維重建技術(shù)變得越來越重要，高度仿真的三維建 模技術(shù)正逐漸適用于各種可視化和模擬場景之中，它能夠應(yīng)用在減少設(shè)計費用和縮短設(shè)計 周期等各個方面，并且能夠為社會生活創(chuàng)造出巨大的經(jīng)濟效益。因此，三維建模前景十分有 趣又誘人，可以應(yīng)用到很多領(lǐng)域，有著很高的研宄和利用價值。目前比較流行的一種三維重 建技術(shù)是基于二維圖像的，當某一場景的大量圖像數(shù)據(jù)用于三維重建時，我們主要面臨兩 個問題：首先是圖像的質(zhì)量問題，不同設(shè)備和條件下拍攝的圖像質(zhì)量各異，存在不少噪聲過 大或者與其他圖像相關(guān)性不高，對整個重建并無意義的圖像，強行加入重建序列只會增加 整個重建過程的計算量，而且可能會重建出大量噪聲點，從而影響重建精度；另一個問題是 三維重建算法本身固有的難題，就是隨著圖像數(shù)目的增加，重建算法的計算量呈現(xiàn)指數(shù)級 別增長，過多的圖像加入重建可能會導(dǎo)致重建時間相當長，難以在實際系統(tǒng)中進行應(yīng)用。

【發(fā)明內(nèi)容】
：
[0003] 本發(fā)明的目的是針對以上問題，提出一種面向大規(guī)模三維重建的圖像分塊方法， 在進行三維重建前將圖像進行分塊預(yù)處理，形成一系列質(zhì)量和重建效率都能有顯著改善 的圖像子集合。
[0004] 根據(jù)測試，圖像數(shù)目在大約50張的時候重建效率和效果能夠達到較好的狀態(tài)，即 可用較少的時間代價重建出效果不錯的三維模型。而圖像在太少的時候根本不能重建出模 型，可以直接視為噪聲圖像。當圖像太多時重建效果雖然好，但是重建效率低下。因此，本 發(fā)明的思想就是將整個圖像集合進行自適應(yīng)聚類，生成一系列數(shù)量較小的子集，當集合中 圖像數(shù)目過少時視為噪聲圖像，可以直接丟棄；當圖像數(shù)目過大時，迭代分割，直至滿足能 夠快速重建的條件。這樣得出的每個圖像聚類可以理解為某一場景的圖像序列，能夠?qū)?前覆蓋的場景重建出來。只要滿足圖像集合間有重疊區(qū)域的條件，后續(xù)便可將整個大場景 整合成一個整體的場景。
[0005] 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：
[0006] -種面向大規(guī)模三維重建的圖像分塊方法，包括以下步驟：
[0007] 步驟一、對于輸入的圖像集合根據(jù)圖像間的匹配程度求出相似度矩陣；
[0008] 步驟二、根據(jù)相似度矩陣通過以下步驟進行譜聚類：
[0009] 步驟2. 1根據(jù)相似度矩陣通過下述過程進行譜聚類：
[0010] 步驟2. 1. 1利用相似度矩陣C根據(jù)下式計算對應(yīng)的GraphLaplaction矩陣L，并 對L做特征分解：
[0011] L=I-D_1C,D=diag(d^d2, . . .dn),
【主權(quán)項】
1. 一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于，包括以下步驟： 步驟一、對于輸入的圖像集合根據(jù)圖像間的匹配程度求出相似度矩陣； 步驟二、根據(jù)相似度矩陣通過以下步驟進行譜聚類： 步驟2. 1根據(jù)相似度矩陣通過下述過程進行譜聚類： 步驟2. 1. 1利用相似度矩陣C通過下式計算對應(yīng)的GraphLaplaction矩陣L，并對L做特征分解： L=I-D_1C,D=diag(d1,d2,. . .dn),di =^,=iC^； 其中，I表示單位矩陣，表示D的逆矩陣，diag表示對角矩陣； 步驟2. 1. 2根據(jù)輸入圖像數(shù)目以及以下原則確定分類數(shù)m:如果是首次譜聚類，分類數(shù) 通過譜間隙確定，如果是遞歸進行的譜聚類，分類數(shù)由公式m= (n+20)/50確定，其中m為 分類數(shù)，n為當前圖像集中圖像數(shù)目； 步驟2. 1.3嵌入映射：將矩陣L的特征值按照升序排列，取前k個最大的特征 屯，d2, . . .，dk，得到對應(yīng)的k個特征向量構(gòu)成的特征矩陣X=(Xpx2, . . .，xk)，該特征矩陣的 每一行可以視為每張圖像映射到RnXk空間的一個像；其中，k為預(yù)設(shè)的值； 步驟2. 1. 4將特征矩陣X的行向量歸一化為單位向量，得到歸一化后的矩陣Y; 步驟2. 1. 5對映射的像根據(jù)分類數(shù)m使用聚類方法將n個圖像劃分到m個類中； 步驟2. 2迭代譜聚類：對經(jīng)過步驟2. 1得到的聚類結(jié)果進行如下判定： 假設(shè)當前子類中的圖像數(shù)目為a，THRdPTHR2分別為預(yù)設(shè)的圖像數(shù)目閾值，則：
1. 如果a<THRi，則將當前子類中的所有圖像歸入不確定集合中； ii. 如果THRiSa<THR2，則當前子類為一個分好類的集合； iii. 如果a>THR2，則當前子類過大，對當前子類所有圖像根據(jù)步驟一結(jié)果抽取對應(yīng) 圖像間相似度值構(gòu)成新的相似度矩陣C，然后對當前子類繼續(xù)執(zhí)行步驟2. 1進行遞歸譜聚 類； 步驟三、對不確定集合中的每一個圖像Ii搜索其與已經(jīng)分好類集合中圖像I」的最大相 似度C。，如果Cu大于預(yù)設(shè)的閾值THR3，則將1激入圖像I/斤在的集合中，反之直接丟棄。
2. 根據(jù)權(quán)利要求1所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于：所 述步驟一進一步通過以下過程得到相似度矩陣： 首先，對所有圖像進行SIFT特征提取、匹配，求出所有不同圖像對之間的仿射矩陣； 然后，根據(jù)仿射矩陣求出NXN維圖像間的相似度矩陣C，N為圖像數(shù)目；矩陣元素h表 示圖像對idPL之間的相似性，其值通過下述公式計算：
其中示圖像I亦大小，Su表示圖像對I和I」之間的相似區(qū)域面積，通過圖像Ii關(guān)于圖像L的仿射矩陣Hu將Ii映射到圖像1上，然后求出相似面積S#
3. 根據(jù)權(quán)利要求1所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于：所 述步驟2. 1.4對特征矩陣X進行歸一化得到矩陣Y，矩陣Y中元素的值通過下述公式進行計 算：
其中，iG[l，n]，jG[LkhXijPYij分別表示特征矩陣X和矩陣Y的第i行第j列 元素的值。
4. 根據(jù)權(quán)利要求1所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于：所 述步驟2. 1. 5采用模糊C均值聚類法進行聚類，具體過程如下： 步驟2. 1.5. 1在區(qū)間（0，1)隨機初始化向量集Y= (71，72，...，71/的隸屬度矩陣仏 使其滿足
步驟2. 1. 5. 2通過下面的公式算出整個向量集的m個聚類中心：
其中，UijG[〇, 1]，Ci=[cn,c2i，…，cki]為第i個聚類簇 中心，iG[1，m]，yj= [yji，y」2,…，y」k]為向量集Y的第個行向量，dij= 11cj-yi11為第j個聚類中心到第i個 歸一化特征向量的距離，〇e[1，〇〇)是一個加權(quán)系數(shù)； 步驟2. 1. 5. 3對下面公式中的能量函數(shù)進行計算，如果能量函數(shù)值小于預(yù)設(shè)閾值THRd， 或者相對于上一次計算得到的能量值的變化小于預(yù)設(shè)閾值THR。，則結(jié)束；否則，轉(zhuǎn)到步驟 2. 1. 5. 2根據(jù)更新的隸屬度矩陣U更新聚類中心；
5. 根據(jù)權(quán)利要求4所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于：〇 =1. 5〇
6. 根據(jù)權(quán)利要求4所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在于： THRd= 0. 02,THRe= 0. 0001。
7. 根據(jù)權(quán)利要求1-6任一所述的一種面向大規(guī)模三維重建的圖像分塊方法，其特征在 于：THRi: 30,THR2= 80。
8. -種面向大規(guī)模三維重建的圖像分塊裝置，其特征在于：包括直接相連的相似度矩 陣計算模塊和圖像聚類模塊；所述相似度矩陣計算模塊用于計算圖像集中任意兩張圖像的 相似度，然后得到相似度矩陣，所述圖像聚類模塊用于根據(jù)相似度矩陣自適應(yīng)地將圖像分 類。
9. 根據(jù)權(quán)利要求8所述的一種面向大規(guī)模三維重建的圖像分塊裝置，其特征在于：所 述圖像聚類模塊由譜聚類單元和不確定圖像歸類單元，譜聚類單元通過譜聚類算法對圖像 集合進行歸類，同時將不確定圖像歸入不確定集合中，然后由不確定圖像歸類單元對這些 圖像按照權(quán)利要求1所述步驟三的規(guī)則進行進一步的分類。
【專利摘要】本發(fā)明涉及一種面向大規(guī)模三維重建的圖像分塊方法，屬于圖像處理技術(shù)領(lǐng)域；包括以下步驟：首先利用圖像間的特征匹配關(guān)系進行圖像整體相似性度量，生成圖像間相似度矩陣；然后引入譜聚類思想：首先利用譜分析將圖像集中的每一個元素映射到利于聚類分析的高維空間，然后利用模糊聚類算法將整個圖像集合分成若干個簇，同時對每張圖像計算屬于各簇的隸屬度；最后通過對分類結(jié)果的分析處理，在自動生成一系列三維重建效率較高的圖像子集合的同時，將與其它圖像相似性較低的圖像以噪聲的形式予以剔除。對比現(xiàn)有技術(shù)，應(yīng)用本發(fā)明方法能夠有效降低三維重建的計算量，提高三維重建效率；同時，還能夠有效剔除噪聲圖像，降低噪聲圖像對三維重建時的干擾。
【IPC分類】G06T17-00, G06K9-62
【公開號】CN104809478
【申請?zhí)枴緾N201510249022
【發(fā)明人】黃華, 劉洪 , 張磊
【申請人】北京理工大學(xué)深圳研究院, 北京理工大學(xué)
【公開日】2015年7月29日
【申請日】2015年5月15日