專利名稱：三維模型檢索裝置及其方法和模型庫生成裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及三維模型檢索。具體而言，本發(fā)明涉及一種基于二維圖像的三維模型檢索裝置及其方法和三維模型庫生成裝置及其方法。
背景技術(shù)：
隨著三維數(shù)據(jù)獲取、計算機輔助設(shè)計、圖形硬件技術(shù)的進步，三維模型的數(shù)量急劇增加，這些模型分布在網(wǎng)絡(luò)上和各種特定的數(shù)據(jù)庫中。另一方面，設(shè)計具有高精度的三維模型不僅花費高而且費時。因此，現(xiàn)有模型的有效利用顯得相當重要，然而從大量模型中尋找有用的模型卻是一項困難的工作。學者們進行了大量的研究工作，致力于找到有效的三維模型檢索方法。目前，學者們已經(jīng)提出了多種三維模型檢索方法，這些方法可大致分為兩類基于關(guān)鍵字的檢索方法和基于內(nèi)容的檢索方法。前面一種方法從語義層次上描述三維模型，模型的特征由一系列描述性的文字組成，比如尺寸、材料、顏色和類別等；早期三維模型數(shù)量不大，這種方法比較實用。后面一種方法在模型檢索過程中，將模型自身的內(nèi)容考慮在內(nèi)。 隨著模型數(shù)量的急劇增加，研究重點越來越集中到基于內(nèi)容的檢索技術(shù)上來。現(xiàn)有的基于內(nèi)容的檢索方法可大致分為三類基于特征向量的方法、基于拓撲結(jié)構(gòu)的方法和基于二維圖像的方法。在基于特征向量的檢索方法中，用一個特征向量來描述三維物體。其中，形狀分布是一種最有名的方法。關(guān)于形狀分布法的細節(jié)，可參見非專利文獻1。這類方法在特征提取和模型比較方面具有很高的效率。然而，由于特征向量比較簡單，模型的信息描述不夠準確，因此檢索的準確性不理想。這類方法簡單、高效，因此它們可以作為預(yù)分類手段集成到其它方法中。在基于拓撲結(jié)構(gòu)的檢索方法中，三維模型的結(jié)構(gòu)特征以樹或圖的方式表示，然后利用樹或圖匹配的方法來比較兩個模型，細節(jié)可參見非專利文獻2。拓撲結(jié)構(gòu)提供了三維模型形狀的直觀而重要的信息，并且這種特征具有仿射不變性。然而，拓撲結(jié)構(gòu)對模型的細微變形比較敏感，而且樹或圖匹配過程比較費時，這些缺點限制了該類方法的實際應(yīng)用。在基于二維圖像的檢索方法中，基于三維模型生成一系列的二維圖像，然后通過比較相應(yīng)的二維圖像來對三維模型進行比較。其中，非專利文獻3中所述的光場描述符法和非專利文獻4中所述的特征視圖法是使用最為廣泛的基于二維圖像的模型檢索方法。在非專利文獻3所述的方法中，利用10個光場描述符來表達一個三維模型的特征，而每一個光場描述符由10個圖像的特征構(gòu)成，通過比較這些光場描述符來對模型進行比較。在基于三維模型生成二維圖像時，將一個正十二面體放置于模型的中心，然后利用正十二面體的二十個頂點作為視點，通過正交投影產(chǎn)生20幅二值圖像，其中以兩個處于相對位置的頂點為視點的兩幅圖像是相同的，因此保留十幅圖像，基于這十幅圖像生成一個光場描述符。通過旋轉(zhuǎn)正十二面體可以得到不同的圖像，進而得到不同的光場描述符。在非專利文獻3的方法中，生成10個光場描述符，利用匹配圖像間距離的累加來比較兩個光場描述符。在得到10個光場描述符的過程中，總共需要渲染100幅圖像。非專利文獻4所述的基于特征視圖的方法中，將正二十面體放置在三維模型的中心，然后將正二十面體的各個多邊形分割以得到80個均勻分布的多邊形，然后以這80個多邊形的中心作為視點，利用正交投影得到最初的80個視圖。對每一個三維模型，從初始的 80個視圖中，選擇一些有代表性的視圖。然后基于貝葉斯概率理論，從模型的所有代表視圖中找到與檢索圖像對應(yīng)的代表視圖，進而計算索引與數(shù)據(jù)庫模型之間的相似性。根據(jù)一些綜述性文獻，較之基于特征向量的檢索方法和基于拓撲的檢索方法，基于二維圖像的檢索方法可取得更好的檢索結(jié)果，詳情可參見非專利文獻5和6。另外，專利文獻7也提出了一種基于二維圖像的三維模型檢索裝置及方法。但是，在上述各文獻中提到的基于二維圖像的方法，由于圖像數(shù)量比較大，因此在特征提取和模型比較的過程中比較費時，限制了它們的實際應(yīng)用。# # ^lJ ^； K 1 :R. Osada, R. Funkhouser, Τ. Chazelle =Shapedistributions. ACM Transactions on Graphics，21 (5)，807—832 (2002)。非專禾Ij 文 M 2 :M. Hilaga, Y. Shinagawa, Τ. Kohmura, Τ. L. Kunii =Topology matching for fully automatic similarity estimation of 3D shapes. Proceedings SIGGRAPH, 203—212 (2001)。非專利文獻 3 :C. Ding-Yun, T. Xiaopei, S. Yute, 0. Ming :0n visualsimilarity based 3D model retrieval. Proceedings of European association for Computer Graphics, 22 (3)，223—232 (2003)。非專利文獻 4 :T.F.Ansqry，J. Vandeborre，MDaoudi :A framework for 3D CAD models retrieval from 2D images. Annual of telecommunications technologies and tools for 3D imaging. Vol. 60(11-12)，2005。非專禾U 文獻 5 :P. Shilane, P. Min, Μ. Kazhdan, Τ. Funkhouser :The Priceton shape benchmark. Proceedings of the international conference on Shape modeling, 167—178(2004)。非專利文獻 6 :N. Iyer, S. Jayanti, K. Ramani :An engineering shape benchmark for 3D models. Proceedings of ASME IDETC/CIE，24—28 (2005)。專利文獻7 發(fā)明名稱為“三維模型檢索裝置及方法”、申請日期為2007年7月20 日的中國專利申請第200710136197. 1號。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提出了一種基于二維圖像的三維模型檢索裝置及其方法和三維模型庫生成裝置及其方法，能夠更高效地實現(xiàn)三維模型檢索。為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種三維模型檢索裝置包括 模型歸一化單元，配置為對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致，并且所述三維模型的重心與系統(tǒng)坐標系的原點一致；二維圖像生成單元，配置為在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；模型描述單元，配置為基于所述二維圖像，生成所述三維模型的模型描述符；以及檢索單元，配置為基于所述模型描述符，在模型庫中檢索出與所述三維模型相匹配的三維模型。根據(jù)本發(fā)明的另一個方面，提供了一種三維模型檢索方法，包括對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致， 并且所述三維模型的重心與系統(tǒng)坐標系的原點一致；在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；基于所述二維圖像，生成所述三維模型的模型描述符；以及基于所述模型描述符，在模型庫中檢索出與所述三維模型相匹配的三維模型。根據(jù)本發(fā)明的再一個方面，提供了一種模型庫生成裝置，包括模型歸一化單元， 配置為對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致，并且所述三維模型的重心與系統(tǒng)坐標系的原點一致；二維圖像生成單元，配置為在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；以及模型描述單元，配置為基于所述二維圖像，生成所述三維模型的模型描述符。根據(jù)本發(fā)明的又一個方面，提供了一種模型庫生成方法，包括對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致，并且所述三維模型的重心與系統(tǒng)坐標系的原點一致；在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；以及基于所述二維圖像，生成所述三維模型的模型描述符。另外，根據(jù)本發(fā)明的另一方面，還提供了一種存儲介質(zhì)。所述存儲介質(zhì)包括機器可讀的程序代碼，當在信息處理設(shè)備上執(zhí)行所述程序代碼時，所述程序代碼使得所述信息處理設(shè)備執(zhí)行根據(jù)本發(fā)明的上述三維模型檢索方法和模型庫生成方法。此外，根據(jù)本發(fā)明的再一方面，還提供了一種程序產(chǎn)品。所述程序產(chǎn)品包括機器可執(zhí)行的指令，當在信息處理設(shè)備上執(zhí)行所述指令時，所述指令使得所述信息處理設(shè)備執(zhí)行根據(jù)本發(fā)明的上述三維模型檢索方法和模型庫生成方法。


參照下面結(jié)合附圖對本發(fā)明實施例的說明，會更加容易地理解本發(fā)明的以上和其它目的、特點和優(yōu)點。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類似的技術(shù)特征或部件將采用相同或類似的附圖標記來表示。附圖中圖1示出了根據(jù)本發(fā)明第一實施例的三維模型檢索系統(tǒng)的示意結(jié)構(gòu)方框圖；圖2是本發(fā)明中根據(jù)Normal-PCA法計算三角形面積和法線方向時的概念圖；圖3示出了主軸方向檢測結(jié)果的一些例子；圖4示出了根據(jù)本發(fā)明一個實施例的三維模型檢索系統(tǒng)中包括的二維圖像生成單元的示意結(jié)構(gòu)方框圖；圖5示出根據(jù)本發(fā)明的一個實施例的多邊形填充的示意圖；圖6示出了根據(jù)本發(fā)明第二實施例的三維模型檢索系統(tǒng)的示意結(jié)構(gòu)方框圖；圖7示出了根據(jù)本發(fā)明的一個實施例的三維模型檢索方法的示意流程圖；圖8示出了根據(jù)本發(fā)明的一個實施例的二維圖像生成過程的示意流程圖；圖9示出根據(jù)本發(fā)明的一個實施例的模型庫生成方法的示意流程圖；以及
圖10示出可用于實施根據(jù)本發(fā)明實施例的方法和裝置的計算機的示意性框圖。
具體實施例方式在下文中將結(jié)合附圖對本發(fā)明的示范性實施例進行詳細描述。為了清楚和簡明起見，在說明書中并未描述實際實施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實際實施例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費時的，但對得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。在此，還需要說明的一點是，為了避免因不必要的細節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大的其他細節(jié)。另外，還需要指出的是，在本發(fā)明的一個附圖或一種實施方式中描述的元素和特征可以與一個或更多個其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)
I=I O圖1示出了根據(jù)本發(fā)明第一實施例的三維模型檢索系統(tǒng)的示意結(jié)構(gòu)方框圖。在根據(jù)該實施例的三維模型檢索系統(tǒng)中，三維模型檢索裝置110通過對三維模型查詢120和模型庫130中的三維模型進行分析，從模型庫130中檢索出與所輸入的三維模型查詢120相匹配的三維模型，并最終輸出查詢結(jié)果。用于輸入三維模型查詢120的輸入裝置可以是能夠輸入模型查詢120的任意輸入裝置，例如鍵盤、鼠標、觸摸屏、存儲介質(zhì)接口(包括磁盤驅(qū)動器、光盤驅(qū)動器等)、網(wǎng)絡(luò)接口，等等。用于輸出查詢結(jié)果的輸出裝置可以是能夠輸出檢索到的三維模型的任意輸出裝置，例如顯示器、網(wǎng)絡(luò)接口、存儲介質(zhì)接口等等。模型庫130可以由構(gòu)建在存儲器(包括本地存儲器和網(wǎng)絡(luò)存儲器)上的數(shù)據(jù)庫構(gòu)成，存儲了大量的三維模型。根據(jù)該實施例的三維模型檢索裝置110包括模型表面處理單元1101、模型歸一化單元1103、二維圖像生成單元1105、模型描述單元1107、以及檢索單元1109。模型表面處理單元1101將三維模型的表面轉(zhuǎn)換為多邊形網(wǎng)格的形式。模型歸一化單元1103對三維模型進行旋轉(zhuǎn)和/或平移，使得三維模型的主軸方向與三維空間的坐標軸方向一致，并且三維模型的重心與系統(tǒng)坐標系的原點一致。二維圖像生成單元1105在系統(tǒng)坐標系的各個坐標軸的正負方向上分別對三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像。模型描述單元1107基于所生成的二維圖像，生成三維模型的模型描述符。檢索單元1109基于所生成的模型描述符，在模型庫130中檢索出與要查詢的三維模型120相匹配的三維模型。最后將所檢索到的相匹配的三維模型作為查詢結(jié)果輸出。在此需要指出的是，在該實施例的三維模型檢索裝置110中的模型表面化處理單元1101為可選單元，可以根據(jù)需要選擇。在不包括模型表面化處理單元1101的情況下，所輸入的三維模型為已經(jīng)進行了網(wǎng)格化處理的三維模型。三維模型檢索裝置110可以由個人計算機、工作站、PDA(個人數(shù)字助理)等的信息處理設(shè)備實現(xiàn)。信息處理設(shè)備的結(jié)構(gòu)將在下文中結(jié)合附圖10進行詳細描述。具體而言， 可以通過信息處理設(shè)備的CPU (中央處理器)和相應(yīng)的程序來實現(xiàn)模型表面處理單元1101、 模型歸一化單元1103、二維圖像生成單元1105、模型描述單元1107、以及檢索單元1109。
接下來將對本實施例的三維模型檢索裝置110的各個部分進行詳細的說明。當輸入了三維模型查詢時，該三維模型查詢首先被傳送到三維模型檢索裝置110 的模型表面處理單元1101中，在此將三維模型的表面轉(zhuǎn)換為多邊形網(wǎng)格的形式，比如三角形網(wǎng)格、四邊形網(wǎng)格等等。在對三維模型進行網(wǎng)格化處理之后，模型表面處理單元1101將多邊形網(wǎng)格形式的三維模型傳送給模型歸一化單元1103。在模型歸一化單元1103中，對三維模型進行歸一化，使三維模型的主軸方向與系統(tǒng)坐標系的坐標軸一致，并使三維模型的重心與系統(tǒng)坐標系的原點一致，以便于進行接下來的處理。一般而言，三維模型可以任意方向處于三維空間的任意位置。為了進行歸一化， 需要對三維模型進行平移和旋轉(zhuǎn)。對于平移，首先計算出三維模型的重心坐標，然后對三維模型進行平移變換，使得三維模型的重心成為系統(tǒng)坐標系的原點。對于三維模型的平移變換可以采用本領(lǐng)域公知的方法，這里省略詳細的說明，而集中關(guān)注于旋轉(zhuǎn)變換。在現(xiàn)有技術(shù)中，已經(jīng)提出了一些對三維模型進行旋轉(zhuǎn)變換的方法，例如主成分分析(principal component analysis :PCA)。然而，試驗發(fā)現(xiàn)，對于一些相似的模型，主成分分析無法得到穩(wěn)定的主方向。對此，本發(fā)明的發(fā)明人已經(jīng)在上述專利文獻7中提出了一種稱為 Normal-PCA(N-PCA)的模型歸一化方法。在這種方法中，首先提取模型的主軸方向，然后利用提取到的主軸方向歸一化三維模型。三維模型通常由三角形網(wǎng)格構(gòu)成，而三角形的法線方向的分布提供了模型的方向信息。因此，在本發(fā)明的N-PCA法中，考慮模型中的所有三角形的法線方向的分布信息來檢測模型的主軸方向。下面對通過N-PCA法對三維模型進行旋轉(zhuǎn)歸一化的過程進行詳細的說明。首先，計算各個三角形、的面積屮和法線方向
權(quán)利要求
1.一種三維模型檢索裝置，包括模型歸一化單元，配置為對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致，并且所述三維模型的重心與系統(tǒng)坐標系的原占一致.二維圖像生成單元，配置為在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；模型描述單元，配置為基于所述二維圖像，生成所述三維模型的模型描述符；以及檢索單元，配置為基于所述模型描述符，在模型庫中檢索出與所述三維模型相匹配的三維模型。
2.根據(jù)權(quán)利要求1所述的三維模型檢索裝置，還包括模型表面處理單元，配置為將所述三維模型的表面轉(zhuǎn)換為多邊形網(wǎng)格的形式。
3.根據(jù)權(quán)利要求2所述的三維模型檢索裝置，其中所述二維圖像生成單元包括多邊形處理部分，配置為將穿越投影平面的多邊形劃分為處于投影平面的正向的正向多邊形和處于投影平面的負向的負向多邊形；以及多邊形填充部分，配置為分別對各個坐標軸的正負方向上的多邊形在相應(yīng)投影平面上的投影多邊形進行填充，以生成所述二維圖像。
4.根據(jù)權(quán)利要求3所述的三維模型檢索裝置，其中對于各個坐標軸的正負方向上的多邊形，所述多邊形填充部分計算每個多邊形的各個頂點在投影平面上的垂足，并且填充由垂足構(gòu)成的多邊形區(qū)域。
5.根據(jù)權(quán)利要求4所述的三維模型檢索裝置，其中所述多邊形為三角形或四邊形。
6.根據(jù)權(quán)利要求1至5任一所述的三維模型檢索裝置，其中所述檢索單元計算所述三維模型的24個特征向量與模型庫中的三維模型的相應(yīng)特征向量之間的距離，以在模型庫中檢索出與所述三維模型相匹配的三維模型。
7.—種三維模型檢索方法，包括對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致，并且所述三維模型的重心與系統(tǒng)坐標系的原點一致；在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；基于所述二維圖像，生成所述三維模型的模型描述符；以及基于所述模型描述符，在模型庫中檢索出與所述三維模型相匹配的三維模型。
8.—種模型庫生成裝置，包括模型歸一化單元，配置為對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致，并且所述三維模型的重心與系統(tǒng)坐標系的原占一致.二維圖像生成單元，配置為在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；以及模型描述單元，配置為基于所述二維圖像，生成所述三維模型的模型描述符。
9.一種模型庫生成方法，包括對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致，并且所述三維模型的重心與系統(tǒng)坐標系的原點一致；在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；以及基于所述二維圖像，生成所述三維模型的模型描述符。
全文摘要
本發(fā)明公開了一種三維模型檢索裝置及其方法和模型庫生成裝置及其方法。根據(jù)本發(fā)明的三維模型檢索裝置包括模型歸一化單元，配置為對要查詢的三維模型進行旋轉(zhuǎn)和/或平移，使得所述三維模型的主軸方向與三維空間的坐標軸方向一致，并且所述三維模型的重心與系統(tǒng)坐標系的原點一致；二維圖像生成單元，配置為在所述系統(tǒng)坐標系的各個坐標軸的正負方向上分別對所述三維模型進行多邊形網(wǎng)格投影，生成多個二維圖像；模型描述單元，配置為基于所述二維圖像，生成所述三維模型的模型描述符；以及檢索單元，配置為基于所述模型描述符，在模型庫中檢索出與所述三維模型相匹配的三維模型。
文檔編號G06F17/30GK102375831SQ20101025461
公開日2012年3月14日 申請日期2010年8月13日 優(yōu)先權(quán)日2010年8月13日
發(fā)明者于浩, 劉汝杰, 增本大器, 王月紅, 遠藤進, 長田茂美 申請人:富士通株式會社