專利名稱：一種三維模型構(gòu)成的自動標(biāo)注方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種形狀分析的處理方法，屬于計(jì)算機(jī)圖形學(xué)技術(shù)領(lǐng)域，具體地說是一種基于聯(lián)合分割的三維模型構(gòu)成的自動標(biāo)注方法。
背景技術(shù)：
將三維模型分割并獲取其構(gòu)成部件的標(biāo)注是形狀理解和處理的基礎(chǔ)，幾何建模、生產(chǎn)制造、三維模型動畫及紋理等領(lǐng)域的諸多任務(wù)都依賴于部件分割，其中許多問題更需進(jìn)一步對分割部件進(jìn)行標(biāo)注，即，將這些部件識別為已知部件類型的一個(gè)實(shí)例。這些應(yīng)用的大多數(shù)情況中，采用人工定義方式進(jìn)行輸入三維模型的分割與標(biāo)注。例如，人體網(wǎng)格紋理合成的應(yīng)用中，需由人工辨別網(wǎng)格中具有“胳膊”紋理的部分、或具有“腿”紋理的部分等等；另外，一些并不直接要求分割標(biāo)注的應(yīng)用，如，3D形狀匹配或檢索，也可從組成部件及標(biāo)注的信息中獲益。盡管大量工作針對圖像自動標(biāo)注展開研究，如文獻(xiàn)1:鮑泓，徐光美，馮松鶴，須德.自動圖像標(biāo)注技術(shù)研究進(jìn)展.計(jì)算機(jī)科學(xué)，2011，38 (7) :35-40.，然而，三維模型方面的工作多數(shù)僅針對三維模型的整體標(biāo)注進(jìn)行研究，如文獻(xiàn)2 :田楓，沈旭昆，劉賢梅，周凱，杜睿山.一種基于弱標(biāo)簽的三維模型語義自動標(biāo)注方法，系統(tǒng)仿真學(xué)報(bào)，2012，24(9) : 1873-1876，1881，而未涉及三維模型構(gòu)成部件的自動標(biāo)注；另外，與三維模型構(gòu)成標(biāo)注密不可分的模型分割如文獻(xiàn)3 Chen X. , Golovinskiy A. , Funkhouser T. ABenchmark for3D Mesh Segmentation. ACM Transactions on Graphics, 2009, 28(3).所述也仍為一個(gè)開放性研究問題，到目前為止，幾乎所有模型分割方法都僅考慮部件自身的幾何特征，而不考慮類別信息，難以滿足模型部件的后續(xù)標(biāo)注需求，文獻(xiàn)4 =KalogerakisE. , Hertzmann A. , Singh K. .Learning3D mesh segmentation and labeling. ACMTransactions on Graphics, 2010, 29 (4) Article No. 102.率先提出一種數(shù)據(jù)驅(qū)動的模型分割與標(biāo)注方法，他們通過對人工分割標(biāo)注的模型集進(jìn)行學(xué)習(xí)，將模型部件標(biāo)注問題表示為條件隨機(jī)場最優(yōu)化問題，從而實(shí)現(xiàn)對未知模型的分割與標(biāo)注，并驗(yàn)證了人工標(biāo)注知識對三維模型分割的促進(jìn)作用，然而，方法依賴于大量人工標(biāo)注的三維模型集。另一方面，文獻(xiàn) 5 :Golovinskiy A. , Funkhouser T. Consistent segmentationof3D models. Computers and Graphics(Shape Modeling International09)2009, 33(3):262-269.、文獻(xiàn)6:徐凱.語義驅(qū)動的三維形狀分析及建模.[D]國防科學(xué)技術(shù)大學(xué)研究生院.2011.考慮到同類物體的三維模型比單個(gè)模型包含更豐富的語義信息，因此提出對同類模型集進(jìn)行分析，進(jìn)而獲得多個(gè)模型一致性分割的聯(lián)合分割方法，但其并未考慮未知三維模型的自動標(biāo)注問題。本專利在聯(lián)合分割的基礎(chǔ)上，利用同類模型具有類似部件組成結(jié)構(gòu)這一信息，對未知三維模型的組成部件進(jìn)行分割與標(biāo)注，進(jìn)而實(shí)現(xiàn)三維模型的自動標(biāo)注。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種基于聯(lián)合分割的三維模型構(gòu)成的自動標(biāo)注方法，用于支持對三維模型的自動分割與標(biāo)注。為了解決上述技術(shù)問題，本發(fā)明公開了一種基于聯(lián)合分割的三維模型構(gòu)成的自動標(biāo)注方法，包括以下步驟:步驟一，三維模型集聯(lián)合分割:對輸入的同類三維模型集進(jìn)行聯(lián)合分割以獲得初始部件聚類，包括單模型預(yù)分割和部件譜聚類兩個(gè)步驟:單模型預(yù)分割將三維模型集中的每個(gè)三維模型進(jìn)行預(yù)分割為初始部件集；所述部件為相互連接的面片；部件譜聚類將單模型預(yù)分割過程獲得的初始部件集聚類為多個(gè)初始部件聚類，聚類數(shù)對應(yīng)于最終三維模型標(biāo)注部件的總個(gè)數(shù)，可以由用戶給定，也可以根據(jù)本發(fā)明自動計(jì)算；步驟二，三維模型分割標(biāo)注:在三維模型集聯(lián)合分割過程獲得的初始部件聚類幫助下，對待標(biāo)注目標(biāo)三維模型進(jìn)行分割與標(biāo)注，包括統(tǒng)計(jì)模型構(gòu)建和面片標(biāo)注兩個(gè)步驟:統(tǒng)計(jì)模型構(gòu)建將每個(gè)初始部件聚類中的部件面片級特征作為觀察值，構(gòu)建描述相應(yīng)初始部件聚類的混合高斯模型，并根據(jù)貝葉斯理論計(jì)算待標(biāo)注目標(biāo)三維模型每個(gè)面片的標(biāo)注概率；面片標(biāo)注則采用圖割優(yōu)化算法同時(shí)考慮該目標(biāo)三維模型每個(gè)面片的標(biāo)注概率以及目標(biāo)三維模型面片局部特征對目標(biāo)三維模型進(jìn)行分割與標(biāo)注。本發(fā)明步驟一中所述單模型預(yù)分割部分還包括以下步驟:步驟111提取三維模型每個(gè)面片處的平均測地距離、高斯曲率、形狀直徑函數(shù)、形狀上下文4維面片級特征，從而組成4維特征向量。所述三維模型是網(wǎng)格化的三維模型。步驟112將三維模型網(wǎng)格每個(gè)面片的上述四個(gè)面片級特征值組 成的4維特征向量作為面片級特征空間中的一個(gè)點(diǎn)坐標(biāo)，在此空間中采用mean-shift聚類算法進(jìn)行聚類，從而將三維模型網(wǎng)格上的面片聚類為更大的初始部件。步驟113采用圖割優(yōu)化算法平滑初始部件邊界，獲得初始部件集S=Is1,…，sn}，η為初始部件數(shù)。本發(fā)明步驟一中所述部件譜聚類部分還包括以下步驟:步驟121，提取三維模型初始部件集S=Is1,…，SnI中初始部件的部件級特征,包括初始部件Si的I維面積特征a1、3維幾何形狀特征gi和4維面片級特征直方圖特征，共8維部件級特征，I < i < η ;步驟122，計(jì)算三維模型初始部件集S=Is1,…，SnI中初始部件Si和初始部件Sj間的距離，I ^ j η ；1、j相等時(shí)距離定義為O。步驟123根據(jù)部件間的距離，用高斯核構(gòu)建親和度矩陣W，并通過對親和度矩陣W進(jìn)行特征分解，以計(jì)算初始部件集的擴(kuò)散映射(diffusionmap),從而將初始部件s映射到擴(kuò)散空間中一點(diǎn)Wt(S)。步驟124對由擴(kuò)散映射獲得的擴(kuò)散空間進(jìn)行聚類，若聚類數(shù)k由用戶給定，則采用k均值聚類算法進(jìn)行聚類；否則，采用mean-shift聚類算法，自動計(jì)算聚類數(shù)k，最終獲得初始部件聚類，并將每個(gè)聚類的類標(biāo)注為類C=Ic1, C2,…，ck}，k為聚類數(shù)量。本發(fā)明步驟二中所述統(tǒng)計(jì)模型構(gòu)建部分還包括以下步驟:步驟211對類標(biāo)注為Ci的聚類，將其中所有初始部件上面片的面片級特征作為觀察值，估計(jì)混合高斯模型(Gaussian mixture model,GMM)來建模該類，并計(jì)算類標(biāo)注Ci的后驗(yàn)概率P(Ci)為類標(biāo)號Ci中初始部件面積之和與集合中所有初始部件的總面積之比。步驟212根據(jù)貝葉斯理論(Bayes’ Theorem)計(jì)算待標(biāo)注目標(biāo)三維模型網(wǎng)格面片f屬于類標(biāo)注Ci的概率p (Ci | f)。
本發(fā)明步驟二中所述面片標(biāo)注部分將待標(biāo)注目標(biāo)三維模型網(wǎng)格面片f屬于類標(biāo)注Ci的概率作為圖割優(yōu)化算法的數(shù)據(jù)項(xiàng)，圖割優(yōu)化算法的圖邊權(quán)重以及平滑項(xiàng)按步驟113所述進(jìn)行設(shè)置，最終將待標(biāo)注目標(biāo)三維模型網(wǎng)格進(jìn)行分割并標(biāo)注。有益效果:本發(fā)明具有以下優(yōu)點(diǎn):首先，本發(fā)明可對同種類型多個(gè)模型同時(shí)進(jìn)行一致性分割；其次，本發(fā)明可通過對同種類型多個(gè)模型的聯(lián)合分割，提取該類模型的部件形狀及其組成信息；最后，本發(fā)明可利用從模型集中獲取的部件形狀及其組成信息，對三維模型進(jìn)行分割，并實(shí)現(xiàn)自動標(biāo)注。


下面結(jié)合附圖和具體實(shí)施方式
對本發(fā)明做更進(jìn)一步的具體說明，本發(fā)明的上述和/或其他方面的優(yōu)點(diǎn)將會變得更加清楚。圖1是本發(fā)明的處理流程示意圖。圖2a是實(shí)施例的輸入模型集示例示意圖。圖2b是實(shí)施例待標(biāo)注的目標(biāo)三維模型示意圖。圖3a是對圖2a輸入模型集進(jìn)行三維模型集聯(lián)合分割，并對圖2a輸入模型集中每個(gè)三維模型進(jìn)行三維模型分割標(biāo)注 的結(jié)果示意圖。圖3b是根據(jù)圖2a輸入三維模型集中獲取的部件形狀及其信息，對圖2b中的待標(biāo)注目標(biāo)三維模型進(jìn)行分割標(biāo)注的結(jié)果示意圖。圖4a是對實(shí)施例輸入模型進(jìn)行聚類的結(jié)果示意圖。圖4b是對圖4a進(jìn)一步平滑的結(jié)果示意圖。圖5是實(shí)施例輸入模型集合中初始部件集結(jié)果示意圖。圖6a 6d是對圖5所得初始部件結(jié)果進(jìn)行部件譜聚類過程所得對應(yīng)初始部件聚類示意圖。
具體實(shí)施方式
:如圖1所示，本發(fā)明公開的一種基于聯(lián)合分割的三維模型構(gòu)成的自動標(biāo)注方法，具體包括以下步驟:步驟一，三維模型集聯(lián)合分割:對輸入的同類三維模型集進(jìn)行聯(lián)合分割以獲得初始部件聚類。步驟二，三維模型分割標(biāo)注:在三維模型集聯(lián)合分割過程獲得的初始部件聚類的幫助下，對待標(biāo)注目標(biāo)三維模型進(jìn)行分割并獲得其部件標(biāo)注。本發(fā)明的輸入三維模型集為同種類型，具有相似功能部件結(jié)構(gòu)的三維模型集合。下面具體介紹各個(gè)步驟的主要流程:1.三維模型集聯(lián)合分割三維模型集聯(lián)合分割過程對輸入的同類三維模型集進(jìn)行聯(lián)合分割以獲得初始部件聚類，包括單模型預(yù)分割和部件譜聚類兩個(gè)步驟。1.1.單模型預(yù)分割單模型預(yù)分割過程將三維模型集中的每個(gè)三維模型進(jìn)行預(yù)分割，從而獲得所有三維模型的初始部件集S= Is1,…，sn}，其中，η為初始部件數(shù)；所述部件為相互連接的面片。過程如下:步驟I提取三維模型集中三維模型每個(gè)面片處的面片級特征，所提取特征為文獻(xiàn) 7:Hilaga Μ.，Shinagawa Y.，Kohmura Τ.，Kunii T.L.Topology matching for fullyautomati csimilarity estimation of3d shapes.Proceedings of the28th annualconference on Computer graphics and interactive techniques(New York, NYj USA, 2001) ,SIGGRAPH，01，ACM，pp.203-212.中的平均測地距離(Average Geodesic Distance，AGD)、文獻(xiàn) 8:Gal R.，Cohen-Or D.Salient geometric features for partial shapematching and similarity.ACM Transactions on Graphics, 2006，25(I):130-150 中的高斯曲率(Gaussian curvature, GC)、文獻(xiàn) 9:ShapiraL，Shalom S.，Shamir A.，Cohen-OrD.，Zhang H.Contextual part analogies in3D objects.1nternational Journalof Computer Vision, 2010，89(2-3):309-326.中的形狀直徑函數(shù)(shape diameterfunction，SDF)、文獻(xiàn) 10:Belongie S., Malik J., Puzicha J.Shape matching and objectrecognition using shape contexts.1EEE Transactions On Pattern Analysis andMachine Intelligence，2002，24 (4): 509-522.中的形狀上下文(shape contexts, SC)，從而三維模型每個(gè)面片上都計(jì)算這四個(gè)面片級特征組成4維特征向量。步驟2將三維模型每個(gè)面片的上述四個(gè)面片級特征值組成的4維特征向量作為面片級特征空間中的一個(gè)點(diǎn)坐標(biāo)，在此空間中釆用mean-shift聚類算法進(jìn)行聚類，如文獻(xiàn) 11:Comaniciu D., MEER P.Mean shift:a robust approach towardsfeature space analysis.1EEE Transactions On Pattern Analysis and MachineIntelligence, 2002，24(5):603-619.所述，從而將三維模型上的面片聚類為更大的初始部件，對三維模型集中的每個(gè)三維模型聚類一次。步驟3 米用文獻(xiàn) 12:Boykov Y.，Veksler 0.，Zabih R.Fast Approximate EnergyMinimization via Graph Cuts.1EEE Transactions On Pattern Analysis and MachineIntelligence，2001，23 (11):1222-1239.中的圖割優(yōu)化算法平滑初始部件邊界，獲得初始部件集S=Is1,…，S1J。首先構(gòu)建一個(gè)圖，圖節(jié)點(diǎn)為網(wǎng)格面片，相鄰網(wǎng)格面片之間存在邊，圖割優(yōu)化算法則可通過計(jì)算該圖的最小割的方式，計(jì)算三維模型上每個(gè)面片的最佳標(biāo)號f，來最小化能量:E(f) =Edata (f) +Esmooth (f)面片P和面片q被標(biāo)注為標(biāo)號fp和標(biāo)號fq時(shí)邊{p，q}的權(quán)重Wp，q(fp, fq)為:[。。42]
權(quán)利要求
1.一種三維模型構(gòu)成的自動標(biāo)注方法，其特征在于，包括以下步驟: 步驟一，三維模型集聯(lián)合分割:對輸入的同類三維模型集進(jìn)行聯(lián)合分割獲得初始部件聚類，包括單模型預(yù)分割和部件譜聚類兩個(gè)步驟: 單模型預(yù)分割將三維模型集中的每個(gè)三維模型進(jìn)行預(yù)分割為初始部件集；所述部件為相互連接的面片； 部件譜聚類將單模型預(yù)分割過程獲得的所有初始部件聚類為對應(yīng)初始部件聚類，聚類數(shù)對應(yīng)于最終三維模型標(biāo)注部件的總個(gè)數(shù)； 步驟二，三維模型分割標(biāo)注:根據(jù)初始部件聚類，對待標(biāo)注目標(biāo)三維模型進(jìn)行分割與標(biāo)注，包括統(tǒng)計(jì)模型構(gòu)建和面片標(biāo)注兩個(gè)步驟: 統(tǒng)計(jì)模型構(gòu)建步驟將每個(gè)初始部件聚類中的部件面片級特征作為觀察值，構(gòu)建描述相應(yīng)初始部件聚類的混合高斯模型，并根據(jù)貝葉斯算法計(jì)算待標(biāo)注目標(biāo)三維模型每個(gè)面片的標(biāo)注概率； 面片標(biāo)注步驟采用圖割優(yōu)化算法同時(shí)基于目標(biāo)三維模型每個(gè)面片的標(biāo)注概率以及目標(biāo)三維模型面片局部特征對目標(biāo)三維模型進(jìn)行分割與標(biāo)注。
2.根據(jù)權(quán)利要求1所述的一種三維模型構(gòu)成的自動標(biāo)注方法，其特征在于，步驟一中所述單模型預(yù)分割部分包括以下步驟: 步驟111，提取三維模型每個(gè)面片的4維面片級特征，包括平均測地距離、高斯曲率、形狀直徑函數(shù)、形狀上下文，從而組成每個(gè)面片的4維特征向量； 步驟112，將三維模型每個(gè)面片的4維特征向量作為面片級特征空間中的一個(gè)點(diǎn)坐標(biāo)，在此空間中采用mean-sh ift聚類算法進(jìn)行聚類，從而將三維模型上的面片聚類為更大的初始部件； 步驟113，采用圖割優(yōu)化算法平滑初始部件邊界，獲得初始部件集S= Is1，…，sn}，η為初始部件數(shù)。
3.根據(jù)權(quán)利要求2所述的一種三維模型構(gòu)成的自動標(biāo)注方法，其特征在于，步驟一中所述部件譜聚類部分包括以下步驟: 步驟121，提取三維模型初始部件集S=Is1,…，sn}中初始部件的部件級特征，包括初始部件Si的I維面積特征％、3維幾何形狀特征gi和4維面片級特征直方圖特征，共8維部件級特征，I彡i彡η ; 步驟122,計(jì)算三維模型初始部件集S=Is1,…，sn}中初始部件Si和初始部件Sj間的距1 , I ^ j ^ η ； 步驟123，根據(jù)部件間的距離，用高斯核構(gòu)建親和度矩陣W，并通過對親和度矩陣W進(jìn)行特征分解，計(jì)算初始部件集的擴(kuò)散映射得到擴(kuò)散空間，從而將初始部件s映射到擴(kuò)散空間中一點(diǎn) Wt(S)； 步驟124，對由擴(kuò)散映射獲得的擴(kuò)散空間進(jìn)行聚類，若聚類數(shù)k由用戶給定，則采用k均值聚類算法進(jìn)行聚類；否則，采用mean-shift聚類算法，自動計(jì)算聚類數(shù)k，最終獲得初始部件聚類，并將每個(gè)聚類的類標(biāo)注為類C=Ic1, C2,…，ck}。
4.根據(jù)權(quán)利要求3所述的一種三維模型構(gòu)成的自動標(biāo)注方法，其特征在于，步驟二中所述統(tǒng)計(jì)模型構(gòu)建部分包括以下步驟: 步驟211，對類標(biāo)注為Ci的聚類，將其中所有初始部件上面片的面片級特征作為觀察值，使用混合高斯模型建模聚類Ci，并計(jì)算聚類Ci的后驗(yàn)概率P (Ci)為聚類Ci中初始部件面積之和與聚類集合中所有初始部件的總面積之比； 步驟212，根據(jù)貝葉斯算法計(jì)算待標(biāo)注目標(biāo)三維模型面片f屬于聚類Ci的概率P(CiIf)。
5.根據(jù)權(quán)利要求4所述的一種三維模型構(gòu)成的自動標(biāo)注方法，其特征在于，步驟二中所述面片標(biāo)注步驟將待標(biāo)注目標(biāo)三維模型網(wǎng)格面片f屬于聚類Ci的概率作為圖割優(yōu)化算法的數(shù)據(jù)項(xiàng)，圖割優(yōu)化算法的圖邊權(quán)重以及平滑項(xiàng)按步驟113所述進(jìn)行設(shè)置，最終將待標(biāo)注目標(biāo)三維模型進(jìn)行分 割并標(biāo)注。
全文摘要
本發(fā)明公開了一種三維模型構(gòu)成的自動標(biāo)注方法，包括以下步驟對輸入的同類三維模型集進(jìn)行聯(lián)合分割以獲得初始部件聚類；聯(lián)合分割過程包括對三維模型集中的每個(gè)三維模型進(jìn)行面片級特征提取，得到三維模型的面片級特征，利用面片級特征對三維模型集中的每個(gè)三維模型進(jìn)行單模型預(yù)分割，從而獲得三維模型集中的所有三維模型的初始部件集，以及對初始部件進(jìn)行部件級特征提取，以獲得初始部件的部件級特征，并在此基礎(chǔ)上采用譜聚類方法對初始部件進(jìn)行聚類，從而獲得多個(gè)初始部件聚類；對每個(gè)初始部件聚類構(gòu)建一個(gè)統(tǒng)計(jì)模型，利用此統(tǒng)計(jì)模型采用圖割優(yōu)化方法將待標(biāo)注的目標(biāo)模型面片進(jìn)行分割并獲得其標(biāo)注信息。
文檔編號G06T17/00GK103077555SQ201310020469
公開日2013年5月1日 申請日期2013年1月18日 優(yōu)先權(quán)日2013年1月18日
發(fā)明者孫正興, 章菲倩, 宋沫飛, 郎許鋒 申請人:南京大學(xué)