專利名稱：基于視頻的三維模型檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體信息檢索技術(shù)，尤其涉及三維模型檢索方法。
背景技術(shù)：
隨著多媒體技術(shù)的普及和發(fā)展，各種三維模型不斷地出現(xiàn)并應(yīng)用在社 會生產(chǎn)生活的各個方面。因此，如何從已有的各種三維模型數(shù)據(jù)庫中快速 準確地檢索到自己需要的三維模型，成為目前需要解決的一個問題。
目前已經(jīng)存在一些三維模型的檢索方法，如基于三維草圖匹配、基于 二維草圖匹配、基于三維模型匹配、基于文本關(guān)鍵字匹配等。但是這些方
法各自存在不足基于三維草圖的匹配算法繪制操作相對復(fù)雜，缺乏較好 的交互性；基于二維草圖的匹配丟失了過多的信息，造成檢索的精度下降。 因此，目前需要一種操作簡單并且高精確度的三維模型的檢索方法。

發(fā)明內(nèi)容
為了解決上述問題之一，本發(fā)明提出了一種基于視頻的三維模型檢索 方法，包括以下步驟對三維模型數(shù)據(jù)庫進行預(yù)處理，生成二維輪廓數(shù)據(jù) 庫；從視頻信息中提取物體的代表輪廓；將所述代表輪廓與所述二維輪廓 數(shù)據(jù)庫進行匹配，根據(jù)匹配結(jié)果確定所述物體對應(yīng)的三維模型。
根據(jù)本發(fā)明的實施例，所述對三維模型數(shù)據(jù)庫進行預(yù)處理，生成二維 輪廊數(shù)據(jù)庫的步驟包括從多個角度對所述三維模型數(shù)據(jù)庫中的三維模型 進行投影，得到多個投影圖片；提取所述投影圖片的外邊緣，對所述外邊 緣進行采樣，獲得多個采樣點作為所述三維模型的一個二維輪廓；提取所 述二維輪廓的特征向量，將所述三維模型的所有所述二維輪廓所提取出的 特征向量組成所述三維模型的特征向量集；將所述特征向量集進行分類， 對于每個所述特征向量集類確定代表特征向量；將每個所述代表特征向量所對應(yīng)的二維輪廓保存到所述二維輪廓數(shù)據(jù)庫中；將所有二維輪廓的代表 特征向量組成代表特征向量集，將所述代表特征向量集進行逐層分類，構(gòu) 成樹型結(jié)構(gòu)的所迷二維輪廓數(shù)據(jù)庫。
根據(jù)本發(fā)明的實施例，所述從視頻信息中提取物體的代表輪廓的步驟
包括對所述視頻信息的各幀進行處理，得到每幀關(guān)注物體的二值化圖像； 分別對所述二值化圖像進行邊緣檢測，得到所述關(guān)注物體的二維輪廓；提 取所述二維輪廓的特征向量，構(gòu)成所述關(guān)注物體的特征向量集；對所述特 征向量集進行分類，對于每個所述特征向量集類確定代表特征向量，得到 所述關(guān)注物體的代表輪廓。
根據(jù)本發(fā)明的實施例，所述提取二維輪廓的特征向量的步驟包括在 所述二維輪廓中選取num個采樣點，計算每個所述采樣點到所述二維輪廓 上其它采樣點的距離，取所述距離的平均值作為所述采樣點的特征值，其 中num為正整數(shù)；計算num個所述特征值的平均值,然后依次將num個所 述特征值除以所述特征值的平均值得到規(guī)范化的特征值；將所述二維輪廓 的所述規(guī)范化的特征值按順序排列，構(gòu)成num維向量，將所述num維向量 作為所述二維輪廓的特征向量。
根據(jù)本發(fā)明的實施例，所述逐層分類構(gòu)建樹型結(jié)構(gòu)的所述二維輪廓數(shù) 據(jù)庫的步驟包括將所述三維模型數(shù)據(jù)庫中的所有三維模型的二維輪廓的
特征向量進行初步聚類，確定所述三維模型數(shù)據(jù)庫的第一層聚類；分別對 上一層的每個所述聚類中的所述特征向量進行聚類；重復(fù)進行聚類操作， 直至所述聚類不能再細分。
根據(jù)本發(fā)明的實施例，所述聚類不能再細分的標準為所述聚類內(nèi)的
特征向量數(shù)rKk,或所述聚類內(nèi)的距離的總和 w ，其中n為
所述聚類內(nèi)的特征向量數(shù)，S為所述聚類內(nèi)的距離的總和，(araj)為所述 聚類內(nèi)特征向量i到特征向量j的距離，k,S為設(shè)定值。
根據(jù)本發(fā)明的實施例，所述對所述視頻信息的各幀進行處理包括利 用背景差分法對所述視頻信息的各幀進行處理。
根據(jù)本發(fā)明的實施例，將所述代表輪廓與所述二維輪廓數(shù)據(jù)庫進行匹 配，根據(jù)匹配結(jié)果確定所述物體對應(yīng)的三維模型的步驟包括將所述代表
6輪廓與所述二維輪廓數(shù)據(jù)庫進行比較，在所述二維輪廓數(shù)據(jù)庫中選擇與所
述代表輪廓相似度高的二維輪廓；將所述物體的每幅代表輪廓匹配的二維
輪廓所對應(yīng)的三維模型的相似度進行評分累加得到每個所述三維模型的匹 配，根據(jù)所述匹配評分確定與所述物體匹配的三維模型。
根據(jù)本發(fā)明的實施例，所述相似度由輪廓之間的距離確定，距離越小， 相似度越高，距離越大，相似度越低，其中所述距離由輪廓之間的形狀距 離和彎曲能量確定。
根據(jù)本發(fā)明的實施例，所述分類通過K-medoids聚類算法完成。 本發(fā)明所提出的基于視頻的三維模型檢索方法降低了檢索的復(fù)雜度， 提高了檢索精度。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描 述中將變得明顯和容易理解，其中
圖1為根據(jù)本發(fā)明的一個實施例的基于視頻的三維模型檢索方法的流 程圖2為根據(jù)本發(fā)明的一個實施例的對三維模型數(shù)據(jù)庫進行預(yù)處理的流 程圖3為根據(jù)本發(fā)明的一個實施例的提取特征向量的流程圖4為根據(jù)本發(fā)明的一個實施例的二維輪廓數(shù)據(jù)庫的樹型結(jié)構(gòu)示意
圖5為根據(jù)本發(fā)明的一個實施例的檢索匹配輸出過程的流程圖。
具體實施例方式
下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出。下 面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解 釋為對本發(fā)明的限制。
如圖1所示為根據(jù)本發(fā)明的一個實施例的基于視頻的三維模型檢索方 法的流程圖。作為本發(fā)明的一個實施例，三維模型存儲在服務(wù)器端的三維模型數(shù)據(jù)庫中，所述方法從客戶端得到一段關(guān)于物體在特定條件下剛體運 動的視頻，從視頻各幀中提取物體不同角度的輪廓信息，通過聚類算法選 出物體多個角度的代表輪廓，再綜合各輪廓信息與服務(wù)器端進行匹配，從
所述數(shù)據(jù)庫中輸出滿足要求的三維模型。作為本發(fā)明的一個實施例，該方
法包括以下步驟
在服務(wù)器端，將服務(wù)器端的三維模型數(shù)據(jù)庫進行預(yù)處理，構(gòu)成一個具 有樹型結(jié)構(gòu)的二維輪廓數(shù)據(jù)庫；
在客戶端，對用戶提供的物體視頻進行處理，跟蹤提取視頻中的關(guān)注 物體，例如通過背景差分法，再提取得到物體的輪廓信息，并通過聚類方 法產(chǎn)生視頻中關(guān)注物體多個角度的代表輪廓；
將從客戶端得到的多幅代表輪廓分別與所述二維輪廓數(shù)據(jù)庫中的二維 輪廓進行匹配，根據(jù)匹配結(jié)果確定物體所對應(yīng)的三維模型。
如圖2所示為根據(jù)本發(fā)明的一個實施例的對三維模型數(shù)據(jù)庫進行預(yù)處 理的流程圖。作為本發(fā)明的一個實施例，在預(yù)處理過程中，對服務(wù)器端的 三維模型數(shù)據(jù)庫中的每一個三維模型，通過投影提取外輪廓信息，對輪廓 進行采樣獲得相應(yīng)的特征向量，對各輪廓根據(jù)特征向量進行分類，再從每 類中選出代表輪廓保存。作為本發(fā)明的一個實施例，該方法包括以下步驟
對于服務(wù)器端的三維模型數(shù)據(jù)庫中的每一個三維模型，按一定的間隔， 如五度的間隔，從各個角度對該三維模型進行投影，得到一幅幅投影圖片， 在具體實施過程中也可以根據(jù)需要采用其他適合的間隔度；
提取每一幅投影圖片的外邊緣，例如，采用canny檢測算法，對所述
外邊緣進行等距離采樣，獲得設(shè)定數(shù)目的采樣點，所述采樣點作為相應(yīng)三 維模型的一個二維輪廓；
從所述二維輪廓中提取特征向量，同 一三維模型的所有投影圖片所對 應(yīng)的特征向量構(gòu)成該三維模型所對應(yīng)的特征向量集；
對于服務(wù)器端的三維模型數(shù)據(jù)庫中的每一個三維模型，將其所對應(yīng)的 特征向量集分類，獲得k個代表特征向量，例如，可以通過K-medoids聚 類算法；
將每一個類對應(yīng)的代表特征向量所對應(yīng)的輪廓保存到所述二維輪廓數(shù)據(jù)庫中；
對所述二維輪廓數(shù)據(jù)庫中的每一個二維輪廓計算特征向量，所有二維 輪廓所對的特征向量構(gòu)成特征向量集，采用逐層聚類的算法構(gòu)建數(shù)據(jù)庫的 樹型結(jié)構(gòu)。
作為本發(fā)明的一個實施例，對物體視頻的各幀進行處理，得到物體的
代表輪廓的步驟可以包括
對用戶提供的物體視頻的各幀進行處理，例如，通過背景差分法，得 到每幀關(guān)注物體的二值化圖像；
分別對二值化圖像進行邊緣檢測以得到關(guān)注物體的外輪廓，例如，通 過canny邊緣檢測方法，再對輪廓進行等距離采樣并提取出代表特征向量， 從各幀圖像提取的特征向量構(gòu)成關(guān)注物體的特征向量集；
對該特征向量集分類，例如采用K-medoids聚類算法，獲得K個代表 特征向量，即得到關(guān)注物體的K個代表輪廓。
如圖3所示為根據(jù)本發(fā)明的一個實施例的提取特征向量的流程圖。在 對三維模型的預(yù)處理過程中以及提取關(guān)注物體的二維輪廓過程中均可以采 用該方法。該實施例首先對輪廓進行采樣，再分別計算采樣點之間的距離， 取每點到其他各點距離的均值作為該點的特征值，經(jīng)過規(guī)范化處理再按特 征值從小到大順序排列構(gòu)成特征向量。具體步驟如下
所述二維輪廓由設(shè)定數(shù)目為num的采樣點表示，對于所述二維輪廓上 的每一點，計算該點到輪廓上其它點的距離，取距離的平均值作為該點的 特征值；
對計算得到的num個點的特征值進行規(guī)范化處理首先計算出這num 個特征值的平均值Mean，然后依次將num個特征值除以Mean以得到規(guī)范 化后的特征值；
將輪廓上經(jīng)規(guī)范化得到的特征值按順序排列，如按照從小到大或從大 到小的順序，構(gòu)成一個num維向量，將該向量作為所述二維輪廓的特征向量。
如圖4所示為根據(jù)本發(fā)明的一個實施例的二維輪廓數(shù)據(jù)庫的樹型結(jié)構(gòu) 示意圖。其中，眾表示代表輪廓。其中由基類開始，每一大類都有自己的代表輪廓。檢索時，檢索過程中只需與代表輪廓進行比較，直至找到最底層時才與類內(nèi)所有輪廓進行比較。作為本發(fā)明的一個實施例，構(gòu)造數(shù)據(jù)庫的樹型結(jié)構(gòu)具體步驟如下
對模型庫中所有模型代表圖片的特征向量進行初步聚類，例如采用
K-medoids聚類算法，以確定模型庫的各大類，設(shè)定為N;
在N大類中分別采用聚類算法進行聚類，以得到更加細分的類別；在細分類別中重復(fù)聚類操作，直至該類不能再細分為止，作為本發(fā)明
的一個實施例，不再細分標準可以為類內(nèi)特征向量數(shù)iKk或類內(nèi)距離的
總和，其中，n為所述聚類內(nèi)的特征向量數(shù)，S為所述聚類內(nèi)的距離的總和，(araj)為所述聚類內(nèi)特征向量i到特征向量j的距離，k，》為設(shè)定值。
作為本發(fā)明的一個實施例，將特征向量集分類，獲得k個代表特征向量的步驟可以包括
kl代表分類的類數(shù)，將其初始化為2， max代表最大分類數(shù)，s代表分類的準確度，將其初始化為-l;
從所述特征向量集中任意選取kl個特征向量分別作為每一類的代表特征向量；
特征向量之間的距離由公式11^—『J計算，對于所述特征向量集中的每一個未分類特征向量，分別計算該特征向量與每一類的代表特征向量之間的距離，按距離最小原則將該特征向量劃分到對應(yīng)的類中，其中，Wx為未分類特征向量，Wy為所在類的代表特征向量，"^—^H表示W(wǎng)x與Wy之間的距離；
當未分類特征向量^加入某一類后，更新該類的代表特征向量計算該類中每一個特征向量到同一類中其他特征向量的距離，并平均，按平均距離最小原則將所對應(yīng)的特征向量作為該類的代表特征向量；
重復(fù)上述兩個步驟，直至每一個特征向量都歸入到相應(yīng)的類中；
計算此次循環(huán)得到的分類的合理性；將類數(shù)kl加l,重復(fù)上述步驟，直至達到最大分類數(shù)，再綜合比較確定一個合理的分類。
作為本發(fā)明的 一個實施例，計算分類合理性的方法可以包括以下步驟對于所述特征向量集中的每一個特征向量，a代表該特征向量與它所對
應(yīng)類的代表特征向量之間的距離，b代表該特征向量與其他類的代表特征
向量之間距離的最小值；
用公式l-a/(max(a,b))計算此次分類的正確性，用sl表示;
選擇最大的sl所代表的分類方案即為最合理的聚類。
如圖5所示為根據(jù)本發(fā)明的一個實施例的檢索匹配輸出過程的流程圖。該實施例包括以下步驟
將待檢索的視頻的代表輪廓分別與所述二維輪廓數(shù)據(jù)庫中第 一層的二維輪廓進行匹配；
初步確定與從客戶端輸入的輪廓最接近的分類；
將待匹配輪廓與該分類逐層比較以最終確定相似度高的輪廓；
將每幅代表輪廓匹配的三維模型按相似度由高到低進行排序并進行評分，例如，選取前20個進行評分，相似度最高的20分，以后依次按1分間隔遞減，第20位得1分；
統(tǒng)計所有代表輪廓匹配的三維模型，進行評分累加，再從高到低排序，由評分高低依次輸出相似的三維模型。
作為本發(fā)明的 一 個實施例，兩個4侖廓之間的距離由它< i']的形狀距離和彎曲能量組合而成，所述形狀距離與彎曲能量的計算還包括以下步驟
輪廓中'"、的坐標為輪廓上所有點的坐標平均，對于輪廓上的每 一 點，計算輪廓上的其他點到該點的距離，用輪廓上的點與所述輪廓中心之間距離的最大值歸一化，并按距離和角度等分成60個象限，統(tǒng)計各個象限內(nèi)的點數(shù)，從而構(gòu)成該點的特征向量h;
由公式2"1 A'W + ^'W計算兩點之間的形狀距離；對于兩個輪廓A和B，分解計算輪廓上的每一點的特征向量，從而構(gòu)成兩個距離矩陣。利用匈牙利算法求得輪廓A和B的最佳匹配，再將對應(yīng)點的形狀距離求和取均值即得到兩輪廓的形狀距離El。
利用薄板樣條插值算法，根據(jù)輪廓A、 B以及它們之間的最佳匹配，就可求得輪廓A變換到與輪廓B重合所經(jīng)過的彈性變換程度對應(yīng)的彎曲能量E2;兩個輪廓之間的距離由公式a*El+b*E2計算，a+b=l ，且
ii0<a<l,0<b<l;詳纟田算法可參見Serge Belongie、 Jitendra Malik、 Jan Puzicha的《Shape Matching and Object Recognition Using Shape Contexts》。
本發(fā)明的實施例提出了一種基于視頻的三維模型檢索方法，克服了現(xiàn)有技術(shù)的不足。該方法不僅可以根據(jù)用戶提供的物體在特定條件下剛體運動的視頻檢索出三維模型，還能對視頻進行預(yù)處理以提取代表性的輪廓信息，從而能夠快速準確地檢索到符合要求的三維模型，避免了多幀差異很小的圖片重復(fù)檢索造成的時間浪費。本發(fā)明的實施例對已經(jīng)存在的三維模型數(shù)據(jù)庫進行投影處理，得到各個角度下的視圖，提取視圖的輪廓，采用聚類方法對輪廓進行分類，只保存每一類中的代表輪廓，在視頻預(yù)處理、三維模型投影、構(gòu)建數(shù)據(jù)庫等階段都采用了聚類算法，從而大大減少了檢索時需要匹配的輪廓數(shù)目；在檢索時與數(shù)據(jù)庫中的二維輪廓進行匹配，從而提高了檢索的效率；而采用多幅物體輪廓進行匹配，極大地提高檢索的精度。本發(fā)明所提出的基于視頻的檢索不僅具有獲取簡單的優(yōu)點，而且能夠相對全面地得到物體的信息，并且避免了手工繪制的任意性和不準確性，從而能夠較好地進行三維模型的檢索。
盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變形，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
1、一種基于視頻的三維模型檢索方法，其特征在于，包括以下步驟對三維模型數(shù)據(jù)庫進行預(yù)處理，生成二維輪廓數(shù)據(jù)庫；從視頻信息中提取物體的代表輪廓；將所述代表輪廓與所述二維輪廓數(shù)據(jù)庫進行匹配，根據(jù)匹配結(jié)果確定所述物體對應(yīng)的三維模型。
2、 根據(jù)權(quán)利要求1所述的基于視頻的三維模型檢索方法，其特征在于， 所述對三維模型數(shù)據(jù)庫進行預(yù)處理，生成二維輪廓數(shù)據(jù)庫的步驟包括從多個角度對所述三維模型數(shù)據(jù)庫中的三維模型進行投影，得到多個 投影圖片；提取所述投影圖片的外邊緣，對所述外邊緣進行采樣，獲得多個采樣 點作為所述三維模型的 一 個二維輪廓；提取所述二維輪廓的特征向量，將所述三維模型的所有所述二維輪廓 所提取出的特征向量組成所述三維模型的特征向量集；將所述特征向量集進行分類，對于每個所述特征向量集類確定代表特 征向量；將每個所述代表特征向量所對應(yīng)的二維輪廓保存到所述二維輪廓數(shù)據(jù) 庫中；將所有二維輪廓的代表特征向量組成代表特征向量集，將所述代表特 征向量集進行逐層分類，構(gòu)成樹型結(jié)構(gòu)的所述二維輪廓數(shù)據(jù)庫。
3、 根據(jù)權(quán)利要求l所述的基于視頻的三維模型檢索方法，其特征在于，所述從視頻信息中提取物體的代表輪廓的步驟包括對所述視頻信息的各幀進行處理，得到每幀關(guān)注物體的二值化圖像； 分別對所述二值化圖像進行邊緣檢測，得到所述關(guān)注物體的二維輪廓； 提取所述二維輪廓的特征向量，構(gòu)成所述關(guān)注物體的特征向量集； 對所述特征向量集進行分類，對于每個所述特征向量集類確定代表特征向量，得到所述關(guān)注物體的代表輪廓。
4、 根據(jù)權(quán)利要求2或3所述的基于視頻的三維模型檢索方法，其特征在于，所述提取二維輪廓的特征向量的步驟包括在所述二維輪廓中選取num個采樣點，計算每個所述采樣點到所述二 維輪廓上其它采樣點的距離，取所述距離的平均值作為所述采樣點的特征 值，其中num為正整數(shù)；計算num個所述特征值的平均值，然后依次將num個所述特征值除以 所述特征值的平均值得到規(guī)范化的特征值；將所述二維輪廓的所述規(guī)范化的特征值按順序排列，構(gòu)成num維向量， 將所述num維向量作為所述二維輪廓的特征向量。
5、 根據(jù)權(quán)利要求2所述的基于視頻的三維模型檢索方法，其特征在于， 所述逐層分類構(gòu)建樹型結(jié)構(gòu)的所述二維輪廓數(shù)據(jù)庫的步驟包括將所述三維模型數(shù)據(jù)庫中的所有三維模型的二維輪廓的特征向量進行 初步聚類，確定所述三維模型數(shù)據(jù)庫的第一層聚類；分別對上一層的每個所述聚類中的所述特征向量進行聚類； 重復(fù)進行聚類操作，直至所述聚類不能再細分。
6、 根據(jù)權(quán)利要求5所述的基于視頻的三維模型檢索方法，其特征在于， 所述聚類不能再細分的標準為所述聚類內(nèi)的特征向量數(shù)n<k,或所述聚類內(nèi)的距離的總和 ，其中n為所述聚類內(nèi)的特征向量數(shù)，S為所述聚類內(nèi)的距離的總和， (ai-aj)為所述聚類內(nèi)特征向量i到特征向量j的距離，kj為設(shè)定值。
7、 根據(jù)權(quán)利要求3所述的基于視頻的三維模型檢索方法，其特征在于， 所述對所述視頻信息的各幀進行處理包括利用背景差分法對所述視頻信 息的各幀進行處理。
8、 根據(jù)權(quán)利要求1所述的基于視頻的三維模型檢索方法，其特征在于， 將所述代表輪廓與所述二維輪廓數(shù)據(jù)庫進行匹配，根據(jù)匹配結(jié)果確定所述 物體對應(yīng)的三維模型的步驟包括將所述代表輪廓與所述二維輪廓數(shù)據(jù)庫進行比較，在所述二維輪廓數(shù) 據(jù)庫中選擇與所述代表輪廓相似度高的二維輪廓；將所述物體的每幅代表輪廓匹配的二維輪廓所對應(yīng)的三維模型的相似 度進行評分累加得到每個所述三維模型的匹配，根據(jù)所述匹配評分確定與所述物體匹配的三維才莫型。
9、 根據(jù)權(quán)利要求7所述的基于視頻的三維模型檢索方法，其特征在于， 所述相似度由輪廓之間的距離確定，距離越小，相似度越高，距離越大， 相似度越低，其中所述距離由輪廓之間的形狀距離和彎曲能量確定。
10、 根據(jù)權(quán)利要求2或3所述的基于視頻的三維模型檢索方法，其特 ;f正在于，所述分類通過K-medoids聚類算法完成。
全文摘要
本發(fā)明提出了一種基于視頻的三維模型檢索方法，包括以下步驟對三維模型數(shù)據(jù)庫進行預(yù)處理，生成二維輪廓數(shù)據(jù)庫；從視頻信息中提取物體的代表輪廓；將所述代表輪廓與所述二維輪廓數(shù)據(jù)庫進行匹配，根據(jù)匹配結(jié)果確定所述物體對應(yīng)的三維模型。本發(fā)明所提出的基于視頻的三維模型檢索方法降低了檢索的復(fù)雜度，提高了檢索精度。
文檔編號G06F17/30GK101593205SQ20091008672
公開日2009年12月2日 申請日期2009年6月24日 優(yōu)先權(quán)日2009年6月24日
發(fā)明者劉永進, 露 呂, 宇 樓, 曦 羅 申請人:清華大學