專利名稱：基于擴(kuò)展的活動形狀模型的實時特征點檢測方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種數(shù)字圖像處理、計算機(jī)視覺以及軟件工程技術(shù)領(lǐng)域的方法，尤其是涉及ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測方法與系統(tǒng)。
背景技術(shù)：
特征點定位主要的目的就是從檢測到的圖像中提取出能代表圖像本質(zhì)的特征，從而大大降低特征空間的維數(shù)，以利于后續(xù)的分類過程。特征提取的關(guān)鍵是一方面要去除圖像的冗余信息以簡化和加快計算速度和識別過程，另ー方面又要讓提取的特征具有完備性和充分性以保障識別的識別率。準(zhǔn)確定位特征點可以極大提高識別的精度。特征點定位在智能監(jiān)控、安全檢測、身份認(rèn)證識別、自動化藝術(shù)創(chuàng)作等領(lǐng)域均有廣泛應(yīng)用。 在常見的需要對特征點進(jìn)行檢測的應(yīng)用中，既包含a.單個的靜態(tài)圖片，例如在人臉特征點定位時，可能只需要對某ー張圖片進(jìn)行定位，再根據(jù)定位的特征點來判斷性別或是進(jìn)行表情識別。也包含ー些b.連續(xù)變化的場景，例如一段物體不斷動態(tài)變化的視頻。在以上兩種場景中都希望所定位的特征點盡量的準(zhǔn)確來反應(yīng)圖片中物體的特征，靜態(tài)圖片對于定位時間的要求不高，需要能夠獲得盡量準(zhǔn)確的標(biāo)記結(jié)果。而在動態(tài)視頻中對于實時性有較高的要求，特征點的變化應(yīng)該能夠反應(yīng)出物體的運動變化。已有的圖片物體特征點定位的方法大體上可以分為兩種，匹配速度較快的活動形狀模型和利用了紋理信息但時間較長的活動外觀模型。兩者各有優(yōu)缺點，但都不能夠較好滿足實時特征點檢測的需要。經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)中國國家專利申請?zhí)?00510111501. 8的專利用支持向量機(jī)多類分類器搜索特征點新位置的方法提出了ー種基于活動形狀模型利用支持向量機(jī)進(jìn)行特征點定位的方法。中國國家專利申請?zhí)?00610027975. 9的專利結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法提出了ー種基于活動形狀模型和活動外觀模型的特征點定位的方法。中國國家專利申請?zhí)?00510135668. 8的專利視頻序列中人臉的實時檢測與持續(xù)跟蹤的方法及系統(tǒng)提出了如何快速而連續(xù)的跟蹤人臉的方法和實現(xiàn)時所使用的各個模塊。Active shape models-their training and application (活動形狀模型-訓(xùn)練和應(yīng)用，Computer vision and image understanding, 61 (I) :38-59,1995.)提出了活動形狀模型對ー些形狀的訓(xùn)練方法以及這種方法在哪些領(lǐng)域能夠運用。在上述方法中，CN200510111501.8在定位速度上可以達(dá)到要求，但是該方法所使用的傳統(tǒng)活動形狀模型在準(zhǔn)確率上不能滿足后續(xù)應(yīng)用的需要尤其是在a場景中不夠準(zhǔn)確；CN200610027975.9在特征點定位上獲得了好的結(jié)果，但是該方法并沒有提出ー個比較快捷使用活動形狀模型的工具系統(tǒng)。CN200510111501. 8、CN200610027975. 9都沒有實現(xiàn)特征點的實時動態(tài)的定位，也沒能夠?qū)⑦@種方法通過擴(kuò)展用于其他物體的特征點定位。CN200510135668. 8在實時定位過程中的準(zhǔn)確度也有待加強(qiáng)。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種能夠獲得更高的特征點檢測準(zhǔn)確率并在實時特征點定位時進(jìn)行優(yōu)化的基于擴(kuò)展的活動形狀模型的實時特征點檢測方法與系統(tǒng)。本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)；ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測方法，該方法包括以下步驟A、訓(xùn)練模塊基于已有的特征點數(shù)據(jù)庫使用擴(kuò)展的活動形狀模型進(jìn)行訓(xùn)練產(chǎn)生訓(xùn)練豐吳型；B、匹配模塊基于訓(xùn)練模型使用擴(kuò)展的活動形狀模型對新的圖片進(jìn)行匹配處理，將匹配結(jié)果通過特征點標(biāo)記模塊添加入特征點數(shù)據(jù)庫或進(jìn)行進(jìn)一歩處理；C、測試模塊測試匹配結(jié)果，并判斷匹配處理方法的準(zhǔn)確率和速度情況。所述的步驟A中的特征點數(shù)據(jù)庫是指帶有物體圖像及其特征點文件的數(shù)據(jù)庫；所述的擴(kuò)展的活動形狀模型是指在標(biāo)準(zhǔn)活動形狀模型的垂線搜索基礎(chǔ)上，同時從切線、45度角斜線以及135度角斜線上搜索最優(yōu)特征點；所述的訓(xùn)練過程是指a)從特征點數(shù)據(jù)庫隨機(jī)選取出一個訓(xùn)練集，在訓(xùn)練集的每ー個訓(xùn)練樣本圖像上選
擇η個特征點,組成維度為2η的形狀向量x = [X1,....., xn, y1; . . . , yn]T，然后對所有的
圖像進(jìn)行對齊操作，使形狀向量所表示的形狀在大小、方向和位置上最為接近；b)對所有的對齊后的形狀向量進(jìn)行主成分分析，將所有的特征都表示為
權(quán)利要求
1.ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測方法，其特征在于，該方法包括以下步驟A、訓(xùn)練模塊基于已有的特征點數(shù)據(jù)庫使用擴(kuò)展的活動形狀模型進(jìn)行訓(xùn)練產(chǎn)生訓(xùn)練模型；B、匹配模塊基于訓(xùn)練模型使用擴(kuò)展的活動形狀模型對新的圖片進(jìn)行匹配處理，將匹配結(jié)果通過特征點標(biāo)記模塊添加入特征點數(shù)據(jù)庫或進(jìn)行進(jìn)一歩處理；C、測試模塊測試匹配結(jié)果，并判斷匹配處理方法的準(zhǔn)確率和速度情況。
2.根據(jù)權(quán)利要求I所述的ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測方法，其特征在于，所述的步驟A中的特征點數(shù)據(jù)庫是指帶有物體圖像及其特征點文件的數(shù)據(jù)庫；所述的擴(kuò)展的活動形狀模型是指在標(biāo)準(zhǔn)活動形狀模型的垂線搜索基礎(chǔ)上，同時從切線、45度角斜線以及135度角斜線上搜索最優(yōu)特征點；所述的訓(xùn)練過程是指a)從特征點數(shù)據(jù)庫隨機(jī)選取出一個訓(xùn)練集，在訓(xùn)練集的每ー個訓(xùn)練樣本圖像上選擇η個特征點，組成維度為2η的形狀向量x = [χ1； ..... ,xn, Y1,..., yn]T，然后對所有的圖像進(jìn)行對齊操作，使形狀向量所表示的形狀在大小、方向和位置上最為接近；b)對所有的對齊后的形狀向量進(jìn)行主成分分析，將所有的特征都表示為ろ=^+ <1^，其— j ffi中-表示所有形狀向量的平均值:X = _Lxi * Φ為特征向量，而h就是對應(yīng)的參數(shù)c)計算訓(xùn)練樣本的協(xié)方差矩陣J=丄Σ隊-力(A - ，其中m為所有形狀個數(shù)；m j,i所述的訓(xùn)練模型是指將訓(xùn)練結(jié)果保存在一個文件夾的文件中，待匹配處理時直接導(dǎo)入使用。
3.根據(jù)權(quán)利要求I所述的ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測方法，其特征在于，所述的步驟B中的匹配處理包括兩個方面a)局部范圍內(nèi)搜索最優(yōu)點在垂線方向、切線方向、45度角方向和135度角方向上捜索最優(yōu)點，通過多次迭代不斷向最優(yōu)的方向移動，在profile上用馬氏距離f(g>(g計算其最優(yōu)點的位置，從而確定下一次迭代過程中的方向，其中profile是指特征向量，gi是profile上的一點，g是η個點的平均值，s是由公式s^-^(g.-g) (g,-が得到的協(xié)方差矩陣；b)全局范圍內(nèi)捜索最優(yōu)點將形狀特征向量的參數(shù)限定在-3#<を<3#范圍內(nèi)搜索最優(yōu)點，λ j表示特征向量所對應(yīng)的特征值；所述的進(jìn)一步處理包括將匹配的特征點用于物體種類識別和人臉表情識別。
4.一種如權(quán)利要求I所述的基于擴(kuò)展的活動形狀模型的實時特征點檢測系統(tǒng)，其特征在于，該系統(tǒng)包括特征點標(biāo)記模塊完成特征點的多模式標(biāo)記工作，用以擴(kuò)充特征點數(shù)據(jù)庫；訓(xùn)練模塊在特征點數(shù)據(jù)庫的基礎(chǔ)上產(chǎn)生訓(xùn)練模型；匹配模塊對新的圖形進(jìn)行匹配并輸出新圖形的特征點信息；測試模塊用于測試匹配結(jié)果判斷匹配處理方法的準(zhǔn)確率和速度情況。
5.根據(jù)權(quán)利要求4所述的ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測系統(tǒng)，其特征在于，所述的特征點標(biāo)記模塊包括特征點標(biāo)記工具和保存功能單元，所述的特征點標(biāo)記工具用于在已有數(shù)據(jù)庫的基礎(chǔ)上定位新圖像的特征點位置，所述的保存功能単元用于將特征點保存到特征點數(shù)據(jù)庫。
6.根據(jù)權(quán)利要求4所述的ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測系統(tǒng)，其特征在于，所述的訓(xùn)練模塊，包括圖形對齊單元、主成分分析単元和協(xié)方差矩陣計算單元，所述的圖形對齊單元是通過旋轉(zhuǎn)、縮放、移動三種操作將訓(xùn)練的圖形排列整齊，所述的主成分分析単元是找到對圖形影響最大的幾個特征向量，所述的協(xié)方差矩陣計算單元則是為后面匹配過程做準(zhǔn)備。
7.根據(jù)權(quán)利要求4所述的ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測系統(tǒng)，其特征在于，所述的匹配模塊包括局部搜索單元和全局形狀限制単元，所述的局部搜索單元在局部范圍內(nèi)確定最優(yōu)特征點，從而確定下ー步迭代時此點的移動方向，所述的全局形狀限制単元則是保證搜索范圍控制在設(shè)定的范圍內(nèi)。
8.根據(jù)權(quán)利要求4所述的ー種基于擴(kuò)展的活動形狀模型的實時特征點檢測系統(tǒng)，其特征在于，所述的測試模塊用于將匹配處理所得特征點結(jié)果與人工標(biāo)記結(jié)果進(jìn)行對比，得出平均每個特征點的像素偏移量，從而判斷匹配處理方法的準(zhǔn)確率。
全文摘要
本發(fā)明涉及一種基于擴(kuò)展的活動形狀模型的實時特征點檢測方法與系統(tǒng)，所述的方法包括以下步驟訓(xùn)練模塊基于已有的特征點數(shù)據(jù)庫使用擴(kuò)展的活動形狀模型進(jìn)行訓(xùn)練產(chǎn)生訓(xùn)練模型；匹配模塊基于訓(xùn)練模型使用擴(kuò)展的活動形狀模型對新的圖片進(jìn)行匹配處理，將匹配結(jié)果通過特征點標(biāo)記模塊添加入特征點數(shù)據(jù)庫或進(jìn)行進(jìn)一步處理；測試模塊測試匹配結(jié)果，并判斷匹配處理方法的準(zhǔn)確率和速度情況；所述的系統(tǒng)包括用于完成特征點的多模式標(biāo)記工作特征點標(biāo)記模塊、產(chǎn)生訓(xùn)練模型的訓(xùn)練模塊、對新的圖形進(jìn)行匹配的匹配模塊和用于測試匹配結(jié)果判斷匹配方法的準(zhǔn)確率和速度情況的測試模塊。與現(xiàn)有技術(shù)相比，本發(fā)明具有提高匹配準(zhǔn)確度、降低特征點檢測過程復(fù)雜度等優(yōu)點。
文檔編號G06K9/00GK102831388SQ20121016313
公開日2012年12月19日 申請日期2012年5月23日 優(yōu)先權(quán)日2012年5月23日
發(fā)明者王加俊, 張帆, 徐禮爽, 陳剛, 申瑞民 申請人:上海交通大學(xué), 上海交網(wǎng)信息科技有限公司