專利名稱：一種基于輪廓約束的視頻運動目標分類識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種目標識別方法，尤其涉及面向遠程室外監(jiān)控的一種基于輪廓約束的視頻運動目標分類識別方法，屬于模式識別領(lǐng)域。
背景技術(shù)：
隨著監(jiān)控系統(tǒng)的不斷推廣，視頻數(shù)據(jù)正呈現(xiàn)爆炸式增長，單純的依靠人力已經(jīng)難以發(fā)揮監(jiān)控系統(tǒng)應(yīng)有的實時主動的監(jiān)督作用。為了解決視頻監(jiān)控效率低下和過度依賴人工的問題，智能化處理技術(shù)在學術(shù)研究和工程應(yīng)用領(lǐng)域引起了廣泛關(guān)注。運動目標分類識別作為智能化處理的關(guān)鍵技術(shù)，是指識別視頻序列中運動目標的類別，識別的基本過程是根據(jù)已知目標數(shù)據(jù)訓練目標分類器，進而利用分類器判別未知目標的類別。目標類別識別通常包含兩個重要步驟，首先需要確定分類器選用的特征或模型，其次要選擇合適的分類器構(gòu)建方法。在實際應(yīng)用 中，監(jiān)控系統(tǒng)常采用的目標分類方法主要有兩大類:(1)基于形狀特征的分類識別方法，是利用目標的形狀特征對目標進行分類，使用目標區(qū)域的分散度、高寬比等特征作為分類的依據(jù)。(2)基于目標運動特性的分類識別方法，是利用目標運動的周期性信息進行分類，例如可分析目標是否存在周期性的運動特性而將人識別出來，還可以通過使用光流法計算運動目標區(qū)域的殘差光流來分析運動實體的剛性和非剛性，對車輛和行人進行區(qū)分。但上述方法在應(yīng)用時需要對視頻傳感器進行標定，當傳感器使用轉(zhuǎn)動云臺或?qū)︾R頭進行變倍變焦時上述方法往往不具魯棒性。以上方法通常解決的是行人和車輛的二分類問題，隨著安防態(tài)勢的發(fā)展，空中低空慢速飛行物(如飛艇、直升機等)以及水面船只目標也應(yīng)納入監(jiān)控體系，僅靠運動目標的形狀和運動特征難以將以上目標進行準確的區(qū)分。然而，在面向室外場景的遠程視頻監(jiān)控的具體應(yīng)用中，運動目標的分類識別還面臨多種因素的影響，例如:(1)光照影響:受天氣(如霧天、陰雨)、人造光源等因素的影響，采集到的目標二維圖像信號與場景中光照方向、強度和目標自身的表面反射率有關(guān)，目標的局部像素信息會因為光照的變化而發(fā)生改變；(2)背景混淆:采集到的視頻經(jīng)常包含十分復雜的背景，使得所需識別的目標呈現(xiàn)在易于混淆的背景之中；(3)視角變化:在遠程視頻監(jiān)控系統(tǒng)中，同類目標從不同的傾斜角度進行拍攝，極易造成目標在視頻中的整體結(jié)構(gòu)信息和局部細節(jié)信息的變化，亦對目標的正確分類產(chǎn)生影響。因此，現(xiàn)有技術(shù)尚不能滿足應(yīng)用需求。近年來，基于表觀模型的分類方法由于對目標特征(邊緣梯度信息、紋理信息等)具有較好的表達以及較高的準確率而獲得較為廣泛的應(yīng)用?；诒碛^模型的方法將目標看作由一組表觀特征塊組成，這些表觀塊可以使用特征描述子來進行特征提取，然后基于這些表觀數(shù)據(jù)對目標進行分類，常用的特征描述子有尺度不變特征變換匹配算法(ScaleInvariant Feature Transformation, SIFT)、方向梯度直方圖(Histogram of Orientedgradients, HOG)和局部二值模式(Local Binary Pattern, LBP)等。其中，SIFT 算子通過在空間尺度中尋找極值點并提取出其位置、尺度、旋轉(zhuǎn)不變量，具有良好的魯棒性，但該算子存在存儲空間大和耗時多等缺點。HOG特征描述子通過統(tǒng)計像素梯度方向密度分布獲得目標邊緣梯度信息，在行人分類識別方面效果顯著，但由于該算子通常對整幅目標圖像進行計算，包含了大量冗余信息。圖像的紋理特征是與目標表面結(jié)構(gòu)和材質(zhì)有關(guān)的圖像內(nèi)在特征，LBP作為一種簡單有效的局部紋理描述算子，用來描述目標紋理特征的表觀模型，通過刻畫像素的鄰域灰度空間分布對目標的紋理進行描述，具有計算速度快的優(yōu)點，但其魯棒性易受光照變化及局部噪聲的影響。因此，在具體應(yīng)用中，克服光照、背景干擾等外界因素的影響，準確的提取運動目標的有效特征，是提聞運動目標分類準確率的關(guān)鍵之一。輪廓作為用來描述目標的拓撲結(jié)構(gòu)特征，可定義為“在圖像中，如果兩個相鄰區(qū)域內(nèi)的灰度變化不大，而區(qū)域之間的灰度變化較大，則這兩個區(qū)域之間的分界線稱為輪廓”，使用目標的輪廓信息約束表觀特征的提取，不僅能夠去除不穩(wěn)定特征，而且能夠約減冗余特征，進而實現(xiàn)了對視頻對象的準確描述。因此，研究面向視頻應(yīng)用的運動目標分割和輪廓提取方法，以及基于目標輪廓約束的特征提取與目標分類識別方法具有重要意義。

發(fā)明內(nèi)容
本發(fā)明技術(shù)解決問題:克服現(xiàn)有技術(shù)的不足，提供一種基于輪廓約束的視頻運動目標分類識別方法，提升了運動目標的識別正確率。本發(fā)明采 用下述技術(shù)方案:一種基于輪廓約束的視頻運動目標分類識別方法，主要包括運動目標的輪廓提取和輪廓約束下的特征提取兩個方面，具體包括如下步驟:(A)提取出視頻中的運動區(qū)域，使用基于水平集模型的分割算法獲得實際目標區(qū)域和目標輪廓；(B)對所述實際目標區(qū)域進行高斯卷積運算，得到目標的空間細節(jié)分量；(C)提取所述目標空間細節(jié)分量的紋理特征；(D)提取所述實際目標區(qū)域中輪廓約束局部區(qū)域的邊緣梯度特征；(E)提取訓練樣本目標的紋理特征和邊緣梯度特征使用機器學習方法進行訓練，獲得目標分類模型；(F)提取待識別目標的紋理特征和邊緣梯度特征，輸入目標分類模型，確定待識別目標的類型。如上所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于所述步驟
(A)基于水平集模型的分割算法包括如下步驟，假設(shè)封閉曲線r將運動目標區(qū)域Q劃分為內(nèi)部區(qū)域Qtl和外部區(qū)域Q1:(I)構(gòu)建顏色特征算子:將實際目標區(qū)域轉(zhuǎn)換到CIELab色彩空間，獲得L、a、b三個色彩分量，分別計算實際目標區(qū)域Q、Qc^P Q1在第k，k= 1，2，3個色彩分量上所有像
素值與該區(qū)域像素均值之差的平方和垃、EUL ,并將垃。、之和記為紀汁算撻
與五#的比值 對于所有色彩分量，將<4作為五^的權(quán)值計算加權(quán)和& ；(2)構(gòu)建紋理特征算子:使用小波變換獲得目標區(qū)域水平、垂直、對角方向三個高頻分量，并將其作為紋理分量，分別計算區(qū)域Q、Qtl和01在第匕1^=1，2，3個紋理分量內(nèi)
所有像素點的紋理值與該區(qū)域紋理均值之差的平方和、Elf、E^k，并將,Elf之和記為E尸。計算￡^4與的比值似I,對于所有紋理分量，將(4作為E尸的權(quán)值計算加權(quán)和Tr ;(3)構(gòu)建描述輪廓的自適應(yīng)特征聯(lián)合描述子:將顏色和紋理特征分量的權(quán)重M
映射至區(qū)間
，使用M k = 1，…，6加權(quán)計算顏色特征算子和紋理特征算子；(4)使用水平集方法求解自適應(yīng)特征聯(lián)合描述子，將運動檢測區(qū)域作為形狀先驗對目標的分割和過程進行約束。如上所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于所述步驟
(B)中使用兩次高斯濾波來提取實際目標區(qū)域的空間細節(jié)分量，高斯模板的大小為目標區(qū)域長寬之間的較小值除以16。如上所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于所述步驟
(C)中提取目標空間細節(jié)分量的紋理特征，具體步驟包括:首先對目標的空間細節(jié)分量進行金子塔變換，使用局部二值模式在多尺度金字塔的不同層次上進行特征提取，其次將局部二值模式金子塔劃分為互不重疊的子區(qū)域并建立統(tǒng)計直方圖，并對不同尺度的局部二制模式金字塔直方圖賦予權(quán)值，最終將各個尺度下的局部二制模式金字塔直方圖連接起來構(gòu)成圖像的紋理特征向量。如上所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于所述步驟
(D)中使用方向梯度直方圖提取實際目標區(qū)域中輪廓所約束局部區(qū)域的邊緣梯度特征。

如上所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于所述步驟
(E)中機器學習方法具體采用基于多核學習的支持向量機從訓練數(shù)據(jù)中學習獲得目標分類模型。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于:本發(fā)明提出了一種基于輪廓約束的視頻運動目標分類識別方法，利用基于水平集的分割模型獲得的實際目標區(qū)域和目標輪廓，約束和指導了目標紋理特征和邊緣梯度特征的提取，既約簡了冗余特征又去除了不穩(wěn)定特征，提高了對目標的表達描述能力，提升了運動目標的識別正確率。


圖1為本發(fā)明基于輪廓約束的運動目標分類方法框架示意圖；圖2為本發(fā)明基于顏色、紋理和形狀先驗的運動目標輪廓提取框架示意圖；圖3為本發(fā)明中樣本視頻中的目標樣本、運動目標檢測與目標輪廓提取示例圖；圖4為本發(fā)明中基于空間細節(jié)分量的目標紋理特征提取框架示意圖；圖5為本發(fā)明中目標樣本庫中的示例圖像。
具體實施例方式如圖1所示，本發(fā)明提出了一種基于輪廓約束的視頻運動目標分類識別方法，主要包括以下部分。第一，基于顏色特征、紋理特征和形狀先驗約束的水平集運動目標分割方法。首先，基于目標與背景顏色和紋理的差異，構(gòu)建描述目標輪廓的自適應(yīng)特征聯(lián)合描述子，并結(jié)合運動目標檢測獲得的形狀先驗，使用基于水平集的分割模型獲得較為精細的實際目標區(qū)域和目標輪廓。第二，目標空間細節(jié)分量的提取。在獲得實際目標區(qū)域后，對數(shù)據(jù)進行非線性濾波處理，獲得實際目標區(qū)域的空間細節(jié)分量；第三，提取目標空間細節(jié)分量的紋理特征。以目標空間細節(jié)分量為基礎(chǔ)，使用局部二值模式(Local Binary Pattern, LBP)提取目標的紋理特征，可顯著減少光照、局部噪聲對LBP算子本身的影響；第四，基于目標輪廓的邊緣梯度特征提取。以實際目標區(qū)域為基礎(chǔ)，在輪廓約束的局部區(qū)域上提取方向梯度直方圖(Histogram of Oriented gradients, HOG),用以描述目標邊緣梯度變化信息。本發(fā)明通過獲取較為準確的實際目標區(qū)域和目標輪廓，進而約束目標表觀特征(LBP和HOG)的提取，使得特征提取更具針對性和魯棒性，不僅能夠去除不穩(wěn)定特征，而且能夠約減冗余特征，實現(xiàn)了對運動目標的準確描述和分類。下述對本發(fā)明涉及的關(guān)鍵步驟進行詳細說明，具體如下:1.基于顏色特征、紋理特征和形狀先驗的水平集運動目標分割方法為了獲得精確的實際目標區(qū)域和目標輪廓，綜合利用顏色特征、紋理特征以及形狀先驗等多種信息提高目標分割和輪廓提取的精度。假設(shè)封閉曲線r將運動目標區(qū)域Q劃分為內(nèi)部區(qū)域Qtl和外部區(qū)域Q1，其中內(nèi)部區(qū)域包含輪廓曲線，有Q = Qtl u Q10(I)顏色特征描述子的構(gòu)建考慮到目標與背景在不同色彩分量的區(qū)分能力各有差異，在構(gòu)造顏色特征算子時，通過各色彩分量的權(quán)重大小來體現(xiàn)區(qū)分能力的差異，目標與背景區(qū)分性強的色彩分量自適應(yīng)地設(shè)置較大權(quán)重，目標與背景區(qū)分性弱的色彩分量自適應(yīng)地設(shè)置較小權(quán)重。同時，為了滿足目標分割和輪廓提取的要求，顏色特征算子主要用來反映曲線內(nèi)部區(qū)域的顏色變化、曲線外部區(qū)域的顏色變化、曲線內(nèi)部和外部區(qū)域之間的顏色差異。在本實施方式中，將運動檢測獲得目標區(qū)域轉(zhuǎn) 換到CIE-Lab顏色空間中，將L、a、b共3個色彩分量構(gòu)建顏色特征描述子，可以理解，采用其它顏色空間(例如RGB、YUV等)也是可以的，但優(yōu)選CIE-Lab空間。首先，將目標區(qū)域轉(zhuǎn)換到CIE-Lab色彩空間，獲得L、a、b三個色彩分量，E^1、、I ,分別表示在第k，k= 1，2，3個色彩分量上，區(qū)域Q、Qtl和Q1內(nèi)所有像素值與該區(qū)域像素均值之差的平方和，并將曲線內(nèi)部顏色值的變化和外部顏色值的變化之和記為五#。利
用辟與辟的比值4度量內(nèi)外部之間的顏色差異。對于所有色彩分量，將4作力拉的權(quán)
值計算加權(quán)和，得到顏色特征算子& ;(2)紋理特征描述子的構(gòu)建考慮到目標與背景在不同高頻分量的區(qū)分能力各有差異，利用小波變換可獲得圖像的水平、垂直、對角方向的三個高頻分量，在此基礎(chǔ)上，進一步構(gòu)造用于輪廓提取的紋理特征算子。在構(gòu)造紋理特征算子時，通過調(diào)節(jié)各紋理特征分量權(quán)重的大小來反映目標與背景之間差異的大小，差異大的特征分量自適應(yīng)地設(shè)置較大權(quán)重，差異小的特征分量自適應(yīng)地設(shè)置較小權(quán)重。同時，為了滿足輪廓提取的要求，紋理特征算子應(yīng)能反映曲線內(nèi)部區(qū)域的紋理變化、曲線外部區(qū)域的紋理變化、曲線內(nèi)部和外部區(qū)域之間的紋理差異。在本實施方式中，優(yōu)選采用非抽取小波變換(UWT)對目標圖像進行分解?？梢岳斫猓捎闷渌〔ㄗ儞Q方式(例如Haar小波等)也是可以的。首先，利用小波變換獲得目標區(qū)域的水平、垂直、對角方向的三個高頻分量，然后將高頻分量的幅值作為紋理特征分量，對于紋理特征分量k，k = 1，2，3，El+k、Elf、E^k具體為第k分量上，區(qū)域Q、Qc^P Q1內(nèi)所有像素的紋理值與該區(qū)域紋理均值之差的平方和，并將曲線內(nèi)部紋理值的變化和外部紋理值的變化之和記為^利用EluIEpk的
比值4#度量內(nèi)外部之間的紋理差異。對于所有紋理分量，將作為的權(quán)值計算加
權(quán)和，得到紋理特征算子Tr ;(3)顏色和紋理特征的線性加權(quán)對顏色和紋理的特征分量進行歸一化處理，即按比例將特征分量的權(quán)重映射至區(qū)間
，根據(jù)歸一化的特征權(quán)重，構(gòu)建基于顏色、紋理特征的權(quán)值自適應(yīng)的線性聯(lián)合描述子。(I)利用水平集方法求解自適應(yīng)特征聯(lián)合描述子，并在求解過程中加入形狀先驗對分割過程進行約束當閉合曲線的內(nèi)部和外部區(qū)域各自的顏色和紋理特征變化達到最小，且閉合曲線的內(nèi)部和外部區(qū)域之間的顏色和紋理特征差異達到最大時，可分割出較為精細的實際目標區(qū)域。利用能量最小化方法可將目標輪廓描述為:
權(quán)利要求
1.一種基于輪廓約束的視頻運動目標分類識別方法，主要包括運動目標的輪廓提取和輪廓約束下的特征提取兩個方面，其特征在于實現(xiàn)步驟如下: (A)提取出視頻中的運動區(qū)域，使用基于水平集模型的分割算法獲得實際目標區(qū)域和目標輪廓； (B)對所述實際目標區(qū)域進行高斯卷積運算，得到目標的空間細節(jié)分量； (C)提取所述目標空間細節(jié)分量的紋理特征； (D)提取所述實際目標區(qū)域中輪廓約束局部區(qū)域的邊緣梯度特征； (E)提取訓練樣本目標的紋理特征和邊緣梯度特征使用機器學習方法進行訓練，獲得目標分類模型； (F)提取待識別目標的紋理特征和邊緣梯度特征，輸入目標分類模型，確定待識別目標的類型。
2.如權(quán)利要求1所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于:所述步驟(A)基于水平集模型的分割算法包括如下步驟，假設(shè)封閉曲線r將運動檢測區(qū)域Q劃分為內(nèi)部區(qū)域\和外部區(qū)域Q1，其中內(nèi)部區(qū)域包含目標輪廓，有Q = Q0U Q1: (1)構(gòu)建顏色特征算子:將運動目標區(qū)域轉(zhuǎn)換到CIELab色彩空間，獲得L、a、b三個色彩分量，分別計算區(qū)域Q、Q C1和Q:在第k，k = 1，2，3個色彩分量上所有像素值與該區(qū)域像素均值之差的平方和越、Ekm、Ekm ,并將、拉,之和記為E魯,計算Eti與Ef的比值4對于所有色彩分量，將作為五#的權(quán)值計算加權(quán)和G ； (2)構(gòu)建紋理特征算子:使用小波變換獲得目標區(qū)域水平、垂直、對角方向的三個高頻分量，并將其作為紋理分量，分別計算區(qū)域Q、Qtl和01在第匕1^=1，2，3個紋理分量上內(nèi)所有像素點的紋理值與該區(qū)域紋理均值之差的平方和、Elf、EMk，并將E3n+0k、Elf之和記為E!+k，計算辟#與￡'嚴的比值噸,對于所有紋理分量，將作為￡嚴的權(quán)值計算加權(quán)和Tr ; (3)構(gòu)建描述輪廓的自適應(yīng)特征聯(lián)合描述子:將顏色和紋理特征分量的權(quán)重映射至區(qū)間[O，I]，使用歷f 4 = 1，…,6加權(quán)計算顏色特征算子和紋理特征算子； (4)使用水平集方法求解自適應(yīng)特征聯(lián)合描述子，將運動檢測區(qū)域作為形狀先驗對目標的分割和過程進行約束。
3.如權(quán)利要求1所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于:所述步驟(B)中使用兩次高斯濾波來提取實際目標區(qū)域的空間細節(jié)分量，高斯模板的大小為目標區(qū)域長寬之間的最小值除以16。
4.如權(quán)利要求1所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于:所述步驟(C)中提取目標空間細節(jié)分量的紋理特征，具體步驟包括:首先對目標的空間細節(jié)分量進行金子塔變換，使用局部二值模式在多尺度金字塔的不同層次上進行特征提取，其次將局部二值模式金子塔劃分為互不重疊的子區(qū)域并建立統(tǒng)計直方圖，并對不同尺度的局部二制模式金字塔直方圖賦予權(quán)值，最終將各個尺度下的局部二制模式金字塔直方圖連接起來構(gòu)成圖像的紋理特征向量。
5.如權(quán)利要求1所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于:所述步驟(D)中使用方向梯度直方圖提取實際目標區(qū)域中輪廓所約束局部區(qū)域的邊緣梯度特征。
6.如權(quán)利要求1所述的基于輪廓約束的視頻運動目標分類識別方法，其特征在于:所述步驟(E)中機器學習方法具體采用基于多核學習的支持向量機從訓練數(shù)據(jù)中獲得目標分類模型。
全文摘要
本發(fā)明提出了一種基于輪廓約束的視頻運動目標分類識別方法，包括(1)使用基于顏色特征、紋理特征和形狀先驗約束的水平集分割算法獲得實際目標區(qū)域和目標輪廓；(2)使用高斯濾波對實際目標區(qū)域進行卷積運算，得到目標的空間細節(jié)分量；(3)提取目標空間細節(jié)分量的局部二值模式直方圖，得到目標的紋理特征；(4)提取實際目標區(qū)域中輪廓約束局部區(qū)域的方向梯度直方圖，得到目標的邊緣梯度特征；(5)提取訓練樣本目標的紋理特征和邊緣梯度特征并使用機器學習方法進行訓練，獲得目標分類模型；(6)提取待識別目標的紋理特征和邊緣梯度特征，輸入分類模型，確定目標的類型。本發(fā)明基于輪廓約束的視頻運動目標分類識別方法，提高了復雜室外條件下的分類準確率。
文檔編號G06T7/20GK103218831SQ20131013931
公開日2013年7月24日 申請日期2013年4月21日 優(yōu)先權(quán)日2013年4月21日
發(fā)明者鄭錦, 仙樹, 胡海苗, 李波 申請人:北京航空航天大學