一種無監(jiān)督多視圖特征選擇的人體行為識別方法
【專利摘要】本發(fā)明公開了一種無監(jiān)督多視圖特征選擇的人體行為識別方法。該方法首先對預(yù)先采集包含不同人體行為類型的視頻數(shù)據(jù)集提取多種類型的視覺特征表達(dá)，得到多視圖特征數(shù)據(jù)矩陣；接著對各個視圖構(gòu)建視圖相關(guān)的視覺相似圖和幾何拉普拉斯矩陣，以此構(gòu)建求解多視圖特征選擇矩陣與數(shù)據(jù)聚類類別矩陣的目標(biāo)函數(shù)；然后采用迭代梯度下降法優(yōu)化計算多視圖特征選擇矩陣，并依據(jù)的行排序結(jié)果得到二值特征選擇矩陣；最后將待識別視頻數(shù)據(jù)轉(zhuǎn)換為相應(yīng)的多視圖特征數(shù)據(jù)，比較特征選擇后的待識別數(shù)據(jù)與預(yù)先采集的多視圖特征數(shù)據(jù)之間的距離，將待識別視頻標(biāo)識為距離最近的預(yù)采集視頻數(shù)據(jù)人體行為類型。本方法計算速度快，具有較高的識別準(zhǔn)確率和抗噪聲干擾能力。
【專利說明】一種無監(jiān)督多視圖特征選擇的人體行為識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及機(jī)器學(xué)習(xí)與計算機(jī)視覺研究中的無監(jiān)督學(xué)習(xí)、多視圖學(xué)習(xí)、特征選擇和人體行為識別這幾個主題，尤其涉及一種無監(jiān)督多視圖特征選擇的人體行為識別方法。
【背景技術(shù)】
[0002]隨著現(xiàn)代計算機(jī)計算性能的飛速提升和計算機(jī)視覺技術(shù)，尤其是特征提取技術(shù)的發(fā)展，人們對視頻和圖像處理對象會提取不同類型的視覺特征表達(dá)。例如對圖像而言，常會提取包括全局特征，如顏色直方圖、紋理特征和輪廓外形特征，以及局部特征，如SIFT、LBP和GLOH等。而對于視頻對象，除了外觀特征(如顏色、紋理、邊緣)和運(yùn)動特征(如運(yùn)動歷史圖和運(yùn)動能量圖特征)，還會提取局部時刻特征(如STIP特征)。這種對同一對象提取多種異構(gòu)類型的特征所構(gòu)成的數(shù)據(jù)被稱為多視圖數(shù)據(jù)。
[0003]由于傳統(tǒng)的機(jī)器學(xué)習(xí)方法都是針對處理單一類型特征數(shù)據(jù)進(jìn)行設(shè)計的，因此在處理多視圖數(shù)據(jù)的時候無法充分挖掘發(fā)揮多視圖數(shù)據(jù)中不同模特數(shù)據(jù)之間的關(guān)聯(lián)性，因此無法取得最佳的方法效果。雖然一種簡單的處理辦法是將這些不同類型的特征拼接起來，構(gòu)成新的單類型特征，但是這種方式忽略了不同類型特征本身所存在的鑒別能力強(qiáng)弱上的差異性，因此也不是一種理想的處理辦法。為了解決這個問題，多視圖學(xué)習(xí)方法在最近得到興起，并成功應(yīng)用到數(shù)據(jù)聚類，分類和數(shù)據(jù)降維等應(yīng)用中，顯著地提高了學(xué)習(xí)方法的性能。
[0004]具體到特征選擇應(yīng)用中，傳統(tǒng)的方法,無論是有監(jiān)督學(xué)習(xí)的Fisher Scores方法和Sparse Mult1- output regression 方法，還是無監(jiān)督的 Laplacian Score 方法、FeatureRanking和Mult1-Cluster Feature Selection方法,都是面向傳統(tǒng)的單類型特征設(shè)計的，并不是針對多視圖數(shù)據(jù)。因此在進(jìn)行特征選擇的時候，傳統(tǒng)的特征選擇方法無法充分發(fā)揮多視圖特征優(yōu)勢。
[0005]另外一方面，在基于視頻的人體行為識別研究中，雖然各種不同類型的視覺特征被不斷提出來，多特征之間如何進(jìn)行組合和應(yīng)用，在一些文獻(xiàn)中也有關(guān)的研究和討論，但是對于多特征之間如何進(jìn)行快速有效的特征選擇，這方面的研究相對比較少。
[0006]針對上述問題，本發(fā)明提出一種無監(jiān)督多視圖特性選擇的人體行為識別方法。與上面提到的傳統(tǒng)方法不同，本方法充分利用多視圖數(shù)據(jù)中不同視圖之間的內(nèi)在關(guān)聯(lián)性，通過對不同類型的特征賦予不同的視圖權(quán)重，從而將多種異構(gòu)類型的特征最優(yōu)地組織在一起。于此同時，本方法還將不同類型特征數(shù)據(jù)內(nèi)存在的數(shù)據(jù)空間結(jié)構(gòu)關(guān)系考慮進(jìn)來，對不同視圖分別構(gòu)建表征該類型數(shù)據(jù)之間空間結(jié)構(gòu)關(guān)系的圖，采用幾何拉普拉斯圖，將數(shù)據(jù)之間的幾何結(jié)構(gòu)關(guān)系引入到目標(biāo)函數(shù)中。通過對目標(biāo)函數(shù)中特征選擇矩陣添加12Λ范數(shù)約束，利用U1范數(shù)的行稀疏特性，實現(xiàn)對特征分量的排序，進(jìn)而實現(xiàn)特征選擇的功能。最后，本方法在進(jìn)行識別的時候，采用特征選擇后的結(jié)果，在低維特征空間上比較待視頻數(shù)據(jù)與預(yù)先采集的視頻數(shù)據(jù)之間的相似性，可以有效地減少計算復(fù)雜性，增強(qiáng)方法的抗噪聲干擾能力。將該方法應(yīng)用到基于視頻的人體行為識別應(yīng)用中，可以快速準(zhǔn)確地對視頻中的人體行為進(jìn)行識別。
【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種無監(jiān)督多視圖特征選擇的人體行為識別方法。
[0008]無監(jiān)督多視圖特征選擇的人體行為識別方法包括如下步驟:
[0009]I)選用公共人體行為數(shù)據(jù)集KTH作為預(yù)先采集的包含不同人體行為類型的視頻數(shù)據(jù)集，選用通過視頻采集設(shè)備錄取的人體行為視頻作為待識別的人體行為視頻；
[0010]2)對預(yù)先采集的包含不同人體行為類型的視頻數(shù)據(jù)集提取m種類型的視覺特征表達(dá)，得到該視頻數(shù)據(jù)集所對應(yīng)的多視圖特征數(shù)據(jù)矩陣X = [X(1), x(2)，...，X(m)]T，其中
^、?，^,…，^叩是第V個視圖下的特征數(shù)據(jù)矩陣，x:'}是從第i個視頻數(shù)據(jù)中提取的 第V種類型的視覺特征表達(dá)，η是該視頻數(shù)據(jù)集中所包含的視頻數(shù)目；
[0011]3)對任意第V個視圖，構(gòu)建該視圖相關(guān)的視覺相似圖Aw，定義如下:
[0012]
【權(quán)利要求】
1.一種無監(jiān)督多視圖特征選擇的人體行為識別方法，其特征在于包括如下步驟: 1)選用公共人體行為數(shù)據(jù)集KTH作為預(yù)先采集的包含不同人體行為類型的視頻數(shù)據(jù)集，選用通過視頻采集設(shè)備錄取的人體行為視頻作為待識別的人體行為視頻； 2)對預(yù)先采集的包含不同人體行為類型的視頻數(shù)據(jù)集提取m種類型的視覺特征表達(dá)，得到該視頻數(shù)據(jù)集所對應(yīng)的多視圖特征數(shù)據(jù)矩陣X= [X(1)，X(2)，...，X(m)]T，其中f〗=是第V個視圖下的特征數(shù)據(jù)矩陣，是從第i個視頻數(shù)據(jù)中提取的第V種類型的視覺特征表達(dá)，η是該視頻數(shù)據(jù)集中所包含的視頻數(shù)目； 3)對任意第V個視圖，構(gòu)建該視圖相關(guān)的視覺相似圖Α(ν)，定義如下:
【文檔編號】G06K9/66GK103577841SQ201310557008
【公開日】2014年2月12日 申請日期:2013年11月11日 優(yōu)先權(quán)日:2013年11月11日
【發(fā)明者】肖俊, 馮銀付, 莊越挺, 計明明, 張鹿鳴 申請人:浙江大學(xué)