基于多特征融合的行為識別方法
【專利摘要】本發(fā)明公開了一種基于多特征融合的行為識別方法，包括下述步驟：S1、對訓(xùn)練集和測試集的視頻進(jìn)行預(yù)處理；S2、對步驟S1預(yù)處理后的視頻，檢測特征點(diǎn)；S3、對視頻中的特征立方體，提取代表不同信息的描述子，形成綜合描述子；S4、利用步驟S3提取出來的訓(xùn)練集的描述子，使用K-SVD算法訓(xùn)練字典；S5、對步驟S3提取出來測試集的描述子，進(jìn)行特征融合，用級聯(lián)字典分類算法進(jìn)行分類。本發(fā)明對能量信息、空間信息、時間信息進(jìn)行多特征融合，抽象出本質(zhì)的運(yùn)動特征，描述子信息提取全面，系統(tǒng)魯棒性好。
【專利說明】基于多特征融合的行為識別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像識別與處理的【技術(shù)領(lǐng)域】，特別涉及一種基于多特征融合的行為識 別方法。

【背景技術(shù)】
[0002] 在計算機(jī)視覺領(lǐng)域中，行為識別隨著人體運(yùn)動分析的發(fā)展在智能視頻監(jiān)控領(lǐng)域具 有越來越高的應(yīng)用價值。但是由于：1)數(shù)據(jù)采集的環(huán)境復(fù)雜多樣，行為序列背景分割技術(shù) 還不十分完善；2)在時間尺度上以及空間尺度上，同一種行為或者相似行為通常具有不同 的含義；3)由于分類器的學(xué)習(xí)能力有限而且興趣點(diǎn)提取的幾種方法有利有弊，所以同一段 視頻行為同時被判別為屬于幾個類別常常發(fā)生。以上種種因素使得人體行為識別成為一個 非常具有挑戰(zhàn)性的研究領(lǐng)域。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于多特征融合的行為 識別方法。
[0004] 本發(fā)明的目的通過下述技術(shù)方案實(shí)現(xiàn)：
[0005] 基于多特征融合的行為識別方法，包括下述步驟：
[0006] S1、對訓(xùn)練集和測試集的視頻進(jìn)行預(yù)處理；
[0007] S2、對步驟S1預(yù)處理后的視頻，檢測特征點(diǎn)；
[0008] S3、對視頻中的特征立方體，提取代表不同信息的描述子，形成綜合描述子；
[0009] S4、利用步驟S3提取出來的訓(xùn)練集的描述子，使用K-SVD算法訓(xùn)練字典；
[0010] S5、對步驟S3提取出來測試集的描述子，進(jìn)行特征融合，用級聯(lián)字典分類算法進(jìn) 行分類。
[0011] 步驟S1中對視頻進(jìn)行預(yù)處理的具體方法為：
[0012] S11、采用平滑濾波的方法降低噪聲的影響；
[0013] S12、采用光照補(bǔ)償?shù)姆椒ūＷC圖像的對比度，補(bǔ)償光照的影響；
[0014] S13、通過背景建模的方法實(shí)現(xiàn)提取運(yùn)動前景，其中采用：a)多層混合背景模型融 合彩色空間的顏色測量和局部的紋理特征對背景進(jìn)行建模；b)利用交叉雙邊濾波器強(qiáng)化相 似區(qū)域，更好地檢測結(jié)果和保留邊界信息。
[0015] 步驟S2中，采用Harris3D角點(diǎn)提取算法來檢測特征點(diǎn)，具體為：
[0016] S21、使用初始空間尺度

【權(quán)利要求】
1. 基于多特征融合的行為識別方法，其特征在于，包括下述步驟： 51、 對訓(xùn)練集和測試集的視頻進(jìn)行預(yù)處理； 52、 對步驟S1預(yù)處理后的視頻，檢測特征點(diǎn)； 53、 對視頻中的特征立方體，提取代表不同信息的描述子，形成綜合描述子； 54、 利用步驟S3提取出來的訓(xùn)練集的描述子，使用K-SVD算法訓(xùn)練字典； 55、 對步驟S3提取出來測試集的描述子，進(jìn)行特征融合，用級聯(lián)字典分類算法進(jìn)行分 類。
2. 根據(jù)權(quán)利要求1所述基于多特征融合的行為識別方法，其特征在于，步驟S1中對視 頻進(jìn)行預(yù)處理的具體方法為： 511、 采用平滑濾波的方法降低噪聲的影響； 512、 采用光照補(bǔ)償?shù)姆椒ūＷC圖像的對比度，補(bǔ)償光照的影響； 513、 通過背景建模的方法實(shí)現(xiàn)提取運(yùn)動前景，其中采用：a)多層混合背景模型融合彩 色空間的顏色測量和局部的紋理特征對背景進(jìn)行建模；b)利用交叉雙邊濾波器強(qiáng)化相似區(qū) 域，更好地檢測結(jié)果和保留邊界信息。
3. 根據(jù)權(quán)利要求1所述基于多特征融合的行為識別方法，其特征在于，步驟S2中，采用 Harris3D角點(diǎn)提取算法來檢測特征點(diǎn)，具體為： 521、 使用初始空間尺度
和時間尺度
稀疏選定的組合， 以及積分尺度
和
在時間和空間上找到時空角點(diǎn)函數(shù)H(8)的極大值點(diǎn)
這些點(diǎn)就是興趣點(diǎn)； 522、 對每個興趣點(diǎn)pj進(jìn)行處理； 523、 在（xj, yj, tj)處計算
和在周邊那些
和 δ =-〇. 25, 0, 0. 25的地方計算出聯(lián)合尺度
524、 選出那些使得
最大化的聯(lián)合積分尺度
525、 如果
或者
用積分尺度
局部尺度
在最靠近（Xj，y」，tp的位置
處重新提取興趣點(diǎn)
令
然后返回步驟S23重新開始執(zhí)行。
4. 根據(jù)權(quán)利要求1所述基于多特征融合的行為識別方法，其特征在于，步驟S2中，采用 Cuboid Feature的角點(diǎn)檢測算法來檢測特征點(diǎn)，具體為： 將視頻圖像的像素點(diǎn)序列記為I，根據(jù)響應(yīng)函數(shù) R= (I*g*hev) 2+ (I^g#^)2,計算每個像素點(diǎn)序列的響應(yīng)值R，計算得到一組 響應(yīng)值R，R的極大值點(diǎn)即為所求興趣點(diǎn)； 其中
其中w=4/ji ; 其中g(shù)(x，y; σ )是2D高斯平滑濾波來提供空間興趣點(diǎn)的探測，hev和L是lDGabor濾 波器的正交對。
5. 根據(jù)權(quán)利要求1所述的基于多特征融合的行為識別方法，其特征在于，步驟S3中， 在時空興趣點(diǎn)周圍提取局部塊，計算其光流信息，根據(jù)光流的角度、強(qiáng)度計算其統(tǒng)計信息， 得到光流的統(tǒng)計直方圖，作為運(yùn)動特征描述子；所述運(yùn)動特征描述子包括H0F，H0G3D和LMP 描述子。
6. 根據(jù)權(quán)利要求5所述的基于多特征融合的行為識別方法，其特征在于，所述H0F提取 算法的具體步驟如下： (1) 對視頻每一幀計算光流，得到光流場； (2) 對每一幀光流場進(jìn)行直方圖統(tǒng)計，得到每幀的描述子； (3) 對每幀的描述子向量求和，得到特征立方體的描述子。
7. 根據(jù)權(quán)利要求5所述的基于多特征融合的行為識別方法，其特征在于，所述hog3D描 述子的計算方法如下： (1) 利用sobel算子對圖像分別在兩個維度進(jìn)行差分運(yùn)算，得到矢量圖； (2) 對矢量圖進(jìn)行直方圖統(tǒng)計，得到每幀的描述子； (3) 對每幀的描述子向量求和，得到特征立方體的描述子。
8. 根據(jù)權(quán)利要求5所述的基于多特征融合的行為識別方法，其特征在于，LMP描述子的 計算方法如下： 濾波后的立方體記為v e IRqX qxl，由1個小平面組成；對每一個像素點(diǎn)在時間上計算 二、三、四階中心矩；定義對應(yīng)于v的高階矩矩陣； ΜΓ=[πι^·] i, j=l, 2, L η 其中
vijt表示第1個小平面,位置為{i, j}的像素點(diǎn)的灰度值； 每一個高階矩矩陣凡，r= {2, 3, 4}可以變換為一個向量nv e IR'對于r的說那個不同 取值，高階矩矩陣可以整合為一個矩陣m e IRd，其中d=3 η2 :
向量m為LMP描述子。
9. 根據(jù)權(quán)利要求1所述基于多特征融合的行為識別方法，其特征在于，步驟S4中， K-SVD訓(xùn)練字典的具體方法為： 1)稀疏編碼； 固定Φ，計算X，即：
為解決上式描述的NP難的優(yōu)化問題，采用正交匹配追蹤求解； 2)字典更新： 字典Φ中的元素相繼被更新，允許X中相關(guān)系數(shù)的變化； 更新字典中的元素涉及計算秩1近似的誤差矩陣：
其中
是Φ除去第i列形成的矩陣，尤是X除去第i行形成的，秩1近似通過使Ei 為奇異值矩陣實(shí)現(xiàn)。
10.根據(jù)權(quán)利要求1所述基于多特征融合的行為識別方法，其特征在于，步驟S5中，用 級聯(lián)字典分類算法進(jìn)行分類的具體方法為： 551、 對訓(xùn)練集視頻的特征向量，用K-SVD算法訓(xùn)練字典； 552、 由這些字典Φ1、Φ2、· · 生成新的字典Φ。： Φ〇=[Φ?|Φ2|· · *|〇k]； 553、 對測試集視頻的特征向量Q，通過正交匹配追蹤找到其稀疏表示XQ :
s. t. | | X | | 〇 ^ k3 ； 554、 乂(3可以寫成： Χ^ΕΧ^ΙΧφ」· · · |ΧΦΚ]，其中，Χφι是Φ,的系數(shù)矩陣；S55、對XQ進(jìn)行分 類： 類 sargmaXi e 12，...，c| | X Φ ι | |0。
【文檔編號】G06K9/46GK104091169SQ201310688324
【公開日】2014年10月8日 申請日期:2013年12月12日 優(yōu)先權(quán)日:2013年12月12日
【發(fā)明者】徐向民, 張源, 王在炯, 楊倩倩 申請人:華南理工大學(xué)