專利名稱：基于慢特征分析的暴力視頻檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識別技術(shù)領(lǐng)域，特別涉及一種基于慢特征分析的暴力視頻檢測方法。
背景技術(shù)：
現(xiàn)在，隨著社交網(wǎng)站的快速發(fā)展，比如國外的Facebook,Twitter,Youtube,國內(nèi)的人人網(wǎng)，新浪微博，優(yōu)酷網(wǎng)，上傳到網(wǎng)絡(luò)上的視頻的數(shù)量迅猛增長，用戶可以方便地觀看和下載他們感興趣的視頻，然而在大量的視頻中，存在著很多暴力內(nèi)容，這些內(nèi)容會對青少年用戶產(chǎn)生不良的示范作用，有可能會誘導(dǎo)他們產(chǎn)生暴力行為，甚至犯罪。為了保護(hù)青少年用戶免受這些暴力內(nèi)容的影響，現(xiàn)在急需一種有效地，自動地，基于內(nèi)容的暴力視頻檢測方法，來過濾掉這些有害視頻?，F(xiàn)有的技術(shù)大多需要使用聲音信息進(jìn)行暴力視頻的檢測，一些技術(shù)單獨用聲音信息構(gòu)建特征向量，另一些技術(shù)將聲音信息和視覺信息結(jié)合構(gòu)建特征向量，然后送入分類器進(jìn)行模型構(gòu)建，最后，對新來樣本進(jìn)行分類。然而，在很多情況下，視頻中并沒有聲音信息，如監(jiān)控錄像；而且，一些視頻的聲音信息和它們的視頻內(nèi)容并不一致，甚至?xí)蓴_視頻內(nèi)容的檢測。

發(fā)明內(nèi)容
為了解決上述現(xiàn)有技術(shù)中存在的問題，本發(fā)明的目的是提供一種基于慢特征分析的暴力視頻檢測方法，提取能有效區(qū)分暴力內(nèi)容的視覺特征，單獨使用視覺特征來檢測暴力視頻。本發(fā)明提出的一種基于慢特征分析的暴力視頻檢測方法包括以下步驟步驟SI，對于已經(jīng)標(biāo)好類的視頻樣本，計算其密集光流場；步驟S2，從所述視頻的每個幀中以一定步長提取多個密集特征點，分別跟蹤所述密集特征點在整個視頻中的軌跡，從而得到由所述視頻中所有密集特征點對應(yīng)的密集軌跡組成的密集軌跡集合T ；步驟S3，對于所述密集軌跡集合T中的每條密集軌跡，提取其中各軌跡點鄰域的像素值，構(gòu)建出與每條密集軌跡對應(yīng)的多個向量V;步驟S4，基于每條密集軌跡對應(yīng)的多個向量V，通過慢特征學(xué)習(xí)方法，對于每一類向量，得到一個對該類向量對應(yīng)的J維慢特征函數(shù)Cl ；步驟S5，將步驟S3得到的與每條密集軌跡對應(yīng)的多個向量V分別輸入到慢特征函數(shù)Cl中，基于所述慢特征函數(shù)Cl的輸出向量構(gòu)建該視頻的特征表示f ；步驟S6，將所述視頻的特征表示f作為特征向量輸入到支持向量機(jī)SVM分類器中，構(gòu)造分類器模型；步驟S7，輸入一個測試視頻，將該測試視頻分為多個測試視頻段，對于每個測試視頻段計算其密集光流場；
步驟S8，從所述測試視頻段的每個幀中提取多個密集特征點，分別跟蹤所述密集特征點在整個視頻段中的軌跡，從而得到由所述測試視頻段中所有密集特征點對應(yīng)的密集軌跡組成的密集軌跡集合Ti ；步驟S9，對于所述密集軌跡集合T'中的每條密集軌跡，提取其中各軌跡點鄰域的像素值，構(gòu)建出與每條密集軌跡對應(yīng)的多個向量V'；步驟S10，將步驟S9得到的與每條密集軌跡對應(yīng)的多個向量V輸入到所述慢特征函數(shù)Cl中，基于所述慢特征函數(shù)Cl的輸出向量得到該測試視頻段的特征表示f' ；步驟S11，將所述測試視頻段的特征表示f'作為特征向量輸入到所述步驟S6得到的分類器模型中，即可判斷該測試視頻段是否為暴力視頻段；步驟S12，如果該測試視頻中超過一比例的視頻段被識別為暴力，則該測試視頻為暴力視頻，否則，為非暴力視頻。根據(jù)本發(fā)明的方法，能有效檢測出互聯(lián)網(wǎng)上視頻的暴力內(nèi)容，為互聯(lián)網(wǎng)不良內(nèi)容的過濾提供強(qiáng)有力的依據(jù)。


圖I是本發(fā)明基于慢特征分析的暴力視頻檢測方法流程圖。圖2是本發(fā)明基于軌跡的向量的構(gòu)造示意圖。圖3是根據(jù)本發(fā)明實施例的暴力視頻檢測結(jié)果。圖4是根據(jù)本發(fā)明實施例的非暴力視頻的檢測結(jié)果。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。圖I是本發(fā)明基于慢特征分析的暴力視頻檢測方法流程圖，如圖I所示，本發(fā)明基于慢特征分析的暴力視頻檢測方法流程圖，包括訓(xùn)練過程和識別過程兩個部分所述訓(xùn)練過程可以描述為對已經(jīng)標(biāo)好類的視頻進(jìn)行密集軌跡提取，基于軌跡用慢特征分析方法學(xué)習(xí)出慢特征函數(shù)，通過慢特征函數(shù)得到視頻段的特征表示，最后對提取的特征進(jìn)行訓(xùn)練并建模，即學(xué)習(xí)能有效區(qū)分暴力視頻和非暴力視頻的特征。所述識別過程可以描述為對新來視頻進(jìn)行特征提取，將提取的特征輸入到訓(xùn)練得到的模型，從而得到視頻的類別(暴力視頻或非暴力視頻)。所述訓(xùn)練過程進(jìn)一步包括以下步驟步驟SI，對于已經(jīng)標(biāo)好類的視頻樣本，計算其密集光流場；所述已經(jīng)標(biāo)好類的視頻是事先收集到的大量的暴力視頻和非暴力視頻，這些視頻用于訓(xùn)練本發(fā)明用到的暴力視頻識別模型。密集光流場ω = (ut, vt)的計算方法如下對于視頻的第t巾貞，位置(X，y)的偏移量可以表示為如下參數(shù)化形式u (x, y) = a^aaX+agy+a^+agXy (I)V (x, y) = a4+a5x+a6y+a7x2+a8xy (2)其中，u(x, y)為光流場在位置(X, y)的Ut分量，v(x, y)為光流場在位置(x, y)的 Vt 分里，&丨，&2，a3，&4， &6，&7，為i"寸定參數(shù)。公式⑴和⑵可以寫成如下向量形式
權(quán)利要求
1.一種基于慢特征分析的暴力視頻檢測方法，其特征在于，該方法包括以下步驟 步驟SI，對于已經(jīng)標(biāo)好類的視頻樣本，計算其密集光流場； 步驟S2，從所述視頻的每個幀中以一定步長提取多個密集特征點，分別跟蹤所述密集特征點在整個視頻中的軌跡，從而得到由所述視頻中所有密集特征點對應(yīng)的密集軌跡組成的密集軌跡集合T ； 步驟S3，對于所述密集軌跡集合T中的每條密集軌跡，提取其中各軌跡點鄰域的像素值，構(gòu)建出與每條密集軌跡對應(yīng)的多個向量V ; 步驟S4，基于每條密集軌跡對應(yīng)的多個向量V，通過慢特征學(xué)習(xí)方法，對于每一類向量，得到一個對該類向量對應(yīng)的J維慢特征函數(shù)Cl ； 步驟S5，將步驟S3得到的與每條密集軌跡對應(yīng)的多個向量V分別輸入到慢特征函數(shù)Cl中，基于所述慢特征函數(shù)Cl的輸出向量構(gòu)建該視頻的特征表示f; 步驟S6，將所述視頻的特征表示f作為特征向量輸入到支持向量機(jī)SVM分類器中，構(gòu)造分類器模型； 步驟S7，輸入一個測試視頻，將該測試視頻分為多個測試視頻段，對于每個測試視頻段計算其密集光流場； 步驟S8，從所述測試視頻段的每個幀中提取多個密集特征點，分別跟蹤所述密集特征點在整個視頻段中的軌跡，從而得到由所述測試視頻段中所有密集特征點對應(yīng)的密集軌跡組成的密集軌跡集合Ti ； 步驟S9，對于所述密集軌跡集合T'中的每條密集軌跡，提取其中各軌跡點鄰域的像素值，構(gòu)建出與每條密集軌跡對應(yīng)的多個向量V'； 步驟S10，將步驟S9得到的與每條密集軌跡對應(yīng)的多個向量N'輸入到所述慢特征函數(shù)Cl中，基于所述慢特征函數(shù)Cl的輸出向量得到該測試視頻段的特征表示f'； 步驟S11，將所述測試視頻段的特征表示f,作為特征向量輸入到所述步驟S6得到的分類器模型中，即可判斷該測試視頻段是否為暴力視頻段； 步驟S12，如果該測試視頻中超過一比例的視頻段被識別為暴力，則該測試視頻為暴力視頻，否則，為非暴力視頻。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟S2和S8中，基于密集光流場的偏移量來跟蹤所述密集特征點，得到與各個密集特征點對應(yīng)的密集軌跡。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟S2中，基于密集光流場的偏移量來跟蹤所述密集特征點進(jìn)一步為對于某一視頻第t幀的軌跡點Pt = (xt，yt)，通過對其密集光流場ω = (ut, vt)進(jìn)行中值濾波得到該軌跡點在第t+Ι巾貞中對應(yīng)的軌跡點Pt+1 Pt+i = ( ，^+ι)=( ,yt) + {M^m) ， 其中，M是一個中值濾波器，(g，yf)是軌跡點Pt= (xt,yt)鄰域內(nèi)的一個點，(MW) Ifi和表示對光流場中軌跡點對應(yīng)位置的鄰域進(jìn)行中值濾波，其表示軌跡點Pt = (xt, yt)相對于Pt+i = (xt+i，yt+i)的偏移量。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟S2和S8進(jìn)一步包括選取長度范圍在3-15之間的密集軌跡組成密集軌跡集合T的步驟。
5.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟S3中，構(gòu)建向量V進(jìn)一步為對于一條長度為I的軌跡，提取其中每個軌跡點hXw鄰域內(nèi)的像素值,然后從第一個軌跡點開始，每At = 3個軌跡點對應(yīng)的鄰域中的所有像素值組成一個向量,其中，所述軌跡的長度為該軌跡所包含的軌跡點的個數(shù)。
6.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟S4中，所述向量的類別與視頻的類別相對應(yīng)。
7.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟S4中，通過慢特征學(xué)習(xí)方法得到慢特征函數(shù)Cl進(jìn)一步為假定向量的類別共有C類，令t e [t0,tj表示時間，對于第C類的一個 I 維輸入向量 v(l = 3*hXw) {xc(t) = [xcl (t),... , Xcl(t)] I C e {1，· · ·，C}},使用慢特征方法即通過最小化下式得到一組J維慢特征函數(shù)Cl gc(x) = [gcl(x),...,gcj(x)]τ，其中，函數(shù)Cl中的第j維元素gcu_(x)表示類c的第j個慢特征函數(shù)
8.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟S5中，構(gòu)建特征表示進(jìn)一步為假設(shè)所述密集軌跡集合T中一條軌跡的長度是1，則其對應(yīng)的向量V的個數(shù)為l-At+l，所述慢特征函數(shù)Cl的維數(shù)為J，用匕表示慢特征函數(shù)Cl中的第j維元素，則所述視頻的特征表示f的元素可以按照下式計算
9.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟S7中，設(shè)定30個視頻幀為一個視頻段。
10.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟S12中的比例為50%。
全文摘要
本發(fā)明公開了一種基于慢特征分析的暴力視頻檢測方法，包括以下步驟對已經(jīng)標(biāo)好類的視頻進(jìn)行密集軌跡提取，基于軌跡用慢特征分析方法學(xué)習(xí)出慢特征函數(shù)，通過慢特征函數(shù)得到視頻段的特征表示，最后對提取的特征進(jìn)行訓(xùn)練并建模；對新來視頻進(jìn)行特征提取，將提取的特征輸入到訓(xùn)練得到的模型，得到視頻的類別(暴力視頻或非暴力視頻)。該方法通過密集軌跡提取構(gòu)建了有效的特征向量，并通過慢特征分析方法學(xué)習(xí)出了非常具有區(qū)分力的視頻特征表示。近幾年隨著社交網(wǎng)站的發(fā)展，大量的視頻被上傳到互聯(lián)網(wǎng)供用戶下載，其中不乏含有暴力內(nèi)容的視頻，這些內(nèi)容會對青少年產(chǎn)生不良影響，基于慢特征分析的暴力視頻檢測方法能有效檢測出這些不良內(nèi)容，對建設(shè)健康的互聯(lián)網(wǎng)環(huán)境具有重要作用。
文檔編號G06K9/62GK102902981SQ201210340160
公開日2013年1月30日 申請日期2012年9月13日 優(yōu)先權(quán)日2012年9月13日
發(fā)明者王亮, 張彰, 王開業(yè) 申請人:中國科學(xué)院自動化研究所