本發(fā)明涉及智能視頻監(jiān)控領(lǐng)域，具體涉及基于目標(biāo)定位與特征融合的視頻中異常行為檢測方法。

背景技術(shù)：

異常行為檢測作為一種計算機智能視頻分析方法，在智能監(jiān)控領(lǐng)域具有潛在的應(yīng)用價值，對維護(hù)公共安全，改善用戶體驗，降低人力成本等具有極大的促進(jìn)作用；另外，由于實際的視頻場景通常是復(fù)雜多變的，異常行為檢測將會面臨遮擋，光照變化，視角變化，尺度變化，人群擁擠，同一行為的多變性等難點，需要綜合運用圖像處理，計算機視覺和機器學(xué)習(xí)等領(lǐng)域的理論方法，具有較大的挑戰(zhàn)性和研究價值。目前主流的視頻中異常行為檢測方法主要有基于目標(biāo)跟蹤的檢測以及基于時空特征的檢測兩大類，前者算法的檢測效果依賴于目標(biāo)的跟蹤效果以及運動軌跡特征的提取，后者算法的檢測效果依賴于時空特征的設(shè)計，與此同時，后者算法通常需要遍歷每一幀視頻的每一個小塊區(qū)域，從而定位出異常的位置，計算量較大。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供基于目標(biāo)定位與特征融合的視頻中異常行為檢測方法，以解決上述背景技術(shù)中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下的技術(shù)方案：

基于目標(biāo)定位與特征融合的視頻中異常行為檢測方法，包括如下步驟：

(1)基于背景差分以及光流統(tǒng)計的運動區(qū)域檢測，快速檢測定位出運動區(qū)域以便檢測是否異常；

(2)基于時空特征以及深度特征的特征融合，提取了基于顯著性的空間特征，基于緩慢變化的時間特征以及基于多層稀疏自編碼的高層特征，用于描述運動區(qū)域的各個維度信息；

(3)基于多SVM模型訓(xùn)練的決策，對各個維度特征分別訓(xùn)練分類器，最終選擇集成學(xué)習(xí)的方法進(jìn)行異常檢測的決策。

進(jìn)一步地，步驟(1)具體包括：對于一段輸入視頻，采用簡單的背景差分方法，模糊定位出運動的區(qū)域；在此基礎(chǔ)上，通過對候選區(qū)域的像素點面積做閾值判斷，過濾非人運動目標(biāo)；最后，計算光流場直方圖，選取光流密集的區(qū)域作為最終的運動目標(biāo)。

進(jìn)一步地，步驟(2)具體包括：對于檢測到的運動目標(biāo)，設(shè)計淺層特征與高層特征融合的方法，其中淺層特征指人工設(shè)計的時空特征，空間維度采用的是信息顯著性特征，時間維度采用的是緩慢變化特征；高層特征指多層稀疏自編碼器；通過淺層特征與高層特征的融合，從不同角度描述運動區(qū)域的信息。

進(jìn)一步地，步驟(3)具體包括：基于候選運動區(qū)域的多種維度特征，采用線性支持向量機進(jìn)行分類，判斷是否異常，從而最終定位出異常的位置。

進(jìn)一步地，步驟(1)中，將當(dāng)前幀與背景幀做差分，即可求得背景差圖，然后采用最大類間方差法進(jìn)行閾值分割，獲得候選運動目標(biāo)區(qū)域。

進(jìn)一步地，步驟(1)中，由背景差分所得的候選運動目標(biāo)區(qū)域，可能出現(xiàn)非監(jiān)控目標(biāo)即出現(xiàn)的不是人而且其他物體，考慮到人與其他運動物體的體型上的差距，通過對候選運動目標(biāo)區(qū)域進(jìn)行像素點面積計算，減少候選運動目標(biāo)區(qū)域的數(shù)量，避免后續(xù)步驟無效的特征計算，從而減少計算量。

進(jìn)一步地，步驟(1)中，光流場直方圖計算是為了選取光流密集的運動區(qū)域，考慮到異常行為往往是驟變的行為，通常會出現(xiàn)在光流比較密集的區(qū)域，通過光流統(tǒng)計閾值的過濾，同樣減少候選運動目標(biāo)區(qū)域的數(shù)量。

進(jìn)一步地，步驟(2)中的信息顯著性特征(SI)計算主要是通過對每一幀圖像進(jìn)行小塊劃分(經(jīng)驗值一般為5*5的大小)；然后計算每個小塊的4元傅里葉變換的振幅譜；最后通過如下的公式算出每個小塊的顯著性：

S_i＝∑_i≠jw_i,j*D_i,j，

其中i分別表示第i個小塊，j表示第i個小塊周圍的每個小塊，D_i,j表示第i、j個小塊的4元傅里葉變換的振幅譜的差，w表示權(quán)重。

進(jìn)一步地，步驟(2)中的緩慢變化特征(SFA)主要是給定一個I維的輸入信號：

x(t)＝[x₁(t),…x_i(t)]^T，

其中：t∈[t₀,t₁]代表著時間，t₀,t₁表示兩個時間點，x_i(t)表示t時刻第i維特征值；

SFA的目的是找出一套輸入輸出函數(shù)：

g(x)＝[g₁(x),…g_j(x)]^T g_j(x)表示特征變換后第j維特征值，

使得J維輸出信號：

y(t)＝[y₁(t),…y_j(t)]^T

其中

y_j(t)＝g_j(x(t)，j∈{1,…,J}

盡可能地變化緩慢，公式如下：

同時滿足條件：

＜y_j＞_t＝0

其中表示的是y的一階梯度，＜y_j＞_t表示的是y在時間上的均值；公式min表示的是最小化輸出信號在時間上的變化程度，時間上信號的變化主要由一階梯度的平方的均值來衡量；所滿足的條件中第二條是為了限制輸出信號的每一維都攜帶信息量；第三條了保證輸出信號的不同維度攜帶不同的信息，同時也反映維度之間的一個次序關(guān)系，其中第一個維度就是變化最緩慢的維度，第二個維度就是變化第二緩慢的維度，以此類推。

進(jìn)一步的，步驟(2)中的多層稀疏自編碼器(SAE)是一個4層的小型深度學(xué)習(xí)網(wǎng)絡(luò)，結(jié)構(gòu)為輸入層-隱藏層1-隱藏層2-輸出層，采用的是逐層貪心的預(yù)訓(xùn)練方法，每一層訓(xùn)練都是非監(jiān)督的，約束條件主要是稀疏以及自編碼。

本發(fā)明的運動目標(biāo)檢測包括但不僅限于光流軌跡統(tǒng)計以及物體檢測識別；先進(jìn)行運動發(fā)生區(qū)域的快速檢測定位，改進(jìn)傳統(tǒng)的小塊遍歷計算的缺點，從而提高后續(xù)異常檢測環(huán)節(jié)。其中運動目標(biāo)檢測包括但不僅限于光流軌跡統(tǒng)計以及物體檢測識別。高層特征包括但不僅限于多層稀疏自編碼等深度模型特征。本發(fā)明不僅在特征環(huán)節(jié)進(jìn)行特征融合，也在決策環(huán)節(jié)進(jìn)行集成學(xué)習(xí)的融入，其中集成學(xué)習(xí)的方法包括但不僅限于投票模型。

與現(xiàn)有的技術(shù)相對，本發(fā)明的有益效果是：本發(fā)明方法通過先定位運動目標(biāo)領(lǐng)域再異常識別的方法，可以更加有效地進(jìn)行異常行為的檢測，具體體現(xiàn)在2方面，一方面是避免遍歷計算區(qū)域特征，計算量減少，另一方面是更加精確地定位監(jiān)控目標(biāo)。除此之外，多種維度的特征融合既考慮了傳統(tǒng)的時空特征，也考慮了高層次的抽象特征，特征描述更加具有區(qū)分性，有利于后續(xù)分類器的判別。

附圖說明

圖1為基于目標(biāo)定位與特征融合的視頻中異常行為檢測方法流程圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚，完整地描述，顯然，所描述的實施例僅僅是本發(fā)明的一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

參考圖1，可以看到基于目標(biāo)定位與特征融合的視頻中異常行為檢測方法，整個流程主要有4個環(huán)節(jié)，包括對輸入視頻的預(yù)處理從而檢測定位出運動目標(biāo)區(qū)域，運動區(qū)域的時空特征以及高維度特征提取，分類模型的訓(xùn)練，以及最后的決策環(huán)節(jié)，下面將對這4個環(huán)節(jié)進(jìn)行舉例說明。

S1:在視頻的預(yù)處理環(huán)節(jié)，首先會對視頻數(shù)據(jù)進(jìn)行簡單的白化處理，保證各維度信息的零均值以及方差為1的特性，隨后通過簡單的二值圖做差，定位出大概的運動前景，結(jié)合運動目標(biāo)的體型面積信息，篩選非監(jiān)控目標(biāo)區(qū)域，最后，需要對候選運動目標(biāo)區(qū)域做光流計算，統(tǒng)計每個候選運動目標(biāo)區(qū)域的光流密度，選取密度較高的區(qū)域作為最終的運動目標(biāo)候選區(qū)域。

S2：在特征提取環(huán)節(jié)，主要對運動區(qū)域提取3個不同維度的特征，其中包括時間特征SFA，空間特征SI以及高維特征SAE，下面將分別闡述3種特征的提取過程：

(1)空間特征SI:首先需要對每一幀圖像進(jìn)行小塊劃分，小塊的規(guī)模一般為5*5，緊接著需要計算每個小塊與周圍小塊的4元傅里葉變換的振幅譜的差，最終進(jìn)行加權(quán)，從而得出該小塊的顯著性值，作為特征；除此之外，一般需要對圖像進(jìn)行金字塔小塊劃分，增加特征魯棒性。

(2)時間特征SFA:首先在目標(biāo)運動區(qū)域進(jìn)行樣本塊的抽樣，將連續(xù)dt幀并為一個時刻的輸入向量，除此之外，為了引入非線性特征，需要對原始信號做非線性擴展，一般采用的是二項式擴展；緊接著做PCA降維，避免機器學(xué)習(xí)中的維數(shù)災(zāi)難問題。構(gòu)造完訓(xùn)練樣本之后，根據(jù)以下的目標(biāo)函數(shù)進(jìn)行優(yōu)化訓(xùn)練：

訓(xùn)練方法采用的是基于矩陣分解的方法:

，其中x表示輸入特征向量wj表示第j維特征轉(zhuǎn)換向量yj表示第j維輸出特征值。最終通過訓(xùn)練，每個小塊可以得到K維特征向量。

(3)高層特征SAE:首先需要從運動區(qū)域進(jìn)行幀級別的小塊提取訓(xùn)練樣本，規(guī)格大小為8*8，每個樣本具有64維的向量，作為多層稀疏編碼器的輸入，稀疏編碼器總共有4層，輸入層對應(yīng)64維的輸入向量，后面跟著2層全連層以及1層輸出層，訓(xùn)練的目標(biāo)函數(shù)采用平均平方誤差，訓(xùn)練優(yōu)化算法采用逐層訓(xùn)練的非監(jiān)督貪心策略，最后提取第2層隱藏層的輸出向量最后高層特征向量，刻畫樣本的高層信息。

S3:在模型訓(xùn)練環(huán)節(jié)，對每種維度的特征單獨訓(xùn)練SVM分類器，同時也將時間特征SFA與空間特征SI進(jìn)行拼接融合，單獨訓(xùn)練一個SVM分類器，由于每種維度的特征刻畫數(shù)據(jù)不同維度的信息，因此單獨進(jìn)行分類器的訓(xùn)練，可以更好的挖掘出信息，同時也在特征維度融合，考慮特征的互補。SVM分類器采用的是基于線性核的SVM

S4:在決策環(huán)節(jié)，主要是基于集成學(xué)習(xí)的思想，將模型訓(xùn)練環(huán)節(jié)的4個SVM模型的輸出結(jié)果，進(jìn)行投票選擇，從而提高整個方法的穩(wěn)定性以及檢測效果。

由此可見，本發(fā)明方法的工作原理主要是先通過背景差分，目標(biāo)檢測等手段定位出運動目標(biāo)區(qū)域，改進(jìn)傳統(tǒng)的遍歷區(qū)域的方法，從而提高檢測速度；其次，本發(fā)明方法不僅結(jié)合傳統(tǒng)的時間以及空間特征，也引進(jìn)了高層特征，從而提高更加全面的信息描述；最后，該方法不僅在特征維度進(jìn)行信息互補融合，在決策層也進(jìn)行投票融合，從而提高整個方法的檢測效果。