本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是一種監(jiān)控視頻中基于運動方向的異常行為檢測方法。

背景技術(shù)：

近年來，隨著各種安全突發(fā)事件的增多，大眾安全意識的提升，人工智能理念的滲透，智能監(jiān)控越來越受到人們的關(guān)注。傳統(tǒng)的監(jiān)控系統(tǒng)主要通過人工監(jiān)控的方式實現(xiàn)對公共場合的安全管理，缺乏實時性和主動性。在很多情況下，視頻監(jiān)控由于無人管理只是起到了視頻備份的作用沒有做到監(jiān)管的職責。此外，隨著監(jiān)控攝像頭的普及和廣泛布設(shè)，傳統(tǒng)的人工監(jiān)控方式已經(jīng)不能滿足現(xiàn)代監(jiān)控的需求。

針對這一問題，大眾都致力于尋求解決方案來代替人工操作。目前，隨著視頻監(jiān)控技術(shù)以及信息科學的不斷發(fā)展，視頻監(jiān)控、人機交互、視頻搜索等領(lǐng)域有了長足的發(fā)展，自動化監(jiān)控逐漸成為一個具有廣泛應(yīng)用前景的研究課題。異常行為檢測是自動監(jiān)控的重要內(nèi)容，相較于一般地人體行為識別集中在人的常規(guī)動作的識別上，異常行為通常具有高突發(fā)性，并且持續(xù)時間較短，很難獲取行為特征的特點。

近年來，對于異常行為的檢測，研究者們提出了不同的方法，主要分為基于人體運動特征的檢測方法和基于前景目標運動軌跡的檢測方法?；谌梭w運動特征的檢測方法通過提取前景目標的運動特征達到高準確度，但是目標的運動特征不易提取且計算復雜；基于前景目標運動軌跡的檢測方法計算量小，但是精度低，一般用于特定的場景。

總的來說，對于異常行為的檢測，現(xiàn)在并特別沒有高效的方法，還需要不斷的探索。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有技術(shù)的不足而提供一種監(jiān)控視頻中基于運動方向的異常行為檢測方法，以有效的提高對視頻中異常行為的檢測效果。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

根據(jù)本發(fā)明提出的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法，包括以下步驟：

步驟1、輸入3個原始視頻幀和1個背景視頻幀，所述原始視頻幀是用戶輸入的監(jiān)控視頻的視頻幀，所述背景視頻幀是用戶輸入的監(jiān)控視頻的背景的視頻幀，每個原始視頻幀和背景視頻幀均由k個像素點構(gòu)成；

步驟2、比較背景視頻幀與原始視頻幀，具體步驟如下：

步驟21、取原始視頻幀的第一幀、第二幀和第三幀中每個像素點的灰度值，原始視頻幀的第一幀在位置(xi,yi)處的像素點的灰度值為f(xi,yi,t-1)，原始視頻幀的第二幀在位置(xi,yi)處的像素點的灰度值為f(xi,yi,t)，原始視頻幀的第三幀在位置(xi,yi)處的像素點的灰度值為f(xi,yi,t+1)；再取背景視頻幀像素點的灰度值，背景視頻幀在位置(xi,yi)處的像素點的運動矢量為f0(xi,yi,t)，i依次取1到k中的整數(shù)值；然后分別計算背景視頻幀與原始視頻幀第一幀、第二幀和第三幀在位置(xi,yi)處的像素點的運動矢量的差值d1(xi,yi,t)、d2(xi,yi,t)和d3(xi,yi,t)，采用以下計算公式得到三組差值：

d1(xi,yi,t)＝|f(xi,yi,t-1)-f0(xi,yi,t)|，

d2(xi,yi,t)＝|f(xi,yi,t)-f0(xi,yi,t)，

d3(xi,yi,t)＝|f(xi,yi,t+1)-f0(xi,yi,t)；

接著計算上述三組差值的平均值d(xi,yi,t)：

d(xi,yi,t)＝(d1(xi,yi,t)+d2(xi,yi,t)+d3(xi,yi,t))/3；

步驟22、設(shè)置背景區(qū)域邊界閾值為m1，當d(xi,yi,t)≥m1，設(shè)置b(xi,yi,t)＝1，當d(xi,yi,t)＜m1，設(shè)置b(xi,yi,t)＝0，設(shè)定原始視頻幀的第一幀中滿足b(xi,yi,t)＝1的所有像素點組成的區(qū)域為初步視頻目標，b(xi,yi,t)為在位置(xi,yi)處的像素點的二值化表示；

步驟3、輸入初步視頻目標的所有像素點，根據(jù)光流法得到光流約束方程，對光流約束方程做泰勒展開，得到計算初步視頻目標的每個像素點的水平梯度垂直梯度時間梯度ft，u(xi,yi)是位置(xi,yi)處的像素點的水平光流，v(xi,yi)是位置(xi,yi)處的像素點的垂直光流；

計算初步視頻目標的每個像素點的速度t(xi,yi)：

步驟4、設(shè)置噪聲區(qū)域邊界閾值為m2，當初步視頻目標中存在位置(xi,yi)處的像素點的速度t(xi,yi)≤m2，設(shè)定滿足t(xi,yi)≤m2的所有像素點組成的區(qū)域為視頻目標，轉(zhuǎn)入步驟5，當初步視頻目標的所有像素點的速度均滿足t(xi,yi)＞m2，設(shè)定原始視頻幀中不存在視頻目標，轉(zhuǎn)入步驟1；

步驟5、根據(jù)步驟3所述的光流約束方程得到計算視頻目標的每個像素點的u(xi,yi)和v(xi,yi)；

轉(zhuǎn)換u(xi,yi)和v(xi,yi)為極坐標表示形式，轉(zhuǎn)換公式為ρ(xi,yi)和θ(xi,yi)為u(xi,yi)和v(xi,yi)的極坐標表示形式；

計算視頻目標的每個像素點的運動方向r(xi,yi)：

步驟6、查詢視頻目標的所有像素點，當視頻目標中位置為(xi,yi)處的像素點存在二值化表示b(xi,yi,t)＝0的毗鄰像素點，設(shè)定該像素點為視頻目標的輪廓，設(shè)置該像素點的權(quán)值a(xi,yi,t)＝2，當視頻目標中位置為(xi,yi)處的像素點的毗鄰像素點的二值化表示均為b(xi,yi,t)＝1，設(shè)置該像素點的權(quán)值a(xi,yi,t)＝1，所述的毗鄰像素點是位置在(xi-1,yi-1)、(xi-1,yi)、(xi-1,yi+1)、(xi,yi-1)，(xi,yi+1)、(xi+1,yi-1)、(xi+1,yi)、(xi+1,yi+1)處的像素點；

步驟7、統(tǒng)計視頻目標的運動方向，具體步驟如下：

步驟71、將方向范圍360°均分為c個區(qū)間進行運動方向統(tǒng)計，每個區(qū)間大小為將步驟5所得的視頻目標的每個像素點的運動方向按照權(quán)值a(xi,yi,t)的大小分別歸類到相應(yīng)區(qū)間，當a(xi,yi,t)＝1，運動方向歸類到相應(yīng)區(qū)間1次，當a(xi,yi,t)＝2，運動方向歸類到相應(yīng)區(qū)間2次，c表示運動方向的區(qū)間的個數(shù)；

步驟72、采用方向直方圖模型h統(tǒng)計視頻目標的像素點的運動方向，所述的h＝{hj},j＝1,2,…,c，hj表示第j區(qū)間的方向直方圖統(tǒng)計；接著對每一區(qū)間進行歸一化處理，定義歸一化后的方向直方圖模型為hnorm，hnorm＝{hnorm(j)}，

步驟73、計算歸一化方向直方圖模型的運動方向熵e：

步驟8、設(shè)置異常行為邊界閾值為m3，當e≥m3，輸出該視頻目標的行為為異常行為，當e＜m3，設(shè)定該視頻目標行為正常，轉(zhuǎn)入步驟1。

作為本發(fā)明所述的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法進一步優(yōu)化方案，所述步驟1中，輸入的監(jiān)控視頻是在攝像機沒有抖動的情況下獲得。

作為本發(fā)明所述的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法進一步優(yōu)化方案，所述步驟1中，k取720×560。

作為本發(fā)明所述的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法進一步優(yōu)化方案，所述步驟1中，相鄰兩個原始視頻幀的時間間隔為0.5秒。

作為本發(fā)明所述的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法進一步優(yōu)化方案，所述步驟22中，m1取10，表示背景區(qū)域邊界閾值。

作為本發(fā)明所述的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法進一步優(yōu)化方案，步驟3中所述的光流法指設(shè)經(jīng)過時間dt，在位置(xi,yi)處的像素點移動至位置(xi+dx,yi+dy)處，由此存在光流約束方程f(xi,yi,t)＝f(xi+dx,yi+dy,t+dt)的光流處理辦法，dx表示dt時間內(nèi)位置(xi,yi)處的像素點在水平方向移動的距離，dy表示dt時間內(nèi)位置(xi,yi)處的像素點在垂直方向移動的距離。

作為本發(fā)明所述的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法進一步優(yōu)化方案，所述步驟4中，m2取0.5，表示噪聲區(qū)域邊界閾值。

作為本發(fā)明所述的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法進一步優(yōu)化方案，所述步驟71中，c取9。

作為本發(fā)明所述的一種監(jiān)控視頻中基于運動方向的異常行為檢測方法進一步優(yōu)化方案，所述步驟8中，m3的取值在0.5～0.6之間，表示異常行為邊界閾值。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

本發(fā)明使用背景相減法處理原始視頻幀并獲取初步視頻目標，并對獲取的視頻目標進行優(yōu)化，通過對視頻目標運動方向的統(tǒng)計分析達到檢測異常行為的效果。能夠檢測出大部分異常情況，具有良好的實時性和有效性，具體來說：

(1)監(jiān)控視頻中存在大量靜止畫面，不需要進行行為檢測，通過背景減法快速篩選視頻幀，只對存在灰度值變化的視頻幀進行檢測，提高算法的檢測速度；

(2)監(jiān)控視頻中受光照和天氣變化的影響，只對運動的視頻目標進行檢測，減少光照和天氣對檢測效果的影響；

(3)視頻前景目標根據(jù)運動的劇烈程度相異，對于視頻幀像素點速度大于閾值的區(qū)域不予考慮，大大的減少了運算量，提供了算法的時效性；

(4)使用方向直方圖對運動方向進行劃分，可以使行人細微的肢體動作被忽略而不影響檢測效果，大大降低了計算的繁瑣度。

附圖說明

圖1是監(jiān)控視頻中基于運動方向的異常行為檢測方法流程。

具體實施方式

下面結(jié)合附圖對本發(fā)明的技術(shù)方案做進一步的詳細說明：

在具體實施中，圖1是監(jiān)控視頻中基于運動方向的異常行為檢測方法流程。首先用戶輸入3個原始視頻幀和1個背景視頻幀，這里的原始視頻幀取自監(jiān)控視頻的視頻幀，時間間隔為0.5秒，背景視頻幀是監(jiān)控視頻的背景的視頻幀，每個視頻幀由k個像素點構(gòu)成。

背景相減法通過比較背景圖像和視頻圖像的差別可以快速并且較精確的獲取覆蓋視頻背景的區(qū)域，所以選取原始視頻幀的第一幀、第二幀和第三幀中每個像素點的運動矢量。原始視頻幀第一幀在位置(xi,yi)處的像素點的運動矢量為f(xi,yi,t-1)，原始視頻幀第二幀在位置(xi,yi)處的像素點的運動矢量為f(xi,yi,t)，原始視頻幀第三幀在位置(xi,yi)處的像素點的運動矢量為f(xi,yi,t+1)；再取背景視頻幀像素點的運動矢量，背景視頻幀在位置(xi,yi)處的像素點的運動矢量為f0(xi,yi,t)，所述i依次取1到k中的值，這里的f(xi,yi,t)和f0(xi,yi,t)均表示時間t時位置(xi,yi)處的像素點的灰度值，f(xi,yi,t-1)表示時間t-1時在位置(xi,yi)處的像素點的灰度值，f(xi,yi,t+1)表示時間t+1時位置(xi,yi)處像素點的灰度值。再計算背景視頻幀與上述三個視頻幀在位置(xi,yi)處的像素點的運動矢量的差值d1(xi,yi,t)、d2(xi,yi,t)和d3(xi,yi,t)，采用以下計算公式得到三組差值：

d1(xi,yi,t)＝|f(xi,yi,t-1)-f0(xi,yi,t)|，

d2(xi,yi,t)＝|f(xi,yi,t)-f0(xi,yi,t)，

d3(xi,yi,t)＝|f(xi,yi,t+1)-f0(xi,yi,t)；

通過多幀對比可以消除單幀對比帶來的誤差，所以計算背景視頻幀與上述三個視頻幀在位置(xi,yi)處的像素點的運動矢量的差值d(xi,yi,t)，采用以下公式計算d(xi,yi,t)：d(xi,yi,t)＝(d1(xi,yi,t)+d2(xi,yi,t)+d3(xi,yi,t))/3。

為了對消除視頻背景的影響，所有像素點設(shè)置二值化表示b(xi,yi,t)標識位置(xi,yi)處的像素點是否屬于背景，那么設(shè)置背景區(qū)域邊界閾值為m1，m1按照經(jīng)驗值取0.5。如果d(xi,yi,t)＜m1，設(shè)置b(xi,yi,t)＝0，設(shè)定滿足b(x,y,t)＝0的所有像素點組成的區(qū)域為背景區(qū)域；如果d(xi,yi,t)≥m1，設(shè)置b(xi,yi,t)＝1，設(shè)定滿足b(x,y,t)＝1的所有像素點組成的區(qū)域為初步視頻目標，只對初步視頻目標作進一步處理。

假設(shè)攝像頭不抖動并且視頻幀的背景不變，初步視頻目標與背景不存在相對運動，那么初步視頻目標運動產(chǎn)生速度。對于上一步獲取的初步視頻目標，可以計算像素點的速度判斷初步視頻目標是運動物體還是由于光照、天氣變化影響誤判的背景區(qū)域。首先根據(jù)光流法得到光流約束方程f(xi,yi,t)＝f(xi+dx,yi+dy,t+dt)，對光流約束方程做泰勒展開，得到計算初步視頻目標的每個像素點的水平梯度垂直梯度時間梯度ft，這里的光流法指假設(shè)經(jīng)過dt時間，在位置(xi,yi)處的像素點移動至位置(xi+dx,yi+dy)處，存在光流約束方程f(xi,yi,t)＝f(xi+dx,yi+dy,t+dt)的光流處理辦法，u(xi,yi)是位置(xi,yi)處的像素點的水平光流，v(xi,yi)是位置(xi,yi)處的像素點的垂直光流，可以算術(shù)表示為ft＝df/dt、u(xi,yi)＝dxi/dt、v(xi,yi)＝dyi/dt。通過上步得到的和ft計算初步視頻目標的像素點的速度t(xi,yi)，

為了有效的消除噪聲對檢測效果影響，那么設(shè)置噪聲區(qū)域邊界閾值為m2，如果初步視頻目標的所有像素點的速度均滿足t(xi,yi)＞m2，設(shè)定原始視頻幀中不存在視頻目標，回到開始重新進行檢測。如果初步視頻目標中存在位置(xi,yi)處的像素點速度t(xi,yi)≤m2，設(shè)定滿足t(xi,yi)≤m2的所有像素點組成的區(qū)域為視頻目標，繼續(xù)下面的操作。

對于視頻目標區(qū)域的像素點，求解光流約束方程得到對矩陣進行逆運算得到由此求得u(xi,yi)和v(xi,yi)。將u(xi,yi)和v(xi,yi)由直角坐標形式轉(zhuǎn)化為極坐標形式ρ(xi,yi)和θ(xi,yi)，計算公式為從而可以計算出視頻目標的每個像素點的運動方向r(xi,yi)，對視頻目標的所有像素點的運動方向r(xi,yi)進行求解。

快速查詢視頻目標的所有像素點，如果視頻目標中位置為(xi,yi)處的像素點存在二值化表示的毗鄰像素點，說明該像素點為視頻目標的輪廓。異常行為的發(fā)生通常在人體輪廓更加劇烈，比如投擲、打斗等，所以設(shè)置該像素點的權(quán)值a(xi,yi,t)＝2。如果視頻目標中位置為(xi,yi)處的像素點的毗鄰像素點的二值化表示均為b(xi,yi,t)＝1，設(shè)置該像素點的權(quán)值a(xi,yi,t)＝1。這里的毗鄰像素點是位置(xi-1,yi-1)、(xi-1,yi)、(xi-1,yi+1)、(xi,yi-1)，(xi,yi+1)、(xi+1,yi-1)、(xi+1,yi)、(xi+1,yi+1)處的像素點。

本發(fā)明主要通過視頻目標的運動方向混亂程度判斷異常行為，運動方向越混亂說明越可能發(fā)生異常行為，那么需要對視頻目標的運動方向進行統(tǒng)計分析。將方向范圍360°均分為9個區(qū)間，每個區(qū)間大小為40°，所得的視頻目標的每個像素點的運動方向按照權(quán)值a(xi,yi,t)的大小分別歸類到相應(yīng)區(qū)間，如果a(xi,yi,t)＝1，那么運動方向歸類到相應(yīng)區(qū)間1次，如果a(xi,yi,t)＝2，運動方向歸類到相應(yīng)區(qū)間2次。

使用方向直方圖模型可以對方向進行簡明有效的分析，定義方向直方圖模型為h，h＝{hj},j＝1,2,…,9，hj表示第j區(qū)間的方向直方圖統(tǒng)計，對每一區(qū)間進行歸一化處理，定義歸一化后的方向直方圖模型為hnorm，hnorm＝{hnorm(j)}，j＝1,2,…,9，hnorm表示第i區(qū)間的歸一化方向直方圖統(tǒng)計。計算歸一化方向直方圖模型的運動方向熵e，設(shè)定異常行為邊界閾值為m3判斷異常行為，如果e≥m3，說明該視頻目標的行為為異常行為；如果e＜m3，說明該視頻目標行為正常，回到開始位置繼續(xù)進行異常行為檢測。

以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替代，都應(yīng)當視為屬于本發(fā)明的保護范圍。