基于視頻分析的異常行為檢測方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于視頻分析的異常行為檢測方法及系統(tǒng)。其中方法包括以下步驟：從視頻幀中提取行人前景圖像；對視頻幀進行網(wǎng)格劃分，劃分為多個網(wǎng)格區(qū)域，并設定行人前景圖像所在的網(wǎng)格區(qū)域為運動區(qū)域；采用最近鄰法對運動區(qū)域進行標記，將相鄰的視頻幀的運動區(qū)域進行關聯(lián)；計算已標記的運動區(qū)域內的光流特征；根據(jù)光流特征得到加權方向直方圖；計算加權方向直方圖的熵；采用混合高斯模型選取檢測閾值，根據(jù)檢測閾值和加權方向直方圖的熵檢測是否有異常行為發(fā)生，并更新檢測閾值。其能實時自動地檢測出視頻場景中的異常行為，避免異常行為擾亂公共場所秩序，危害公共安全及人身安全，減少人員工作量，避免因漏檢和誤檢帶來的安全隱患。
【專利說明】基于視頻分析的異常行為檢測方法及系統(tǒng)

【技術領域】
[0001] 本發(fā)明涉及行為識別領域，特別是涉及一種基于視頻分析的異常行為檢測方法及 系統(tǒng)。

【背景技術】
[0002] 目前大多數(shù)視頻監(jiān)控系統(tǒng)還處于傳統(tǒng)模式，即"只記錄不判斷"，因此只能通過事 后的視頻回放來調查異常情況及取證，存在無法實時判斷異常行為及報警的缺點，且需要 工作人員不間斷地監(jiān)視場景內的活動，日夜值守，工作量繁重，易受人體感官疲勞影響從而 出現(xiàn)漏檢和誤檢的情況，失去了監(jiān)控系統(tǒng)進行現(xiàn)場實時監(jiān)控的意義。另一方面，隨著監(jiān)控系 統(tǒng)規(guī)模的擴大，視頻數(shù)量海量增大，從中獲取有用的信息或者情報越來越難，查找效率低， 難以滿足監(jiān)控系統(tǒng)的需求。


【發(fā)明內容】

[0003] 針對傳統(tǒng)視頻監(jiān)控系統(tǒng)無法實時判斷異常行為及報警的問題，本發(fā)明提供了一種 可以實時檢測出異常行為發(fā)生的基于視頻分析的異常行為檢測方法及系統(tǒng)。
[0004] 為達到發(fā)明目的，本發(fā)明提供一種基于視頻分析的異常行為檢測方法，包括以下 步驟：
[0005] 從視頻幀中提取行人前景圖像；
[0006] 對所述視頻幀進行網(wǎng)格劃分，劃分為多個網(wǎng)格區(qū)域，并設定所述行人前景圖像所 在的所述網(wǎng)格區(qū)域為運動區(qū)域；
[0007] 采用最近鄰法對所述運動區(qū)域進行標記，將相鄰的所述視頻幀的所述運動區(qū)域進 行關聯(lián)；
[0008] 計算已標記的所述運動區(qū)域內的光流特征；
[0009] 根據(jù)所述光流特征得到加權方向直方圖；
[0010] 計算所述加權方向直方圖的熵；
[0011] 采用混合高斯模型選取檢測閾值，根據(jù)所述檢測閾值和所述加權方向直方圖的熵 檢測是否有異常行為發(fā)生，并更新所述檢測閾值。
[0012] 作為一種可實施例，所述從視頻幀中提取行人前景圖像，包括如下步驟：
[0013] 從視頻幀中提取運動前景圖像；
[0014] 根據(jù)預設濾波閾值將小面積的所述運動前景圖像過濾掉，得到行人前景圖像。
[0015] 作為一種可實施例，所述采用最近鄰法對所述運動區(qū)域進行標記，將相鄰的所述 視頻幀的所述運動區(qū)域進行關聯(lián)，包括如下步驟：
[0016] 計算所述運動區(qū)域的零階矩和一階矩；
[0017] 根據(jù)所述零階矩和所述一階矩計算得到所述運動區(qū)域的區(qū)域中心；
[0018] 根據(jù)所述區(qū)域中心計算馬氏距離；
[0019] 將相鄰的所述視頻幀的所述馬氏距離最短的所述運動區(qū)域進行關聯(lián)。
[0020] 作為一種可實施例，所述采用混合高斯模型選取檢測閾值，根據(jù)所述檢測閾值和 所述加權方向直方圖的熵檢測是否有異常行為發(fā)生，并更新所述檢測閾值，包括以下步 驟：
[0021] 判斷所述加權方向直方圖的熵是否大于所述檢測閾值；
[0022] 若是，則判斷有異常行為發(fā)生；
[0023] 若否，則判斷無異常行為發(fā)生；
[0024] 將當前的加權方向直方圖的熵作為新的均值，選取新的標準差，得到新的高斯分 布；
[0025] 將所述新的高斯分布替換所述混合高斯模型中權重最小的高斯分布，形成新的混 合高斯模型，根據(jù)所述新的混合高斯模型得到新的所述檢測閾值。
[0026] 作為一種可實施例，采用L-K光流算法計算所述運動區(qū)域內的光流特征。
[0027] 本發(fā)明還提供一種基于視頻分析的異常行為檢測系統(tǒng)，包括前景提取模塊，區(qū)域 劃分模塊，區(qū)域標記模塊，光流特征計算模塊，加權方向直方圖模塊，熵計算模塊和閾值選 取更新模塊，其中 ：
[0028] 所述前景提取模塊，用于從視頻幀中提取行人前景圖像；
[0029] 所述區(qū)域劃分模塊，用于對所述視頻幀進行網(wǎng)格劃分，劃分為多個網(wǎng)格區(qū)域，并設 定所述行人前景圖像所在的所述網(wǎng)格區(qū)域為運動區(qū)域；
[0030] 所述區(qū)域標記模塊，用于采用最近鄰法對運動區(qū)域進行標記，將相鄰的所述視頻 幀的所述運動區(qū)域進行關聯(lián)；
[0031] 所述光流特征計算模塊，用于計算已標記的所述運動區(qū)域內的光流特征；
[0032] 所述加權方向直方圖模塊，用于根據(jù)所述光流特征得到加權方向直方圖；
[0033] 所述熵計算模塊，用于計算所述加權方向直方圖的熵；
[0034] 所述閾值選取更新模塊，用于采用混合高斯模型選取檢測閾值，根據(jù)所述檢測閾 值和所述加權方向直方圖的熵檢測是否有異常行為發(fā)生，并更新所述檢測閾值。
[0035] 作為一種可實施例，所述前景提取模塊包括提取單元和過濾單元，其中：
[0036] 所述提取單元，用于從視頻幀中提取運動前景圖像；
[0037] 所述過濾單元，用于根據(jù)預設濾波閾值將小面積的所述運動前景圖像過濾掉，得 到行人前景圖像。
[0038] 作為一種可實施例，所述區(qū)域標記模塊包括第一計算單元，第二計算單元，第三計 算單元和關聯(lián)單元，其中 ：
[0039] 所述第一計算單元，用于計算所述運動區(qū)域的零階矩和一階矩；
[0040] 所述第二計算單元，用于根據(jù)所述零階矩和所述一階矩計算得到所述運動區(qū)域的 區(qū)域中心；
[0041] 所述第三計算單元，用于根據(jù)所述區(qū)域中心計算馬氏距離；
[0042] 所述關聯(lián)單元，用于將相鄰的所述視頻幀的所述馬氏距離最短的所述運動區(qū)域相 應的進行關聯(lián)。
[0043] 作為一種可實施例，所述閾值選取更新模塊包括判斷單元，高斯分布單元和更新 單元，其中：
[0044] 所述判斷單元，用于判斷所述加權方向直方圖的熵是否大于所述檢測閾值；若是， 則判斷有異常行為發(fā)生；若否，則判斷無異常行為發(fā)生；
[0045] 所述高斯分布單元，用于將當前的加權方向直方圖的熵作為新的均值，選取新的 標準差，得到新的高斯分布；
[0046] 所述更新單元，用于將所述新的高斯分布替換所述混合高斯模型中權重最小的高 斯分布，形成新的混合高斯模型，根據(jù)所述新的混合高斯模型得到新的所述檢測閾值。
[0047] 作為一種可實施例，采用L-K光流算法計算所述運動區(qū)域內的光流特征。
[0048] 本發(fā)明的有益效果包括：
[0049] 本發(fā)明的基于視頻分析的異常行為檢測方法及系統(tǒng)，首先從視頻幀中提取行人前 景圖像，采用預設濾波閾值的方法可將小面積的運動前景圖像剔除，較完整地提取行人前 景圖像，接著對視頻幀進行網(wǎng)格劃分，網(wǎng)格區(qū)域劃分使檢測閾值隨著行人前景圖像位置的 不同自適應調整，相當于對不同位置進行了歸一化，達到檢測閾值的位置無關性，網(wǎng)格區(qū)域 劃分后，采用最近鄰法對運動區(qū)域進行標記，區(qū)域標記的目的是使相鄰視頻幀相應的運動 區(qū)域進行關聯(lián)，在同一視頻幀中區(qū)分不同的運動區(qū)域以便進一步分析，運動區(qū)域標記后計 算光流特征，并根據(jù)光流特征生成具有光流幅值特征和光流方向特征的加權方向直方圖， 計算加權方向直方圖的熵，熵越大，運動區(qū)域內光流特征加權方向越混亂且有多個主要運 動趨勢（判斷為有異常行為發(fā)生），采用混合高斯模型選取檢測閾值，檢測是否有異常行為 發(fā)生，并形成新的混合高斯模型更新學習檢測閾值，實現(xiàn)檢測閾值選取的完全自動化。該 方法能夠實時檢測出視頻場景中的異常行為，及時報警給相關人員，避免異常行為擾亂公 共場所秩序，危害公共安全及人身安全，同時監(jiān)控系統(tǒng)自動地檢測異常行為，減少人員工作 量，避免因漏檢和誤檢帶來的安全隱患，提高查找有用信息的效率，滿足人們對監(jiān)控系統(tǒng)的 需求。

【專利附圖】

【附圖說明】
[0050] 圖1為本發(fā)明的基于視頻分析的異常行為檢測方法的一實施例的流程示意圖；
[0051] 圖2為本發(fā)明的基于視頻分析的異常行為檢測方法的另一實施例的流程示意圖；
[0052] 圖3為本發(fā)明的基于視頻分析的異常行為檢測方法的又一實施例的流程示意圖；
[0053] 圖4為本發(fā)明的基于視頻分析的異常行為檢測方法的再一實施例的流程示意圖；
[0054] 圖5為本發(fā)明的基于視頻分析的異常行為檢測方法的一實施例的的示意圖；
[0055] 圖6為本發(fā)明的基于視頻分析的異常行為檢測系統(tǒng)的一實施例的結構示意圖。

【具體實施方式】
[0056] 為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例對 本發(fā)明基于視頻分析的異常行為檢測方法及系統(tǒng)進行進一步詳細說明。應當理解，此處所 描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0057] 參見圖1所示，本發(fā)明實施例提供一種基于視頻分析的異常行為檢測方法，包括 以下步驟：
[0058] S100,從視頻幀中提取行人前景圖像。
[0059] S200,對視頻幀進行網(wǎng)格劃分，劃分為多個網(wǎng)格區(qū)域，并設定行人前景圖像所在的 網(wǎng)格區(qū)域為運動區(qū)域。
[0060] S300,采用最近鄰法對運動區(qū)域進行標記，將相鄰的視頻幀的運動區(qū)域進行關聯(lián)。
[0061] S400，計算已標記的運動區(qū)域內的光流特征。
[0062] S500，根據(jù)光流特征得到加權方向直方圖。
[0063] S600,計算加權方向直方圖的熵。
[0064] S700,采用混合高斯模型選取檢測閾值，根據(jù)檢測閾值和加權方向直方圖的熵檢 測是否有異常行為發(fā)生，并更新檢測閾值。
[0065] 本發(fā)明的基于視頻分析的異常行為檢測方法，首先從視頻幀中提取行人前景圖 像，該方法主要研究行人行為是否異常，提取行人前景圖像后才能進行后續(xù)的視頻分析，對 視頻的每個視頻幀進行網(wǎng)格劃分，劃分為多個網(wǎng)格區(qū)域，網(wǎng)格區(qū)域劃分如圖5所示，每個網(wǎng) 格區(qū)域記錄的重心落在該網(wǎng)格區(qū)域內的行人前景圖像的光流特征對應的加權方向直方圖 的熵上，實現(xiàn)了檢測閾值的位置無關性，采用最近鄰法對運動區(qū)域進行標記（運動區(qū)域為 行人前景圖像所在的網(wǎng)格區(qū)域），將相鄰的視頻幀對應的運動區(qū)域進行關聯(lián)，實現(xiàn)運動區(qū)域 的跟蹤，相鄰視頻幀的運動區(qū)域相關聯(lián)，根據(jù)跟蹤的相鄰視頻幀的運動區(qū)域，可計算出運動 區(qū)域內的光流特征，根據(jù)光流特征生成加權方向直方圖，光流特征包括幅值特征和方向特 征，加權方向直方圖是在方向直方圖的基礎上加入了幅值特征對方向特征的影響，抑制了 由噪聲造成的小范圍的方向混亂，更好地反映了光流特征的分布情況，其中幅值特征大的 方向的權重也較大，計算運動區(qū)域內加權方向直方圖的熵，熵可用來描述運動區(qū)域內光流 特征加權方向的混亂程度，混亂程度越大，對應運動區(qū)域內的熵也越大，最后采用混合高斯 模型完全自動的選取檢測閾值，根據(jù)檢測閾值判斷行人行為是否異常，并不斷學習更新檢 測閾值。該方法通過對連續(xù)的圖像序列或視頻流進行圖像處理和視頻分析，從而實現(xiàn)實時 檢測出視頻場景中的異常行為，將異常行為的告警信息傳送給相關人員做相應的處理，避 免異常行為擾亂公共場所秩序，對公共安全帶來挑戰(zhàn)；同時該方法能夠自動檢測異常行為， 減少了人員工作量，避免因漏檢和誤檢帶來安全隱患，提高查找有用信息的效率，滿足人們 對監(jiān)控系統(tǒng)的需求。
[0066] 其中，值得說明的是，對視頻幀進行網(wǎng)格劃分，相當于對不同窗口的特征值進行了 一定的歸一化。由于監(jiān)控裝置（如相機、攝像機等）架設的角度不同（一般為俯視），視頻 幀的運動對象常常具有投影關系，使得近鄰監(jiān)控裝置的運動對象尺度較大，遠離監(jiān)控裝置 的運動對象顯得較小。在計算光流特征時，當運動前景圖像靠近監(jiān)控裝置時，產(chǎn)生的光流特 征值較大，導致正常行為判斷為異常行為。且對于同一視頻場景設置一個全局的檢測閾值 是不合理的，該檢測閾值應該隨著不同的圖像位置自適應的進行調整，視頻幀的網(wǎng)格劃分 實現(xiàn)了檢測閾值的位置無關性。
[0067] 作為一種可實施方式，參見圖2所示，步驟S100包括如下步驟：
[0068] S110,從視頻幀中提取運動前景圖像。
[0069] S120,根據(jù)預設濾波閾值將小面積的運動前景圖像過濾掉，得到行人前景圖像。 [0070] 采用VIBE(Visual Background Extractor,像素級視頻背景建?；蚯熬皺z測算 法）提取視頻幀中的運動前景圖像，運動前景圖像包括行人前景圖像和其他運動的前景圖 像，采用VIBE算法，計算量非常小且內存占用少。根據(jù)監(jiān)控裝置（如相機、攝像機等）的焦 距，安裝位置以及拍攝角度等因素人工設定預設濾波閾值T，從視頻幀中提取的運動前景圖 像包括N個運動前景塊，判斷每個運動前景塊是否大于等于預設濾波閾值T，若大于等于， 就將該運動前景塊保留下來，若小于預設濾波閾值T，就將該運動前景塊過濾掉，得到只包 括行人的行人前景圖像。該方法能夠將不是行人前景圖像的運動前景圖像剔除掉，較完整 地提取出行人前景圖像，避免其他環(huán)境因素影響檢測效果。
[0071] 作為一種可實施方式，參見圖3所示，步驟S300包括如下步驟：
[0072] S310,計算運動區(qū)域的零階矩和一階矩。
[0073] S320,根據(jù)零階矩和一階矩計算得到運動區(qū)域的區(qū)域中心。
[0074] S330,根據(jù)區(qū)域中心計算馬氏（Mahalanobis，馬哈拉諾比斯）距離。
[0075] S340,將相鄰的視頻幀的馬氏距離最短的運動區(qū)域相應的進行關聯(lián)。
[0076] 該方法是采用最近鄰法將相鄰視頻幀的相應的運動區(qū)域進行關聯(lián)，便于后續(xù)步驟 計算光流特征。其具體的實現(xiàn)步驟如下所述：設運動區(qū)域所在的網(wǎng)格區(qū)域的四個頂點坐標 為（x^ y)，（x^ y2)，（x2, y)和（x2, y2)，計算運動區(qū)域的零階矩Μ。。= Σ χ Σ yI (X，y)，計算 運動區(qū)域的一階矩M1(l = Σ x Σ yxl (x, y)，IVU = Σ x Σ yyl (x, y)，根據(jù)零階矩和一階矩計算 運動區(qū)域的區(qū)域中心R = (x^y。)，其中x。= M1(l/MQ(l，y。= 假設視頻序列的第i個視 頻幀有P個運動區(qū)域，每個運動區(qū)域的區(qū)域中心匕=(X、，y、)，第i-Ι個視頻幀有Q個 運動區(qū)域，每個運動區(qū)域的區(qū)域中心為R，1 = (ΧΗ。,，/',)，其中C = 1，2, ···，!!!，根據(jù)最近 鄰原則可得：

【權利要求】
1. 一種基于視頻分析的異常行為檢測方法，其特征在于，包括以下步驟： 從視頻幀中提取行人前景圖像； 對所述視頻幀進行網(wǎng)格劃分，劃分為多個網(wǎng)格區(qū)域，并設定所述行人前景圖像所在的 所述網(wǎng)格區(qū)域為運動區(qū)域； 采用最近鄰法對所述運動區(qū)域進行標記，將相鄰的所述視頻幀的所述運動區(qū)域進行關 聯(lián)； 計算已標記的所述運動區(qū)域內的光流特征； 根據(jù)所述光流特征得到加權方向直方圖； 計算所述加權方向直方圖的熵； 采用混合高斯模型選取檢測閾值，根據(jù)所述檢測閾值和所述加權方向直方圖的熵檢測 是否有異常行為發(fā)生，并更新所述檢測閾值。
2. 根據(jù)權利要求1所述的基于視頻分析的異常行為檢測方法，其特征在于，所述從視 頻幀中提取行人前景圖像，包括如下步驟： 從視頻巾貞中提取運動如景圖像； 根據(jù)預設濾波閾值將小面積的所述運動前景圖像過濾掉，得到行人前景圖像。
3. 根據(jù)權利要求1所述的基于視頻分析的異常行為檢測方法，其特征在于，所述采用 最近鄰法對所述運動區(qū)域進行標記，將相鄰的所述視頻幀的所述運動區(qū)域進行關聯(lián)，包括 如下步驟： 計算所述運動區(qū)域的零階矩和一階矩； 根據(jù)所述零階矩和所述一階矩計算得到所述運動區(qū)域的區(qū)域中心； 根據(jù)所述區(qū)域中心計算馬氏距離； 將相鄰的所述視頻幀的所述馬氏距離最短的所述運動區(qū)域進行關聯(lián)。
4. 根據(jù)權利要求1所述的基于視頻分析的異常行為檢測方法，其特征在于，所述采用 混合高斯模型選取檢測閾值，根據(jù)所述檢測閾值和所述加權方向直方圖的熵檢測是否有異 常行為發(fā)生，并更新所述檢測閾值，包括以下步驟： 判斷所述加權方向直方圖的熵是否大于所述檢測閾值； 若是，則判斷有異常行為發(fā)生； 若否，則判斷無異常行為發(fā)生； 將當前的加權方向直方圖的熵作為新的均值，選取新的標準差，得到新的高斯分布； 將所述新的高斯分布替換所述混合高斯模型中權重最小的高斯分布，形成新的混合高 斯模型，根據(jù)所述新的混合高斯模型得到新的所述檢測閾值。
5. 根據(jù)權利要求1至4任一項所述的基于視頻分析的異常行為檢測方法，其特征在于， 采用L-K光流算法計算所述運動區(qū)域內的光流特征。
6. -種基于視頻分析的異常行為檢測系統(tǒng)，其特征在于，包括前景提取模塊，區(qū)域劃分 模塊，區(qū)域標記模塊，光流特征計算模塊，加權方向直方圖模塊，熵計算模塊和閾值選取更 新模塊，其中： 所述前景提取模塊，用于從視頻幀中提取行人前景圖像； 所述區(qū)域劃分模塊，用于對所述視頻幀進行網(wǎng)格劃分，劃分為多個網(wǎng)格區(qū)域，并設定所 述行人前景圖像所在的所述網(wǎng)格區(qū)域為運動區(qū)域； 所述區(qū)域標記模塊，用于采用最近鄰法對運動區(qū)域進行標記，將相鄰的所述視頻幀的 所述運動區(qū)域進行關聯(lián)； 所述光流特征計算模塊，用于計算已標記的所述運動區(qū)域內的光流特征； 所述加權方向直方圖模塊，用于根據(jù)所述光流特征得到加權方向直方圖； 所述熵計算模塊，用于計算所述加權方向直方圖的熵； 所述閾值選取更新模塊，用于采用混合高斯模型選取檢測閾值，根據(jù)所述檢測閾值和 所述加權方向直方圖的熵檢測是否有異常行為發(fā)生，并更新所述檢測閾值。
7. 根據(jù)權利要求6所述的基于視頻分析的異常行為檢測系統(tǒng)，其特征在于，所述前景 提取模塊包括提取單元和過濾單元，其中： 所述提取單元，用于從視頻幀中提取運動前景圖像； 所述過濾單元，用于根據(jù)預設濾波閾值將小面積的所述運動前景圖像過濾掉，得到行 人前景圖像。
8. 根據(jù)權利要求6所述的基于視頻分析的異常行為檢測系統(tǒng)，其特征在于，所述區(qū)域 標記模塊包括第一計算單元，第二計算單元，第三計算單元和關聯(lián)單元，其中： 所述第一計算單元，用于計算所述運動區(qū)域的零階矩和一階矩； 所述第二計算單元，用于根據(jù)所述零階矩和所述一階矩計算得到所述運動區(qū)域的區(qū)域 中心； 所述第三計算單元，用于根據(jù)所述區(qū)域中心計算馬氏距離； 所述關聯(lián)單元，用于將相鄰的所述視頻幀的所述馬氏距離最短的所述運動區(qū)域相應的 進行關聯(lián)。
9. 根據(jù)權利要求6所述的基于視頻分析的異常行為檢測系統(tǒng)，其特征在于，所述閾值 選取更新模塊包括判斷單元，高斯分布單元和更新單元，其中： 所述判斷單元，用于判斷所述加權方向直方圖的熵是否大于所述檢測閾值；若是，則判 斷有異常行為發(fā)生；若否，則判斷無異常行為發(fā)生； 所述高斯分布單元，用于將當前的加權方向直方圖的熵作為新的均值，選取新的標準 差，得到新的高斯分布； 所述更新單元，用于將所述新的高斯分布替換所述混合高斯模型中權重最小的高斯分 布，形成新的混合高斯模型，根據(jù)所述新的混合高斯模型得到新的所述檢測閾值。
10. 根據(jù)權利要求6至9任一項所述的基于視頻分析的異常行為檢測系統(tǒng)，其特征在 于，采用L-K光流算法計算所述運動區(qū)域內的光流特征。
【文檔編號】G06K9/46GK104123544SQ201410354097
【公開日】2014年10月29日 申請日期:2014年7月23日 優(yōu)先權日:2014年7月23日
【發(fā)明者】劉玉進, 安國成, 郭楠, 李洪研 申請人:通號通信信息集團有限公司