視頻序列圖像中的異常行為智能檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及視頻序列圖像中運(yùn)動(dòng)目標(biāo)檢測(cè)。
【背景技術(shù)】
[0002] 現(xiàn)代社會(huì)人們的活動(dòng)場(chǎng)所越來越多，內(nèi)容也愈加豐富，所以面臨的異常行為和突 發(fā)事件也會(huì)相應(yīng)增多。因此人們對(duì)視頻監(jiān)控系統(tǒng)的要求提高到"如何防止?jié)撛谖ｋU(xiǎn)"，這樣 就要求有關(guān)部門在重點(diǎn)區(qū)域增加電子探頭數(shù)量以及擴(kuò)大視頻監(jiān)控區(qū)域，提高視頻監(jiān)控系統(tǒng) 的智能化水平，進(jìn)行全天候、實(shí)時(shí)的自動(dòng)的監(jiān)控。智能視頻監(jiān)控技術(shù)的出現(xiàn)徹底改變了以往 分析監(jiān)控視頻完全靠人的工作模式，將智能視頻監(jiān)控算法嵌入到前端攝像頭或者在后臺(tái)對(duì) 視頻進(jìn)行智能分析，這樣就可以更加精確對(duì)異常行為進(jìn)行定義，同時(shí)能夠提高檢測(cè)的精度 和響應(yīng)速度，有效降低誤報(bào)和漏報(bào)現(xiàn)象的出現(xiàn)，通過系統(tǒng)的提示可以讓工作人員對(duì)潛在的 異常行為做好提前應(yīng)對(duì)準(zhǔn)備，使得工作人員從簡(jiǎn)單的枯燥無味的勞動(dòng)中解放出來，提高了 工作人員應(yīng)急反應(yīng)處理各種突發(fā)事件的能力。在安防領(lǐng)域，智能視頻監(jiān)控系統(tǒng)適用于公共 場(chǎng)所用來掌握行人的信息，判斷人員聚集、穿越警戒線、進(jìn)入虛擬墻、是否逆向運(yùn)動(dòng)；在交通 監(jiān)管方面，用來分析和處理車輛擁堵、統(tǒng)計(jì)車流量、車速以及對(duì)路況的監(jiān)控；在軍事應(yīng)用方 面，可以對(duì)導(dǎo)彈、飛機(jī)、防空等方面進(jìn)行預(yù)警和監(jiān)控；另外，智能視頻監(jiān)控系統(tǒng)同樣也可以對(duì) 非安防領(lǐng)域進(jìn)行視頻資源分析，例如家中有不慎跌倒的老人，這樣就可以及時(shí)通知家人或 者幫助呼叫救護(hù)車；幫助商場(chǎng)或者超市統(tǒng)計(jì)當(dāng)天的客流量，用來分析當(dāng)天的銷售狀況等等。
[0003] 運(yùn)動(dòng)目標(biāo)的行為分析可以當(dāng)作是對(duì)視頻序列中行為樣本的分類，可以理解為將待 檢測(cè)的行為與預(yù)先規(guī)定的行為模板進(jìn)行匹配，主要的分析方法有基于模板的方法、基于狀 態(tài)空間的方法和基于模型的方法三類。
[0004] 1)基于模板的方法
[0005] 基于模板的方法是將原始的視頻圖像序列轉(zhuǎn)換為一組靜態(tài)行為模式，然后在進(jìn) 行識(shí)別的階段和預(yù)先存儲(chǔ)的行為模板進(jìn)行對(duì)比。最具代表性的方法有：模板匹配、動(dòng)態(tài)規(guī) 劃、動(dòng)態(tài)時(shí)間規(guī)整等。文獻(xiàn)（Bobick AF, Davis J.W. The recognition of human movement using temporal templates[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001，23(3) :257-267)公開一種運(yùn)用運(yùn)動(dòng)能量圖像和運(yùn)動(dòng)歷史圖像對(duì)圖 像序列中行人的運(yùn)動(dòng)進(jìn)行描述，人的每種行為可以認(rèn)為是由不同視角下圖像序列的運(yùn) 動(dòng)能量圖像和歷史運(yùn)動(dòng)圖像組成的，從中提取出基于矩的行為特征應(yīng)用于識(shí)別階段的 模板匹配。文獻(xiàn)（Polana R, Nelson R. Low level recognition of human motion[C]. Proceedings of the 1994IEEE Workshop on Motion of Non-Rigid and Articulated Object, 1994:77-82.)公開利用二維網(wǎng)格的特征對(duì)行人的運(yùn)動(dòng)進(jìn)行識(shí)別，為了對(duì)運(yùn)動(dòng)的持 續(xù)時(shí)間進(jìn)行歸一化，假設(shè)了人的運(yùn)動(dòng)具有周期性，并將整個(gè)序列分解為該行為的一系列的 循環(huán)過程，用最近鄰算法進(jìn)行人的行為識(shí)別。
[0006] 2)基于狀態(tài)空間的方法
[0007] 基于狀態(tài)空間的方法對(duì)每個(gè)靜態(tài)的姿勢(shì)定義為一個(gè)狀態(tài)，并且認(rèn)為這些狀態(tài)之間 通過某種概率聯(lián)系起來。目前，狀態(tài)空間模型已被廣泛應(yīng)用于時(shí)間序列中的預(yù)測(cè)、估計(jì)和檢 測(cè)，研究人員利用人的運(yùn)動(dòng)區(qū)域塊的網(wǎng)絡(luò)特征作為學(xué)習(xí)和識(shí)別的低級(jí)特征，隱馬爾科夫模 型（Hyper Media Management Schema, HMMS)用來為每個(gè)類別產(chǎn)生符號(hào)模式來進(jìn)行行為識(shí) 另IJ。狀態(tài)空間方法能夠克服模板匹配的缺點(diǎn)，可以更好地刻畫動(dòng)作本質(zhì)特征，應(yīng)用的范圍也 更加的廣泛。
[0008] 3)基于模型的方法
[0009] 基于模型的方法是通過對(duì)大量的行為樣本進(jìn)行訓(xùn)練、學(xué)習(xí)，形成一個(gè)統(tǒng)計(jì)的行為 模型描述，然后對(duì)所需識(shí)別行為進(jìn)行基于模型的匹配，該方法中的代表性模型有：隱馬爾可 夫模型、最大熵馬爾可夫模型、條件隨機(jī)場(chǎng)等。另外在應(yīng)用中也可以利用2D或者3D對(duì)人體 建立相應(yīng)的模型，可以將人看作是由關(guān)節(jié)點(diǎn)連接的剛體集合，這樣可以利用三維的人體骨 架描述人體的運(yùn)動(dòng)情況，但是這通常需要重建3D模型對(duì)人的行為進(jìn)行識(shí)別，該方法準(zhǔn)確性 好，能夠很好地處理人被遮擋的情況但對(duì)計(jì)算機(jī)的硬件要求較高。
[0010] 模型的選擇對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤的準(zhǔn)確性以及后續(xù)的異常行為檢測(cè)的可靠性有著 直接的關(guān)系，本發(fā)明將顏色特征引入可對(duì)目標(biāo)進(jìn)行準(zhǔn)確的跟蹤。粒子濾波算法已經(jīng)發(fā)展為 非線性、非高斯系統(tǒng)中運(yùn)動(dòng)目標(biāo)跟蹤的主流算法，但是計(jì)算量大始終是其最大的缺點(diǎn)，本發(fā) 明通過結(jié)合前景目標(biāo)檢測(cè)實(shí)現(xiàn)了對(duì)粒子濾波算法的改進(jìn)，實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的自動(dòng)檢測(cè)與跟 蹤，提高了粒子濾波算法對(duì)目標(biāo)跟蹤的準(zhǔn)確性，也使得算法的實(shí)時(shí)性得到了改善。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明針對(duì)現(xiàn)有行為檢測(cè)技術(shù)運(yùn)算量大、實(shí)時(shí)性差的缺陷，首先，通過碼本背景建 模和改進(jìn)的粒子濾波對(duì)視頻序列圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行目標(biāo)檢測(cè)與目標(biāo)跟蹤；然后設(shè)置警 戒線、警戒區(qū)域，根據(jù)目標(biāo)檢測(cè)與跟蹤所得結(jié)果對(duì)運(yùn)動(dòng)目標(biāo)的行為進(jìn)行分析，對(duì)運(yùn)動(dòng)目標(biāo)越 過警戒線、運(yùn)動(dòng)目標(biāo)進(jìn)入虛擬墻、運(yùn)動(dòng)目標(biāo)加速及其人體動(dòng)作異常行為進(jìn)行檢測(cè)。
[0012] 本發(fā)明解決上述技術(shù)問題的技術(shù)方案是：采用改進(jìn)的粒子濾波算法結(jié)合顏色特征 信息和碼本背景模型，對(duì)實(shí)時(shí)的監(jiān)控視頻或者是視頻錄像，將其轉(zhuǎn)換為圖像序列便于后續(xù) 的檢測(cè)和跟蹤。具體為，首先使用碼本Codebook對(duì)視頻序列進(jìn)行背景建模，完成對(duì)前景目 標(biāo)的檢測(cè)，使用形態(tài)學(xué)方法以及陰影去除對(duì)前景進(jìn)行優(yōu)化，用前景檢測(cè)得到的模板對(duì)粒子 濾波的初始化設(shè)定R0I，在ROI中使用前景區(qū)域的HSV顏色直方圖作為模板初始化粒子，然 后進(jìn)行粒子的狀態(tài)轉(zhuǎn)移并對(duì)粒子的權(quán)值進(jìn)行更新，接下來對(duì)粒子的狀態(tài)進(jìn)行預(yù)測(cè)，最后判 斷重采樣，在更新模板時(shí)考慮目標(biāo)之間的交叉遮擋問題。設(shè)置警戒線和虛擬墻對(duì)運(yùn)動(dòng)目標(biāo) 越線、越界、超速、行為異常進(jìn)行判定。
[0013] 對(duì)視頻序列圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行目標(biāo)檢測(cè)與目標(biāo)跟蹤，在視頻區(qū)域中任意設(shè)定 一條虛擬直線、或設(shè)定一個(gè)"虛擬墻";判斷運(yùn)動(dòng)目標(biāo)位置信息，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)越線、越界、超 速、行為異常的判定；當(dāng)運(yùn)動(dòng)目標(biāo)接觸到虛擬直線、或"虛擬墻"邊界，改變跟蹤窗口顏色，當(dāng) 運(yùn)動(dòng)目標(biāo)越過虛擬直線、或"虛擬墻"邊界恢復(fù)跟蹤窗口顏色，對(duì)觸線的運(yùn)動(dòng)目標(biāo)進(jìn)行計(jì)數(shù)。
[0014] 以視頻區(qū)域的左下角0為原點(diǎn)，水平方向OC為X軸，垂直方向OA為y軸，建 立直角坐標(biāo)系，根據(jù)公式：(y 2_yi) (χ_χι)_(χ2_χι) (y_yi) = 〇確定虛擬直線L，根據(jù)公式
【主權(quán)項(xiàng)】
1. 一種視頻序列圖像中的異常行為智能檢測(cè)方法，其特征在于，采用改進(jìn)的粒子濾波 算法結(jié)合顏色特征信息和碼本背景模型，實(shí)時(shí)將視頻圖像轉(zhuǎn)換為圖像序列，對(duì)視頻序列圖 像中的運(yùn)動(dòng)目標(biāo)進(jìn)行目標(biāo)檢測(cè)與目標(biāo)跟蹤，在視頻區(qū)域中設(shè)定一條虛擬直線、或設(shè)定一個(gè) "虛擬墻"，判斷運(yùn)動(dòng)目標(biāo)位置信息，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)越線、越界、超速、行為異常的判定；當(dāng)運(yùn) 動(dòng)目標(biāo)接觸到虛擬直線、或"虛擬墻"邊界，改變跟蹤窗口顏色，當(dāng)運(yùn)動(dòng)目標(biāo)越過虛擬直線、 或"虛擬墻"邊界恢復(fù)跟蹤窗口顏色，對(duì)觸線的運(yùn)動(dòng)目標(biāo)進(jìn)行計(jì)數(shù)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將視頻圖像轉(zhuǎn)換為圖像序列進(jìn)一步 具體包括：使用碼本對(duì)視頻序列進(jìn)行背景建模，完成對(duì)前景目標(biāo)的檢測(cè)，用前景檢測(cè)得到的 模板對(duì)粒子濾波的初始化設(shè)定ROI，在ROI中使用前景區(qū)域的HSV顏色直方圖作為模板初始 化粒子，進(jìn)行粒子狀態(tài)轉(zhuǎn)移并對(duì)粒子的權(quán)值進(jìn)行更新，對(duì)粒子的狀態(tài)進(jìn)行預(yù)測(cè)。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，判斷運(yùn)動(dòng)目標(biāo)位置信息具體為，以視頻區(qū) 域的左下角0為原點(diǎn)，水平方向OC為X軸，垂直方向OA為y軸，建立直角坐標(biāo)系，根據(jù)公 式： (y2_yi) (χ_χι)_(χ2_χι) (yii) = 〇 確定虛擬線 L，根據(jù)公式
判斷運(yùn)動(dòng)目標(biāo)與虛擬線L的位置 關(guān)系，LinePos = -1表示目標(biāo)在虛擬線左側(cè)，LinePos = 0表示目標(biāo)在虛擬線上，LinePos =1表示運(yùn)動(dòng)目標(biāo)在虛擬線的右側(cè)，其中，（Xpy1)、（Xi^y2)分別為虛擬線端點(diǎn)坐標(biāo)，（ xci，y。） 為運(yùn)動(dòng)目標(biāo)位置坐標(biāo)。
4. 根據(jù)權(quán)利要求1-3其中之一所述的方法，其特征在于，視頻區(qū)域中目標(biāo)與警戒線L的 位置關(guān)系判斷具體為：根據(jù)公式：
判斷運(yùn)動(dòng)目標(biāo)是否穿越警戒線，若目標(biāo)未越 線則目標(biāo)的兩次位置信息相同，LineStatus = 1 ;若目標(biāo)觸線，LineStatus = 0 ;若目標(biāo)越 線則目標(biāo)的兩次位置信息不同，LineStatus = -1，其中，目標(biāo)進(jìn)入監(jiān)測(cè)區(qū)域的初始位置信 息為L(zhǎng)inePosl,后續(xù)目標(biāo)位置信息為L(zhǎng)inePos2。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，判斷運(yùn)動(dòng)目標(biāo)位置信息進(jìn)一步包括，根據(jù) 公式：
判斷運(yùn)動(dòng)目標(biāo)與虛擬墻的位 置，當(dāng)目標(biāo)位于Ll下面、L2左面、L3上面、L4右面，則判定目標(biāo)位于虛擬墻內(nèi)，表示 為AreaStatus = 1 ;當(dāng)目標(biāo)點(diǎn)位于任一條邊上時(shí)，判定目標(biāo)位于虛擬墻邊界上，表示為 AreaStatus = 0 ;其他情況表示目標(biāo)位于虛擬墻外，表示為AreaStatus = -1，其中，L1、L2、 L3、L4分別表示虛擬墻的四條邊界，目標(biāo)與四條邊的位置關(guān)系分別表示為L(zhǎng)P1、LP2、LP3、 LP4。
6. 根據(jù)權(quán)利要求1、2或5所述的方法，其特征在于，當(dāng)虛擬墻為不規(guī)則多邊形，當(dāng)運(yùn) 動(dòng)目標(biāo)矩形標(biāo)記框的至少有1個(gè)頂點(diǎn)位于不規(guī)則多邊形內(nèi)，判斷運(yùn)動(dòng)目標(biāo)進(jìn)入不規(guī)則多邊 形的虛擬墻，以任一個(gè)頂點(diǎn)為端點(diǎn)，向左方做水平射線，當(dāng)射線和多邊形的交點(diǎn)個(gè)數(shù)為奇數(shù) 時(shí)，頂點(diǎn)在多邊形內(nèi)，交點(diǎn)個(gè)數(shù)為偶數(shù)時(shí)，頂點(diǎn)在多邊形外。
7. 根據(jù)權(quán)利要求1所述的方法，其特征在于，將人體正常行走狀態(tài)下跟蹤窗口長(zhǎng)寬比 設(shè)定為閾值，當(dāng)視頻監(jiān)控中運(yùn)動(dòng)人體給定連續(xù)幀長(zhǎng)寬比大于或小于該閾值，跟蹤窗口顏色 變化，則判定人體為非正常行走狀態(tài)。
【專利摘要】本發(fā)明公開一種視頻序列圖像中的異常行為智能檢測(cè)方法，涉及圖像處理技術(shù)領(lǐng)域。本發(fā)明針對(duì)現(xiàn)有行為檢測(cè)技術(shù)運(yùn)算量大、實(shí)時(shí)性差的缺陷，通過碼本背景建模和改進(jìn)的粒子濾波對(duì)視頻序列圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行目標(biāo)檢測(cè)與目標(biāo)跟蹤，然后設(shè)置警戒線、警戒區(qū)域，根據(jù)目標(biāo)檢測(cè)與跟蹤所得結(jié)果對(duì)運(yùn)動(dòng)目標(biāo)的行為進(jìn)行分析，對(duì)運(yùn)動(dòng)目標(biāo)越過警戒線、運(yùn)動(dòng)目標(biāo)進(jìn)入虛擬墻、運(yùn)動(dòng)目標(biāo)加速及其人體動(dòng)作異常行為進(jìn)行檢測(cè)。
【IPC分類】G06K9-00, G06T7-20
【公開號(hào)】CN104680557
【申請(qǐng)?zhí)枴緾N201510104855
【發(fā)明人】瞿中, 鞠芳蓉, 陳昌志, 安世全, 劉達(dá)明
【申請(qǐng)人】重慶郵電大學(xué)
【公開日】2015年6月3日
【申請(qǐng)日】2015年3月10日