基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位方法
【專利摘要】本發(fā)明公開了基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位方法，該方法利用監(jiān)控視頻的時(shí)間序列特性與遞歸神經(jīng)網(wǎng)絡(luò)長時(shí)間依賴性相結(jié)合，并在對(duì)視頻場(chǎng)景進(jìn)行網(wǎng)格劃分后，針對(duì)每個(gè)網(wǎng)格進(jìn)行單獨(dú)建模，選擇性的利用光流統(tǒng)計(jì)特征對(duì)正常情況下人群序列動(dòng)態(tài)進(jìn)行無監(jiān)督的學(xué)習(xí)，并采用Hessian?Free Optimization方法對(duì)模型進(jìn)行訓(xùn)練，最后將含有異常的數(shù)據(jù)載入模型，通過衡量t+1時(shí)刻與t時(shí)刻光流統(tǒng)計(jì)直方圖之間的距離，對(duì)t+1時(shí)刻的人群場(chǎng)景進(jìn)行監(jiān)測(cè)和定位。該方法實(shí)現(xiàn)了時(shí)間和空間上的全局建模，很好的保留了各時(shí)刻人群動(dòng)態(tài)序列特征之間的聯(lián)系，且簡化了模型的復(fù)雜度，降低了RNN訓(xùn)練難度，對(duì)異常事件的監(jiān)測(cè)和定位有著較好的實(shí)時(shí)性和準(zhǔn)確性。
【專利說明】
基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體設(shè)及一種基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群 異常監(jiān)測(cè)及定位方法。
【背景技術(shù)】
[0002] 視頻監(jiān)控檢測(cè)技術(shù)是視頻技術(shù)與現(xiàn)代通信技術(shù)相結(jié)合的圖像應(yīng)用技術(shù)，同時(shí)人群 異常事件的檢測(cè)也引起了世界范圍內(nèi)越來越多研究者的興趣。
[0003] Rao，S.et al[l]在2003年開發(fā)了一種隨機(jī)模型來描述正常人的行為，當(dāng)有新的視 頻發(fā)過來時(shí)，通過提取人的運(yùn)動(dòng)軌跡來測(cè)試是否存在異常。2004年，Sho化it Saxena[2]等 人提出了一中基于化T跟蹤的多帖特征點(diǎn)檢測(cè)和跟蹤的算法，實(shí)現(xiàn)特定人群情境中的人群 事件建模。他們所提出的擴(kuò)展的場(chǎng)景識(shí)別引擎(SRE)能夠?qū)崿F(xiàn)快速建模，同時(shí)提高了事件監(jiān) 測(cè)的可靠性。Tony Jan將改進(jìn)的概率神經(jīng)網(wǎng)絡(luò)(MP順）引入到人群檢測(cè)算法中，減少了計(jì)算 量的同時(shí)，提高了檢測(cè)的可靠性。2009年，Ramin Mehran[3]等人首次提出一種利用社會(huì)力 模型進(jìn)行人群異常檢測(cè)模型，將圖像中的網(wǎng)格粒子的移動(dòng)看做人群的移動(dòng)，利用光流發(fā)來 提取圖像中人群的動(dòng)態(tài)，包括人群速度和方向，將人群的個(gè)人運(yùn)動(dòng)用牛頓的力學(xué)來表征，有 效的表現(xiàn)了群體和個(gè)人動(dòng)態(tài)，此模型很好的表現(xiàn)了人群的細(xì)節(jié)動(dòng)態(tài)。Louis Kratz等人提出 了在及其擁擠的人群場(chǎng)景里利用時(shí)空運(yùn)動(dòng)模式方法來探測(cè)異常，也就是模擬局部時(shí)空量的 運(yùn)動(dòng)變化和他們的時(shí)空統(tǒng)計(jì)行為來表示場(chǎng)景的總體行為，運(yùn)種方法能很好的獲取穩(wěn)定狀態(tài) 的統(tǒng)計(jì)行為;2010年，Saira Saleem Path[4]等，首次通過社會(huì)賭來衡量有關(guān)潛在場(chǎng)的不確 定性，利用SVM直接來探測(cè)人群異常與否;V. Mahadevan [ 5 ]等運(yùn)用時(shí)空量來檢測(cè)異常；2012 年，Tian Wang[6]、化a Yang[7]等人利用直方圖來描述人群動(dòng)態(tài)，同時(shí)采用SVM來進(jìn)行異常 事件分類;Bo Wang[8]等結(jié)合高頻和時(shí)空量特征來檢測(cè)異常行為。2013年，Yang Cong[9]等 使用稀疏重構(gòu)來實(shí)現(xiàn)異常事件探測(cè)，給出正常訓(xùn)練樣本集合，建立正常事件并作為字典，通 過正常字典來計(jì)算稀疏重建代價(jià)來確定人群時(shí)間是否異常。
[0004] 結(jié)合前人對(duì)人群異常事件檢測(cè)算法研究情況可W看出，異常檢測(cè)的基本思路是一 致的，主要是解決基本事件的表示和異常事件模型檢測(cè)模型建立兩個(gè)問題。然而，實(shí)際研究 過程中，無論是在最初的人群動(dòng)態(tài)特征的提取，還是后期的運(yùn)動(dòng)分析，都存在一系列的問題 導(dǎo)致智能視頻檢測(cè)有很大的誤報(bào)率，例如：各類事情發(fā)生場(chǎng)景的不同，背景復(fù)雜，給出的基 本事件的定義是不一致的；異常事件本身種類眾多，過多依賴于人工的定義，對(duì)于大量的視 頻監(jiān)控，人工標(biāo)注工作量也在不斷增加，且容易忽視一些針對(duì)圍觀或是踩草地等非暴力性 質(zhì)異常事件。目前為止，人群異常事件的檢測(cè)的兩個(gè)基本問題解決方法研究均處于不成熟 階段，還需要進(jìn)一步的學(xué)習(xí)、研究、完善。
[0005] 參考文獻(xiàn)
[0006] [IjRao,S,Sastry,P.S.Abnoraml activity detection in video sequences using learn Probability densities[C]. conference on Convergent Technologies for the Aisa-Pacific Region,2003:369-372.
[0007] [2]Shobhit S ,Franeois B,Crowd behavior recognition for video surveillance[J].Advance Concepts for Intelligence Vision Systems，2008，5259: 970-981.
[0008] [3]Mehran 民，Oyama A,Shah !.Abnormal crowd behavior detection using social force model. In:Proc. of the Computer Vision and Pattern Recognition (CVPR).2009:935-942?
[0009] [4]Saira Saleem Pathan,Ayoub Al-Hamadi,Bemd Michaelis. Incorporating social entropy for crowd behavior detection using SVM[C].6th International Symposium,ISCV,Las Vegas,NV,USA,2010,6453:153-162.
[0010] [5]V.Mahadevan，W.Li，V.Bhalodia，et al.Anomaly Detection in Crowd Scenes[C]. Proceeding of IEEE Conference on Computer Vision and Pattern 民econition,San ^ancisccsCAjUSA.2010:1975-1981.
[0011] [6]Tian Wang,Hichem Snoussi.Histograms of optical flow orientation for visual abnormal events detection[C].2012 IEEE Ninth International Conference on Advanced Video and Signal-Based SurveiIlance，Beijing，China， 2012,1:13-18.
[0012] [7]Hua Yang,Yihua Cao,Shuang Wu,Abnormal crowd behavior detection based on local pressure model[C]. In :Asia-Pacifics Signal and Information Processing Association Annual Summit and Conference，2012，Vol. 1:1-4.
[0013] [8]Bo WangjMao Ye,Xue Li.Abnormal crowd behavior detection using high-frequency and spatio-temporal features[J]. Machine Vision and Applications,2012,23(3):501-511 ?
[0014] [9]Cong Y，Yuan J，Liu J.Sparse reconstruction cost for abnormal event detection.In:Proc.of the Computer Vision and Pattern 民ecognition(CVP民）.2011: 3449-3456.

【發(fā)明內(nèi)容】

[0015] 本發(fā)明的目的在于提供一種基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定 位方法，^用于人群場(chǎng)景的智能視頻監(jiān)控，對(duì)異常進(jìn)行較準(zhǔn)確的定位。
[0016] 為實(shí)現(xiàn)上述目的，本發(fā)明采用W下技術(shù)方案:基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人 群異常監(jiān)測(cè)及定位方法，包括W下步驟：
[0017] (1)數(shù)據(jù)采集:針對(duì)同一監(jiān)控設(shè)備，采集兩種數(shù)據(jù)，一種是人群場(chǎng)景正常情況下提 取的數(shù)據(jù)，作為訓(xùn)練集數(shù)據(jù)，用于模型訓(xùn)練;另一種是可能包含異常情況所提取的數(shù)據(jù)，作 為測(cè)試集數(shù)據(jù)，用于模型測(cè)試。
[0018] (2)網(wǎng)格劃分:從同一監(jiān)控設(shè)備下的訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)的視頻序列中獲取 視頻同一背景圖像，對(duì)于固定且靜態(tài)的不可達(dá)區(qū)域，做截?cái)嗵幚恚缓髮?duì)剩余場(chǎng)景進(jìn)行網(wǎng)格 劃分，劃分成K個(gè)N*M的網(wǎng)格。
[0019] (3)光流特征提取:采取稠密光流法，從步驟(2)中劃分好的網(wǎng)格內(nèi)獲取每個(gè)像素 點(diǎn)的蘭層光流統(tǒng)計(jì)特征。
[0020] (4)特征選擇:選取局部K網(wǎng)格的光流統(tǒng)計(jì)特征及其周邊網(wǎng)格特定方向的光流統(tǒng)計(jì) 特征，用W監(jiān)測(cè)K網(wǎng)格t+1時(shí)刻的人群動(dòng)態(tài)序列。
[0021] (5)模型訓(xùn)練:對(duì)訓(xùn)練集數(shù)據(jù)每個(gè)網(wǎng)格利用遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，K網(wǎng)格t時(shí)刻光 流統(tǒng)計(jì)特征及四周網(wǎng)格特定方向光流特征作為輸入，K網(wǎng)格t+1時(shí)刻的光流統(tǒng)計(jì)特征作為輸 出，利用化ssian-Free化timization方法進(jìn)行訓(xùn)練。
[0022] (6)異常監(jiān)測(cè)及定位:對(duì)測(cè)試集數(shù)據(jù)中的K個(gè)網(wǎng)格進(jìn)行異常監(jiān)測(cè)和定位，將測(cè)試集 數(shù)據(jù)t時(shí)刻K網(wǎng)格及其四周網(wǎng)格特定方向的光流統(tǒng)計(jì)特征數(shù)據(jù)輸入模型，預(yù)測(cè)出K網(wǎng)格t+1時(shí) 刻的光流統(tǒng)計(jì)特征，然后計(jì)算K網(wǎng)格t+1時(shí)刻與t時(shí)刻之間光流統(tǒng)計(jì)直方圖的距離來判定是t + 1時(shí)刻是否異常，當(dāng)t+1時(shí)刻整個(gè)場(chǎng)景中的所有網(wǎng)格中有出現(xiàn)異常時(shí)，則判定該時(shí)刻為異 常，并進(jìn)行異常定位。
[0023] 本發(fā)明的有益效果有：
[0024] (1)本發(fā)明根據(jù)視頻監(jiān)控設(shè)備錄制的視頻背景基本固定，密集人群場(chǎng)景中正常時(shí) 的人群動(dòng)態(tài)與異常時(shí)人群動(dòng)態(tài)對(duì)比將更加明顯的特征，將視頻轉(zhuǎn)換為人群動(dòng)態(tài)時(shí)間序列， 與遞歸神經(jīng)網(wǎng)絡(luò)的時(shí)間序列特性相吻合。整個(gè)模型訓(xùn)練過程中，采用的是無監(jiān)督的自適應(yīng) 學(xué)習(xí)，學(xué)習(xí)的是正常情況下，人群動(dòng)態(tài)時(shí)間序列之間的關(guān)系，當(dāng)不滿足運(yùn)種關(guān)系時(shí)，即判定 為異常。對(duì)異常情況進(jìn)行了較準(zhǔn)確的定位。
[0025] (2)異常事件的發(fā)生和定位不但與前一刻的人群動(dòng)態(tài)有關(guān)還與該時(shí)間段內(nèi)四周的 人群動(dòng)態(tài)有所關(guān)系，本發(fā)明采用網(wǎng)格單獨(dú)建模，有針對(duì)性選取光流特征正好同時(shí)兼顧了時(shí) 間和空間兩方面的影響，并有效的降低了模型的復(fù)雜度，減少了計(jì)算量，一方面加快了訓(xùn)練 的速度，另一方面也有效的提高了異常定位的精度。
[0026] (3)模型采用Hessian Free optimization方法進(jìn)行訓(xùn)練，可W不用預(yù)訓(xùn)練網(wǎng)絡(luò)的 權(quán)重，且本發(fā)明方法克服了傳統(tǒng)梯度下降方法梯度消失和梯度爆炸的問題，減少了訓(xùn)練時(shí) 間，提高了模型的預(yù)測(cè)精度。
【附圖說明】
[0027] 圖1是本發(fā)明利用遞歸神經(jīng)網(wǎng)絡(luò)在人群場(chǎng)景進(jìn)行異常監(jiān)測(cè)和定位工作流程圖。
[0028] 圖2是本發(fā)明從網(wǎng)格劃分到特征選擇示意圖。
[0029] 圖3是本發(fā)明采用遞歸神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練示意圖。
【具體實(shí)施方式】
[0030] 為使本發(fā)明的目的、技術(shù)方案優(yōu)點(diǎn)更加清楚明白，W下結(jié)合具體實(shí)施例，并參照附 圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。
[0031] 如圖1所示，本發(fā)明公開了基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位 方法，步驟詳述如下。
[0032] (1)數(shù)據(jù)采集:本發(fā)明是采用無監(jiān)督方式來學(xué)習(xí)正常情況下人群場(chǎng)景中光流特征 在時(shí)間和空間上的關(guān)系，即在訓(xùn)練時(shí)并沒有對(duì)異常進(jìn)行明確定義，只是抓住人群場(chǎng)景中不 同時(shí)刻人群動(dòng)態(tài)序列的光流特征和局部人群動(dòng)態(tài)序列光流特征之間的關(guān)系。若測(cè)試中的數(shù) 據(jù)不滿足正常情況人群場(chǎng)景模型關(guān)系時(shí)，就判定為異常，所W在訓(xùn)練模型之前，需要采集監(jiān) 控設(shè)備上正常情況下的數(shù)據(jù)作為訓(xùn)練集數(shù)據(jù)。即針對(duì)同一監(jiān)控設(shè)備，采集兩種數(shù)據(jù)，一種是 人群場(chǎng)景正常情況下提取的數(shù)據(jù)，作為訓(xùn)練集數(shù)據(jù)，用于模型訓(xùn)練;另一種是可能包含異常 情況所提取的數(shù)據(jù)，作為測(cè)試集數(shù)據(jù)，用于模型測(cè)試。
[0033] (2)網(wǎng)格劃分:如圖2所示，從同一監(jiān)控設(shè)備下的訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)的視頻 序列中獲取視頻同一背景圖像，對(duì)于固定且靜態(tài)的不可達(dá)區(qū)域，做截?cái)嗵幚?，然后?duì)剩余場(chǎng) 景進(jìn)行網(wǎng)格劃分，劃分成K個(gè)N*M的網(wǎng)格。由于視頻監(jiān)控設(shè)備錄制的視頻背景基本固定，為簡 化模型復(fù)雜度、降低計(jì)算量，除掉了一些無關(guān)背景，將視頻監(jiān)控中的場(chǎng)景劃分為K個(gè)N*M的網(wǎng) 格，便于接下來的特征選擇和單個(gè)模型建立。
[0034] (3)光流特征提取:為得到全局的人群動(dòng)態(tài)特征，采用稠密光流法提取步驟(2)中 劃分好的網(wǎng)絡(luò)內(nèi)獲取每一帖中各像素的光流I(vx，vy)，從劃分好的局部網(wǎng)格中分8個(gè)方向提 取3層的光流直方圖化istgram Of Optical Flow，MH0F)特征h(x，y)，W便保存時(shí)間和空間 上下文信息。
[0035] (4)特征選擇：圖2展示了特征選擇的具體過程，主要根據(jù)是局部異常事件的發(fā)生， 其四周的人群動(dòng)態(tài)對(duì)異常事件的發(fā)生有較大的影響，而場(chǎng)景中離局部異常較遠(yuǎn)的位置對(duì)其 影響較小，所W選擇取k網(wǎng)格四周8個(gè)網(wǎng)格對(duì)應(yīng)的8個(gè)不同方向取得的光流統(tǒng)計(jì)值 蜂化,.與,與么8巧日k網(wǎng)格本身的光流統(tǒng)計(jì)值聾(知,韋.,與 ,/2.4)來監(jiān)巧化網(wǎng)格時(shí)刻 的人群動(dòng)態(tài)序列矯1;從，4,?，…..，44。妹表示第k個(gè)網(wǎng)格在t時(shí)刻的實(shí)際光流特征，褚1表 示模型預(yù)測(cè)第k個(gè)網(wǎng)格在t+1時(shí)刻的光流特征。
[0036] (5)模型訓(xùn)練:如圖3所示，對(duì)訓(xùn)練集數(shù)據(jù)每個(gè)網(wǎng)格利用遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，K 網(wǎng)格t時(shí)刻光流統(tǒng)計(jì)特征及四周網(wǎng)格特定方向光流特征作為輸入，K網(wǎng)格t+1時(shí)刻的光流統(tǒng) 計(jì)特征作為輸出，利用化SSian-化ee化timization方法進(jìn)行訓(xùn)練。模型訓(xùn)練分為S個(gè)步 驟：
[0037] S1 .對(duì)進(jìn)行網(wǎng)格劃分后的場(chǎng)景中的每個(gè)網(wǎng)格單獨(dú)建模，建立K個(gè)R麗模型，R麗 (Recurrent neural化twork)即循環(huán)神經(jīng)網(wǎng)絡(luò)，是一種節(jié)點(diǎn)定向連接成環(huán)的人工神經(jīng)網(wǎng) 絡(luò)。該網(wǎng)絡(luò)的內(nèi)部狀態(tài)可W展示動(dòng)態(tài)時(shí)序行為。^片,A乎；I作為第k個(gè)網(wǎng)格模型的72個(gè)輸入神 經(jīng)元，隱含層單元設(shè)置為144個(gè)神經(jīng)元，輸出為k網(wǎng)格t+1時(shí)刻的人群動(dòng)態(tài)序列特征寵技1，用 24個(gè)神經(jīng)元表示，每個(gè)人群動(dòng)態(tài)序列的長度為40個(gè)時(shí)刻。
[0038] S2 .采用無監(jiān)督方式學(xué)習(xí)正常情況下t時(shí)刻人群動(dòng)態(tài)序列斯k(/i,與,拓,…,/24)與t+ 1時(shí)刻人群動(dòng)態(tài)序列X己.1(/11/2,/:,......./iM)之間的關(guān)系，并沒有將異常具體定義為某種行為 (例如:踩草地，在人行道上駕駛車輛等），而是采用正常訓(xùn)練集數(shù)據(jù)的光流特征統(tǒng)計(jì)數(shù)據(jù)作 為訓(xùn)練數(shù)據(jù)，進(jìn)行訓(xùn)練:直接作為!；詩，讀1的輸出，進(jìn)行訓(xùn)練。
[0039] S3.訓(xùn)練過程用化ssian-Free Optimization方法，即分別用式（1)和式（2)來近似 計(jì)算Hv和目值附近的函數(shù)值：
[0040] 式（1)
[0041 ] 式（2)
[0042] 用化SSian-Free化timization替代梯度下降方法，不用預(yù)訓(xùn)練網(wǎng)絡(luò)的權(quán)值，用克 服了梯度下降容易引起的梯度消失和梯度爆炸問題，更快的達(dá)到不錯(cuò)的訓(xùn)練效果。
[0043] (6)異常監(jiān)測(cè)及定位:對(duì)測(cè)試集數(shù)據(jù)中的K個(gè)網(wǎng)格進(jìn)行異常監(jiān)測(cè)和定位，載入測(cè)試 數(shù)據(jù)集t時(shí)刻的人群動(dòng)態(tài)序列特征皆(/i.，/,，/,，.....，/24.)及四周網(wǎng)格特定方向的光流特征 (/i，...，/48)來預(yù)測(cè)出t+1時(shí)刻人群動(dòng)態(tài)序列特征辭+1 ft, /2, /3......，/24)，采用下式 (3)計(jì)算前后時(shí)刻對(duì)應(yīng)網(wǎng)格光流特征的歐式距離：
[0044]
式（3)
[0045] 獲取歐式距離的最小值Clmin和最大值cUx，最后在全局場(chǎng)景所獲得的歐式距離范圍 (dmin，dmax)中設(shè)定多個(gè)闊值，通過計(jì)算F-measure的最大值來尋找最佳闊值S，若df+1 > S，則 判定為1，表示異常，進(jìn)行異常定位，否則為0，表示正常。
[0046] 綜上，本發(fā)明利用監(jiān)控視頻的時(shí)間序列特性與遞歸神經(jīng)網(wǎng)絡(luò)長時(shí)間依賴性相結(jié) 合，并在對(duì)視頻場(chǎng)景進(jìn)行網(wǎng)格劃分后，針對(duì)每個(gè)網(wǎng)格進(jìn)行單獨(dú)建模，選擇性的利用光流統(tǒng)計(jì) 特征對(duì)正常情況下人群序列動(dòng)態(tài)進(jìn)行無監(jiān)督的學(xué)習(xí)，并采用化SSian-Free Optimization 方法對(duì)模型進(jìn)行訓(xùn)練，最后將含有異常的數(shù)據(jù)載入模型，通過衡量t+1時(shí)刻與t時(shí)刻光流統(tǒng) 計(jì)直方圖之間的距離，對(duì)t+1時(shí)刻的人群場(chǎng)景進(jìn)行監(jiān)測(cè)和定位。該方法實(shí)現(xiàn)了時(shí)間和空間上 的全局建模，很好的保留了各時(shí)刻人群動(dòng)態(tài)序列特征之間的聯(lián)系，且簡化了模型的復(fù)雜度， 降低了 訓(xùn)練難度，對(duì)異常事件的監(jiān)測(cè)和定位有著較好的實(shí)時(shí)性和準(zhǔn)確性。
[0047] W上所述，僅為本發(fā)明較佳的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此， 任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明掲露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換， 都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位方法，其特征在于，包括以下 步驟， (1) 數(shù)據(jù)采集:針對(duì)同一監(jiān)控設(shè)備，采集兩種數(shù)據(jù)，一種是人群場(chǎng)景正常情況下提取的 數(shù)據(jù)，作為訓(xùn)練集數(shù)據(jù)，用于模型訓(xùn)練;另一種是可能包含異常情況所提取的數(shù)據(jù)，作為測(cè) 試集數(shù)據(jù)，用于模型測(cè)試； (2) 網(wǎng)格劃分:從同一監(jiān)控設(shè)備下的訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)的視頻序列中獲取視頻 同一背景圖像，對(duì)于固定且靜態(tài)的不可達(dá)區(qū)域，做截?cái)嗵幚恚缓髮?duì)剩余場(chǎng)景進(jìn)行網(wǎng)格劃 分，劃分成K個(gè)N*M的網(wǎng)格； (3) 光流特征提取:采取稠密光流法，從步驟(2)中劃分好的網(wǎng)格內(nèi)獲取每個(gè)像素點(diǎn)的 三層光流統(tǒng)計(jì)特征； (4) 特征選擇:選取局部K網(wǎng)格的光流統(tǒng)計(jì)特征及其周邊網(wǎng)格特定方向的光流統(tǒng)計(jì)特 征，用以監(jiān)測(cè)K網(wǎng)格t+Ι時(shí)刻的人群動(dòng)態(tài)序列； (5) 模型訓(xùn)練:對(duì)訓(xùn)練集數(shù)據(jù)每個(gè)網(wǎng)格利用遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，K網(wǎng)格t時(shí)刻光流統(tǒng) 計(jì)特征及四周網(wǎng)格特定方向光流特征作為輸入，K網(wǎng)格t+i時(shí)刻的光流統(tǒng)計(jì)特征作為輸出， 利用Hessian-Free Optimization方法進(jìn)行訓(xùn)練； (6) 異常監(jiān)測(cè)及定位:對(duì)測(cè)試集數(shù)據(jù)中的K個(gè)網(wǎng)格進(jìn)行異常監(jiān)測(cè)和定位，將測(cè)試集數(shù)據(jù)t 時(shí)刻K網(wǎng)格及其四周網(wǎng)格特定方向的光流統(tǒng)計(jì)特征數(shù)據(jù)輸入模型，預(yù)測(cè)出K網(wǎng)格t+Ι時(shí)刻的 光流統(tǒng)計(jì)特征，然后計(jì)算K網(wǎng)格t+i時(shí)刻與t時(shí)刻之間光流統(tǒng)計(jì)直方圖的距離來判定是t+i時(shí) 刻是否異常，當(dāng)t+Ι時(shí)刻整個(gè)場(chǎng)景中的所有網(wǎng)格中有出現(xiàn)異常時(shí)，則判定該時(shí)刻為異常，并 進(jìn)行異常定位。2. 如權(quán)利要求1所述的基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位方法，其 特征在于:步驟(3)中采取稠密光流法提取每一幀各像素的光流I(v x，vy)，并從劃分好的網(wǎng) 格中分8個(gè)方向提取3層的光流直方圖特征h(x，y)。3. 如權(quán)利要求2所述的基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位方法，其 特征在于：步驟（4)中選取K網(wǎng)格四周8個(gè)網(wǎng)格對(duì)應(yīng)的8個(gè)不同方向取得的光流統(tǒng)計(jì)值 XtfcW /2, /3,.…,/48)和K網(wǎng)格本身的光流統(tǒng)計(jì)值xf (Z1, /2, /3,…, D來監(jiān)測(cè)k網(wǎng)格t+Ι時(shí)刻 的人群動(dòng)態(tài)序列句UZ1, MG........心），其中表示第k個(gè)網(wǎng)格在t時(shí)刻的實(shí)際光流特征， 考^表示模型預(yù)測(cè)第k個(gè)網(wǎng)格在t+Ι時(shí)刻的光流特征。4. 如權(quán)利要求3所述的基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位方法，其 特征在于，步驟(5)中模型訓(xùn)練分為三個(gè)步驟：51. 對(duì)進(jìn)行網(wǎng)格劃分后的場(chǎng)景中的每個(gè)網(wǎng)格單獨(dú)建模，建立K個(gè)RNN模型，4']作為第 k個(gè)網(wǎng)格模型的72個(gè)輸入神經(jīng)元，隱含層單元設(shè)置為144個(gè)神經(jīng)元，輸出為k網(wǎng)格t+Ι時(shí)刻的 人群動(dòng)態(tài)序列特征，用24個(gè)神經(jīng)元表示，每個(gè)人群動(dòng)態(tài)序列的長度為40個(gè)時(shí)刻；52. 采用無監(jiān)督方式學(xué)習(xí)正常情況下t時(shí)刻人群動(dòng)態(tài)序列XtfcCMZ2A......./ 24)與t+Ι時(shí) 亥IJ人群動(dòng)態(tài)序列Z3,..... J24)之間的關(guān)系，采用正常訓(xùn)練集數(shù)據(jù)的光流特征統(tǒng)計(jì) 數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，：^+1乜接作為Ixfc, ]的輸出，進(jìn)行訓(xùn)練；53. 訓(xùn)練過程用Hessian-Free Optimization方法，即分別用式（1)和式(2)來近似計(jì)算 式（1) Hv和Θ值附近的函數(shù)值：式⑵。5.如權(quán)利要求4所述的基于遞歸神經(jīng)網(wǎng)絡(luò)建模的無監(jiān)督人群異常監(jiān)測(cè)及定位方法，其 特征在于:步驟(6)中載入測(cè)試數(shù)據(jù)集t時(shí)刻的人群動(dòng)態(tài)序列特征Wcz1,/2,/3,.....,/ 24)及四 周網(wǎng)格特定方向的光流特征x/"(/t, /2, /4??)來預(yù)測(cè)出t +1時(shí)刻人群動(dòng)態(tài)序列特征 …,石4)，計(jì)算前后時(shí)刻對(duì)應(yīng)網(wǎng)格光流特征的歐式距離扣+:1 =(玲^ - ^)2,最 后在全局場(chǎng)景所獲得的歐式距離范圍（dmin,dmax)中設(shè)定多個(gè)閾值，通過計(jì)算F-measure的最 大值來尋找最佳閾值S，若df +i> I則判定為1，表示異常，進(jìn)行異常定位，否則為0,表示正 常。
【文檔編號(hào)】G06K9/00GK106022244SQ201610322129
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月16日
【發(fā)明人】蔡瑞初, 陳恬, 郝志峰, 謝偉浩, 溫雯, 陳炳豐, 黃燦錦
【申請(qǐng)人】廣東工業(yè)大學(xué)