專利名稱：一種大幅規(guī)律運動背景智能分析管控系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺領(lǐng)域和人工智能領(lǐng)域，特別是智能視頻監(jiān)控領(lǐng)域，提出了 一種大幅規(guī)律運動背景智能分析管控系統(tǒng)。
背景技術(shù)：
近年來，隨著科技的發(fā)展，公共安全視頻監(jiān)控系統(tǒng)是對城市社會治安主動掌握并 打擊的有力手段，如在車站、碼頭、機場、港口、城市交通要道及出入口等地建立公共安全視 頻監(jiān)控系統(tǒng)，發(fā)揮其現(xiàn)代技術(shù)防范手段的優(yōu)勢，對維護社會政治和治安穩(wěn)定意義重大。傳統(tǒng)的視頻監(jiān)控系統(tǒng)僅僅相當(dāng)于一個視頻采集瀏覽器的作用，監(jiān)控人員需要長時 間進行人工觀測，僅憑主觀決定是否采取應(yīng)急措施，而監(jiān)控者很少能長時間保持注意力。近 年來智能視頻監(jiān)控系統(tǒng)得到蓬勃發(fā)展，已經(jīng)有了很多成熟的應(yīng)用，如對禁區(qū)闖入、跨越半 線、遺留移走等行為的檢測。智能視頻監(jiān)控系統(tǒng)的工作原理一般來說分為幾個步驟首先在 輸入的視頻序列中提取出感興趣的運動目標，然后對運動目標進行跟蹤，通過跟蹤運動目 標識別其運動特征，最后在運動目標做出某些用戶認為是異常的運動特征時，發(fā)出報警?？?以看出，提取感興趣的運動目標是智能視頻監(jiān)控系統(tǒng)的一個重要前提。在視頻序列中提取感興趣目標的一個重要假設(shè)是目標是運動的，而背景是靜止 的，因此通過識別視頻序列中是否發(fā)生了運動即可以判斷是否有目標進而提取出來。然而 在一些應(yīng)用場合中，背景也可能是運動的，如在礦田開采現(xiàn)場，通常會有大型機械(如磕頭 機、挖掘機)磕頭機、挖掘機、螺旋桿)進行連續(xù)的機械作業(yè)，這對在此場景中諸如禁區(qū)、越 線、煙霧、火焰、火花、遺留物、物品移走、徘徊等監(jiān)測造成了很大干擾。針對視頻序列中有運動背景的場景，混合高斯模型(GaussianMixture Model, GMM)是比較經(jīng)典的一種方法，但是只對像素點的小幅波動如亮度波動、輕微震動具有較好 的抗干擾能力，對大幅運動背景的抗干擾效果并不理想，另外，如果高斯模型的數(shù)目太多， 系統(tǒng)性能會因運算量龐大而下降，甚至不能滿足實時性的要求。因此，如何用一種運算量相 對較小的方法排除大幅規(guī)律運動背景帶來的干擾，準確提取出用戶感興趣的真正外來目標 具有重要的實際意義。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述技術(shù)問題，提供一種大幅規(guī)律運動背景智能分析管控 系統(tǒng)，將智能視頻監(jiān)控技術(shù)有效地應(yīng)用到石化、礦藏開發(fā)等工業(yè)領(lǐng)域，針對視頻監(jiān)控場景中 有大幅規(guī)律運動背景的情況，使人們能夠排除這種運動背景的干擾，識別真正的外來目標， 進行有效監(jiān)控。根據(jù)本發(fā)明提供的具體實施例，本發(fā)明公布了如下技術(shù)方案一種大幅規(guī)律運動背景智能分析管控系統(tǒng)，包括特征數(shù)據(jù)庫，包含多種目標和/或行為模型特征；視頻采集模塊，用于對采集的視頻信號進行處理，獲取數(shù)字視頻序列；
4
質(zhì)量提升模塊，用于對視頻數(shù)字序列進行質(zhì)量提升；前景提取模塊，用于排除運動背景的干擾，提取前景；利用像素點特征進行分段統(tǒng) 計，統(tǒng)計出背景像素點特征可能出現(xiàn)的多個區(qū)間范圍，在檢測前景時，如果像素特征不屬于 任何統(tǒng)計出的區(qū)間范圍，即判斷它為前景點，同時更新背景像素的特征范圍；特征分析模塊，用于視頻數(shù)字序列進行特征匹配、特征分類；特征識別模塊，根據(jù)用戶設(shè)定的參數(shù)，將視頻對象與多種目標和/或行為模型庫 進行比對；管控觸發(fā)規(guī)則判斷模塊，根據(jù)用戶事先設(shè)定好的規(guī)則和景深，結(jié)合視頻特征，判斷 規(guī)則是否被打破，如果打破了規(guī)則發(fā)出異常信息；實時管控平臺，用于接收視頻分析結(jié)果，并根據(jù)分析結(jié)果發(fā)布管控命令。進一步的，上述的前景提取模塊進一步包括背景學(xué)習(xí)子模塊，在初始一段時間內(nèi)不做檢測工作，只用來學(xué)習(xí)背景圖像；為圖像 序列中每一個位置的像素點建立背景值，用B(x，y)表示；用第一幀輸入圖像I(x，y)初始 化 Bl(x，y)Bl(x, y) = I(x, y)從第二幀輸入圖像開始，判斷(x，y)點的輸入值是否在Bl(x，y) 士 a區(qū)間內(nèi)，如果 不在B1 (x，y) 士 a區(qū)間，則在此位置建立新的背景值B2 (x, y)，初始值為此時輸入圖像像素 值，重復(fù)上述步驟，直到像素點的背景數(shù)n達到設(shè)定的數(shù)值N;同時根據(jù)像素值落入每個區(qū) 間范圍內(nèi)的次數(shù)多少為各個區(qū)間范圍排序。進一步的，上述的前景提取模塊進一步包括前景判斷子模塊，判斷輸入圖像(X，y)點的值I (X，y)是否落在Bi (x，y) 士 a中， 其中0 < i彡M，如果屬于其中任何一個區(qū)間，則判斷此點為背景；否則判斷此點為前景。進一步的，上述的前景提取模塊進一步包括背景更新子模塊，在提取前景的同時，繼續(xù)統(tǒng)計像素點的背景值，按落入n(n ( N) 個背景值范圍的頻率對n個背景區(qū)間排序，出現(xiàn)頻率高的前M個背景區(qū)間參與前景提取工 作。進一步的，上述的特征數(shù)據(jù)庫進一步包括數(shù)據(jù)采集子模塊，用于采集不同角度、不同環(huán)境的圖片作為目標和/或行為樣本 庫；數(shù)據(jù)標定子模塊，用于對采集得到的樣本圖片進行標定分類；數(shù)據(jù)訓(xùn)練子模塊，用于對采集的樣本圖片進行特征提取，并根據(jù)采集并標定好類 別的樣本圖片及圖片的特征進行分類訓(xùn)練；特征比對子模塊，當(dāng)輸入新的待測圖片時，首先提取其特征，然后將這些特征輸入 訓(xùn)練好的分類器，即得出分類結(jié)果。進一步的，上述的視頻采集模塊，原始輸入視頻信號可以是來自攝像機、錄像或其 他設(shè)備任意分辨率的模擬視頻信號或通過網(wǎng)絡(luò)傳輸而來的編碼視頻流；上述的視頻采集模塊，用于對視頻信號進行數(shù)據(jù)處理，如果輸入是模擬信號，首先 要經(jīng)A/D轉(zhuǎn)換為數(shù)字信號；如果輸入是編碼流，經(jīng)解碼器進行解碼，并轉(zhuǎn)換成需要的格式。進一步的，上述的質(zhì)量提升模塊，進一步包括
5
噪聲去除子模塊，使用可調(diào)阿爾法均值濾波器對視頻序列進行噪聲去除；信號增強子模塊，使用可調(diào)冪變換方法對視頻序列進行信號增強。進一步的，上述的視頻特征分析模塊進一步包括目標匹配跟蹤子模塊，用于對視頻序列進行目標匹配，使用輪廓特征和多維聯(lián)合 直方圖特征相結(jié)合有效且準確的進行目標匹配；目標分類子模塊，用于對視頻對象進行目標分類。進一步的，上述的管控觸發(fā)規(guī)則判斷模塊用于進行管控觸發(fā)規(guī)則判斷，根據(jù)用戶 事先設(shè)定好的規(guī)則和景深、靈敏度、最大最小像素、場景類型，判斷視頻狀態(tài)或結(jié)合視頻特 征判斷特定事件是否發(fā)生。進一步的，上述的實時管控平臺接收視頻分析結(jié)果，根據(jù)分析結(jié)果發(fā)布各種管控 命令；同時，管控平臺負責(zé)輸出視頻采集命令、為終端智能分析配置系統(tǒng)參數(shù)和規(guī)則參數(shù)、 對視頻數(shù)據(jù)進行瀏覽、存儲、檢索工作。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點首先，本發(fā)明針對背景中有大幅規(guī)律運動物體時目標提取困難的情況，對像素點 特征進行分段統(tǒng)計，統(tǒng)計出背景像素點特征可能出現(xiàn)的多個區(qū)間范圍，在檢測前景時，如果 像素特征不屬于任何統(tǒng)計出的區(qū)間范圍，即判斷它為前景點，為了算法能適應(yīng)天氣、光線的 變化，同時更新背景像素的特征范圍。與經(jīng)典GMM相比，GMM只對小幅運動背景波動如亮度 波動、輕微震動有良好的抗干擾效果，而本發(fā)明提出的像素特征分段統(tǒng)計法相比GMM算法 耗費運算量小，解決了大幅規(guī)律運動背景的干擾問題，使智能視頻分析系統(tǒng)更具有實際意 義。其次，建立了大型場景和目標行為模型特征庫，提高了視頻分析能力及準確性。大 型場景中由于含有復(fù)雜背景，一般較難提取出符合規(guī)則所需要的目標或事件，達到精準的 視頻分析。本發(fā)明在算法底層內(nèi)建有大場景或復(fù)雜背景的分析模式，并包括多種目標行為 特征庫，如加入各個角度的人體頭肩模型，增強人員計數(shù)功能的準確度；如加入煙霧模型 庫，增加煙霧報警的準確度；或者通過不同方向物體的模型庫，判斷車輛/人逆行等。這樣 能更精準的過濾掉干擾信息及定位目標，減少誤報及漏報，這樣可以提高視頻分析及報警 效率，達到更準確的分析效果，增強產(chǎn)品在現(xiàn)實復(fù)雜環(huán)境中的可用性。第三，本發(fā)明在對視頻信號進行分析處理前，首先對信號進行噪聲去除、增強等前 期處理以提高信號的價值，為后期分析處理做好準備，可有效地減少誤報、漏報。信號的獲取(數(shù)字化)和傳輸過程會不可避免的產(chǎn)生噪聲(在獲取過程中主要受 環(huán)境條件和傳感元器件自身質(zhì)量影響而產(chǎn)生噪聲，在傳輸過程中主要由于所用的傳輸信道 的干擾受到噪聲污染)，噪聲去除的過程就是對信號復(fù)原的過程。而信號增強的目的是為了顯現(xiàn)被模糊了的細節(jié)，尤其對于較差、光線昏暗或過于 強烈的信號，突出信號中感興趣的特征。信號噪聲去除和信號增加的最終目的都是為了改善信號，這對整個大幅規(guī)律運動 背景智能分析管控系統(tǒng)的有效運轉(zhuǎn)做出了貢獻。第四，本系統(tǒng)有三種工作模式可供選擇，后端分析、前端分析、分布式分析，解決了 現(xiàn)有智能視頻分析系統(tǒng)工作模式單一，不能實現(xiàn)按需傳輸、按需存儲的問題。其中，后端分析能非常方便地對傳統(tǒng)監(jiān)控系統(tǒng)進行升級改造，只需將本發(fā)明串聯(lián)
6到視頻信號和顯示屏之間即可。為節(jié)省網(wǎng)絡(luò)帶寬資源，本發(fā)明包含前端分析以及分布式分析模式。前端分析只需傳輸報警信號，大大節(jié)省了網(wǎng)絡(luò)帶寬資源。分布式分析只需傳輸特征流(不到視頻流量的1/50)，在節(jié)省帶寬的同時把任務(wù) 分散到前端和后端，使整個系統(tǒng)具有高效的分析能力，后端沒有繁重的處理任務(wù)，不需大額 硬件投資；前端和分布式分析實現(xiàn)了 “按需”監(jiān)控只有在出現(xiàn)報警的情況下，才可能需要把 相關(guān)的視頻信號發(fā)送到后端進行記錄或存儲，而一般情況下只需要傳輸很少的數(shù)據(jù)。根據(jù)應(yīng)用環(huán)境，可用網(wǎng)絡(luò)帶寬資源的多少或者預(yù)備投資金額的多少，三種模式可 選。第五，本發(fā)明可以以純軟件或軟硬件結(jié)合兩種方式實現(xiàn)。在軟硬件結(jié)合工作方式 時，提供嵌入式視頻信息智能分析管控服務(wù)器，服務(wù)器接口豐富，能協(xié)助用戶實現(xiàn)遠程設(shè) 置、遠程報警、遠程監(jiān)控、音頻對話、傳感器輸入/輸出報警控制、聯(lián)動球型攝像機對目標進 行PTZ自動跟蹤等操作。服務(wù)器安裝簡單，增強系統(tǒng)穩(wěn)定性及靈活性，可以在前端對視頻信 息進行全部或部分分析處理，減少了視頻信息上傳的網(wǎng)絡(luò)帶寬壓力，易于系統(tǒng)集成，采用一 體化電路板設(shè)計，硬件的穩(wěn)定性更高?？傮w而言，嵌入式視頻分析架構(gòu)目前發(fā)展速度更快， 更是今后的趨勢，因為嵌入式視頻分析軟件同樣可以完成包括目標檢測、跟蹤、分類及規(guī)則 定義等所有功能，并且選擇嵌入式視頻分析架構(gòu)將現(xiàn)有的傳統(tǒng)視頻監(jiān)控系統(tǒng)升級為智能視 頻監(jiān)控系統(tǒng)，是一種成本低且易于改造的方案。隨著DSP等芯片的性能不斷提升，嵌入式將 有更廣闊的發(fā)展空間。


圖1系統(tǒng)邏輯結(jié)構(gòu)2視頻采集模塊圖3質(zhì)量提升模塊圖4前景提取模塊圖5特征分析模塊圖6特征識別模塊
具體實施例方式為使本發(fā)明的上述目的、特征和優(yōu)點更加明顯易懂，下面結(jié)合附圖和具體實施方 式對本發(fā)明作進一步詳細的說明。大幅規(guī)律運動背景的智能分析管控系統(tǒng)可以有兩種實現(xiàn)方式純軟件實現(xiàn)和軟硬 件結(jié)合實現(xiàn)。1.軟硬件結(jié)合實現(xiàn)智能分析管控系統(tǒng)時，軟件部分為客戶端管控平臺，硬件部分 為嵌入式視頻智能分析管控服務(wù)器。(1).嵌入式視頻智能分析服務(wù)器采用嵌入式硬件平臺開發(fā)、DSP算法移植與優(yōu) 化、網(wǎng)絡(luò)編解碼等先進技術(shù)，內(nèi)嵌智能視頻分析算法包括視頻的采集、質(zhì)量提升、特征分 析、特征識別、規(guī)則判斷等算法。
(2).平臺管控軟件安裝在客戶端，包含以下幾個模塊為終端智能分析配置系統(tǒng) 參數(shù)和規(guī)則參數(shù)、根據(jù)分析結(jié)果發(fā)布管控命令、輸出視頻采集命令以及處理視頻數(shù)據(jù)。2.純軟件實現(xiàn)智能分析管控系統(tǒng)時，嵌入式視頻智能分析管控服務(wù)器的工作全部 交由平臺管控軟件來處理，即平臺管控軟件不僅要負責(zé)視頻的采集、質(zhì)量提升、前景提取、 特征分析、特征識別、規(guī)則判斷等算法，同時也要為終端智能分析配置系統(tǒng)參數(shù)和規(guī)則參 數(shù)、根據(jù)分析結(jié)果發(fā)布管控命令、輸出視頻采集命令以及處理視頻數(shù)據(jù)。大幅規(guī)律運動背景智能分析管控系統(tǒng)包括如下部分，如圖1所示特征數(shù)據(jù)庫，包含多種目標和/或行為模型特征；視頻采集模塊，用于對采集的視頻信號進行處理，獲取數(shù)字視頻序列；質(zhì)量提升模塊，用于對視頻數(shù)字序列進行質(zhì)量提升；前景提取模塊，用于排除運動背景的干擾，提取前景；利用像素點特征進行分段統(tǒng) 計，統(tǒng)計出背景像素點特征可能出現(xiàn)的多個區(qū)間范圍，在檢測前景時，如果像素特征不屬于 任何統(tǒng)計出的區(qū)間范圍，即判斷它為前景點，同時更新背景像素的特征范圍；特征分析模塊，用于視頻數(shù)字序列進行特征匹配、特征分類；特征識別模塊，根據(jù)用戶設(shè)定的參數(shù)，將視頻對象與多種目標和/或行為模型庫 進行比對；管控觸發(fā)規(guī)則判斷模塊，根據(jù)用戶事先設(shè)定好的規(guī)則和景深，結(jié)合視頻特征，判斷 規(guī)則是否被打破，如果打破了規(guī)則發(fā)出異常信息；實時管控平臺，用于接收視頻分析結(jié)果，并根據(jù)分析結(jié)果發(fā)布管控命令。本系統(tǒng)包括特征數(shù)據(jù)庫，包含了多種目標和/或行為模型特征。其中，特征數(shù)據(jù)庫進一步包括數(shù)據(jù)采集子模塊，用于采集不同角度、不同環(huán)境的圖片作為目標和/或行為樣本 庫；數(shù)據(jù)標定子模塊，用于對采集得到的樣本圖片進行標定分類；數(shù)據(jù)訓(xùn)練子模塊，用于對采集的樣本圖片進行特征提取，并根據(jù)采集并標定好類 別的樣本圖片及圖片的特征進行分類訓(xùn)練；特征比對子模塊，當(dāng)輸入新的待測圖片時，首先提取其特征，然后將這些特征輸入 訓(xùn)練好的分類器，即得出分類結(jié)果。數(shù)據(jù)采集子模塊，用于盡可能多地采集不同角度、不同環(huán)境的圖片作為目標和/ 或行為樣本庫，根據(jù)需要可以是不同目標，如人、車、煙霧、火焰等。進一步還可以分類，如人 又可以分為正向/反向/側(cè)向、坐/站/臥、靜止/奔跑等類型。數(shù)據(jù)標定子模塊，用于人工地為采集得到的樣本圖片進行標定分類，如分成人、 車、煙霧、火焰等類別；必要時標定物體的關(guān)鍵點，如人的眼/鼻/手/腳/肘等的位置。數(shù)據(jù)訓(xùn)練子模塊進一步包括特征提取子模塊，用于對采集的樣本圖片進行特征提??；分類訓(xùn)練子模塊，用于根據(jù)采集并標定好類別的樣本圖片及圖片的特征進行分類訓(xùn)練。特征提取子模塊，用于對采集的樣本圖片進行特征提取。SIFT特征是現(xiàn)在廣泛使 用的一種圖像的局部特征。首先檢測樣本圖像中一些顯著區(qū)域，然后計算特征區(qū)域附近的梯度信息的統(tǒng)計直方圖，用這個128維直方圖的值來表示當(dāng)前這個點的一個特征。對一副 普通大小的圖片，通常有幾百到幾千個SIFT特征來描述。另外，對每個特征來說，除了 128 維的特征值，還包括了特征點的位置，尺度，方向等參數(shù)。另外，還有一些較簡單的特征，如人或物體在不同角度、不同方向、不同姿態(tài)時的 關(guān)鍵點(如人的眼/鼻/手/腳/肘等)位置，這些特征點位置需要人為標定。訓(xùn)練分類子模塊，在本實施例中，使用的是基于Adaboost的SVM訓(xùn)練分類系統(tǒng)。SVM (support vector machine)是一種常用的分類器，已知采集并標定好類別的 樣本圖片以及這些圖片的特征，SVM分類系統(tǒng)的目標是利用標定好的類別，訓(xùn)練出合理的分 類器，當(dāng)今后遇到類似的情況，可以直接分辨出是哪個類別的物體。對分類系統(tǒng)來說，輸入 是圖片的特征，而輸出則是這個圖片的類別。Adaboost是一種迭代算法，核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱 分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強的最終分類器(強分類器)。特征比對子模塊，用于當(dāng)輸入新的待測圖片時，首先提取其特征，然后將這些特征 輸入訓(xùn)練好的分類器，即得出分類結(jié)果。視頻采集模塊用于獲取數(shù)字視頻序列。其中原始輸入視頻信號可以是來自攝像 機、錄像或其他設(shè)備任意分辨率的模擬視頻信號或通過網(wǎng)絡(luò)傳輸而來的編碼視頻流。根據(jù) 來源不同，視頻采集過程分為A/D或解碼、格式轉(zhuǎn)換兩個部分，如圖2所示。在對視頻信號進行采集處理時，前置A/D轉(zhuǎn)換和解碼器，如果輸入是模擬信號，首 先要經(jīng)A/D轉(zhuǎn)換為數(shù)字信號，如果輸入是經(jīng)mpeg4/h. 264/h. 263/AVS編碼的碼流，首先要經(jīng) 解碼器解碼；經(jīng)解碼或A/D轉(zhuǎn)換后的數(shù)字視頻信號，按不同的分析需求，轉(zhuǎn)換為QCIF/CIF/ D1大小的YUV4:2:2/RGB數(shù)字圖像序列待用。質(zhì)量提升模塊，用于對視頻圖像進行質(zhì)量提升。為便于后續(xù)分析工作，在特征分析 前可以對視頻序列做質(zhì)量提升的工作。質(zhì)量提升技術(shù)包括對視頻序列進行去噪、圖像增強 等圖像處理技術(shù)。如圖3所示。信號的獲取(數(shù)字化)和傳輸過程會不可避免的產(chǎn)生噪聲。如在獲取過程中主要 受環(huán)境條件和傳感元器件自身質(zhì)量影響而產(chǎn)生噪聲，在傳輸過程中主要由于所用的傳輸信 道的干擾受到噪聲污染。噪聲去除的過程就是對信號復(fù)原的過程。而信號增強的目的是為了顯現(xiàn)被模糊了的細節(jié)，尤其對于較差、光線昏暗或過于 強烈的信號，突出信號中感興趣的特征。信號噪聲去除和信號增加的最終目的都是為了改善信號，這對整個大范圍火災(zāi)分 析預(yù)警系統(tǒng)的有效運轉(zhuǎn)做出了貢獻。質(zhì)量提升模塊，進一步包括噪聲去除子模塊，使用可調(diào)阿爾法均值濾波器對視頻序列進行噪聲去除；信號增強子模塊，使用可調(diào)冪變換方法對視頻序列進行信號增強。a.可調(diào)阿爾法均值濾波器去噪
P = "^I]ieNGr(i)，其中 OSdS (n-l)可調(diào)
n—u對于視頻信號，p表示在點(x，y)處去除噪聲后的像素點灰度值，N表示中心點在 ^，一，大小為?。?！父！！的矩形子圖像窗口工⑴表示在子窗口內(nèi)像素點的灰度值；上述公式的
9意義為在N領(lǐng)域內(nèi)去掉灰度值G(i)最高的d/2個像素和最低的d/2個像素。用Gji)來 代表剩余的mn-d個像素，由這些剩余像素點的平均值作為(x，y)點的去噪后灰度值。當(dāng)d = 0時，阿爾法均值濾波器退變?yōu)樗阈g(shù)均值濾波器，對抑制高斯和均勻隨機分 布的噪聲有很好的效果；當(dāng)d = mn-l時，阿爾法均值濾波器退變?yōu)橹兄禐V波器，對抑制椒鹽 噪聲有很好的效果。d取其他值時，修正后的阿爾法均值濾波器在包括多種噪聲的情況下非 常適用，例如高斯噪聲和椒鹽噪聲混合的情況。b.可調(diào)冪變換增強信號冪變換的基本形式為S = cRY，其中c和Y為正常數(shù)R為原始信號，S為增強后信號，調(diào)整、參數(shù)會得到增強后信號。以圖像為例，偏 暗圖像(如夜晚)在、> 1時會得到對比度的提升，偏白圖像(如霧天)在Y < 1時會 得到對比度的提升。前景提取模塊針對背景中有大幅規(guī)律運動物體時目標提取困難的情況，對像素點 特征進行分段統(tǒng)計，統(tǒng)計出背景像素點特征可能出現(xiàn)的多個區(qū)間范圍，在檢測前景時，如果 像素特征不屬于任何統(tǒng)計出的區(qū)間范圍，即判斷它為前景點，為了算法能適應(yīng)天氣、光線的 變化，同時更新背景像素的特征范圍。如圖4所示。前景提取模塊，進一步包括背景學(xué)習(xí)子模塊，在初始一段時間內(nèi)不做檢測工作，只用來學(xué)習(xí)背景圖像。為圖像 序列中每一個位置的像素點建立背景值，用B(x，y)表示，由于圖像中存在大幅規(guī)律運動位 置處的像素值不是單一的，所以(x，y)點的背景值可能有多個，用Bn (x，y)表示，1 < n彡N， N為正整數(shù)。用第一幀輸入圖像I(x，y)初始化Bl(x，y)Bl(x, y) = I(x, y)從第二幀輸入圖像開始，判斷(x，y)點的輸入值是否在B1 (x，y) 士 a區(qū)間內(nèi)，如果 不在B1 (x，y) 士 a區(qū)間，則在此位置建立新的背景值B2 (x, y)，初始值為此時輸入圖像像素 值，以此類推，直到像素點的背景數(shù)n達到設(shè)定的N ；同時根據(jù)像素值落入每個區(qū)間范圍內(nèi) 的次數(shù)多少為各個區(qū)間范圍排序；前景提取模塊，進一步包括前景判斷子模塊，經(jīng)過最初一段時間的背景學(xué)習(xí)，每個像素點(x，y)有N個背景值 區(qū)間，取其中前M(M < N)個值判斷前景。判斷輸入圖像(x，y)點的值I(x，y)是否落在Bi(x，y) 士 a中，其中0<i<M， 如果屬于其中任何一個區(qū)間，則判斷此點為背景；否則判斷此點為前景。前景提取模塊，進一步包括背景更新子模塊，背景更新工作貫穿在系統(tǒng)工作過程中，在提取前景的同時，繼續(xù) 統(tǒng)計像素點的背景值，按落入^ N)個背景值范圍的頻率對n個背景區(qū)間排序，只有出 現(xiàn)頻率高的前M個背景區(qū)間參與前景提取工作，這保證了在天氣、光線發(fā)生變化時得到實 時的背景圖像，進而檢測出準確的前景目標。特征分析模塊用于對視頻數(shù)字序列進行特征匹配以及特征分類處理，如圖5所
7J\ o
10
特征分析模塊進一步包括目標匹配跟蹤子模塊，用于對視頻序列進行目標匹配，使用輪廓特征和多維聯(lián)合 直方圖特征相結(jié)合有效且準確的進行目標匹配；目標分類子模塊，用于對視頻對象進行目標分類。目標匹配跟蹤子模塊用于對視頻序列進行目標匹配，是將每一幀圖像所檢測出的 前景，與后一幀檢測出的前景根據(jù)輪廓/外圍框相交、灰度直方圖等指標進行匹配，如果連 續(xù)幾幀都檢測出同一前景，則將其確定為一個目標并為之編號，繼續(xù)與前景圖像相匹配，此 時可以進一步得到目標的運動屬性，如運動軌跡、移動速度等。目標匹配1.設(shè)已有N個目標T1、T2、T3……Tn，當(dāng)前幀檢測出M個前景Fl、F2、F3……Fm ；2.判斷F1與N個目標輪廓是否相交若F1只與一個目標Ti相交，且F1與Ti直 方圖匹配成功即認為F1就是Ti，用F1的屬性更新Ti ；若F1沒有與任何一個Ti相交，即用 F1建立新目標T(n+1)；若Fl與多個目標相交，則認為此時發(fā)生了目標合并，建立一個新的 目標，標記其屬性為合并，記錄合并前各個目標的編號。3. F2、F3……Fm重復(fù)步驟2，若多個前景與一個目標T相交，則認為此時發(fā)生了目 標分離，建立一個新的目標，標記其屬性為分離，記錄分離前各個目標的編號。目標分類子模塊用于對視頻對象進行目標分類。對于視頻序列，根據(jù)目標屬性，對目標進行分類，如按大小分為不同等級 (8/25/50/100/500/1000/10000/10萬像素點)，按目標移動速度(n幀內(nèi)移動范圍小于m個 像素，m和n可調(diào))分為動態(tài)目標和靜態(tài)目標等。對動態(tài)目標又可分為單個目標、合并目標
(兩個或多個目標合并而成的一個目標)或分離目標(從一個目標分裂出來的多個目標之一)。特征識別模塊可以在前端，也可以在后端。根據(jù)用戶設(shè)定的參數(shù)，視頻對象與內(nèi)嵌 的多種目標和/或行為模型庫(如人/車/煙霧/火焰/火花模型庫、頭肩識別、人群一 致等模型庫)進行比對，減少誤報及漏報，提高視頻分析及報警效率，達到更準確的分析效 果，增強產(chǎn)品的可用性。如圖6所示。管控觸發(fā)規(guī)則判斷模塊，根據(jù)用戶事先設(shè)定好的規(guī)則和景深、靈敏度、最大最小像 素、場景類型，判斷視頻狀態(tài)或結(jié)合視頻特征、音頻特征判斷特定事件是否發(fā)生。這些規(guī)則包括視頻狀態(tài)、禁區(qū)、越線、遺留、移走、徘徊、密度、人員計數(shù)、液體泄漏、 煙霧、火焰、火花、脫崗、動點巡航等?？捎糜卺槍θ嘶蜍嚨慕麉^(qū)檢測、越線檢測、人車分類檢 測等；針對人的人員計數(shù)、脫崗/睡崗檢測、突然倒地檢測、速度異常檢測、打架檢測，針對 車輛的車道擁塞檢測、車流量檢測、車輛速度異常檢測、非法停車檢測、車輛徘徊/滯留檢 測等；以及其他異常檢測，如視頻狀態(tài)檢測、財產(chǎn)保護、異物檢測、煙霧檢測、火焰/火花檢 測、液體漏油檢測、人群特征統(tǒng)計等。對于需要分析視頻實時狀態(tài)的應(yīng)用如人群特征統(tǒng)計，將狀態(tài)信息密度、流量等發(fā) 送給管控模塊；對于需要判斷特定事件是否發(fā)生的應(yīng)用，在規(guī)則被打破時將報警信息發(fā)生 給管控模塊，也可以選擇通過智能分析管控服務(wù)器的串口或I/O 口進行本地報警，或者同 時進行本地報警和遠程報警。以禁區(qū)為例，設(shè)定某一區(qū)域(如倉庫、為汽車、重要物品或重點人員設(shè)定的警戒區(qū))為禁區(qū)，一旦檢測有目標出現(xiàn)在此區(qū)域內(nèi)，則觸發(fā)管控信號；以越線為例，通過在畫面上設(shè)置一條虛擬線，設(shè)定越線方向后，任何目標跨越此虛 擬線均可被檢測到并觸發(fā)管控信號，本功能可用于逆行檢測、周邊入侵檢測(翻越圍墻，進 入銀行金庫等重點場所等)、闖紅燈、穿越鐵路線、流量檢測等多種用途。以遺留移走為例，當(dāng)畫面內(nèi)某物體被放置或移走特定時間后，觸發(fā)管控信號，本功 能可用于博物館等場所。以徘徊為例，當(dāng)某一目標在防區(qū)內(nèi)徘徊時間超過特定值時觸發(fā)管控信號。如當(dāng)檢測到畫面中發(fā)生人群聚集并伴隨較大能量語音的時候，認為可能發(fā)生群體 事件并觸發(fā)管控信號；如當(dāng)檢測到有較高頻率語音或較大能量語音而沒有視頻異常時，自 動將視頻檢測靈敏度調(diào)高；當(dāng)檢測到畫面中發(fā)生物體移走并伴隨高頻率語音信號時，認為可能發(fā)生盜竊事 件；實時管控平臺接收到視頻分析結(jié)果，根據(jù)分析結(jié)果發(fā)布各種管控命令。同時，管控 平臺負責(zé)輸出視頻采集命令、為終端智能分析配置系統(tǒng)參數(shù)和規(guī)則參數(shù)、對視頻數(shù)據(jù)進行 瀏覽、存儲、檢索等工作。具體如選擇多種顯示方式(多種畫面分割顯示/全屏顯示)遠 程瀏覽多路實時監(jiān)控視頻圖像、多路視頻選擇、設(shè)備查詢、云鏡控制(PTZ控制/預(yù)置位設(shè)置 /巡航設(shè)定等)、實時顯示報警信息、播放報警視頻/停止報警視頻、查看報警截圖、按條件 (設(shè)備/時間/事件/狀態(tài)等)查詢報警信息、錄像(實時錄像/報警聯(lián)動錄像/手動錄像 /周期錄像/定時錄像)、錄像檢索、播放錄像、錄像導(dǎo)出、電子地圖、查詢操作日志。實時管控平臺的功能包括1.根據(jù)分析結(jié)果發(fā)布各種管控命令如云鏡控制(PTZ控制/預(yù)置位設(shè)置/巡航設(shè)定等)、實時顯示報警信息、設(shè)備查 詢、遠程喊話、電子地圖、查詢操作日志等2、輸出視頻采集命令，并為終端智能分析配置系統(tǒng)參數(shù)和規(guī)則參數(shù)如多路視頻選擇、視頻開始、視頻關(guān)閉、為終端智能分析配置系統(tǒng)參數(shù)和規(guī)則參數(shù)等。3、視頻數(shù)據(jù)處理如選擇多種顯示方式(多種畫面分割顯示/全屏顯示)遠程瀏覽多路實時監(jiān)控 視頻圖像、播放報警視頻/停止報警視頻、查看報警截圖、按條件(設(shè)備/時間/事件/狀態(tài) 等)查詢報警信息、錄像(實時錄像/報警聯(lián)動錄像/手動錄像/周期錄像/定時錄像)、 錄像檢索、播放錄像、錄像導(dǎo)出。大幅規(guī)律運動背景智能分析管控系統(tǒng)有三種工作模式1.前端分析大幅規(guī)律運動背景智能分析管控系統(tǒng)在視頻信號采集設(shè)備之后對 其做智能分析管控。在前端進行視頻信號采集之后，即可在前端對視頻信息進行數(shù)據(jù)處理、 特征分析、特征識別、管控觸發(fā)規(guī)則判斷等處理，并將分析結(jié)果發(fā)送到后端，后端根據(jù)分析 結(jié)果發(fā)布管控命令。2.后端分析大幅規(guī)律運動背景智能分析管控系統(tǒng)在視頻信息上顯示屏之前對 其做智能分析管控。對前端傳送來的視頻信息在后端進行數(shù)據(jù)處理、特征分析、特征識別、 管控觸發(fā)規(guī)則判斷等處理，并根據(jù)分析結(jié)果發(fā)布管控命令。
12
3.分布式分析大幅規(guī)律運動背景智能分析管控系統(tǒng)在視頻信號采集設(shè)備之后 進行視頻采集和特征分析工作，并將特征流發(fā)送到后端，后端接收前端的數(shù)據(jù)流后進一步 進行識別，完成分析工作，并根據(jù)分析結(jié)果發(fā)布管控命令。其中，后端分析能非常方便地對傳統(tǒng)監(jiān)控系統(tǒng)進行升級改造，只需將本發(fā)明串聯(lián) 到視頻信號和顯示屏之間即可。為節(jié)省網(wǎng)絡(luò)帶寬資源，本發(fā)明包含前端分析以及分布式分析模式。前端分析只需傳輸報警信號，大大節(jié)省了網(wǎng)絡(luò)帶寬資源。分布式分析只需傳輸特征流(不到視頻流量的1/50)，在節(jié)省帶寬的同時把任務(wù) 分散到前端和后端，使整個系統(tǒng)具有高效的分析能力，后端沒有繁重的處理任務(wù)，不需大額 硬件投資；前端和分布式分析實現(xiàn)了 “按需”監(jiān)控只有在出現(xiàn)報警的情況下，才可能需要把 相關(guān)的視頻信號發(fā)送到后端進行記錄或存儲，而一般情況下只需要傳輸很少的數(shù)據(jù)。根據(jù)應(yīng)用環(huán)境，可用網(wǎng)絡(luò)帶寬資源的多少或者預(yù)備投資金額的多少，三種模式可 選。
權(quán)利要求
一種大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于，包括特征數(shù)據(jù)庫，包含多種目標和/或行為模型特征；視頻采集模塊，用于對采集的視頻信號進行處理，獲取數(shù)字視頻序列；質(zhì)量提升模塊，用于對視頻數(shù)字序列進行質(zhì)量提升；前景提取模塊，用于排除運動背景的干擾，提取前景；利用像素點特征進行分段統(tǒng)計，統(tǒng)計出背景像素點特征可能出現(xiàn)的多個區(qū)間范圍，在檢測前景時，如果像素特征不屬于任何統(tǒng)計出的區(qū)間范圍，即判斷它為前景點，同時更新背景像素的特征范圍；特征分析模塊，用于視頻數(shù)字序列進行特征匹配、特征分類；特征識別模塊，根據(jù)用戶設(shè)定的參數(shù)，將視頻對象與多種目標和/或行為模型庫進行比對；管控觸發(fā)規(guī)則判斷模塊，根據(jù)用戶事先設(shè)定好的規(guī)則和景深，結(jié)合視頻特征，判斷規(guī)則是否被打破，如果打破了規(guī)則發(fā)出異常信息；實時管控平臺，用于接收視頻分析結(jié)果，并根據(jù)分析結(jié)果發(fā)布管控命令。
2.根據(jù)權(quán)利要求1所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于，所述的 前景提取模塊進一步包括背景學(xué)習(xí)子模塊，在初始一段時間內(nèi)不做檢測工作，只用來學(xué)習(xí)背景圖像；為圖像序 列中每一個位置的像素點建立背景值，用B(x，y)表示；用第一幀輸入圖像I(x，y)初始化 Bl(x,y)Bl(x,y) = I (x, y)從第二幀輸入圖像開始，判斷(x，y)點的輸入值是否在B1 (x，y) 士 a區(qū)間內(nèi)，如果不在 Bl(x, y) 士 a區(qū)間，則在此位置建立新的背景值B2(x，y)，初始值為此時輸入圖像像素值， 重復(fù)上述步驟，直到像素點的背景數(shù)n達到設(shè)定的數(shù)值N;同時根據(jù)像素值落入每個區(qū)間范 圍內(nèi)的次數(shù)多少為各個區(qū)間范圍排序。
3.根據(jù)權(quán)利要求1或2所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于，所述 的前景提取模塊進一步包括前景判斷子模塊，判斷輸入圖像(x，y)點的值I(x，y)是否落在Bi(x，y) 士 a中，其中 0 < i彡M，如果屬于其中任何一個區(qū)間，則判斷此點為背景；否則判斷此點為前景。
4.根據(jù)權(quán)利要求1或2所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，所述的前景提取 模塊進一步包括背景更新子模塊，在提取前景的同時，繼續(xù)統(tǒng)計像素點的背景值，按落入n (n < N)個背 景值范圍的頻率對n個背景區(qū)間排序，出現(xiàn)頻率高的前M個背景區(qū)間參與前景提取工作。
5.根據(jù)權(quán)利要求1所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于，所述的 特征數(shù)據(jù)庫進一步包括數(shù)據(jù)采集子模塊，用于采集不同角度、不同環(huán)境的圖片作為目標和/或行為樣本庫； 數(shù)據(jù)標定子模塊，用于對采集得到的樣本圖片進行標定分類； 數(shù)據(jù)訓(xùn)練子模塊，用于對采集的樣本圖片進行特征提取，并根據(jù)采集并標定好類別的 樣本圖片及圖片的特征進行分類訓(xùn)練；特征比對子模塊，當(dāng)輸入新的待測圖片時，首先提取其特征，然后將這些特征輸入訓(xùn)練 好的分類器，即得出分類結(jié)果。
6.根據(jù)權(quán)利要求1所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于所述的視頻采集模塊，原始輸入視頻信號可以是來自攝像機、錄像或其他設(shè)備任意分 辨率的模擬視頻信號或通過網(wǎng)絡(luò)傳輸而來的編碼視頻流；所述的視頻采集模塊，用于對視頻信號進行數(shù)據(jù)處理，如果輸入是模擬信號，首先要經(jīng) A/D轉(zhuǎn)換為數(shù)字信號；如果輸入是編碼流，經(jīng)解碼器進行解碼，并轉(zhuǎn)換成需要的格式。
7.根據(jù)權(quán)利要求1所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于，所述的 質(zhì)量提升模塊，進一步包括噪聲去除子模塊，使用可調(diào)阿爾法均值濾波器對視頻序列進行噪聲去除；信號增強子模塊，使用可調(diào)冪變換方法對視頻序列進行信號增強。
8.根據(jù)權(quán)利要求1所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于，所述的 特征分析模塊進一步包括目標匹配跟蹤子模塊，用于對視頻序列進行目標匹配，使用輪廓特征和多維聯(lián)合直方 圖特征相結(jié)合有效且準確的進行目標匹配；目標分類子模塊，用于對視頻對象進行目標分類。
9.根據(jù)權(quán)利要求1所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于，所述的 管控觸發(fā)規(guī)則判斷模塊用于進行管控觸發(fā)規(guī)則判斷，根據(jù)用戶事先設(shè)定好的規(guī)則和景深、 靈敏度、最大最小像素、場景類型，判斷視頻狀態(tài)或結(jié)合視頻特征判斷特定事件是否發(fā)生。
10.根據(jù)權(quán)利要求1所述的大幅規(guī)律運動背景智能分析管控系統(tǒng)，其特征在于，所述的 實時管控平臺接收視頻分析結(jié)果，根據(jù)分析結(jié)果發(fā)布各種管控命令；同時，管控平臺負責(zé)輸 出視頻采集命令、為終端智能分析配置系統(tǒng)參數(shù)和規(guī)則參數(shù)、對視頻數(shù)據(jù)進行瀏覽、存儲、 檢索工作。
全文摘要
本發(fā)明提出了一種大幅規(guī)律運動背景智能分析管控系統(tǒng)，所述系統(tǒng)包括特征數(shù)據(jù)庫，包含多種目標和/或行為模型特征；視頻采集模塊，用于對采集的視頻信號進行處理，獲取數(shù)字視頻序列；質(zhì)量提升模塊，用于對視頻數(shù)字序列進行質(zhì)量提升；前景提取模塊，用于排除運動背景的干擾，提取前景；特征分析模塊，用于視頻數(shù)字序列進行特征匹配、特征分類；特征識別模塊，根據(jù)用戶設(shè)定的參數(shù)，將視頻對象與多種目標和/或行為模型庫進行比對；管控觸發(fā)規(guī)則判斷模塊，根據(jù)用戶事先設(shè)定好的規(guī)則和景深，結(jié)合視頻特征，判斷規(guī)則是否被打破，如果打破了規(guī)則發(fā)出異常信息；實時管控平臺，用于接收視頻分析結(jié)果，并根據(jù)分析結(jié)果發(fā)布管控命令。
文檔編號G06T7/20GK101859436SQ201010195248
公開日2010年10月13日 申請日期2010年6月9日 優(yōu)先權(quán)日2010年6月9日
發(fā)明者王巍 申請人:王巍