專利名稱：智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種以特征幀觸發(fā)的智能監(jiān)控中的事件檢測(cè)方法，屬于圖像、多媒體信號(hào)處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著多媒體技術(shù)的發(fā)展和社會(huì)的進(jìn)步，智能監(jiān)控系統(tǒng)越來(lái)越普遍化，比如在公交車、商店、超市、銀行等公共場(chǎng)所都會(huì)裝有監(jiān)控?cái)z像機(jī)。對(duì)監(jiān)控視頻中發(fā)生的受關(guān)注事件進(jìn)行實(shí)時(shí)報(bào)警，能夠有效地遏制一些惡性事件或是危險(xiǎn)情況的進(jìn)一步發(fā)展，對(duì)這類事件做出及時(shí)的處理，這對(duì)整個(gè)社會(huì)的公共安全有著非常重要的意義。
但是，現(xiàn)在對(duì)于監(jiān)控視頻的分析處理，主要是靠人工觀看。在有專職監(jiān)控人員實(shí)時(shí)監(jiān)控的情況下，監(jiān)控人員同時(shí)監(jiān)視一定數(shù)量的監(jiān)控屏幕，這使得監(jiān)控人員往往很難堅(jiān)持長(zhǎng)時(shí)間的注意力，并且很難同時(shí)達(dá)到多個(gè)屏幕無(wú)遺漏的人工監(jiān)控。另外，在沒(méi)有專職監(jiān)控人員實(shí)時(shí)監(jiān)控的情況下，監(jiān)控視頻往往用于在事件發(fā)生后作為證據(jù)或者事情調(diào)查過(guò)程中的證據(jù)進(jìn)行使用，這雖然能夠發(fā)揮監(jiān)控視頻作為證據(jù)的作用，但是不能發(fā)揮監(jiān)控視頻對(duì)于事件實(shí)時(shí)反映的特點(diǎn)，對(duì)于控制事件的發(fā)展沒(méi)有任何意義。如何能夠?qū)λ斜O(jiān)控場(chǎng)景中發(fā)生的受關(guān)注事件不遺漏，如何能夠?qū)ΡO(jiān)控場(chǎng)景中受關(guān)注事件的發(fā)生實(shí)時(shí)發(fā)出警報(bào)，就成為了智能監(jiān)控中的焦點(diǎn)問(wèn)題。
監(jiān)控視頻一般是在固定攝像頭的情況下采取的，這樣可以建立穩(wěn)定的背景模型， 有利于事件的檢測(cè)，而現(xiàn)在存在的對(duì)監(jiān)控視頻的應(yīng)用僅僅是對(duì)整個(gè)視頻拍攝后，通過(guò)人眼觀看來(lái)判斷是否發(fā)生過(guò)受關(guān)注的事件，不可能對(duì)發(fā)生的受關(guān)注事件進(jìn)行智能實(shí)時(shí)的檢測(cè)， 也就不能有效遏制惡性事件或危險(xiǎn)情況的發(fā)展。近年來(lái)，視頻監(jiān)控在各種場(chǎng)合廣泛普及，現(xiàn)有的大部分基于視頻的事件檢測(cè)方法僅僅采用低級(jí)語(yǔ)義特征來(lái)表征事件，如顏色、紋理、亮度、運(yùn)動(dòng)等。而基于人類視覺(jué)系統(tǒng)的高級(jí)語(yǔ)義特征對(duì)視頻內(nèi)容的描述才是最準(zhǔn)確的?，F(xiàn)有的基于視頻的事件檢測(cè)方法不能對(duì)視頻內(nèi)容得到最準(zhǔn)確的描述。發(fā)明內(nèi)容
本發(fā)明針對(duì)目前監(jiān)控視頻中對(duì)可能發(fā)生的突發(fā)事件進(jìn)行智能實(shí)時(shí)處理的局限性， 提出了一種能夠?qū)σ曨l內(nèi)容得到準(zhǔn)確描述的智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，該方法用動(dòng)、靜態(tài)受關(guān)注區(qū)域形成視頻關(guān)注節(jié)奏來(lái)選取特征幀，并用特征幀觸發(fā)對(duì)受關(guān)注事件的發(fā)生進(jìn)行報(bào)警。
本發(fā)明的智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，包括以下步驟
(1)將監(jiān)控視頻幀中運(yùn)動(dòng)受關(guān)注區(qū)域從監(jiān)控視頻中提取出來(lái)；
(2)將監(jiān)控視頻幀中靜止受關(guān)注區(qū)域從監(jiān)控視頻中提取出來(lái)；
(3)將靜止受關(guān)注區(qū)域與動(dòng)態(tài)受關(guān)注區(qū)域融合，得到監(jiān)控視頻幀中最終的視覺(jué)受關(guān)注區(qū)域；
(4)從監(jiān)控視頻幀中的受關(guān)注區(qū)域中篩選出至少一個(gè)最受關(guān)注的區(qū)域；
(5)將受關(guān)注區(qū)域變化的幀，選為候選幀；
(6)再將選定的候選幀進(jìn)行前后幀比較，選定特征幀，來(lái)表示受關(guān)注事件的發(fā)生。
步驟(1)中，運(yùn)動(dòng)受關(guān)注區(qū)域提取可以根據(jù)需要采用現(xiàn)有的運(yùn)動(dòng)區(qū)域提取的各種方法，如幀差法、LK光流算法、基于塊運(yùn)動(dòng)估計(jì)的方法、多層次圖分割前景提取方法、基于顏色紋理信息的快速前景提取方法或混合高斯背景建模方法等；
步驟O)中，靜止受關(guān)注區(qū)域提取可以根據(jù)需要，采用基于局部特征的提取方法、 基于全局特征的提取方法、局部與全局結(jié)合的提取方法或者是基于顏色、紋理、亮度等特征的提取方法?；诰植刻卣鞯奶崛》椒ǎ缰醒?周邊差法、顏色對(duì)比法及多低級(jí)特征局部對(duì)比法等。基于全局特征的提取方法，如顏色直方圖法、圖像頻譜殘差法及圖像頻率調(diào)制法。局部與全局結(jié)合的提取方法，如中央-周邊差結(jié)合圖像頻譜殘差的方法或中央-周邊差結(jié)合顏色直方圖的方法等?；陬伾?、紋理、亮度等特征的提取方法，如基于顏色直方圖的方法、中央-周邊差的方法等。
步驟(3)中，靜止受關(guān)注區(qū)域與動(dòng)態(tài)受關(guān)注區(qū)域融合可以根據(jù)需要采用運(yùn)動(dòng)優(yōu)先、運(yùn)動(dòng)靜態(tài)并重或者靜態(tài)優(yōu)先的準(zhǔn)則。
步驟中，監(jiān)控視頻中受關(guān)注區(qū)域的篩選可以根據(jù)需要選擇基于灰度能量和的方法、基于灰度能量局部最大值的方法或基于顏色對(duì)比度的方法等。
步驟(5)中，選擇候選幀時(shí)，可以根據(jù)需要采用基于灰度能量的變化方法、基于灰度能量局部最大值的方法或基于顏色對(duì)比度的變化方法等。
步驟(6)中，特征幀的選定，可以根據(jù)需要對(duì)前后兩幀進(jìn)行比較，在前后兩幀進(jìn)行比較過(guò)程中，當(dāng)受關(guān)注區(qū)域變化大于設(shè)定的門限時(shí)，將后一幀、前一幀、或者兩幀同時(shí)選定為特征幀。
本發(fā)明考慮到人眼注視的特性，用動(dòng)、靜態(tài)受關(guān)注區(qū)域形成視頻關(guān)注節(jié)奏來(lái)選取特征幀，并用特征幀觸發(fā)對(duì)受關(guān)注事件的發(fā)生進(jìn)行報(bào)警，能夠以符合人眼注視特性的方式， 在智能視頻監(jiān)控系統(tǒng)中對(duì)監(jiān)控視頻中的受關(guān)注事件進(jìn)行智能實(shí)時(shí)的檢測(cè)，實(shí)時(shí)地對(duì)事件的發(fā)生進(jìn)行報(bào)警，有效地遏制惡性事件或是危險(xiǎn)情況的發(fā)展，對(duì)于監(jiān)控視頻中事件智能實(shí)時(shí)檢測(cè)的意義非常重大。


圖1是本發(fā)明方法的流程圖。
圖2是本方法提取的特征幀。
圖3是視頻檢測(cè)出特征幀在時(shí)間上的對(duì)應(yīng)位置圖。
具體實(shí)施方式
圖1給出了本發(fā)明的具體流程，采用LK光流算法和混合高斯建模技術(shù)檢測(cè)視頻的運(yùn)動(dòng)受關(guān)注區(qū)域，對(duì)視頻中各幀提取靜態(tài)受關(guān)注區(qū)域，兩者融合得到視頻各幀的最終視覺(jué)受關(guān)注區(qū)域；然后將受關(guān)注區(qū)域變化的幀作為候選幀；最后將候選幀的相鄰幀進(jìn)行比較， 將大于設(shè)定閾值的幀選為特征幀，在特征幀出現(xiàn)的時(shí)刻進(jìn)行報(bào)警提醒，以此來(lái)表征受關(guān)注事件的發(fā)生。根據(jù)所示的流程，具體包括以下步驟
1.動(dòng)態(tài)受關(guān)注區(qū)域的提取
將輸入的視頻序列應(yīng)用LK光流算法和混合高斯建模算法分別檢測(cè)運(yùn)動(dòng)目標(biāo)，將得到的運(yùn)動(dòng)目標(biāo)圖像運(yùn)用基本的形態(tài)學(xué)操作如膨脹、腐蝕得到最終的動(dòng)態(tài)受關(guān)注區(qū)域。運(yùn)動(dòng)目標(biāo)檢測(cè)的具體實(shí)施過(guò)程是從當(dāng)前幀中提取前景，其目的是使背景更接近當(dāng)前視頻幀的背景。即利用當(dāng)前幀和視頻序列中的當(dāng)前背景幀進(jìn)行加權(quán)平均來(lái)更新背景。為了彌補(bǔ)攝像機(jī)的運(yùn)動(dòng)對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)造成的影響，采用LK光流算法對(duì)幀進(jìn)行檢測(cè)，從而達(dá)到較好的視頻幀前景與背景的分離，所謂的前景就是我們所指的運(yùn)動(dòng)目標(biāo)。從而形成動(dòng)態(tài)受關(guān)注區(qū)域 T_sm。
2.靜態(tài)受關(guān)注區(qū)域的提取
基于顏色、紋理、亮度等視覺(jué)特征對(duì)視頻中每幀進(jìn)行處理，得到各幀的靜態(tài)受關(guān)注區(qū)域S_sm。
3.根據(jù)運(yùn)動(dòng)優(yōu)先原則將靜、動(dòng)態(tài)受關(guān)注區(qū)域進(jìn)行融合。生物研究表明人眼往往對(duì)運(yùn)動(dòng)的物體比較敏感，基于運(yùn)動(dòng)優(yōu)先性，我們定義動(dòng)態(tài)跟靜態(tài)受關(guān)注區(qū)域的權(quán)重如下
wT = T_sm' Xexp(l-T_sm' )，ws = l_wT
這里T_sm' = Max (T_sm) -Mean (T_sm)，wT和ws分別是動(dòng)態(tài)受關(guān)注區(qū)域和靜態(tài)受關(guān)注區(qū)域的權(quán)重。
最終形成的受關(guān)注區(qū)域?yàn)?br> Saliency = wT X T_sm+ws X S-sm
4.對(duì)得到的動(dòng)、靜態(tài)受關(guān)注區(qū)域圖進(jìn)行關(guān)注區(qū)域的篩選，以8*8大小的塊對(duì)各幀對(duì)應(yīng)的動(dòng)、靜態(tài)關(guān)注圖進(jìn)行關(guān)注區(qū)域的篩選，具體過(guò)程如下
(1)對(duì)每一子塊取均值，找到均值最大的塊，然后將均值最大塊的均值的90%設(shè)定為閾值Tl，以該塊為中心，若均值大于該閾值就將原來(lái)的塊擴(kuò)展一行，這樣逐行擴(kuò)展直到小于該閾值為止；再用同樣的方法進(jìn)行二次擴(kuò)展，這時(shí)閾值為T2，這樣就得到了受關(guān)注最高的區(qū)域。
(2)將步驟(1)中得到的區(qū)域置為零，重復(fù)步驟(1)的過(guò)程得到第二個(gè)受關(guān)注區(qū)域。
(3)將兩個(gè)區(qū)域分別取均值，進(jìn)行比較，找到第二個(gè)區(qū)域的均值比第一個(gè)區(qū)域的均值大的幀作為特征幀的候選幀，然后對(duì)這些幀相鄰的幀求距離，大于設(shè)定的閾值T3的幀選出作為特征幀，特征幀出現(xiàn)的時(shí)刻也正是突發(fā)事件可能發(fā)生的時(shí)刻。
為了證明本發(fā)明的有效性，進(jìn)行了相應(yīng)實(shí)驗(yàn)，圖2給出了從視頻中檢測(cè)出來(lái)的特征幀，其中包括人物進(jìn)入監(jiān)控(圖2中的(a))、從監(jiān)控中離開(kāi)(圖2中的(f))、以及兩個(gè)人物在監(jiān)控場(chǎng)景中的關(guān)鍵動(dòng)作(圖2中的(b)-(e))的特征幀。由圖2可以看出選出的特征幀能夠代表視頻中主要受關(guān)注事件出現(xiàn)的時(shí)刻，在這樣的時(shí)刻可以進(jìn)行實(shí)時(shí)的報(bào)警，就可以達(dá)到事件智能實(shí)時(shí)檢測(cè)的目的。圖3通過(guò)曲線的方式表明了受關(guān)注事件發(fā)生的時(shí)序，其中峰值出現(xiàn)的時(shí)刻是特征幀出現(xiàn)的時(shí)刻，可以在這些時(shí)刻進(jìn)行提示報(bào)警，已達(dá)到事件檢測(cè)的目的。
綜上分析，本發(fā)明提出的基于動(dòng)、靜態(tài)受關(guān)注區(qū)域從而提取特征幀的方法能夠得到監(jiān)控視頻中的受關(guān)注事件，能夠有效的遏制惡性事件或危險(xiǎn)情況的發(fā)展，因此用特征幀觸發(fā)進(jìn)行事件檢測(cè)的方法可以應(yīng)用到監(jiān)控視頻的事件智能實(shí)時(shí)檢測(cè)中。
權(quán)利要求
1.一種智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，其特征在于包括以下步驟(1)將監(jiān)控視頻幀中運(yùn)動(dòng)受關(guān)注區(qū)域從監(jiān)控視頻中提取出來(lái)；(2)將監(jiān)控視頻幀中靜止受關(guān)注區(qū)域從監(jiān)控視頻中提取出來(lái)；(3)將靜止受關(guān)注區(qū)域與動(dòng)態(tài)受關(guān)注區(qū)域融合，得到監(jiān)控視頻幀中最終的視覺(jué)受關(guān)注區(qū)域；(4)從監(jiān)控視頻幀中的受關(guān)注區(qū)域中篩選出至少一個(gè)最受關(guān)注的區(qū)域；(5)將受關(guān)注區(qū)域變化的幀，選為候選幀；(6)再將選定的候選幀進(jìn)行前后幀比較，選定特征幀，來(lái)表示受關(guān)注事件的發(fā)生。
2.根據(jù)權(quán)利要求1所述的智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，其特征在于所述步驟(1)中，運(yùn)動(dòng)受關(guān)注區(qū)域提取采用幀差法、LK光流算法、基于塊運(yùn)動(dòng)估計(jì)的方法、多層次圖分割前景提取方法、基于顏色紋理信息的快速前景提取方法或混合高斯背景建模方法。
3.根據(jù)權(quán)利要求1所述的智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，其特征在于所述步驟O)中，靜止受關(guān)注區(qū)域提取采用基于局部特征的提取方法、基于全局特征的提取方法、局部與全局結(jié)合的提取方法或者是基于顏色、紋理、亮度特征的提取方法。
4.根據(jù)權(quán)利要求1所述的智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，其特征在于所述步驟(3)中，靜止受關(guān)注區(qū)域與動(dòng)態(tài)受關(guān)注區(qū)域融合采用運(yùn)動(dòng)優(yōu)先、運(yùn)動(dòng)靜態(tài)并重或者靜態(tài)優(yōu)先的準(zhǔn)則。
5.根據(jù)權(quán)利要求1所述的智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，其特征在于所述步驟中，監(jiān)控視頻中受關(guān)注區(qū)域的篩選選擇基于灰度能量和的方法、基于灰度能量局部最大值的方法或基于顏色對(duì)比度的方法。
6.根據(jù)權(quán)利要求1所述的智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，其特征在于所述步驟(5)中，選擇候選幀時(shí)采用基于灰度能量的變化方法、基于灰度能量局部最大值的方法或基于顏色對(duì)比度的變化方法。
7.根據(jù)權(quán)利要求1所述的智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，其特征在于所述步驟(6)中，特征幀的選定對(duì)前后兩幀進(jìn)行比較，在前后兩幀進(jìn)行比較過(guò)程中，當(dāng)受關(guān)注區(qū)域變化大于設(shè)定的門限時(shí)，將后一幀、前一幀或者兩幀同時(shí)選定為特征幀。
全文摘要
本發(fā)明提出了一種智能監(jiān)控中以特征幀觸發(fā)的事件檢測(cè)方法，包括以下步驟(1)將監(jiān)控視頻幀中運(yùn)動(dòng)受關(guān)注區(qū)域從監(jiān)控視頻中提取出來(lái)；(2)將監(jiān)控視頻幀中靜止受關(guān)注區(qū)域從監(jiān)控視頻中提取出來(lái)；(3)將靜止受關(guān)注區(qū)域與動(dòng)態(tài)受關(guān)注區(qū)域融合，得到監(jiān)控視頻幀中最終的視覺(jué)受關(guān)注區(qū)域；(4)從監(jiān)控視頻幀中的受關(guān)注區(qū)域中篩選出至少一個(gè)最受關(guān)注的區(qū)域；(5)將受關(guān)注區(qū)域變化的幀，選為候選幀；(6)再將選定的候選幀進(jìn)行前后幀比較，選定特征幀表示受關(guān)注事件的發(fā)生。本發(fā)明用特征幀觸發(fā)對(duì)受關(guān)注事件的發(fā)生進(jìn)行報(bào)警，能夠以符合人眼注視特性的方式，在智能視頻監(jiān)控系統(tǒng)中對(duì)監(jiān)控視頻中的受關(guān)注事件進(jìn)行智能實(shí)時(shí)的檢測(cè)，實(shí)時(shí)地對(duì)事件的發(fā)生進(jìn)行報(bào)警。
文檔編號(hào)H04N7/18GK102496024SQ20111038243
公開(kāi)日2012年6月13日 申請(qǐng)日期2011年11月25日 優(yōu)先權(quán)日2011年11月25日
發(fā)明者孫建德, 張麗坤, 張 杰 申請(qǐng)人:山東大學(xué)