專利名稱：基于視頻分析的煙火檢測裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及煙火檢測裝置，用于實現(xiàn)遠距離煙與火的檢測與報警。
技術(shù)背景
現(xiàn)有的視頻煙火檢測方法大都是基于前景特征判別的方法，典型步驟為1)在視頻圖像中分提取動態(tài)區(qū)域，即前景區(qū)域?；美脽熁鸬纳葘W(xué)特征從前景中獲取煙火區(qū)域。3)跟蹤前景煙火團塊，計算煙火團塊的運動參數(shù)，如形狀、紋理、特征點位置等參數(shù)的變化。4)如前景煙火團塊的運動各參數(shù)滿足預(yù)先設(shè)定的條件則產(chǎn)生煙火報警。
這種基于前景檢測的方法在應(yīng)用中常出現(xiàn)以下問題
1)易誤報
視頻中煙和火焰的運動速度是由環(huán)境中氣流的運動速度和拍攝景物距離決定的， 當(dāng)氣流運動很快或物距很小時，煙和火焰在視頻中的團塊運動狀態(tài)很不穩(wěn)定，這使煙火團塊的跟蹤時間縮短，即需要在較短的時間內(nèi)基于一個較小的樣本數(shù)對煙火產(chǎn)生判別。而在復(fù)雜環(huán)境下一些干擾物短時也能產(chǎn)生與煙火相近的特征，因而會產(chǎn)生誤報。
2)易漏報
為了降低誤報率，一般須設(shè)定更嚴(yán)格的煙火判別條件。但如前面所述，視頻中的煙與火焰的特征除顏色以外大部分是由風(fēng)速、拍攝距離等外部因素決定的，當(dāng)外部因素出變化很大時，視頻中煙火的特征也變化很大，如煙火判別條件沒有覆蓋特征量變化范圍時就可能產(chǎn)生漏報。發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題是克服現(xiàn)有技術(shù)的不足，提供一種具有低漏報率和低誤報率的煙火檢測裝置。
本發(fā)明的技術(shù)解決方案是基于視頻分析的煙火檢測裝置，包括
圖像采集單元U1，獲取彩色圖像幀序列，彩色圖像素數(shù)值以RGB色空間表示；
背景建模及前景提取單元U2，提取幀序列圖像中的前景圖像，并且使背景模型參數(shù)反應(yīng)煙火目標(biāo)的顏色及紋理信息；
前景目標(biāo)跟蹤單元U3，跟蹤前景圖像序列中的各前景目標(biāo)，并計算各前景目標(biāo)的運動參數(shù)，其中運動參數(shù)包含中心位置、大小、速度、剛性度、剛性度變化率和跳躍指數(shù)；記錄目標(biāo)出現(xiàn)時的位置和大小以及目標(biāo)消失前的位置和大小；
前景目標(biāo)非煙火判別單元U4,根據(jù)各前景目標(biāo)的運動參數(shù)判別前景目標(biāo)是否為非煙火，令非煙火目標(biāo)所在區(qū)域停止背景模型參數(shù)更新；
背景模型煙火特征提取單元U5，間隔數(shù)幀為一周期，讀取背景模型參數(shù)，從中提取出滿足顏色及紋理條件的可疑煙火區(qū)域；
可疑煙火目標(biāo)跟蹤單元TO，跟蹤可疑煙火區(qū)域時間序列中的可疑煙火目標(biāo)；
火焰形狀動態(tài)屬性檢測單元U7，計算可疑火目標(biāo)的火焰占空比、火焰跳躍指數(shù)和火焰分裂指數(shù)；
煙火判別單元U8，通過關(guān)聯(lián)前景目標(biāo)參數(shù)和可疑煙火目標(biāo)參數(shù)，對煙火進行最終判別。
進一步地，所述背景建模及前景提取單元U2采用改進的混合高斯模型提取幀序列圖像中的前景圖像，并且使背景模型參數(shù)反應(yīng)煙火目標(biāo)的顏色及紋理信息；具體包括
圖像中每個像素建立3到5個高斯模型(3 < KS 5)，每個高斯模型^auss (i)， 1 ^ i ^ K)包含 RGB 三通道的均值(MeaniPMeaniPMeanuhSS (Vai^10VariPVariJ、 權(quán)重(Wi)和匹配數(shù)(MatchCnti)；
判斷圖像中一個像素與某一高斯模型匹配的方法為像素RGB矢量與此高斯模型均值矢量的2-范數(shù)的平方大于此高斯模型方差矢量的1-范數(shù)的、倍，即
(R-Meani, K) 2+(G-Meani, G) 2+(B-Meani, B)2 < y X (varijE+varijG+varijB)；
若一個像素至少與一個權(quán)重大于規(guī)定閾值的高斯模型匹配，則此像素為背景，否則為前景；
在存儲器中有一個背景更新掩膜，掩膜中的值代表圖像對應(yīng)像素位置是否允許背景模型參數(shù)更新；
允許參數(shù)更新時，若像素與高斯模型匹配，則對高斯模型RGB均值和方差以及高斯模型的權(quán)重進行動態(tài)更新；即
Meanijc(t+Ι) = (l-α ) XMeanij0(t) + α XCXMatchiXUpdate
Varijc(t+1) = (1-α ) XVarijC(t) + a X (C-Meanijc(t))2XMatchiXUpdate
Wi (t+1) = (l-α ) Xffi (t) + α XMatchiXUpdate
其中，i = 1，2，. . .，K ;C為(x，y)像素位置值任一 RGB通道；(x，y)位置像素值與第i個高斯模型匹配則Matchi為1，否則為0 ； (X，y)位置背景更新掩膜的值等于0則 Update為1，否則為0，α為更新率。
在允許參數(shù)更新的情況下，若像素值與高斯模型匹配，則此高斯模型的匹配數(shù)加 1，否則匹配數(shù)減1，最小減到0 ；當(dāng)某個高斯模型的匹配數(shù)大于規(guī)定閾值時，使這個高斯模型的權(quán)重不小于判斷其為背景高斯模型的值；
每個像素的各高斯模型按權(quán)重由大到小進行排序。
進一步地，所述前景目標(biāo)跟蹤單元U3跟蹤前景圖像序列中的各前景目標(biāo)，并計算各前景目標(biāo)的運動參數(shù)，其中運動參數(shù)包含中心位置、大小、速度、剛性度和剛性度變化率、 跳躍指數(shù)；將消失目標(biāo)的信息保存在緩沖區(qū)中，記錄目標(biāo)出現(xiàn)時的位置和大小以及目標(biāo)消失前的位置和大小。
其中，所述剛性度為目標(biāo)輪廓周長的平方與目標(biāo)面積之比；即
剛什目標(biāo)輪廓周長)2 目標(biāo)面積
所述剛性度變化率為前后兩幀剛性度之差的絕對值，所述跳躍指數(shù)是目標(biāo)在特定時間內(nèi)剛性度變化率大于規(guī)定閾值的次數(shù)。
進一步地，所述前景目標(biāo)非煙火判別單元U4根據(jù)各前景目標(biāo)的運動參數(shù)判別前景目標(biāo)是否為非煙火，若為非煙火，則利用所述背景更新掩膜停止前景目標(biāo)區(qū)域內(nèi)的背景模型參數(shù)更新。非煙火的判據(jù)為前景目標(biāo)的剛性度小于規(guī)定閾值，或剛性度變化率小于規(guī)定閾值。
進一步地，所述背景煙火特征提取單元U5間隔數(shù)幀交替進入煙判別周期或火判別周期，在煙或火判別周期中，讀取所有像素的背景模型參數(shù)，將符合煙火顏色及紋理特征的像素標(biāo)記為可疑點，再根據(jù)矩形網(wǎng)格區(qū)域內(nèi)可疑點的數(shù)量以及前后兩幀圖像的變化率確定警戒塊的狀態(tài)，警戒塊狀態(tài)值組成警戒塊圖像。
由背景模型參數(shù)提取煙霧和火焰特征的理論依據(jù)為煙霧和火焰有各自的顏色特征，當(dāng)圖像中固定位置在一段時間內(nèi)有煙火經(jīng)過時，煙火的顏色特征便逐漸融入到高斯模型的均值參數(shù)中。由于煙火目標(biāo)內(nèi)部各點的顏色通常是逐漸變化的，區(qū)域相關(guān)性很強，對于背景模型中固定像素位置的混合高斯模型，如設(shè)置適當(dāng)高的參數(shù)更新率，經(jīng)過此像素位置的煙火RGB值主要會更新某一個高斯模型，并使它的權(quán)重升高，此高斯模型的均值相當(dāng)于煙火目標(biāo)內(nèi)某一區(qū)域的顏色均值。因為煙霧與火焰特征顏色空間定義為凸形，所以煙火更新的高斯模型RGB均值也在煙火特征顏色空間內(nèi)，高斯模型的權(quán)重反應(yīng)煙火信號的持續(xù)時間。煙霧內(nèi)部存在很強的紋理相關(guān)性，表現(xiàn)為大部分區(qū)域顏色變化梯度小，顏色變化梯度大的區(qū)域之間顏色重復(fù)幾率大，運動煙霧的這一特征會體現(xiàn)在權(quán)重最低高斯模型的權(quán)重和匹配數(shù)中。
在煙判別周期中，匹配數(shù)最高的高斯模型為主背景模型，高斯模型權(quán)重順序中規(guī)定位置的兩相鄰高斯模型中非主背景模型者為煙顏色模型，權(quán)重最低的高斯模型為煙紋理模型。判斷某個像素為可疑點的判據(jù)為同時滿足強度條件、顏色條件、和紋理條件。
條件1 (強度條件)主背景模型的權(quán)重小于規(guī)定閾值且煙顏色模型的權(quán)重大于規(guī)定閾值；
條件2 (顏色條件)煙顏色模型的RGB均值滿足RGB最大值與RGB最小值之差小于規(guī)定閾值，且RGB三者平均值介于大小兩規(guī)定閾值之間。
條件3 (紋理條件)煙紋理模型的權(quán)重小于規(guī)定閾值或煙紋理模型的匹配數(shù)大于規(guī)定閾值。
在火判別周期中，規(guī)定權(quán)重序號范圍中的首個權(quán)重低于規(guī)定閾值的高斯模型為過火模型。判斷某個像素為可疑點的判據(jù)為同時滿足強度條件和顏色條件。
條件1 (強度條件)過火模型的權(quán)重大于規(guī)定閾值
條件2 (顏色條件)過火模型的RGB均值中，R大于B，且B大于G，且R與RGB之和的比值小于規(guī)定閾值。
進一步地，所述可疑煙火目標(biāo)跟蹤單元TO在煙判別周期或火判別周期內(nèi)，分別對警戒塊圖像中的可疑煙目標(biāo)或可疑火目標(biāo)進行跟蹤，并計算目標(biāo)所在區(qū)域內(nèi)強信號警戒塊所占的比例。
進一步地，所述火焰形狀動態(tài)屬性檢測定單元U7中，火焰占空比為火焰閃爍區(qū)域內(nèi)當(dāng)前幀RGB圖像滿足火焰顏色條件部分所占的比例；
火焰跳躍指數(shù)為可疑火目標(biāo)所在區(qū)域?qū)?yīng)的前景目標(biāo)的跳躍指數(shù)；
火焰分裂指數(shù)為分裂焰尖的數(shù)量，即在可疑煙火目標(biāo)所在區(qū)域內(nèi)產(chǎn)生又在可疑煙火目標(biāo)上方消失的小尺度目標(biāo)在特定時間范圍內(nèi)出現(xiàn)的個數(shù)。
進一步地，所述煙火判別單元U8對煙霧的判定條件為
條件1 可疑煙目標(biāo)所在區(qū)域中強信號警戒塊所占比例大于規(guī)定閾值，
條件2 可疑煙目標(biāo)的面積大于規(guī)定閾值，
條件3 可疑煙目標(biāo)所在區(qū)域如果存在前景目標(biāo)，則前景目標(biāo)的當(dāng)前面積需大于目標(biāo)出現(xiàn)時的面積規(guī)定倍數(shù)以上；
所述煙火判別單元U8對火焰的判定條件為
條件1 可疑火目標(biāo)所在區(qū)域中強信號警戒塊所占比例大于規(guī)定閾值，
條件2 可疑火目標(biāo)的面積大于規(guī)定閾值，
條件3 可疑火目標(biāo)的火焰占空比介于兩規(guī)定閾值之間，
條件4 可疑火目標(biāo)的火焰跳躍指數(shù)大于規(guī)定閾值，
條件5 可疑火目標(biāo)的火焰分裂指數(shù)大于規(guī)定閾值。
本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點本發(fā)明可同時或單獨檢測煙霧和火焰，混合高斯模型不僅用于背景建模與前景提取，而且用于提取煙火的顏色與紋理在較長時間內(nèi)的統(tǒng)計信息，從而降低了誤報率與漏報率。


以下將結(jié)合附圖對本發(fā)明的具體實施方式
進行說明。
圖1為根據(jù)本發(fā)明的煙霧檢測裝置示意圖。
圖2為根據(jù)本發(fā)明的火焰檢測裝置示意圖。
圖3為一種煙火檢測裝置結(jié)構(gòu)框圖。
圖4為帶有遠程終端的煙火檢測裝置結(jié)構(gòu)框圖。
具體實施方式
實施例一
如圖1-3所示，基于視頻分析的煙火檢測裝置包括
1、圖像采集單元Ul
圖像采集單元從監(jiān)控攝像頭獲取彩色圖像幀序列，彩色圖像每像素的值以RGB色空間表示，每像素有R、G、B三個通道。
2、背景建模及前景提取單元U2
采用改進的混合高斯模型，提取一幀圖像中的前景圖像，并且使背景模型參數(shù)反應(yīng)煙火目標(biāo)的顏色及紋理信息。具體包括
對圖像采集單元獲取的彩色圖像序列進行各像素顏色變化統(tǒng)計。圖像中每個像素建立3到5個高斯模型，每個高斯模型包含RGB三通道的均值和方差、權(quán)重和匹配數(shù)；
判斷圖像中一個像素與某一高斯模型匹配的方法為像素RGB矢量與此高斯模型均值矢量的2-范數(shù)的平方大于此高斯模型方差矢量的1-范數(shù)的2. 5倍；如果一個像素至少與一個權(quán)重大于規(guī)定閾值的高斯模型匹配，則此像素為背景，否則為前景。
在存儲器中有一個背景更新掩膜，掩膜中的值對應(yīng)圖像中每個像素位置，當(dāng)值為0 時允許對應(yīng)像素的混合高斯模型參數(shù)更新，當(dāng)值為1時停止對應(yīng)像素的參數(shù)更新；
允許參數(shù)更新時，如果像素與高斯模型匹配則以特定更新率(例如0.01)對高斯模型的RGB三通道均值分別做動態(tài)更新，更新的輸入值分別為當(dāng)前幀圖像的RGB各自通道值。
允許參數(shù)更新時，如果像素與高斯模型匹配則以特定更新率(例如0.01)對高斯模型的RGB三通道方差分別做動態(tài)更新，更新的輸入值分別為當(dāng)前幀圖像的RGB值與高斯模型RGB均值各自通道值的差的平方。
允許參數(shù)更新時，對高斯模型的權(quán)重按特定更新率進行動態(tài)更新，如果像素與高斯模型匹配則更新輸入值為1，否則更新輸入值為0 ；
允許參數(shù)更新時，如像素與高斯模型匹配，則此高斯模型的匹配數(shù)加1，否則匹配數(shù)減1，最小減到0 ；當(dāng)某個高斯模型的匹配數(shù)大于規(guī)定閾值時，使這個高斯模型的權(quán)重不小于判斷其為背景高斯模型的值；
每個像素的各高斯模型按權(quán)重由大到小進行排序。
3、前景目標(biāo)跟蹤單元U3
前景目標(biāo)跟蹤單元U3對前景圖像中的各目標(biāo)進行跟蹤，計算目標(biāo)的中心位置(一階矩)、目標(biāo)大小(二階中心矩)、速度、剛性度、剛性度變化率、跳躍指數(shù)等目標(biāo)運動特征， 將消失目標(biāo)的信息保存在緩沖區(qū)中；記錄目標(biāo)剛出現(xiàn)時的位置、大小以及目標(biāo)消失前的位置、大?。凰鰟傂远葹槟繕?biāo)輪廓周長的平方與目標(biāo)面積之比。
前景目標(biāo)跟蹤單元U3可采用多種目標(biāo)跟蹤算法，如區(qū)域跟蹤法、MeanShift跟蹤算法、粒子濾波跟蹤法、MeanShift嵌入粒子濾波跟蹤法以及主動輪廓跟蹤法等。
這里詳述的目標(biāo)跟蹤算法為基于Kalman濾波的區(qū)域跟蹤法。步驟如下
1)前景連通域標(biāo)記
前景連通域標(biāo)記采用二次掃描法，輸入前景圖像，輸出連通域索引圖和連通域參數(shù)列表。連通域索引圖中每個像素位置標(biāo)記此像素所屬連通域的編號，連通域參數(shù)列表中每個連通域的信息包括外接矩形、一階矩、二階中心距、連通域面積、邊緣點個數(shù)等參數(shù)。
2)前景連通域聚類
對各連通域進行相關(guān)計算，如果兩個不同連通域非常接近(如在水平和垂直方向同時滿足兩一階矩差的絕對值小于兩二階中心矩之和)則將這兩個連通域合并。聚類后的連通域稱為團塊(blob)。此過程產(chǎn)生一個前景團塊列表。
3)前景團塊靜態(tài)特征計算
計算每個團塊的中心位置(一階矩)、大小(二階中心矩)、外接矩形、團塊面積和剛性度。
團塊面積為團塊中所有連通域面積之和。
剛性度為團塊邊緣點數(shù)的平方與團塊面積之比。
4)前景團塊跟蹤
前景團塊跟蹤過程中管理目標(biāo)跟蹤列表、試跟蹤列表、跟蹤回收列表。一個目標(biāo)在視頻中出現(xiàn)后，在試跟蹤列表中生成一個跟蹤單元。經(jīng)過3至5幀確認(rèn)此目標(biāo)運動穩(wěn)定(目標(biāo)速度的方差在規(guī)定閾值內(nèi))后，將此跟蹤單元移至目標(biāo)跟蹤列表。目標(biāo)在視頻中消失規(guī)定幀數(shù)后，將此跟蹤單元移至跟蹤回收列表，等待其他功能單元讀取其信息后釋放存儲器空間。
每一幀的具體操作步驟如下
a)目標(biāo)跟蹤列表中各跟蹤單元的Kalman濾波器預(yù)測目標(biāo)在新的一幀中的位置和大小。檢測出相互遮擋的目標(biāo)。
b)將目標(biāo)跟蹤列表中不會遮擋的跟蹤單元與前景團塊進行相關(guān)比較。對于一個跟蹤單元，在所有它的中心位置和大小接近程度滿足規(guī)定閾值且最接近(如在水平和垂直方向同時滿足兩一階矩差的絕對值小于兩二階中心矩之和)的前景團塊與其匹配。用匹配團塊的中心位置、團塊大小修正Kalman濾波器對目標(biāo)中心位置、目標(biāo)大小和速度的估計量。
c)如果目標(biāo)跟蹤列表中某個跟蹤單元沒有匹配的團塊，則判別目標(biāo)為消失狀態(tài)， 消失次數(shù)加1。如果目標(biāo)連續(xù)多幀消失則其對應(yīng)的跟蹤單元被移至回收列表中。
d)試跟蹤列表中的各跟蹤單元與剩下的未匹配的前景團塊進行相關(guān)比較。如果一個跟蹤單元沒有匹配的前景團塊則此跟蹤單元被刪除，存儲器空間被釋放。如果跟蹤單元連續(xù)多幀匹配，且運動狀態(tài)穩(wěn)定(目標(biāo)速度的方差在規(guī)定閾值內(nèi))則此跟蹤單元被移動至目標(biāo)跟蹤列表中，否則此跟蹤單元被刪除，存儲器空間被釋放。
e)剩下的前景團塊產(chǎn)生新的跟蹤單元置于試跟蹤列表中。
5)目標(biāo)運動特征計算
計算目標(biāo)的中心位置、大小、速度、剛性度、剛性度變化率。
目標(biāo)中心位置為經(jīng)Kalman濾波的團塊一階矩。
目標(biāo)大小為經(jīng)Kalman濾波的團塊二階矩。
目標(biāo)速度為經(jīng)Kalman濾波的團塊速度。
目標(biāo)剛性度為與當(dāng)前幀目標(biāo)對應(yīng)團塊的剛性度。
剛性度變化率為前后兩幀剛性度之差的絕對值。
跳躍指數(shù)是目標(biāo)在特定時間內(nèi)剛性度變化率大于規(guī)定閾值的次數(shù)。具體計算方式為每一幀處理中，如剛性度變化率大于規(guī)定閾值，則跳躍指數(shù)加1 ；以預(yù)設(shè)幀數(shù)為周期跳躍指數(shù)減1，最小減到0。
4、前景目標(biāo)非煙火判別單元U4
如果前景目標(biāo)的剛性度小于規(guī)定閾值，或剛性度變化率小于規(guī)定閾值，則前景目標(biāo)被判斷為非煙火，利用背景建模及前景提取單元中所述背景更新掩膜停止前景目標(biāo)區(qū)域內(nèi)的背景模型參數(shù)更新。每一幀處理中先將背景更新掩膜中所有數(shù)據(jù)全部置0，需要停止非煙火目標(biāo)背景模型參數(shù)更新時，將目標(biāo)外接矩形范圍內(nèi)的背景更新掩膜的值置1。
在本單元中還計算目標(biāo)的跳躍指數(shù)，跳躍指數(shù)是目標(biāo)在特定時間內(nèi)剛性度變化率大于規(guī)定閾值的次數(shù)。具體計算方式為每一幀處理中，如剛性度變化率大于規(guī)定閾值，則跳躍指數(shù)加1 ；以預(yù)設(shè)幀數(shù)為周期跳躍指數(shù)減1，最小減到0。5、背景煙火特征提取單元TO
背景煙火特征提取單元的具體操作如下
背景煙火特征提取單元間交替進入煙判別周期和火判別周期，之間可間隔數(shù)幀的空閑時間(例如5幀)；煙或火判別周期中，讀取所有像素的背景模型參數(shù)，將符合煙火顏色及紋理特征的像素標(biāo)記為可疑點，再根據(jù)矩形區(qū)域內(nèi)可疑點的數(shù)量確定警戒塊的狀態(tài)；
煙判別周期中，匹配數(shù)最高的高斯模型為主背景模型，高斯模型權(quán)重順序中規(guī)定位置的兩相鄰高斯模型中非主背景模型者為煙顏色模型，權(quán)重最低的高斯模型為煙紋理模型。對于K等于3的情況，Gauss(I)與GauSS(2)中匹配數(shù)高的為主背景模型，低的為煙顏色模型，GauSS(3)為煙紋理模型。
煙判別周期可疑點的判別條件為
條件1 (強度條件)主背景模型的權(quán)重小于規(guī)定閾值(例如0. 9)且煙顏色模型的權(quán)重大于規(guī)定閾值(例如0. 3)；
條件2(顏色條件)煙顏色模型的RGB均值滿足RGB最大值與RGB最小值之差小于規(guī)定閾值(例如40)，且RGB三者平均值介于大小兩規(guī)定閾值之間(例如80和M0)。
條件3(紋理條件)煙紋理模型的權(quán)重小于規(guī)定閾值(例如0. 或煙紋理模型的匹配數(shù)大于規(guī)定閾值(例如20)。
將一幀圖像劃分為網(wǎng)格狀的大小相等的若干塊狀子區(qū)域(例如8x8)，每個子區(qū)域為一個警戒塊，用于標(biāo)記區(qū)域內(nèi)的煙火信號狀態(tài)。在存儲器中存儲煙警戒塊圖像和火警戒塊圖像。警戒塊圖像中某一像素數(shù)值代表對應(yīng)的警戒塊狀態(tài)。
煙判別周期內(nèi)，通過一個狀態(tài)機根據(jù)警戒塊內(nèi)可疑點的數(shù)量來決定警戒塊狀當(dāng)前周期的狀態(tài)，狀態(tài)包括0無信號，1弱信號，2，強信號，3失常信號。
狀態(tài)機實現(xiàn)按以下方式實現(xiàn)
0)警戒塊初始狀態(tài)為無信號
1)當(dāng)警戒塊狀態(tài)在上一判別周期為無信號時，如塊內(nèi)可疑點數(shù)小于規(guī)定閾值1則本判別周期的狀態(tài)繼續(xù)為無信號，如塊內(nèi)可疑點數(shù)介于規(guī)定閾值1和規(guī)定閾值3之間，則本判別周期的狀態(tài)為弱信號，如塊內(nèi)可疑點數(shù)大于規(guī)定閾值3，則本判別周期的狀態(tài)為失常信號；
2)當(dāng)警戒塊狀態(tài)在上一判別周期為弱信號時，如塊內(nèi)可疑點數(shù)小于規(guī)定閾值1則本判別周期的狀態(tài)為無信號，如塊內(nèi)可疑點數(shù)介于規(guī)定閾值1和規(guī)定閾值2之間則本判別周期的狀態(tài)繼續(xù)為弱信號，如塊內(nèi)可疑點數(shù)大于規(guī)定閾值2則本判別周期的狀態(tài)為強信號；
3)當(dāng)警戒塊狀態(tài)在上一判別周期為強信號時，如塊內(nèi)可疑點數(shù)小于規(guī)定閾值1則本判別周期的狀態(tài)為無信號，否則狀態(tài)繼續(xù)為強信號；
4)當(dāng)警戒塊狀態(tài)在上一判別周期為失常強信號時，如塊內(nèi)可疑點數(shù)小于規(guī)定閾值 1則本判別周期的狀態(tài)為無信號，否則狀態(tài)繼續(xù)為失常強信號。
其中，閾值1的值可為10，閾值2的值可為20。
火判別周期中，規(guī)定權(quán)重序號范圍中首個權(quán)重低于規(guī)定閾值的高斯模型為過火模型。對于K等于3的情況，如GaussO)的權(quán)重小于規(guī)定閾值(例如0. 4)，則過火模型為 Gauss (2)，否則過火模型為Gauss (3)。
火判別周期可疑點的判別條件為
條件1 (強度條件)過火模型的權(quán)重大于規(guī)定閾值(例如0. 2)
條件2 (顏色條件)過火模型的RGB均值中，R大于B，且B大于G，且R與RGB之和的比值小于規(guī)定閾值(例如0. 4)。
火判別周期警戒塊狀態(tài)通過判斷塊內(nèi)可疑點數(shù)量來賦值，狀態(tài)分為0無信號，1 弱信號，2強信號。如果塊內(nèi)可疑點數(shù)量小于規(guī)定閾值1，則狀態(tài)為無信號，如果塊內(nèi)可疑點數(shù)量介于規(guī)定閾值1與規(guī)定閾值2之間則狀態(tài)為弱信號，如果塊內(nèi)可疑點數(shù)量大于規(guī)定閾值2則狀態(tài)為強信號。其中，閾值1的值可為10，閾值2的值可為20。
煙或火判別周期中，如果警戒塊狀態(tài)非0且警戒塊位置對應(yīng)的先后兩幀圖像塊的 RGB差值平方和小于規(guī)定閾值(例如1280)，即圖像動態(tài)性低，則將警戒塊狀態(tài)賦值為0。
6、可疑煙火目標(biāo)跟蹤單元TO
在煙判別周期和火判別周期內(nèi)，分別對警戒塊圖像中的可疑煙目標(biāo)和可疑火目標(biāo)進行區(qū)域跟蹤。
用與前景目標(biāo)跟蹤單元相同的二次掃描法求得狀態(tài)非0 (無信號)警戒塊的連通域。將警戒塊連通域用與前景目標(biāo)跟蹤單元相同的連通域聚類方法產(chǎn)生團塊，即可疑煙火目標(biāo)。用區(qū)域跟蹤法分別對煙判別周期和火判別周期可疑目標(biāo)進行跟蹤。并計算可疑煙火目標(biāo)的中心位置(一階矩)和大小(二階中心矩)、包含警戒塊數(shù)量(目標(biāo)面積)、和強信號警戒塊的比例。強信號警戒塊比例為可疑煙火目標(biāo)中狀態(tài)為強信號警戒塊的數(shù)量與此目標(biāo)所有警戒塊數(shù)量之比。
7、火焰形狀動態(tài)屬性檢測單元U7
在火判別周期中，火焰形狀動態(tài)屬性檢測單元計算火焰占空比、火焰跳躍指數(shù)和分裂指數(shù)；
火焰占空比為可疑火目標(biāo)中所有警戒塊對應(yīng)當(dāng)前幀圖像像素中RGB值滿足背景煙火特征提取單元中所述火焰顏色條件的比例。
火焰跳躍指數(shù)為將可疑火目標(biāo)的中心位置和目標(biāo)大小警戒塊大小所定的比例關(guān)系(8倍)換算到當(dāng)前幀圖像中決定一個矩形區(qū)域，如果這個矩形區(qū)域與前景目標(biāo)跟蹤單元中保存的某個前景目標(biāo)在中心位置和目標(biāo)大小的接近程度在規(guī)定閾值內(nèi)(如在水平和垂直方向同時滿足兩一階矩差的絕對值小于兩二階中心矩之和)則將此前景目標(biāo)的跳躍指數(shù)作為可疑火目標(biāo)的火焰跳躍指數(shù)。
火焰分裂指數(shù)的計算方法為將可疑火目標(biāo)的中心位置和目標(biāo)大小按警戒塊大小所定比例關(guān)系(8倍)換算到當(dāng)前幀圖像中決定一個矩形區(qū)域，遍歷前景目標(biāo)跟蹤單元的消失目標(biāo)緩沖區(qū)，當(dāng)發(fā)現(xiàn)某個消失目標(biāo)的寬高小于前述矩形區(qū)域?qū)捀叩囊?guī)定倍數(shù)(例如 1/4)，且消失目標(biāo)的目標(biāo)產(chǎn)生位置為前述矩形區(qū)域內(nèi)，且消失目標(biāo)的目標(biāo)消失位置在前述矩形區(qū)域上方，則將火焰分裂指數(shù)加1?；鹧娣至阎笖?shù)每到規(guī)定的數(shù)個火檢測周期減1，最小減到0。
8、煙火判別單元U8
在煙判別周期中完成煙霧的判別，煙霧的判定條件為
條件1 可疑煙目標(biāo)包含的所有警戒塊中強信號警戒塊所占比例大于規(guī)定閾值 (例如30% ),
條件2 可疑煙目標(biāo)所含警戒塊數(shù)量大于規(guī)定閾值(例如4個)，
條件3 將可疑火目標(biāo)的中心位置和目標(biāo)大小按警戒塊大小所定的比例關(guān)系(8 倍)換算到當(dāng)前幀圖像中，決定一個矩形區(qū)域，如果這個矩形區(qū)域與前景目標(biāo)跟蹤單元中保存的某個前景目標(biāo)在中心位置和目標(biāo)大小的接近程度在規(guī)定閾值內(nèi)(如在水平和垂直方向同時滿足兩一階矩差的絕對值小于兩二階中心矩之和)，則此前景目標(biāo)當(dāng)前寬高乘積需大于目標(biāo)產(chǎn)生時的寬高乘積的規(guī)定倍數(shù)(例如2倍)以上。
在火判別周期中完成火焰的判別，火焰的判定條件為
條件1 可疑火目標(biāo)包含的所有警戒塊中強信號警戒塊所占比例大于規(guī)定閾值 (例如30% ),
條件2 可疑火目標(biāo)所含警戒塊數(shù)量大于規(guī)定閾值(例如4個)，
條件3 可疑火目標(biāo)的火焰占空比需介于兩規(guī)定閾值之間(例如40%至90% )，
條件4 可疑火目標(biāo)的火焰跳躍指數(shù)大于規(guī)定閾值，
條件5 可疑火目標(biāo)的火焰分裂指數(shù)大于規(guī)定閾值。
實施例二
如圖4所示，在實施例一的基礎(chǔ)上，系統(tǒng)中增加了 RTU功能組件負(fù)責(zé)獲取采集狀態(tài)量或數(shù)據(jù)向遠端發(fā)送，或輸出控制量。
本發(fā)明不局限于權(quán)利要求和上述實施例所述及的內(nèi)容，只要是根據(jù)本發(fā)明的構(gòu)思所創(chuàng)作出來的任何發(fā)明，都應(yīng)歸屬于本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.基于視頻分析的煙火檢測裝置，其特征在于，包括圖像采集單元(Ul)，獲取彩色圖像幀序列，彩色圖像素數(shù)值以RGB色空間表示； 背景建模及前景提取單元(U2)，提取幀序列圖像中的前景圖像，并且使背景模型參數(shù)反應(yīng)煙火目標(biāo)的顏色及紋理信息；前景目標(biāo)跟蹤單元(U； )，跟蹤前景圖像序列中的各前景目標(biāo)，并計算各前景目標(biāo)的運動參數(shù)，其中運動參數(shù)包含中心位置、大小、速度、剛性度、剛性度變化率和跳躍指數(shù)；前景目標(biāo)非煙火判別單元(U4)，根據(jù)各前景目標(biāo)的運動參數(shù)判別前景目標(biāo)是否為非煙火，令非煙火目標(biāo)所在區(qū)域停止背景模型參數(shù)更新；背景模型煙火特征提取單元(冊)，間隔數(shù)幀為一周期，讀取背景模型參數(shù)，從中提取出滿足顏色及紋理條件的可疑煙火區(qū)域；可疑煙火目標(biāo)跟蹤單元⑴6)，跟蹤可疑煙火區(qū)域時間序列中的可疑煙火目標(biāo)； 火焰形狀動態(tài)屬性檢測單元(U7)，計算可疑火目標(biāo)的火焰占空比、火焰跳躍指數(shù)和火焰分裂指數(shù)；煙火判別單元(U8)，通過關(guān)聯(lián)前景目標(biāo)參數(shù)和可疑煙火目標(biāo)參數(shù)，對煙火進行最終判別。
2.根據(jù)權(quán)利要求1所述的基于視頻分析的煙火檢測裝置，其特征在于，所述背景建模及前景提取單元(似)采用改進的混合高斯模型提取幀序列圖像中的前景圖像，并且使背景模型參數(shù)反應(yīng)煙火目標(biāo)的顏色及紋理信息；具體包括圖像中每個像素建立3到5個高斯模型，每個高斯模型包含RGB三通道的均值、方差、 權(quán)重和匹配數(shù)；若一個像素至少與一個權(quán)重大于規(guī)定閾值的高斯模型匹配，則此像素為背景，否則為前景；在存儲器中有一個背景更新掩膜，掩膜中的值代表圖像對應(yīng)像素位置是否允許背景模型參數(shù)更新；在允許參數(shù)更新的情況下，若像素與高斯模型匹配，則對高斯模型RGB均值和方差以及高斯模型的權(quán)重進行動態(tài)更新；在允許參數(shù)更新的情況下，若像素值與高斯模型匹配，則此高斯模型的匹配數(shù)加1，否則匹配數(shù)減1，最小減到0 ；當(dāng)某個高斯模型的匹配數(shù)大于規(guī)定閾值時，使這個高斯模型的權(quán)重不小于判斷其為背景高斯模型的值；每個像素的各高斯模型按權(quán)重由大到小進行排序。
3.根據(jù)權(quán)利要求2所述的基于視頻分析的煙火檢測裝置，其特征在于，所述前景目標(biāo)跟蹤單元(TO)跟蹤前景圖像序列中的各前景目標(biāo)，將消失目標(biāo)的信息保存在緩沖區(qū)中，記錄目標(biāo)出現(xiàn)時的位置和大小以及目標(biāo)消失前的位置和大小。
4.根據(jù)權(quán)利要求3所述的基于視頻分析的煙火檢測裝置，其特征在于，所述剛性度為目標(biāo)輪廓周長的平方與目標(biāo)面積之比；所述跳躍指數(shù)為目標(biāo)在特定時間內(nèi)剛性度變化率大于規(guī)定閾值的次數(shù)。
5.根據(jù)權(quán)利要求2所述的基于視頻分析的煙火檢測裝置，其特征在于，所述前景目標(biāo)非煙火判別單元(U4)根據(jù)各前景目標(biāo)的運動參數(shù)判別前景目標(biāo)是否為非煙火，若為非煙火，則利用所述背景更新掩膜停止前景目標(biāo)區(qū)域內(nèi)的背景模型參數(shù)更新。
6.根據(jù)權(quán)利要求2所述的基于視頻分析的煙火檢測裝置，其特征在于，所述背景煙火特征提取單元(冊)間隔數(shù)幀交替進入煙判別周期或火判別周期，在煙或火判別周期中，讀取所有像素的背景模型參數(shù)，將符合煙火顏色及紋理特征的像素標(biāo)記為可疑點，再根據(jù)矩形網(wǎng)格區(qū)域內(nèi)可疑點的數(shù)量以及前后兩幀圖像的變化率確定警戒塊的狀態(tài)，警戒塊狀態(tài)值組成警戒塊圖像。
7.根據(jù)權(quán)利要求6所述的基于視頻分析的煙火檢測裝置，其特征在于，在煙判別周期中，匹配數(shù)最高的高斯模型為主背景模型，高斯模型權(quán)重順序中規(guī)定位置的兩相鄰高斯模型中非主背景模型者為煙顏色模型，權(quán)重最低的高斯模型為煙紋理模型；在火判別周期中，規(guī)定權(quán)重序號范圍中的首個權(quán)重低于規(guī)定閾值的高斯模型為過火模型。
8.根據(jù)權(quán)利要求6所述的基于視頻分析的煙火檢測裝置，其特征在于，所述可疑煙火目標(biāo)跟蹤單元(U6)在煙判別周期或火判別周期內(nèi)，分別對警戒塊圖像中的可疑煙目標(biāo)或可疑火目標(biāo)進行跟蹤，并計算目標(biāo)所在區(qū)域內(nèi)強信號警戒塊所占的比例。
9.根據(jù)權(quán)利要求6所述的基于視頻分析的煙火檢測裝置，其特征在于，所述火焰形狀動態(tài)屬性檢測單元(U7)中，火焰占空比為火焰閃爍區(qū)域內(nèi)當(dāng)前幀RGB圖像滿足火焰顏色條件部分所占的比例；火焰跳躍指數(shù)為可疑火目標(biāo)所在區(qū)域?qū)?yīng)的前景目標(biāo)的跳躍指數(shù)； 火焰分裂指數(shù)為分裂焰尖的數(shù)量，即在可疑煙火目標(biāo)所在區(qū)域內(nèi)產(chǎn)生又在可疑煙火目標(biāo)上方消失的小尺度目標(biāo)在特定時間范圍內(nèi)出現(xiàn)的個數(shù)。
10.根據(jù)權(quán)利要求9所述的基于視頻分析的煙火檢測裝置，其特征在于，所述煙火判別單元(U8)對煙霧的判定條件為條件1 可疑煙目標(biāo)所在區(qū)域中強信號警戒塊所占比例大于規(guī)定閾值， 條件2 可疑煙目標(biāo)的面積大于規(guī)定閾值，條件3 可疑煙目標(biāo)所在區(qū)域如果存在前景目標(biāo)，則前景目標(biāo)的當(dāng)前面積需大于目標(biāo)出現(xiàn)時的面積規(guī)定倍數(shù)以上；所述煙火判別單元(U8)對火焰的判定條件為條件1 可疑火目標(biāo)所在區(qū)域中強信號警戒塊所占比例大于規(guī)定閾值，條件2 可疑火目標(biāo)的面積大于規(guī)定閾值，條件3 可疑火目標(biāo)的火焰占空比介于兩規(guī)定閾值之間，條件4 可疑火目標(biāo)的火焰跳躍指數(shù)大于規(guī)定閾值，條件5 可疑火目標(biāo)的火焰分裂指數(shù)大于規(guī)定閾值。
全文摘要
基于視頻分析的煙火檢測裝置，包括圖像采集單元；背景建模及前景提取單元，提取幀序列圖像中的前景圖像；前景目標(biāo)跟蹤單元，跟蹤前景圖像中的各目標(biāo)，計算目標(biāo)的運動參數(shù)；前景目標(biāo)非煙火判別單元，根據(jù)運動參數(shù)判別目標(biāo)是否為非煙火，令非煙火目標(biāo)所在區(qū)域停止背景模型參數(shù)更新；背景模型煙火特征提取單元，讀取背景模型參數(shù)，提取滿足顏色及紋理條件的可疑煙火區(qū)域；可疑煙火目標(biāo)跟蹤單元，跟蹤可疑煙火區(qū)域時間序列中的可疑煙火目標(biāo)；火焰形狀動態(tài)屬性檢測單元，計算可疑火目標(biāo)的占空比、跳躍指數(shù)和分裂指數(shù)；煙火判別單元，通過關(guān)聯(lián)前景目標(biāo)參數(shù)和可疑煙火目標(biāo)參數(shù)，對煙火進行最終判別。本發(fā)明具有低漏報率和低誤報率的優(yōu)點。
文檔編號G06K9/00GK102509078SQ201110335578
公開日2012年6月20日 申請日期2011年10月28日 優(yōu)先權(quán)日2011年10月28日
發(fā)明者任鵬遠, 俞凌, 卓明, 盧銘, 黃維光 申請人:北京安控科技股份有限公司