本發(fā)明屬于計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域，特別涉及一種多信息融合的火焰煙霧檢測方法。

背景技術(shù)：

智能視頻監(jiān)控技術(shù)的行業(yè)應(yīng)用在國內(nèi)處于剛起步的狀態(tài)。傳統(tǒng)的視頻監(jiān)控行業(yè)需要大量的人力資源來人工觀看各路網(wǎng)絡(luò)攝像頭，并判斷是否有違法行為或者災(zāi)難事件的發(fā)生。這種監(jiān)控模式不僅浪費(fèi)了大量的人力財(cái)力，而且容易發(fā)生疏忽遺漏的情況。因此，把計(jì)算機(jī)視覺中的相關(guān)技術(shù)應(yīng)用到視頻監(jiān)控領(lǐng)域，作為一種輔助手段來提高監(jiān)控事件的準(zhǔn)確性，減少人力資源的投入，是一種主流的行業(yè)趨勢。

隨著目前國內(nèi)環(huán)境污染問題的凸顯，國家開始對(duì)污染源進(jìn)行控制，其中一項(xiàng)關(guān)鍵的政策就是禁止秸稈燃燒，秸稈燃燒所產(chǎn)生的有毒氣體，不僅會(huì)加重霧霾狀況，而且會(huì)對(duì)人類和其他生物的健康造成威脅。目前檢測秸稈燃燒的方法是人工視頻監(jiān)控，這種方法不僅消耗大量人力財(cái)力，而且容易產(chǎn)生遺漏現(xiàn)象，如果能夠利用機(jī)器學(xué)習(xí)和模式識(shí)別的理論來設(shè)計(jì)一種火焰和煙霧檢測技術(shù)，讓計(jì)算機(jī)來智能地檢測這種狀況，將大大的提高檢測的魯棒性，減少人力資源的投入。

火焰和煙霧檢測雖然是兩種不同的技術(shù)，但是兩者具有相似的框架。這個(gè)框架通常包括1)前景檢測、2)模式識(shí)別。因?yàn)榛鹧婧蜔熿F是運(yùn)動(dòng)的，通過前景檢測能夠消除靜止的相似物體對(duì)于檢測的影響，如天空中的云、紅顏色衣服的房子。模式識(shí)別這一步通過對(duì)火焰(煙霧)的特性進(jìn)行多模式構(gòu)建，來進(jìn)一步的區(qū)別火焰(煙霧)與干擾物，提高檢測的準(zhǔn)確率，減少虛警概率。這一步往往是算法設(shè)計(jì)的核心，所設(shè)計(jì)模式的合適與否往往決定了算法的最終性能。

前景檢測的方法有很多，一般分為背景建模、幀間差分和光流法等。一般在火焰和煙霧檢測中所用到的前景檢測算法都比較簡單。在進(jìn)行模式識(shí)別時(shí)，第一步就是目標(biāo)特征模式的構(gòu)建，特征的合適與否往往決定了我們能否把目標(biāo)與背景區(qū)別開來。特征的設(shè)計(jì)有兩種普遍的方法，第一種是人為設(shè)計(jì)，第二種就是讓計(jì)算機(jī)自己去學(xué)習(xí)特征(如深度學(xué)習(xí))。第二種方法需要巨大數(shù)量的訓(xùn)練樣本，但是目前具有標(biāo)簽的火焰(煙霧)樣本庫很少，所以基本上沒有文獻(xiàn)采用這種方法去學(xué)習(xí)火焰(煙霧)的特征。

現(xiàn)存的一些火焰煙霧檢測方法只采用較為單一的火焰煙霧特性進(jìn)行檢測，雖然它們?cè)诤唵喂潭ǖ沫h(huán)境中具有較好的檢測效果，但是在自然場景中往往會(huì)產(chǎn)生較多的誤檢和漏檢。為了使煙霧火焰檢測可以正真應(yīng)用到實(shí)際監(jiān)控場景，而不是紙上談兵，我們?cè)O(shè)計(jì)了一個(gè)多信息融合的火焰煙霧檢測方法，對(duì)火焰煙霧的多種特性進(jìn)行提取并融合，有利于減少實(shí)際場景中的誤檢，提高系統(tǒng)的魯棒性。我們的火焰檢測方法能夠能夠?qū)崟r(shí)運(yùn)行并且計(jì)算機(jī)資源占用率低，能夠在一臺(tái)普通的服務(wù)器虛擬機(jī)上并行運(yùn)行100路。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種多信息融合的火焰煙霧檢測方法，以解決現(xiàn)有火焰煙霧檢測方法在自然場景中檢測準(zhǔn)確率低的問題。

本發(fā)明采用的技術(shù)方案為：首先采用一種對(duì)視頻抖動(dòng)不敏感的變化像素檢測方法對(duì)視頻圖像中有較大變化的像素進(jìn)行檢測，然后對(duì)這些像素進(jìn)行顏色特性檢測，得到所有符合火焰煙霧顏色的像素。再對(duì)這些像素進(jìn)行連通區(qū)域分割，得到所有變化較大且符合火焰煙霧顏色特性的區(qū)域。對(duì)這些區(qū)域進(jìn)行簡單的形態(tài)學(xué)處理，再對(duì)這些區(qū)域的形狀、面積、位置進(jìn)行邏輯判斷，剔除一些明顯不是火焰煙霧的區(qū)域，得到最終的火焰煙霧檢測結(jié)果。具體步驟如下：

步驟1：輸入初始圖像

輸入第一幀初始圖像并作為歷史圖像進(jìn)行保存。

步驟2：變化像素檢測

輸入下一幀圖像，把這幅圖像中的每個(gè)像素點(diǎn)與歷史圖像中的鄰域像素點(diǎn)進(jìn)行差值計(jì)算并取絕對(duì)值，再取所有絕對(duì)值的最小值進(jìn)行閾值比較，大于閾值的像素點(diǎn)被認(rèn)為是前景點(diǎn)，小于閾值的像素點(diǎn)被認(rèn)為是背景點(diǎn)。這樣可以消除視頻抖動(dòng)對(duì)于前景點(diǎn)檢測的干擾。判斷公式如下：

其中，r表示坐標(biāo)(x，y)的鄰域，i表示時(shí)間，表示t時(shí)刻圖像中(x，y)坐標(biāo)處的像素值，thres表示閾值。

步驟3：顏色特性檢測

對(duì)步驟2中提取的所有前景點(diǎn)進(jìn)行火焰煙霧顏色特性判斷。煙霧的顏色偏白并且r、g、b三個(gè)通道相似，它的灰度會(huì)隨著背景關(guān)照變化而變化，所以采用相對(duì)值比較的方法。煙霧的顏色檢測公式如下：

其中，ix，y表示圖像中(x，y)坐標(biāo)處的像素灰度值，iavg表示整幅圖像的平均灰度值，r，g，b分別表示每個(gè)像素的三個(gè)顏色通道，thres1和thres2表示閾值。

火焰顏色偏紅，因?yàn)榛鹧媸枪庠?，它的顏色基本不隨背景光照變化而變化，所以采用絕對(duì)值比較。火焰的顏色檢測公式如下：

其中，ix，y表示圖像中(x，y)坐標(biāo)處的像素灰度值，r，g，b分別表示每個(gè)像素的三個(gè)顏色通道，thres1和thres2表示閾值。

通過顏色檢測后，我們能夠得到一幅二值圖像，所有符合煙霧或者火焰顏色特性的像素點(diǎn)標(biāo)記為1，其他點(diǎn)標(biāo)記為0。然后我們對(duì)整幅圖像進(jìn)行分塊，在每個(gè)分塊里面統(tǒng)計(jì)煙霧火焰點(diǎn)的比例，大于一定比例的點(diǎn)被認(rèn)為是正檢點(diǎn)，這樣可以排除部分噪聲點(diǎn)對(duì)于檢測的干擾。公式如下：

其中，r表示坐標(biāo)(x，y)的鄰域，thres表示閾值。

步驟4：連通區(qū)域分割

通過顏色檢測以后，我們得到一幅二值圖，每個(gè)像素表示它是否屬于煙霧或者火焰，取值范圍是[0，1]，1表示煙霧或火焰，0表示背景。但是我們無法通過單一的像素來判斷是否是煙霧或者火焰，因此我們需要提取出成片的煙霧或者火焰，這里的聯(lián)通區(qū)域分割就是提取出圖像中所有的煙霧火焰塊。對(duì)顏色檢測后的二值圖像提取輪廓，得到多個(gè)疑似煙霧或者火焰的區(qū)域。

步驟5：形狀、面積、位置邏輯判斷

煙霧火焰的形狀一般都是不規(guī)則的，所以如果步驟4中得到的區(qū)域是矩形或者三角形，則認(rèn)為干擾區(qū)域，直接排除；如果檢測區(qū)域的面積過小，很可能也是干擾物，直接排除；如果檢測區(qū)域位于整幅圖像的邊緣處，則可能由于圖像邊緣效應(yīng)造成干擾，直接排除。

步驟6：綜合判斷

如果經(jīng)過步驟2-5，我們檢測到了火焰或者煙霧區(qū)域，則認(rèn)為這幅圖像中存在火焰或者煙霧，對(duì)所有煙霧區(qū)域用白色邊緣進(jìn)行標(biāo)示，對(duì)所有火焰區(qū)域用紅色邊緣進(jìn)行標(biāo)示。

附圖說明

圖1為多信息融合的火焰煙霧檢測方法的總體流程圖。

圖2為實(shí)施例中的火焰煙霧檢測效果圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)說明。

以下實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。

實(shí)施例

本實(shí)施例對(duì)一段農(nóng)田秸稈焚燒視頻進(jìn)行火焰煙霧檢測，該視頻從實(shí)際監(jiān)控?cái)z像頭中獲取，背景中具有較多的干擾物，圖2消失了火焰煙霧的檢測效果。具體的實(shí)施方法包括以下步驟：

步驟1：輸入初始圖像

提取視頻中的第一幀圖像進(jìn)行輸入，作為歷史圖像進(jìn)行保存。

步驟2：變化像素檢測

輸入下一幀圖像，把這幅圖像中的每個(gè)像素點(diǎn)與歷史圖像中的鄰域像素點(diǎn)進(jìn)行差值計(jì)算并取絕對(duì)值，再取所有絕對(duì)值的最小值進(jìn)行閾值比較，大于閾值的像素點(diǎn)被認(rèn)為是前景點(diǎn)，小于閾值的像素點(diǎn)被認(rèn)為是背景點(diǎn)。這樣可以消除視頻抖動(dòng)對(duì)于前景點(diǎn)檢測的干擾。判斷公式如下：

其中，r表示坐標(biāo)(x，y)的鄰域，這里取9×9的鄰域；t表示時(shí)間，表示t時(shí)刻圖像中(x，y)坐標(biāo)處的像素值，thres表示閾值，這里取thres＝15。

步驟3：顏色特性檢測

對(duì)步驟2中提取的所有前景點(diǎn)進(jìn)行火焰煙霧顏色特性判斷。煙霧的顏色偏白并且r、g、b三個(gè)通道相似，它的灰度會(huì)隨著背景關(guān)照變化而變化，所以采用相對(duì)值比較的方法。煙霧的顏色檢測公式如下：

其中，ix，y表示圖像中(x，y)坐標(biāo)處的像素灰度值，iavg表示整幅圖像的平均灰度值，r，g，b分別表示每個(gè)像素的三個(gè)顏色通道，thres1和thres2表示閾值，這里取thres1＝20，thres2＝0.15。

火焰顏色偏紅，因?yàn)榛鹧媸枪庠矗念伾静浑S背景光照變化而變化，所以采用絕對(duì)值比較。火焰的顏色檢測公式如下：

其中，ix，y表示圖像中(x，y)坐標(biāo)處的像素灰度值，r，g，b分別表示每個(gè)像素的三個(gè)顏色通道，thres1、thres2和thres3表示閾值，這里取thres1＝200，thres2＝30。

通過顏色檢測后，我們能夠得到一幅二值圖像，所有符合煙霧或者火焰顏色特性的像素點(diǎn)標(biāo)記為1，其他點(diǎn)標(biāo)記為0。然后我們對(duì)整幅圖像進(jìn)行分塊，在每個(gè)分塊里面統(tǒng)計(jì)煙霧火焰點(diǎn)的比例，大于一定比例的點(diǎn)被認(rèn)為是正檢點(diǎn)，這樣可以排除部分噪聲點(diǎn)對(duì)于檢測的干擾。公式如下：

其中，r表示坐標(biāo)(x，y)的鄰域，thres表示閾值，這里取thres＝0.3。

步驟4：連通區(qū)域分割

通過顏色檢測以后，我們得到一幅二值圖，每個(gè)像素表示它是否屬于煙霧或者火焰，取值范圍是[0，1]，1表示煙霧或火焰，0表示背景。但是我們無法通過單一的像素來判斷是否是煙霧或者火焰，因此我們需要提取出成片的煙霧或者火焰，這里的聯(lián)通區(qū)域分割就是提取出圖像中所有的煙霧火焰塊。對(duì)顏色檢測后的二值圖像提取輪廓，得到多個(gè)疑似煙霧或者火焰的區(qū)域。

步驟5：形狀、面積、位置邏輯判斷

煙霧火焰的形狀一般都是不規(guī)則的，所以如果步驟4中得到的區(qū)域是矩形或者三角形，則認(rèn)為干擾區(qū)域，直接排除；如果檢測區(qū)域的面積小于圖像總面積的0.05％，很可能也是干擾物，直接排除；如果檢測區(qū)域與圖像的邊緣的距離小于20像素，則可能由于圖像邊緣效應(yīng)造成干擾，直接排除。

步驟6：綜合判斷

如果經(jīng)過步驟2-5，我們檢測到了火焰或者煙霧區(qū)域，則認(rèn)為這幅圖像中存在火焰或者煙霧，對(duì)所有煙霧區(qū)域用白色邊緣進(jìn)行標(biāo)示，對(duì)所有火焰區(qū)域用紅色邊緣進(jìn)行標(biāo)示。最終的檢測結(jié)果如圖2所示。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。