本發(fā)明涉及火災(zāi)探測、圖像型火災(zāi)探測器，尤其涉及一種基于運(yùn)動特征融合的氣體泄漏檢測可視化識別方法。

背景技術(shù)：

1、傳統(tǒng)的氣體檢測，要求人員近距離在現(xiàn)場手持工具檢測，有些場所因?yàn)榈赜颡M窄，或有危險(xiǎn)因素，不便于人員靠近，這都給氣體檢測帶來的一定的難度。相較于傳統(tǒng)氣體檢測方法，紅外熱成像氣體檢測（ogi）檢測范圍大、距離遠(yuǎn)、效率高、直觀易懂，可以在危險(xiǎn)或難以達(dá)到的區(qū)域幾百米外進(jìn)行檢測作業(yè)，對人員安全也更有保障。

2、紅外熱成像氣體檢測技術(shù)，以快速檢測到泄露氣體的存在和準(zhǔn)確定位泄漏源為目標(biāo)，其以紅外機(jī)芯、熱成像模組或者熱像儀為基礎(chǔ)，根據(jù)氣體成像的特點(diǎn)進(jìn)行選擇性的窄帶波段窗口設(shè)計(jì)，只需對涵蓋氣體特征吸收峰的一個或幾個紅外波段進(jìn)行探測成像，并通過專門的圖像濾波和增強(qiáng)處理，即可在輸出視頻圖像中及時、直觀地展現(xiàn)氣體泄漏的情況，幫助檢測人員發(fā)現(xiàn)泄漏源，評估氣體的擴(kuò)散趨勢及可能造成的危害。這類紅外檢測設(shè)備通常分為制冷型和非制冷型兩大類，非制冷型紅外氣體溫度檢測設(shè)備因其結(jié)構(gòu)簡單、成本較低、可靠性高而在許多領(lǐng)域得到廣泛應(yīng)用，可用于電力、石油、天然氣、石化、化工、能源生產(chǎn)、環(huán)境監(jiān)測等行業(yè)。

3、當(dāng)前現(xiàn)有的產(chǎn)品研究成果，包括但不限于通過基于傳統(tǒng)機(jī)器學(xué)習(xí)的幀差法、光流法、背景減除法等，對通過紅外氣體溫度檢測設(shè)備采集到的連續(xù)視頻幀進(jìn)行運(yùn)動提取計(jì)算，得出泄漏氣體所在的像素區(qū)域；基于深度學(xué)習(xí)的檢測方法，通過使用cnn（卷積神經(jīng)網(wǎng)絡(luò)）提取紅外圖像中的氣體特征，訓(xùn)練視覺檢測算法模型，來預(yù)測氣體泄漏檢測。

4、但本技術(shù)發(fā)明人發(fā)現(xiàn)上述技術(shù)至少存在如下技術(shù)問題：

5、首先，現(xiàn)有的基于傳統(tǒng)機(jī)器學(xué)習(xí)的產(chǎn)品采用的方法主要是幀差法和光流法。

6、幀差法是通過比較連續(xù)兩幀或多幀圖像的差異來檢測泄漏區(qū)域的。該方法靈敏度比較低，只能檢測到較大的氣體泄漏，因?yàn)檩^小的氣體泄漏可能不會導(dǎo)致相鄰幀產(chǎn)生足夠的差異。同時，該方法易受環(huán)境因素影響，例如光照變化、物體移動等，這些因素可能會導(dǎo)致相鄰幀差異較大，從而導(dǎo)致誤報(bào)。

7、光流法是通過分析圖像序列中物體運(yùn)動的模式來檢測泄漏的。該方法需要處理整個視頻序列，計(jì)算復(fù)雜度高，可能導(dǎo)致實(shí)時性不足。對于非剛性物體或光照變化較大的場景，光流法的性能可能受限。如果氣體泄漏的運(yùn)動不明顯或與背景運(yùn)動相似，光流法可能難以準(zhǔn)確檢測。

8、其次，現(xiàn)有的基于深度學(xué)習(xí)的檢測方法，需要大量的、高質(zhì)量的訓(xùn)練數(shù)據(jù)。而開源的紅外氣體泄漏數(shù)據(jù)比較少，數(shù)據(jù)收集難度也很大，導(dǎo)致無法獲取足夠的樣本數(shù)據(jù)，也就很難訓(xùn)練出高質(zhì)量的模型。另外，紅外圖像的對比度比較低，泄漏氣體的邊緣模糊，難以從背景中區(qū)分出來；紅外圖像的質(zhì)量較差，會受到溫度波動、光照變化、相似背景物體等干擾，導(dǎo)致泄漏氣體很難被有效識別。

9、最后，現(xiàn)有產(chǎn)品大部分都是針對單一指定場景做一些定制檢測處理，不適用于背景環(huán)境變化較大，以及泄漏氣體運(yùn)動不明顯的場景；也有些只采用深度學(xué)習(xí)方法，該方法不適用于訓(xùn)練數(shù)據(jù)量少，以及目標(biāo)與背景難以區(qū)分的場景。這些算法不具備多種場景的泛化能力，對于每一種場景都要采集大量的數(shù)據(jù)，增大了很多工作量。

10、因此，目前缺乏一整套成熟高效、可行性高、可實(shí)際落地應(yīng)用于絕大多數(shù)社會生產(chǎn)生活的整體性全套解決方案，以及該方案如何真正實(shí)現(xiàn)通用有效的檢測出場景繁雜的紅外氣體泄漏情況，及時給出告警，為安全護(hù)航。本發(fā)明就是基于上述技術(shù)難題提出了一種既可快速實(shí)時檢測，又具有高精度檢測的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、針對上述技術(shù)問題，本技術(shù)提供一種基于運(yùn)動特征融合的氣體泄漏檢測可視化識別方法。本發(fā)明通過結(jié)合深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)的方法，在紅外氣體泄漏數(shù)據(jù)很難收集的背景下，只需要采集少量當(dāng)前場景數(shù)據(jù)進(jìn)行few-shot學(xué)習(xí)，即可快速訓(xùn)練得到適應(yīng)于當(dāng)前場景的檢測模型，大幅減少了數(shù)據(jù)收集和模型訓(xùn)練難度，并且得到的檢測模型在滿足快速實(shí)時檢測的基礎(chǔ)上，具有非常高的精度，適用于絕大多數(shù)工業(yè)應(yīng)用場景。

2、本技術(shù)提供了一種基于運(yùn)動特征融合的氣體泄漏檢測可視化識別方法，其特征在于，包括：

3、步驟s1：采集紅外氣體泄漏圖像樣本數(shù)據(jù)；

4、步驟s2：將所述紅外氣體泄漏圖像樣本數(shù)據(jù)進(jìn)行抽幀和正負(fù)樣本標(biāo)注；

5、步驟s3：圖像預(yù)處理，提取圖像氣體泄漏的運(yùn)動特征；

6、步驟s4：融合標(biāo)注數(shù)據(jù)和運(yùn)動特征，基于yolov5紅外圖像檢測方法，采用預(yù)先收集的大量已有紅外氣體泄漏數(shù)據(jù)集，訓(xùn)練生成預(yù)訓(xùn)練權(quán)重模型；在預(yù)訓(xùn)練權(quán)重模型基礎(chǔ)上，進(jìn)行當(dāng)前場景的few-shot學(xué)習(xí)，得到紅外氣體泄漏檢測的微調(diào)模型；

7、步驟s5：將訓(xùn)練出來的微調(diào)模型用于紅外氣體泄漏視頻推理測試，輸出氣體泄露預(yù)測結(jié)果。

8、作為優(yōu)選，在步驟s2中，所述紅外氣體泄漏圖像樣本數(shù)據(jù)的抽幀和標(biāo)注包括以下步驟：

9、s21：對紅外相機(jī)采集的所有紅外氣體泄漏視頻，進(jìn)行抽幀處理，得到紅外氣體泄漏圖像；

10、s22：使用labelimg工具對所有紅外氣體泄漏圖像，進(jìn)行泄漏氣體、易混淆背景的矩形框繪制標(biāo)注，得到正負(fù)樣本標(biāo)注數(shù)據(jù)。

11、作為優(yōu)選，在步驟s3包括：

12、s31：利用opencv圖像處理技術(shù)，雙邊濾波進(jìn)行去噪處理，再通過clahe圖像增強(qiáng)技術(shù)改善圖像的對比度；

13、s32：選擇視頻序列的前t幀，構(gòu)建基于?k-nearest?neighbors?算法的背景模型，所述背景模型的構(gòu)建方法如下：

14、?（1）

15、式中，為估計(jì)密度，表示樣本集，，表示背景像素，表示前景像素，表示視頻向前獲取的序列幀數(shù)，為半徑為的超球內(nèi)核的體積，是核函數(shù)，若，則，否則為0，是超球的直徑，表示核體積中包含的樣本數(shù)，超球直徑的大小與樣本量有關(guān)，以當(dāng)前像素樣本為中心，逐漸擴(kuò)大超球直徑，直到它包含個樣本，固定個最近鄰；

16、s33：在時刻t，所述背景模型可以確定每個新的像素樣本x是屬于背景還是前景，評估過程如下：

17、?（2）

18、其中，為估計(jì)密度，與和成正比關(guān)系；近似為：

19、?（3）

20、其中，為背景模型權(quán)重向量，在時刻m，使用表示樣本的前景，表示樣本的背景；

21、s34：更新和；通過添加當(dāng)前時間樣本并消除時間最早的樣本，來更新，通過判斷是否屬于背景，來更新b；

22、s35：通過上述基于?k-nearest?neighbors?的前景檢測算法，獲得去除背景后的前景圖像，再使用圖像開運(yùn)算操作移除噪聲，從而得到運(yùn)動特征信息。

23、作為優(yōu)選，所述步驟s4包括：

24、s41：將前景運(yùn)動圖像和紅外圖像提取的卷積特征通過add的方式進(jìn)行融合至由卷積conv、批處理歸一化bn和激活函數(shù)silu組成的兩層網(wǎng)絡(luò)結(jié)構(gòu)，然后拼接yolov5網(wǎng)絡(luò)模型結(jié)構(gòu)，組合成可同時接收紅外圖像、前景運(yùn)動圖像兩個參數(shù)的新的網(wǎng)絡(luò)模型結(jié)構(gòu)；

25、s42：將預(yù)先收集的若干紅外氣體泄漏數(shù)據(jù)集，經(jīng)過s2步驟中的處理得到前景運(yùn)動圖像，以及s3步驟中的處理得到標(biāo)注圖像，同時送入步驟s41所述新的網(wǎng)絡(luò)模型結(jié)構(gòu)，訓(xùn)練生成通用的預(yù)訓(xùn)練權(quán)重模型；

26、s43：將當(dāng)前應(yīng)用場景采集的少量樣本數(shù)據(jù)，進(jìn)行與所述步驟s42中的預(yù)訓(xùn)練數(shù)據(jù)相同的數(shù)據(jù)處理和數(shù)據(jù)融合方式，然后送入步驟s41所述新的網(wǎng)絡(luò)模型結(jié)構(gòu)，進(jìn)行模型的few-shot微調(diào)訓(xùn)練，得到適用于當(dāng)前場景的微調(diào)檢測模型。

27、作為優(yōu)選，在步驟s5中，所述模型進(jìn)行推理測試包括以下步驟：

28、s51：將紅外氣體泄漏輸入視頻，進(jìn)行分幀處理，進(jìn)行背景減除法建模，提取運(yùn)動特征信息；

29、s52：將s41中得到的新的網(wǎng)絡(luò)模型結(jié)構(gòu)作為推理網(wǎng)絡(luò)結(jié)構(gòu)，s43中得到的微調(diào)檢測模型作為推理模型，讀取輸入的幀數(shù)據(jù)和運(yùn)動特征信息，推理得到當(dāng)前幀圖像中的氣體泄漏位置矩形框和置信度，與預(yù)設(shè)閾值比較，判斷是否發(fā)生紅外氣體泄漏，以及紅外氣體泄漏的準(zhǔn)確位置。

30、作為優(yōu)選，在步驟s52中，

31、根據(jù)現(xiàn)場實(shí)際情況，若泄漏氣體與背景顏色相近的紅外視頻，置信度閾值較高，則設(shè)置閾值0.4≤threshold≤0.6；

32、根據(jù)現(xiàn)場實(shí)際情況，若泄漏氣體濃度比較淡，泄漏變化比較緩慢的紅外視頻，置信度閾值較低，則設(shè)置閾值0.3≤threshold＜0.4。

33、本發(fā)明還公開一種氣體泄漏檢測背景模型，適用于上述的氣體泄漏檢測可視化識別方法，其特征在于：所述模型為：

34、?（1）

35、式中，為估計(jì)密度，表示樣本集，，表示背景像素，表示前景像素，表示視頻向前獲取的序列幀數(shù)，為半徑為的超球內(nèi)核的體積，是核函數(shù)，如果，則，否則為0；是超球的直徑；表示核體積中包含的樣本數(shù)；超球直徑的大小與樣本量有關(guān)；以當(dāng)前像素樣本為中心，逐漸擴(kuò)大超球直徑，直到它包含個樣本；固定個最近鄰，取。

36、本發(fā)明還涉及一種氣體泄漏檢測的預(yù)訓(xùn)練權(quán)重模型，適用于上述的氣體泄漏檢測可視化識別方法，其特征在于，包括兩層由卷積conv、批處理歸一化bn和激活函數(shù)silu組成的網(wǎng)絡(luò)結(jié)構(gòu)拼接yolov5網(wǎng)絡(luò)模型結(jié)構(gòu)構(gòu)成；其中一層用于輸入前景像素圖像，另一層用于輸入紅外圖像，兩層網(wǎng)絡(luò)結(jié)構(gòu)將所述前景像素圖像和紅外圖像的卷積特征通過add的方式融合后拼接至yolov5網(wǎng)絡(luò)模型結(jié)構(gòu)。

37、本技術(shù)提供的技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：

38、1、本發(fā)明通過背景建模方法提取前景運(yùn)動特征，結(jié)合紅外圖像特征，使用深度學(xué)習(xí)方法進(jìn)行網(wǎng)絡(luò)模型改造和訓(xùn)練，既保留了視頻紅外圖像的時間序列特征信息，也兼具深度學(xué)習(xí)模型充分挖掘紅外圖像空間特征的優(yōu)勢，以并行的方式提高模型檢測效率。

39、2、few-shot?學(xué)習(xí)（few-shot?learning）是機(jī)器學(xué)習(xí)中的一個分支，它專注于在少量標(biāo)注樣本的情況下進(jìn)行學(xué)習(xí)和預(yù)測的能力。傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)通常需要大量的標(biāo)注數(shù)據(jù)來進(jìn)行訓(xùn)練，但在很多實(shí)際應(yīng)用場景中，特別是紅外氣體泄漏檢測場景中，獲取大量標(biāo)注數(shù)據(jù)是困難且昂貴的。在這種情況下，few-shot學(xué)習(xí)提供了一種替代方案。

40、3、本發(fā)明不依賴大量的場景數(shù)據(jù)，融合改造后的yolov5網(wǎng)絡(luò)模型結(jié)構(gòu)可以更好地保留前后幀之間的運(yùn)動特征，預(yù)訓(xùn)練使用的大量已有數(shù)據(jù)包含了很多常見場景，因此訓(xùn)練得到的預(yù)訓(xùn)練模型具有很強(qiáng)的泛化性。在不同項(xiàng)目場景使用時，只需要采集少量當(dāng)前特定場景的數(shù)據(jù)進(jìn)行快速地few-shot學(xué)習(xí)，即可達(dá)到很高的精度。

41、4、在檢測效果方面，傳統(tǒng)的機(jī)器學(xué)習(xí)方法，以及只采用深度學(xué)習(xí)方法的檢測方法，要么只有在固定背景或背景變化很小的情況下，才能取得比較好的效果，要么檢測效果很差，出現(xiàn)大量的誤檢測，受環(huán)境影響非常大。本方法利用圖像增強(qiáng)技術(shù)進(jìn)行圖像預(yù)處理，利用背景建模技術(shù)獲取前景運(yùn)動圖像，再將預(yù)處理后的圖像與前景運(yùn)動圖像同時送入改造后的yolov5網(wǎng)絡(luò)模型結(jié)構(gòu)，進(jìn)行預(yù)訓(xùn)練。預(yù)訓(xùn)練得到的模型實(shí)現(xiàn)了融合運(yùn)動特征的效果，可以在畫面差異性非常小的情況下，同時具備當(dāng)前畫面特征和之前幀的運(yùn)動特征，完成對泄漏氣體的有效識別。

42、5、本方法采用預(yù)訓(xùn)練和few-shot學(xué)習(xí)結(jié)合的方式，確保了檢測效果不受場景變化和環(huán)境變化的影響，具有很好的泛化性能，可以一直保持很高的檢測準(zhǔn)確度。