本發(fā)明涉及特殊場(chǎng)景下的目標(biāo)檢測(cè)，具體的說(shuō)是一種基于改進(jìn)yolov8模型下的紅外成像氣體泄漏檢測(cè)方法。

背景技術(shù)：

1、石化行業(yè)的泄漏氣體主要成分為烷、烯、環(huán)烴等揮發(fā)性有機(jī)物(vocs)，不但對(duì)人體有傷害，還會(huì)導(dǎo)致大氣污染，甚至引發(fā)火災(zāi)、爆炸等重大安全事故。進(jìn)行氣體泄漏檢測(cè)可以及時(shí)發(fā)現(xiàn)泄漏點(diǎn)，降低以上事故發(fā)生的可能性。因此如何快速準(zhǔn)確地檢測(cè)出氣體泄漏是當(dāng)前的研究重點(diǎn)。

2、制冷型紅外熱成像儀可以有效的識(shí)別出vocs氣體，并且紅外熱成像儀可以搭載在運(yùn)動(dòng)機(jī)器人上代替人工進(jìn)行工業(yè)園區(qū)的巡檢。相比于傳統(tǒng)的氣體傳感器進(jìn)行泄漏氣體檢測(cè)，基于紅外熱成像的氣體泄漏檢測(cè)具有響應(yīng)快，距離遠(yuǎn)，范圍大，動(dòng)態(tài)直觀等優(yōu)點(diǎn)；相比于傳統(tǒng)的紅外氣體識(shí)別算法，深度學(xué)習(xí)方法通過(guò)端到端的學(xué)習(xí)特征自動(dòng)提取，捕捉目標(biāo)之間的上下文關(guān)系提高檢測(cè)的準(zhǔn)確性，并且用gpu等硬件加速達(dá)到實(shí)時(shí)性要求，可準(zhǔn)確快速的發(fā)現(xiàn)及定位泄漏源來(lái)進(jìn)行預(yù)警。

3、yolo(you?only?look?once)是深度學(xué)習(xí)中一種主流的目標(biāo)檢測(cè)算法，同時(shí)兼顧了檢測(cè)精度和檢測(cè)時(shí)間。其中yolov8使用梯度流更豐富的c2f模塊，并且head部分使用anchor-free錨框方法，這些特點(diǎn)使得yolov8更適用檢測(cè)于不規(guī)則變化的氣體泄漏。但yolov8任存在以下缺陷：1)對(duì)于多尺度目標(biāo)檢測(cè)不夠準(zhǔn)確。2)缺少視頻幀之間的時(shí)序信息導(dǎo)致高虛警率。

4、為此，提出一種基于改進(jìn)yolov8模型的紅外成像氣體泄漏檢測(cè)方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在提供基于改進(jìn)yolov8模型下的紅外成像氣體泄漏檢測(cè)，以解決在工業(yè)復(fù)雜管道背景下對(duì)泄漏氣體進(jìn)行準(zhǔn)確、實(shí)時(shí)檢測(cè)的問題。為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案為：

2、一種基于yolo的紅外成像氣體泄漏檢測(cè)方法，包括以下步驟：

3、s1:構(gòu)建數(shù)據(jù)集：以公有數(shù)據(jù)集gasvid為基礎(chǔ)，通過(guò)模擬場(chǎng)景拍攝、圖像融合等方式獲得氣團(tuán)形狀更多樣、管道場(chǎng)景更豐富的圖像，從而獲得由4873張紅外氣體圖像構(gòu)成的數(shù)據(jù)集。

4、s2:建立和改進(jìn)yolov8的神經(jīng)網(wǎng)絡(luò)模型：

5、建立yolov8神經(jīng)網(wǎng)絡(luò)模型，配置所需的環(huán)境，調(diào)整模型相應(yīng)的參數(shù)；

6、改進(jìn)yolov8神經(jīng)網(wǎng)絡(luò)模型，以提高模型提取多尺度特征的能力：

7、使用starblock與caa(context?anchor?attention)改進(jìn)c2f模塊,使用hs-fpn(hierarchical?scale-based?feature?pyramid?network)替代原本的sfpn網(wǎng)絡(luò)，并將改進(jìn)后的yolov8模型命名為sch-yolo。

8、s3:在s1構(gòu)建的數(shù)據(jù)集上訓(xùn)練sch-yolo的網(wǎng)絡(luò)模型：

9、將所構(gòu)建的數(shù)據(jù)集輸入到sch-yolo網(wǎng)絡(luò)模型中，對(duì)其進(jìn)行訓(xùn)練，以得到對(duì)紅外氣體泄漏識(shí)別效果最好的權(quán)重文件best.pt。

10、s4:紅外氣體目標(biāo)識(shí)別的整體算法：

11、sch-yolo模型輸出單幀圖像的目標(biāo)預(yù)測(cè)框與置信度，vibe算法輸出單幀圖像的前景像素分布，將兩者結(jié)合，通過(guò)判斷預(yù)測(cè)框中前景像素占比閾值來(lái)進(jìn)行紅外氣體目標(biāo)識(shí)別。降低虛警率，以更精準(zhǔn)的檢測(cè)紅外場(chǎng)景下氣體泄漏情況。

12、所述步驟s1具體包括如下步驟：

13、s11：所述的數(shù)據(jù)集gasvid是一個(gè)在紅外熱成像下拍攝的針對(duì)甲烷氣體泄漏的目標(biāo)檢測(cè)的數(shù)據(jù)集，gasvid對(duì)泄露流量范圍5.3-2051.6gch4/h，距離4.6-15.6m進(jìn)行了不同場(chǎng)景的拍攝，共收集31個(gè)視頻；

14、iod數(shù)據(jù)集是一個(gè)由600個(gè)視頻組成的紅外氣體數(shù)據(jù)集；

15、s12:尋找人工使用紅外熱成像儀進(jìn)行工廠巡檢所拍攝的真實(shí)視頻；

16、s13:自主搭建管道模型，模擬真實(shí)管道氣體泄漏進(jìn)行自主拍攝，使用甲烷、丙烷作為泄漏氣體，拍攝方案包括：不同距離1m、3m、7m、10m，不同光照條件，不同拍攝角度，行人路過(guò)干擾；

17、s14:使用cyclegan網(wǎng)絡(luò)將可見光管道場(chǎng)景風(fēng)格遷移生成紅外管道場(chǎng)景，利用opencv融合真實(shí)氣團(tuán)與紅外場(chǎng)景，獲得最終圖像；

18、s15:視頻通過(guò)裁剪成視頻幀，最終獲得由4873張紅外vocs氣體泄漏圖像構(gòu)成的數(shù)據(jù)集，按照8:2將數(shù)據(jù)集劃分為訓(xùn)練集與測(cè)試集。

19、步驟s2具體包括如下步驟：

20、建立yolov8神經(jīng)網(wǎng)絡(luò)模型，配置所需的環(huán)境，調(diào)整模型相應(yīng)的參數(shù)；

21、改進(jìn)yolov8神經(jīng)網(wǎng)絡(luò)模型，使用starblock與caa改進(jìn)c2f模塊,使用hs-fpn替代原本的sfpn網(wǎng)絡(luò)，并將改進(jìn)后的yolov8模型命名為sch-yolo，具體如下：

22、s21:使用starnet中的starblock改進(jìn)c2f中的bottleneck部分，使用pkinet網(wǎng)絡(luò)中的caa進(jìn)行拼接后的特征增強(qiáng)；

23、s22:starblock用于多尺度特征提?。?/p>

24、starblock通過(guò)并行的不同尺度的卷積核3x3、5x5、7x7替代原有的瓶頸層卷積來(lái)提取特征：

25、多尺度卷積：

26、y1＝conv3×3(x),y2＝conv5×5(x),y3＝conv7×7(x)

27、conv3×3()、conv5×5()、conv7×7()分別表示3x3、5x5、7x7卷積；

28、將不同尺度的卷積結(jié)果進(jìn)行融合：

29、xstar＝concat(y1,y2,y3)

30、concat()表示concat特征融合；

31、s23:caa改進(jìn)拼接后的特征增強(qiáng)部分：

32、caa模塊通過(guò)捕捉長(zhǎng)程依賴關(guān)系來(lái)進(jìn)一步改進(jìn)c2f模塊，通過(guò)全局平均池化和一維條形卷積來(lái)捕捉遠(yuǎn)距離像素之間的關(guān)系，并增強(qiáng)中心區(qū)域的特征：

33、全局平均池化：

34、xglobal＝globalaveragepooling(xconcat)

35、globalaveragepooling()表示全局平均池化；

36、一維條形卷積：

37、xstrip＝conv1×k(xglobal)+convk×1(xglobal)

38、conv1×k()、convk×1()分別表示深度方向和寬度方向的一維條形卷積；

39、caa模塊使用注意力機(jī)制來(lái)動(dòng)態(tài)調(diào)整特征圖中的重要信息，增強(qiáng)關(guān)鍵區(qū)域的特征表示：

40、xattn＝σ(conv1×1(xstrip))⊙xstar+xstar

41、σ表示sigmoid激活函數(shù)，⊙表示逐元素相乘；

42、s24:hs-fpn網(wǎng)絡(luò)原理包括兩個(gè)部分：特征選擇模塊和特征融合模塊：

43、s25:特征選擇模塊：

44、特征選擇模塊利用通道注意力ca和維度匹配dm機(jī)制對(duì)不同尺度的特征圖進(jìn)行篩選，分為低級(jí)特征與高級(jí)特征，通過(guò)池化操作和權(quán)重計(jì)算，提取每個(gè)通道中的重要信息；

45、s26:特征融合模塊：

46、特征融合模塊通過(guò)選擇性特征融合sff機(jī)制將篩選后的低級(jí)特征和高級(jí)特征結(jié)合起來(lái)，高級(jí)特征擴(kuò)展后，通過(guò)雙線性插值和轉(zhuǎn)置卷積進(jìn)行尺度調(diào)整，然后與低級(jí)特征融合，從而增強(qiáng)模型對(duì)特征的表達(dá)能力；

47、s27:選擇性特征融合是融合不同尺度的特征圖，其過(guò)程如下：

48、給定一個(gè)輸入高級(jí)特征：

49、xhigh⊙rc*h*w

50、c表示特征圖的通道數(shù)、h表示特征圖的高度、w表示特征圖的寬度；

51、一個(gè)輸入低尺度特征：

52、

53、w1表示低尺度特征圖的寬度；

54、高級(jí)特征首先使用一個(gè)大小為2，核大小為3x3的轉(zhuǎn)置卷積t-conv進(jìn)行擴(kuò)展，得到特征大?。?/p>

55、xhigh∈rc*2h*2w

56、為了統(tǒng)一高級(jí)特征和低尺度特征的維度，使用雙線性插值來(lái)向上或向下采樣高級(jí)特征，得到特征：

57、

58、h1表示低尺度特征圖的高度；

59、使用ca模塊將高級(jí)特征轉(zhuǎn)換為相應(yīng)的注意力權(quán)重，以過(guò)濾低尺度特征，將過(guò)濾后的低尺度特征與高級(jí)特征融合，以增強(qiáng)模型的特征表示得到：

60、

61、方程(1)和(2)說(shuō)明了特征選擇的融合過(guò)程：

62、xatt＝bl(t-conv(xhigh))???????????(1)

63、xatt＝xlow*ca(xatt)+xatt???????????(2)

64、s3具體包括：

65、使用sch-yolo模型在訓(xùn)練集上訓(xùn)練200輪，獲得訓(xùn)練后的權(quán)重文件best.pt。

66、s4具體包括：

67、s41:vibe前景提取算法：

68、通過(guò)第一幀圖像選取像素點(diǎn)的背景樣本集進(jìn)行背景模型建立，計(jì)算下一幀圖像像素點(diǎn)與樣本集中各像素點(diǎn)的歐氏距離來(lái)判斷前景像素，采用隨機(jī)策略更新背景樣本模型；

69、s411:先進(jìn)行背景樣本建立，在第一幀圖像每個(gè)像素點(diǎn)的s*s鄰域隨機(jī)選取n個(gè)像素點(diǎn)作為該像素點(diǎn)的背景樣本集；

70、s412:在背景樣本基礎(chǔ)上進(jìn)行前景像素檢測(cè)，計(jì)算下一幀圖像像素點(diǎn)與樣本集中各像素點(diǎn)的歐氏距離，小于半徑r，則為近似樣本點(diǎn)，樣本集中近似樣本點(diǎn)數(shù)量大于閾值p，則將此像素點(diǎn)劃分為背景像素點(diǎn)，否則為前景像素點(diǎn)；

71、取p＝2，r為自適應(yīng)閾值，其公式為

72、r(x)為新讀取像素點(diǎn)半徑閾值；r′(x)為前一像素點(diǎn)的半徑閾值，s2(x)為新讀取像素與樣本集中像素點(diǎn)的方差，θ為衡量因子，當(dāng)方差大于衡量因子說(shuō)明場(chǎng)景發(fā)生了較大變化，增大r閾值，反之減小r閾值；

73、s413:背景模型會(huì)隨著場(chǎng)景變化進(jìn)行相應(yīng)的更新，讀取的下一視頻幀中背景可能發(fā)生變化，需要不斷更新樣本集，每個(gè)背景像素點(diǎn)有1/σ的概率更新自己的樣本集，σ為更新因子；

74、s42:sch-yolo模型與vibe算法并行執(zhí)行，單幀圖像經(jīng)過(guò)基于步驟s3的sch-yolo模型,輸出對(duì)單幀圖像的判斷，包括預(yù)測(cè)框和置信度；

75、s43:同時(shí)vibe算法經(jīng)過(guò)步驟s41得到了同一單幀圖像的前景像素分布情況；

76、s44:根據(jù)預(yù)測(cè)框，置信度，前景像素分布三者進(jìn)行判斷；

77、單幀圖像的置信度>0.4則識(shí)別為氣體；

78、單幀圖像的置信度≤0.4同時(shí)預(yù)測(cè)框中前景像素占比>0.35則識(shí)別為氣體；

79、單幀圖像的置信度≤0.4同時(shí)預(yù)測(cè)框中前景像素占比≤0.35則為誤識(shí)別。

80、最終算法結(jié)合時(shí)序信息，降低虛警率，以更精準(zhǔn)的檢測(cè)紅外氣體泄漏情況。

81、本發(fā)明提出一種基于改進(jìn)的yolov8模型進(jìn)行紅外成像氣體泄漏檢測(cè)方法，通過(guò)starblock與caa改進(jìn)c2f和hs-fpn替代sfpn網(wǎng)絡(luò)的方法改進(jìn)yolov8，之后與vibe結(jié)合進(jìn)行泄漏檢測(cè)，保證了檢測(cè)的高效性同時(shí)可以做到實(shí)時(shí)檢測(cè)。

82、本發(fā)明的優(yōu)點(diǎn)是：

83、1)針對(duì)全局特征捕獲的需求，使用starblock改進(jìn)bottleneck部分，進(jìn)行多尺度卷積和特征融合，提升對(duì)多尺度特征的提取能力。并進(jìn)行了caa特征增強(qiáng)，使得全局特征捕獲能力更加突出。

84、2)針對(duì)復(fù)雜場(chǎng)景多層次特征融合，本發(fā)明使用hs-fpn替代了原本的sfpn網(wǎng)絡(luò)，將特征篩選分為了高級(jí)特征與低級(jí)特征，有效過(guò)濾了無(wú)關(guān)或冗余特征。并使用sff機(jī)制進(jìn)行融合，不同層次的特征互補(bǔ)。使得多尺度特征提取能力進(jìn)一步增強(qiáng)。

85、3)針對(duì)sch-yolo是基于視頻幀進(jìn)行檢測(cè)，缺少視頻幀之間的時(shí)序信息問題，本發(fā)明將sch-yolo與vibe算法進(jìn)行結(jié)合。sch-yolo可以高精度的檢測(cè)單幀圖像中的目標(biāo)，vibe可以檢測(cè)運(yùn)動(dòng)目標(biāo)。將sch-yolo輸出的單幀識(shí)別結(jié)果交給vibe判斷運(yùn)動(dòng)屬性，可降低sch-yolo識(shí)別的虛警率。同時(shí)vibe消耗很少的內(nèi)存和算力，在保證實(shí)時(shí)檢測(cè)的前提下，可以使整個(gè)算法具有更良好的魯棒性。