本技術(shù)涉及人工智能領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的積水水漬檢測(cè)方法及裝置。

背景技術(shù)：

1、近年來(lái)隨著工業(yè)化和數(shù)字化進(jìn)程的加速，國(guó)家對(duì)于大型廠房、機(jī)房和配電房等地方的安全問(wèn)題也是更加重視。這些場(chǎng)所在日常運(yùn)營(yíng)中的重要性越來(lái)越高，任何意外情況都可能導(dǎo)致重大的經(jīng)濟(jì)損失，甚至威脅到人員生命安全，因此，提高這些場(chǎng)所的安全性成為了當(dāng)務(wù)之急。

2、在這當(dāng)中，因電力問(wèn)題而引發(fā)的危害占據(jù)絕大多數(shù)情況。如果房間內(nèi)存在漏水或積水的情況，更容易引起電擊事故、電源故障甚至火災(zāi)等嚴(yán)重問(wèn)題。目前積水的檢測(cè)方法主要是通過(guò)人工巡視，指的是保安在現(xiàn)場(chǎng)巡視，或者是通過(guò)監(jiān)控?cái)z像巡視檢查室內(nèi)是否出現(xiàn)積水的情況，但這種方法速度慢、效率低，且不能夠及時(shí)地發(fā)現(xiàn)潛在問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中的問(wèn)題，本技術(shù)提供一種基于深度學(xué)習(xí)的積水水漬檢測(cè)方法及裝置，能夠有效提高積水水漬檢測(cè)的準(zhǔn)確率。

2、為了解決上述問(wèn)題中的至少一個(gè)，本技術(shù)提供以下技術(shù)方案：

3、第一方面，本技術(shù)提供一種基于深度學(xué)習(xí)的積水水漬檢測(cè)方法，包括：

4、構(gòu)建并訓(xùn)練圖像超分辨率重建模型，所述圖像超分辨率重建模型采用u型網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，輸入為降采樣且經(jīng)過(guò)模糊和加噪處理的低分辨率圖像，采用感知損失、二進(jìn)制交叉熵?fù)p失和l1損失作為訓(xùn)練損失函數(shù)；構(gòu)建并訓(xùn)練基于u型網(wǎng)絡(luò)和傅里葉變換的分割模型，將輸入圖像經(jīng)傅里葉變換得到頻域信息，通過(guò)四次卷積池化下采樣實(shí)現(xiàn)特征提取，在每次池化前將頻域信息與當(dāng)前層圖像特征融合，并通過(guò)跳接方式與反卷積特征圖融合；構(gòu)建并訓(xùn)練檢測(cè)模型，采用交并比損失函數(shù)，將檢測(cè)類(lèi)別設(shè)置為水；

5、通過(guò)雙目攝像頭抓拍圖像，白天獲取彩色圖像，晚上獲取紅外圖像；將所述紅外圖像輸入訓(xùn)練好的圖像超分辨率重建模型進(jìn)行圖像質(zhì)量增強(qiáng)；將所述彩色圖像和經(jīng)過(guò)所述圖像質(zhì)量增強(qiáng)后的紅外圖像同時(shí)輸入訓(xùn)練好的分割模型和檢測(cè)模型；

6、將所述分割模型輸出的初步分割結(jié)果映射回原圖大小，通過(guò)歸一化和最大值操作得到分割置信度特征圖；對(duì)所述檢測(cè)模型輸出的初步檢測(cè)結(jié)果進(jìn)行非極大值抑制處理，將置信度閾值設(shè)為a，交并比閾值設(shè)為0.6；基于所述初步檢測(cè)結(jié)果創(chuàng)建與原圖同大小的全零數(shù)組作為檢測(cè)置信度特征圖，對(duì)于檢測(cè)框內(nèi)區(qū)域，當(dāng)檢測(cè)置信度大于等于a時(shí)，將該區(qū)域檢測(cè)置信度特征圖的值設(shè)為對(duì)應(yīng)的檢測(cè)置信度，對(duì)于檢測(cè)框重疊區(qū)域，將檢測(cè)置信度特征圖的值設(shè)為重疊區(qū)域內(nèi)各檢測(cè)框置信度的平均值；將所述分割置信度特征圖與所述檢測(cè)置信度特征圖進(jìn)行加權(quán)融合得到最終置信度特征圖，其中權(quán)重w和置信度閾值a通過(guò)在區(qū)間[0,1]和[0.05,0.95]內(nèi)以0.05間隔遍歷并在測(cè)試集上驗(yàn)證確定；將最終置信度特征圖中大于0.5的像素點(diǎn)判定為積水或水漬區(qū)域。

7、進(jìn)一步地，所述構(gòu)建并訓(xùn)練圖像超分辨率重建模型，所述圖像超分辨率重建模型采用u型網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，輸入為降采樣且經(jīng)過(guò)模糊和加噪處理的低分辨率圖像，采用感知損失、二進(jìn)制交叉熵?fù)p失和l1損失作為訓(xùn)練損失函數(shù)，包括：

8、將u型網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，在編碼器部分采用四層卷積池化網(wǎng)絡(luò)進(jìn)行特征提取，每層卷積池化網(wǎng)絡(luò)由兩組卷積層、激活層和批量歸一化層組成，解碼器部分采用反卷積層進(jìn)行特征上采樣，并通過(guò)跳接結(jié)構(gòu)將編碼器對(duì)應(yīng)層特征與解碼器特征圖進(jìn)行融合；

9、對(duì)訓(xùn)練圖像進(jìn)行4倍降采樣并添加高斯模糊和隨機(jī)噪聲得到低分辨率圖像，將該低分辨率圖像輸入所述圖像超分辨率重建模型，采用感知損失函數(shù)計(jì)算生成圖像與原始圖像在特征空間的距離，采用二進(jìn)制交叉熵?fù)p失函數(shù)約束圖像分類(lèi)結(jié)果，采用l1損失函數(shù)約束圖像重建精度，將三個(gè)損失函數(shù)的加權(quán)和作為總損失函數(shù)進(jìn)行網(wǎng)絡(luò)優(yōu)化。

10、進(jìn)一步地，所述構(gòu)建并訓(xùn)練檢測(cè)模型，采用交并比損失函數(shù)，將檢測(cè)類(lèi)別設(shè)置為水，包括：

11、用帶有殘差結(jié)構(gòu)的骨干網(wǎng)絡(luò)進(jìn)行特征提取，通過(guò)特征金字塔網(wǎng)絡(luò)對(duì)不同尺度的特征圖進(jìn)行融合，在特征金字塔網(wǎng)絡(luò)的每個(gè)預(yù)測(cè)層設(shè)置三個(gè)預(yù)設(shè)尺度的錨框，將預(yù)測(cè)層輸出特征圖通過(guò)1×1卷積層分別得到類(lèi)別預(yù)測(cè)分支和邊界框回歸分支，類(lèi)別預(yù)測(cè)分支輸出每個(gè)錨框?qū)儆谒?lèi)別的概率值，邊界框回歸分支輸出每個(gè)錨框相對(duì)于目標(biāo)真實(shí)框的偏移量；

12、將輸入圖像縮放到預(yù)設(shè)尺寸并進(jìn)行歸一化處理，計(jì)算預(yù)測(cè)框與真實(shí)框的交并比值，以交并比值大于預(yù)設(shè)閾值的錨框作為正樣本，將預(yù)測(cè)框與真實(shí)框的坐標(biāo)偏移量、置信度得分與對(duì)應(yīng)真實(shí)值的差異作為回歸損失，采用交并比損失函數(shù)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，損失函數(shù)中分類(lèi)損失權(quán)重與回歸損失權(quán)重的比值設(shè)為1:5。

13、進(jìn)一步地，所述將所述分割模型輸出的初步分割結(jié)果映射回原圖大小，通過(guò)歸一化和最大值操作得到分割置信度特征圖，包括：

14、對(duì)分割模型輸出的大小為(w3,h3,2)的特征圖進(jìn)行雙線性插值，將特征圖尺寸調(diào)整至原始輸入圖像的大小(w,h)，并保持通道數(shù)不變，利用像素重采樣方法對(duì)插值后的特征圖進(jìn)行平滑處理以消除插值帶來(lái)的圖像失真；

15、對(duì)映射后的特征圖在通道維度上進(jìn)行最大值操作得到單通道特征圖，對(duì)該特征圖中的每個(gè)像素值進(jìn)行min-max歸一化處理使其映射到[0,1]區(qū)間內(nèi)，采用局部響應(yīng)歸一化方法對(duì)特征圖進(jìn)行空間位置的局部歸一化以增強(qiáng)特征的區(qū)分度，得到分割置信度特征圖。

16、進(jìn)一步地，所述對(duì)所述檢測(cè)模型輸出的初步檢測(cè)結(jié)果進(jìn)行非極大值抑制處理，將置信度閾值設(shè)為a，交并比閾值設(shè)為0.6，包括：

17、所述檢測(cè)模型輸出的初步檢測(cè)結(jié)果為大小為(1,5,8400)的特征圖，包含每個(gè)候選框的中心坐標(biāo)、寬高以及置信度信息，對(duì)特征圖中置信度大于閾值a的候選框進(jìn)行篩選，將篩選后的候選框按照置信度降序排列形成候選框集合，對(duì)該候選框集合計(jì)算任意兩個(gè)候選框之間的交并比值；

18、從已排序的候選框集合中取出置信度最高的候選框作為參考框，計(jì)算其與剩余候選框的交并比值，將交并比值大于0.6的候選框從候選框集合中刪除，重復(fù)上述過(guò)程直至候選框集合為空，得到最終的檢測(cè)框集合，其中，每個(gè)檢測(cè)框包含其位置坐標(biāo)和對(duì)應(yīng)的置信度值。

19、進(jìn)一步地，所述基于所述初步檢測(cè)結(jié)果創(chuàng)建與原圖同大小的全零數(shù)組作為檢測(cè)置信度特征圖，對(duì)于檢測(cè)框內(nèi)區(qū)域，當(dāng)檢測(cè)置信度大于等于a時(shí)，將該區(qū)域檢測(cè)置信度特征圖的值設(shè)為對(duì)應(yīng)的檢測(cè)置信度，對(duì)于檢測(cè)框重疊區(qū)域，將檢測(cè)置信度特征圖的值設(shè)為重疊區(qū)域內(nèi)各檢測(cè)框置信度的平均值，包括：

20、創(chuàng)建與輸入圖像相同大小的二維零矩陣，遍歷經(jīng)過(guò)非極大值抑制后的檢測(cè)框集合，對(duì)每個(gè)檢測(cè)框取其位置坐標(biāo)信息確定框內(nèi)像素點(diǎn)的位置索引，當(dāng)該檢測(cè)框的置信度值大于等于閾值a時(shí)，將該框內(nèi)所有像素點(diǎn)在零矩陣中對(duì)應(yīng)位置的值更新為檢測(cè)框的置信度值；

21、計(jì)算任意兩個(gè)檢測(cè)框的相交區(qū)域坐標(biāo)，將相交區(qū)域的像素點(diǎn)位置索引存入重疊區(qū)域集合，對(duì)重疊區(qū)域集合中的每個(gè)像素點(diǎn)，統(tǒng)計(jì)包含該像素點(diǎn)的所有檢測(cè)框的置信度值，將所述置信度值的算術(shù)平均值賦給檢測(cè)置信度特征圖中對(duì)應(yīng)位置的像素點(diǎn)。

22、進(jìn)一步地，所述將所述分割置信度特征圖與所述檢測(cè)置信度特征圖進(jìn)行加權(quán)融合得到最終置信度特征圖，其中權(quán)重w和置信度閾值a通過(guò)在區(qū)間[0,1]和[0.05,0.95]內(nèi)以0.05間隔遍歷并在測(cè)試集上驗(yàn)證確定，包括：

23、將分割置信度特征圖乘以權(quán)重w，將檢測(cè)置信度特征圖乘以權(quán)重(1-w)，對(duì)加權(quán)后的兩個(gè)特征圖執(zhí)行逐像素相加操作得到最終置信度特征圖，對(duì)融合后的特征圖進(jìn)行最大最小值歸一化處理以確保特征值分布在[0,1]區(qū)間內(nèi)；

24、在[0,1]區(qū)間內(nèi)以0.05為步長(zhǎng)構(gòu)建權(quán)重候選集合，在[0.05,0.95]區(qū)間內(nèi)以0.05為步長(zhǎng)構(gòu)建閾值候選集合，對(duì)候選集合中的每組參數(shù)在測(cè)試集上計(jì)算檢測(cè)精度和召回率，采用f1分?jǐn)?shù)作為評(píng)價(jià)指標(biāo)，選取使f1分?jǐn)?shù)最大的參數(shù)組合作為最終的權(quán)重w和置信度閾值a。

25、第二方面，本技術(shù)提供一種基于深度學(xué)習(xí)的積水水漬檢測(cè)裝置，包括：

26、模型構(gòu)建模塊，用于構(gòu)建并訓(xùn)練圖像超分辨率重建模型，所述圖像超分辨率重建模型采用u型網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，輸入為降采樣且經(jīng)過(guò)模糊和加噪處理的低分辨率圖像，采用感知損失、二進(jìn)制交叉熵?fù)p失和l1損失作為訓(xùn)練損失函數(shù)；構(gòu)建并訓(xùn)練基于u型網(wǎng)絡(luò)和傅里葉變換的分割模型，將輸入圖像經(jīng)傅里葉變換得到頻域信息，通過(guò)四次卷積池化下采樣實(shí)現(xiàn)特征提取，在每次池化前將頻域信息與當(dāng)前層圖像特征融合，并通過(guò)跳接方式與反卷積特征圖融合；構(gòu)建并訓(xùn)練檢測(cè)模型，采用交并比損失函數(shù)，將檢測(cè)類(lèi)別設(shè)置為水；

27、圖像采集模塊，用于通過(guò)雙目攝像頭抓拍圖像，白天獲取彩色圖像，晚上獲取紅外圖像；將所述紅外圖像輸入訓(xùn)練好的圖像超分辨率重建模型進(jìn)行圖像質(zhì)量增強(qiáng)；將所述彩色圖像和經(jīng)過(guò)所述圖像質(zhì)量增強(qiáng)后的紅外圖像同時(shí)輸入訓(xùn)練好的分割模型和檢測(cè)模型；

28、水漬檢測(cè)模塊，用于將所述分割模型輸出的初步分割結(jié)果映射回原圖大小，通過(guò)歸一化和最大值操作得到分割置信度特征圖；對(duì)所述檢測(cè)模型輸出的初步檢測(cè)結(jié)果進(jìn)行非極大值抑制處理，將置信度閾值設(shè)為a，交并比閾值設(shè)為0.6；基于所述初步檢測(cè)結(jié)果創(chuàng)建與原圖同大小的全零數(shù)組作為檢測(cè)置信度特征圖，對(duì)于檢測(cè)框內(nèi)區(qū)域，當(dāng)檢測(cè)置信度大于等于a時(shí)，將該區(qū)域檢測(cè)置信度特征圖的值設(shè)為對(duì)應(yīng)的檢測(cè)置信度，對(duì)于檢測(cè)框重疊區(qū)域，將檢測(cè)置信度特征圖的值設(shè)為重疊區(qū)域內(nèi)各檢測(cè)框置信度的平均值；將所述分割置信度特征圖與所述檢測(cè)置信度特征圖進(jìn)行加權(quán)融合得到最終置信度特征圖，其中權(quán)重w和置信度閾值a通過(guò)在區(qū)間[0,1]和[0.05,0.95]內(nèi)以0.05間隔遍歷并在測(cè)試集上驗(yàn)證確定；將最終置信度特征圖中大于0.5的像素點(diǎn)判定為積水或水漬區(qū)域。

29、第三方面，本技術(shù)提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)所述的基于深度學(xué)習(xí)的積水水漬檢測(cè)方法的步驟。

30、第四方面，本技術(shù)提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的基于深度學(xué)習(xí)的積水水漬檢測(cè)方法的步驟。

31、第五方面，本技術(shù)提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的基于深度學(xué)習(xí)的積水水漬檢測(cè)方法的步驟。

32、由上述技術(shù)方案可知，本技術(shù)提供一種基于深度學(xué)習(xí)的積水水漬檢測(cè)方法及裝置，通過(guò)雙目攝像頭抓拍圖像，白天獲取彩色圖像，晚上獲取紅外圖像；將紅外圖像輸入訓(xùn)練好的圖像超分辨率重建模型進(jìn)行圖像質(zhì)量增強(qiáng)；將彩色圖像和經(jīng)過(guò)圖像質(zhì)量增強(qiáng)后的紅外圖像同時(shí)輸入訓(xùn)練好的分割模型和檢測(cè)模型；將分割模型輸出的初步分割結(jié)果映射回原圖大小，通過(guò)歸一化和最大值操作得到分割置信度特征圖；將分割置信度特征圖與檢測(cè)置信度特征圖進(jìn)行加權(quán)融合得到最終置信度特征圖，其中權(quán)重w和置信度閾值a通過(guò)在區(qū)間[0,1]和[0.05,0.95]內(nèi)以0.05間隔遍歷并在測(cè)試集上驗(yàn)證確定；將最終置信度特征圖中大于0.5的像素點(diǎn)判定為積水或水漬區(qū)域，由此能夠有效提高積水水漬檢測(cè)的準(zhǔn)確率。