本發(fā)明涉及圖像處理、計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種基于核化注意力的智能監(jiān)控圖像去霧方法與系統(tǒng)。

背景技術(shù)：

1、作為人工智能理論與技術(shù)的關(guān)鍵應(yīng)用之一，智能監(jiān)控技術(shù)取得了長(zhǎng)足的進(jìn)步，已經(jīng)日益成為各個(gè)領(lǐng)域的關(guān)鍵技術(shù)。其中，在智能監(jiān)控場(chǎng)景中，如何有效提高視覺(jué)成像質(zhì)量、增強(qiáng)畫(huà)面細(xì)節(jié)和清晰度，成為了研究人員面臨的關(guān)鍵難點(diǎn)問(wèn)題之一。智能監(jiān)控場(chǎng)景中的成像問(wèn)題，集中表現(xiàn)為惡劣氣象和環(huán)境條件下的成像質(zhì)量提升，其中，以霧天降質(zhì)復(fù)雜環(huán)境下的圖像復(fù)原為主要科學(xué)問(wèn)題。

2、在復(fù)雜的道路交通智能監(jiān)控動(dòng)態(tài)場(chǎng)景中，真實(shí)霧霾圖像去霧仍面臨重大挑戰(zhàn)。霧霾分布的雙重復(fù)雜性，一方面表現(xiàn)為霧霾對(duì)全局圖像信息的干擾，另一方面表現(xiàn)為隨機(jī)霧霾分布造成的圖像亮度和顏色的不平衡。在邊緣和紋理特征突出的自然場(chǎng)景中，上述問(wèn)題可能會(huì)導(dǎo)致圖像質(zhì)量和各種任務(wù)的性能?chē)?yán)重退化。霧天降質(zhì)圖像復(fù)原技術(shù)在近十多年間，經(jīng)過(guò)眾多研究者的共同努力取得了較大的進(jìn)展，使得去霧方法的性能得到了巨大的提升。目前已有的去霧方法大致可以分為基于先驗(yàn)統(tǒng)計(jì)的方法和基于深度學(xué)習(xí)的方法。

3、目前的現(xiàn)有技術(shù)之一為論文“ffa-net：feature?fusion?attention?network?forsingle?image?dehazing”中的一種特征融合注意力去霧網(wǎng)絡(luò)，針對(duì)不均勻分布的霧霾分別從通道方向和像素方向上進(jìn)行建模以實(shí)現(xiàn)圖像霧霾去除。其設(shè)計(jì)了一種將通道注意力(channel?attention)與像素注意力(pixel?attention)相結(jié)合的特征注意力(featureattention，fa)模塊。該模塊能夠考慮到不同的通道特征包含不同的加權(quán)信息以及不同圖像像素上的霧霾分布不均勻的情況，對(duì)不同的特征和像素進(jìn)行自適應(yīng)的處理。該技術(shù)的缺點(diǎn)是，其所設(shè)計(jì)的通道像素注意力組結(jié)構(gòu)雖然在合成霧霾數(shù)據(jù)集上獲得了優(yōu)異的去霧性能指標(biāo)，但是在處理真實(shí)場(chǎng)景下的霧霾圖像時(shí)，無(wú)法有效處理具有不同密度和深度的霧霾區(qū)域，導(dǎo)致去霧后的圖像存在霧霾殘留。此外，由于該去霧方法引入了過(guò)多的通道像素注意力組結(jié)構(gòu)(57個(gè)特征融合塊)，導(dǎo)致計(jì)算復(fù)雜性較大。

4、目前的現(xiàn)有技術(shù)之二為論文“fsad-net：feedback?spatial?attention?dehazingnetwork”中的一種端到端的反饋空間注意力去霧網(wǎng)絡(luò)，它能夠?qū)⑤斎腱F霾圖像經(jīng)過(guò)網(wǎng)絡(luò)多次循環(huán)迭代來(lái)獲取最終的無(wú)霧輸出。通過(guò)引入遞歸結(jié)構(gòu)和迭代算法一種循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)不依賴(lài)于大氣光散射模型，而是利用空間殘差注意力機(jī)制構(gòu)建的反饋模塊，用于將高層信息傳遞回上一層以糾正特征表示。該技術(shù)的缺點(diǎn)是，雖然將遞歸結(jié)構(gòu)和迭代算法引入到了去霧網(wǎng)絡(luò)中，并且利用空間注意力機(jī)制和跳躍連接來(lái)關(guān)注特征之間固有的空間相關(guān)性。但是，該方法在處理復(fù)雜場(chǎng)景下的霧霾圖像時(shí)仍不具有場(chǎng)景自適應(yīng)性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是克服現(xiàn)有方法的不足，提出了一種基于核化注意力的智能監(jiān)控圖像去霧方法與系統(tǒng)。本發(fā)明解決的主要問(wèn)題，是如何通過(guò)將核學(xué)習(xí)和深度學(xué)習(xí)的優(yōu)勢(shì)相結(jié)合，以解決現(xiàn)有的通用去霧方法在真實(shí)霧霾場(chǎng)景下，存在霧霾殘留、偽影和顏色偏移的問(wèn)題。

2、為了解決上述問(wèn)題，本發(fā)明提出了一種基于核化注意力的智能監(jiān)控圖像去霧方法，所述方法包括：

3、通過(guò)改進(jìn)大氣光散射模型，構(gòu)建霧霾圖像和對(duì)應(yīng)清晰圖像的配對(duì)數(shù)據(jù)集，用于核化注意力去霧網(wǎng)絡(luò)的訓(xùn)練；

4、設(shè)計(jì)所述核化注意力去霧網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)主要分為三個(gè)部分：首先，為了獲取輸入霧霾圖像的淺層特征，設(shè)計(jì)淺層特征提取層；其次，為了捕獲真實(shí)霧霾圖像中不同深度和密度的霧霾相關(guān)特征信息，設(shè)計(jì)基于局部-全局的核化注意力模塊；最后，使用卷積操作來(lái)進(jìn)行去霧結(jié)果圖像的復(fù)原；

5、使用三個(gè)損失函數(shù)，分別是：選擇均方誤差損失函數(shù)來(lái)衡量去霧結(jié)果圖像和清晰樣本圖像的相似程度，引入邊緣損失函數(shù)來(lái)保持圖像的細(xì)節(jié)信息，設(shè)計(jì)一種高斯核感知對(duì)比損失函數(shù)來(lái)約束網(wǎng)絡(luò)復(fù)原出的去霧結(jié)果圖像更加接近清晰樣本圖像、更加遠(yuǎn)離霧霾圖像；利用所述配對(duì)數(shù)據(jù)集，使用上述三個(gè)損失函數(shù)對(duì)所述核化注意力去霧網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使之朝向去霧自然的方向更新，形成訓(xùn)練好的核化注意力去霧網(wǎng)絡(luò)；

6、用戶(hù)輸入待處理的霧霾圖像到所述訓(xùn)練好的核化注意力去霧網(wǎng)絡(luò)中，得到復(fù)原的清晰圖像。

7、優(yōu)選地，所述通過(guò)改進(jìn)大氣光散射模型，構(gòu)建霧霾圖像和對(duì)應(yīng)清晰圖像的配對(duì)數(shù)據(jù)集，具體為：

8、構(gòu)造過(guò)程通過(guò)如下式子進(jìn)行描述：

9、

10、其中i表示需要合成的霧霾圖像，j是用于合成i的清晰圖像，γ是用于調(diào)節(jié)生成霧霾圖像亮度的約束因子，d表示場(chǎng)景深度，a是大氣光值，β是隨機(jī)系數(shù)。

11、優(yōu)選地，所述淺層特征提取層，具體為：

12、在淺層特征提取層中，引入級(jí)聯(lián)注意力模塊，對(duì)輸入的霧霾圖像進(jìn)行淺層特征提取，級(jí)聯(lián)注意力模塊的輸出特征y通過(guò)如下式子進(jìn)行描述：

13、y＝(y1⊙x+x)⊙y2+x，????(2)

14、其中，h，w，c分別表示輸入特征的高、寬和通道數(shù)，⊙表示矩陣的點(diǎn)乘操作，x表示輸入的霧霾圖像，y1和y2表示用于構(gòu)建級(jí)聯(lián)注意力模塊中間過(guò)程提取的特征，通過(guò)如下公式求解：

15、

16、其中，conv1，conv2分別表示不同卷積核大小的卷積操作；bn、relu分別表示歸一化操作和relu激活函數(shù)。

17、優(yōu)選地，所述基于局部-全局的核化注意力模塊，具體為：

18、基于局部-全局的核化注意力模塊首先利用高斯核傅里葉域中的隨機(jī)映射特征來(lái)對(duì)輸入特征圖中的高階非線(xiàn)性特征信息進(jìn)行低維顯式表示；由所述淺層特征提取層獲得的輸入特征y，利用一個(gè)低維的顯式映射函數(shù)z(y)在每一個(gè)通道上估計(jì)給定的高斯核g(yi，yj)，其式子如下：

19、

20、其中，σ表示所使用的高斯核的大小，z表示用于估計(jì)給定高斯核g(yi，yj)的低維的顯式映射函數(shù)，yi，yj分別表示輸入特征y的第i，j個(gè)分量；

21、根據(jù)bochner定理，具有平移不變性的高斯核g(yi，yj)在原始隱式空間維度上正定，當(dāng)且僅當(dāng)g(yi，yj)是某個(gè)非負(fù)測(cè)度p(s)的傅里葉變換；于是得到如下推導(dǎo)公式：

22、

23、其中，表示從非負(fù)測(cè)度p(s)中采樣得到的權(quán)重參數(shù)，c，d分別表示通道維度采樣維度，u表示虛部，t表示轉(zhuǎn)置；

24、由歐拉公式可知，

25、exp(ust(yi-yj))＝cos(st(yi-yj))-usin(st(yi-yj))，????(6)

26、此處使用的高斯核是實(shí)數(shù)核，因此式子(6)的復(fù)數(shù)部分為0，式子(6)繼而簡(jiǎn)化為如下形式：

27、exp(ust(yi-yj))＝cos(st(yi-yj))，????(7)

28、從而得到式子(5)的變換形式：

29、

30、基于上述推導(dǎo)，得到隨機(jī)傅里葉特征的表達(dá)形式：bd表示偏置參數(shù)并且bd∈[b1，…，bd]來(lái)自均勻分布u[0，2π]；

31、從如下式子中采樣：

32、

33、其中是積分變量，在保留輸入特征y的空間結(jié)構(gòu)信息的同時(shí)，從全局和局部的角度對(duì)通道依賴(lài)關(guān)系進(jìn)行建模：

34、在得到輸入特征映射的隨機(jī)傅里葉特征z(y)之后，首先使用全局平均池化將通道方向上的全局空間信息轉(zhuǎn)化為通道描述：

35、

36、其中yc(i，j)代表位置(i，j)處的第c個(gè)通道yc的值，hg是全局池化函數(shù)；隨機(jī)傅里葉特征z(y)的形狀從c×h×w變成c×1×1；為了獲取全局特征，1×1的卷積層，relu激活函數(shù)層被使用，其求解過(guò)程如下所示：

37、

38、gc表示利用全局平均池化操作獲取的通道特征信息，表示全局通道特征信息；

39、此外，考慮到圖像像素上霧霾分布的不均勻性，從局部的角度對(duì)通道依賴(lài)關(guān)系進(jìn)行建模，以使網(wǎng)絡(luò)更加關(guān)注具有辨別性的區(qū)域并突出有效的信息性特征，對(duì)通道局部特征建模過(guò)程如下所示：

40、

41、其中conv1×1，relu，bn分別表示1×1的卷積層、relu激活函數(shù)層、歸一化層，表示局部通道特征信息；

42、通過(guò)結(jié)合式子(11)和(12)來(lái)建模輸入特征圖的全局和局部特征之間的通道依賴(lài)關(guān)系，自適應(yīng)的重新加權(quán)通道特征響應(yīng)；則每個(gè)核化注意力模塊的輸出通過(guò)如下式子獲得：

43、

44、其中，表示矩陣相乘操作；

45、通過(guò)上述方式，使得核化注意力模塊關(guān)注特征圖中具有辨別性的霧霾區(qū)域，并突出有效的霧霾相關(guān)特征信息。

46、優(yōu)選地，所述選擇均方誤差損失函數(shù)來(lái)衡量去霧結(jié)果圖像和清晰樣本圖像的相似程度，引入邊緣損失函數(shù)來(lái)保持圖像的細(xì)節(jié)信息，設(shè)計(jì)一種高斯核感知對(duì)比損失函數(shù)來(lái)約束網(wǎng)絡(luò)復(fù)原出的去霧結(jié)果圖像更加接近清晰樣本圖像、更加遠(yuǎn)離霧霾圖像，具體為：

47、首先，選擇均方誤差損失函數(shù)來(lái)衡量去霧結(jié)果圖像和清晰樣本圖像的相似程度，其表達(dá)式為：

48、

49、其中ypre為預(yù)測(cè)的去霧結(jié)果圖像，j表示清晰樣本圖像標(biāo)簽。

50、僅僅使用均方誤差損失通常會(huì)使圖像過(guò)平滑而導(dǎo)致背景模糊，因此引入邊緣損失函數(shù)來(lái)保持圖像的細(xì)節(jié)信息；邊緣損失函數(shù)定義為如下形式：

51、

52、其中δ表示拉普拉斯算子，ε為經(jīng)驗(yàn)值；拉普拉斯算子通過(guò)二階微分來(lái)捕獲圖像的邊緣信息；邊緣損失通過(guò)最小化去霧結(jié)果圖像與清晰樣本圖像標(biāo)簽的邊緣信息的差異來(lái)保留霧霾圖像的細(xì)節(jié)；

53、此外，為了獲得更加自然的去霧效果，設(shè)計(jì)一種高斯核感知對(duì)比損失函數(shù)來(lái)約束網(wǎng)絡(luò)復(fù)原出的去霧結(jié)果圖像更加接近清晰樣本圖像，更加遠(yuǎn)離霧霾圖像，其目標(biāo)損失函數(shù)可以表示為如下形式：

54、

55、其中和分別表示度量空間中正樣本對(duì)和負(fù)樣本對(duì)的距離，lg為高斯核感知對(duì)比損失的輸出值，表示從固定預(yù)訓(xùn)練模型vgg-19中提取的第k個(gè)隱含層特征，ρk表示權(quán)重系數(shù)，ω是懲罰參數(shù)；

56、綜上，總損失函數(shù)定義為均方誤差損失與邊緣損失的加權(quán)和：

57、l＝αlmse+βledge+lg，????(17)

58、其中，α，β分別表示權(quán)值。

59、相應(yīng)地，本發(fā)明還提供了一種基于核化注意力的智能監(jiān)控圖像去霧系統(tǒng)，包括：

60、數(shù)據(jù)集構(gòu)建單元，用于通過(guò)改進(jìn)大氣光散射模型，構(gòu)建霧霾圖像和對(duì)應(yīng)清晰圖像的配對(duì)數(shù)據(jù)集，用于核化注意力去霧網(wǎng)絡(luò)的訓(xùn)練；

61、去霧網(wǎng)絡(luò)構(gòu)建單元，用于設(shè)計(jì)所述核化注意力去霧網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)主要分為三個(gè)部分：首先，為了獲取輸入霧霾圖像的淺層特征，設(shè)計(jì)淺層特征提取層；其次，為了捕獲真實(shí)霧霾圖像中不同深度和密度的霧霾相關(guān)特征信息，設(shè)計(jì)基于局部-全局的核化注意力模塊；最后，使用卷積操作來(lái)進(jìn)行去霧結(jié)果圖像的復(fù)原；

62、去霧網(wǎng)絡(luò)訓(xùn)練單元，用于使用三個(gè)損失函數(shù)，分別是：選擇均方誤差損失函數(shù)來(lái)衡量去霧結(jié)果圖像和清晰樣本圖像的相似程度，引入邊緣損失函數(shù)來(lái)保持圖像的細(xì)節(jié)信息，設(shè)計(jì)一種高斯核感知對(duì)比損失函數(shù)來(lái)約束網(wǎng)絡(luò)復(fù)原出的去霧結(jié)果圖像更加接近清晰樣本圖像、更加遠(yuǎn)離霧霾圖像；利用所述配對(duì)數(shù)據(jù)集，使用上述三個(gè)損失函數(shù)對(duì)所述核化注意力去霧網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使之朝向去霧自然的方向更新，形成訓(xùn)練好的核化注意力去霧網(wǎng)絡(luò)；

63、去霧處理單元，用于用戶(hù)輸入待處理的霧霾圖像到所述訓(xùn)練好的核化注意力去霧網(wǎng)絡(luò)中，得到復(fù)原的清晰圖像。

64、實(shí)施本發(fā)明，具有如下有益效果：

65、本發(fā)明能夠?qū)Φ缆方煌ǖ葢?yīng)用的智能監(jiān)控場(chǎng)景中不同密度和深度的霧霾進(jìn)行去除，場(chǎng)景適應(yīng)性強(qiáng)，去霧效果明顯。所構(gòu)造的核化注意力模塊中采用了高斯核傅里葉域中的隨機(jī)特征映射，其優(yōu)勢(shì)是這些隨機(jī)特征可以受益于高維或無(wú)限維特征空間的高度分辨能力，從而幫助核化注意力模塊集中關(guān)注特征圖中更具辨別性的霧霾區(qū)域。