本發(fā)明屬于紅外圖像處理，具體涉及一種結(jié)合參考輻射源的深度學(xué)習(xí)非均勻校正方法。

背景技術(shù)：

1、近年來(lái)，隨著數(shù)據(jù)量的增長(zhǎng)和計(jì)算能力的提高，出現(xiàn)了許多新的人工智能方法，包括強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)和深度學(xué)習(xí)。強(qiáng)化學(xué)習(xí)可以在對(duì)環(huán)境的有限了解和對(duì)決策質(zhì)量的有限反饋的情況下運(yùn)行，它廣泛用于智能電網(wǎng)網(wǎng)絡(luò)，通信網(wǎng)絡(luò)等。遷移學(xué)習(xí)可以將大數(shù)據(jù)的模型遷移到小數(shù)據(jù)，實(shí)現(xiàn)個(gè)性化遷移，這是未來(lái)發(fā)展的方向。深度學(xué)習(xí)在圖像處理中表現(xiàn)出最佳性能，例如圖像分類(lèi)，目標(biāo)檢測(cè)，人臉識(shí)別和超分辨率。原因是通過(guò)深度學(xué)習(xí)，網(wǎng)絡(luò)會(huì)自動(dòng)學(xué)習(xí)圖像的各種信息特征，并將其保存在隱藏層中。

2、紅外焦平面陣列(fpa)響應(yīng)度的非線性是評(píng)價(jià)紅外圖像的一個(gè)主要問(wèn)題，這將影響紅外傳感器的探測(cè)和分類(lèi)能力。由于受探測(cè)器材料、相關(guān)制造技術(shù)等因素的影響，各檢測(cè)元件對(duì)紅外焦平面陣列(irfpa)的響應(yīng)度不同，導(dǎo)致irfpa非均勻性校正(nuc)是irfpa的一項(xiàng)重要技術(shù)。隨著紅外焦平面陣列(irfpa)技術(shù)的快速發(fā)展，對(duì)非均勻性校正(nuc)技術(shù)提出了更高的要求，如果紅外圖像的不均勻性不能得到有效校正，就很難將目標(biāo)信號(hào)與背景分離。nuc的算法主要分為兩類(lèi)：基于參考的算法和基于場(chǎng)景的算法；基于參考的算法依靠標(biāo)準(zhǔn)輻射源獲得精確的輻射能量，常見(jiàn)的輻射源是黑體。該算法簡(jiǎn)單易用，并且具有良好的校正效果。

3、紅外焦平面陣列是紅外熱成像系統(tǒng)的核心器件，是探測(cè)、識(shí)別和分析物體紅外信息的關(guān)鍵，其性能直接決定了紅外熱成像系統(tǒng)的最終性能。在理想情況下，紅外焦平面陣列接收到均勻的紅外輻射時(shí)，不同探測(cè)元的輻射響應(yīng)理論上是一致的。在實(shí)際應(yīng)用中，由于材料制造工藝等因素的影響，紅外焦平面陣列探測(cè)器各個(gè)像元接受相同紅外輻射時(shí)其響應(yīng)輸出電信號(hào)強(qiáng)度存在差異(即非均勻性)，且這種差異要遠(yuǎn)高于可見(jiàn)光傳感器，這種非均勻響應(yīng)在紅外圖像上通常表現(xiàn)為疊加在場(chǎng)景圖像上的一個(gè)固定的圖案，因此又稱為固定圖案噪聲，這種噪聲造成相機(jī)的非均勻性，而非均勻性是一種特殊的非均勻性噪聲，這一固有缺陷為紅外成像系統(tǒng)的應(yīng)用帶來(lái)了很大影響，在制冷紅外焦平面陣列和非制冷凝視紅外焦平面陣列中普遍存在，嚴(yán)重影響了紅外圖像質(zhì)量，限制了后續(xù)圖像處理精度。

技術(shù)實(shí)現(xiàn)思路

1、為了充分發(fā)揮及應(yīng)用深度學(xué)習(xí)在圖像處理中的巨大優(yōu)勢(shì)，解決非均勻性噪聲嚴(yán)重影響了紅外圖像質(zhì)量，限制了后續(xù)圖像處理精度的問(wèn)題。

2、本發(fā)明便針對(duì)此由紅外成像系統(tǒng)中不均勻噪聲引起的柱條紋和隨機(jī)噪聲的問(wèn)題，結(jié)合深度學(xué)習(xí)的方法，在參考輻射源的情況下，提供一種結(jié)合參考輻射源的深度學(xué)習(xí)非均勻校正算法，從而進(jìn)行非均勻校正。

3、為此，本發(fā)明提供了一種結(jié)合參考輻射源的深度學(xué)習(xí)非均勻校正方法，包括如下步驟：

4、步驟1、數(shù)據(jù)集制作；

5、步驟2、將制作的數(shù)據(jù)集通過(guò)網(wǎng)絡(luò)模型，使用有監(jiān)督方式對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，確定網(wǎng)絡(luò)參數(shù)；

6、步驟3、使用訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)待矯正圖片進(jìn)行非均勻校正，得到校正后的圖像。

7、進(jìn)一步的，所述步驟1、數(shù)據(jù)集制作的具體過(guò)程是：

8、步驟101、真實(shí)黑體數(shù)據(jù)集準(zhǔn)備，采集紅外相機(jī)在不同溫度段工作狀態(tài)下的黑體圖像數(shù)據(jù)，其中溫度度數(shù)變?yōu)?℃～10℃，共需拍攝m個(gè)溫度段；

9、步驟102、對(duì)比黑體數(shù)據(jù)集準(zhǔn)備，由拍攝的黑體圖像yp來(lái)獲得與之對(duì)比校正的黑體圖像yq；

10、步驟103、數(shù)據(jù)集制作，在深度學(xué)習(xí)過(guò)程中，為了避免需將數(shù)據(jù)集制作時(shí)將配對(duì)數(shù)據(jù)集進(jìn)行分塊和重組，具體操作如下：

11、首先，將m個(gè)溫度下的配對(duì)圖片進(jìn)行分塊，在分塊時(shí)保證配對(duì)數(shù)據(jù)集的大小與位置保持一致，其中分塊可為l*s塊；

12、其次，將分塊后的l*s*m*n數(shù)據(jù)集進(jìn)行重組，在分塊時(shí)保證配對(duì)數(shù)據(jù)集的大小與位置保持一致，其中重組后的圖像大小仍為m*n；

13、至此，即可得到了m張不同溫度下配對(duì)黑體數(shù)據(jù)。

14、進(jìn)一步的，所述步驟102、對(duì)比黑體數(shù)據(jù)集準(zhǔn)備，由拍攝的黑體圖像yp來(lái)獲得與之對(duì)比校正的黑體圖像yq的具體過(guò)程是：

15、首先，通過(guò)得到了m×n張黑體圖像后，計(jì)算出每個(gè)溫度下的圖像像素?cái)?shù)據(jù)yp：

16、

17、其中，即為t1溫度下黑體數(shù)據(jù)采集的有效圖像，(i,j)表示m×n大小的圖像中的每一個(gè)像元的位置，表示t1溫度下第k張黑體圖像；由此可得出m個(gè)溫度{t1，t2，…,tm}下的m張黑體圖像的數(shù)據(jù)

18、其次，通過(guò)黑體圖像的數(shù)據(jù)計(jì)算有效黑體圖像的配對(duì)圖像yq；

19、

20、其中，是為t1溫度下的對(duì)比校正的黑體圖像，f(i，j)為非均勻校正函數(shù)；即可得到了m張寬溫度下黑體數(shù)據(jù)的有效圖像和對(duì)應(yīng)的均勻響應(yīng)圖像

21、上述中，f(i，j)非均勻校正函數(shù)，可為一點(diǎn)矯正、兩點(diǎn)校正、多點(diǎn)校正或基于曲線擬合的定標(biāo)算法。

22、進(jìn)一步的，所述步驟2、將制作的數(shù)據(jù)集通過(guò)網(wǎng)絡(luò)模型，使用有監(jiān)督方式對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，確定網(wǎng)絡(luò)參數(shù)的具體過(guò)程是：

23、步驟201、黑體圖像作為輸入圖像x，首先采用n個(gè)3×3的卷積對(duì)輸入圖像x的淺層特征f0進(jìn)行特征提取，如式(3)所示，將輸入圖像映射到高維特征空間，其中，

24、f0＝fconv(x)????????????????????????(3)

25、步驟202、信息通過(guò)由3個(gè)stl?block(stlb)模塊、一個(gè)3×3的卷積層與殘差結(jié)構(gòu)組成的深層特征提取模塊fdf1，對(duì)f0(f0∈rh×w×c)提取深層特征，如式(4)所示：

26、fdf1＝fdf1(f0)＝fstlb(fstlb(fstlb(fconv(f0))))????(4)

27、其中stlb模塊由6個(gè)stl層、一個(gè)3×3的卷積與殘差結(jié)構(gòu)組成，每個(gè)stl由2個(gè)歸一化層(layer?norm)、1個(gè)多頭自注意(msa)模塊、1個(gè)多層感知器(mlp)以及2個(gè)殘差連接組成；

28、mlp包含2個(gè)全連接層與gelu激活函數(shù)；將尺寸為h×w×c的輸入拆分為m×m的局部窗口并reshape為為窗口總數(shù)，每個(gè)窗口在每個(gè)窗口計(jì)算標(biāo)準(zhǔn)自注意力如式(5)與(6)所示；

29、q＝xpq,k＝xpk,v＝xpv??????????????(5)

30、

31、其中，pq、pk和pv是跨不同窗口共享的投影矩陣，b表示可學(xué)習(xí)相對(duì)位置編碼，該處相對(duì)位置編碼的加入可進(jìn)一步提高模型的性能；

32、步驟203、圖像特征fdf1經(jīng)過(guò)下采樣模塊(down?sampling?block)，其中下采樣模塊包含2倍下采樣層與一個(gè)3×3的卷積層，經(jīng)過(guò)下采樣模塊后的圖像特征為fdsf1；通過(guò)由2個(gè)stlb模塊、一個(gè)3×3的卷積層與殘差結(jié)構(gòu)組成的深層特征提取模塊fdf2對(duì)fdsf1提取圖像特征，如式(7)所示：

33、

34、其中，為淺層特征，為深層特征；

35、圖像特征fdf2經(jīng)過(guò)下采樣模塊后的圖像特征為再通過(guò)上采樣模塊(upsampling?block)進(jìn)行圖像特征尺寸復(fù)原；從而反復(fù)n次將特征信息提取完全，將淺層與深層特征經(jīng)過(guò)重建，得到最終校正結(jié)果；

36、步驟204、損失函數(shù)用來(lái)測(cè)量預(yù)測(cè)結(jié)果與期望結(jié)果的差距，將該損失值不斷輸入網(wǎng)絡(luò)進(jìn)行反向傳播，以給予網(wǎng)絡(luò)正負(fù)反饋的方式，實(shí)現(xiàn)網(wǎng)絡(luò)模型參數(shù)的不斷優(yōu)化更新；結(jié)構(gòu)相似性指數(shù)(ssim)是衡量結(jié)構(gòu)相似性的全參考客觀質(zhì)量評(píng)價(jià)指標(biāo)，在亮度、對(duì)比度和結(jié)構(gòu)方面聯(lián)合進(jìn)行比較，從而經(jīng)反向傳播更新參數(shù)得到最終參數(shù)結(jié)果。

37、進(jìn)一步的，所述步驟3、使用訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)待矯正圖片進(jìn)行非均勻校正，得到校正后的圖像的具體過(guò)程是：將步驟2中獲得的參數(shù)結(jié)果保存為權(quán)值文件xx.pth。通過(guò)使用該權(quán)值文件初始神經(jīng)網(wǎng)絡(luò)，將輸入待校正圖像輸入該網(wǎng)絡(luò)結(jié)構(gòu)即可得到非均勻性校正后的圖像。

38、本發(fā)明的優(yōu)點(diǎn)是：本發(fā)明提供這種結(jié)合參考輻射源的深度學(xué)習(xí)非均勻校正方法，能充分發(fā)揮及應(yīng)用深度學(xué)習(xí)在圖像處理中的巨大優(yōu)勢(shì)，解決非均勻性噪聲嚴(yán)重影響了紅外圖像質(zhì)量，限制了后續(xù)圖像處理精度的問(wèn)題，通過(guò)使用深層網(wǎng)絡(luò)對(duì)黑體圖像不同尺度的圖像結(jié)構(gòu)特征、圖像細(xì)節(jié)特征、空間層次特征進(jìn)行深度挖掘，保留除非均勻性噪聲之外的所有有效圖像信息，實(shí)現(xiàn)對(duì)黑體圖像的高質(zhì)量非均勻性校正。

39、下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做詳細(xì)說(shuō)明。