本發(fā)明涉及一種紅外遙感探測中圖像處理，特別是一種基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法。

背景技術(shù)：

1、紅外遙感探測技術(shù)利用紅外設(shè)備將被測物體表面的紅外輻射能量轉(zhuǎn)換為紅外灰度圖像，對紅外圖像進(jìn)行非均勻性校正、圖像幀間配準(zhǔn)等預(yù)處理后進(jìn)行目標(biāo)檢測，得出目標(biāo)的運(yùn)動軌跡。該技術(shù)在氣象預(yù)測、環(huán)境監(jiān)測、城市規(guī)劃、農(nóng)業(yè)生產(chǎn)等各領(lǐng)域的廣泛應(yīng)用，能夠?qū)募t外圖像中提取各個領(lǐng)域關(guān)注的目標(biāo)運(yùn)動情況。但是紅外遙感探測技術(shù)在實際的運(yùn)用中，其探測的目標(biāo)對象往往呈現(xiàn)弱小目標(biāo)的特性，根據(jù)國際光學(xué)工程學(xué)會的定義，將局部信雜比＜3.16(5db)，像素大小≤9×9的目標(biāo)視為弱小目標(biāo)。在針對弱小目標(biāo)的紅外遙感探測技術(shù)中，非均勻性噪聲是制約目標(biāo)檢測性能的主要原因?，F(xiàn)有技術(shù)中針對不同形式的非均勻性噪聲成因開展了大量的校正方法研究?？偟膩碚f，非均勻性校正方法主要可以分為兩類：基于標(biāo)定的校正方法和基于場景的校正方法。

2、基于標(biāo)定的校正方法利用傳感器各探測元對黑體輻射源的兩點或多點響應(yīng)，通過數(shù)學(xué)擬合計算校正參數(shù)。該類方法的優(yōu)點是算法簡單，但其校正效果會受到環(huán)境溫度和積分時間變化等的影響。因此，基于標(biāo)定的校正方法需要定期進(jìn)行，并且在定標(biāo)的同時，探測系統(tǒng)需要暫停任務(wù)工作以觀測用于定標(biāo)的黑體輻射源，這不符合弱小目標(biāo)探測過程中對快速響應(yīng)的要求。

3、基于場景的方法利用場景信息實現(xiàn)對圖像的自適應(yīng)非均勻性校正。不僅具有不影響紅外系統(tǒng)正常工作的優(yōu)點，還可以避免基于標(biāo)定的校正方法中響應(yīng)漂移及非線性等問題。因此，目前基于場景的方法已成為紅外非均勻性校正的主要研究方向。當(dāng)前主要的基于場景的校正方法包括卡爾曼濾波法、時域高通濾波法、傳統(tǒng)神經(jīng)網(wǎng)絡(luò)法、基于圖像配準(zhǔn)的方法和恒定統(tǒng)計法等。此外，近年來，許多學(xué)者提出了基于深度學(xué)習(xí)的非均勻性校正方法，采用深度學(xué)習(xí)方法，深度學(xué)習(xí)以其優(yōu)秀的非均勻性估計能力在非均勻性校正等圖像去噪領(lǐng)域取得了很大的發(fā)展。然而，盡管現(xiàn)有方法在去噪的同時保留圖像細(xì)節(jié)方面做出了許多的嘗試與努力，但始終未能從根本上解決圖像過度平滑可能濾除掉弱小目標(biāo)等圖像細(xì)節(jié)的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是，針對現(xiàn)有技術(shù)不足，提供一種基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，解決圖像過度平滑可能濾除掉弱小目標(biāo)等圖像細(xì)節(jié)的問題。

2、為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：一種基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，包括以下步驟：

3、s1、利用獲取的多幀紅外圖像訓(xùn)練多幀逐像元非均勻性校正網(wǎng)絡(luò)；所述多幀逐像元非均勻性校正網(wǎng)絡(luò)包括逐像元增益校正子網(wǎng)絡(luò)和逐像元偏置校正子網(wǎng)絡(luò)；所述逐像元增益校正子網(wǎng)絡(luò)包括多個級聯(lián)的第一3d殘差單元，最后一個第一3d殘差單元與第一卷積層連接；所述逐像元偏置校正子網(wǎng)絡(luò)包括多個級聯(lián)的第二3d殘差單元，最后一個第二3d殘差單元與第二卷積層連接；

4、s2、將實時獲取的多幀紅外圖像輸入訓(xùn)練后的逐像元增益校正子網(wǎng)絡(luò)，得到逐像元增益校正因子；

5、s3、利用所述逐像元增益校正因子校正所述多幀紅外圖像，得到增益校正多幀圖像；

6、s4、將所述增益校正多幀圖像輸入訓(xùn)練后的逐像元偏置校正子網(wǎng)絡(luò)，得到逐像元偏置校正因子，利用所述逐像元偏置校正因子校正所述增益校正多幀圖像，得到非均勻性校正的多幀圖像。

7、本發(fā)明利用深度學(xué)習(xí)網(wǎng)絡(luò)強(qiáng)大的非線性估計能力，將對像元像素值的估計問題轉(zhuǎn)換為對探測元校正因子的估計問題，進(jìn)而可以采用校正因子復(fù)用性的全局統(tǒng)計平均，很好地抑制可能濾除掉弱小目標(biāo)和紋理細(xì)節(jié)的像元像素局部過度平滑。

8、紅外目標(biāo)往往呈現(xiàn)出弱小目標(biāo)的特征，非均勻性校正的過度平滑可能將弱小目標(biāo)當(dāng)作噪聲點濾除掉，造成后續(xù)的目標(biāo)漏檢。本發(fā)明基于多幀的兩個子網(wǎng)絡(luò)采用3d殘差單元進(jìn)行設(shè)計，實現(xiàn)了對不同強(qiáng)度逐像元非均勻性的較強(qiáng)的泛化能力。本發(fā)明有效抑制了像元像素局部過度平滑，進(jìn)而較大程度地避免了可能濾除掉弱小目標(biāo)和紋理細(xì)節(jié)的問題。

9、本發(fā)明步驟s2中，所述第一3d殘差單元和第二3d殘差單元各包括多個級聯(lián)的3d卷積層，每個所述3d卷積層之后依次連接一批量歸一化層、激活函數(shù)。

10、本發(fā)明中，所述第一3d殘差單元和第二3d殘差單元數(shù)量均為8個。

11、本發(fā)明中，所述激活函數(shù)為relu激活函數(shù)。

12、本發(fā)明步驟s2中，逐像元增益校正因子的獲取過程包括：剔除第一卷積層一個通道的輸出的幀間的最大值和最小值，將剔除最大值和最小值后的幀間均值作為逐像元增益校正因子。本發(fā)明對預(yù)估計張量采用基于異常值剔除的幀間均值作為對校正因子的最終估計，進(jìn)一步有效抑制了像元像素局部過度平滑。

13、本發(fā)明步驟s2中，逐像元增益校正因子gij的計算公式為：gij＝1/gij；其中，gij表示面陣探測元的第i行第j列探測元的增益。

14、本發(fā)明步驟s4中，逐像元偏置校正因子的獲取過程包括：剔除第二卷積層一個通道的輸出的幀間的最大值和最小值，將剔除最大值和最小值后的幀間均值作為逐像元偏差校正因子。進(jìn)一步有效抑制了像元像素局部過度平滑。

15、本發(fā)明步驟s4中，逐像元偏置校正因子oij的計算公式為：oij＝-oij/gij；其中，gij和oij分別表示各探測元的增益和偏置，i和j分別表示面陣探測元的第i行和第j列。

16、本發(fā)明步驟s4中，非均勻性校正的第f幀圖像第i行第j列元素的表達(dá)式為：gij為逐像元增益校正因子，y(f)ij＝gij·x(f)ij+oij，x(f)ij和y(f)ij分別表示第f幀各像元的實際響應(yīng)和觀測值，gij和oij分別表示各探測元的增益和偏置，i和j分別表示面陣探測元的第i行和第j列，oij為逐像元偏置校正因子。

17、與現(xiàn)有技術(shù)相比，本發(fā)明所具有的有益效果為：本發(fā)明基于多幀的兩個子網(wǎng)絡(luò)采用3d殘差單元進(jìn)行設(shè)計，實現(xiàn)了對不同強(qiáng)度逐像元非均勻性的較強(qiáng)的泛化能力。兩個子網(wǎng)絡(luò)輸出校正因子的預(yù)估計張量，再基于逐像元非均勻性響應(yīng)模型，對預(yù)估計張量采用基于異常值剔除的幀間均值作為對校正因子的最終估計，有效抑制了像元像素局部過度平滑，進(jìn)而較大程度地避免了可能濾除掉弱小目標(biāo)和紋理細(xì)節(jié)的問題。

技術(shù)特征：

1.一種基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，

2.根據(jù)權(quán)利要求1所述的基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，步驟s2中，所述第一3d殘差單元和第二3d殘差單元各包括多個級聯(lián)的3d卷積層，每個所述3d卷積層之后依次連接一批量歸一化層、激活函數(shù)。

3.根據(jù)權(quán)利要求1所述的基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，所述第一3d殘差單元和第二3d殘差單元數(shù)量均為8個。

4.根據(jù)權(quán)利要求2所述的基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，所述激活函數(shù)為relu激活函數(shù)。

5.根據(jù)權(quán)利要求1所述的基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，步驟s2中，逐像元增益校正因子的獲取過程包括：

6.根據(jù)權(quán)利要求1所述的基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，步驟s2中，逐像元增益校正因子gij的計算公式為：gij＝1/gij；其中，gij表示面陣探測元的第i行第j列探測元的增益。

7.根據(jù)權(quán)利要求1所述的基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，步驟s4中，逐像元偏置校正因子的獲取過程包括：剔除第二卷積層一個通道的輸出的幀間的最大值和最小值，將剔除最大值和最小值后的幀間均值作為逐像元偏差校正因子。

8.根據(jù)權(quán)利要求1所述的基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，步驟s4中，逐像元偏置校正因子oij的計算公式為：oij＝-oij/gij；其中，gij和oij分別表示各探測元的增益和偏置，i和j分別表示面陣探測元的第i行和第j列。

9.根據(jù)權(quán)利要求1～8之一所述的基于3d殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，其特征在于，步驟s4中，非均勻性校正的第f幀圖像第i行第j列元素的表達(dá)式為：gij為逐像元增益校正因子，y(f)ij＝gij·x(f)ij+oij，x(f)ij和y(f)ij分別表示第f幀各像元的實際響應(yīng)和觀測值，gij和oij分別表示各探測元的增益和偏置，i和j分別表示面陣探測元的第i行和第j列，oij為逐像元偏置校正因子。

技術(shù)總結(jié)
本發(fā)明公開了一種基于3D殘差網(wǎng)絡(luò)的多幀圖像逐像元非均勻性校正方法，利用獲取的多幀紅外圖像訓(xùn)練多幀逐像元非均勻性校正網(wǎng)絡(luò)；多幀逐像元非均勻性校正網(wǎng)絡(luò)包括逐像元增益校正子網(wǎng)絡(luò)和逐像元偏置校正子網(wǎng)絡(luò)；將實時獲取的多幀紅外圖像輸入訓(xùn)練后的逐像元增益校正子網(wǎng)絡(luò)，得到逐像元增益校正因子；利用所述逐像元增益校正因子校正所述多幀紅外圖像，得到增益校正多幀圖像；將所述增益校正多幀圖像輸入訓(xùn)練后的逐像元偏置校正子網(wǎng)絡(luò)，得到逐像元偏置校正因子，利用所述逐像元偏置校正因子校正所述增益校正多幀圖像，得到非均勻性校正的多幀圖像。本發(fā)明有效抑制了像元像素局部過度平滑，進(jìn)而較大程度地避免了可能濾除掉弱小目標(biāo)和紋理細(xì)節(jié)的問題。

技術(shù)研發(fā)人員：安瑋,王特亮,林再平,盛衛(wèi)東,李淼
受保護(hù)的技術(shù)使用者：中國人民解放軍國防科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9