本發(fā)明涉及視覺遙感影像處理，特別是一種基于魯棒性swintransformer的遙感影像去云方法。

背景技術(shù)：

1、遙感影像是一種重要的地球觀測手段，廣泛應(yīng)用于自然資源調(diào)查、環(huán)境監(jiān)測、災(zāi)害評估、城市規(guī)劃等領(lǐng)域。然而，遙感影像不可避免地會受到云層的影響，云層會遮擋地表信息，降低遙感影像的質(zhì)量和應(yīng)用價值。

2、詳細(xì)和準(zhǔn)確的土地覆蓋和土地利用空間變化信息對于生態(tài)和環(huán)境研究至關(guān)重要。為了實(shí)現(xiàn)這些任務(wù)，需要更高質(zhì)量的圖像。傳統(tǒng)的遙感影像去云方法主要包括以下幾種：

3、根據(jù)云層和地表的反射率差異，設(shè)置閾值來區(qū)分云層和地表。這種方法簡單易行，但去云效果不夠理想，容易遺留云層或誤去除地表信息；將遙感影像分割成不同區(qū)域，然后根據(jù)每個區(qū)域的特征來判斷其是否為云層。這種方法去云效果較好，但計(jì)算復(fù)雜度高，效率較低。

4、為了解決上述問題，本發(fā)明提出了一種基于改進(jìn)?swin?transformer?的遙感影像去云方法，綜合利用深度學(xué)習(xí)模型的特征提取能力和自注意力機(jī)制，并結(jié)合精細(xì)化的后處理技術(shù)，顯著提升去云效果、提高處理效率、增強(qiáng)泛化能力，從而克服現(xiàn)有技術(shù)的局限性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供的一種基于魯棒性swin?transformer的遙感影像去云方法，包括以下步驟：

2、（1）預(yù)處理：對遙感影像進(jìn)行預(yù)處理，包括圖像去噪、增強(qiáng)、色彩校正等預(yù)處理步驟，以提高后續(xù)模型的輸入質(zhì)量。

3、（2）云層識別模型：收集數(shù)據(jù)，涵蓋不同地理區(qū)域、季節(jié)、天氣條件，并根據(jù)收集到的數(shù)據(jù)預(yù)先訓(xùn)練一個基于swin?transformer改進(jìn)的深度學(xué)習(xí)模型，使其能夠識別遙感影像中的云層。這個模型的輸入應(yīng)該是包含云層的原始遙感影像，輸出是云層掩碼，指示每個像素是否屬于云層。

4、（3）云層去除：根據(jù)云層識別模型的輸出，去除遙感影像中的云層像素。

5、（4）后處理：對去云后的影像進(jìn)行進(jìn)一步的后處理，包括圖像去噪、邊緣保護(hù)、細(xì)節(jié)增強(qiáng)等。

6、進(jìn)一步地，所述步驟（1）包括以下子步驟：

7、（1.1）將圖片轉(zhuǎn)為灰度圖像，裁剪為256?*?256像素大小的圖像，使用對偶算法優(yōu)化的?tv-l1?模型去除圖像中的噪聲。

8、（1.2）圖像增強(qiáng)主要包括兩方面：頻域增強(qiáng)和空間域增強(qiáng)，在本發(fā)明中分別使用了傅里葉變換和直方圖均衡來完成這兩部分的增強(qiáng)。

9、（1.3）遙感影像的色彩校正主要包含三方面的操作：輻射校正，大氣校正和地形校正。

10、進(jìn)一步地，所述步驟（2）包括以下子步驟：

11、（2.1）收集包含云層的原始遙感影像數(shù)據(jù)集，這些圖像涵蓋不同的地理區(qū)域、不同的季節(jié)和不同的天氣條件，根據(jù)數(shù)據(jù)集的特點(diǎn)，可以進(jìn)行隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)、縮放等操作對數(shù)據(jù)進(jìn)行增強(qiáng)，以增加模型的泛化能力。

12、（2.2）為了提高模型的魯棒性，對?swin?transformer?模型進(jìn)行一些改進(jìn)：特征金字塔結(jié)構(gòu)：引入多尺度特征表示，有助于捕捉不同大小的云層，包括積云、層積云、高積云、卷云等；注意力機(jī)制：利用自注意力機(jī)制，使模型能夠關(guān)注圖像中與云層相關(guān)的區(qū)域；正則化損失函數(shù)：使用正則化技術(shù)來防止模型過擬合。

13、（2.3）訓(xùn)練模型；（2.3.1）輸入包含云層的原始遙感影像。

14、（2.3.2）使用?swin?transformer?骨干網(wǎng)絡(luò)對輸入影像進(jìn)行編碼。

15、（2.3.3）使用分類層預(yù)測每個像素是否屬于云層。

16、（2.3.4）計(jì)算分類損失和正則化損失，分類損失可以衡量模型預(yù)測的云層掩碼與真實(shí)云層掩碼之間的差異，正則化損失可以防止模型過擬合。

17、（2.3.5）使用?adam?優(yōu)化器更新模型參數(shù)。

18、重復(fù)步驟?2.3.2?到?2.3.5，直到訓(xùn)練損失不再下降或驗(yàn)證集上的準(zhǔn)確率不再提高，此時模型收斂。

19、（2.4）使用驗(yàn)證集評估模型的性能，計(jì)算準(zhǔn)確率、召回率等指標(biāo)，根據(jù)評估結(jié)果進(jìn)行模型調(diào)優(yōu)。

20、進(jìn)一步地，所述步驟（3）包括以下子步驟：

21、（3.1）根據(jù)云層識別模型的輸出，對遙感影像進(jìn)行去云處理。

22、（3.2）根據(jù)云層概率對去云后的影像和原始影像進(jìn)行加權(quán)融合。

23、進(jìn)一步地，所述步驟（4）包括以下子步驟：

24、（4.1）可以參考步驟（1.1），去除去云后的影像中的噪聲。

25、（4.2）保護(hù)去云后影像的邊緣信息，可以使用引導(dǎo)濾波來保護(hù)邊緣。

26、（4.3）增強(qiáng)去云后影像的細(xì)節(jié)信息，可以使用銳化濾波器來增強(qiáng)細(xì)節(jié)信息。

27、近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的遙感影像去云方法取得了顯著的成果。為了解決現(xiàn)有方法準(zhǔn)確度不足、計(jì)算效率低、泛化能力差、后處理缺乏優(yōu)化等問題，本發(fā)明提出了一種基于魯棒性swin?transformer的遙感影像去云方法，與現(xiàn)有的技術(shù)相比，具有顯著的創(chuàng)新之處。以下為每個創(chuàng)新點(diǎn)的詳細(xì)說明：

28、1.去云效果提升顯著：傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（cnn）方法通常采用固定大小的卷積核，難以有效捕捉不同尺度的全局和局部特征，尤其是在處理大尺寸遙感影像時，容易出現(xiàn)局部特征提取不足、全局信息缺失的問題。

29、創(chuàng)新點(diǎn)：引入?swin?transformer：本發(fā)明采用?swin?transformer，這是一種自注意力機(jī)制的深度學(xué)習(xí)模型，能夠動態(tài)調(diào)整注意力范圍，具備分層結(jié)構(gòu)，能夠很好地捕捉圖像中的局部和全局特征?？臻g表示能力：swintransformer?的滑動窗口機(jī)制使其在處理大尺寸圖像時具有出色的空間表示能力，能夠高效處理圖像中的復(fù)雜細(xì)節(jié)，特別適用于遙感影像中云層的多樣化和復(fù)雜場景。全局依賴關(guān)系：通過自注意力機(jī)制，swin?transformer?可以建模不同區(qū)域之間的全局依賴關(guān)系，從而能夠更準(zhǔn)確地識別和去除云層，同時保持地表的清晰和完整。特征提取和泛化能力：相比傳統(tǒng)的?cnn，swin?transformer?能夠更好地提取圖像的細(xì)節(jié)特征和語義信息，具備更強(qiáng)的泛化能力，特別是在訓(xùn)練數(shù)據(jù)較少或分布不均時，仍然能夠保持較高的去云效果。

30、效果：實(shí)驗(yàn)表明，本發(fā)明在多種遙感數(shù)據(jù)集上的去云效果明顯優(yōu)于傳統(tǒng)方法，特別是在云層復(fù)雜、地形變化大的影像中，能夠顯著減少云層殘留和誤判，提升去云的準(zhǔn)確性和精細(xì)度。

31、2.跨地點(diǎn)和跨傳感器的泛化能力：傳統(tǒng)圖像處理方法和?cnn?模型通常在不同地點(diǎn)或傳感器的數(shù)據(jù)上表現(xiàn)不佳，泛化能力較差，需要針對不同的地點(diǎn)和傳感器進(jìn)行單獨(dú)的訓(xùn)練和調(diào)優(yōu)，無法實(shí)現(xiàn)“一次訓(xùn)練，隨處應(yīng)用”。

32、創(chuàng)新點(diǎn)：自注意力機(jī)制：swin?transformer?的自注意力機(jī)制使其能夠?qū)W習(xí)到不同地點(diǎn)和傳感器之間的特征依賴關(guān)系，適應(yīng)不同的影像特點(diǎn)。全局特征學(xué)習(xí)：通過滑動窗口和多尺度處理，本發(fā)明的模型能夠捕捉到不同傳感器和地點(diǎn)之間的全局特征，提高模型在不同環(huán)境下的適應(yīng)性。通用性：模型訓(xùn)練一次后可以在不同地點(diǎn)和傳感器上直接應(yīng)用，減少了針對不同應(yīng)用場景的重新訓(xùn)練需求，提升了應(yīng)用效率。

33、效果：本發(fā)明在多種遙感影像傳感器（如?sentinel-2、landsat?8）和不同地點(diǎn)的數(shù)據(jù)集上均表現(xiàn)優(yōu)異，無需針對每種傳感器或地點(diǎn)進(jìn)行單獨(dú)訓(xùn)練，實(shí)現(xiàn)了良好的跨傳感器和跨地點(diǎn)泛化能力。

34、3.綜合考慮像素級別和語義級別的信息：傳統(tǒng)方法在處理遙感影像中的復(fù)雜場景時，往往忽略了像素級別和語義級別信息的綜合作用，導(dǎo)致地表特征的丟失和云層殘留的增加。

35、創(chuàng)新點(diǎn)：損失函數(shù)設(shè)計(jì)：本發(fā)明在損失函數(shù)中綜合考慮了像素級別（如云層與地表的精確邊界識別）和語義級別（如整體云層分布模式和地表語義信息）的信息，確保去云后影像的整體性和細(xì)節(jié)保留。細(xì)節(jié)保留：通過像素級別的精細(xì)監(jiān)督，保留了影像中的細(xì)節(jié)信息；通過語義級別的監(jiān)督，確保云層去除的整體一致性和地表信息的完整性。云層遮擋處理：結(jié)合像素級別和語義級別的信息處理方法，能夠有效處理遙感影像中的復(fù)雜云層遮擋問題，減少云層對地表信息的干擾。

36、效果：本發(fā)明在去云效果上顯著提升，能夠在去云的同時保留地表的細(xì)節(jié)信息和整體語義結(jié)構(gòu)，避免傳統(tǒng)方法中的細(xì)節(jié)丟失和過度平滑問題，提升了影像的質(zhì)量和應(yīng)用價值。

37、4.后處理技術(shù)的細(xì)化和優(yōu)化：傳統(tǒng)去云方法通常缺乏有效的后處理步驟，容易導(dǎo)致去云后的影像質(zhì)量下降，如細(xì)節(jié)丟失、邊緣模糊、噪聲殘留等問題。

38、創(chuàng)新點(diǎn)：去噪處理：采用優(yōu)化的?tv-l1?模型進(jìn)行去噪處理，在保持影像細(xì)節(jié)的同時有效去除噪聲。邊緣保護(hù)：使用引導(dǎo)濾波保護(hù)去云后影像的邊緣信息，避免邊緣模糊，提高影像的清晰度。細(xì)節(jié)增強(qiáng)：通過銳化濾波和頻域增強(qiáng)技術(shù)，對去云后的影像進(jìn)行細(xì)節(jié)增強(qiáng)，提升影像的對比度和細(xì)節(jié)表現(xiàn)。融合技術(shù)：利用云層掩碼和云概率信息進(jìn)行加權(quán)融合，提高影像的真實(shí)感和準(zhǔn)確性。

39、效果：本發(fā)明的后處理技術(shù)有效提升了去云后影像的整體質(zhì)量，減少了云層殘留和噪聲，提升了影像的視覺效果和應(yīng)用質(zhì)量。實(shí)驗(yàn)表明，經(jīng)過后處理的影像在細(xì)節(jié)表現(xiàn)、邊緣清晰度和噪聲控制方面顯著優(yōu)于傳統(tǒng)方法。·

40、綜上所述，本發(fā)明通過引入?swin?transformer?模型及其自注意力機(jī)制，綜合考慮像素級別和語義級別的信息，結(jié)合細(xì)化的后處理步驟，在去云效果、泛化能力、信息綜合處理及后處理優(yōu)化等方面均取得了顯著的創(chuàng)新和提升。相較于現(xiàn)有技術(shù)，本發(fā)明能夠更有效地解決遙感影像去云過程中遇到的問題，提供高質(zhì)量的去云結(jié)果，具備廣泛的應(yīng)用價值。該方法能夠顯著提升去云效果，提高遙感影像質(zhì)量，具有廣泛的應(yīng)用前景。無論是自然資源管理、環(huán)境監(jiān)測、災(zāi)害應(yīng)急，還是農(nóng)業(yè)、城市規(guī)劃等領(lǐng)域，都能夠受益于高質(zhì)量的去云影像，為科學(xué)決策和管理提供有力的數(shù)據(jù)支持，推動各領(lǐng)域的智能化和高效化發(fā)展。