本發(fā)明涉及遙感影像處理領(lǐng)域，涉及但不限定于一種基于雙輸入unet模型的多模態(tài)遙感影像分類方法。

背景技術(shù)：

1、深度學習為遙感影像的自動分類提供了最先進的手段，并被廣泛應用于土地利用等產(chǎn)品的生產(chǎn)。研究人員一直致力于開發(fā)和應用新的深度學習算法，以提高遙感影像自動分類的準確性和效率。一些典型的深度學習模型如卷積神經(jīng)網(wǎng)絡(cnn)、unet等，在影像自動分類中起到了非常重要的作用。然而，傳統(tǒng)的單一模型往往存在表征能力不足、相近對象難以區(qū)分、精度不高等問題。

2、多模態(tài)指通過結(jié)合來自多個不同來源或不同類型的數(shù)據(jù)，以提供更全面和準確的分析結(jié)果。在遙感影像處理中，多模態(tài)數(shù)據(jù)包括光學影像、雷達影像等，能夠綜合利用不同數(shù)據(jù)源的信息，彌補單一數(shù)據(jù)源的不足。時序數(shù)據(jù)是多模態(tài)中的重要組成部分，指在不同時刻對同一地點進行多次觀測所得的數(shù)據(jù)序列。時序數(shù)據(jù)可以捕捉地表變化的動態(tài)信息，適用于監(jiān)測地表形變、植被變化等。例如，合成孔徑雷達(insar)時序數(shù)據(jù)能夠提供連續(xù)的地表動態(tài)變化圖像。相比單模態(tài)數(shù)據(jù)，多模態(tài)數(shù)據(jù)的優(yōu)勢在于綜合利用不同數(shù)據(jù)源的信息。光學影像提供高分辨率的空間信息，但易受天氣影響；雷達影像能夠在任何天氣條件下獲取地表信息，并對地形變化敏感。將光學影像與insar時序影像結(jié)合，可以實現(xiàn)對地物的全面監(jiān)測和準確分類。

3、unet模型通過引入跳躍連接(skip?connection)，在分割任務中表現(xiàn)出色，但其在處理多模態(tài)數(shù)據(jù)和時序數(shù)據(jù)時，效果仍有提升空間。具體來說，unet在處理時序數(shù)據(jù)時面臨以下問題：首先，unet主要設計用于靜態(tài)圖像，對于時序數(shù)據(jù)中的時間依賴性特征捕捉能力有限；其次，unet在處理長時間序列數(shù)據(jù)時，容易出現(xiàn)時間信息丟失或忽視，難以有效捕捉長期依賴關(guān)系。lunet模型在unet基礎上進行改進，通過利用卷積長短時記憶網(wǎng)絡卷積核(convlstm?kernel)替換原有的卷積核，能夠更好地處理時序數(shù)據(jù)，增強模型對時間序列特征的捕捉和理解能力。

4、lunet和unet模型在處理多模態(tài)數(shù)據(jù)時也面臨諸多挑戰(zhàn)。首先，不同模態(tài)的數(shù)據(jù)特征空間差異大，特征提取和融合過程復雜，容易導致信息丟失或冗余；其次，不同模態(tài)的數(shù)據(jù)在空間分辨率和幾何特性上可能不一致，數(shù)據(jù)對齊困難；此外，傳統(tǒng)unet設計主要針對單一模態(tài)數(shù)據(jù)，直接應用于多模態(tài)數(shù)據(jù)效果不佳，需要對網(wǎng)絡結(jié)構(gòu)進行調(diào)整。同樣，lunet雖然在處理時序數(shù)據(jù)方面表現(xiàn)較好，但在處理多模態(tài)數(shù)據(jù)時依然存在上述問題，并且由于缺乏針對多模態(tài)數(shù)據(jù)的專門設計，效果甚至可能更差。因此，現(xiàn)有的lunet和unet在處理多模態(tài)數(shù)據(jù)時，仍有很大的改進空間。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明實施例提供一種基于雙輸入unet模型的多模態(tài)遙感影像分類方法，旨在提高多模態(tài)數(shù)據(jù)的分類精度和處理效率。

2、本發(fā)明實施例的技術(shù)方案是這樣實現(xiàn)的：

3、本發(fā)明實施例提供一種基于雙輸入unet模型的多模態(tài)遙感影像分類方法，所述方法包括：

4、獲取光學影像數(shù)據(jù)和insar時序影像數(shù)據(jù)，并構(gòu)建樣本集；通過深度可分離卷積核提取所述光學影像數(shù)據(jù)的空間特征；通過卷積長短時記憶網(wǎng)絡卷積核提取所述insar時序影像數(shù)據(jù)的時間序列特征；通過自適應調(diào)整模塊融合所述空間特征和時間序列特征，并將融合后的聯(lián)合特征輸入到unet結(jié)構(gòu)中，通過殘差連接與所述光學影像數(shù)據(jù)對應的池化后光學特征進行連接，預測得到分類結(jié)果；基于所述樣本集中樣本的真實標簽和所述分類結(jié)果確定目標損失，并進行模型訓練得到多模態(tài)分類模型；將處理后的目標遙感影像數(shù)據(jù)輸入到所述多模態(tài)分類模型，得到目標分類結(jié)果。

5、在一些可能的實施例中，所述方法還包括：對獲取的所述光學影像數(shù)據(jù)和所述insar時序影像數(shù)據(jù)進行以下至少一種數(shù)據(jù)增強處理：翻轉(zhuǎn)、裁剪、縮放、加噪聲、對比度調(diào)整。

6、在一些可能的實施例中，在所述自適應調(diào)整模塊中自適應調(diào)整空間特征和時間序列特征的權(quán)重，實現(xiàn)特征的有效融合；利用多頭注意力機制將輸入特征分成多個頭，每個頭學習不同的特征表示。

7、在一些可能的實施例中，所述方法還包括：針對所述樣本集中所有樣本的不同標簽類別賦予不同的權(quán)重，采用加權(quán)交叉熵損失函數(shù)確定所述目標損失。

8、在一些可能的實施例中，所述方法還包括：在模型訓練過程中，進行以下至少一種數(shù)據(jù)預處理操作以提高模型的泛化能力和魯棒性：數(shù)據(jù)歸一化、數(shù)據(jù)增強、樣本平衡。

9、本申請實施例提供的技術(shù)方案帶來的有益效果至少包括：

10、在本發(fā)明實施例中，首先獲取兩類遙感影像數(shù)據(jù)：一類是光學影像數(shù)據(jù)，另一類是insar時序影像數(shù)據(jù)。對于光學影像數(shù)據(jù)，采用深度可分離卷積核對其進行處理，通過層層卷積操作提取其空間特征，從而提高處理效率并減少參數(shù)量。與此同時，insar時序影像數(shù)據(jù)通過卷積長短時記憶網(wǎng)絡卷積核進行處理，以捕捉其時間序列特征，增強模型對時序變化的感知能力。在提取完這兩種特征后，使用自適應特征融合模塊(aff)將光學影像特征和insar時序影像特征進行融合，這一過程綜合考慮了空間和時間特征的互補性，形成了更具代表性的聯(lián)合特征表示。隨后將融合后的聯(lián)合特征輸入到分類模型中，通過一系列的分類操作，最終得到遙感影像的分類結(jié)果。本發(fā)明提出了一種高效、穩(wěn)定且精確的遙感影像分類方法，不僅能夠充分利用光學影像和insar時序影像的各自優(yōu)勢，通過特征融合提升分類的準確性，還保證了處理過程的快速性和穩(wěn)定性，適用于各種遙感應用場景。

技術(shù)特征：

1.一種基于雙輸入unet模型的多模態(tài)遙感影像分類方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述自適應調(diào)整模塊中自適應調(diào)整空間特征和時間序列特征的權(quán)重，實現(xiàn)特征的有效融合；利用多頭注意力機制將輸入特征分成多個頭，每個頭學習不同的特征表示。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，所述方法還包括：

技術(shù)總結(jié)
本發(fā)明公開了一種基于雙輸入UNet模型的多模態(tài)遙感影像分類方法，包括：獲取光學影像數(shù)據(jù)和InSAR時序影像數(shù)據(jù)，并構(gòu)建樣本集；通過深度可分離卷積核提取光學影像數(shù)據(jù)的空間特征；通過卷積長短時記憶網(wǎng)絡卷積核提取InSAR時序影像數(shù)據(jù)的時間序列特征；通過自適應調(diào)整模塊融合空間特征和時間序列特征，并將融合后的聯(lián)合特征輸入到UNet結(jié)構(gòu)中，通過殘差連接與光學影像數(shù)據(jù)對應的池化后光學特征進行連接，預測得到分類結(jié)果；基于樣本集中樣本的真實標簽和分類結(jié)果確定目標損失，并進行模型訓練得到多模態(tài)分類模型；將處理后的目標遙感影像數(shù)據(jù)輸入到多模態(tài)分類模型，得到目標分類結(jié)果。適用于土地利用、環(huán)境監(jiān)測等各種遙感應用場景。

技術(shù)研發(fā)人員：張立峰,藥浩博,竇鵬,何毅,郭巖,張明旺
受保護的技術(shù)使用者：蘭州交通大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26