本申請涉及遙感影像識別，具體而言，涉及一種基于注意力機(jī)制的遙感影像像素級解譯方法及裝置。

背景技術(shù)：

1、近十年來，我國對地觀測基礎(chǔ)設(shè)施建設(shè)取得突破性進(jìn)展，發(fā)射了資源、高分等一系列遙感衛(wèi)星，大幅提高了對山、水、林、田、湖、草等自然資源全要素、全覆蓋、全天候調(diào)查監(jiān)測能力。遙感數(shù)據(jù)因其客觀、準(zhǔn)確、全面、及時等顯著優(yōu)勢，發(fā)揮著越來越重要的作用，幫助政府管理部門及時準(zhǔn)確地了解自然資源數(shù)量、質(zhì)量、生態(tài)的變化，為自然資源監(jiān)測、國土空間規(guī)劃和生態(tài)環(huán)境保護(hù)等工作提供了可靠的數(shù)據(jù)支撐。

2、在計算機(jī)視覺領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)取得了巨大的成功，由于卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)重共享機(jī)制，卷積層所提取的特征具有平移不變性，因此基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法可以廣泛的應(yīng)用到影像的分類、目標(biāo)檢測和語義分割中，在自然資源領(lǐng)域，可以對遙感影像進(jìn)行地表覆蓋要素的解譯并識別地物目標(biāo)。但是，由于卷積算子的性質(zhì)，對于影像只關(guān)注于“感受野”內(nèi)的特征，因此，卷積的特征圖具有局部敏感性，也就是說每次卷積操作都只會考慮原始數(shù)據(jù)的一小部分局部信息。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請的目的在于提供一種基于注意力機(jī)制的遙感影像像素級解譯方法及裝置，能夠通過訓(xùn)練好的遙感影像解譯模型對遙感影像進(jìn)行解譯，解決現(xiàn)有技術(shù)中存在的卷積計算都只會考慮原始數(shù)據(jù)的一小部分局部信息的問題，提高了模型捕獲全局依賴的能力，并應(yīng)用了基于注意力機(jī)制的編碼器，在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步提升了解譯精度。

2、第一方面，本申請實施例提供了一種基于注意力機(jī)制的遙感影像像素級解譯方法，所述方法包括：獲取遙感影像；將所述遙感影像輸入預(yù)先訓(xùn)練好的遙感影像解譯模型中，得到分類結(jié)果影像，其中，所述預(yù)先訓(xùn)練好的遙感影像解譯模型通過以下步驟對所述遙感影像進(jìn)行解譯：將所述遙感影像裁剪成大小相同的多個裁剪影像，并做嵌入處理，得到輸入序列；將嵌入后的輸入序列輸入至基于注意力機(jī)制的transformer編碼器中，進(jìn)行編碼；將所述transformer編碼器輸出的結(jié)果調(diào)整成符合輸出的維度，并進(jìn)行上采樣得到分類結(jié)果影像。

3、可選地，通過以下步驟對所述遙感影像解譯模型進(jìn)行訓(xùn)練：構(gòu)建遙感影像解譯樣本庫，所述遙感影像解譯樣本庫包括多個遙感影像和與多個目標(biāo)遙感影像對應(yīng)的掩膜標(biāo)簽影像；將所述多個遙感影像輸入基于注意力機(jī)制的transformer編碼器中進(jìn)行編碼；針對每個遙感影像，將所述transformer編碼器輸出的結(jié)果調(diào)整成符合輸出的維度，并進(jìn)行上采樣得到一個訓(xùn)練影像；針對每個訓(xùn)練影像，將該訓(xùn)練影像與該訓(xùn)練影像對應(yīng)的掩膜標(biāo)簽影像進(jìn)行對比，基于交叉熵?fù)p失算法計算誤差值；

4、基于隨機(jī)梯度下降優(yōu)化算法，根據(jù)所述誤差值對所述遙感影像解譯模型進(jìn)行訓(xùn)練，當(dāng)所述誤差值達(dá)到預(yù)設(shè)的誤差范圍或訓(xùn)練步數(shù)達(dá)到目標(biāo)步數(shù)后，得到訓(xùn)練后的遙感影像解譯模型。

5、可選地，通過以下步驟構(gòu)建遙感影像解譯樣本庫：獲取多個遙感影像；對多個遙感影像進(jìn)行掩膜標(biāo)注，得到與多個目標(biāo)遙感影像對應(yīng)的掩膜標(biāo)簽影像；對多個遙感影像執(zhí)行歸一化計算，并對多個掩膜標(biāo)簽影像進(jìn)行影像處理，得到與多個遙感影像對應(yīng)的裁剪后的掩膜標(biāo)簽影像；基于多個遙感影像和多個裁剪后的掩膜標(biāo)簽影像，構(gòu)建遙感影像解譯樣本庫。

6、可選地，通過以下步驟對每個遙感影像對應(yīng)的多個子遙感影像做嵌入處理：根據(jù)所述多個子遙感影像，確定序列數(shù)據(jù)，所述多個子遙感影像為對所述遙感影像進(jìn)行裁剪得到的；對所述序列數(shù)據(jù)進(jìn)行線性變換，得到第一目標(biāo)數(shù)據(jù)，所述第一目標(biāo)數(shù)據(jù)包括與每個子遙感影像對應(yīng)的子第一目標(biāo)數(shù)據(jù)；在每個子第一目標(biāo)數(shù)據(jù)上拼接一個隨機(jī)生成的類別標(biāo)簽，得到多個嵌入數(shù)據(jù)；根據(jù)多個子遙感影像的數(shù)量和預(yù)設(shè)的維度，確定每個嵌入數(shù)據(jù)的位置編碼，所述位置編碼用于表征多個子遙感影像的輸入順序；根據(jù)所述多個嵌入數(shù)據(jù)和每個嵌入數(shù)據(jù)的位置編碼，確定每個遙感影像的輸入序列。

7、可選地，將嵌入后的輸入序列輸入至基于注意力機(jī)制的transformer編碼器中，進(jìn)行編碼的步驟包括：將該遙感影像的輸入序列輸入至基于注意力機(jī)制的transformer編碼器，基于注意力機(jī)制，進(jìn)行預(yù)設(shè)次數(shù)的編碼計算，得到該遙感影像的編碼結(jié)果，其中，通過以下步驟基于注意力機(jī)制，進(jìn)行一次編碼計算：對該遙感影像的輸入序列進(jìn)行歸一化計算，基于多頭注意力機(jī)制，對歸一化計算得到的結(jié)果和該遙感影像的輸入序列進(jìn)行拼接，得到第二中間序列；對所述第一中間序列進(jìn)行歸一化計算和全連接層計算，得到第一中間序列。

8、可選地，將所述transformer編碼器輸出的結(jié)果調(diào)整成符合輸出的維度，并進(jìn)行上采樣得到分類結(jié)果影像的步驟包括：對該遙感影像的編碼結(jié)果進(jìn)行reshape計算，得到目標(biāo)維度的編碼結(jié)果；對所述目標(biāo)維度的編碼結(jié)果進(jìn)行兩次卷積計算，得到第一中間編碼，所述第一中間編碼的輸出通道數(shù)與像素分類的類別數(shù)相同；采用雙線性插值算法對影像進(jìn)行上采樣計算，得到與該遙感影像的尺寸相同的分類結(jié)果影像。

9、第二方面，本申請實施例還提供了一種基于注意力機(jī)制的遙感影像像素級解譯裝置，所述裝置包括：

10、遙感影像獲取模塊，用于獲取遙感影像；

11、遙感影像解譯模塊，用于將所述遙感影像輸入預(yù)先訓(xùn)練好的遙感影像解譯模型中，得到分類結(jié)果影像，其中，所述遙感影像解譯模塊，具體用于將所述遙感影像裁剪成大小相同的多個裁剪影像，并做嵌入處理，得到輸入序列；將嵌入后的輸入序列輸入至基于注意力機(jī)制的transformer編碼器中，進(jìn)行編碼；將所述transformer編碼器輸出的結(jié)果調(diào)整成符合輸出的維度，并進(jìn)行上采樣得到分類結(jié)果影像。

12、第三方面，本申請實施例還提供一種電子設(shè)備，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時，所述處理器與所述存儲器之間通過總線通信，所述機(jī)器可讀指令被所述處理器執(zhí)行時執(zhí)行如上述的基于注意力機(jī)制的遙感影像像素級解譯方法的步驟。

13、第四方面，本申請實施例還提供一種計算機(jī)可讀存儲介質(zhì)，該計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，該計算機(jī)程序被處理器運(yùn)行時執(zhí)行如上述的基于注意力機(jī)制的遙感影像像素級解譯方法的步驟。

14、本申請實施例提供的基于注意力機(jī)制的遙感影像像素級解譯方法及裝置，能夠通過訓(xùn)練好的遙感影像解譯模型對遙感影像進(jìn)行解譯，解決現(xiàn)有技術(shù)中存在的卷積計算都只會考慮原始數(shù)據(jù)的一小部分局部信息的問題，提高了模型捕獲全局依賴的能力，并應(yīng)用了基于注意力機(jī)制的編碼器，在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步提升了解譯精度。

15、為使本申請的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細(xì)說明如下。

技術(shù)特征：

1.一種基于注意力機(jī)制的遙感影像像素級解譯方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過以下步驟對所述遙感影像解譯模型進(jìn)行訓(xùn)練：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，通過以下步驟構(gòu)建遙感影像解譯樣本庫：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過以下步驟對每個遙感影像對應(yīng)的多個子遙感影像做嵌入處理：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，將嵌入后的輸入序列輸入至基于注意力機(jī)制的transformer編碼器中，進(jìn)行編碼的步驟包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，將所述transformer編碼器輸出的結(jié)果調(diào)整成符合輸出的維度，并進(jìn)行上采樣得到分類結(jié)果影像的步驟包括：

7.一種基于注意力機(jī)制的遙感影像像素級解譯裝置，其特征在于，所述裝置包括：

8.一種電子設(shè)備，其特征在于，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時，所述處理器與所述存儲器之間通過總線通信，所述處理器執(zhí)行所述機(jī)器可讀指令，以執(zhí)行如權(quán)利要求1至6任一所述方法的步驟。

9.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器運(yùn)行時執(zhí)行如權(quán)利要求1至6任一所述方法的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N基于注意力機(jī)制的遙感影像像素級解譯方法及裝置，其中，該方法包括：獲取遙感影像；將所述遙感影像輸入預(yù)先訓(xùn)練好的遙感影像解譯模型中，得到分類結(jié)果影像，其中，所述預(yù)先訓(xùn)練好的遙感影像解譯模型通過以下步驟對所述遙感影像進(jìn)行解譯：將所述遙感影像裁剪成大小相同的多個裁剪影像，并做嵌入處理，得到輸入序列；將嵌入后的輸入序列輸入至基于注意力機(jī)制的transformer編碼器中，進(jìn)行編碼；將所述transformer編碼器輸出的結(jié)果調(diào)整成符合輸出的維度，并進(jìn)行上采樣得到分類結(jié)果影像。提高了模型捕獲全局依賴的能力，并應(yīng)用了基于注意力機(jī)制的編碼器，在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步提升了解譯精度。

技術(shù)研發(fā)人員：張戩,高雅,蔡勇,吳勤書,王雪文,陳艷艷,季玉潔,夏斯雨
受保護(hù)的技術(shù)使用者：江蘇省測繪研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6