本發(fā)明涉及遙感圖像智能解譯領(lǐng)域，尤其涉及一種基于提示學(xué)習(xí)的遙感圖像分類方法。

背景技術(shù)：

1、遙感圖像分類是遙感技術(shù)應(yīng)用的一項(xiàng)關(guān)鍵任務(wù)，其對農(nóng)業(yè)和環(huán)境監(jiān)測、城市規(guī)劃、搶險(xiǎn)救災(zāi)和軍事偵察等領(lǐng)域的發(fā)展具有重要意義。由于遙感成像技術(shù)的快速發(fā)展和遙感衛(wèi)星的增加，遙感圖像數(shù)據(jù)的數(shù)量和質(zhì)量不斷提升，研究人員基于此開發(fā)了大量表現(xiàn)出色的遙感圖像分類方法。其中，基于卷積神經(jīng)網(wǎng)絡(luò)和基于注意力的深度學(xué)習(xí)方法獲得了驚人的表現(xiàn)?；诰矸e神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法利用局部和全局空間特征學(xué)習(xí)遙感圖像的特征表示，提高遙感圖像的分類性能。卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成，在卷積神經(jīng)網(wǎng)絡(luò)最后通過一個(gè)全連接層獲得圖像的抽象特征，然后輸入到分類器中進(jìn)行分類。如vgg、resnet等。基于注意力機(jī)制的遙感圖像分類方法使得模型關(guān)注圖像的特定區(qū)域來提高遙感圖像的分類性能，如vit等。雖然這些方法獲得了性能的提升，但是這些方法都只關(guān)注視覺上的表示，忽略了圖像語義的理解，從而阻礙了遙感圖像分類方法的性能提升。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提供一種基于提示學(xué)習(xí)的遙感圖像分類方法，包括以下步驟：

2、步驟s1、獲取遙感圖像樣本及其真實(shí)類別標(biāo)簽，并進(jìn)行預(yù)處理，形成遙感圖像數(shù)據(jù)集；

3、步驟s2、根據(jù)遙感圖像數(shù)據(jù)集，通過圖像編碼器和文本編碼器，獲得遙感圖像樣本的圖像特征向量和文本特征向量；

4、步驟s3、計(jì)算遙感圖像樣本的圖像特征向量和文本特征向量之間的相似性，得到遙感圖像樣本的預(yù)測類別標(biāo)簽；

5、步驟s4、計(jì)算分類損失和對比損失，重復(fù)執(zhí)行所述步驟s1至s4，訓(xùn)練并輸出分類模型；

6、步驟s5、利用所述分類模型進(jìn)行遙感圖像分類。

7、根據(jù)本發(fā)明的一個(gè)技術(shù)方案，在所述步驟s1中，所述數(shù)據(jù)預(yù)處理包括：

8、步驟s11、根據(jù)所述真實(shí)類別標(biāo)簽，確定所述遙感圖像數(shù)據(jù)集所包含的類別的類別信息描述及類別數(shù)量；

9、步驟s12、設(shè)置提示模板，所述提示模板的結(jié)構(gòu)為”this?is?aphoto?ofthe{pro}{cls}used?forthe?classificationtask”，pro為遙感圖像樣本的屬性信息描述，cls為遙感圖像樣本的類別信息描述；

10、步驟s13、根據(jù)所述真實(shí)類別標(biāo)簽和所述提示模板，為所述遙感圖像數(shù)據(jù)集中的每個(gè)遙感圖像樣本生成一個(gè)提示。

11、根據(jù)本發(fā)明的一個(gè)技術(shù)方案，在所述步驟s13中，具體包括：

12、步驟s131、定義類別信息描述列表和屬性信息描述列表，所述類別信息描述列表的元素分別為與所述遙感圖像數(shù)據(jù)集所包含的類別對應(yīng)的類別信息描述，所述屬性信息描述列表的元素分別為與所述類別信息描述一一對應(yīng)的屬性信息描述，所述類別信息描述列表和所述屬性信息描述列表的長度與所述遙感圖像數(shù)據(jù)集的類別數(shù)量相等；

13、步驟s122、根據(jù)所述真實(shí)類別標(biāo)簽，查找所述類別信息描述列表和所述屬性信息描述列表，獲取與所述真實(shí)類別標(biāo)簽對應(yīng)的類別信息描述和屬性信息描述，并分別放入所述提示模板的pro和cls位置，形成遙感圖像樣本的提示。

14、根據(jù)本發(fā)明的一個(gè)技術(shù)方案，在所述步驟s2中，具體包括：

15、步驟s21、通過所述圖像編碼器獲得遙感圖像的圖像特征向量，所述圖像編碼器的網(wǎng)絡(luò)結(jié)構(gòu)為clip圖像分支的vision?transformer結(jié)構(gòu)；

16、步驟s22、通過所述文本編碼器獲得遙感圖像樣本的提示的文本特征向量，所述文本編碼器的網(wǎng)絡(luò)結(jié)構(gòu)為clip文本分支的transformer結(jié)構(gòu)。

17、根據(jù)本發(fā)明的一個(gè)技術(shù)方案，在步驟s3中，計(jì)算所述圖像特征向量與所述文本特征向量的相似性，得到遙感圖像樣本屬于每一類別的概率，取概率值最大的類別為預(yù)測類別標(biāo)簽，遙感圖像樣本屬于類別k的概率的計(jì)算公式如下：

18、

19、其中，＜·＞為余弦相似度，f(·)為圖像編碼器，g(·)為文本編碼器，f(xi)表示第i張遙感圖像標(biāo)簽xi的圖像特征向量，g(tj)表示標(biāo)簽為j的對應(yīng)提示tj的文本特征向量，k和j的范圍為[1,k]，k為所述遙感圖像數(shù)據(jù)集的類別數(shù)量，τ為溫度超參。

20、根據(jù)本發(fā)明的一個(gè)技術(shù)方案，在所述步驟s4中，具體包括：

21、步驟s41、根據(jù)步驟s3得到的類別概率，計(jì)算分類損失lcls；

22、步驟s42、根據(jù)步驟s2得到的圖像特征向量和文本特征向量，計(jì)算對比損失lcon；

23、步驟s43、構(gòu)建總損失ltotal＝lcls+λlcon，其中λ為平衡系數(shù)，用于調(diào)節(jié)損失之間的權(quán)重，lcls為分類損失，lcon為對比損失。

24、根據(jù)本發(fā)明的一個(gè)技術(shù)方案，在所述步驟s41中，使用遙感圖像樣本的真實(shí)類別標(biāo)簽yi和在所述步驟s3中得到的預(yù)測類別標(biāo)簽是真實(shí)類別標(biāo)簽yi的概率計(jì)算分類損失lcls，表示為：

25、

26、其中，b為batch的大小。

27、根據(jù)本發(fā)明的一個(gè)技術(shù)方案，在所述步驟s422中，具體包括：

28、步驟s4221、根據(jù)遙感圖像樣本的真實(shí)類別標(biāo)簽構(gòu)建監(jiān)督矩陣gt，gt形狀為b×b,b為batch的大小，其元素為：

29、

30、其中，yp和yq分別表示該batch圖像中序號(hào)為p和q的圖像的標(biāo)簽，p和q的范圍為[0,b-1]；

31、步驟s4222、根據(jù)所述步驟s2得到的圖像特征向量和文本特征向量，計(jì)算圖像文本相似度矩陣i2t_logit和文本圖像相似度矩陣t2i_logit，利用所述步驟s4221得到的監(jiān)督矩陣gt，計(jì)算對比損失lcon＝(li2t+lt2i)/2，其中，li2t和lt2i都是bcewithlogitsloss損失函數(shù)，表示為：

32、bcewithlogitsloss＝{l1,...,ln},ln＝-[yn·log(σ(xn))+(1-yn)·log(1-σ(xn))]

33、其中，n代表batch的數(shù)量，n代表每個(gè)batch預(yù)測的標(biāo)簽數(shù)量，σ(·)代表sigmoid函數(shù)，表示為：

34、

35、根據(jù)本發(fā)明的一個(gè)技術(shù)方案，在所述步驟s422中，具體包括：

36、步驟s4221、計(jì)算遙感圖像樣本的圖像文本相似度矩陣i2t_logit，表示為：

37、i2t_logit＝i·tτ

38、其中，表示矩陣乘法，i為一組batch遙感圖像樣本的圖像特征矩陣，t為一組batch遙感圖像樣本對應(yīng)的提示的文本特征矩陣；

39、步驟s4222、計(jì)算文本圖像相似度矩陣t2i_logit：

40、t2i_logit＝t·iτ；

41、步驟s4223、根據(jù)所述步驟s421得到的監(jiān)督矩陣gt和所述步驟s4221得到的圖像文本相似度矩陣i2t_logit計(jì)算對比損失li2t：

42、li2t＝bcewithlogitsloss(i2t_logit,gt)；

43、步驟s4224、根據(jù)所述步驟s421得到的監(jiān)督矩陣gt和所述步驟s4222得到的文本圖像相似度矩陣t2i_logit計(jì)算對比損失lt2i：

44、lt2i＝bcewithlogitsloss(t2i_logit,gt)。

45、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下有益效果：

46、本發(fā)明提出了一種基于提示學(xué)習(xí)的遙感圖像分類方法，基于提示學(xué)習(xí)的遙感圖像分類方法，基于clip模型框架將分類任務(wù)轉(zhuǎn)換成圖像文本匹配任務(wù)，設(shè)計(jì)反映遙感圖像屬性和上下文信息的提示模板將分類標(biāo)簽轉(zhuǎn)換為文本提示，使用對比損失解決正樣本對過少的問題。本發(fā)明通過提示學(xué)習(xí)，同時(shí)利用圖像和文本兩種模態(tài)信息，可以為模型提供更加豐富的語義和上下文信息，緩解了遙感圖像分類方法只關(guān)注視覺表示而忽略語義信息挖掘?qū)е碌姆诸惥炔桓叩膯栴}，提高了遙感圖像分類準(zhǔn)確性。本發(fā)明，充分利用視覺語言模型的先驗(yàn)知識(shí)，并通過對比學(xué)習(xí)，將分類任務(wù)轉(zhuǎn)換成圖像和文本的匹配任務(wù)，進(jìn)一步提高了模型的分類精度。