本發(fā)明涉及高光譜圖像分類，具體而言，尤其涉及一種基于多模態(tài)的無(wú)監(jiān)督域適應(yīng)高光譜圖像分類方法。

背景技術(shù)：

1、高光譜圖像作為典型的空譜多維數(shù)據(jù)能夠捕獲地物的診斷性光譜信息，代表了該地物的本征特性，是鑒別和識(shí)別這一地物的重要參量。高光譜圖像因其具有光譜分辨率高、物質(zhì)識(shí)別能力強(qiáng)、空間分辨率相對(duì)較高、探測(cè)難以察覺(jué)的信息以及數(shù)據(jù)可用性和歷史數(shù)據(jù)分析等優(yōu)勢(shì)，使其在眾多領(lǐng)域有著廣泛的應(yīng)用，例如地質(zhì)巖礦勘探、土地覆蓋分類、農(nóng)業(yè)、軍事等等。然而，在許多實(shí)際場(chǎng)景中，標(biāo)記樣本既耗時(shí)又成本高昂。因此所收集到的數(shù)據(jù)大部分是只有少數(shù)的標(biāo)簽或是根本沒(méi)有標(biāo)簽。這也就為高光譜圖像能夠被準(zhǔn)確分類帶來(lái)了極大的挑戰(zhàn)。此外，在由不同時(shí)間、不同位置、不同傳感器等不同采集條件的影響下，獲得的高光譜圖像之間會(huì)存在較大的光譜漂移。因此，即便模型在一個(gè)有充足標(biāo)簽的高光譜圖像上得到了充分訓(xùn)練，如果將這樣的模型直接應(yīng)用于另一個(gè)存在光譜偏移現(xiàn)象的高光譜圖像上，往往是無(wú)法取得令人滿意的結(jié)果。因此，緩解光譜漂移現(xiàn)象帶來(lái)的問(wèn)題，從而提高模型的性能是十分重要的。

2、近年來(lái)，域適應(yīng)在計(jì)算機(jī)視覺(jué)領(lǐng)域不斷受到關(guān)注，研究人員們也發(fā)現(xiàn)域適應(yīng)可以一定程度上提升高光譜圖像分類的性能。域適應(yīng)的目的是通過(guò)利用具有豐富標(biāo)記的源域中的知識(shí)來(lái)學(xué)習(xí)具有較少標(biāo)簽或無(wú)標(biāo)簽的目標(biāo)域，將模型的泛化能力從源域擴(kuò)展到目標(biāo)域，同時(shí)緩解光譜漂移問(wèn)題。傳統(tǒng)的域適應(yīng)方法可以分為三類：基于實(shí)例的方法、基于特征的方法和基于分類器的方法。基于實(shí)例的域適應(yīng)方法主要通過(guò)調(diào)整源樣本或目標(biāo)樣本的邊緣分布，減小域間差異，使得兩個(gè)域的分布對(duì)齊?；谔卣鞯挠蜻m應(yīng)方法將源數(shù)據(jù)和目標(biāo)數(shù)據(jù)轉(zhuǎn)換到特征空間中，使得特征空間中兩個(gè)域的數(shù)據(jù)分布相似?；诜诸惼鞯挠蜻m應(yīng)方法通過(guò)考慮目標(biāo)域的未標(biāo)記樣本，將在源域上訓(xùn)練的分類器適應(yīng)到目標(biāo)域。盡管傳統(tǒng)方法在圖像分類上取得了一定的成效，但它們通常只能捕獲圖像的表層特征，而且它們往往嚴(yán)重依賴訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)并且沒(méi)有充分利用數(shù)據(jù)的深層結(jié)構(gòu)和局部間的復(fù)雜關(guān)聯(lián)性。與傳統(tǒng)方法相比,基于深度學(xué)習(xí)的域適應(yīng)方法獲得的特征不僅有更強(qiáng)的泛化能力還有更好的可遷移性?；谏疃葘W(xué)習(xí)的域適應(yīng)方法直接從原始數(shù)據(jù)中自動(dòng)提取更具表現(xiàn)力的特征。目前大多數(shù)基于深度學(xué)習(xí)的域適應(yīng)方法在原有的深度網(wǎng)絡(luò)架構(gòu)中增加適配層，實(shí)現(xiàn)源到目標(biāo)的自適應(yīng)，或者采用對(duì)抗學(xué)習(xí)策略來(lái)最小化跨域差異。但這些方法依然忽略了與土地覆蓋類別相關(guān)的文本信息，不足以全面的利用高光譜圖像各個(gè)模態(tài)的信息。

3、隨著大語(yǔ)言模型的成功，圖像和語(yǔ)言的結(jié)合已經(jīng)成為了一個(gè)備受關(guān)注的研究領(lǐng)域。大語(yǔ)言模型的成功也啟示了我們，在域適應(yīng)的過(guò)程中將遙感圖像與語(yǔ)言結(jié)合完成圖像描述，可以為圖像設(shè)置域不變特征，從而提高模型的魯棒性和泛化能力。在高光譜圖像分類中，有很多域適應(yīng)方法都關(guān)注在視覺(jué)層面提取域不變特征，但很少嘗試?yán)梦谋拘畔?lái)協(xié)同輔助視覺(jué)層面特征的提取。這種文本引導(dǎo)的域適應(yīng)方法可以通過(guò)圖像特征和文本特征對(duì)齊，創(chuàng)建語(yǔ)義空間，并在目標(biāo)域中進(jìn)行適應(yīng)。因此，在高光譜圖像分類任務(wù)中，如何將文本模態(tài)引入域適應(yīng)方法值得深入研究。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)上述提出高光譜圖像的標(biāo)記樣本獲取難度大，源場(chǎng)景和目標(biāo)場(chǎng)景的高光譜圖像之間存在光譜漂移，現(xiàn)有的技術(shù)依然多以從視覺(jué)層面進(jìn)行研究，未能全面利用高光譜圖像的信息的技術(shù)問(wèn)題，提供一種基于多模態(tài)的無(wú)監(jiān)督域適應(yīng)高光譜圖像分類方法。本發(fā)明主要利用(簡(jiǎn)述技術(shù)方案，通常寫區(qū)別技術(shù)特征)，從而起到(達(dá)到的效果)。

2、本發(fā)明采用的技術(shù)手段如下：

3、一種基于多模態(tài)的無(wú)監(jiān)督域適應(yīng)高光譜圖像分類方法，包括：

4、s1、通過(guò)圖像編碼器提取全局特征，使用雙分類器對(duì)圖像樣本進(jìn)行分類，對(duì)齊源域與目標(biāo)域同類的分布，并為目標(biāo)域生成偽標(biāo)簽；

5、s2、通過(guò)文本編碼器提取文本特征，將文本特征和圖像特征進(jìn)行對(duì)比學(xué)習(xí)，拉近同類別的文本、圖像特征間的距離，提升數(shù)據(jù)的可分離性。

6、進(jìn)一步地，步驟s1，具體包括：

7、s11、將圖像送入圖像編碼器中，通過(guò)兩個(gè)支路分別提取高光譜圖像的基于注意力的空間特征和基于注意力的光譜特征；

8、s12、將提取的高光譜圖像的基于注意力的空間特征和基于注意力的光譜特征進(jìn)行融合，得到融合后的圖像特征；

9、s13、將融合后的圖像特征送入雙分類器，得到預(yù)測(cè)概率。

10、進(jìn)一步地，在步驟s13之后，還包括步驟s14，計(jì)算源分類損失，如下：

11、源分類損失為交叉熵?fù)p失，源分類損失的計(jì)算公式如下：

12、

13、其中，是標(biāo)簽，ie(·)是圖像編碼器的輸出，是由圖像編碼器得到的圖像特征，f(·)是兩個(gè)分類器的輸出，是預(yù)測(cè)概率。

14、進(jìn)一步地，在步驟s14之后，還包括使用mcc損失使目標(biāo)預(yù)測(cè)中的類混淆最小化的步驟，如下：

15、根據(jù)不同實(shí)例的貢獻(xiàn)程度來(lái)調(diào)整任意兩個(gè)類別的相關(guān)性；當(dāng)類別數(shù)量較多時(shí)，為避免類別分布極度不均衡的問(wèn)題，采用類別歸一化技術(shù)，最終mcc損失的計(jì)算公式如下：

16、

17、其中，pij表示第i個(gè)樣本屬于第j個(gè)類別的概率，w表示不同類別的權(quán)重，表示類別數(shù)量。

18、進(jìn)一步地，步驟s1中還包括使用對(duì)抗損失函數(shù)來(lái)更新分類器的步驟，如下：

19、兩個(gè)分類器得到的目標(biāo)域樣本的輸出，使用絕對(duì)值指標(biāo)來(lái)衡量差異，對(duì)抗損失函數(shù)如下：

20、

21、進(jìn)一步地，步驟s2，具體包括：

22、s21、計(jì)算圖像特征與粗粒度文本特征的對(duì)齊損失，計(jì)算公式如下：

23、

24、其中，px(i)和ax(i)分別是圖像特征的正樣本集和負(fù)樣本集，pt(i)和at(i)分別是文本特征的正樣本集和負(fù)樣本集，其中|p(i)|＝|px(i)|＝|pt(i)|；xi表示圖像特征，ti表示文本特征；τ是溫度參數(shù)，用于控制softmax分布的平滑程度；

25、s22、計(jì)算圖像特征與細(xì)粒度文本特征的對(duì)齊損失，計(jì)算公式如下：

26、

27、其中，表示第j個(gè)文本特征對(duì)應(yīng)的圖像特征與細(xì)粒度文本特征的對(duì)其損失；

28、s23、計(jì)算源域的有監(jiān)督對(duì)比學(xué)習(xí)損失，計(jì)算公式如下：

29、

30、s24、計(jì)算目標(biāo)域的有監(jiān)督對(duì)比學(xué)習(xí)損失，計(jì)算公式如下：

31、

32、s25、計(jì)算總的圖像特征與文本特征的對(duì)齊損失，計(jì)算公式如下：

33、

34、其中，表示源域的有監(jiān)督對(duì)比學(xué)習(xí)損失；表示目標(biāo)域的有監(jiān)督對(duì)比學(xué)習(xí)損失。

35、本發(fā)明還提供了一種基于所述基于多模態(tài)的無(wú)監(jiān)督域適應(yīng)高光譜圖像分類方法實(shí)現(xiàn)的基于多模態(tài)的無(wú)監(jiān)督域適應(yīng)高光譜圖像分類系統(tǒng)，包括：域適應(yīng)模塊和視覺(jué)-語(yǔ)言對(duì)齊模塊，其中：

36、所述域適應(yīng)模塊，由圖像編碼器得到圖像特征，由雙分類器得到預(yù)測(cè)結(jié)果，并選擇其中一個(gè)預(yù)測(cè)結(jié)果作為目標(biāo)域偽標(biāo)簽；

37、所述視覺(jué)-語(yǔ)言對(duì)齊模塊，利用源域標(biāo)簽和目標(biāo)域偽標(biāo)簽得到相應(yīng)文本描述，在由文本編碼器得到文本特征后，文本特征與域適應(yīng)部分得到的圖像特征進(jìn)行對(duì)齊。

38、較現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

39、1、本發(fā)明提供的一種基于多模態(tài)的無(wú)監(jiān)督域適應(yīng)高光譜圖像分類方法，通過(guò)對(duì)齊文本模態(tài)和圖像模態(tài)來(lái)增強(qiáng)數(shù)據(jù)的可分離性。首先使用圖像編碼器分別提取圖像的空間特征和光譜特征，并將二者進(jìn)行融合。融合后的圖像特征經(jīng)過(guò)雙分類器，得到預(yù)測(cè)概率。然后，根據(jù)標(biāo)簽獲得相應(yīng)的文本描述，源域文本描述根據(jù)源域標(biāo)簽得到。而在目標(biāo)域中，由于缺乏標(biāo)簽信息，采用由其中一個(gè)分類器得到的預(yù)測(cè)結(jié)果作為目標(biāo)域樣本的偽標(biāo)簽，從而根據(jù)偽標(biāo)簽獲得目標(biāo)域的文本描述。文本描述經(jīng)過(guò)文本編碼器得到文本特征，文本特征與圖像特征經(jīng)過(guò)視覺(jué)-語(yǔ)言對(duì)齊模塊進(jìn)行配對(duì)，文本特征作為域不變特征，優(yōu)化同類別的文本、圖像特征的聚合度，同時(shí)增加不同類別的文本、圖像特征間的分離度，增強(qiáng)模型對(duì)不同類別特征的識(shí)別能力。

40、2、本發(fā)明提供的一種基于多模態(tài)的無(wú)監(jiān)督域適應(yīng)高光譜圖像分類方法，為了提升目標(biāo)域數(shù)據(jù)的可區(qū)分性，利用文本模態(tài)輔助網(wǎng)絡(luò)實(shí)現(xiàn)源域和目標(biāo)域的特征分布對(duì)齊，使用對(duì)比學(xué)習(xí)，深入比較和度量高光譜圖像與自然語(yǔ)言描述之間的相似度。通過(guò)度量和優(yōu)化這些相似度，實(shí)現(xiàn)了圖像和文本特征在特征空間中的有效對(duì)齊。

41、基于上述理由本發(fā)明可在高光譜圖像分類等領(lǐng)域廣泛推廣。