本發(fā)明涉及一種基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)的多時序polsar圖像標注方法、系統(tǒng)，屬于計算機視覺的多時序極化sar圖像處理。

背景技術(shù)：

1、高分辨率作物類型自動化分類標注對于與農(nóng)業(yè)和糧食安全相關(guān)的各種應用至關(guān)重要，包括監(jiān)測作物產(chǎn)量、評估自然災害對農(nóng)業(yè)生產(chǎn)的潛在影響、分析氣候變化對農(nóng)業(yè)的潛在影響等。合成孔徑雷達(sar)使用的電磁波具有穿透性，不易受天氣和采樣時間的影響，因此被廣泛應用于農(nóng)業(yè)、地質(zhì)、測繪等多種領(lǐng)域。

2、傳統(tǒng)的sar系統(tǒng)是單極化的工作方式，只能以一種單一的極化方式發(fā)射和接收電磁波來獲取地表的散射特征，不利于獲取地表目標方位取向、幾何尺寸、表面粗糙度等信息，也不利于分析地表目標的散射機制。極化合成孔徑雷達(polsar)是單極化sar的擴展系統(tǒng)，通過水平極化和垂直極化交替收發(fā)雷達信號，采用矢量測量的方式獲得雷達極化信息帶有更完整更豐富的目標信息，可以對目標進行更全面的描述。然而受限于衛(wèi)星軌道控制技術(shù)和多時序polsar數(shù)據(jù)采集的難度，傳統(tǒng)方式通常以單時序的形式工作，只能在一個時間點捕捉區(qū)域信息，不利于捕捉地表特征在時間上的動態(tài)變化。

3、多時序polsar可在短時間段內(nèi)不同時間點對同一地區(qū)進行多次sar成像，通過在不同時間點收集數(shù)據(jù)，多時序polsar能夠揭示地表或目標在時間上的動態(tài)變化。這種時間序列數(shù)據(jù)為研究環(huán)境變化、地表特性演變提供了寶貴信息，有助于識別和量化地表特性的季節(jié)性和周期性變化，更完整更豐富的目標信息如地表覆蓋季節(jié)變化、生長趨勢以及其他植被演變特征綜合應用可以對目標進行更全面的描述。

4、鑒于多時序polsar技術(shù)的進步以及大量可供研究數(shù)據(jù)的產(chǎn)生，目前一些研究者傾向于利用多時序polsar來研究極化散射特性對地表覆蓋分類的影響，在過程中遇到了許多困難。地表覆蓋散射特征會受到氣候、時間以及內(nèi)外部雙重因素的影響，但目前研究者們并不清楚極化散射特征隨時間動態(tài)變化的規(guī)律，另外，隨著polsar數(shù)據(jù)在時間維度上的不斷擴展，變化特征的數(shù)量也呈現(xiàn)幾何級數(shù)的增長，這種數(shù)量的激增不僅對數(shù)據(jù)處理和分析算法提出了更高要求，而且也增加了表達時間維度上極化關(guān)系的復雜度，進而對地表覆蓋分類性能的提升構(gòu)成了挑戰(zhàn)。

5、因此，提出了本發(fā)明，致力于解決以下關(guān)鍵問題：

6、1、如何學習目標散射特征隨時間動態(tài)變化的規(guī)律；

7、多時序polsar獲取的目標極化特征信息相比單時序polsar多出時間維度信息。因為目標的散射特性與極化特征的描述直接相關(guān)，對于單時序polsar只需要關(guān)注目標的空間結(jié)構(gòu)與散射特性的關(guān)系，而對于多時序polsar，目標的空間結(jié)構(gòu)(如植被物候特征)隨時間的變化將直接導致目標的散射信息的變化，從而影響分類網(wǎng)絡(luò)的性能。因此研究目標散射特征隨時間動態(tài)變化的規(guī)律成為了首要問題。

8、2、如何解決多時序polsar數(shù)據(jù)幾何級數(shù)增長的問題；

9、多時序polsar會獲取短時間段內(nèi)不同時間點對同一地區(qū)的地表覆蓋信息，如加拿大的radarsat衛(wèi)星組每四天就能夠重新覆蓋同一地點，我國在發(fā)射陸探1號b衛(wèi)星發(fā)射之后sar系統(tǒng)的重訪周期也將由8天縮短為4天。重訪周期的縮短給多時序polsar和干涉sar的應用性研究貢獻了數(shù)據(jù)基礎(chǔ)。隨著polsar數(shù)據(jù)在時間維度上的不斷擴展，變化特征的數(shù)量也呈現(xiàn)幾何級數(shù)的增長，這給時間極化關(guān)系的表達帶來了壓力，使得分類性能的提升不理想。

10、3、如何緩解多時序polsar數(shù)據(jù)類別極端不平衡的問題；

11、多時序polsar數(shù)據(jù)都是由衛(wèi)星采集的真實數(shù)據(jù)，由于地表不同類型的目標在自然環(huán)境中的分布本身就是不均勻的，不同目標的尺寸可能差異很大，以及受到衛(wèi)星或傳感器軌道、成像時間和成像角度等多種因素的限制。造成在數(shù)據(jù)集中，多數(shù)類擁有大量的樣本，而少數(shù)類樣本數(shù)量極少。這種不平衡可能達到數(shù)量級的差異。這樣的差異會導致網(wǎng)絡(luò)預測偏差，因此如何緩解數(shù)據(jù)類別極端不平衡也是需要解決的問題。

技術(shù)實現(xiàn)思路

1、為了解決上述問題，本發(fā)明提供了一種基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)的多時序polsar圖像標注方法，以用于構(gòu)建基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)，進一步基于構(gòu)建的基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)對多時序極化sar圖像進行標注；本發(fā)明針對多時序polsar數(shù)據(jù)地表覆蓋分類場景，提升了分類性能、精準度和可靠性。

2、本發(fā)明的技術(shù)方案是：根據(jù)本發(fā)明的第一方面，一種基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)的多時序polsar圖像標注方法，包括：獲取多時序polsar圖像并進行預處理；構(gòu)建基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)模型；利用預處理好的多時序polsar圖像訓練構(gòu)建好的基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)模型；把原始的多時序polsar圖像輸入訓練好的基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)模型，對多時序polsar圖像進行標注，獲得分類結(jié)果。

3、所述獲取多時序polsar圖像并進行預處理包括：對多時序polsar圖像進行預處理后，形成不同周期的相干矩陣[t3]，然后利用相干矩陣元素的強度作為神經(jīng)網(wǎng)絡(luò)的初始特征；經(jīng)過預處理后，每幅polsar圖像的像素級特征由一組1×6維的特征向量組成。

4、所述獲取多時序polsar圖像并進行預處理的具體步驟如下：

5、sar傳感器通過發(fā)射電磁波并接收散射回波來表征目標的散射特性，根據(jù)目標的材料、幾何結(jié)構(gòu)和電導率，所獲得的回波信號的數(shù)據(jù)特征會有所不同；入射電磁波與散射電磁波之間的變化關(guān)系用散射矩陣s表示為：

6、

7、其中，散射矩陣中的sij表示發(fā)射接收到的極化信息，(i,j＝h,v)表示發(fā)射信號和接收信號的極化形式，h和v分別表示水平極化和垂直極化；當shv＝svh時，對應的3×3相干矩陣[t3]表示為：

8、

9、其中：

10、

11、其中<·>表示多視處理，將多視處理的窗口大小設(shè)置為7×7；為了避免強相干乘性噪聲對分類器的干擾；

12、再獲取[t3]矩陣中元素的強度信息(log|t11|,log|t12|,log|t13|,log|t22|,log|t23|和log|t33|)。

13、所述基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)模型包括自注意力模塊、gru和transformer編碼器；

14、在自注意力模塊中，將對不同時間的特征向量進行綜合比較和分析，以分析目標的語音特征，增強網(wǎng)絡(luò)對關(guān)鍵時期輸入序列的關(guān)注能力；通過不同的自注意力權(quán)重，不同時期的極化特征被賦予不同的重要性；

15、在gru中，加權(quán)特征向量將通過門控機制進行處理，以捕捉序列中的長短期依賴關(guān)系，并學習時間序列特征向量中的重要極化信息；

16、最后，gru和自注意力模塊輸出的特征將由transformer編碼器匯總進行全局信息分析，從而生成有效的上下文表示并實現(xiàn)分類。

17、所述自注意力模塊用于學習極化特征的關(guān)鍵信息，自注意力模塊中的處理過程如下：

18、對于輸入的預處理后的多時序polsar圖像，特征序列表示為[ftp]，p∈[1,p]是多時序polsar圖像的采樣時間，t∈[1,6]，是相干矩陣[t3]矩陣元在第p個采樣周期的強度信息，即log|t11|,log|t12|,log|t13|,log|t22|,log|t23|,log|t33|；為了捕獲第t個極化特征的變化信息，將自注意力模塊的查詢矩陣q、鍵矩陣k和值矩陣v設(shè)置為相似度計算公式為：

19、similarity(q,k)＝softmax(mlp(q,k))

20、其中mlp(·)為多層感知器，替代傳統(tǒng)自注意模塊原有的點積運算，旨在捕捉復雜的時間極化關(guān)系，使注意機制能夠?qū)W習到更多的變化信息；然后將v與注意權(quán)值相乘，計算加權(quán)特征

21、

22、自注意力模塊的輸出特征記為：表示在第p個采樣周期時第t個極化特征通過自注意力模塊后得到的加權(quán)特征。

23、所述gru處理來自自注意力模塊的輸出以及前一時間步的隱藏狀態(tài)，以推斷時間關(guān)系；gru在第p個時間步的操作總結(jié)為：

24、

25、其中rp和zp分別是控制信息流的重置門和更新門；是候選隱藏狀態(tài)，是當前輸入和由rp修改的過去信息的結(jié)合；hp是時間步p的最終隱藏狀態(tài)，結(jié)合了舊狀態(tài)hp-1和新信息hp；σ(·)和tanh(·)分別是s形和雙曲正切激活函數(shù)；⊙是點積運算，w*和b*表示權(quán)重和偏差。

26、所述transformer編碼器旨在關(guān)注輸入序列中每個元素的特征及其在序列中的上下文關(guān)系；transformer編碼器中具體操作包括：

27、自注意力模塊的輸出和gru的輸出hp進行合并用作transformer編碼器的輸入cp：

28、

29、雙層四頭注意力編碼器將自注意力模塊的加權(quán)特征和gru提供的特征轉(zhuǎn)換為豐富的上下文表示：

30、eattn＝multiheadattention(cp)

31、然后概率通過以下方式計算：

32、p(class|input)＝softmax(eattnw+b)

33、其中p(class|input)表示不同類別的概率，用于分類，w和b表示權(quán)重和偏差。

34、所述訓練構(gòu)建好的基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)模型時，將使用標簽平滑損失函數(shù)來計算預測結(jié)果與地面實況之間的差值，并通過最小化該差值來優(yōu)化網(wǎng)絡(luò)參數(shù)。

35、根據(jù)本發(fā)明的第二方面，提供了一種基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)的多時序polsar圖像標注系統(tǒng)，包括：獲取及預處理模塊，用于獲取多時序polsar圖像并進行預處理；構(gòu)建模塊，用于構(gòu)建基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)模型；訓練模塊，用于利用預處理好的多時序polsar圖像訓練構(gòu)建好的基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)模型；獲得模塊，用于把原始的多時序polsar圖像輸入訓練好的基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)模型，對多時序polsar圖像進行標注，獲得分類結(jié)果。

36、根據(jù)本發(fā)明的第三方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)包括存儲的程序，其中，在所述程序運行時控制所述計算機可讀存儲介質(zhì)所在設(shè)備執(zhí)行上述中任意一項所述的基于局部到全局的時間極化關(guān)系推理網(wǎng)絡(luò)的多時序polsar圖像標注方法。

37、本發(fā)明的有益效果是：

38、1、本發(fā)明通過定制的self-attention模塊使網(wǎng)絡(luò)專注于輸入序列的不同部分，而不考慮其所在的位置。這種能力使網(wǎng)絡(luò)能夠更有效地捕捉長距離依賴關(guān)系，并為輸入序列的不同部分計算權(quán)重，從而顯著增強網(wǎng)絡(luò)對于復雜序列數(shù)據(jù)處理的能力和可解釋性；

39、2、本發(fā)明通過將gru(門控循環(huán)單元)與transformer解碼器結(jié)合，利用了兩者在處理序列時間維度特征提取方面的優(yōu)勢，這種結(jié)合為處理像素級多時序polsar數(shù)據(jù)序列的特定模態(tài)提供了強大的工具，尤其是在提取局部及全局中對分類至關(guān)重要的判別信息方面；

40、3、本發(fā)明針對小樣本多時序polsar數(shù)據(jù)中的類別不平衡問題，采用標簽平滑交叉熵損失函數(shù)來優(yōu)化網(wǎng)絡(luò)；這種方法通過防止網(wǎng)絡(luò)在預測中過度自信——即避免網(wǎng)絡(luò)將全部概率分配給單一類別——來提高網(wǎng)絡(luò)的泛化能力，對于提升分類性能及穩(wěn)定性具有重要意義；

41、4、本發(fā)明具有更好的分類結(jié)果，區(qū)域內(nèi)的標簽更加平滑，本發(fā)明提出的方法在總體準確率和kappa系數(shù)方面明顯優(yōu)于其他流行的分類方法，能夠更好地捕捉多時序polsar數(shù)據(jù)的變化特征，以提升分類精度。