本發(fā)明涉及圖像檢索和圖像處理，特別是一種基于向量量化技術(shù)的低質(zhì)量遙感圖像深度哈希檢索方法、系統(tǒng)、設(shè)備及介質(zhì)，旨在提升低質(zhì)量圖像在遙感圖像檢索任務(wù)中的性能。

背景技術(shù)：

1、深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)任務(wù)中表現(xiàn)出了顯著的優(yōu)勢(shì)，但當(dāng)前的大多數(shù)視覺(jué)任務(wù)常常依賴高質(zhì)量圖像進(jìn)行訓(xùn)練和測(cè)試。然而，實(shí)際應(yīng)用中，圖像的獲取往往受到多種因素的影響，如傳感器噪聲、攝像機(jī)運(yùn)動(dòng)模糊和大氣干擾等，導(dǎo)致圖像質(zhì)量下降。這些低質(zhì)量圖像對(duì)模型的性能和泛化能力提出了挑戰(zhàn)，因?yàn)樯疃葘W(xué)習(xí)模型難以從低質(zhì)量圖像中準(zhǔn)確提取關(guān)鍵特征。

2、現(xiàn)有的研究中，主要通過(guò)特征蒸餾方法來(lái)提升低質(zhì)量圖像的表現(xiàn)，即通過(guò)讓深度神經(jīng)網(wǎng)絡(luò)從低質(zhì)量圖像中提取與高質(zhì)量圖像類似的特征，改善低質(zhì)量圖像的特征表現(xiàn)并應(yīng)用于下游任務(wù)。此外，部分研究采用圖像恢復(fù)方法，先將低質(zhì)量圖像恢復(fù)到高質(zhì)量圖像，再進(jìn)行特征提取和后續(xù)任務(wù)處理，這些方法也取得了一定的效果。

3、在遙感圖像檢索領(lǐng)域，現(xiàn)有研究大多集中于高質(zhì)量遙感圖像的檢索，較少關(guān)注低質(zhì)量遙感圖像。然而，實(shí)際應(yīng)用中，遙感圖像往往受到多種因素的影響，如天氣、環(huán)境和設(shè)備噪聲，這些因素導(dǎo)致遙感圖像質(zhì)量下降，進(jìn)而影響檢索性能。

4、公開(kāi)號(hào)為cn?118312636?a的中國(guó)專利申請(qǐng)，公開(kāi)了一種基于自注意力哈希的海洋遙感船舶圖像檢索方法。該方法利用自注意力機(jī)制生成哈希碼，從而提高了圖像檢索的精度和效率。但是，由于該方法僅專注于理想環(huán)境下的遙感圖像檢索，未能考慮復(fù)雜環(huán)境(如天氣變化、海況干擾等)對(duì)遙感圖像的影響，具有無(wú)法克服復(fù)雜環(huán)境下圖像檢索挑戰(zhàn)的缺點(diǎn)。

5、劉超等人公開(kāi)了《deep?hash?learning?for?remote?sensing?image?retrieval》[j](c.liu,j.ma,x.tang,f.liu,x.zhang,and?l.jiao.deep?hash?learning?for?remotesensing?image?retrieval[j]。ieee?transactions?on?geoscience?and?remotesensing，2020年，59卷(4期)：3420-3443)。該文獻(xiàn)提出了一種基于深度哈希學(xué)習(xí)的遙感圖像檢索方法，通過(guò)使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并生成緊湊的哈希碼來(lái)提高檢索效率。然而，由于該方法在哈希碼生成過(guò)程中未能充分考慮低質(zhì)量圖像特征的量化誤差，導(dǎo)致低質(zhì)量圖像的檢索精度下降，具有無(wú)法在低質(zhì)量圖像和高質(zhì)量圖像之間保持一致性的缺點(diǎn)。

6、宋偉等人公開(kāi)了《asymmetric?hash?code?learning?for?remote?sensing?imageretrieval》[j](w.song,z.gao,r.dian,p.ghamisi,y.zhang,andj.a.benediktsson.asymmetric?hash?code?learning?for?remote?sensing?imageretrieval[j]。ieee?transactions?on?geoscience?and?remote?sensing，2022年，60卷：1-14)。該文獻(xiàn)提出了一種不對(duì)稱哈希碼學(xué)習(xí)方法，通過(guò)針對(duì)不同模態(tài)數(shù)據(jù)生成不同的哈希碼以提升遙感圖像檢索的精度。然而，由于該方法在處理低質(zhì)量遙感圖像時(shí)存在對(duì)模態(tài)差異不敏感的問(wèn)題，導(dǎo)致低質(zhì)量圖像的檢索性能下降，具有無(wú)法充分利用多模態(tài)信息進(jìn)行精確檢索的缺點(diǎn)。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種基于向量量化的低質(zhì)量遙感圖像深度哈希檢索方法、系統(tǒng)、設(shè)備及介質(zhì)，通過(guò)將向量量化引入低質(zhì)量遙感圖像深度哈希檢索任務(wù)中，學(xué)習(xí)低質(zhì)量遙感圖像的本質(zhì)特征，通過(guò)構(gòu)建高質(zhì)量遙感圖像和低質(zhì)量遙感圖像的碼本，并利用成對(duì)損失(pairwise?loss)、交叉熵?fù)p失和重建損失這三種損失函數(shù)，實(shí)現(xiàn)低質(zhì)量遙感圖像特征到高質(zhì)量遙感圖像特征的映射，從而提升低質(zhì)量遙感圖像的檢索性能。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

3、一種基于向量量化的低質(zhì)量遙感圖像深度哈希檢索方法，包括以下步驟：

4、步驟1：圖像特征提?。和ㄟ^(guò)獲取高質(zhì)量遙感圖像和低質(zhì)量遙感圖像作為輸入，并通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)分別提取高質(zhì)量遙感圖像和低質(zhì)量遙感圖像的特征；

5、步驟2：向量量化：將步驟1提取的特征輸入到向量量化模塊，量化至獨(dú)立的離散空間中，生成量化特征；

6、步驟3：哈希編碼生成：將步驟2生成的量化特征通過(guò)深度哈希網(wǎng)絡(luò)生成用于圖像檢索的哈希碼；

7、步驟4：損失函數(shù)應(yīng)用：在步驟1～步驟3特征提取、特征量化和哈希編碼生成后，獲得特征表示，通過(guò)應(yīng)用損失函數(shù)對(duì)特征表示進(jìn)行約束，所述損失函數(shù)包括pairwise?loss、重建損失和交叉熵?fù)p失，用于確保語(yǔ)義信息保留、特征距離約束以及編碼器、碼本和解碼器的協(xié)同學(xué)習(xí)。

8、所述步驟1的具體步驟如下：

9、高質(zhì)量遙感圖像表示為x＝{x1,x2,…,xn}和對(duì)應(yīng)的低質(zhì)量遙感圖像表示為同時(shí)輸入到骨干網(wǎng)絡(luò)alexnet，通過(guò)骨干網(wǎng)絡(luò)alexnet提取圖像特征，特征提取后通過(guò)兩層全連接層進(jìn)行降維，生成實(shí)值哈希碼，高質(zhì)量遙感圖像的實(shí)值哈希碼表示為h＝{h1,h2,…,hn}，低質(zhì)量遙感圖像的實(shí)值哈希碼表示為其中，h和均屬于rk，k為實(shí)值哈希碼的位數(shù)，生成實(shí)值哈希碼的公式如下：

10、hi＝φ(xi；θ),i＝1,2,…,n

11、

12、其中，θ代表骨干網(wǎng)絡(luò)alexnet、兩層全連接層和哈希層的權(quán)重參數(shù)，φ表示一個(gè)由θ表征的映射函數(shù)，包含卷積、池化和全連接操作。

13、所述步驟2的具體步驟如下：

14、進(jìn)一步，為了獲得量化后的圖像特征，向量量化步驟如下：

15、將兩個(gè)可學(xué)習(xí)的碼本e∈rm×k添加在特征提取網(wǎng)絡(luò)的最后，分別用于量化低質(zhì)量遙感圖像和高質(zhì)量遙感圖像的特征，其中，m為碼本中的碼字?jǐn)?shù)量，e∈rk為碼字，即碼本e∈rm×k中的某一向量，高質(zhì)量遙感圖像和低質(zhì)量遙感圖像的實(shí)值哈希碼通過(guò)對(duì)應(yīng)的碼本進(jìn)行向量量化，得到量化特征，對(duì)于任意高質(zhì)量遙感圖像的實(shí)值哈希碼h，其標(biāo)準(zhǔn)量化過(guò)程表示為：

16、s＝e(h)＝eq

17、

18、其中，e(h)表示將h離散化為碼本中的一個(gè)碼字，eq表示碼本中的第q個(gè)碼字，q為碼本e中與實(shí)值哈希碼h歐式距離最小的碼字索引，之后選擇與實(shí)值哈希碼歐式距離最近的前l(fā)個(gè)碼字進(jìn)行加權(quán)求和，以補(bǔ)充量化特征的信息，最終提升其表征能力，具體地，對(duì)于任意遙感圖像的實(shí)值哈希碼h，與其歐式距離最近的前l(fā)個(gè)碼字為{e1,e2,…,el}，與高質(zhì)量遙感圖像的實(shí)值哈希碼h的距離為{d1,d2,…,dl}，根據(jù)這些碼字與實(shí)值哈希碼的距離計(jì)算權(quán)重{β1,β2,…,βl}，最終的量化向量z的公式為：

19、

20、經(jīng)過(guò)向量量化，高質(zhì)量遙感圖像的量化特征表示為z＝{z1,z2,…,zn}，低質(zhì)量遙感圖像的量化特征表示為

21、所述步驟3的具體步驟如下：

22、進(jìn)一步，為了獲得可以用于檢索的哈希編碼，哈希編碼生成步驟如下：

23、為了減少實(shí)值哈希碼轉(zhuǎn)化為哈希碼過(guò)程中的量化誤差，生成實(shí)值哈希碼后通過(guò)激活函數(shù)tanh(·)將實(shí)值哈希碼的每一維度的值限定在-1到1之間，具體公式為：

24、

25、對(duì)于高質(zhì)量遙感圖像的實(shí)值哈希碼zi，其規(guī)范化后的哈希碼vi表示為：

26、vi＝tanh(zi),i＝1,2,…,n

27、同樣，對(duì)于低質(zhì)量遙感圖像的實(shí)值哈希碼其規(guī)范化后的哈希碼表示為：

28、

29、為了輔助深度哈希網(wǎng)絡(luò)中碼本的學(xué)習(xí)，將量化特征通過(guò)分類層進(jìn)行交叉熵?fù)p失的約束，以注入語(yǔ)義信息，具體公式為：

30、pi＝fc(vi),i＝1,2,…,n

31、

32、其中，fc(·)表示分類層，pi表示第i個(gè)高質(zhì)量遙感圖像的分類向量，表示第i個(gè)低質(zhì)量遙感圖像的分類向量；

33、生成哈希碼的過(guò)程通過(guò)將向量pi和進(jìn)行二值化，生成最終的高質(zhì)量遙感圖像的哈希碼bi和低質(zhì)量遙感圖像的哈希碼具體公式為：

34、

35、bi＝sign(vi),i＝1,2,…,n

36、

37、其中，bi表示第i個(gè)高質(zhì)量遙感圖像哈希碼，vi是其對(duì)應(yīng)的規(guī)范化實(shí)值哈希碼；同理，表示第i個(gè)低質(zhì)量遙感圖像哈希碼，是其對(duì)應(yīng)的低質(zhì)量遙感圖像的規(guī)范化實(shí)值哈希碼，通過(guò)sign(·)函數(shù)將實(shí)值哈希碼轉(zhuǎn)換為二進(jìn)制形式，從而生成用于檢索的最終哈希碼。

38、所述步驟4的具體步驟如下：

39、為了確保遙感圖像特征表示的語(yǔ)義信息保留、特征距離的約束以及編碼器、碼本和解碼器的協(xié)同學(xué)習(xí)，損失函數(shù)應(yīng)用步驟如下：

40、pairwise?loss損失函數(shù)用于約束高質(zhì)量遙感圖像和低質(zhì)量遙感圖像的特征空間學(xué)習(xí)，確保同類圖像特征距離更近，不同類圖像特征距離更遠(yuǎn)，具體地，pairwise?loss用于以下三種情況：

41、情況1：高質(zhì)量遙感圖像的嵌入空間約束：用于約束高質(zhì)量遙感圖像的特征向量，使同類高質(zhì)量遙感圖像之間的特征距離較近，不同類高質(zhì)量遙感圖像之間的特征距離較遠(yuǎn)，損失函數(shù)公式如下：

42、

43、其中，n表示遙感圖像樣本的數(shù)量，i和j分別表示遙感圖像樣本的索引，m表示距離閾值，θij為相似度指示矩陣，定義與高質(zhì)量遙感圖像的情況相似，vi和vj分別為低質(zhì)量遙感圖像的特征向量；

44、情況2：低質(zhì)量遙感圖像的嵌入空間約束：用于約束低質(zhì)量遙感圖像特征，使同類低質(zhì)量遙感圖像之間的特征距離較近，不同類的低質(zhì)量遙感圖像之間的特征距離較遠(yuǎn)，損失函數(shù)公式如下：

45、

46、其中，n表示遙感圖像樣本的數(shù)量，i和j分別表示遙感圖像樣本的索引，m表示距離閾值，θij為相似度指示矩陣，定義與高質(zhì)量遙感圖像的情況相似，和分別為低質(zhì)量遙感圖像的特征向量；

47、情況3：高質(zhì)量遙感圖像與低質(zhì)量遙感圖像特征的配對(duì)約束：用于將同一類別的高質(zhì)量遙感圖像特征和低質(zhì)量遙感圖像特征相互靠近，不同類別的圖像特征保持遠(yuǎn)離，損失函數(shù)公式如下：

48、

49、其中，φij表示高質(zhì)量遙感圖像和低質(zhì)量遙感圖像的相似度指示矩陣，當(dāng)φij＝1時(shí)，表示第i個(gè)高質(zhì)量遙感圖像和第j個(gè)低質(zhì)量遙感圖像屬于同一類別；當(dāng)φij＝0時(shí)，表示它們屬于不同類別；

50、總體的pairwise?loss損失函數(shù)可以表示為：

51、lpairwise＝lpairwise-high+lpairwise-low+lpairwise-hl

52、交叉熵?fù)p失函數(shù)用于指導(dǎo)特征提取網(wǎng)絡(luò)和碼本的學(xué)習(xí)，確保高質(zhì)量遙感圖像和低質(zhì)量遙感圖像的量化特征保留其語(yǔ)義信息，具體地，交叉熵?fù)p失函數(shù)用于優(yōu)化高質(zhì)量遙感圖像和低質(zhì)量遙感圖像的分類性能，公式如下：

53、

54、其中，yic為第i張高質(zhì)量遙感圖像關(guān)于類別c的真實(shí)標(biāo)簽，pic為高質(zhì)量遙感圖像關(guān)于類別c的預(yù)測(cè)概率；為第i張低質(zhì)量遙感圖像關(guān)于類別c的真實(shí)標(biāo)簽，為低質(zhì)量遙感圖像關(guān)于類別c的預(yù)測(cè)概率；c為類別數(shù)；

55、重建損失函數(shù)用于指導(dǎo)特征提取網(wǎng)絡(luò)和碼本的協(xié)同學(xué)習(xí)，由于向量量化中的argmin操作不可求導(dǎo)，因此采用了直通估計(jì)(straight-through?estimator,ste)方法，將碼本后面的pairwise?loss和交叉熵?fù)p失帶來(lái)的梯度繞過(guò)碼本，傳遞至前面的特征提取網(wǎng)絡(luò)，從而實(shí)現(xiàn)特征提取網(wǎng)絡(luò)的參數(shù)更新，具體的損失函數(shù)公式如下：

56、lcommitment＝|h-sg(eq)|2

57、其中，sg(·)指的是stop?gradient操作，用于阻止梯度在碼本中傳播，盡管直通估計(jì)方法能夠?qū)崿F(xiàn)梯度傳遞，但碼本無(wú)法直接接收pairwise?loss和交叉熵?fù)p失傳來(lái)的梯度信息，導(dǎo)致碼本學(xué)習(xí)受限；

58、為了讓碼本空間正常參與學(xué)習(xí)，采用了一種字典學(xué)習(xí)方法，通過(guò)計(jì)算特征提取網(wǎng)絡(luò)輸出的特征與對(duì)應(yīng)量化后的碼字之間的l2誤差，優(yōu)化碼本的學(xué)習(xí)過(guò)程，具體的損失函數(shù)公式如下：

59、lvq＝|sg(h)-eq|2

60、其中，h為特征提取網(wǎng)絡(luò)的輸出，eq為對(duì)應(yīng)碼字；

61、模型的總體優(yōu)化問(wèn)題通過(guò)聯(lián)合所有損失函數(shù)來(lái)優(yōu)化網(wǎng)絡(luò)框架中的可學(xué)習(xí)參數(shù)，總體的損失函數(shù)公式如下：

62、

63、其中，θ代表本章節(jié)網(wǎng)絡(luò)框架中所有的可學(xué)習(xí)參數(shù)。

64、一種基于向量量化的低質(zhì)量遙感圖像深度哈希檢索系統(tǒng)，包括：

65、圖像特征提取模塊：通過(guò)獲取高質(zhì)量遙感圖像和低質(zhì)量遙感圖像作為輸入，并通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)分別提取高質(zhì)量遙感圖像和低質(zhì)量遙感圖像的特征；

66、向量量化模塊：將特征輸入到向量量化模塊，量化至獨(dú)立的離散空間中，生成量化特征；

67、哈希編碼生成模塊：將特征通過(guò)深度哈希網(wǎng)絡(luò)生成用于圖像檢索的哈希碼；

68、損失函數(shù)應(yīng)用模塊：在特征提取、特征量化和哈希編碼生成后，獲得特征表示，通過(guò)應(yīng)用損失函數(shù)對(duì)特征表示進(jìn)行約束，所述損失函數(shù)包括pairwise?loss、重建損失和交叉熵?fù)p失，用于確保語(yǔ)義信息保留、特征距離約束以及編碼器、碼本和解碼器的協(xié)同學(xué)習(xí)。

69、一種基于向量量化的低質(zhì)量遙感圖像深度哈希檢索設(shè)備，包括：

70、存儲(chǔ)器：用于存儲(chǔ)實(shí)現(xiàn)所述的一種基于向量量化的低質(zhì)量遙感圖像深度哈希檢索方法的計(jì)算機(jī)程序；

71、處理器：用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)所述的一種基于向量量化的低質(zhì)量遙感圖像深度哈希檢索方法。

72、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的一種基于向量量化的低質(zhì)量遙感圖像深度哈希檢索方法的步驟。

73、相對(duì)于現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

74、1.本發(fā)明通過(guò)向量量化，將低質(zhì)量遙感圖像的特征映射到離散空間中，提升了低質(zhì)量遙感圖像的檢索精度，具有有效降低量化誤差的效果。

75、2.本發(fā)明通過(guò)深度哈希網(wǎng)絡(luò)對(duì)量化特征進(jìn)行編碼，生成緊湊的哈希碼，使得在圖像檢索過(guò)程中大幅度減少存儲(chǔ)空間占用和計(jì)算開(kāi)銷。

76、3.本發(fā)明采用成對(duì)損失、交叉熵?fù)p失和重建損失的組合，有效地保證了低質(zhì)量遙感圖像與高質(zhì)量遙感圖像之間的特征一致性，提升了模型的魯棒性和泛化能力。

77、4.本發(fā)明采用向量量化和深度哈希學(xué)習(xí)的組合，特別針對(duì)低質(zhì)量遙感圖像，在復(fù)雜環(huán)境下(如天氣、噪聲等條件)仍能保持較高的檢索性能，克服了現(xiàn)有技術(shù)在復(fù)雜環(huán)境中的不足。

78、綜上所述，本發(fā)明提升了低質(zhì)量遙感圖像的檢索精度，減少存儲(chǔ)空間占用和計(jì)算開(kāi)銷，提升了模型的魯棒性和泛化能力，保證了較高的檢索性能。