本發(fā)明涉及圖像檢索，特別涉及一種結(jié)合領(lǐng)域本體和多尺度特征的圖像檢索方法。

背景技術(shù)：

1、圖像檢索技術(shù)在近年來得到了廣泛關(guān)注，主要應(yīng)用于互聯(lián)網(wǎng)、醫(yī)學(xué)影像分析、安防監(jiān)控等領(lǐng)域。然而，隨著數(shù)據(jù)量的迅速增加，傳統(tǒng)基于關(guān)鍵詞的檢索方法面臨巨大挑戰(zhàn)，無法有效處理圖像的多樣性和復(fù)雜性。

2、背景技術(shù)部分中公開的上述信息僅僅用于增強對本發(fā)明背景的理解，因此可能包含不構(gòu)成本領(lǐng)域普通技術(shù)人員公知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種結(jié)合領(lǐng)域本體和多尺度特征的圖像檢索方法，運用領(lǐng)域本體對圖像的結(jié)構(gòu)化表示以及結(jié)合多尺度特征提取，有效地提高了檢索的效率和精度。這種方法不僅能夠根據(jù)語義結(jié)構(gòu)信息縮小檢索范圍，保證了圖像檢索的速度，還能充分利用圖像的多尺度特征信息，解決傳統(tǒng)方法在處理復(fù)雜圖像數(shù)據(jù)時的不足，保證了圖像檢索的精度。

2、本發(fā)明的目的是通過以下技術(shù)方案予以實現(xiàn)。

3、基于領(lǐng)域本體與和多尺度特征的圖像檢索方法包括如下步驟，

4、步驟1，分析數(shù)據(jù)庫中數(shù)據(jù)檢索對象所處的領(lǐng)域，根據(jù)空間目標(biāo)態(tài)勢感知方面的領(lǐng)域知識，構(gòu)建用于表達領(lǐng)域內(nèi)的概念及其關(guān)系的領(lǐng)域本體，并對數(shù)據(jù)庫中的圖像進行結(jié)構(gòu)化表達；

5、步驟2，對于用戶輸入的查詢圖像，運用領(lǐng)域本體對查詢圖像進行結(jié)構(gòu)化表示，計算其與數(shù)據(jù)庫的圖像在本體中的結(jié)構(gòu)相似度，相似度較高的圖像記為粗檢索圖像；

6、步驟3，對于查詢圖像和粗檢索圖像，利用dinov2模型提取圖像的全局特征，并計算特征之間的余弦相似度，相似度最高的三張粗檢索圖像記為全局特征檢索圖像；

7、步驟4，對于查詢圖像與全局特征檢索圖像，利用superpoint網(wǎng)絡(luò)提取圖像的局部特征點，并利用superglue網(wǎng)絡(luò)獲取圖像之間的特征點匹配對；

8、步驟5，計算查詢圖像與全局特征檢索圖像之間的局部特征相似度，即特征點匹配對的余弦相似度，相似度最高的圖像作為最終檢索結(jié)果輸出。

9、所述的方法中，在步驟1中，收集并分析領(lǐng)域內(nèi)的知識生成概念列表，確定概念之間的層次關(guān)系，并采用樹狀結(jié)構(gòu)表示，本體樹中的節(jié)點即為概念，本體樹中的邊即為概念之間的關(guān)系；然后，將數(shù)據(jù)庫圖像與本體樹關(guān)聯(lián)，為圖像添加語義標(biāo)簽，實現(xiàn)數(shù)據(jù)庫圖像的結(jié)構(gòu)化表達。

10、所述的方法中，在步驟2中，根據(jù)領(lǐng)域本體為查詢圖像添加語義標(biāo)簽，實現(xiàn)查詢圖像的結(jié)構(gòu)化表示；然后，計算查詢圖像與數(shù)據(jù)庫的圖像在本體樹中的結(jié)構(gòu)相似度，得分越高相似度越大，篩選閾值設(shè)置為最高得分的80%，相似度得分大于該閾值的圖像記為粗檢索圖像，結(jié)構(gòu)相似度計算公式如下：

11、

12、其中，為查詢圖像的本體樹，為數(shù)據(jù)庫圖像的本體樹，和分別為兩棵樹對應(yīng)的節(jié)點，是節(jié)點對應(yīng)的權(quán)重，是節(jié)點相似度，即概念相似度，計算公式如下：

13、

14、其中，是連接兩節(jié)點最短路徑邊數(shù)之和，指第條邊對應(yīng)的權(quán)重。

15、所述的方法中，在步驟3中，dinov2模型輸出的全局特征向量大小為，余弦相似度計算公式為：

16、

17、其中，和分別是圖像a和圖像b的全局特征向量，表示向量模長。計算查詢圖像與粗匹配圖像的全局特征的余弦相似度，并根據(jù)得分進行排序，得分越小相似度越高，相似度最高的三張粗匹配圖像記為全局特征檢索圖像。

18、所述的方法中，在步驟4中，superpoint網(wǎng)絡(luò)提取的特征點包含了關(guān)鍵點坐標(biāo)以及描述子向量，它們共同描述了圖像的局部特征；其次，superglue網(wǎng)絡(luò)對兩幅圖像的特征點進行匹配，匹配成功的特征點在對應(yīng)圖像中的索引被保存，用于后續(xù)局部特征相似度的計算。

19、所述的方法中，在步驟5中，圖像之間的局部特征相似度通過特征點匹配對的余弦相似度度量，計算公式如下：

20、其中，和分別是圖像a和圖像b的特征點，為特征點匹配對的數(shù)量，表示向量模長，根據(jù)得分進行排序，得分越小相似度越高，相似度最高的圖像作為最終檢索結(jié)果輸出。

21、在所述方法中，在步驟1中，收集并分析領(lǐng)域內(nèi)的知識生成概念列表，確定概念之間的層次關(guān)系，并采用樹狀結(jié)構(gòu)表示，本體樹中的節(jié)點即為概念，本體樹中的邊即為概念之間的關(guān)系；然后，將數(shù)據(jù)庫圖像與本體樹關(guān)聯(lián)，為圖像添加語義標(biāo)簽，實現(xiàn)數(shù)據(jù)庫圖像的結(jié)構(gòu)化表達。具體步驟如下：

22、①分析領(lǐng)域知識：通過領(lǐng)域?qū)＜易稍?、文獻綜述和數(shù)據(jù)分析，收集并分析領(lǐng)域內(nèi)的相關(guān)知識，生成初步的概念列表，包括主要實體和屬性。

23、②定義領(lǐng)域概念和關(guān)系：明確每個概念的定義和屬性，確定概念之間的關(guān)系，建立領(lǐng)域本體的基本框架。

24、③建領(lǐng)域本體的結(jié)構(gòu)：為概念和關(guān)系建立層次結(jié)構(gòu)，便于知識的組織和檢索，利用樹形圖組織概念和關(guān)系，樹中的節(jié)點為概念，樹中的邊為概念之間的關(guān)系。

25、④語義標(biāo)注：將數(shù)據(jù)庫圖像與本體中的概念和關(guān)系進行關(guān)聯(lián)，通過為圖像添加語義標(biāo)簽，使每個圖像與一個或多個本體中的概念相對應(yīng)。

26、在步驟2中，根據(jù)領(lǐng)域本體為查詢圖像添加語義標(biāo)簽，實現(xiàn)查詢圖像的結(jié)構(gòu)化表示；然后，計算查詢圖像與數(shù)據(jù)庫圖像在本體樹中的結(jié)構(gòu)相似度，得分越高相似度越大，篩選閾值設(shè)置為最高得分的80%，相似度得分大于該閾值的圖像記為粗檢索圖像。結(jié)構(gòu)相似度計算公式如下：

27、

28、其中，為查詢圖像的本體樹，為數(shù)據(jù)庫圖像的本體樹，和分別為兩棵樹對應(yīng)的節(jié)點，是節(jié)點對應(yīng)的權(quán)重，是節(jié)點相似度，即概念相似度，計算公式如下：

29、

30、其中，是連接兩節(jié)點最短路徑邊數(shù)之和，指第條邊對應(yīng)的權(quán)重。

31、在步驟3中，dinov2是計算機視覺的基礎(chǔ)模型，在大規(guī)模高質(zhì)量的圖像數(shù)據(jù)集“l(fā)vd-142m”中學(xué)習(xí)了魯棒且通用的視覺特征，這些特征適用于不同的圖像分布和不同的任務(wù)，無需進行進一步的微調(diào)即可使用。dinov2網(wǎng)絡(luò)結(jié)構(gòu)包括：

32、圖像塊嵌入層：圖像被分割成固定大小的圖像塊，每個圖像塊通過線性變換嵌入到高維特征空間；

33、編碼器：由多個自注意力層和前饋網(wǎng)絡(luò)組成，每個自注意力層通過計算圖像塊之間的注意力權(quán)重，捕捉圖像的全局特征，編碼器輸出一系列表示圖像的不同區(qū)域的特征嵌入向量；

34、類別標(biāo)記：在輸入圖像塊的基礎(chǔ)上，引入用于最終的特征表示的類別標(biāo)記，其在模型的編碼過程中聚合全局信息；

35、輸出頭：輸出特征用于分類、回歸或特征匹配。

36、我們使用蒸餾后的dinov2模型，參數(shù)量從原來的11億下降為3億，既能加快模型的推理速度，也能保證較好的特征提取能力。dinov2模型輸出的全局特征向量大小為，余弦相似度計算公式為：

37、

38、其中，和分別是圖像a和圖像b的全局特征向量，表示向量模長。計算查詢圖像與粗匹配圖像的全局特征的余弦相似度，并根據(jù)得分進行排序，得分越小相似度越高，相似度最高的三張粗匹配圖像記為全局特征檢索圖像。

39、在步驟4中，superpoint網(wǎng)絡(luò)提取的特征點包含了關(guān)鍵點坐標(biāo)以及描述子向量，它們共同描述了圖像的局部特征；其次，superglue網(wǎng)絡(luò)對兩幅圖像的特征點進行匹配，匹配成功的特征點在對應(yīng)圖像中的索引被保存，用于后續(xù)局部特征相似度的計算。

40、superpoint是一個端到端的卷積神經(jīng)網(wǎng)絡(luò)，用于圖像關(guān)鍵點檢測和描述子生成，其使用一個基于卷積神經(jīng)網(wǎng)絡(luò)的共享編碼器提取圖像特征圖，然后通過兩個解碼器分別生成關(guān)鍵點和描述子。首先，將輸入圖像轉(zhuǎn)換為灰度圖并標(biāo)準(zhǔn)化處理，以適應(yīng)superpoint模型的輸入要求；其次，將圖像輸入superpoint模型，通過共享卷積編碼器提取圖像的特征圖；接著，superpoint輸出關(guān)鍵點熱圖，在熱圖中選取局部最大值作為關(guān)鍵點，根據(jù)閾值篩選出具有顯著性響應(yīng)的關(guān)鍵點；最后，特征圖通過描述子生成分支，提取每個關(guān)鍵點對應(yīng)的局部描述子，所述局部描述子是高維特征向量，捕捉關(guān)鍵點周圍的局部圖像信息。

41、superglue是一個基于圖神經(jīng)網(wǎng)絡(luò)的特征匹配算法，用于圖像特征點匹配，superglue通過自注意力機制在一對圖像的特征點之間找到最佳匹配對。首先，將從superpoint模型中提取的關(guān)鍵點位置和對應(yīng)的描述子作為輸入；接著，將每張圖像的關(guān)鍵點和描述子轉(zhuǎn)換為圖結(jié)構(gòu)，其中節(jié)點代表關(guān)鍵點，邊代表它們之間的關(guān)系；其次，superglue在圖結(jié)構(gòu)上應(yīng)用自注意力機制，計算圖像之間所有關(guān)鍵點對的相似性，從而在不同圖像之間找到潛在的關(guān)鍵點匹配對；最后，使用superglue輸出的匹配概率矩陣，找到概率最大的關(guān)鍵點對作為最終的匹配結(jié)果。

42、在步驟5中，圖像之間的局部特征相似度通過特征點匹配對的余弦相似度度量，計算公式如下：

43、其中，和分別是圖像a和圖像b的特征點，為特征點匹配對的數(shù)量，表示向量模長。最后，根據(jù)得分進行排序，得分越小相似度越高，相似度最高的圖像作為最終檢索結(jié)果輸出。

44、和現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點：

45、①高效的檢索過程：通過領(lǐng)域本體的語義層次結(jié)構(gòu)化表示，能夠?qū)D像庫進行初步篩選，縮小檢索范圍，提升檢索精度和效率；

46、②準(zhǔn)確的特征表示：dinov2模型用于提取圖像的全局特征，?superpoint網(wǎng)絡(luò)和superglue網(wǎng)絡(luò)用于提取圖像的局部特征，通過結(jié)合多尺度特征，能夠提供全面的圖像特征描述，提高了圖像檢索的準(zhǔn)確性；

47、③較強的靈活性和適應(yīng)性：領(lǐng)域本體方法能夠靈活地擴展至不同領(lǐng)域的圖像檢索任務(wù)，而dinov2預(yù)訓(xùn)練模型可以生成通用的視覺特征，適用于不同的圖像分布和不同的任務(wù)。

48、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠使得本發(fā)明的技術(shù)手段更加清楚明白，達到本領(lǐng)域技術(shù)人員可依照說明書的內(nèi)容予以實施的程度，并且為了能夠讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，下面以本發(fā)明的具體實施方式進行舉例說明。