本發(fā)明涉及圖像識別處理，尤其涉及一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)。

背景技術(shù)：

1、在計算機(jī)視覺領(lǐng)域，小樣本圖像語義分割任務(wù)扮演著至關(guān)重要的角色。這一任務(wù)的關(guān)鍵在于準(zhǔn)確劃分圖像中的不同物體或區(qū)域，然而，傳統(tǒng)方法在小樣本情況下面臨諸多挑戰(zhàn)。這些挑戰(zhàn)主要源自于訓(xùn)練樣本的稀缺性，是由于數(shù)據(jù)收集成本高昂或標(biāo)注數(shù)據(jù)困難而導(dǎo)致的。這一限制影響了傳統(tǒng)方法在小樣本圖像上的性能，降低了其在語義分割任務(wù)中的準(zhǔn)確性和魯棒性。

2、為了解決小樣本圖像分割的問題，近年來出現(xiàn)了基于度量的元學(xué)習(xí)方法。這些方法嘗試通過學(xué)習(xí)圖像特征之間的度量關(guān)系，實現(xiàn)對新任務(wù)的快速適應(yīng)，特別是在樣本稀缺的情況下。通過從大量訓(xùn)練任務(wù)中學(xué)習(xí)，這些方法能夠通過少量標(biāo)注示例快速學(xué)習(xí)并適應(yīng)新的語義分割任務(wù)，從而提高小樣本圖像分割的性能。

3、然而，當(dāng)前方法存在著特征信息利用效率不高的問題。這主要體現(xiàn)在對局部信息的利用以及對特征的準(zhǔn)確度量上。目前的方法尚未解決如何高效利用圖像中的局部信息，只是簡單的拼接后，利用分類器輸出分割結(jié)果。這也導(dǎo)致了在度量時，不能有效地發(fā)現(xiàn)共現(xiàn)特征，改善語義分割的性能。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)。

2、本發(fā)明的其他特性和優(yōu)點將通過下面的詳細(xì)描述變得顯然，或部分地通過本發(fā)明的實踐而習(xí)得。

3、根據(jù)本發(fā)明實施例的第一方面，提供了一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，所述一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)包括：特征信息提取模塊，用于提取支持?jǐn)?shù)據(jù)集和查詢數(shù)據(jù)集的特征信息，所述支持?jǐn)?shù)據(jù)集為已有標(biāo)簽的支持圖片數(shù)據(jù)的集合，所述查詢數(shù)據(jù)集為查詢圖片數(shù)據(jù)的集合；

4、局部信息索引模塊，用于根據(jù)所述支持圖片數(shù)據(jù)的標(biāo)簽，確認(rèn)所述支持圖片數(shù)據(jù)的中層特征的局部信息索引以及高層特征的局部信息索引；

5、特征雙向?qū)R模塊，用于分別對支持圖片數(shù)據(jù)以及查詢圖片數(shù)據(jù)進(jìn)行分割以進(jìn)行特征對齊，然后根據(jù)中層特征的局部信息索引以及高層特征的局部信息索引對查詢特征再次分割得到最終分割結(jié)果。

6、在本發(fā)明的一些實施例中，所述特征信息包括中層特征以及高層特征；所述特征信息提取模塊由5個依次連接的特征提取層組成，所述支持圖片數(shù)據(jù)依次通過5個依次連接的特征提取層提取出所述支持?jǐn)?shù)據(jù)集的支持圖片中層特征以及支持圖片高層特征，所述查詢圖片數(shù)據(jù)依次通過5個依次連接的特征提取層提取出所述查詢數(shù)據(jù)集的查詢圖片中層特征以及查詢圖片高層特征。

7、在本發(fā)明的一些實施例中，所述特征信息提取模塊通過位于第3層以及第4層的所述特征提取層提取出中層特征，所述特征信息提取模塊通過位于第5層的所述特征提取層提取出高層特征。

8、在本發(fā)明的一些實施例中，所述局部信息索引模塊用于：

9、計算得到所述支持圖片中層特征以及查詢圖片中層特征的第一關(guān)聯(lián)矩陣；

10、計算得到查詢圖片中層特征中每個局部特征，和所有支持圖片中層特征的局部特征相似度最高的len個值，len為正整數(shù)；

11、基于所述支持圖片數(shù)據(jù)的標(biāo)簽，確認(rèn)所述len個值屬于目標(biāo)特征或背景特征；

12、對所述len個值進(jìn)行加權(quán)計算，得到查詢圖片中層特征中每個局部特征為前景特征的第一概率；

13、根據(jù)所述第一概率得到中層特征的局部信息索引。

14、在本發(fā)明的一些實施例中，所述局部信息索引模塊用于：

15、計算得到所述支持圖片高層特征以及查詢圖片高層特征的第二關(guān)聯(lián)矩陣；

16、計算得到查詢圖片高層特征中每個局部特征，和所有支持圖片高層特征的局部特征相似度最高的len個值，len為正整數(shù)；

17、基于所述支持圖片數(shù)據(jù)的標(biāo)簽，確認(rèn)所述len個值屬于目標(biāo)特征或背景特征；

18、對所述len個值進(jìn)行加權(quán)計算，得到查詢圖片高層特征中每個局部特征為前景特征的第二概率；

19、根據(jù)所述第二概率得到高層特征的局部信息索引。

20、在本發(fā)明的一些實施例中，所述特征雙向?qū)R模塊具體用于：

21、基于支持圖片數(shù)據(jù)的標(biāo)簽計算目標(biāo)類別的支持原型；

22、所述支持原型拓展后與所述查詢數(shù)據(jù)集的特征信息拼接，并利用特征度量工具，激活共現(xiàn)特征以得到對查詢圖片數(shù)據(jù)的分割結(jié)果，再交換支持圖片數(shù)據(jù)和查詢圖片數(shù)據(jù)，得到對支持圖片數(shù)據(jù)的分割結(jié)果，利用查詢圖片數(shù)據(jù)的分割結(jié)果和支持圖片數(shù)據(jù)的分割結(jié)果計算損失，以進(jìn)行特征對齊；

23、結(jié)合所述中層特征的局部信息索引以及高層特征的局部信息索引，對查詢特征再次分割得到最終結(jié)果。

24、本發(fā)明實施例中提供的技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點：

25、本發(fā)明實施例提供的一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，通過設(shè)置局部信息索引模塊利用特征的局部信息間的關(guān)聯(lián)性，生成局部信息索引來激活查詢特征中的目標(biāo)類別特征，可以更好地利用特征信息，通過特征雙向?qū)R模塊在正常分割過程完成后，還會對調(diào)支持?jǐn)?shù)據(jù)集和查詢數(shù)據(jù)集再完成一次分割任務(wù)并計算損失，能夠?qū)δＰ蛥?shù)進(jìn)行優(yōu)化，對共現(xiàn)特征進(jìn)行雙向的調(diào)整和映射，實現(xiàn)有效的度量共現(xiàn)特征和更精確地計算局部信息索引，具有較好的圖像語義分割效果。

26、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式。

技術(shù)特征：

1.一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，其特征在于，所述一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)包括：

2.根據(jù)權(quán)利要求1所述的一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，其特征在于：所述特征信息包括中層特征以及高層特征；所述特征信息提取模塊由5個依次連接的特征提取層組成，所述支持圖片數(shù)據(jù)依次通過5個依次連接的特征提取層提取出所述支持?jǐn)?shù)據(jù)集的支持圖片中層特征以及支持圖片高層特征，所述查詢圖片數(shù)據(jù)依次通過5個依次連接的特征提取層提取出所述查詢數(shù)據(jù)集的查詢圖片中層特征以及查詢圖片高層特征。

3.根據(jù)權(quán)利要求2所述的一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，其特征在于：所述特征信息提取模塊通過位于第3層以及第4層的所述特征提取層提取出中層特征，所述特征信息提取模塊通過位于第5層的所述特征提取層提取出高層特征。

4.根據(jù)權(quán)利要求2所述的一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，其特征在于，所述局部信息索引模塊用于：

5.根據(jù)權(quán)利要求4所述的一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，其特征在于，所述局部信息索引模塊用于：

6.根據(jù)權(quán)利要求5所述的一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，其特征在于，所述特征雙向?qū)R模塊具體用于：

技術(shù)總結(jié)
本發(fā)明公開了一種基于局部信息索引和特征雙向?qū)R的小樣本圖像語義分割系統(tǒng)，所述系統(tǒng)包括：特征信息提取模塊用于提取支持?jǐn)?shù)據(jù)集和查詢數(shù)據(jù)集的特征信息；局部信息索引模塊用于根據(jù)支持圖片數(shù)據(jù)的標(biāo)簽，確認(rèn)支持圖片數(shù)據(jù)的中層特征的局部信息索引以及高層特征的局部信息索引；特征雙向?qū)R模塊分別對支持圖片數(shù)據(jù)以及查詢圖片數(shù)據(jù)進(jìn)行分割以進(jìn)行特征對齊，并對查詢特征再次分割得到最終分割結(jié)果。本發(fā)明通過設(shè)置局部信息索引模塊利用特征的局部信息間的關(guān)聯(lián)性，生成局部信息索引來激活查詢特征中的目標(biāo)類別特征，可以更好地利用特征信息，實現(xiàn)了有效的度量共現(xiàn)特征和更精確地計算局部信息索引，具有較好的圖像語義分割效果。

技術(shù)研發(fā)人員：楊詠,李詩影,劉久亞,陳少蓉,方崇林
受保護(hù)的技術(shù)使用者：湖北公眾信息產(chǎn)業(yè)有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9