本發(fā)明涉及模式識(shí)別和機(jī)器學(xué)習(xí)，以及小樣本學(xué)習(xí)、增量學(xué)習(xí)，尤其涉及一種基于基于隱屬性增量網(wǎng)絡(luò)的小樣本類增量學(xué)習(xí)方法。

背景技術(shù)：

1、近年來，機(jī)器學(xué)習(xí)模型在自然語言處理和計(jì)算機(jī)視覺等各個(gè)領(lǐng)域都取得了顯著的成就。人類通常具有持續(xù)學(xué)習(xí)識(shí)別對(duì)象類別的能力，例如能夠?qū)W習(xí)識(shí)別大象，而不會(huì)遺忘先前學(xué)習(xí)到的識(shí)別貓和狗的能力。這種能力通常被稱為增量學(xué)習(xí)。受人類增量學(xué)習(xí)能力的啟發(fā)，類增量學(xué)習(xí)被提出，應(yīng)用于機(jī)器學(xué)習(xí)模型。

2、在類增量學(xué)習(xí)中，要求模型在連續(xù)任務(wù)上學(xué)習(xí)新知識(shí)時(shí)不會(huì)遺忘先前學(xué)習(xí)到的知識(shí)，其中關(guān)鍵問題在于如何有效獲取新類別的知識(shí)，同時(shí)不遺忘舊知識(shí)。然而，由于數(shù)據(jù)標(biāo)注成本高昂和獲取稀有類別樣本困難，在實(shí)際應(yīng)用中，使用大規(guī)模數(shù)據(jù)集訓(xùn)練模型變得不切實(shí)際。因此，小樣本類增量學(xué)習(xí)引起了越來越多的關(guān)注。

3、在圖像分類的小樣本類增量學(xué)習(xí)中，模型旨在使用有限的數(shù)據(jù)去連續(xù)學(xué)習(xí)新類別，其同時(shí)面臨災(zāi)難性遺忘和對(duì)新類別泛化能力差的雙重挑戰(zhàn)。為了解決上述問題，最近的研究提出了三類不同的方法：基于元學(xué)習(xí)的方法、基于回放的方法、基于特征和特征空間的方法?；谠獙W(xué)習(xí)的方法通過在基任務(wù)中構(gòu)建一個(gè)偽增量學(xué)習(xí)任務(wù)來模擬真實(shí)的增量學(xué)習(xí)階段，使模型學(xué)會(huì)在少量樣本上進(jìn)行學(xué)習(xí)。基于回放的方法通過保留部分舊類樣本，構(gòu)成回放緩沖來防止模型對(duì)舊知識(shí)遺忘?；谔卣骱吞卣骺臻g的方法通過對(duì)基類圖像樣本進(jìn)行合成或者擴(kuò)增，合成一些偽新類圖像樣本，可以為真正的新類預(yù)留一部分特征空間，能夠避免新舊類數(shù)據(jù)分布之間產(chǎn)生混淆。

4、然而，這些方法均學(xué)習(xí)用于分類的全局特征，往往忽略了判別性局部信息，導(dǎo)致知識(shí)泛化能力較弱。在面對(duì)新的增量任務(wù)時(shí)，例如識(shí)別像老虎和豹子這樣的新動(dòng)物類別，全局特征的泛化能力較弱，而局部特征，如爪子或毛發(fā)的紋理，則更具泛化性和可轉(zhuǎn)移性。這些細(xì)粒度的細(xì)節(jié)對(duì)于區(qū)分屬于不同類別的視覺上相似的動(dòng)物至關(guān)重要。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)存方法存在的問題，本發(fā)明改變了先前方法對(duì)特征的學(xué)習(xí)方式，提出了一種隱屬性增強(qiáng)網(wǎng)絡(luò)來增強(qiáng)圖像對(duì)象的特征，其中隱屬性能夠使新類的泛化性大幅提高，從基類中學(xué)習(xí)的隱屬性可以泛化到不同的新類中去。

2、本發(fā)明提出了一種隱屬性增強(qiáng)網(wǎng)絡(luò)來增強(qiáng)圖像對(duì)象特征，其中隱屬性指圖像中的具有泛化性的特征，例如形狀或顏色，隱屬性被自動(dòng)學(xué)習(xí)以集中在關(guān)鍵局部特征上。為了解決圖像分類的小樣本學(xué)習(xí)中普遍存在的過擬合問題，我們?cè)诨A(chǔ)訓(xùn)練階段后凍結(jié)骨干網(wǎng)絡(luò)參數(shù)，并采用元學(xué)習(xí)的方式來模擬現(xiàn)實(shí)的增量學(xué)習(xí)過程。該模擬涉及構(gòu)建多個(gè)小樣本增量任務(wù)以重現(xiàn)真實(shí)的增量學(xué)習(xí)場(chǎng)景。本發(fā)明提出的基于隱屬性增強(qiáng)網(wǎng)絡(luò)的小樣本類增量學(xué)習(xí)模型能夠有效聚焦于局部判別信息，增強(qiáng)新類學(xué)習(xí)的泛化性。

3、本發(fā)明的技術(shù)解決方案步驟如下：

4、步驟一：預(yù)訓(xùn)練圖像分類模型；

5、s11輸入：基任務(wù)的圖像數(shù)據(jù)。

6、s12基任務(wù)預(yù)訓(xùn)練：將基任務(wù)的圖像數(shù)據(jù)輸入到圖像分類模型中進(jìn)行訓(xùn)練。

7、s13輸出：進(jìn)行預(yù)訓(xùn)練后的圖像分類模型。

8、步驟二：隱屬性的學(xué)習(xí)

9、s21偽增量學(xué)習(xí)：將基任務(wù)的圖像數(shù)據(jù)進(jìn)行采樣，從中隨機(jī)選擇部分圖像作為支持集與查詢集。

10、s22將上個(gè)步驟中采樣的支持集和查詢集，以及隱屬性，輸入到隱屬性增強(qiáng)網(wǎng)絡(luò)中去，隱屬性增強(qiáng)網(wǎng)絡(luò)包含三部分：步驟一預(yù)訓(xùn)練得到的圖像分類模型、輔助記憶模塊和基于transformer的知識(shí)交互模塊，輔助記憶模塊中保存著隱屬性。將支持集與隱屬性輸入到隱屬性增強(qiáng)網(wǎng)絡(luò)中，再將查詢集與隱屬性輸入網(wǎng)絡(luò)，將隱屬性捕捉到的支持集中的知識(shí)泛化到查詢集，最終進(jìn)行損失計(jì)算與參數(shù)更新。

11、s23模型損失：使用局部交叉熵?fù)p失對(duì)隱屬性增強(qiáng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，能夠更好地捕捉泛化性局部信息。

12、s24模型推理：推理階段凍結(jié)網(wǎng)絡(luò)參數(shù)，在基任務(wù)上訓(xùn)練好的隱屬性，能夠很好地將知識(shí)泛化到新任務(wù)中去。

13、與先前技術(shù)相比，本發(fā)明提出了一種隱屬性增強(qiáng)網(wǎng)絡(luò)，能夠?qū)Ｗ⒂谂袆e性的局部視覺區(qū)域以捕捉細(xì)粒度特征。同時(shí)本發(fā)明構(gòu)建了一個(gè)基于transformer的知識(shí)交互模塊，能夠?qū)崿F(xiàn)圖像局部區(qū)域和潛在屬性之間的信息融合，從而增強(qiáng)模型處理復(fù)雜和詳細(xì)信息的能力，有效地提升了模型的泛化性。

14、輔助記憶模塊

15、由于小樣本類增量學(xué)習(xí)中的數(shù)據(jù)限制和隱私約束，訓(xùn)練時(shí)只能使用當(dāng)前任務(wù)的數(shù)據(jù)，這可能導(dǎo)致嚴(yán)重的災(zāi)難性遺忘。傳統(tǒng)的回放方法通過保留舊任務(wù)的數(shù)據(jù)來訓(xùn)練新模型，從而緩解災(zāi)難性遺忘的問題。然而，這些方法需要大量的內(nèi)存空間。此外，舊類與新類數(shù)據(jù)的不平衡會(huì)導(dǎo)致模型的識(shí)別能力有偏。本發(fā)明提出了輔助記憶模塊用于學(xué)習(xí)隱屬性，這不僅可以保留舊類別的知識(shí)，還能夠推廣到新的類別。

16、對(duì)于每個(gè)圖像x,x∈rh×w×c(其中h,w,c分別表示圖像的高度、寬度和通道數(shù))，我們通過預(yù)訓(xùn)練的分類模型φθ(x)提取其特征圖：

17、f＝φθ(x),f∈rh'×w'×c'

18、其中θ是分類模型的可學(xué)習(xí)參數(shù)。然后，我們將特征圖進(jìn)行重塑，得到最終的圖像特征token?t，其中t∈rl×c',l＝h'×w'，l表示圖像token的數(shù)量。本發(fā)明提出的輔助記憶模塊中的隱屬性記為pla,pla∈rn×c'，其中n表示隱屬性設(shè)置的數(shù)量。pla在網(wǎng)絡(luò)中的參數(shù)是隨機(jī)初始化的，并由梯度下降自動(dòng)更新。本發(fā)明旨在使網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)隱屬性，這些屬性不僅能保留舊類別的信息，還能推廣到新類別，并用它們來增強(qiáng)圖像特征的泛化性。

19、基于transformer的知識(shí)交互模塊

20、傳統(tǒng)的小樣本類增量學(xué)習(xí)方法通常側(cè)重于學(xué)習(xí)全局特征來訓(xùn)練分類模型，這可能會(huì)受到噪聲背景信息的影響，導(dǎo)致模型無法捕捉到較細(xì)粒度的區(qū)分性特征，從而導(dǎo)致分類錯(cuò)誤。因此，關(guān)注區(qū)分性的局部特征對(duì)于提高識(shí)別模型的魯棒性至關(guān)重要。本發(fā)明提出了基于transformer的知識(shí)交互模塊，用于融合隱屬性和視覺特征的信息，重點(diǎn)關(guān)注區(qū)分性的語義區(qū)域，以增強(qiáng)視覺的特征表示。

21、偽增量學(xué)習(xí)中采樣的支持集圖像和查詢集圖像均會(huì)送入圖像分類模型中獲取對(duì)應(yīng)的特征token，假設(shè)支持圖像的token記為ts，查詢圖像的token記為tq，隱屬性記為pla。知識(shí)交互模塊可以表示為：

22、

23、q＝wq×concat[t,pla]

24、k＝wk×concat[t,pla]

25、v＝wv×concat[t,pla]

26、其中，t表示支持token?ts或查詢token?tq。視覺token是由圖像分類模型輸出的特征圖，這消除了傳統(tǒng)自注意力機(jī)制所需的額外token化步驟。本發(fā)明簡(jiǎn)化了處理流程，并充分利用了圖像分類模型的特征提取能力。由于隱屬性與各個(gè)局部區(qū)域的交互，可以有效地定位關(guān)鍵的區(qū)分性區(qū)域，從而增強(qiáng)特征表示。

27、網(wǎng)絡(luò)訓(xùn)練階段

28、在訓(xùn)練階段，本發(fā)明通過偽增量學(xué)習(xí)將訓(xùn)練集劃分為支持集和查詢集，其中支持集記為s，查詢集記為q。在訓(xùn)練過程中，隱屬性首先與支持集的視覺特征進(jìn)行交互，然后與查詢集的視覺特征進(jìn)行交互。隱屬性可以同時(shí)學(xué)習(xí)支持集圖像和查詢集圖像中的有效區(qū)域，從而增強(qiáng)模型的泛化能力。經(jīng)過知識(shí)交互模塊后，我們得到增強(qiáng)的支持集視覺特征和隱屬性：

29、

30、其中kim表示基于transformer的知識(shí)交互模塊，表示來自支持集s的c類第i張圖像的增強(qiáng)視覺特征token，表示增強(qiáng)的隱屬性。

31、查詢集的增強(qiáng)視覺特征和隱屬性為：

32、

33、其中表示來自支持集q的c類第i張圖像的增強(qiáng)視覺特征token，表示增強(qiáng)的隱屬性。

34、每個(gè)類別的視覺token的類別原型如下：

35、

36、其中nc表示類別c中的圖像數(shù)量。

37、為了獲得具有區(qū)分性的局部特征，本發(fā)明對(duì)查詢特征圖中的每個(gè)位置進(jìn)行了分類約束，通過測(cè)量第m個(gè)查詢圖像token與第c個(gè)類別原型之間的余弦相似度來進(jìn)行分類，獲得分類得分：

38、

39、其中是增強(qiáng)的查詢集圖像特征。σ表示sigmoid函數(shù)。gap表示全局平均池化，cosine表示的是余弦距離。訓(xùn)練過程中的交叉熵?fù)p失可表示為：

40、

41、其中yc代表第c類的標(biāo)簽。

42、網(wǎng)絡(luò)推理階段

43、在訓(xùn)練階段結(jié)束后，本發(fā)明固定了網(wǎng)絡(luò)的參數(shù)以防止過擬合。對(duì)于后續(xù)的新任務(wù)，我們利用存儲(chǔ)在輔助記憶模塊中的隱屬性分別增強(qiáng)支持圖像和查詢圖像的特征表示。然后通過增強(qiáng)后的支持圖像特征計(jì)算類別原型p*。第t個(gè)查詢圖像的預(yù)測(cè)可以表示為：

44、

45、其中，是第t個(gè)查詢圖像的增強(qiáng)特征表示，pi*是第i類的增強(qiáng)視覺原型。

46、相比與先前的小樣本類增量學(xué)習(xí)方法主要關(guān)注全局特征、忽略了局部區(qū)分性信息，本發(fā)明能夠有效地捕捉局部特征，這些局部特征對(duì)于區(qū)分屬于不同類別的外觀相似的動(dòng)物至關(guān)重要，且更具有泛化性。

47、本發(fā)明提出了隱屬性增強(qiáng)網(wǎng)絡(luò)，通過隱屬性去捕捉樣本中具有泛化性和區(qū)分性的信息，來提高對(duì)新任務(wù)的適應(yīng)能力。

48、綜合考慮類級(jí)別和實(shí)例級(jí)別信息的抓?。罕景l(fā)明通過偽增量學(xué)習(xí)對(duì)訓(xùn)練圖像進(jìn)行多次采樣，從實(shí)例級(jí)別對(duì)圖像關(guān)鍵信息進(jìn)行抓取。在推理時(shí)凍結(jié)模型參數(shù)，采用類別原型進(jìn)行分類。這使得模型能夠更好地保留舊任務(wù)的知識(shí)，凍結(jié)模型參數(shù)有效地緩解了過擬合問題。

49、特征的魯棒性更強(qiáng)：傳統(tǒng)方法只對(duì)考慮到全局特征在空間中的分布，在凍結(jié)網(wǎng)絡(luò)參數(shù)后通常會(huì)出現(xiàn)新舊類分布混淆問題。本發(fā)明提出的從局部特征來對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，有效地避免了傳統(tǒng)方法中的混淆問題。

50、提高分類準(zhǔn)確率：由于本發(fā)明能夠很好地捕捉到不同圖像中具有泛化性的信息，在新任務(wù)的泛化能力上表現(xiàn)優(yōu)異。圖像分類模型不再過度偏向新任務(wù)，從而顯著減少了對(duì)先前類別的誤分類，同時(shí)提升了新舊類別的分類精度，最終實(shí)現(xiàn)了小樣本類增量學(xué)習(xí)性能的提升。