本發(fā)明涉及一種圖像數(shù)據(jù)的分類方法和相關(guān)產(chǎn)品。

背景技術(shù)：

1、領(lǐng)域泛化指機(jī)器學(xué)習(xí)模型在經(jīng)過特定領(lǐng)域數(shù)據(jù)訓(xùn)練后，能夠在不同領(lǐng)域中表現(xiàn)良好的能力。其目標(biāo)是使模型對(duì)于不同實(shí)際場(chǎng)景或領(lǐng)域中可能出現(xiàn)的輸入數(shù)據(jù)分布變化具有魯棒性。領(lǐng)域泛化在計(jì)算機(jī)視覺、自然語言處理、機(jī)器人技術(shù)和醫(yī)療保健等各個(gè)領(lǐng)域都具有重要意義，其中模型需要適應(yīng)多樣化和不斷演變的環(huán)境。

2、真實(shí)環(huán)境中的數(shù)據(jù)經(jīng)常由于光照條件的變化、背景設(shè)置的變化，以及傳感器類型的變化等原因，會(huì)導(dǎo)致領(lǐng)域偏移的情況出現(xiàn)。同時(shí)，用于訓(xùn)練模型的數(shù)據(jù)可能來自特定分布的領(lǐng)域，但在模型部署到新的領(lǐng)域時(shí)，可能會(huì)遇到未曾接觸過的數(shù)據(jù)分布，導(dǎo)致專門針對(duì)訓(xùn)練領(lǐng)域的模型無法很好的泛化到新領(lǐng)域。

3、中國(guó)發(fā)明專利申請(qǐng)cn114091597a提出基于自適應(yīng)組樣本擾動(dòng)約束的對(duì)抗訓(xùn)練方法、裝置及設(shè)備。該方法中，將訓(xùn)練圖像輸入給初始網(wǎng)絡(luò)模型，得到訓(xùn)練圖像對(duì)應(yīng)的網(wǎng)絡(luò)輸出向量和預(yù)測(cè)類別；若基于預(yù)測(cè)類別和訓(xùn)練圖像的實(shí)際類別確定訓(xùn)練圖像的分類結(jié)果為錯(cuò)誤，將訓(xùn)練圖像確定為自然樣本圖像；若基于預(yù)測(cè)類別和實(shí)際類別確定訓(xùn)練圖像的分類結(jié)果為正確，基于網(wǎng)絡(luò)輸出向量確定訓(xùn)練圖像對(duì)應(yīng)的目標(biāo)自適應(yīng)組；基于目標(biāo)自適應(yīng)組對(duì)應(yīng)的目標(biāo)樣本擾動(dòng)約束確定訓(xùn)練圖像對(duì)應(yīng)的目標(biāo)擾動(dòng)向量，基于目標(biāo)擾動(dòng)向量和訓(xùn)練圖像生成擾動(dòng)樣本圖像；基于自然樣本圖像和擾動(dòng)樣本圖像對(duì)初始網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)網(wǎng)絡(luò)模型。通過本申請(qǐng)的技術(shù)方案，顯著提高目標(biāo)網(wǎng)絡(luò)模型對(duì)于攻擊樣本的抗干擾能力。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種圖像數(shù)據(jù)的分類方法和相關(guān)產(chǎn)品，提升模型在視覺分類任務(wù)下的魯棒性，保證模型在面對(duì)未知的分布外數(shù)據(jù)與較大領(lǐng)域偏移時(shí)的性能穩(wěn)定性。

2、第一方面，提供一種圖像數(shù)據(jù)的分類方法，包括：

3、將所獲取的訓(xùn)練樣本輸入初始搭建的圖像分類模型，輸出對(duì)應(yīng)的樣本預(yù)測(cè)結(jié)果，以及在預(yù)先設(shè)定的語義保持機(jī)制下生成對(duì)應(yīng)的樣本中間層特征；所述圖像分類模型包括：主網(wǎng)絡(luò)及輔助網(wǎng)絡(luò)；所述主網(wǎng)絡(luò)和所述輔助網(wǎng)絡(luò)由帶有殘差連接的卷積網(wǎng)絡(luò)組成，且所述主網(wǎng)絡(luò)的所述卷積網(wǎng)絡(luò)中每一卷積塊均插入自適應(yīng)擾動(dòng)模塊；所述樣本中間層特征包括通過所述輔助網(wǎng)絡(luò)生成的原始樣本特征，以及通過所述主網(wǎng)絡(luò)生成的擾動(dòng)后樣本特征；

4、基于所述訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽，以及所述樣本預(yù)測(cè)結(jié)果，確定模型總損失；所述模型總損失用于對(duì)所述圖像分類模型進(jìn)行參數(shù)更新；

5、基于所述原始樣本特征、所述擾動(dòng)后樣本特征及所述訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽，確定所述自適應(yīng)擾動(dòng)模塊的擾動(dòng)損失；所述擾動(dòng)損失用于對(duì)所述自適應(yīng)擾動(dòng)模塊進(jìn)行參數(shù)更新；

6、采用所述自適應(yīng)擾動(dòng)模塊更新得到的最優(yōu)擾動(dòng)參數(shù)，生成目標(biāo)自適應(yīng)擾動(dòng)模塊；

7、采用所述目標(biāo)自適應(yīng)擾動(dòng)模塊，以及所述圖像分類模型更新得到的最優(yōu)網(wǎng)絡(luò)參數(shù)，生成目標(biāo)圖像分類模型；

8、當(dāng)接收?qǐng)D像分類指令時(shí)，獲取待分類圖像數(shù)據(jù)；

9、將所述待分類圖像數(shù)據(jù)輸入所述目標(biāo)圖像分類模型，得到分類預(yù)測(cè)結(jié)果。

10、第二方面，提供一種圖像數(shù)據(jù)的分類裝置，包括：

11、預(yù)測(cè)單元，用于將所獲取的訓(xùn)練樣本輸入初始搭建的圖像分類模型，輸出對(duì)應(yīng)的樣本預(yù)測(cè)結(jié)果，以及在預(yù)先設(shè)定的語義保持機(jī)制下生成對(duì)應(yīng)的樣本中間層特征；所述圖像分類模型包括：主網(wǎng)絡(luò)及輔助網(wǎng)絡(luò)；所述主網(wǎng)絡(luò)和所述輔助網(wǎng)絡(luò)由帶有殘差連接的卷積網(wǎng)絡(luò)組成，且所述主網(wǎng)絡(luò)的所述卷積網(wǎng)絡(luò)中每一卷積塊均插入自適應(yīng)擾動(dòng)模塊；所述樣本中間層特征包括通過所述輔助網(wǎng)絡(luò)生成的原始樣本特征，以及通過所述主網(wǎng)絡(luò)生成的擾動(dòng)后樣本特征；

12、模型損失確定單元，用于基于所述訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽，以及所述樣本預(yù)測(cè)結(jié)果，確定模型總損失；所述模型總損失用于對(duì)所述圖像分類模型進(jìn)行參數(shù)更新；

13、擾動(dòng)損失確定單元，用于基于所述原始樣本特征、所述擾動(dòng)后樣本特征及所述訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽，確定所述自適應(yīng)擾動(dòng)模塊的擾動(dòng)損失；所述擾動(dòng)損失用于對(duì)所述自適應(yīng)擾動(dòng)模塊進(jìn)行參數(shù)更新；

14、目標(biāo)模塊生成單元，用于采用所述自適應(yīng)擾動(dòng)模塊更新得到的最優(yōu)擾動(dòng)參數(shù)，生成目標(biāo)自適應(yīng)擾動(dòng)模塊；

15、目標(biāo)模型生成單元，用于采用所述目標(biāo)自適應(yīng)擾動(dòng)模塊，以及所述圖像分類模型更新得到的最優(yōu)網(wǎng)絡(luò)參數(shù)，生成目標(biāo)圖像分類模型；

16、待分類數(shù)據(jù)獲取單元，用于當(dāng)接收?qǐng)D像分類指令時(shí)，獲取待分類圖像數(shù)據(jù)；

17、預(yù)測(cè)單元，用于將所述待分類圖像數(shù)據(jù)輸入所述目標(biāo)圖像分類模型，得到分類預(yù)測(cè)結(jié)果。

18、第三方面，提供一種電子設(shè)備，包括處理器以及存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)可讀取指令，當(dāng)所述計(jì)算機(jī)可讀取指令由所述處理器執(zhí)行時(shí)，執(zhí)行前述方法中涉及模型訓(xùn)練的步驟或全部步驟。

19、第四方面，提供一種程序產(chǎn)品，其在處理器上運(yùn)行時(shí)執(zhí)行前述方法中涉及模型訓(xùn)練的步驟或全部步驟。

20、通過插入自適應(yīng)擾動(dòng)模塊，增強(qiáng)圖像分類模型對(duì)于數(shù)據(jù)的魯棒性，保證圖像分類模型在面對(duì)未知的分布外數(shù)據(jù)與較大領(lǐng)域偏移時(shí)的性能穩(wěn)定性。

技術(shù)特征：

1.一種圖像數(shù)據(jù)的分類方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)的分類方法，其特征在于，所述樣本預(yù)測(cè)結(jié)果包括：主網(wǎng)絡(luò)樣本預(yù)測(cè)結(jié)果及輔助網(wǎng)絡(luò)樣本預(yù)測(cè)結(jié)果；所述模型總損失由一致性損失及交叉熵?fù)p失確定；所述交叉熵?fù)p失包括：主網(wǎng)絡(luò)交叉熵?fù)p失及輔助網(wǎng)絡(luò)交叉熵?fù)p失；基于所述訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽，以及所述樣本預(yù)測(cè)結(jié)果，確定模型總損失，包括：

3.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)的分類方法，其特征在于，將所獲取的訓(xùn)練樣本輸入初始搭建的圖像分類模型，輸出對(duì)應(yīng)的樣本預(yù)測(cè)結(jié)果，以及在預(yù)先設(shè)定的語義保持機(jī)制下生成對(duì)應(yīng)的樣本中間層特征，包括：

4.根據(jù)權(quán)利要求2或3所述的圖像數(shù)據(jù)的分類方法，其特征在于，所述擾動(dòng)損失包括：風(fēng)格相似性損失與對(duì)抗性擾動(dòng)損失；基于所述原始樣本特征、所述擾動(dòng)后樣本特征及所述訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽，確定所述自適應(yīng)擾動(dòng)模塊的擾動(dòng)損失，包括：

5.根據(jù)權(quán)利要求4所述的圖像數(shù)據(jù)的分類方法，其特征在于，所述擾動(dòng)量確定表達(dá)式為：

6.一種圖像數(shù)據(jù)的分類裝置，其特征在于，包括：

7.一種電子設(shè)備，其特征在于，包括處理器以及存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)可讀取指令，當(dāng)所述計(jì)算機(jī)可讀取指令由所述處理器執(zhí)行時(shí)，執(zhí)行：

8.一種電子設(shè)備，其特征在于，包括處理器以及存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)可讀取指令，當(dāng)所述計(jì)算機(jī)可讀取指令由所述處理器執(zhí)行時(shí)，執(zhí)行：根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法。

9.一種程序產(chǎn)品，其特征在于，其被處理器運(yùn)行時(shí)執(zhí)行：

10.一種程序產(chǎn)品，其特征在于，其被處理器運(yùn)行時(shí)執(zhí)行：根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明公開了一種圖像數(shù)據(jù)的分類方法和相關(guān)產(chǎn)品。通過插入自適應(yīng)擾動(dòng)模塊，增強(qiáng)圖像分類模型對(duì)于數(shù)據(jù)的魯棒性，保證圖像分類模型在面對(duì)未知的分布外數(shù)據(jù)與較大領(lǐng)域偏移時(shí)的性能穩(wěn)定性。

技術(shù)研發(fā)人員：呂金虎,康國(guó)梁,王英凡,陳書凝
受保護(hù)的技術(shù)使用者：北京航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9