本發(fā)明涉及利用圖像識(shí)別進(jìn)行異常檢測(cè)的，特別涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的異常獨(dú)立特征分量提取方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、圖像異常檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的核心任務(wù)之一，其目標(biāo)是從數(shù)據(jù)集中識(shí)別異?；螂x群點(diǎn)。異常檢測(cè)在許多領(lǐng)域都發(fā)揮著重要作用。目前，大部分研究集中在無(wú)監(jiān)督異常檢測(cè)上，主要方法可以分為兩類：特征嵌入和基于重構(gòu)的方法。

2、在特征嵌入方法中，基于記憶庫(kù)的方法在圖像異常檢測(cè)任務(wù)中最為有效。該方法需要額外的存儲(chǔ)空間來(lái)存儲(chǔ)圖像特征，只需采樣收集到的正常圖像特征進(jìn)行推理。在推理過(guò)程中，測(cè)試圖像的特征會(huì)與記憶庫(kù)中的特征進(jìn)行比較，通過(guò)計(jì)算測(cè)試圖像特征與記憶庫(kù)中特征之間的空間距離（例如歐幾里得距離或余弦相似度），來(lái)判斷測(cè)試圖像的異常程度。

3、基于重構(gòu)的方法主要是將正常圖像或異常圖像輸入重構(gòu)網(wǎng)絡(luò)，通過(guò)重構(gòu)損失函數(shù)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練。最終，重構(gòu)網(wǎng)絡(luò)能夠以類似于原始正常圖像的方式恢復(fù)圖像。在推理階段，模型會(huì)比較原始圖像與重構(gòu)圖像，以生成預(yù)測(cè)結(jié)果。

4、對(duì)于上述方法，基于記憶庫(kù)的特征嵌入方法依賴于一個(gè)包含正常圖像特征的記憶庫(kù)。該記憶庫(kù)是從訓(xùn)練數(shù)據(jù)中生成的，反映了訓(xùn)練集中的正常模式。如果測(cè)試圖像中出現(xiàn)了訓(xùn)練集中未見(jiàn)過(guò)的正常模式，這些模式可能無(wú)法在記憶庫(kù)中找到匹配特征，從而導(dǎo)致誤報(bào)?；谥貥?gòu)的方法通過(guò)訓(xùn)練網(wǎng)絡(luò)來(lái)重建輸入圖像。然而，重構(gòu)網(wǎng)絡(luò)的能力取決于訓(xùn)練數(shù)據(jù)的多樣性和代表性。如果訓(xùn)練數(shù)據(jù)不足以覆蓋所有正常模式，重構(gòu)網(wǎng)絡(luò)可能無(wú)法有效重建訓(xùn)練集中未見(jiàn)過(guò)的正常圖像，從而導(dǎo)致誤報(bào)。因此，這兩種方法在適應(yīng)性和靈活性方面都存在局限性。對(duì)于相同的前景異常特征，一旦其背景域發(fā)生改變，上述的方法模型的性能便會(huì)急劇下降。為了適應(yīng)新的背景域分布，這些模型需要重新進(jìn)行訓(xùn)練，這一過(guò)程不僅耗時(shí)耗力且增加了計(jì)算資源的消耗。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的之一是提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的異常獨(dú)立特征分量提取方法，能有效地解決上述現(xiàn)有的圖像異常檢測(cè)方法在適應(yīng)性與靈活性方面存在局限的技術(shù)問(wèn)題。

2、本發(fā)明的目的之一是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

3、該基于卷積神經(jīng)網(wǎng)絡(luò)的異常獨(dú)立特征分量提取方法，包括以下步驟：

4、步驟s1：采集并分類標(biāo)注圖像數(shù)據(jù)，根據(jù)任務(wù)需求將數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集兩個(gè)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集中都包含正常類圖像和異常類圖像，然后對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理；

5、步驟s2：利用基于卷積神經(jīng)網(wǎng)絡(luò)的特征分離網(wǎng)絡(luò)對(duì)圖像數(shù)據(jù)進(jìn)行前景異常特征和背景特征分離，該網(wǎng)絡(luò)包括特征提取和特征分離兩部分；

6、步驟s3：基于正常圖像中不存在異常缺陷，故對(duì)步驟s2中分離出的正常圖像的前景異常特征施加約束；約束的方法是通過(guò)最小化正常圖像前景異常特征絕對(duì)值的均值，使得正常圖像的前景異常特征趨近于零，使得前景特征圖趨近于全零特征圖；

7、步驟s4：采用域?qū)咕W(wǎng)絡(luò)用于抑制前景異常特征和背景特征之間的信息混淆，將步驟2分離出的前景異常特征和背景特征分別接入不同的域?qū)咕W(wǎng)絡(luò)，對(duì)于前景特征鼓勵(lì)保留前景缺陷相關(guān)的語(yǔ)義信息，將不相關(guān)的背景信息隔離到背景特征中，而對(duì)背景特征的處理策略與前景特征相反；

8、步驟s5：引入重建損失對(duì)特征提取和分離網(wǎng)絡(luò)做進(jìn)一步的約束，構(gòu)建重建網(wǎng)絡(luò)，將分離的前景異常特征和背景特征連接起來(lái)進(jìn)行重建，使用l1損失作為重建損失，通過(guò)最小化損失確保前景異常特征和背景特征信息的完整性和互補(bǔ)性；

9、步驟s6：為了增強(qiáng)前景異常特征和背景特征的表達(dá)能力，在步驟s5的重建網(wǎng)絡(luò)的基礎(chǔ)上引入鑒別器模擬生成式對(duì)抗網(wǎng)絡(luò)，使用異常圖像的前景異常特征加正常圖像的背景特征生成新的異常圖，使用異常圖像的背景特征加全零特征圖生成新的正常圖，將原圖與生成圖輸入鑒別器d鑒定真假，利用對(duì)抗損失增強(qiáng)前景異常特征和背景特征的表達(dá)能力。

10、進(jìn)一步，所述步驟s1中，分類標(biāo)注圖像數(shù)據(jù)是將異常類圖像賦予前景異常類別標(biāo)簽和背景域類別標(biāo)簽，正常類圖像僅賦予背景域類別標(biāo)簽，前景異常類別標(biāo)簽設(shè)為0；預(yù)處理是指統(tǒng)一格式化數(shù)據(jù)輸入形式為?[圖像,?背景標(biāo)簽,?前景異常標(biāo)簽]。

11、進(jìn)一步，所述步驟s2中，特征提取部分使用預(yù)訓(xùn)練的resnet50模型，并去掉最后兩層線性層作為骨干網(wǎng)絡(luò)進(jìn)行圖像特征提?。?/p>

12、特征分離部分由1x1?的卷積核的卷積層和gumbel?softmax函數(shù)構(gòu)成，1x1?的卷積核的卷積層用于改變通道數(shù)，增加特征表示的復(fù)雜性；gumbel?softmax函數(shù)用生成前景掩碼，背景掩碼通過(guò)1減去前景掩碼來(lái)獲得；

13、圖像進(jìn)入特征提取部分后得到原始特征，原始特征經(jīng)過(guò)特征分離部分的卷積層后得到包含更豐富的特征信息的分離特征；

14、最后，前景異常特征f通過(guò)將分離特征與前景掩碼相乘得到，背景特征b則通過(guò)將分離特征與背景掩碼相乘獲得。

15、進(jìn)一步，所述步驟s3中，圖像的前景特征圖是一個(gè)三維張量，尺寸為，那么正常圖像前景異常特征作如下表示：

16、；

17、其中，表示通道數(shù)，每一個(gè)通道是一個(gè)的矩陣，每個(gè)矩陣中的元素為，表示第個(gè)通道在位置（，）的前景特征值，對(duì)每個(gè)位置的前景特征值取絕對(duì)值并求和，可以得到，其表達(dá)式為：

18、；

19、對(duì)所有通道的前景特征值進(jìn)行求和再求平均值，可以得到整體圖像前景特征絕對(duì)值的均值，其表達(dá)式為：

20、；

21、在訓(xùn)練過(guò)程中，每批次的n個(gè)樣本中包含有m個(gè)正常圖像的樣本，則需要對(duì)m個(gè)正常圖像的樣本進(jìn)行均值計(jì)算，從而得到損失函數(shù)，其表達(dá)式為：

22、；

23、其中，表示第個(gè)正常圖像樣本在第個(gè)通道在位置（，）的前景特征值，在訓(xùn)練過(guò)程中，通過(guò)最小化絕對(duì)值均值的批次損失函數(shù)，特征分離網(wǎng)絡(luò)的參數(shù)會(huì)被調(diào)整，使得正常圖像的前景異常特征的絕對(duì)值均值逐漸減小，從而將正常圖像的前景異常特征值壓縮到趨近于零。

24、進(jìn)一步，所述步驟s4中，域?qū)鼓K設(shè)有前景異常分類器和背景域分類器兩種分類頭，通過(guò)特征輸入分別用于預(yù)測(cè)原圖的異常類別和背景域類別；

25、首先，將步驟s2分離出的前景異常特征輸入前景異常分類器，通過(guò)得到原圖所屬異常類別的概率分布，其表達(dá)式為：

26、；

27、其中，fi表示第個(gè)樣本的前景特征，，表示前景特征fi對(duì)應(yīng)異常類別的概率分布；

28、前景異常特征的前景異常類別分類損失采用交叉熵?fù)p失函數(shù)，用其來(lái)度量預(yù)測(cè)的異常類別概率分布與步驟s1中處理得到的原圖異常類別標(biāo)簽之間的差異，其表達(dá)式為：

29、；

30、再將該前景異常特征接入背景域分類器，同時(shí)在背景域分類器前面加入梯度反轉(zhuǎn)層grl，grl在前向傳播的過(guò)程中充當(dāng)恒等函數(shù)不改變輸入的值，表示為：=，但在反向傳播時(shí)會(huì)反轉(zhuǎn)梯度的符號(hào)，表示為：

31、；

32、其中是單位矩陣；

33、背景域分類器用于區(qū)分不同的背景域類別，將經(jīng)過(guò)的前景特征輸入得到原圖所屬背景域類別的概率分布，其表達(dá)式為：

34、；

35、其中，表示前景特征對(duì)應(yīng)背景域類別的概率分布；

36、前景異常特征的背景域類別分類損失也采用交叉熵?fù)p失函數(shù)，用其來(lái)度量預(yù)測(cè)的概率分布與步驟s1中得到的原圖的圖像的背景標(biāo)簽之間的差異，其表達(dá)式為：

37、；

38、通過(guò)最小化和使得前景異常特征不包含任何和背景域相關(guān)的信息。

39、進(jìn)一步，所述步驟s5中，重建網(wǎng)絡(luò)使用反卷積層，用于對(duì)輸入的特征圖進(jìn)行上采樣；每一個(gè)反卷積層后都會(huì)跟一個(gè)批歸一化層和一個(gè)relu激活函數(shù)，用于提高重建的穩(wěn)定性；輸入圖像通過(guò)步驟s2得到前景異常特征f和背景特征b，重建模塊將分離出的前景異常特征f和背景特征b重新組合起來(lái)，通過(guò)基于卷積神經(jīng)網(wǎng)絡(luò)cnn的重建網(wǎng)絡(luò)生成重建圖像，重建損失函數(shù)使用標(biāo)準(zhǔn)l1重建損失，圖像的重建損失表示為，其表達(dá)式為：

40、；

41、重建模塊通過(guò)最小化損失，使得重建網(wǎng)絡(luò)會(huì)強(qiáng)制前景異常特征和背景特征更好地重建出原始圖像，從而促使特征分離網(wǎng)絡(luò)在分離前景異常和背景時(shí)學(xué)到更細(xì)致、更準(zhǔn)確的特征。

42、進(jìn)一步，所述步驟s6中，鑒別器主體使用卷積層下采樣，每個(gè)卷積層后跟隨批量歸一化和relu激活函數(shù)，最后是全連接層輸出真假分類結(jié)果；

43、將正常圖像的背景特征bg加上異常圖像的前景異常特征fb通過(guò)重建網(wǎng)絡(luò)生成新的異常圖像，將和提供fb的異常圖像輸入鑒別器進(jìn)行區(qū)分；

44、將異常圖像的背景特征bb加上同維度的全零特征通過(guò)重建網(wǎng)絡(luò)生成新的正常圖像，將和與異常圖像背景類別相同的正常圖像輸入鑒別進(jìn)行區(qū)分；

45、鑒別器的目標(biāo)是最大化區(qū)分真實(shí)圖像和生成圖像的能力，使用交叉熵?fù)p失作為鑒別器損失ld，其表達(dá)式為：

46、；

47、其中表示鑒別器對(duì)真實(shí)圖像的輸出，表示鑒別器對(duì)生成的圖像的輸出。

48、進(jìn)一步，在訓(xùn)練過(guò)程中，對(duì)生成圖像提高保真度，使得最大化地趨近于真實(shí)圖像去欺騙鑒別器，以重建網(wǎng)絡(luò)作為的生成器使用l2損失作為對(duì)抗損失，減少鑒別器對(duì)真實(shí)圖像x和生成圖像之間的輸出差異，其表達(dá)式為：

49、；

50、訓(xùn)練過(guò)程中，重建網(wǎng)絡(luò)和鑒別器進(jìn)行對(duì)抗訓(xùn)練，重建網(wǎng)絡(luò)試圖生成最大化趨近于真實(shí)的圖像以欺騙鑒別器，而鑒別器則最大化提高區(qū)分真實(shí)圖像和生成圖像的能力，重建網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是最小化生成圖像被鑒別器識(shí)別為假的概率，即最小化，而鑒別器的訓(xùn)練目標(biāo)是最大化區(qū)分真實(shí)圖像和生成圖像的能力，即最大化ld。

51、本發(fā)明的目的之二是提供基于卷積神經(jīng)網(wǎng)絡(luò)的異常獨(dú)立特征分量提取裝置，包括存儲(chǔ)器、處理器及儲(chǔ)存在存儲(chǔ)器上并能夠在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如前所述的方法。

52、本發(fā)明的目的之三是提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上儲(chǔ)存有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前所述的方法。

53、本發(fā)明的有益效果是：

54、（1）通過(guò)引入重建網(wǎng)絡(luò)、生成式對(duì)抗網(wǎng)絡(luò)和域?qū)咕W(wǎng)絡(luò)的思想，對(duì)特征分離網(wǎng)絡(luò)施加重建損失、生成對(duì)抗損失和域?qū)箵p失進(jìn)行約束，確保特征分離后的前景異常特征和背景特征的獨(dú)立性和互斥性；

55、（2）前景異常特征和背景特征的獨(dú)立性使模型在不同背景域下均能保持穩(wěn)定性能，提高模型的泛化能力，減少了重新訓(xùn)練的需求，降低了計(jì)算資源和時(shí)間成本。

56、本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說(shuō)明書(shū)中進(jìn)行闡述，并且在某種程度上，基于對(duì)下文的考察研究對(duì)本領(lǐng)域技術(shù)人員而言將是顯而易見(jiàn)的，或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過(guò)下面的說(shuō)明書(shū)和前述的權(quán)利要求書(shū)來(lái)實(shí)現(xiàn)和獲得。