本發(fā)明涉及異常檢測(cè)，具體為一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法。

背景技術(shù)：

1、異常檢測(cè)是計(jì)算機(jī)視覺(jué)中的一項(xiàng)重要任務(wù)，在產(chǎn)品質(zhì)量檢測(cè)、醫(yī)療疾病檢測(cè)、視頻監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用。目前，在產(chǎn)品質(zhì)量檢測(cè)中，由于生產(chǎn)過(guò)程的完備性和良品率高，短期內(nèi)產(chǎn)生大量異常樣本是一項(xiàng)挑戰(zhàn)。同時(shí)，對(duì)樣品的標(biāo)注成本高，標(biāo)注不完整或標(biāo)注過(guò)度，不同個(gè)體標(biāo)注的差異都可能影響檢測(cè)性能。因此，利用正常樣本進(jìn)行異常檢測(cè)是至關(guān)重要的。基于無(wú)監(jiān)督學(xué)習(xí)的工業(yè)圖像異常檢測(cè)處理方法可分為基于重建的和基于特征嵌入的兩類。

2、gan和vae是最流行的基于重建的異常檢測(cè)方法，目前已經(jīng)提出了多種基于gan和基于vae的異常檢測(cè)方法，它們可以通過(guò)比較正常圖像與重建圖像之間的差異來(lái)檢測(cè)像素級(jí)的異常區(qū)域。在推理過(guò)程中，正常樣本仍然可以有效地重建，但由于分布差異，異常樣本的重建效果較差。因此，可以通過(guò)像素級(jí)比較獲得異常分?jǐn)?shù)，從而確定樣本是否異常。然而，如果正常圖像不能很好地通過(guò)網(wǎng)絡(luò)重建，則很難檢測(cè)到異常區(qū)域。近年來(lái)，考慮到基于特征嵌入的方法由于其在捕獲高維視覺(jué)特征并將其轉(zhuǎn)換為緊湊、有意義的表示方面的有效性而獲得了顯著的關(guān)注。這些嵌入通過(guò)利用視覺(jué)數(shù)據(jù)中的底層結(jié)構(gòu)和模式，促進(jìn)了圖像數(shù)據(jù)集中異常值的發(fā)現(xiàn)。它與重建方法的主要區(qū)別在于，它不是在rgb圖像空間中，而是在高維特征空間中執(zhí)行異常檢測(cè)。這些方法在無(wú)監(jiān)督的異常檢測(cè)中都取得了顯著的效果，但仍無(wú)法精確分割異常區(qū)域。

3、為了解決上述問(wèn)題，并受destseg的啟發(fā)，提出了一種改進(jìn)方法，稱為一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法(kdseg)，該方法能夠?qū)崿F(xiàn)對(duì)異常區(qū)域的精確分割與檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述現(xiàn)有技術(shù)無(wú)法精確分割異常區(qū)域的不足，本發(fā)明提供的一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法(kdseg)，在分割過(guò)程中，該方法充分利用了教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)在特征提取上的差異，實(shí)現(xiàn)了對(duì)異常的精確檢測(cè)。

2、本發(fā)明提供如下技術(shù)方案：一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，包括預(yù)訓(xùn)練的教師網(wǎng)絡(luò)、降噪的學(xué)生網(wǎng)絡(luò)和分割網(wǎng)絡(luò)；其中：a、預(yù)訓(xùn)練的教師網(wǎng)絡(luò)：教師網(wǎng)絡(luò)是用imagenet預(yù)訓(xùn)練的resnet18，并刪除最后一個(gè)塊，教師網(wǎng)絡(luò)的輸出特征圖是三個(gè)塊，分別標(biāo)記為tf1、tf2和tf3，并且具有不同的分辨率；

3、b、降噪的學(xué)生網(wǎng)絡(luò)：降噪的學(xué)生網(wǎng)絡(luò)的核心原理在于它不僅能夠有效地對(duì)輸入數(shù)據(jù)進(jìn)行降噪，而且可以利用跨多個(gè)尺度的不同特征信息，能夠?qū)W習(xí)和整合來(lái)自不同尺度的廣泛特征，確保了對(duì)數(shù)據(jù)中的局部細(xì)節(jié)和全局背景的全面理解；

4、降噪的學(xué)生網(wǎng)絡(luò)具有獨(dú)立的編碼器-解碼器架構(gòu)，編碼器是隨機(jī)初始化的resnet18，所有塊分別表示為和解碼器是一個(gè)反向的resnet18，具有四個(gè)剩余塊，分別表示為和它用雙線性上采樣取代所有下采樣，并且采用把編碼器的最后一層特征作為解碼器的唯一輸入及利用編碼器在所有尺度上的特征來(lái)增加解碼器在各個(gè)層次上的信息豐富度的方式增強(qiáng)解碼器過(guò)程；

5、c、分割網(wǎng)絡(luò)：分割網(wǎng)絡(luò)包括兩個(gè)殘差塊和一個(gè)無(wú)上采樣或無(wú)下采樣的空間金字塔池模塊，分割網(wǎng)絡(luò)自適應(yīng)地融合s-t網(wǎng)絡(luò)特征以檢測(cè)異常區(qū)域；

6、所述基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法包括以下步驟：

7、步驟一、利用預(yù)訓(xùn)練的教師網(wǎng)絡(luò)從原始圖像中提取出特征圖像數(shù)據(jù)，并把提取的特征圖像數(shù)據(jù)作為學(xué)生網(wǎng)絡(luò)的輸入數(shù)據(jù)；

8、步驟二、利用學(xué)生網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行去噪處理，并學(xué)習(xí)和整合來(lái)自不同尺度的廣泛特征；

9、步驟三、將來(lái)自教師網(wǎng)絡(luò)和去噪學(xué)生網(wǎng)絡(luò)的融合特征輸入到分割網(wǎng)絡(luò)中，分割網(wǎng)絡(luò)利用學(xué)生-教師框架生成異常區(qū)域的判別特征，以實(shí)現(xiàn)精確的異常檢測(cè)。

10、優(yōu)選的，除了初始層之外，每個(gè)后續(xù)解碼器層通過(guò)結(jié)合兩個(gè)來(lái)源來(lái)接收其輸入：來(lái)自前解碼器層的上采樣特征和直接從編碼器提取的相應(yīng)比例特征，采用的公式如(1)～(4)所示：

11、

12、優(yōu)選的，在學(xué)生網(wǎng)絡(luò)的訓(xùn)練階段，教師網(wǎng)絡(luò)的權(quán)值是固定的，學(xué)生網(wǎng)絡(luò)的權(quán)值是可訓(xùn)練的，將配對(duì)的異常和正常圖像分別饋送到去噪的學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)中，促使學(xué)生網(wǎng)絡(luò)生成不同于教師的異常特征，損失是三個(gè)不同特征水平上的距離的和，從tfi和所采用的損失如式(5)～式(7)所示：

13、

14、優(yōu)選的，在分割網(wǎng)絡(luò)的訓(xùn)練階段，教師網(wǎng)絡(luò)和降噪學(xué)生網(wǎng)絡(luò)的權(quán)值都被凍結(jié)，將合成的異常圖像作為兩個(gè)s-t網(wǎng)絡(luò)的輸入，對(duì)應(yīng)的二進(jìn)制異常掩碼為地真值，利用焦點(diǎn)損失和l1損失對(duì)分割訓(xùn)練進(jìn)行優(yōu)化，在測(cè)試階段，將測(cè)試圖像同時(shí)饋送到教師和學(xué)生網(wǎng)絡(luò)中，并最終通過(guò)分割網(wǎng)絡(luò)預(yù)測(cè)異常分?jǐn)?shù)圖，利用eq.(8)～eq.(10)所示的焦點(diǎn)損失和l1損失對(duì)分割訓(xùn)練進(jìn)行優(yōu)化：

15、

16、lseg＝lfocal+ll1?(10)。

17、優(yōu)選的，在訓(xùn)練階段，使用柏林噪聲在正常圖像的基礎(chǔ)上生成模擬的異常圖像，以增強(qiáng)學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)能力；通過(guò)將正常圖像特征與教師網(wǎng)絡(luò)提取的特征進(jìn)行匹配，訓(xùn)練學(xué)生網(wǎng)絡(luò)重建正常圖像特征，同時(shí)，學(xué)生網(wǎng)絡(luò)從教師網(wǎng)絡(luò)提取的正常圖像特征中學(xué)習(xí)。

18、優(yōu)選的，該方法將學(xué)生-教師網(wǎng)絡(luò)和分割網(wǎng)絡(luò)集成到一個(gè)模型中，并且只能從正常圖像中進(jìn)行訓(xùn)練。

19、優(yōu)選的，在訓(xùn)練分割網(wǎng)絡(luò)時(shí)，充分考慮了教師網(wǎng)絡(luò)提取的特征與增強(qiáng)去噪學(xué)生網(wǎng)絡(luò)提取的特征之間的差異，將學(xué)生-教師網(wǎng)絡(luò)的融合特征輸入到分割網(wǎng)絡(luò)中進(jìn)行優(yōu)化，便于分割網(wǎng)絡(luò)特征的學(xué)習(xí)。

20、與現(xiàn)有技術(shù)對(duì)比，本發(fā)明具備以下有益效果：

21、1、該基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，將師生框架和分割網(wǎng)絡(luò)集成到一個(gè)模型中，且只能從正常圖像中進(jìn)行訓(xùn)練。該方法充分利用多尺度信息，提高了學(xué)生網(wǎng)絡(luò)重構(gòu)正常圖像的能力，增加了學(xué)生網(wǎng)絡(luò)向教師學(xué)習(xí)正常特征的能力。在分割過(guò)程中，該方法充分利用了教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)在特征提取方面的差異，實(shí)現(xiàn)了對(duì)異常的精確檢測(cè)。

22、2、該基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，所提出的模型在異常檢測(cè)和定位方面表現(xiàn)出很強(qiáng)的魯棒性和有效性，在多個(gè)類別中都取得了優(yōu)異的性能，在實(shí)際應(yīng)用中具有巨大潛力。

技術(shù)特征：

1.一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，其特征在于：包括預(yù)訓(xùn)練的教師網(wǎng)絡(luò)、降噪的學(xué)生網(wǎng)絡(luò)和分割網(wǎng)絡(luò)；其中：a、預(yù)訓(xùn)練的教師網(wǎng)絡(luò)：教師網(wǎng)絡(luò)是用imagenet預(yù)訓(xùn)練的resnet18，并刪除最后一個(gè)塊，教師網(wǎng)絡(luò)的輸出特征圖是三個(gè)塊，分別標(biāo)記為tf1、tf2和tf3，并且具有不同的分辨率；

2.根據(jù)權(quán)利要求1所述的一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，其特征在于：除了初始層之外，每個(gè)后續(xù)解碼器層通過(guò)結(jié)合兩個(gè)來(lái)源來(lái)接收其輸入：來(lái)自前解碼器層的上采樣特征和直接從編碼器提取的相應(yīng)比例特征，采用的公式如(1)～(4)所示：

3.根據(jù)權(quán)利要求1所述的一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，其特征在于：在學(xué)生網(wǎng)絡(luò)的訓(xùn)練階段，教師網(wǎng)絡(luò)的權(quán)值是固定的，學(xué)生網(wǎng)絡(luò)的權(quán)值是可訓(xùn)練的，將配對(duì)的異常和正常圖像分別饋送到去噪的學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)中，促使學(xué)生網(wǎng)絡(luò)生成不同于教師的異常特征，損失是三個(gè)不同特征水平上的距離的和，從tfi和所采用的損失如式(5)～式(7)所示：

4.根據(jù)權(quán)利要求1所述的一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，其特征在于：在分割網(wǎng)絡(luò)的訓(xùn)練階段，教師網(wǎng)絡(luò)和降噪學(xué)生網(wǎng)絡(luò)的權(quán)值都被凍結(jié)，將合成的異常圖像作為兩個(gè)s-t網(wǎng)絡(luò)的輸入，對(duì)應(yīng)的二進(jìn)制異常掩碼為地真值，利用焦點(diǎn)損失和l1損失對(duì)分割訓(xùn)練進(jìn)行優(yōu)化，在測(cè)試階段，將測(cè)試圖像同時(shí)饋送到教師和學(xué)生網(wǎng)絡(luò)中，并最終通過(guò)分割網(wǎng)絡(luò)預(yù)測(cè)異常分?jǐn)?shù)圖，利用eq.(8)～eq.(10)所示的焦點(diǎn)損失和l1損失對(duì)分割訓(xùn)練進(jìn)行優(yōu)化：

5.根據(jù)權(quán)利要求3所述的一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，其特征在于：在訓(xùn)練階段，使用柏林噪聲在正常圖像的基礎(chǔ)上生成模擬的異常圖像，以增強(qiáng)學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)能力；通過(guò)將正常圖像特征與教師網(wǎng)絡(luò)提取的特征進(jìn)行匹配，訓(xùn)練學(xué)生網(wǎng)絡(luò)重建正常圖像特征，同時(shí)，學(xué)生網(wǎng)絡(luò)從教師網(wǎng)絡(luò)提取的正常圖像特征中學(xué)習(xí)。

6.根據(jù)權(quán)利要求1所述的一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，其特征在于：該方法將學(xué)生-教師網(wǎng)絡(luò)和分割網(wǎng)絡(luò)集成到一個(gè)模型中，并且只能從正常圖像中進(jìn)行訓(xùn)練。

7.根據(jù)權(quán)利要求4所述的一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，其特征在于：在訓(xùn)練分割網(wǎng)絡(luò)時(shí)，充分考慮了教師網(wǎng)絡(luò)提取的特征與增強(qiáng)去噪學(xué)生網(wǎng)絡(luò)提取的特征之間的差異，將學(xué)生-教師網(wǎng)絡(luò)的融合特征輸入到分割網(wǎng)絡(luò)中進(jìn)行優(yōu)化，便于分割網(wǎng)絡(luò)特征的學(xué)習(xí)。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于分割引導(dǎo)的知識(shí)蒸餾異常檢測(cè)方法，涉及異常檢測(cè)技術(shù)領(lǐng)域，具體包括預(yù)訓(xùn)練的教師網(wǎng)絡(luò)、降噪的學(xué)生網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，利用預(yù)訓(xùn)練的教師網(wǎng)絡(luò)從原始圖像中提取出特征圖像數(shù)據(jù)，并把提取的特征圖像數(shù)據(jù)作為學(xué)生網(wǎng)絡(luò)的輸入數(shù)據(jù)；利用學(xué)生網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行去噪處理，并學(xué)習(xí)和整合來(lái)自不同尺度的廣泛特征；將來(lái)自教師網(wǎng)絡(luò)和去噪學(xué)生網(wǎng)絡(luò)的融合特征輸入到分割網(wǎng)絡(luò)中，分割網(wǎng)絡(luò)利用學(xué)生?教師框架生成異常區(qū)域的判別特征，以實(shí)現(xiàn)精確的異常檢測(cè)。本發(fā)明將師生框架和分割網(wǎng)絡(luò)集成到一個(gè)模型中，并且只能從正常圖像中進(jìn)行訓(xùn)練，采用多尺度特征融合策略，增強(qiáng)去噪學(xué)生網(wǎng)絡(luò)實(shí)現(xiàn)了更高水平的細(xì)節(jié)保留和噪聲抑制，實(shí)現(xiàn)了對(duì)異常的精確檢測(cè)。

技術(shù)研發(fā)人員：高濤,余振軍,李夢(mèng)琦,房樂(lè),王春香,段宏鋼,劉艷平,郭傳靜
受保護(hù)的技術(shù)使用者：山東迭慧智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23