本發(fā)明涉及機(jī)器視覺,具體涉及一種缺陷檢測(cè)方法及裝置、模型遷移方法及裝置。
背景技術(shù):
1、在機(jī)器視覺領(lǐng)域,基于深度學(xué)習(xí)的檢測(cè)技術(shù)應(yīng)用廣泛。在采用深度學(xué)習(xí)技術(shù)進(jìn)行工業(yè)圖像的缺陷檢測(cè)時(shí),需要有針對(duì)性地對(duì)生產(chǎn)的各種產(chǎn)品收集足量的缺陷樣本并人工打上相應(yīng)標(biāo)注,用這些缺陷樣本訓(xùn)練模型以達(dá)到檢測(cè)的目的。但通常數(shù)據(jù)收集困難,標(biāo)注成本高(需要花費(fèi)大量人力),造成生產(chǎn)企業(yè)的數(shù)據(jù)成本居高不下。在真實(shí)的工業(yè)生產(chǎn)場(chǎng)景中,對(duì)于同一產(chǎn)品或者相似產(chǎn)品,由于成像設(shè)備、拍攝環(huán)境、光照條件或產(chǎn)品本身的微小變化等因素的差異,導(dǎo)致訓(xùn)練的模型無法實(shí)現(xiàn)遷移或者快速遷移,是生產(chǎn)制造企業(yè)在使用深度檢測(cè)技術(shù)的痛點(diǎn)問題,主要體現(xiàn)在以下兩個(gè)方面:
2、(1)同一產(chǎn)品:在實(shí)際的工業(yè)生產(chǎn)中,對(duì)于同一產(chǎn)品,可以由不同產(chǎn)線生產(chǎn),但由于光照、成像環(huán)境等因素的改變,導(dǎo)致不同產(chǎn)線上產(chǎn)品圖像的數(shù)據(jù)分布存在微小差異(即“域偏移”問題),數(shù)據(jù)無法實(shí)現(xiàn)通用化,形成“產(chǎn)線-數(shù)據(jù)-模型”的嚴(yán)格對(duì)應(yīng)模式,例如:在a產(chǎn)線收集的數(shù)據(jù)以及所訓(xùn)練的模型,無法遷移到b產(chǎn)線或者其他產(chǎn)線,特別是對(duì)于企業(yè)在擴(kuò)產(chǎn)時(shí),先期投產(chǎn)所獲得的數(shù)據(jù)和先進(jìn)模型,無法遷移或者快速遷移到新產(chǎn)線上,導(dǎo)致資源浪費(fèi)以及生產(chǎn)成本的增加;
3、(2)相似產(chǎn)品:主要體現(xiàn)在,即使生產(chǎn)的產(chǎn)品有細(xì)微不同也無法進(jìn)行數(shù)據(jù)和模型的遷移或者快速遷移,例如產(chǎn)品的表面顏色有些許差異,其余相同,但不同顏色產(chǎn)品的圖像數(shù)據(jù)之間也存在“域偏移”問題,數(shù)據(jù)和模型無法實(shí)現(xiàn)良好的遷移性能。在實(shí)際生產(chǎn)中,一般會(huì)有多款相似產(chǎn)品生產(chǎn)上市以滿足消費(fèi)者的需求,但目前在相似產(chǎn)品的生產(chǎn)過程中,數(shù)據(jù)之間無法實(shí)現(xiàn)對(duì)齊,導(dǎo)致數(shù)據(jù)無法得到充分利用,模型遷移性能差。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明主要解決的技術(shù)問題是機(jī)器視覺模型遷移能力差,無法適應(yīng)不同的圖像數(shù)據(jù)。
2、根據(jù)第一方面,一種實(shí)施例中提供一種缺陷檢測(cè)方法,包括:
3、獲取目標(biāo)域的待檢測(cè)圖像;
4、將所述待檢測(cè)圖像輸入預(yù)訓(xùn)練的缺陷檢測(cè)模型進(jìn)行缺陷檢測(cè),以獲得所述待檢測(cè)圖像的缺陷檢測(cè)結(jié)果;
5、其中,所述缺陷檢測(cè)模型通過以下方式訓(xùn)練得到:
6、獲取源域圖像和相應(yīng)的缺陷標(biāo)注,并獲取經(jīng)所述源域圖像和相應(yīng)的缺陷標(biāo)注訓(xùn)練得到的基線模型;
7、獲取目標(biāo)域圖像,其中,源域和目標(biāo)域?yàn)椴煌某上駡?chǎng)景,所述不同的成像場(chǎng)景指不同的被測(cè)物體和/或不同的成像條件;所述目標(biāo)域圖像中的部分或全部具有相應(yīng)的缺陷標(biāo)注,或者均不具有相應(yīng)的缺陷標(biāo)注,若所述目標(biāo)域圖像中的部分或全部具有相應(yīng)的缺陷標(biāo)注,則獲取具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像的缺陷標(biāo)注;
8、將所述源域圖像的缺陷標(biāo)注輸入可學(xué)習(xí)的去噪器得到去噪標(biāo)注;
9、若存在不具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像,則將其輸入初始基線模型得到第二目標(biāo)域預(yù)測(cè)結(jié)果,并對(duì)所述不具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像進(jìn)行數(shù)據(jù)擴(kuò)充操作得到第二目標(biāo)域擴(kuò)充圖像,將所述第二目標(biāo)域預(yù)測(cè)結(jié)果作為所述第二目標(biāo)域擴(kuò)充圖像相應(yīng)的偽標(biāo)注;
10、利用所述源域圖像和相應(yīng)的去噪標(biāo)注,以及具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像和相應(yīng)的缺陷標(biāo)注和/或所述第二目標(biāo)域擴(kuò)充圖像和相應(yīng)的偽標(biāo)注,對(duì)所述基線模型和所述去噪器進(jìn)行訓(xùn)練;所述缺陷檢測(cè)模型為訓(xùn)練結(jié)束時(shí)獲得的基線模型;所述初始基線模型為訓(xùn)練前獲取的參數(shù)未更新的基線模型。
11、一些實(shí)施例中,所述利用所述源域圖像和相應(yīng)的去噪標(biāo)注,以及具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像和相應(yīng)的缺陷標(biāo)注和/或所述第二目標(biāo)域擴(kuò)充圖像和相應(yīng)的偽標(biāo)注,對(duì)所述基線模型和所述去噪器進(jìn)行訓(xùn)練,包括:
12、將所述源域圖像輸入所述基線模型得到源域預(yù)測(cè)結(jié)果;
13、若存在具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像,則將其輸入所述基線模型得到第一目標(biāo)域預(yù)測(cè)結(jié)果;
14、若存在不具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像,則將對(duì)所述不具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像進(jìn)行數(shù)據(jù)擴(kuò)充操作得到的所述第二目標(biāo)域擴(kuò)充圖像輸入所述基線模型得到第二目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果;
15、根據(jù)總損失函數(shù)loss對(duì)所述基線模型和所述去噪器進(jìn)行訓(xùn)練;
16、其中,所述總損失函數(shù)loss由第一損失函數(shù)l1,以及第二損失函數(shù)l2和/或第三損失函數(shù)l3確定,所述第一損失函數(shù)l1根據(jù)所述源域預(yù)測(cè)結(jié)果和相應(yīng)的去噪標(biāo)注之間的差異確定,所述第二損失函數(shù)l2至少根據(jù)所述第一目標(biāo)域預(yù)測(cè)結(jié)果和相應(yīng)的缺陷標(biāo)注之間的差異確定,所述第三損失函數(shù)l3根據(jù)所述第二目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果和相應(yīng)的偽標(biāo)注之間的差異確定。
17、一些實(shí)施例中,所述去噪器的表達(dá)式為:
18、ytc=(1-β)×onehot(y)+β×p,
19、其中,ytc是所述去噪標(biāo)注,y是所述源域圖像的缺陷標(biāo)注,onehot(y)表示對(duì)y執(zhí)行獨(dú)熱編碼操作,p是所述源域預(yù)測(cè)結(jié)果,β是可學(xué)習(xí)參數(shù)。
20、一些實(shí)施例中的缺陷檢測(cè)方法還包括:
21、若存在具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像,則還對(duì)所述具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像和相應(yīng)的缺陷標(biāo)注執(zhí)行相同的數(shù)據(jù)擴(kuò)充操作,得到第一目標(biāo)域擴(kuò)充圖像和相應(yīng)的第一擴(kuò)充標(biāo)注;將所述第一目標(biāo)域擴(kuò)充圖像輸入所述基線模型得到第一目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果;
22、所述第二損失函數(shù)l2還根據(jù)所述第一目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果和相應(yīng)的第一擴(kuò)充標(biāo)注之間的差異、所述第一目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果和對(duì)應(yīng)的所述第一目標(biāo)域預(yù)測(cè)結(jié)果之間的差異確定。
23、一些實(shí)施例中,所述第一目標(biāo)域預(yù)測(cè)結(jié)果包括第一預(yù)測(cè)多類別分?jǐn)?shù)圖p1,所述第一預(yù)測(cè)多類別分?jǐn)?shù)圖p1中的元素用于表示所述具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像中的對(duì)應(yīng)像素點(diǎn)屬于各個(gè)分類類別的概率;所述分類類別中的至少一個(gè)分類類別用于表示缺陷;
24、所述具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像的缺陷標(biāo)注包括目標(biāo)域類別標(biāo)注圖y1,所述目標(biāo)域類別標(biāo)注圖y1中的元素用于表示所述具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像中的對(duì)應(yīng)像素點(diǎn)的實(shí)際分類類別;
25、所述第一目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果包括第一擴(kuò)充預(yù)測(cè)多類別分?jǐn)?shù)圖p1a,所述第一擴(kuò)充預(yù)測(cè)多類別分?jǐn)?shù)圖p1a中的元素用于表示所述第一目標(biāo)域擴(kuò)充圖像中對(duì)應(yīng)像素點(diǎn)屬于各個(gè)分類類別的概率;
26、所述第一擴(kuò)充標(biāo)注包括所述目標(biāo)域類別標(biāo)注圖y1經(jīng)數(shù)據(jù)擴(kuò)充操作后得到的目標(biāo)域擴(kuò)充類別標(biāo)注圖y1a;
27、所述第一預(yù)測(cè)多類別分?jǐn)?shù)圖p1、所述目標(biāo)域類別標(biāo)注圖y1、所述第一擴(kuò)充預(yù)測(cè)多類別分?jǐn)?shù)圖p1a和所述目標(biāo)域擴(kuò)充類別標(biāo)注圖y1a的分辨率均與所述具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像的分辨率相同;
28、所述第二損失函數(shù)l2的表達(dá)式為:
29、l2=α1lr1+α2lr1a+α3lr11a,
30、其中,α1、α2和α3分別為預(yù)設(shè)的權(quán)重系數(shù),
31、
32、其中,argmax(p1)表示對(duì)所述第一預(yù)測(cè)多類別分?jǐn)?shù)圖p1中的元素取概率最大的分類類別得到的第一類別預(yù)測(cè)圖,argmax(p1)∩y1表示所述第一類別預(yù)測(cè)圖和相應(yīng)的目標(biāo)域類別標(biāo)注圖y1之間的交集元素的個(gè)數(shù),argmax(p1)∪y1表示所述第一類別預(yù)測(cè)圖和相應(yīng)的目標(biāo)域類別標(biāo)注圖y1之間的并集元素的個(gè)數(shù);
33、
34、其中,argmax(p1a)表示對(duì)所述第一擴(kuò)充預(yù)測(cè)多類別分?jǐn)?shù)圖p1a中的元素取概率最大的分類類別得到的第一擴(kuò)充類別預(yù)測(cè)圖,argmax(p1a)∩y1a表示所述第一擴(kuò)充類別預(yù)測(cè)圖和相應(yīng)的目標(biāo)域擴(kuò)充類別標(biāo)注圖y1a之間的交集元素的個(gè)數(shù),argmax(p1a)∪y1a表示所述第一擴(kuò)充類別預(yù)測(cè)圖和相應(yīng)的目標(biāo)域擴(kuò)充類別標(biāo)注圖y1a之間的并集元素的個(gè)數(shù);
35、
36、其中,m為元素的總數(shù),i為元素的序號(hào),(p1)表示p1的一維打平向量,(p1)i為(p1)的第i個(gè)元素,(p1a)表示p1a的一維打平向量,(p1a)i為p1a的第i個(gè)元素,其中一維打平向量指將圖中的各元素各通道的數(shù)值按順序排列形成的向量。
37、一些實(shí)施例中,所述源域預(yù)測(cè)結(jié)果包括所述源域圖像屬于各個(gè)分類類別的概率;所述分類類別中的至少一個(gè)分類類別用于表示缺陷;
38、所述源域圖像的缺陷標(biāo)注包括所述源域圖像屬于各個(gè)分類類別的實(shí)際概率,所述去噪標(biāo)注包括所述源域圖像的缺陷標(biāo)注經(jīng)所述去噪器處理后得到的對(duì)應(yīng)于各個(gè)分類類別的概率;
39、所述第一損失函數(shù)l1的表達(dá)式為:
40、
41、其中,n為分類類別的總數(shù),j為分類類別的序號(hào),pj表示所述源域預(yù)測(cè)結(jié)果包括的所述源域圖像屬于第j個(gè)分類類別的概率,(ytc)j表示所述去噪標(biāo)注中對(duì)應(yīng)于第j個(gè)分類類別的概率。
42、一些實(shí)施例中,所述第二目標(biāo)域預(yù)測(cè)結(jié)果包括第二預(yù)測(cè)多類別分?jǐn)?shù)圖p2,所述第二預(yù)測(cè)多類別分?jǐn)?shù)圖p2中的元素用于表示所述不具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像中的對(duì)應(yīng)像素點(diǎn)屬于各個(gè)分類類別的概率;所述分類類別中的至少一個(gè)分類類別用于表示缺陷;
43、所述第二目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果包括第二擴(kuò)充預(yù)測(cè)多類別分?jǐn)?shù)圖p2a,所述第二擴(kuò)充預(yù)測(cè)多類別分?jǐn)?shù)圖p2a中的元素用于表示所述第二目標(biāo)域擴(kuò)充圖像中對(duì)應(yīng)像素點(diǎn)屬于各個(gè)分類類別的概率;
44、所述第二預(yù)測(cè)多類別分?jǐn)?shù)圖p2和所述第二擴(kuò)充預(yù)測(cè)多類別分?jǐn)?shù)圖p2a的分辨率均與所述不具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像的分辨率相同;
45、所述第三損失函數(shù)l3的表達(dá)式為:
46、
47、其中,w為元素的總數(shù),k為元素的序號(hào),(p2)表示p2的一維打平向量,(p2)k為(p2)的第k個(gè)元素,(p2a)表示p2a的一維打平向量,(p2a)k為p2a的第k個(gè)元素,其中一維打平向量指將圖中的各元素各通道的數(shù)值按順序排列形成的向量。
48、一些實(shí)施例中,若所述目標(biāo)域圖像全部具有相應(yīng)的缺陷標(biāo)注,則所述總損失函數(shù)loss的表達(dá)式為:
49、loss=δ1l1+δ2l2,
50、若所述目標(biāo)域圖像均不具有相應(yīng)的缺陷標(biāo)注,則所述總損失函數(shù)loss的表達(dá)式為:
51、loss=δ1l1+δ3l3,
52、若所述目標(biāo)域圖像部分具有相應(yīng)的缺陷標(biāo)注,則所述總損失函數(shù)loss的表達(dá)式為:
53、loss=δ1l1+δ2l2+δ3l3,
54、其中δ1、δ2和δ3分別為預(yù)設(shè)的權(quán)重系數(shù)。
55、一些實(shí)施例中,所述成像條件包括成像設(shè)備、拍攝參數(shù)、光照和/或拍攝環(huán)境。
56、根據(jù)第二方面,一種實(shí)施例中提供一種模型遷移方法,其特征在于,用于將從源域獲得的基線模型遷移至目標(biāo)域得到遷移模型,所述模型遷移方法包括:
57、獲取源域圖像和相應(yīng)的標(biāo)注,并獲取經(jīng)所述源域圖像和相應(yīng)的標(biāo)注訓(xùn)練得到的所述基線模型;
58、獲取目標(biāo)域圖像,所述目標(biāo)域圖像中的部分或全部具有相應(yīng)的標(biāo)注,或者均不具有相應(yīng)的標(biāo)注,若所述目標(biāo)域圖像中的部分或全部具有相應(yīng)的標(biāo)注,則獲取具有相應(yīng)的標(biāo)注的目標(biāo)域圖像的標(biāo)注;
59、將所述源域圖像的標(biāo)注輸入可學(xué)習(xí)的去噪器得到去噪標(biāo)注;
60、若存在不具有相應(yīng)的標(biāo)注的目標(biāo)域圖像,則將其輸入初始基線模型得到第二目標(biāo)域預(yù)測(cè)結(jié)果,并對(duì)所述不具有相應(yīng)的標(biāo)注的目標(biāo)域圖像進(jìn)行數(shù)據(jù)擴(kuò)充操作得到第二目標(biāo)域擴(kuò)充圖像,將所述第二目標(biāo)域預(yù)測(cè)結(jié)果作為所述第二目標(biāo)域擴(kuò)充圖像相應(yīng)的偽標(biāo)注;
61、利用所述源域圖像和相應(yīng)的去噪標(biāo)注,以及具有相應(yīng)的標(biāo)注的目標(biāo)域圖像和相應(yīng)的標(biāo)注和/或所述第二目標(biāo)域擴(kuò)充圖像和相應(yīng)的偽標(biāo)注,對(duì)所述基線模型和所述去噪器進(jìn)行訓(xùn)練;所述遷移模型為訓(xùn)練結(jié)束時(shí)獲得的基線模型;所述初始基線模型為訓(xùn)練前獲取的參數(shù)未更新的基線模型。
62、一些實(shí)施例中,所述利用所述源域圖像和相應(yīng)的去噪標(biāo)注,以及具有相應(yīng)的標(biāo)注的目標(biāo)域圖像和相應(yīng)的標(biāo)注和/或所述第二目標(biāo)域擴(kuò)充圖像和相應(yīng)的偽標(biāo)注,對(duì)所述基線模型和所述去噪器進(jìn)行訓(xùn)練,包括:
63、將所述源域圖像輸入所述基線模型得到源域預(yù)測(cè)結(jié)果;
64、若存在具有相應(yīng)的標(biāo)注的目標(biāo)域圖像,則將其輸入所述基線模型得到第一目標(biāo)域預(yù)測(cè)結(jié)果;
65、若存在不具有相應(yīng)的標(biāo)注的目標(biāo)域圖像,則將對(duì)所述不具有相應(yīng)的標(biāo)注的目標(biāo)域圖像進(jìn)行數(shù)據(jù)擴(kuò)充操作得到的所述第二目標(biāo)域擴(kuò)充圖像輸入所述基線模型得到第二目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果;
66、根據(jù)總損失函數(shù)loss對(duì)所述基線模型和所述去噪器進(jìn)行訓(xùn)練;
67、其中,所述總損失函數(shù)loss由第一損失函數(shù)l1,以及第二損失函數(shù)l2和/或第三損失函數(shù)l3確定,所述第一損失函數(shù)l1根據(jù)所述源域預(yù)測(cè)結(jié)果和相應(yīng)的去噪標(biāo)注之間的差異確定,所述第二損失函數(shù)l2至少根據(jù)所述第一目標(biāo)域預(yù)測(cè)結(jié)果和相應(yīng)的標(biāo)注之間的差異確定,所述第三損失函數(shù)l3根據(jù)所述第二目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果和相應(yīng)的偽標(biāo)注之間的差異確定。
68、一些實(shí)施例中的模型遷移方法,還包括:
69、若存在具有相應(yīng)的標(biāo)注的目標(biāo)域圖像,則還對(duì)所述具有相應(yīng)的標(biāo)注的目標(biāo)域圖像和相應(yīng)的標(biāo)注執(zhí)行相同的數(shù)據(jù)擴(kuò)充操作,得到第一目標(biāo)域擴(kuò)充圖像和相應(yīng)的第一擴(kuò)充標(biāo)注;將所述第一目標(biāo)域擴(kuò)充圖像輸入所述基線模型得到第一目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果;
70、所述第二損失函數(shù)l2還根據(jù)所述第一目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果和相應(yīng)的第一擴(kuò)充標(biāo)注之間的差異、所述第一目標(biāo)域擴(kuò)充預(yù)測(cè)結(jié)果和對(duì)應(yīng)的所述第一目標(biāo)域預(yù)測(cè)結(jié)果之間的差異確定。
71、根據(jù)第三方面,一種實(shí)施例中提供一種缺陷檢測(cè)裝置,包括:
72、待檢測(cè)圖像獲取模塊,用于獲取目標(biāo)域的待檢測(cè)圖像;
73、檢測(cè)模塊,與所述待檢測(cè)圖像獲取模塊連接,用于將所述待檢測(cè)圖像輸入預(yù)訓(xùn)練的缺陷檢測(cè)模型進(jìn)行缺陷檢測(cè),以獲得所述待檢測(cè)圖像的缺陷檢測(cè)結(jié)果;
74、模型訓(xùn)練模塊,與所述檢測(cè)模塊連接,用于訓(xùn)練得到所述缺陷檢測(cè)模型,包括:
75、源域數(shù)據(jù)獲取單元,用于獲取源域圖像和相應(yīng)的缺陷標(biāo)注,并獲取經(jīng)所述源域圖像和相應(yīng)的缺陷標(biāo)注訓(xùn)練得到的基線模型;
76、目標(biāo)域數(shù)據(jù)獲取單元,用于獲取目標(biāo)域圖像,其中,源域和目標(biāo)域?yàn)椴煌某上駡?chǎng)景,所述不同的成像場(chǎng)景指不同的被測(cè)物體和/或不同的成像條件;所述目標(biāo)域圖像中的部分或全部具有相應(yīng)的缺陷標(biāo)注,或者均不具有相應(yīng)的缺陷標(biāo)注,若所述目標(biāo)域圖像中的部分或全部具有相應(yīng)的缺陷標(biāo)注,則獲取具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像的缺陷標(biāo)注;
77、去噪單元,與所述源域數(shù)據(jù)獲取單元連接,用于將所述源域圖像的缺陷標(biāo)注輸入可學(xué)習(xí)的去噪器得到去噪標(biāo)注;
78、偽標(biāo)注生成單元,與所述目標(biāo)域數(shù)據(jù)獲取單元連接,用于若存在不具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像,則將其輸入初始基線模型得到第二目標(biāo)域預(yù)測(cè)結(jié)果,并對(duì)所述不具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像進(jìn)行數(shù)據(jù)擴(kuò)充操作得到第二目標(biāo)域擴(kuò)充圖像,將所述第二目標(biāo)域預(yù)測(cè)結(jié)果作為所述第二目標(biāo)域擴(kuò)充圖像相應(yīng)的偽標(biāo)注;
79、訓(xùn)練單元,與所述源域數(shù)據(jù)獲取單元、目標(biāo)域數(shù)據(jù)獲取單元、去噪單元和偽標(biāo)注生成單元連接,用于利用所述源域圖像和相應(yīng)的去噪標(biāo)注,以及具有相應(yīng)的缺陷標(biāo)注的目標(biāo)域圖像和相應(yīng)的缺陷標(biāo)注和/或所述第二目標(biāo)域擴(kuò)充圖像和相應(yīng)的偽標(biāo)注,對(duì)所述基線模型和所述去噪器進(jìn)行訓(xùn)練;
80、所述缺陷檢測(cè)模型為訓(xùn)練結(jié)束時(shí)獲得的基線模型;所述初始基線模型為訓(xùn)練前獲取的參數(shù)未更新的基線模型。
81、根據(jù)第四方面,一種實(shí)施例中提供一種模型遷移裝置,用于將從源域獲得的基線模型遷移至目標(biāo)域得到遷移模型,所述模型遷移裝置包括:
82、源域數(shù)據(jù)獲取單元,用于獲取源域圖像和相應(yīng)的標(biāo)注,并獲取經(jīng)所述源域圖像和相應(yīng)的標(biāo)注訓(xùn)練得到的所述基線模型;
83、目標(biāo)域數(shù)據(jù)獲取單元,用于獲取目標(biāo)域圖像,所述目標(biāo)域圖像中的部分或全部具有相應(yīng)的標(biāo)注,或者均不具有相應(yīng)的標(biāo)注,若所述目標(biāo)域圖像中的部分或全部具有相應(yīng)的標(biāo)注,則獲取具有相應(yīng)的標(biāo)注的目標(biāo)域圖像的標(biāo)注;
84、去噪單元,與所述源域數(shù)據(jù)獲取單元連接,用于將所述源域圖像的標(biāo)注輸入可學(xué)習(xí)的去噪器得到去噪標(biāo)注;
85、偽標(biāo)注生成單元,與所述目標(biāo)域數(shù)據(jù)獲取單元連接,用于若存在不具有相應(yīng)的標(biāo)注的目標(biāo)域圖像,則將其輸入初始基線模型得到第二目標(biāo)域預(yù)測(cè)結(jié)果,并對(duì)所述不具有相應(yīng)的標(biāo)注的目標(biāo)域圖像進(jìn)行數(shù)據(jù)擴(kuò)充操作得到第二目標(biāo)域擴(kuò)充圖像,將所述第二目標(biāo)域預(yù)測(cè)結(jié)果作為所述第二目標(biāo)域擴(kuò)充圖像相應(yīng)的偽標(biāo)注;
86、訓(xùn)練單元,與所述源域數(shù)據(jù)獲取單元、目標(biāo)域數(shù)據(jù)獲取單元、去噪單元和偽標(biāo)注生成單元連接,用于利用所述源域圖像和相應(yīng)的去噪標(biāo)注,以及具有相應(yīng)的標(biāo)注的目標(biāo)域圖像和相應(yīng)的標(biāo)注和/或所述第二目標(biāo)域擴(kuò)充圖像和相應(yīng)的偽標(biāo)注,對(duì)所述基線模型和所述去噪器進(jìn)行訓(xùn)練;
87、所述遷移模型為訓(xùn)練結(jié)束時(shí)獲得的基線模型;所述初始基線模型為訓(xùn)練前獲取的參數(shù)未更新的基線模型。
88、根據(jù)第五方面,一種實(shí)施例中提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述介質(zhì)上存儲(chǔ)有程序,所述程序能夠被處理器執(zhí)行以實(shí)現(xiàn)上述任一實(shí)施例的缺陷檢測(cè)方法或任一實(shí)施例的模型遷移方法。
89、根據(jù)第五方面,一種實(shí)施例中提供一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序和/或指令,所述計(jì)算機(jī)程序和/或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一實(shí)施例的缺陷檢測(cè)方法或任一實(shí)施例的模型遷移方法。
90、本發(fā)明的技術(shù)方案,結(jié)合源域圖像和目標(biāo)域圖像對(duì)基線模型進(jìn)行從源域到目標(biāo)域的遷移訓(xùn)練,其中基線模型在源域中經(jīng)過訓(xùn)練;源域圖像具有相應(yīng)的標(biāo)注,將源域圖像的標(biāo)注輸入可學(xué)習(xí)的去噪器得到去噪標(biāo)注;目標(biāo)域圖像可以全部具有相應(yīng)的標(biāo)注或者部分具有相應(yīng)的標(biāo)注或者全部不具有相應(yīng)的標(biāo)注,對(duì)于不具有標(biāo)注的目標(biāo)域圖像,則利用基線模型生成偽標(biāo)注;綜合利用源域圖像和相應(yīng)的去噪標(biāo)注,以及目標(biāo)域圖像和相應(yīng)的標(biāo)注/偽標(biāo)注,對(duì)基線模型和去噪器進(jìn)行訓(xùn)練,實(shí)現(xiàn)將基線模型遷移至目標(biāo)域,能以少量的帶標(biāo)注的目標(biāo)域圖像完成訓(xùn)練,實(shí)現(xiàn)模型的快速遷移,解決目標(biāo)域圖像不足的情況下模型遷移性能差的問題。另一方面,本發(fā)明將源域到目標(biāo)域的域適應(yīng)過程,視為“去噪”問題進(jìn)行解決,將源域圖像建模為目標(biāo)域圖像的噪聲樣本,通過設(shè)計(jì)標(biāo)注去噪器對(duì)源域圖像的標(biāo)注進(jìn)行“去噪”,使得源域圖像匹配目標(biāo)域圖像。并且本發(fā)明的技術(shù)方案通過對(duì)無標(biāo)注的目標(biāo)域圖像生成相應(yīng)的偽標(biāo)注,能夠適應(yīng)目標(biāo)域圖像全部有標(biāo)注、部分有標(biāo)注和全部無標(biāo)注的情況,能夠針對(duì)輸入的目標(biāo)域圖像的標(biāo)注情況,自適應(yīng)地利用目標(biāo)域圖像和相應(yīng)的標(biāo)注/偽標(biāo)注進(jìn)行模型遷移訓(xùn)練,提高了使用靈活性,拓寬了使用場(chǎng)景。