本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種多任務(wù)協(xié)同的半導(dǎo)體晶圓缺陷視覺(jué)檢測(cè)方法。

背景技術(shù)：

1、隨著半導(dǎo)體技術(shù)的迅速發(fā)展，晶圓制造過(guò)程中出現(xiàn)的缺陷種類變得越來(lái)越復(fù)雜和多樣化。這些缺陷不僅影響晶圓的生產(chǎn)良率，還對(duì)最終產(chǎn)品的性能和可靠性產(chǎn)生了深遠(yuǎn)的影響。為了確保高質(zhì)量的晶圓制造，精確的缺陷檢測(cè)成為了至關(guān)重要的環(huán)節(jié)。然而，隨著制程技術(shù)的不斷進(jìn)步，傳統(tǒng)的檢測(cè)方法在面對(duì)微小、復(fù)雜缺陷時(shí)，逐漸暴露出難以滿足現(xiàn)代制造需求的問(wèn)題。因此，迫切需要發(fā)展更加先進(jìn)的檢測(cè)技術(shù)，以應(yīng)對(duì)日益增長(zhǎng)的檢測(cè)需求，并保證生產(chǎn)效率和產(chǎn)品質(zhì)量。

2、現(xiàn)存的pcb半導(dǎo)體晶圓缺陷檢測(cè)主要涵蓋以下三種：基于模板匹配的方法、基于圖像分割的方法和基于機(jī)器學(xué)習(xí)的方法：

3、(1)基于模板匹配的方法：

4、該方法通過(guò)將待檢測(cè)晶圓圖像與標(biāo)準(zhǔn)無(wú)缺陷晶圓圖像進(jìn)行像素級(jí)比較來(lái)檢測(cè)缺陷。雖然實(shí)現(xiàn)簡(jiǎn)單，但存在以下缺點(diǎn)：

5、a)對(duì)圖像對(duì)齊要求極高，微小的偏差都可能導(dǎo)致誤檢；

6、b)對(duì)非重復(fù)性缺陷的檢測(cè)能力較差；

7、c)計(jì)算復(fù)雜度高，難以滿足在線檢測(cè)的實(shí)時(shí)性要求。

8、(2)基于圖像分割的方法：

9、這種方法首先對(duì)晶圓圖像進(jìn)行分割，然后分析分割后的區(qū)域特征來(lái)識(shí)別缺陷。其主要缺點(diǎn)包括：

10、a)分割算法的魯棒性不足，容易受到圖像噪聲和光照變化的影響；

11、b)對(duì)于微小缺陷和低對(duì)比度缺陷的檢測(cè)效果不佳；

12、c)難以有效區(qū)分缺陷與正常結(jié)構(gòu)變化。

13、(3)基于機(jī)器學(xué)習(xí)的方法：

14、這類方法利用傳統(tǒng)機(jī)器學(xué)習(xí)算法(如svm、隨機(jī)森林等)對(duì)提取的圖像特征進(jìn)行分類。雖然相比前兩種方法有所改進(jìn)，但仍存在以下問(wèn)題：

15、a)特征工程依賴于人工設(shè)計(jì)，難以全面捕捉復(fù)雜的缺陷特征；

16、b)泛化能力有限，對(duì)未見(jiàn)過(guò)的缺陷類型適應(yīng)性較差；

17、c)難以同時(shí)實(shí)現(xiàn)高精度和高效率的檢測(cè)。

18、針對(duì)以上現(xiàn)存的半導(dǎo)體晶圓缺陷檢測(cè)方法的局限性，可以看到它們?cè)谔幚韽?fù)雜、多樣化的晶圓缺陷時(shí)存在精度不足、效率低下、泛化能力弱等問(wèn)題。特別是在先進(jìn)制程中，傳統(tǒng)方法難以應(yīng)對(duì)日益微小化、多樣化的缺陷類型，無(wú)法滿足現(xiàn)代半導(dǎo)體制造對(duì)高精度、高效率缺陷檢測(cè)的需求。因此，有必要研發(fā)一種新型的半導(dǎo)體晶圓缺陷檢測(cè)方法來(lái)克服這些缺點(diǎn)，實(shí)現(xiàn)高精度、高效率、強(qiáng)泛化能力的半導(dǎo)體晶圓缺陷檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問(wèn)題，本發(fā)明提出了一種基于計(jì)算機(jī)處理用視覺(jué)識(shí)別方法，該方法有效地實(shí)現(xiàn)了高精度、高效率的晶圓缺陷檢測(cè)，特別是在復(fù)雜、多樣化的缺陷類型面前展現(xiàn)出強(qiáng)大的適應(yīng)性和魯棒性。

2、一種基于計(jì)算機(jī)處理用視覺(jué)識(shí)別方法，其特征在于，該方法包括：

3、s1基于真實(shí)的半導(dǎo)體晶圓生成線采集原始的半導(dǎo)體晶圓圖片數(shù)據(jù)，對(duì)于所采集的原始圖像數(shù)據(jù)設(shè)計(jì)中心裁剪、去噪和數(shù)據(jù)增強(qiáng)的數(shù)據(jù)預(yù)處理方法，以保證圖像數(shù)據(jù)的平滑性，并進(jìn)行標(biāo)簽裁定，得到完整的晶圓缺陷檢測(cè)數(shù)據(jù)集；

4、s2針對(duì)s1所得到的晶圓缺陷檢測(cè)數(shù)據(jù)集，構(gòu)建晶圓缺陷圖像動(dòng)態(tài)多尺度特征提取與特征增強(qiáng)網(wǎng)絡(luò)，得到包含晶圓缺陷圖像的局部細(xì)節(jié)和全局語(yǔ)義信息的多級(jí)特征圖；

5、s3基于晶圓缺陷的多級(jí)特征圖，設(shè)計(jì)多任務(wù)協(xié)同的晶圓缺陷檢測(cè)模型，得到晶圓缺陷的分類、回歸和圓形邊界預(yù)測(cè)結(jié)果，從而實(shí)現(xiàn)半導(dǎo)體晶圓缺陷的視覺(jué)檢測(cè)；

6、s4基于半導(dǎo)體晶圓缺陷檢測(cè)模型，構(gòu)造結(jié)合對(duì)抗性協(xié)同學(xué)習(xí)的訓(xùn)練策略，進(jìn)行多階段漸進(jìn)式訓(xùn)練得到最終的晶圓缺陷檢測(cè)模型；

7、s5模型部署，將s4獲得的晶圓缺陷檢測(cè)模型部署到半導(dǎo)體晶圓生產(chǎn)的過(guò)程設(shè)備視覺(jué)模塊上，實(shí)時(shí)檢測(cè)并反饋生產(chǎn)的半導(dǎo)體晶圓是否存在缺陷問(wèn)題。

8、如上所述的視覺(jué)識(shí)別方法，所述s1中數(shù)據(jù)集的采集與制作過(guò)程包括：

9、(1)原始數(shù)據(jù)采集

10、半導(dǎo)體晶圓缺陷圖像數(shù)據(jù)的來(lái)源與獲取方法：原始數(shù)據(jù)采集是通過(guò)在半導(dǎo)體晶圓生產(chǎn)線上安裝高精度工業(yè)相機(jī)進(jìn)行的。采用德國(guó)basler公司的ace系列工業(yè)相機(jī)(型號(hào)：aca4112-20um)，該相機(jī)具有4112×3008像素分辨率，最高可達(dá)20幀/秒的采集速度。相機(jī)安裝在晶圓傳輸軌道上方，與光源系統(tǒng)協(xié)同工作，確保捕獲清晰的晶圓表面圖像。

11、為了保證圖像質(zhì)量，使用led環(huán)形光源(型號(hào)：ccs?ldr2-70sw2-la1)，提供均勻且穩(wěn)定的照明條件。圖像采集過(guò)程中，相機(jī)與光源的觸發(fā)由plc(可編程邏輯控制器)精確控制，以確保每片晶圓都能被完整捕獲。

12、原始圖像數(shù)據(jù)以16位tiff格式保存，每個(gè)像素包含65536個(gè)灰度級(jí)，以保證圖像的高動(dòng)態(tài)范圍和細(xì)節(jié)保留。每張圖像的文件大小約為24mb，命名規(guī)則為"wafer_yyyymmdd_hhmmss_序號(hào).tiff"，其中yyyymmdd表示日期，hhmmss表示時(shí)間，序號(hào)為當(dāng)日采集的順序編號(hào)。

13、數(shù)據(jù)的多樣性與代表性分析：為確保數(shù)據(jù)集的多樣性和代表性，采集不同生產(chǎn)批次、不同工藝階段的晶圓樣本。具體包括：

14、不同尺寸的晶圓：6英寸、8英寸和12英寸；

15、不同工藝節(jié)點(diǎn)的晶圓：28nm、14nm和7nm；

16、不同制程階段的晶圓：光刻后、蝕刻后和拋光后；

17、不同缺陷類型：劃痕、裂紋、剝落和異物附著；

18、不同缺陷程度：從輕微到嚴(yán)重的各種程度。

19、總共采集了100,000張?jiān)季A圖像，其中包含各種缺陷類型和無(wú)缺陷樣本。通過(guò)數(shù)據(jù)分析，確保各類缺陷在數(shù)據(jù)集中的分布基本平衡，無(wú)缺陷樣本占比約為60％，以模擬實(shí)際生產(chǎn)中的缺陷出現(xiàn)頻率。所采集的原始圖像數(shù)據(jù)記為dataset。

20、(2)數(shù)據(jù)預(yù)處理

21、roi區(qū)域裁剪及其對(duì)模型精度的影響：考慮到晶圓的圓形特性，設(shè)計(jì)一個(gè)圓形roi(感興趣區(qū)域)裁剪算法：

22、首先使用hough圓變換檢測(cè)晶圓邊緣，得到晶圓中心坐標(biāo)和半徑；其次以檢測(cè)到的中心為圓心，半徑略小于檢測(cè)半徑(取98％)的圓形區(qū)域作為roi；最后將roi以外的區(qū)域像素值設(shè)為0，保留roi內(nèi)的原始圖像信息。這種裁剪方法可以有效去除晶圓邊緣的干擾信息，提高模型對(duì)中心區(qū)域缺陷的關(guān)注度。

23、圖像降噪處理：在晶圓圖像中，由于ace系列工業(yè)相機(jī)中的傳感器讀出電路的熱噪聲以及圖像的高頻成分影響，通常會(huì)存在高斯白噪聲和斑點(diǎn)噪聲。為了減少這些噪聲對(duì)圖像質(zhì)量和后續(xù)處理的影響，需要進(jìn)行圖像去噪處理。

24、首先，采用高斯濾波來(lái)去除高斯白噪聲。高斯濾波通過(guò)與高斯核進(jìn)行卷積，可以有效地平滑圖像并去除噪聲。具體地，高斯濾波器的計(jì)算公式為：

25、

26、其中，σ是高斯核的標(biāo)準(zhǔn)差，x和y分別表示圖像中的像素位置，用來(lái)表示每個(gè)像素點(diǎn)到濾波器中心的偏移。這個(gè)偏移量用于計(jì)算高斯分布函數(shù)的值，以確定像素的權(quán)重。通過(guò)與圖像進(jìn)行卷積操作，高斯濾波可以有效地降低圖像中的高斯白噪聲。

27、數(shù)據(jù)增強(qiáng)技術(shù)：為了增加數(shù)據(jù)的多樣性和模型的泛化能力，采用以下數(shù)據(jù)增強(qiáng)技術(shù)：

28、隨機(jī)旋轉(zhuǎn)：在[-10°,10°]范圍內(nèi)隨機(jī)旋轉(zhuǎn)圖像；

29、隨機(jī)縮放：在[0.9,1.1]范圍內(nèi)隨機(jī)縮放圖像；

30、隨機(jī)平移：在圖像寬高的±5％范圍內(nèi)隨機(jī)平移；

31、隨機(jī)亮度和對(duì)比度調(diào)整：亮度調(diào)整范圍為[0.8,1.2]，對(duì)比度調(diào)整范圍為[0.8,1.2]；

32、隨機(jī)高斯噪聲：添加均值為0，標(biāo)準(zhǔn)差在[0,0.05]范圍內(nèi)的高斯噪聲；

33、隨機(jī)水平和垂直翻轉(zhuǎn)：各50％的概率進(jìn)行翻轉(zhuǎn)；

34、這些數(shù)據(jù)增強(qiáng)技術(shù)通過(guò)albumentations庫(kù)實(shí)現(xiàn)，在訓(xùn)練過(guò)程中實(shí)時(shí)應(yīng)用。每張?jiān)紙D像會(huì)生成5張?jiān)鰪?qiáng)后的圖像，從而將數(shù)據(jù)集擴(kuò)充至500,000張。這種增強(qiáng)策略顯著提高了模型對(duì)各種光照條件和缺陷形態(tài)的適應(yīng)能力。

35、經(jīng)過(guò)數(shù)據(jù)預(yù)處理后的圖像數(shù)據(jù)記為data。

36、(3)標(biāo)簽裁定

37、對(duì)采集到的原始圖像數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)注是為了為后續(xù)的缺陷檢測(cè)任務(wù)提供準(zhǔn)確的訓(xùn)練數(shù)據(jù)。采用工業(yè)級(jí)別的標(biāo)注軟件labelimg，其具有直觀的用戶界面和豐富的功能。用戶可以通過(guò)簡(jiǎn)單的操作，在圖像上繪制邊界框來(lái)標(biāo)注目標(biāo)對(duì)象，并為每個(gè)標(biāo)注框添加相應(yīng)的標(biāo)簽信息。標(biāo)注過(guò)程遵循以下規(guī)則：

38、嚴(yán)格的像素級(jí)別標(biāo)注：標(biāo)注人員需要在圖像上精確地繪制出缺陷區(qū)域的邊界框，以確保標(biāo)注的準(zhǔn)確性和精度；

39、缺陷分類、回歸和圓形邊界作為標(biāo)簽：分類標(biāo)簽記為labelcls，對(duì)應(yīng)著五種缺陷類型(無(wú)缺陷、劃痕、裂紋、剝落和異物附著)，其每一維的值表示該類型缺陷的置信度得分；回歸標(biāo)簽記為labelreg包含了預(yù)測(cè)目標(biāo)的邊界框坐標(biāo)信息，用于精確定位缺陷的位置；圓形邊界標(biāo)簽記為labelcir給出了與缺陷邊界緊密相關(guān)的圓形參數(shù)，可以進(jìn)一步提高了邊界定位的精度。

40、多個(gè)缺陷標(biāo)注：每個(gè)圖像可能包含0個(gè)或多個(gè)缺陷標(biāo)注，標(biāo)注人員需要根據(jù)實(shí)際情況在圖像中標(biāo)注出所有存在的缺陷區(qū)域；

41、標(biāo)注結(jié)果保存：標(biāo)注結(jié)果按照pascal?voc格式進(jìn)行保存，這種格式可以方便地與晶圓缺陷檢測(cè)模型進(jìn)行集成和處理。

42、標(biāo)注過(guò)程需要標(biāo)注人員具備一定的專業(yè)知識(shí)和經(jīng)驗(yàn)，以確保標(biāo)注結(jié)果的準(zhǔn)確性和可用性。

43、(4)數(shù)據(jù)集制作

44、為了將標(biāo)注后的數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，為模型的訓(xùn)練、評(píng)估和測(cè)試做準(zhǔn)備，需要構(gòu)建數(shù)據(jù)集：將標(biāo)注后的數(shù)據(jù)集記為(data,label)，按8:1:1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。

45、為了將標(biāo)注后的數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，以便為模型的訓(xùn)練、評(píng)估和測(cè)試做準(zhǔn)備，需要將數(shù)據(jù)集(data,label)按照8:1:1的比例劃，具體步驟如下：

46、將標(biāo)注后的數(shù)據(jù)集(data,label)按照以下比例劃分：80％的數(shù)據(jù)用作訓(xùn)練集(training?set)、10％的數(shù)據(jù)用作驗(yàn)證集(validation?set)、10％的數(shù)據(jù)用作測(cè)試集(testset)。

47、這樣的劃分可以確保在模型訓(xùn)練過(guò)程中有充足的數(shù)據(jù)用于參數(shù)調(diào)整和優(yōu)化，并在模型訓(xùn)練后進(jìn)行驗(yàn)證集的評(píng)估和測(cè)試集的最終性能驗(yàn)證，以保證模型的泛化能力和有效性。

48、如上所述的視覺(jué)識(shí)別方法，所述s2中圖像動(dòng)態(tài)多尺度特征提取與特征增強(qiáng)網(wǎng)絡(luò)構(gòu)建過(guò)程包括：

49、本方案創(chuàng)新性地提出了晶圓圖像動(dòng)態(tài)多尺度特征增強(qiáng)網(wǎng)絡(luò)，突破了傳統(tǒng)單一尺度特征提取的局限。通過(guò)多尺度特征提取與增強(qiáng)，并結(jié)合動(dòng)態(tài)權(quán)重分配機(jī)制，該網(wǎng)絡(luò)能夠同時(shí)捕捉局部細(xì)節(jié)與全局語(yǔ)義，顯著提升特征表示的豐富度和魯棒性。特別是，動(dòng)態(tài)調(diào)整特征權(quán)重的模塊有效突出關(guān)鍵信息，抑制無(wú)關(guān)噪聲，增強(qiáng)了模型在復(fù)雜生產(chǎn)線環(huán)境下的適應(yīng)能力。此外，網(wǎng)絡(luò)設(shè)計(jì)注重計(jì)算效率，通過(guò)特征重用和輕量化結(jié)構(gòu)，兼顧性能與實(shí)時(shí)性，適用于半導(dǎo)體晶圓生產(chǎn)線設(shè)備。該方法不僅提高了缺陷檢測(cè)的準(zhǔn)確性，還增強(qiáng)了系統(tǒng)在各種視覺(jué)干擾條件下的魯棒性。

50、從底層到頂層對(duì)輸入晶圓圖像進(jìn)行處理，首先提取不同尺度的特征圖{c2,c3,c4,c5}，然后按照以下步驟構(gòu)建多尺度特征增強(qiáng)網(wǎng)絡(luò)：

51、從最深的p5層開(kāi)始，通過(guò)上采樣生成上層的晶圓特征圖，將這種高級(jí)語(yǔ)義信息傳遞到了多尺度特征增強(qiáng)網(wǎng)絡(luò)的頂層：

52、m5＝c5

53、其中m5是多尺度特征增強(qiáng)網(wǎng)絡(luò)中最頂層的特征圖，來(lái)自最深層次c5特征圖，然后對(duì)m5進(jìn)行1×1卷積通道數(shù)調(diào)整：

54、p5＝conv1×1(m5)

55、然后自頂向下構(gòu)建多尺度特征增強(qiáng)網(wǎng)絡(luò)：

56、m4＝c4+upsample(p5)

57、p4＝conv3×3(m4)

58、其中，conv3×3為3×3卷積，用于融合不同尺度的特征，upsample是反卷積實(shí)現(xiàn)的上采樣操作，重復(fù)以上的步驟逐步生成{p3,p4,p5}，最終p3,p4,p5為融合了多尺度信息的多尺度特征增強(qiáng)網(wǎng)絡(luò)；

59、在該網(wǎng)絡(luò)中融入了特征權(quán)重動(dòng)態(tài)分配模塊，以增強(qiáng)對(duì)多尺度特征的適應(yīng)性，并學(xué)習(xí)晶圓特征圖中不同位置特征之間的相關(guān)性。通過(guò)突出重要特征并抑制不相關(guān)特征，該機(jī)制首先生成空間注意力子模塊，即每個(gè)位置對(duì)應(yīng)的注意力權(quán)重，然后將空間注意力子模塊與原始特征圖相結(jié)合，從而獲得增強(qiáng)的特征表示。具體步驟如下：

60、特征權(quán)重動(dòng)態(tài)分配模塊的輸入是一個(gè)晶圓特征圖x，維度為(c×h×w)，使用兩個(gè)1×1卷積核對(duì)x進(jìn)行通道壓縮，生成壓縮晶圓特征圖a和b，壓縮后的晶圓特征圖維度為(c′×h×w)：

61、a＝x·wa(c′×h×w)

62、b＝x·wb(c′×h×w)

63、其中，wa和wb分別為兩個(gè)1×1卷積核的權(quán)重，利用a和b計(jì)算位置間的相似度，生成空間注意力子模塊映射m，維度為(h×w×h×w)：

64、m＝softmax(at·b)

65、然后對(duì)原始輸入x和m做元素級(jí)相乘，得到空間注意力子模塊加權(quán)后的晶圓特征圖x′：

66、x′＝x·m

67、最后將x′和x相加，再經(jīng)過(guò)一個(gè)卷積層輸出：

68、o＝γ·x′+x·wc

69、其中，γ是可學(xué)習(xí)的放縮因子，用于放縮空間注意力子模塊增強(qiáng)的效果，wc是一個(gè)1×1卷積核權(quán)重，o是特征權(quán)重動(dòng)態(tài)分配模塊的最終輸出晶圓特征圖。

70、如上所述的視覺(jué)識(shí)別方法，所述s3中多任務(wù)協(xié)同的晶圓缺陷檢測(cè)模型構(gòu)建過(guò)程包括：

71、在缺陷檢測(cè)任務(wù)中，分類和回歸是兩個(gè)相互關(guān)聯(lián)但常被分開(kāi)處理的子任務(wù)。傳統(tǒng)方法分別對(duì)兩個(gè)任務(wù)進(jìn)行建模和優(yōu)化，缺乏兩者之間的知識(shí)融合和相互促進(jìn)。為了解決這一問(wèn)題，本發(fā)明設(shè)計(jì)了多任務(wù)協(xié)同檢測(cè)算法(multi-task?collaborative?detectionalgorithm,mcda)。

72、mcda的關(guān)鍵在于引入了多任務(wù)協(xié)同編碼機(jī)制，將分類和回歸信息相互融合。模型通過(guò)卷積層級(jí)聯(lián)兩個(gè)子任務(wù)的特征圖，并相互編碼對(duì)方的信息，以獲得融合了雙向關(guān)系的分類和回歸特征。此外，mcda還引入了圓形邊界預(yù)測(cè)分支，通過(guò)級(jí)聯(lián)分類和回歸預(yù)測(cè)結(jié)果，能更精細(xì)地預(yù)測(cè)與缺陷邊界相關(guān)的圓形參數(shù)，提高邊界定位的精度。相較于傳統(tǒng)的分開(kāi)建模方式，mcda能更好地挖掘分類、回歸和形狀之間的內(nèi)在聯(lián)系，從而提升整體檢測(cè)的一致性和精確度。具體包括以下過(guò)程：

73、將動(dòng)態(tài)多尺度特征提取與特征增強(qiáng)網(wǎng)絡(luò)輸出的特征o送入mcda，同時(shí)完成分類、回歸和圓形邊界預(yù)測(cè)：

74、clspred,regpred,cirpred＝mcda(o)

75、其中，clspred,regpred,cirpred分別為晶圓缺陷檢測(cè)的分類預(yù)測(cè)結(jié)果、回歸預(yù)測(cè)結(jié)果以及圓形邊界預(yù)測(cè)結(jié)果。

76、mcda的具體計(jì)算過(guò)程如下：

77、1)對(duì)o進(jìn)行基礎(chǔ)卷積，獲得分類和回歸的初始預(yù)測(cè)值{clsinit，reginit}：

78、clsinit,reginit＝conv(o)

79、2)將reginit與clsinit進(jìn)行關(guān)系編碼，得到融合兩者關(guān)系的回歸特征regfused：

80、regfused＝reginit+conv(concat(reginit，clsinit))

81、3)同時(shí)將clsinit與reginit進(jìn)行關(guān)系編碼，得到融合兩者關(guān)系的分類特征clsfused：

82、clsfused＝clsinit+conv(concat(clsinit，reginit))

83、4)分別對(duì)regfused和clsfused進(jìn)行卷積，得到最終的分類預(yù)測(cè)clspred和回歸預(yù)測(cè)regpred：

84、

85、5)將clspred和regpred進(jìn)行級(jí)聯(lián)，經(jīng)過(guò)一個(gè)額外的卷積分支，預(yù)測(cè)與缺陷邊界緊密相關(guān)的缺陷邊界圓形參數(shù)cirpred：

86、cirpred＝conv(concat(clspred，regpred))

87、通過(guò)多任務(wù)協(xié)同編碼，能充分融合分類和回歸知識(shí)，使兩個(gè)任務(wù)相互促進(jìn)。同時(shí)引入圓形邊界預(yù)測(cè)分支，以更精細(xì)地描述晶圓缺陷的形狀和位置。

88、在現(xiàn)有的目標(biāo)檢測(cè)方法中，常見(jiàn)的損失函數(shù)如focalloss、ciouloss等，僅專注于優(yōu)化單一任務(wù)的指標(biāo)，缺乏對(duì)多任務(wù)之間相互影響和知識(shí)引導(dǎo)的考慮。為了解決這一問(wèn)題，本發(fā)明提出了多任務(wù)協(xié)同損失函數(shù)。

89、該損失函數(shù)的創(chuàng)新在于融合了分類、回歸和圓形邊界三個(gè)部分，以實(shí)現(xiàn)對(duì)分類、回歸、形狀三個(gè)密切相關(guān)的子任務(wù)的聯(lián)合優(yōu)化。相比于傳統(tǒng)的單一損失函數(shù)，多任務(wù)協(xié)同損失函數(shù)充分利用了子任務(wù)之間的相關(guān)性，實(shí)現(xiàn)了各個(gè)任務(wù)之間的相互促進(jìn)，同時(shí)還融入了先驗(yàn)知識(shí)的引導(dǎo)，使得模型在優(yōu)化過(guò)程中受益于額外的知識(shí)傳遞，從而提高了檢測(cè)的整體性能和魯棒性。

90、因此，本發(fā)明采用多任務(wù)協(xié)同損失函數(shù)，同時(shí)優(yōu)化分類、回歸和圓形邊界預(yù)測(cè)三個(gè)任務(wù)，即：

91、l＝λ1lcls+λ2lreg+λ3lcir

92、其中，lcls為分類損失，使用focalloss；lreg為回歸損失，使用ciouloss；lcir為環(huán)狀邊界損失，使用polygonloss；λ1,λ2,λ3分別為平衡各損失項(xiàng)的超參數(shù)。

93、在多任務(wù)協(xié)同損失函數(shù)的優(yōu)化下，該目標(biāo)檢測(cè)網(wǎng)絡(luò)可同時(shí)輸出三種預(yù)測(cè)結(jié)果：分類預(yù)測(cè)結(jié)果clspred、回歸預(yù)測(cè)結(jié)果regpred和圓形邊界預(yù)測(cè)結(jié)果cirpred。

94、其中，分類預(yù)測(cè)結(jié)果clspred為一個(gè)向量，對(duì)應(yīng)著四種缺陷類型(劃痕、裂紋、剝落、異物附著)，其每一維的值表示該類型缺陷的置信度得分。通過(guò)獲取分?jǐn)?shù)最高的維度索引，即可確定當(dāng)前預(yù)測(cè)框內(nèi)的缺陷類型；

95、回歸預(yù)測(cè)結(jié)果regpred包含了預(yù)測(cè)目標(biāo)的邊界框坐標(biāo)信息，用于精確定位缺陷的位置；

96、圓形邊界預(yù)測(cè)結(jié)果cirpred給出了與缺陷邊界緊密相關(guān)的圓形參數(shù)，進(jìn)一步提高了邊界定位的精度。

97、在獲得上述三種預(yù)測(cè)結(jié)果后，可以對(duì)缺陷類型進(jìn)行判定，并結(jié)合精確的位置和形狀信息，實(shí)現(xiàn)了晶圓各類缺陷的準(zhǔn)確檢測(cè)，為后續(xù)的質(zhì)量控制和缺陷修復(fù)提供了重要依據(jù)。

98、如上所述的視覺(jué)識(shí)別方法，所述s4中對(duì)抗性協(xié)同學(xué)習(xí)訓(xùn)練策略包括：

99、將標(biāo)注好的訓(xùn)練數(shù)據(jù)集輸入該模型，本方案提出了一種創(chuàng)新的對(duì)抗性協(xié)同學(xué)習(xí)策略來(lái)訓(xùn)練模型。該策略為創(chuàng)新性的多階段漸進(jìn)式訓(xùn)練，充分考慮了晶圓圖像數(shù)據(jù)中局部細(xì)節(jié)和全局語(yǔ)義信息，以及它們?cè)谌诤线^(guò)程中的動(dòng)態(tài)關(guān)系，通過(guò)多尺度時(shí)序性一致和深度協(xié)同優(yōu)化來(lái)提升模型的性能。

100、(1)多尺度時(shí)序一致性損失：

101、為了增強(qiáng)模型對(duì)不同時(shí)間批次數(shù)據(jù)信息的學(xué)習(xí)，本提案提出了多尺度時(shí)序一致性損失。該損失函數(shù)在不同時(shí)間尺度上衡量預(yù)測(cè)的一致性：

102、ltc＝∑sλs*dkl(p(y|xt),p(y|x{t-s}))

103、其中，s表示不同的時(shí)間尺度，λs是對(duì)應(yīng)的權(quán)重，dkl是kl散度，p(y|xt)表示在時(shí)間步t的檢測(cè)分布，包含分類檢測(cè)、回歸檢測(cè)和圓形邊界檢測(cè)，為一個(gè)總檢測(cè)結(jié)果概括。這個(gè)損失鼓勵(lì)模型在不同時(shí)間尺度上保持預(yù)測(cè)的一致性，從而提高對(duì)不同時(shí)間批次數(shù)據(jù)的建模能力。

104、(2)對(duì)抗性訓(xùn)練策略：

105、為了提高訓(xùn)練的魯棒性，本提案引入了對(duì)抗性訓(xùn)練策略。具體而言，設(shè)計(jì)一個(gè)判別器d，試圖區(qū)分特征是來(lái)自局部細(xì)節(jié)還是全局語(yǔ)義信息。融合網(wǎng)絡(luò)f則被訓(xùn)練來(lái)欺騙判別器：

106、ladv＝e[log(d(f(xv,xa)))]+e[log(1-d(xv))+log(1-d(xa))]

107、其中，xv和xa分別是局部細(xì)節(jié)和全局語(yǔ)義信息輸入。這種對(duì)抗訓(xùn)練促使網(wǎng)絡(luò)生成更難區(qū)分、更緊密融合的特征表示。

108、(3)課程學(xué)習(xí)與難度自適應(yīng)

109、根據(jù)(2)對(duì)抗性策略，提出一種基于樣本難度的課程學(xué)習(xí)策略。樣本難度d(x)定義為：

110、d(x)＝1-exp(-γ(wvlv+wala))

111、其中，lv和la分別是局部細(xì)節(jié)和全局語(yǔ)義信息的損失，γ是一個(gè)可調(diào)節(jié)的參數(shù)。訓(xùn)練過(guò)程中，逐步增加難樣本的比例：

112、

113、其中，t是當(dāng)前訓(xùn)練步數(shù)，t是總訓(xùn)練步數(shù)，p0是初始難樣本比例，μ控制難度增加速率。

114、(4)動(dòng)態(tài)批歸一化

115、考慮到半導(dǎo)體晶圓生成線中光照和噪聲條件的多變性，本提案提出動(dòng)態(tài)批歸一化(dynamic?batch?normalization,dbn)技術(shù)。dbn根據(jù)輸入的統(tǒng)計(jì)特性動(dòng)態(tài)調(diào)整歸一化參數(shù)：

116、y＝γ(x)(x-μ(x))/(σ(x)+ε)+β(x)

117、其中，γ(x)和β(x)是輸入依賴的縮放和偏移參數(shù)。這種方法能更好地適應(yīng)不同輸入條件下的特征分布變化。

118、(5)模型訓(xùn)練

119、基于上述方法，模型訓(xùn)練的具體流程為：

120、1)初始化模型參數(shù)θ，其中，θ表示待更新的參數(shù)，包含晶圓缺陷檢測(cè)模型中所有的權(quán)重矩陣和偏置向量；

121、2)對(duì)于每個(gè)訓(xùn)練步驟t：

122、a.從數(shù)據(jù)集中采樣一個(gè)批次，按phard(t)的比例包含難樣本；

123、b.進(jìn)行前向傳播，得到多尺度特征和預(yù)測(cè)結(jié)果；

124、c.計(jì)算多尺度時(shí)序一致性損失ltc；

125、d.進(jìn)行對(duì)抗性訓(xùn)練策略，更新判別器d和融合網(wǎng)絡(luò)f；

126、e.應(yīng)用動(dòng)態(tài)批歸一化；

127、f.計(jì)算總損失：ltotal＝λtc*ltc+λadv*ladv；

128、g.反向傳播，更新模型參數(shù)：其中為學(xué)習(xí)率。

129、3)重復(fù)步驟2)，當(dāng)連續(xù)n個(gè)epoch無(wú)法降低損失時(shí)，終止訓(xùn)練過(guò)程。在訓(xùn)練結(jié)束時(shí)保存最終的模型參數(shù)，作為晶圓缺陷檢測(cè)的部署模型。

130、如上所述的視覺(jué)檢測(cè)方法，所述s5中晶圓缺陷檢測(cè)模型部署過(guò)程包括：

131、(1)硬件平臺(tái)選擇與配置：

132、a.根據(jù)半導(dǎo)體晶圓生產(chǎn)線的實(shí)際需求，選擇適合的邊緣計(jì)算設(shè)備，如nvidiajetson系列或intel?nuc高性能嵌入式系統(tǒng)；

133、b.在選定的硬件平臺(tái)上配置必要的深度學(xué)習(xí)框架和依賴庫(kù)：cuda、cudnn等，以支持模型的高效運(yùn)行；

134、c.優(yōu)化硬件資源分配，合理設(shè)置gpu內(nèi)存使用限制和cpu線程數(shù)，以平衡檢測(cè)性能和系統(tǒng)穩(wěn)定性。

135、(2)模型集成與接口開(kāi)發(fā)：

136、a.設(shè)計(jì)并實(shí)現(xiàn)模型推理接口，包括圖像預(yù)處理、模型推理和結(jié)果后處理功能模塊；

137、b.開(kāi)發(fā)與生產(chǎn)線控制系統(tǒng)的通信接口，實(shí)現(xiàn)檢測(cè)結(jié)果的實(shí)時(shí)傳輸和反饋；

138、c.構(gòu)建緩存機(jī)制，優(yōu)化數(shù)據(jù)流處理，減少i/o操作對(duì)檢測(cè)速度的影響。

139、(3)實(shí)時(shí)圖像采集與預(yù)處理：

140、a.通過(guò)高速工業(yè)相機(jī)實(shí)時(shí)采集晶圓圖像，確保圖像質(zhì)量和采集頻率滿足檢測(cè)需求；

141、b.實(shí)現(xiàn)圖像預(yù)處理流水線，包括中心裁剪、去噪和數(shù)據(jù)增強(qiáng)操作，以提高輸入圖像的質(zhì)量；

142、c.采用異步處理機(jī)制，在圖像采集的同時(shí)進(jìn)行預(yù)處理，最大化利用計(jì)算資源。

143、(4)缺陷檢測(cè)與結(jié)果輸出：

144、a.將預(yù)處理后的圖像輸入部署的晶圓缺陷檢測(cè)模型，執(zhí)行推理操作；

145、b.解析模型輸出，提取缺陷類別、邊界框坐標(biāo)信息和圓形參數(shù)信息；

146、c.根據(jù)預(yù)設(shè)閾值，對(duì)檢測(cè)結(jié)果進(jìn)行篩選和分級(jí)，以減少誤報(bào)和漏報(bào)。

147、(5)檢測(cè)結(jié)果可視化與存儲(chǔ)：

148、a.開(kāi)發(fā)實(shí)時(shí)可視化界面，直觀展示檢測(cè)結(jié)果，包括缺陷類別、邊界框坐標(biāo)信息和圓形參數(shù)信息；

149、b.實(shí)現(xiàn)檢測(cè)結(jié)果的本地存儲(chǔ)功能，包括原始圖像、檢測(cè)結(jié)果及相關(guān)數(shù)據(jù)；

150、(6)生產(chǎn)線聯(lián)動(dòng)與反饋：

151、a.將檢測(cè)結(jié)果實(shí)時(shí)傳輸至生產(chǎn)線控制系統(tǒng)，用于自動(dòng)化決策；

152、b.開(kāi)發(fā)報(bào)警機(jī)制，當(dāng)檢測(cè)到嚴(yán)重缺陷時(shí)，及時(shí)通知相關(guān)人員并觸發(fā)生產(chǎn)線應(yīng)急響應(yīng)；

153、c.實(shí)現(xiàn)檢測(cè)結(jié)果與生產(chǎn)參數(shù)的關(guān)聯(lián)分析，為工藝優(yōu)化提供數(shù)據(jù)支持。

154、(7)性能評(píng)估與持續(xù)優(yōu)化：

155、a.建立定期性能評(píng)估機(jī)制，包括檢測(cè)準(zhǔn)確率、召回率和處理速度關(guān)鍵指標(biāo)的統(tǒng)計(jì)分析；

156、b.開(kāi)發(fā)自動(dòng)化測(cè)試流程，使用標(biāo)準(zhǔn)測(cè)試集評(píng)估模型在實(shí)際生產(chǎn)環(huán)境中的表現(xiàn)；

157、c.根據(jù)性能評(píng)估結(jié)果和生產(chǎn)反饋，持續(xù)優(yōu)化模型參數(shù)和部署策略，不斷提升檢測(cè)系統(tǒng)的整體性能。

158、本發(fā)明還提供了一種基于計(jì)算機(jī)處理用視覺(jué)識(shí)別裝置，所述視覺(jué)識(shí)別裝置使用如上的視覺(jué)識(shí)別方法。

159、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

160、(1)多任務(wù)協(xié)同優(yōu)化：

161、本發(fā)明在晶圓缺陷檢測(cè)中引入了多任務(wù)協(xié)同優(yōu)化策略，將分類、回歸和圓形邊界預(yù)測(cè)任務(wù)融合為一個(gè)整體框架。傳統(tǒng)的檢測(cè)方法往往專注于單一任務(wù)，如僅進(jìn)行缺陷分類或區(qū)域分割，導(dǎo)致檢測(cè)結(jié)果存在局限性和偏差。通過(guò)多任務(wù)協(xié)同優(yōu)化，本發(fā)明能夠利用不同任務(wù)之間的關(guān)聯(lián)性和互補(bǔ)性，提升模型的整體表現(xiàn)。具體而言，這種協(xié)同機(jī)制使得模型在處理復(fù)雜、多樣化的缺陷時(shí)，能夠在保持精確度的同時(shí)，提高對(duì)微小、邊緣缺陷的檢測(cè)能力，顯著增強(qiáng)了檢測(cè)的全面性和魯棒性。

162、(2)動(dòng)態(tài)多尺度特征提取與增強(qiáng)：

163、本發(fā)明創(chuàng)新性地提出了動(dòng)態(tài)多尺度特征提取與增強(qiáng)網(wǎng)絡(luò)架構(gòu)，以應(yīng)對(duì)半導(dǎo)體晶圓上不同尺度的缺陷。傳統(tǒng)的檢測(cè)方法通常采用固定尺度的特征提取，這種方法在面對(duì)復(fù)雜的晶圓缺陷時(shí)容易丟失關(guān)鍵信息，尤其是在處理具有不同尺寸和形態(tài)的缺陷時(shí)表現(xiàn)不佳。本發(fā)明通過(guò)引入動(dòng)態(tài)多尺度特征提取網(wǎng)絡(luò)，能夠根據(jù)缺陷的幾何特性和位置，動(dòng)態(tài)調(diào)整提取尺度，確保在多尺度特征融合的過(guò)程中，充分捕捉到缺陷的全局結(jié)構(gòu)和局部細(xì)節(jié)。同時(shí)，特征增強(qiáng)機(jī)制進(jìn)一步優(yōu)化了關(guān)鍵特征的表達(dá)能力，使得模型能夠在復(fù)雜背景下精準(zhǔn)識(shí)別細(xì)微缺陷，提升檢測(cè)的準(zhǔn)確性和魯棒性。

164、(3)對(duì)抗性協(xié)同學(xué)習(xí)訓(xùn)練策略：

165、為了進(jìn)一步提升模型的泛化能力，本發(fā)明采用了一種獨(dú)特的對(duì)抗性協(xié)同學(xué)習(xí)訓(xùn)練策略。在此策略中，模型在訓(xùn)練過(guò)程中通過(guò)模擬實(shí)際生產(chǎn)環(huán)境中的各種復(fù)雜情況，對(duì)多任務(wù)進(jìn)行協(xié)同優(yōu)化。通過(guò)在多階段的漸進(jìn)式訓(xùn)練中引入對(duì)抗性因素，模型能夠有效應(yīng)對(duì)不同類型的晶圓缺陷，特別是在面對(duì)未知或極具挑戰(zhàn)性的缺陷時(shí)，依然能夠保持高水平的檢測(cè)準(zhǔn)確性。這一策略顯著增強(qiáng)了模型對(duì)各種干擾因素的抵抗能力，使其在實(shí)際應(yīng)用中表現(xiàn)出更強(qiáng)的魯棒性和可靠性。