本發(fā)明屬于機(jī)器視覺(jué)，本發(fā)明涉及一種用于igp處理單元的晶圓缺陷檢測(cè)方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、半導(dǎo)體晶圓是制造芯片的基礎(chǔ)性材料，對(duì)芯片產(chǎn)品的性能、質(zhì)量有著直接的影響。近年來(lái)，世界各國(guó)都加大了對(duì)芯片產(chǎn)品的研發(fā)、生產(chǎn)力度，因此也帶動(dòng)了眾多晶圓廠擴(kuò)產(chǎn)、微硅工藝與微納制造的持續(xù)投資擴(kuò)建。然而晶圓在加工過(guò)程中易受到制造技術(shù)、產(chǎn)線動(dòng)態(tài)性以及環(huán)境因素的影響，從而導(dǎo)致晶體缺陷，降低晶圓產(chǎn)出良品率的同時(shí)，造成下游芯片的制造成本損失，而且芯片的性能也會(huì)受到影響。因此，對(duì)晶圓產(chǎn)品的缺陷檢測(cè)日益重要。傳統(tǒng)的晶圓缺陷檢測(cè)算法主要通過(guò)待檢測(cè)圖像和參考圖像之間的差異區(qū)域進(jìn)行分析，這種方法雖然能在一定程度上達(dá)到晶圓缺陷檢測(cè)的目的，但往往難以直接得到精準(zhǔn)的缺陷圖像，同時(shí)所提取出的局部特征無(wú)法有效表示特定問(wèn)題中的不同類型缺陷，檢測(cè)精度低、魯棒性弱，而且需要根據(jù)新的問(wèn)題重新設(shè)計(jì)整個(gè)識(shí)別模型。深度學(xué)習(xí)等技術(shù)在缺陷檢測(cè)領(lǐng)域得到越來(lái)越廣泛的應(yīng)用，然而現(xiàn)有的深度學(xué)習(xí)算法檢測(cè)精度低、魯棒性弱。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種用于igp處理單元的晶圓缺陷檢測(cè)方法、系統(tǒng)及存儲(chǔ)介質(zhì)，通過(guò)引入特征金字塔、深度森林等結(jié)構(gòu)，構(gòu)建多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)，提高了模型對(duì)晶圓缺陷的識(shí)別能力。

2、實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：

3、一種用于igp處理單元的晶圓缺陷檢測(cè)方法，包括以下步驟：

4、s01：獲取晶圓圖像；

5、s02：構(gòu)建多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)，使用卷積核構(gòu)成的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像不同維度特征進(jìn)行提取，引入特征金字塔結(jié)構(gòu)，通過(guò)自頂向下的路徑和橫向連接，結(jié)合不同層級(jí)的特征，實(shí)現(xiàn)多層級(jí)特征的融合與提取，在此基礎(chǔ)上通過(guò)深度森林模型，采用多粒度掃描結(jié)構(gòu)，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型提取的高維特征進(jìn)行進(jìn)一步的處理，完成晶圓缺陷特征的多維度多層級(jí)提?。?/p>

6、s03：對(duì)構(gòu)建的多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用訓(xùn)練好的多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)進(jìn)行晶圓缺陷檢測(cè)。

7、優(yōu)選的技術(shù)方案中，所述多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)的主干網(wǎng)絡(luò)為darknet-53網(wǎng)絡(luò)，圖像數(shù)據(jù)輸入darknet-53網(wǎng)絡(luò)中后，首先經(jīng)過(guò)兩個(gè)卷積層，隨后數(shù)據(jù)依次經(jīng)過(guò)5個(gè)卷積組進(jìn)行處理，在每?jī)蓚€(gè)卷積組之間卷積層，用于完成下采樣的操作，提取圖像特征數(shù)據(jù)；

8、引入特征金字塔結(jié)構(gòu)，獲取darknet-53網(wǎng)絡(luò)中的后3個(gè)卷積組的輸出特征圖，得到3個(gè)不同大小的特征圖，將深層網(wǎng)絡(luò)的特征圖通過(guò)1×1大小的卷積層，使其大小與淺層網(wǎng)絡(luò)特征圖一致，最終將這3個(gè)網(wǎng)絡(luò)層的輸出特征圖轉(zhuǎn)換為同樣大小，然后進(jìn)行堆疊融合，進(jìn)行特征金字塔處理。

9、優(yōu)選的技術(shù)方案中，特征金字塔處理后采用多粒度級(jí)聯(lián)森林算法，首先執(zhí)行多粒度掃描，使用不同尺寸的特征窗口對(duì)輸入的特征數(shù)據(jù)進(jìn)行掃描，生成多尺度增強(qiáng)向量；然后在級(jí)聯(lián)森林執(zhí)行階段，對(duì)生成的多尺度增強(qiáng)向量進(jìn)行逐層訓(xùn)練，預(yù)測(cè)晶圓缺陷類別分布，并將生成的類別分布向量與原始向量連接，通過(guò)級(jí)聯(lián)通道輸入到下級(jí)級(jí)聯(lián)層。

10、優(yōu)選的技術(shù)方案中，基于多級(jí)預(yù)訓(xùn)練和末端精訓(xùn)練的模型聯(lián)合訓(xùn)練方法對(duì)構(gòu)建的多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

11、在工業(yè)缺陷數(shù)據(jù)集上進(jìn)行第一級(jí)預(yù)訓(xùn)練，使模型學(xué)習(xí)到現(xiàn)實(shí)世界中缺陷的部分共同特征；

12、在公開(kāi)的晶圓缺陷數(shù)據(jù)集上進(jìn)行第二級(jí)預(yù)訓(xùn)練，使模型在通用缺陷特征的基礎(chǔ)上學(xué)習(xí)晶圓缺陷的細(xì)分特征；

13、通過(guò)遷移學(xué)習(xí)算法將預(yù)訓(xùn)練網(wǎng)絡(luò)模型的一部分結(jié)構(gòu)被遷移至新的網(wǎng)絡(luò)結(jié)構(gòu)中；

14、對(duì)網(wǎng)絡(luò)中除遷移參數(shù)外的其它部分進(jìn)行終端精訓(xùn)練。

15、優(yōu)選的技術(shù)方案中，將daranet-53網(wǎng)絡(luò)中前兩個(gè)卷積組的訓(xùn)練參數(shù)進(jìn)行遷移。

16、優(yōu)選的技術(shù)方案中，遷移學(xué)習(xí)算法為：

17、

18、其中，表示最終得到的模型訓(xùn)練參數(shù)，為通過(guò)預(yù)訓(xùn)練得到的模型參數(shù)，、分別為遷移部分的起始層和終止層，為網(wǎng)絡(luò)中除遷移部分外需要進(jìn)行進(jìn)一步訓(xùn)練的參數(shù)。

19、本發(fā)明還公開(kāi)了一種用于igp處理單元的晶圓缺陷檢測(cè)系統(tǒng)，包括：

20、晶圓圖像采集模塊，獲取晶圓圖像；

21、多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)構(gòu)建模塊，構(gòu)建多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)，使用卷積核構(gòu)成的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像不同維度特征進(jìn)行提取，引入特征金字塔結(jié)構(gòu)，通過(guò)自頂向下的路徑和橫向連接，結(jié)合不同層級(jí)的特征，實(shí)現(xiàn)多層級(jí)特征的融合與提取，在此基礎(chǔ)上通過(guò)深度森林模型，采用多粒度掃描結(jié)構(gòu)，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型提取的高維特征進(jìn)行進(jìn)一步的處理，完成晶圓缺陷特征的多維度多層級(jí)提取；

22、訓(xùn)練檢測(cè)模塊，對(duì)構(gòu)建的多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用訓(xùn)練好的多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)進(jìn)行晶圓缺陷檢測(cè)。

23、優(yōu)選的技術(shù)方案中，所述多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)的主干網(wǎng)絡(luò)為darknet-53網(wǎng)絡(luò)，圖像數(shù)據(jù)輸入darknet-53網(wǎng)絡(luò)中后，首先經(jīng)過(guò)兩個(gè)卷積層，隨后數(shù)據(jù)依次經(jīng)過(guò)5個(gè)卷積組進(jìn)行處理，在每?jī)蓚€(gè)卷積組之間卷積層，用于完成下采樣的操作，提取圖像特征數(shù)據(jù)；

24、引入特征金字塔結(jié)構(gòu)，獲取darknet-53網(wǎng)絡(luò)中的后3個(gè)卷積組的輸出特征圖，得到3個(gè)不同大小的特征圖，將深層網(wǎng)絡(luò)的特征圖通過(guò)1×1大小的卷積層，使其大小與淺層網(wǎng)絡(luò)特征圖一致，最終將這3個(gè)網(wǎng)絡(luò)層的輸出特征圖轉(zhuǎn)換為同樣大小，然后進(jìn)行堆疊融合，進(jìn)行特征金字塔處理。

25、本發(fā)明又公開(kāi)了一種igp處理單元，集成了npu神經(jīng)網(wǎng)絡(luò)處理單元、arm架構(gòu)cpu、高速存儲(chǔ)設(shè)備、多種數(shù)據(jù)傳輸接口，npu神經(jīng)網(wǎng)絡(luò)處理單元嵌入有上述任一項(xiàng)所述的用于igp處理單元的晶圓缺陷檢測(cè)方法。

26、本發(fā)明還公開(kāi)了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被執(zhí)行時(shí)實(shí)現(xiàn)上述的用于igp處理單元的晶圓缺陷檢測(cè)方法。

27、本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)為：

28、采用深度學(xué)習(xí)技術(shù)，通過(guò)引入特征金字塔、深度森林等結(jié)構(gòu)，構(gòu)建多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)，并在遷移學(xué)習(xí)算法的基礎(chǔ)上，采用多級(jí)預(yù)訓(xùn)練+末端精訓(xùn)練的模式，提高模型對(duì)晶圓缺陷的識(shí)別能力，從而達(dá)到提升用于igp處理單元的晶圓缺陷檢測(cè)準(zhǔn)確性的目的，具有廣闊的應(yīng)用市場(chǎng)空間和經(jīng)濟(jì)價(jià)值。

技術(shù)特征：

1.一種用于igp處理單元的晶圓缺陷檢測(cè)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的用于igp處理單元的晶圓缺陷檢測(cè)方法，其特征在于，所述多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)的主干網(wǎng)絡(luò)為darknet-53網(wǎng)絡(luò)，圖像數(shù)據(jù)輸入darknet-53網(wǎng)絡(luò)中后，首先經(jīng)過(guò)兩個(gè)卷積層，隨后數(shù)據(jù)依次經(jīng)過(guò)5個(gè)卷積組進(jìn)行處理，在每?jī)蓚€(gè)卷積組之間卷積層，用于完成下采樣的操作，提取圖像特征數(shù)據(jù)；

3.根據(jù)權(quán)利要求2所述的用于igp處理單元的晶圓缺陷檢測(cè)方法，其特征在于，特征金字塔處理后采用多粒度級(jí)聯(lián)森林算法，首先執(zhí)行多粒度掃描，使用不同尺寸的特征窗口對(duì)輸入的特征數(shù)據(jù)進(jìn)行掃描，生成多尺度增強(qiáng)向量；然后在級(jí)聯(lián)森林執(zhí)行階段，對(duì)生成的多尺度增強(qiáng)向量進(jìn)行逐層訓(xùn)練，預(yù)測(cè)晶圓缺陷類別分布，并將生成的類別分布向量與原始向量連接，通過(guò)級(jí)聯(lián)通道輸入到下級(jí)級(jí)聯(lián)層。

4.根據(jù)權(quán)利要求1所述的用于igp處理單元的晶圓缺陷檢測(cè)方法，其特征在于，基于多級(jí)預(yù)訓(xùn)練和末端精訓(xùn)練的模型聯(lián)合訓(xùn)練方法對(duì)構(gòu)建的多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

5.根據(jù)權(quán)利要求4所述的用于igp處理單元的晶圓缺陷檢測(cè)方法，其特征在于，將daranet-53網(wǎng)絡(luò)中前兩個(gè)卷積組的訓(xùn)練參數(shù)進(jìn)行遷移。

6.根據(jù)權(quán)利要求4所述的用于igp處理單元的晶圓缺陷檢測(cè)方法，其特征在于，遷移學(xué)習(xí)算法為：

7.一種用于igp處理單元的晶圓缺陷檢測(cè)系統(tǒng)，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的用于igp處理單元的晶圓缺陷檢測(cè)系統(tǒng)，其特征在于，所述多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)的主干網(wǎng)絡(luò)為darknet-53網(wǎng)絡(luò)，圖像數(shù)據(jù)輸入darknet-53網(wǎng)絡(luò)中后，首先經(jīng)過(guò)兩個(gè)卷積層，隨后數(shù)據(jù)依次經(jīng)過(guò)5個(gè)卷積組進(jìn)行處理，在每?jī)蓚€(gè)卷積組之間卷積層，用于完成下采樣的操作，提取圖像特征數(shù)據(jù)；

9.一種igp處理單元，集成了npu神經(jīng)網(wǎng)絡(luò)處理單元、arm架構(gòu)cpu、高速存儲(chǔ)設(shè)備、多種數(shù)據(jù)傳輸接口，其特征在于，npu神經(jīng)網(wǎng)絡(luò)處理單元嵌入有權(quán)利要求1-6任一項(xiàng)所述的用于igp處理單元的晶圓缺陷檢測(cè)方法。

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6任一項(xiàng)所述的用于igp處理單元的晶圓缺陷檢測(cè)方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種用于IGP處理單元的晶圓缺陷檢測(cè)方法、系統(tǒng)及存儲(chǔ)介質(zhì)，檢測(cè)方法包括：獲取晶圓圖像；構(gòu)建多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)，使用卷積核構(gòu)成的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像不同維度特征進(jìn)行提取，引入特征金字塔結(jié)構(gòu)，通過(guò)自頂向下的路徑和橫向連接，結(jié)合不同層級(jí)的特征，實(shí)現(xiàn)多層級(jí)特征的融合與提取，通過(guò)深度森林模型，采用多粒度掃描結(jié)構(gòu)，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型提取的高維特征進(jìn)行進(jìn)一步的處理，完成晶圓缺陷特征的多維度多層級(jí)提?。粚?duì)構(gòu)建的多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)行晶圓缺陷檢測(cè)。通過(guò)引入特征金字塔、深度森林等結(jié)構(gòu)，構(gòu)建多維度多層級(jí)的低倍率成像特征識(shí)別網(wǎng)絡(luò)，提高了晶圓缺陷的識(shí)別能力。

技術(shù)研發(fā)人員：張夏瑋,史曼蕓,王佳怡,謝志鑫,張文浩,張貴陽(yáng),吳春彪,吳健
受保護(hù)的技術(shù)使用者：常熟理工學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30