本發(fā)明涉及半導體芯片制造質(zhì)量監(jiān)控，特別是一種針對芯片內(nèi)部部件故障的旋轉(zhuǎn)目標檢測方法及系統(tǒng)。

背景技術：

1、制造半導體芯片的過程中，由于芯片制造的工藝復雜且多樣，芯片可能因為封裝技藝、環(huán)境、材料等各種因素而在內(nèi)部產(chǎn)生一些外部不可見的缺陷，這些缺陷會不同程度的影響芯片的性能。因此，芯片缺陷檢測是必不可少的部分。

2、傳統(tǒng)的芯片缺陷檢測方法通常依賴于人工查看芯片的x光照片進行篩選。這種方法不僅效率低，而且容易出現(xiàn)漏檢和誤檢的問題。相比之下，基于旋轉(zhuǎn)目標檢測的質(zhì)量檢測方法在效率和準確率上有明顯的優(yōu)勢，為芯片缺陷檢測提供了一種創(chuàng)新的解決方案。

3、隨著計算機視覺和深度學習技術的進步，旋轉(zhuǎn)目標檢測技術取得了顯著發(fā)展，具備了應用于芯片缺陷檢測的能力。相比于基于水平框的目標檢測任務，旋轉(zhuǎn)框目標檢測在處理密集重疊目標方面更具優(yōu)勢。旋轉(zhuǎn)目標檢測可以更精確地描述和定位目標的實際形狀和方向，因此在檢測大量鍵合絲等復雜結構時，旋轉(zhuǎn)目標檢測技術能夠提供更優(yōu)的效果。

4、但目前的旋轉(zhuǎn)目標檢測技術在芯片缺陷檢測領域不是很完善，存在計算復雜度高、模型泛化能力差、對缺陷的檢測不夠靈活的缺陷。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種針對芯片內(nèi)部部件故障的旋轉(zhuǎn)目標檢測方法及系統(tǒng)，能夠更精確地捕捉芯片內(nèi)部圖像的特征，提高對芯片內(nèi)部俯視圖像的檢測精度和模型的泛化能力。

2、實現(xiàn)本發(fā)明目的的技術解決方案為：

3、一種針對芯片內(nèi)部部件故障的旋轉(zhuǎn)目標檢測方法，包括以下步驟：

4、步驟1、搜集定量的x射線成像技術拍攝的芯片內(nèi)部俯視圖像；

5、步驟2、對芯片內(nèi)部俯視圖像進行標注，將所有圖像按照3:1:1的比例劃分為訓練集、驗證集和測試集；

6、步驟3、對訓練集數(shù)據(jù)進行預處理；

7、步驟4、構建以region?ofinterest?transformer為核心，以swin-tiny網(wǎng)絡為主干的旋轉(zhuǎn)目標檢測網(wǎng)絡，通過訓練集對旋轉(zhuǎn)目標檢測網(wǎng)絡迭代訓練；其中，所述swin-tiny網(wǎng)絡包括劃分模塊、線性嵌入層、多個分層的swin?transformer?block，所述劃分模塊將輸入圖像劃分為多個固定大小的圖像塊塊，所述swin?transformer?block采用局部窗口注意力機制、滑動窗口機制以及多層感知機對對圖像塊進行處理；

8、步驟5、通過驗證集、測試集的結果進行反向傳播，若旋轉(zhuǎn)目標檢測網(wǎng)絡不滿足要求，對旋轉(zhuǎn)目標檢測網(wǎng)絡參數(shù)進行調(diào)整，重復步驟4進行多次迭代訓練，否則執(zhí)行步驟6；

9、步驟6、將待預測的芯片x光俯視圖按步驟1-步驟3進行處理，將處理后的數(shù)據(jù)輸入旋轉(zhuǎn)目標檢測網(wǎng)絡，得到最終缺陷預測結果。

10、進一步地，所述步驟2包括：

11、步驟2-1，對缺陷區(qū)域以及正常區(qū)域進行主標簽和輔助標簽的分配；

12、步驟2-2，使標簽文件的格式遵循dota數(shù)據(jù)集的格式，每張子圖的標簽信息輸出為.txt文件，數(shù)據(jù)格式為旋轉(zhuǎn)框左上頂點x坐標、旋轉(zhuǎn)框左上頂點y坐標、旋轉(zhuǎn)框左下頂點x坐標、旋轉(zhuǎn)框左下頂點y坐標、旋轉(zhuǎn)框右上頂點x坐標、旋轉(zhuǎn)框右上頂點y坐標、旋轉(zhuǎn)框右下頂點x坐標、旋轉(zhuǎn)框右下頂點y坐標、旋轉(zhuǎn)框是否屬于難預測框和旋轉(zhuǎn)框預測類別。

13、進一步地，所述預處理包括隨機旋轉(zhuǎn)、擾動隨機旋轉(zhuǎn)、mixup和隨機擦除數(shù)據(jù)增強技術。

14、進一步地，所述隨機旋轉(zhuǎn)包括：將圖像沿垂直軸翻轉(zhuǎn)、將圖像沿水平軸翻轉(zhuǎn)和將圖像沿對角線翻轉(zhuǎn)。

15、進一步地，擾動隨機旋轉(zhuǎn)為：

16、x′＝cx+(x-cx)cos(θ)-(y-cy)sin(θ)

17、y′＝cy+(x-cx)sin(θ)+(y-cy)cos(θ)

18、其中，(x,y)為原始點，(x',y')為擾動隨機旋轉(zhuǎn)后新的坐標，(cx,cy)為圖像中心，θ為旋轉(zhuǎn)角度。

19、進一步地，所述劃分模塊具體包括：從圖片的左頂點開始，裁切出1024*1024的圖像塊，并逐步右移和下移起始點，直至切割完畢，每個圖像塊通過線性嵌入層投影到swintransformerblock。

20、進一步地，所述滑動窗口機制包括：通過滑動窗口不斷使起始點向右移動512像素，再次裁切出1024*1024的圖像塊，直到在水平方向上完成裁切，然后，將再將起始點向下移動512像素，重復水平方向上的裁切過程，直到圖片的整個區(qū)域都被裁切完。

21、進一步地，所述局部窗口注意力機制的注意力權重為其中，q、k為兩個矩陣，由輸入數(shù)據(jù)通過region?of?interest?transformer的全連接層變換而來，softmax()為歸一化函數(shù)，dk為鍵值對數(shù)量k的平方。

22、進一步地，所述旋轉(zhuǎn)目標檢測網(wǎng)絡的損失函數(shù)包括：

23、crossentropyloss：

24、

25、smoothl1loss：

26、

27、其中，x為網(wǎng)絡的輸出，class為目標類別，x[j]表示x的第j個分量。

28、一種針對芯片內(nèi)部部件故障的旋轉(zhuǎn)目標檢測系統(tǒng)，包括：

29、圖像采集單元，用于搜集定量的x射線成像技術拍攝的芯片內(nèi)部俯視圖像；

30、數(shù)據(jù)集構建單元，用于對芯片內(nèi)部俯視圖像進行標注，將所有圖像按照3:1:1的比例劃分為訓練集、驗證集和測試集；

31、預處理單元，用于對訓練集數(shù)據(jù)進行預處理；

32、旋轉(zhuǎn)目標檢測網(wǎng)絡構建單元，構建以region?ofinterest?transformer為核心，以swin-tiny網(wǎng)絡為主干的旋轉(zhuǎn)目標檢測網(wǎng)絡，通過訓練集對旋轉(zhuǎn)目標檢測網(wǎng)絡迭代訓練；其中，所述swin-tiny網(wǎng)絡包括劃分模塊、線性嵌入層、多個分層的swin?transformer?block，所述劃分模塊將輸入圖像劃分為多個固定大小的圖像塊塊，所述swin?transformer?block采用局部窗口注意力機制、滑動窗口機制以及多層感知機對對圖像塊進行處理；

33、驗證測試單元，通過驗證集、測試集的結果進行反向傳播，若旋轉(zhuǎn)目標檢測網(wǎng)絡不滿足要求，對旋轉(zhuǎn)目標檢測網(wǎng)絡參數(shù)進行調(diào)整；

34、檢測單元，將待預測的芯片x光俯視的預處理數(shù)據(jù)輸入旋轉(zhuǎn)目標檢測網(wǎng)絡，得到最終缺陷預測結果。

35、與現(xiàn)有技術相比，本發(fā)明的有益效果為：

36、1、采用swin-tiny作為主干網(wǎng)絡，結合改進的roi?transformer網(wǎng)絡，能夠更精確地捕捉芯片內(nèi)部圖像的特征，提高對芯片內(nèi)部俯視圖像的檢測精度；

37、2、通過隨機旋轉(zhuǎn)、擾動旋轉(zhuǎn)、mixup和隨機擦除等數(shù)據(jù)增強技術，增強了數(shù)據(jù)集的可學習性，使模型能夠更好地學習到芯片缺陷的特征，提高了模型的泛化能力；

38、3、對邊緣旋轉(zhuǎn)框進行調(diào)整，設置參數(shù)iof-thr要求切割后的旋轉(zhuǎn)框整體至少保存70％在被切割圖片中，否則舍棄此旋轉(zhuǎn)框，提高了旋轉(zhuǎn)框標注的準確性，從而提高了檢測的準確性；

39、4、局部窗口注意力機制在小塊內(nèi)計算注意力，滑動窗口機制使得不同窗口之間的信息能夠交互，從而捕捉更廣泛的特征。

40、以下內(nèi)容結合附圖，對本發(fā)明的具體實施過程進行詳細說明。