本發(fā)明涉及一種基于卷積神經(jīng)模型實(shí)現(xiàn)鍵合銀絲的數(shù)據(jù)管理方法及系統(tǒng)，屬于鍵合銀絲。

背景技術(shù)：

1、鍵合銀絲是電子封裝領(lǐng)域中廣泛應(yīng)用的關(guān)鍵材料，在現(xiàn)代電子制造產(chǎn)業(yè)高速發(fā)展的背景下，電子產(chǎn)品功能日益復(fù)雜且對(duì)性能要求不斷提高，鍵合銀絲的質(zhì)量和生產(chǎn)效率對(duì)于保障電子產(chǎn)品的可靠性和性能至關(guān)重要。因此，對(duì)鍵合銀絲的生產(chǎn)過(guò)程進(jìn)行高效、精準(zhǔn)的數(shù)據(jù)管理成為亟待解決的問(wèn)題。

2、現(xiàn)有的鍵合銀絲數(shù)據(jù)管理方法多是基于傳統(tǒng)的數(shù)據(jù)分析和處理手段，首先，技術(shù)人員會(huì)收集生產(chǎn)過(guò)程中的各種數(shù)據(jù)，包括鍵合銀絲的成像數(shù)據(jù)（如通過(guò)顯微鏡獲取的微觀結(jié)構(gòu)圖像和宏觀外觀圖像）以及鍵合制程數(shù)據(jù)（如溫度、壓力、時(shí)間等參數(shù)），然后，利用簡(jiǎn)單的統(tǒng)計(jì)分析方法對(duì)這些數(shù)據(jù)進(jìn)行整理和初步分析，根據(jù)經(jīng)驗(yàn)和預(yù)設(shè)的規(guī)則，對(duì)數(shù)據(jù)進(jìn)行篩選和分類，提取出一些認(rèn)為對(duì)質(zhì)量有影響的關(guān)鍵數(shù)據(jù)特征，基于這些分析結(jié)果，編寫相應(yīng)的程序或制定控制策略來(lái)指導(dǎo)生產(chǎn)過(guò)程和質(zhì)量控制，然而，這種方法主要依賴于人工經(jīng)驗(yàn)和對(duì)有限數(shù)據(jù)特征的簡(jiǎn)單處理，對(duì)于復(fù)雜的鍵合銀絲生產(chǎn)過(guò)程中大量的非線性、高維數(shù)據(jù)無(wú)法進(jìn)行有效的挖掘和利用，而且，隨著生產(chǎn)環(huán)境和工藝的微小變化，這些基于固定規(guī)則的數(shù)據(jù)管理方法很難及時(shí)適應(yīng)，導(dǎo)致在評(píng)測(cè)鍵合銀絲質(zhì)量和優(yōu)化生產(chǎn)過(guò)程時(shí)精度較低，無(wú)法滿足現(xiàn)代電子制造對(duì)鍵合銀絲高質(zhì)量、高穩(wěn)定性生產(chǎn)的要求，因此需要一種能夠提高鍵合銀絲的數(shù)據(jù)管理效率的方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于卷積神經(jīng)模型實(shí)現(xiàn)鍵合銀絲的數(shù)據(jù)管理方法及系統(tǒng)，其主要目的在于解決鍵合銀絲的數(shù)據(jù)管理效率低的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供的一種基于卷積神經(jīng)模型實(shí)現(xiàn)鍵合銀絲的數(shù)據(jù)管理方法，包括：

3、獲取鍵合銀絲對(duì)應(yīng)的銀絲成像數(shù)據(jù)和鍵合制程數(shù)據(jù)，分別對(duì)所述銀絲成像數(shù)據(jù)和所述鍵合制程數(shù)據(jù)進(jìn)行質(zhì)量升華處理，得到目標(biāo)成像數(shù)據(jù)和目標(biāo)制程數(shù)據(jù)，對(duì)所述目標(biāo)成像數(shù)據(jù)進(jìn)行分揀處理，得到微觀拓?fù)涑上窈秃暧^體態(tài)成像；

4、分別將所述微觀拓?fù)涑上?、所述宏觀體態(tài)成像及所述目標(biāo)制程數(shù)據(jù)作為輸入數(shù)據(jù)輸入到預(yù)先訓(xùn)練好的卷積神經(jīng)模型中，利用所述卷積神經(jīng)模型中的變形卷積層分別對(duì)所述微觀拓?fù)涑上窈退龊暧^體態(tài)成像進(jìn)行特征挖掘，得到微觀拓?fù)涮卣骱秃暧^輪廓特征，利用所述卷積神經(jīng)模型中的雙線性融合層對(duì)所述微觀拓?fù)涮卣骱退龊暧^輪廓特征進(jìn)行特征耦合處理，得到高階耦合特征；

5、查詢所述鍵合銀絲對(duì)應(yīng)的制程指標(biāo)，根據(jù)所述目標(biāo)制程數(shù)據(jù)，計(jì)算所述制程指標(biāo)對(duì)應(yīng)的指標(biāo)置信梯度，結(jié)合所述指標(biāo)置信梯度和所述高階耦合特征，分析所述鍵合銀絲對(duì)應(yīng)的銀絲質(zhì)效；

6、在所述銀絲質(zhì)效不滿足預(yù)設(shè)質(zhì)效時(shí)，基于所述指標(biāo)置信梯度和所述高階耦合特征，分析所述鍵合銀絲對(duì)應(yīng)的異常關(guān)鍵要素，基于所述異常關(guān)鍵要素，執(zhí)行對(duì)所述鍵合銀絲的異常處理，得到處理結(jié)果。

7、可選地，所述分別對(duì)所述銀絲成像數(shù)據(jù)和所述鍵合制程數(shù)據(jù)進(jìn)行質(zhì)量升華處理，得到目標(biāo)成像數(shù)據(jù)和目標(biāo)制程數(shù)據(jù)，包括：

8、對(duì)所述鍵合制程數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗處理，得到清洗制程數(shù)據(jù)；

9、對(duì)所述銀絲成像數(shù)據(jù)進(jìn)行視覺(jué)參數(shù)優(yōu)化，得到優(yōu)化成像數(shù)據(jù)；

10、對(duì)所述清洗制程數(shù)據(jù)進(jìn)行數(shù)據(jù)修復(fù)處理，得到修復(fù)制程數(shù)據(jù)；

11、對(duì)所述優(yōu)化成像數(shù)據(jù)進(jìn)行圖像增益處理，得到增益成像數(shù)據(jù)；

12、分別對(duì)所述修復(fù)制程數(shù)據(jù)和所述增益成像數(shù)據(jù)進(jìn)行數(shù)據(jù)篩選處理，得到目標(biāo)成像數(shù)據(jù)和目標(biāo)制程數(shù)據(jù)。

13、可選地，所述對(duì)所述優(yōu)化成像數(shù)據(jù)進(jìn)行圖像增益處理，得到增益成像數(shù)據(jù)，包括：

14、對(duì)所述優(yōu)化成像數(shù)據(jù)進(jìn)行濾波處理，得到濾波成像數(shù)據(jù)；

15、識(shí)別所述濾波成像數(shù)據(jù)對(duì)應(yīng)的成像輪廓，分析所述成像輪廓對(duì)應(yīng)的輪廓完整性；

16、根據(jù)所述輪廓完整性，對(duì)所述濾波成像數(shù)據(jù)進(jìn)行輪廓擬合處理，得到擬合成像數(shù)據(jù)；

17、對(duì)所述擬合成像數(shù)據(jù)進(jìn)行銳化增強(qiáng)，得到增益成像數(shù)據(jù)。

18、可選地，所述對(duì)所述目標(biāo)成像數(shù)據(jù)進(jìn)行分揀處理，得到微觀拓?fù)涑上窈秃暧^體態(tài)成像，包括：

19、識(shí)別所述目標(biāo)成像數(shù)據(jù)中每個(gè)圖像對(duì)應(yīng)的圖像像素?cái)?shù)，基于所述圖像像素?cái)?shù)，設(shè)置所述目標(biāo)成像數(shù)據(jù)中每個(gè)圖像對(duì)應(yīng)的像素矩陣；

20、對(duì)所述目標(biāo)成像數(shù)據(jù)中每個(gè)圖像進(jìn)行灰度處理，得到目標(biāo)灰度圖像；

21、基于所述像素矩陣，計(jì)算所述目標(biāo)灰度圖像對(duì)應(yīng)的水平灰度變率和垂直灰度變率；

22、結(jié)合所述水平灰度變率和所述垂直灰度變率，可以通過(guò)下述公式計(jì)算所述目標(biāo)灰度圖像對(duì)應(yīng)的灰度梯度幅值和梯度方向角：

23、；

24、其中，a表示目標(biāo)灰度圖像對(duì)應(yīng)的灰度梯度幅值，表示目標(biāo)灰度圖像對(duì)應(yīng)的梯度方向角，表示水平灰度變率，表示垂直灰度變率，表示反正切函數(shù)；

25、基于所述灰度梯度幅值和所述梯度方向角，對(duì)所述目標(biāo)成像數(shù)據(jù)進(jìn)行分揀處理，得到微觀拓?fù)涑上窈秃暧^體態(tài)成像。

26、可選地，所述利用所述卷積神經(jīng)模型中的變形卷積層分別對(duì)所述微觀拓?fù)涑上窈退龊暧^體態(tài)成像進(jìn)行特征挖掘，得到微觀拓?fù)涮卣骱秃暧^輪廓特征，包括：

27、識(shí)別所述微觀拓?fù)涑上裰械耐負(fù)浼y理，計(jì)算所述拓?fù)浼y理對(duì)應(yīng)的紋理復(fù)雜度；

28、檢測(cè)所述宏觀體態(tài)成像中的體態(tài)邊界，計(jì)算所述體態(tài)邊界對(duì)應(yīng)的邊界曲變率；

29、結(jié)合所述紋理復(fù)雜度和所述邊界曲變率，設(shè)置所述變形卷積層的卷積尺度參數(shù)；

30、根據(jù)所述卷積尺度參數(shù)，利用所述變形卷積層分別對(duì)所述微觀拓?fù)涑上窈退龊暧^體態(tài)成像進(jìn)行特征挖掘，得到微觀拓?fù)涮卣骱秃暧^輪廓特征。

31、可選地，所述計(jì)算所述拓?fù)浼y理對(duì)應(yīng)的紋理復(fù)雜度，包括：

32、識(shí)別所述拓?fù)浼y理對(duì)應(yīng)的紋理灰度值和灰度級(jí)別，根據(jù)所述紋理灰度值，構(gòu)建所述拓?fù)浼y理對(duì)應(yīng)的紋理灰度共生矩陣；

33、基于所述紋理灰度共生矩陣，統(tǒng)計(jì)所述紋理灰度值對(duì)應(yīng)的矩陣出現(xiàn)頻次；

34、結(jié)合所述灰度級(jí)別和所述矩陣出現(xiàn)頻次，通過(guò)下述公式計(jì)算所述拓?fù)浼y理對(duì)應(yīng)的紋理復(fù)雜度：

35、；

36、其中，d表示拓?fù)浼y理對(duì)應(yīng)的紋理復(fù)雜度，表示坐標(biāo)為的紋理灰度值對(duì)應(yīng)的矩陣出現(xiàn)頻次，i和j表示紋理灰度值對(duì)應(yīng)的坐標(biāo)，e表示灰度級(jí)別。

37、可選地，所述計(jì)算所述體態(tài)邊界對(duì)應(yīng)的邊界曲變率，包括：

38、檢測(cè)所述體態(tài)邊界中的邊界像素點(diǎn)，并確定所述邊界像素點(diǎn)對(duì)應(yīng)的像素坐標(biāo)值；

39、根據(jù)所述像素坐標(biāo)值，可以通過(guò)下述公式計(jì)算所述邊界像素點(diǎn)對(duì)應(yīng)的局部曲變率：

40、；

41、其中，表示邊界像素點(diǎn)對(duì)應(yīng)的局部曲變率，和表示邊界像素點(diǎn)中第d個(gè)像素點(diǎn)對(duì)應(yīng)的像素坐標(biāo)值，和表示邊界像素點(diǎn)中第d-1個(gè)像素點(diǎn)對(duì)應(yīng)的像素坐標(biāo)值，和表示邊界像素點(diǎn)中第d+1個(gè)像素點(diǎn)對(duì)應(yīng)的像素坐標(biāo)值；

42、根據(jù)所述局部曲變率，計(jì)算所述體態(tài)邊界對(duì)應(yīng)的邊界曲變率。

43、可選地，利用所述卷積神經(jīng)模型中的雙線性融合層對(duì)所述微觀拓?fù)涮卣骱退龊暧^輪廓特征進(jìn)行特征耦合處理，得到高階耦合特征，包括：

44、利用所述雙線性融合層中的池化函數(shù)分別對(duì)所述微觀拓?fù)涮卣骱退龊暧^輪廓特征進(jìn)行特征降維處理，得到降維拓?fù)涮卣骱徒稻S輪廓特征；

45、利用所述雙線性融合層中的向量轉(zhuǎn)化層分別對(duì)所述降維拓?fù)涮卣骱退鼋稻S輪廓特征進(jìn)行向量化處理，得到降維拓?fù)涮卣飨蛄亢徒稻S輪廓特征向量；

46、利用所述雙線性融合層中的雙線性函數(shù)計(jì)算所述降維拓?fù)涮卣飨蛄亢退鼋稻S輪廓特征向量之間的雙線性外積；

47、根據(jù)所述雙線性外積，構(gòu)建所述降維拓?fù)涮卣飨蛄亢退鼋稻S輪廓特征向量對(duì)應(yīng)的雙線性矩陣；

48、根據(jù)所述雙線性矩陣，確定所述降維拓?fù)涮卣飨蛄亢退鼋稻S輪廓特征向量對(duì)應(yīng)的高階耦合特征向量，對(duì)所述高階耦合特征向量進(jìn)行特征化處理，得到高階耦合特征。

49、可選地，所述根據(jù)所述目標(biāo)制程數(shù)據(jù)，計(jì)算所述制程指標(biāo)對(duì)應(yīng)的指標(biāo)置信梯度，包括：

50、從所述目標(biāo)制程數(shù)據(jù)中提取出所述制程指標(biāo)對(duì)應(yīng)的指標(biāo)制程數(shù)據(jù)；

51、對(duì)所述指標(biāo)制程數(shù)據(jù)進(jìn)行量化處理，得到指標(biāo)制程量化值，并計(jì)算所述指標(biāo)制程量化值對(duì)應(yīng)的權(quán)重系數(shù)；

52、結(jié)合所述權(quán)重系數(shù)和所述指標(biāo)制程量化值，通過(guò)下述公式計(jì)算所述制程指標(biāo)對(duì)應(yīng)的指標(biāo)置信梯度：

53、；

54、其中，g表示制程指標(biāo)對(duì)應(yīng)的指標(biāo)置信梯度，表示指標(biāo)制程量化值中第e個(gè)量化值對(duì)應(yīng)的權(quán)重系數(shù)，表示第e個(gè)指標(biāo)制程量化值，e表示指標(biāo)制程量化值對(duì)應(yīng)的序列號(hào)，n表示指標(biāo)制程量化值的數(shù)量，表示參考量化值，表示衰減因子，表示指標(biāo)制程量化值中第n個(gè)量化值對(duì)應(yīng)的時(shí)間點(diǎn)，表示指標(biāo)制程量化值中第e個(gè)量化值對(duì)應(yīng)的時(shí)間點(diǎn)。

55、基于卷積神經(jīng)模型實(shí)現(xiàn)鍵合銀絲的數(shù)據(jù)管理系統(tǒng)，所述系統(tǒng)包括：

56、數(shù)據(jù)處理模塊，用于獲取鍵合銀絲對(duì)應(yīng)的銀絲成像數(shù)據(jù)和鍵合制程數(shù)據(jù)，分別對(duì)所述銀絲成像數(shù)據(jù)和所述鍵合制程數(shù)據(jù)進(jìn)行質(zhì)量升華處理，得到目標(biāo)成像數(shù)據(jù)和目標(biāo)制程數(shù)據(jù)，對(duì)所述目標(biāo)成像數(shù)據(jù)進(jìn)行分揀處理，得到微觀拓?fù)涑上窈秃暧^體態(tài)成像；

57、特征耦合模塊，用于分別將所述微觀拓?fù)涑上?、所述宏觀體態(tài)成像及所述目標(biāo)制程數(shù)據(jù)作為輸入數(shù)據(jù)輸入到預(yù)先訓(xùn)練好的卷積神經(jīng)模型中，利用所述卷積神經(jīng)模型中的變形卷積層分別對(duì)所述微觀拓?fù)涑上窈退龊暧^體態(tài)成像進(jìn)行特征挖掘，得到微觀拓?fù)涮卣骱秃暧^輪廓特征，利用所述卷積神經(jīng)模型中的雙線性融合層對(duì)所述微觀拓?fù)涮卣骱退龊暧^輪廓特征進(jìn)行特征耦合處理，得到高階耦合特征；

58、銀絲質(zhì)效分析模塊，用于查詢所述鍵合銀絲對(duì)應(yīng)的制程指標(biāo)，根據(jù)所述目標(biāo)制程數(shù)據(jù)，計(jì)算所述制程指標(biāo)對(duì)應(yīng)的指標(biāo)置信梯度，結(jié)合所述指標(biāo)置信梯度和所述高階耦合特征，分析所述鍵合銀絲對(duì)應(yīng)的銀絲質(zhì)效；

59、異常處理模塊，用于在所述銀絲質(zhì)效不滿足預(yù)設(shè)質(zhì)效時(shí)，基于所述指標(biāo)置信梯度和所述高階耦合特征，分析所述鍵合銀絲對(duì)應(yīng)的異常關(guān)鍵要素，基于所述異常關(guān)鍵要素，執(zhí)行對(duì)所述鍵合銀絲的異常處理，得到處理結(jié)果。

60、相比于背景技術(shù)所述問(wèn)題，本發(fā)明通過(guò)分別對(duì)所述銀絲成像數(shù)據(jù)和所述鍵合制程數(shù)據(jù)進(jìn)行質(zhì)量升華處理，可以去除噪聲干擾以及錯(cuò)誤的數(shù)據(jù)，以提高所述銀絲成像數(shù)據(jù)和所述鍵合制程數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)質(zhì)量，為提高后續(xù)鍵合銀絲質(zhì)量的分析準(zhǔn)確性奠定了基礎(chǔ)，本發(fā)明通過(guò)利用所述卷積神經(jīng)模型中的變形卷積層分別對(duì)所述微觀拓?fù)涑上窈退龊暧^體態(tài)成像進(jìn)行特征挖掘，能夠自適應(yīng)地捕捉成像中不同尺度的復(fù)雜形狀變化和細(xì)節(jié)特征，有效提升對(duì)微觀和宏觀特征的表征能力，為后續(xù)更精準(zhǔn)的分析和應(yīng)用提供更多的特征信息，本發(fā)明根據(jù)所述目標(biāo)制程數(shù)據(jù)，計(jì)算所述制程指標(biāo)對(duì)應(yīng)的指標(biāo)置信梯度，可以通過(guò)所述指標(biāo)置信梯度了解所述制程指標(biāo)對(duì)應(yīng)的可靠程度，進(jìn)而提高后續(xù)所述鍵合銀絲對(duì)應(yīng)的銀絲質(zhì)效的分析準(zhǔn)確性，需要了解的是，在所述銀絲質(zhì)效不滿足預(yù)設(shè)質(zhì)效時(shí)，表示所述鍵合銀絲的質(zhì)量不達(dá)標(biāo)，則本發(fā)明通過(guò)基于所述指標(biāo)置信梯度和所述高階耦合特征，分析所述鍵合銀絲對(duì)應(yīng)的異常關(guān)鍵要素，進(jìn)而得到所述鍵合銀絲的異常影響原因，進(jìn)而為后續(xù)所述鍵合銀絲的異常處理提供了依據(jù)。因此本發(fā)明提出的基于卷積神經(jīng)模型實(shí)現(xiàn)鍵合銀絲的數(shù)據(jù)管理方法及系統(tǒng)，以此提高鍵合銀絲的數(shù)據(jù)管理效率。