本發(fā)明涉及鋼材表面缺陷檢測(cè)，具體為一種基于fpga與mnasnet的鋼材表面缺陷識(shí)別方法。

背景技術(shù)：

1、隨著現(xiàn)代工業(yè)技術(shù)的飛速發(fā)展，鋼材作為基礎(chǔ)設(shè)施建設(shè)和工業(yè)制造的重要材料，其表面質(zhì)量對(duì)產(chǎn)品的整體性能和可靠性具有至關(guān)重要的影響。鋼材表面缺陷，如裂紋、結(jié)疤、劃痕、銹蝕等，不僅影響產(chǎn)品的美觀，還可能顯著降低其強(qiáng)度、耐腐蝕性和疲勞壽命，從而對(duì)使用安全構(gòu)成潛在威脅。因此，如何高效、準(zhǔn)確地識(shí)別鋼材表面的缺陷，成為了鋼鐵企業(yè)和科研機(jī)構(gòu)關(guān)注的焦點(diǎn)。

2、傳統(tǒng)的鋼材表面缺陷檢測(cè)方法主要包括人工目視檢測(cè)和基于機(jī)器視覺(jué)的無(wú)損檢測(cè)技術(shù)。人工目視檢測(cè)雖然靈活，但存在效率低、易疲勞、主觀性強(qiáng)等缺點(diǎn)，難以適應(yīng)現(xiàn)代工業(yè)生產(chǎn)的快速節(jié)奏和高精度要求。而傳統(tǒng)的機(jī)器視覺(jué)技術(shù)，如激光掃描和ccd檢測(cè)法，雖然在一定程度上提高了檢測(cè)效率和準(zhǔn)確性，但其設(shè)備復(fù)雜、成本高、易受環(huán)境干擾等問(wèn)題限制了其廣泛應(yīng)用。

3、近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，特別是mnasnet在圖像識(shí)別領(lǐng)域的成功應(yīng)用，為鋼材表面缺陷識(shí)別提供了全新的解決方案。mnasnet憑借其強(qiáng)大的特征提取和模式識(shí)別能力，能夠在復(fù)雜背景下準(zhǔn)確識(shí)別出鋼材表面的微小缺陷，具有檢測(cè)速度快、準(zhǔn)確率高、自動(dòng)化程度高等優(yōu)點(diǎn)。然而，基于cpu或gpu的cnn模型在處理大規(guī)模數(shù)據(jù)時(shí)，往往面臨計(jì)算資源消耗大、實(shí)時(shí)性差等問(wèn)題。

4、針對(duì)上述挑戰(zhàn)，結(jié)合現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)技術(shù)的優(yōu)勢(shì)，提出了一種基于fpga與mnasnet的鋼材表面缺陷識(shí)別方法。fpga作為一種高性能的可編程邏輯器件，具有并行處理能力強(qiáng)、功耗低、實(shí)時(shí)性好等優(yōu)點(diǎn)，能夠顯著加速mnasnet模型的計(jì)算過(guò)程。通過(guò)將mnasnet模型部署到fpga上，可以實(shí)現(xiàn)鋼材表面缺陷的實(shí)時(shí)、高效、準(zhǔn)確識(shí)別。

5、基于fpga與mnasnet的鋼材表面缺陷識(shí)別方法，首先利用mnasnet模型對(duì)大量鋼材表面缺陷圖像進(jìn)行訓(xùn)練，提取出缺陷的特征表示。然后，將訓(xùn)練好的mnasnet模型轉(zhuǎn)換為fpga可執(zhí)行的硬件描述語(yǔ)言(hdl)代碼，并通過(guò)fpga實(shí)現(xiàn)模型的并行計(jì)算。在實(shí)際應(yīng)用中，通過(guò)攝像頭或圖像采集卡實(shí)時(shí)采集鋼材表面的圖像，并將其輸入到fpga中的mnasnet模型中進(jìn)行處理。fpga利用其并行計(jì)算能力，快速完成圖像的預(yù)處理、特征提取和缺陷識(shí)別等任務(wù)，并將識(shí)別結(jié)果實(shí)時(shí)反饋給控制系統(tǒng)或操作人員。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于fpga與mnasnet的鋼材表面缺陷識(shí)別方法，旨在提高工業(yè)檢測(cè)的精度和效率。該方法結(jié)合fpga的并行計(jì)算能力和mnasnet的深度學(xué)習(xí)特征提取能力，實(shí)現(xiàn)了鋼材表面缺陷的實(shí)時(shí)自動(dòng)識(shí)別和分類。通過(guò)fpga硬件加速，可以處理大規(guī)模的鋼材表面圖像數(shù)據(jù)流，快速而精確地分析各種缺陷類型，包括裂紋、凹坑、氣泡等。這種集成了深度學(xué)習(xí)與硬件加速的方法，不僅提高了檢測(cè)的速度和準(zhǔn)確性，還增強(qiáng)了系統(tǒng)的可靠性和應(yīng)用范圍，適用于工業(yè)生產(chǎn)線上的實(shí)時(shí)質(zhì)量控制和缺陷分析任務(wù)的問(wèn)題。

2、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：一種基于fpga與mnasnet的鋼材表面缺陷識(shí)別方法，包括以下步驟：

3、步驟一、使用工業(yè)攝像頭實(shí)時(shí)捕獲鋼材表面的圖像；

4、步驟二、將彩色圖像轉(zhuǎn)換為灰度圖像，以減少計(jì)算量和存儲(chǔ)需求；

5、步驟三、利用中值濾波去除圖像中噪聲；

6、步驟四、在圖像處理中通過(guò)邊緣檢測(cè)識(shí)別圖像中亮度變化，并計(jì)算圖像亮度的梯度近似值來(lái)工作；

7、步驟五、在圖像處理中，通過(guò)用戶選擇圖像中的一個(gè)特定區(qū)域進(jìn)行進(jìn)一步的處理或分析；

8、步驟六、將圖像像素值歸一化到特定范圍，以適應(yīng)mnasnet模型的輸入要求；

9、步驟七、用mnasnet對(duì)處理后的圖像進(jìn)行檢測(cè)并識(shí)別，并通過(guò)fpga進(jìn)行加速。

10、優(yōu)選的，所述步驟二中灰度化公式：

11、lgray＝0.299·r+0.587·g+0.114·b

12、其中，r、g、b分別代表圖像中每個(gè)像素的紅、綠、藍(lán)分量，lgray是轉(zhuǎn)換后的灰度值。

13、優(yōu)選的，所述步驟三中的中值濾波原理公式：

14、y[n]＝median(x[n-k],...,x[n+k])

15、其中，x[n]是原始信號(hào)，y[n]是濾波后的信號(hào)，n是當(dāng)前位置，k是窗口大小的一半，median(.)函數(shù)表示取中值操作。

16、優(yōu)選的，所述步驟四中邊緣檢測(cè)的具體方式為：

17、水平方向：

18、垂直方向：

19、優(yōu)選的，所述步驟六中將圖像像素值歸一化公式：

20、

21、其中，lnom是歸一化后的像素值，i是原始像素值，lmin和lmax分別是圖像中的最小和最大像素值。

22、優(yōu)選的，所述步驟七中mnasnet對(duì)處理后的圖像進(jìn)行檢測(cè)并識(shí)別的步驟：

23、在前向傳播過(guò)程中，預(yù)處理后的圖像數(shù)據(jù)首先進(jìn)入mnasnet的輸入層，隨后通過(guò)卷積層利用深度可分離卷積技術(shù)來(lái)減少參數(shù)數(shù)量和計(jì)算量，同時(shí)保持對(duì)圖像特征的提取能力，提取出圖像的高級(jí)語(yǔ)義特征，并通過(guò)全連接層(在分類任務(wù)中常轉(zhuǎn)換為全局平均池化層以減少參數(shù))映射到預(yù)定的類別空間，輸出每個(gè)類別的置信度分?jǐn)?shù)，卷積層之后，通常會(huì)跟隨池化層，用于降低特征圖的空間維度，進(jìn)一步減少計(jì)算量并引入一定的平移不變性，在卷積和池化層之間，還可能插入非線性激活函數(shù)以增強(qiáng)網(wǎng)絡(luò)的非線性表達(dá)能力。

24、優(yōu)選的，所述卷積層是cnn中的核心組件，通過(guò)卷積運(yùn)算對(duì)輸入數(shù)據(jù)進(jìn)行特征提取。卷積運(yùn)算的目的是提取輸入數(shù)據(jù)的局部特征，卷積操作的基本公式可以表示為：

25、

26、其中，output(i,j)是輸出特征圖上位置(i,j)的值，input(i+m,j+n)是輸入特征圖上對(duì)應(yīng)位置的值，kernel(m,n)是卷積核上位置(m,n)的權(quán)重。

27、優(yōu)選的，所述池化層主要用于減少特征圖的維度，同時(shí)保留重要的特征信息，通過(guò)設(shè)定窗口在特征圖滑動(dòng)，對(duì)窗口內(nèi)的數(shù)據(jù)進(jìn)行聚合操作，從而減小特征圖的尺寸，對(duì)于池化窗口內(nèi)的每個(gè)子區(qū)域，取該區(qū)域內(nèi)的最大值作為輸出。

28、優(yōu)選的，所述全連接層將前一層的所有神經(jīng)元與當(dāng)前層的每個(gè)神經(jīng)元相連，實(shí)現(xiàn)特征的綜合和分類，公式：

29、yi＝f(∑j?wijxj+bi)

30、其中，yi是當(dāng)前層第i個(gè)神經(jīng)元的輸出，xj是前一層第j個(gè)神經(jīng)元的輸出，wij是兩層之間第i個(gè)和第j個(gè)神經(jīng)元之間的權(quán)重，bi是偏置項(xiàng)，f是激活函數(shù)。

31、本發(fā)明提供了一種基于fpga與mnasnet的鋼材表面缺陷識(shí)別方法。具備以下有益效果：

32、1、本發(fā)明創(chuàng)造性地將高效的深度學(xué)習(xí)模型mnasnet與fpga硬件平臺(tái)相結(jié)合，實(shí)現(xiàn)了鋼材表面缺陷識(shí)別的高精度與實(shí)時(shí)性。這種結(jié)合不僅發(fā)揮了mnasnet在復(fù)雜特征提取上的優(yōu)勢(shì)，還充分利用了fpga的高并行處理能力和低延遲特性，為實(shí)時(shí)質(zhì)量控制提供了新的解決方案。

33、2、本發(fā)明通過(guò)將訓(xùn)練好的mnasnet模型轉(zhuǎn)換為fpga可執(zhí)行的hdl代碼，本發(fā)明實(shí)現(xiàn)了深度學(xué)習(xí)模型從軟件到硬件的無(wú)縫轉(zhuǎn)換。這一過(guò)程不僅保留了模型的高精度，還顯著提升了處理速度和效率，使得模型能夠在實(shí)際生產(chǎn)環(huán)境中實(shí)現(xiàn)即時(shí)響應(yīng)。

34、3、本發(fā)明通過(guò)集成攝像頭或圖像采集卡等硬件設(shè)備，本發(fā)明能夠?qū)崟r(shí)捕獲鋼材表面的高清圖像，并直接在fpga中進(jìn)行圖像的預(yù)處理、特征提取和缺陷識(shí)別。這種端到端的實(shí)時(shí)處理流程極大地縮短了缺陷識(shí)別的響應(yīng)時(shí)間，為生產(chǎn)線的快速響應(yīng)和及時(shí)調(diào)整提供了可能。

35、4、本發(fā)明基于fpga的mnasnet模型在鋼材表面缺陷識(shí)別中的應(yīng)用，顯著提高了生產(chǎn)線的自動(dòng)化程度和質(zhì)量控制水平。通過(guò)即時(shí)反饋缺陷信息給控制系統(tǒng)或操作人員，可以迅速采取相應(yīng)措施，減少不良品的產(chǎn)生，提高產(chǎn)品質(zhì)量和生產(chǎn)效率。

36、5、本發(fā)明fpga的可重配置性使得本發(fā)明的系統(tǒng)具有良好的靈活性和可擴(kuò)展性。隨著鋼材表面缺陷識(shí)別需求的不斷變化和深度學(xué)習(xí)模型的不斷優(yōu)化，可以通過(guò)重新配置fpga來(lái)適應(yīng)新的模型和算法，無(wú)需更換硬件設(shè)備，降低了升級(jí)成本和維護(hù)難度。

37、6、本發(fā)明將深度學(xué)習(xí)技術(shù)與fpga硬件平臺(tái)相結(jié)合，實(shí)現(xiàn)了鋼材表面缺陷識(shí)別的高效、精準(zhǔn)和實(shí)時(shí)處理，為鋼材生產(chǎn)過(guò)程中的質(zhì)量控制提供了新的思路和方法。