本發(fā)明涉及計(jì)算機(jī)視覺的領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的特種紙張纖維識(shí)別方法。

背景技術(shù)：

1、隨著我國經(jīng)濟(jì)社會(huì)發(fā)展和工業(yè)化進(jìn)程的推進(jìn)，紙?jiān)谏a(chǎn)生活中的使用量在不斷增加，使用范圍上囊括了文化、教育、科技、國民經(jīng)濟(jì)和工農(nóng)業(yè)生產(chǎn)等眾多領(lǐng)域，而特種紙是其中最為重要的一個(gè)品類。目前特種紙?jiān)诂F(xiàn)代生產(chǎn)生活已經(jīng)成為了一種必不可少的產(chǎn)品，其在生產(chǎn)過程中通常需要經(jīng)過大量的質(zhì)量檢測以保證生產(chǎn)出的紙能達(dá)到預(yù)期的要求。特種紙的質(zhì)量問題會(huì)直接影響產(chǎn)品的合格率，而且特種紙還廣泛使用在各生產(chǎn)行業(yè)，會(huì)對(duì)最終產(chǎn)品的質(zhì)量造成較大影響。通過肉眼進(jìn)行特種紙的質(zhì)量檢測不僅帶有一定的主觀性，而且效率不高；而通過傳統(tǒng)機(jī)械裝置進(jìn)行破壞性測試的效率同樣較低。

2、而在特種紙的特性研究中，紙張的纖維特性被發(fā)現(xiàn)是特種紙質(zhì)量監(jiān)測的一個(gè)重要分支，紙張纖維的形態(tài)以及整體的分布決定了生產(chǎn)出的特種紙的強(qiáng)度等特性，通過對(duì)特種紙的纖維進(jìn)行檢測識(shí)別可以判斷特種紙的質(zhì)量。

3、gunnar等人總結(jié)了超聲波測量技術(shù)在紙張纖維上的應(yīng)用(超聲波測量技術(shù)在紙和紙板生產(chǎn)中的應(yīng)用)，然而這種方法存在成本過高且不能直觀體現(xiàn)纖維細(xì)節(jié)的缺點(diǎn)。在圖像領(lǐng)域也存在針對(duì)紙張纖維檢測的研究，馬磊(基于機(jī)器視覺的紙漿纖維形態(tài)參數(shù)測量的研究)通過細(xì)化算法、形態(tài)學(xué)處理等方法對(duì)纖維長度寬度進(jìn)行測量，而這類傳統(tǒng)算法依賴于數(shù)據(jù)的預(yù)處理和前后一致，在泛化性能上表現(xiàn)較差。

4、因此，有必要針對(duì)以上方法不足，開發(fā)出一種成本較低、適用性好、識(shí)別準(zhǔn)確率高的特種紙張纖維識(shí)別方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)以上指出的不足，提出了一種基于深度學(xué)習(xí)的特種紙張纖維識(shí)別方法，實(shí)現(xiàn)在特種紙張生產(chǎn)之后進(jìn)行質(zhì)量檢測的過程中，可以智能地通過特種紙表面的圖像，對(duì)其纖維進(jìn)行識(shí)別，進(jìn)而對(duì)纖維的各特性進(jìn)行統(tǒng)計(jì)分析，且具有高準(zhǔn)確率、高效率等優(yōu)點(diǎn)，拓展了深度學(xué)習(xí)技術(shù)在纖維檢測場景的應(yīng)用。

2、本發(fā)明至少通過如下技術(shù)方案之一實(shí)現(xiàn)。

3、一種基于深度學(xué)習(xí)的特種紙張纖維識(shí)別方法，包含以下步驟：

4、通過顯微鏡與攝像頭拍攝特種紙張表面纖維的圖片，對(duì)原始圖片數(shù)據(jù)進(jìn)行采樣，并將圖片進(jìn)行切割，得到原始纖維圖片數(shù)據(jù)；

5、在原始纖維圖片數(shù)據(jù)中，采用旋轉(zhuǎn)有向包圍框?qū)D片中的纖維對(duì)象標(biāo)記出形狀和位置信息與類別信息；

6、基于原始纖維圖片數(shù)據(jù)和旋轉(zhuǎn)目標(biāo)框的標(biāo)注信息，構(gòu)建特種紙張纖維目標(biāo)檢測數(shù)據(jù)集，劃分出訓(xùn)練集、驗(yàn)證集、測試集；

7、為特種紙張纖維目標(biāo)檢測數(shù)據(jù)集的訓(xùn)練集中的圖片進(jìn)行數(shù)據(jù)增強(qiáng)；

8、構(gòu)建特種紙張纖維目標(biāo)檢測網(wǎng)絡(luò)模型，基于目標(biāo)的旋轉(zhuǎn)特性，對(duì)模型進(jìn)行結(jié)構(gòu)上的調(diào)整和優(yōu)化；

9、設(shè)定訓(xùn)練參數(shù)和配置，使用訓(xùn)練集和測試集訓(xùn)練模型，經(jīng)過多輪訓(xùn)練，獲得最佳的模型參數(shù)，調(diào)用網(wǎng)絡(luò)模型，對(duì)測試圖片數(shù)據(jù)進(jìn)行檢測；

10、對(duì)模型檢測結(jié)果進(jìn)行分析，獲取特種紙張纖維整體分布和特性數(shù)據(jù)。

11、進(jìn)一步地，特種紙張表面纖維圖像數(shù)據(jù)通過國家造紙實(shí)驗(yàn)室采用低倍顯微鏡以及專業(yè)攝像頭對(duì)生產(chǎn)的特種紙樣本進(jìn)行拍攝采樣。紙張纖維存在著微小特性，因此少量的特種紙張圖片樣本擁有著大量的待檢測纖維目標(biāo)對(duì)象，數(shù)據(jù)的充足性得到保證。此外，由于獲取到的圖像數(shù)據(jù)分辨率過高，在構(gòu)建特種紙纖維檢測數(shù)據(jù)集前需要通過切割與縮放等方法將大圖片分成數(shù)據(jù)集中的小圖片。切割時(shí)保留一定的重疊區(qū)域，以增強(qiáng)數(shù)據(jù)并保留目標(biāo)的完整性，從而提高訓(xùn)練出的模型精度。

12、進(jìn)一步地，對(duì)原始圖片數(shù)據(jù)進(jìn)行采樣，包括：

13、采集到高分辨率圖像后，對(duì)其進(jìn)行裁剪以獲得模型適合的分辨率的圖像過程中，首先確定裁剪窗口的大小，再據(jù)此確定裁剪窗口在移動(dòng)時(shí)要保留的重疊區(qū)域的大小，最后在整張圖片上循環(huán)使用指定的步長在圖像上滑動(dòng)裁剪窗口。

14、進(jìn)一步地，在得到合適的圖片數(shù)據(jù)后，需要對(duì)圖片中的所有纖維對(duì)象進(jìn)行標(biāo)注，即標(biāo)出纖維的位置以及類型。為了更加精確地表示出纖維對(duì)象，在圖像標(biāo)注時(shí)采用了有向目標(biāo)框進(jìn)行標(biāo)記。采用旋轉(zhuǎn)有向包圍框?qū)D片中的纖維對(duì)象標(biāo)記出形狀和位置信息與類別信息，包括：

15、obb＝{xc,yc,w,h,a}

16、其中xc,yc分別是目標(biāo)框中心點(diǎn)的橫縱坐標(biāo)，w,h分別是目標(biāo)框的寬和高，a是框相對(duì)于水平軸的旋轉(zhuǎn)角度。有向目標(biāo)框即通過描述物體的形狀和方向，從而精確表示出目標(biāo)的實(shí)際邊界。

17、進(jìn)一步地，將經(jīng)過清洗以及標(biāo)注的數(shù)據(jù)集按照訓(xùn)練集、驗(yàn)證集、測試集以8：1:1的比例劃分，劃分過程中采用最簡單的隨機(jī)劃分法，適用于當(dāng)前數(shù)據(jù)均勻的情況。

18、進(jìn)一步地，對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)，包括：

19、對(duì)訓(xùn)練集每一張圖片進(jìn)行數(shù)據(jù)增強(qiáng)，包括調(diào)整亮度、添加高斯噪聲、調(diào)整對(duì)比度、旋轉(zhuǎn)角度、垂直與水平翻轉(zhuǎn)、平移與剪切等方法，人為增加了訓(xùn)練數(shù)據(jù)多樣性，以此提高訓(xùn)練模型的泛化能力，減少過擬合，并提高模型在未見數(shù)據(jù)上的表現(xiàn)。

20、進(jìn)一步地，所述特種紙張纖維目標(biāo)檢測網(wǎng)絡(luò)模型是基于faster-rcnn的兩階段目標(biāo)檢測模型，在此基礎(chǔ)上為兩個(gè)階段都引入角度回歸參數(shù)，使得模型能夠檢測出旋轉(zhuǎn)的帶角度的目標(biāo)框；網(wǎng)絡(luò)模型的骨干網(wǎng)絡(luò)采用殘差網(wǎng)絡(luò)resnet50結(jié)構(gòu)，得到的特征圖采用特征金字塔網(wǎng)絡(luò)fpn進(jìn)行特征融合。

21、所述特種紙張纖維目標(biāo)檢測網(wǎng)絡(luò)模型包括：

22、進(jìn)一步地，一階段的rpn網(wǎng)絡(luò)中實(shí)現(xiàn)對(duì)于旋轉(zhuǎn)目標(biāo)的表示和網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)，在第一次回歸旋轉(zhuǎn)目標(biāo)框時(shí)，不直接回歸角度而是包含六個(gè)參數(shù)的中點(diǎn)偏移表示法表示的旋轉(zhuǎn)目標(biāo)框：

23、δx＝(x-xa)/xa,δy＝(y-ya)/ya

24、δw＝log(w/wa),δh＝log(h/ha)

25、δα＝(x'-x)/w,δβ＝(y'-y)/h

26、其中δ為網(wǎng)絡(luò)需要學(xué)習(xí)的映射，x,y,w,h為網(wǎng)絡(luò)輸出的旋轉(zhuǎn)外接框的中心點(diǎn)橫縱坐標(biāo)，w、h分別是目標(biāo)框的寬和高，xa,ya,wa,ha則是對(duì)應(yīng)的錨框的橫縱坐標(biāo)和寬高，α,β為目標(biāo)框相對(duì)于其外接框的中點(diǎn)偏移量，由x',y'即旋轉(zhuǎn)框頂點(diǎn)的橫縱坐標(biāo)求得；通過這種間接表示旋轉(zhuǎn)目標(biāo)框的方法能夠加快訓(xùn)練收斂并提高精度，對(duì)應(yīng)六參數(shù)的中點(diǎn)偏移法，同時(shí)對(duì)檢測模型的回歸結(jié)構(gòu)進(jìn)行一定的改進(jìn)優(yōu)化。

27、中點(diǎn)偏移法通過構(gòu)造有向目標(biāo)框的外接框，利用外接框中點(diǎn)和有向框頂點(diǎn)的偏移進(jìn)行編碼作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)，網(wǎng)絡(luò)預(yù)測值同樣的編碼方式進(jìn)行解碼得出有向邊界框。通過這種方式回歸一個(gè)寬松的目標(biāo)框，使得模型在訓(xùn)練目標(biāo)時(shí)能夠得到更高的匹配度，從而增強(qiáng)訓(xùn)練效果，提高模型精度。

28、進(jìn)一步地，所述特種紙張纖維目標(biāo)檢測網(wǎng)絡(luò)模型中，兩個(gè)階段使用到的損失函數(shù)分別為交叉熵?fù)p失和平滑l1損失：

29、

30、其中為交叉熵?fù)p失，為平滑l1損失，為預(yù)測向量，y為實(shí)際向量，yk、為第k個(gè)預(yù)測值和實(shí)際值，k為預(yù)測值數(shù)量。

31、進(jìn)一步地，在訓(xùn)練前設(shè)定訓(xùn)練參數(shù)和配置，包括設(shè)定epoch、batch?size、學(xué)習(xí)率等訓(xùn)練參數(shù)，并使用adam優(yōu)化器，進(jìn)行大量的多輪訓(xùn)練和測試驗(yàn)證，得出纖維檢測效果最好的網(wǎng)絡(luò)模型，模型的參數(shù)文件和模型在驗(yàn)證集上的推理結(jié)果，根據(jù)驗(yàn)證結(jié)果判斷模型的有效性。

32、進(jìn)一步地，調(diào)用網(wǎng)絡(luò)模型，對(duì)測試集進(jìn)行測試，使用平均準(zhǔn)確率ap和召回率recall作為模型評(píng)估標(biāo)準(zhǔn)，驗(yàn)證模型性能。構(gòu)建檢測模型并加載參數(shù)文件，對(duì)測試數(shù)據(jù)進(jìn)行檢測實(shí)驗(yàn)，使用平均準(zhǔn)確率(average?precision)和召回率(recall)作為評(píng)估標(biāo)準(zhǔn)：

33、

34、其中tp為正確識(shí)別的正樣本，fp為錯(cuò)誤識(shí)別的正樣本，fn為未識(shí)別出的正樣本。而平均準(zhǔn)確率將準(zhǔn)確率在不同召回率水平上進(jìn)行平均計(jì)算，全面地評(píng)價(jià)了目標(biāo)檢測模型的精度。通過檢測結(jié)果計(jì)算出平均準(zhǔn)確率和召回率這兩個(gè)標(biāo)準(zhǔn)，有效驗(yàn)證模型性能。

35、進(jìn)一步地，得出纖維檢測結(jié)果后，統(tǒng)計(jì)檢測纖維數(shù)，計(jì)算紙張中纖維的密度；統(tǒng)計(jì)檢測纖維的角度，能得出紙張整體的纖維走向；分析檢測到的纖維圖像得出纖維的長度和粗細(xì)，最后以此分析特種紙的質(zhì)量。

36、本發(fā)明與現(xiàn)有技術(shù)相比，其有益效果在于：

37、1.本發(fā)明提出了通過基于深度學(xué)習(xí)的目標(biāo)檢測網(wǎng)絡(luò)模型進(jìn)行特種紙張纖維檢測的方法，將卷積神經(jīng)網(wǎng)絡(luò)與目標(biāo)檢測算法用于紙張纖維檢測，與傳統(tǒng)圖像算法相比，適用性強(qiáng)，準(zhǔn)確率高，有著極強(qiáng)的可靠穩(wěn)定性，且操作簡單，便于使用，提高了生產(chǎn)效率。

38、2.本發(fā)明提出將有向目標(biāo)檢測用于纖維目標(biāo)的檢測。針對(duì)具有任意方向且細(xì)長特性的纖維，采用旋轉(zhuǎn)的目標(biāo)框表示纖維對(duì)象，并修改對(duì)應(yīng)的網(wǎng)絡(luò)模型使其能夠?qū)W習(xí)目標(biāo)的角度參數(shù)，使得模型能夠得到更精確的檢測結(jié)果。

39、3.本發(fā)明在rpn網(wǎng)絡(luò)中使用了中點(diǎn)偏移法的網(wǎng)絡(luò)回歸量表示法，將角度參數(shù)間接表示為中點(diǎn)偏移量，從而得到更好的訓(xùn)練效果，提高模型精度。

40、4.本發(fā)明模型在獲得檢測結(jié)果后，自動(dòng)分析紙張的纖維各特性，實(shí)現(xiàn)了端到端的特種紙纖維檢測和識(shí)別，在實(shí)際應(yīng)用中提供了極大便利。