本發(fā)明涉及機器視覺與視頻圖像處理技術領域，具體為一種基于模板匹配與圖像質量評估的標貼破損檢測方法。

背景技術：

傳統(tǒng)瓶體標貼瑕疵檢測多以人工檢測的方法完成灌裝產品生產線后端檢測工作，存在效率低、成本高、穩(wěn)定性與可靠性差等問題，這與大規(guī)模工業(yè)化生產極不協(xié)調。基于機器視覺的圖像檢測算法具有很好的發(fā)展前景，利能夠自動進行標貼缺陷檢測，有效解決這一問題。

就目前國內外研究現(xiàn)狀來說，常用于標貼缺陷的算法有基于圖像濾波的方法、基于邊緣提取的方法、基于深度學習的方法等。但這些方法通常對圖像拍攝有著較為嚴格的條件，操作環(huán)境也較為復雜，同時在處理速度上也不理想，大多在實際工業(yè)應用中都有一定的限制。

本發(fā)明提出一種基于模板匹配與圖像質量評估的標貼破損檢測方法。通過一系列預處理手段準確提取標貼區(qū)域的二值化圖像和灰度圖像，利用仿射變換校正可能存在的因角度偏差而造成形狀扭曲，利用模板匹配實現(xiàn)無損圖像與待檢測圖像的位置匹配，最后通過二值化圖像的差分圖像獲得可能的缺陷區(qū)域，并利用結構相似性和感知哈希值相結合的圖像質量評估方法有效檢測出真正的缺陷區(qū)域，實現(xiàn)破損缺陷的準確定位。

技術實現(xiàn)要素：

本發(fā)明要解決的問題是：現(xiàn)有瓶體標簽破損缺陷檢測系統(tǒng)依賴人工檢測，效率低下且穩(wěn)定性差；現(xiàn)有的各種基于機器視覺的標貼破損缺陷檢測方法往往對圖像拍攝有著較為嚴格的條件，操作環(huán)境也較為復雜。本發(fā)明提出一種基于模板匹配和圖像質量評估的標貼破損缺陷方法，不僅容許瓶體擺放角度有一定范圍內的偏差，且處理速度快，同時對微小的翹起缺陷也能夠準確檢出。

本發(fā)明的技術方案為：一種基于模板匹配與圖像質量評估的標貼破損檢測方法，用于瓶體表面標貼檢測，以標貼的無損圖像為模板，采集待檢測標貼圖像后，對兩者提取標貼區(qū)域的二值化圖像和灰度圖像，利用仿射變換校正因拍攝角度偏差而造成形狀扭曲，利用模板匹配實現(xiàn)無損圖像與待檢測圖像的位置匹配，最后通過二值化圖像的差分圖像獲得疑似缺陷區(qū)域，在此基礎上利用結構相似性和感知哈希值相結合的圖像質量評估方法檢測出確定缺陷區(qū)域，實現(xiàn)破損缺陷的準確定位。

本發(fā)明包括以下步驟：

步驟一、圖像采集，利用紅外光源采集瓶體標貼圖像，采集到的原始紅外圖像為灰度圖，記采集到的無損模板圖像為fm(x,y)，待檢測標貼圖像為fo(x,y)，其中下標m表示無損標貼模板圖像，下標o表示待檢測標貼圖像；

步驟二、對步驟一獲得的初始圖像fm(x,y)與fo(x,y)進行二值化處理，并通過形態(tài)學腐蝕操作去除非標貼區(qū)域的光斑，獲得無損標貼二值化圖像bm(x,y)與待測標貼二值化圖bo(x,y)；

步驟三、利用步驟二中獲得的二值化圖像bm(x,y)與bo(x,y)，通過取其最小外接矩形獲得標貼所在矩形區(qū)域的二值化圖像rbm(x,y)與rbo(x,y)，并利用位置信息取出初始灰度圖像中對應的標貼所在矩形區(qū)域圖像，記為rm(x,y)與ro(x,y)；

步驟四、對步驟三中獲得的待檢測標貼區(qū)域的二值化圖像rbo(x,y)和灰度圖像ro(x,y)進行形狀校正，并將校正后圖像與相應的無損標貼模板圖像進行模板匹配，模板匹配采用歸一化平方差匹配方式，獲得大小一致的標貼矩形區(qū)域灰度圖像與標貼矩形區(qū)域二值化圖像，模板圖像尺寸處理后灰度圖記為mm(x,y)，二值化圖像記為mbm(x,y)，待測圖像處理后灰度圖記為mo(x,y)，二值化圖像記為mbo(x,y)；

步驟五、對步驟四中獲得的校正后標貼矩形區(qū)域二值化圖像mbm(x,y)與mbo(x,y)進行差分操作，利用形態(tài)學處理去除干擾，獲得差分圖像d(x,y)，差分圖像d(x,y)包含多個聯(lián)通區(qū)域，對每個聯(lián)通區(qū)域取最小外接矩形，并在校正后標貼矩形區(qū)域灰度圖像mm(x,y)與mo(x,y)中分別取出對應的灰度圖像smi(x,y)與soi(x,y)，對其進行基于圖像質量評估的相似度計算，超出設定閾值即判定該聯(lián)通區(qū)域為缺陷區(qū)域，其中下標i表示當前處理的聯(lián)通區(qū)域的序號。

步驟一具體為：在低亮度環(huán)境中利用ccd相機采集圖像，光源選擇為紅外光源，分別從瓶體左右兩側進行打光，打光方向與瓶體標貼所在平面夾角均為45度；相機攝像頭的中軸線方向與瓶體標貼所在平面的法向同向，偏差不超過10度，且標貼區(qū)域位于相機拍攝范圍的中心區(qū)域，采集到無破損模板圖fm(x,y)與待檢測圖fo(x,y)。

步驟四中，對步驟三中獲得的待檢測標貼區(qū)域的二值化圖像rbo(x,y)和灰度圖像ro(x,y)，利用仿射變換分別進行基于模板圖像的形狀校正：利用fast角點檢測提取模板圖和待測圖特征點，用brief算法進行二進制描述，然后匹配特征點，并剔除誤匹配點，計算出描述模板圖和待測圖之間仿射變換矩陣，利用該矩陣計算出校正圖像。

步驟五中基于圖像質量評估的相似度計算為：利用結構相似性ssim與感知hash值相結合的方式，對對應的模板圖與待檢測圖進行計算，兩項指標中有一項超過閾值即可判定兩張圖相似度較小，即有缺陷存在，具體判定方法如下：

x、y分別表示待檢測圖像及其對應的模板圖像，result表示最終判定結果，1表示當前圖像有缺陷，0表示無缺陷；s為結構相似度閾值，p為感知hash閾值。

本發(fā)明提出一種基于模板匹配與圖像質量評估的標貼破損檢測方法，既滿足實時性又具有較高正確率，且容許瓶體擺放角度有一定范圍內的偏差。其創(chuàng)新點在于：本發(fā)明采用先用簡單高效的預處理手段提取標簽roi區(qū)域，再利用圖像質量評估算法計算待檢測圖像與其對應模板圖像的相似度，以此判斷缺陷是否存在。這樣既可以保證檢測的準確性，又能極大地提高了檢測效率。

附圖說明

圖1為本發(fā)明方法的流程框圖。

圖2與圖3為本發(fā)明方法中破損標貼檢測結果展示，其中圖2為標貼破損缺陷，圖3為標貼翹起缺陷。兩組圖中，(a1)(b1)為無損模板圖像，(a2)(b2)為有損標貼原始圖像，(a3)(b3)為對應的標貼所在矩形區(qū)域原始圖像，(a4)(b4)為檢測結果圖像。

具體實施方式

為進一步了解本發(fā)明的內容，下面結合附圖和實施例對本發(fā)明作詳細描述。

本發(fā)明提供了一種新的瓶體表面標貼破損缺陷檢測方法，能夠快速、有效的實現(xiàn)瓶體標貼破損缺陷的自動化檢測。本發(fā)明方法主要包括圖像采集、圖像預處理、roi區(qū)域提取、圖像質量評估四個部分。

如圖1所示，本發(fā)明提出的一種基于模板匹配與圖像質量評估的標貼破損檢測方法，通過一系列預處理手段準確提取標貼區(qū)域的二值化圖像和灰度圖像，利用仿射變換校正可能存在的因角度偏差而造成形狀扭曲，利用模板匹配實現(xiàn)無損圖像與待檢測圖像的位置匹配，最后通過二值化圖像的差分圖像獲得可能的缺陷區(qū)域，并利用結構相似性和感知哈希值相結合的圖像質量評估方法有效檢測出真正的缺陷區(qū)域，實現(xiàn)破損缺陷的準確定位。

下面對本實施例的具體實現(xiàn)方法進行詳細介紹：

1、圖像采集：

在低亮度環(huán)境中利用紅外光源采集瓶體標貼圖像，采集到的原始紅外圖像為灰度圖，記無損模板圖為fm(x,y)，待檢測圖為fo(x,y)，其中下標m表示無損標貼模板圖像，下標o表示待檢測標貼圖像。

具體為利用ccd相機采集圖像，光源選擇為紅外光源，分別從瓶體標貼的左右兩側進行打光，與瓶體標貼所在平面夾角均為45度，本發(fā)明針對的是平面標貼，如圖2、3中所示，可能有微小弧度但是可忽略，處理時按平面處理；相機攝像頭的中軸線方向與瓶體標貼所在平面的法向同向，實際應用中容忍一定的角度偏差，但需保證待測標貼平面的法向與相機中軸線夾角不超過10度，且標貼區(qū)域位于相機拍攝范圍的中心區(qū)域，采集到無破損模板圖fm(x,y)與待檢測圖fo(x,y)。

2、圖像預處理：

圖像預處理包含多個步驟，通過一系列操作最終獲取位置對應、尺寸一致的待檢測圖像和模板圖像的標貼圖像，包括灰度圖像和二值化圖像。其具體步驟如下：

(1)對初始灰度圖像fm(x,y)與fo(x,y)進行二值化處理，并通過形態(tài)學腐蝕操作去除瓶體表面非標貼區(qū)域可能出現(xiàn)的一些細長條狀光斑干擾，這些光斑通常由瓶體形狀凸起造成，獲得無損標貼二值化圖像bm(x,y)與待檢測標貼二值化圖像bo(x,y)；

(2)取二值化圖像bm(x,y)與bo(x,y)最小外接矩形，獲得標貼所在矩形區(qū)域的二值化圖像rbm(x,y)與rbo(x,y)，并利用其位置信息取出初始灰度圖像中對應的標貼所在矩形區(qū)域圖像，記為rm(x,y)與ro(x,y)；

(3)對待檢測標貼區(qū)域的二值化圖像rbo(x,y)和灰度圖像ro(x,y)進行形狀校正，具體操作為利用fast角點檢測提取模板圖和待測圖特征點，用brief算法進行二進制描述，然后匹配特征點，并剔除誤匹配點，計算出描述模板圖和待測圖之間仿射變換矩陣，利用該矩陣即可計算出校正圖像。

圖像校正后，將待測圖像的校正后圖像分別與其相應的模板圖像進行模板匹配，模板匹配采用歸一化平方差匹配方式，獲得大小一致的標貼矩形區(qū)域灰度圖像與標貼矩形區(qū)域二值化圖像，模板圖像處理后灰度圖記為mm(x,y)，二值化圖像記為mbm(x,y)，待測圖像處理后灰度圖記為mo(x,y)，二值化圖像記為mbo(x,y)。對模板圖像的處理是因為需兩圖尺寸相同，實際應用中可能出現(xiàn)待測標貼比模板標貼大一些的情況，如標貼翹起情況，此時模板圖需要增大尺寸，增加區(qū)域像素點取值為0。

3、roi區(qū)域提?。?/p>

roi區(qū)域即為可能存在破損缺陷的區(qū)域。對獲得的校正后標貼矩形區(qū)域二值化圖形mbm(x,y)與mbo(x,y)進行差分操作，并對獲得的差分圖像進行形態(tài)學腐蝕處理去除干擾，獲得差分圖像d(x,y)。差分圖像d(x,y)可能包含多個聯(lián)通區(qū)域，對每個聯(lián)通區(qū)域取最小外接矩形，即為roi區(qū)域。在校正后標貼矩形區(qū)域灰度圖像mm(x,y)與mo(x,y)中分別取出對應的灰度圖像smi(x,y)與soi(x,y)，下標i表示當前處理的聯(lián)通區(qū)域的序號。

4、圖像質量評估：

對灰度圖像smi(x,y)與soi(x,y)進行圖像質量評估，利用計算相似度的方法，超出閾值即可判定該聯(lián)通區(qū)域為缺陷區(qū)域。

圖像相似度計算具體算法為：利用結構相似性ssim與感知hash值相結合的方式，對對應的模板圖與待檢測圖進行計算，兩項指標中有一項超過閾值即可判定兩張圖相似度較小，即有缺陷存在。具體閾值設定因檢測對象不同而有所不同，可根據(jù)實際需要通過正負樣本設定。具體判定方法如下：

x、y分別表示待檢測圖像及其對應的模板圖像。其中，result表示最終判定結果，1表示當前圖像有缺陷，0表示無缺陷；s為結構相似度閾值，p為感知hash閾值。

相似度計算方法具體如下。

(1)結構相似性ssim從亮度、對比度和結構三方面衡量圖像相似性，具體計算方法為：

ssim(x,y)＝l(x,y)*c(x,y)*s(x,y)(2)

其中：

x、y表示待計算相似度的兩張圖像，其中μx、μy分別表示圖像x、y的均值，σx、σy分別表示圖像x、y的方差，σxy表示圖像x與y的協(xié)方差；c1、c2、c3為常數(shù)，取c1＝(k1*l)²，c2＝(k2*l)²，c3＝σxy²/2，取k1＝0.01，k2＝0.03，l＝255。

ssim取值范圍為[0,1]，值越小，表示相似度越低，即圖像在存在缺陷的可能性越大。

(2)感知hash值從人眼感官上衡量圖像相似度。為了去除圖像冗余信息提高檢測效率以及有效避免可能存在的直方圖均衡等引起的干擾，具體采用基于dct的phash計算方法，其具體計算方法為：

對兩張圖像分別計算其指紋：將圖像尺寸縮小至32*32；計算圖片的dct變換，得到32*32的dct系數(shù)矩陣；只要保留左上角8*8矩陣，該部分為圖像低頻信息；計算矩陣中數(shù)值均值；8*8dct矩陣，高于均值的設為1，小于均值的設為0，獲得該圖像的指紋；

計算兩張圖像指紋的漢明距離，即為phash值。哈希值越大表示兩圖差距越大，相似度越低，即圖像存在缺陷的可能性越大。

圖2與圖3為本發(fā)明實施效果圖，其中圖2為標貼破損缺陷，圖3為標貼翹起缺陷。兩組圖中，(a1)(b1)為無損模板圖像，(a2)(b2)為有損標貼原始圖像，(a3)(b3)為對應的標貼所在矩形區(qū)域原始圖像，(a4)(b4)為檢測結果圖像。由圖可看出，本發(fā)明所提出的標貼破損缺陷檢測方法能夠有效檢出圖像破損缺陷和角度較小的翹起缺陷，效果良好。

以上示意性的對本發(fā)明及其實施方式進行了描述，該描述沒有限制性，附圖中所示的也只是本發(fā)明的實施方式之一，實際的結構并不局限于此。所以，如果本領域的普通技術人員受其啟示，在不脫離本發(fā)明創(chuàng)造宗旨的情況下，不經創(chuàng)造性的設計出與該技術方案相似的結構方式及實施例，均應屬于本發(fā)明的保護范圍。