專利名稱：一種灰度和深度信息融合的表面缺陷檢測方法
技術領域：
本發(fā)明涉及一種物體表面缺陷在線檢測方法以及實現(xiàn)該方法的裝置，尤其對于形狀或表面狀況比較復雜的產品表面檢測，可以提高缺陷檢測的準確率。
背景技術：
表面缺陷自動檢測技術始于20世紀70年代，到20世紀末，德國、美國、日本等發(fā)達國家已經開發(fā)了具有實用價值的機器視覺表面在線檢測系統(tǒng)。機器視覺檢測技術按其所處理的數(shù)據(jù)類型劃分，可以分為基于二值圖像、灰度圖像、彩色圖像以及深度圖像的檢測， 目前的表面檢測系統(tǒng)一般采用灰度圖像檢測方法?；叶葓D像檢測方法通過攝像機采集物體表面灰度圖像，根據(jù)缺陷區(qū)域在灰度上的變化，對灰度圖像進行處理，并利用缺陷的灰度特征對缺陷進行檢測與識別。這種灰度檢測方法存在著以下幾個問題(1)灰度圖像檢測方法適用于背景單一的物體表面檢測，對于背景復雜的表面，由于難以通過灰度信息從背景中判斷缺陷所在的區(qū)域，因此會產生大量的漏檢與誤檢，影響檢測結果的可靠性。(2)灰度圖像檢測方法適用于平面物體的表面檢測，對于表面為規(guī)則或非規(guī)則曲面的物體，采用灰度圖像檢測方法會造成陰影甚至遮擋現(xiàn)象，影響檢測效果，產生漏檢。(3)表面缺陷的深度不僅是表征缺陷嚴重程度重要指標，而且也是進行缺陷檢測與識別的重要參數(shù)。采用灰度圖像檢測方法無法獲取缺陷深度的量化信息，會對缺陷的準確識別以及表面質量的正確評估造成影響。通過深度圖像可以獲取表面深度信息，并且通過深度圖像檢測缺陷不受物體表面背景狀況以及物體形狀的影響，從而解決灰度圖像檢測存在的問題，但是深度圖像檢測方法在表面檢測中的應用也存在著以下問題(1)通過深度圖像檢測缺陷只適用于有深度變化的缺陷，對于一些沒有深度的缺陷，如斑類缺陷，無法通過深度圖像進行檢測。(2)物體表面的一些干擾物質也會造成表面深度上的變化，采用深度圖像檢測方法會將這些干擾物體識別成缺陷，造成誤識。(3)目前的深度圖像獲取方法無法達到高的分辨率，因此，很難通過深度圖像檢測一些細小的缺陷，如裂紋、壓印等。因此，單純采用深度圖像檢測方法也無法實現(xiàn)表面缺陷的可靠檢測。將灰度圖像檢測方法與深度圖像檢測方法結合起來，通過灰度信息與深度信息的融合，可以結合兩種方法的優(yōu)點，從而提高缺陷檢測的可靠性。傳統(tǒng)的信息融合往往指多傳感器的信息融合，如果分別通過單獨的攝像機獲取灰度信息和深度信息，不僅需要增加攝像機的數(shù)量，而且還需要對不同攝像機采集到的圖像進行配準，增加了系統(tǒng)的復雜性。本發(fā)明通過單臺彩色攝像機與多臺不同顏色光源的組合， 實現(xiàn)了單臺攝像機同時獲取物體表面的灰度圖像與深度圖像，不僅減少了攝像機的數(shù)量， 而且灰度圖像與深度圖像對應的是物體表面的同一區(qū)域，無需進行圖像的配準，降低了信息融合的難度。

發(fā)明內容
本發(fā)明利用單臺攝像機同時獲取物體表面的灰度圖像與深度圖像，通過灰度信息與深度信息的融合檢測缺陷的區(qū)域，并對缺陷進行識別，從而提高缺陷檢測與識別的準確率。本發(fā)明是這樣實現(xiàn)的本發(fā)明通過單臺彩色面陣CXD攝像機與藍光或紅光照明光源的組合采集物體表面的灰度圖像與深度圖像，所述的藍光或紅光照明光源照射物體的同一區(qū)域，所述的深度圖像是通過面結構光方式得到，面結構光的光源用綠光，所述灰度圖像的照明光源用藍光或紅光，從采集到的彩色圖像中分離出藍光或紅光與綠光的圖像，其中藍光或紅光圖像就是表面灰度圖像，綠光圖像就是面結構光投影圖像；通過深度圖像與灰度圖像的像素級融合進行圖像的分割和缺陷邊緣提取，從而可以更準確地檢測缺陷所在的區(qū)域，根據(jù)檢測到的缺陷區(qū)域，從灰度圖像中提取缺陷的灰度特征、紋理特征以及二維幾何特征，從深度圖像中提取缺陷的三維幾何特征，并進行特征級融合，將融合后的特征量作為分類器的輸入進行缺陷的分類識別。本發(fā)明的另一個技術方案是上述的特征級融合是通過深度圖像與灰度圖像的融合進行圖像的分割和缺陷邊緣提取，由于表面缺陷造成了物體表面深度的變化，因此在深度圖像中尋找深度發(fā)生突變的點，根據(jù)這些深度突變點對圖像進行分割，由于灰度圖像的分辨率比深度圖像高，因此可以在灰度圖像中根據(jù)深度圖像的分割結果進行缺陷的邊緣， 從而得到缺陷的精確邊緣。本發(fā)明的另一個技術方案是上述的缺陷的分類識別是通過深度圖像與灰度圖像的特征級融合，從灰度圖像中提取缺陷灰度特征、紋理特征以及二維幾何特征，所述的缺陷灰度特征包括灰度的平均值、方差、歪度、峭度、能量、熵；所述的紋理特征包括紋理的二階矩、熵、對比度和均勻性；所述的二維幾何特征包括簡單描述符、形狀描述符和不變矩等，所述的從深度圖像中提取缺陷的三維幾何特征，包括不變矩和傅里葉描述子。本發(fā)明主要通過以下兩個方面提高缺陷檢測與識別的可靠性(1)在進行灰度信息與深度信息的像素級融合過程中，利用表面的深度信息對灰度圖像進行分割，并提取缺陷的邊緣，這樣可以提高灰度圖像分割和缺陷邊緣提取的準確性。圖像分割的難點在于灰度信息的不確定性，也就是將空間三維物體投射成二維圖像，喪失了很多的信息。利用深度信息進行灰度圖像分割則提高了分割的準確性以及分割算法的效率。邊緣提取也是圖像處理中的難點，由于缺陷的邊緣處會產生陰影或光照不均現(xiàn)象，很難準確提取到完整的缺陷邊緣。提高圖像分割的準確性可降低缺陷的漏檢，而提高缺陷邊緣提取的準確性則可為缺陷特征的準確提取提供基礎，從而減少缺陷的誤檢。(2)將傳統(tǒng)的基于灰度圖像的缺陷特征，如灰度特征、紋理特征、二維幾何特征等與通過深度信息提取的缺陷三維幾何特征融合，可提高缺陷分類的準確性，降低缺陷的誤識。與此同時，將灰度信息用于面結構光投影圖像的條紋邊緣提取也可提高條紋邊緣提取的可靠性、精度和效率，從而提高深度信息提取的準確性和效率。
采用藍光作為灰度圖像照明光源的目的是藍光的波長短，對于微小的缺陷將有更好的檢測效果。采用綠光作為面結構光光源的目的是用于高溫物體的照明時，由于高溫物體輻射的紅光及紅外光與照明光源的綠光存在著波段的不同，可以將綠光從輻射光中提取出來，從而避免背景光的影響。對于一些需要明、暗場結合進行檢測的表面，可以將藍色漫射光作為明場照明的光源，紅色平行光作為暗場照明的光源，攝像機采集到的B和R通道分別是明場圖像和暗場圖像，兩種圖像反映的都是表面的灰度信息。同時結合G通道得到的深度信息檢測缺陷，會進一步提高缺陷檢測的準確性。本發(fā)明的有益效果是通過灰度與深度信息的融合，不僅可以提高缺陷檢測的準確率，而且可以提高算法的效率，滿足在線檢測的要求。


圖1為獲取表面灰度圖像與深度圖像的裝置。圖1中1為待檢測的物體，2為彩色面陣CCD攝像機，3為藍色漫射光光源，4為綠色面結構光光源。圖2為灰度信息與深度信息融合的表面缺陷檢測方法流程圖。
具體實施例方式圖1中，藍色漫射光光源3與綠色面結構光光源4照射到待檢測物體1表面的同一區(qū)域，彩色面陣CCD攝像機2采集待檢測物體1表面光照區(qū)域的圖像。在攝像機2采集到的彩色圖像中，藍色通道(即B通道)就是光源3照射到物體1表面的反射光圖像，綠色通道(G通道)就是光源4照射到物體1表面的反射光圖像。由于光源3發(fā)射的是漫射光， 因此B通道圖像是物體1的表面灰度圖像。由于光源3發(fā)射的是面結構光，因此G通道圖像是物體1表面的面結構光圖像。面結構光投影圖像還需進行深度提取步驟，才能轉換成表面的深度圖像。其步驟如下(1)提取面結構光投影圖像條紋邊緣坐標，該坐標是條紋邊緣在兩維圖像平面內的圖像坐標。(2)根據(jù)式1計算條紋邊緣的三維空間坐標
權利要求
1.一種灰度和深度信息融合的表面缺陷檢測方法，其特征在于通過單臺彩色面陣 CXD攝像機與藍光或紅光照明光源的組合采集物體表面的灰度圖像與深度圖像，所述的藍光或紅光照明光源照射物體的同一區(qū)域，所述的深度圖像是通過面結構光方式得到，面結構光的光源用綠光，所述灰度圖像的照明光源用藍光或紅光，從采集到的彩色圖像中分離出藍光或紅光與綠光的圖像，其中藍光或紅光圖像就是表面灰度圖像，綠光圖像就是面結構光投影圖像；通過深度圖像與灰度圖像的像素級融合進行圖像的分割和缺陷邊緣提取， 從而可以更準確地檢測缺陷所在的區(qū)域，根據(jù)檢測到的缺陷區(qū)域，從灰度圖像中提取缺陷的灰度特征、紋理特征以及二維幾何特征，從深度圖像中提取缺陷的三維幾何特征，并進行特征級融合，將融合后的特征量作為分類器的輸入進行缺陷的分類識別。
2.如權利要求1所述的一種灰度和深度信息融合的表面缺陷檢測方法，其特征在于 所述的特征級融合是通過深度圖像與灰度圖像的融合進行圖像的分割和缺陷邊緣提取，由于表面缺陷造成了物體表面深度的變化，因此在深度圖像中尋找深度發(fā)生突變的點，根據(jù)這些深度突變點對圖像進行分割，由于灰度圖像的分辨率比深度圖像高，因此可以在灰度圖像中根據(jù)深度圖像的分割結果進行缺陷的邊緣，從而得到缺陷的精確邊緣。
3.如權利要求1所述的一種灰度和深度信息融合的表面缺陷檢測方法，其特征在于 所述的缺陷的分類識別是通過深度圖像與灰度圖像的特征級融合，從灰度圖像中提取缺陷灰度特征、紋理特征以及二維幾何特征，所述的缺陷灰度特征包括灰度的平均值、方差、歪度、峭度、能量、熵；所述的紋理特征包括紋理的二階矩、熵、對比度和均勻性；所述的二維幾何特征包括簡單描述符、形狀描述符和不變矩等，所述的從深度圖像中提取缺陷的三維幾何特征，包括不變矩和傅里葉描述子。
全文摘要
本發(fā)明涉及一種物體表面缺陷在線檢測方法以及實現(xiàn)該方法的裝置，通過灰度與深度信息的融合提高缺陷檢測與識別的準確率，并可應用于復雜形狀和復雜表面的物體檢測。利用單臺彩色面陣CCD攝像機與多臺不同顏色光源的組合采集物體表面的灰度圖像與深度圖像，其中深度信息的獲取通過面結構光方式得到。通過深度圖像與灰度圖像的像素級融合進行圖像的分割和缺陷邊緣提取，從而可以更準確地檢測缺陷所在的區(qū)域。根據(jù)檢測到的缺陷區(qū)域，從灰度圖像中提取缺陷的灰度特征、紋理特征以及二維幾何特征，從深度圖像中提取缺陷的三維幾何特征，并進行特征級的融合，將融合后的特征量作為分類器的輸入進行缺陷的分類，從而實現(xiàn)缺陷的識別。
文檔編號G01N21/88GK102288613SQ201110121520
公開日2011年12月21日 申請日期2011年5月11日 優(yōu)先權日2011年5月11日
發(fā)明者周鵬, 徐科, 徐金梧, 楊朝霖 申請人:北京科技大學