專利名稱：帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種嵌入式機(jī)器視覺光路調(diào)整與亞像素標(biāo)定技術(shù)，具體是指一種用于
在線視覺測量的可調(diào)整光路的標(biāo)定技術(shù)。
背景技術(shù)：
視覺測量技術(shù)具有速度快、精度高、非接觸、自動化程度高等優(yōu)勢，該技術(shù)近年來 在非接觸測量領(lǐng)域發(fā)揮越來越大的作用。視覺測量不僅包含機(jī)器視覺的一般內(nèi)容，如視覺 感知、圖像處理、圖像分析和模式識別等，同時也有測量領(lǐng)域的特殊性，如空間幾何尺寸的 精確檢測、定位和識別等。視覺測量不但可以替代很多人工工作，提高生產(chǎn)自動化水平，提 高監(jiān)測精度，更是很多常規(guī)測量方法無法實(shí)現(xiàn)時的有效解決途徑。 視覺測量大都采用高倍測量光學(xué)鏡頭及圖像處理的亞像素技術(shù)，實(shí)現(xiàn)對物體邊緣 精密提?。涣硗?，用數(shù)字圖像處理技術(shù)可以實(shí)現(xiàn)對攝像系統(tǒng)高精度的標(biāo)定和誤差修正，這些 都為高精度的視覺測量提供堅(jiān)實(shí)的基礎(chǔ)。 視覺標(biāo)定在視覺測量系統(tǒng)中是非常關(guān)鍵且重要的環(huán)節(jié)，其視覺標(biāo)定結(jié)果的精度及 算法的穩(wěn)定性與實(shí)時性，直接影響到工業(yè)生產(chǎn)過程中測量的精度，以至最后影響到產(chǎn)品的 質(zhì)量檢測結(jié)果。視覺標(biāo)定技術(shù)在許多機(jī)器視覺領(lǐng)域得到了廣泛應(yīng)用，如三維重構(gòu)、導(dǎo)航、視 覺監(jiān)控、大型復(fù)雜曲面的三維檢測、大型工件平行度和垂直度測量、機(jī)械零件的自動識別與 幾何測量、字符識別、汽車牌照識別、醫(yī)學(xué)圖像分析、飛船或者導(dǎo)彈三維姿態(tài)測量、未來外星 車導(dǎo)航等。 要實(shí)現(xiàn)視覺測量的高精度、快速性和高度自動化，就必須在降低運(yùn)算量的基礎(chǔ)上， 對拍攝的圖像進(jìn)行高精度的標(biāo)定。視覺領(lǐng)域經(jīng)典標(biāo)定算法，如張正友和Tsai的兩步法標(biāo)定 雖然可以標(biāo)定出相機(jī)的內(nèi)外參數(shù)，但要求連續(xù)拍攝幾幅不在同一平面的圖像，實(shí)際操作困 難，并且計(jì)算過程比較復(fù)雜；于起峰的基于理想網(wǎng)格的平面視覺標(biāo)定思想雖然運(yùn)算量小、精 度高，但對于精確角點(diǎn)提取、精確中心網(wǎng)格確定難度大，沒有具體的標(biāo)定實(shí)現(xiàn)方法，也沒有 實(shí)際應(yīng)用案例。在視覺標(biāo)定研究的發(fā)展過程中，針對標(biāo)定的前期工作，如光源光強(qiáng)、物鏡面 平行的分析和研究非常少，并且有關(guān)光路調(diào)整系統(tǒng)還沒有具體應(yīng)用在視覺標(biāo)定中，更沒有 應(yīng)用到實(shí)際的工業(yè)生產(chǎn)中。 針對二維視覺測量無需確定測量系統(tǒng)的光心位置和光軸方位等外部參數(shù)，本發(fā)明 只獲得視覺系統(tǒng)的畸變系數(shù)和比例系數(shù)。在深入研究探討和大量實(shí)驗(yàn)的基礎(chǔ)上，本發(fā)明的 視覺標(biāo)定技術(shù)具有運(yùn)算量小、精度高、操作簡單、實(shí)時性高，不需要高標(biāo)準(zhǔn)的生產(chǎn)環(huán)境。在標(biāo) 定前使用光路調(diào)整系統(tǒng)對相機(jī)的鏡頭以及光源進(jìn)行校正，使得標(biāo)定過程的穩(wěn)定性以及精度 有很大的提高。 本發(fā)明的視覺標(biāo)定分為光路調(diào)整系統(tǒng)和基于亞像素的視覺標(biāo)定技術(shù)。其中，光路 調(diào)整系統(tǒng)包括防光強(qiáng)飽和與物鏡面平行調(diào)整。視覺標(biāo)定過程中，X型靶標(biāo)的角點(diǎn)提取精度 是至關(guān)重要的。由于光源變化時，邊緣的信息也會隨著改變，當(dāng)光強(qiáng)飽和時，邊緣的部分信 息將會丟失，從而導(dǎo)致角點(diǎn)提取的結(jié)果不準(zhǔn)確，所以防止光強(qiáng)飽和能夠提高X型靶標(biāo)的角
5點(diǎn)提取的精度。視覺標(biāo)定過程中，物鏡面平行調(diào)整能夠防止物面與相機(jī)的鏡頭所在的平面 之間的夾角造成的誤差。因此，在二維視覺測量平面的標(biāo)定過程中，光路調(diào)整系統(tǒng)在大大減 少標(biāo)定時間的基礎(chǔ)上，實(shí)現(xiàn)高精度的標(biāo)定，并有效的提高了視覺測量精度，對實(shí)際視覺測量 有重要的意義。

發(fā)明內(nèi)容
本發(fā)明的目的在克服上述視覺測量的困難之處，提出一種精度高、速度快、穩(wěn)定性 好、實(shí)時性強(qiáng)、方法簡單、計(jì)算量小、帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)。
按照本發(fā)明提供的技術(shù)方案，帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)方 法如下 首先，將具有高精度的X型靶標(biāo)放置于待測工件所在的平面上，然后對相機(jī)鏡頭 進(jìn)行粗調(diào)； 第二步，連接嵌入式機(jī)器視覺的檢測裝置，在線實(shí)時拍攝圖像，在PC機(jī)上進(jìn)行圖 像的實(shí)時顯示； 第三步，防光強(qiáng)飽和調(diào)整調(diào)節(jié)光源的亮度，并觀察實(shí)時顯示界面的光照強(qiáng)度狀態(tài) 圖；光照強(qiáng)度狀態(tài)圖顯示分為紅、綠、橙；紅色，說明光強(qiáng)飽和，需要降低光強(qiáng)；綠色，說明 光強(qiáng)適合，只需微調(diào)；橙色，說明光強(qiáng)偏弱，需要提高光強(qiáng)；在光強(qiáng)狀態(tài)圖顯示綠色的前提 下，微調(diào)光源至適合標(biāo)定和測量的狀態(tài)； 第四步，物鏡面平行調(diào)整根據(jù)操作界面實(shí)時顯示，微調(diào)鏡頭，使得物面與鏡面達(dá) 到平行狀態(tài)；反復(fù)的調(diào)整第三步與第四步，使得滿足光源強(qiáng)度與物鏡面平行的要求；
第五步，視覺標(biāo)定利用Harris算子、空間矩的方法進(jìn)行X型靶標(biāo)亞像素角點(diǎn)提 取，然后利用圖像中心角點(diǎn)的畸變最小的原理，提取圖像中心的角點(diǎn)擬合理想網(wǎng)格，通過視 覺系統(tǒng)的畸變模型公式計(jì)算畸變參數(shù)與比例系數(shù)。 所述防光強(qiáng)飽和調(diào)整的方法，用于防止光源飽和，從而導(dǎo)致角點(diǎn)與邊緣信息的丟 失，包括以下步驟 (3. 1)、在線實(shí)時采集X靶標(biāo)圖像，對X型靶標(biāo)圖像求取相應(yīng)的直方圖，并動態(tài)的顯 示； (3. 2)、統(tǒng)計(jì)X型靶標(biāo)圖像的灰度最大值。判斷光強(qiáng)是否處于飽和狀態(tài)如果圖像 灰度最大值等于255，則說明光強(qiáng)處于飽和的狀態(tài)； (3. 3)、如果光強(qiáng)處于飽和狀態(tài)，并且用戶選擇了允許部分飽和，設(shè)定一個允許部 分飽和度百分比值1%。計(jì)算圖像上的飽和點(diǎn)的個數(shù)與整個圖像點(diǎn)的個數(shù)之比，大于飽和度 百分比值，則光強(qiáng)狀態(tài)圖顯示紅色，向下位機(jī)發(fā)出請求，減小光強(qiáng)；否則光強(qiáng)狀態(tài)圖顯示綠 色，滿足標(biāo)定的光強(qiáng)的需要。如果用戶沒有選擇允許部分飽和，則光強(qiáng)狀態(tài)圖顯示紅色，必 需調(diào)整光源； (3. 4)、如果光強(qiáng)不處于飽和狀態(tài)，設(shè)定理想灰度值fidMl為227像素以及波動范圍 S為27像素，則圖像灰度值在[200，254]之間，圖像的光強(qiáng)狀態(tài)圖顯示綠色，說明光強(qiáng)滿足 需求；灰度值小于200像素，則光強(qiáng)狀態(tài)圖顯示橙色，提示用戶此時光強(qiáng)太弱，適當(dāng)提高光 強(qiáng)； (3. 5)、在光強(qiáng)狀態(tài)圖處于綠色狀態(tài)下，微量的調(diào)整光強(qiáng)，使得圖像狀態(tài)處于最佳。
所述物鏡面平行調(diào)整的方法，用于防止由于兩個平面之間的夾角造成的誤差，包 括以下步驟 (4. 1)、調(diào)整相機(jī)的鏡頭，使得鏡頭位置與X型靶標(biāo)平行，然后再對鏡頭進(jìn)行微調(diào)；
(4. 2)、在200*300像素的區(qū)域內(nèi)，根據(jù)Harris算子提取X型耙標(biāo)圖像的像素級角 點(diǎn)；在像素級角點(diǎn)的基礎(chǔ)上，利用空間矩和直線擬合的方法提取X型靶標(biāo)圖像的亞像素的 角點(diǎn)； (4.4)、提取圖像中心的區(qū)域網(wǎng)格四個角點(diǎn)的亞像素級坐標(biāo)，這四個點(diǎn)包含中心點(diǎn) 坐標(biāo)(320,240); (4. 5)、以所述圖像中心的區(qū)域網(wǎng)格為中心，擴(kuò)展成3X3的九個網(wǎng)格區(qū)域；
(4. 6)、計(jì)算所述九個網(wǎng)格區(qū)域的第一行的三個區(qū)域的面積之和Area—Up，第三行 的三個區(qū)域的面積之和Area—Down;計(jì)算九個網(wǎng)格區(qū)域的第一列的三個區(qū)域的面積之和 Area—Left，第三列的三個區(qū)域的面積之和Area_Right ; (4. 7)、計(jì)算Area_Up與Area_Down， Area_Left與Area_Right之差分別為diff_ UD、diff—LR;如果diff—UD、diff—LR差值的絕對值都是小于正閾值Threshold，顯示區(qū)域的 中心則顯示綠色，說明此時物鏡面達(dá)到平行； (4. 8)、如果diff_UD大于正閾值Threshold,則說明相機(jī)鏡頭上偏；如果diff_UD 小于負(fù)閾值Threshold,則說明相機(jī)鏡頭下偏，否則，說明相機(jī)鏡頭沒有上下偏的趨勢；記 錄相機(jī)鏡頭上下偏移情況； (4. 9)、判斷diff_LR的值，分為以下的三種情況diff_LR的絕對值小于正閾值 Threshold,說明相機(jī)鏡頭不存在左右偏的情況；diff_LR大于正閾值Threshold,說明相機(jī) 鏡頭存在左偏；diff_LR小于負(fù)閾值Threshold,說明相機(jī)鏡頭存在右偏；記錄相機(jī)鏡頭左 右偏移的情況； (4. 10)、根據(jù)步驟4. 8與4. 9記錄相機(jī)鏡頭的偏向，判斷相機(jī)鏡頭的偏移如果鏡 頭不存在左右偏移，則根據(jù)步驟4. 8得出相機(jī)鏡頭上下偏移；如果鏡頭不存在上下偏移，則 根據(jù)步驟4. 9得出攝像機(jī)鏡頭左右偏移；如果相機(jī)鏡頭存在上下偏移與左右偏移，由鏡頭 上偏與左偏得到相機(jī)鏡頭存在左上偏移，由鏡頭上偏與右偏得到相機(jī)鏡頭存在右上偏移， 由鏡頭下偏與左偏得到相機(jī)鏡頭存在左下偏移，由鏡頭下偏與右偏得到相機(jī)鏡頭存在右下 偏移；根據(jù)界面的提示，調(diào)整相機(jī)的鏡頭，直到物鏡面平行為至，調(diào)整結(jié)束。
所述視覺標(biāo)定的方法包括以下步驟 (5. 1)、在光路調(diào)整達(dá)到理想狀態(tài)條件下，進(jìn)行視覺標(biāo)定； (5. 2)、提取X型靶標(biāo)圖像的亞像素角點(diǎn)利用Harris算子提取X型靶標(biāo)圖像像素 級的角點(diǎn)，然后基于空間矩亞像素邊緣提取與最小二乘擬合的方法，進(jìn)行角點(diǎn)的亞像素提 ??； (5.3)、提取精確地理想網(wǎng)格利用圖像中心的畸變很小的原理，提取圖像的中心 區(qū)域中一個方格的四個頂點(diǎn)，并將這個區(qū)域擴(kuò)展成3X3的的九個網(wǎng)格；對九個區(qū)域每個方 格的四個頂點(diǎn)進(jìn)行擬合理想網(wǎng)格系數(shù)，得出九組理想網(wǎng)格系數(shù)；根據(jù)每組的理想網(wǎng)格的系 數(shù)分別擬合理想網(wǎng)格，并計(jì)算理想網(wǎng)格方格的長和寬之差diff ，記錄diff最小值所在方格 的四個頂點(diǎn)擬合出的理想網(wǎng)格系數(shù)；根據(jù)記錄理想網(wǎng)格系數(shù)以及理想網(wǎng)格的公式，求取整 個圖像的理想網(wǎng)格點(diǎn)；
(5. 4)、根據(jù)畸變模型公式，利用對應(yīng)的理想網(wǎng)格點(diǎn)與實(shí)際提取亞像素的角點(diǎn)坐標(biāo) 之間的差值，擬合畸變模型的系數(shù)； (5. 5)、將圖像提取的實(shí)際角點(diǎn)通過畸變模型進(jìn)行校正，然后根據(jù)空間的兩點(diǎn)之間 的空間距離與經(jīng)過畸變模型校正后的圖像的角點(diǎn)中兩點(diǎn)之間的像素距離的比值，得到圖像 距離與實(shí)際距離之間的比例系數(shù)； (5. 6)、記錄比例系數(shù)與畸變模型的系數(shù)，利用這些參數(shù)進(jìn)行視覺測量。 所述進(jìn)行亞像素角點(diǎn)提取的方法，采用Harris算子與空間矩相結(jié)合，將空間矩的
亞像素邊緣提取方法結(jié)合角點(diǎn)的特征來提取X靶標(biāo)的亞像素角點(diǎn)，包括以下步驟 (5.2. 1)、利用Harris算子提取X型靶標(biāo)圖像像素級的角點(diǎn)首先對相機(jī)采集的圖
片進(jìn)行預(yù)處理，將選定的區(qū)域進(jìn)行二值化操作，并用垂直和水平方向的一階梯度算子找出
邊界點(diǎn)；另外，通過對邊界擴(kuò)充的方法避免漏檢角點(diǎn)的情況，邊界擴(kuò)充即在梯度算子找到的
邊界基礎(chǔ)上，將找到的邊界點(diǎn)周圍8個點(diǎn)全部列為邊界點(diǎn)； (5. 2. 2)、提取角點(diǎn)以后，首先獲得X型靶標(biāo)傾斜角度，即X型靶標(biāo)的水平直線的傾 斜角度，利用在同一行上的角點(diǎn)水平直線上的截距相等，在同一列上的角點(diǎn)垂直直線上的 截距相等的原理，將角點(diǎn)按相應(yīng)的行和列進(jìn)行存儲； (5. 2. 3)、計(jì)算出亞像素角點(diǎn)根據(jù)每一個像素級角點(diǎn)分別往上下左右四個方向擴(kuò) 充成以像素級角點(diǎn)為中心的7X7的區(qū)域，找出該區(qū)域與四條邊界相交的四個像素邊緣點(diǎn)； 以這四個邊緣點(diǎn)為起點(diǎn)，分別以遠(yuǎn)離像素級角點(diǎn)的方向，向上、下、左、右四個方向依次尋找 出該方向上的十個邊緣點(diǎn)，這些邊緣點(diǎn)組合成四條像素級別的邊緣直線；每個角點(diǎn)都有四 條像素邊緣直線； 將找到的邊緣點(diǎn)進(jìn)行空間距方法計(jì)算，找出各點(diǎn)對應(yīng)的亞像素位置使用的亞像 素方法為二階模型的空間距方法，將各點(diǎn)的亞像素位置按垂直和水平方向存入相應(yīng)的數(shù)組 中；將每條邊找到的亞像素級邊緣點(diǎn)進(jìn)行最小二乘擬合，并求出四條直線的兩個交點(diǎn)，即左 邊和上邊的交點(diǎn)，右邊和下邊的交點(diǎn)，求取到兩個亞像素位置的角點(diǎn)之后，再取這兩點(diǎn)的平 均值作為亞像素角點(diǎn)。所述帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)，只需要獲得 視覺系統(tǒng)的比例系數(shù)和畸變系數(shù)，無需確定視覺系統(tǒng)的光心位置、焦距、旋轉(zhuǎn)矩陣與平移矩 陣。 本發(fā)明視覺標(biāo)定與已有技術(shù)相比具有以下優(yōu)點(diǎn)本發(fā)明視覺標(biāo)定是視覺測量系統(tǒng) 中非常關(guān)鍵重要的環(huán)節(jié)，克服了傳統(tǒng)的測量技術(shù)中測量精度低、速度慢、操作方法困難的缺 點(diǎn)。本發(fā)明使用光路調(diào)整系統(tǒng)包括防光強(qiáng)飽和與物鏡面平行調(diào)整，改善X型靶標(biāo)圖像質(zhì)量， 提高了視覺標(biāo)定的精度與穩(wěn)定性，克服了其他的標(biāo)定方法對環(huán)境的高標(biāo)準(zhǔn)的要求；相比其 他的方法，利用高精度的空間矩亞像素角點(diǎn)提取方法，較大的提高了標(biāo)定的精度；利用圖像 中心的九個網(wǎng)格中畸變量最小的方格的四個頂點(diǎn)擬合精確理想網(wǎng)格，能夠確保該網(wǎng)格最接 近光軸位置，提高標(biāo)定精度，更好的滿足工業(yè)需求；另外，本發(fā)明算法量小，計(jì)算出視覺系統(tǒng) 的畸變系數(shù)與比例系數(shù)，方便后續(xù)測量的使用。該技術(shù)還具有操作簡單、實(shí)時反饋調(diào)整結(jié)果 的優(yōu)點(diǎn)，指導(dǎo)用戶進(jìn)行調(diào)整，具有很強(qiáng)的實(shí)用性。


圖1為帶有光路調(diào)整的亞像素標(biāo)定技術(shù)的總流程圖。
圖2為防光強(qiáng)飽和調(diào)整方法的流程圖。 圖3為上位機(jī)用于實(shí)時顯示的光強(qiáng)狀態(tài)圖。 圖4為物鏡面平行調(diào)整方法的流程圖。 圖5為判斷物鏡面平行的九個區(qū)域面積顯示圖。 圖6為鏡頭調(diào)整方向?qū)崟r顯示圖。
具體實(shí)施例方式
為了降低工業(yè)環(huán)境對標(biāo)定的影響，提高標(biāo)定的精度，本發(fā)明開發(fā)一種視覺標(biāo)定技
術(shù)。該標(biāo)定技術(shù)算法代碼量小、運(yùn)算速度快、精度高、實(shí)時性強(qiáng)、穩(wěn)定性好，能夠改善傳統(tǒng)測 量的弊端、降低成本，提高生產(chǎn)速度。 本發(fā)明針對光強(qiáng)的變化和物鏡面的平行度對角點(diǎn)提取精度和畸變模型的擬合精 度的影響，提出一種適應(yīng)性強(qiáng)的光路調(diào)整系統(tǒng)，包括防光強(qiáng)飽和與物鏡面平行調(diào)整。防光強(qiáng) 飽和調(diào)整，是為了防止由于X型靶標(biāo)圖像的光強(qiáng)飽和，導(dǎo)致邊緣信息的丟失與角點(diǎn)提取不 準(zhǔn)確；物鏡面平行調(diào)整，能夠防止物面與相機(jī)的鏡頭所在的平面之間的夾角造成的誤差。本 發(fā)明提出高精度空間矩的方法進(jìn)行X型靶標(biāo)的角點(diǎn)亞像素的提取。X型靶標(biāo)的角點(diǎn)亞像素 的提取，是為了提高角點(diǎn)的精度與穩(wěn)定性，提高視覺標(biāo)定的精度。本發(fā)明提出了一種精確的 中心網(wǎng)格確定方法。該方法首先搜索圖像中心附近畸變量最小的網(wǎng)格，并對該理想網(wǎng)格進(jìn) 行擬合參數(shù)求取。確保該網(wǎng)格最接近光軸位置，從而提高標(biāo)定精度。
下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步說明。 本發(fā)明光路調(diào)整系統(tǒng)中防光強(qiáng)飽和是通過采用判斷圖像像素灰度值是否等于 255。由于在標(biāo)定的時候，光源不能保證拍攝的圖像亮度完全均勻，因此，如果有部分像素點(diǎn) 的灰度值出現(xiàn)飽和現(xiàn)象(灰度值為255)，則會影響標(biāo)定過程中的角點(diǎn)的亞像素提取。為此， 在實(shí)際視覺標(biāo)定和測量過程中，本發(fā)明通過判斷灰度值為255的個數(shù)來提醒用戶光強(qiáng)是否 飽和，同時光強(qiáng)圖曲線會實(shí)時的反映出圖像的直方圖曲線，而且會將整幅圖的灰度最大值 實(shí)時反饋給用戶，用戶可以根據(jù)提示對光源進(jìn)行相應(yīng)的調(diào)整。 本發(fā)明光路調(diào)整系統(tǒng)中物鏡面平行調(diào)整的原理利用小孔成像的原理，當(dāng)相機(jī)鏡 頭發(fā)生偏移時候，靠近鏡頭一側(cè)，線段的長度變長；遠(yuǎn)離鏡頭的一側(cè)，線段的長度變短。本發(fā) 明取圖像中心的3X3的九個區(qū)域，如圖6所示，將區(qū)域沿著X靶標(biāo)網(wǎng)格相互垂直的兩個方 向分別分為三個區(qū)域，比較第一個與最后一個區(qū)域的面積，當(dāng)面積大于閾值，則說明相機(jī)鏡 頭出現(xiàn)偏斜，需要調(diào)整。如圖4所示為物鏡面平行調(diào)整的過程。 本發(fā)明X型靶標(biāo)圖像角點(diǎn)的提取是基于Harris算子與空間矩亞像素邊緣提取相 結(jié)合的方法。在Harris算子提取的像素級角點(diǎn)基礎(chǔ)上，提取X型靶標(biāo)所有角點(diǎn)。在角點(diǎn)附 近利用空間矩找到亞像素的邊緣，利用兩條亞像素的邊緣相交求取亞像素的角點(diǎn)。這種提 取亞像素的方法，精度高，算法穩(wěn)定。很好解決了視覺標(biāo)定角點(diǎn)精度達(dá)不到要求，造成視覺 標(biāo)定的精度達(dá)不到工業(yè)產(chǎn)品的需求。 本發(fā)明X型靶標(biāo)理想網(wǎng)格的精確擬合是基于圖像中心附近圖像畸變量最小的原 理。采用圖像中心區(qū)域的九個網(wǎng)格中畸變量最小的網(wǎng)格的四個頂點(diǎn)來擬合理想網(wǎng)格系數(shù)的 方法，獲得準(zhǔn)確的理想網(wǎng)格，使得視覺標(biāo)定的精度更高。
如圖1所示，本發(fā)明的工作過程具體說明如下
9
首先，將具有高精度的X型靶標(biāo)放置于待測工件所在的平面，然后對相機(jī)鏡頭進(jìn) 行粗調(diào)。 第二步，連接嵌入式機(jī)器視覺的檢測裝置，在線實(shí)時拍攝圖像，在PC機(jī)上進(jìn)行圖 像的實(shí)時顯示。 所述檢測裝置由圖像采集、圖像存儲、圖像處理以及通信四個模塊組成，其中圖像 采集模塊主要由CCD相機(jī)和FPGA組成，SDRAM和FLASH分別用于存儲圖像和系統(tǒng)配置信息， DM642負(fù)責(zé)對采集到的圖片進(jìn)行實(shí)時處理，通信模塊則主要由100M的以太網(wǎng)接口構(gòu)成。
第三步，如圖2所示，防光強(qiáng)飽和調(diào)整。調(diào)節(jié)光源的亮度，并觀察實(shí)時顯示界面的 光照強(qiáng)度狀態(tài)圖。光照強(qiáng)度狀態(tài)圖顯示分為紅、綠、橙。紅色，說明光強(qiáng)飽和，需要降低光 強(qiáng)；綠色，說明光強(qiáng)適合，只需微調(diào)；橙色，說明光強(qiáng)偏弱，需要提高光強(qiáng)。在光強(qiáng)狀態(tài)圖顯 示綠色的前提下，微調(diào)光源至適合標(biāo)定和測量的狀態(tài)。 第四步，如圖4所示，物鏡面平行調(diào)整。在光強(qiáng)調(diào)整適當(dāng)基礎(chǔ)上，根據(jù)操作界面實(shí) 時顯示，微調(diào)鏡頭，使得物面與鏡面達(dá)到平行狀態(tài)。 第五步，視覺標(biāo)定。利用Harris算子、空間矩的方法進(jìn)行X型靶標(biāo)亞像素角點(diǎn)提 取，然后利用圖像中心角點(diǎn)的畸變最小的原理，提取圖像中心的角點(diǎn)擬合理想網(wǎng)格，通過視 覺系統(tǒng)的畸變模型公式計(jì)算畸變參數(shù)與比例系數(shù)。 如圖2所示，所述光路調(diào)整中防光強(qiáng)飽和調(diào)整的方法，是用于防止光源飽和，從而 導(dǎo)致角點(diǎn)與邊緣信息的丟失。步驟如下所示 (3. 1)、在線實(shí)時采集X靶標(biāo)圖像。對X型靶標(biāo)圖像求取相應(yīng)的直方圖，并動態(tài)的 顯示，圖3為上位機(jī)用于顯示的光強(qiáng)狀態(tài)圖。 (3. 2)、統(tǒng)計(jì)X型靶標(biāo)圖像的灰度最大值。判斷光強(qiáng)是否處于飽和狀態(tài)。如果圖像 灰度最大值等于255，則說明光強(qiáng)處于飽和的狀態(tài)。 (3. 3)、如果光強(qiáng)處于飽和狀態(tài)，并且用戶選擇了允許部分飽和，設(shè)定一個允許部 分飽和度百分比值1%。計(jì)算圖像上的飽和點(diǎn)的個數(shù)與整個圖像點(diǎn)的個數(shù)之比，大于飽和度 百分比值，則光強(qiáng)狀態(tài)圖顯示紅色，向下位機(jī)發(fā)出請求，減小光強(qiáng)；否則光強(qiáng)狀態(tài)圖顯示綠 色，滿足標(biāo)定的光強(qiáng)的需要。如果用戶沒有選擇允許部分飽和，則光強(qiáng)狀態(tài)圖顯示紅色，必 需調(diào)整光源。 (3. 4)、如果光強(qiáng)不處于飽和狀態(tài)，設(shè)定理想灰度值fidMl為227像素以及波動范圍 S為27像素，則圖像灰度值在[200，254]之間，圖像的光強(qiáng)狀態(tài)圖顯示綠色，說明光強(qiáng)滿足 需求；灰度值小于200像素，則光強(qiáng)狀態(tài)圖顯示橙色，提示用戶此時光強(qiáng)太弱，適當(dāng)提高光強(qiáng)。 (3. 5)、在光強(qiáng)狀態(tài)圖處于綠色狀態(tài)下，微量的調(diào)整光強(qiáng)，使得圖像狀態(tài)處于最佳。 如圖4所示，所述光路調(diào)整中物鏡面平行調(diào)整的方法，能夠防止物面與相機(jī)鏡頭
所在的平面之間的夾角造成的誤差，提高標(biāo)定的精度與穩(wěn)定性。步驟如下所示 (4. 1)、調(diào)整相機(jī)鏡頭，使得鏡頭位置大致與X型靶標(biāo)保持平行，然后再進(jìn)行微調(diào)。 (4. 2)、在200*300像素的區(qū)域內(nèi)，根據(jù)Harris算子提取X型耙標(biāo)圖像的像素級角
點(diǎn)；在像素級角點(diǎn)的基礎(chǔ)上，利用空間矩和直線擬合的方法提取X型靶標(biāo)圖像的亞像素的角點(diǎn)。 (4.4)、提取圖像中心的區(qū)域網(wǎng)格四個角點(diǎn)的亞像素級坐標(biāo)，這四個點(diǎn)包含中心點(diǎn)
10坐標(biāo)(320，240)，因?yàn)榭拷鼒D像的中心，圖像的畸變比較小，可以忽略不計(jì)。 (4. 5)、以步驟4. 4所述的中心區(qū)域?yàn)橹行模瑪U(kuò)展成3X3的九個網(wǎng)格區(qū)域。 (4. 6)、計(jì)算九個區(qū)域的第一行的三個區(qū)域的面積之和Area—Up，第三行的三個區(qū)
域的面積之和Area—Down ;計(jì)算這九個區(qū)域的第一列的三個區(qū)域的面積之和Area—Left，第
三列的三個區(qū)域的面積之和Area_Right。如圖5所示，判斷物鏡面平行的九個區(qū)域面積顯示圖。 (4. 7)、計(jì)算Area_Up與Area_Down， Area_Left與Area_Right之差分別為diff_ UD、 diff_LR。如果diff_UD、 diff_LR差值的絕對值都是小于正閾值Threshold,顯示區(qū)域 的中心則顯示綠色，說明此時物鏡面達(dá)到平行。 Threshold確定在不同的焦距下，當(dāng)物鏡面平行時拍攝得到若干幅的圖片，分析 相對面積差值，實(shí)驗(yàn)發(fā)現(xiàn)，閾值和焦距之間存在類似指數(shù)的關(guān)系。在lmm對應(yīng)10pixel的焦 距條件下，調(diào)試平臺，得到3. 5像素的平方是判斷光軸與物體表面垂直的最佳閾值。焦距和 閾值存在下面的關(guān)系 Threshold = (1/a) * (a~ (d/20)) *3. 5 其中d是在不同焦距下拍攝得到方格對應(yīng)的像素邊長，a是指數(shù)的底數(shù)，確定為 4。 (4. 8)、如果diff_UD大于正閾值Threshold,則說明相機(jī)鏡頭上偏；如果diff_UD
小于負(fù)閾值Threshold,則說明相機(jī)鏡頭下偏；否則，說明相機(jī)鏡頭沒有上下偏的趨勢。記
錄相機(jī)鏡頭上下偏移的情況。圖6為微調(diào)鏡頭時調(diào)整方向?qū)崟r顯示圖。 (4. 9)、判斷diff_LR的值，分為以下的三種情況首先diff_LR的絕對值小于正閾
值Threshold,說明相機(jī)鏡頭不存在左右偏的情況；其次，diff_LR大于正閾值Threshold,
說明相機(jī)鏡頭存在左偏；其次，diff_LR小于負(fù)閾值Threshold,說明相機(jī)鏡頭存在右偏。記
錄相機(jī)鏡頭左右偏移的情況。 (4. 10)、根據(jù)步驟4. 8與4. 9記錄相機(jī)鏡頭的偏向，判斷相機(jī)鏡頭的偏移如果鏡 頭不存在左右偏移，則根據(jù)步驟4. 8得出相機(jī)鏡頭上下偏移；如果鏡頭不存在上下偏移，則 根據(jù)步驟4. 9得出相機(jī)鏡頭左右偏移；如果相機(jī)鏡頭存在上下偏移與左右偏移，由鏡頭上 偏與左偏得到相機(jī)鏡頭存在左上偏移，由鏡頭上偏與右偏得到相機(jī)鏡頭存在右上偏移，由 鏡頭下偏與左偏得到相機(jī)鏡頭存在左下偏移，由鏡頭下偏與右偏得到相機(jī)鏡頭存在右下偏 移。根據(jù)界面的提示，調(diào)整相機(jī)的鏡頭，直到物鏡面平行為至，調(diào)整結(jié)束。
所述視覺標(biāo)定方法，利用空間矩的方法進(jìn)行亞像素角點(diǎn)提取，并且此高精度的標(biāo) 定用于二維的視覺測量不需要知道視覺測量系統(tǒng)的光心位置和光軸方位等外部參數(shù)，只要 獲得視覺系統(tǒng)的比例系數(shù)和畸變模型系數(shù)的場合。具體步驟如下(5. 1)、在光路調(diào)整達(dá)到 理想狀態(tài)條件下，進(jìn)行視覺標(biāo)定； (5. 2)、提取X型靶標(biāo)圖像的角點(diǎn)。該技術(shù)是利用Harris算子提取X型靶標(biāo)圖像 像素級的角點(diǎn)，然后基于空間矩亞像素邊緣提取與最小二乘擬合的方法，進(jìn)行角點(diǎn)的亞像 素提取； (5.3)、提取精確的理想網(wǎng)格。利用圖像中心的畸變很小的原理，提取圖像的中心 區(qū)域中一個方格的四個頂點(diǎn)，并將這個區(qū)域擴(kuò)展成3X3的的九個網(wǎng)格。對九個區(qū)域每個方 格的四個頂點(diǎn)進(jìn)行擬合理想網(wǎng)格系數(shù)，得出九組理想網(wǎng)格系數(shù)。根據(jù)每組的理想網(wǎng)格的系
11數(shù)分別擬合理想網(wǎng)格，并計(jì)算理想網(wǎng)格方格的長和寬之差diff，記錄diff最小值所在方格 的四個頂點(diǎn)擬合出的理想網(wǎng)格系數(shù)。根據(jù)記錄理想網(wǎng)格系數(shù)以及理想網(wǎng)格的公式，求取整 個圖像的理想網(wǎng)格點(diǎn)。 (5. 4)、根據(jù)畸變模型公式，利用對應(yīng)的理想網(wǎng)格點(diǎn)與實(shí)際提取亞像素的角點(diǎn)坐標(biāo) 之間的差值，擬合畸變模型的系數(shù)； (5. 5)、將圖像提取的實(shí)際角點(diǎn)通過畸變模型進(jìn)行校正，然后根據(jù)空間的兩點(diǎn)之間 的空間距離(mm為單位)與經(jīng)過畸變模型校正后的圖像的角點(diǎn)中兩點(diǎn)之間的像素距離的比 值，得到圖像距離(以像素為單位)與實(shí)際距離(以毫米為單位)之間的比例系數(shù)；
(5. 6)、記錄比例系數(shù)與畸變模型的系數(shù)，利用這些參數(shù)進(jìn)行視覺測量。
視覺標(biāo)定過程中角點(diǎn)亞像素提取是整個過程的重點(diǎn)，是視覺標(biāo)定精度提高的關(guān) 鍵。角點(diǎn)提取的步驟如下 (5.2. 1)、邊界提取。因?yàn)榻屈c(diǎn)位于X型耙標(biāo)兩條邊緣的交點(diǎn)附近，為了降低運(yùn)算 量，本發(fā)明通過將搜索范圍從整個圖像縮小到所有邊緣的方法，來減少算法的運(yùn)算量。將選 定的區(qū)域進(jìn)行二值化操作，并用垂直和水平方向的一階梯度算子找出邊界點(diǎn)，本發(fā)明中用 到的水平算子為[-1 1]，垂直算子則為水平算子的轉(zhuǎn)置。另外，考慮到提取的邊緣存在一定 的誤差，可能導(dǎo)致實(shí)際的角點(diǎn)不在找到的邊界上，因此通過對邊界擴(kuò)充的方法避免漏檢角 點(diǎn)的情況。擴(kuò)充邊界即在梯度算子找到的邊界基礎(chǔ)上，將找到的邊界點(diǎn)周圍8個點(diǎn)全部列 為邊界點(diǎn)。 (5. 2. 2)、對于區(qū)域中擴(kuò)充后的邊界點(diǎn)，求取其對應(yīng)水平方向、垂直方向的梯度Ix
和Iy，本發(fā)明中選用的梯度模板為[-2 -10 12]和[-2 ;-l ;0 ;1 ;2]，選取的高斯模板的
o = 2，窗口大小為7X7。 (5. 2. 3)、根據(jù)(5-2-1)計(jì)算出邊界點(diǎn)的矩陣M :
(5-2-1)
r2 其中，I2X = IX*IX， I2y = Iy*Iy，G(x， y)為高斯窗口。 (5. 2. 4)、計(jì)算每個點(diǎn)的興趣值。角點(diǎn)判斷準(zhǔn)則假設(shè)A p A 2為式(5-2-1)中矩陣 M的兩個特征值，當(dāng)這A"、都很小時，表示這個點(diǎn)位于平坦區(qū)域；當(dāng)A"、一個很大， 另一個很小時，表示這個點(diǎn)位于邊緣上；當(dāng)A"、都很大時，表示這個點(diǎn)為角點(diǎn)。實(shí)際計(jì) 算中，并不需要直接求出矩陣M的特征值，可以通過式(5-2-2)判斷其是否為角點(diǎn)
R = det (M) _k* (trace (M))2 (5-2-2) 式中det (M)-矩陣M的秩，det (M)=入入2 Trace-矩陣M的跡，trace =入,入2 ; k——常數(shù)，本發(fā)明中取0.06. 計(jì)算出來的R的值越大，表明該點(diǎn)越趨于是角點(diǎn)。當(dāng)R大于零且較大時，對應(yīng)于角 點(diǎn)；當(dāng)R的值較大但小于零時，對應(yīng)于邊緣區(qū)域；如果|R|較小時，對應(yīng)于圖像的平坦區(qū)域。
(5. 2. 5)、確定像素級的角點(diǎn)。用3X3的模板搜索閾值大于0. OlRmax且是局部極 大值的像素點(diǎn)，即可判定該像素點(diǎn)為角點(diǎn)。 (5. 2. 6)、計(jì)算出亞像素角點(diǎn)。根據(jù)每一個像素級角點(diǎn)分別往上下左右四個方向擴(kuò)
12充成以像素級角點(diǎn)為中心的7X7的區(qū)域，找出該區(qū)域與四條邊界相交的四個像素邊緣點(diǎn)。 下列為以這四個邊緣點(diǎn)為起點(diǎn)，分別以遠(yuǎn)離像素級別角點(diǎn)的方向，向上、下、左、右四個方向 依次尋找十個邊緣點(diǎn)，這些邊緣點(diǎn)組合成四條像素級別的邊緣直線。每個角點(diǎn)都有四條像 素邊緣直線。 將找到的邊緣點(diǎn)進(jìn)行空間距方法計(jì)算，找出各點(diǎn)對應(yīng)的亞像素位置。此處使用的 亞像素方法為二階模型的空間距方法，將各點(diǎn)的亞像素位置按垂直和水平方向存入相應(yīng)的 數(shù)組中。 將每條邊找到的亞像素級點(diǎn)進(jìn)行最小二乘擬合，并求出四條直線的兩個交點(diǎn)，即 左邊和上邊的交點(diǎn)，右邊和下邊的交點(diǎn)。求取到兩個亞像素位置的角點(diǎn)之后，再取這兩點(diǎn)的 平均值作為亞像素角點(diǎn)。 本發(fā)明是提出一種亞像素空間矩的方法對X型靶標(biāo)的亞像素角點(diǎn)的提取。根據(jù)上 述的方法能夠很有效的提取角點(diǎn)的亞像素坐標(biāo)，精度能夠0. 1像素級。 (5.3)具體步驟如下提取圖像的中心區(qū)域中一個方格的四個頂點(diǎn)，并將這個區(qū) 域擴(kuò)展成3X3的的九個網(wǎng)格。對九個區(qū)域每個方格的四個頂點(diǎn)進(jìn)行擬合理想網(wǎng)格系數(shù)，得 出九組理想網(wǎng)格系數(shù)。根據(jù)每組的理想網(wǎng)格的系數(shù)分別擬合理想網(wǎng)格，并計(jì)算理想網(wǎng)格方 格的長和寬之差diff，記錄diff最小值所在方格的四個頂點(diǎn)擬合出的理想網(wǎng)格系數(shù)。
理想網(wǎng)格系數(shù)擬合的過程理想網(wǎng)格四個亞像素的頂點(diǎn)，取左上角一點(diǎn)對應(yīng)的i， j坐標(biāo)為(O，O)，將此點(diǎn)作為i-j坐標(biāo)系的原點(diǎn)?；趇-j坐標(biāo)系的基礎(chǔ)上，其他的亞像素 角點(diǎn)的i， j坐標(biāo)是，由原點(diǎn)的行數(shù)增加n(減少n)行，則j增加n(減少n);如果原點(diǎn)的列 數(shù)增加n (減少n)列，則i增加1 (減少1)。 網(wǎng)格的其他三點(diǎn)的i，j坐標(biāo)分別為(0，1)、(1，0)、(1，1)。將四個點(diǎn)的亞像素角點(diǎn) 坐標(biāo)和對應(yīng)的i， j坐標(biāo)分別代入到方程(5-3-1)中<formula>formula see original document page 13</formula> 其中，u和v分別為各點(diǎn)對應(yīng)的角點(diǎn)亞像素坐標(biāo)，k、b。、c。、 Au和Av為理想網(wǎng)格 模型所需擬合的五個參數(shù)，i、 j是對應(yīng)的i-j坐標(biāo)系的坐標(biāo)。 根據(jù)記錄最精確的理想網(wǎng)格系數(shù)，利用上述的公式(5-3-1)計(jì)算整個圖像理想網(wǎng) 格點(diǎn)的坐標(biāo)(u' ， v')。 (5.4)具體步驟如下計(jì)算理想網(wǎng)格角點(diǎn)(u' ，v')后，按照畸變模型公式
(5-4-1)與(5-4-2)所示<formula>formula see original document page 13</formula>
公式中(u'，v')為理想網(wǎng)格角點(diǎn)的坐標(biāo)，(u，v)為實(shí)際角點(diǎn)的坐標(biāo)。利用提取的
角點(diǎn)亞像素坐標(biāo)與求出角點(diǎn)理想坐標(biāo)之間的差值，擬合出畸變模型系數(shù)。 (5. 5)具體步驟如下通過畸變模型校正得到理想坐標(biāo)點(diǎn)。(u'， v')為理想角點(diǎn)
的坐標(biāo)，(u， v)為實(shí)際角點(diǎn)的坐標(biāo)，利用(5-5-1)公式，通過畸變模型校正后的理想點(diǎn)的坐 根據(jù)提取的亞像素角點(diǎn)校正后，利用空間中對應(yīng)角點(diǎn)間的距離與校正角點(diǎn)間的距 離之比，求得比例系數(shù)。其中D為世界坐標(biāo)中兩點(diǎn)之間的空間距離，d為矯正后的兩點(diǎn)間的
像素距離。 經(jīng)過上述的五個步驟，對帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)，做了 全面而詳細(xì)的論述。本發(fā)明提出先進(jìn)的光路調(diào)整系統(tǒng)，包括防光強(qiáng)飽和與物鏡面平行調(diào)整； 提出高精度空間矩的方法進(jìn)行X型靶標(biāo)的角點(diǎn)亞像素的提?。徊捎镁_的中心網(wǎng)格確定法 擬合理想網(wǎng)格。上述的分析來看，使用該視覺標(biāo)定技術(shù)的測量能夠達(dá)到精度高、速度快、操 作簡單，并且其對生產(chǎn)環(huán)境要求低。帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)基于 實(shí)際工程的思想的算法，該算法滿足工業(yè)上的實(shí)時性以及精度要求。本發(fā)明已經(jīng)應(yīng)用于嵌 入式機(jī)器視覺測控一體機(jī)與PC機(jī)組態(tài)界面軟件下產(chǎn)品的在線視覺測量。
標(biāo)
間長度
(5-5-l)
權(quán)利要求
帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)，其特征是首先，將具有高精度的X型靶標(biāo)放置于待測工件所在的平面上，然后對相機(jī)鏡頭進(jìn)行粗調(diào)；第二步，連接嵌入式機(jī)器視覺的檢測裝置，在線實(shí)時拍攝圖像，在PC機(jī)上進(jìn)行圖像的實(shí)時顯示；第三步，防光強(qiáng)飽和調(diào)整調(diào)節(jié)光源的亮度，并觀察實(shí)時顯示界面的光照強(qiáng)度狀態(tài)圖；光照強(qiáng)度狀態(tài)圖顯示分為紅、綠、橙；紅色，說明光強(qiáng)飽和，需要降低光強(qiáng)；綠色，說明光強(qiáng)適合，只需微調(diào)；橙色，說明光強(qiáng)偏弱，需要提高光強(qiáng)；在光強(qiáng)狀態(tài)圖顯示綠色的前提下，微調(diào)光源至適合標(biāo)定和測量的狀態(tài)；第四步，物鏡面平行調(diào)整根據(jù)操作界面實(shí)時顯示，微調(diào)鏡頭，使得物面與鏡面達(dá)到平行狀態(tài)；反復(fù)的調(diào)整第三步與第四步，使得滿足光源強(qiáng)度與物鏡面平行的要求；第五步，視覺標(biāo)定利用Harris算子、空間矩的方法進(jìn)行X型靶標(biāo)亞像素角點(diǎn)提取，然后利用圖像中心角點(diǎn)的畸變最小的原理，提取圖像中心的角點(diǎn)擬合理想網(wǎng)格，通過視覺系統(tǒng)的畸變模型公式計(jì)算畸變參數(shù)與比例系數(shù)。
2. 如權(quán)利要求1所述的帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)，其特征是所 述防光強(qiáng)飽和調(diào)整的方法，用于防止光源飽和，從而導(dǎo)致角點(diǎn)與邊緣信息的丟失，包括以下 步驟(3. 1)、在線實(shí)時采集X靶標(biāo)圖像對X型靶標(biāo)圖像求取相應(yīng)的直方圖，并動態(tài)的顯示；(3.2)、統(tǒng)計(jì)X型靶標(biāo)圖像的灰度最大值。判斷光強(qiáng)是否處于飽和狀態(tài)。如果圖像灰度 最大值等于255，則說明光強(qiáng)處于飽和的狀態(tài)；(3. 3)、如果光強(qiáng)處于飽和狀態(tài)，并且用戶選擇了允許部分飽和，設(shè)定一個允許部分飽 和度百分比值1%。計(jì)算圖像上的飽和點(diǎn)的個數(shù)與整個圖像點(diǎn)的個數(shù)之比，大于飽和度百分 比值，則光強(qiáng)狀態(tài)圖顯示紅色，向下位機(jī)發(fā)出請求，減小光強(qiáng)；否則光強(qiáng)狀態(tài)圖顯示綠色，滿 足標(biāo)定的光強(qiáng)的需要。如果用戶沒有選擇允許部分飽和，則光強(qiáng)狀態(tài)圖顯示紅色，必需調(diào)整 光源；(3. 4)、如果光強(qiáng)不處于飽和狀態(tài)，設(shè)定理想灰度值fidMl為227像素以及波動范圍S 為27像素，則圖像灰度值在[200,254]之間，圖像的光強(qiáng)狀態(tài)圖顯示綠色，說明光強(qiáng)滿足需 求；灰度值小于200像素，則光強(qiáng)狀態(tài)圖顯示橙色，提示用戶此時光強(qiáng)太弱，提高光強(qiáng)；(3. 5)、在光強(qiáng)狀態(tài)圖處于綠色狀態(tài)下，微量的調(diào)整光強(qiáng)，使得圖像狀態(tài)處于最佳。
3. 如權(quán)利要求1所述的帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)，其特征是 所述物鏡面平行調(diào)整的方法，用于防止由于兩個平面之間的夾角造成的誤差，包括以下步 驟(4. 1)、調(diào)整相機(jī)的鏡頭，使得鏡頭位置與X型靶標(biāo)平行，然后再對鏡頭進(jìn)行微調(diào)；(4. 2)、在200*300像素的區(qū)域內(nèi)，根據(jù)Harris算子提取X型靶標(biāo)圖像的像素級角點(diǎn)；在像素級角點(diǎn)的基礎(chǔ)上，利用空間矩和直線擬合的方法提取X型靶標(biāo)圖像的亞像素的角點(diǎn)；(4. 4)、提取圖像中心的區(qū)域網(wǎng)格四個角點(diǎn)的亞像素級坐標(biāo)，這四個點(diǎn)包含中心點(diǎn)坐標(biāo) (320,240);(4. 5)、以所述圖像中心的區(qū)域網(wǎng)格為中心，擴(kuò)展成3X3的九個網(wǎng)格區(qū)域；(4. 6)、計(jì)算所述九個網(wǎng)格區(qū)域的第一行的三個區(qū)域的面積之和Area—Up，第三行的 三個區(qū)域的面積之和Area—Down;并計(jì)算九個網(wǎng)格區(qū)域的第一列的三個區(qū)域的面積之和 Area—Left，第三列的三個區(qū)域的面積之和Area_Right ;(4. 7)、計(jì)算Area_Up與Area_Down， Area_Left與Area_Right之差分別為diff_UD、 diff_LR ;如果diff_UD、 diff—LR差值的絕對值都是小于正閾值Threshold,顯示區(qū)域的中 心則顯示綠色，說明此時物鏡面達(dá)到平行；(4. 8)、如果diff_UD大于正閾值Threshold,則說明相機(jī)鏡頭上偏；如果diff_UD小于 負(fù)閾值Threshold,則說明相機(jī)鏡頭下偏，否則，說明相機(jī)鏡頭沒有上下偏的趨勢；記錄相 機(jī)鏡頭上下偏移情況；(4. 9)、判斷diff_LR的值，分為以下的三種情況diff_LR的絕對值小于正閾值 Threshold,說明相機(jī)鏡頭不存在左右偏的情況；diff_LR大于正閾值Threshold,說明相機(jī) 鏡頭存在左偏；diff_LR小于負(fù)閾值Threshold,說明相機(jī)鏡頭存在右偏；記錄相機(jī)鏡頭左 右偏移的情況；(4. 10)、根據(jù)步驟4. 8與4. 9記錄相機(jī)鏡頭的偏向，判斷相機(jī)鏡頭的偏移如果鏡頭 不存在左右偏移，則根據(jù)步驟4. 8得出相機(jī)鏡頭上下偏移；如果鏡頭不存在上下偏移，則根 據(jù)步驟4. 9得出攝像機(jī)鏡頭左右偏移；如果相機(jī)鏡頭存在上下偏移與左右偏移，由鏡頭上 偏與左偏得到相機(jī)鏡頭存在左上偏移，由鏡頭上偏與右偏得到相機(jī)鏡頭存在右上偏移，由 鏡頭下偏與左偏得到相機(jī)鏡頭存在左下偏移，由鏡頭下偏與右偏得到相機(jī)鏡頭存在右下偏 移；根據(jù)界面的提示，調(diào)整相機(jī)的鏡頭，直到物鏡面平行為至，調(diào)整結(jié)束。
4. 如權(quán)利要求1所述的帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)，其特征是所 述視覺標(biāo)定的方法包括以下步驟(5. 1)、在光路調(diào)整達(dá)到理想狀態(tài)條件下，進(jìn)行視覺標(biāo)定；(5. 2)、提取X型靶標(biāo)圖像的亞像素角點(diǎn)利用Harris算子提取X型靶標(biāo)圖像像素級的 角點(diǎn)，然后基于空間矩亞像素邊緣提取與最小二乘擬合的方法，進(jìn)行角點(diǎn)的亞像素提??；(5. 3)、提取精確地理想網(wǎng)格利用圖像中心的畸變很小的原理，提取圖像的中心區(qū)域 中一個方格的四個頂點(diǎn)，并將這個區(qū)域擴(kuò)展成3X3的的九個網(wǎng)格；對九個區(qū)域每個方格的 四個頂點(diǎn)進(jìn)行擬合理想網(wǎng)格系數(shù)，得出九組理想網(wǎng)格系數(shù)；根據(jù)每組的理想網(wǎng)格的系數(shù)分 別擬合理想網(wǎng)格，并計(jì)算理想網(wǎng)格方格的長和寬之差diff ，記錄diff最小值所在方格的四 個頂點(diǎn)擬合出的理想網(wǎng)格系數(shù)；根據(jù)記錄理想網(wǎng)格系數(shù)以及理想網(wǎng)格的公式，求取整個圖 像的理想網(wǎng)格點(diǎn)；(5. 4)、根據(jù)畸變模型公式，利用對應(yīng)的理想網(wǎng)格點(diǎn)與實(shí)際提取亞像素的角點(diǎn)坐標(biāo)之間 的差值，擬合畸變模型的系數(shù)；(5. 5)、將圖像提取的實(shí)際角點(diǎn)通過畸變模型進(jìn)行校正，然后根據(jù)空間的兩點(diǎn)之間的空 間距離與經(jīng)過畸變模型校正后的圖像的角點(diǎn)中兩點(diǎn)之間的像素距離的比值，得到圖像距離 與實(shí)際距離之間的比例系數(shù)；(5. 6)、記錄比例系數(shù)與畸變模型的系數(shù)，利用這些參數(shù)進(jìn)行視覺測量。
5. 如權(quán)利要求1或4所述的帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)，其特征 是所述進(jìn)行亞像素角點(diǎn)提取的方法，采用Harris算子與空間矩相結(jié)合，將空間矩的亞像素 邊緣提取方法結(jié)合角點(diǎn)的特征來提取X靶標(biāo)的亞像素角點(diǎn)，包括以下步驟(5. 2. 1)、利用Harris算子提取X型靶標(biāo)圖像像素級的角點(diǎn)首先對相機(jī)采集的圖片進(jìn) 行預(yù)處理，將選定的區(qū)域進(jìn)行二值化操作，并用垂直和水平方向的一階梯度算子找出邊界 點(diǎn)；另外，通過對邊界擴(kuò)充的方法避免漏檢角點(diǎn)的情況，邊界擴(kuò)充即在梯度算子找到的邊界 基礎(chǔ)上，將找到的邊界點(diǎn)周圍8個點(diǎn)全部列為邊界點(diǎn)；(5. 2. 2)、提取角點(diǎn)以后，首先獲得X型靶標(biāo)傾斜角度，即X型靶標(biāo)的水平直線的傾斜角 度，利用在同一行上的角點(diǎn)水平直線上的截距相等，在同一列上的角點(diǎn)垂直直線上的截距 相等的原理，將角點(diǎn)按相應(yīng)的行和列進(jìn)行存儲；(5. 2. 3)、計(jì)算出亞像素角點(diǎn)根據(jù)每一個像素級角點(diǎn)分別往上下左右四個方向擴(kuò)充成 以像素級角點(diǎn)為中心的7X7的區(qū)域，找出該區(qū)域與四條邊界相交的四個像素邊緣點(diǎn)；以這 四個邊緣點(diǎn)為起點(diǎn)，分別以遠(yuǎn)離像素級角點(diǎn)的方向，向上、下、左、右四個方向擴(kuò)展十個邊緣 點(diǎn)，這些邊緣點(diǎn)組合成四條像素級別的邊緣直線；每個角點(diǎn)都有四條像素邊緣直線；將找到的邊緣點(diǎn)進(jìn)行空間距方法計(jì)算，找出各點(diǎn)對應(yīng)的亞像素位置使用的亞像素方 法為二階模型的空間距方法，將各點(diǎn)的亞像素位置按垂直和水平方向存入相應(yīng)的數(shù)組中；將每條邊找到的亞像素級點(diǎn)進(jìn)行最小二乘擬合，并求出四條直線的兩個交點(diǎn)，即左邊 和上邊的交點(diǎn)，右邊和下邊的交點(diǎn)，求取到兩個亞像素位置的角點(diǎn)之后，再取這兩點(diǎn)的平均 值作為亞像素角點(diǎn)。
全文摘要
本發(fā)明提出了一種帶有光路調(diào)整的嵌入式機(jī)器視覺亞像素標(biāo)定技術(shù)，是在線視覺測量的可調(diào)整光路的標(biāo)定技術(shù)。標(biāo)定過程采用的主要技術(shù)包括光路調(diào)整技術(shù)包括防光強(qiáng)飽和與物鏡面平行調(diào)整技術(shù)；利用空間矩亞像素角點(diǎn)提取技術(shù)；基于理想網(wǎng)格的亞像素視覺標(biāo)定技術(shù)。本發(fā)明克服了傳統(tǒng)測量技術(shù)的缺陷，在生產(chǎn)線上對相機(jī)進(jìn)行高精度與高穩(wěn)定的標(biāo)定，能夠自動的在生產(chǎn)線上使用標(biāo)定技術(shù)進(jìn)行視覺測量，最終對產(chǎn)品的質(zhì)量進(jìn)行合格檢測。由于采用基于工程化思想設(shè)計(jì)算法，本發(fā)明具有精度高、速度快、對生產(chǎn)環(huán)境質(zhì)量要求低，實(shí)時性高的優(yōu)點(diǎn)，能夠很好的滿足工業(yè)生產(chǎn)的需要，對實(shí)際工業(yè)生產(chǎn)中產(chǎn)品的視覺測量有重要的意義。
文檔編號G01B11/00GK101776437SQ20091003566
公開日2010年7月14日 申請日期2009年9月30日 優(yōu)先權(quán)日2009年9月30日
發(fā)明者孟偉, 李新, 李杜, 白瑞林, 趙晶晶 申請人:江南大學(xué)