一種機(jī)器人手眼立體視覺測量方法
【專利摘要】一種機(jī)器人手眼立體視覺測量方法，通過安裝在工業(yè)機(jī)器人末端執(zhí)行器上的工業(yè)攝像機(jī)從兩個不同方向?qū)δ繕?biāo)場景拍攝圖像。在進(jìn)行完攝像機(jī)標(biāo)定和圖像預(yù)處理之后，尋找兩幅圖像的共軛匹配點(diǎn)，最后根據(jù)共軛匹配點(diǎn)進(jìn)行三維重建從而得到工件表面點(diǎn)的三維坐標(biāo)。相比目前常用的固定式工業(yè)機(jī)器人手眼視覺測量，本發(fā)明可以獲取工件的三維信息而非單純的二維坐標(biāo)，大大拓展了視覺系統(tǒng)在工業(yè)機(jī)器人裝配、分揀等系統(tǒng)中的應(yīng)用，具有巨大的應(yīng)用價值與廣泛的應(yīng)用領(lǐng)域。
【專利說明】一種機(jī)器人手眼立體視覺測量方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機(jī)器人視覺測量領(lǐng)域，尤其涉及一種機(jī)器人手眼立體視覺測量方法。【背景技術(shù)】
[0002] 在傳統(tǒng)的機(jī)器人生產(chǎn)線上，執(zhí)行抓取搬運(yùn)任務(wù)的工業(yè)機(jī)器人絕大多數(shù)是以精確示 教或者離線編程的方式進(jìn)行工作的。目標(biāo)物體的初始位姿和終止位姿都是嚴(yán)格限定的，機(jī) 器人只能完成點(diǎn)到點(diǎn)的工作。但很多情況下特別是流水線的場合工件位姿常常是不固定 的，實(shí)際目標(biāo)物體的位姿與理想目標(biāo)物體位姿總是有偏差的，這種偏差哪怕很小都會導(dǎo)致 機(jī)器人操作任務(wù)的失敗。這種由于環(huán)境的變化而導(dǎo)致機(jī)器人不能很好地完成任務(wù)的情況極 大地限制了機(jī)器人的實(shí)際應(yīng)用范圍。隨著現(xiàn)代生產(chǎn)制造技術(shù)的進(jìn)步，進(jìn)一步提高生產(chǎn)線的 柔性的要求也日益迫切，對工業(yè)機(jī)器人系統(tǒng)應(yīng)用領(lǐng)域、靈活性和自主性要求也越來越高。
[0003] 小批量多品種的生產(chǎn)模式是未來制造業(yè)的發(fā)展趨勢。為保證工業(yè)機(jī)器人實(shí)時高效 的完成生產(chǎn)任務(wù)，將機(jī)器視覺引入到機(jī)器人作業(yè)系統(tǒng)，從而大大提高了生產(chǎn)線的柔性和智 能水平。
[0004] 當(dāng)前機(jī)器視覺的實(shí)現(xiàn)主要采用平面視覺系統(tǒng)。王修巖等在《機(jī)械設(shè)計與制造》 (2011年第4期155頁至157頁）上發(fā)表的"基于單目視覺的工業(yè)機(jī)器人目標(biāo)識別技術(shù)研 究"，該文提出使用一臺固定在機(jī)器人上方的CCD攝像機(jī)拍攝工件環(huán)境中的目標(biāo)并通過相關(guān) 運(yùn)算達(dá)到定位目標(biāo)的目的。其不足在于：只能獲得工件的二維信息，無法獲得其深度或者高 度信息。無法滿足工業(yè)機(jī)器人裝配、碼垛等更高要求的作業(yè)任務(wù)。


【發(fā)明內(nèi)容】

[0005] 鑒于以上內(nèi)容，有必要提出一種可以獲取目標(biāo)工件的三維立體信息、有較強(qiáng)實(shí)用 性和可靠性的機(jī)器人視覺測量方法。
[0006] -種機(jī)器人手眼立體視覺測量方法，包括有一拍攝裝置和一機(jī)器人，其特征在于， 該方法包括如下步驟：
[0007]所述拍攝裝置實(shí)時獲取目標(biāo)物體的圖像；
[0008]通過濾波的方式對圖像進(jìn)行預(yù)處理，得到目標(biāo)物體的清晰圖像；
[0009]提取目標(biāo)物體清晰圖像中的特征點(diǎn)，并進(jìn)行立體匹配，獲取共軛匹配點(diǎn)；
[0010] 根據(jù)共軛匹配點(diǎn)進(jìn)行三維重建，獲取目標(biāo)物體的三維信息；
[0011] 根據(jù)所述三維信息控制所述機(jī)器人末端執(zhí)行器對目標(biāo)物體進(jìn)行抓取。
[0012] 進(jìn)一步地，在所述拍攝裝置獲取圖像之前，要先對所述拍攝裝置進(jìn)行標(biāo)定，標(biāo)定采 用小孔成像的方式。
[0013]進(jìn)一步地，所述提取目標(biāo)物體清晰圖像中的特征點(diǎn)，并進(jìn)行立體匹配，獲取共軛匹 配點(diǎn)，具體為：首先采用Harris角點(diǎn)檢測方法獲取清晰圖像中所有局部興趣值最大的點(diǎn)， 然后根據(jù)高斯差分進(jìn)行特征點(diǎn)的立體匹配。
[0014]進(jìn)一步地，所述首先采用Harris角點(diǎn)檢測方法獲取清晰圖像中所有局部興趣值 最大的點(diǎn)具體為：計算各像素元的興趣值IV;得到局部極值點(diǎn)；
[0015] 根據(jù)計算后的興趣值，提取清晰圖像中所有局部興趣值最大的點(diǎn)。
[0016] 進(jìn)一步地，所有局部興趣值最大的點(diǎn)利用高斯差分進(jìn)行特征點(diǎn)的立體匹配，確定 最終共軛匹配特征點(diǎn)，具體步驟如下：利用高斯卷積構(gòu)建金字塔結(jié)構(gòu)的尺度空間；對金字 塔中間各層圖像求Harris角點(diǎn)；對所提取的Harris角點(diǎn)與其上下層圖像對應(yīng)的像素點(diǎn)計 算高斯差分，高斯差分取得極值并大于閾值的Harris角點(diǎn)被選為最終共軛匹配特征點(diǎn)。 [0017] 相比于現(xiàn)有技術(shù)，本發(fā)明達(dá)到的有益效果如下：
[0018] 本發(fā)明的提出一種工業(yè)機(jī)器人手眼式立體視覺測量方法，可以得到生產(chǎn)線上目標(biāo) 工件的三維立體信息，此方法具有較強(qiáng)的實(shí)用性與可靠性。大大拓展了視覺系統(tǒng)在工業(yè)機(jī) 器人裝配、分揀等系統(tǒng)中的應(yīng)用，具有巨大的應(yīng)用價值與廣泛的應(yīng)用領(lǐng)域。

【專利附圖】

【附圖說明】
[0019] 圖1是本發(fā)明一種機(jī)器人手眼立體視覺測量方法的一較佳實(shí)施方式流程圖；
[0020] 圖2是本發(fā)明一種機(jī)器人手眼立體視覺測量方法的三維重建空間圖。

【具體實(shí)施方式】
[0021] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對本發(fā)明做進(jìn)一步詳細(xì)說明。
[0022] 請參照圖1，一種機(jī)器人手眼立體視覺測量方法，包括有一拍攝裝置和一機(jī)器人， 該方法包括如下步驟：
[0023] SlO :所述拍攝裝置實(shí)時獲取目標(biāo)物體的圖像。
[0024] 拍攝裝置固定在機(jī)器人手臂的末端執(zhí)行器上，與末端執(zhí)行器一起運(yùn)動，以使所述 拍攝裝置在多個不同位置(此實(shí)施例中為兩個）對同一目標(biāo)物體獲取圖像，在此實(shí)施例中， 獲取的圖像為兩幅。在本實(shí)施例中，所述拍攝裝置為一攝像機(jī)。
[0025] 在所述拍攝裝置獲取圖像之前，要先對所述拍攝裝置進(jìn)行標(biāo)定，攝像機(jī)標(biāo)定采用 小孔成像的方式。
[0026]S20:通過濾波的方式對圖像進(jìn)行預(yù)處理，得到目標(biāo)物體的清晰圖像。
[0027] 此處選用中值濾波來消除圖像中的噪聲信號，即采用當(dāng)前像素點(diǎn)所在鄰域中所有 像素按灰度級排序，取其中間值來替代該像素的灰度值。以獲取目標(biāo)物體的清晰圖像。中 值濾波可由下式表示：
[0028]g(m,n)=Median{f(m-k,n-1),(k,I)Gff}
[0029] 其中，g(m，n)為中值濾波后的結(jié)果圖像，f(m_k，n-1)為原始圖像。取窗口為奇數(shù)， 有g(shù)(m，n)=f(n+1)/2。常用的窗□為線形、十字形、方形、菱形、圓形等。
[0030]S30:提取目標(biāo)物體清晰圖像中的特征點(diǎn)，并進(jìn)行立體匹配，獲取共軛匹配點(diǎn)。
[0031] 通常一幅圖像中的某個特征點(diǎn)在另一幅圖像中可能會有很多的匹配對象，此外， 圖像中還存在諸如光照條件、景物形狀、干擾噪聲和畸變等不利因素，可能會引起歧義匹 配。為避免歧義匹配的出現(xiàn)，此處采用Harris角點(diǎn)檢測及高斯差分檢測對各視點(diǎn)的圖像進(jìn) 行特征提取。
[0032] 首先，根據(jù)Harris角點(diǎn)檢測方法求出一定數(shù)目的特征點(diǎn)：Harris算子是一種基于 信號的點(diǎn)特征提取算子，當(dāng)像素所在位置沿任意方向的曲率都比較大時，則判定該像素點(diǎn) 為角點(diǎn)。Harris算子只涉及圖像的一階導(dǎo)數(shù)，其方法步驟如下：
[0033] S301 :計算各像素元的興趣值IV:

【權(quán)利要求】
1. 一種機(jī)器人手眼立體視覺測量方法，包括有一拍攝裝置和一機(jī)器人，其特征在于，該 方法包括如下步驟： 所述拍攝裝置實(shí)時獲取目標(biāo)物體的圖像； 通過濾波的方式對圖像進(jìn)行預(yù)處理，得到目標(biāo)物體的清晰圖像； 提取目標(biāo)物體清晰圖像中的特征點(diǎn)，并進(jìn)行立體匹配，獲取共軛匹配點(diǎn)； 根據(jù)共軛匹配點(diǎn)進(jìn)行三維重建，獲取目標(biāo)物體的三維信息； 根據(jù)所述三維信息控制所述機(jī)器人末端執(zhí)行器對目標(biāo)物體進(jìn)行抓取。
2. 如權(quán)利要求1所述的一種機(jī)器人手眼立體視覺測量方法，其特征在于：在所述拍攝 裝置獲取圖像之前，要先對所述拍攝裝置進(jìn)行標(biāo)定，標(biāo)定采用小孔成像的方式。
3. 如權(quán)利要求1所述的一種機(jī)器人手眼立體視覺測量方法，其特征在于：所述提取目 標(biāo)物體清晰圖像中的特征點(diǎn)，并進(jìn)行立體匹配，獲取共軛匹配點(diǎn)，具體為：首先采用Harris 角點(diǎn)檢測方法獲取清晰圖像中所有局部興趣值最大的點(diǎn)，然后根據(jù)高斯差分進(jìn)行特征點(diǎn)的 立體匹配。
4. 如權(quán)利要求3所述的一種機(jī)器人手眼立體視覺測量方法，所述首先采用Harris角點(diǎn) 檢測方法獲取清晰圖像中所有局部興趣值最大的點(diǎn)具體為： 計算各像素元的興趣值IV; 得到局部極值點(diǎn)； 根據(jù)計算后的興趣值，提取清晰圖像中所有局部興趣值最大的點(diǎn)。
5. 如權(quán)利要求4所述的一種機(jī)器人手眼立體視覺測量方法，所有局部興趣值最大的點(diǎn) 利用高斯差分進(jìn)行特征點(diǎn)的立體匹配，確定最終共軛匹配特征點(diǎn)，具體步驟如下： 利用高斯卷積構(gòu)建金字塔結(jié)構(gòu)的尺度空間； 對金字塔中間各層圖像求Harris角點(diǎn)； 對所提取的Harris角點(diǎn)與其上下層圖像對應(yīng)的像素點(diǎn)計算高斯差分，高斯差分取得 極值并大于閾值的Harris角點(diǎn)被選為最終共軛匹配特征點(diǎn)。
【文檔編號】G01C11/00GK104515502SQ201310451831
【公開日】2015年4月15日 申請日期:2013年9月28日 優(yōu)先權(quán)日:2013年9月28日
【發(fā)明者】徐方, 曲道奎, 鄒風(fēng)山, 王帥, 李邦宇, 褚明杰 申請人:沈陽新松機(jī)器人自動化股份有限公司