根據(jù)直線特征執(zhí)行視覺系統(tǒng)平面手眼校準(zhǔn)的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種在機(jī)器視覺系統(tǒng)應(yīng)用中所使用的校準(zhǔn)系統(tǒng)和方法以及校準(zhǔn)物體。
【背景技術(shù)】
[0002]在機(jī)器視覺系統(tǒng)(本文稱為“視覺系統(tǒng)”)中，一個(gè)或多個(gè)攝像機(jī)被用于對成像場景中的物體或表面執(zhí)行視覺系統(tǒng)處理。這些處理可以包括檢查、符號解碼、調(diào)整以及各種其它的自動(dòng)化任務(wù)。更具體地講，視覺系統(tǒng)可用于檢測成像場景中穿過的一個(gè)平面工件。場景通常由一個(gè)或多個(gè)視覺系統(tǒng)攝像機(jī)成像，這些攝像機(jī)(一個(gè)或多個(gè))可以包括操作相關(guān)視覺系統(tǒng)處理以產(chǎn)生結(jié)果的內(nèi)部或外部視覺系統(tǒng)處理器。通常需要校準(zhǔn)一個(gè)或多個(gè)攝像機(jī)以使它/它們有足夠的精度和可靠性來執(zhí)行視覺任務(wù)(多個(gè))。校準(zhǔn)板可用于校準(zhǔn)攝像機(jī)。
[0003]校準(zhǔn)物體(通常是一個(gè)“板”的形式)通常以在其表面帶有特色圖案的平板狀物體的形式提供。特色圖案通常經(jīng)過精心設(shè)計(jì)，從而使用戶能夠很容易地從一個(gè)相機(jī)捕獲的校準(zhǔn)板圖像中識(shí)別出每個(gè)可見特征。一些示例性的圖案包括但不限于:點(diǎn)網(wǎng)格，線網(wǎng)格，或者大致的蜂窩圖案，三角形棋盤圖案等等。每個(gè)可見特征的特點(diǎn)可由(面)板的設(shè)計(jì)(比如相對于設(shè)計(jì)內(nèi)部隱含定義的一個(gè)參考位置和/或坐標(biāo)系的位置或方向)推知。
[0004]由交叉線和修飾圖形鑲嵌排列而成的棋盤圖案設(shè)計(jì)，提供了在即便透視系數(shù)和鏡頭畸變、圖案部分損壞、不均勻光照等非理想條件下執(zhí)行校準(zhǔn)時(shí)在精度和魯棒性方面的一些優(yōu)點(diǎn)。更具體地說，在一個(gè)靜止物體的二維(2D)校準(zhǔn)時(shí)，通過校準(zhǔn)棋盤邊緣確定單個(gè)棋盤塊的各個(gè)角的相對位置，一般對于確定視覺系統(tǒng)的精度是足夠的，并且視情況而定，向相機(jī)處理器提供適當(dāng)?shù)男Ｕ禂?shù)以便運(yùn)行時(shí)物體在考慮這些校正系數(shù)的條件下得到測量。
[0005]通過進(jìn)一步了解校準(zhǔn)原理可知:對于一個(gè)剛體，比如一個(gè)校準(zhǔn)板，一種運(yùn)動(dòng)可由一對姿態(tài)來表征:運(yùn)動(dòng)前的初始姿態(tài)、運(yùn)動(dòng)后的終止姿態(tài)——“姿態(tài)”在此定義為用于描述在任意特定瞬間、當(dāng)前坐標(biāo)系下物體狀態(tài)的一組數(shù)值——物體的一種虛擬特性。例如，在二維空間，一個(gè)剛體可用三個(gè)數(shù)字表征:x平移，Y平移和旋轉(zhuǎn)R。校準(zhǔn)板前后的姿態(tài)描述了當(dāng)相機(jī)(多個(gè))和校準(zhǔn)板間存在相對運(yùn)動(dòng)時(shí)校準(zhǔn)板如何呈現(xiàn)給相機(jī)(多個(gè))。典型地，按所謂的“手眼校準(zhǔn)”標(biāo)準(zhǔn)，一個(gè)校準(zhǔn)板以許多不同的姿態(tài)呈現(xiàn)給相機(jī)(多個(gè))，而每個(gè)相機(jī)獲取校準(zhǔn)板在每個(gè)姿態(tài)下的一幅圖像。對于機(jī)器視覺的手眼校準(zhǔn)，典型情況下，校準(zhǔn)板被移動(dòng)到多個(gè)預(yù)定姿態(tài)，而相機(jī)(多個(gè))獲取所述校準(zhǔn)板的特定圖像。此種手眼校準(zhǔn)的目標(biāo)是在“運(yùn)動(dòng)坐標(biāo)系”中確定相機(jī)(多個(gè))和校準(zhǔn)板的剛體姿態(tài)。該運(yùn)動(dòng)坐標(biāo)系可以用多種方式來定義。姿態(tài)的數(shù)目(指定校準(zhǔn)板和/或這些相機(jī)在空間中的位置)必須在一個(gè)適當(dāng)?shù)淖鴺?biāo)系中解釋。一旦單一的統(tǒng)一坐標(biāo)系被選定，則姿態(tài)和運(yùn)動(dòng)均在該全局坐標(biāo)系中描述/解釋。這個(gè)選定的坐標(biāo)系被常稱作“運(yùn)動(dòng)坐標(biāo)系”。典型地，“運(yùn)動(dòng)”由一個(gè)能夠完成物理運(yùn)動(dòng)的實(shí)際設(shè)備來提供，比如一個(gè)機(jī)器人手臂，或者一個(gè)運(yùn)動(dòng)臺(tái)站，比如一臺(tái)起重機(jī)架。請注意，校準(zhǔn)板既可以相對于一個(gè)或多個(gè)固定相機(jī)運(yùn)動(dòng)，相機(jī)(多個(gè))也可以相對固定校準(zhǔn)板運(yùn)動(dòng)。此種運(yùn)動(dòng)執(zhí)行裝置的控制器使用數(shù)值(即姿態(tài))命令裝置執(zhí)行任何想要的運(yùn)動(dòng)，而那些數(shù)值在適合該裝置的本地坐標(biāo)系中被解釋。注意:盡管可以選定任意運(yùn)動(dòng)坐標(biāo)系以提供一個(gè)相對于運(yùn)動(dòng)執(zhí)行裝置與相機(jī)(多個(gè))的通用的全局坐標(biāo)系，但通常希望選擇運(yùn)動(dòng)執(zhí)行裝置的本地坐標(biāo)系作為整體的運(yùn)動(dòng)坐標(biāo)系。
[0006]因此，手眼校準(zhǔn)通過運(yùn)動(dòng)的執(zhí)行(或者移動(dòng)校準(zhǔn)板，或者移動(dòng)相機(jī))針對運(yùn)動(dòng)坐標(biāo)系校準(zhǔn)系統(tǒng)，并在運(yùn)動(dòng)之前和之后獲取圖像以確定該運(yùn)動(dòng)對于一個(gè)運(yùn)動(dòng)物體的作用效果。通過進(jìn)一步的背景延伸，這不同于典型的內(nèi)在的和外在的相機(jī)校準(zhǔn)，這種校準(zhǔn)不包括(即“免于”)在一個(gè)運(yùn)動(dòng)坐標(biāo)系中確定相機(jī)的外在姿態(tài)。在這種情況下，相機(jī)(多個(gè))通常都使用所捕獲的一個(gè)處于所有相機(jī)視野內(nèi)特定位置的校準(zhǔn)板的圖像相對于校準(zhǔn)板自身的坐標(biāo)系得到校準(zhǔn)。機(jī)器視覺校準(zhǔn)軟件根據(jù)每臺(tái)相機(jī)捕獲的校準(zhǔn)板圖像推導(dǎo)出每臺(tái)相機(jī)的相對位置。這種校準(zhǔn)被稱作“針對校準(zhǔn)板的校準(zhǔn)相機(jī)”，而一個(gè)手眼校準(zhǔn)被稱作“針對運(yùn)動(dòng)坐標(biāo)系的校準(zhǔn)相機(jī)”。
[0007]當(dāng)機(jī)器視覺系統(tǒng)使用手眼校準(zhǔn)時(shí)，其軟件通過把圖像中觀察到的運(yùn)動(dòng)效果和受控運(yùn)動(dòng)(其受控運(yùn)動(dòng)數(shù)據(jù)是已知的)相關(guān)聯(lián)來求解各個(gè)姿態(tài)。校準(zhǔn)的另一個(gè)結(jié)果是在相機(jī)圖像中的每個(gè)像素位置和運(yùn)動(dòng)坐標(biāo)系中一個(gè)物理位置建立映射，因此在圖像空間找到一個(gè)位置后，在運(yùn)動(dòng)坐標(biāo)系中該位置可被解出，并且運(yùn)動(dòng)執(zhí)行裝置可據(jù)之執(zhí)行命令。
[0008]在各種制造過程中，希望對齊一個(gè)扁平工件或更一般地，對齊一個(gè)所關(guān)注特征位于通常相互平行的離散平面上的工件。更具體地，組裝應(yīng)用中，一個(gè)工件與另一個(gè)工件對齊。一個(gè)示例性的處理是需要把一部蜂窩電話或一臺(tái)平板電腦的復(fù)蓋玻璃插入其殼體內(nèi)。另一個(gè)示例性的處理涉及打印應(yīng)用，其中工件與處理設(shè)備對齊，比如絲網(wǎng)印刷移動(dòng)電話、平板電腦或平板顯示器的復(fù)蓋玻璃的時(shí)候。
[0009]機(jī)器視覺手眼校準(zhǔn)的標(biāo)準(zhǔn)技術(shù)(例如在以上描述的復(fù)蓋玻璃安裝布置時(shí)就要求移動(dòng)一個(gè)特殊的校準(zhǔn)目標(biāo)，例如棋盤校準(zhǔn)板)可能在操作方面比較麻煩(例如，工作區(qū)域的空間約束，特殊安裝固定和/或用于握持目標(biāo)的抓取裝置)。這就使得自定義校準(zhǔn)板和/或固定件的使用成為必需的，會(huì)增加成本和安裝時(shí)間。

【發(fā)明內(nèi)容】

[0010]通過移動(dòng)一個(gè)典型的(運(yùn)行時(shí)刻)工件(其下面的部件/物體處理裝置，比如一個(gè)機(jī)器人和/或運(yùn)動(dòng)平臺(tái)，被設(shè)計(jì)為在其計(jì)劃的、運(yùn)行時(shí)刻制造過程中進(jìn)行處理)而提供一種用于執(zhí)行平面的(即2D)手眼校準(zhǔn)的系統(tǒng)和方法，本發(fā)明克服了先前技術(shù)的不足。該系統(tǒng)和方法可在手眼校準(zhǔn)中降低對某個(gè)特定校準(zhǔn)目標(biāo)的視覺系統(tǒng)的依賴。具體地，示例性實(shí)施例通過在臺(tái)體運(yùn)動(dòng)時(shí)察看對于一個(gè)物體/工件的一個(gè)或多個(gè)直線特征保證手眼校準(zhǔn)的性能。本系統(tǒng)和方法有望使范圍廣泛的視覺系統(tǒng)應(yīng)用獲得足夠的校準(zhǔn)精度水平。該系統(tǒng)和方法通過工件隨平臺(tái)運(yùn)動(dòng)期間僅僅察看一個(gè)或多個(gè)直線特征即可示例性地執(zhí)行手眼校準(zhǔn)，并使用這些特征建立一個(gè)坐標(biāo)系，以便視覺系統(tǒng)作為參照。該系統(tǒng)和方法利用單一的全局(和/或運(yùn)動(dòng))坐標(biāo)系便可應(yīng)用于單個(gè)或多個(gè)相機(jī)配置。
[0011]在一個(gè)示例性實(shí)施例中，提供了一種用于視覺系統(tǒng)(利用具有至少一個(gè)特征的所制物體)的平面的(2D)手眼校準(zhǔn)的系統(tǒng)和方法。該特征可以是線性特征，并且物體在一運(yùn)動(dòng)臺(tái)體上至少在一個(gè)自由度上以平移或旋轉(zhuǎn)方式運(yùn)動(dòng)。該系統(tǒng)還包括至少一第一視覺系統(tǒng)相機(jī)和圖像處理器。該第一視覺系統(tǒng)相機(jī)可按多種參數(shù)校準(zhǔn)，這些參數(shù)可以是(或不是)相機(jī)本身具有的，以及安排用于獲取所制物體第一線性特征的圖像并響應(yīng)于運(yùn)動(dòng)臺(tái)體在至少一個(gè)平移自由度上的運(yùn)動(dòng)而跟蹤第一線性特征的運(yùn)動(dòng)。一處理/處理器識(shí)別一個(gè)二維(2D)平面上至少兩個(gè)不同位置的第一線性特征，并基于至少兩個(gè)位置，計(jì)算出第一相機(jī)像素坐標(biāo)系中的像素位置與運(yùn)動(dòng)坐標(biāo)系中物理位置間的映射關(guān)系。線性特征為一邊緣、一支架和一有明顯對比度差異的區(qū)域中的至少一個(gè)。可選地，可提供第二視覺系統(tǒng)相機(jī)(也可經(jīng)過校準(zhǔn))。另外，在進(jìn)一步實(shí)施例中，可布置提供可選的視覺系統(tǒng)相機(jī)(例如第三個(gè)，第四個(gè)，等等)。第二視覺系統(tǒng)相機(jī)可適當(dāng)布置以便識(shí)別并分別跟蹤所制作物體的至少一個(gè)第二線性特征。做為選擇，兩個(gè)或更多相機(jī)中的每一個(gè)(第一相機(jī)，第二相機(jī)等等)可跟蹤同一個(gè)第一(等)特征(例如來自視域的不同點(diǎn))。運(yùn)動(dòng)臺(tái)體包括至少一將所制物體沿X軸移動(dòng)的第一滑道，和一將所制物體沿I軸移動(dòng)的第二滑道，y軸在2D平面通常大致與X軸正交。運(yùn)動(dòng)臺(tái)體可包括升降機(jī)，所述升降機(jī)布置為沿一個(gè)與2D平面正交的z軸移動(dòng)所制物體。該系統(tǒng)可以進(jìn)一步包括轉(zhuǎn)臺(tái)，可使所制物體至少能繞X軸，y軸和z軸之一旋轉(zhuǎn)。第一滑道、第二滑道和升降機(jī)中至少有一個(gè)由包括轉(zhuǎn)動(dòng)導(dǎo)螺桿和受控電機(jī)的致動(dòng)器驅(qū)動(dòng)。示例性的旋轉(zhuǎn)臺(tái)體旋轉(zhuǎn)所制物體。運(yùn)動(dòng)臺(tái)體可包括導(dǎo)螺桿驅(qū)動(dòng)的滑道和可操作地連接至該導(dǎo)螺桿的受控電機(jī)。電機(jī)可包括伺服電機(jī)或步進(jìn)電動(dòng)機(jī)中的至少一個(gè)。運(yùn)動(dòng)臺(tái)體包括滑道和可操作地與之相連的受控線性電機(jī)。
【附圖說明】
[0012]本發(fā)明以下描述參考下列附圖，其中:
[0013]圖1是一個(gè)示意圖，表示一個(gè)示例性的制造布置，使用了一個(gè)或多個(gè)機(jī)器視覺系統(tǒng)相機(jī)和相關(guān)的處理部件，用于按照此處圖示的實(shí)施例的校準(zhǔn)系統(tǒng)和方法；
[0014]圖2是一個(gè)含多個(gè)視覺系統(tǒng)相機(jī)視域的示意圖，每個(gè)視域指向一個(gè)包括單個(gè)線性邊緣特征物體的分立區(qū)域；
[0015]圖3是一個(gè)過程流程圖，該過程利用附加到一個(gè)運(yùn)動(dòng)臺(tái)體上的運(yùn)行時(shí)刻物體的線性特征執(zhí)行一個(gè)或多個(gè)相機(jī)的手眼校準(zhǔn)；
[0016]圖4是一個(gè)示意性的平面圖，說明在一個(gè)示例性實(shí)施例中用于其視覺系統(tǒng)的一個(gè)單軸運(yùn)動(dòng)臺(tái)體；
[0017]圖5是一個(gè)示意性的平面圖，說明在一個(gè)示例性實(shí)施例中用于其視覺系統(tǒng)的一個(gè)帶有旋轉(zhuǎn)的三軸運(yùn)動(dòng)臺(tái)體；
[