專利名稱：用于實(shí)用3d視覺(jué)系統(tǒng)的方法和設(shè)備的制作方法
用于實(shí)用3D視覺(jué)系統(tǒng)的方法和設(shè)備
背景技術(shù)：
本發(fā)明涉及機(jī)器視覺(jué)，更具體地涉及三維(3D)機(jī)器視覺(jué)。本發(fā)明可應(yīng)用于制造、質(zhì)量控制以及機(jī)器人技術(shù)等等領(lǐng)域中。機(jī)器視覺(jué)指的是對(duì)圖像進(jìn)行自動(dòng)分析以確定圖像中表示的對(duì)象的特性。機(jī)器視覺(jué)常用于自動(dòng)生產(chǎn)線中，在自動(dòng)生產(chǎn)線中，分析部件圖像以便于零件分揀，并確定零件放置和對(duì)準(zhǔn)以進(jìn)行組裝。當(dāng)機(jī)器人是用于自動(dòng)組裝的裝置且圖像自動(dòng)分析用于便于零件分揀、放置以及對(duì)準(zhǔn)時(shí)，該系統(tǒng)被稱為視覺(jué)引導(dǎo)的機(jī)器人。機(jī)器視覺(jué)還用于機(jī)器人導(dǎo)航，例如用于當(dāng)機(jī)器人在各種環(huán)境中行進(jìn)時(shí)確保對(duì)場(chǎng)景的識(shí)別。盡管在文獻(xiàn)中對(duì)三維(3D)分析進(jìn)行了長(zhǎng)期討論，但當(dāng)今大多數(shù)機(jī)器視覺(jué)系統(tǒng)依 賴于二維(2D)圖像分析。這通常使待檢查的對(duì)象以受約束的取向和位置“被呈現(xiàn)”給該視覺(jué)系統(tǒng)。傳送帶通常用于此目的。被組裝或檢查的對(duì)象通常以特定已知、穩(wěn)定的3D配置但以未知的位置和取向被放置在該傳送帶上，并被移至該視覺(jué)系統(tǒng)的視場(chǎng)內(nèi)?；趯?duì)象在視場(chǎng)中的2D姿態(tài)(即位置和取向)，并考慮它被放置在傳送帶上(因此確保它的“放置狀態(tài)”和與視覺(jué)系統(tǒng)照相機(jī)的距離)，該系統(tǒng)應(yīng)用2D幾何測(cè)量以確定該對(duì)象的準(zhǔn)確3D姿態(tài)和/或與預(yù)期外觀的一致性。本申請(qǐng)的受讓人的先前著作中提供了使用此類2D視覺(jué)分析的示例，這些著作包括標(biāo)題為 “Methods and apparatus for machine vision inspection using single andmultiple templates or patterns (用于使用單個(gè)和多個(gè)模板或圖案進(jìn)行機(jī)器視覺(jué)檢查的方法和設(shè)備)”的美國(guó)專利 6，748，104、標(biāo)題為“Machine vision methods for inspectionof leaded components (用于對(duì)經(jīng)引導(dǎo)的部件進(jìn)行檢查的機(jī)器視覺(jué)方法)”的美國(guó)專利6，639，624，標(biāo)題為 uNonfeedback-based machine vision methods for determining acalibration relationship between a camera and a moveable object (用于石角定照相機(jī)與可移動(dòng)對(duì)象之間的校準(zhǔn)關(guān)系的非基于反饋的機(jī)器視覺(jué)方法)”的美國(guó)專利6，301，396、標(biāo)題為“Machine vision calibration targets and methods of determining theirlocation and orientation in an image (機(jī)器視覺(jué)校準(zhǔn)祀和確定它們?cè)趫D像中的位置和取向的方法)”的美國(guó)專利6，137，893、標(biāo)題為“Machine vision methods usingfeedback to determine calibration locations of multiple cameras that image acommon object (使用反饋來(lái)確定對(duì)常見物體成像的多個(gè)照相機(jī)的校準(zhǔn)位置的機(jī)器視覺(jué)方法)”的美國(guó)專利 5，978，521、標(biāo)題為“Machine vision methods using feedback todetermine an orientation, pixel width and pixel height of a field of view(使用反饋來(lái)確定視場(chǎng)的取向、像素寬度和像素高度的機(jī)器視覺(jué)方法)”的美國(guó)專利5，978，080、標(biāo)題為 “Nonfeedback-based machine vision method for determining a calibrationrelationship between a camera and a moveable object (用于確定照相機(jī)與可移動(dòng)物體之間的校準(zhǔn)關(guān)系的非基于反饋的機(jī)器視覺(jué)方法)”的美國(guó)專利5，960，125、標(biāo)題為“Fasthigh-accuracy multi-dimensional pattern localization(快速高準(zhǔn)確度多維圖案局部化)”的美國(guó)專利 6，856，698、標(biāo)題為 “Fast high-accuracy multi-dimensional patterninspection (快速高準(zhǔn)確度多維圖案檢查)”的美國(guó)專利6，850，646、以及標(biāo)題為“Fasthigh-accuracy multi-dimensional pattern inspection(快速高準(zhǔn)確度多維圖案檢查)”的美國(guó)專利6，658，145等等。在對(duì)機(jī)器人的依賴提高的情況下，從工廠車間到家庭的任何地方，對(duì)實(shí)用3D視覺(jué)系統(tǒng)的需求已經(jīng)涌現(xiàn)。這是因?yàn)椋谠S多這些環(huán)境中，受檢查的對(duì)象的整體位置和放置狀態(tài)不一定受約束，例如否則可能是對(duì)象呈現(xiàn)在傳送帶上的情況。即，該對(duì)象的精確3D配置可能是未知的。為了適應(yīng)3D場(chǎng)景中的姿態(tài)和位置的額外的自由度，3D視覺(jué)工具即使不是必要的也是有用的。這些情況的示例包括標(biāo)題為“System and method for registering patternstransformed in six degrees of freedom using machine vision(用于利用機(jī)器視覺(jué)對(duì)準(zhǔn)在六個(gè)自由度中變換的圖案的系統(tǒng)和方法)”的美國(guó)專利6，771，808和標(biāo)題為“Systemand method for determining the position of an object in three dimensions using a machine vision system with two cameras (用于利用具有兩個(gè)照相機(jī)的機(jī)器視覺(jué)系統(tǒng)來(lái)確定三維中的物體的位置的系統(tǒng)和方法)”的美國(guó)專利6，728，582?，F(xiàn)有技術(shù)中也已經(jīng)提出了其它機(jī)器視覺(jué)技術(shù)。一些技術(shù)要求太多處理器能力而對(duì)于實(shí)時(shí)應(yīng)用不實(shí)用。其它技術(shù)要求受檢查對(duì)象通過(guò)復(fù)雜的對(duì)準(zhǔn)程序，和/或要求該對(duì)象的許多特征在運(yùn)行期間在視覺(jué)系統(tǒng)視場(chǎng)中同時(shí)可見。在機(jī)器視覺(jué)領(lǐng)域之外，現(xiàn)有技術(shù)還提供了基于接觸來(lái)確定3D姿態(tài)的方法——諸如使用具有觸摸傳感器的x、y、z測(cè)量機(jī)器。然而，該方法要求接觸，因此相對(duì)較慢且要求手動(dòng)干預(yù)。還提供了基于電磁波的用于確定3D姿態(tài)的方法。這些方法不需要物理接觸，但具有它們自身的缺點(diǎn)，諸如通常要求在受檢查對(duì)象上固定發(fā)射器的不實(shí)用步驟。本發(fā)明的目的是提供用于機(jī)器視覺(jué)的改進(jìn)方法和設(shè)備，更具體地是提供用于三維機(jī)器視覺(jué)的改進(jìn)方法和設(shè)備。本發(fā)明的相關(guān)目的是提供具有包括但不限于制造、質(zhì)量控制以及機(jī)器人的一系列實(shí)際應(yīng)用的方法和設(shè)備。本發(fā)明的另一相關(guān)目的是提供允許確定例如三維空間中的位置和姿態(tài)的方法和設(shè)備。本發(fā)明的又一相關(guān)目的是提供對(duì)例如受檢查對(duì)象的整體位置和放置狀態(tài)施加減少的約束的方法和設(shè)備。本發(fā)明的又一相關(guān)目的是提供對(duì)受檢查對(duì)象的對(duì)準(zhǔn)要求最小的方法和設(shè)備。本發(fā)明的又一目的是提供能在現(xiàn)有和未來(lái)的機(jī)器視覺(jué)平臺(tái)中實(shí)現(xiàn)的方法和設(shè)備。

發(fā)明內(nèi)容
除實(shí)現(xiàn)上述目的之外，本發(fā)明還特別提供用于通過(guò)對(duì)從對(duì)象的多幅圖像收集的數(shù)據(jù)的三角測(cè)距來(lái)確定對(duì)象在三維上的姿態(tài)(例如沿x、y和z軸的位置、俯仰(pitch)、滾轉(zhuǎn)(roll)和偏航(yaw))(或姿態(tài)的一個(gè)或多個(gè)特性)的方法和設(shè)備。因此，例如，在一個(gè)方面中，本發(fā)明提供用于3D機(jī)器視覺(jué)的方法，在該方法中，在校準(zhǔn)步驟期間，設(shè)置以用于從各個(gè)不同視角獲取對(duì)象的圖像的多個(gè)照相機(jī)被校準(zhǔn)以辨別映射功能，該映射功能在3D空間中標(biāo)識(shí)從各個(gè)照相機(jī)的鏡頭發(fā)出的光線，這些光線對(duì)應(yīng)于該照相機(jī)視場(chǎng)中的像素位置。在訓(xùn)練步驟中，與照相機(jī)相關(guān)聯(lián)的功能經(jīng)訓(xùn)練以識(shí)別要采集的該對(duì)象的圖像中的預(yù)期圖案。運(yùn)行時(shí)間步驟根據(jù)該對(duì)象的圖像中的那些圖案的像素方式位置以及根據(jù)在校準(zhǔn)步驟期間辨別的映射，來(lái)對(duì)那些圖案中的一個(gè)或多個(gè)在3D空間中的位置進(jìn)行三角測(cè)距。本發(fā)明的其它方面提供如上所述的方法，其中運(yùn)行時(shí)間步驟根據(jù)由多個(gè)照相機(jī)基本同時(shí)拍攝的該對(duì)象的圖像來(lái)對(duì)位置進(jìn)行三角測(cè)距。本發(fā)明的其它目的提供包括重新校準(zhǔn)步驟的此類方法，在該重新校準(zhǔn)步驟中使用該對(duì)象的運(yùn)行時(shí)間圖像來(lái)辨別上述映射功能，例如針對(duì)已經(jīng)偏離校準(zhǔn)的照相機(jī)。因此，例如，如果一個(gè)照相機(jī)產(chǎn)生的圖像中的圖案看起來(lái)處于與來(lái)自其它照相機(jī)的圖像(例如當(dāng)使用它們各自的3D光線映射時(shí))不一致和/或顯著不一致的位置(例如當(dāng)映射至該照相機(jī) 相機(jī)。本發(fā)明的其它方面提供如上所述的方法，其中校準(zhǔn)步驟包括將對(duì)準(zhǔn)靶(諸如校準(zhǔn)盤或其它物體上的靶心、十字準(zhǔn)線或類似物等)定位在3D空間中的已知位置處，并記錄或以其他方式表征(例如通過(guò)算法)那些位置與相應(yīng)靶在照相機(jī)視場(chǎng)中的像素方式位置之間的關(guān)聯(lián)。本發(fā)明的相關(guān)方面提供此類方法，其中使用那些對(duì)準(zhǔn)靶、校準(zhǔn)盤等等中的一個(gè)或多個(gè)例如通過(guò)同時(shí)成像來(lái)同時(shí)校準(zhǔn)多個(gè)照相機(jī)。本發(fā)明的其它方面提供如上所述的方法，其中該校準(zhǔn)步驟包括對(duì)考慮視場(chǎng)中的扭曲的每個(gè)照相機(jī)辨別映射功能。本發(fā)明的其它方面包括如上所述的方法，其中訓(xùn)練步驟包括訓(xùn)練與照相機(jī)相關(guān)聯(lián)的功能以識(shí)別該對(duì)象的預(yù)期圖案(諸如字母、數(shù)字、其它符號(hào)(諸如對(duì)準(zhǔn)靶)、隅角或其它可辨別的特征(諸如暗斑和亮斑))，并且例如用于這些特征的測(cè)量技術(shù)和搜索/檢測(cè)模型在本領(lǐng)域中是已知的。本發(fā)明的其它相關(guān)方面提供此類方法，其中訓(xùn)練步驟包括關(guān)于“模型點(diǎn)”訓(xùn)練上述功能，“模型點(diǎn)”即在運(yùn)行時(shí)間被檢查對(duì)象上的圖案的3D空間中的預(yù)期位置(例如按照絕對(duì)項(xiàng)或相對(duì)項(xiàng)來(lái)表示)。在運(yùn)行時(shí)間步驟期間，可將該信息與從那些圖像辨別的三角測(cè)距的3D位置組合地使用，以辨別該對(duì)象的姿態(tài)。根據(jù)本發(fā)明的諸方面，關(guān)于這些圖案的預(yù)期位置(即模型點(diǎn))的訓(xùn)練包括查明每個(gè)此類圖案的基準(zhǔn)點(diǎn)(或“原點(diǎn)”)的2D姿態(tài)。對(duì)于預(yù)期出現(xiàn)在兩個(gè)或更多個(gè)照相機(jī)視場(chǎng)中的圖案而言，如下所述，此類基準(zhǔn)點(diǎn)便于三角測(cè)距，以在3D空間中確定那些圖案的位置(因此對(duì)象的位置)。本發(fā)明的相關(guān)方面提供此類方法，其中關(guān)于預(yù)期圖案的訓(xùn)練包括在不同照相機(jī)之間(在與每個(gè)照相機(jī)相關(guān)聯(lián)的功能內(nèi))利用相同模型來(lái)訓(xùn)練相同的預(yù)期圖案。這具有確保在運(yùn)行時(shí)間發(fā)現(xiàn)的圖案的基準(zhǔn)點(diǎn)(或原點(diǎn))在由那些不同照相機(jī)獲得的圖像之間將一致的好處。本發(fā)明的其它相關(guān)方面提供此類方法，其中關(guān)于預(yù)期圖案的訓(xùn)練包括在不同照相機(jī)之間(在與每個(gè)照相機(jī)相關(guān)聯(lián)的功能內(nèi))針對(duì)相同圖案利用不同模型。這樣便于例如在姿態(tài)、視角和/或障礙物改變不同照相機(jī)對(duì)那些圖案成像的方式時(shí)找出那些圖案。本發(fā)明的相關(guān)方面提供此類方法，這些方法包括訓(xùn)練對(duì)如此建模的圖案的基準(zhǔn)點(diǎn)(或原點(diǎn))的選擇。此類訓(xùn)練可例如由操作員例如使用激光指示器或其它方式來(lái)完成，以確保那些基準(zhǔn)點(diǎn)(或原點(diǎn))在由那些不同照相機(jī)獲得的圖像之間一致。本發(fā)明的相關(guān)方面提供此類方法，其中訓(xùn)練步驟包括，例如，通過(guò)利用與運(yùn)行時(shí)間階段期間運(yùn)用的三角測(cè)距方法相似的三角測(cè)距方法來(lái)辨別圖案的位置。替代地，可由操作者輸入和/或通過(guò)其它測(cè)量方法辨別圖案的預(yù)期(相對(duì))位置。本發(fā)明的其它相關(guān)方面提供此類方法，其中訓(xùn)練步驟包括基于在來(lái)自另一照相機(jī)的圖像中的該圖案的先前標(biāo)識(shí)來(lái)從來(lái)自一個(gè)(或多個(gè))照相機(jī)的圖像中找出預(yù)期圖案。因此，例如，一旦操作者已經(jīng)在從一個(gè)照相機(jī)拍攝的圖像中標(biāo)識(shí)預(yù)期圖案，訓(xùn)練步驟就可包括在來(lái)自其它照相機(jī)的圖案中找出同一圖案。本發(fā)明的其它方面提供如上所述的方法，其中優(yōu)選地，訓(xùn)練步驟采集每個(gè)照相機(jī)對(duì)該對(duì)象的多幅視圖，以使在那些對(duì)象上找出的圖案的原點(diǎn)被一致地定義。為解決多個(gè)圖 像之間潛在的不一致性，可使用對(duì)這些圖案產(chǎn)生匹配分?jǐn)?shù)最高的那些圖像。這具有使該方法對(duì)找出處于任意姿態(tài)的零件更可靠的好處。在本發(fā)明的其它方面中，運(yùn)行時(shí)間步驟包括對(duì)運(yùn)行時(shí)間圖像中的一個(gè)或多個(gè)圖案的位置進(jìn)行三角測(cè)距，該三角測(cè)距例如使用圖案匹配或其它二維視覺(jué)工具，并使用在校準(zhǔn)階段期間辨別的映射來(lái)將各個(gè)照相機(jī)視場(chǎng)中的那些圖案的像素方式位置與圖案所依賴的上述3D光線相關(guān)聯(lián)。根據(jù)本發(fā)明的相關(guān)方面，圖案位置的三角測(cè)距可以是通過(guò)“直接”的三角測(cè)距，例如根據(jù)圖案所依賴的多條3D光線(來(lái)自多個(gè)照相機(jī))的交點(diǎn)(或最小平方擬合點(diǎn))確定給定圖案的位置。或者，或作為附加，三角測(cè)距可以是“間接的”，其中給定圖案的位置不僅根據(jù)圖案所依賴的光線(或多條光線)來(lái)確定，而且根據(jù)(i)其它圖案所依賴的光線和(ii)那些圖案相對(duì)于彼此的位置(例如在訓(xùn)練階段期間確定)來(lái)確定。本發(fā)明的其它方面提供如上所述的方法，其中，如果與照相機(jī)相關(guān)聯(lián)的功能未能在訓(xùn)練或運(yùn)行時(shí)間期間在對(duì)象的圖像中找出預(yù)期圖案，則與照相機(jī)相關(guān)聯(lián)的功能“超時(shí)”，由此在例如這樣的圖案丟失、被遮擋或因其它原因未被檢測(cè)到時(shí)，避免在位置確定時(shí)過(guò)度的延遲。本發(fā)明的其它方面與上述方法類似，其中使用ID矩陣碼(或外觀和/或位置是預(yù)定義或以其它方式已知的其它圖案)來(lái)代替以上討論的圖案。在本發(fā)明的這些方面中，訓(xùn)練步驟被排除或簡(jiǎn)化。替代地，通過(guò)針對(duì)一般類型特征設(shè)計(jì)的視覺(jué)工具，根據(jù)訓(xùn)練階段或運(yùn)行時(shí)間圖像辨別那些代碼(或其它圖案)的2D位置，以映射至3D位置。本發(fā)明的其它方面與上述方法類似，其中使用ID矩陣碼(或外觀和/或位置是預(yù)定義或以其它方式已知的其它圖案)來(lái)代替以上討論的圖案。在本發(fā)明的這些方面中，訓(xùn)練步驟被排除或簡(jiǎn)化。替代地，通過(guò)針對(duì)一般類型特征設(shè)計(jì)的視覺(jué)工具，根據(jù)訓(xùn)練階段或運(yùn)行時(shí)間圖像辨別那些代碼(或其它圖案)的2D位置，以映射至3D位置。本發(fā)明的其它方面提供機(jī)器視覺(jué)系統(tǒng)，例如根據(jù)以上方法操作且包括數(shù)字處理功能和照相機(jī)的機(jī)器視覺(jué)系統(tǒng)。本發(fā)明的這些和其它方面在附圖和以下描述中顯而易見。本發(fā)明的另一相關(guān)方面提供此類方法和設(shè)備，這些方法和設(shè)備允許檢查對(duì)象，例如，以確定和驗(yàn)證對(duì)象的多個(gè)部分的相對(duì)位置。作為非限制性示例，例如，在組裝、質(zhì)量保證、維護(hù)或其它操作期間，可使用此類方法和設(shè)備來(lái)支持檢查和驗(yàn)證。
本發(fā)明的其它相關(guān)方面提供此類方法和設(shè)備，在一個(gè)或多個(gè)預(yù)期圖案(例如與對(duì)象的零件/部分相關(guān)聯(lián)的圖案)不存在于運(yùn)行時(shí)間圖像中或存在于那些圖像中、但卻處于映射至不預(yù)期或不想要的3D位置的像素位置的實(shí)例中，這些方法和設(shè)備推斷對(duì)象的零件(或其它部分)的不存在或錯(cuò)位。本發(fā)明的其它相關(guān)方面提供此類方法和設(shè)備，其中在運(yùn)行時(shí)間步驟期間，該對(duì)象的零件或其它部分的位置基于與運(yùn)行時(shí)間圖像中找到的圖案相對(duì)應(yīng)的3D位置的子集來(lái)確定，且其中使用那些3D位置來(lái)確定另外其它圖案的預(yù)期位置。可將那些其它圖案的預(yù)期位置與它們實(shí)際的3D位置(例如根據(jù)運(yùn)行時(shí)間圖像確定的3D位置)作比較。在該比較中確定的位置差別超過(guò)指定公差時(shí)，系統(tǒng)可產(chǎn)生適當(dāng)?shù)耐ㄖ?例如向操作者通知)。根據(jù)本發(fā)明的系統(tǒng)和方法的優(yōu)點(diǎn)在于，它們比現(xiàn)有技術(shù)系統(tǒng)方法更容易使用和更實(shí)用，而且是基于視覺(jué)的，因此不需要與受檢查對(duì)象接觸或預(yù)先準(zhǔn)備。(根據(jù)本發(fā)明的)此類系統(tǒng)和方法能容易地建立，然后利用“顯示繼續(xù)(show-and-go) ”訓(xùn)練。 此外，例如，相對(duì)于丟失和不正確的結(jié)果，上述系統(tǒng)和方法提供迅速的性能和穩(wěn)健性。因此，例如，即使因?yàn)橐恍﹫D案被一個(gè)或多個(gè)照相機(jī)的視圖遮擋或因?yàn)槟切﹫D案的圖像不能被及時(shí)采集而在一些運(yùn)行時(shí)間圖像中(以及在一些或任何情況下)未找到這些圖案，根據(jù)本發(fā)明多個(gè)方面的方法和設(shè)備也能確定對(duì)象的姿態(tài)。作為另一示例，根據(jù)本發(fā)明多個(gè)方面的方法和設(shè)備通過(guò)使用與在運(yùn)行時(shí)間圖像中找出的圖案相對(duì)應(yīng)的3D位置的子集來(lái)進(jìn)行三角測(cè)距，而提供相對(duì)于不正確的結(jié)果(例如由未對(duì)準(zhǔn)的照相機(jī)引起)的穩(wěn)健性如果子集之一具有較低誤差平方和，則可將該子集用于位置三角測(cè)距，而不是使用所有圖案。至少一些實(shí)施例包括一種用于在3D成像系統(tǒng)中指定感興趣區(qū)域的方法，該3D成像系統(tǒng)包括多個(gè)照相機(jī)，這多個(gè)照相機(jī)至少包括第一和第二照相機(jī)，其中每個(gè)照相機(jī)具有沿不同照相機(jī)軌道排列的視場(chǎng)，該方法包括以下步驟在多個(gè)照相機(jī)的視場(chǎng)內(nèi)的某位置處呈現(xiàn)零件；在該零件上指示位于多個(gè)照相機(jī)中的每一個(gè)的視場(chǎng)內(nèi)的感興趣區(qū)域；針對(duì)多個(gè)照相機(jī)中的每一個(gè)(i)采集包括感興趣區(qū)域的該零件的至少一幅圖像，(ii)在照相機(jī)的視場(chǎng)內(nèi)標(biāo)識(shí)與該至少一幅圖像中的感興趣區(qū)域相關(guān)聯(lián)的照相機(jī)專屬感興趣視場(chǎng)；以及(iii)存儲(chǔ)該感興趣視場(chǎng)以供以后使用。在一些實(shí)施例中，在零件上指示感興趣區(qū)域的步驟包括在該零件上指示限定感興趣區(qū)域的至少三個(gè)點(diǎn)。在一些實(shí)施例中，指示至少三個(gè)點(diǎn)的步驟包括使用激光設(shè)備來(lái)按順序指示至少三個(gè)點(diǎn)中的每一個(gè)，且其中采集至少一幅圖像的步驟包括針對(duì)至少三個(gè)點(diǎn)中的每一個(gè)采集單獨(dú)圖像。在一些實(shí)施例中，標(biāo)識(shí)照相機(jī)專屬感興趣視場(chǎng)的步驟包括使用多幅采集到的圖像來(lái)標(biāo)識(shí)感興趣視場(chǎng)。在一些情況下，該方法還包括以下步驟對(duì)于每個(gè)點(diǎn)，確定何時(shí)該點(diǎn)已在每個(gè)照相機(jī)所采集的至少一幅圖像中被標(biāo)識(shí)，并指示何時(shí)該點(diǎn)已在每個(gè)照相機(jī)所采集的至少一幅圖像中被標(biāo)識(shí)。在一些情況下，該方法還包括以下步驟對(duì)于每個(gè)點(diǎn)，確定何時(shí)該點(diǎn)已在至少一個(gè)照相機(jī)所采集的至少一幅圖像中被標(biāo)識(shí)同時(shí)該點(diǎn)尚未在至少另一個(gè)照相機(jī)所采集的至少一幅圖像中被標(biāo)識(shí)。在一些實(shí)施例中，在該零件上標(biāo)識(shí)感興趣區(qū)域的步驟包括，使用激光設(shè)備通過(guò)經(jīng)由激光束照亮該零件的至少一部分來(lái)在該零件的表面上指示感興趣區(qū)域。在一些實(shí)施例中，該激光設(shè)備包括按鈕，該按鈕可被選擇以指示該零件的當(dāng)前被照亮部分對(duì)應(yīng)于定義信息的至少一些感興趣區(qū)域，且應(yīng)當(dāng)分析該按鈕被選擇時(shí)刻的該零件的圖像以獲得與該零件的當(dāng)前被照亮部分相關(guān)聯(lián)的位置信息，該方法還包括監(jiān)測(cè)來(lái)自該激光設(shè)備的指示的步驟。在一些情況下，該激光設(shè)備被編程以在該按鈕被選擇時(shí)使該零件上的照射束的外觀發(fā)生變化，監(jiān)測(cè)來(lái)自激光設(shè)備的指示的步驟包括分析照相機(jī)圖像以標(biāo)識(shí)該零件上的照射束的外觀的變化。在一些情況下，該方法還包括向系統(tǒng)用戶提供反饋以指示何時(shí)已針對(duì)多個(gè)照相機(jī)中的每一個(gè)來(lái)標(biāo)識(shí)照相機(jī)專屬感興趣視場(chǎng)的步驟。在一些實(shí)施例中，采集至少一幅圖像的步驟包括迅速連續(xù)地采集圖像，且其中指示至少三個(gè)點(diǎn)的步驟包括使用激光設(shè)備來(lái)獨(dú)立地照亮三個(gè)點(diǎn)中的每一個(gè)點(diǎn)。在一些實(shí)施例中，指示至少三個(gè)點(diǎn)的步驟包括，對(duì)于每個(gè)點(diǎn)，當(dāng)激光設(shè)備照亮該點(diǎn)時(shí)，指示被照亮位置是定義感興趣區(qū)域的那些點(diǎn)之一。一些實(shí)施例包括用于在3D成像系統(tǒng)中指定感興趣區(qū)域的方法，該3D成像系統(tǒng)包括多個(gè)照相機(jī)，該多個(gè)照相機(jī)包括至少第一和第二照相機(jī)，其中每個(gè)照相機(jī)具有沿照相機(jī)不同軌道排列的視場(chǎng)，該方法包括以下步驟在照相機(jī)的視場(chǎng)內(nèi)的一個(gè)位置呈現(xiàn)零件；使 用激光設(shè)備按順序并獨(dú)立地在該零件上指示定義感興趣區(qū)域的多個(gè)點(diǎn)；對(duì)于多個(gè)照相機(jī)中的每一個(gè)，在該零件上指示那些點(diǎn)的同時(shí)，采集包括感興趣區(qū)域的該零件的圖像；使用每個(gè)照相機(jī)的多幅圖像中的那些點(diǎn)，在視場(chǎng)中標(biāo)識(shí)與該感興趣區(qū)域相對(duì)應(yīng)的感興趣視場(chǎng)；以及存儲(chǔ)該視場(chǎng)中的該感興趣視場(chǎng)作為照相機(jī)專屬感興趣視場(chǎng)。其它實(shí)施例包括一種用于訓(xùn)練三維視覺(jué)系統(tǒng)以限定照相機(jī)專屬感興趣視場(chǎng)的系統(tǒng)，其中在零件上指示了感興趣區(qū)域，該系統(tǒng)包括多個(gè)照相機(jī)，每個(gè)照相機(jī)具有視場(chǎng)且沿照相機(jī)不同的軌道排列，以使該感興趣區(qū)域在該照相機(jī)的視場(chǎng)內(nèi)，每個(gè)照相機(jī)用于在該照相機(jī)的視場(chǎng)內(nèi)獲得該零件的圖像；以及機(jī)器視覺(jué)處理器，被編程為針對(duì)每個(gè)照相機(jī)執(zhí)行以下步驟(i)接收?qǐng)D像；(ii)使用所接收的至少一幅圖像來(lái)標(biāo)識(shí)用于產(chǎn)生與感興趣區(qū)域相關(guān)聯(lián)的圖像的該照相機(jī)的視場(chǎng)的一部分作為感興趣視場(chǎng)；以及(iii)存儲(chǔ)與該感興趣區(qū)域相關(guān)聯(lián)的感興趣視場(chǎng)作為照相機(jī)專屬感興趣視場(chǎng)。在一些情況下，該系統(tǒng)還包括激光指示器設(shè)備，用于將激光束引導(dǎo)至該零件以在該零件上指示感興趣區(qū)域。在一些情況下，該激光指示器設(shè)備包括按鈕，該按鈕可被選擇以指示該零件的當(dāng)前被照亮部分對(duì)應(yīng)于定義信息的至少一些感興趣區(qū)域，且應(yīng)當(dāng)分析該按鈕被選擇時(shí)刻的該零件的圖像以獲得與該零件的當(dāng)前被照亮部分相關(guān)聯(lián)的位置信息，該處理器進(jìn)一步被編程以執(zhí)行監(jiān)測(cè)來(lái)自該激光指示器設(shè)備的關(guān)于應(yīng)當(dāng)分析那些圖像的指示的步驟。在一些情況下，該激光指示器設(shè)備被編程以在該按鈕被選擇時(shí)使該零件上的照射束的外觀發(fā)生變化，監(jiān)測(cè)來(lái)自激光指示器設(shè)備的指示的步驟包括分析照相機(jī)圖像以標(biāo)識(shí)該零件上的照射束的外觀的變化。在一些實(shí)施例中，該激光指示器設(shè)備包括在按鈕被選擇時(shí)發(fā)送信號(hào)的發(fā)射器。


通過(guò)參考附圖可獲得對(duì)本發(fā)明的更完整理解，在附圖中圖I描繪了被配置用于實(shí)踐本發(fā)明的數(shù)字?jǐn)?shù)據(jù)處理器；圖2是描繪根據(jù)本發(fā)明的系統(tǒng)的操作的流程圖；圖3描繪根據(jù)本發(fā)明的系統(tǒng)的校準(zhǔn)；圖4A-4B描繪根據(jù)本發(fā)明的系統(tǒng)的訓(xùn)練和/或運(yùn)行時(shí)間操作；以及
圖5是示出用于訓(xùn)練3D成像系統(tǒng)中的多個(gè)照相機(jī)的不同感興趣視場(chǎng)的方法的流程圖。
具體實(shí)施例方式圖I描繪根據(jù)本發(fā)明的機(jī)器視覺(jué)系統(tǒng)10，其能通過(guò)對(duì)從對(duì)象12的多幅圖像收集的數(shù)據(jù)的三角測(cè)距來(lái)確定該對(duì)象12在三維中的姿態(tài)。在所示實(shí)施例中，該姿態(tài)是該對(duì)象在三維空間中的限定位置和取向，或更準(zhǔn)確地說(shuō)，該姿態(tài)是該對(duì)象沿X、y和z軸14、16、18的位置以及該對(duì)象相對(duì)于X、y和z軸的俯仰(pitch)、滾轉(zhuǎn)(roll)和偏航(yaw)。在其它實(shí)施例中，姿態(tài)可能限于這些空間特性的子集(例如沿軸16的位置和偏航；沿軸14-18的位置；滾轉(zhuǎn)等等)。所示軸14-18與視覺(jué)系統(tǒng)10的參照系20對(duì)準(zhǔn)；不過(guò)在其它實(shí)施例中，也可使用其它參照系。所示實(shí)施例的參照系20在附圖上通過(guò)利用加深陰影描繪的照相機(jī)支架20a和平臺(tái)20b來(lái)表示；不過(guò)，在其它實(shí)施例中，可采用其它構(gòu)件或無(wú)此類構(gòu)件。系統(tǒng)10還包括數(shù)字?jǐn)?shù)據(jù)處理器22和圖像采集設(shè)備24。在此，為簡(jiǎn)化起見而描述為 iMac G5個(gè)人計(jì)算機(jī)的數(shù)字?jǐn)?shù)據(jù)處理器22可以是大型計(jì)算機(jī)、工作站、個(gè)人計(jì)算機(jī)(例如運(yùn)行Windows /英特爾奔騰4平臺(tái)或其它)、專用視覺(jué)計(jì)算機(jī)、嵌入式處理器或運(yùn)行私有、開源或其它操作系統(tǒng)的其它數(shù)字?jǐn)?shù)據(jù)設(shè)備，其被編程為或以其它方式被配置成根據(jù)本文的教導(dǎo)通過(guò)采集設(shè)備24提供的圖像來(lái)確定對(duì)象12的姿態(tài)。該數(shù)字?jǐn)?shù)據(jù)處理器可包括如圖所示的顯示器22a、以及鍵盤22b、鼠標(biāo)22c以及本領(lǐng)域已知的所有其它類型的輸入/輸出設(shè)備。圖像采集設(shè)備24可以是機(jī)器視覺(jué)照相機(jī)、攝像機(jī)、靜態(tài)照相機(jī)或能在可見光或其它相關(guān)光譜中采集對(duì)象12的圖像的其它設(shè)備。在不喪失一般性的情況下，在下文中，設(shè)備24通常被稱為“照相機(jī)”——不過(guò)，在實(shí)際中，它們可包括任何方式的圖像采集功能。在所示實(shí)施例中，示出了三個(gè)此類設(shè)備24，不過(guò)在實(shí)際中，可采用任意多個(gè)設(shè)備(例如兩個(gè)或更多個(gè))。設(shè)置那些設(shè)備以從不同的各自視角采集對(duì)象24的圖像。本領(lǐng)域普通技術(shù)人員還可理解，在一些實(shí)施例中，還可利用來(lái)自單個(gè)此類設(shè)備24的圖像來(lái)確定受檢查的對(duì)象的3D姿態(tài)，因此并非所有實(shí)施例都需要來(lái)自多個(gè)照相機(jī)的圖像。數(shù)字?jǐn)?shù)據(jù)處理器22還包括被編程以進(jìn)行根據(jù)本發(fā)明教導(dǎo)的操作的中央處理器(CPU)、存儲(chǔ)器(RAM)和本領(lǐng)域中已知類型的輸入/輸出(I/O)功能。具體而言，在所示實(shí)施例中，這些部件被配置成根據(jù)圖2中所示方法提供3D機(jī)器視覺(jué)。在圖2中，在校準(zhǔn)步驟30中，多個(gè)照相機(jī)24中的每一個(gè)被校準(zhǔn)以辨別各自的映射功能，該映射功能在3D空間中標(biāo)識(shí)從照相機(jī)透鏡發(fā)出的且對(duì)應(yīng)于該照相機(jī)視場(chǎng)中的像素位置的光線。 參照?qǐng)D3，在此方面中，校準(zhǔn)步驟包括將對(duì)準(zhǔn)靶(諸如校準(zhǔn)盤40或其它物體上的靶心、十字準(zhǔn)線或類似物等)定位在3D空間中的已知位置處，并記錄或以其他方式表征(例如通過(guò)算法)那些位置與相應(yīng)靶在照相機(jī)視場(chǎng)中的像素方式位置之間的關(guān)聯(lián)。優(yōu)選地，該映射考慮每個(gè)相應(yīng)照相機(jī)24的視場(chǎng)中的變形。在所示實(shí)施例中，對(duì)準(zhǔn)靶、校準(zhǔn)盤40等等用于例如通過(guò)同時(shí)成像來(lái)同時(shí)校準(zhǔn)多個(gè)照相機(jī)24。因此，例如，操作者可將靶放置在兩個(gè)或更多個(gè)圖像采集設(shè)備24的視場(chǎng)中，這兩個(gè)或更多個(gè)圖像采集設(shè)備24對(duì)靶同時(shí)成像以進(jìn)行校準(zhǔn)。在使用校準(zhǔn)盤40或類似物進(jìn)行校準(zhǔn)的情況下，它們優(yōu)選顯示出位于原點(diǎn)的基準(zhǔn)41 (例如與均勻棋盤圖案不同的唯一圖案)，以使所有采集設(shè)備24能相對(duì)于具有指定取向的同一唯一基準(zhǔn)點(diǎn)被校準(zhǔn)。通過(guò)以一致方式如此校準(zhǔn)多個(gè)設(shè)備24，它們均可用于從它們的圖像坐標(biāo)(例如圖案原點(diǎn)的像素方式位置)映射至同一基準(zhǔn)點(diǎn)或坐標(biāo)系。優(yōu)選的此類基準(zhǔn)41是不對(duì)稱的，如附圖中的L形狀基準(zhǔn)。通過(guò)非限制性示例，在以下專利文獻(xiàn)中教導(dǎo)了用于此類校準(zhǔn)的方法和設(shè)備，這些專利文獻(xiàn)包括標(biāo)題為 “Methods and apparatus for machine vision inspection usingsingle and multiple templates or patterns (用于使用單個(gè)和多個(gè)模板或圖案進(jìn)行機(jī)器視覺(jué)檢查的方法和設(shè)備)”的美國(guó)專利6，748，104、標(biāo)題為“Machine vision methodsfor inspection of leaded components (用于對(duì)經(jīng)引導(dǎo)的部件進(jìn)行檢查的機(jī)器視覺(jué)方法)”的美國(guó)專利 6，639，624，標(biāo)題為 uNonfeedback-based machine vision methodsfor determining a calibration relationship between a camera and a moveableobject (用于確定攝像機(jī)與可移動(dòng)對(duì)象之間的校準(zhǔn)關(guān)系的非基于反饋的機(jī)器視覺(jué)方法)”的美國(guó)專利 6，301，396、標(biāo)題為“Machine vision calibration targets and methods ofdetermining their location and orientation in an image (機(jī)器視覺(jué)校準(zhǔn)革巴和石角定 它們?cè)趫D像中的位置和取向的方法)”的美國(guó)專利6，137，893、標(biāo)題為“Machine visionmethods using feedback to determine calibration locations of multiple camerasthat image a common object (使用反饋來(lái)確定對(duì)常見物體成像的多個(gè)攝像機(jī)的校準(zhǔn)位置的機(jī)器視覺(jué)方法)”的美國(guó)專利5，978，521、標(biāo)題為“Machine vision methods usingfeedback to determine an orientation， pixel width and pixel height of a fieldofview(使用反饋來(lái)確定視場(chǎng)的取向、像素寬度和像素高度的機(jī)器視覺(jué)方法)”的美國(guó)專利 5，978，080、標(biāo)題為 uNonfeedback-based machine vision method for determining acalibration relationship between a camera and a moveable object (用于石角定攝像機(jī)與可移動(dòng)物體之間的校準(zhǔn)關(guān)系的非基于反饋的機(jī)器視覺(jué)方法)”的美國(guó)專利5，960，125、標(biāo)題為“Fast high-accuracy multi-dimensional pattern localization(快速高準(zhǔn)石角度多維圖案局部化)”的美國(guó)專利6，856, 698、標(biāo)題為“Fast high-accuracy multi-dimensionalpattern inspection (快速高準(zhǔn)確度多維圖案檢查)”的美國(guó)專利6，850, 646、以及標(biāo)題為“Fast high-accuracy multi-dimensional pattern inspection(快速高準(zhǔn)確度多維圖案檢查)”的美國(guó)專利6，658，145，這些文獻(xiàn)的教導(dǎo)通過(guò)引用結(jié)合于此。在后三篇專利中描述的方法和設(shè)備在本文中其它地方稱為“PatMax”。在可任選的訓(xùn)練步驟32中，與每個(gè)相應(yīng)照相機(jī)24相關(guān)聯(lián)的模塊(例如代碼序列、子例程、功能、對(duì)象、其它數(shù)據(jù)結(jié)構(gòu)和/或相關(guān)聯(lián)的軟件或其它功能)被訓(xùn)練成識(shí)別要在運(yùn)行時(shí)間期間采集的對(duì)象12的圖像中的預(yù)期圖案。這些圖案可以是字母、數(shù)字、其它符號(hào)(諸如對(duì)準(zhǔn)靶)、隅角或其它特征(諸如暗斑和亮斑)，期望這些特征在對(duì)象12的運(yùn)行時(shí)間圖像中可辨別，而且(例如)針對(duì)這些特征的測(cè)量技術(shù)和搜索/檢測(cè)模型在本領(lǐng)域中是已知的。那些圖案可以永久地是該對(duì)象的一部分或固定至該對(duì)象。然而，它們也可以是臨時(shí)的，例如如同可移動(dòng)校準(zhǔn)靶的情況一樣。實(shí)際上，它們甚至不需要與該對(duì)象在實(shí)體上關(guān)聯(lián)。例如，它們可通過(guò)光學(xué)或其它方式投影到對(duì)象上，這些對(duì)象在訓(xùn)練和/或運(yùn)行時(shí)間階段期間通過(guò)激光器或其它設(shè)備成像。除訓(xùn)練與每個(gè)照相機(jī)24相關(guān)聯(lián)的模塊或其它功能以識(shí)別圖案之外，所示實(shí)施例的訓(xùn)練步驟32包括關(guān)于模型點(diǎn)位置訓(xùn)練它們，即那些圖案例如在將在運(yùn)行時(shí)間期間被檢查的對(duì)象上相對(duì)于彼此(即在3D空間中)的預(yù)期位置。例如，這可通過(guò)利用與在運(yùn)行時(shí)間階段期間運(yùn)用的三角測(cè)距方法相似的三角測(cè)距方法來(lái)實(shí)現(xiàn)。替代地，這些圖案的預(yù)期(相對(duì))位置可由操作者輸入和/或通過(guò)其它測(cè)量方法(例如尺子、測(cè)徑器、光學(xué)距離量規(guī)等等)來(lái)辨別。無(wú)論使用三角測(cè)距法還是其它方法，訓(xùn)練步驟32優(yōu)選包括關(guān)于每個(gè)此類經(jīng)訓(xùn)練圖案的基準(zhǔn)點(diǎn)(或“原點(diǎn)”)訓(xùn)練這些模塊或其它功能或與每個(gè)照相機(jī)24關(guān)聯(lián)的其它功能。對(duì)于預(yù)期出現(xiàn)在兩個(gè)或更多個(gè)相機(jī)視場(chǎng)中的圖案而言，關(guān)于此類基準(zhǔn)點(diǎn)的訓(xùn)練便于在3D空間中對(duì)那些圖案和/或?qū)ο蟮奈恢眠M(jìn)行直接或間接的三角測(cè)距。在所示實(shí)施例中，此類訓(xùn)練可通過(guò)使用相同模型(例如“PatMax”等等)訓(xùn)練不同 照相機(jī)24之間的相同預(yù)期圖案來(lái)實(shí)現(xiàn)。這具有確保在運(yùn)行時(shí)間發(fā)現(xiàn)的圖案的基準(zhǔn)點(diǎn)(或原點(diǎn))在由那些不同照相機(jī)獲得的圖像之間將一致的好處。在姿態(tài)、視角和/或障礙改變不同照相機(jī)24觀察相同圖案的方式的情況下，此類訓(xùn)練可包括在不同照相機(jī)之間利用不同模型(對(duì)于相同圖案)。由于不同模型可能傾向于對(duì)相同圖案標(biāo)識(shí)不同基準(zhǔn)點(diǎn)，所以所示實(shí)施例允許操作者訓(xùn)練針對(duì)相同圖案選擇相同基準(zhǔn)點(diǎn)。例如，在訓(xùn)練步驟32期間，這可通過(guò)以下步驟實(shí)現(xiàn)從多個(gè)照相機(jī)24同時(shí)采集該圖案的圖像(該圖案將被用作步驟34中的搜索的模板)，然后將激光指示器照射在該對(duì)象上。對(duì)于利用激光照射采集的圖像，可計(jì)算激光點(diǎn)的3D位置，由此在這些圖案的所有圖像上限定一致的原點(diǎn)。(雖然在此關(guān)于將不同模型用于圖案訓(xùn)練進(jìn)行描述，但此技術(shù)也可應(yīng)用于使用相同模型的實(shí)例)。為此，使用具有或不具有過(guò)多的激光指示器點(diǎn)的圖像，可運(yùn)行自動(dòng)取閾值和斑點(diǎn)分析來(lái)找出在所有圖像中的光斑的中心，由此確定一致的原點(diǎn)。如本文中別處所討論，可使用三角測(cè)距來(lái)獲得光斑的3D位置，由此允許將該技術(shù)用于所提供的(訓(xùn)練)對(duì)象上的多個(gè)圖案，例如該對(duì)象不移動(dòng)。例如，在訓(xùn)練步驟32期間，這可通過(guò)以下步驟實(shí)現(xiàn)從多個(gè)照相機(jī)24同時(shí)采集該圖案的圖像(該圖案將被用作步驟34中的搜索的模板)，然后將激光指示器照射在該對(duì)象上。對(duì)于利用激光照射采集的圖像，可計(jì)算激光點(diǎn)的3D位置，由此在這些圖案的所有圖像上限定一致的原點(diǎn)。(雖然在此關(guān)于將不同模型用于圖案訓(xùn)練進(jìn)行描述，但此技術(shù)也可應(yīng)用于使用相同模型的實(shí)例)。為此，使用具有或不具有過(guò)多的激光指示器點(diǎn)的圖像，可運(yùn)行自動(dòng)取閾值和斑點(diǎn)分析來(lái)找出在所有圖像中的光斑的中心，由此確定一致的原點(diǎn)。如本文中別處所討論，可使用三角測(cè)距來(lái)獲得光斑的3D位置，由此允許將該技術(shù)用于所提供的(訓(xùn)練)對(duì)象上的多個(gè)圖案，例如該對(duì)象不移動(dòng)。根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)踐，訓(xùn)練步驟32包括基于在來(lái)自另一照相機(jī)的圖像中的該圖案的先前標(biāo)識(shí)來(lái)從來(lái)自一個(gè)(或多個(gè))照相機(jī)24的圖像中找出預(yù)期圖案。因此，例如，一旦操作者已經(jīng)在從一個(gè)照相機(jī)拍攝的圖像中標(biāo)識(shí)預(yù)期圖案，訓(xùn)練步驟就可包括在來(lái)自其它照相機(jī)的圖案中自動(dòng)找出同一圖案。在優(yōu)選實(shí)施例中，優(yōu)選地，步驟32包括對(duì)每個(gè)照相機(jī)24采集該對(duì)象的多個(gè)視圖，以使在那些對(duì)象上找出的圖案的原點(diǎn)被一致地定義。為解決多個(gè)圖像之間潛在的不一致性，可使用對(duì)這些圖案產(chǎn)生匹配分?jǐn)?shù)最高的那些圖像。這具有使該方法對(duì)找出處于任意姿態(tài)的零件更穩(wěn)健的好處。如上所述，訓(xùn)練步驟32是可選的在本發(fā)明的一些實(shí)施例中，它在降低產(chǎn)量下采用，或完全不采用。例如，如果在運(yùn)行時(shí)間時(shí)預(yù)期的圖案易受經(jīng)由斑點(diǎn)模型(例如尋找亮特征的模型)的搜索影響，則不需要圖案訓(xùn)練——不過(guò)，仍可采用如上所述類型的位置訓(xùn)練。作為另一示例，如果圖案是ID矩陣碼(或使用外觀和/或位置是預(yù)定義或以其它方式已知的其它圖案來(lái)代替如上討論的可訓(xùn)練圖案)，則也不需要圖案訓(xùn)練。在此，例如，通過(guò)針對(duì)一般類型特征設(shè)計(jì)的視覺(jué)工具，根據(jù)訓(xùn)練階段或運(yùn)行時(shí)間圖像辨別那些代碼(或其它圖案)的2D位置，以映射至3D位置。本發(fā)明的此類實(shí)現(xiàn)是有用的，因?yàn)楣I(yè)零件可能總是已經(jīng)具有ID矩陣碼，且由此多個(gè)無(wú)需訓(xùn)練的傳感器可輸出ID矩陣碼的3D位置。此外，由于ID矩陣碼橫跨矩形區(qū)域——所有傳感器可輸出4個(gè)隅角的2D位置；此外，如果ID矩陣?yán)锰囟üに囉∷?，則我們可(借助代碼的已知大小/類型)獲知3D位置并計(jì)算3D姿態(tài)。在運(yùn)行時(shí)間步驟34，數(shù)字?jǐn)?shù)據(jù)處理器22基于那些圖案的表示在對(duì)象12的運(yùn)行時(shí) 間圖像中的像素方式位置和根據(jù)校準(zhǔn)步驟32期間辨別的映射對(duì)圖案42a-42c中的一個(gè)或多個(gè)在對(duì)象12上的3D空間位置進(jìn)行三角測(cè)距。在所示實(shí)施例中，對(duì)象12的那些運(yùn)行時(shí)間圖像優(yōu)選由設(shè)備24同時(shí)或基本同時(shí)地采集。在此方面，基本同時(shí)指的是圖像采集在時(shí)間上非常接近地進(jìn)行，以致對(duì)象12、設(shè)備24、坐標(biāo)系20等等的移動(dòng)不會(huì)實(shí)際上影響圖案在運(yùn)行時(shí)間圖像中的像素方式位置和/或由此確定的映射。這種同時(shí)采集可通過(guò)同時(shí)(或幾乎同時(shí))開啟照相機(jī)24來(lái)實(shí)現(xiàn)，或通過(guò)其它方式來(lái)實(shí)現(xiàn)一其它方式包括例如，在照相機(jī)24快門打開的同時(shí)頻閃地照亮所成像的對(duì)象。在所示實(shí)施例中，位置三角測(cè)距是如下完成的使用圖案匹配或其它二維視覺(jué)工具來(lái)辨別圖案在運(yùn)行時(shí)間圖像中的像素方式位置，并使用在校準(zhǔn)階段期間辨別的映射來(lái)將那些圖案在相應(yīng)照相機(jī)24的視場(chǎng)中的像素方式位置與那些圖案所依賴的上述3D光線相關(guān)聯(lián)。使用此類2D視覺(jué)工具的示例包括上述通過(guò)引用結(jié)合的美國(guó)專利6，748，104、6，639，624,6, 301，396,6, 137，893,5, 978，521,5, 978，080,5, 960，125,6, 856，698、6，850，646 以及 6，658，145。圖案位置的三角測(cè)距可以是通過(guò)“直接”的三角測(cè)距，例如根據(jù)圖案所依賴的多條3D光線(來(lái)自多個(gè)照相機(jī))的交點(diǎn)確定給定圖案的位置?；蛘撸蜃鳛楦郊?，三角測(cè)距可以是“間接的”，其中給定圖案的位置不僅根據(jù)圖案所依賴的光線(或多條光線)來(lái)確定，而且根據(jù)(i)其它圖案所依賴的光線和(ii)那些圖案在所成像對(duì)象上相對(duì)于彼此的位置(例如在訓(xùn)練階段期間確定)。在所示實(shí)施例中，直接和/或間接三角測(cè)距可利用“最小平方擬合”或其它用于找出圖案看起來(lái)所依賴的多條3D光線(來(lái)自多個(gè)照相機(jī)24)之間的交點(diǎn)(或最近交點(diǎn))的此類方法。例如，在從兩個(gè)或多個(gè)照相機(jī)24采集的圖像表明給定圖案(或更準(zhǔn)確地說(shuō)，該圖案的明顯原點(diǎn))依賴于兩條或更多條光線的情況下，可采用最小平方擬合方法來(lái)確定那些光線在3D空間中的交點(diǎn)的位置或離該交點(diǎn)位置最近的點(diǎn)(即空間中最接近那些光線的點(diǎn))。同樣，在來(lái)自照相機(jī)24的圖像表明多個(gè)圖案的原點(diǎn)在多條光線上的情況下，可采用最小平方擬合方法利用那些圖案在對(duì)象上的模型點(diǎn)來(lái)確定圖案和/或?qū)ο蟊旧淼淖羁赡芪恢?。所示?shí)施例利用優(yōu)化器(或“解算器”)來(lái)找出光線和圖案的最小平方(或均方根)擬合。這可以是本領(lǐng)域可獲得的通用類型工具，和/或它可以按照以下詳述的方式操作。在任何情況下，在運(yùn)行時(shí)間步驟34期間，給解算器提供從運(yùn)行時(shí)間圖像標(biāo)識(shí)的圖案(或更準(zhǔn)確地說(shuō)，圖案原點(diǎn))所依賴的3D光線的定義，以及(在相關(guān)的情況下)圖案在對(duì)象上的位置或相對(duì)位置。通常，該信息定義過(guò)約束的系統(tǒng)(即通過(guò)光線定義和對(duì)象上的相對(duì)圖案位置提供了比用來(lái)推斷實(shí)際位置所需要的信息多的信息)，所示系統(tǒng)利用該事實(shí)來(lái)實(shí)現(xiàn)穩(wěn)健性。因此，例如，即使在圖案從對(duì)象或其運(yùn)行時(shí)間圖像丟失的情況下(例如圖案從一個(gè)或多個(gè)照相機(jī)視場(chǎng)被阻擋，或光照或其它條件不允許及時(shí)采集圖案圖像)，運(yùn)行時(shí)間步驟34也可確定對(duì)象姿態(tài)。而且，作為另一示例，運(yùn)行時(shí)間步驟34可包括嘗試由采集設(shè)備24找出的圖案原點(diǎn)的子集(更準(zhǔn)確地說(shuō)，找出與圖案原點(diǎn)相對(duì)應(yīng)的位置的子集)，以使光線與光線的模型點(diǎn)或三角測(cè)距之間的擬合的均方根(RMS)誤差最小。如果子集之一具有較低誤差平方和，則可將該子集用于位置三角測(cè)距，而不是使用所有圖案原點(diǎn)。通常，該信息定義過(guò)約束的系統(tǒng)(即通過(guò)光線定義和對(duì)象上的相對(duì)圖案位置提供 了比用來(lái)推斷實(shí)際位置所需要的信息多的信息)，所示系統(tǒng)利用該事實(shí)來(lái)實(shí)現(xiàn)穩(wěn)健性。因此，例如，即使在故意不考慮某些圖案時(shí)(例如以通過(guò)將圖案位置與另一發(fā)現(xiàn)圖案所預(yù)測(cè)的位置相比較來(lái)檢查/驗(yàn)證圖案的位置)，運(yùn)行時(shí)間步驟34也可確定對(duì)象姿態(tài)。而且，作為另一示例，運(yùn)行時(shí)間步驟34可包括嘗試由采集設(shè)備24找出的圖案原點(diǎn)的子集(更準(zhǔn)確地說(shuō)，找出與圖案原點(diǎn)相對(duì)應(yīng)的位置的子集)，以使光線與光線的模型點(diǎn)或三角測(cè)距之間的擬合的均方根(RMS)誤差最小。接著，該步驟可外推該子集中未包括的圖案(即如上所述故意忽略的圖案)的3D位置，并預(yù)測(cè)在它們相應(yīng)照相機(jī)中的2D圖像位置。所預(yù)測(cè)的圖像位置可與實(shí)際測(cè)得的圖像位置作比較如果所預(yù)測(cè)的圖像位置與實(shí)際測(cè)得的圖像位置之間的距離超過(guò)一些用戶指定的距離公差，則該系統(tǒng)可產(chǎn)生適當(dāng)?shù)木婊蚱渌ㄖ?。替代地或作為附加，可將被忽略的圖案的外推3D位置與通過(guò)三角測(cè)距確定的3D位置作比較；此外，在外推(預(yù)測(cè))的位置與實(shí)際位置之間的距離不同的情況下，運(yùn)行時(shí)間步驟34可包括產(chǎn)生適當(dāng)?shù)木婊蚱渌ㄖ?。為了提高圖案識(shí)別的速度，在訓(xùn)練和運(yùn)行時(shí)間階段期間，所示實(shí)施例可利用找出的一個(gè)圖案的位置來(lái)限制另一圖案的搜索自由度。例如，如果第一照相機(jī)24在15度處找出該圖案，且另一照相機(jī)大致處于與第一照相機(jī)相同的同一取向，則可能僅需要在15+/-10度的取向處尋找該圖案。此外，給定來(lái)自一個(gè)照相機(jī)的原點(diǎn)位置，我們知道該原點(diǎn)將位于3D光線；由此，我們可將該光線投影到第二照相機(jī)的視場(chǎng)上，且僅沿該直線尋找該圖案。如果兩個(gè)圖案容易混淆(即存在與在該照相機(jī)的視場(chǎng)中的該圖案相似的兩個(gè)實(shí)例)，則所示實(shí)施例可嘗試所有不同的可能的對(duì)應(yīng)關(guān)系。例如，使用上述通過(guò)引用結(jié)合的標(biāo)題為“Fast high-accuracy multi-dimensional pattern localization(快速高準(zhǔn)石角度多維圖案局部化)”的美國(guó)專利6，856, 698、標(biāo)題為“Fast high-accuracy multi-dimensionalpattern inspection (快速高準(zhǔn)確度多維圖案檢查)”的美國(guó)專利6，850, 646、標(biāo)題為“Fasthigh-accuracy multi-dimensional pattern inspection(快速高準(zhǔn)確度多維圖案檢查)”的美國(guó)專利6，658，145中描述的技術(shù)，諸如字符序列“P”、“ST”、“It”以及“便簽”(來(lái)自POST-IT 便簽標(biāo)簽)之類的圖案均不同，因此當(dāng)找到匹配時(shí)，我們知道它是正確的匹配。替代地，稱為“斑點(diǎn)”分析的機(jī)器視覺(jué)工具可用于找出圖案(例如如果它們是暗孔)。在此情況下，可假設(shè)斑點(diǎn)#1對(duì)應(yīng)于3D模型點(diǎn)1，而斑點(diǎn)#2對(duì)應(yīng)于3D模型點(diǎn)2等等。如果不起作用，則分析可繼續(xù)至下一假設(shè)斑點(diǎn)#2對(duì)應(yīng)于3D模型點(diǎn)#2，而斑點(diǎn)#1對(duì)應(yīng)于3D模型點(diǎn)#1。根據(jù)以下討論可獲得對(duì)所示實(shí)施例的三角測(cè)距過(guò)程的更完整理解。為了使η條3D光線相交(即為了找出使與η條3D光線的距離平方和最小的點(diǎn))，首先將每條光線表征為兩個(gè)不同的正交面(由于從點(diǎn)到線的距離的平方是該點(diǎn)到與該光線相交的兩個(gè)正交面的距離的平方和)。這通過(guò)以下的C++代碼為例
static void solveMinimizeSquareErrorEquations(const cmStd vector<cc3Vect> &eqs, const cmStd vector<double> &val,cc3Vect &ans,double &rmsError)
{
int size = eqs.size(); assert(size==val.size());ccNMMatrix func(size，3); ccNMMatrix vals(size’l); int i;
for (i = 0; i < size; ++i)
{
func.element(i,0,eqs[i].x()); func.element(i, I，eqs[i] .y()); func.element(i,2,eqs[i].z()); vals.element(i,0,val[i]);
}
ccNMMatrix func2 = func.Tmultiply(func); ccNMMatrix vals2 = func.Tmultiply(vals);
double cnum;ccNMMatrix result =ccNMMatrix: :solve(func2,vals2,true/* symmetric*/，cnum,HUGE VAL);
//包含退化情況
if (func2.conditionNumber(false) > lel2) throw ccMathError:: S ingular();
ans = cc3Vect(result.element(0，0),
result.element(l’O),result.element(2,0));double sum SqError = 0;for (i = 0; i < size; ++i)
{

權(quán)利要求
1.一種用于在3D成像系統(tǒng)中指定感興趣區(qū)域的方法，所述3D成像系統(tǒng)包括多個(gè)照相機(jī)，所述多個(gè)照相機(jī)包括至少第一和第二照相機(jī)，其中每個(gè)照相機(jī)具有沿照相機(jī)不同軌道排列的視場(chǎng)，所述方法包括以下步驟 在所述多個(gè)照相機(jī)的視場(chǎng)內(nèi)的位置呈現(xiàn)零件； 在所述零件上指示感興趣區(qū)域，所述感興趣區(qū)域在所述多個(gè)照相機(jī)中的每個(gè)照相機(jī)的視場(chǎng)內(nèi)； 對(duì)于所述多個(gè)照相機(jī)中的每個(gè)照相機(jī) (i)采集所述零件的包括所述感興趣區(qū)域的至少一幅圖像； ( )在與所述至少一幅圖像中的感興趣區(qū)域相關(guān)聯(lián)的照相機(jī)的視場(chǎng)內(nèi)標(biāo)識(shí)照相機(jī)專屬感興趣視場(chǎng)；以及 (iii)存儲(chǔ)所述感興趣視場(chǎng)以供隨后使用。
2.如權(quán)利要求I所述的方法，其特征在于，在零件上指示所述感興趣區(qū)域的所述步驟包括在所述零件上指示限定所述感興趣區(qū)域的至少三個(gè)點(diǎn)。
3.如權(quán)利要求2所述的方法，其特征在于，指示至少三個(gè)點(diǎn)的步驟包括使用激光設(shè)備來(lái)按順序指示所述至少三個(gè)點(diǎn)中的每一個(gè)點(diǎn)，且其中采集至少一幅圖像的步驟包括針對(duì)所述至少三個(gè)點(diǎn)中的每一個(gè)點(diǎn)采集單獨(dú)圖像。
4.如權(quán)利要求3所述的方法，其特征在于，標(biāo)識(shí)照相機(jī)專屬感興趣視場(chǎng)的步驟包括使用多幅采集到的圖像來(lái)標(biāo)識(shí)所述感興趣視場(chǎng)。
5.如權(quán)利要求3所述的方法，其特征在于，還包括以下步驟對(duì)于每個(gè)點(diǎn)，確定何時(shí)所述點(diǎn)已在每個(gè)照相機(jī)所采集的至少一幅圖像中被標(biāo)識(shí)，并指示何時(shí)所述點(diǎn)已在每個(gè)照相機(jī)所采集的至少一幅圖像中被標(biāo)識(shí)。
6.如權(quán)利要求3所述的方法，其特征在于，還包括以下步驟對(duì)于每個(gè)點(diǎn)，確定何時(shí)所述點(diǎn)已在至少一個(gè)照相機(jī)所采集的至少一幅圖像中被標(biāo)識(shí)同時(shí)所述點(diǎn)尚未在至少另一個(gè)照相機(jī)所采集的至少一幅圖像中被標(biāo)識(shí)。
7.如權(quán)利要求I所述的方法，其特征在于，在所述零件上標(biāo)識(shí)感興趣區(qū)域的步驟包括，使用激光設(shè)備通過(guò)經(jīng)由激光束照亮所述零件的至少一部分來(lái)在所述零件的表面上指示所述感興趣區(qū)域。
8.如權(quán)利要求7所述的方法，其特征在于，所述激光設(shè)備包括按鈕，所述按鈕可被選擇以指示所述零件的當(dāng)前被照亮部分對(duì)應(yīng)于定義信息的至少一些感興趣區(qū)域，且應(yīng)當(dāng)分析該按鈕被選擇時(shí)刻的所述零件的圖像以獲得與所述零件的當(dāng)前被照亮部分相關(guān)聯(lián)的位置信息，所述方法還包括監(jiān)測(cè)來(lái)自所述激光設(shè)備的指示的步驟。
9.如權(quán)利要求8所述的方法，其特征在于，所述激光設(shè)備被編程以在所述按鈕被選擇時(shí)使所述零件上的照射束的外觀發(fā)生變化，監(jiān)測(cè)來(lái)自所述激光設(shè)備的指示的步驟包括分析照相機(jī)圖像以標(biāo)識(shí)所述零件上的照射束的外觀的變化。
10.如權(quán)利要求I所述的方法，其特征在于，還包括向系統(tǒng)用戶提供指示何時(shí)已針對(duì)所述多個(gè)照相機(jī)中的每一個(gè)標(biāo)識(shí)照相機(jī)專屬感興趣視場(chǎng)的反饋的步驟。
11.如權(quán)利要求2所述的方法，其特征在于，采集至少一幅圖像的所述步驟包括迅速連續(xù)地采集圖像，且其中指示至少三個(gè)點(diǎn)的步驟包括使用激光設(shè)備來(lái)獨(dú)立地照亮三個(gè)點(diǎn)中的每一個(gè)點(diǎn)。
12.如權(quán)利要求11所述的方法，其特征在于，指示至少三個(gè)點(diǎn)的所述步驟包括，對(duì)于每個(gè)點(diǎn)，當(dāng)所述激光設(shè)備照亮所述點(diǎn)時(shí)，指示被照亮位置是定義感興趣區(qū)域的那些點(diǎn)之一。
13.一種用于在3D成像系統(tǒng)中指定感興趣區(qū)域的方法，所述3D成像系統(tǒng)包括多個(gè)照相機(jī)，所述多個(gè)照相機(jī)包括至少第一和第二照相機(jī)，其中每個(gè)照相機(jī)具有沿照相機(jī)不同軌道排列的視場(chǎng)，所述方法包括以下步驟 在所述照相機(jī)的視場(chǎng)內(nèi)的位置呈現(xiàn)零件； 使用激光設(shè)備按順序并獨(dú)立地在所述零件上指示多個(gè)點(diǎn)，所述多個(gè)點(diǎn)限定感興趣區(qū)域； 對(duì)于所述多個(gè)照相機(jī)中的每一個(gè)，當(dāng)在所述零件上指示所述點(diǎn)時(shí)，采集所述零件的包括所述感興趣區(qū)域的圖像； 使用每個(gè)照相機(jī)的多幅圖像中的所述點(diǎn)來(lái)標(biāo)識(shí)所述視場(chǎng)中的與所述感興趣區(qū)域相對(duì)應(yīng)的感興趣視場(chǎng)；以及 將所述視場(chǎng)中的感興趣視場(chǎng)存儲(chǔ)為照相機(jī)專屬感興趣視場(chǎng)。
14.一種用于訓(xùn)練三維視覺(jué)系統(tǒng)以限定照相機(jī)專屬感興趣視場(chǎng)的系統(tǒng)，在所述照相機(jī)專屬感興趣視場(chǎng)中在零件上指不了感興趣區(qū)域，所述系統(tǒng)包括 多個(gè)照相機(jī)，每個(gè)照相機(jī)具有視場(chǎng)且沿照相機(jī)不同軌道排列以使所述感興趣區(qū)域在照相機(jī)的視場(chǎng)內(nèi)，每個(gè)照相機(jī)用于獲得所述零件在照相機(jī)的視場(chǎng)內(nèi)的圖像；以及機(jī)器視覺(jué)處理器，被編程為針對(duì)每個(gè)照相機(jī)執(zhí)行以下步驟 (i)接收?qǐng)D像； ( )使用所接收的至少一幅圖像，將用來(lái)產(chǎn)生圖像的照相機(jī)的與所述感興趣區(qū)域相關(guān)聯(lián)的視場(chǎng)的一部分標(biāo)識(shí)為感興趣視場(chǎng)；以及 (iii)將與所述感興趣區(qū)域相關(guān)聯(lián)的感興趣視場(chǎng)存儲(chǔ)為照相機(jī)專屬感興趣視場(chǎng)。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，還包括激光指示器設(shè)備，用于將激光束引導(dǎo)至所述零件以在所述零件上指示所述感興趣區(qū)域。
16.如權(quán)利要求15所述的系統(tǒng)，其特征在于，所述激光指示器設(shè)備包括按鈕，所述按鈕可被選擇以指示所述零件的當(dāng)前被照亮部分對(duì)應(yīng)于定義信息的至少一些感興趣區(qū)域，且應(yīng)當(dāng)分析所述按鈕被選擇時(shí)刻的所述零件的圖像以獲得與所述零件的當(dāng)前被照亮部分相關(guān)聯(lián)的位置信息，所述處理器被進(jìn)一步編程以執(zhí)行監(jiān)測(cè)來(lái)自所述激光指示器設(shè)備的關(guān)于應(yīng)當(dāng)分析圖像的指示的步驟。
17.如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述激光指示器設(shè)備被編程以在所述按鈕被選擇時(shí)使所述零件上的照射束的外觀發(fā)生變化，且監(jiān)測(cè)來(lái)自所述激光指示器設(shè)備的指示的步驟包括分析照相機(jī)圖像以標(biāo)識(shí)所述零件上的照射束的外觀的變化。
18.如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述激光指示器設(shè)備包括在按鈕被選擇時(shí)發(fā)送信號(hào)的發(fā)射器。
全文摘要
一種用于在3D成像系統(tǒng)(10)中指定感興趣區(qū)域的方法和系統(tǒng)，該3D成像系統(tǒng)包括多個(gè)照相機(jī)(24)，這多個(gè)照相機(jī)包括至少第一和第二照相機(jī)，其中每個(gè)照相機(jī)(24)具有沿照相機(jī)不同軌道排列的視場(chǎng)，該方法包括以下步驟在多個(gè)照相機(jī)的視場(chǎng)內(nèi)的位置呈現(xiàn)零件(12)；在多個(gè)照相機(jī)中的每個(gè)照相機(jī)的視場(chǎng)內(nèi)在零件(12)上標(biāo)識(shí)感興趣區(qū)域(82)；以及針對(duì)多個(gè)照相機(jī)中的每個(gè)照相機(jī)(i)采集包括感興趣區(qū)域的該零件(12)的至少一幅圖像；(ii)在與該至少一幅圖像中的感興趣區(qū)域(82)相關(guān)聯(lián)的照相機(jī)(24)的視場(chǎng)內(nèi)標(biāo)識(shí)照相機(jī)(24)專屬感興趣視場(chǎng)；以及(iii)存儲(chǔ)所述感興趣視場(chǎng)以供隨后使用。
文檔編號(hào)B25J9/16GK102762344SQ201080024680
公開日2012年10月31日 申請(qǐng)日期2010年5月26日 優(yōu)先權(quán)日2009年5月29日
發(fā)明者A·沃萊克, D·邁克爾 申請(qǐng)人:考戈奈克斯技術(shù)和投資股份有限公司