利用不準(zhǔn)確的校準(zhǔn)靶的機(jī)器視覺系統(tǒng)校準(zhǔn)的制作方法
【專利摘要】本發(fā)明描述了一種利用不準(zhǔn)確的校準(zhǔn)靶的機(jī)器視覺系統(tǒng)校準(zhǔn)方法、系統(tǒng)和裝置，其包括用于校準(zhǔn)機(jī)器視覺系統(tǒng)的計(jì)算機(jī)程序產(chǎn)品。系統(tǒng)包括：一個或多個相機(jī)；移動產(chǎn)生裝置；以及校準(zhǔn)模塊。校準(zhǔn)模塊被構(gòu)造成：從一個或多個相機(jī)的第一相機(jī)中，獲取包括提供多個校準(zhǔn)特征的校準(zhǔn)圖案的校準(zhǔn)靶的多個圖像；從多個圖像中，提取多個校準(zhǔn)特征中的校準(zhǔn)特征，其中，多個校準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中；確定校準(zhǔn)靶長度單元和與移動產(chǎn)生裝置相關(guān)的移動產(chǎn)生裝置長度單元之間的比例；以及基于該比例，提供用于第一相機(jī)的第一校準(zhǔn)。
【專利說明】利用不準(zhǔn)確的校準(zhǔn)靶的機(jī)器視覺系統(tǒng)校準(zhǔn)

【技術(shù)領(lǐng)域】
[0001] 本技術(shù)大體涉及機(jī)器視覺系統(tǒng)，且更具體地涉及校準(zhǔn)一機(jī)器視覺系統(tǒng)。

【背景技術(shù)】
[0002] 在機(jī)器視覺系統(tǒng)中，一個或多個相機(jī)可用于在成像視場內(nèi)的物體或表面上執(zhí)行視 覺系統(tǒng)處理。這些處理可包括檢查、符號解碼、對準(zhǔn)、和/或多個其他任務(wù)。在某些應(yīng)用中， 機(jī)器視覺系統(tǒng)可用于檢查設(shè)置在成像場內(nèi)或穿過成像場的扁平工件。該成像場可由一個或 多個視覺系統(tǒng)相機(jī)成像。由相機(jī)捕獲的圖像可由機(jī)器視覺系統(tǒng)處理，以確定與成像場內(nèi)的 特征有關(guān)的信息、諸如特征的真實(shí)位置、姿態(tài)、等等。在某些應(yīng)用中，相機(jī)可被校準(zhǔn)成允許機(jī) 器視覺系統(tǒng)以增強(qiáng)的精度和可靠性執(zhí)行視覺任務(wù)。
[0003] 校準(zhǔn)靶可被用于校準(zhǔn)相機(jī)。校準(zhǔn)靶可為具有準(zhǔn)確已知的（例如，由于制造過程） 或可測量的尺寸特性的任何物體。例如，校準(zhǔn)板可用作校準(zhǔn)靶。校準(zhǔn)板可為具有在其表面 可見的特色圖案的扁平物體。特色圖案可布置成使得機(jī)器視覺系統(tǒng)或用戶可容易的識別由 相機(jī)獲取的校準(zhǔn)板的圖像中的可視特征。某些示例性圖案包括，但不限于，點(diǎn)狀網(wǎng)格、線狀 網(wǎng)格、蜂窩狀圖案、方形棋盤格、三角形棋盤格、等等。校準(zhǔn)圖案典型地包含可高度定位的特 征。特征定位的精確水平可影響校準(zhǔn)的精度。圈（點(diǎn)或孔）可能比柵格或棋盤格圖案的 準(zhǔn)確度小。每個可視特征的特性從板的圖案獲知，諸如相對于圖案內(nèi)隱含限定的參考位置 和/或坐標(biāo)系統(tǒng)的定位和/或定向。呈現(xiàn)在圖案中的特征可包括校準(zhǔn)特征。校準(zhǔn)特征可為 校準(zhǔn)板的圖案中的單個特征，該校準(zhǔn)板的圖案的特性可易于被測量（例如，特征的位置、大 小、顏色、等等），且它的由標(biāo)稱圖案預(yù)期的特性是已知的。例如，某些能校準(zhǔn)的特征位置包 括棋盤格圖案片的角落或中心、或者點(diǎn)狀網(wǎng)格中的點(diǎn)中心、或線狀網(wǎng)格中的線交叉點(diǎn)。校準(zhǔn) 板圖案可包括以重復(fù)圖案設(shè)置的大量校準(zhǔn)特征。更基本地，校準(zhǔn)特征可易于從所獲取的圖 像中提取并可提供已知的特性。在某些領(lǐng)域中，已知的尺寸特性可被用于校準(zhǔn)機(jī)器視覺系 統(tǒng)。
[0004] 在某些傳統(tǒng)系統(tǒng)中，校準(zhǔn)靶具有特定的特性。例如，校準(zhǔn)靶典型地在尺寸上是穩(wěn)定 的和剛性的。在某些應(yīng)用中，校準(zhǔn)板可由玻璃制成（例如，通過玻璃上的鉻結(jié)構(gòu)）。玻璃校 準(zhǔn)板具有可有利于機(jī)器視覺系統(tǒng)校準(zhǔn)的特性。例如，玻璃校準(zhǔn)板的尺寸不隨著溫度和濕度 上的變化而顯著改變（例如，尺寸上的穩(wěn)定）。然而，玻璃校準(zhǔn)板典型地是昂貴的。在某些 應(yīng)用中，可由雙向拉伸聚酯薄膜（BoPET)諸如由Dupont生產(chǎn)的MYLAR聚酯薄膜制成。盡管 BoPET校準(zhǔn)板典型地比玻璃校準(zhǔn)板成本低，然而BoPET校準(zhǔn)板的尺寸可隨著溫度和/或濕度 上的變化而改變（例如超過百分比的1/10)。類似地，某些金屬校準(zhǔn)板（例如，由鋁或鋼板 制成的校準(zhǔn)板）在尺寸上不是穩(wěn)定的（例如，這種校準(zhǔn)板可遭受顯著的熱膨脹）。紙的和 BoPET校準(zhǔn)板在尺寸上是不穩(wěn)定的。此外，紙的和BoPET校準(zhǔn)板不是剛性的，除非被粘附在 剛性的支撐基板上。


【發(fā)明內(nèi)容】

[0005] 因此，需要能夠使用由低成本材料（諸如BoPET)制成的校準(zhǔn)革巴，同時自動地說明 可降低校準(zhǔn)精度的這些廉價的材料中普遍的變形。
[0006] -方面，系統(tǒng)可包括一個或多個相機(jī)。該系統(tǒng)可包括移動產(chǎn)生裝置。該系統(tǒng)可包 括校準(zhǔn)模塊，其被構(gòu)造成：從一個或多個相機(jī)中的第一相機(jī)獲取多個校準(zhǔn)靶的圖像，該校準(zhǔn) 靶包括用于提供多個校準(zhǔn)特征的校準(zhǔn)圖案；從多個圖像中，提取多個校準(zhǔn)特征中的一個或 多個校準(zhǔn)特征，其中，多個校準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中；確 定校準(zhǔn)靶長度單元和與移動產(chǎn)生裝置有關(guān)的移動產(chǎn)生裝置長度單元之間的比例；以及基于 校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例而提供用于第一相機(jī)的第一校準(zhǔn)。
[0007] 另一方面，一種校準(zhǔn)至少一個相機(jī)的計(jì)算機(jī)執(zhí)行方法，包括：通過第一相機(jī)，獲取 校準(zhǔn)靶的多個圖像，該校準(zhǔn)靶包括提供多個校準(zhǔn)特征的校準(zhǔn)圖案。該方法可包括：通過機(jī)器 視覺系統(tǒng)，從多個圖像中提取多個校準(zhǔn)特征的一個或多個校準(zhǔn)特征，其中，多個校準(zhǔn)特征的 物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中。該方法可包括：通過機(jī)器視覺系統(tǒng)，確定 校準(zhǔn)靶長度單元和與移動產(chǎn)生裝置有關(guān)的移動產(chǎn)生裝置長度單元之間的比例。該方法可包 括：通過機(jī)器視覺系統(tǒng)，基于移動產(chǎn)生裝置長度單元與校準(zhǔn)靶長度單元之間的比例，提供用 于第一相機(jī)的第一校準(zhǔn)。
[0008] 另一方面，一種計(jì)算機(jī)程序產(chǎn)品，其實(shí)質(zhì)包含在非易失計(jì)算機(jī)可讀存儲介質(zhì)中，包 括指令，其可操作成使得機(jī)器視覺系統(tǒng)：從第一相機(jī)獲取校準(zhǔn)靶的多個圖像，該校準(zhǔn)靶包括 提供多個校準(zhǔn)特征的校準(zhǔn)圖案；從多個圖像中，提取多個校準(zhǔn)特征的一個或多個校準(zhǔn)特征， 其中，多個校準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元；確定校準(zhǔn)靶長度單 元和與移動產(chǎn)生裝置相關(guān)的移動產(chǎn)生裝置長度單元之間的比例；以及基于移動產(chǎn)生裝置長 度單元與校準(zhǔn)靶長度單元之間的比例，提供用于第一相機(jī)的第一校準(zhǔn)。
[0009] 在某些實(shí)施例中，校準(zhǔn)模塊進(jìn)一步被構(gòu)造成：從一個或多個相機(jī)的第二相機(jī)，獲取 校準(zhǔn)靶的第二多個圖像；從第二多個圖像中提取多個校準(zhǔn)特征的第二一個或多個校準(zhǔn)特 征，其中，第二多個校準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中；以及基于 校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，提供用于第二相機(jī)的第二校準(zhǔn)。
[0010] 在某些實(shí)施例中，移動產(chǎn)生裝置被構(gòu)造成，以包括平移分量和旋轉(zhuǎn)分量中的至少 一個的移動方式，使校準(zhǔn)祀和第一相機(jī)中的一個移動，該移動處于移動產(chǎn)生裝置長度單兀 中，且其中，校準(zhǔn)模塊被構(gòu)造成，在移動前獲取校準(zhǔn)靶的多個圖像中的第一圖像，以及在移 動之后獲取校準(zhǔn)靶的多個圖像中的第二圖像。
[0011] 在某些實(shí)施例中，校準(zhǔn)模塊進(jìn)一步被構(gòu)造成：基于第一測試比例確定用于第一相 機(jī)的第一測試校準(zhǔn)；確定用于第一測試校準(zhǔn)的第一殘差；基于第二測試比例確定用于第一 相機(jī)的第二測試校準(zhǔn)；確定用于第二測試校準(zhǔn)的第二殘差；在第一殘差小于第二殘差時， 將校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例確定為第一測試比例，否則，將校 準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例確定為第二測試比例；以及如果第一殘 差小于第二殘差時，提供第一測試校準(zhǔn)作為第一校準(zhǔn)，否則提供第二測試校準(zhǔn)作為第一校 準(zhǔn)。
[0012] 在某些實(shí)施例中，校準(zhǔn)模塊進(jìn)一步被構(gòu)造成實(shí)施手眼校準(zhǔn)以基于校準(zhǔn)靶長度單元 與移動產(chǎn)生裝置長度單元之間的比例計(jì)算用于第一相機(jī)的第一校準(zhǔn)。
[0013] 在某些實(shí)施例中，該方法包括：通過一個或多個相機(jī)中的第二相機(jī)，獲取校準(zhǔn)靶的 第二多個圖像；通過機(jī)器視覺系統(tǒng)，從第二多個圖像，提取多個校準(zhǔn)特征的第二一個或多個 校準(zhǔn)特征，其中，第二多個校準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中；以 及通過機(jī)器視覺系統(tǒng)，基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，提供用 于第二相機(jī)的第二校準(zhǔn)。
[0014] 在某些實(shí)施例中，該方法包括：通過移動產(chǎn)生裝置，以包括平移分量和旋轉(zhuǎn)分量中 的一個的移動的方式，使校準(zhǔn)靶和第一相機(jī)中的一個移動，該移動處于移動產(chǎn)生裝置長度 單元中；以及通過第一相機(jī)，在移動之前，獲取校準(zhǔn)靶的多個圖像中的第一圖像，且在移動 之后，獲取校準(zhǔn)靶的多個圖像中的第二圖像。
[0015] 在某些實(shí)施例中，該方法包括：通過機(jī)器視覺系統(tǒng)，基于第一測試比例確定用于第 一相機(jī)的第一測試校準(zhǔn)；通過機(jī)器視覺系統(tǒng)，確定用于第一測試校準(zhǔn)的第一殘差；通過機(jī) 器視覺系統(tǒng)，基于第二測試比例，確定用于第一相機(jī)的第二測試校準(zhǔn)；通過機(jī)器視覺系統(tǒng)， 確定用于第二測試校準(zhǔn)的第二殘差；通過機(jī)器視覺系統(tǒng)，在第一殘差小于第二殘差時，將校 準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例確定為第一測試比例，否則，將第一校 準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例確定為第二測試比例；以及通過機(jī)器視 覺系統(tǒng)，在第一殘差小于第二殘差時，提供第一校準(zhǔn)作為第一校準(zhǔn)，否則提供第二測試校準(zhǔn) 作為第一校準(zhǔn)。
[0016] 在某些實(shí)施例中，該方法包括：通過機(jī)器視覺系統(tǒng)，實(shí)施手眼校準(zhǔn)以基于校準(zhǔn)靶長 度單元與移動產(chǎn)生裝置長度單元之間的比例，計(jì)算用于第一相機(jī)的第一校準(zhǔn)。
[0017] 在某些實(shí)施例中，計(jì)算機(jī)程序產(chǎn)品包括指令，其可操作成使得機(jī)器視覺系統(tǒng)：從第 二相機(jī)中，獲取校準(zhǔn)靶的第二多個圖像；從第二多個圖像，提取多個校準(zhǔn)特征中的第二一個 或多個校準(zhǔn)特征，其中，第二多個校準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單 元中；以及基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，提供用于第二相機(jī) 的第二校準(zhǔn)。
[0018] 在某些實(shí)施例中，計(jì)算機(jī)程序產(chǎn)品包括指令，其可操作成使得機(jī)器視覺系統(tǒng)：通過 移動產(chǎn)生裝置，以包括平移分量和旋轉(zhuǎn)分量中的至少一個的移動的方式，使校準(zhǔn)靶和第一 相機(jī)中的一個移動，該移動處于移動產(chǎn)生裝置長度單元中；以及在移動之前，獲取校準(zhǔn)靶的 多個圖像中的第一圖像，且在移動之后，獲取校準(zhǔn)靶的多個圖像中的第二圖像。
[0019] 在某些實(shí)施例中，計(jì)算機(jī)程序產(chǎn)品包括指令，其可操作成使得機(jī)器視覺系統(tǒng)：基于 第一測試比例，確定用于第一相機(jī)的第一測試校準(zhǔn)；確定用于第一測試校準(zhǔn)的第一殘差； 基于第二測試比例，確定用于第一相機(jī)的第二測試校準(zhǔn)；確定用于第二測試校準(zhǔn)的第二殘 差；在第一殘差小于第二殘差時，將校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例 確定為第一測試比例，否則，將校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例確定 為第二測試比例；以及在第一殘差小于第二殘差時，提供第一測試校準(zhǔn)作為第一校準(zhǔn)，否則 提供第二測試校準(zhǔn)作為第一校準(zhǔn)。
[0020] 在某些實(shí)施例中，計(jì)算機(jī)程序產(chǎn)品包括指令，其可操作成使得機(jī)器視覺系統(tǒng)：實(shí)施 手眼校準(zhǔn)以基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，計(jì)算用于第一相機(jī) 的第一校準(zhǔn)。
[0021] 在某些實(shí)施例中，校準(zhǔn)靶為包括BoPET的校準(zhǔn)板。
[0022] 在某些實(shí)施例中，校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，與校準(zhǔn) 靶的變形相關(guān)，該標(biāo)準(zhǔn)靶的變形與至少一個環(huán)境因素相關(guān)。
[0023] 根據(jù)隨后的詳細(xì)說明，以及僅僅通過示例的方式闡釋技術(shù)原理的附圖，本技術(shù)的 其他方面和優(yōu)點(diǎn)，將變得顯而易見。

【專利附圖】

【附圖說明】
[0024] 根據(jù)各個實(shí)施例的隨后說明，在連同附圖一起閱讀時，本技術(shù)的前述以及其他觀 點(diǎn)、目的、和優(yōu)點(diǎn)，以及技術(shù)本身將被更加充分理解，其中：
[0025] 圖1描述了機(jī)器視覺系統(tǒng)的簡圖；
[0026] 圖2A和2B描述了由相機(jī)捕獲的校準(zhǔn)靶的圖像；
[0027] 圖3描述了用于確定相機(jī)的校準(zhǔn)的方法的流程圖；以及
[0028] 圖4描述了用于確定校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的標(biāo)度比的 方法的流程圖。

【具體實(shí)施方式】
[0029] 在示例性的應(yīng)用中，機(jī)器視覺系統(tǒng)可用于將工件對準(zhǔn)一件處理裝置，諸如在絲網(wǎng) 印刷中的手機(jī)、平板電腦和平板顯示器的保護(hù)鏡頭。例如，工件可設(shè)置在可相對于絲網(wǎng)印刷 設(shè)備移動工件的移動臺或其他移動產(chǎn)生裝置上。校準(zhǔn)（例如，手眼校準(zhǔn)）可改進(jìn)機(jī)器視覺 系統(tǒng)的能力，以使工件相對于絲網(wǎng)印刷設(shè)備精確定位。在某些應(yīng)用中，校準(zhǔn)可包括確定由相 機(jī)捕獲的圖像與由相機(jī)成像的視場的物理空間之間的關(guān)系。例如，校準(zhǔn)相機(jī)可包括確定從 相機(jī)的圖像的坐標(biāo)系統(tǒng)到視場的物理坐標(biāo)空間（例如，移動產(chǎn)生裝置的移動坐標(biāo)系統(tǒng)）的 數(shù)學(xué)轉(zhuǎn)換。在某些應(yīng)用中，用于相機(jī)的校準(zhǔn)可部分地涉及這種轉(zhuǎn)換。
[0030] 校準(zhǔn)可利用諸如校準(zhǔn)板的校準(zhǔn)靶來實(shí)施。校準(zhǔn)靶可包括印刷在校準(zhǔn)靶上的校準(zhǔn)靶 坐標(biāo)系統(tǒng)。例如，某些校準(zhǔn)靶可包括網(wǎng)格，其中，網(wǎng)格的線可被設(shè)計(jì)成均勻分布以形成坐標(biāo) 系統(tǒng)。校準(zhǔn)板可包括網(wǎng)格，其中，網(wǎng)格線被設(shè)計(jì)成為相距l(xiāng)cm。如上所示，某些校準(zhǔn)板材料可 變形（例如，由熱脹或冷縮引起）。因此，盡管網(wǎng)格線之間的標(biāo)稱（例如，如設(shè)計(jì)的）距離為 lcm，網(wǎng)格線之間的實(shí)際距離可為較大或較小（例如，1. 001cm或.999cm)。
[0031] 此處所描述的技術(shù)可被用于通過利用具有可不同于實(shí)際尺寸的標(biāo)稱尺寸的校準(zhǔn) 靶來校準(zhǔn)機(jī)器視覺系統(tǒng)。在某些實(shí)施例中，該技術(shù)可自動確定校準(zhǔn)靶的標(biāo)度比（例如，靶的 標(biāo)稱長度單元與靶的實(shí)際長度單元的比例），由此允許利用校準(zhǔn)靶的坐標(biāo)系統(tǒng)校準(zhǔn)，同時減 小校準(zhǔn)誤差。在某些實(shí)施例中，該技術(shù)將移動產(chǎn)生裝置（例如，移動臺）的精度用作尺寸標(biāo) 準(zhǔn)，以確定校準(zhǔn)靶的標(biāo)稱長度單元如何與實(shí)際長度相關(guān)。例如，具有標(biāo)稱為lcm的方形的網(wǎng) 格的校準(zhǔn)靶可被固定到移動產(chǎn)生裝置上。相機(jī)可捕獲處于該第一姿態(tài)的校準(zhǔn)靶的第一圖 像。移動產(chǎn)生裝置可被命令成通過特定的平移移動校準(zhǔn)靶，諸如將校準(zhǔn)靶向左側(cè)移動lcm。 相機(jī)可捕獲處于該第二姿態(tài)的校準(zhǔn)靶的第二圖像。由于方格在每一側(cè)標(biāo)稱為lcm，它可被期 待成，校準(zhǔn)靶將被觀測成在兩個姿態(tài)之間向左移動一個方格。如果校準(zhǔn)靶已膨脹，姿態(tài)之間 所觀測的移動將小于1個方格。如果校準(zhǔn)靶已收縮，所觀測的移動將大于1個方格。有利 地，該技術(shù)可基于所期待的移動（例如，基于校準(zhǔn)靶的標(biāo)稱長度單元所期待的）與利用移動 產(chǎn)生裝置使校準(zhǔn)靶平移之后所觀測的移動之間的差值，確定標(biāo)度比。
[0032] 參考附圖，圖1描述了機(jī)器視覺系統(tǒng)100的簡圖。機(jī)器視覺系統(tǒng)100包括大體指 向包括移動產(chǎn)生裝置115的視場的相機(jī)105和110。如所示出的，校準(zhǔn)靶120設(shè)置在移動產(chǎn) 生裝置115上。機(jī)器視覺系統(tǒng)100包括機(jī)器視覺處理器125,其包括校準(zhǔn)模塊130。
[0033] 相機(jī)105和/或相機(jī)110可捕獲包括校準(zhǔn)靶120的視場的圖像。在某些實(shí)施例中， 移動產(chǎn)生裝置115可沿著X軸135和/或y軸140平移，由此，使校準(zhǔn)靶120平移。在某些 實(shí)施例中，移動產(chǎn)生裝置115可旋轉(zhuǎn)（例如，圍繞軸145)。在某些實(shí)施例中，校準(zhǔn)靶120可 關(guān)于成像的視場靜止，且一個或多個相機(jī)可相對于視場移動。由相機(jī)105和/或相機(jī)110 獲取的圖像可被傳遞到機(jī)器視覺處理器125 (例如，經(jīng)由已知的適當(dāng)?shù)臒o線、有線或其他通 信信道/鏈路）。
[0034] 在所示出的實(shí)施例中，校準(zhǔn)靶120被設(shè)計(jì)成具有標(biāo)稱9cm的寬度和標(biāo)稱8cm的高 度。校準(zhǔn)靶的每個方格在每一側(cè)上標(biāo)稱為lcm長。在某些實(shí)施例中，校準(zhǔn)靶具有不同的尺 寸和形狀。如本領(lǐng)域技術(shù)人員所知曉的，取決于機(jī)器視覺系統(tǒng)的運(yùn)行操作中所分析的物體 或表面的特定應(yīng)用和大小，校準(zhǔn)靶120在寬度和高度上可從幾毫米變化到幾米。
[0035] 盡管機(jī)器視覺系統(tǒng)100描述為具有兩個相機(jī)，相機(jī)105和相機(jī)110,該技術(shù)的某些 實(shí)施例可包括具有更少或更多數(shù)目的相機(jī)的機(jī)器視覺系統(tǒng)，所有的相機(jī)都大體指向視場。 在某些實(shí)施例中，單個相機(jī)（例如，相機(jī)105)可被用于成像視場。移動（例如，如由移動產(chǎn) 生裝置115所提供的），可被描繪為平移運(yùn)動、旋轉(zhuǎn)運(yùn)動、或平移和旋轉(zhuǎn)的組合。盡管移動 產(chǎn)生裝置115被示出為能夠沿著X軸135和/或y軸140平移，該技術(shù)的某些實(shí)施例可提 供三維（3D)移動，其包括，沿著垂直于由X和y軸所限定的平面的z軸的平移分量和/或 從x-y平傾斜/旋轉(zhuǎn)中的至少一個。在某些實(shí)施例中，機(jī)器視覺系統(tǒng)可包括允許它用作獨(dú) 立單元的內(nèi)部處理器和其他元件，其向下游過程提供輸出數(shù)據(jù)（例如，特征信息）。處理器 可被完全地獨(dú)立包含在相機(jī)主體內(nèi)、部分地包含在主體內(nèi)、或置于主體外部（如圖1中所示 的）。
[0036] 圖2A和2B描述了由相機(jī)105捕獲的校準(zhǔn)靶120的圖像。圖2A描繪了處于第一姿 態(tài)的校準(zhǔn)靶120的圖像205。姿態(tài)可指移動產(chǎn)生裝置115的移動坐標(biāo)系統(tǒng)中的校準(zhǔn)靶120 的定位和/或定向。標(biāo)記215被包括以用于示例的目的，且被定位在相機(jī)105的圖像坐標(biāo) 系統(tǒng)中的靜止位置處。圖2B描述了處于第二姿態(tài)的校準(zhǔn)靶120的圖像210,其中，移動產(chǎn)生 裝置115已將校準(zhǔn)靶120從第一姿態(tài)沿著X軸135向左移動lcm?；谛?zhǔn)靶120的標(biāo)稱 尺寸，標(biāo)記215被期望相對于校準(zhǔn)靶120沿著X軸135向右移動一個方格（標(biāo)稱為lcm)。 如圖2B所示的，標(biāo)記215已移動超過1個方格，其表明，校準(zhǔn)靶120已經(jīng)收縮，以使得它的 方格在每一側(cè)小于lcm。如下面所詳細(xì)描述的，該技術(shù)可確定校準(zhǔn)靶120的標(biāo)度比（例如， 校準(zhǔn)靶120的標(biāo)稱長度單元與校準(zhǔn)靶120的實(shí)際長度單元的比例）。例如，該技術(shù)可假設(shè)， 移動產(chǎn)生裝置115為足夠準(zhǔn)確的，并通過確定校準(zhǔn)靶120的標(biāo)稱長度單元與移動產(chǎn)生裝置 115的長度單元的比例，來確定（或者近似確定）校準(zhǔn)靶120的標(biāo)稱長度單元與校準(zhǔn)靶120 的實(shí)際長度單元的比例，由此允許利用校準(zhǔn)靶120進(jìn)行校準(zhǔn)。
[0037] 圖3描述了用于確定相機(jī)的校準(zhǔn)的方法的流程圖300。例如，該方法可由機(jī)器視覺 處理器125的校準(zhǔn)模塊130來執(zhí)行。在某些實(shí)施例中，機(jī)器視覺系統(tǒng)100可根據(jù)所描述的 方法，利用校準(zhǔn)靶120的網(wǎng)格來校準(zhǔn)相機(jī)105。在步驟305,獲取包括提供多個校準(zhǔn)特征的 校準(zhǔn)圖案的校準(zhǔn)靶的圖像。例如，參考圖1，相機(jī)105可獲取校準(zhǔn)靶120的多個圖像。如上 所述的，相機(jī)105可獲取處于多個姿態(tài)的校準(zhǔn)靶120的圖像（例如，圖像205和210)。
[0038] 在步驟310,校準(zhǔn)特征被從圖像中提取，其中，校準(zhǔn)特征的物理位置在與校準(zhǔn)靶相 關(guān)的校準(zhǔn)靶長度單元中列出。例如，校準(zhǔn)靶120上的網(wǎng)格的一個或多個交叉線可為校準(zhǔn)特 征。校準(zhǔn)特征可利用商業(yè)上可獲得的機(jī)器視覺軟件，諸如Cognex公司出產(chǎn)的Cognex Vision Library(CVL?)軟件，從圖像中提取。每一個校準(zhǔn)特征可與兩個坐標(biāo)位置相關(guān)：圖像坐 標(biāo)系統(tǒng)中的校準(zhǔn)特征的圖像位置和物理坐標(biāo)系統(tǒng)中的校準(zhǔn)特征的物理位置。在某些實(shí)施例 中，校準(zhǔn)特征的物理位置至少部分地可表達(dá)在校準(zhǔn)靶120的標(biāo)稱長度單元中。例如，參考圖 1，校準(zhǔn)特征155的物理位置可被表達(dá)為到校準(zhǔn)靶150的原點(diǎn)的右側(cè)標(biāo)稱上為4cm(例如，4 個方格）的位置?？扇鐐鹘y(tǒng)的手眼校準(zhǔn)一樣基于移動坐標(biāo)系統(tǒng)中的校準(zhǔn)祀120的姿態(tài)，以 及基于表達(dá)在校準(zhǔn)靶120的標(biāo)稱長度單元中校準(zhǔn)特征155相對于原點(diǎn)150的位置，確定移 動坐標(biāo)系統(tǒng)中的校準(zhǔn)特征155的物理位置。
[0039] 在步驟315,確定校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例。在某些實(shí) 施例中，該技術(shù)可確定校準(zhǔn)靶120的標(biāo)稱長度單元與移動產(chǎn)生裝置115的長度單元的比例。 下面參考附圖4和5詳細(xì)描述確定比例的示例性方法。
[0040] 在步驟320,基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例提供第一 校準(zhǔn)。在某些實(shí)施例中，諸如關(guān)于圖4所描述的，當(dāng)確定校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長 度單元之間的比例時，可基于計(jì)算校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例的 校準(zhǔn)。在某些實(shí)施例中，可利用諸如由Cognex公司出產(chǎn)的CVL?軟件來計(jì)算基于校準(zhǔn)靶長 度單元與移動產(chǎn)生裝置長度單元之間的比例的校準(zhǔn)。在某些實(shí)施例中，可實(shí)施標(biāo)準(zhǔn)的手眼 校準(zhǔn)，其中，每個校準(zhǔn)特征的物理位置在被用于校準(zhǔn)之前可由標(biāo)度比標(biāo)度。
[0041] 有利地，基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例的校準(zhǔn)可補(bǔ)償 校準(zhǔn)靶的變形，同時仍舊允許校準(zhǔn)靶的校準(zhǔn)特征被使用。沒有這種補(bǔ)償，校準(zhǔn)可能不準(zhǔn)確。
[0042] 圖4描述了用于確定校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的標(biāo)度比的 方法的流程圖400。例如，該方法可由機(jī)器視覺處理器125的校準(zhǔn)模塊130來執(zhí)行。在步驟 405,接收標(biāo)度比檢索范圍。例如，檢索范圍可位于.9與1. 1之間即[.9,1. 1]。在某些實(shí)施 例中，校準(zhǔn)模塊130可從機(jī)器視覺系統(tǒng)125內(nèi)的存儲器（未示出）接收檢索范圍（例如，預(yù) 定的范圍可由機(jī)器視覺系統(tǒng)125儲存）。在某些實(shí)施例中，檢索范圍可從用戶接收（例如， 用戶可基于制造校準(zhǔn)靶的材料的所期望的膨脹/收縮邊界提供檢索范圍）。
[0043] 在步驟410,黃金比例檢索算法被用于從檢索范圍拾取標(biāo)度比測試值S。在步驟 415,實(shí)施采用校準(zhǔn)特征的標(biāo)度物理位置的手眼校準(zhǔn)。例如，由Cognex公司出產(chǎn)的CVL?: 軟件可用于實(shí)施校準(zhǔn)。如上所述的，校準(zhǔn)特征的物理位置可被表達(dá)在校準(zhǔn)靶的標(biāo)稱單元中。 物理位置坐標(biāo)可由標(biāo)度比檢測值標(biāo)度。例如，參考圖1，校準(zhǔn)特征155的物理位置可被標(biāo)稱 上表達(dá)為校準(zhǔn)靶150的原點(diǎn)右側(cè)的4cm(例如，4個方格）。校準(zhǔn)特征155的物理位置可通 過標(biāo)度比測試值標(biāo)度為例如，SX4cm，以獲得校準(zhǔn)靶150的原點(diǎn)的標(biāo)度距離?？扇鐐鹘y(tǒng)手眼 校準(zhǔn)一樣基于移動校準(zhǔn)系統(tǒng)中的校準(zhǔn)靶120的姿態(tài)，以及基于表達(dá)在校準(zhǔn)靶120的標(biāo)度標(biāo) 稱長度單元中的校準(zhǔn)特征155相對于原點(diǎn)150的位置，表達(dá)移動坐標(biāo)系統(tǒng)中的校準(zhǔn)特征155 的物理位置。
[0044] 在步驟420,計(jì)算用于標(biāo)度的校準(zhǔn)特征點(diǎn)的物理空間中的殘差。例如，由Cognex公 司出產(chǎn)的CVL?:軟件可用于計(jì)算移動坐標(biāo)系統(tǒng)中的殘差。在某些實(shí)施例中，殘差可為用于 橫跨每個圖像中的每個校準(zhǔn)點(diǎn)的殘差的平均值。在某些實(shí)施例中，它可為用于橫跨每個圖 像中的每個校準(zhǔn)點(diǎn)的殘差的和。
[0045] 在步驟425,確定黃金分割檢索算法是否收斂于最佳殘差（例如，用于當(dāng)前標(biāo)度比 檢測值的殘差是否對于標(biāo)度比檢索范圍中的任何標(biāo)度比為最?。?。如果殘差不為最小，該方 法回到步驟410,其中，新的標(biāo)度測試值S被拾取，且利用新的測試值，步驟415、420和425 被重復(fù)。如果該殘差為用于檢索范圍的最小值，在步驟430,最后使用的標(biāo)度比測試值被確 定為校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例。提供了校準(zhǔn)靶長度單元與移動 產(chǎn)生裝置長度單元之間的比例以及利用該比例計(jì)算出的校準(zhǔn)。
[0046] 盡管圖4中所示例的方法采用黃金分割檢索算法，應(yīng)該理解，其它的數(shù)學(xué)算法可 被替換用于發(fā)現(xiàn)最小的殘差。此外，盡管圖4中所示例的方法采用單個標(biāo)度比，該技術(shù)還可 采用一個或多個標(biāo)度比來說明不均勻的膨脹/收縮（例如，沿著X軸比沿著y軸膨脹/收 縮不同的量）。
[0047] 在某些實(shí)施例中，可在手眼校準(zhǔn)期間，通過使標(biāo)度比模型化，連同手眼校準(zhǔn)期間模 型化的其他未知變量，來確定（例如，估計(jì)或近似）標(biāo)度比。例如，標(biāo)度比可在確定校準(zhǔn)靶 放置姿態(tài)期間被估計(jì)。通常地，校準(zhǔn)靶放置姿態(tài)可例如涉及校準(zhǔn)靶如何被放置在移動臺上。 校準(zhǔn)靶放置姿態(tài)可為由旋轉(zhuǎn)分量R和平移分量T組成的剛性體姿態(tài)。例如，參考圖1，校準(zhǔn) 靶120的放置姿態(tài)可描述，校準(zhǔn)靶120如何放置在移動產(chǎn)生裝置115上。旋轉(zhuǎn)分量R可描 述校準(zhǔn)靶120與移動產(chǎn)生裝置115之間的相對旋轉(zhuǎn)。平移分量T可描述校準(zhǔn)靶150的原點(diǎn) 與移動產(chǎn)生裝置160的原點(diǎn)之間的偏移。
[0048] 更通常地，旋轉(zhuǎn)分量可由下面的2X2旋轉(zhuǎn)矩陣表示，對于旋轉(zhuǎn)角A :
[0049]

【權(quán)利要求】
1. 一種系統(tǒng)，其包括： 一個或多個相機(jī)； 移動產(chǎn)生裝置；和 校準(zhǔn)模塊，其被構(gòu)造成： 從一個或多個相機(jī)中的第一相機(jī)獲取一校準(zhǔn)靶的多個圖像，所述校準(zhǔn)靶包括提供多個 校準(zhǔn)特征的校準(zhǔn)圖案； 從多個圖像提取多個校準(zhǔn)特征中的一個或多個校準(zhǔn)特征，其中，多個校準(zhǔn)特征的物理 位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中； 確定校準(zhǔn)靶長度單元和與移動產(chǎn)生裝置相關(guān)的移動產(chǎn)生裝置長度單元之間的比例；以 及 基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，提供用于第一相機(jī)的第一 校準(zhǔn)。
2. 根據(jù)權(quán)利要求1的系統(tǒng)，其中，校準(zhǔn)模塊進(jìn)一步被構(gòu)造成： 從一個或多個相機(jī)中的第二相機(jī)獲取校準(zhǔn)靶的多個第二圖像； 從多個第二圖像中提取多個校準(zhǔn)特征的一個或多個第二校準(zhǔn)特征，其中，多個第二校 準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中；以及 基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，提供用于第二相機(jī)的第二 校準(zhǔn)。
3. 根據(jù)權(quán)利要求1的系統(tǒng)，其中，移動產(chǎn)生裝置被構(gòu)造成：以包括平移分量和旋轉(zhuǎn)分量 中的至少一個的移動，使校準(zhǔn)祀和第一相機(jī)中的一個移動，該移動處于移動產(chǎn)生裝置長度 單元中，且其中，校準(zhǔn)模塊被構(gòu)造成：在該移動之前獲取校準(zhǔn)靶的多個圖像中的第一圖像， 以及在該移動之后獲取校準(zhǔn)靶的多個圖像中的第二圖像。
4. 根據(jù)權(quán)利要求1的系統(tǒng)，其中，校準(zhǔn)靶為包括BoPET的校準(zhǔn)板。
5. 根據(jù)權(quán)利要求1的系統(tǒng)，其中，校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比 例與校準(zhǔn)靶的變形相關(guān)，該變形與至少一個環(huán)境因素相關(guān)。
6. 根據(jù)權(quán)利要求1的系統(tǒng)，其中，校準(zhǔn)模塊進(jìn)一步被構(gòu)造成： 基于第一測試比例來確定用于第一相機(jī)的第一測試校準(zhǔn)； 確定用于第一測試校準(zhǔn)的第一殘差； 基于第二測試比例來確定用于第一相機(jī)的第二測試校準(zhǔn)； 確定用于第二測試校準(zhǔn)的第二殘差； 如果第一殘差小于第二殘差，則將校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比 例確定為第一測試比例，否則，將校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例確 定為第二測試比例；以及 如果第一殘差小于第二殘差，則提供第一測試校準(zhǔn)作為第一校準(zhǔn)，否則提供第二測試 校準(zhǔn)作為第一校準(zhǔn)。
7. 根據(jù)權(quán)利要求1的系統(tǒng)，其中，校準(zhǔn)模塊進(jìn)一步被構(gòu)造成： 基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，執(zhí)行手眼校準(zhǔn)以計(jì)算用于 第一相機(jī)的第一校準(zhǔn)。
8. -種校準(zhǔn)至少一個相機(jī)的計(jì)算機(jī)執(zhí)行的方法，其包括： 通過第一相機(jī)，獲取一校準(zhǔn)靶的多個圖像，該校準(zhǔn)靶包括提供多個校準(zhǔn)特征的校準(zhǔn)圖 案； 通過機(jī)器視覺系統(tǒng)，從多個圖像提取多個校準(zhǔn)特征中的一個或多個校準(zhǔn)特征，其中，多 個校準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中； 通過機(jī)器視覺系統(tǒng)，確定校準(zhǔn)靶長度單元和與移動產(chǎn)生裝置相關(guān)的移動產(chǎn)生裝置長度 單元之間的比例；以及 基于移動產(chǎn)生裝置長度單元與校準(zhǔn)靶長度單元之間的比例，通過機(jī)器視覺系統(tǒng)，提供 用于第一相機(jī)的第一校準(zhǔn)。
9. 根據(jù)權(quán)利要求8的方法，其進(jìn)一步包括： 通過一個或多個相機(jī)中的第二相機(jī)，獲取校準(zhǔn)靶的多個第二圖像； 通過機(jī)器視覺系統(tǒng)，從多個第二圖像中提取多個校準(zhǔn)特征中的一個或多個第二校準(zhǔn)特 征，其中，多個第二校準(zhǔn)特征的物理位置處于與校準(zhǔn)靶相關(guān)的校準(zhǔn)靶長度單元中；以及 基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，通過機(jī)器視覺系統(tǒng)，提供 用于第二相機(jī)的第二校準(zhǔn)。
10. 根據(jù)權(quán)利要求8的方法，其進(jìn)一步包括： 通過移動產(chǎn)生裝置，以包括平移分量和旋轉(zhuǎn)分量中的至少一個的移動，使校準(zhǔn)靶和第 一相機(jī)中的一個移動，該移動處于移動產(chǎn)生裝置長度單元中；以及 通過第一相機(jī)，在該移動之前獲取校準(zhǔn)靶的多個圖像中的第一圖像以及在該移動之后 獲取校準(zhǔn)靶的多個圖像中的第二圖像。
11. 根據(jù)權(quán)利要求8的方法，其中，校準(zhǔn)靶為包括BoPET的校準(zhǔn)板。
12. 根據(jù)權(quán)利要求8的方法，其中，校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比 例與校準(zhǔn)靶的變形相關(guān)，該變形與至少一個環(huán)境因素相關(guān)。
13. 根據(jù)權(quán)利要求8的方法，其進(jìn)一步包括： 基于第一測試比例，通過機(jī)器視覺系統(tǒng)，確定用于第一相機(jī)的第一測試校準(zhǔn)； 通過機(jī)器視覺系統(tǒng)，確定用于第一測試校準(zhǔn)的第一殘差； 基于第二測試比例，通過機(jī)器視覺系統(tǒng)，確定用于第一相機(jī)的第二測試校準(zhǔn)； 通過機(jī)器視覺系統(tǒng)，確定用于第二測試校準(zhǔn)的第二殘差； 如果第一殘差小于第二殘差，則通過機(jī)器視覺系統(tǒng)將校準(zhǔn)靶長度單元與移動產(chǎn)生裝置 長度單元之間的比例確定為第一測試比例，否則，將校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度 單元之間的比例確定為第二測試比例；以及 如果第一殘差小于第二殘差，則通過機(jī)器視覺系統(tǒng)提供第一測試校準(zhǔn)作為第一校準(zhǔn)， 否則，提供第二測試校準(zhǔn)作為第一校準(zhǔn)。
14. 根據(jù)權(quán)利要求8的方法，其進(jìn)一步包括： 通過機(jī)器視覺系統(tǒng)，基于校準(zhǔn)靶長度單元與移動產(chǎn)生裝置長度單元之間的比例，執(zhí)行 手眼校準(zhǔn)以計(jì)算用于第一相機(jī)的第一校準(zhǔn)。
【文檔編號】G01C25/00GK104048674SQ201410198247
【公開日】2014年9月17日 申請日期:2014年3月17日 優(yōu)先權(quán)日:2013年3月15日
【發(fā)明者】G·劉, D·李, L·王 申請人:康耐視公司