用于相機(jī)校準(zhǔn)背景的顯示屏幕的制作方法
【專利摘要】本發(fā)明公開了用于確定一個(gè)或多個(gè)相機(jī)校準(zhǔn)參數(shù)的系統(tǒng)。系統(tǒng)包括處理器和存儲(chǔ)器。處理器被配置為：a)提供第一圖案以顯示在顯示屏幕上；b)從查看顯示屏幕的相機(jī)接收第一圖像；c)提供第二圖案以顯示在顯示屏幕上；和d)從查看顯示屏幕的相機(jī)接收第二圖像。顯示屏幕和相機(jī)的相對(duì)位置與在使用相機(jī)捕捉第一圖像時(shí)是相同的。處理器還被配置為通過至少部分地使用第一圖像中標(biāo)識(shí)的第一特征和第二圖像中標(biāo)識(shí)的第二特征來確定是已知物理地點(diǎn)在顯示屏幕上的投影的圖像地點(diǎn)，并至少部分地基于所確定的圖像地點(diǎn)確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)。存儲(chǔ)器耦合到處理器并被配置為提供指令給處理器。
【專利說明】用于相機(jī)校準(zhǔn)背景的顯示屏幕
[0001]發(fā)明背景
[0002]相機(jī)校準(zhǔn)是各種各樣圖像處理應(yīng)用中的關(guān)鍵步驟。涉及一個(gè)或多個(gè)相機(jī)并執(zhí)行圖像處理或分析的大部分產(chǎn)品在制造的過程中要求相機(jī)校準(zhǔn)步驟。期望能夠盡可能地快且準(zhǔn)確地校準(zhǔn)相機(jī)，同時(shí)也要求盡可能小的制造場(chǎng)地上的區(qū)域。
[0003]在傳統(tǒng)的相機(jī)校準(zhǔn)方法中，相機(jī)從一個(gè)或多個(gè)不同位置查看校準(zhǔn)目標(biāo)。校準(zhǔn)目標(biāo)是包含可能以極大的準(zhǔn)確性在圖像中定位的已知視覺圖案的剛性物體。一些方法要求相機(jī)從許多(四個(gè)或更多)不同的位置和距離查看平面的或者兩維(2D)的校準(zhǔn)目標(biāo)。平面目標(biāo)通常通過在高分辨率打印機(jī)上打印圖案然后安放到平坦表面上來創(chuàng)建。目標(biāo)包含基準(zhǔn)點(diǎn)，諸如棋盤交叉點(diǎn)，基準(zhǔn)點(diǎn)相關(guān)的三維(3D)地點(diǎn)(location)是精確已知的。其它方法使用非平面或3D校準(zhǔn)目標(biāo)，在這些情況中，單個(gè)查看是足夠的。定位相機(jī)一次對(duì)于制造是優(yōu)選的，因?yàn)楦觳⒂酶?jiǎn)單的制造場(chǎng)地布局和工作流程。然而，3D校準(zhǔn)目標(biāo)通常要求極大的制造準(zhǔn)確性以將目標(biāo)基準(zhǔn)放置在精確的地點(diǎn)，從而導(dǎo)致高成本。在3D目標(biāo)上檢測(cè)目標(biāo)特征也可以更困難。
[0004]附圖簡(jiǎn)沭
[0005]在以下詳細(xì)描述和附圖中公開了本發(fā)明的各種實(shí)施例。
[0006]圖1是示出了相機(jī)功能性的實(shí)施例的圖。
[0007]圖2A示出了圖像在由計(jì)算機(jī)產(chǎn)生時(shí)的實(shí)施例:世界線顯示為曲線。
[0008]圖2B示出了由經(jīng)校準(zhǔn)的相機(jī)產(chǎn)生的修正圖像的實(shí)施例:世界線顯示為直線。
[0009]圖3A和3B是示出了由經(jīng)校準(zhǔn)的立體相機(jī)產(chǎn)生的一對(duì)經(jīng)校正圖像的實(shí)施例的圖像。
[0010]圖4是示出了校準(zhǔn)物體或目標(biāo)的實(shí)施例的圖像。
[0011]圖5是示出了棋盤基準(zhǔn)點(diǎn)的實(shí)施例的圖像。
[0012]圖6A示出了展示一些校準(zhǔn)圖案的實(shí)施例。
[0013]圖6B示出了展示從相機(jī)看到的圖6A中所展示的圖案的圖像的實(shí)施例。
[0014]圖7A和7B示出了多個(gè)校準(zhǔn)圖案的圖像的實(shí)施例。
[0015]圖7C是示出了包括圖7A和7B中示出的曲線的特征的虛擬合成的實(shí)施例的圖。
[0016]圖8示出了用于使用多個(gè)圖案計(jì)算特征位置的過程的實(shí)施例。
[0017]圖9A1、9A2、9A3、9A4、9B、9C和9D示出了在用于實(shí)現(xiàn)更密集特征的過程中獲得的特征的實(shí)施例。
[0018]圖10是示出了用于將特征數(shù)量乘以VH同時(shí)將圖案數(shù)量乘以V+H的過程的流程圖。
[0019]圖11是示出了用于捕捉歸一化校準(zhǔn)圖案圖像的過程的實(shí)施例的流程圖。
[0020]圖12A、12B、12C和12D是示出了白色、黑色、圖案和歸一化圖像的實(shí)施例的圖像。
[0021]圖13A、13B、13C和13D是示出了強(qiáng)度交叉區(qū)的實(shí)施例的圖。
[0022]圖14是示出了校準(zhǔn)目標(biāo)的實(shí)施例的圖像。
[0023]圖15A和15B是校準(zhǔn)目標(biāo)的實(shí)施例的一對(duì)圖像。[0024]圖16A和16B是顯示在屏幕上的校準(zhǔn)圖案的實(shí)施例的一對(duì)圖像。
[0025]圖16C和16D是唯一可識(shí)別界標(biāo)的實(shí)施例的一對(duì)圖像。
[0026]圖17A、17B和17C是示出了用于基于團(tuán)(blob)的已知屏幕坐標(biāo)將屏幕坐標(biāo)歸屬于每個(gè)特征的過程的實(shí)施例的圖像。
[0027]圖18是示出了有“頂”和“底屏幕”的設(shè)置的實(shí)施例的圖。
[0028]圖19A是示出了用于確定兩個(gè)或更多校準(zhǔn)目標(biāo)上的基準(zhǔn)點(diǎn)在相機(jī)框中的坐標(biāo)的過程的實(shí)施例的流程圖。
[0029]圖19B是示出了用于使用未校準(zhǔn)的相機(jī)確定兩個(gè)或更多屏幕上的基準(zhǔn)點(diǎn)在公共引用框中的位置的過程的實(shí)施例的流程圖。
[0030]圖20A和20B是示出了標(biāo)識(shí)了圖像特征的實(shí)施例的圖像。
[0031]圖21是示出了用于使用裝置校準(zhǔn)相機(jī)的過程的實(shí)施例的流程圖。
[0032]圖22是示出了一組非平面校準(zhǔn)基準(zhǔn)點(diǎn)的投影的實(shí)施例的圖。
[0033]圖23A和23B是示出了在立體相機(jī)的左和右相機(jī)中標(biāo)識(shí)的特征的實(shí)施例的圖像。
[0034]圖24是示出了用于確定一個(gè)或多個(gè)相機(jī)校準(zhǔn)參數(shù)的過程的實(shí)施例的流程圖。
[0035]圖25A和25B是示出了用于確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)的過程的實(shí)施例的流程圖。
[0036]詳細(xì)描沭
[0037]本發(fā)明可以用眾多方式實(shí)現(xiàn)，包括作為過程、裝置、系統(tǒng)、事物合成、體現(xiàn)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品和/或處理器諸如被配置為執(zhí)行存儲(chǔ)在耦合到處理器的存儲(chǔ)器上和/或由耦合到處理器的存儲(chǔ)器提供的指令的處理器。在本說明書中，這些實(shí)現(xiàn)或本發(fā)明可以采取的任何其它形式可以稱為技術(shù)。所公開的過程的一些步驟的順序可以在本發(fā)明的范圍之內(nèi)更改。除非另外指明，組件諸如描述為被配置為執(zhí)行任務(wù)的處理器或存儲(chǔ)器可以實(shí)現(xiàn)為暫時(shí)配置成在給定時(shí)間執(zhí)行任務(wù)的一般組件或制造來執(zhí)行任務(wù)的具體組件。如此處所使用的，術(shù)語“處理器”指一個(gè)或多個(gè)設(shè)備、電路和/或配置為處理數(shù)據(jù)諸如計(jì)算機(jī)程序指令的處理核。
[0038]下面用示出了本發(fā)明的原則的附圖提供了對(duì)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的詳細(xì)描述。本發(fā)明是結(jié)合這樣的實(shí)施例描述的，但本發(fā)明不限于任何實(shí)施例。本發(fā)明的范圍僅由權(quán)利要求書所限制且本發(fā)明涵蓋眾多替換方案、修改和等價(jià)方案。在下面的描述中闡述了眾多具體細(xì)節(jié)以提供對(duì)本發(fā)明的全面理解。這些細(xì)節(jié)是為了示例的目的而提供的，且本發(fā)明可以根據(jù)權(quán)利要求書無需這些具體細(xì)節(jié)中的一些或全部而實(shí)踐。出于清楚的目的，本【技術(shù)領(lǐng)域】中已知的關(guān)于本發(fā)明的技術(shù)材料未作詳細(xì)描述，以便本發(fā)明不被不必要地模糊。
[0039]公開了用于確定一個(gè)或多個(gè)相機(jī)校準(zhǔn)參數(shù)的系統(tǒng)。系統(tǒng)包括處理器和存儲(chǔ)器。處理器被配置為:a)提供第一圖案以顯示在顯示屏幕上；b)從查看顯示屏幕的相機(jī)接收第一圖像；c)提供第二圖案以顯示在顯示屏幕上；和d)從查看顯示屏幕的相機(jī)接收第二圖像；顯示屏幕和相機(jī)的相對(duì)位置與在使用相機(jī)捕捉第一圖像時(shí)是相同的。處理器還被配置為通過至少部分地使用第一圖像中標(biāo)識(shí)的第一特征和第二圖像中標(biāo)識(shí)的第二特征來確定是已知物理地點(diǎn)在顯示屏幕上的投影的圖像地點(diǎn)，并至少部分地基于所確定的圖像地點(diǎn)確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)。存儲(chǔ)器耦合到處理器并被配置為提供指令給處理器。
[0040]公開了用于計(jì)算相機(jī)的一個(gè)或多個(gè)校準(zhǔn)參數(shù)的系統(tǒng)。系統(tǒng)包括處理器和存儲(chǔ)器。處理器被配置為提供或者a)用三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)標(biāo)記或者b)能夠顯示三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)的第一物體。三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)在與第一物體相關(guān)聯(lián)的第一引用框中有已知的3D第一物體基準(zhǔn)點(diǎn)位置。處理器還被配置為提供或者a)用三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)標(biāo)記或者b)能夠顯示三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)的第二物體，其中三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)在與第二物體相關(guān)聯(lián)的第二引用框中有已知的3D第二物體基準(zhǔn)點(diǎn)位置。處理器還被配置為將第一物體和第二物體放置在固定位置從而3D第一物體基準(zhǔn)點(diǎn)位置和3D第二物體基準(zhǔn)點(diǎn)位置是非平面的，并從查看第一物體和第二物體的第一相機(jī)接收一個(gè)或多個(gè)第一相機(jī)圖像。處理器還被配置為在一個(gè)或多個(gè)第一相機(jī)圖像的每一個(gè)中定位三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)的第一組投影，并至少部分地基于第一組投影計(jì)算三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多第二物體基準(zhǔn)點(diǎn)在公共引用框中的3D位置組。處理器還被配置為從查看第一物體和第二物體的第二相機(jī)接收一個(gè)或多個(gè)第二相機(jī)圖像，并在一個(gè)或多個(gè)第二相機(jī)圖像的每一個(gè)中定位三個(gè)或更多第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多第二物體基準(zhǔn)點(diǎn)的第二組投影。處理器還被配置為至少部分地使用第二組投影和基準(zhǔn)在公共引用框中的3D位置組來計(jì)算第二相機(jī)的一個(gè)或多個(gè)校準(zhǔn)參數(shù)。存儲(chǔ)器耦合到處理器并被配置為提供指令給處理器。
[0041]公開了一個(gè)或多個(gè)相機(jī)校準(zhǔn)參數(shù)的確定。提供了第一圖案以顯示在顯示屏幕上。從查看顯示屏幕的相機(jī)接收第一圖像。提供了第二圖案以顯示在顯示屏幕上。從查看顯示屏幕的相機(jī)接收第二圖像，其中顯示屏幕和相機(jī)的相對(duì)位置與在使用相機(jī)捕捉第一圖像時(shí)是相同的。至少部分地通過使用在第一圖像中標(biāo)識(shí)的第一特征和在第二圖像中標(biāo)識(shí)的第二特征，確定是有已知物理地點(diǎn)的3D點(diǎn)在顯示屏幕上的投影的圖像地點(diǎn)。至少部分地基于所計(jì)算的圖像地點(diǎn)確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)。
[0042]公開了相機(jī)的一個(gè)或多個(gè)校準(zhǔn)參數(shù)的計(jì)算。提供了第一物體，第一物體或者a)用三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)標(biāo)記或者b)能夠顯示三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn),其中三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)在與第一物體相關(guān)聯(lián)的第一引用框中有已知的3D第一物體基準(zhǔn)點(diǎn)位置。提供了第二物體，第二物體或者a)用三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)標(biāo)記或者b)能夠顯示三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)，其中三個(gè)或更多個(gè)基準(zhǔn)點(diǎn)在與第二物體相關(guān)聯(lián)的第二引用框中有已知的3D第二物體基準(zhǔn)點(diǎn)位置。第一物體和第二物體放置在固定位置，使得3D第一物體基準(zhǔn)點(diǎn)位置和3D第二物體基準(zhǔn)點(diǎn)位置是非平面的。從查看第一物體和第二物體的第一相機(jī)接收一個(gè)或多個(gè)第一相機(jī)圖像。在一個(gè)或多個(gè)第一相機(jī)圖像的每一個(gè)中定位三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)的第一組投影。至少部分地基于第一組投影計(jì)算三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)在公共引用框中的3D位置組。從查看第一物體和第二物體的第二相機(jī)接收一個(gè)或多個(gè)第二相機(jī)圖像。在一個(gè)或多個(gè)第二相機(jī)圖像的每一個(gè)中定位三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)的第二組投影。至少部分地使用第二組投影和基準(zhǔn)在公共引用框中的3D位置組計(jì)算第二相機(jī)的一個(gè)或多個(gè)校準(zhǔn)參數(shù)。
[0043]公開了從一個(gè)引用框中的坐標(biāo)到不同引用框中的坐標(biāo)的變換的確定。提供了第一圖案以顯示在第一顯示屏幕上。提供第二圖案以顯示在第二顯示屏幕上，其中第一顯示屏幕和第二顯示屏幕的相對(duì)位置保持固定。從查看第一顯示屏幕和第二顯示屏幕的相機(jī)接收?qǐng)D像。從一個(gè)引用框中的坐標(biāo)到不同引用框中的坐標(biāo)的變換在第一顯示屏幕和第二顯示屏幕之間確定。[0044]公開了使用兩個(gè)或更多個(gè)平坦校準(zhǔn)目標(biāo)一可能是顯示屏幕一來創(chuàng)建不昂貴的3D校準(zhǔn)目標(biāo)。在一些實(shí)施例中，監(jiān)視器或顯示屏幕包括液晶顯示(LCD)監(jiān)視器。公開了用來一旦剛性地安裝LCD監(jiān)視器之后就準(zhǔn)確地學(xué)習(xí)它們的相對(duì)位置的機(jī)制。公開了在監(jiān)視器上顯示包含校準(zhǔn)特征的一個(gè)或多個(gè)圖案的序列，這啟用根據(jù)少至一個(gè)關(guān)于監(jiān)視器的相機(jī)的查看位置的準(zhǔn)確相機(jī)校準(zhǔn)。如以下所描述的，圖案序列還允許可能根據(jù)不活動(dòng)的校準(zhǔn)目標(biāo)的更大的校準(zhǔn)準(zhǔn)確性。更大的準(zhǔn)確性是通過以下來達(dá)到的:1)同一目標(biāo)維度的大量特征的地點(diǎn)，2)更接近圖像邊的特征的地點(diǎn)(改進(jìn)特征的圖像覆蓋率)，和3)用來幫助多個(gè)相機(jī)校準(zhǔn)(例如立體相機(jī))中的特征對(duì)應(yīng)關(guān)系的直接機(jī)制。在一些實(shí)施例中，特征定位算法用所公開的活動(dòng)目標(biāo)方法簡(jiǎn)化了，這提供系統(tǒng)穩(wěn)健性和維護(hù)的優(yōu)勢(shì)。
[0045]在一些實(shí)施例中，一旦在相機(jī)圖像中檢測(cè)到特征，就基于此數(shù)據(jù)執(zhí)行相機(jī)校準(zhǔn)參數(shù)的計(jì)算。
[0046]大多數(shù)使用平顯示屏幕的校準(zhǔn)工作使用屏幕來顯示固定的棋盤校準(zhǔn)圖案。這提供通過改進(jìn)的和已知的平面性統(tǒng)計(jì)不同于僅打印版本的固定目標(biāo)。顯示或監(jiān)視器制造商測(cè)量并公布監(jiān)視器的平面性統(tǒng)計(jì)。在一個(gè)情況中，在已經(jīng)捕捉了棋盤圖像之后屏幕是空白的從而屏幕用作投影表面的意義上，相機(jī)-投影儀對(duì)是以最小化活動(dòng)方式使用屏幕來校準(zhǔn)的。在另一情況中，顯示僅用來示出固定目標(biāo)，這并不比只使用靜態(tài)目標(biāo)改進(jìn)特征提取穩(wěn)健性、密度或覆蓋率。
[0047]進(jìn)行了使用活動(dòng)IXD監(jiān)視器目標(biāo)用于估計(jì)相機(jī)失真的中心的附加工作。在IXD上同時(shí)顯示兩個(gè)相交線。當(dāng)評(píng)估線的投影的線性度以估計(jì)圖像中的失真的中心時(shí)，此圖案由校準(zhǔn)算法移動(dòng)。在此情況中屏幕顯示目標(biāo)圖案的優(yōu)點(diǎn)是以物理地點(diǎn)中的小差異自動(dòng)地顯示大量刺激而不需要移動(dòng)相機(jī)或打印目標(biāo)的效率。不同于所公開的，特征分析另外地與對(duì)在視野中的許多地點(diǎn)顯示的打印目標(biāo)會(huì)做的一樣。
[0048]在另一情況中，IXD面板用來校準(zhǔn)集成圖像相機(jī)。對(duì)此情況，相機(jī)接連放置在兩個(gè)位置中。在每個(gè)相機(jī)位置，確定由每個(gè)相機(jī)像素指向的屏幕像素。校準(zhǔn)圖案包括20 ( 二十)個(gè)垂直和水平方波。線特征不在捕捉的圖像中定位。此方法要求校準(zhǔn)圖案的數(shù)量至少是相機(jī)像素?cái)?shù)量的以二為底數(shù)的對(duì)數(shù)。相反，本公開的一個(gè)實(shí)施例僅要求兩個(gè)校準(zhǔn)圖案。相反，所公開的一個(gè)實(shí)施例定位圖像中的線性圖像特征。
[0049]圖1是示出了相機(jī)功能的實(shí)施例的圖。在所示的示例中，三維世界場(chǎng)景100以與透視相機(jī)相同的方式被成像到圖像平面102上。在透視相機(jī)中，光以稱為光射線的直線從稱為投影中心的點(diǎn)行進(jìn)到世界點(diǎn)，與所述世界點(diǎn)的投影或圖像中的圖像平面相交。透視投影保留一些世界物理屬性，諸如對(duì)齊:不包括投影中心的3D線的圖像是圖像中的2D線。例如，透視相機(jī)如同世界場(chǎng)景100是從點(diǎn)104觀察的那樣生成圖像。
[0050]在許多計(jì)算機(jī)視覺或圖像分析算法中要求知道在與相機(jī)相關(guān)聯(lián)的引用框中相對(duì)應(yīng)于每個(gè)圖像像素的光射線的3D方向。當(dāng)此信息可用時(shí)，可以說有了經(jīng)校準(zhǔn)的相機(jī)。
[0051]圖2A示出了圖像在由計(jì)算機(jī)產(chǎn)生時(shí)的實(shí)施例:世界線顯示為曲線。在所示的示例中，相機(jī)是對(duì)透視相機(jī)的差劣近似。注意，墻邊緣和門邊緣顯示為曲線。例如，門邊緣200顯示為中間向右彎。
[0052]圖2B示出了由經(jīng)校準(zhǔn)的相機(jī)產(chǎn)生的校正圖像的實(shí)施例:世界線顯示為直線。在所示的實(shí)施例中，在知道由每個(gè)像素指向的3D方向的意義上相機(jī)是對(duì)透視相機(jī)的良好近似。例如，圖像的左和右邊分開了 80度。門邊緣202顯示為沒有彎曲的直邊緣。
[0053]在圖2A所示的示例中，示出了由相機(jī)生成的圖像:看到世界中的直線(例如窗口的最左邊)投影為曲線。因?yàn)橄鄼C(jī)是經(jīng)校準(zhǔn)的，所以知道每個(gè)像素射線的3D方向并可以校正圖像(例如將每個(gè)像素放回它在透視圖像中將占據(jù)的地方)，從而產(chǎn)生如圖2B所示的對(duì)透視投影圖像的良好近似。除了看上去更好之外，經(jīng)校正圖像及更一般地經(jīng)校準(zhǔn)的相機(jī)，是對(duì)許多強(qiáng)大的計(jì)算機(jī)視覺算法的要求。
[0054]例如，經(jīng)校準(zhǔn)的立體相機(jī)包括已經(jīng)校準(zhǔn)從而都生成透視圖像的左和右相機(jī)，并允許計(jì)算度量世界距離。
[0055]圖3A和3B是示出由經(jīng)校準(zhǔn)的立體相機(jī)產(chǎn)生的一對(duì)經(jīng)校正圖像的實(shí)施例的圖像。在所示的示例中，除了是透視相機(jī)的良好近似之外，在給定3D場(chǎng)景點(diǎn)的投影在立體對(duì)的左和右圖像中都位于相同高度(行)的意義上圖像對(duì)是虛擬對(duì)齊的。
[0056]在實(shí)踐中，校準(zhǔn)相機(jī)意味著估計(jì)表示相機(jī)的物理和光學(xué)屬性的值。稱為校準(zhǔn)參數(shù)的這些值通常是焦距、主點(diǎn)(principal point)、偏斜和透鏡失真參數(shù)。在立體相機(jī)的情況中，附加地估計(jì)左和右相機(jī)的相對(duì)3D位置和方向。
[0057]在一些實(shí)施例中，相機(jī)校準(zhǔn)參數(shù)是通過獲得校準(zhǔn)目標(biāo)的一個(gè)或多個(gè)圖像并找到與觀察一致的校準(zhǔn)參數(shù)來估計(jì)的。
[0058]校準(zhǔn)目標(biāo)是一物體，該物體在位于附連到物體的引用框中的已知3D位置上的表面上有圖案。為了實(shí)踐應(yīng)用，圖案必須是通過自動(dòng)圖像處理操作的方法可檢測(cè)的并可在校準(zhǔn)目標(biāo)的圖像中準(zhǔn)確地定位。在稱為點(diǎn)圖案的圖案的一些實(shí)施例中，存在唯一顯著3D點(diǎn)，稱為基準(zhǔn)點(diǎn)，其可被定位在圖案上?；鶞?zhǔn)點(diǎn)的投影可以在點(diǎn)圖案的圖像中唯一地定位。線圖案包括可以通過其唯一屬性在圖案上定位的唯一 3D線，例如在隆起圖案中有最大明亮度的線。3D線的圖像形成可以明確地在圖像中定位的曲線。校準(zhǔn)圖案的圖像通常稱為“校準(zhǔn)特征”或簡(jiǎn)稱為“圖像特征”。
[0059]具有已知物理地點(diǎn)的3D點(diǎn)通常稱為具有給定引用框中的已知坐標(biāo)的3D點(diǎn)。例如，引用框可以附連到顯示屏幕，其中坐標(biāo)原點(diǎn)位于屏幕的左上像素，且X軸沿屏幕的水平側(cè)向右指，且Y軸沿屏幕的垂直側(cè)向下指，且Z軸遠(yuǎn)離查看屏幕的人定向正交地指向屏幕表面。知道3D點(diǎn)在一個(gè)引用框中的坐標(biāo)并不意味著知道所述3D點(diǎn)在另一引用框中的坐標(biāo)。例如，知道3D點(diǎn)在附連到一個(gè)屏幕的引用框中的坐標(biāo)并不意味著知道所述3D點(diǎn)在附連到另一屏幕的框中的坐標(biāo)。
[0060]將校準(zhǔn)目標(biāo)上具有附連到校準(zhǔn)目標(biāo)的引用框中的已知坐標(biāo)并可以在校準(zhǔn)目標(biāo)的圖像中定位的任何3D點(diǎn)稱為“基準(zhǔn)點(diǎn)”。基準(zhǔn)點(diǎn)的典型應(yīng)用包括計(jì)算相機(jī)的一個(gè)或多個(gè)校準(zhǔn)參數(shù)和/或計(jì)算相機(jī)相關(guān)于校準(zhǔn)目標(biāo)的相對(duì)姿勢(shì)(即計(jì)算相機(jī)到目標(biāo)的變換)。
[0061]詞語“校準(zhǔn)圖案”通常用來指或者是顯示在校準(zhǔn)目標(biāo)的整個(gè)可見表面上的整個(gè)圖案，或者是投影到個(gè)體圖像特征中的較小的部分，諸如棋盤的個(gè)體2x2方格區(qū)域、個(gè)體圓盤、團(tuán)或隆起。本領(lǐng)域技術(shù)人員很容易基于上下文判斷詞語“校準(zhǔn)圖案”的意義。
[0062]通常，單個(gè)基準(zhǔn)點(diǎn)不足以估計(jì)一個(gè)或多個(gè)校準(zhǔn)參數(shù)。校準(zhǔn)相機(jī)所需要的基準(zhǔn)點(diǎn)的數(shù)量取決于許多因素，包括基準(zhǔn)(線或點(diǎn))的本質(zhì)、關(guān)于它們的3D配置(例如對(duì)齊、平面性)、關(guān)于它們相對(duì)相機(jī)的位置、關(guān)于使用的圖像的數(shù)量以及被確定的校準(zhǔn)參數(shù)。通常使用比理論上所需要的更多的基準(zhǔn)，因?yàn)楦嗟幕鶞?zhǔn)通常改進(jìn)校準(zhǔn)過程的準(zhǔn)確性。例如，當(dāng)使用平面校準(zhǔn)目標(biāo)來估計(jì)八個(gè)校準(zhǔn)參數(shù)時(shí)(X和Y焦距、主點(diǎn)的X和Y坐標(biāo)和在蔡氏校準(zhǔn)方法(Tsai ' s calibration method)中使用的四個(gè)失真參數(shù) k_0、k_l、k_2jP k_3),通常有超過一百個(gè)目標(biāo)上的基準(zhǔn)并要求數(shù)十個(gè)圖像。還例如，當(dāng)計(jì)算立體相機(jī)的22個(gè)參數(shù)時(shí)(每個(gè)相機(jī)八個(gè)參數(shù)，加上用來表示從一個(gè)相機(jī)到另一個(gè)的轉(zhuǎn)換向量的三個(gè)參數(shù)，和用來定義從一個(gè)相機(jī)到另一個(gè)的旋轉(zhuǎn)的三個(gè)其它參數(shù))，通常也使用超過一百個(gè)基準(zhǔn)并要求數(shù)十個(gè)圖像以提聞準(zhǔn)確性。
[0063]圖4是示出了校準(zhǔn)物體或目標(biāo)的實(shí)施例的圖像。在所示的示例中，目標(biāo)包括黑白方格的棋盤。四個(gè)方格相交的點(diǎn)可以用作基準(zhǔn)點(diǎn)。這些點(diǎn)的坐標(biāo)在附連到目標(biāo)的框中是已知的。
[0064]圖5是示出了棋盤基準(zhǔn)的實(shí)施例的圖像。在所示的示例中，圈起了兩個(gè)基準(zhǔn)點(diǎn)。因?yàn)槠灞P的形狀和維度是已知的，所以可以將3D坐標(biāo)分配給附連到目標(biāo)的框中的每個(gè)基準(zhǔn)點(diǎn)。例如，用實(shí)線圓標(biāo)記的交點(diǎn)(左)可以給予坐標(biāo)(0，0，0)，而用虛線圓標(biāo)記的交點(diǎn)(右)可以給予坐標(biāo)(0，W，0)，其中W是打印目標(biāo)上每個(gè)方格的寬度。目標(biāo)表面上的所有點(diǎn)都分配了等于0的Z坐標(biāo)。注意，為了將坐標(biāo)原點(diǎn)(0，0，0)明確地分配給一個(gè)特定基準(zhǔn)點(diǎn)，該點(diǎn)
必須能與其它點(diǎn)區(qū)分。在此示例中，左上交點(diǎn)因?yàn)槭俏?-個(gè)位于校準(zhǔn)目標(biāo)的左上角落中
的點(diǎn)而可明確地標(biāo)識(shí)。兩個(gè)校準(zhǔn)基準(zhǔn)可以自動(dòng)地位于圖像中并是已知3D點(diǎn)的投影。
[0065]圖6A示出了展示一些校準(zhǔn)圖案的實(shí)施例。在所示的示例中，第一行示出(水平的)線性圖案:從左到右是高對(duì)比帶(例如從黑到白的逐步轉(zhuǎn)換)、線和隆起圖案；第二行示出點(diǎn)圖案:棋盤(基準(zhǔn)點(diǎn)是四個(gè)方格的公共交點(diǎn))和三個(gè)圓形圖案:圓盤、圓點(diǎn)(極小的圓盤)和團(tuán)(光滑的堆)。圓形圖案的基準(zhǔn)點(diǎn)在圖案的中心。在各種實(shí)施例中，圖案包括高對(duì)比帶、圓盤、圓點(diǎn)圖案、線圖案、隆起圖案、交叉圖案、相交圖案、或任何其它合適的校準(zhǔn)圖案。
[0066]圖6B示出了展示從相機(jī)看到的圖6A中所展示的圖案的圖像的實(shí)施例。在所示的示例中，對(duì)于線性圖案，圖像特征可以在轉(zhuǎn)換點(diǎn)計(jì)算，例如在高對(duì)比帶圖像的黑和白之間，即沿梯度方向局部最大化梯度幅度的點(diǎn)。對(duì)于垂直隆起圖案，隆起特征是包含沿圖像的X軸所取的圖像強(qiáng)度的局部最大值的點(diǎn)的光滑的近似垂直的曲線。線性圖案的圖像一般是曲線狀的圖案。對(duì)于棋盤，相對(duì)應(yīng)的圖像特征是四個(gè)提取的線段相交處的點(diǎn)。對(duì)于圓盤和其它圓形圖案，特征通常是投影的圖案的中心處的圖像點(diǎn)。點(diǎn)圖案的圖像一般是點(diǎn)狀的圖像。
[0067]相機(jī)校準(zhǔn)過程的準(zhǔn)確性取決于定位圖像特征的準(zhǔn)確性。圖像中的線的投影可以使用相對(duì)容易的圖像處理步驟準(zhǔn)確地定位，但通常不使用，因?yàn)樗鼈儌鬟_(dá)比點(diǎn)圖案少的信息并因此要求捕捉更多的圖像。棋盤和圓形特征可以以良好的準(zhǔn)確性定位，但要求考慮圖像中每個(gè)圖像特征周圍的區(qū)域以得到良好的檢測(cè)和定位。這限制了特征可以離圖像的邊有多近，并且還限制圖像中特征的密度。
[0068]校準(zhǔn)目標(biāo)需要被準(zhǔn)確地物理表征。在校準(zhǔn)目標(biāo)是顯示屏幕的一些實(shí)施例中，顯示屏幕的制造商在屏幕的說明書中提供顯示區(qū)域的大小和像素間距。屏幕的度量寬度和高度以及以像素計(jì)的屏幕分辨率放在一起可以確定每個(gè)發(fā)光元件的位置。在一些實(shí)施例中，屏幕維度是直接測(cè)量的。例如，通`過顯示除了四個(gè)角落像素是白的以外全黑的圖案。然后每個(gè)角落可以容易地標(biāo)識(shí)，可以測(cè)量所有角落對(duì)之間的距離。可以采取多個(gè)測(cè)量以得到增加的準(zhǔn)確性。這些測(cè)量提供屏幕維度并允許驗(yàn)證顯示區(qū)域的矩形形狀。這假定了沿屏幕的行或列像素大小是恒定的(恒定的間距大小)。然后這些測(cè)量用來幫助確定屏幕上基準(zhǔn)點(diǎn)的3D位置，這進(jìn)而用來校準(zhǔn)相機(jī)。
[0069]圖7A和7B示出了多個(gè)校準(zhǔn)圖案的圖像的實(shí)施例。在所示的示例中，使用顯示屏幕來顯示目標(biāo)圖案有重要的優(yōu)點(diǎn)。如果相機(jī)和屏幕的相對(duì)地點(diǎn)是固定的，則兩個(gè)或更多校準(zhǔn)圖像可以以對(duì)彼此的精確相關(guān)和對(duì)相機(jī)的相同關(guān)系來顯示。例如，水平線圖案(例如隆起處的線700)可以顯示(例如圖7A)，隨之是垂直線圖案(例如圖7B中隆起處的線702)，在此情況中這些線(例如線704和706)的虛擬交點(diǎn)(例如708)是實(shí)際基準(zhǔn)點(diǎn)，這些實(shí)際基準(zhǔn)點(diǎn)在圖像中的投影用作對(duì)校準(zhǔn)算法的輸入。圖7A示出了在此圖像中定位的水平隆起和隆起曲線的圖像。曲線包括具有已知Y坐標(biāo)(且Z=O)的屏幕點(diǎn)的投影。圖7B示出了垂直隆起和相對(duì)應(yīng)的隆起曲線的圖像。曲線包括具有已知X坐標(biāo)(且Z=O)的屏幕點(diǎn)的投影。
[0070]圖7C是示出了包括圖7A和7B中示出的曲線的特征的虛擬合成的實(shí)施例的圖。在所示的示例中，這些曲線的交點(diǎn)是具有已知X、Y和Z坐標(biāo)(在附連到屏幕的坐標(biāo)系統(tǒng)中)的屏幕點(diǎn)的投影。
[0071]圖8示出了用于使用多個(gè)圖案計(jì)算特征地點(diǎn)的過程的實(shí)施例。在所示的示例中，為了提供具體示例，以下過程描述了怎樣通過將水平和垂直曲線的圖像投影相交以定位已知3D點(diǎn)的圖像投影。過程如下:
[0072]?以形成一組已知3D點(diǎn)的最大值，在屏幕上顯示一些水平隆起(800)，
[0073]?捕捉水平隆起的圖像(802)，
[0074]?在圖像中定位是水平隆起的最大值的投影的曲線(804)，
[0075]?以形成一組已知3D點(diǎn)的最大值，在屏幕上顯示一些垂直隆起(806)，
[0076]?捕捉垂直隆起的圖像(808)，
[0077]?在圖像中定位是隆起的最大值的投影的曲線(810)，
[0078]?找到804中檢測(cè)到的“水平”曲線和810中檢測(cè)到的“垂直”曲線的交點(diǎn)，從而產(chǎn)生是已知3D點(diǎn)的投影的一組2D點(diǎn)(812)，
[0079]此類型的過程允許有非常簡(jiǎn)單的要求非常小的局部圖像區(qū)域用于計(jì)算的圖像處理步驟的點(diǎn)特征的極端準(zhǔn)確的位置。
[0080]在所示的示例中，使用了直線隆起校準(zhǔn)圖案，但其它圖案，諸如逐步邊或線，無論是或不是直線，也可以用同樣的方式使用，并且其它校準(zhǔn)特征也可以從使用多個(gè)顯示圖像以檢測(cè)所使用的特征的精確地點(diǎn)的此技術(shù)受益。
[0081]相機(jī)校準(zhǔn)過程的準(zhǔn)確性取決于所使用的特征的數(shù)量——較密的特征增加準(zhǔn)確性。在校準(zhǔn)目標(biāo)上有盡可能多的特征是合乎期望的。然而在校準(zhǔn)目標(biāo)上特征不可以壓擠地太密集，因?yàn)樵趫D像中它們會(huì)顯得離彼此太近而得不到穩(wěn)健的定位。
[0082]當(dāng)使用顯示屏幕作為校準(zhǔn)目標(biāo)時(shí)，可以成倍增加特征的數(shù)量而不需要壓擠圖像中的特征。通過移位顯示屏幕中的校準(zhǔn)圖案P次而不移動(dòng)相機(jī)或屏幕，將特征的數(shù)量乘以P而不需要增加不同相機(jī)姿勢(shì)的數(shù)量。
[0083]公開了用于將特征的數(shù)量乘以VH (兩個(gè)自然數(shù)V和H的乘積)而將圖案的數(shù)量乘以V+H的過程。結(jié)果是，有效地獲得比用常規(guī)校準(zhǔn)目標(biāo)可以獲得的更高的密度和特征數(shù)量。
[0084]圖9A1、9A2、9A3、9A4、9B、9C和9D示出了在用于實(shí)現(xiàn)更密集特征的過程中獲得的特征的實(shí)施例。在所示的示例中，當(dāng)通過將水平和垂直曲線相交來定位特征時(shí)，如以上所解釋的，可以有效地產(chǎn)生大量的圖像特征:通過將垂直圖案移位V次(例如圖9A1、9A2、9A3和9A4)并將水平圖案移位H次，可以將特征的數(shù)量乘以VH。圖9B示出了從四個(gè)移位的線圖案獲得的垂直曲線。圖9C示出了從四個(gè)移位的線圖案獲得的水平曲線。圖9D示出了從圖9B和圖9C產(chǎn)生的線交點(diǎn)。通過將水平和垂直曲線的數(shù)量乘以四(V = H=4)，就將校準(zhǔn)特征的數(shù)量乘以16(VXH=16)。
[0085]圖10是示出了用于將特征數(shù)量乘以VH同時(shí)將圖案數(shù)量乘以V+H的過程的流程圖。在所示的示例中，垂直圖案顯示了 V次，然后在同一顯示上水平圖案顯示了 H次，并且標(biāo)識(shí)了垂直和水平特征的虛擬交點(diǎn)。方法包括:
[0086]?顯示包括C個(gè)線的垂直校準(zhǔn)圖案，捕捉圖案的圖像，并從圖像提取C個(gè)垂直曲線(1000)，
[0087]?將校準(zhǔn)圖案水平地移位(1002);例如對(duì)有水平周期性的圖案移位周期的I / V，
[0088]?判斷是否所有組都完成了(1004)。例如，通過檢查組計(jì)數(shù)器。一組包括顯示、捕捉和提取C個(gè)曲線(例如圖9A1、9A2、9A3或9A4)
[0089]?在沒有完成所有組的事件中，組計(jì)數(shù)器遞增(1006)并且控制傳給1000 ;在所有組都完成的事件中(圖9B)，控制傳給1008，
[0090]?顯示包括R個(gè)線的水平校準(zhǔn)圖案，捕捉圖像，并從圖像提取R個(gè)水平曲線(1008)，
[0091]?將校準(zhǔn)圖案垂直地移位(1010);例如對(duì)有垂直周期性的圖案移位周期的I / H，
[0092]?判斷是否所有組都完成了(1012)。例如，通過檢查組計(jì)數(shù)器。一組包括顯示、捕捉和提取R
[0093]?在沒有完成所有組的事件中，組計(jì)數(shù)器遞增(1014)并且控制傳給1008 ;在所有組都完成的事件中(圖9C)，控制傳給1016，
[0094]?將VC個(gè)垂直曲線(圖9B)和HR個(gè)水平曲線(圖9C)相交，從而產(chǎn)生如圖9D所示的VHRC個(gè)特征(1018)。
[0095]此方法使用一系列稀疏圖像生成非常密集的校準(zhǔn)特征組。
[0096]在一些實(shí)施例中，一系列目標(biāo)使用用來補(bǔ)償圖案強(qiáng)度中的變化的顯示來顯示。例如，通過固定的校準(zhǔn)目標(biāo)使用顯示屏幕上的活動(dòng)目標(biāo)的另一優(yōu)點(diǎn)是對(duì)相機(jī)漸暈效果和非各向同性的表面輻射度(取決于查看方向屏幕以不同的強(qiáng)度輻射)進(jìn)行補(bǔ)償?shù)哪芰?。例如，這可以通過捕捉有相同相機(jī)曝光參數(shù)的三個(gè)圖案而不移動(dòng)相機(jī)或屏幕來完成。頭兩個(gè)，黑色圖像(低輻射度)和白色圖像(高輻射度)，用來在圖像中建立屏幕地點(diǎn)，并且典型圖像強(qiáng)度在每個(gè)地點(diǎn)對(duì)準(zhǔn)(這是此屏幕、相機(jī)和曝光設(shè)置、和查看位置的功能)，這允許計(jì)算也被顯示的實(shí)際圖案圖像的歸一化圖像。
[0097]圖11是示出了用于捕捉歸一化校準(zhǔn)圖案圖像的過程的實(shí)施例的流程圖。在所示的示例中，為了捕捉校準(zhǔn)圖案的圖像，捕捉`了三個(gè)圖像，同時(shí)保持相機(jī)增益固定、相機(jī)和屏幕不移動(dòng)。從這些捕捉的圖像計(jì)算“歸一化”的圖像。
[0098]?當(dāng)整個(gè)屏幕設(shè)為不使相機(jī)飽和的高值時(shí)捕捉“白色”圖像(W) (1100)，
[0099]?當(dāng)整個(gè)屏幕設(shè)為使相機(jī)噪音水平不是過高的低值時(shí)捕捉“黑色”圖像(B)(1102);在每個(gè)像素地點(diǎn)X，灰度級(jí)值B (X)小于或等于W(X);在是屏幕的部分的投影的像素處小于W(X)且在大部分沒有受顯示影響的像素處等于或非常接近W(X)，[0100]?捕捉“圖案”圖像(T)，這是實(shí)際校準(zhǔn)圖案。在每個(gè)像素地點(diǎn)X，灰度級(jí)值T(X)在B(X)和 W(X)之間(1104)，
[0101]?計(jì)算歸一化圖像(N) (1106);例如，在每一個(gè)使得W(x)-B (X)很小的像素地點(diǎn)X假定X不對(duì)應(yīng)于屏幕的一部分。既然這些像素不是興趣所在，定義N(X)=O ;所有其它X是屏幕的部分的投影(除了在屏幕的反射可見處的數(shù)個(gè)像素)。定義N(X) = (T(X)-B(X)) /(W(x)-B(x)) ；N(x)的值一直在0和I之間。當(dāng)捕捉三個(gè)圖像時(shí)，相機(jī)的增益是固定的，使得屏幕在其最大亮度不使圖像的灰度級(jí)值飽和。
[0102]圖12A、12B、12C和12D是示出了白色、黑色、圖案和歸一化圖像的實(shí)施例的圖像。在所示的示例中，典型的白色三聯(lián)體(圖12A)、黑色三聯(lián)體(圖12B)和圖案圖像三聯(lián)體(圖12C)與產(chǎn)生的歸一化圖像(圖12D) —起示出。在此示例中，圖案包括垂直隆起。圖12A示出白色圖案的圖像。圖12B示出黑色圖案的圖像。圖12B只在由顯示屏幕覆蓋的圖像區(qū)域不同于圖12A。在由顯示屏幕覆蓋的圖像區(qū)域中，圖12A顯示亮色(例如有高灰度級(jí)值)，而圖12B顯示暗色(例如由低灰度級(jí)值)。圖12C示出垂直隆起圖案的圖像。它只在由顯示屏幕覆蓋的圖像區(qū)域不同于圖12A和12B。在由顯示屏幕覆蓋的圖像區(qū)域中，圖12C有15(十五)個(gè)近似垂直方向的隆起。每個(gè)隆起形成近似垂直方向的曲線。由于相機(jī)漸暈和由于非各向同性的屏幕表面輻射，沿曲線的像素灰度級(jí)不同。圖12D示出垂直隆起圖案的歸一化圖像(例如使用圖11的過程獲得)。圖12D有15個(gè)隆起。沿隆起的像素灰度級(jí)差異比圖12C中所示的圖像中小得多。沿隆起更統(tǒng)一的灰度級(jí)幫助用來定位隆起的圖像處理操作。圖12D中的隆起的地點(diǎn)與圖12C中的隆起的地點(diǎn)差不多相同。圖12D的歸一化圖像明顯比原始圖像有沿隆起更統(tǒng)一的亮度。
[0103]圖13A、13B、 13C和13D是示出了強(qiáng)度交叉區(qū)的實(shí)施例的圖。在所示的示例中，示出了從原始圖像的頂附近和中間(圖13A和圖13B)和從歸一化圖像的頂附近和中間(圖13C和圖13D)得到的圖像亮度交叉區(qū)。
[0104]降低了不統(tǒng)一的亮度的效果。圖13A中的曲線示出近交叉區(qū)中間的灰度級(jí)最大值高于交叉區(qū)右處的灰度級(jí)最大值；此同一峰值在圖13C中沒有發(fā)生。相關(guān)于圖13A中的那些曲線，沿隆起的最大值的級(jí)別明顯在降低，如從圖13B中曲線的較低最大值可見。此降低不對(duì)歸一化之后的交叉區(qū)發(fā)生，如通過比較圖13C和圖13D中的曲線可見。
[0105]由于圖案圖像的黑色和白色部分的亮度范圍更統(tǒng)一，可以使用較簡(jiǎn)單的圖像處理功能從歸一化的圖像提取特征。歸一化圖像的附加優(yōu)點(diǎn)在于不是顯示屏幕的一部分的區(qū)域可以容易地識(shí)別并從進(jìn)一步處理中忽略。在一些實(shí)施例中，隆起外的校準(zhǔn)圖案用作歸一化過程的一部分。
[0106]圖14是示出了校準(zhǔn)目標(biāo)的實(shí)施例的圖像。在所示的示例中，示出了達(dá)到良好覆蓋的棋盤校準(zhǔn)目標(biāo)的圖像。相機(jī)校準(zhǔn)的質(zhì)量部分地取決于能夠用校準(zhǔn)目標(biāo)填滿圖像的寬區(qū)域。注意，因?yàn)樾?zhǔn)目標(biāo)是重復(fù)性的，所以任何圖像特征都可以歸屬到坐標(biāo)原點(diǎn)。這對(duì)單個(gè)相機(jī)的校準(zhǔn)沒有負(fù)面的效果。
[0107]圖15A和15B是校準(zhǔn)目標(biāo)的實(shí)施例的一對(duì)圖像。此圖像對(duì)不適合用于校準(zhǔn)立體相機(jī)。出于校準(zhǔn)立體相機(jī)的目的，重復(fù)性校準(zhǔn)圖案將不適合，因?yàn)椴荒艽_定右圖像中的哪個(gè)特征對(duì)應(yīng)于左圖像中的給定特征:特征的從左到右對(duì)應(yīng)關(guān)系是模糊的。因此不能確定左和右相機(jī)的相對(duì)位置，而這是立體相機(jī)校準(zhǔn)中的要求。[0108]一個(gè)解決方案將是使(至少)一個(gè)目標(biāo)點(diǎn)可唯一地標(biāo)識(shí)，例如通過添加一個(gè)記號(hào)在上面。然而這將通過干擾校準(zhǔn)特征的定位而使整個(gè)過程變得復(fù)雜。
[0109]圖16A和16B是顯示在屏幕上的校準(zhǔn)圖案的實(shí)施例的一對(duì)圖像。如圖15A和15B中一樣，單從這些圖像不能確定左圖像中提取的特征和右圖像中提取的特征之間的對(duì)應(yīng)關(guān)系。然而，當(dāng)使用屏幕作為校準(zhǔn)物體時(shí)，解決方案是直接的:可以捕捉唯一可識(shí)別界標(biāo)的附加圖像。
[0110]圖16C和16D是可唯一識(shí)別界標(biāo)的實(shí)施例的一對(duì)圖像。當(dāng)相機(jī)和屏幕在和圖16A和B中相同的位置時(shí)捕捉了這些圖像。在此示例中，圖案是中心在也屬于隆起圖案之一的屏幕位置處的團(tuán)。落在圖16C中的團(tuán)1608上的圖16A中的左隆起特征1600是投影到落在圖16D中的團(tuán)1610上的圖16B中的右隆起特征1602的同一隆起圖案的圖像。然后這些左和右特征被輕易地以對(duì)應(yīng)關(guān)系放置。然后，從此對(duì)應(yīng)關(guān)系開始，可以以對(duì)應(yīng)關(guān)系放置1600右邊的特征1604和1602右邊的特征1606，并繼續(xù)類似地以對(duì)應(yīng)關(guān)系放置左和右圖像中的特征。
[0111]本領(lǐng)域技術(shù)人員將能夠?qū)⒋诉^程適應(yīng)到將水平特征或點(diǎn)特征以對(duì)應(yīng)關(guān)系放置。
[0112]圖17A、17B和17C是示出了用于基于團(tuán)的已知屏幕坐標(biāo)將屏幕坐標(biāo)歸屬于每個(gè)特征的過程的實(shí)施例的圖像。在所示的示例中，圖17A示出了特征和團(tuán)1700的圖像地點(diǎn)。圖17B示出了團(tuán)1702周圍的圖17A的特寫。圖17C示出了同一特寫，其中每個(gè)特征的屏幕坐標(biāo)寫在其它特征旁。這里，團(tuán)1704有屏幕坐標(biāo)出，10)。當(dāng)此過程在左和右圖像中執(zhí)行時(shí)，結(jié)果是歸屬相同屏幕坐標(biāo)的左和右圖像中的特征是同一屏幕特征的投影。因此此過程解決了左和右圖像之間的對(duì)應(yīng)關(guān)系問題。
[0113]在一些實(shí)施例中，使用多個(gè)平面目標(biāo)來創(chuàng)建3D校準(zhǔn)目標(biāo)。顯示屏幕是本質(zhì)上平面的，或2D的。然而，如果可以使用3D目標(biāo)時(shí)簡(jiǎn)化校準(zhǔn)過程中存在已知的優(yōu)點(diǎn)。首先，對(duì)3D目標(biāo)的單個(gè)查看是足夠的，而2D目標(biāo)必須從不同的角度和距離查看以得到準(zhǔn)確的校準(zhǔn)。定位相機(jī)一次對(duì)于制造是優(yōu)選的，因?yàn)楦觳?shí)現(xiàn)更簡(jiǎn)單的制造場(chǎng)地布局和工作流程。然而，傳統(tǒng)的固定3D校準(zhǔn)目標(biāo)通常要求極大的制造準(zhǔn)確性以達(dá)到所有目標(biāo)點(diǎn)的精確地點(diǎn)，從而導(dǎo)致高成本，檢測(cè)目標(biāo)特征對(duì)于3D目標(biāo)也可以是更困難的。
[0114]公開了使用兩個(gè)或更多平面目標(biāo)(顯示屏幕或打印目標(biāo))來創(chuàng)建不昂貴的3D校準(zhǔn)目標(biāo)。關(guān)鍵是用來一旦剛性地定位了平面目標(biāo)之后準(zhǔn)確地學(xué)習(xí)它們的相對(duì)位置的機(jī)制。然后使用目標(biāo)來顯示校準(zhǔn)圖案，如已經(jīng)描述的，校準(zhǔn)圖案啟用僅從相關(guān)于目標(biāo)的一個(gè)相機(jī)查看位置的準(zhǔn)確的相機(jī)校準(zhǔn)。以下描述在顯示屏幕的上下文中，但可以同樣地用于任何其它類型的平面目標(biāo)，或任何校準(zhǔn)目標(biāo)的組合。
[0115]在一些實(shí)施例中，用來使用多個(gè)平面目標(biāo)創(chuàng)建3D校準(zhǔn)目標(biāo)的裝置包括:1)兩個(gè)(或更多)顯示屏幕，其顯示位置或者通過由制造商提供的數(shù)據(jù)表，或者通過直接測(cè)量已知，2)可以控制顯示屏幕、控制相機(jī)并執(zhí)行計(jì)算的系統(tǒng)(例如計(jì)算機(jī))，以及3)設(shè)置校準(zhǔn)裝置所需要的至少一個(gè)相機(jī)。在一些實(shí)施例中，相機(jī)是經(jīng)校準(zhǔn)的且僅要求單個(gè)圖像。在一些實(shí)施例中，相機(jī)是未校準(zhǔn)的且要求兩個(gè)或更多圖像。屏幕以一種方式設(shè)置使得屏幕不是共平面的。相機(jī)可以放置使得屏幕(例如兩個(gè)屏幕)占據(jù)相機(jī)視野的大部分。
[0116]圖18是示出了有“頂”和“底屏幕”的設(shè)置的實(shí)施例的圖。在所示的示例中，矩形屏幕以對(duì)另一屏幕固定的相對(duì)位置放置。放置了相機(jī)以同時(shí)查看兩個(gè)屏幕。在一些實(shí)施例中，每個(gè)顯示屏幕是矩形的。在一些實(shí)施例中，屏幕的配置包括沿屏幕的邊對(duì)齊屏幕。此配置同時(shí)最大化可見的顯示屏幕區(qū)域(例如沒有浪費(fèi)屏幕區(qū)域)和由屏幕占據(jù)的圖像的量。在一些實(shí)施例中，屏幕形成30度和150度之間的角度。如果包含屏幕表面的平面形成的角度太大(例如鈍角)，則兩個(gè)屏幕將幾乎共平面并且將不會(huì)形成合適的3D校準(zhǔn)目標(biāo)。如果相反，包含屏幕的平面形成的角度太小(例如銳角)，則在由相機(jī)生成的圖像中透視效果可以使圖案的投影極大地失真。在一些實(shí)施例中，可以在校準(zhǔn)設(shè)置中使用多于兩個(gè)的屏幕。
[0117]每個(gè)校準(zhǔn)目標(biāo)上的基準(zhǔn)的坐標(biāo)在附連或關(guān)聯(lián)到目標(biāo)的引用框中是已知的。為了將兩個(gè)或更多剛性固定的校準(zhǔn)目標(biāo)用作單個(gè)校準(zhǔn)目標(biāo)，需要確定每個(gè)校準(zhǔn)目標(biāo)上的基準(zhǔn)在公共引用框中的坐標(biāo)。 [0118]一個(gè)框和另一框中的坐標(biāo)之間的關(guān)系或?qū)?yīng)關(guān)系通常是由3X3的旋轉(zhuǎn)矩陣R和3元轉(zhuǎn)換向量T定義的。有3元向量X1作為第一框中的坐標(biāo)的3D點(diǎn)有
[0119]X2=RX1+!
[0120]作為第二框中的坐標(biāo)。將X1映射到X2的函數(shù)通常稱為“由R和T定義的3D轉(zhuǎn)換”或“3D轉(zhuǎn)換R，T”。當(dāng)?shù)谝豢蚋竭B到屏幕且第二框附連到相機(jī)時(shí)，所述兩個(gè)框之間的3D轉(zhuǎn)換稱為屏幕到相機(jī)轉(zhuǎn)換。相反地，相機(jī)框和屏幕框之間的轉(zhuǎn)換稱為相機(jī)到屏幕轉(zhuǎn)換。類似地，定義了屏幕到屏幕和相機(jī)到相機(jī)轉(zhuǎn)換。當(dāng)框附連到物體時(shí)，可以說R和T定義了物體的相對(duì)姿勢(shì)。
[0121]當(dāng)3D點(diǎn)的坐標(biāo)在一個(gè)引用框中已知且該引用框和第二引用框中的坐標(biāo)之間的關(guān)系已知時(shí)，可以確定3D點(diǎn)在第二引用框中的坐標(biāo)。
[0122]當(dāng)3D點(diǎn)的坐標(biāo)在附連到一個(gè)屏幕的的框中已知，且附連到該屏幕的框中的坐標(biāo)和附連到第二屏幕的框中的坐標(biāo)之間的關(guān)系已知，且第二 3D點(diǎn)的坐標(biāo)在附連到第二屏幕的框中已知時(shí)，可以確定第一點(diǎn)在第二框中的坐標(biāo)和第二點(diǎn)在第二框中的坐標(biāo)。關(guān)于兩個(gè)點(diǎn)的坐標(biāo)和坐標(biāo)之間關(guān)系的知識(shí)允許確定兩個(gè)點(diǎn)在公共引用框中的坐標(biāo)。
[0123]在一些實(shí)施例中，公共引用框選擇為附連到相機(jī)的框。
[0124]圖19A是示出了用于確定兩個(gè)或更多校準(zhǔn)目標(biāo)上的基準(zhǔn)在相機(jī)框中的坐標(biāo)的過程的實(shí)施例的流程圖。在此過程中要求一個(gè)經(jīng)校準(zhǔn)的相機(jī)。以下使用了兩個(gè)屏幕；然而，如本領(lǐng)域技術(shù)人員能夠看到的，系統(tǒng)可以適應(yīng)為使用不同數(shù)量的屏幕。本領(lǐng)域技術(shù)人員將能夠容易地看到可以使用屏幕之外的校準(zhǔn)目標(biāo)。為了確定所有校準(zhǔn)目標(biāo)上的基準(zhǔn)點(diǎn)在相機(jī)框中的坐標(biāo):
[0125]?固定相機(jī)使得它有關(guān)于屏幕的良好視圖(1900)—例如兩個(gè)屏幕，
[0126]?當(dāng)屏幕在顯示圖案時(shí)用經(jīng)校準(zhǔn)的相機(jī)捕捉圖像并定位基準(zhǔn)的圖像投影(1902)，
[0127]?將對(duì)頂屏幕基準(zhǔn)提取的圖像地點(diǎn)輸入到姿勢(shì)估計(jì)算法中，從而產(chǎn)生相關(guān)于頂屏幕的相機(jī)姿勢(shì)的估計(jì)Rt、Tt (1904)，
[0128]?對(duì)頂屏幕上的任何基準(zhǔn)，根據(jù)頂屏幕框中的坐標(biāo)的3元向量XT，基準(zhǔn)在相機(jī)框中的坐標(biāo) Xc 由 Xc=RtXt+Tt 給出(1906)，
[0129]?將對(duì)底屏幕機(jī)制提取的圖像地點(diǎn)輸入到姿勢(shì)估計(jì)算法中，從而產(chǎn)生相關(guān)于底屏幕的相機(jī)姿勢(shì)的估計(jì)Rb、Tb (1908)，
[0130]?對(duì)底屏幕上的任何基準(zhǔn)點(diǎn)，根據(jù)底屏幕框中的坐標(biāo)的3元向量X' B，基準(zhǔn)在相機(jī)框中的坐標(biāo)X'。由)('C=RBX; B+TB給出(1910)。[0131]此過程產(chǎn)生校準(zhǔn)目標(biāo)上的基準(zhǔn)在相機(jī)框中的坐標(biāo)。
[0132]在一些實(shí)施例中，公共引用框選擇為不同于附連到相機(jī)的框。在一些實(shí)施例中，弓丨用框選擇為校準(zhǔn)目標(biāo)框之一，例如附連到頂屏幕的引用框。在一些其它實(shí)施例中，選擇引用框使得基準(zhǔn)組的重心有坐標(biāo)向量(0，0，0)。在一些實(shí)施例中，選擇引用框使得它的軸與屏幕之一的軸對(duì)齊。
[0133]在一些實(shí)施例中，存在更多的捕捉的圖像，和/或存在更多相機(jī)姿勢(shì)，從而產(chǎn)生更多數(shù)據(jù)。在一些實(shí)施例中，使用了不同的計(jì)算過程來確定基準(zhǔn)在公共引用框中的地點(diǎn)。在一些實(shí)施例中，基準(zhǔn)在公共引用框中的地點(diǎn)是最小平方估計(jì)過程的結(jié)果。
[0134]圖19B是示出了用于使用未校準(zhǔn)的相機(jī)確定兩個(gè)或更多屏幕上的基準(zhǔn)在公共引用框中的位置的過程的實(shí)施例的流程圖。以下使用了兩個(gè)屏幕；然而如本領(lǐng)域技術(shù)人員能夠看到的，系統(tǒng)可以適應(yīng)為使用不同數(shù)量的屏幕。本領(lǐng)域技術(shù)人員也將容易地看到可以使用屏幕之外的校準(zhǔn)目標(biāo)。在此過程中，只要求一個(gè)相機(jī)且此相機(jī)可以是未校準(zhǔn)的相機(jī)。為了確定所有屏幕上的基準(zhǔn)在公共引用框中的坐標(biāo):
[0135]?將相機(jī)固定在第一位置中使得它有關(guān)于屏幕一例如兩個(gè)屏幕一的良好視圖(1905)，
[0136]?當(dāng)屏幕在顯示圖案時(shí)捕捉圖像并定位圖像特征(1952)，
[0137]?將相機(jī)固定在不同于第一位置的第二位置中，使得它同樣有關(guān)于屏幕的良好視圖(1954)，
[0138]?當(dāng)屏幕在顯示圖案時(shí)捕捉圖像并定位圖像特征(1956)，
[0139]?在所有圖像中提取所有特征，這些特征是基準(zhǔn)點(diǎn)在屏幕上的投影。這產(chǎn)生四個(gè)特征組:兩個(gè)關(guān)于頂屏幕和兩個(gè)關(guān)于底屏幕(1958)，
[0140]?將圖像特征輸入到校準(zhǔn)算法中(1960)——例如，張算法。校準(zhǔn)算法的結(jié)果包括:
[0141]〇將頂屏幕框中的坐標(biāo)映射到第一相機(jī)框中的坐標(biāo)的3D轉(zhuǎn)換Rt、Tt。
[0142]〇將底屏幕框中的坐標(biāo)映射到第一相機(jī)框中的坐標(biāo)的3D轉(zhuǎn)換Rb、Tb。
[0143]?對(duì)頂屏幕上的任何基準(zhǔn)，根據(jù)頂屏幕框中的坐標(biāo)的3元向量Xt，所述基準(zhǔn)在相機(jī)框中的坐標(biāo)Xc由Xc=RtXt+Tt給出。(1962)，
[0144]?對(duì)底屏幕上的任何基準(zhǔn)，根據(jù)底屏幕框中的坐標(biāo)的3元向量X' B，基準(zhǔn)在相機(jī)框中的坐標(biāo)X'。由)('C=RBX; B+TB給出(1964)。
[0145]此過程的結(jié)果是校準(zhǔn)目標(biāo)上的基準(zhǔn)在附連到第一位置中的相機(jī)的框中的坐標(biāo)。
[0146]圖20A和20B是示出了標(biāo)識(shí)了圖像特征的實(shí)施例的圖像。在所示的示例中，顯示的圖像特征是“頂”屏幕(圖20A)和“底”屏幕(圖20B)上已知地點(diǎn)的投影。圖20A示出了在一個(gè)圖像中提取的關(guān)于頂屏幕的一組特征。圖20B示出了在一個(gè)圖像中提取的關(guān)于底屏幕的一組特征。
[0147]在一些實(shí)施例中，存在更多相機(jī)姿勢(shì)，和/或存在更多的捕捉的圖像，從而產(chǎn)生更多數(shù)據(jù)。在一些實(shí)施例中， 使用了其它計(jì)算過程來確定基準(zhǔn)在公共引用框中的地點(diǎn)。在一些實(shí)施例中，基準(zhǔn)在公共引用框中的地點(diǎn)是最小平方估計(jì)過程的結(jié)果。
[0148]在一些實(shí)施例中，對(duì)于兩個(gè)屏幕和一個(gè)相機(jī)的屏幕和相機(jī)之間的關(guān)系用來確定附連到第一屏幕的框中的坐標(biāo)和附連到第二屏幕的引用框中的坐標(biāo)之間的關(guān)系:相機(jī)相對(duì)于頂屏幕的位置由旋轉(zhuǎn)矩陣Rt和轉(zhuǎn)換向量Tt表示，而Rb和Tb表示相對(duì)于底屏幕的位置。使用此表示法，頂屏幕到底屏幕轉(zhuǎn)換可以由旋轉(zhuǎn)矩陣表示:
[0149]Rc=RttRb
[0150]和轉(zhuǎn)換向量
[0151]Tc=Rt1 (Tb-Tt)。 [0152]在一些實(shí)施例中，更準(zhǔn)確的估計(jì)是從例如從許多圖像和可能地許多相機(jī)姿勢(shì)中獲得的多個(gè)可用RT1、TT1、RBi和TBi (其中i是索引號(hào))中由R。和T。產(chǎn)生的。為了獲得R。和T。的更準(zhǔn)確的估計(jì)，使用了合適的平均過程:如果已經(jīng)使用之前的公式獲得了許多估計(jì)的Rei和Tei，則取矩陣R。為諸矩陣Rci的平均，定向正交地投影到諸旋轉(zhuǎn)矩陣Rei的空間上，即R。是對(duì)于由Frobenius范式定義的度量而言，最接近矩陣Rci的平均的旋轉(zhuǎn)矩陣。取轉(zhuǎn)換T。為可用Tcd的平均。
[0153]在各種實(shí)施例中。可以考慮其它過程，包括求解最小平方重投影問題，其中R。和T。顯示為優(yōu)化問題的參數(shù)并且底屏幕到頂屏幕轉(zhuǎn)換是由RBi=RTiRc和TBi=TTi+RTiTc定義的。以此方式，Rc和T。是直接從求解重投影問題的過程獲得的。
[0154]一旦計(jì)算了屏幕的相對(duì)位置，或一旦計(jì)算了屏幕上的基準(zhǔn)在公共引用框中的坐標(biāo)，一個(gè)或多個(gè)相機(jī)的校準(zhǔn)繼續(xù)進(jìn)行。
[0155]圖21是示出了用于使用裝置校準(zhǔn)相機(jī)的過程的實(shí)施例的流程圖。在所示的示例中，為了校準(zhǔn)(新)相機(jī)，執(zhí)行以下步驟:
[0156]?固定相機(jī)使得它有關(guān)于屏幕的良好視圖(2100)，
[0157]?當(dāng)屏幕在顯示圖案時(shí)捕捉圖像并定位圖像特征(2102)，
[0158]?通過使用圖像特征和相對(duì)應(yīng)基準(zhǔn)點(diǎn)的已知3D地點(diǎn)，校準(zhǔn)相機(jī)(2104)。
[0159]圖22是示出了一組非平面校準(zhǔn)基準(zhǔn)點(diǎn)的投影的實(shí)施例的圖。在此示例中，示出了當(dāng)相機(jī)和屏幕保持固定位置時(shí)來自頂和底屏幕的特征。
[0160]由于基準(zhǔn)點(diǎn)組是非平面的，因此知道基準(zhǔn)點(diǎn)和它們?cè)趩蝹€(gè)圖像中的投影(例如特征點(diǎn))足夠用來校準(zhǔn)相機(jī)。通過找到有單個(gè)視圖中的已知3D點(diǎn)的3D重投影問題的最小平方解來校準(zhǔn)相機(jī)。
[0161]公開了立體相機(jī)的校準(zhǔn)。立體相機(jī)是使用用來校準(zhǔn)單個(gè)相機(jī)的相同的三個(gè)步驟來校準(zhǔn)的:a)圖像過程獨(dú)立地在由兩個(gè)相機(jī)中的每一個(gè)所產(chǎn)生的圖像上執(zhí)行的，以及b)重投影問題是在左和右相機(jī)姿勢(shì)由固定剛性轉(zhuǎn)換聯(lián)系的約束下求解的。
[0162]圖23A和23B是示出了在立體相機(jī)的左和右相機(jī)中標(biāo)識(shí)的特征的實(shí)施例的圖像。在所示的示例中，這些特征用來校準(zhǔn)立體相機(jī)。用于相機(jī)校準(zhǔn)的相機(jī)模型定義了 3D點(diǎn)之間的關(guān)系，該關(guān)系由它在世界引用框(可能是相機(jī)框，或附連到另一物體的引用框)中的坐標(biāo)3元向量X和由它的像素坐標(biāo)2元向量X表示的它在相機(jī)中的2D投影圖像所表示。此關(guān)系由函數(shù)F表示:
[0163]x=F (X, R, T, fx, fy, cx, cy, k1； k2, k3, k4, k5),
[0164]其中R和T是3X3旋轉(zhuǎn)矩陣和表示世界到相機(jī)坐標(biāo)轉(zhuǎn)換的3元向量，fx、fy是相機(jī)的X和y軸焦距,cxcy是主點(diǎn)的像素坐標(biāo)且是kp…、k5表示透鏡失真的參數(shù)。這些參數(shù)在計(jì)算機(jī)視覺教科書中有詳細(xì)描述?？梢允褂眠@些校準(zhǔn)參數(shù)的變體。參數(shù)
k2、k3、k4、k5稱為相機(jī)的內(nèi)在參數(shù)。[0165]在以上公式中，X稱為X的圖像、投影或重投影，且X是X的預(yù)圖像(pre-1mage)。注意，給定的像素地點(diǎn)X通常有無窮的預(yù)圖像:從投影中心發(fā)出的給定半線(射線)上的所有點(diǎn)投影到同一 2D點(diǎn)。
[0166]公開了通過求解重投影問題的校準(zhǔn)。給定相機(jī)模型和一個(gè)或多個(gè)圖像中的一組3D點(diǎn)和2D觀察，通過找到相機(jī)位置和校準(zhǔn)參數(shù)從而根據(jù)相機(jī)模型點(diǎn)的重投影匹配給定的2D觀察來求解重投影問題。
[0167]在數(shù)學(xué)表示法中，用3元向量Xn(n屬于1、…、N，其中N是點(diǎn)的數(shù)量)來表示基準(zhǔn)點(diǎn)組。稱M為不同的相機(jī)位置的數(shù)量,其中xin(x + )是對(duì)于i屬于1、…、M,Xn在圖像i中的投影中圖像中的位置。注意，如果一些點(diǎn)對(duì)一些相機(jī)位置不可見，則相對(duì)應(yīng)的觀察Xin將缺失。
[0168]于是求解重投影問題意味著找到對(duì)于i屬于1、…、M的相機(jī)位置參數(shù)fx、fy、cx、C^HHk5和姿勢(shì)對(duì)xin可用的所有(i,n)對(duì)這些參數(shù)驗(yàn)證
[0169]Xin=F(Xn, Ri, Ti, fx, fy, cx, cy, k1； k2, k3, k4, k5)。
[0170]在此范式中，求解重投影問題意味著求解非線性方程組。
[0171]在實(shí)踐中，方程是冗余的(超約束的)并且觀察Xin是由測(cè)量噪音污染的，從而不存在準(zhǔn)確地求解上述方程的參數(shù)。因此，執(zhí)行對(duì)于近似地解這些方程的參數(shù)的搜素。最常見的是，方程組是在最小平方的意義上求解的:
[0172]I I Xin-F(Xn, Ri, Ti, fx, fy, cx, cy, k1； k2, k3, k4, k5) | |2
[0173]的總和在xin可用的所有(i，n)對(duì)上被最小化，其中I I ? I I表示2D向量的2D范式。于是重投影問題是優(yōu)化問題。應(yīng)注意，對(duì)重投影問題的最小平方解是在觀察值Xin中高斯錯(cuò)誤項(xiàng)獨(dú)立平均分布的假定下對(duì)校準(zhǔn)參數(shù)和相機(jī)姿勢(shì)的最大似然估計(jì)。
[0174]對(duì)此問題的解可以使用Levenberg-Marquardt算法、使用由張氏方法(Zhang’ smethod)提供的初始值來獲得。
[0175]給出對(duì)影響所估計(jì)的校準(zhǔn)的質(zhì)量的因素的概述是值得的:當(dāng)以下發(fā)生時(shí)最小平方估計(jì)器的準(zhǔn)確性增加
[0176]?觀察中的錯(cuò)誤減少。在一階近似中，估計(jì)器中的錯(cuò)誤(協(xié)方差)與觀察中的錯(cuò)誤(方差)成比例。因此準(zhǔn)確地定位特征是重要的。
[0177]?觀察的數(shù)量增加。這可以通過以下任一來進(jìn)行:
[0178]〇增加校準(zhǔn)目標(biāo)上的特征的數(shù)量，或
[0179]〇增加校準(zhǔn)圖像的數(shù)量。增加圖像的一個(gè)不利方面是每個(gè)附加的相機(jī)目標(biāo)位置增加6個(gè)估計(jì)的參數(shù)。
[0180]?校準(zhǔn)特征占據(jù)圖像中的寬區(qū)域。這對(duì)于準(zhǔn)確地透鏡失真建模特別重要。
[0181]當(dāng)校準(zhǔn)立體相機(jī)時(shí)，確定兩個(gè)相機(jī)的校準(zhǔn)參數(shù)以及聯(lián)系右和左相機(jī)的剛性轉(zhuǎn)換。感興趣的參數(shù)是:
[0182]籲左相機(jī)的校準(zhǔn)參數(shù)(上標(biāo)L和R分別表示左和右相機(jī)參數(shù))。
[0183]籲右相機(jī)的校準(zhǔn)參數(shù):fKx、fEy>cEx> cKy、kVkE2> k\、kK4、kE5,
[0184]?將右相機(jī)的坐標(biāo)系統(tǒng)聯(lián)系到左相機(jī)的坐標(biāo)系統(tǒng)的剛性轉(zhuǎn)換Rs、Ts。
[0185]如在單相機(jī)的情況中，這些參數(shù)通過使用諸組觀察到的基準(zhǔn)點(diǎn)的投影來估計(jì)。特征XinL(和以上一樣，對(duì)于一些(i，n)對(duì)，其中i屬于1、…、M，n屬于1、…、N)是從左相機(jī)產(chǎn)生的圖像提取且特征xinK從右相機(jī)產(chǎn)生的圖像提取。
[0186]注意，校準(zhǔn)立體相機(jī)的要求不同于獨(dú)立校準(zhǔn)兩個(gè)相機(jī)的要求:在后者中，基準(zhǔn)點(diǎn)的坐標(biāo)Xin1和XinK可以在不相關(guān)的坐標(biāo)系統(tǒng)中給定。然而這將不產(chǎn)生關(guān)于左和右相機(jī)的相對(duì)位置的信息。因此在立體相機(jī)的情況中一些3D點(diǎn)在左和右圖像中可見并在公共引用框中給定是必要的。 [0187]在最小平方的意義上求解重投影問題于是包括找到校準(zhǔn)參數(shù)、左相機(jī)位置R,、TiS和左到右轉(zhuǎn)換Rs、Ts，這最小化
[0188]I I xinL-F (Xn, RiS TiS fxL, fyL, cxL, cyL, k,，k2L, k3L, k4L, k5L | |2
[0189]和
[0190]I I xJmE-F (Xm，RstRj, Rst (Tj-Ts)，fxE, fyE, cyE, cyE, k^, k2E, k3E, k/，k5E) | |2 在所有 xinL 可用的(i，n)對(duì)和所有XjniK可用的(j，m)對(duì)上的總和。這里只估計(jì)了世界到左相機(jī)轉(zhuǎn)換R,、I?和右到左相機(jī)轉(zhuǎn)換RS、TS，因?yàn)槭澜绲接蚁鄼C(jī)轉(zhuǎn)換Rk=RstR^Tk=Rs1 (L-Ts)是根據(jù)前者明確定義的。
[0191]圖24是示出了用于確定一個(gè)或多個(gè)相機(jī)校準(zhǔn)參數(shù)的過程的實(shí)施例的流程圖。在所示的示例中，在2400，提供第一圖案以顯示在顯示屏幕上。在2402，從查看顯示屏幕的相機(jī)接收第一圖像。在2404，提供第二圖案以顯示在顯示屏幕上。在2406，從查看顯示屏幕的相機(jī)接收第二圖像。顯示屏幕和相機(jī)的相對(duì)位置與使用相機(jī)捕捉第一圖像時(shí)是相同的。在2408，至少部分地基于所計(jì)算的圖像地點(diǎn)確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)。在2410，至少部分地基于所確定的圖像地點(diǎn)確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)。
[0192]在一些實(shí)施例中，使用處理器執(zhí)行過程，其中耦合到處理器的存儲(chǔ)器被配置為向處理器提供指令。
[0193]圖25A和25B是示出了用于確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)的過程的實(shí)施例的流程圖。在所示的示例中，在2500中提供了第一物體，第一物體或者a)用三個(gè)或更多第一物體基準(zhǔn)點(diǎn)標(biāo)記或者b)能夠顯示三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn),其中三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)在與第一物體相關(guān)聯(lián)的第一引用框中具有已知的3D第一物體基準(zhǔn)點(diǎn)位置。在2502，提供了用三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)標(biāo)記或者能夠顯示三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)的第二物體，其中三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)在與第二物體相關(guān)聯(lián)的第二引用框中具有已知的3D第二物體基準(zhǔn)點(diǎn)位置。在2504，第一物體和第二物體放置在固定位置，使得3D第一物體基準(zhǔn)點(diǎn)位置和3D第二物體基準(zhǔn)點(diǎn)位置是非平面的。在2506，從查看第一物體和第二物體的第一相機(jī)接收一個(gè)或多個(gè)第一相機(jī)圖像。在2508，在一個(gè)或多個(gè)第一相機(jī)圖像的每一個(gè)中定位三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)的第一組投影。在2510，至少部分地基于第一組投影計(jì)算三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)在公共引用框中的3D位置組。在2512，從查看第一物體和第二物體的第二相機(jī)接收一個(gè)或多個(gè)第二相機(jī)圖像。在2514，在一個(gè)或多個(gè)第二相機(jī)圖像的每一個(gè)中定位三個(gè)或更多個(gè)第一物體基準(zhǔn)點(diǎn)和三個(gè)或更多個(gè)第二物體基準(zhǔn)點(diǎn)的第二組投影。在2516，至少部分地使用第二組投影和基準(zhǔn)點(diǎn)在公共引用框中的3D位置組計(jì)算第二相機(jī)的一個(gè)或多個(gè)校準(zhǔn)參數(shù)。
[0194]在一些實(shí)施例中，使用處理器執(zhí)行過程，其中耦合到處理器的存儲(chǔ)器被配置為向處理器提供指令。在各種實(shí)施例中，第一物體和第二物體是平面的、是計(jì)算機(jī)顯示屏幕、是IXD顯示器、是平面的并形成30和150度之間的角度(例如90度)、或第一物體和第二物體的任何其它合適的特性。在各種實(shí)施例中，第一物體基準(zhǔn)點(diǎn)或第二物體基準(zhǔn)點(diǎn)包括點(diǎn)、交叉、圓盤、交點(diǎn)(例如棋盤圖案的方格之間的交點(diǎn))或任何其它合適的基準(zhǔn)。
[0195]盡管出于理解清晰的目的用一些細(xì)節(jié)描述了之前的實(shí)施例，但本發(fā)明不限于所提供的細(xì)節(jié)。存在許多實(shí)現(xiàn)本發(fā)明的替換方式。所公開的實(shí)施例是說明性而不是限制性的。
【權(quán)利要求】
1.一種用于確定一個(gè)或多個(gè)相機(jī)校準(zhǔn)參數(shù)的系統(tǒng)，所述系統(tǒng)包括 處理器，所述處理器被配置為: 提供第一圖案以顯示在所述顯示屏幕上； 從查看所述顯示屏幕的相機(jī)接收第一圖像； 提供第二圖案以顯示在所述顯示屏幕上； 從查看所述顯示屏幕的所述相機(jī)接收第二圖像，其中所述顯示屏幕和所述相機(jī)的相對(duì)位置與在使用所述相機(jī)捕捉所述第一圖像時(shí)是相同的；以及 通過至少部分地使用在所述第一圖像中標(biāo)識(shí)的第一特征和在所述第二圖像中標(biāo)識(shí)的第二特征，確定是已知物理地點(diǎn)在所述顯示屏幕上的投影的圖像地點(diǎn)；以及至少部分地基于所確定的圖像地點(diǎn)確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)；以及耦合到處理器并被配置 為提供指令給所述處理器的存儲(chǔ)器。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述一個(gè)或多個(gè)校準(zhǔn)參數(shù)中的一個(gè)包括失真參數(shù)。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述一個(gè)和多個(gè)校準(zhǔn)參數(shù)中的一個(gè)包括主點(diǎn)。
4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述一個(gè)和多個(gè)校準(zhǔn)參數(shù)中的一個(gè)包括相機(jī)焦距。
5.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述確定的圖像地點(diǎn)是多個(gè)所確定的圖像地點(diǎn)中的一個(gè)。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述多個(gè)圖像地點(diǎn)中的每一個(gè)落在曲線上。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述多個(gè)圖像地點(diǎn)的每一個(gè)包括點(diǎn)網(wǎng)格的一部分。
8.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖案包括一組水平隆起且所述第一特征包括沿與所述水平隆起組中的一個(gè)水平隆起相對(duì)應(yīng)的第一圖像的一部分的一個(gè)或多個(gè)地點(diǎn)。
9.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第二圖案包括一組垂直隆起且所述第二特征包括沿與所述垂直隆起組中的一個(gè)垂直隆起相對(duì)應(yīng)的第二圖像的一部分的一個(gè)或多個(gè)地點(diǎn)。
10.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖案包括一組水平隆起且所述第一特征包括沿與所述水平隆起組中的一個(gè)水平隆起相對(duì)應(yīng)的第一圖像的一部分的一個(gè)或多個(gè)地點(diǎn)，且其中所述第二圖案包括一組垂直隆起且所述第二特征包括沿與所述垂直隆起組中的一個(gè)垂直隆起相對(duì)應(yīng)的第二圖像的一部分的一個(gè)或多個(gè)地點(diǎn)，且其中所述圖像地點(diǎn)包括與所述第一特征和所述第二特征的交點(diǎn)相關(guān)聯(lián)的點(diǎn)。
11.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖案包括第一曲線且所述第一特征包括與所述第一曲線相對(duì)應(yīng)的所述第一圖像中的一個(gè)或多個(gè)地點(diǎn)，且其中所述第二圖案包括第二曲線且所述第二特征包括與所述第二曲線相對(duì)應(yīng)的所述第二圖像中的一個(gè)或多個(gè)地點(diǎn)，且其中所述圖像地點(diǎn)包括與所述第一曲線和所述第二曲線的交點(diǎn)相關(guān)聯(lián)的點(diǎn)。
12.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖案或所述第二圖像包括高對(duì)比帶。
13.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖案或所述第二圖像包括圓盤。
14.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖案或所述第二圖像包括圓點(diǎn)圖案。
15.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖案或所述第二圖像包括線圖案。
16.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖案或所述第二圖像包括隆起圖案。
17.如權(quán)利要求1所述的系統(tǒng)，其特征在于，一個(gè)或多個(gè)附加顯示屏幕用來顯示附加圖案對(duì)，且其中所述已知位置的投影在所述附加顯示屏幕上的圖像地點(diǎn)被確定，且其中所述校準(zhǔn)參數(shù)部分地基于所述附加圖像地點(diǎn)來確定。
18.一種用于確定一個(gè)或多個(gè)相機(jī)校準(zhǔn)參數(shù)的方法，所述方法包括: 提供第一圖案以顯示在顯示屏幕上； 從查看所述顯示屏幕的相機(jī)接收第一圖像； 提供第二圖案以顯示在所述顯示屏幕上； 從查看所述顯示屏幕的所述相機(jī)接收第二圖像，其中所述顯示屏幕和所述相機(jī)的相對(duì)位置與在使用所述相機(jī)捕捉所述第一圖像時(shí)是相同的；以及 使用處理器通過至少部分地使用在所述第一圖像中標(biāo)識(shí)的第一特征和在所述第二圖像中標(biāo)識(shí)的第二特征，來確定是已知物理地點(diǎn)在所述顯示屏幕上的投影的圖像地點(diǎn)， 使用處理器至少部分地基于所確定的圖像地點(diǎn)確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)。
19.一種用于一個(gè)或多個(gè)相機(jī)校準(zhǔn)參數(shù)的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品體現(xiàn)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中并包括計(jì)算機(jī)指令以用于: 提供第一圖案以顯示在顯示屏幕上； 從查看所述顯示屏幕的相機(jī)接收第一圖像； 提供第二圖案以顯示在所述顯示屏幕上； 從查看所述顯示屏幕的所述相機(jī)接收第二圖像，其中所述顯示屏幕和所述相機(jī)的相對(duì)位置與在使用所述相機(jī)捕捉所述第一圖像時(shí)是相同的；以及 通過至少部分地使用在所述第一圖像中標(biāo)識(shí)的第一特征和在所述第二圖像中標(biāo)識(shí)的第二特征，來確定是已知物理地點(diǎn)在所述顯示屏幕上的投影的圖像地點(diǎn)， 至少部分地基于所確定的圖像地點(diǎn)確定一個(gè)或多個(gè)校準(zhǔn)參數(shù)。
【文檔編號(hào)】H04N17/00GK103597825SQ201280028772
【公開日】2014年2月19日 申請(qǐng)日期:2012年5月9日 優(yōu)先權(quán)日:2011年5月11日
【發(fā)明者】E·葛洛斯曼, J·I·伍德菲爾, G·G·戈登 申請(qǐng)人:英特爾公司