專(zhuān)利名稱(chēng)：三維成像中的人工痕跡消除的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維掃描，更具體地講，涉及有關(guān)處理三維數(shù)據(jù)偏差 中人工痕跡的技術(shù)。
2. 相關(guān)領(lǐng)域描述
三維成像的數(shù)據(jù)釆集通常包括人工痕跡，這些人工痕跡與(例如) 成像主體、環(huán)境條件以及用于數(shù)據(jù)采集的光學(xué)和電子系統(tǒng)的固有特性 有關(guān)。
普通校正技術(shù)可能通過(guò)直接測(cè)量已知靶標(biāo)，以及對(duì)成像系統(tǒng)的不 理想方面進(jìn)行數(shù)學(xué)建模來(lái)表征這些誤差。建模技術(shù)一個(gè)明顯的弊端是 它會(huì)造成特征化困難并可能無(wú)法找到成像人工痕跡的實(shí)際根源。相反， 強(qiáng)力校正可能耗費(fèi)大量時(shí)間，并且通常需要專(zhuān)業(yè)化的、靈敏的硬件平 臺(tái)。強(qiáng)力校正還會(huì)生成非常大的校正文件，對(duì)三維成像中使用的多維 數(shù)據(jù)集來(lái)說(shuō)更是如此。在這些現(xiàn)有可選技術(shù)中選擇哪一種，通常取決
于被校正系統(tǒng)的特性，并且往往迫使設(shè)計(jì)者做出一定程度的妥協(xié)。在 多孔裝置和具有一個(gè)以上光學(xué)通道的其它系統(tǒng)中，選擇合適的校正機(jī) 制可能會(huì)更加困難，原因是每個(gè)通道會(huì)具有影響校正的不同特性。仍然需要改進(jìn)校正技術(shù)，以適合具有一個(gè)以上光學(xué)通道的光學(xué)裝 置，諸如多孔成像系統(tǒng)。

發(fā)明內(nèi)容
通過(guò)使用基于模型的校正和査找表，根據(jù)(例如)X位移、y位 移和/或成像視差數(shù)據(jù)來(lái)分辨深度，可以改善三維成像系統(tǒng)的性能及其 校正。在實(shí)施例中，查找表存儲(chǔ)用于計(jì)算校正的結(jié)果的局部參數(shù)化數(shù) 據(jù)。


通過(guò)參考下列附圖可以理解本發(fā)明及其某些實(shí)施例的以下具體實(shí) 施方式。
圖1示出三維成像系統(tǒng)。
圖2示出三維成像系統(tǒng)的坐標(biāo)系。
圖3示出查找表的構(gòu)造方法及使用方法。
圖4示出校正方法的各個(gè)方面。
圖5示出校正方法的各個(gè)方面。
具體實(shí)施例方式
下面描述一種用于校正三維成像系統(tǒng)的技術(shù)。盡管查找表和校正 技術(shù)是結(jié)合某些使用視差信息復(fù)原深度的多孔系統(tǒng)來(lái)進(jìn)行描述的，但 應(yīng)當(dāng)理解的是，變化和可供選擇的實(shí)施例對(duì)于本領(lǐng)域的普通技術(shù)人員 來(lái)說(shuō)應(yīng)該是顯而易見(jiàn)的，并且從本意上說(shuō)屬于本公開(kāi)范圍之內(nèi)。例如， 系統(tǒng)可以使用時(shí)間、空間頻譜差值或任何其它標(biāo)準(zhǔn)，只要適合編制和 檢索在深度編碼和校正計(jì)算中使用的參數(shù)。
在下列描述中，術(shù)語(yǔ)"圖像"通常是指一組二維像素，該組二維 像素形成主體在成像平面內(nèi)的二維視圖。術(shù)語(yǔ)"圖像集"通常是指一組關(guān)聯(lián)的二維圖像，這組圖像能夠被轉(zhuǎn)化成三維數(shù)據(jù)。盡管并不一定， 圖像集通常包括主體的兩個(gè)或更多個(gè)圖像，這些圖像基本上是用不同 的攝像機(jī)或孔同時(shí)捕獲，或者是用相同的孔多次捕獲到的。術(shù)語(yǔ)"點(diǎn) 云"通常是指一組形成主體三維視圖的三維點(diǎn)，主體由大量二維視圖 重構(gòu)而成。在三維圖像捕獲系統(tǒng)中，也可以記錄大量這類(lèi)點(diǎn)云并將其 合并到移動(dòng)攝像機(jī)(或移動(dòng)主體)捕獲的圖像所構(gòu)成的點(diǎn)云聚集體中。 因此，應(yīng)當(dāng)理解，除非具體指明或從上下文可以清楚地看出，像素通 常是指二維數(shù)據(jù)，點(diǎn)通常是指三維數(shù)據(jù)。
圖1示出圖像捕獲系統(tǒng)。通常，系統(tǒng)100可以包括掃描器102，
該掃描器用于在視場(chǎng)106范圍內(nèi)捕獲主體104的圖像并將圖像發(fā)送 到計(jì)算機(jī)108，該計(jì)算機(jī)可以包括顯示器110和一個(gè)或多個(gè)用戶(hù)輸入 裝置，諸如鼠標(biāo)112或鍵盤(pán)114。
掃描器102可以包括任何攝像機(jī)或攝像機(jī)系統(tǒng)，只要適合捕獲可 恢復(fù)為三維點(diǎn)云的圖像。例如，攝像機(jī)102可以釆用例如美國(guó)專(zhuān)利公 開(kāi)No. 20040155975 (Hart等人)中所描述的多孔系統(tǒng)，該專(zhuān)利全文 以引用方式并入本文。雖然Hart公開(kāi)的是一種多孔系統(tǒng)，但應(yīng)當(dāng)理解， 同樣也可以采用適合用大量二維圖像重構(gòu)出三維點(diǎn)云的任何多孔、多 光瞳、多攝像機(jī)或其它多通道光學(xué)系統(tǒng)。在一個(gè)多孔實(shí)施例中，掃描 器102可以包括多個(gè)孔隙，這些孔隙包括沿透鏡中心光軸布置的中心 孔和任何相關(guān)的成像硬件。掃描器102也可以(或代替)包括立體式、 三鏡頭等多鏡頭攝像機(jī)或其它構(gòu)造，其中多個(gè)攝像機(jī)或光路彼此之間 保持固定關(guān)系，以便從多個(gè)略微不同的視角中獲得物體的二維圖像。 掃描器102可以包括合適的處理系統(tǒng)，以便從一個(gè)或多個(gè)圖像集得出 三維點(diǎn)云，或者也可以將每張二維圖像集傳輸?shù)酵獠刻幚砥?，諸如下 文所述計(jì)算機(jī)108。在其它實(shí)施例中，掃描器102可以采用結(jié)構(gòu)化光、 激光掃描、直接測(cè)距或其它任何技術(shù)，只要適于采集三維數(shù)據(jù)或者適 于采集可以轉(zhuǎn)化為三維數(shù)據(jù)的二維數(shù)據(jù)。在一個(gè)實(shí)施例中，掃描器102 是可自由定位的手持探針，該探針具有至少一個(gè)用戶(hù)輸入裝置(諸如按鈕、操縱桿、撥號(hào)盤(pán)、拇指輪或開(kāi)關(guān)等)，以便使用者對(duì)圖像捕獲 系統(tǒng)100開(kāi)始掃描或停止掃描等操作進(jìn)行控制。
盡管圖1中沒(méi)有示出，但應(yīng)當(dāng)理解，圖像捕獲過(guò)程中采用多個(gè)輔 助照明系統(tǒng)可能是有益的。例如，可以用照亮主體104的一個(gè)或多個(gè) 聚光燈、環(huán)形燈或同軸光源來(lái)增強(qiáng)環(huán)境亮度，加快圖像采集速度和增
大視場(chǎng)深度(或空間分辨深度)。掃描器102也可以(或取而代之)
包括頻閃觀測(cè)器、閃光燈或其它光源，以便在圖像釆集過(guò)程中為主體
104提供輔助照明或不同光譜帶的照明。
主體104可以是任何物體、物體的集合、物體的一部分或其它物 質(zhì)主體。盡管圖1中是以簡(jiǎn)單的幾何形式示出，主體104可以包括 復(fù)雜得多的表面以及任意數(shù)量的獨(dú)立元件。例如，在牙科成像應(yīng)用中， 主體104可以包括牙齒、牙齒象限或一整套牙齒，其中包括可獲得所 需虛擬牙印的相對(duì)兩個(gè)圓弧。主體104也可以(或取而代之)包括假 牙，諸如鑲嵌物、牙冠或任何其它假牙、植入物等。主體104可以包 括牙齒模型，諸如牙齒、軟組織或其一些組合的石膏模型、蠟型、印 ?；蜿幠?。在某些情況下，可以在主體104的表面施加光學(xué)或紋理成 像劑，改善三維點(diǎn)的捕獲效果。在其它實(shí)施例中，主體104可以是人 頭部或其一部分，用來(lái)形成自定義擬合助聽(tīng)器、眼鏡、護(hù)目鏡等所需 的三維模型。在其它實(shí)施例中，主體104可以是用于數(shù)碼動(dòng)畫(huà)物體的 物理模型，諸如用于三維數(shù)碼動(dòng)畫(huà)處理的物理縮微模型。由前面的例 子可以明顯看出，釆用本文所述技術(shù)的系統(tǒng)適合于各種廣泛的應(yīng)用， 可用于距離相對(duì)較短、分辨率較高的三維圖像采集。然而，本領(lǐng)域的 技術(shù)人員將會(huì)知道可對(duì)圖像捕獲系統(tǒng)100進(jìn)行適當(dāng)?shù)母淖?，使其適 用于基于多孔或多攝像機(jī)系統(tǒng)以及其它三維成像系統(tǒng)和技術(shù)的多種其 它三維成像應(yīng)用，并且所有這些變形本質(zhì)上都在本公開(kāi)范疇之內(nèi)。
視場(chǎng)106可以包括攝像機(jī)102的二維視場(chǎng)。應(yīng)當(dāng)理解，本文所 用術(shù)語(yǔ)"視場(chǎng)"是指成像環(huán)境中的平面，而不是指用于捕獲圖像的光學(xué)傳感器(諸如膠片或傳感器)內(nèi)部的平面。雖然視場(chǎng)106以矩形示 出，但它可以(例如)形成正方形、圓形或可由掃描器102產(chǎn)生的任
何其它幾何形狀。 一般來(lái)講，掃描器102將具有一定的視場(chǎng)深度或深 度分辨率范圍，該視場(chǎng)深度或深度分辨率范圍與視場(chǎng)106 —起限定了 掃描器102的測(cè)量體積。視場(chǎng)深度可能隨諸如環(huán)境光線(xiàn)之類(lèi)的環(huán)境條 件而變化。
計(jì)算機(jī)108可以是(例如)個(gè)人計(jì)算機(jī)或其它處理裝置。在一個(gè) 實(shí)施例中，計(jì)算機(jī)108包括一臺(tái)個(gè)人計(jì)算機(jī)，配有2.8GHzOpteron中 央處理器、2G內(nèi)存、TY AN Thunder K8WE主板和250G的10,000 rpm硬盤(pán)。該系統(tǒng)可以使用本文所述的技術(shù)運(yùn)行，每個(gè)圖像集實(shí)時(shí)捕 獲大約1，500點(diǎn)，并且可以保存超過(guò)一百萬(wàn)個(gè)點(diǎn)組成的聚集點(diǎn)云。在 其它實(shí)施例中使用可商購(gòu)獲得的性能更高的硬件，每個(gè)圖像集可以實(shí) 時(shí)捕獲大約3,000點(diǎn)。具體實(shí)施例中每個(gè)圖像的點(diǎn)數(shù)可能取決于多種 因素，其中包括傳感器和其它成像硬件的密度和構(gòu)造。更為普遍地， 計(jì)算機(jī)108的處理能力會(huì)隨著主體104的大小、圖像采集的速度和 所需的三維點(diǎn)空間分辨率而變化。計(jì)算機(jī)108還可能包括外圍設(shè)備 (諸如鍵盤(pán)114、顯示器110和鼠標(biāo)112)，以利于使用者與攝像機(jī) 系統(tǒng)100的交互。顯示器110可以是觸摸屏顯示器，使用者可以通 過(guò)直接物理接觸顯示器110來(lái)進(jìn)行輸入。
計(jì)算機(jī)108和掃描器102之間可使用任何合適的通信連接方式 建立通信，這些通信連接方式包括有線(xiàn)連接或無(wú)線(xiàn)連接，例如任何基 于IEEE 802.il (也稱(chēng)為無(wú)線(xiàn)以太網(wǎng))、藍(lán)牙或任何其它合適的無(wú)線(xiàn)標(biāo) 準(zhǔn)(例如使用射頻、紅外或其它無(wú)線(xiàn)通信介質(zhì))的無(wú)線(xiàn)連接。在醫(yī)學(xué) 成像或其它敏感應(yīng)用中，使用無(wú)線(xiàn)手段可以將圖像從掃描器102安全 地傳輸?shù)接?jì)算機(jī)108。計(jì)算機(jī)108可以產(chǎn)生對(duì)掃描器102的控制信 號(hào)，除了圖像采集命令外，這些信號(hào)還可包括聚焦或變焦等常規(guī)攝像 機(jī)控制。在三維圖像捕獲系統(tǒng)100的普通操作實(shí)例中，掃描器102可以 在經(jīng)過(guò)主體表面上方時(shí)采集二維圖像集。該二維圖像集可以被傳送到
計(jì)算機(jī)108以得到三維點(diǎn)云。通過(guò)采用多種不同技術(shù)，可以得到每個(gè) 新采集的二維圖像集的三維數(shù)據(jù)，并可將該三維數(shù)據(jù)與現(xiàn)有三維數(shù)據(jù) 進(jìn)行擬合。這類(lèi)技術(shù)的一個(gè)可用實(shí)例在共同擁有的美國(guó)專(zhuān)利申請(qǐng)No. 11/270,135中有所描述，該申請(qǐng)?zhí)峤挥?005年11月9日，并且全 部?jī)?nèi)容以引用方式并入本文中。然而，應(yīng)當(dāng)理解，本實(shí)例不是限制性， 并且本文所述原理可以廣泛應(yīng)用于各種三維圖像捕獲系統(tǒng)中。
圖2示出多孔成像系統(tǒng)(諸如上述系統(tǒng))的坐標(biāo)系。應(yīng)當(dāng)理解， 如本文所用，術(shù)語(yǔ)多孔本意是指具有兩個(gè)或更多個(gè)小孔(或光瞳等) 的單個(gè)攝像機(jī)，或諸如在立體成像中使用的兩個(gè)或更多個(gè)單孔攝像機(jī)， 或這些攝像機(jī)的一些組合。 一般來(lái)講，在攝像機(jī)206的視場(chǎng)204內(nèi) 的物體202具有世界坐標(biāo)(U^ZJ、攝像機(jī)坐標(biāo)和圖 像集坐標(biāo)fc.,乂，么(x,.，少,.》(i =視場(chǎng)204的處理網(wǎng)格內(nèi)的1到N個(gè) 點(diǎn)或像素)，其中在是包含一個(gè)或多個(gè)視差值的視差矢量，這些視差 值表征對(duì)于多個(gè)小孔的視場(chǎng)204內(nèi)的點(diǎn)的位移。該視差矢量可以用 (例如)與攝像機(jī)206的中心通道(如果有的話(huà))的相對(duì)位移來(lái)表示。 一般來(lái)講，視差矢量用于對(duì)深度進(jìn)行編碼，而在其它三維成像系統(tǒng)中， 該視差矢量可以替換成一個(gè)或多個(gè)用于對(duì)深度進(jìn)行編碼的其它測(cè)量 值。因此，諸如視差矢量、視差值和視差數(shù)據(jù)之類(lèi)的術(shù)語(yǔ)應(yīng)當(dāng)被廣泛 地理解為包括由系統(tǒng)測(cè)得的任何一個(gè)或多個(gè)標(biāo)量和/或矢量數(shù)值，用于 對(duì)深度信息進(jìn)行編碼。
在常規(guī)校正中，通過(guò)旋轉(zhuǎn)和/或平移可以使世界坐標(biāo)與未校正的圖 像集坐標(biāo)相關(guān)聯(lián)，這類(lèi)旋轉(zhuǎn)和/或平移操作可以用一連串帶有硬件夾具 的校正測(cè)量裝置進(jìn)行特征化。在捕獲圖像集坐標(biāo)時(shí)，可以使用校正床 (或類(lèi)似硬件)使靶標(biāo)(諸如具有圖案的平面靶標(biāo))穿過(guò)多個(gè)己知位 置和/或相對(duì)于攝像機(jī)206旋轉(zhuǎn)。許多模型都可以用來(lái)將圖像集坐標(biāo)數(shù) 據(jù)與攝像機(jī)坐標(biāo)關(guān)聯(lián)。同樣，如果校正靶的位置已知，并且該靶標(biāo)具有一個(gè)或多個(gè)可識(shí)別的特征，則可以直接將測(cè)量體積內(nèi)的點(diǎn)對(duì)射變換 為世界坐標(biāo)內(nèi)的Iw、 &和Zw值。這類(lèi)校正的總體目標(biāo)是為了有效
測(cè)定從攝像機(jī)206到主體202上的點(diǎn)的真實(shí)距離，或者為了測(cè)定主
體上點(diǎn)的世界坐標(biāo)或攝像機(jī)坐標(biāo)。
圖3表示査找表的構(gòu)造方法及使用方法。概括地講，圖像數(shù)據(jù)是 在初始校正(如步驟301所示)過(guò)程中經(jīng)多個(gè)校正循環(huán)從已知靶標(biāo)中 進(jìn)行采集。在后續(xù)工序302中可以對(duì)上述校正加以修正，并可以使用 圖像結(jié)果(例如，來(lái)自?huà)呙杵鞯臄?shù)據(jù)和/或由該數(shù)據(jù)衍生的視差數(shù)據(jù)， 或?qū)ι疃刃畔⑦M(jìn)行編碼的其它數(shù)據(jù))和可得自校正系統(tǒng)的真實(shí)位置數(shù) 據(jù)(例如，已知靶標(biāo)位置和/或取向，或點(diǎn)到相機(jī)的已知距離) 一起對(duì) 修正結(jié)果進(jìn)行參數(shù)化(如步驟304所示)。來(lái)自校正系統(tǒng)的真實(shí)位置 數(shù)據(jù)可以包括得自校正夾具的位置數(shù)據(jù)，或在一個(gè)或多個(gè)校正循環(huán)中 通過(guò)處理靶標(biāo)而獲得的位置數(shù)據(jù)，或者這些位置數(shù)據(jù)的組合。參數(shù)化 結(jié)果可以用來(lái)構(gòu)造查找表，如步驟305所示。最后，可以使用查找表 從圖像捕獲系統(tǒng)所捕獲的二維圖像推導(dǎo)出三維數(shù)據(jù)，如步驟309所 示。 一般來(lái)講，該方法的目標(biāo)是為了獲得真實(shí)的三維數(shù)據(jù)結(jié)果，該目 標(biāo)可以很容易實(shí)現(xiàn)，例如形成通過(guò)使用查找表獲得校正的實(shí)時(shí)三維結(jié) 果的體系。
現(xiàn)在對(duì)步驟301校正數(shù)據(jù)的初步采集進(jìn)行詳細(xì)說(shuō)明?？梢允褂檬?控制的校正床進(jìn)行對(duì)已知靶標(biāo)的數(shù)據(jù)采集，該校正床在每個(gè)校正循環(huán) 使靶標(biāo)向儀器移動(dòng)預(yù)定的距離。例如，校正床在每個(gè)校正循環(huán)使靶標(biāo) 向儀器移動(dòng)25微米。在每個(gè)距離處，都可以獲得相應(yīng)的圖像集坐標(biāo)。 攝像機(jī)206可以包括中心孔，在這種情況下，可以使用校正測(cè)量裝置 捕獲非本質(zhì)的攝像機(jī)參數(shù)，即，收集到的點(diǎn)集從世界坐標(biāo)到攝像機(jī)坐 標(biāo)的旋轉(zhuǎn)和平移。更為普遍地是，多孔數(shù)據(jù)可以表示為每個(gè)傳感器的 坐標(biāo)系內(nèi)的x和y坐標(biāo)以及視差矢量，視差矢量表征對(duì)于不同小孔， 點(diǎn)到參照系(例如，中心孔)中相應(yīng)點(diǎn)的位移。校正可以在參照系上 進(jìn)行(例如從中心通道或中心孔開(kāi)始)，所得的査找表用來(lái)將視差數(shù)據(jù)轉(zhuǎn)換成X、 Y和Z坐標(biāo)。
可以使用多種可用的靶標(biāo)。例如，可以使用棋盤(pán)或其它靶標(biāo)。一 般來(lái)講，對(duì)成像系統(tǒng)進(jìn)行校正最好使用具有獨(dú)特的中心特征或其它框 標(biāo)的耙標(biāo)。也可以使用無(wú)規(guī)圖形來(lái)辨別圖像視差場(chǎng)。也可以使用混合 靶標(biāo)，該靶標(biāo)包括多個(gè)框標(biāo)(例如，均勻分布在矩形網(wǎng)格上的九個(gè)點(diǎn))， 以及這些框標(biāo)之間的無(wú)規(guī)圖形。這樣可以構(gòu)造查找表，使其與其它攝 像機(jī)校正一起來(lái)解釋如何處理圖像處理算法(諸如基于區(qū)域的算法， 而非基于點(diǎn)的算法)的人工痕跡。這樣的靶標(biāo)可以(例如)允許在中 心圖像與周邊圖像之間以及周邊圖像與周邊圖像之間進(jìn)行對(duì)射變換。 例如，可以使用已知的框標(biāo)構(gòu)造在攝像機(jī)坐標(biāo)系內(nèi)復(fù)原靶標(biāo)位置(諸 如從中心通道圖像開(kāi)始)，并且可以使用無(wú)規(guī)圖形來(lái)復(fù)原使用周邊通 道圖像的平面點(diǎn)?？梢詾樗謴?fù)的平面點(diǎn)擬合垂直平面，使該點(diǎn)到擬 合平面的垂直距離可以度量成像系統(tǒng)中的噪聲，如因視差估計(jì)及查找 表等所產(chǎn)生的噪聲。雖然下文將對(duì)査找表的驗(yàn)證進(jìn)行詳細(xì)討論，但此 處應(yīng)當(dāng)指出的是，框標(biāo)確定的平面和通過(guò)對(duì)混合靶標(biāo)的無(wú)規(guī)元素應(yīng)用 查找表系統(tǒng)而確定的平面之間可能存在差別，利用該差別可以確認(rèn)或 驗(yàn)證根據(jù)本文所述系統(tǒng)和方法創(chuàng)建的具體的査找表。
使用框標(biāo)范圍內(nèi)的多個(gè)無(wú)規(guī)圖形還有助于計(jì)算總平均視差，以減
少校正過(guò)程中的RMS噪聲。在一個(gè)實(shí)施例中，可以將諸如無(wú)規(guī)噪聲
和/或框標(biāo)的耙標(biāo)圖形投影到耙標(biāo)上，例如用數(shù)碼數(shù)據(jù)投影機(jī)背投到全 息擴(kuò)散片上，以便在一個(gè)或多個(gè)校正循環(huán)內(nèi)使用不同的圖形。
在一個(gè)方面，可以使用任意平面或三維校正靶位置和取向進(jìn)行第 一校正。該第一步驟可以采用標(biāo)準(zhǔn)技術(shù)進(jìn)行，用于在不復(fù)原隨深度變 化項(xiàng)的情況下進(jìn)行校正。
如步驟302所示，可以對(duì)該校正進(jìn)行改進(jìn)。第二校正可以使用具 有任意未知取向和在任意未知方向上具有已知步增量(例如，200微米)的一系列平面校正靶。假設(shè)靶標(biāo)平行運(yùn)動(dòng)，且對(duì)應(yīng)的校正硬件提 供基本上平行的靶標(biāo)運(yùn)動(dòng)，可以通過(guò)第二步校正來(lái)復(fù)原含有隨深度變 化項(xiàng)的二維幾何失真模型。此外，該步校正可用來(lái)復(fù)原耙標(biāo)取向和運(yùn) 動(dòng)，這將有利于放寬對(duì)相應(yīng)校正硬件的限制。這種校正技術(shù)可有效應(yīng) 用于任何光學(xué)系統(tǒng)，只要該光學(xué)系統(tǒng)具有至少一個(gè)經(jīng)過(guò)良好表征的光 學(xué)通道(例如，上述中心通道)，也就是說(shuō)，通道與一個(gè)或多個(gè)適于 參數(shù)化的已知失真模型貼合。
通常，用于創(chuàng)建查找表的校正循環(huán)將使用處于系統(tǒng)的理想分辨率 或其附近的Z增量對(duì)整個(gè)測(cè)量體積進(jìn)行取樣。然而，當(dāng)視差與深度之 間存在緊密約束關(guān)系(例如由基于散焦的已知幾何公式?jīng)Q定的關(guān)系) 時(shí)，在用已知函數(shù)擬合視差和深度點(diǎn)之后可以構(gòu)建具有等距視差值的 密集查找表。因此，本文在一個(gè)方面公開(kāi)了一項(xiàng)技術(shù)，該技術(shù)用于推 導(dǎo)密集的查找表，以便使用用于成像裝置的己知幾何散焦獲得校正的 距離量度。假設(shè)視差與深度之間存在緊密的約束關(guān)系，并且該關(guān)系由 基于散焦的給定幾何公式?jīng)Q定，則在使用上述技術(shù)對(duì)視差和深度點(diǎn)進(jìn) 行良好擬合之后，可以使用等距視差值以解析的方式構(gòu)建密集査找表。 反之，可以以較低的分辨率對(duì)基于査找表的系統(tǒng)的視差/深度空間進(jìn)行 取樣，并解析構(gòu)建全分辨率的査找表。
可對(duì)該校正加以改進(jìn)，例如通過(guò)強(qiáng)加具有隨Z變化的失真模型的 平行靶標(biāo)約束。這類(lèi)校正改進(jìn)的結(jié)果可以包括攝像機(jī)坐標(biāo)系內(nèi)的一組 點(diǎn)和相應(yīng)的視差數(shù)據(jù)。在改進(jìn)的一個(gè)方面，可以確定隨Z變化的失真 參數(shù)。在改進(jìn)的另一方面，可以推導(dǎo)可用于獲得校正的輸出的其它模 型參數(shù)，諸如攝像機(jī)焦距、圖像平面或處理網(wǎng)格隨X變化的項(xiàng)、圖像
平面或處理網(wǎng)格隨y變化的項(xiàng)等等。也可以將視差內(nèi)插到良好表征的
通道(例如，多孔系統(tǒng)的中心通道)的固定處理網(wǎng)格上，以縮短通常 與全面校正相關(guān)的處理時(shí)間。
通常應(yīng)當(dāng)理解的是，可以通過(guò)各種透鏡和/或離軸光程將所采集的圖像中隨Z變化的失真引入光學(xué)系統(tǒng)中。雖然光學(xué)系統(tǒng)的失真通常主 要是徑向和偏軸失真，并且對(duì)于大多數(shù)相機(jī)校正來(lái)說(shuō)，校正這兩種失 真就夠了，但對(duì)于精確的相機(jī)校正來(lái)說(shuō)，隨深度變化的失真可能會(huì)非 常重要。在一個(gè)方面，第一校正可以處理某些主項(xiàng)(諸如徑向失真)， 然后在后續(xù)精校正中加入一個(gè)或多個(gè)隨深度變化的項(xiàng)。
如步驟304所示，可以使校正循環(huán)的結(jié)果參數(shù)化，以便更加方便 靈活地使用查找表?？梢允褂玫膮?shù)化模型很多。雖然下面的實(shí)例通 常采用視差矢量作為査找表的輸入，應(yīng)當(dāng)理解的是，可以由采集到的 數(shù)據(jù)計(jì)算出z值，并可以有選擇地使用所采集的圖像的x、 y和(算 出的)z值作為查找表的指數(shù)，并對(duì)后續(xù)處理進(jìn)行適當(dāng)?shù)母淖儭?br> 為使校正結(jié)果參數(shù)化，可以將來(lái)自每個(gè)校正靶位置/取向的數(shù)據(jù)表 征為一個(gè)或多個(gè)陣列，所述陣列包含攝像機(jī)視場(chǎng)的處理網(wǎng)格中每個(gè)x 和y位置的視差值?？梢詫⒁暡畹臉?biāo)量特征(如相對(duì)于視場(chǎng)的x軸 視差dx、相對(duì)于視場(chǎng)的y軸視差dy或|d|、視差矢量的大小)作為 數(shù)據(jù)點(diǎn)與所采集數(shù)據(jù)的一個(gè)或多個(gè)真實(shí)攝像機(jī)坐標(biāo)保存在一起。通過(guò) 這種保存，可以使用查找表直接查找攝像機(jī)坐標(biāo)^d,Z」，下文將對(duì) 此進(jìn)行詳細(xì)說(shuō)明。
在另一個(gè)實(shí)施例中，可以使用例如曲線(xiàn)擬合技術(shù)對(duì)這些變量的相 互關(guān)系構(gòu)建數(shù)學(xué)模型，實(shí)現(xiàn)真實(shí)值(如Z值)與視差參數(shù)(如上述某 個(gè)標(biāo)量視差值)的對(duì)射變換。在一個(gè)與y軸視差的局部經(jīng)驗(yàn)數(shù)據(jù)有關(guān) 的可用實(shí)例中，Z與dy (也可使用dx或|d|)相關(guān)，使得
<formula>formula see original document page 15</formula>且將數(shù)據(jù)可符合一般關(guān)系式<formula>formula see original document page 16</formula>
(在圖像平面內(nèi)給定的(x,y)處)的參數(shù)矢量dy可以表示為<formula>formula see original document page 16</formula>且Z值可由下列關(guān)系確定<formula>formula see original document page 16</formula>
在該實(shí)例中，可以將式3的參數(shù)矢量p存儲(chǔ)在按x、y和dy進(jìn) 行索引的査找表中，以便利用未校正的圖像結(jié)果得到式4的參數(shù)，并 繼而利用所得到的參數(shù)計(jì)算Z值。根據(jù)上下文，應(yīng)當(dāng)理解的是，Z通 常是指深度變量，該變量在具體實(shí)施中可能對(duì)應(yīng)于世界坐標(biāo)、攝像機(jī) 坐標(biāo)、攝像機(jī)深度或任何其它反映深度數(shù)據(jù)的合適數(shù)量。同樣應(yīng)當(dāng)理 解的是，選擇y坐標(biāo)視差僅僅為了舉例說(shuō)明，且不以任何方式限制本 公開(kāi)的范圍。同時(shí)，某些實(shí)際存在的攝像機(jī)系統(tǒng)可以顯示具有主要隨y 變化的視差矢量，諸如當(dāng)多個(gè)小孔沿處理網(wǎng)格的y軸方向同軸取向 時(shí)。更為普遍地，攝像機(jī)系統(tǒng)的物理屬性(例如，光瞳象差)可能意 味著一致失真，諸如從相當(dāng)于多孔攝像機(jī)中心孔的光學(xué)中心測(cè)得的隨 Z變化的徑向或切向失真。通過(guò)將校正數(shù)據(jù)采集結(jié)果擬合到一個(gè)或多 個(gè)對(duì)應(yīng)模型，并進(jìn)而形成一個(gè)更緊密的査找表(和/或需要更少的校正 測(cè)量)，可以用參數(shù)化的模型來(lái)解釋這種已知的有規(guī)律的失真圖形。 在另一方面，第一粗校正可以處理隨Z變化的徑向或切向失真，然后 在后續(xù)精校正的參數(shù)化過(guò)程中加入其它項(xiàng)。
在另一個(gè)實(shí)施例中，可以對(duì)參數(shù)表面本身建模。其中參數(shù)表面讓 步于相對(duì)簡(jiǎn)單的模型，當(dāng)攝像機(jī)系統(tǒng)在可識(shí)別的點(diǎn)或區(qū)域周?chē)a(chǎn)生一 致的x、 y和/或z失真時(shí)就是這種情況，此時(shí)，經(jīng)參數(shù)化的參數(shù)模型可以在物理內(nèi)存或存儲(chǔ)量方面大大縮小査找表校正系統(tǒng)。在這一前提 下，根據(jù)經(jīng)驗(yàn)應(yīng)當(dāng)指出，在上述圖像捕獲系統(tǒng)100的實(shí)施例中隨Z變 化的失真分量含有下式的主項(xiàng)
&(Z)^+, + /c3.Z [式5]
如步驟305所示，通過(guò)使用任何適當(dāng)?shù)臄M合、錯(cuò)誤最小化或其它 技術(shù)，將校正測(cè)試結(jié)果擬合到一個(gè)或多個(gè)模型以獲得上述模型參數(shù)， 可以為上述校正數(shù)據(jù)和模型構(gòu)建査找表，或更為普遍地構(gòu)建查找表系 統(tǒng)。査找表的構(gòu)建將取決于具體實(shí)施方式
，部分內(nèi)容將在下文做詳細(xì) 說(shuō)明。通常，對(duì)于圖像捕獲系統(tǒng)來(lái)說(shuō)，査找表的具體實(shí)施會(huì)形成這樣 的機(jī)制，圖像捕獲系統(tǒng)新采集到的數(shù)據(jù)與成像主體表面上點(diǎn)的坐標(biāo)數(shù) 據(jù)關(guān)聯(lián)。這樣對(duì)成像系統(tǒng)進(jìn)行校正的顯著優(yōu)點(diǎn)是，可以對(duì)用來(lái)在視差 值與物體空間數(shù)據(jù)之間建立聯(lián)系的相機(jī)模型進(jìn)行局部化，換言之，也 就是創(chuàng)建局部模型陣列，該局部模型陣列符合更一般的參數(shù)化模型。
如步驟306所示，可以使用多種技術(shù)對(duì)查找表或査找表系統(tǒng)進(jìn)行 驗(yàn)證和/或改進(jìn)。
在一個(gè)通用方法中，通過(guò)將校正的系統(tǒng)置于各種控制條件或目標(biāo) 下，并測(cè)量所得輸出的精度，可以對(duì)基于查找表的模型進(jìn)行驗(yàn)證?？?以在已知位置處放置混合靶標(biāo)(如上所述)，并將從校正的系統(tǒng)的對(duì) 應(yīng)圖像獲得的結(jié)果與該靶標(biāo)的預(yù)期結(jié)果進(jìn)行比較。也可以(或取而代 之)反饋比較結(jié)果，以完善査找表。在另一方面，使用從基于查找表 的系統(tǒng)輸出的點(diǎn)云中的噪聲來(lái)確定總系統(tǒng)和/或查找表中的噪聲。
盡管具有多種圖形的平面靶標(biāo)為校正系統(tǒng)提供了一種有用的介 質(zhì)，應(yīng)當(dāng)理解，具有不同幾何形狀的靶標(biāo)也可以(或取而代之)用于 構(gòu)造和驗(yàn)證查找表。例如，可以使用球體、錐體或其它形狀增加靶標(biāo) 的維度，并可使用校正的系統(tǒng)來(lái)測(cè)量靶標(biāo)的(已知)維度特征。因此，在驗(yàn)證過(guò)程的實(shí)例中，可以采集球體的一個(gè)或多個(gè)圖像，并可用采集 到的數(shù)據(jù)計(jì)算出球體的半徑并與已知值進(jìn)行比較。也可以(或取而代 之)反饋比較結(jié)果，以完善查找表。
可以通過(guò)其它方式使用諸如球體之類(lèi)的形狀來(lái)驗(yàn)證或確認(rèn)基于査 找表的校正。例如，利用諸如球形或其它形狀的物體，和/或其在成像 系統(tǒng)測(cè)量體積內(nèi)的一部分，可采用已知技術(shù)進(jìn)行輪廓檢測(cè)，以定位該 物體的外緣，即該物體在圖像平面上的投影。使用球體的實(shí)例可以檢 測(cè)到圓形，并根據(jù)球體位置和攝像機(jī)位置以及隨Z變化或與Z無(wú)關(guān) 的攝像機(jī)模型(諸如上述模型)以解析的方式測(cè)定該圓形。通過(guò)迭代 優(yōu)化解析和分析測(cè)得的輪廓收斂(例如，錯(cuò)誤或偏差最小化)的球體 的參數(shù)，可以算出測(cè)得的球體的位置。因此，在一個(gè)方面，本文公開(kāi) 了一種校正驗(yàn)證方法。在該方法中，可以從二維圖像獲得三維物體的 第一輪廓，該三維物體的第二輪廓由該三維物體在該二維圖像的圖像 平面上的投影以解析的方式確定，然后在兩個(gè)或更多個(gè)變型之間就三 維物體的參數(shù)對(duì)第一輪廓和第二輪廓進(jìn)行迭代比較。通過(guò)評(píng)估迭代比 較結(jié)果可以發(fā)現(xiàn)第一輪廓和第二輪廓之間的偏差，并且更具體地講， 以便將兩個(gè)輪廓之間的偏差縮至最小。在一個(gè)實(shí)施例中，該三維物體 為球體，并且該參數(shù)是該球體的半徑。在另一個(gè)實(shí)施例中，該參數(shù)是 球體的位置。兩個(gè)或更多個(gè)參數(shù)可以是變化的。以解析的方式確定第 二輪廓可以包括在成像系統(tǒng)中應(yīng)用一個(gè)或多個(gè)攝像機(jī)模型。類(lèi)似技術(shù) 可以用于例如圓錐、棱錐、具有臺(tái)階的棱錐等形狀。此外，雖然上述 內(nèi)容通常(盡管不是排他性地)與中心通道的建模有關(guān)，但本文所述 基于模型的驗(yàn)證技術(shù)可以適用于任何通道(諸如多孔系統(tǒng)的一個(gè)或多 個(gè)側(cè)通道)，前提條件是該通道的模型足夠好，可以用解析的方式確 定預(yù)期結(jié)果。
通常如方法330所示，査找表或查找表系統(tǒng)可以應(yīng)用于新圖像數(shù) 據(jù)(諸如來(lái)自圖像捕獲系統(tǒng)100的圖像集)，以實(shí)現(xiàn)對(duì)所采集圖像的 高速校正。
一旦構(gòu)建完畢，查找表的使用就變得簡(jiǎn)單明了，包括直接從查找表查找結(jié)果，使用從査找表中獲得的參數(shù)進(jìn)行相對(duì)簡(jiǎn)單的計(jì)算， 以及任何合適或所需的線(xiàn)性或其它內(nèi)推運(yùn)算，以及它們的組合。
更具體地講，可能從圖像采集系統(tǒng)獲取數(shù)據(jù)時(shí)就開(kāi)始使用査找表， 如步驟307所示。可以使用本領(lǐng)域已知的各種技術(shù)獲得多通道(或多
攝像機(jī))成像系統(tǒng)的一個(gè)或多個(gè)通道的視差數(shù)據(jù)，如步驟308所示。
盡管已知其它深度信息編碼技術(shù)，該視差數(shù)據(jù)通常包括處理網(wǎng)格位置 和該位置處的一個(gè)或多個(gè)視差量，并可結(jié)合本文所述系統(tǒng)和方法共同 使用。
如步驟309和310所示，來(lái)自成像系統(tǒng)的數(shù)據(jù)可以應(yīng)用于査找 表系統(tǒng)，以推導(dǎo)校正結(jié)果。根據(jù)(例如)與實(shí)施方式有關(guān)的任何設(shè)計(jì) 偏好和/或任何可由具體校正實(shí)施方式的特性取得的處理或存儲(chǔ)改善， 可以使用(例如)指數(shù)、矢量、參數(shù)和/或參數(shù)化的參數(shù)對(duì)査找表系統(tǒng)
加以改變，使其適合多種配置。
一般來(lái)講，査找表的運(yùn)算過(guò)程如下
應(yīng)當(dāng)理解，盡管一般來(lái)講指數(shù)i和j可能對(duì)應(yīng)于處理網(wǎng)格坐標(biāo)， k可能對(duì)應(yīng)于視差數(shù)據(jù)(可以是標(biāo)量或矢量)，但也可能有其它的指 數(shù)排列方式，包括由上述任何公式計(jì)算出的指數(shù)。應(yīng)當(dāng)進(jìn)一步理解的 是，基于査找的方案可以有任意數(shù)量的變型，包括(例如)用于復(fù)原 參數(shù)的中間査找表，被復(fù)原的參數(shù)繼而可以用來(lái)計(jì)算最終結(jié)果，或計(jì) 算附加的査找表的指數(shù)。此外，應(yīng)當(dāng)理解，可以在基于查找的系統(tǒng)內(nèi) 使用線(xiàn)性?xún)?nèi)推法或其它內(nèi)推法。例如，可以用線(xiàn)性?xún)?nèi)推法內(nèi)插來(lái)自相 鄰的査找表結(jié)果的最終值。又如，當(dāng)適合具體模型時(shí)，可以將內(nèi)推法 用于諸如指數(shù)或參數(shù)之類(lèi)的中間結(jié)果。內(nèi)推法也可以考慮由于透視投 影等原因，數(shù)據(jù)在t^,K，z」坐標(biāo)系內(nèi)的具體散布。例如，如果點(diǎn)落 在查找表的點(diǎn)之間，距離加權(quán)的內(nèi)推法會(huì)引起誤差，通過(guò)尋找(用內(nèi) 推法) 一條與具體(x， y)圖像位置相交的投影線(xiàn)，并通過(guò)其它內(nèi)推法確定該條線(xiàn)上的^rct，z」點(diǎn)，可以處理這種誤差。
上述技術(shù)構(gòu)思出無(wú)數(shù)種變型，諸如使用不同的校正靶和硬件，使 用不同的失真或攝像機(jī)模型，以及不同程度的經(jīng)驗(yàn)和/或理論建模。此
外，圖3中示出的方法也可能有多種變型。例如，采集校正數(shù)據(jù)和使
結(jié)果參數(shù)化的步驟可以分多次進(jìn)行(諸如每個(gè)耙標(biāo)位置一次)，并且 也可以在處理強(qiáng)度較大時(shí)分多個(gè)處理器或處理線(xiàn)程進(jìn)行處理。此外， 在進(jìn)行下一個(gè)校正循環(huán)之前，可以用每個(gè)校正循環(huán)的結(jié)果填充査找表。 在一個(gè)實(shí)施例中，校正改進(jìn)步驟可以使用附加的約束來(lái)改善使用(例
如) 一組共面和等距靶標(biāo)的校正。因此，盡管圖3中示出的處理流程
從概念上講層次較高，但不應(yīng)理解為限制本文所公開(kāi)的方法和系統(tǒng)的 范圍，或限制本領(lǐng)域的普通技術(shù)人員能夠理解的各種變形或修改形式。 所有這類(lèi)變形和修改形式都理應(yīng)屬于本公開(kāi)范圍之內(nèi)。
圖4和圖5僅以舉例的方式而非限制性地示出采用上述技術(shù)的 校正系統(tǒng)和方法的各個(gè)方面。
圖4示出校正過(guò)程的各個(gè)方面。如圖所示，中心通道圖像平面 402具有對(duì)應(yīng)于攝像機(jī)坐標(biāo)系406的Z軸的主點(diǎn)404，該平面可以 包含校正靶408的圖像，該圖像上的點(diǎn)在攝像機(jī)坐標(biāo)系406和世界 坐標(biāo)系410內(nèi)具有位置。視差值412 (諸如視差矢量)可以表征該點(diǎn) 從中心通道圖像平面402到另一個(gè)圖像平面(諸如側(cè)通道圖像平面， 未示出)的位移。視差值412可以包括(例如)該點(diǎn)在各通道之間的 x位移和y位移，或者能對(duì)距離數(shù)據(jù)編碼并用于本文所述校正技術(shù)的 任何其它值。為了改善檢測(cè)和所得的校正，該點(diǎn)可以是由相鄰黑白方 塊形成的x結(jié)。然而，應(yīng)當(dāng)理解，其它圖像類(lèi)型也可以用作校正方法 中的點(diǎn)。圖4所公開(kāi)的一般技術(shù)可用于對(duì)中心通道進(jìn)行初始標(biāo)準(zhǔn)基準(zhǔn) 校正，該校正使用本文所述的隨Z變化的失真模型。
在一個(gè)方面，本文公開(kāi)了一種對(duì)使用x結(jié)的校正的改進(jìn)。雖然x結(jié)的高度局部性使棋盤(pán)(包括X結(jié))成為常用的校正靶，但使用這種 X結(jié)會(huì)因?yàn)槭Ы裹c(diǎn)而產(chǎn)生較大誤差，并且很容易受到不利的局部人工 痕跡(諸如透鏡的污垢、劃痕或其它物理污染)的影響。相對(duì)于失焦 點(diǎn)，精度取決于被捕獲圖像的模糊量，并且通過(guò)測(cè)量體積捕獲數(shù)據(jù)的 能力很大程度上取決于具體圖像捕獲的視場(chǎng)深度。
在這種情況下，可以使用全局約束(諸如多個(gè)X結(jié)在校正耙上的 共線(xiàn)性)結(jié)合圖像平面內(nèi)校正靶和不失真點(diǎn)之間的單應(yīng)約束對(duì)校正加 以改進(jìn)。為了應(yīng)用這類(lèi)約束，X結(jié)圖像(或者更為普遍地，靶標(biāo)圖像) 必須不失真，諸如通過(guò)應(yīng)用徑向失真模型、切向失真模型或任何其它 已知模型應(yīng)用到系統(tǒng)中。然后可以引入全局約束，諸如通過(guò)扭曲圖像， 使其適形X結(jié)位置以達(dá)到已知的共線(xiàn)性。采用普通的正交直線(xiàn)擬合法 可以避免奇點(diǎn)，并且可以使連接不失真點(diǎn)的不失真線(xiàn)彼此相交，并利 用這種相交和任何計(jì)算出的失真參數(shù)來(lái)改進(jìn)失真的X結(jié)位置，以便進(jìn) 行后續(xù)校正。通過(guò)在靶標(biāo)點(diǎn)和失真X結(jié)位置之間強(qiáng)加一個(gè)確切的(或 基本確切的)單應(yīng)關(guān)系，視差矢量用于將失真點(diǎn)與未失真點(diǎn)聯(lián)系起來(lái) 的畸變場(chǎng)。該畸變場(chǎng)可以允許直接在來(lái)自成像系統(tǒng)的失真圖像上進(jìn)行 后續(xù)操作。
所得的校正可以有效減少可能會(huì)因交替的黑白圖像特征產(chǎn)生的偏 差，并降低光學(xué)人工痕跡(諸如透鏡或其它表面上的污垢和劃痕)對(duì) 校正的影響。
如上所述，查找表掃描可以包括使校正靶408通過(guò)一個(gè)或多個(gè)平 行平面414，并采集數(shù)據(jù)以改進(jìn)中心通道攝像機(jī)參數(shù)，如隨Z變化的 失真。該改進(jìn)步驟可以為上述査找表的生成提供攝像機(jī)坐標(biāo)數(shù)據(jù)點(diǎn)的 準(zhǔn)真實(shí)數(shù)據(jù)集。在實(shí)施例中，通過(guò)移動(dòng)間距416已知而方向418未 知的校正靶408可以有效實(shí)現(xiàn)校正掃描。
圖5示出校正方法的其它方面。在校正過(guò)程中，第一圖像平面502、第二圖像平面504和第三圖像平面506 (諸如單個(gè)透鏡、三通 道成像系統(tǒng)或三個(gè)獨(dú)立攝像機(jī)的中心通道和兩個(gè)側(cè)通道的圖像平面) 可以在校正耙508的査找表掃描過(guò)程中采集視差信息，該校正靶可以 是(例如)本文所述的任何校正靶。在校正過(guò)程中，具有已知攝像機(jī) 坐標(biāo)的一個(gè)或多個(gè)點(diǎn)510的視差數(shù)據(jù)，可以例如其中一個(gè)圖像平面 (502、 504或506)的處理網(wǎng)格內(nèi)的x和y坐標(biāo)，以及其它圖像平 面內(nèi)的視差數(shù)據(jù)進(jìn)行捕獲。校正靶508的每個(gè)位置可以更普遍地產(chǎn)生 視差矢量場(chǎng)(或其它視差數(shù)據(jù))，該視差矢量場(chǎng)可以?xún)?nèi)插到固定的處 理網(wǎng)格上。根據(jù)該數(shù)據(jù)可以產(chǎn)生將視差數(shù)據(jù)局部映射到深度的査找表。 在應(yīng)用中，可以復(fù)原使用該查找表復(fù)原參數(shù)，以便計(jì)算基于視差數(shù)據(jù) 的校正的坐標(biāo)。在多種實(shí)施例中，可以用位置和/或視差數(shù)據(jù)值對(duì)該查 找表進(jìn)行檢索。
因此，本文公開(kāi)了査找表的許多應(yīng)用。在一個(gè)實(shí)施例中，可以將 包括兩個(gè)處理網(wǎng)格坐標(biāo)和一個(gè)視差值(指定處理網(wǎng)格坐標(biāo)處的圖像集 的數(shù)據(jù)之間)的圖像數(shù)據(jù)用作査找表的指數(shù)，該査找表為成像點(diǎn)提供 相機(jī)坐標(biāo)。上述應(yīng)用可能有許多種變化和修改形式。在另一個(gè)實(shí)施例 中，可以將包括兩個(gè)處理網(wǎng)格坐標(biāo)和一個(gè)視差值的圖像數(shù)據(jù)用作査找 表的指數(shù)，該査找表為第二個(gè)查找表提供校正的指數(shù)。位置數(shù)據(jù)可以 包括(例如)成像點(diǎn)到攝像機(jī)的距離、成像點(diǎn)的一個(gè)或多個(gè)世界坐標(biāo) 或成像點(diǎn)的一個(gè)或多個(gè)攝像機(jī)坐標(biāo)。在另一方面，本文公開(kāi)了實(shí)時(shí)三 維圖像捕獲系統(tǒng)，該系統(tǒng)使用參數(shù)化的查找表提高精度。
應(yīng)當(dāng)理解，上述方法可以通過(guò)硬件、軟件或適合本文所述三維成 像技術(shù)的任意硬件和軟件的組合加以實(shí)現(xiàn)。該方法可以在這些設(shè)備內(nèi) 實(shí)現(xiàn) 一個(gè)或多個(gè)微處理器、微控制器、嵌入式微控制器、可編程的 數(shù)字信號(hào)處理器或其它可編程裝置以及內(nèi)部和/或外部存儲(chǔ)器。該方法 也可以(或取而代之)包括專(zhuān)用集成電路、可編程門(mén)陣列、可編程陣 列邏輯或可以被構(gòu)造為處理電子信號(hào)的任何其它裝置。應(yīng)當(dāng)進(jìn)一步理 解的是，該過(guò)程可以被實(shí)現(xiàn)為計(jì)算機(jī)可執(zhí)行的代碼，該代碼由結(jié)構(gòu)化編程語(yǔ)言(如C語(yǔ)言)、面向?qū)ο蟮木幊陶Z(yǔ)言(如C++)或任何其 它高級(jí)或低級(jí)編程語(yǔ)言(包括匯編語(yǔ)言、硬件描述語(yǔ)言和數(shù)據(jù)庫(kù)編程 語(yǔ)言)及技術(shù)產(chǎn)生，并可以進(jìn)行存儲(chǔ)、編譯或解釋?zhuān)员阍谏鲜鲆环N 裝置、不同類(lèi)處理器的組合、處理器架構(gòu)或不同硬件和軟件的組合上 運(yùn)行。同時(shí)，可以將處理過(guò)程以多種方式分配到攝像機(jī)和/或計(jì)算機(jī)上， 或者將所有功能集中到專(zhuān)用的獨(dú)立式圖像捕獲裝置中。所有這類(lèi)排列 和組合都旨在屬于本公開(kāi)范圍之內(nèi)。
盡管本發(fā)明是結(jié)合某些優(yōu)選實(shí)施例一起公開(kāi)的，但本領(lǐng)域的普通 技術(shù)人員應(yīng)認(rèn)識(shí)到其它實(shí)施例，并且所有這類(lèi)變形、修改形式和替代 形式都旨在屬于本公開(kāi)范圍之內(nèi)。因此，應(yīng)當(dāng)以法律允許的最廣泛的 含義來(lái)理解本文所公開(kāi)的發(fā)明。
權(quán)利要求
1.一種方法，其包括采集多個(gè)校正圖像集；和從所述校正圖像集構(gòu)建查找表系統(tǒng)，所述查找表系統(tǒng)將圖像集數(shù)據(jù)與一個(gè)或多個(gè)參數(shù)相關(guān)聯(lián)，以計(jì)算出校正的三維數(shù)據(jù)。
2. —種方法，其包括采集圖像集，每個(gè)圖像集包括至少一個(gè)與所述圖像集的處理網(wǎng)格 內(nèi)的位置相關(guān)聯(lián)的視差值；將所述處理網(wǎng)格內(nèi)的所述位置和所述至少一個(gè)視差值應(yīng)用到査找表系統(tǒng)，所述査找表系統(tǒng)以一個(gè)或多個(gè)參數(shù)作為響應(yīng)；以及根據(jù)所述一個(gè)或多個(gè)參數(shù)和所述視差值計(jì)算出校正的三維數(shù)據(jù)。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述一個(gè)或多個(gè)參數(shù)用來(lái) 計(jì)算一個(gè)或多個(gè)模型參數(shù)，所述一個(gè)或多個(gè)模型參數(shù)又反過(guò)來(lái)用于計(jì) 算所述校正的三維數(shù)據(jù)。
4. 根據(jù)權(quán)利要求2所述的方法，其中所述査找表系統(tǒng)包括多個(gè) 查找表。
5. 根據(jù)權(quán)利要求4所述的方法，其中所述多個(gè)査找表包括一個(gè) 對(duì)應(yīng)于每個(gè)處理網(wǎng)格指數(shù)的查找表。
6. 根據(jù)權(quán)利要求4所述的方法，其中所述多個(gè)査找表包括一個(gè) 對(duì)應(yīng)于所述圖像集的各個(gè)獨(dú)立變量的査找表。
7. 根據(jù)權(quán)利要求2所述的方法，其中所述視差值包括視差大小。
8. 根據(jù)權(quán)利要求2所述的方法，其中所述視差值包括視差矢量。
9. 根據(jù)權(quán)利要求2所述的方法，其中所述視差值包括x位移或 y位移中的至少一個(gè)。
10. 根據(jù)權(quán)利要求2所述的方法，其中所述查找表系統(tǒng)為隨深度 變化的失真而進(jìn)行參數(shù)化。
11. 根據(jù)權(quán)利要求2所述的方法，其中所述查找表系統(tǒng)為徑向失 真和切向失真中的至少一個(gè)而進(jìn)行參數(shù)化。
12. 根據(jù)權(quán)利要求2所述的方法，其中所述查找表的構(gòu)建包括通 過(guò)將來(lái)自所述圖像集的數(shù)據(jù)擬合到參數(shù)化的攝像機(jī)模型來(lái)改進(jìn)校正。
13. 根據(jù)權(quán)利要求2所述的方法，其中所述查找表的構(gòu)建包括根 據(jù)攝像機(jī)模型內(nèi)插一個(gè)或多個(gè)參數(shù)值。
14. 一種校正多通道成像系統(tǒng)的方法，其包括 確定所述成像系統(tǒng)的第一通道的模型；通過(guò)采集圖像數(shù)據(jù)集并將來(lái)自所述圖像數(shù)據(jù)集的數(shù)據(jù)擬合到所 述模型，校正所述第一通道；以及通過(guò)將所述圖像數(shù)據(jù)集的一個(gè)或多個(gè)視差值映射到已知深度，校 正第二通道。
15. 根據(jù)權(quán)利要求14所述的方法，其中所述模型包括至少一個(gè) 隨深度變化的項(xiàng)。
16. 根據(jù)權(quán)利要求14所述的方法，其中所述第一通道是所述成 像系統(tǒng)的中心通道。
17. 根據(jù)權(quán)利要求14所述的方法，其中所述第二通道是所述成像系統(tǒng)的偏心通道。
18. 根據(jù)權(quán)利要求14所述的方法，其中所述模型使用所述成像 系統(tǒng)的己知特性，所述已知特性包括失真、光軸、焦距、主距和主點(diǎn) 位置中的至少一個(gè)。
19. 根據(jù)權(quán)利要求14所述的方法，其中對(duì)所述第二通道的校正 包括將所述圖像數(shù)據(jù)集的數(shù)據(jù)映射到世界坐標(biāo)系中的至少一個(gè)點(diǎn)X、 Y 或Z。
20. —個(gè)成像系統(tǒng)，其包括多個(gè)光學(xué)通道，所述光學(xué)通道為測(cè)量體積內(nèi)的點(diǎn)提供圖像數(shù)據(jù)； 存儲(chǔ)在存儲(chǔ)器內(nèi)的査找表，所述查找表存儲(chǔ)隨深度變化的模型的一個(gè)或多個(gè)參數(shù)；處理器，其被構(gòu)造為通過(guò)應(yīng)用所述圖像數(shù)據(jù)和一個(gè)或多個(gè)來(lái)自所述查找表的參數(shù)來(lái)恢復(fù)校正的輸出。
21. 根據(jù)權(quán)利要求20所述的成像系統(tǒng)，其中所述校正的輸出包 括深度。
22. 根據(jù)權(quán)利要求20所述的成像系統(tǒng)，其中所述校正的輸出包 括位于攝像機(jī)坐標(biāo)系內(nèi)的三維數(shù)據(jù)。
23. 根據(jù)權(quán)利要求20所述的成像系統(tǒng)，其中所述査找表以所述 圖像數(shù)據(jù)的一個(gè)或多個(gè)視差值進(jìn)行索引。
24. 根據(jù)權(quán)利要求20所述的成像系統(tǒng)，其中所述査找表以一個(gè) 或多個(gè)處理網(wǎng)格坐標(biāo)進(jìn)行索引。
25. 根據(jù)權(quán)利要求20所述的成像系統(tǒng)，其中所述多個(gè)光學(xué)通道包括中心通道。
26. —種對(duì)成像系統(tǒng)的校正進(jìn)行改進(jìn)的方法，其包括 從測(cè)量體積中采集圖像數(shù)據(jù)，所述測(cè)量體積包括具有一個(gè)或多個(gè)已知參數(shù)的三維物體；識(shí)別所述三維物體在所述圖像數(shù)據(jù)內(nèi)的第一投影輪廓； 使用所述一個(gè)或多個(gè)己知參數(shù)和所述成像系統(tǒng)的模型以解析法確定所述三維物體的第二投影輪廓；以及通過(guò)最大程度減小所述第一投影輪廓和所述第二投影輪廓之間的偏差，改進(jìn)對(duì)所述成像系統(tǒng)的校正。
27. 根據(jù)權(quán)利要求26所述的方法，其中所述三維物體是一個(gè)球 體，并且所述一個(gè)或多個(gè)已知參數(shù)包括所述球體的半徑。
28. —種校正靶，其包括 平表面；在所述平表面上具有已知位置的多個(gè)框標(biāo)；以及 位于所述多個(gè)框標(biāo)之間的無(wú)規(guī)圖形。
29.根據(jù)權(quán)利要求28所述的校正靶，其中所述多個(gè)框標(biāo)包括中 心框標(biāo)和在矩形網(wǎng)格上規(guī)則隔開(kāi)的多個(gè)附加框標(biāo)。
30.根據(jù)權(quán)利要求28所述的校正靶，其中所述多個(gè)框標(biāo)和所述 無(wú)規(guī)圖形中的至少一個(gè)被投影到所述平表面上。
全文摘要
通過(guò)使用基于模型的校正和查找表，根據(jù)(例如)x位移、y位移或成像視差數(shù)據(jù)來(lái)分辨距離，以提高三維成像系統(tǒng)的精度。在實(shí)施例中，所述查找表存儲(chǔ)用于計(jì)算校正的結(jié)果的局部參數(shù)化數(shù)據(jù)。
文檔編號(hào)G06K9/00GK101292255SQ200680039394
公開(kāi)日2008年10月22日 申請(qǐng)日期2006年9月22日 優(yōu)先權(quán)日2005年9月22日
發(fā)明者彤 張, 道格拉斯·P·哈特, 雅諾什·羅哈利 申請(qǐng)人:3M創(chuàng)新有限公司