使用結(jié)構(gòu)化照明的3d掃描器的制造方法
【專利摘要】將一系列結(jié)構(gòu)化照明圖案投射到對象上。每個相繼的結(jié)構(gòu)化照明圖案具有諸如亮區(qū)和暗區(qū)之間的邊緣的強度特征的第一子集和第二子集。所述第一子集的強度特征與來自所述系列中的先前結(jié)構(gòu)化照明圖案的第一子集或第二子集的強度特征在空間上一致。檢測在所述圖像中能看見所述結(jié)構(gòu)化照明圖案的第一子集和第二子集的強度特征的圖像位置?；谠诶盟鱿盗兄械南惹敖Y(jié)構(gòu)化照明圖案獲得的圖像中的具有關聯(lián)強度特征的所檢測的最近的圖像位置的關聯(lián)強度特征，將能看見所述第一子集的強度特征的圖像位置與所述第一子集的強度特征相關聯(lián)。將處于與所述第一子集的強度特征相關聯(lián)的圖像位置對兒之間的、能看見所述第二子集的強度特征的圖像位置與處于和所述位置對兒相關聯(lián)的強度特征之間的、所述第二子集的強度特征相關聯(lián)。所述系列的最終結(jié)構(gòu)化照明圖案中的關聯(lián)強度特征用于識別所述最終結(jié)構(gòu)化照明圖案的強度特征，以確定3D表面位置信息。
【專利說明】使用結(jié)構(gòu)化照明的3D掃描器
【技術領域】
[0001]本發(fā)明涉及一種用于使用結(jié)構(gòu)化照明確定3D信息的方法和系統(tǒng)。
【背景技術】
[0002]結(jié)構(gòu)化照明是一種熟知的用于從場景提取3D信息的技術。3D信息的提取基于向場景上投射已知的照明圖案，并利用場景的照相機捕獲所產(chǎn)生的圖像。該技術利用照相機和投射照明圖案的投影器之間的距離(經(jīng)常被稱作基線)以視差(在采用立體照相機時)為基礎工作的。作為這種視差的結(jié)果，能夠確定對象的深度(從照相機來看)。與立體照相機類似，這樣的系統(tǒng)能夠估計深度，但是在我們投射照明結(jié)構(gòu)(圖案)時，該系統(tǒng)也對均勻的對象起作用，而立體照相機則不能。因此，結(jié)構(gòu)化照明系統(tǒng)提供比立體視覺系統(tǒng)可靠得多的深度估值。
[0003]3D信息提取的一個關鍵步驟是確定投影器將照明圖案的特征投射到了對象上的何處。有時將其稱為解碼。在Gumholdt等人的題為《Image-based motion compensationfor structured light scanning of dynamic surfaces》的文章中(IJISTA (2008 年)第434-441頁)中描述了一種解碼技術。在這種技術中，相繼使用多個不同的結(jié)構(gòu)化照明圖案，從而使用像素強度的時間依賴性識別來自投影器的在該像素處與對象相交的平面。在這一技術的最簡單的形式下，這一技術假定對象不發(fā)生移動。如果不能排除對象移動，那么使用根據(jù)運動矢量的運動補償將對象點映射到一系列圖像的相同像素上。Gumholdt提到對來自結(jié)構(gòu)化照明圖案的條紋運動的檢測能夠用于確定所需的運動矢量，但是GumhoIdt更傾向于一種更魯棒的技術，其中，專用的參考照明圖案用于獲得能夠被相關以確定運動矢量的圖像。然而，這些技術仍然不是完全地魯棒。

【發(fā)明內(nèi)容】

[0004]出其他以外，本發(fā)明的目的是提供一種用于從利用結(jié)構(gòu)化照明獲得的場景的2D圖像確定3D表面位置信息的更加魯棒的方法和系統(tǒng)。
[0005]提供了根據(jù)權利要求1所述的確定3D表面位置信息的方法。本文使用了具有強度特征的一系列結(jié)構(gòu)化照明圖案，所述強度特征例如是互不相同的強度的區(qū)域之間的邊緣。
[0006]來自所述系列的結(jié)構(gòu)化照明圖案中的不同圖案用于在不同的時間點上照射對象，并且所產(chǎn)生的對象的圖像用于檢測在所述圖像中能看見所述強度特征的位置。對所述強度特征的第一子集和第二子集進行區(qū)分，以確定哪個所檢測的位置對應于所述結(jié)構(gòu)化照明圖案中的哪個強度特征。在強度特征為邊緣的范例中，例如，第一集合的特征可以是強度沿通過所述圖像路徑升高到高強度區(qū)域的強度水平的邊緣，且第二子集的特征可以是沿強度從高強度區(qū)域下降的路徑的邊緣。
[0007]在所述一系列結(jié)構(gòu)化照明圖案中，每個相繼圖像的強度特征的第一子集與所述系列中的先前結(jié)構(gòu)化照明圖案的(來自第一子集和第二子集的)特征在空間上一致。與先前結(jié)構(gòu)化照明圖案相比，第二子集的強度特征是增加的特征，該增加的特征處于第一子集的強度特征之間的和/或超過了先前結(jié)構(gòu)化照明圖案的最外面的強度特征。因而，所述系列中的結(jié)構(gòu)化照明圖案的強度特征的位置依次排布得更加致密。
[0008]基于利用所述系列中的先前結(jié)構(gòu)化照明圖案獲得的檢測的強度特征的識別，利用第一子集的強度特征的檢測的位置識別第一子集的強度特征。利用處于位置對的強度特征的檢測的位置之間的檢測的位置，識別位于所述第一子集的強度特征的所述位置對之間的第二子集的強度特征。通過這種方式，將錯誤識別的風險最小化。
[0009]可以在第一子集的強度特征的相關聯(lián)的圖像位置之前或者之后確定針對利用當前結(jié)構(gòu)化照明圖案獲得的圖像的第一子集的強度特征的相關聯(lián)的圖像位置。在一個實施例中，首先針對利用先前結(jié)構(gòu)化照明圖案獲得的圖像，根據(jù)基于第一子集的圖像強度特征的相關聯(lián)的圖像位置選擇的圖像位置范圍，確定第二子集的相關聯(lián)的位置。在這一實施例中，接下來，針對利用當前結(jié)構(gòu)化照明圖案獲得的圖像，根據(jù)基于第二子集的圖像強度特征的相關聯(lián)的圖像位置選擇的圖像位置范圍，確定第一子集的相關聯(lián)的位置。通過這種方式，第二強度特征提供了一種形式的運動補償，其降低了識別錯誤的風險。在另一實施例中，首先針對利用先前結(jié)構(gòu)化照明圖案獲得的圖像，基于第一子集的圖像強度特征的相關聯(lián)的圖像位置，確定第一子集的相關聯(lián)的位置。例如，可以選擇與利用之前的結(jié)構(gòu)化照明圖案獲得的圖像的相關聯(lián)的位置最接近的圖像位置。在這一實施例中，接下來，針對利用當前結(jié)構(gòu)化照明圖案獲得的圖像，根據(jù)基于第一子集的圖像強度特征的相關聯(lián)的圖像位置選擇的圖像位置范圍，可以確定第二子集的相關聯(lián)的位置。
[0010]在實施例中，在對應于結(jié)構(gòu)化照明圖案在所述系列中的序列的時間序列中，也就是說按照它們在所述系列中出現(xiàn)的序列的時間，或者與該序列相反地，利用所述結(jié)構(gòu)化照明圖案照射所述對象。通過這種方式，將用于識別第一子集的強度特征的捕獲圖像之間的運動最小化。
[0011 ] 在實施例中，利用所述系列中的結(jié)構(gòu)化照明圖案中的至少一個進行照射包括利用互補照明圖案對兒的相繼照射，即其中，所述對兒中的一幅圖案在另一幅圖案為白色的位置為黑色，反之亦然。在這一實施例中，可以當利用該互補照明圖案照射對象時捕獲圖像對兒，且所產(chǎn)生的用于位置檢測的圖像可以是所述對兒的圖像之間的差值圖像。
[0012]在實施例中，從沿圖像線的強度輪廓檢測所述圖像中能看見強度特征的位置。可以針對多條圖像線重復這一操作。通過這種方式，能夠利用最少的計算檢測到強度輪廓的位置。在實施例中，第一子集和第二子集的強度特征是處于沿圖像線的強度變化的相對方向上的強度邊緣。通過這種方式，很容易檢測到強度特征是屬于第一子集還是第二子集。
[0013]在實施例中，多個先前結(jié)構(gòu)化照明圖案可以用于識別第一子集的強度特征的檢測位置。因此，如果沒有發(fā)現(xiàn)利用緊挨著的先前結(jié)構(gòu)化照明圖案獲得的適當?shù)奈恢?，那么可以使用來自另一遠離的先前結(jié)構(gòu)化照明圖案的位置。通過這種方式，所述方法更加魯棒地解決了特征在某些圖像中的不可見性。
[0014]利用結(jié)構(gòu)化照明圖案的強度特征的位置識別用于確定對象上的點的能看見強度特征的3D位置?？梢允褂美米罱K結(jié)構(gòu)化照明圖案獲得的特征的圖像位置計算3D位置，從而直接完成這一操作，或者可以使用另一結(jié)構(gòu)化照明圖案的強度特征計算3D位置，從而間接完成這一操作。在后一種情況下，可以借助最終結(jié)構(gòu)化照明圖案中的所識別的強度特征的位置的致密集合來識別所述另一照明圖案的強度特征，以計算3D位置。[0015]可以在可編程處理系統(tǒng)對計算機程序的控制下執(zhí)行所述方法的步驟。根據(jù)一個方面，提供了一種具有這樣的程序的諸如磁盤或半導體存儲器的計算機程序產(chǎn)品。
[0016]根據(jù)一個方面提供了根據(jù)權利要求11所述的3D對象掃描器。
【專利附圖】

【附圖說明】
[0017]使用下述附圖，根據(jù)對示范性實施例的描述，這些和其他目的，以及有利方面將變得顯而易見。
[0018]圖1不出了一種用于確定3D表面位置信息的系統(tǒng)。
[0019]圖2示出了 3D表面位置確定的流程圖。
[0020]圖3圖示了沿圖像線的圖像信號值。
【具體實施方式】
[0021]圖1不出了一種用于確定3D表面位置信息的系統(tǒng),其包括光源10、照相機12以及率禹合至光源10和照相機12的處理系統(tǒng)14。光源10和照相機12兩者從不同的位置指向?qū)ο?6。
[0022]在操作中，光源10將一系列照明圖案P(n) (n=0，l，...)投射到對象16上，并且當對象16受到相應的圖案照射時，照相機12捕獲對象16的圖像IM(η)。在下文中，照明圖案Ρ(η)將以利用橫斷來自光源10的光線的平面獲得的其截面中的強度為特征(如在文中使用的，“橫斷”用于非平行于，例如垂直于)。所述照明圖案的三維結(jié)構(gòu)是根據(jù)這一截面以及光源10的性質(zhì)得出的。例如，在發(fā)散光源的情況下，所述照明圖案包括處于從源點出發(fā)的連續(xù)方向上的光線的集合。所述截面內(nèi)的每一點對應于這些方向之一，并且所述截面內(nèi)的強度對應于對應方向上的光線的強度。在平行射束光的情況下，所述截面內(nèi)的強度對應于平行光線的強度，所述平行光線中的每者穿過所述截面內(nèi)的對應點。
[0023]將描述實施例，其中，照明圖案具有帶有亮區(qū)和暗區(qū)的截面。在這種情況下，將由亮區(qū)和暗區(qū)之間的邊緣表征照明圖案。
[0024]圖2示出了在處理系統(tǒng)14的控制下操作3D表面位置確定的實施例的流程圖。在第一步驟21中，處理系統(tǒng)14選擇當前照明圖案。最初，處理系統(tǒng)14選擇具有僅帶有在亮區(qū)和暗區(qū)之間的一條直邊緣的截面的當前照明圖案Ρ(η)(開始η=0)。在第二步驟22中，處理系統(tǒng)14控制光源10，從而將所述當前照明圖案投射到對象16上。在實施例中，可以使用具有互補圖像對兒的相繼照明。
[0025]在第三步驟23中，處理系統(tǒng)14從照相機12捕獲對象16的圖像頂(η)(開始η=0)，所述圖像是在對象16受到當前照明圖案照射的同時獲得的。任選地，圖像IM(i)可以是差值圖像IMl (n)-MO (η)，其像素值是在利用當前照明圖案P (η)照射對象16的同時獲得的圖像頂I和不利用這樣的照明或利用這樣的照明圖案的互補P’ (η)(例如，使得照明圖案Ρ(η)、Ρ’ (η)的截面中的強度之和是不依賴位置的)捕獲的圖像的像素值之間的差。在這一實施例中，處理系統(tǒng)14被配置為控制光源10，以關閉照明或者切換至互補圖案，并在有和沒有照明圖案Ρ(η)的情況下或者在利用照明圖案Ρ(η)及其互補P’ (η)的情況下相繼捕獲圖像頂I (η)和頂0(η)。任選地，可以通過將強度值圖像或者差值圖像二元化，例如，通過將強度值與閾值進行比較獲得圖像頂(η)。如果在利用圖案的照明之后跟隨著利用互補圖案的照明，則邊緣位置對應于差值圖像中的符號變化。在第四步驟24中，處理系統(tǒng)14沿橫斷沿邊緣的方向排布的多條平行圖像線掃描所捕獲的圖像IM(η)，從而沿所述線搜索圖像強度以獲得對應于所述邊緣的階躍或者符號變化，并確定該階躍或者符號變化的位置X (i)(索引i表示沿所述圖像線的躍遷:理想地，對于初始圖像頂(O)而言，只有一條圖像線邊緣，并且i=0)。
[0026]在第五步驟25和第六步驟26中，處理系統(tǒng)14將圖像線邊緣與當前照明圖案P (η)的截面內(nèi)的照明圖案邊緣相關聯(lián)。在第七步驟27中，處理系統(tǒng)14測試是否已經(jīng)針對預定數(shù)量的照明圖案執(zhí)行了先前步驟。如果沒有，那么處理系統(tǒng)14利用新的照明圖案從第一步驟21進行重復。
[0027]因此，處理系統(tǒng)14執(zhí)行從第一步驟21到第七步驟-27的相繼循環(huán)，每次循環(huán)利用不同的照明圖案Ρ(η)作為當前照明圖案。每次相繼循環(huán)中的照明圖案P (η)具有與前一循環(huán)中的照明圖案P(n-l)中的邊緣處于相同位置的相互平行的照明圖案邊緣的第一子集，此外還具有處于所述第一子集中的每兩個相繼的照明圖案邊緣之間的平行于這兩個相繼的照明圖案邊緣的照明圖案邊緣的第二子集。任選地，所述第二子集可以含有超過所述第一子集的最外側(cè)照明圖案邊緣的照明圖案邊緣。
[0028]圖3依照在利用相繼的照明圖案獲得的相繼圖像中沿相同圖像線的理想化圖像強度圖示了照明圖案，如當對象16保持固定時處理系統(tǒng)14可能在第四步驟24中遇到的。
[0029]沿所述圖像線的第一圖像強度輪廓31對應于初始照明圖案，其具有一個圖像線邊緣31a。相繼循環(huán)中的所述圖像線的相繼強度輪廓32、33 (僅示出了兩個)具有相繼增多的圖像線邊源32a-c、33a-g等。能夠在第二強度輪廓32中區(qū)分出所述圖像線邊緣的第一子集和第二子集:第一子集具有一個圖像線邊緣32b，其所處位置與第一強度輪廓31的圖像線邊緣31a的位置相同，第二子集具有處于第一子集中的圖像線邊緣31a的分別兩側(cè)上的兩個圖像線邊緣32a、c。類似地，能夠在第三強度輪廓33中區(qū)分出圖像線邊緣的兩個子集:第一子集具有對應于第二強度輪廓32的圖像線邊緣32a、b、c的圖像線邊緣33b、d、f，第二子集具有處于第一子集的圖像線邊緣33b、d、f之間的圖像線邊緣33c、e以及處于第一子集中的圖像線邊緣32a、c的分別兩側(cè)上的圖像線邊緣33a、g。應當注意，第一子集中的所有圖像線邊緣都具有相同的第一極性(低強度到高強度)，第二子集中的所有圖像線邊緣都具有與第一極性相反的相同的第二極性(高強度到低強度)。
[0030]在第五步驟25和第六步驟26中，處理系統(tǒng)14將來自圖像頂(η)的圖像線邊緣與當前照明圖案POO的截面中的照明圖案邊緣相關聯(lián)?？梢酝ㄟ^結(jié)合照明圖案邊緣的標記L(i)記錄所檢測的圖像線邊緣位置X(i)(索引i表示沿圖像線的躍遷)來表示所述關聯(lián)。然而，可以通過任何方便的方式，將圖像線邊緣或者其他圖像特征與照明圖案的特征相關聯(lián)，例如，通過使用具有對應于沿所述線的相應像素位置中的每個的條目的表格將位置值X(i)存儲到具有針對照明圖案的不同特征的條目的表格中，以及使用具有對應于每個相應邊緣位置的條目的表格將特征的標記L(i)存儲到針對像素位置X=X (i)的條目中，以及將特征的標記L(i)存儲到針對邊緣位置X(i)的條目中，存儲對兒(X(i)，L(i))的集合，存儲位置和標記中的每個，等等。所述標記可以是預定特征序列中的照明特征的索引，或可以是到具有關于特征的信息的數(shù)據(jù)塊的指針，等等。
[0031]在第五步驟25中，處理系統(tǒng)14確定針對具有第一極性的圖像線邊緣(邊緣的第一子集)的關聯(lián)照明圖案邊緣L(i)。對于初始照明圖案，可以跳過第五步驟25。在第六步驟26中，處理系統(tǒng)14確定針對具有第二極性(邊緣的第二子集)的圖像線邊緣的關聯(lián)照明圖案邊緣L(i)。
[0032]在第五步驟25中，處理系統(tǒng)14使用來自利用先前照明圖案？(11-1)、？(11-2)...獲得的一幅或多幅獲得的一幅或多幅圖像頂(n-1)、IM(n-2)...的圖像線的關聯(lián)照明圖案邊緣L(i)確定來自利用當前照明圖案P(n)獲得的圖像IM(η)的圖像線的關聯(lián)照明圖案邊緣。
[0033]如果能夠假定照明圖案Ρ(η)中的所有照明圖案邊緣都對應于沿圖像線的位置x(i)上的圖像線邊緣且反之亦然，那么處理系統(tǒng)14可以通過針對來自利用先前照明圖案P(n-l)獲得的圖像IM(n-l)的每個圖像線邊緣確定利用當前照明圖案P(n)獲得的當前圖像IM(n)中的第一極性的最近圖像線邊緣的位置x(i)來執(zhí)行第五步驟25。在另一實施例中，針對先前結(jié)構(gòu)化照明圖案確定的第一極性的邊緣的估計運動可以用于在搜索最近的邊緣之前調(diào)整圖像位置?？梢愿鶕?jù)來自一系列先前結(jié)構(gòu)化照明圖案的對應邊緣的圖像位置估計所述運動(使用關聯(lián)邊緣和/或其周圍的一個或多個邊緣)。處理系統(tǒng)14可以復制來自圖像IM(n-l)的圖像線邊緣的關聯(lián)照明圖案邊緣L(i’)，以使其與位置x(i)相關聯(lián)。類似地，如果能夠使用這一假設，那么處理系統(tǒng)14在第六步驟26中針對在位置x(i)處的第二極性的每個圖像線邊緣確定在位置x(1-l)、x(i+l)處的第一極性的相鄰圖像線邊緣的關聯(lián)照明圖案邊緣L(1-l)、L(i+l)。之后，處理系統(tǒng)14選擇當前照明圖案P(n)中的躍遷的照明圖案邊緣L(i)，L(i)處于與相鄰位置x(1-l)、x(i+l)處的第一極性的圖像線邊緣相關聯(lián)的照明圖案邊緣L(1-l)、L(i+l)之間，并且處理系統(tǒng)14將選定的照明圖案邊緣L(i)與第二極性的圖像線邊緣的位置x(i)相關聯(lián)。
[0034]對于某種類型的對象，并在一些照明條件下，使用這種類型的假設可能導致提高的錯誤概率。在實施例中，可以通過利用以下認識降低這樣的錯誤的概率:在已經(jīng)借助來自利用先前照明圖案P(n-l)獲得的圖像頂(η-l)的圖像線邊緣與照明圖案邊緣相關聯(lián)的第一極性的每對兒圖像線邊緣之間，只能出現(xiàn)一個正確的第二極性的圖像線邊緣。處理系統(tǒng)14可以被配置為，如果在一個對兒之間出現(xiàn)了多個第二極性的圖像線邊緣，那么選擇第二極性的一個邊緣。因此，與將所有的圖像線邊緣與照明圖案邊緣關聯(lián)相比，降低了“錯誤”關聯(lián)的概率。
[0035]處理系統(tǒng)14可以被配置為使用多個標準中的任意來選擇處于第一類型的圖像線邊緣之間的第二類型的一個邊緣。在所述圖像是在圖像線邊緣的位置上具有符號變化的差值圖像(例如，是通過對在照射期間利用圖案和該圖案的互補獲得的圖像值取差值獲得的)的實施例中，能夠通過選擇累積信號函數(shù)的局部極值(如果第二類型的邊緣是下降邊緣那么取極大值，且如果其為上升邊緣那么取極小值)來選擇所述圖像線邊緣位置
[0036]F(X)=Sum S (i)
[0037]其中，S(i)是當前圖像線中并處于沿該線以i索引的位置上的圖像頂(η)的值，并且求和是在一直到該線上的位置X的索引值范圍上進行的。信號S(X)可以是多位信號(例如，8位信號)。函數(shù)F是檢測評分值的函數(shù)的范例，所述評分值可以用于選擇處于與第二類型的照明圖案邊緣相關聯(lián)的圖像位置之間的一個檢測的第二類型的圖像線邊緣。
[0038]可以使用其他具有實際上地類似作用的標準代替這種累積信號函數(shù)。累積信號函數(shù)的使用有效地消除了基于圖像線邊緣的位置檢測，在所述圖像線邊緣上，信號的符號從初始值發(fā)生變化，但是在短暫間隔后跟隨著一個返回邊緣，反之所述返回邊緣之后跟隨著一個較長間隔，在所述較長間隔內(nèi)沿所述圖像線的信號具有初始值(更一般而言，如果處于初始值上的線部分較長，那么消除這樣的圖像線邊緣+返回圖像線邊緣)。如果在第二類型的正確邊緣附近存在很多這樣的對兒，那么仍然可能出現(xiàn)小的位置錯誤，但是這樣的小的位置錯誤未必會影響最終結(jié)果。當然，如果不使用差值圖像，那么可以應用類似的技術，例如，通過使用圖像信號與圖像信號在與照明圖案邊緣相關聯(lián)的第一極性的圖像線邊緣對兒之間的平均值之間的累積差(如果使用差值圖像，也可以使用這種方案)?？梢愿鶕?jù)向處于與照明圖案邊緣相關聯(lián)的第一極性的圖像線邊緣對兒之間的信號段施加濾波操作的結(jié)果，并確定位置?？梢允褂闷渌麢z測評分作為替代標準。例如，可以基于作為檢測評分的邊緣幅度(例如，通過選擇具有最大幅度的邊緣)或者根據(jù)依賴于到已經(jīng)與在相鄰圖像線中的照明圖案邊緣相關聯(lián)的第二類型的最近邊緣位置X(i)的距離的評分(例如，通過選擇當前圖像線中最接近該邊緣位置的邊緣)來選擇第二類型的所述一個邊緣。可以使用這樣的標準的組合，例如，通過根據(jù)不同標準(累積信號值、幅度、距離等)向位置分配評分，針對每個邊緣根據(jù)所述不同標準組合評分，并選擇具有最佳的組合評分的邊緣。
[0039]在實施例中，處理系統(tǒng)14可以通過由多幅圖像頂(η-1)、頂(n-2)...確定最近的邊緣而執(zhí)行第五步驟25。在這一實施例中，第五步驟25包括將先前圖像頂(η-1)、IM(n-2)...中與照明圖案邊緣L=L(i’)相關聯(lián)的位置x(i’)更新至利用當前照明圖案P (η)獲得的圖像IM (η)中與相同的照明圖案邊緣L=L(i)相關聯(lián)的位置x(i)。
[0040]此外，在這一實施例中，第五步驟25包括根據(jù)利用任何先前照明圖案P(n-l)、P(n-2)獲得的圖像IM(n-l)、IM(n-2)為第一極性的每個圖像線邊緣位置x(i)確定最近的更新圖像線邊緣位置x(i’)，并復制該最近圖像線邊緣的關聯(lián)照明圖案邊緣L (i)?？梢允褂脤@一程序的各種細化。例如，處理系統(tǒng)14可以被配置為，只有在距離較新的圖像IM(η’’)(η’〈η’’)的預定距離d內(nèi)沒有可用的位置x(i’)，即只有在較新圖像IM(η’’)中沒有滿足Ix⑴-x(i’)|〈d的位置x(i’)的情況下才借助來自較早的圖像頂(η’)的位置以為當前圖像IM(η) (η’〈η)復制相關聯(lián)的照明圖案邊緣。
[0041 ] 作為另一范例，可以基于圖像值與閾值的比較向沿相繼的圖像IM (O)、IM(I)...中的圖像線的像素位置分配二元值(I或O)。通過這種方式，在沒有對象運動的情況下，來自N幅不同圖像Μ(0)、Μ(1)、...、頂(N-1)的針對相同位置的二元值形成N位代碼，該代碼能夠用作在該位置處能看見的照明圖案部分的索引。能夠通過移動由沿所述線的二元值形成的信號中的邊緣的位置將運動計算在內(nèi)，所述移動每次都根據(jù)利用相同的關聯(lián)照明圖案邊緣針對該邊緣已經(jīng)找到的位置進行的。
[0042]盡管已經(jīng)描述了在確定第二極性的邊緣位置的第六步驟26之前執(zhí)行確定第一極性的邊緣位置的第五步驟25的實施例，但是應注意，可以反轉(zhuǎn)這一順序。在這種情況下，針對先前結(jié)構(gòu)化照明圖案確定的第一極性的邊緣的圖像位置可以用于設置范圍，在該范圍中確定第二極性的邊緣的圖像位置的搜索。在另一實施例中，針對第一極性的邊緣估計的運動可以用于在設置所述范圍之前調(diào)整圖像位置，所述第一極性的邊緣是針對先前結(jié)構(gòu)化照明圖案確定的。可以根據(jù)來自一系列先前結(jié)構(gòu)化照明圖案的對應邊緣的圖像位置估計所述運動。接下來，針對當前結(jié)構(gòu)化照明圖案確定的第二極性的邊緣的圖像位置可以用于設置范圍，在該范圍中確定第一極性的邊緣的圖像位置的搜索。在這一實施例中，可以在第五步驟25中使用與第六步驟26中類似的累計加和算法，用于計算所述累計加和的起始位置是根據(jù)第二極性的邊緣的選定位置的位置確定的。這可以提高對抗運動影響的魯棒性。
[0043]處理系統(tǒng)14可以被配置為增強更新期間的單調(diào)性，例如，對于每幅圖像保持條件x(0)〈x(l)〈x(2)〈...。例如，處理系統(tǒng)14可以被配置為，如果更新一個較低位置x(i’ -1)將使該較低位置移動經(jīng)過位置X (i’)，那么也更新較早圖像IM (η’)中的邊緣的位置x(i’)，對于所述位置，在較新的圖像中沒有找到對應的位置。例如，可以將位置x(i’)位移與位置x(i’-l)相同的量，或者移動距離位置x(i’-1)的預定偏移。
[0044]當處理系統(tǒng)14在第七步驟27中確定已經(jīng)針對預定數(shù)量的照明圖案執(zhí)行了先前的步驟時，處理系統(tǒng)14繼續(xù)到第八步驟28。在第八步驟28中，處理系統(tǒng)14使用位置x(i)和關于對應于具有與所述位置相關聯(lián)的關聯(lián)照明圖案邊緣L(i)的邊緣的3D表面的信息，確定在照明圖案中的邊緣能看見的對象點的3D坐標。處理系統(tǒng)14可以使用這樣的事實，SP位置x(i)和檢測到所述位置的圖像線定義了像素位置，所述像素位置轉(zhuǎn)而定義了可以在該像素上被成像的點的3D線。此外，處理系統(tǒng)14可以使用這樣的事實，S卩，照明圖案邊緣對應于由來自光源10的穿過截面中的邊緣的光線形成的3D表面。處理系統(tǒng)14可以通過求解這一 3D線和這一 3S表面的交叉處的點，求解對象點的3D坐標或者對象點到照相機的距離。
[0045]在備選實施例中，第八步驟28可以包括處理系統(tǒng)14控制光源以利用另一照明圖案P’照射對象，并基于照明圖案P(Π)的截面內(nèi)的邊緣與另一照明圖案中的特征之間的空間關系使用借助圖像頂(η)獲得的關聯(lián)照明圖案邊緣L(i)識別所述另一照明圖案中的特征。
[0046]在實施例中，處理系統(tǒng)14被配置為通過確定像素位置之間的圖像強度的插值或者圖像強度的推導量與預定水平相交的位置，來以亞像素準確度確定圖像線邊緣位置X(i)中的至少一個。因此，可以使更為可靠的邊緣識別成為可能，并且能夠以高準確度確定3D位置。
[0047]針對圖像頂(η)的多條圖像線，可以針對所述圖像線中的不同圖像線獨立地執(zhí)行該過程。在實施例中，如果沒有檢測到邊緣，相鄰線中的邊緣的關聯(lián)照明圖案邊緣可以用于將照明圖案邊緣與圖像線上的位置相關聯(lián)。在另一實施例中可以使用二維圖像算子檢測邊緣，所述二維圖像算子例如來自相鄰圖像線中的對應像素的像素值的總和。
[0048]如所描述的，使用一系列照明圖案，其中，每個相繼的照明圖案Ρ(η+1)具有具體而言是邊緣(空間上改變光強)的第一強度特征，所述第一強度特征處于與先前照明圖案P (η)中的強度特征(邊緣)的位置以及第一照明圖案邊緣之間的第二強度特征的位置相等的那些位置處。
[0049]在實施例中，可以采用在不同時間點上獲得的圖像重復第八步驟28。因此，可以將使用先前步驟的一次邊緣識別應用于多個時間點上的3D位置確定。在實施例中，可以應用位置跟蹤來補償由于應用了第八步驟28的不同圖像之間的對象運動而產(chǎn)生的邊緣運動。在實施例中，一系列結(jié)構(gòu)化照明圖案的部分可以在這樣的重復的第八步驟28之前或者之后被投射到對象上，并用于其識別對應于第一極性和第二極性的邊緣的圖像位置，如之前所描述。在另一實施例中，只針對選定的第八步驟28的重復執(zhí)行完成所述操作，例如當測試表明現(xiàn)有的邊緣識別可能遺漏或者不可靠時，例如當檢測到針對不同線中的相同邊緣確定的圖像位置的差異超過了閾值、時間上的運動超過了閾值、或者沒有找到邊緣時。
[0050]在這一實施例中，可以按照時間順序投射來自所述系列的相繼的先前結(jié)構(gòu)化照明圖案，即，具有相繼減少的邊緣的圖案。當在這種情況下使用來自所述系列的結(jié)構(gòu)化照明圖案獲得了圖像時，先前確定的、優(yōu)選經(jīng)運動補償?shù)摹⒃搱D案中的圖像位置用于設置針對第一極性和/或第二極性的邊緣的搜索范圍。如果搜索為所有的邊緣產(chǎn)生了新的圖像位置，那么這些新的圖像位置用于以借助圖2的流程圖描述的方式針對接下來的結(jié)構(gòu)化照明圖案的邊緣確定圖像位置，而不是應用于來自所述系列的新投射的結(jié)構(gòu)化照明圖案。只有在并未針對所有邊緣確定圖像位置的情況下，下個先前結(jié)構(gòu)化照明圖案才被投射，并用于搜索圖像位置等。通過這種方式，來自所述系列的結(jié)構(gòu)化照明圖案的最高頻部分可以用于補償運動跟蹤期間的準確度損失。盡管已經(jīng)將僅使用結(jié)構(gòu)化照明圖案的部分進行重新照射以例如校正由于運動帶來的識別損失的這種選擇描述為與第八步驟28的重復執(zhí)行一起使用，但應當認識到，這種選擇也可以在第一次執(zhí)行第八步驟28之前應用，例如，通過響應于檢測到不可靠的結(jié)果或者第五步驟25和第六步驟26中遺失的邊緣，利用具有更少邊緣的結(jié)構(gòu)化照明圖案中的一個或多個進行重新照射并重新識別圖像中的檢測的邊緣。
[0051]盡管已經(jīng)在附圖和前面的描述中詳細說明并描述了本發(fā)明，但這樣的說明和描述被認為是說明性或示范性的而非限制性的；本發(fā)明不限于公開的實施例。
[0052]盡管描述了使用照明圖案中的邊緣的實施例，但是應當認識到可以使用其他可定位的特征。例如，可以使用在截面中具有預定寬度的線或子波的照明圖案，所述線的中間位置用于替代邊緣位置。然而，這可能使得更難以基于邊緣極性區(qū)分第一子集和第二子集。
[0053]盡管照明圖案中的每個特征優(yōu)選具有在與下一照明圖案中的相同位置處的配對部分，但是應當認識到并非總有這種需要。因此，特征(例如，最外側(cè)特征)可以用于指導針對有限數(shù)量的后續(xù)照明圖案的關聯(lián)照明圖案特征的選擇，而不必一直用到最后的照明圖案。
[0054]盡管已經(jīng)大體上針對光/圖像強度特征描述了該過程，但應當認識到可以使用彩色成分的強度或者彩色成分的組合。光源10可以被配置為利用一個彩色分量的光照圖案，或者利用白光圖案，或者利用不同彩色成分中的多個不同圖案照射對象。
[0055]盡管已經(jīng)描述了在第一子集的每個特征對兒之間添加第二子集的特征(邊緣)的實施例，但應當認識到第二子集可以包括更少的特征。因此，照明圖案P(n)可以不含有處于在先前照明圖案P (η-1)中已經(jīng)存在的相繼特征對兒之間的額外特征。這具有這樣的效應:更少的新特征能夠是關聯(lián)照明圖案特征，并且必須在不同圖像區(qū)域中的第一集合和第二集合中的特征的極性之間進行區(qū)分。在另一實施例中，可以在第一子集的特征對兒之間添加第二子集的一個以上的特征。這具有這樣的效應:更多新特征能夠是關聯(lián)照明圖案特征，但是必須在具有相同極性的第一特征和第二特征之間進行區(qū)分。
[0056]盡管已經(jīng)描述了使用具有相繼增多的特征的照明圖案的實施例，但應當認識到，或者，可以按照相反的順序使用所述照明圖案。在這種情況下，處理系統(tǒng)14可以存儲針對不同圖像的檢測的圖像線特征位置，并從具有最少的特征的圖像開始向后執(zhí)行照明圖案特征關聯(lián)步驟。
[0057]在另一實施例中，可以按照任何時間順序使用照明圖案P (η)。但是，照明圖案的使用具有時間上增加或者減少的數(shù)量的特征。
[0058]盡管已經(jīng)描述了具有最少的特征的照明圖案具有一個特征的實施例，但應當認識至IJ，或者，具有最少的特征的照明圖案可以具有一個以上的特征。只要所述特征具有充分的空間間隔以允許圖像線特征的初始識別(例如，通過從圖像線的開始對特征進行計數(shù))，就能夠利用這樣的照明圖案作為起點執(zhí)行該過程。
[0059]盡管已經(jīng)描述了照明圖案基本上為二元(通斷)的實施例，但應當認識到，或者，可以使用具有作為位置的函數(shù)的更加漸進的強度變化的照明圖案。
[0060]盡管已經(jīng)描述了照明圖案具有處于射線的平面內(nèi)的特征的實施例，但應當認識至IJ，或者，可以使用處于曲面內(nèi)的特征，即使對象16是平的，其也可以與對象16具有彎曲的相交?？紤]到對表面的3D形狀的描述，處理系統(tǒng)14能夠通過求解來自照射機的光線與所述表面的3D形狀的相交而確定3D位置。不需要使具有照明圖案中的特征的各表面彼此平行，而是優(yōu)選使它們在照相機視角定義的范圍內(nèi)彼此不相交。
[0061]通過研究附圖、說明書和權利要求書，本領域的技術人員在實踐請求保護的本發(fā)明時能夠理解和實現(xiàn)對所公開實施例的其他變型。在權利要求中，“包括”一詞不排除其他元件或步驟，量詞“一”或“一個”不排除多個。單個處理器或其他單元可以完成權利要求中記載的若干項目的功能。在互不相同的從屬權利要求中記載特定措施并不指示不能有利地使用這些措施的組合。計算機程序可以存儲和/或分布在適當?shù)慕橘|(zhì)上，所述介質(zhì)例如是與其他硬件一起供應或作為其他硬件一部分供應的光學存儲介質(zhì)或固態(tài)介質(zhì)，但計算機程序也可以以其他形式分布，例如經(jīng)由因特網(wǎng)或者其他有線或無線的遠程通信系統(tǒng)。權利要求中的任何附圖標記不得被解釋為對范圍的限制。
【權利要求】
1.一種根據(jù)利用結(jié)構(gòu)化照明獲得的對象的2D圖像確定3D表面位置信息的方法，所述方法包括: -提供一系列結(jié)構(gòu)化照明圖案，所述系列中的每個相繼的結(jié)構(gòu)化照明圖案包括強度特征的第一子集和第二子集，第一集合的每個強度特征與來自所述系列中的先前結(jié)構(gòu)化照明圖案的第一子集或第二子集的強度特征中的相應一個在空間上一致； -每次至少在一個不同的時間點利用所述系列的所述結(jié)構(gòu)化照明圖案中的不同結(jié)構(gòu)化照明圖案照射所述對象； -每當利用所述照明圖案中的相應一個照射場景時捕獲所述場景的2D圖像； -檢測在所述圖像中能看見所述結(jié)構(gòu)化照明圖案的所述第一子集和所述第二子集的強度特征的圖像位置； -針對每個相繼的結(jié)構(gòu)化照明圖案， -基于在利用所述系列中的先前結(jié)構(gòu)化照明圖案獲得的圖像中的具有關聯(lián)強度特征的檢測的圖像位置的關聯(lián)強度特征，將所述第一子集的強度特征與能看見所述第一子集的強度特征的圖像位置相關聯(lián)，并且 -在與所述第一子集的相互鄰近的強度特征相關聯(lián)的圖像位置對兒之間的相應位置范圍內(nèi)，將所述第二子集的強度特征與能看見所述第二子集的強度特征的圖像位置相關聯(lián)，所述關聯(lián)基于所述相互鄰近的強度特征的關聯(lián)； -使用所述系列的最終結(jié)構(gòu)化照明圖案中的強度特征和圖像位置之間的關聯(lián)來識別所述最終結(jié)構(gòu)化照明圖案的強度特征，以確定3D表面位置信息。
2.根據(jù)權利要求1所述的方法，其中，按照對應于所述結(jié)構(gòu)化照明圖案在所述系列中的序列的時間序列，利用所述結(jié)構(gòu)化照明圖案照射所述對象。
3.根據(jù)權利要求1所述的方法，其中，所述強度特征是所述結(jié)構(gòu)化照明圖案中互不相同的光強度的區(qū)域之間的邊緣。
4.根據(jù)權利要求3所述的方法，其中，所述第一子集和所述第二子集的強度特征是在沿圖像線的強度變化的相反方向上的邊緣。
5.根據(jù)權利要求1所述的方法，其中，所述方法包括:如果在所述對兒中的一個的所述圖像位置之間檢測到所述第二子集的多個強度特征，那么在所述對兒中的所述一個的所述圖像位置之間選擇能看見所述第二子集的強度特征的一個圖像位置，并將選定的圖像位置與處于與所述位置對兒的所述一個相關聯(lián)的強度特征之間的所述第二子集的強度特征相關聯(lián)。
6.根據(jù)權利要求1所述的方法，包括: -向相應的圖像位置分配用于檢測所述第二子集的強度特征的特征檢測評分值， -基于處于所述對兒的所述圖像位置之間的圖像位置范圍的所分配的檢測評分值，針對所述圖像位置對兒中的每個選擇一個中間圖像位置，并且 -將選定的圖像位置與處于與所述位置對兒相關聯(lián)的強度特征之間的所述第二子集的強度特征相關聯(lián)。
7.根據(jù)權利要求1所述的方法，包括根據(jù)所述系列的下個先前結(jié)構(gòu)化照明圖案的所檢測的最近的強度特征的關聯(lián)強度特征，將所述第一子集的強度特征的所檢測的圖像位置相關聯(lián)，并且，如果在下個先前結(jié)構(gòu)化照明圖案中沒有找到這樣的所檢測的最近的強度特征，那么就從所述系列中的另一先前結(jié)構(gòu)化照明進行尋找。
8.根據(jù)權利要求5所述的方法，包括根據(jù)利用所述系列的處于所述相繼的照明圖案之前的最前面的結(jié)構(gòu)化照明圖案針對這些位置發(fā)現(xiàn)的所述位置，更新所述系列的所述先前結(jié)構(gòu)化照明圖案的強度特征的所述位置，以確定最近的強度特征。
9.根據(jù)權利要求1所述的方法，包括: -首先將在利用所述系列中的先前結(jié)構(gòu)化照明圖案獲得的所述圖像中與所述第一子集的強度特征相關聯(lián)的所述圖像位置對兒之間的、能看見所述第二子集的強度特征的圖像位置與處于與利用所述系列中的當前結(jié)構(gòu)化照明圖案獲得的所述圖像中的所述位置對兒相關聯(lián)的強度特征之間的所述第二子集的強度特征相關聯(lián)； -在利用所述系列的所述當前結(jié)構(gòu)化照明圖案獲得的所述圖像中，定義處于與所述第二子集的相繼強度特征相關聯(lián)的圖像位置之間的搜索范圍； -隨后在所述搜索范圍中搜索能看見所述第一子集的強度特征的圖像位置，并且將該圖像位置與在利用所述系列中的所述當前結(jié)構(gòu)化照明圖案獲得的所述圖像中的關聯(lián)強度特征相關聯(lián)。
10.根據(jù)權利要求1所述的方法，包括: -當已經(jīng)丟失了圖像位置與所述第一子集和/或所述第二子集的強度特征之間的關聯(lián)時，附加地利用僅來自所述系列的一部分的一個或多個結(jié)構(gòu)化照明圖案重復對所述對象的照射， -每當利用所述部分的照明圖案中的相應一個照射所述場景時捕獲所述場景的一幅或多幅另外的2D圖像； -在所述一幅或多幅另外的圖像中重新將強度特征與能看見所述第一子集的強度特征的圖像位置相關聯(lián)。
11.根據(jù)權利要求1所述的方法，包括使用所述系列的所述最終結(jié)構(gòu)化照明圖案中的所識別的強度特征的所檢測的位置，確定對象位置的3D表面位置信息，在所述對象位置處所述最終結(jié)構(gòu)化照明圖案的強度特征與所述對象相交。
12.根據(jù)權利要求1所述的方法，包括: -利用與所述最終結(jié)構(gòu)化照明圖案具有預定空間關系的另一結(jié)構(gòu)化照明圖案照射所述對象； -在相比于利用所述系列的最初照明圖案照射所述對象的時間更接近于利用所述最終照明圖案照射所述對象的時間的時間處，利用所述另一結(jié)構(gòu)化照明圖案照射所述對象的同時捕獲另一圖像； -使用利用所述最終照明圖案的強度特征獲得的位置的關聯(lián)強度特征和所述預定空間關系識別所述另一圖像中的所檢測的強度特征； -使用利用所述另一結(jié)構(gòu)化照明圖案獲得的所識別的強度特征的所檢測的位置確定對象位置的3D表面位置信息，在所述對象位置處所述另一結(jié)構(gòu)化照明圖案的強度特征與所述對象相交。
13.根據(jù)權利要求1所述的方法，其中，根據(jù)沿圖像線的圖像強度變化檢測所述圖像位置。
14.一種計算機程序產(chǎn)品，包括用于可編程計算機系統(tǒng)的指令的程序，所述指令當由所述可編程計算機系統(tǒng)執(zhí)行時，將令所述可編程計算機系統(tǒng)執(zhí)行根據(jù)前述權利要求中任一項所述的捕獲、檢測和關聯(lián)步驟。
15.一種用于使用一系列結(jié)構(gòu)化照明圖案確定3D位置信息的3D對象掃描器，所述系列中的每個相繼的結(jié)構(gòu)化照明圖案包括強度特征的第一子集和第二子集，第一集合的每個強度特征與來自所述系列中的先前結(jié)構(gòu)化照明圖案的第一子集或第二子集的強度特征中的相應一個在空間上一致，所述3D對象掃描器包括被配置為投射結(jié)構(gòu)化光照的光源、照相機以及耦合至所述光源和所述照相機的處理系統(tǒng)，所述處理系統(tǒng)被配置為 -每次在不同的時間點利用所述照明圖案中的相應一個照射場景時捕獲所述場景的2D圖像； -檢測在所述圖像中能看見所述對象與所述結(jié)構(gòu)化照明圖案的第一強度特征和第二強度特征的相交的圖像位置； -針對每個相繼的結(jié)構(gòu)化照明圖案， -基于在利用所述系列中的先前結(jié)構(gòu)化照明圖案獲得的圖像中的具有關聯(lián)強度特征的檢測的圖像位置的關聯(lián)強度特征，將所述第一子集的強度特征與能看見所述第一子集的強度特征的圖像位置相關聯(lián)，并且 -在與所述第一子集的相互鄰近的強度特征相關聯(lián)的圖像位置對兒之間的相應位置范圍內(nèi)，將所述第二子集的強度特征與能看見所述第二子集的強度特征的圖像位置相關聯(lián)，所述關聯(lián)基于所述相互鄰近的強度特征的關聯(lián)； -使用所述系列的最終結(jié)構(gòu)化照明圖案中的強度特征的標記來識別所述最終結(jié)構(gòu)化照明圖案的強度特征，以確定3D表面`位置信息。
【文檔編號】G06T7/00GK103562676SQ201280025159
【公開日】2014年2月5日 申請日期:2012年5月11日 優(yōu)先權日:2011年5月24日
【發(fā)明者】D·N·茲納緬斯基, R·弗盧特爾斯, K·C·范布雷 申請人:皇家飛利浦有限公司