專利名稱：成像系統(tǒng)的制作方法
成像系統(tǒng)關(guān)聯(lián)申請的交叉引用本申請根據(jù)35U. S. C § 119(e)要求對2008年7月29日提交的美國臨時申請 61/084，263的權(quán)益，其全篇內(nèi)容通過引用納入于此。領(lǐng)域本發(fā)明涉及配置成采集場景的3D圖像的成像系統(tǒng)。背景光學(xué)成像系統(tǒng)針對越來越多的不同應(yīng)用來使用和配置，并且由系統(tǒng)提供的圖像被 處理以提供應(yīng)用所要求的不同類型和質(zhì)量的信息。這些應(yīng)用是所制造的貨物和原料的檢 查、CAD驗證、生物測定標(biāo)識、機器人視覺、地理勘測和姿態(tài)識別?？偟膩碚f，隨著場景圖像中的特征的圖像質(zhì)量提高，由給定應(yīng)用的圖像所提供的 數(shù)據(jù)的質(zhì)量也提高。各種硬件和/或圖像處理技術(shù)被用來定制成像系統(tǒng)以使其適應(yīng)其使用 場合并為其提供的圖像提供所要求的質(zhì)量和/或特征。例如，美國專利申請公開2008/0002060提供一種用于消除“紅眼”以改善使用閃 存通過數(shù)字相機采集的人物圖像的方法。相機包括紅眼過濾器，該紅眼過濾器分析所采集 的紅眼圖像并通過將紅眼區(qū)域的顏色改變成黑色來修改圖像。美國專利6，993，255描述了 響應(yīng)圖像的景深圖調(diào)整成像的場景的照度以針對所要求的效果定制場景的圖像。在本發(fā)明 的一個實施例中，景深圖由飛行時間3D相機提供?？烧{(diào)照明由稱為“發(fā)光-像素(luxel)” 的可任選相對小光源的陣列提供。前面引用的美國專利申請公開和專利的公開內(nèi)容通過引用納入于此。概述本發(fā)明一些實施例的一個方面涉及提供一種響應(yīng)于離成像系統(tǒng)的表面元的距離 來確定成像場景的表面元的反射率值的可任選光學(xué)3D成像系統(tǒng)。本發(fā)明一些實施例的一方面涉及提供響應(yīng)于表面元的各法線確定場景表面元的 反射率值的3D成像系統(tǒng)。本發(fā)明一些實施例的一方面涉及提供一種3D成像系統(tǒng)，該3D成像系統(tǒng)基本上僅 響應(yīng)于場景表面元的反射率和/或表面元各法線和表面元成像所沿方向之間的夾角“朗伯 角”來提供場景的圖像。根據(jù)本發(fā)明一些實施例的一方面，3D成像系統(tǒng)包括光源，用于照亮場景；相機， 該相機可控以響應(yīng)于來自光源的光將場景成像在光敏表面上；以及測距儀，用于確定至場 景表面元的距離。為了方便起見，將光敏表面稱為感光表面并假設(shè)其包括成像系統(tǒng)在其上 成像一場景的光敏像素陣列。為了確定場景的表面元的反射率，根據(jù)本發(fā)明的一個實施例，可控制光源以通過 已知強度的光來照亮場景，并使由表面元反射的光成像在相機感光表面上。至成像在感光 表面上的場景的表面元的距離是由測距儀確定的。根據(jù)本發(fā)明的一個實施例，對距離進行處理以確定每個表面元的法線。來自每個 表面元沿從表面元至在其上成像表面元的感光表面的像素的方向的單位矢量被稱為“成像方向”。假設(shè)表面元是散射型、朗伯反射表面。結(jié)果，由其上成像給定表面元的像素配準(zhǔn)的 光量“I/視為基本上與表面的單位法線和成像方向之間的點積成比例。如果θ是該角， 即矢量間的“朗伯角”，則Ip可表達成Ip = α (Io/D4) Rcos θ(1)在表達式⑴中，α是取決于相機的光學(xué)參數(shù)和光源的已知比例恒量，I。是由光 源的每單位面積光源提供的光強度，D是至表面元的距離而R是該區(qū)域的反射率。根據(jù)本 發(fā)明的一個實施例，反射率R是響應(yīng)于由等式1定義的約束條件針對該區(qū)域確定的。可任選地，根據(jù)本發(fā)明一個實施例的3D成像系統(tǒng)中的測距儀包括門選飛行時間 測距儀。該門選飛行時間測距儀包括光源，該光源可控制以用至少一個光脈沖來照亮場 景；以及門選感光表面，該門選感光表面將來自場景反射的至少一個光脈沖的光成像。在 至少一個光脈沖中的每個光脈沖由光源發(fā)出之后，感光表面在一個短周期內(nèi)被選通，在下 文中稱其為“門選”。在門選期間由像素配準(zhǔn)在感光表面上的光的量被用來確定至在像素 上成像的場景表面元的距離。可任選地，用來成像場景的光源和感光表面對于門選飛行時 間測距儀是通用的。門選飛行時間測距儀的各種類型和配置及其門選方法記載于美國專利 6，057，909,6, 100，517、7224384、美國專利申請 2007/0091175 和 PCT 申請 IL 2007/001571 中，這些文獻的內(nèi)容通過引用納入于此。為了便于闡述，根據(jù)本發(fā)明一個實施例的包括門選 測距儀的3D成像系統(tǒng)被稱為“3D門選成像器”。在本發(fā)明的一些實施例中，3D成像系統(tǒng)提供一場景圖像，其中圖像中的每個像 素——即“圖像像素”——提供有基本上與對對應(yīng)于圖像像素的場景元確定的反射率R成 比例的強度值。在本發(fā)明的一些實施例中，3D成像系統(tǒng)提供一場景圖像，其中圖像中每個像 素——即“成像像素”——提供有基本上與對對應(yīng)于圖像像素的場景元確定的Rcos θ成比 例的強度值。根據(jù)本發(fā)明一些實施例的一方面，響應(yīng)于與特征相關(guān)聯(lián)的反射率R和/或朗伯角 來標(biāo)識場景中的特征。例如，假設(shè)給定材質(zhì)已知對用來照亮由根據(jù)本發(fā)明一實施例的3D成像系統(tǒng)成像 的場景的光具有特定反射率R*。只有在其各個反射率R和/或Rcos θ的值與具有反射率 R*的區(qū)域一致的情況下，才將場景的各個區(qū)域標(biāo)識為由該材質(zhì)形成。作為一具體示例，如果 要求標(biāo)識包括人手的場景區(qū)域，則可通過確定該場景區(qū)域是否表現(xiàn)出與人的肌膚一致的反 射率來標(biāo)識手在場景中的位置。作為又一具體示例，根據(jù)本發(fā)明的一個實施例，可通過人物 圖像中因公知的紅眼效應(yīng)產(chǎn)生的對紅光和IR光相對較高的反射率來標(biāo)識圖像中的人眼。根據(jù)本發(fā)明一些實施例的一方面，由3D成像系統(tǒng)成像的場景的照亮響應(yīng)于場景 表面元的反射率值和/或法線而受到控制?？扇芜x地，3D成像系統(tǒng)包括具有發(fā)光像素的可控光源，諸如在US6，993，255中記 載的光源，用來響應(yīng)于場景表面元的反射率和/或法線來控制場景的照度。可任選地，光源 可與在其上成像場景的感光表面視軸對準(zhǔn)。例如，確定為具有相對較低反射率的場景表面元與具有相對高反射率的表面元相 比可被更強烈地照亮。同樣，其法線與各自的成像方向形成相對大夾角的表面元與法線與 其各成像方向具有相對小夾角的表面元相比可被更強烈或更弱地照亮。作為替代或附加， 可增強或減弱表現(xiàn)出在特定范圍反射率值的場景表面元的照度，以改變區(qū)域在由3D成像系統(tǒng)提供的場景的圖像中出現(xiàn)的方式。例如，根據(jù)本發(fā)明的一個實施例，人物圖像中的紅眼 是響應(yīng)于圖像中紅眼區(qū)域的反射率來檢測和定位的，并且人物臉部的照明響應(yīng)于紅眼的檢 測和位置來調(diào)節(jié)以減弱紅眼效應(yīng)。因此，提供一種根據(jù)本發(fā)明一個實施例的成像系統(tǒng)，該成像系統(tǒng)包括光源，該光 源用已知強度光照亮場景；相機，該相機具有響應(yīng)于場景從照射的已知強度光反射的光使 場景成像的光軸和光心；測距儀，該測距儀可控制以確定至由相機成像的場景表面元的距 離；控制器，該控制器被配置成響應(yīng)于表面元離相機的距離、照射光和來自相機成像的表面 元的光的已知強度來確定由相機成像的場景表面元的反射率。可任選地，控制器處理所確定的距離以限定由相機成像的場景表面元的法線?？?任選地，控制器響應(yīng)于表面元的法線來確定場景表面元的反射率?？扇芜x地，控制器確定相 機成像的表面元的成像方向，相機沿該成像方向?qū)碜员砻嬖墓獬上瘛？扇芜x地，成像方 向平行于從表面元至相機光心的直線。作為替代，成像方向可任選地平行于相機的光軸。在本發(fā)明的一些實施例中，控制器響應(yīng)于成像方向確定表面元的反射率。可任選 地，控制器響應(yīng)于法線和平行于成像方向的矢量之間的點積來確定表面元的反射率。在本發(fā)明的一些實施例中，控制器被配置成響應(yīng)于對相機成像的表面元確定的反 射率與表面元成像方向和法線之間夾角的余弦之積來標(biāo)識場景中的特征。在本發(fā)明的一些實施例中，控制器被配置成響應(yīng)于由相機成像的表面元的反射率 來標(biāo)識場景中的特征。在本發(fā)明的一些實施例中，成像系統(tǒng)包括配置成提供場景圖像的控制器，其中該 場景圖像中的像素的灰度級基本上等于對成像在像素上的表面元確定的反射率乘以表面 元成像方向和法線之間的夾角的余弦之積。在本發(fā)明的一些實施例中，成像系統(tǒng)包括控制器，該控制器被配置成提供包括其 灰度基本上與對成像在像素上的場景表面元確定的反射率成比例的圖像像素的場景圖像。在本發(fā)明的一些實施例中，測距儀包括門選飛行時間測距儀。在本發(fā)明的一些實施例中，成像系統(tǒng)包括光源，該光源可控制以通過響應(yīng)于其各 法線的光強度彼此獨立地照亮場景的不同區(qū)域。在本發(fā)明的一些實施例中，成像系統(tǒng)包括光源，該光源可控制以通過響應(yīng)于其各 折射率的光強度彼此獨立地照亮場景的不同區(qū)域。進一步提供了根據(jù)本發(fā)明一個實施例的確定場景表面元的反射率的方法，該方法 包括通過已知強度的光來照亮場景；通過來自已知強度光由表面元反射的光使表面元成 像；確定至場景的多個表面元的距離；響應(yīng)于所確定的距離來確定表面元的法線；以及響 應(yīng)于該法線以及由表面元反射和成像的已知強度光的光的量來確定表面元的反射率。可任選地，該方法包括確定來自表面元的光成像基本上所沿的成像方向。可任選 地，該方法包括響應(yīng)于成像方向確定反射率?？扇芜x地，該方法包括通過具有光心的相機使 場景成像，而確定成像方向包括將成像方向確定為是平行于從表面元至相機光心的直線的 方向。替代地，該方法可任選地包括通過具有光心的相機使場景成像，而確定成像方向包括 將成像方向確定為平行于光軸的方向。在本發(fā)明的一些實施例中，該方法包括響應(yīng)于法線和平行于成像方向的矢量的點 積來確定表面元的反射率。
在本發(fā)明的一些實施例中，該方法包括響應(yīng)于反射率乘以成像方向和法線之間的 夾角的余弦之積來標(biāo)識場景中的特征。在本發(fā)明的一些實施例中，該方法包括響應(yīng)于反射率來標(biāo)識場景中的特征。在本發(fā)明的一些實施例中，該方法包括提供場景圖像，其中使表面元成像的圖像 中像素的灰度級基本上等于所確定的反射率與成像方向和法線之間的夾角的余弦之積。在本發(fā)明的一些實施例中，該方法包括提供場景圖像，其中圖像中使表面元成像 的像素的灰度級基本上與反射率成比例。附圖簡述本發(fā)明實施例的非限定性示例將在下文中參照在后面列出的附圖予以說明。出現(xiàn) 在一張以上附圖中的相似結(jié)構(gòu)、元件或部件一般在其出現(xiàn)的全部附圖中用相同附圖標(biāo)記來 標(biāo)示。附圖中示出的組件和特征的尺寸是為了方便和清楚表示而選擇的，并且不一定按比 例繪制。

圖1示意性地示出根據(jù)本發(fā)明一個實施例的使場景成像以確定場景表面元的反 射率的3D成像系統(tǒng)；圖2示出圖1所示的門選成像器的光脈沖和門選的同步的示圖；圖3A示出根據(jù)現(xiàn)有技術(shù)的場景圖像；圖3B示出根據(jù)本發(fā)明一個實施例的圖3A所示的同一場景的圖像；以及圖4示意性地示出根據(jù)本發(fā)明一個實施例的包括光源的3D成像系統(tǒng)。詳細(xì)說明圖1示意性地示出根據(jù)本發(fā)明一實施例的使包括物體61、62的場景60成像以確 定物體表面元的反射率的3D門選成像系統(tǒng)20。作為示例，假設(shè)3D門選成像系統(tǒng)20為3D門選成像器。該3D門選成像器可任選地 包括通過可任選紅外(IR)光的至少一個光脈沖照亮場景60的光源22 ；以及包括諸如舉 例而言門選CCD或CMOS感光表面的像素陣列25的可門選感光表面24?？扇芜x地，可門選 感光表面是前面引述的美國專利公開2007/0091175中記載的感光表面。以具有光心27和 用虛線29示出的光軸的透鏡26為代表的透鏡或光學(xué)系統(tǒng)采集來自場景60的光并在感光 表面24上使所采集的光成像。控制器28控制光源22和感光表面24以使感光表面的門選 與光源22發(fā)出的至少一個脈沖的發(fā)射時間同步以照亮場景60并確定至場景區(qū)域的距離。 原點位于光心27并且ζ軸與光軸29重合的坐標(biāo)系80用來方便對場景60特征的參照。在圖1中，舉例而言，各自由虛線圓弧和波浪箭頭示意性地表示的兩個IR光脈沖 41、42被示為通過光源22輻射出以照亮場景60。從光脈沖41或42由通過3D門選成像器 成像的場景60中的表面元反射出的光脈沖由波浪箭頭50表示。對每個表面元63、64均示 出波浪箭頭50。每個波浪箭頭50被示為從表面元沿從表面元至感光表面24內(nèi)使表面元成 像的像素25的直線(即成像方向)延伸。成像方向由從表面元起經(jīng)過以透鏡26為代表的 光學(xué)系統(tǒng)的光心27并終止在使表面元成像于其上的像素的直線界定。表面元63、64分別 具有成像方向51、52，并各自在加陰影以便解說的像素53、54上成像。有許多方法將感光表面24的門選與光源22所發(fā)出的光脈沖41、42同步，以確 定至表面元——諸如場景60的表面元63、64——的距離。這些方法中的一些記載在前 述美國專利 6，057，909,6, 100，517、7224384、美國專利申請 2007/0091175 和 PCT 申請 IL2007/001571 中。圖2示意性地示出具有時間線101、121的圖表100，其示出門選感光表面24與諸 如圖1所示光脈沖41、42的光脈沖同步的示例性方法，這些光脈沖由光源22發(fā)出以確定與 場景60中特征的距離。時間線101示意性地表示所發(fā)射的光脈沖41、42和由場景60的表面元從所發(fā)射 光脈沖反射的諸如圖1光脈沖50的光脈沖的時序。所發(fā)射光脈沖41沿時間線101由帶陰 影的實線矩形141表示，該矩形141頂上具有從左指向右的頂上箭頭，用來指示光脈沖中的 光是從3D門選成像器20射出的。同樣，所發(fā)射光脈沖42沿時間線101由帶陰影的實線矩 形142和相關(guān)聯(lián)頂上箭頭表示。假設(shè)光脈沖141、142分別在時間t41和t42由光源22發(fā)出 并具有相同脈寬“ τ ”。光脈沖“座落”在陰影帶104上并且IR背景帶104高于時間線的高 度示意性地表示周圍環(huán)境IR光的強度。由場景60的與3D門選成像器20相距距離“D”的任意給定表面元從光脈沖141、 142反射的光脈沖分別由帶陰影的虛線矩形151、152表示。每個虛線矩形具有從右指向左 的頂上箭頭以表示該光脈沖中的光是“輸入”回3D門選成像器的。經(jīng)反射的光脈沖具有與 其反射來源的發(fā)射脈沖的脈寬相等的脈寬τ。經(jīng)反射的光脈沖151和152可例如代表分別 由圖1所示的區(qū)域63或區(qū)域64從發(fā)射光脈沖141、142反射的光脈沖。令“C”代表光速，經(jīng)反射的光脈沖151和151中的光首先分別在時間t41+At禾口 t42+ Δ t到達3D門選成像器，其中Δ t = 2D/c是光子從光源22至反射表面元、并返回到3D 門選成像器20的往返時間。來自給定反射光脈沖的光繼續(xù)入射到3D門選成像器20上長 達從反射光脈沖中的第一個光子到達3D成像器的時間開始的周期τ。周期，即門選一控制器28對此選通感光表面24使之打開并且感光表面內(nèi)的像 素25對由透鏡26成像在感光表面上的光敏感——由沿時間線121的實線矩形表示。例如， 在發(fā)射光脈沖141之后，在時間tFg，感光表面24針對具有可任選地等于光脈寬τ的門寬 的被稱為“前門選”的第一門選161以及同樣可任選地具有門寬τ的第二時間相鄰的“后 門選” 162選通。如果從場景60的給定表面元反射的光脈沖中的光在前門選和/或后門選 161、162期間到達3D門選成像器20，則來自給定表面元的光將分別在前門選和/或后門選 期間在使表面元成像的像素上配準(zhǔn)。對于前門選161開始的時間tFg，來自3D門選成像器 20視野內(nèi)并處于距離(c/2) (tFg- τ )和(c/2) (tFg+2 τ )之間的距離“D”的場景60的任何 區(qū)域的光將在前和/或后門選161和/或162期間被配準(zhǔn)。在門選期間由像素25配準(zhǔn)的光的量包括在門選期間由3D成像器20采集和成像 的IR背景光104 ；以及在門選期間由成像在像素上的場景60的給定表面元從發(fā)射光脈沖 反射并到達3D成像器的光。門選中帶陰影的基區(qū)163、164代表在前門選和后門選161、162期間由像素配準(zhǔn)的 背景光的量104。在前門選161或后門選162期間場景60的給定表面元成像于其上的像 素所配準(zhǔn)的從光脈沖141反射的光的量取決于給定表面元所在的范圍為從(c/2) (tFg- τ ) 至(c/2) (tFg+2 τ )的距離。例如，如果給定表面元位于距離D的位置，且距離D滿足(c/2) (tFg- τ ) ^ D ^ (c/2) (tFg)，則像素僅在前門選期間配準(zhǔn)所反射的光。如果D= (c/2) (tFg)， 則像素在前門選161期間基本上配準(zhǔn)到達3D門選成像器20的來自給定表面元的全部反射 光。如果D滿足約束條件(c/2) (tFg < D < c/2) (tFg+τ)，則像素在前門選和后門選兩者期間配準(zhǔn)所反射的光。如果D = (c/2) (tFg+ τ /2)，則像素將在前門選期間配準(zhǔn)來自給定區(qū)域 的一半反射光并在后門選期間配準(zhǔn)反射光的另一半。并且如果(c/2) (tFg+ τ ) ^D^ (c/2) (tFg+2 τ )，則像素僅在后門選162期間配準(zhǔn)反射的光。作為示例，在圖2中，假設(shè)將來自反射光脈沖141的光作為反射IR光脈沖151反射 回3D成像系統(tǒng)20的給定表面元是成像于像素53上的表面元63。進一步假設(shè)區(qū)域63位于 離成像系統(tǒng)距離為D的位置且D滿足約束條件(c/2) (tFg < D < c/2) (tFg+τ )。結(jié)果，像素 63在前門選161和后門選162兩者期間配準(zhǔn)來自反射的光脈沖151的光。前、后門選161、 162內(nèi)高于基區(qū)163、164的陰影區(qū)165和166代表分別在前、后門選期間由像素53配準(zhǔn)的 反射光的量151。由給定像素25在前門選161和/或后門選162期間配準(zhǔn)的從發(fā)射光脈沖反射的 光的量以及前門選相對于發(fā)射光脈沖的開始時間TFg如業(yè)內(nèi)已知的可用來確定至成像在給 定像素上的場景60的表面元的距離。然而，總的來說，由表面元從發(fā)射光脈沖反射并在前 和/或后門選161和/或162期間由給定像素配準(zhǔn)的光的量當(dāng)然不僅僅是反射脈沖和背景 光的到達時間的函數(shù)。該光量也是尤其發(fā)射脈沖中的光強度、透鏡26在表面元對向的立體 角、以及對于發(fā)射光脈沖中的光的表面元反射率的函數(shù)。為了提供至表面元的距離D的值，在前門選161和后門選162期間由給定像素配 準(zhǔn)的反射光脈沖151中的光的量被歸一化至反射光脈沖中從表面元到達3D成像器20的 反射光脈沖中的總光量。還較為有利地為背景光校正配準(zhǔn)的光。為了確定感光表面24中 的像素25在門選期間配準(zhǔn)的背景光163、164的量，在從發(fā)射光脈沖(例如圖2中的光脈沖 141和142)反射的光沒有到達3D成像系統(tǒng)20的這段時間內(nèi)將感光表面24選通長達被稱 為“背景門選”的周期。在圖2中，作為示例，感光表面24被指示為在IR反射脈沖151到達3D成像器20 之后的某一時間在可任選地具有等于τ的背景門選170期間被選通，在這段時間沒有來自 發(fā)射IR脈沖(例如脈沖141)的光入射到3D成像器上。由成像給定表面元的像素25所配 準(zhǔn)的背景光示意性地由門選170中的陰影區(qū)域171表示。將用來歸一化光從脈沖151反射的在前門選和/或后門選161、162期間由像素25 配準(zhǔn)的光的量稱為“歸一化光”。可任選地，為了確定用于歸一化從第一發(fā)射光脈沖反射的 在前門選和后門選161、162期間由像素25配準(zhǔn)的光的歸一化光量，在發(fā)出第二光脈沖后將 感光表面24選通長達相對長的“歸一化門選”。如果第一和第二光脈沖具有脈寬τ，且前、 后門選也具有τ的門寬，則歸一化門選較為有利地具有基本上等于4 τ的門寬。如果前門 選開始于發(fā)出第一光脈沖之后的時間tFg，則歸一化門選較為有利地在發(fā)出第二發(fā)射脈沖時 間之后的時間(tFg_T)開始。歸一化門選的門寬和時序使歸一化門選期間由每個像素25 配準(zhǔn)的光的量基本上等于從來自成像在像素上的場景64的表面元的到達3D門選成像器20 的第一脈沖反射的光的總量。在圖2中，用來確定像素25、光脈沖141以及前門選161和后門選162的歸一化光 的歸一化門選180示意性地沿時間線121示出。歸一化門選180具有等于4 τ的門寬并在 t2之后的時間(tFg_T)開始。在歸一化門選期間由使表面元63成像的像素53配準(zhǔn)的歸一 化光示意性地由門選180中的陰影區(qū)181表示。歸一化門選180中的陰影基區(qū)182表示在 歸一化門選期間由像素配準(zhǔn)的IR背景光。
假使在前門選、后門選、背景門選和歸一化門選161、162、170、180期間配準(zhǔn)的光 的量分別由QF、QB、QBg和Qn表示。假使Q/、Q/和Q/為由像素25配準(zhǔn)并為背景光校正的光 的量，由此 然后可根據(jù)下列等式確定至場景60成像在像素25上的表面元——例如區(qū)域63 或區(qū)域64——的距離D = (c/2) [ (tFg+ τ ) + (I-QbVQn*) τ ]如果 Qf* 乒 0 且 Qb* = 0 (7)從前面內(nèi)容可以看出，3D成像器20提供成像在感光表面24上的場景60特征的 距離映射，并另外提供場景的IR光圖像，即IR強度圖像。距離映射包括對成像在感光表面 24上的場景60的每個表面元確定的距離D。IR圖像包括由每個像素配準(zhǔn)的IR光的量Qn
或 Qn* ο要注意，盡管配準(zhǔn)光量Qf、Qb、Qbs在圖2中表示為從單個發(fā)射脈沖141確定，然而 配準(zhǔn)光量當(dāng)然也可從一串光脈沖和脈沖串內(nèi)每個光脈沖之后的關(guān)聯(lián)前門選、后門選和背景 門選確定。同樣，Qn可從一串光脈沖和關(guān)聯(lián)的歸一化門選確定。根據(jù)本發(fā)明的一個實施例，由3D門選成像器20提供的信息被用來確定場景60的 表面元的反射率。具體而言，至表面元的距離信息和表面元的圖像信息，即成像在使表面元 成像的像素上的IR光量Q/被用來提供場景表面元的IR反射率的值。如可任選地根據(jù)等式(2)-(7)由3D門選成像器20針對場景60的表面元確定的成 像方向和距離D提供該表面元的3D空間坐標(biāo)。例如，表面元63、64的成像方向51、52(圖 1)以及至表面元的距離為每個表面元提供(X，y, ζ)坐標(biāo)，可任選地提供相對于坐標(biāo)系80 的(x，y，z)坐標(biāo)。多個表面元的坐標(biāo)界定一個表面，表面元S(x，y，z)是該表面的一部分。 該表面可響應(yīng)于表面上表面元的坐標(biāo)通過下面形式的等式定義z-F (x, y) = 0(8)盡管函數(shù)F(x，y)是可定義的，例如響應(yīng)于由配準(zhǔn)在像素25上的光提供的表面元 坐標(biāo)通過多種曲線擬合方法中的任一種定義為連續(xù)函數(shù)，但該坐標(biāo)自然也提供作為離散函 數(shù)的 F(x，y)。將表面上的位置(x，y，z)處的表面S(x，y，z)的法線單位矢量通過 (X，y,Ζ)表示。 則fi(x，y，z)具有X、y, 分量，即方向余弦，它們等于Qf* = (Qf-QbsQb* = (Qf-QbsQN* = (QN-4Q,
⑵ ⑶ ⑵D = (c/2) [tFg-(I-QfVQn*) τ ]D = (c/2) [tFg+(I-QfVQn*) τ ]
如果Qf*乒0且Qb* = 0 (5) 如果Qf*乒0且Qb* Φ 0 (6)
權(quán)利要求
1.一種成像系統(tǒng)，包括光源，所述光源通過已知強度光照亮場景；相機，所述相機具有響應(yīng)于來自照射已知強度光的被場景反射的光使場景成像的光軸 和光心；測距儀，所述測距儀可控制以確定至由相機成像的場景表面元的距離；控制器，所述控制器被配置成響應(yīng)于表面元與相機的距離、照射光和來自相機成像的 表面元的光的已知強度來確定由相機成像的場景的表面元的反射率。
2.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，所述控制器處理所確定的距離以限定由相機成像的場景表面元的法線。
3.如權(quán)利要求2所述的成像系統(tǒng)，其特征在于，所述控制器響應(yīng)于表面元的法線來確 定場景表面元的反射率。
4.如權(quán)利要求3所述的成像系統(tǒng)，其特征在于，所述控制器確定相機成像的表面元的 成像方向，相機沿所述成像方向使來自表面元的光成像。
5.如權(quán)利要求4所述的成像系統(tǒng)，其特征在于，所述成像方向平行于從表面元至相機 光心的直線。
6.如權(quán)利要求4所述的成像系統(tǒng)，其特征在于，所述成像方向平行于相機的光軸。
7.如權(quán)利要求4-6中的任一項所述的成像系統(tǒng)，其特征在于，所述控制器響應(yīng)于成像 方向確定表面元的反射率。
8.如權(quán)利要求7所述的成像系統(tǒng)，其特征在于，所述控制器響應(yīng)于法線與平行于成像方向的矢量的點積來確定表面元的反射率。
9.如權(quán)利要求4-8中的任一項所述的成像系統(tǒng)，其特征在于，所述控制器被配置成響 應(yīng)于對相機成像的表面元確定的反射率與表面元成像方向和法線之間的夾角的余弦之積 來標(biāo)識場景中的特征。
10.如權(quán)利要求1-9中的任一項所述的成像系統(tǒng)，其特征在于，所述控制器被配置成響 應(yīng)于由相機成像的表面元的確定反射率來標(biāo)識場景中的特征。
11.如權(quán)利要求4-9中的任一項所述的成像系統(tǒng)，其特征在于，所述成像系統(tǒng)包括配置 成提供場景圖像的控制器，其中所述場景圖像中的像素的灰度級基本上等于對成像在像素 上的表面元確定的反射率與表面元成像方向和法線之間的夾角的余弦之積。
12.如權(quán)利要求1-11中的任一項所述的成像系統(tǒng)，其特征在于，所述成像系統(tǒng)包括控 制器，所述該控制器被配置成提供包括灰度級基本與對成像在像素上的場景表面元確定的 反射率成比例的圖像像素的場景圖像。
13.如權(quán)利要求1-12中的任一項所述的成像系統(tǒng)，其特征在于，所述測距儀包括門選 飛行時間測距儀。
14.如權(quán)利要求2-13中的任一項所述的成像系統(tǒng)，其特征在于，所述成像系統(tǒng)包括光 源，所述光源可控制以通過響應(yīng)于其各法線的光強度彼此獨立地照亮場景的不同區(qū)域。
15.如權(quán)利要求1-14中的任一項所述的成像系統(tǒng)，其特征在于，所述成像系統(tǒng)包括光 源，所述光源可控制以通過響應(yīng)于其各折射率的光強度彼此獨立地照亮場景的不同區(qū)域。
16.一種確定場景表面元的反射率的方法，所述方法包括通過已知強度的光來照亮場景；通過由表面元從已知強度光反射的光使表面元成像；確定至場景的多個表面元的距離；響應(yīng)于所確定的距離來確定表面元的法線；以及響應(yīng)于所述法線以及來自由表面元反射和成像的已知強度光的光的量來確定表面元 的反射率。
17.如權(quán)利要求16所述的方法，其特征在于，所述方法包括確定來自表面元的光成像 基本上所沿的成像方向。
18.如權(quán)利要求17所述的方法，其特征在于，所述方法包括響應(yīng)于成像方向確定反射率。
19.如權(quán)利要求18所述的方法，其特征在于，所述方法包括通過具有光心的相機使場 景成像，而確定所述成像方向包括將成像方向確定為平行于從表面元至相機光心的直線的 方向。
20.如權(quán)利要求18所述的方法，其特征在于，所述方法包括通過具有光心的相機使場 景成像，而確定所述成像方向包括將成像方向確定為平行于光軸的方向。
21.如權(quán)利要求18-20中的任一項所述的方法，其特征在于，所述方法包括響應(yīng)于法線 和平行于成像方向的矢量的點積來確定表面元的反射率。
22.如權(quán)利要求17-21中的任一項所述的方法，其特征在于，所述方法包括響應(yīng)于反射 率乘以成像方向和法線之間的夾角的余弦之積來標(biāo)識場景中的特征。
23.如權(quán)利要求16-22中的任一項所述的方法，其特征在于，所述方法包括響應(yīng)于反射 率來標(biāo)識場景中的特征。
24.如權(quán)利要求17-22中的任一項所述的方法，其特征在于，所述方法包括提供場景圖 像，其中使表面元成像的圖像中像素的灰度級基本上等于所確定的反射率與成像方向和法 線之間的夾角的余弦之積。
25.如權(quán)利要求16-22中的任一項所述的方法，其特征在于，所述方法包括提供場景圖 像，其中所述場景圖像中使表面元成像的像素的灰度級基本上與反射率成比例。
全文摘要
一種成像系統(tǒng)，包括光源，該光源通過已知強度光照亮場景；相機，該相機具有響應(yīng)于被場景從照射已知強度光反射的光使場景成像的光軸和光心；測距儀，該測距儀可控制以確定至由相機成像的場景表面元的距離；控制器，該控制器被配置成響應(yīng)于表面元離相機的距離、照射光和來自由相機成像的表面元的光的已知強度來確定由相機成像的場景表面元的反射率。
文檔編號G01B11/10GK102112844SQ200980130780
公開日2011年6月29日 申請日期2009年7月29日 優(yōu)先權(quán)日2008年7月29日
發(fā)明者S·卡茨 申請人:微軟國際控股私有有限公司