專利名稱：3d飛行時間相機(jī)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于獲取關(guān)于場景的信息(具體地，用于獲取場景的深度圖像、關(guān)于參考信號和場景的入射輻射之間的相移的信息、或關(guān)于場景的環(huán)境信息)的3D飛行時間(3D time-of-flight)相機(jī)和對應(yīng)的3D飛行時間方法。另外，本發(fā)明涉及用于在這種3D飛行時間相機(jī)和方法中所使用的處理器和對應(yīng)的處理方法。另外，本發(fā)明涉及用于將這種處理方法實(shí)現(xiàn)在計算機(jī)上的計算機(jī)程序和存儲這種計算機(jī)程序的計算機(jī)可讀非暫存性介質(zhì)。
背景技術(shù)：
3D飛行時間(ToF)相機(jī)通過確定輻射(優(yōu)選地為光)從源到對象并返回到相機(jī)所需的時間來獲得深度圖像。這通常通過斷續(xù)地照亮場景并將時間窗口(嚴(yán)格地講，窗口的序列)的卷積應(yīng)用到反向散射的入射光信號來實(shí)現(xiàn)。連續(xù)波ToF相機(jī)利用周期性調(diào)制的光源來照亮場景，并且，測量相對于射出信號的反光散射信號的相移。該相移與飛行時間成正t匕，因此，其包括距離信息。通常，三個量是未知的并必須針對每個像素單獨(dú)確定對象的距離、其反射率和環(huán)境光的強(qiáng)度。因此，為了確定這些未知量一個或多個(取決于未知量的數(shù)目)測量是必須的，例如，在三個未知量的情形中，至少需要三個測量。在Schwarte、R.、Heinol、H. G.、Xu、Z.、Hartmann、K.在 Casasent D. P. (ed.)光學(xué)照相器工程師(SPIE)會議系列vol. 2588、第126頁至第134頁(1995)的New active3D vision system based on rf-modulation interferometry of incoherent light 和Spirig、T.、Seitz、P.、Heitger、F.在 IEEE J.量子電子學(xué) 31 第 1705 頁至第 1708 頁(1995)的The lock-in CCD. Two-dimensional synchronous detection of light 中，描述了一種連續(xù)波ToF傳感器(PMD)傳感器。在如下文獻(xiàn)中可找到有關(guān)ToF相機(jī)的一般技術(shù)的更多信息Elkhalili、0.、Schrey、0.、Ulfig、W.、Brockherde、W.、Hosticka、B. J.、MengeK P.、ListKL.的 A 64x8pixel 3-D CMOS time-of flight image sensor for carsafety applications(2006)、http ://www. canesta. com/assets/pdf/technicalpapaers/CVPR Submission TOF.pdf 中的 A time-of-flight depth sensor-System description、Oggier、T.、Lehmann、M.、Kaufmann、R.、Schweizeer^ M.、Richter、M.、Metzler、P.、Lang、G.、Lustenberger^ F.、Blanc、N.在 SPIE 2003 會議集第 534 頁至第 545 頁 2003 中的 An all-solid-state optical range camera for 3Dreal-time imaging with sub-centimeter depth resolution (2004)、以及 Ringbeck、T.、Hagebeuker. B.在2007年7月9日至12日在ETH蘇黎世舉辦的的光3-D測量技術(shù)分會范圍成像 I 中的 A 3D time-of-flight camera for object detection。許多已知的TOF相機(jī)(例如，如在以上引用的Ringbeck、T.和其他的公開中所描述的)使用特殊的傳感器，該特殊的傳感器針對每個像素利用兩個量子阱(quantum well)來檢測信號的相關(guān)函數(shù)，該檢測信號用電子參考信號來表示所檢測的輻射(具體地，光)。入射光子生成電子，這些電子由轉(zhuǎn)換器分到該兩個量子阱、轉(zhuǎn)換成電壓、被放大并作為兩個數(shù)字值(還稱為“樣本”)給出。轉(zhuǎn)換器與光源同步，因此，兩個數(shù)字值對應(yīng)于彼此相移180°的相關(guān)函數(shù)的兩個樣本。通過將參考信號延遲某個角度 ，傳感器能夠?qū)ο嚓P(guān)函數(shù)的任意點(diǎn)進(jìn)行抽樣。通常， 被選作{0°、90°、180°、270° }，通過量子阱A和B 二者所獲得的數(shù)據(jù)分別對應(yīng)于 和 +180°。這給出了八個樣本A_0、A_90、A_180、A_270，并同時獲得了 B_180、B_270、B_(^PB_90。因此，每個點(diǎn) 被抽樣兩次(例如，A_0和B_0)。其原因在于需要補(bǔ)償傳感器的不均一，因?yàn)榱孔于錋和B以及其放大路徑并不均等地響應(yīng)輻射。然后，對八個樣本的平均被使用，以獲得相移的一個值，并從中獲得距離的一個值
發(fā)明內(nèi)容

本發(fā)明的目的是提供3D飛行時間相機(jī)和對應(yīng)的3D飛行時間方法，通過該相機(jī)和方法，可從更少的樣本中獲得關(guān)于場景的所希望的信息，這導(dǎo)致提高的幀率和使能實(shí)時應(yīng)用。本發(fā)明的另一目的是提供處理器、對應(yīng)的處理方法，以及對應(yīng)的用于實(shí)現(xiàn)所述處理方法的計算機(jī)程序和計算機(jī)可讀非暫存性介質(zhì)。根據(jù)本發(fā)明的一個方面，提供了一種用于獲取關(guān)于場景的信息的3D飛行時間相機(jī)，具體地，該相機(jī)用于獲取場景的深度圖像、關(guān)于參考信號和場景的入射輻射之間的相移的信息、或關(guān)于所述場景的環(huán)境信息，所述相機(jī)包括-輻射源，該輻射源生成并發(fā)射電磁輻射，以用于照明所述場景，-輻射檢測器，該輻射檢測器檢測從所述場景反射的電磁輻射，所述輻射檢測器包括一個或多個像素，具體地，像素陣列，其中，所述一個或多個像素單獨(dú)檢測從所述場景反射的電磁輻射，其中，像素包括兩個或更多個檢測單元，每個檢測單元檢測兩個或更多個樣本的樣本集的樣本，以及-評估單元，該評估單元評估所述兩個或更多個檢測單元的所述樣本集，并且，從所述樣本集生成與場景相關(guān)的信息，其中，所述評估單元包括-整流單元，該整流單元通過利用預(yù)定整流操作符來對所述樣本集的樣本的子集進(jìn)行整流，該預(yù)定整流操作符定義了由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)度，以及-信息值計算器，該信息值計算器從整流樣本的所述子集和所述樣本集的剩余樣本確定所述與場景相關(guān)的信息的信息值。根據(jù)本發(fā)明的另一方面，提供了一種用于在獲取關(guān)于場景的信息的3D飛行時間相機(jī)中使用的處理器，具體地，用于獲取場景的深度圖像、關(guān)于參考信號和場景的入射輻射之間的相移的信息、或關(guān)于所述場景的環(huán)境信息，所述3D飛行時間相機(jī)包括輻射源，該輻射源生成并發(fā)射電磁輻射，以用于照明所述場景，以及輻射檢測器，該輻射檢測器檢測從所述場景反射的電磁輻射，所述輻射檢測器包括一個或多個像素，具體地，像素陣列，其中，所述一個或多個像素單獨(dú)檢測從所述場景反射的電磁輻射，其中，像素包括兩個或更多個檢測單元，每個檢測單元檢測兩個或更多個樣本的樣本集的樣本，所述處理器操作用于評估所述兩個或更多個檢測單元的所述樣本集并從所述樣本集生成與場景相關(guān)的信息，其中，所述處理器包括-整流單元，該整流單元通過利用預(yù)定整流操作符來對所述樣本集的樣本的子集進(jìn)行整流，該預(yù)定整流操作符定義了由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)度，以及-信息值計算器，該信息值計算器從整流樣本的所述子集和所述樣本集的剩余樣本確定所述與場景相關(guān)的信息的信息值。根據(jù)本發(fā)明的又一方面，提供了用于獲取場景的深度圖像的3D飛行時間方法和處理方法。根據(jù)另外的方面，提供了一種計算機(jī)程序，該計算機(jī)程序包括程序裝置，當(dāng)所述 計算機(jī)程序被在計算機(jī)上執(zhí)行時，所述程序代碼裝置導(dǎo)致計算機(jī)執(zhí)行根據(jù)本發(fā)明的處理方法的步驟，還提供了一種計算機(jī)可讀非暫存性介質(zhì)，指令存儲在該介質(zhì)上，當(dāng)該指令被在計算機(jī)上執(zhí)行時，導(dǎo)致所述計算機(jī)執(zhí)行根據(jù)本發(fā)明的處理方法的步驟。發(fā)明的另外的優(yōu)選實(shí)施例被定義在從屬權(quán)利要求中。應(yīng)當(dāng)理解，所要求權(quán)利的方法、要求權(quán)利的計算機(jī)程序和要求權(quán)利的計算機(jī)可讀介質(zhì)具有與要求權(quán)利的3D飛行時間相機(jī)和定義在從屬權(quán)利要求中的類似和/或相同的優(yōu)選實(shí)施例。本發(fā)明基于利用異質(zhì)參數(shù)(inhomogeneity parameters)的想法,例如，從隱式的實(shí)時估計中所獲得，由整流操作符來表示以用于對相關(guān)函數(shù)的所獲得樣本的校正的異質(zhì)參數(shù)。因此，像素的不同檢測單元(也稱為抽頭(tag))的不同特征曲線的影響被補(bǔ)償。因此，不再需要慣常所使用的平均技術(shù)。這使能用更少的樣本并無另外的系統(tǒng)錯誤的情況下對與場景相關(guān)的信息的計算，例如，用于確定場景的對象的距離的相移。另外，例如，這使能針對每個像素的預(yù)定數(shù)目的原始樣本的每個集合的多個獨(dú)立深度圖的計算，從而導(dǎo)致提升的幀率。根據(jù)發(fā)明，檢測單元的樣本集被評估，以生成所希望的與場景相關(guān)的信息。出于該目的，所述樣本集的樣本子集被形成，并且，通過利用預(yù)定的整流操作符，該子集的樣本被整流，該預(yù)定的整流操作符定義由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)度。然后，所述與場景相關(guān)的信息的信息值被從已整流的樣本的所述子集和樣本集的剩余樣本中確定，優(yōu)選地，從已獲得子集的樣本的相同樣本集的已整流的樣本的所述子集和樣本集的剩余樣本中確定。優(yōu)選地，本發(fā)明被應(yīng)用于獲取場景的深度圖像。針對這類應(yīng)用，所述評估單元操作用于生成與場景相關(guān)的關(guān)于場景的一個或多個對象的距離的信息、場景的一個或多個對象的反射率和/或非調(diào)制輻射的強(qiáng)度(包括環(huán)境輻射，具體地，環(huán)境光)，即，所述與場景相關(guān)的信息可以是距離信息、反射率信息和/或背景輻射的強(qiáng)度信息。但是，發(fā)明還可被應(yīng)用于其他應(yīng)用，例如，用于獲取關(guān)于相移的信息或關(guān)于場景的環(huán)境信息。這種其他應(yīng)用包括熒光壽命成像(FUM)，例如，多抽頭FLIM，其中樣本的相移利用顯微鏡被測量，以及，用以估計環(huán)境參數(shù)(例如，溫度、氧濃度等)的應(yīng)用。利用壓敏涂料(PSP)的應(yīng)用也可從發(fā)明中受益。雖然通常很寬范圍的電磁輻射可利用發(fā)明，S卩，發(fā)明可被用在利用各種不同輻射的各種不同應(yīng)用中，但是，發(fā)明有限地被應(yīng)用于紅外線、可見光或紫外線光。一般而言，輻射源和輻射檢測器被相應(yīng)地適配于所使用的輻射類型。如果需要，合適的轉(zhuǎn)換器(在檢測器中或與檢測器一起)可被用于將所檢測到的輻射轉(zhuǎn)換成優(yōu)選的波長范圍，以用于進(jìn)一步的處理和評估。


參照此處之后所描述的實(shí)施例，本發(fā)明的這些和其他方面將很顯然，并且本發(fā)明的這些和其他方面將在以下詳細(xì)說明。在以下的附圖中圖I示出了根據(jù)本發(fā)明的3D ToF相機(jī)的示意圖，圖2示出了用于在這種3D ToF相機(jī)中使用的根據(jù)本發(fā)明的輻射檢測器的實(shí)施例的示意圖，圖3示出了由這 種輻射檢測器所獲得的三幀樣本，圖4A和圖4B示出了根據(jù)本發(fā)明的方法的關(guān)鍵步驟，圖5示出了圖示在數(shù)幀上繪制的兩個檢測單元的輸出的時間進(jìn)展的示圖，圖6示出了圖示與檢測單元的多個輸出樣本相適應(yīng)的曲線的示圖，圖7示出了哪些樣本可被組合，以用于確定場景相關(guān)的信息的信息值，圖8A至圖SC示出了根據(jù)本發(fā)明的方法的另外的實(shí)施例，圖9示出了包括兩個檢測單元的像素的示意圖，以及圖10示出了用于描述本發(fā)明的模型的示意圖。
具體實(shí)施例方式在圖I中示出了根據(jù)本發(fā)明的3D ToF相機(jī)10的一般布局的示意圖。這種相機(jī)10通常用于獲得關(guān)于場景2的信息。這種信息可具體地包括用于生成場景的深度圖像的信息、關(guān)于場景的相移的信息、或關(guān)于場景的環(huán)境信息。作為示例，以下的描述將集中于對深度圖像的獲得，具體地，集中于對距離信息的獲取，該距離信息關(guān)于在圖I中所示的實(shí)施例中的場景2的一個或多個對象(背景對象4a和前景對象4b)距離相機(jī)10的距離。除了場景2的一個或多個對象4的反射率和非調(diào)制輻射(其包括環(huán)境光和由輻射源所發(fā)射出的非調(diào)制光)6的強(qiáng)度以外，該距離信息是將要確定的能夠生成場景2的深度圖像的三個未知因素中的一個。相機(jī)10包括生成并發(fā)射電磁輻射13以用于照亮所述場景2的輻射源12以及檢測從所述場景2反射的電磁輻射15的輻射檢測器14。在本實(shí)施例中，輻射源12由源控制器(或驅(qū)動器)11控制，該源控制器(或驅(qū)動器)11在其他實(shí)施例中可被包括在源12中。所述輻射檢測器14包括一個或多個像素16，具體地，包括像素的二維陣列，其中，所述一個或多個像素16單獨(dú)檢測從所述場景2 (更精確地，從場景的對象4a、4b)所反射的電磁輻射15a、15b。如以下將詳細(xì)說明的，所述像素中的每一個包括兩個或更多個檢測單元，該檢測單元中的每一個檢測兩個或更多個樣本的樣本集的樣本。輻射檢測器14包括裝置，該裝置導(dǎo)致所測量的像素信號取決于入射輻射光和參考信號之間的時間延遲。該能力是ToF系統(tǒng)的重要組件。針對脈沖ToF系統(tǒng)，這可以使所測量的強(qiáng)度的變化，其由快門(其可以是檢測器的一部分(例如，電子快門)或體現(xiàn)為位于檢測器14和場景2之間的另外原件(例如，物理快門))所導(dǎo)致。在連續(xù)波ToF系統(tǒng)中，這種時間延遲被解釋為在入射輻射信號和電子參考信號之間的相移。從該時間延遲，可以測量從源12到對象4a并從該對象到檢測器14所需的輻射時間。類似地，可測量從源12到對象4b并從該對象到檢測器14的時間。在深度成像中，假定在照射對象4a和4b以及其光學(xué)響應(yīng)之間不存在延遲。因此，從輻射的已知速度(其為光在周圍環(huán)境中的速度)和輻射經(jīng)由對象4a和4b覆蓋從源12到檢測器14的距離所需的所測量的時間，可計算對象的距離。在FILM(熒光壽命成像)應(yīng)用中，對象的距離是已知的(或可忽略的、或另外測量的)，但是響應(yīng)延遲(在光分別碰到對象4a和4b以及由檢測器14所檢測到的由這些對象發(fā)射光之間的延遲)是未知的并必須測量的。取決于對象的特點(diǎn)(很可能由染料修改)，該時間延遲提供關(guān)于環(huán)境參數(shù)(例如，本地氧濃度、溫度等)的信息。此處應(yīng)當(dāng)注意，從對象4a和4b所反射的輻射通常不會被混合到單個像素上，而是光學(xué)確保在對象空間中的不同點(diǎn)由不同的像素成像。如果兩個對象由單個像素成像，則該像素測量導(dǎo)致偽影(artifact)(飛行像素)的錯誤值，本發(fā)明并不涉及這方面。例如，前景中的對象和背景中的對象之間的深度邊緣可導(dǎo)致這種偽影在邊緣處所測量的深度植通常既不被估計為前景，也不估計為背景深度，而是其他的。具體地，為了形成用于照亮場景2的輻射光束13和/或?qū)⑺瓷涞妮椛?5聚焦在輻射檢測器14上，還可設(shè)置諸如光透鏡、聚焦原件等之類的可選裝置。例如，如在圖I中所示，光透鏡17和基帶濾波器可被設(shè)置在輻射檢測器14的前方，以用于收集所反射的輻射并用于僅使所反射的輻射通過具有與照射輻射13相同波長的檢測器14。優(yōu)選地，紅外光被用于照明并用于檢測，但是，根據(jù)本發(fā)明，還可使用可見光、或UV光、或其他電磁輻射。一般而言，所使用的輻射被從波長范圍在0. Inm和Icm之間中選擇，具體地，在IOnm和Imm之間選擇。所發(fā)射出的輻射可被持續(xù)射出(例如，被正弦調(diào)制)，或可被脈沖化。通常的情形是使用突發(fā)模式，其中，輻射源被持續(xù)驅(qū)動(例如，用正弦激勵函數(shù))，但該驅(qū)動僅在獲取樣本期間進(jìn)行。在其他時候，其被切換至關(guān)斷，以允許輻射源冷卻并將平均強(qiáng)度保持在最低處(出于眼睛安全的原因)。因此，在大的時間尺度上，其實(shí)際上不是真正連續(xù)的。在任意情形中，檢測器和對所獲得的像素的后續(xù)處理被隨后適當(dāng)?shù)剡m應(yīng)。從市場上作為利用脈沖輻射的示例的各種類型的3D ToF相機(jī)(例如，Z-Cam(3DV系統(tǒng)，以色列))和作為利用連續(xù)福射的示例的PMDCamCube (PMD技術(shù)，德國)或Swissranger SR4000 (梅薩成像，瑞士 )來看，連續(xù)發(fā)射輻射原理和脈沖輻射原理二者在3D ToF相機(jī)的使用中通常是已知的。如 Buettgen, B. ；Mechat, M. -A. E. ；Lustenberger, F. &Seitz、P.在 IEEETRANSACTIONS ON CIRCUITES AND SYSTEMS I-RE⑶LAR PAPERS, IEEE-INST ELECTRICALELECTRICAL ELECTRONICS ENGINEERS INC, {2007}, {54}， {2109-2119}的“Pesudonoiseoptical modulation for real-time 3D imaging with minimum interference” 中所描述的，還可使用非周期性輻射。當(dāng)使用脈沖輻射時，可從所反射的輻射的強(qiáng)度來獲得深度信息，而當(dāng)使用連續(xù)輻射時，可從所反射的輻射中的相位差來獲得深度信息。由于這些原理通常是已知的，因襲，此處不再提供進(jìn)一步的細(xì)節(jié)。相機(jī)10還包括評估單元18，該評估單元18評估輻射檢測器14的所述兩個或更多個檢測單元的所述樣本集并從所述樣本集生成與場景相關(guān)的信息。如上所述，所述與場景相關(guān)的信息可以是深度信息、相移信息、環(huán)境信息等。此處，將集中于將深度信息的生成作為示例。但是，以下參照圖所說明的本發(fā)明和元件也可類似地或相同地應(yīng)用于其他信息的 生成。在實(shí)施例中，可實(shí)現(xiàn)為處理器(例如，可編程微處理器或計算機(jī))或?qū)Ｓ糜布脑u估單元18包括整流單元20，該整流單元20通常針對每個像素的兩個或更多個檢測單元中的每一個利用預(yù)定的整流操作符來對樣本集的樣本子集進(jìn)行整流，該整流操作符定義了由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)。另外，評估單元18包括信息值計算器22，該信息值計算器22通常針對每個像素從已整流的樣本的所述子集和樣本集的剩余樣本來確定所述與場景相關(guān)的信息的信息值。在實(shí)施例中，相機(jī)10還包括整流操作符生成器24，該整流操作符生成器通過將多項式擬合(具體地，度為O、I或2)擬合到由特定像素的兩個不同的檢測單元所檢測到的樣本對(具體地，場景的本質(zhì)上靜止的區(qū)域的樣本)中來生成所述整流操作符。優(yōu)選地，所述整流操作符生成器24通過將多項式擬合(具體地，度為O、I或2)擬合到由特定像素的兩個不同的檢測單元針對相同的抽樣 模式所檢測到的樣本對來生成所述整流操作符。以下將詳細(xì)說明整流操作的生成。另外，在實(shí)施例中，設(shè)置了控制單元26，該控制單元26具體地通過控制所述輻射源12、檢測單元的抽樣模式、輻射源和檢測單元之間的同步和/或入射到輻射檢測器處的輻射的輻射路徑來臨時禁用相機(jī)10，以由所述檢測單元測量不同的量。在最一般的情形中，所述控制單元26能夠控制相機(jī)10的所有元件。如上所述，3D飛行時間(ToF)相機(jī)通過確定所發(fā)射的電磁輻射從源到對象再返回到相機(jī)所需的時間來獲得深度圖像。已經(jīng)開發(fā)了基于相位(連續(xù)波)和基于脈沖的ToF系統(tǒng)?；诿}沖的ToF系統(tǒng)發(fā)射眾多離散輻射脈沖，并且，測量時間t直到相機(jī)檢測到反相漫射的脈沖為止。連續(xù)波ToF相機(jī)利用周期性調(diào)制的光源來照射場景，并且，測量反相漫射信號相對于所發(fā)射的信號的相移。該相移與飛行時間t成正比。時間t與輻射從源到對象再返回到相機(jī)所經(jīng)過的距離成正比。如果輻射源位于相機(jī)附近，則對象的距離z可被計算為Z = -y-并且
<P 'C
Z ~ A-Tt-V(I)Cp是所測量的相移，c是光速，并且V是光源的調(diào)制頻率。連續(xù)波方法和基于脈沖的ToF方法二者都在某時間窗期間測量入射輻射。為了測量這些入射輻射，ToF系統(tǒng)使用帶有像素的輻射檢測器，每個像素通常具有至少兩個不同的檢測單元，利用參考信號，該檢測單元的敏感度可隨著時間變化。為了確保測量處理的高效，如在圖2(其描繪了包括眾多像素161、162、163、...的輻射檢測器14)中所示，眾多這種檢測單元161-1、161-2、. . .、161-M通常被組合在像素161中，但是，利用這種檢測單元中的一個的像素也是可行的。每個像素的檢測單元數(shù)將被表示為M。ToF傳感器(即，輻射檢測器14)通常包括眾多這種像素16，但是，僅利用單個像素的傳感器也是可行的。通常，所發(fā)射的輻射信號和參考信號是周期性的，但是，也示出了利用非周期性信號的系統(tǒng)。如果使用周期性信號，則參考信號和光信號的基頻通常被設(shè)置為相同值(零拍(homodyne) ToF系統(tǒng)),但是,也存在利用不同頻率的系統(tǒng)(外差(heterodyne) ToF系統(tǒng))。通過將在等同的基頻處所驅(qū)動的參考信號和輻射源信號同步，由單個檢測單元所確定的值對應(yīng)于參考信號和輻射源信號的互相關(guān)函數(shù)的樣本。通過在兩個信號之間引入另外的可控相移e，可以在各種角度0處對互相關(guān)函數(shù)進(jìn)行抽樣。ToF系統(tǒng)由每個檢測單元對眾多N個樣本(此處稱為“樣本集”)進(jìn)行抽樣。足夠數(shù)量的樣本能夠使得計算所成像的場景的未知量。因此，例一如，在參考信號和光源信號之間的相移Cp可被確定，其使能對對象距離的計算(參見方程(I))。N應(yīng)當(dāng)?shù)扔诨虼笥趯⒁烙嫷奈粗康臄?shù)量。例如，在用于測量深度圖的典型設(shè)置中，除了相移以外，幅度％和非調(diào)制光的強(qiáng)度％也是未知的。因此，至少必須有三個樣本來確定它們。通常，由于未知量的更簡單的數(shù)字重構(gòu)和更好的噪聲性能，選擇N = 4。在以下，將描述用于重構(gòu)描述場景的信息(具體地，在深度成像中所獲得的深度信息)的示例。矩形參考函數(shù)和正弦光源的相關(guān)函數(shù)I可被推導(dǎo)為
/ = (30 + O1 COS(沒 + (p)通過應(yīng)用四個延遲0 = {O。 、90° ,180° ,270° }可確定相關(guān)函數(shù)的四個樣本(IP...IJ。從這些樣本中，未知量可被計算為
+ /2 + T3 + T4an =—-------~
04aiJ(l4-^)2+(jS -A)T⑵
(p = arctan)利用方程(I)，可從9中計算距離z。這針對每個像素被單獨(dú)完成，其使能對密集的深度圖的計算。如上所述，ToF傳感器通常利用包括眾多M檢測單元的像素。由于這些檢測單元中的每一個獲得不同的樣本，因此,可并行獲得M個樣本。以下，這種對M個樣本的并行獲得將被稱為子幀。如果N > M，則多個子幀是必須的。一般而言，獲得L個子幀并用于對未知量的計算。這種L個子幀的集合建立了如在圖3中所示的幀f。如果N>= M，則理論上L = (N/M)四舍五入個子巾貞是足夠的。如果N < M,Mused = min(M,N)個檢測單元將是獲得所有所需樣本所必須的，并且，L = I個子幀將足夠。但是，當(dāng)今的ToF系統(tǒng)遭受不同檢測單元的異質(zhì)特點(diǎn)每個檢測單元的特征曲線是不同的，即，針對每個檢測單元，具體的理論測量值c(例如，相關(guān)函數(shù)Ii的樣本)所給出的測量值的量是不同的。直接使用這種由具有不同特征曲線的檢測單元所測量的原始數(shù)據(jù)將導(dǎo)致在重構(gòu)未知的場景參數(shù)(諸如，相移9)中的重大錯誤。一種防止這種錯誤的方法是用單獨(dú)分開的M檢測單元中的每一個來執(zhí)行N測量中的每一個(即，L = M)。然后，在所有檢測單元M上計算算術(shù)平均，并且，將其用于對未知量的重構(gòu)。該方法能夠抵消特征曲線的不同。但是，僅可補(bǔ)償至線性次序的不同。另外，要注意，L >= M個子幀是重構(gòu)未知量所需的數(shù)據(jù)所必須的。因此，即便是帶有許多并行檢測單元(更大的M)的復(fù)雜傳感器也不能使能更快的獲得處理。接下來，應(yīng)說明一般所使用的平均技術(shù)的示例。例如，所使用的傳感器通過PMD技術(shù)針對每個像素利用M =2個檢測單元。為了獲得N = 4個相關(guān)函數(shù)I的樣本，L= (4/2)四舍五入=2個子幀將足夠。為了防止上述錯誤，獲得L = 4個子幀，導(dǎo)致八個所測量的值。針對0 = {O。、90°、180°、270° }和名為A和B的抽頭(“檢測單元”)，這些所測量的值(“樣本”)稱為八(|、13(|、49(|、139(|、418(|、1318(|、427(|、1327(|(下標(biāo)表不所選的相移0 (用度數(shù)[° ]表示))。此處，由檢測單元A所獲得的樣本A。A9(I、A18(I、A27tl形成第一樣本集，而由檢測單元B所獲得的樣本B。、B90, B180, B270形成第二樣本集。然后，中間量可被計算為I0 = (A0+B0)/2,
I90 = (A90+B90)/2,I iso — (A180+B180) /2,I270 — (A27(I+B27CI)/2，其對應(yīng)于對原始數(shù)據(jù)進(jìn)行算術(shù)平均。這些中間量被用于利用方程(2)(例如，tP = arctan [(I270—工90)丨(Iiso — Io)])來計算相移9、a。和 ai。應(yīng)當(dāng)注意，本發(fā)明應(yīng)用于多抽頭傳感器(M> I)。其應(yīng)用于基于相位和基于脈沖的ToF0其應(yīng)用于深度成像、FLIM、以及所有其他用這種傳感器執(zhí)行的應(yīng)用。由于發(fā)明改善了傳感器原始數(shù)據(jù)，因此，其是獨(dú)立于應(yīng)用的。一般而言，本發(fā)明潛在的問題可按照以下明確地表達(dá)每個檢測單元m(m G {1，…，M})在每個獲取處理(子幀)1(1 e {I,..., M})中測量某抽樣模式n(n G {I, , N})、(理論)值cn,m(樣本)，并且,確定輸出值dn,m。實(shí)踐中,無法完美地實(shí)現(xiàn)該處理。其可被模型化為非線性失真cn,m — nonlinn,m ^ dnjD1(2. I)本發(fā)明提出按如下來校正輸出數(shù)據(jù)Clmnicn,m — Iionlinmni — dnjD1 ^ correct^ — d，◎(!’吣是^』已校正的測量值。所提出的校正獲得如下益處已校正的輸出值d’n,ffl僅取決于理論(輸入)值cn, ffl,并且，其不再取決于檢測單元m或測量所使用的抽樣模式n。因此 Cnljml = Cn2jm2 => (Ij nljml = (I1n2jm2,(3)針對所有nl、n2 G {I, . . . , N}和 ml、m2 G {1，...，M}。用于確定合適的校正的一種可能是執(zhí)行對ToF系統(tǒng)的明示的校準(zhǔn)。這需要裝置來生成被很好定義的輸入cn, m并測量系統(tǒng)的輸出dn, m。校正correctn, m可隨后被例如實(shí)現(xiàn)為查找表或適當(dāng)?shù)膮?shù)化方程，其以如下方式被定義其確保針對每個輸入cn,m，已校正的輸出d’n,m對應(yīng)于設(shè)計者的預(yù)期。這種明示的校準(zhǔn)需要相機(jī)在受控的環(huán)境中并需要使用特殊硬件。另一個問題是特征曲線nonlinn,m在時間上不穩(wěn)定。反之，它們例如由于溫度依賴性而變化。因此，明示的校準(zhǔn)不是用于執(zhí)行所提出的校正的好的選擇。在本發(fā)明的實(shí)施例中提出了對特征曲線nonlinn, m執(zhí)行隱式的的校準(zhǔn)，而非明示的校準(zhǔn)。這意味著每個信道被以如下方式校正其滿足方程(3)，而非明示地知道cn, m。敘述性地將其明確地表達(dá)意味著兩個未校正的輸出值C^nil和ClnU2的關(guān)系被分析(nl、n2 G {I, ... ,N}和ml、m2 G {1，. . .，M})，而非利用未校正的輸出值。這使能對整流操作符r的定義，該整流操作符r對值進(jìn)行校正以確保d’ nl,ffll = d’ n2,m2。由于該問題被證據(jù)不足地說明，僅校正一個值就夠了，保持第二值未校正(例如，d’n2,m2 = (In2jm2)。在不失一般性的條件下，m = I被選作檢測單元，其保持未校正。所有其他檢測單元針對每個可能的抽樣模式n利用整流操作符rn,m被校正d' n,m = rn>m (dn, m) = rn, m (nonl inn, m (cn, m))
rnjm(dnjm) = (Ij n>m = dnjm,如果m = I (沒有校正)，則針對每個 n G {I, , N},即，d，na = dn>1 = nonlinn,J(Vl),并且d' n,m = rnjm(dnjm) =I^niOionlinmni(CnJ) =TnaOionlinna(Cna)) =(!， 」，針對每個可能的Cml,并且，cn,m = Cml, n G {I, . . . , N},如果m古1(在所有其他情形中校正)(4)這意味著存在(M-I) *N個獨(dú)立重要的和N個非重要的整流操作符rn, mo整流操作符力圖針對每個抽樣模式(n)補(bǔ)償由不同的檢測單元(m)所導(dǎo)致的誤差。要注意，該定義僅隱式地定義了 rn,m。以下將顯示rn,m是如何構(gòu)造的。在本發(fā)明的又一實(shí)施例中，提出了使用用于ToF數(shù)據(jù)增強(qiáng)的算法。其可被分為兩個“主要”例程，如圖4所示的校準(zhǔn)例程和整流例程。校準(zhǔn)例程涉及如下問題選擇合適的原始數(shù)據(jù)、準(zhǔn)備用于計算r的數(shù)據(jù)(如果可能的話，包括對硬件的操縱)、以及r的生成。在圖4A中示意性地示出的整流例程100涉及如下問題執(zhí)行(SlO)對數(shù)據(jù)的整流(即，執(zhí)行整流操作符d’n,m = rn,m(dn,m))、計算(S12)多個所處理的數(shù)據(jù)集(例如，深度圖)、以及可選地執(zhí)行(S14)進(jìn)一步的處理(例如，對之前步驟的多個集合進(jìn)行平均、計算具有高質(zhì)量的單個集合)。在圖4B中示意性地示出的校準(zhǔn)例程200的目標(biāo)是生成可用于對ToF數(shù)據(jù)的整流的函數(shù)r。其可被分為三個子例程，具體地，原始數(shù)據(jù)選擇(S20)、數(shù)據(jù)準(zhǔn)備(S22)和生成r(S24)。子例程原始數(shù)據(jù)選擇(S20)去除可能干擾生成r的處理的原始數(shù)據(jù)樣本。這是通過檢測錯誤測量并將數(shù)據(jù)注釋為不可用于進(jìn)一步處理來完成的。對錯誤測量的檢測可特別包括-對曝光不足或曝光過度的測量的檢測(例如，通過對數(shù)據(jù)施加閾值數(shù)據(jù)<通常測量范圍的5%或>通常測量范圍的95%被注釋為不可用的，其中，閾值不是固定的，取決于給定的ToF系統(tǒng)，其他閾值也是合適的)，-使用在之前所獲得的校準(zhǔn)數(shù)據(jù)(例如，包括關(guān)于通常飽和的檢測單元(類似于熱像素)的信息的地圖、曝光不足的檢測單元(類似于黑像素)、通常曝光不足或飽和的檢測單元(類似于閃爍像素))，-使用在之前運(yùn)行整流例程中所收集的知識(例如，發(fā)現(xiàn)檢測單元針對!■的生成給出不定的結(jié)果，其僅當(dāng)發(fā)生之前運(yùn)行的整流例程時才可用)，-使用由ToF系統(tǒng)的其他組件所生成的可靠圖(例如，由制造商固件或第三方庫所計算)，-使用信息來檢測時間數(shù)據(jù)的不連續(xù)性-使用信息來檢測運(yùn)動偽影，以及
-使用指示生成r的處理的可能的干擾的ToF系統(tǒng)的進(jìn)一步信息(例如，外部傳感器,例如,檢測溫度沖擊的溫度傳感器、或檢測系統(tǒng)的物理沖擊的加速計、或內(nèi)部傳感器,例如，檢測對系統(tǒng)的激活以用于抑制環(huán)境光)。被注釋為不可用的數(shù)據(jù)隨后僅被從進(jìn)一步的處理中排除。另一選擇是從可用數(shù)據(jù)集中刪除數(shù)據(jù)，并且，僅使用剩余數(shù)據(jù)作為以下處理的輸入。準(zhǔn)備數(shù)據(jù)的子例程(S22)目標(biāo)在于準(zhǔn)備用于生成r的以下處理的數(shù)據(jù)。該準(zhǔn)備工作可被描述為回答以下問題“針對給定的理論輸入cn, m和測量dn,m(由在抽樣模式n中的 檢測單元m所測量)，如果已經(jīng)出現(xiàn)了相同的理論輸入Cml = cn, m，在相同抽樣模式中的檢測單元I將已經(jīng)測量了什么(作為C^1) ”，即，針對給定的(^、(111,1>關(guān)1)，找到(111 =Iionlinna (cn,J。這是重要的，因?yàn)樵诋?dāng)前的ToF系統(tǒng)中，不同的檢測單元m通常不同時運(yùn)行相同的抽樣模式n。即，如果數(shù)據(jù)必須由運(yùn)行相同抽樣模式n的不同檢測單元m獲得，則該數(shù)據(jù)通常在不同的子幀I中獲得。由于子幀被連續(xù)獲得，因此，場景內(nèi)容可能已經(jīng)變化，所以在該典型的情形中以下通常是正確的Cnjm ^ Cnjlo出于該原因，Cll1不是直接可測量的，而是得估計或構(gòu)造。當(dāng)找到該值時，(dn,m，對被給出到下一模塊以用于生成r。一種估計d*n, I的可能是假定在收集原始數(shù)據(jù)所用的時間間隔期間場景并不變化(即，由各自像素所成像的場景內(nèi)容是靜止的)。然后，可以假定Cnjm = Cna= > dn>! = nonl inn, x (cn> x) = nonl inn, x (cn> m) = d*n, x因此，可找到(dn,^cTna)對。對“靜止場景”的假定可通過在原始數(shù)據(jù)選擇模塊中的合適過濾來確保。例如，在某些幀的范圍內(nèi)，丟棄所有其絕對時間梯度超過預(yù)定義閾值的原始數(shù)據(jù)值可確保在該計算中僅(本地)使用靜止場景。許多應(yīng)用(例如，在野外監(jiān)測、醫(yī)學(xué)ToF成像或游戲中)產(chǎn)生包括在若干分鐘的時間間隔上針對每個像素足夠靜止的子序列的數(shù)據(jù)。因此，該策略將是成功的。存在ToF應(yīng)用，其中，由于直到收集到足夠的數(shù)據(jù)以生成足夠好的整流操作符r所需的時間，等待靜止的子序列可能是缺點(diǎn)。在靜止序列非常稀少的應(yīng)用中特別是這種情形，例如，在汽車領(lǐng)域，ToF系統(tǒng)可對可能運(yùn)動若干小時的外面的場景進(jìn)行成像。在這種情形中，構(gòu)造是有優(yōu)點(diǎn)的。這可通過例如利用度為Q(Q彡I)的多項式來時間插值而完成。例如，Q= I將是線性插值。作為示例，將利用圖5來說明。該圖示出了在幀數(shù)f上所繪制的輸出Clml和dn,m的引間進(jìn)展。實(shí)線表示Clml和dn,m的可能的時間進(jìn)展。圓圈表示在每幀中對這些量的測量。即便^“和七^在相同幀中獲得’他們也不是在精確相同的時間處獲得(參照圖3)。令h是兩次獲取之間的差，而h是兩個連續(xù)幀的時間距離。通過在cLu =,和dn,U=W之間線性插值，這將Cll1給出為Clrbl — dn, h f = j+ (tj/tg) (dn, U = i+1_dn, i, f = i)因此，再一次，可找到(dn,m，(Il1)對。
ToF系統(tǒng)的設(shè)計者通常知道時間常數(shù)h和h。如果不知道，則可基于給定的硬件進(jìn)行估計，例如，= 0. 5 =如果不可能，則應(yīng)當(dāng)利用以上所說明的使用靜止場景的策略。接下來，將說明簡化的模型和整流。在方程(2. I)中所說明的所假定的潛在物理模型能夠針對每個抽樣模式(n)對由不同的檢測單元(m)單獨(dú)導(dǎo)致的誤差進(jìn)行建模。在某些情境中，將該模型簡化可能是有優(yōu)點(diǎn)的。例如，如果針對給定的ToF系統(tǒng)，不同的檢測單元示出獨(dú)立于抽樣模式的誤差，則其可簡化為cn, m — nonlinm — dn, m(2. 2)這導(dǎo)致簡化的整流操作符rj與方程⑷相比)d' n’m = rm (dn, m) = rm (nonlinm (cn, m))rm(dnjm) = (Ij n>m = dnjm,如果m = I (無校正)，則針對每個 n G {I, ,N},即，d’u = dn>1 = Iionlin1 (cn,I)d' n, m = rm (dn, m) = rm (nonlinm (cn, J) = T1 (nonl ir^ (cn, x)) = d，n, i針對每個可能的Cml,并且 cn,m = Cml, n G {I, . . . , N},如果m古I (在所有其他情形中校正)。(5)接下來，將描述基于硬件控制的校準(zhǔn)策略。之前的基于靜止或運(yùn)動場景的校準(zhǔn)策略完全是被動方法它們能夠與通過現(xiàn)成的ToF系統(tǒng)所獲得的數(shù)據(jù)一起工作。在以下，將說明其他的方法，其融合了所使用的ToF系統(tǒng)的操作模式的部分修改。這些方法的目標(biāo)是臨時地禁止系統(tǒng)，以由每個檢測單元測量不同的量cn,m。因此，在單個子幀I中由不同的檢測單元Hl1和Hl2所獲得的兩個獲得物Cnl,ml和Cn2,m2是相等的Cnljml = Cn2jm2,G {1， ，N}，Hipm2 G {I, . . . , M},如果二者同時獲得(相同的I)。針對簡化模型的假定是正確的(參見方程(2. 2))的ToF系統(tǒng)中，這特別意味著Cnjffl = Cnjl= > dn>! = nonlinm(cnjl) = nonlinm(cnjm) = d*n>1因此，可以容易地找到(dn,m，(Il1)對，而無需時間插值或?qū)o止子序列的檢測。用于臨時地禁用ToF系統(tǒng)以測量不同量cn,m的可能的方法包括用于操縱光源的方法、用于操縱檢測單元的抽樣模式的方法、以及用于操縱輻射源和檢測單元之間的同步的方法。操縱光源的方法目標(biāo)在于禁用調(diào)制，S卩，利用光源來發(fā)射非調(diào)制輻射、或防止光源發(fā)射輻射。后者可例如通過如下方法來獲得切斷光源、或例如利用快門來物理地阻止所生成的輻射照亮場景。如果使用非調(diào)制輻射，則持續(xù)使用不同的強(qiáng)度對快速收集構(gòu)造r(這將在以下說明)所必須的數(shù)據(jù)可能是有益的。如果不使用輻射，則通常變化的場景內(nèi)容確保不同數(shù)據(jù)樣本的收集以構(gòu)造r。但是，針對該選擇，需要有環(huán)境光(在大多數(shù)情形中是這樣的，但是不是所有應(yīng)用都這樣)。 特別感興趣于利用在光源被切斷的時間間隔期間所收集的數(shù)據(jù)，因?yàn)楫?dāng)今的ToF系統(tǒng)通常使用突發(fā)模式(burst mode)來運(yùn)行其輻射源。突發(fā)模式意味著輻射源不是持續(xù)運(yùn)行的，而是切換接通和關(guān)斷交替進(jìn)行的。該切換的原因是其允許發(fā)射平均值保持為低(提供眼睛安全)，而發(fā)射峰值為高，因此導(dǎo)致更好的活動光與環(huán)境光(在活動階段)的比率，并且，輻射源(例如，LED)被允許冷卻，其使能在活動階段的更高的驅(qū)動電流操縱檢測單元的抽樣模式的方法目標(biāo)在于將每個檢測單元設(shè)置在相同的抽樣狀態(tài)中。這包括將所有檢測單元設(shè)置到相同的抽樣模式n中、或確保對檢測單元的抽樣能力的禁用，即，干擾檢測單元的解調(diào)處理。這包括用于切斷檢測單元的能力以改變其敏感度的方法。具體地，敏感度可被設(shè)置為具體值。對不同敏感值的持續(xù)使用對于快速收集構(gòu)造r所需的數(shù)據(jù)是有益的。如果使用單個敏感值，通常變化的場景內(nèi)容確保對不同數(shù)據(jù)樣本的收集以構(gòu)造r。用于操縱輻射源和檢測單元之間的同步的方法目標(biāo)在于由檢測單元禁用對入射調(diào)制輻射的適當(dāng)抽樣。這包括用于變更控制輻射源的信號和控制檢測單元的信號之間的相位的方法。其還包括用以變更一個或另一個信號的頻率(即，錯誤調(diào)諧信號的頻率)的方法。所有方法必須僅運(yùn)行很短的時間，優(yōu)選的是，在對用于生成關(guān)于場景的信息(例如，用于獲得深度圖)的數(shù)據(jù)樣本的獲取之間、在特定階段(例如，在激活ToF系統(tǒng)之后短時間(引導(dǎo)時間))期間。可組合所呈現(xiàn)的不同的方法。例如，為了使能對構(gòu)造!■所需的數(shù)據(jù)的快速收集，將傳感器的敏感度設(shè)置為恒定值并變更輻射源(調(diào)制的或非調(diào)制的)的強(qiáng)度可以是有益的組
口 o接下來，將描述用于構(gòu)造r的例程(S24)。整流操作符r被用于校正由ToF系統(tǒng)所執(zhí)行的測量(參見方程(4))。理想情況下，以下是有效的rnjm(dnjm) = d*njlo(6)可以從在準(zhǔn)備數(shù)據(jù)步驟(S22)中所收集的多個P = {(dn,ffl, (Il1)J對(集合)中構(gòu)造r。構(gòu)造應(yīng)當(dāng)生成整流操作符r，針對大多數(shù)說收集的集合P的對而言，方程(6)是正確的。構(gòu)造應(yīng)當(dāng)是魯棒的，并且，其應(yīng)當(dāng)將P—般化。從這個意義上來看，魯棒意味著某些錯誤對不應(yīng)當(dāng)降低所構(gòu)造的r的質(zhì)量。將P —般化意味著錯過的對不應(yīng)當(dāng)影響所構(gòu)造的r的空穴(hole)。為了確保所生成的r正針對每個可能的dn, ffl執(zhí)行好的校正，P應(yīng)當(dāng)包括在可能數(shù)據(jù)的整個范圍上分布的數(shù)據(jù)，即，在P中的dn,m對應(yīng)當(dāng)理想地均一分布。為了有效地收集滿足該條件的數(shù)據(jù)并由此使能對r的快速生成，可使用諸如變更輻射源的強(qiáng)度或變更檢測單元的敏感度的方法(參見以上關(guān)于基于硬件控制的校準(zhǔn)策略的說明)。生成r的一種可能是擬合數(shù)據(jù)集P，即，在KdnJJ上擬合KcTnJiK作為擬合函數(shù)，可使用例如任意度g的多項式。更大的g增加了重構(gòu)處理的質(zhì)量，但是需要P中的更多對和更高的運(yùn)算功率。(對于大多數(shù)ToF系統(tǒng)而言，g = 0、l或2將是合適的。)作為擬合程序，例如可使用“最小二乘法”。為了確保魯棒的擬合處理，可使用諸如RANSAC或“最小平均平方”的方法(從一般的文獻(xiàn)可知)。其在圖6中被示出。雖然希望魯棒和一般化的整流操作符，但是，沒有這些屬性的函數(shù)也可能在某些應(yīng)用中給出好的結(jié)果(例如，簡單的將要校正的誤差、用于計算校正的低可用運(yùn)算功率)。例如，這種校正可以是查找表令L為向量L = Il1,12,. . . lv} ,V =可能的dn,m的數(shù)目(通常，由于ToF系統(tǒng)有限的數(shù)字分辨率，其為有限的)。針對每對集合P，設(shè)置L(dn,J = Cll10然后，r 可被設(shè)直為 L :rn,m(dn, m) = L(dn,m) = d n> 1D如所述，非線性的特點(diǎn)可隨著時間變化(例如，由于溫度變化)。因此，r應(yīng)當(dāng)適應(yīng)于這些變化，而非顯示靜止的行為。一種確保r是靈活的的可能是限制用于構(gòu)造r的P中的對的數(shù)量。一種可能是在每次添加新對時，刪除P中最舊的對。 如果(暫時)不需要時間適應(yīng)性(例如，因?yàn)橐阎猅oF系統(tǒng)的足夠的穩(wěn)定性)，(暫時)禁用對應(yīng)的例程以節(jié)約運(yùn)算資源、功率等可以是有益的。整流例程100(參見圖4A)利用r來執(zhí)行對數(shù)據(jù)的整流，并且，處理該已整流的數(shù)據(jù)。如在方程(4)中所描述的，按照如下來利用整流參數(shù)r以執(zhí)行整流d，n,m = rn,m(dn,m) = dn,m,如果 m = I (無校正)，針對每個 n G {I, , N}d’n, m = rn, m(dn, J ,針對每個n G {I, . . . , N},如果m關(guān)I (在所有其他情形中校正)。接下來，將說明對已整流數(shù)據(jù)的處理。已整流的數(shù)據(jù)大多沒有由不同的非線性放大路徑所導(dǎo)致的系統(tǒng)誤差。因此，其可被直接處理，即，不執(zhí)行如上所述并在已知方法中所執(zhí)行的平均技術(shù)。這使能對來自一幀的所測量數(shù)據(jù)的更加獨(dú)立的處理數(shù)據(jù)的運(yùn)算。例如，在深度成像中，可以在更高頻(其給出提高的幀率)處生成深度圖，其為本發(fā)明的主要優(yōu)點(diǎn)之一。這應(yīng)當(dāng)通過使用示例來說明，該示例示出了對于利用PMD技術(shù)的相機(jī)可使幀率翻倍。由PMD技術(shù)所使用的傳感器例如針對每個像素利用M = 2個檢測單元。為了獲得相關(guān)函數(shù)I的N = 4個樣本，L = 2個子幀將是足夠的。利用平均技術(shù)，L = 4個子幀是必須的。反之，利用所提出的數(shù)據(jù)值整流方法，L = 2的樣本實(shí)際上足夠了。相關(guān)函數(shù)的每個樣本對應(yīng)于某個延遲e 0 = {O。、90。,180° ,270° }因此，針對N = 4個抽樣模式中的每一個，一個延遲0被抽樣n = I 0 =0°n = 2 9 =90°n = 3 0 = 180。n = 4 9 = 270。相機(jī)并行地獲得兩個樣本，其被執(zhí)行四次1 = 1 dia, d3,2I = 2 d2a, d4j21 = 3 d3a, dlj21 = 4 d4a, d2,2利用以上所使用的術(shù)語，其對應(yīng)于I = I dia = A0 d3,2 = B180I = 2 d2a = A90 d4,2 = B270I = 3 d3a = A180 dlj2 = B0I = 4 d4a = A270 d2j2 = B90此處，由檢測單元A所獲得的樣本Cl1,Pd2,Pd3,Pd4,: (A。、A9Q、A18Q、A27tl)形成第一樣本集，而由檢測單元B所獲得的樣本Cl1,2、d2,2、d3,2、d4,2 (B0, B90, B180, B270)形成第二樣本集。作為示例，整流操作符r從如下(現(xiàn)場的)序列中生成
a)單獨(dú)地針對每個像素、每個檢測單元而后每個抽樣模式，通過進(jìn)行預(yù)選和精細(xì)化，靜止子序列被搜索。al)在預(yù)選步驟中，時間步驟tl的時間梯度的平方低于閾值(的所有樣本被接受接受dn,m,tl，如果(dn,m,t「dn,m,tQ)2 < ^dnjmjt0和dn,m,tl是一個像素的一個原始信道的時間步驟t0和tl (t0 < tl)處所獲得的兩個連續(xù)值。閾值(例如被設(shè)置為樣本最大值的10%。
a2)在接下來的精細(xì)化步驟中，如果由相同像素而非其他檢測單元和抽樣模式在時間步驟tl中所獲得的所有樣本在預(yù)選步驟中被接受，則接受時間步驟tl的樣本。丟棄所有其他的樣本。b)針對每個像素，每個抽樣模式n以及m = 2，線性函數(shù)(度為I的多項式)(7)利用最小二乘擬合被在KcL2) J上擬合到{(屯1)1}，其給出整流操作符4,2(8)。dna = pnjm+qnjm*dnjm, m = 2, n G {I, . . . , N}(7)rnj2(dnjm) = pnjm+qnjm*dnjm.(8)此處，pn>m是偏移，而qu是整流操作符Lni的斜率。在圖6中，給出了在某抽樣模式n和對應(yīng)的線性擬合(用實(shí)線表示)中所獲得的所收集的數(shù)據(jù)的典型圖。不要求計算Hl= I時的整流操作符，因?yàn)檫@些樣本基本未校正。整流處理對數(shù)據(jù)進(jìn)行校正。用檢測單元m = I (檢測單元A)所獲得的是數(shù)據(jù)基本未校正d’ U1 = !Tui (O ,如果 m = I (基本未校正)，針對每個 n G {I, . . . , N}2a = r2a(d2a) = d2ad’ 3,丨=I^1(Cl3a) = d3ad，4a = r4a (d4a) = d4ad’ lj2 = rlj2(dlj2) = P1Jq1Jdu2d，2,2 = r2j2(d2j2) = P2,2+q2,2*d2,2d，3,2 = r3j2(d3j2) = P3,2+q3,2*d3,2d，4,2 = r4j2(d4j2) = P4,2+q4,2*d4,2此處，基本未校正(即，未校正)的樣本Cl1,^d2,^d3,^d4,: (A^A^A-A27tl)形成第一樣本子集，而將要校正的樣本Cl1,2、d2,2、d3,2、d4,2 (B0, B90, B180, B270)形成第二樣本子集。此處，應(yīng)當(dāng)注意，一般而言，子集還可包括來自不同的樣本集(即，用不同的檢測單元所獲得)的樣本，并且，多于一個子集的樣本(具體地，如果像素包括多于兩個檢測單元)被按上述校正。從這八個樣本中，可利用方程(2)來計算兩個獨(dú)立的相位圖像(給出兩個獨(dú)立的深度圖)
cpl = arctan[(d4,2 — d 2,1)/(^3,2-^1,0]對應(yīng)于cpl— arctan[(B 270 — A 90)/(B 副—A。)]02 = arctan[(d，2,2)/ (d，3a-d，lj2)]
對應(yīng)于
權(quán)利要求
1.一種用于獲取關(guān)于場景的信息的3D飛行時間相機(jī)，具體地，該相機(jī)用于獲取場景的深度圖像、關(guān)于參考信號和場景的入射輻射之間的相移的信息、或關(guān)于所述場景的環(huán)境信息，所述相機(jī)包括-輻射源(12)，該輻射源(12)生成并發(fā)射電磁輻射(13)，以用于照明所述場景(2)，-輻射檢測器(14)，該輻射檢測器(14)檢測從所述場景(2)反射的電磁輻射(15a，15b)，所述輻射檢測器(14)包括一個或多個像素(16)，具體地，像素陣列，其中，所述一個或多個像素單獨(dú)檢測從所述場景反射的電磁輻射，其中，一像素包括兩個或更多個檢測單元(161-1，161-2，...),每個檢測單元檢測兩個或更多個樣本的樣本集中的樣本，以及-評估單元(18)，該評估單元(18)評估所述兩個或更多個檢測單元的所述樣本集，并且，從所述樣本集生成與場景相關(guān)的信息，其中，所述評估單元包括-整流單元(20)，該整流單元(20)通過利用預(yù)定整流操作符來對所述樣本集中的樣本的子集進(jìn)行整流，所述預(yù)定整流操作符定義了由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)度，以及-信息值計算器(22)，該信息值計算器(22)從所述整流的樣本的子集和所述樣本集中的剩余樣本確定所述與場景相關(guān)的信息的信息值。
2.根據(jù)權(quán)利要求I所述的3D飛行時間相機(jī)，其中，所述輻射檢測器(14)適用于對入射電磁輻射和參考信號的相關(guān)函數(shù)進(jìn)行抽樣，其中，樣本集包括針對所述入射電磁輻射和所述參考信號之間的不同相移，具體地針對等距相移，的所述相關(guān)函數(shù)的兩個或更多個樣本。
3.根據(jù)權(quán)利要求I所述的3D飛行時間相機(jī)，其中，所述輻射檢測器(14)針對每個像素包括傳感器元件(40)和切換器(41)，該傳感器元件(40)將入射電磁輻射轉(zhuǎn)換成電子，該切換器(41)與所述輻射源同步并將所述電子分到所述兩個或更多個檢測單元。
4.根據(jù)權(quán)利要求3所述的3D飛行時間相機(jī)，其中，所述檢測單元(161-1,161-2)中的每一個包括存儲電子的量子阱(42，44)、將所存儲的電子轉(zhuǎn)換成電壓信號的轉(zhuǎn)換器(44、45)、放大所述電壓信號的放大器(46、47),以及將所述電壓信號數(shù)字化的模擬-數(shù)字轉(zhuǎn)換器(48、49)。
5.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)，其中，所述整流單元(20)適用于對所述樣本集的所有樣本進(jìn)行整流，具體地，除了由用于檢測所述樣本集的樣本的所述兩個或更多個檢測單元中的一個所檢測到的樣本以外。
6.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)，其中，所述整流操作符表示到由特定像素的兩個不同的檢測單元所檢測到的樣本對的多項式擬合，具體地，度為0、1或2的多項式擬合。
7.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)，還包括整流操作符生成器(24)，該整流操作符生成器(24)通過將具體地度為O、I或2的多項式擬合擬合到由特定像素的兩個不同的檢測單元所檢測到的樣本對來生成所述整流操作符，具體地，擬合到所述場景的本質(zhì)上靜止的區(qū)域的樣本。
8.根據(jù)權(quán)利要求2和7所述的3D飛行時間相機(jī)，其中，所述整流操作符生成器(24)適用于通過將具體地度為0、1或2的多項式擬合擬合到由特定像素的兩個不同的檢測單元針對相同的抽樣模式所檢測到的樣本對來生成所述整流操作符。
9.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)，其中，所述整流單元(20)適用于利用像素各自的整流操作符來進(jìn)行對由像素的除了一個檢測單元之外的所有檢測單元所檢測到的樣本的整流，或利用相同的整流操作符來進(jìn)行對所有像素的樣本的整流。
10.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)，其中，所述輻射源(12)可操作用于發(fā)射從Inm到Icm的波長范圍內(nèi)的電磁輻射(13)，具體地，發(fā)射紅外線、可見光或紫外線光。
11.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)， 其中，所述評估單元(18)可操作用于生成與場景相關(guān)的關(guān)于所述場景(2)的一個或多個對象(4a，4b)的距離、所述場景的一個或多個對象(4a，4b)的反射率(29)和/或非調(diào)制輻射￠)的強(qiáng)度的信息，具體地，包括由所述場景所反射的環(huán)境光和輻射源的非調(diào)制光。
12.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)，其中，所述輻射源(12)可操作用于連續(xù)發(fā)射電磁輻射(13)，并且其中，所述信息值計算器(20)可操作用于基于從所述場景所反射的光的相位信息來確定所述信息值，從而從相同像素信號的至少兩個后續(xù)樣本的所述集來對所述樣本進(jìn)行修改。
13.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)，其中，所述輻射源(12)可操作為發(fā)射輻射脈沖，并且其中，所述信息值計算器(20)可操作用于基于來自相同像素信號的至少兩個后續(xù)樣本的所述集的所述樣本的強(qiáng)度信息來確定所述信息值。
14.根據(jù)前述權(quán)利要求中的任一項所述的3D飛行時間相機(jī)，還包括控制單元(26)，該控制單元(26)臨時禁用所述相機(jī)，以由所述檢測單元測量不同的量，具體地，通過控制所述輻射源(12)、所述檢測單元(161-1,161-2，...)的抽樣模式、在所述輻射源和所述檢測單元之間的同步，以及/或入射到輻射檢測器處的輻射的輻射路徑。
15.一種用于獲取關(guān)于場景的信息的3D飛行時間方法，具體地，用于獲取場景的深度圖像、關(guān)于參考信號和場景的入射輻射之間的相移的信息、或關(guān)于所述場景的環(huán)境信息，所述方法包括如下步驟-生成并發(fā)射電磁輻射(13)，以用于照明所述場景(2)，-由包括一個或多個像素(16)，具體地，像素陣列，的輻射檢測器(14)檢測從所述場景(2)反射的電磁輻射(15a，15b)，其中，所述一個或多個像素單獨(dú)檢測從所述場景反射的電磁輻射，其中，像素包括兩個或更多個檢測單元，每個檢測單元檢測兩個或更多個樣本的樣本集中的樣本，-評估所述兩個或更多個檢測單元的所述樣本集，并且，從所述樣本集生成與場景相關(guān)的信息，其中，所述評估步驟包括如下子步驟-通過利用預(yù)定整流操作符來對所述樣本集中的樣本的子集進(jìn)行整流，該預(yù)定整流操作符定義了由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)度，以及-從所述整流的樣本的子集和所述樣本集的剩余樣本確定所述與場景相關(guān)的信息的信息值。
16.一種用于在獲取關(guān)于場景的信息的3D飛行時間相機(jī)中使用的處理器，具體地，用于獲取場景的深度圖像、關(guān)于參考信號和場景的入射輻射之間的相移的信息、或關(guān)于所述場景的環(huán)境信息，所述3D飛行時間相機(jī)包括輻射源(12)，該輻射源(12)生成并發(fā)射電磁輻射(13)，以用于照明所述場景(2)，以及輻射檢測器(14)，該輻射檢測器(14)檢測從所述場景(2)反射的電磁輻射(15a，15b)，所述輻射檢測器(14)包括一個或多個像素(16)，具體地，像素陣列，其中，所述一個或多個像素單獨(dú)檢測從所述場景反射的電磁輻射，其中，像素包括兩個或更多個檢測單元，每個檢測單元檢測兩個或更多個樣本的樣本集中的樣本，所述處理器可操作用于評估所述兩個或更多個檢測單元的所述樣本集并從所述樣本集生成與場景相關(guān)的信息，其中，所述處理器包括-整流單元(20)，該整流單元(20)通過利用預(yù)定整流操作符來對所述樣本集中的樣本的子集進(jìn)行整流，該預(yù)定整流操作符定義了由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)度，以及-信息值計算器(22)，該信息值計算器(22)從所述整流的樣本的子集和所述樣本集的剩余樣本確定所述與場景相關(guān)的信息的信息值。
17.一種用于在獲取關(guān)于場景的信息的3D飛行時間方法中所使用的處理方法，具體地，用于獲取場景的深度圖像、關(guān)于參考信號和場景的入射輻射之間的相移的信息、或關(guān)于所述場景的環(huán)境信息，所述3D飛行時間方法包括生成并發(fā)射電磁輻射(13)以用于照明所述場景(2)的步驟，以及由包括一個或多個像素(16)，具體地，像素陣列，的輻射檢測器(14)檢測從所述場景(2)反射的電磁輻射(15a，15b)的步驟，其中，所述一個或多個像素單獨(dú)檢測從所述場景反射的電磁輻射，其中，像素包括兩個或更多個檢測單元，每個檢測單元檢測兩個或更多個樣本的樣本集中的樣本，所述處理方法可操作用于評估所述兩個或更多個檢測單元的所述樣本集，并且，從所述樣本集生成與場景相關(guān)的信息，其中，所述處理方法包括如下步驟-通過利用預(yù)定整流操作符來對所述樣本集中的樣本的子集進(jìn)行整流，該預(yù)定整流操作符定義了由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)度，以及-從所述整流的樣本的子集和所述樣本集的剩余樣本確定所述與場景相關(guān)的信息的信息值。
18.一種計算機(jī)程序，該計算機(jī)程序包括程序代碼裝置，當(dāng)所述計算機(jī)程序被在計算機(jī)上執(zhí)行時，所述程序代碼裝置致使所述計算機(jī)執(zhí)行根據(jù)權(quán)利要求17所述的所述方法的步驟。
19.一種計算機(jī)可讀非暫存性介質(zhì)，指令被存儲在該介質(zhì)上，當(dāng)指令被在計算機(jī)上執(zhí)行時，致使所述計算機(jī)執(zhí)行根據(jù)權(quán)利要求17中所述的方法的步驟。
全文摘要
本發(fā)明公開了3D飛行時間相機(jī)和方法。本發(fā)明涉及用于獲取關(guān)于場景的信息的3D飛行時間相機(jī)和對應(yīng)的方法，具體地，用于獲取場景的深度圖像、關(guān)于參考信號和場景的入射輻射之間的相移的信息、或關(guān)于場景的環(huán)境信息。為了提高幀率，所提出的相機(jī)包括輻射源(12)，該輻射源(12)生成并發(fā)射電磁輻射(13)以用于照明場景(2)，輻射檢測器(14)，該輻射檢測器(14)檢測從場景(2)反射的電磁輻射(15a，15b)，輻射檢測器(14)包括一個或多個像素(16)，具體地，像素陣列，其中，一個或多個像素單獨(dú)檢測從場景反射的電磁輻射，其中，像素包括兩個或更多個檢測單元(161-1，161-2，...)，每個檢測單元檢測兩個或更多個樣本的樣本集的樣本，以及評估單元(18)，該評估單元(18)評估兩個或更多個檢測單元的樣本集，并且，從樣本集生成與場景相關(guān)的信息，其中，所述評估單元包括整流單元(20)，該整流單元(20)通過利用預(yù)定整流操作符來對樣本集的樣本的子集進(jìn)行整流，該預(yù)定整流操作符定義了由特定像素的兩個不同的檢測單元所檢測到的樣本之間的相關(guān)度，以及信息值計算器(22)，該信息值計算器(22)從整流的樣本的子集和樣本集的剩余樣本確定與場景相關(guān)的信息的信息值。
文檔編號G06T7/00GK102622745SQ201210014998
公開日2012年8月1日 申請日期2012年1月12日 優(yōu)先權(quán)日2011年1月12日
發(fā)明者克勞斯·齊默爾曼, 米克·施密特 申請人:索尼公司