渡越時間相機系統(tǒng)的制作方法
【專利說明】渡越時間相機系統(tǒng)發(fā)明領(lǐng)域
[0001]本發(fā)明涉及渡越時間(TOF)射程成像系統(tǒng)，即TOF相機系統(tǒng)。特別地，本發(fā)明的目的是提供高質(zhì)量的場景3D圖像。
[0002]發(fā)明背景
[0003]計算機視覺是包括用于捕獲、處理、分析、和理解圖像的方法的成長中的研究領(lǐng)域。在該領(lǐng)域中的主要驅(qū)動理念是要通過電子感知并理解場景的圖像來復(fù)制人類視覺系統(tǒng)的能力。值得注意的是，計算機視覺研究中的一個主題是深度感知，或者換句話說是三維(3D)視覺。
[0004]對于人類，深度感知源自于所謂的立體景深效應(yīng)，藉由立體效應(yīng)，人類大腦將兩只眼睛對一場景所捕捉到的兩個略微不同的圖像進行熔合，并且檢取深度信息等。此外，最近的研究顯示，識別場景中的對象的能力進一步對深度感知做出了極大貢獻。
[0005]對于相機系統(tǒng)，深度信息并不易于獲取并且要求復(fù)雜的方法和系統(tǒng)。當(dāng)對場景成像時，一個常規(guī)的二維(2D)相機系統(tǒng)將場景的每個點與給定的RGB色彩信息相關(guān)聯(lián)。在成像過程的最后，場景的2D色彩圖被創(chuàng)建。標(biāo)準(zhǔn)2D相機系統(tǒng)不能夠容易地從該色彩圖中識別場景中的對象，因為色彩高度地取決于變動的場景照明，也因為其并不固有地包含任何維度信息。新的技術(shù)已經(jīng)被引入來發(fā)展計算機視覺，值得注意地其被用于發(fā)展3D成像，這尤其使得能夠直接捕捉與深度有關(guān)的信息以及間接捕獲與場景或?qū)ο笥嘘P(guān)的維度信息。3D成像系統(tǒng)最近的發(fā)展是令人印象深刻的并且引起了來自工業(yè)界、學(xué)術(shù)界以及消費者社團的不斷增長的興趣。
[0006]用來創(chuàng)建3D圖像的最常見的技術(shù)是基于立體景深效應(yīng)的。兩個相機對同一場景照相，但是它們分隔開一段距離一一就像人類的眼睛那樣。計算機比較這些圖像而同時將這兩張圖像一起移位到彼此上下相疊來找出匹配和不匹配的部分。所移位的量被稱為不一致性。計算機使用圖像中的對象得以最佳匹配的不一致性通過額外使用相機傳感器幾何參數(shù)和鏡頭規(guī)范來計算距離信息，即深度圖。
[0007]圖1中解說的渡越時間(TOF)相機系統(tǒng)3表示了另一種更為近期且不同的技術(shù)。TOF相機系統(tǒng)3包括具有專用照明單元18和數(shù)據(jù)處理裝置4的相機I。TOF相機系統(tǒng)能夠通過分析光從光源18渡越到對象的渡越時間來捕捉場景15的3D圖像。此類3D相機系統(tǒng)現(xiàn)在被用于許多應(yīng)用中，其中在這些應(yīng)用中要求深度或距離信息測量。標(biāo)準(zhǔn)2D相機系統(tǒng)(諸如紅-綠-藍(RGB)相機系統(tǒng))是被動技術(shù)，即它們使用環(huán)境光來捕捉圖像且并不基于附加光的發(fā)射。相反，TOF相機系統(tǒng)的基本操作原理是使用專用照明單元以預(yù)定波長的經(jīng)調(diào)制光16 (例如用至少一個預(yù)定頻率的一些光脈沖)來主動照明場景15。經(jīng)調(diào)制的光被從場景內(nèi)的對象反射回去。鏡頭收集反射光17并且將對象的圖像形成到成像傳感器I上。取決于對象到相機的距離，在經(jīng)調(diào)制光(例如，所謂的光脈沖)的發(fā)射與在相機處對那些光脈沖的接收之間經(jīng)歷了延遲。在一個常見的實施例中，反射對象以及相機之間的距離可以被確定為所觀察到的時間延遲以及光速常量值的函數(shù)。在另一個更為復(fù)雜且可靠的實施例中，如在 Robert Lange 的題為“3D time-of-flight distance measurement with customsolid-state image sensors in CMOS/CCD technology(使用CMOS/CCD技術(shù)中的定制固態(tài)圖像傳感器進行的3D渡越時間距離測量)”的博士論文中所介紹的，所發(fā)射的參考光脈沖以及所捕捉到的光脈沖之間的多個相位差可以被確定且被用于估計深度信息。
[0008]TOF相機系統(tǒng)包括數(shù)個元件，其中每個元件具有特異的功能。
[0009]DTOF相機系統(tǒng)的第一組件是照明單元18。當(dāng)使用脈沖時,每個光脈沖的脈沖寬度決定了相機射程。例如，對于50ns的脈沖寬度，該射程被限定于7.5m。結(jié)果，場景照明對TOF相機系統(tǒng)的操作變得至關(guān)重要，并且照明單元的高速驅(qū)動頻率要求使得必需使用專業(yè)光源(諸如，發(fā)光二極管(LED)或激光)來生成此類短光脈沖。
[0010]2) TOF相機系統(tǒng)的另一組件是成像傳感器I或稱TOF傳感器。成像傳感器通常包括形成場景圖像的像素矩陣陣列。應(yīng)當(dāng)理解，像素是指對光電磁輻射敏感的圖元及其相關(guān)的電子電路系統(tǒng)。像素的輸出能夠被用于確定光從照明單元到場景中對象以及從該對象反射回成像TOF傳感器的渡越時間?？稍诜珠_的處理單元中計算渡越時間，該分開的處理單元可耦合到TOF傳感器或可直接集成到TOF傳感器本身中。已知有各種用于測量光從照明單元行進至對象并從對象回到成像傳感器的定時的方法。
[0011]3)成像光學(xué)器件2和處理電子器件4也在TOF相機系統(tǒng)內(nèi)提供。成像光學(xué)器件被設(shè)計成收集來自場景中諸對象的反射光(通常是IR域中)并且濾除與照明單元所發(fā)射的光并非處于相同波長的光。在一些實施例中，光學(xué)器件可以使得能夠捕捉用于TOF原理測量的紅外線照明和用于RGB彩色測量的可見照明。這些處理電子器件驅(qū)動TOF傳感器，從而濾除與照明單元所發(fā)射的光頻率不同但是波長類似的光(一般為日光)以及還用于其他數(shù)個特征等。通過濾除不想要的波長或頻率，可有效地抑制背景光。處理電子器件進一步包括針對照明單元和成像傳感器二者的驅(qū)動器，從而這些組件能夠被準(zhǔn)確地同步控制來確保執(zhí)行準(zhǔn)確的圖像捕捉并且確定場景的可靠深度圖。
[0012]對構(gòu)成TOF相機系統(tǒng)的元件的選取是至關(guān)重要的。取決于所使用的元件的類型以及性能，TOF相機系統(tǒng)旨在覆蓋從幾毫米一直到數(shù)千米的寬廣射程。此類TOF相機系統(tǒng)可以具有從亞厘米到數(shù)厘米或者甚至數(shù)米的不同距離準(zhǔn)確性。可與TOF相機系統(tǒng)聯(lián)用的諸技術(shù)包括帶數(shù)字計時器的脈沖光源、帶相位檢測器的射頻(RF)調(diào)制光源、以及射程選通成像器。
[0013]TOF相機系統(tǒng)遭受到數(shù)種缺陷。在當(dāng)前TOF成像器或者TOF傳感器中，像素節(jié)距通常范圍從ΙΟμ??到ΙΟΟμ??不等。由于該技術(shù)的新穎性以及TOF像素的架構(gòu)高度復(fù)雜這一事實，難以設(shè)計小像素尺寸而同時又維持高效的信噪比(SNR)并且不忘有關(guān)以低成本進行大規(guī)模生產(chǎn)的要求。這導(dǎo)致了 TOF圖像傳感器相對大的芯片大小。在使用常規(guī)光學(xué)器件的情況下，圖像傳感器如此大的大小要求較大且厚的光學(xué)堆疊來配合到管芯上。一般而言，不得不在所要求的分辨率與器件的厚度之間尋求某種妥協(xié)來使得其能夠嵌入到便攜式大眾消費廣品上。
[0014]進一步，由TOF相機系統(tǒng)所獲得的深度測量可以因為多個原因而被錯誤地確定。首先，此類系統(tǒng)的分辨率要被改進。大的像素大小要求大的傳感器芯片，并且由此該傳感器分辨率受到TOF傳感器大小的限制。其次，此類系統(tǒng)的深度測量中的準(zhǔn)確性仍然需要被改進，因為其高度地依賴于信噪比和調(diào)制頻率(調(diào)制頻率決定了深度準(zhǔn)確性以及操作深度測量射程)以及其他多個參數(shù)等。具體地，深度測量中的不確定性或不準(zhǔn)確性可以是因為被稱為“深度混疊”的效應(yīng)，這將會在之后被詳細描述。此外，不確定性能夠源自于背景中附加光的存在。實際上，TOF相機系統(tǒng)的像素包括光敏元件，該光敏元件接收入射光并將其轉(zhuǎn)換成電信號(例如，電流信號)。在場景的捕捉期間，若背景光在傳感器敏感的波長中太強烈，那么像素可能會接收到并非反射自該場景內(nèi)的對象的附加光，這可能會改動測得的距離。
[0015]目前，在TOF成像領(lǐng)域中，有多種選項可用來至少部分地克服該技術(shù)可能遭受的主要個體缺陷，諸如，例如，使得能夠進行更為穩(wěn)健且準(zhǔn)確的深度測量的改進的調(diào)制頻率系統(tǒng)、解混疊或者背景光穩(wěn)健性機制。
[0016]仍然要提議技術(shù)方案來將這些缺陷一并解決并且附加地改進TOF相機系統(tǒng)的分辨率，而同時又限制完整系統(tǒng)的厚度并且減少視差問題以使得其順應(yīng)于大規(guī)模生產(chǎn)的便攜式設(shè)備集成。
發(fā)明概要
[0017]本發(fā)明涉及包括數(shù)個相機的TOF相機系統(tǒng)，這些相機中的至少一個相機是TOF相機，其中這些相機被組裝在共同的基板上并且同時對相同場景成像，并且其中至少兩個相機由不同驅(qū)動參數(shù)驅(qū)動。
[0018]通過將該至少一個TOF相機的深度信息至少結(jié)合來自用不同參數(shù)驅(qū)動的另一相機的信息使用，將所有相機信息熔合在一起幫助完善和增強最終圖像的質(zhì)量，并且尤其幫助從所捕捉的場景獲取較高質(zhì)量深度圖，因為這些圖像是由諸相機同時捕獲的。
[0019]有利地，這些相機的傳感器被制造并組