渲染對象的深度圖像的t-o-f深度成像裝置及其方法
【專利摘要】提供一種渲染對象的深度圖像的T?O?F深度成像裝置及其方法。在實(shí)施例中，T?O?F深度成像裝置渲染具有校正的深度值的對象的深度圖像。所述裝置包括使用電子滾動(dòng)快門方案的像素陣列。所述裝置還包括向?qū)ο蟀l(fā)射以操作頻率調(diào)制的光的光源和以操作頻率打開和關(guān)閉的光學(xué)快門。光學(xué)快門還在從對象反射的光到達(dá)像素陣列之前對所述光進(jìn)行調(diào)制。在至少一個(gè)像素正感測它接收到的光時(shí)，光的傳輸和快門的操作彼此相對地改變相位，這允許更快的幀率。通過由像素感測的光量確定深度，并計(jì)算校正來補(bǔ)償改變的相位。
【專利說明】渲染對象的深度圖像的T-O-F深度成像裝置及其方法
[0001 ]本專利申請要求于2015年I月6日提交到美國專利商標(biāo)局的第62/100,464號(hào)美國臨時(shí)專利申請和于2015年10月14日提交的第14/883,598號(hào)美國臨時(shí)專利申請的優(yōu)先權(quán)，所述美國臨時(shí)專利申請的公開通過引用合并于此。
技術(shù)領(lǐng)域
[0002]本描述涉及深度成像裝置、系統(tǒng)和方法。
【背景技術(shù)】
[0003]測距裝置用于范圍感測，S卩，用于測量從這些裝置到對象或人的距離。范圍感測也被稱為測距、距離感測或深度感測。特定測距裝置(有時(shí)被稱為成像范圍傳感器)能夠在特定立體角或視場(FOV)內(nèi)沿不同方向同時(shí)執(zhí)行多個(gè)距離測量。以該方式測量的一組距離值可被轉(zhuǎn)換為FOV內(nèi)出現(xiàn)的對象的3維(3D)圖像。這是成像范圍傳感器的描述通常與產(chǎn)生2維(2D)圖像的更加傳統(tǒng)的相機(jī)的描述類似的原因，其中，2D圖像具有相對少的關(guān)于成像對象的形狀的信息以及相對多的關(guān)于對象的其它特性(如顏色和反射率)的信息。由傳統(tǒng)的相機(jī)提供的信息可被與從測距裝置對相同F(xiàn)OV成像的距離數(shù)據(jù)進(jìn)行組合，以產(chǎn)生對象的彩色3D圖像或用于其它目的。本領(lǐng)域還已知能夠在感測來自對象的光的強(qiáng)度和顏色的同時(shí)感測距對象的距離的相機(jī)。
[0004]大多數(shù)現(xiàn)代成像裝置使用微型光傳感器陣列來捕獲圖像，S卩，由透鏡、反射鏡或類似的光學(xué)組件、聚光組件產(chǎn)生的光的圖案。每個(gè)單獨(dú)的光傳感器(也被稱為像素)響應(yīng)通過光學(xué)組件定向到其上的光，該光最終來自于光學(xué)組件的視場(FOV)內(nèi)的特定狹窄立體角。該狹窄立體角可被稱為像素的接受角或F0V。成像裝置的FOV簡單地是它的所有有效像素的非重疊視場之和。像素對光的響應(yīng)包括光子的吸收，這導(dǎo)致帶電光電子的產(chǎn)生，所述光電子之后被捕捉到勢阱中。在被稱為“積分時(shí)間”或“曝光時(shí)間”的特定時(shí)間段內(nèi)在勢阱中累積的電荷最終由位于像素的內(nèi)部和/或外部的專用電子電路轉(zhuǎn)換為被成像裝置讀出并可被存儲(chǔ)在數(shù)字存儲(chǔ)器中的數(shù)字值。由不同的光感測像素基本上同時(shí)產(chǎn)生-并因而表示位于投射到成像裝置的像素陣列上的光圖案的不同點(diǎn)處的光強(qiáng)度的同期值的一組這樣的數(shù)字值被稱為數(shù)字圖像，其中，各個(gè)數(shù)字值被稱為圖像像素。
[0005]用于表示數(shù)字圖像的基本組分和成像裝置中的微型光傳感器兩者的詞語“像素”(“圖像元素”的縮寫)的傳統(tǒng)使用經(jīng)常導(dǎo)致這兩個(gè)有區(qū)別的概念被混淆，或者至少被認(rèn)為以非常直接的方式相關(guān)。然而，光感測像素的陣列與從它最終得到的數(shù)字圖像之間的關(guān)系可以是相當(dāng)復(fù)雜的。包括來自不同的光感測像素的光強(qiáng)度的簡單“讀取”并且恰好包括來自每個(gè)像素的一個(gè)“讀取”的數(shù)字圖像僅是最簡單的可能性，數(shù)據(jù)集通常被稱為“原始圖像”或“原始幀”。從成像裝置順序讀出的一系列原始圖像或一個(gè)這樣的原始圖像可經(jīng)受數(shù)字處理，其中，數(shù)字處理將首先破壞結(jié)果圖像的像素與成像裝置的光感測像素之間的一一對應(yīng)，其次，使圖像像素表示不同位置的除光強(qiáng)度之外的其它事情。進(jìn)行兩者的圖像處理的一個(gè)很好的示例是顏色插值或去馬賽克，其中，顏色插值或去馬賽克將從在其(通常以所謂的貝爾圖案布置的)像素上具有濾色器的圖像傳感器獲得的原始圖像轉(zhuǎn)換為數(shù)字圖像，其中，數(shù)字圖像中的每個(gè)像素是表示光強(qiáng)度和顏色(或者亮度和色度;簡稱為Iuma和chroma)的三分量向量。測距成像裝置可使用與彩色圖像傳感器同樣設(shè)計(jì)的光感測像素，但是它的最終輸出是不包括亮度-色度向量的圖像，而是包括距離數(shù)據(jù)的圖像，其中，距離數(shù)據(jù)通過以與用于產(chǎn)生數(shù)字彩色圖像的方式不同的方式處理原始像素讀出而被獲得。這些距離數(shù)據(jù)可以以光柵或向量形式被構(gòu)造為所謂的深度圖像。在向量深度圖像中，每個(gè)圖像像素通?？杀黄谕硎镜侥硨ο蟮谋砻嫔系哪滁c(diǎn)的方向和測量的距離，也就是，這樣的點(diǎn)在某坐標(biāo)系中的位置。在光柵深度圖像中，通常應(yīng)期望找到表示沿特定方向成功嘗試測量距離的像素和表示失敗的嘗試的像素兩者。例如，后者可由于在測距裝置的FOV的特定部分中缺乏足夠近和足以反射的對象而出現(xiàn)。
[0006]通常使用不同的飛行時(shí)間(T-O-F)技術(shù)執(zhí)行測距。這些技術(shù)中最受歡迎的技術(shù)包括:使用周期調(diào)制強(qiáng)度的光束對測距裝置的FOV中的對象進(jìn)行照明，并使測距裝置在調(diào)制周期的不同點(diǎn)捕獲反射光強(qiáng)度的“樣本”的序列。“強(qiáng)度樣本”實(shí)際上是與振蕩光強(qiáng)度和特定共周期的“解調(diào)制函數(shù)”或“門函數(shù)”的乘積的有限時(shí)間積分成比例的模擬或數(shù)字信號(hào)。解調(diào)制函數(shù)通過在積分中給予周期的興趣部分比周期的剩余部分高的權(quán)重來使積分表示強(qiáng)度調(diào)制周期中的特定點(diǎn)或特定部分中的光強(qiáng)度。周期的興趣部分的權(quán)重與剩余部分的權(quán)重之比(通常被稱為解調(diào)制對比度)越高，周期的興趣部分越小，并且積分時(shí)間內(nèi)的周期數(shù)越小，則作為強(qiáng)度樣本的積分的描述越準(zhǔn)確。只有在理想、不現(xiàn)實(shí)的情況下，當(dāng)解調(diào)制函數(shù)是狄拉克德爾塔函數(shù)時(shí)描述才完全準(zhǔn)確。接近理想情況的第一步是在多個(gè)調(diào)制周期內(nèi)以特定調(diào)制相位通過德爾塔函數(shù)重復(fù)進(jìn)行采樣，以提高作為結(jié)果的多周期積分的信噪比(SNR)。這僅在貫穿積分時(shí)間，強(qiáng)度調(diào)制是恒定的并且強(qiáng)度噪聲是隨機(jī)的情況下起作用。當(dāng)?shù)聽査瘮?shù)被在向不同的光調(diào)制相位給予不相等的權(quán)重時(shí)不那么極端的任何解調(diào)制函數(shù)替代時(shí)，該狀況不會(huì)改變。這種變化的僅有的效果是削弱函數(shù)和光強(qiáng)度的乘積的任何單個(gè)周期積分或多個(gè)周期積分的相位特異性。
[0007]在成像裝置反射的光的強(qiáng)度可通過改變解調(diào)制函數(shù)與光源的光強(qiáng)度的已知調(diào)制之間的相位差而在其振蕩的不同相位處被采樣。這種調(diào)制-解調(diào)制相位差或相移的改變可通過改變解調(diào)制函數(shù)的相位或光強(qiáng)度調(diào)制的相位(無論哪個(gè)都是很方便的)來進(jìn)行。在采集到由足夠大的相移間隔隔開并且具有足夠的信噪比的至少三個(gè)光強(qiáng)度樣本之后，可使用本領(lǐng)域已知的計(jì)算方法確定到達(dá)測距裝置的光與光源的光之間的調(diào)制相位差。該相位差是光已經(jīng)傳播了從光源到測距裝置的距離的結(jié)果。直到與光調(diào)制周期成比例的特定最大距離，相位差與光傳播的距離成比例。如果調(diào)制光的光源接近于測距裝置，則從任何對象到測距裝置的光的反射導(dǎo)致接近于從裝置到對象的距離的兩倍的傳播距離。因此，可從自這些對象反射的調(diào)制光束的相移而容易地獲得距不同對象的距離。
[0008]針對將出現(xiàn)在由T-O-F測距裝置捕獲的光強(qiáng)度積分中的解調(diào)制函數(shù)，裝置必須包括一些解調(diào)制組件或解調(diào)制器，以允許在每個(gè)調(diào)制周期的特定部分中的調(diào)制光的積分，并防止或抑制針對周期的剩余部分的積分。成像范圍傳感器可具有被設(shè)計(jì)為執(zhí)行入射光的解調(diào)制和積分兩者的像素。然而，在非常小的像素中組合這兩種功能是困難的，這限制了具有解調(diào)制像素的傳感器的空間分辨率。而且，如果解調(diào)制函數(shù)的周期的倒數(shù)(被稱為解調(diào)制頻率)達(dá)到20MHz以上，則COMS像素中的解調(diào)制效果急劇下降。
[0009]替代使用具有解調(diào)制像素的專門設(shè)計(jì)的傳感器，T-O-F3D成像裝置可以以光門或快門的形式使用具有單獨(dú)的解調(diào)制器的普通圖像傳感器，其中，光門或快門的傳輸以高頻率振蕩。在這種情況下，快門的傳輸是解調(diào)制函數(shù)。該函數(shù)通?？杀徽J(rèn)為是“全局的”，即，針對位于快門之后的傳感器的所有像素相同，如果無需相同的振蕩幅度和中點(diǎn)，則至少具有相同的振蕩周期和相位。在輸入到所有像素的光由全局解調(diào)制函數(shù)控制時(shí)，像素通常不必完全同步地對光進(jìn)行積分(即，全部在同一時(shí)間開始和結(jié)束積分，并且對解調(diào)制函數(shù)所允許輸入的盡可能多的光進(jìn)行積分)。例如，不同行的像素可在共享積分時(shí)間的長度的同時(shí)在不同的時(shí)間開始和結(jié)束積分。這可針對之前所述的解調(diào)制像素同樣地進(jìn)行。以這樣的方式使光積分的時(shí)序基于像素位置或局部的通常原因是使結(jié)果像素?cái)?shù)據(jù)的讀取和輸出穩(wěn)定(最大化數(shù)據(jù)率)。當(dāng)像素中光積分的時(shí)序是局部的時(shí)，解調(diào)制像素優(yōu)于全局解調(diào)制器之處在于，像素的解調(diào)制函數(shù)的相移的必要改變也可具有局部時(shí)序，并且它可被選擇，使得局部相移改變不再與位于相同位置的光積分一致。使此可行的要求是在保持光強(qiáng)度調(diào)制的相位恒定的同時(shí)能夠改變像素的解調(diào)制函數(shù)的相位。
[0010]對于將被用作光強(qiáng)度調(diào)制的特定相位處的光強(qiáng)度的樣本的結(jié)果強(qiáng)度積分來說，避免在光積分期間解調(diào)制函數(shù)相移的改變是必要的。用于從3個(gè)或4個(gè)這樣的“純單相強(qiáng)度樣本”計(jì)算距離的公式是簡單、本領(lǐng)域已知并且在T-O-F測距系統(tǒng)中廣泛使用的。此外，通過這些公式對噪聲或誤差傳播的分析是相當(dāng)簡單的。所有這些使得處于恒定解調(diào)制函數(shù)相移的光積分優(yōu)于其它可能性。然而，在以下意義上在組合全局解調(diào)制函數(shù)(例如，由光學(xué)快門提供)與局部光積分時(shí)序(例如，本領(lǐng)域中已知為電子滾動(dòng)快門或ERS的時(shí)序方案)的T-O-F深度成像系統(tǒng)中保持這樣的優(yōu)勢可能需要像素的低效率使用:在產(chǎn)生“純單相光強(qiáng)度樣本”的特定像素中的連續(xù)光積分可能要被隔開等待其它像素完成類似積分的長的空閑時(shí)段。積分時(shí)序是局部的意味著:針對特定像素中的每個(gè)光積分，至少一個(gè)積分發(fā)生在相同持續(xù)時(shí)間的其它地方，并且需要全局解調(diào)制函數(shù)的相同相移，但是在開始時(shí)間和結(jié)束時(shí)間方面不同。由此，其遵循解調(diào)制函數(shù)相移的改變之間的時(shí)間間隔必須長于任何特定積分的持續(xù)時(shí)間。由于這些積分中的每個(gè)應(yīng)該在不同的解調(diào)制函數(shù)相移處完成，因此，這些時(shí)間間隔也是任何特定像素中的連續(xù)積分的開始之間的間隔。如果像素在顯著小于兩個(gè)連續(xù)積分開始之間的每個(gè)間隔的100 %的時(shí)間內(nèi)對光進(jìn)行積分，則像素被低效率使用。
[0011]與使用具有解調(diào)制像素的專用深度傳感器相比，在T-O-F3D相機(jī)中在快速光學(xué)快門之后使用現(xiàn)有的ERS傳感器具有一些優(yōu)點(diǎn)。這些優(yōu)點(diǎn)包括更低的傳感器成本、更小的像素尺寸和更高的像素?cái)?shù)，并且在未來很可能將包括更高的最大可達(dá)到調(diào)制/解調(diào)制頻率。也可列出使用光學(xué)快門或其它全局解調(diào)制器的一些缺點(diǎn)。缺點(diǎn)中的一些對于全局解調(diào)制器與由ERS傳感器中的積分時(shí)序例證的局部積分時(shí)序的組合是獨(dú)有的。這種組合的主要缺點(diǎn)是不能以ERS時(shí)序方案允許的最大幀率產(chǎn)生包括“純單相光強(qiáng)度樣本”的原始幀。由于相機(jī)對運(yùn)動(dòng)對象精確成像的能力隨幀率增長，因此高幀率是進(jìn)行光強(qiáng)度樣本的連續(xù)捕獲的每個(gè)T-O-F 3D相機(jī)的高期望特征。具有全局解調(diào)制器的T-O-F相機(jī)僅可順序捕獲強(qiáng)度樣本。解調(diào)制像素可以以允許每個(gè)像素同時(shí)捕獲2個(gè)或更多個(gè)不同相位強(qiáng)度樣本的多種方式被設(shè)計(jì)和操作。當(dāng)不同相位強(qiáng)度樣本的捕獲在解調(diào)制像素中部分或全部并行時(shí)，與使用完全連續(xù)的樣本捕獲的相機(jī)相比，使用這些像素的T-O-F 3D相機(jī)通常對運(yùn)動(dòng)對象成像更好，來以相同幀率產(chǎn)生深度圖像。相應(yīng)地，更需要在具有全局解調(diào)制器的T-O-F相機(jī)(包括還使用ERS積分時(shí)序方案的那些相機(jī))中最大化幀率。

【發(fā)明內(nèi)容】

[0012]本描述給出深度成像裝置、系統(tǒng)和方法的示例，其中，所述深度成像裝置、系統(tǒng)和方法的使用可幫助克服現(xiàn)有技術(shù)中的問題和限制。
[0013]在實(shí)施例中，T-O-F深度成像裝置渲染具有校正的深度值的對象的深度圖像。所述裝置包括使用電子滾動(dòng)快門(ERS)方案的像素陣列。所述裝置還包括向?qū)ο蟀l(fā)射以操作頻率調(diào)制的光的光源和以操作頻率打開和關(guān)閉的光學(xué)快門。光學(xué)快門還在從對象反射的光到達(dá)像素陣列之前對所述光進(jìn)行調(diào)制。在至少一個(gè)像素正感測它接收到的光時(shí)，光的傳輸和快門的操作彼此相對地改變相位，這允許更快的幀率。通過由像素感測的光量確定深度，并計(jì)算校正來補(bǔ)償改變的相位。
[0014]因此，實(shí)施例提供一種方式以避免使用全局解調(diào)制器和普通ERS圖像傳感器的T-O-F測距系統(tǒng)的像素的上述低效率使用。
[0015]在實(shí)施例中，T-O-F深度成像裝置對針對對象渲染的T-O-F深度圖像幀執(zhí)行校正。所述裝置包括像素陣列和向?qū)ο蟀l(fā)射以操作頻率調(diào)制的光的光源。調(diào)制的光從對象反射并被像素陣列感測，其中，像素陣列以不同相位產(chǎn)生深度的原始數(shù)據(jù)幀。從針對相似相位的兩個(gè)原始數(shù)據(jù)幀的非零貢獻(xiàn)計(jì)算至少一個(gè)合成數(shù)據(jù)幀，從至少一個(gè)合成數(shù)據(jù)幀加上可能的一些原始數(shù)據(jù)幀來計(jì)算復(fù)合圖像(aggregate image)。因此能夠降低復(fù)合圖像之間的閃爍運(yùn)動(dòng)偽影。
[0016]從以下參照附圖進(jìn)行描述的【具體實(shí)施方式】，本描述的這些和其它特征、優(yōu)點(diǎn)將變得更加明顯。
【附圖說明】
[0017]圖1是根據(jù)實(shí)施例做出的采樣裝置的框圖。
[0018]圖2是圖1的裝置的像素陣列的前視圖的示圖。
[0019]圖3描述根據(jù)實(shí)施例做出的基于控制器的采樣系統(tǒng)。
[0020]圖4是根據(jù)實(shí)施例的對深度成像顯著的圖1的裝置的一些組件的示圖。
[0021]圖5示出用于計(jì)算深度的已知采樣等式。
[0022]圖6是示出使用電子全局快門模式的由圖1的裝置進(jìn)行的深度成像的曝光的采樣時(shí)序圖。
[0023]圖7是示出用于圖1的裝置的使用沒有相位轉(zhuǎn)換的電子滾動(dòng)快門(ERS)模式的詳細(xì)深度成像的采樣時(shí)序圖。
[0024]圖8是示出使用電子滾動(dòng)快門(ERS)模式、相位轉(zhuǎn)換和根據(jù)實(shí)施例應(yīng)用的校正的由圖1的裝置進(jìn)行的深度成像的曝光的采樣時(shí)序圖。
[0025]圖9示出根據(jù)實(shí)施例的用于計(jì)算校正的深度的采樣等式。
[0026]圖1OA示出可被用于對圖9的等式的深度校正進(jìn)行繪制的MatIab代碼的部分。
[0027 ] 圖1OB示出已經(jīng)由圖1OA的代碼產(chǎn)生的繪圖。
[0028]圖1lA示出可被用于對根據(jù)實(shí)施例產(chǎn)生的圖9的等式的深度誤差改變進(jìn)行繪制的Mat Iab代碼的部分。
[0029]圖1lB示出已經(jīng)由圖1lA的代碼產(chǎn)生的繪圖，并且該繪圖顯示出由實(shí)施例引起的深度誤差的改善。
[0030]圖12是用于示出根據(jù)實(shí)施例的方法的流程圖。
[0031]圖13是示出根據(jù)實(shí)施例的用于圖1的裝置的使用ERS和具有深度校正的第一相位混合模式的深度成像的采樣時(shí)序圖。
[0032]圖14是示出根據(jù)實(shí)施例的用于圖1的裝置的使用ERS和具有深度校正的第二相位混合模式的深度成像的采樣時(shí)序圖。
[0033]圖15是示出根據(jù)實(shí)施例的用于圖1的裝置的使用ERS和具有深度校正的第三相位混合模式的深度成像的采樣時(shí)序圖。
[0034]圖16是示出根據(jù)實(shí)施例的用于圖1的裝置的使用ERS和具有深度校正的第四相位混合模式的深度成像的采樣時(shí)序圖。
[0035]圖17是示出根據(jù)實(shí)施例的用于圖1的裝置的使用ERS和具有深度校正的第五相位混合模式的深度成像的采樣時(shí)序圖。
[0036]圖18是示出渲染的深度幀的序列的時(shí)序圖。
[0037]圖19示出由發(fā)明人開發(fā)的用于進(jìn)一步解釋圖18的轉(zhuǎn)換中的閃爍的等式。
[0038]圖20是根據(jù)實(shí)施例的對深度成像顯著的圖1的裝置的一些組件的示圖。
[0039]圖21是根據(jù)第一實(shí)施例的用于實(shí)現(xiàn)對T-O-F深度圖像幀的校正的示圖。
[0040]圖22是根據(jù)第二實(shí)施例的用于實(shí)現(xiàn)對T-O-F深度圖像幀的校正的示圖。
[0041 ]圖23是根據(jù)第三實(shí)施例的用于實(shí)現(xiàn)對T-O-F深度圖像幀的校正的示圖。
[0042]圖24是根據(jù)實(shí)施例可使用的幀標(biāo)簽的表格。
[0043]圖25是用于示出根據(jù)實(shí)施例的方法的流程圖。
【具體實(shí)施方式】
[0044]如已經(jīng)提及的，本描述是關(guān)于深度成像裝置、系統(tǒng)和方法。現(xiàn)在更詳細(xì)地描述實(shí)施例。
[0045]圖1是裝置100的框圖，其中，裝置100可根據(jù)許多不同的實(shí)施例被實(shí)現(xiàn)。例如，裝置100可以是被配置為渲染對象101或人的深度圖像的深度成像裝置。對象的“深度圖像”不是常規(guī)意義上的圖像，而是呈現(xiàn)關(guān)于對象的各個(gè)部分距相機(jī)的距離(深度，或者范圍)的信息的方式。針對另一示例，裝置100可以是常規(guī)成像裝置，諸如相機(jī)。在一些實(shí)施例中，裝置100是深度成像裝置和常規(guī)成像裝置兩者，這是因?yàn)檫@種類型的裝置具有可被協(xié)同使用的共性。
[0046]裝置100可具有外殼102，外殼102也可被稱為殼體。開口 104設(shè)置于外殼102中。除非開口是針孔(這使得組件106是不必要的)，否則透鏡或另一聚光組件106設(shè)置于開口 104中。裝置100還具有像素陣列110。像素陣列110被配置為通過開口 104接收光，并捕獲光。因此，像素陣列110、開口 104和透鏡106限定視場112。當(dāng)然，雖然圖1示出二維的視場112和對象1I，但是視場112和對象1I處于三維。
[0047]外殼102可被調(diào)整，以使期望的對象101或者人或場景將進(jìn)入視場112中，從而呈現(xiàn)輸入圖像。光源114(諸如發(fā)光二極管(LED)或激光二極管)還可被設(shè)置于外殼102上，從而輔助裝置100的成像和/或使裝置100能夠進(jìn)行測距操作。光源114可被配置為向視場112發(fā)射光116，從而對視場112中的人或?qū)ο筮M(jìn)行照明。除了從對象101接收的反射的環(huán)境光之外，光116可被對象1I反射，然后通過開口 104被接收。因此，光源114可通過更好地對對象1I進(jìn)行照明來輔助成像，或可通過以對裝置100已知的方式調(diào)制光116的強(qiáng)度來實(shí)現(xiàn)測距。光源114可響應(yīng)于驅(qū)動(dòng)信號(hào)進(jìn)行操作，從而光源可與驅(qū)動(dòng)信號(hào)如何被調(diào)制類似地調(diào)制發(fā)射的光116的強(qiáng)度，這將稍后在本文檔中示出。
[0048]如上所述，像素陣列110可捕獲經(jīng)由開口104接收的光?，F(xiàn)在參照圖2，采樣像素陣列110具有二維的像素陣列，像素有時(shí)也被稱為傳感器。如所示出的，像素可按行和列被布置，但是其它布置也是可行的。如所示出的，從像素陣列的一個(gè)邊緣開始并在相對的邊緣終止，行和列可根據(jù)它們的位置而被標(biāo)記。由于裝置100至少是深度成像裝置，因此像素陣列110中的像素中的至少一些或全部是深度感測像素，其中，深度感測像素還更簡化地被稱為深度像素。示出了采樣第一深度像素241和采樣第二深度像素242，盡管這些像素中的其它像素可被認(rèn)為是這樣的第一深度像素和第二深度像素。類似地，第一深度像素241位于可被表征為第一行的行中，第二深度像素242可被表征為位于第二行，因此除非另外指示-例如，如果指定行根據(jù)它們的位置而具有序數(shù)，否則任意行可被表征為第一或第二。
[0049]在T-O-F深度成像裝置的情況下，當(dāng)深度像素暴露于輸入圖像(S卩，接收來自視場112并由透鏡106重新定向的從對象反射的光)時(shí)，深度像素產(chǎn)生對它們接收的光響應(yīng)的信號(hào)。通常，這些信號(hào)是電荷的形式。根據(jù)它們的量級，這些信號(hào)對光的各個(gè)感測值進(jìn)行編碼，這是為什么它們也被稱為樣本的原因。更具體地講，這些光的各個(gè)感測值可以是根據(jù)像素位置、像素積分時(shí)間和在該積分時(shí)間中的光強(qiáng)度調(diào)制的各個(gè)像素曝光值，并可被稱為積分的光強(qiáng)度樣本或時(shí)間平均的光強(qiáng)度樣本。這也是為什么整個(gè)像素陣列110有時(shí)也被稱為傳感器或光強(qiáng)度傳感器的原因。在測距裝置的情況下，從捕獲的像素信號(hào)最終計(jì)算出的距離信息證明將像素稱為深度感測像素以及將像素陣列110稱為深度、距離或范圍傳感器是合理的。
[0050]返回圖1，裝置100可另外包括處理器120。如將示出的，處理器120可在從像素陣列110接收到信號(hào)或樣本時(shí)執(zhí)行圖像處理功能，以最終用于渲染深度圖像。這些功能可包括相位校正、深度值和調(diào)整深度值的計(jì)算等。
[0051]裝置100還可包括控制器130。如將所示的，控制器130可被配置為控制像素陣列110和裝置100的其它組件(諸如光源114)的操作?？衫缤ㄟ^發(fā)送控制它們的操作的信號(hào)來執(zhí)行控制。在一些實(shí)施例中，控制器130從處理器120接收輸入，例如，用于調(diào)整曝光的樣本的成像參數(shù)等。例如，在一些實(shí)施例中，控制器130可調(diào)整亮度或平均輸出功率，以避免像素陣列110中的像素過度曝光等。
[0052]處理器120和/或控制器130可使用一個(gè)或多個(gè)中央處理器(CHJ)、數(shù)字信號(hào)處理器、微處理器、微控制器、專用集成電路(ASIC)、可編程邏輯器件(PLD)等被實(shí)現(xiàn)。控制器130可選擇性地與像素陣列110、處理器120以及還可與裝置100的其它組件集成地形成，也許形成在單個(gè)集成電路中。如本領(lǐng)域技術(shù)人員將理解的，控制器130可通過從輸出端口發(fā)送控制信號(hào)等來控制并操作像素陣列110。
[0053]裝置100還可包括存儲(chǔ)器140。樣本可被存儲(chǔ)在存儲(chǔ)器140中，優(yōu)選地，樣本作為表示由像素產(chǎn)生的信號(hào)的數(shù)字值被存儲(chǔ)在存儲(chǔ)器140中。樣本還可在被存儲(chǔ)在存儲(chǔ)器140中之前和/或之后被處理。在實(shí)施例中，存儲(chǔ)器140被配置為將由處理器120計(jì)算的最終樣本存儲(chǔ)為渲染的圖像。存儲(chǔ)器140可與處理器120和/或控制器130—起被實(shí)現(xiàn)。
[0054]在實(shí)施例中，T-O-F深度成像裝置具有執(zhí)行本文檔中其它地方描述的深度數(shù)據(jù)校正的能力，所述能力包括內(nèi)部存儲(chǔ)執(zhí)行深度數(shù)據(jù)校正所需的查找表的能力。所述能力可通過裝置中的專用電路或通過其多功能數(shù)字?jǐn)?shù)據(jù)處理子系統(tǒng)(諸如微處理器和RAM存儲(chǔ)器)來提供。
[0055]表示由像素產(chǎn)生的電荷的數(shù)字值以及最終積分的光強(qiáng)度樣本可被存儲(chǔ)在存儲(chǔ)器140中。數(shù)字值可在被存儲(chǔ)到存儲(chǔ)器140中之前和/或之后在處理器120中經(jīng)受一些形式的數(shù)字處理。在一些實(shí)施例中，存儲(chǔ)器140可被配置為存儲(chǔ)由處理器120從也被存儲(chǔ)在存儲(chǔ)器140中的光強(qiáng)度樣本計(jì)算的深度值。存儲(chǔ)的深度值可被組合為光柵或向量深度圖像。處理器120還可處理存儲(chǔ)的深度圖像并將結(jié)果存儲(chǔ)在存儲(chǔ)器140中。存儲(chǔ)器140的該使用是可選的。存儲(chǔ)器140通常需存儲(chǔ)與從像素陣列110讀出的光強(qiáng)度樣本一樣的原始光強(qiáng)度樣本，直到它們可被用于計(jì)算深度值為止。深度數(shù)據(jù)或通過在處理器120中進(jìn)一步處理深度數(shù)據(jù)而產(chǎn)生的數(shù)據(jù)通常無需在測距系統(tǒng)中被存儲(chǔ)或被緩存，而是它們一變得可用就可被輸出在更多或更少的連續(xù)數(shù)據(jù)流中。存儲(chǔ)器140可與處理器120和/或控制器130—起被實(shí)現(xiàn)。
[0056]如將示出的，處理器120可在從像素陣列110接收到原始幀時(shí)或者在計(jì)算深度圖像時(shí)執(zhí)行圖像校正功能。這些功能可包括:使用存儲(chǔ)在存儲(chǔ)器140中的預(yù)定權(quán)重集、將存儲(chǔ)在存儲(chǔ)器140中的查找表中的偏移與深度圖像的適當(dāng)深度值相加并校正由透鏡106導(dǎo)致的原始圖像和深度圖像的失真，來對原始幀對進(jìn)行逐像素的加權(quán)求平均等。
[0057]裝置100可另外包括用戶接口150，其中，用戶接口 150可被配置為從用戶接收輸入。所述輸入可用于控制裝置100的操作，諸如，用于調(diào)整像素陣列110和光源114的操作參數(shù)和/或處理器120使用的圖像處理參數(shù)。在一些實(shí)施例中，接口 150通過一個(gè)或多個(gè)獨(dú)立的組件(諸如，外殼102上的制動(dòng)器、按鈕、圓形輪等)被實(shí)現(xiàn)。用戶接口 150還可被配置為產(chǎn)生人可感知的指示，以便傳達(dá)給用戶。
[0058]可選地，裝置100還包括顯示器160，其中，顯示器160可被認(rèn)為是用戶接口 150的部分。顯示器160可包括屏幕。
[0059]當(dāng)被提供時(shí)，顯示器160可顯示圖像，諸如，由像素陣列110輸出的原始圖像和處理的深度圖像(也被稱為渲染的深度圖像)。圖像還可包括可以以視覺形式呈現(xiàn)的在原始圖像與渲染的深度圖像之間進(jìn)行數(shù)據(jù)處理的任何中間結(jié)果。用戶可觀看顯示的圖像，并使用它們更好地調(diào)整外殼102，以使對象101將被置于視場112中。此外，用戶可在從顯示在顯示器160上的圖像接收反饋的同時(shí)調(diào)整裝置操作參數(shù)和/或圖像處理參數(shù)。顯示器160的屏幕可以是觸摸屏，其中，可通過觸摸屏從用戶接收輸入。在顯示器160上任何類型的圖像的顯示可以與將圖像或其它數(shù)據(jù)輸出到其它適當(dāng)?shù)难b置并行進(jìn)行。
[0060]圖3描述針對根據(jù)實(shí)施例做出的裝置的基于控制器的系統(tǒng)300。如將理解的，系統(tǒng)300可包括圖1的裝置100的組件。
[0061]系統(tǒng)300包括根據(jù)實(shí)施例做出的像素陣列310，其中，像素陣列310可與圖1的像素陣列110類似。如此，系統(tǒng)300可以是，但不限于，計(jì)算機(jī)系統(tǒng)、深度成像系統(tǒng)、常規(guī)成像系統(tǒng)、掃描系統(tǒng)、機(jī)器視覺系統(tǒng)、車輛導(dǎo)航系統(tǒng)、智能電話、視頻電話、個(gè)人數(shù)字助理(PDA)、移動(dòng)計(jì)算機(jī)、監(jiān)控系統(tǒng)、自動(dòng)對焦系統(tǒng)、星體跟蹤系統(tǒng)、運(yùn)動(dòng)檢測系統(tǒng)、穩(wěn)像系統(tǒng)、用于高清電視或動(dòng)態(tài)圖片(“電影”)的數(shù)據(jù)壓縮系統(tǒng)等。
[0062]系統(tǒng)300可另外包括處理器320和控制器330，其中，處理器320和控制器330可分別與處理器120和控制器130類似。在一些實(shí)施例中，如圖3所示，這些組件通過總線335在它們之間進(jìn)行通信。
[0063]系統(tǒng)300還可包括存儲(chǔ)器340，其中，存儲(chǔ)器340可以是之前所述的存儲(chǔ)器140。存儲(chǔ)器340可以是隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(R0M)、它們的組合等。存儲(chǔ)器340可被配置為存儲(chǔ)可由處理器320和/或控制器330讀取并執(zhí)行的指令。存儲(chǔ)器340可被配置為既短期地又長期地存儲(chǔ)由像素陣列310捕獲的樣本。
[0064]系統(tǒng)300還可選地包括用戶接口350，其中，用戶接口350可被制造為之前描述的用戶接口 150。此外，由于系統(tǒng)300不需要必須使用外殼被實(shí)施，因此針對用戶接口 350可存在更多不同的配置，例如，通過使用鍵區(qū)、鍵盤等。存儲(chǔ)器340可被配置為還存儲(chǔ)用戶可經(jīng)由用戶接口 350訪問的用戶數(shù)據(jù)。
[0065]系統(tǒng)300還可選地包括顯示器360，其中，顯示器360可被認(rèn)為是用戶接口 350的部分。顯示器360可以是圖1的顯示器160或計(jì)算機(jī)屏幕顯示器、定制顯示器、等離子體屏幕等。顯示器360可向用戶顯示由像素陣列310捕獲的深度圖像等。
[0066]此外，系統(tǒng)300可包括外部驅(qū)動(dòng)器370，其中，外部驅(qū)動(dòng)器370可以是光盤(CD)驅(qū)動(dòng)器、拇指驅(qū)動(dòng)器等。系統(tǒng)300還可包括網(wǎng)絡(luò)接口模塊380。系統(tǒng)300可使用模塊380來將數(shù)據(jù)發(fā)送到通信網(wǎng)絡(luò)或從通信網(wǎng)絡(luò)接收數(shù)據(jù)。可經(jīng)由線纜(例如經(jīng)由電纜)或USB接口進(jìn)行發(fā)送?？蛇x地，通信網(wǎng)絡(luò)可以是無線的，模塊380可以是無線的并包括，例如，天線、無線收發(fā)器等。通信接口協(xié)議可以是通信系統(tǒng)的協(xié)議，例如，CDMA、GSM, NADC、E-TDMA、WCDMA、CDMA2000、W1-F1、Muni W1-F1、藍(lán)牙、DECT、無線USB、Flash_0FDM、IEEE 802.20、GPRS、iBurst、WiBro、WiMAX、高級WiMAX、UMTS-TDD、HSPA、EVDO、高級LTE、MMDS 等。
[0067]現(xiàn)在更詳細(xì)地探討根據(jù)實(shí)施例的深度成像操作。
[0068]圖4重復(fù)根據(jù)實(shí)施例的對深度成像顯著的圖1的裝置的方面以及進(jìn)一步添加的方面。T-O-F深度成像裝置400可被配置為渲染對象401的深度圖像。裝置400包括具有開口 404的殼體402、像素陣列410、控制器430和位于殼體402上的光源414。如之前所述，透鏡或其它聚光組件可被安裝于開口 404。
[0069]控制器430可被配置為產(chǎn)生可以是周期性的照明時(shí)鐘信號(hào)和快門時(shí)鐘信號(hào)。這兩個(gè)信號(hào)可以以根據(jù)期望選擇的操作頻率被調(diào)制。通常使用的時(shí)鐘頻率是20MHz，如果時(shí)鐘頻率與照明強(qiáng)度調(diào)制和快門打開的相關(guān)頻率相等，則使TOF測距系統(tǒng)能夠明確地測量距對象高達(dá)7.5米遠(yuǎn)的距離。
[0070]雖然這兩個(gè)信號(hào)處于相同的操作頻率，但是它們之間可具有相位差，就本文檔的目的而言，可稱為驅(qū)動(dòng)相位差。如將示出的，驅(qū)動(dòng)相位差可以是零、改變?yōu)槠渌?、通過一系列有序值的重復(fù)步驟等。如本領(lǐng)域技術(shù)人員將理解的，驅(qū)動(dòng)相位差的值可恰如相位值一樣以角度、時(shí)間等為單位被給出?？赏ㄟ^改變一個(gè)時(shí)鐘信號(hào)的相位而同時(shí)保持另一時(shí)鐘信號(hào)的相位不變來改變驅(qū)動(dòng)相位差，或者可通過改變兩個(gè)時(shí)鐘信號(hào)的相位來改變驅(qū)動(dòng)相位差，無論哪個(gè)都是最方便的。
[0071]這2個(gè)時(shí)鐘信號(hào)的同步調(diào)制通過光416的強(qiáng)度以及快門419的傳輸?shù)耐秸{(diào)制來反映。以光強(qiáng)度調(diào)制的頻率開啟和關(guān)閉以入射光的快門可充當(dāng)針對像素陣列410的全局光學(xué)解調(diào)制器。結(jié)合這樣的解調(diào)制器，像素陣列具有以其調(diào)制的不同相位對入射光的強(qiáng)度進(jìn)行采樣的能力。通過陣列410中的每個(gè)有效像素獨(dú)立地完成采樣。從在3個(gè)、4個(gè)或更多個(gè)不同的相位順序或并行獲得的光強(qiáng)度樣本，可計(jì)算發(fā)射的光416與落在像素上的反射光之間的調(diào)制相位差。該相位差或相移之后可被轉(zhuǎn)換為裝置400與對象401的表面上的一些點(diǎn)之間的距離。相位差與距離之間的關(guān)系僅針對達(dá)到特定限制的距離(通常稱為模糊距離)是明確的。超過該限制的每個(gè)距離與在該限制之下的一個(gè)距離共享相移，這使得在除了相移值之外沒有一些其它信息的情況下，這兩者無法區(qū)分。
[0072]光源414可向?qū)ο?01發(fā)射光416。光416可具有響應(yīng)于照明時(shí)鐘信號(hào)的光強(qiáng)度、亮度或功率。瞬時(shí)和時(shí)間平均的光源輸出功率對照明時(shí)鐘信號(hào)的行為的準(zhǔn)確依賴可在不同的實(shí)施例中不同，范圍從時(shí)鐘信號(hào)值與瞬時(shí)功率之間的簡單線性關(guān)系到更加復(fù)雜的關(guān)系。盡管關(guān)系的可能的復(fù)雜性，但是照明時(shí)鐘信號(hào)的一些性質(zhì)(例如，值、頻率、相位或占空比)的隨時(shí)間的周期性調(diào)制必然導(dǎo)致光416的功率或強(qiáng)度的類似的時(shí)控調(diào)制。
[0073]隨著照明時(shí)鐘信號(hào)被調(diào)制，光416相應(yīng)地被調(diào)制，也就是說，光416使用與照明時(shí)鐘信號(hào)的頻率相等的頻率被周期性地調(diào)制。在一些實(shí)施例中，光416通過通常與照明時(shí)鐘信號(hào)在相位上接通和關(guān)斷而被調(diào)制，通過以類似于正弦曲線的圖案平滑地改變它的強(qiáng)度而被調(diào)制等。
[0074]裝置400還包括位于像素陣列410前面的光學(xué)快門419。光學(xué)快門419可被配置為響應(yīng)于快門時(shí)鐘信號(hào)而交替地打開和關(guān)閉。打開和關(guān)閉可以是完全的或逐漸的。因此，光學(xué)快門419可被配置為響應(yīng)于快門時(shí)鐘信號(hào)而在傳輸更高或更低百分比的入射光的意義上交替地打開和關(guān)閉。穿過快門的光的百分比可在最小值和最大值之間平滑地或突然地變化，最大值和最小值兩者可以位于O與100%之間的任何地方，并且改變通常與快門時(shí)鐘信號(hào)保持同步。光學(xué)快門419可以是，例如，快速電光快門，其中，在快速電光快門中施加于半透明材料的周期性改變的電壓信號(hào)改變它對特定波長的光的透過性。
[0075]光416的部分可被從對象401向開口 404反射，并通過該開口到達(dá)光學(xué)快門419?？扉T可允許入射光的某部分穿過并到達(dá)像素陣列410?？扉T的傳輸受快門時(shí)鐘信號(hào)控制，并可在最小值與最大值之間變化，即使最小值不是0，并且最大值不是I，快門也可在最小值與最大值處分別被認(rèn)為是關(guān)閉和打開?？扉T傳輸與快門時(shí)鐘信號(hào)之間的準(zhǔn)確關(guān)系可在實(shí)施例中變化，并且不必是簡單的線性關(guān)系。所必須的是:快門時(shí)鐘信號(hào)的一些性質(zhì)的周期性調(diào)制必須引起快門傳輸?shù)耐街芷谛哉{(diào)制。作為結(jié)果，光學(xué)快門419還可在來自對象的調(diào)制的光到達(dá)像素陣列之前對所述調(diào)制的光進(jìn)行調(diào)制?？扉T的操作頻率可被設(shè)置為與光強(qiáng)度調(diào)制頻率相等，以使快門用作針對像素陣列的全局解調(diào)制器?？扉T的周期性變化的傳輸可以是解調(diào)制函數(shù)，其中，解調(diào)制函數(shù)使通過像素陣列產(chǎn)生的光強(qiáng)度積分近似于多個(gè)光強(qiáng)度樣本之和，其中，每個(gè)光強(qiáng)度樣本以特定光調(diào)制相位(通常，其針對所有樣本不相同)被捕獲。
[0076]之后，將認(rèn)識(shí)到，陣列410中的深度像素被配置為感測發(fā)射的強(qiáng)度調(diào)制的光416的從對象401反射回殼體402并在光學(xué)快門419打開時(shí)進(jìn)一步穿過開口 404和光學(xué)快門419的部分。多個(gè)方面的組合使飛行時(shí)間(T-O-F)深度成像能夠進(jìn)行。由于快門時(shí)鐘信號(hào)有效改變陣列410中的像素對光416的靈敏度，因此快門時(shí)鐘信號(hào)可被認(rèn)為是解調(diào)制信號(hào)的示例?？扉T對像素的靈敏度的影響通常是全局的，即，所有像素在任意給定的時(shí)間以相同的方式被影響。像素的靈敏度還可依賴于它們的內(nèi)部狀態(tài)，也就是，依賴于在給定時(shí)間任意特定像素是否對光進(jìn)行積分、被讀出、被重置等。根據(jù)像素陣列410的設(shè)計(jì)，它的像素可通過內(nèi)部狀態(tài)的有限序列一致地或不一致地循環(huán)。在后一種情況下，不同的時(shí)序方案可在不同像素的循環(huán)之間引起不同的時(shí)間偏移。一種非常受歡迎的時(shí)序方案被稱為電子滾動(dòng)快門(ERS)。它的基本假定是，在像素陣列的操作期間的任意時(shí)間，陣列中的一行像素應(yīng)該被讀出然后被重置，同時(shí)，所有其它行應(yīng)該對光進(jìn)行積分。行的讀取應(yīng)該從像素陣列的頂部到底部連續(xù)進(jìn)行，之后再次從頂部開始。僅當(dāng)特定行的像素正被讀出時(shí)，像素中的光積分應(yīng)該停止。
[0077]在一些實(shí)施例中，對于T-O-F深度成像，選擇依次使用深度像素將進(jìn)行積分的四個(gè)相位0°、90°、180°和270°。照明時(shí)鐘信號(hào)與快門時(shí)鐘信號(hào)之間的相位差可通過4個(gè)值的序列(例如，0°、90°、180°和270°)而循環(huán)。此外，這些值都可被移動(dòng)相同的任意角度:例如，移動(dòng)40°將產(chǎn)生40°、130°、220°和310°的值。如本領(lǐng)域技術(shù)人員將理解的，可忽視任何這樣的移動(dòng)，并且移動(dòng)的值的序列被視為與0°、90°、180°和270°的序列等同。
[0078]這四個(gè)相位的序列可以處于不同的順序，換言之，同樣的四個(gè)值還可以被不同地排序，產(chǎn)生相位差的不同序列以重復(fù)循環(huán)。還將理解，可通過根據(jù)不小于3的任何數(shù)量的值(即，3、4、5、6等)將相位差進(jìn)行階躍來執(zhí)行深度成像。
[0079]快門時(shí)鐘信號(hào)與照明時(shí)鐘信號(hào)之間的相位差影響多少光由陣列的像素積分并被轉(zhuǎn)換為光強(qiáng)度樣本。存在影響每個(gè)像素的信號(hào)的許多其它因素，但是，只要那些因素沒有使信號(hào)過于小或過于非線性，則在相位差的不同的均勻間隔的值處從一個(gè)像素捕獲的一組3個(gè)、4個(gè)或更多個(gè)信號(hào)值足夠計(jì)算針對該像素的深度值。
[0080]為了產(chǎn)生深度圖像或幀(S卩，測量的距對象的距離的圖)，應(yīng)該從陣列410中的所有像素幾乎同時(shí)地理想地獲得深度值。如果由一些像素產(chǎn)生的光強(qiáng)度樣本沒有好到能夠產(chǎn)生有效的深度，則在深度圖像中可仍包括無效的深度值?？蛇x地，可使用本領(lǐng)域技術(shù)人員已知的方法估計(jì)來自不同像素的深度值的有效性，并根據(jù)優(yōu)選的替代方案由替代值替代被確定為無效的深度值。
[0081 ] TOF相機(jī)通常在通過相位差0°、90°、180°和270°將相位變量時(shí)鐘進(jìn)行階躍時(shí)捕獲4個(gè)原始幀?？扉T時(shí)鐘信號(hào)與照明時(shí)鐘信號(hào)之間的相位差可影響多少光由陣列中的不同像素感測并被轉(zhuǎn)換為樣本?？赏ㄟ^改變控制信號(hào)的時(shí)鐘中的僅一個(gè)時(shí)鐘的相位來完成這種改變，優(yōu)選地，可使用最方便的方式改變該時(shí)鐘。
[0082]在實(shí)施例中，對象的深度圖像是有序的數(shù)值集，其中，數(shù)值與使用T-O-F技術(shù)測量的裝置和對象的表面上的不同點(diǎn)之間的距離相等或成比例。像素可使用具有固定、全局積分時(shí)間的ERS積分時(shí)序方案來執(zhí)行T-O-F測距所需的光強(qiáng)度積分的連續(xù)捕獲。從像素陣列的強(qiáng)度積分的讀出、強(qiáng)度積分的數(shù)字化以及之后的數(shù)字處理和/或輸出由包括在裝置中的專用電路根據(jù)相同的時(shí)序方案來執(zhí)行。
[0083]ERS時(shí)序方案的頂級規(guī)格可以是原始幀率或深度幀率，其中，原始幀率或深度幀率分別指由裝置產(chǎn)生包括未處理的光強(qiáng)度樣本的幀或圖像的速率或者針對包括深度值的幀或圖像的相應(yīng)速率。在最簡單的情況下，積分時(shí)間和原始幀率互相成反比。原始幀率通常是深度幀率的整數(shù)倍。如上所述，光源可向?qū)ο蟀l(fā)射強(qiáng)度被調(diào)制的廣角光束。
[0084]如之前所述，解調(diào)制函數(shù)的相位與光源處光強(qiáng)度調(diào)制的相位之間的差可例如以與ERS時(shí)序方案的原始幀率相等的速率通過幾個(gè)不同的值(例如，0°、180°、90°和270°的角度)被階躍。這意味著每個(gè)光強(qiáng)度積分最多包括以2個(gè)不同調(diào)制相位獲得的強(qiáng)度樣本。
[0085]以任意特定調(diào)制相位獲得的樣本對光強(qiáng)度積分的百分比貢獻(xiàn)可從O到100%變化。如果是100%，則該積分可被視為通過積分時(shí)間平均的“純單相強(qiáng)度樣本”。如之前所述，從3個(gè)或更多個(gè)這樣的強(qiáng)度樣本計(jì)算深度值的方法在本領(lǐng)域是公知的。然而，在所考慮的裝置中，可在每個(gè)積分周期期間最多由像素陣列中的一行像素產(chǎn)生這樣的樣本或積分。像素陣列中的該行的位置或序數(shù)可通過調(diào)整ERS方案中積分周期的開始或結(jié)束與調(diào)制-解調(diào)制相移變化的時(shí)序之間的時(shí)間偏移而被選擇。
[0086]不考慮陣列中單個(gè)“單相行”的存在和位置，在每個(gè)積分周期中，所有其它行中的像素產(chǎn)生包括來自兩個(gè)不同的調(diào)制相位的貢獻(xiàn)的強(qiáng)度積分。這兩個(gè)相位針對所有的像素相同，但是由于每一行由該行中積分的開始或結(jié)束與調(diào)制-解調(diào)制相移變化之間的唯一時(shí)間偏移來表征，因此這兩個(gè)相位在每一行中貢獻(xiàn)不同的比例。
[0087]在像素的每一行，光強(qiáng)度積分中的該時(shí)間偏移和兩個(gè)相位貢獻(xiàn)的比例從一個(gè)積分周期到下一個(gè)積分周期不變。所改變的是兩個(gè)相位。例如，如果針對像素的特定行，相位貢獻(xiàn)的比例是25%和75%，并且調(diào)制-解調(diào)制相移通過0°、90°、180°和270°的值重復(fù)階躍，則在第一積分周期中，該行中的像素可在積分時(shí)間的前1/4以調(diào)制相位0°對光強(qiáng)度進(jìn)行采樣，并在積分時(shí)間的后3/4以相位90°對光強(qiáng)度進(jìn)行米樣。產(chǎn)生的積分可被稱為25 %相位0°以及75%相位90°。類似地，第二積分周期產(chǎn)生25%相位90°以及75%相位180°的積分，第三積分周期產(chǎn)生25%相位180°以及75%相位270°的積分，第四積分周期產(chǎn)生25%相位270°以及75%相位0°的積分等。作為示例在此給出的四個(gè)雙相積分與由上述單相行中的像素在相同的四個(gè)積分周期中產(chǎn)生的單相0°、90°、180°和270°積分相應(yīng)。
[0088]雖然本領(lǐng)域已知的標(biāo)準(zhǔn)深度計(jì)算方法在應(yīng)用于單相0°、90°、180°和270°積分時(shí)產(chǎn)生正確的深度值，但是當(dāng)應(yīng)用于相應(yīng)的雙相積分時(shí)該方法產(chǎn)生錯(cuò)誤的深度值。因此，以標(biāo)準(zhǔn)方法從由裝置產(chǎn)生的4個(gè)原始幀計(jì)算的深度圖像多半包括錯(cuò)誤的深度值。然而，這些值可在實(shí)施例中被校正。在調(diào)制-解調(diào)制相移通過其階躍的值的序列可被寫作Φ(υ=Φο土mod(i，n)*360°/n的實(shí)施例中，校正可更好，其中，η是序列中值的數(shù)目，11 = 3、4、5^"，;[是向序列中的每個(gè)值分配的序數(shù)，i = O、1、…、n-1，mod (i，η)指i除以η的余數(shù)，土指+或-必須被選擇來定義整個(gè)序列。換言之，簡單的深度校正的條件是調(diào)制-解調(diào)制相移的所有改變必須相同(在圓形平面角空間中加360°/n或者減360°/n)。當(dāng)滿足該條件時(shí)，從雙相強(qiáng)度積分獲得的所有錯(cuò)誤深度的校正可通過將它們中的每個(gè)與固定偏移相加來完成，其中，所述固定偏移從深度幀中的一行像素到下一行像素單調(diào)地變化，但是在每一行內(nèi)恒定。數(shù)量與像素中深度幀的高度相等的進(jìn)行校正所需要的偏移值可容易地被存儲(chǔ)在小的查找表中。
[0089]圖5示出當(dāng)使用四個(gè)相位時(shí)用于深度計(jì)算的已知的采樣等式(5-1)、(5-2)、(5-3)、(5-4)。應(yīng)該認(rèn)識(shí)到，如果沒有應(yīng)用一些假設(shè)(例如，關(guān)于調(diào)制實(shí)質(zhì)上是正弦曲線等)，則有時(shí)這些等式可能不同。等式(5-1)給出作為在各個(gè)相位感測的解調(diào)制信號(hào)的振幅的A(row，col)。等式(5-2)給出作為背景照明的測量的B(r0W，C0l)。
[0090]通常，對于每個(gè)像素，對象101距裝置100的距離或范圍或深度從等式(5-3)的結(jié)果給定。等式(5-3)的結(jié)果是解調(diào)制時(shí)鐘信號(hào)與從對象101反射然后由像素捕獲的光116的調(diào)制之間的測量的相位差。等式(5-4)給出裝置的組件所固有的在該測量中的不確定性(“誤差”或“深度噪聲”)的量。由于這些裝置被推向它們的基本極限，因此這樣的不確定性是可以理解的。
[0091]現(xiàn)在針對曝光描述兩個(gè)可能模式，也就是電子全局快門模式和電子滾動(dòng)快門模式。應(yīng)該牢記，電子全局快門模式可與可由光學(xué)快門119施加的曝光模式不同，光學(xué)快門119是物理快門。即使由于光學(xué)快門同時(shí)影響到達(dá)所有像素的光而使它本身可被視為全局快門。
[0092]圖6是當(dāng)使用電子全局快門模式時(shí)的采樣時(shí)序圖。照明時(shí)鐘信號(hào)具有如所示出的相位，其中，所述相位產(chǎn)生相應(yīng)的驅(qū)動(dòng)相位差。每一行的像素互相同時(shí)被曝光并感測光。行_I的像素在持續(xù)時(shí)間611、612、613、614被曝光。此外，其它行的像素與行^的像素同時(shí)被曝光。換言之，所有像素在相同的時(shí)刻開始曝光，同樣地，所有像素在相同的時(shí)刻結(jié)束曝光。此夕卜，在圖6中，在照明時(shí)鐘信號(hào)移動(dòng)到下一相位之前，所有的曝光均已結(jié)束。
[0093]圖7示出使用電子滾動(dòng)快門(ERS)模式的詳細(xì)深度成像。頂部的兩個(gè)波形示出光調(diào)制器(照明時(shí)鐘信號(hào))和解調(diào)制器(快門時(shí)鐘信號(hào))的時(shí)序圖。之后示出使用ERS模式的圖像傳感器中的信號(hào)積分和讀出的時(shí)序圖。每一行的像素針對積分時(shí)間tint互相同時(shí)地被曝光并感測光。在積分之后，每一行在行讀出時(shí)間trr。被讀出。在行既沒通過積分感測光也沒進(jìn)行讀出時(shí)，行是空閑的。
[0094]在圖7中，各行被順序(S卩，非同時(shí))曝光。每一行的曝光在之前行的曝光開始之后的某一時(shí)間開始。由于曝光持續(xù)時(shí)間針對所有行相同，因此，每一行的曝光的結(jié)束類似地相對于之前行的結(jié)束而被延遲。傳感器中相鄰行的曝光開始或曝光結(jié)束之間的延遲針對所有這樣的行對相同。延遲通常與讀出I行所需要的時(shí)間trr。相等，并且比行積分時(shí)間tlnt短的多。
[0095]在圖7中，在持續(xù)達(dá)時(shí)間tfr。的持續(xù)時(shí)間FRO期間，所有行的幀被讀出。因此，針對第一相位的原始圖像的幀在時(shí)間IFl可用。類似地，針對其它三個(gè)相位的原始圖像的幀在時(shí)間IF2、IF3、IF4可用。在時(shí)間IF4之后，一個(gè)深度圖像可被產(chǎn)生。此外，在此示例中，對于這里的H個(gè)彳丁，存在tfr。= H*trr。的確切關(guān)系。
[0096]由于實(shí)現(xiàn)電子全局快門模式需要比可用于ERS傳感器的像素更多的像素，因此實(shí)際上所有移動(dòng)裝置中的圖像傳感器使用ERS圖像傳感器而非全局快門傳感器。然而，限制是存在空閑時(shí)間以及因此造成的低幀率。更具體地講，在圖7中，針對幀的所有像素的曝光在照明時(shí)鐘信號(hào)改變相位之前完成?？臻e時(shí)間對各行來說是直到最后一行已經(jīng)完成并且在相位能夠改變之前的等待。
[0097]圖8描述實(shí)施例。快門時(shí)鐘信號(hào)為恒定相位，照明時(shí)鐘信號(hào)改變相位，以使驅(qū)動(dòng)相位差通過不同的角度值循環(huán)。實(shí)際上，如果快門時(shí)鐘信號(hào)被視為處于0°，則驅(qū)動(dòng)相位差具有由照明時(shí)鐘信號(hào)給定的角度值。
[0098]像素具有針對根據(jù)電子滾動(dòng)快門(ERS)模式的深度成像的曝光。行j的像素針對在驅(qū)動(dòng)相位差未改變時(shí)產(chǎn)生的各個(gè)幀具有曝光811、812、813、814。然而，行_5的像素針對在驅(qū)動(dòng)相位差改變時(shí)產(chǎn)生的各個(gè)幀具有曝光851、852、853、854。例如，曝光851與邊界810交叉，從而具有處于不同驅(qū)動(dòng)相位差的第一部分861和第二部分862。從邊界810之前到邊界810之后的轉(zhuǎn)換可被稱為相位轉(zhuǎn)換，并可由改變相位的照明時(shí)鐘信號(hào)或改變相位的快門時(shí)鐘信號(hào)等導(dǎo)致。
[0099]因此，陣列中的第一深度像素可被配置為由此感測從驅(qū)動(dòng)相位差具有第一角度值的第一時(shí)刻到驅(qū)動(dòng)相位差具有第二角度值的第二時(shí)刻發(fā)射的光的部分。如當(dāng)存在相位轉(zhuǎn)換時(shí)將出現(xiàn)的，第二角度值可與第一角度值至少相差25°，例如，90°。優(yōu)選地，第一時(shí)刻與第二時(shí)刻之間的所述感測是連續(xù)的。此外，第一深度像素還可被配置為響應(yīng)于所述感測產(chǎn)生第一深度值。當(dāng)然，其它深度像素還可產(chǎn)生它們自己的深度值。
[0100]由于感測貫穿相位轉(zhuǎn)換而發(fā)生，因此可在最終感測的深度值中引起誤差。此外，根據(jù)圖8，校正可根據(jù)實(shí)施例被應(yīng)用于深度值，以補(bǔ)償由相位轉(zhuǎn)換引起的誤差。更具體地講，處理器120可被配置為根據(jù)第一深度像素所位于的第一行的屬性來計(jì)算第一相位校正，然后從第一深度值和第一相位校正來計(jì)算調(diào)整的第一深度值。之后，包括調(diào)整的第一深度值的對象的深度圖像可被渲染。
[0101]可以以許多方式執(zhí)行根據(jù)實(shí)施例的校正。在一些實(shí)施例中，如上所述，可根據(jù)深度像素所位于的行的屬性計(jì)算相位校正。所述屬性可包括相對于像素陣列的其它行的位置，該行的位置或站位。
[0102]圖9示出根據(jù)實(shí)施例的用于計(jì)算校正深度的等式。等式(9-1)計(jì)算一行相對于其它行的行統(tǒng)計(jì)。應(yīng)該注意，這里的行位置row posit1n#是根據(jù)哪個(gè)曝光將發(fā)生的數(shù)，該數(shù)通常是當(dāng)從像素陣列110的邊緣開始對行進(jìn)行計(jì)數(shù)時(shí)分配的序數(shù)。在圖12中示出一個(gè)示例，其中，行具有從I到H的序數(shù)。在圖9的示例中，行統(tǒng)計(jì)是在具有N個(gè)行的像素陣列中的標(biāo)準(zhǔn)化的行位置W。因而，標(biāo)準(zhǔn)化的行位置w的范圍從接近像素陣列的一個(gè)邊緣的第一行的非常小的或者可能是O的數(shù)到接近另一邊緣的最后行的接近I或可能是I的數(shù)。
[0103]等式(9-2)使用等式(9-1)的行統(tǒng)計(jì)計(jì)算相位校正。簡單參照圖10A、圖10B，示出針對等式(9-2)的代碼以及從該代碼產(chǎn)生的針對相位校正的繪圖。
[0104]返回圖9，在一些實(shí)施例中，通過從第一深度值減去第一相位校正來計(jì)算調(diào)整的第一深度值。例如，這由等式(9-3)來完成，其中，等式(9-3)通過從由等式(5-3)確定的相位差減去等式(9-2)的相位校正來確定調(diào)整的相位。
[0105]當(dāng)然，針對特定行中的特定深度像素的描述也可應(yīng)用于該行中的其它深度像素。這些其它深度像素可被配置為與該特定深度像素同時(shí)感測發(fā)射的光的部分，并響應(yīng)于感測而產(chǎn)生其它的各個(gè)深度值。處理器還可被配置為從其它的深度值和針對特定深度像素計(jì)算的相位校正來計(jì)算其它的調(diào)整的深度值。渲染的深度圖像可包括其它的調(diào)整的深度值。
[0106]將理解，相位校正因而是基于行的。因此，針對不同行中的第二像素，將計(jì)算不同的行統(tǒng)計(jì)，并將從該不同的行統(tǒng)計(jì)計(jì)算第二相位校正。第二相位校正可與不同行中的第一像素的第一相位校正不同。
[0107]如上，當(dāng)根據(jù)實(shí)施例應(yīng)用校正時(shí)，在測量中存在不確定性(“深度誤差”)。該不確定性可由等式(9-4)表征。將注意到，與等式(5-4)相比，等式(9-4)在分母中包括額外的項(xiàng)。該額外的項(xiàng)在像素陣列的邊緣消失(其中，w = 0或w=l)，因此，針對那些行位置，等式(9-4)變得與等式(5-4)相同。針對其它行位置，該額外的項(xiàng)比I大，因此表示深度誤差的降低，換言之，由實(shí)施例引起改善。
[0108]簡單參照圖11A、圖11B，示出針對等式(9-4)的分母中的額外的項(xiàng)的代碼以及從該代碼產(chǎn)生的針對該額外的項(xiàng)的繪圖。在陣列的中間行中，改善被最大化達(dá)+3dB。
[0109]圖12示出用于描述根據(jù)實(shí)施例的方法的流程圖1200。流程圖1200的方法可由實(shí)施例實(shí)施。
[0110]根據(jù)操作1210，產(chǎn)生照明時(shí)鐘信號(hào)。照明時(shí)鐘信號(hào)可以以操作頻率被調(diào)制。
[0111]根據(jù)另一操作1220，可由光源向?qū)ο蟀l(fā)射光。光可響應(yīng)于照明時(shí)鐘信號(hào)而被發(fā)射，并因此根據(jù)照明時(shí)鐘信號(hào)被調(diào)制。
[0112]根據(jù)另一操作1230，可產(chǎn)生快門時(shí)鐘信號(hào)。快門時(shí)鐘信號(hào)可以以操作頻率被調(diào)制?？扉T時(shí)鐘信號(hào)可與照明時(shí)鐘信號(hào)具有驅(qū)動(dòng)相位差。
[0113]根據(jù)另一操作1240，可交替地打開和關(guān)閉光學(xué)快門。打開和關(guān)閉可響應(yīng)于快門時(shí)鐘信號(hào)，并因此以操作頻率打開和關(guān)閉。
[0114]根據(jù)另一操作1250，可由第一深度像素執(zhí)行感測。感測可以是感測發(fā)射的光的從對象反射回殼體并在光學(xué)快門打開時(shí)進(jìn)一步穿過光學(xué)快門的部分。因此，第一深度像素可從驅(qū)動(dòng)相位差具有第一角度值的第一時(shí)刻到驅(qū)動(dòng)相位差具有第二角度值的第二時(shí)刻進(jìn)行感測。
[0115]根據(jù)另一操作1260，可響應(yīng)于操作1250的感測，由第一深度像素產(chǎn)生第一深度值。
[0116]根據(jù)另一操作1270，可根據(jù)第一深度像素所位于的行的屬性來計(jì)算第一相位校正。
[0117]根據(jù)另一操作1280，可從第一深度值和第一相位校正來計(jì)算調(diào)整的第一深度值。
[0118]根據(jù)另一操作1290，可渲染包括調(diào)整的第一深度值的對象的深度圖像。
[0119]現(xiàn)在描述存在相位混合的采樣實(shí)施例，在這些采樣實(shí)施例中，在存在相位轉(zhuǎn)換的同時(shí)像素被暴露于反射的調(diào)制光。
[0120]圖13是示出根據(jù)實(shí)施例的使用ERS和第一相位混合模式的深度成像的采樣時(shí)序圖。將認(rèn)識(shí)到，照明時(shí)鐘信號(hào)每次將它的相位增加+90°。
[0121]圖13的第一模式使用積分時(shí)間與幀讀出時(shí)間之間的最優(yōu)關(guān)系，其中，最優(yōu)關(guān)系是t int = tf r。- trr。。因此，以給定的幀率實(shí)現(xiàn)最大可能的信噪比(SNR )。
[0122]圖14是示出根據(jù)實(shí)施例的使用ERS和第二相位混合模式的深度成像的采樣時(shí)序圖。積分時(shí)間與幀讀出時(shí)間之間的關(guān)系不是最優(yōu)的，而是tint〈tfrc1-trr。。因此，由于像素的光積分持續(xù)不長于圖13的方案，圖14的方案以給定的幀率實(shí)現(xiàn)比圖13的方案低的SNR。
[0123]圖15是示出根據(jù)實(shí)施例的使用ERS和第三相位混合模式的深度成像的采樣時(shí)序圖。積分時(shí)間與幀讀出時(shí)間之間的關(guān)系不是最優(yōu)的，而是tintHfro-trr。。因此，圖15的方案比圖13的方案提高了 SNR，但是實(shí)現(xiàn)更低的幀率。
[0124]圖14的模式2和圖15的模式3可被視為偏尚圖13的模式I，其中，模式2和模式3分別在追求更快的幀率和更長的積分時(shí)間的不同方向上進(jìn)行。相反地，可注意到，如果要尋找到模式2與模式3之間的共性從而最優(yōu)化SNR和幀率兩者，則模式2和模式3可漸近地收斂于模式I。
[0125]圖16是示出根據(jù)實(shí)施例的使用ERS和第四相位混合模式的深度成像的采樣時(shí)序圖。與模式I的方案相比，相位轉(zhuǎn)換被移動(dòng)。
[0126]圖17是示出根據(jù)實(shí)施例的用于圖1的裝置的使用ERS和第五相位混合模式的深度成像的采樣時(shí)序圖。照明時(shí)鐘信號(hào)的相位增量不均等。
[0127]發(fā)明人還發(fā)現(xiàn)以下問題:當(dāng)存在對象相對于成像裝置的軸向運(yùn)動(dòng)時(shí)，在連續(xù)渲染的深度幀之間有時(shí)存在閃爍?，F(xiàn)在更詳細(xì)地描述發(fā)現(xiàn)的問題。
[0128]圖18是示出通過從獲取的原始幀的序列進(jìn)行的計(jì)算所渲染的深度幀的序列的時(shí)序圖。在獲取的原始幀之上示出幀標(biāo)簽，幀標(biāo)簽可應(yīng)用于這些原始幀。將理解，每個(gè)原始幀可具有多于一個(gè)的幀標(biāo)簽?？苫谠谀菚r(shí)原始幀貢獻(xiàn)哪個(gè)渲染的深度幀來針對原始幀選擇幀標(biāo)簽。在圖18中，僅通過最近獲得的原始數(shù)據(jù)幀的貢獻(xiàn)來產(chǎn)生每個(gè)渲染的深度幀。
[0129]在圖18中，以一次每兩個(gè)獲取的原始幀的速率來渲染深度幀，這被稱為2點(diǎn)擊(2-tap)模式并使幀率加倍。不同的幀率對于渲染的深度幀是可行的。
[0130]發(fā)明人發(fā)現(xiàn)在圖18的特定幀率存在閃爍，例如，至少在從幀i+ 2到幀i + 3的轉(zhuǎn)換1888處存在閃爍。雖然似乎在連續(xù)幀之間的轉(zhuǎn)換處存在閃爍問題，但是為了簡明僅示出一個(gè)這樣的轉(zhuǎn)換1888。
[0131]更具體地講，為了正確地計(jì)算深度，應(yīng)該同時(shí)并行地(而非順序地)捕獲全部四個(gè)輸入原始幀。發(fā)明人發(fā)現(xiàn)，由于這樣的非一致捕獲，使得場景中的任何運(yùn)動(dòng)可將誤差引入計(jì)算的深度中，并且這可在2點(diǎn)擊模式中加劇。特別地，軸向運(yùn)動(dòng)的對象(接近相機(jī)或從相機(jī)遠(yuǎn)離)可導(dǎo)致“深度閃爍”，在“深度閃爍”中，計(jì)算的距運(yùn)動(dòng)對象的距離在偶數(shù)深度幀與奇數(shù)深度幀之間在突然移動(dòng)“更近”與“更遠(yuǎn)”之間交替。
[0132]例如，可假設(shè)對象正在移動(dòng)得更接近于測距裝置，并且由于更接近于測距裝置的光源，對象因而遞增地變得更亮?？杉僭O(shè)與之前兩個(gè)原始幀相比，最后兩個(gè)原始幀中的每個(gè)中的運(yùn)動(dòng)通過ε給出。為了進(jìn)一步示出關(guān)于該問題提出的見解，發(fā)明人在圖18中的適當(dāng)位置處將正軸向運(yùn)動(dòng)增量表示為+ε。
[0133]圖19示出由發(fā)明人開發(fā)的用于進(jìn)一步解釋圖18中的轉(zhuǎn)換的深度閃爍的等式。在圖19中，使用等式(19-1)、(19-2)、(19-3)和(19-4)在上部空間示出幀i+2。此外，使用等式(19-5)、(19-6)、(19-7)和(19-8)在下部空間示出幀i+3。還示出了從幀i+2到幀i+3的轉(zhuǎn)換
1888ο
[0134]針對幀i+2，等式(19-1)和(19-2)示出原始幀的值可如何被正軸向運(yùn)動(dòng)增量+ε影響。等式(19-3)引入等式(19-1)和(19-2)以產(chǎn)生等式(19-4)，其中，等式(19-4)示出計(jì)算的深度的值可如何被正軸向運(yùn)動(dòng)增量+ε影響。
[0135]針對幀i+3，等式(19-5)和(19-6)示出原始幀的值可如何被正軸向運(yùn)動(dòng)增量+ε影響。等式(19-7)引入等式(19-5)和(19-6)以產(chǎn)生等式(19-8)，其中，等式(19-8)示出計(jì)算的深度的值可如何被正軸向運(yùn)動(dòng)增量+ε影響。
[0136]將注意到，當(dāng)進(jìn)行轉(zhuǎn)換1888時(shí)，存在從等式(19-4)到等式(19-8)的不連續(xù)的切換，其中，等式(19-4)將運(yùn)動(dòng)增量+ε添加到它的分子和分母，等式(19-8)從它的分子和分母減去運(yùn)動(dòng)增量+ε。
[0137]—些實(shí)施例對針對對象渲染的T-O-F深度圖像幀執(zhí)行校正。這些實(shí)施例包括如上描述的裝置，以及本領(lǐng)域技術(shù)人員將理解的修改。例如，根據(jù)關(guān)于光學(xué)快門的相應(yīng)考慮，可使用電子全局快門方案或可使用電子滾動(dòng)快門方案等。此外，處理器可執(zhí)行其它的或不同的功能，例如，如現(xiàn)在描述的示例。
[0138]圖20是根據(jù)實(shí)施例的對深度成像顯著的圖1的裝置的一些組件的示圖，并進(jìn)一步添加多個(gè)方面。T-O-F深度成像裝置2000可被配置為渲染對象2001的深度圖像。裝置2000包括具有開口 2004的殼體2002、像素陣列2010、控制器2030和位于殼體2002上的光源2014。
[0139]控制器2030可被配置為以操作頻率產(chǎn)生照明時(shí)鐘信號(hào)(如上所述)。光源2014可被配置為響應(yīng)于照明時(shí)鐘信號(hào)向?qū)ο?001發(fā)射光2016。
[0140]控制器2030還可被配置為以操作頻率產(chǎn)生解調(diào)制時(shí)鐘信號(hào)。解調(diào)制時(shí)鐘信號(hào)可被配置為引起靈敏度調(diào)制效果。靈敏度調(diào)制效果可影響像素陣列2010的深度像素，例如，如之前所述，通過對光學(xué)快門(圖20中未示出)進(jìn)行調(diào)制來影響像素陣列2010的深度像素，或者通過另外適當(dāng)?shù)赜绊懮疃认袼氐撵`敏度來影響像素陣列2010的深度像素?？紤]到可能的靈敏度調(diào)制效果的變化，解調(diào)制時(shí)鐘信號(hào)不被示出為在圖20的局部示圖中具體地在任何地方終止。因此，通過深度像素的感測可經(jīng)受靈敏度調(diào)制效果。
[0141]解調(diào)制時(shí)鐘信號(hào)可與照明時(shí)鐘信號(hào)具有至少一個(gè)第一驅(qū)動(dòng)相位差、第二驅(qū)動(dòng)相位差和第三驅(qū)動(dòng)相位差之一。在實(shí)施例中，還具有這樣的第四驅(qū)動(dòng)相位差，從而產(chǎn)生用于獲取針對T-O-F深度感測的0°、90°、180°和270°的原始相位的條件。
[0142]在實(shí)施例中，T-O-F深度成像裝置具有執(zhí)行原始數(shù)據(jù)校正的能力，其中，原始數(shù)據(jù)校正意圖減小一種類型的測量的距運(yùn)動(dòng)對象的距離的準(zhǔn)振蕩深度幀到深度幀變化(可被稱為運(yùn)動(dòng)引起的深度振蕩偽影)。如果裝置的深度輸出使用目的在于增大裝置的深度幀率的特定方法被產(chǎn)生，則朝向裝置或遠(yuǎn)離裝置的對象運(yùn)動(dòng)使得這些偽影出現(xiàn)在裝置的深度輸出中。
[0143]根據(jù)實(shí)施例的方法包括:與在再利用的幀之前或之后捕獲的其它原始幀的變化序列相結(jié)合，在深度幀的幾個(gè)連續(xù)計(jì)算中再利用捕獲的原始幀。由于對每個(gè)原始幀貢獻(xiàn)像素值的光強(qiáng)度積分通常是雙相積分，因此由裝置捕獲的每個(gè)原始幀可被標(biāo)記有調(diào)制-解調(diào)制相移的一個(gè)或兩個(gè)值。例如，部分在90°相移并且部分在180°相移積分的原始幀可被標(biāo)記“90°幀”或“90°/180°幀”。為了簡單起見，我們使用具有單相的標(biāo)記。作為7幀序列180°、270°、0°、90°、180°、270°、0°中的第4幀捕獲的90°原始幀可被用于與3個(gè)之前幀(180°、270°和0°)、2個(gè)之前幀和一個(gè)之后幀等結(jié)合來計(jì)算深度?？偣泊嬖诎ǖ?幀并可被用于計(jì)算深度幀的連續(xù)原始幀的4個(gè)序列。如果需要將深度幀率保持為與原始幀率相等，則深度成像裝置可從所有序列計(jì)算深度幀。如果需要以原始幀率的一半產(chǎn)生深度幀，則深度成像裝置可間隔使用序列，即，將每個(gè)原始幀用于兩個(gè)深度幀計(jì)算。最后，裝置可將每個(gè)捕獲的原始幀僅用于一個(gè)深度幀計(jì)算，并將深度幀率保持在原始幀率的1/4。在討論的4個(gè)原始幀序列的每個(gè)中，調(diào)制-解調(diào)制相移的順序不同:在第一序列中是180°、270°、0°、90°，在第二序列中是270。、0。、90°、180° 等。
[0144]如果在裝置的視場中存在以恒定速度朝向裝置或遠(yuǎn)離裝置運(yùn)動(dòng)的對象，則從4個(gè)序列中的每個(gè)的深度幀的計(jì)算產(chǎn)生稍微不同的測量的距對象的距離的集。這些集之間的差異中的一些將對象的運(yùn)動(dòng)準(zhǔn)確反映在這7幀序列被捕獲的時(shí)間中。但也存在僅由用于計(jì)算深度幀的4個(gè)原始幀序列中的相位的不同順序引起的差異。這些差異產(chǎn)生對象運(yùn)動(dòng)的速度以等于原始幀頻率的1/4的頻率隨時(shí)間振蕩的現(xiàn)象。換言之，即使實(shí)際的運(yùn)動(dòng)速度恒定，對象也好像重復(fù)地加速然后減速或者甚至反轉(zhuǎn)其朝向裝置或遠(yuǎn)離裝置的運(yùn)動(dòng)。在對象以恒定速度運(yùn)動(dòng)時(shí)，該明顯的對象速度振蕩還可被視為對象的表面的振蕩或脈動(dòng)。
[0145]不管如何被感知，這種現(xiàn)象只不過是由于在光強(qiáng)度調(diào)制的不同相位對光強(qiáng)度進(jìn)行連續(xù)采樣而產(chǎn)生的偽影，因此不期望該現(xiàn)象的出現(xiàn)。該現(xiàn)象不存在于在沒有再利用原始幀的情況下計(jì)算的深度幀的所有序列，或者，更準(zhǔn)確地，該現(xiàn)象不存在于在不改變從一個(gè)深度幀計(jì)算到下一個(gè)深度幀計(jì)算的調(diào)制-解調(diào)制相移的順序的情況下計(jì)算的深度幀的所有序列。避免這樣的改變通常是最好的選擇，但是如果在T-O-F深度成像裝置中需要再利用原始幀以達(dá)到期望的深度幀率，則裝置可使用包括對連續(xù)原始幀對和相同的調(diào)制-解調(diào)制相移進(jìn)行加權(quán)平均的用于抑制運(yùn)動(dòng)引起的深度振蕩偽影的方法?？梢砸愿鱾€(gè)方法進(jìn)行的該原始幀平均的目的是產(chǎn)生用于深度計(jì)算的輸入，其中，該輸入看起來比較不像在不同的調(diào)制相位的光強(qiáng)度的連續(xù)采樣的產(chǎn)品，而更像在所有相位并行完成的采樣的產(chǎn)品。由于深度振蕩偽影是原始幀的連續(xù)捕獲的副產(chǎn)品，因此當(dāng)替代原始幀而使用該“增強(qiáng)一致輸入”來計(jì)算運(yùn)動(dòng)對象的深度圖像時(shí)，結(jié)果是降低運(yùn)動(dòng)引起的深度振蕩偽影。
[0146]在實(shí)施例中，T-O-F深度成像裝置包括執(zhí)行(當(dāng)需要時(shí))之前描述的加權(quán)的原始幀平均的子系統(tǒng)。該子系統(tǒng)能夠從裝置的光感測像素陣列獲取并以內(nèi)部存儲(chǔ)器的某種類型存儲(chǔ)需要被平均的多個(gè)原始幀。該子系統(tǒng)還具有用于在平均中使用的權(quán)重以及由平均產(chǎn)生的幀的存儲(chǔ)容量。替代來自裝置的光感測像素陣列的原始幀，該子系統(tǒng)可將后者輸出到深度計(jì)算子系統(tǒng)以在深度幀計(jì)算中被使用?？蛇x地，這些原始幀可繞過原始幀平均子系統(tǒng)而被直接提供到深度計(jì)算子系統(tǒng)。
[0147]像素陣列2010可具有被配置為感測發(fā)射的光2016的從對象2001反射回殼體2002并通過開口 2004的部分。如上所述，感測可受解調(diào)制信號(hào)的影響。深度像素還可被配置為響應(yīng)于對已經(jīng)發(fā)射的光的分別受到第一驅(qū)動(dòng)相位差、第二驅(qū)動(dòng)相位差、第三驅(qū)動(dòng)相位差的影響的部分的感測而至少產(chǎn)生第一原始數(shù)據(jù)幀、第二原始數(shù)據(jù)幀和第三原始數(shù)據(jù)幀。在這些驅(qū)動(dòng)相位差下發(fā)射的光可引起實(shí)現(xiàn)T-O-F深度成像的在不同相位的原始數(shù)據(jù)幀的感測。如下所述，這些原始數(shù)據(jù)幀還可由處理器(圖20中未示出)處理。
[0148]圖21是根據(jù)第一實(shí)施例的用于實(shí)現(xiàn)對T-O-F深度圖像幀的校正的示圖。圖21是示出通過從獲取的原始幀的序列進(jìn)行計(jì)算所渲染的深度幀的序列的時(shí)序圖。在獲取的原始幀之上示出可應(yīng)用于這些原始幀的幀標(biāo)簽。將理解，每個(gè)原始幀可具有多于一個(gè)的標(biāo)簽，這可基于在那時(shí)原始幀貢獻(xiàn)哪個(gè)渲染的幀。在此示例中，可在0°、90°、180°和270°的原始數(shù)據(jù)幀中合適地選擇第一原始數(shù)據(jù)幀、第二原始數(shù)據(jù)幀、第三原始數(shù)據(jù)幀和第四原始數(shù)據(jù)幀。
[0149]如可看到的，處理器可被配置為針對90°計(jì)算合成的第一幀ACP9Q(I+3)2141。例如，可發(fā)生如等式21所示的計(jì)算。所述計(jì)算提供位于90°的兩個(gè)原始相位數(shù)據(jù)幀的平均。只要存在來自A9q的至少兩個(gè)第一原始數(shù)據(jù)幀的非零貢獻(xiàn)，該平均就可被均勻地加權(quán)，或者有利于構(gòu)成的原始數(shù)據(jù)幀之一。
[0150]處理器還可被配置為從合成的第一數(shù)據(jù)幀2141加上至少一個(gè)第三原始數(shù)據(jù)幀來計(jì)算復(fù)合圖像i+3。計(jì)算的復(fù)合圖像i+3可被渲染為對象的深度圖像。在這種情況下，也從至少一個(gè)第二原始數(shù)據(jù)幀計(jì)算復(fù)合圖像，并且實(shí)際上也從第四原始數(shù)據(jù)幀計(jì)算復(fù)合圖像。這被稱為一致性校正，并可在照明的改變基本上為線性時(shí)效果最好。
[0151]圖21是針對渲染的深度幀i+3，計(jì)算單個(gè)合成數(shù)據(jù)幀并且使用三個(gè)原始數(shù)據(jù)幀的示例。平均操作貢獻(xiàn)于幀到幀的平滑，并因而可減輕在該2點(diǎn)擊模式中的閃爍。如現(xiàn)在所述，如果帶寬允許更大量的計(jì)算，則其它合成幀可被計(jì)算。
[0152]圖22是根據(jù)第二實(shí)施例的用于實(shí)現(xiàn)對T-O-F深度圖像幀的校正的示圖。這里將意識(shí)到，處理器計(jì)算合成的第一幀2241以及合成的第二幀2242兩者。還從合成的第二幀2242和較少的純原始幀計(jì)算復(fù)合圖像。
[0153]圖23是根據(jù)第三實(shí)施例的用于實(shí)現(xiàn)對T-O-F深度圖像幀的校正的示圖。這里將意識(shí)到，處理器計(jì)算合成的第一幀2341、合成的第二幀2342以及合成的第三幀2343。還從這三個(gè)合成幀以及僅一個(gè)純原始幀計(jì)算復(fù)合圖像，但是復(fù)合圖像需要更多的計(jì)算。
[0154]圖24是根據(jù)實(shí)施例可使用的幀標(biāo)簽的表格。
[0155]圖25示出用于描述根據(jù)實(shí)施例的方法的流程圖2500。流程圖2500的方法可通過實(shí)施例實(shí)現(xiàn)。
[0156]根據(jù)操作2510，產(chǎn)生照明時(shí)鐘信號(hào)。照明時(shí)鐘信號(hào)可以以操作頻率被調(diào)制。
[0157]根據(jù)另一操作2520，可由光源向?qū)ο蟀l(fā)射光。光可響應(yīng)于照明時(shí)鐘信號(hào)而被發(fā)射，并因此根據(jù)照明時(shí)鐘信號(hào)被調(diào)制。
[0158]根據(jù)另一操作2530，可產(chǎn)生解調(diào)制時(shí)鐘信號(hào)。解調(diào)制時(shí)鐘信號(hào)可以以操作頻率被調(diào)制，并可被配置為引起如上所述的靈敏度調(diào)制效果。解調(diào)制時(shí)鐘信號(hào)可與照明時(shí)鐘信號(hào)具有至少一個(gè)第一驅(qū)動(dòng)相位差、第二驅(qū)動(dòng)相位差和第三驅(qū)動(dòng)相位差之一。
[0159]根據(jù)另一操作2540，可感測發(fā)射的光的從對象反射回外殼的部分?？捎缮疃认袼剡M(jìn)行感測，并且感測可經(jīng)受靈敏度調(diào)制效果。
[0160]根據(jù)另一操作2550，響應(yīng)于對發(fā)射的光的分別經(jīng)受第一驅(qū)動(dòng)相位差、第二驅(qū)動(dòng)相位差和第三驅(qū)動(dòng)相位差的部分的感測，可至少產(chǎn)生第一原始數(shù)據(jù)幀、第二原始數(shù)據(jù)幀和第三原始數(shù)據(jù)幀。
[0161]根據(jù)另一操作2560，可根據(jù)兩個(gè)第一原始數(shù)據(jù)幀的非零貢獻(xiàn)來計(jì)算合成的第一幀。
[0162]根據(jù)另一操作2570，可從合成的第一幀加上至少一個(gè)第三原始數(shù)據(jù)幀來計(jì)算復(fù)合圖像。
[0163]根據(jù)另一操作2580，可將計(jì)算的合成圖像渲染為對象的深度圖像。
[0164]在以上描述的方法中，每個(gè)操作可作為進(jìn)行可發(fā)生的所記述的內(nèi)容或?qū)е驴砂l(fā)生的所記述的內(nèi)容出現(xiàn)的有效步驟而被執(zhí)行。這樣的進(jìn)行或?qū)е掳l(fā)生的操作可由整個(gè)系統(tǒng)或裝置進(jìn)行，或僅由系統(tǒng)或裝置的一個(gè)或多個(gè)組件進(jìn)行。將認(rèn)識(shí)到，方法和操作可以以包括使用上述的系統(tǒng)、裝置和實(shí)現(xiàn)方式的許多方式被實(shí)現(xiàn)。此外，操作的順序不受限于示出的順序，根據(jù)不同的實(shí)施例，不同的順序是可行的。除非上下文另外指示，否則這樣的可選順序的示例可包括重疊、交錯(cuò)、中斷、重排、增加、預(yù)備、補(bǔ)充、同時(shí)、顛倒或其它不同的順序。此外，在特定實(shí)施例中，可添加新操作，或者可修改或刪除各個(gè)操作。添加的操作可以來自，例如，在主要描述不同的系統(tǒng)、設(shè)備、裝置或方法時(shí)提到的操作。
[0165]本領(lǐng)域技術(shù)人員將能夠基于作為整體的本描述來實(shí)現(xiàn)本發(fā)明。已經(jīng)包括了用于提供全面理解的細(xì)節(jié)。在其它示例中，為了防止不必要地模糊本描述，沒有描述公知的方面。此外，本描述中對任何現(xiàn)有技術(shù)的參考沒有也不應(yīng)被視為以下承認(rèn)或任何形式的示意:這樣的現(xiàn)有技術(shù)形成任何國家或技術(shù)中的公知常識(shí)的部分。
[0166]本描述包括一個(gè)或多個(gè)實(shí)例，但是該事實(shí)并不限制本發(fā)明可如何被實(shí)現(xiàn)。的確，本發(fā)明的示例、例子、版本或?qū)嵤├筛鶕?jù)所描述的內(nèi)容被實(shí)現(xiàn)，或者仍然被不同地實(shí)現(xiàn)，并且還可結(jié)合其它現(xiàn)有或?qū)淼募夹g(shù)而被實(shí)現(xiàn)。其它這樣的實(shí)施例包括在此所描述的特征的組合或子組合，其中，所述實(shí)施例包括例如與以下等同的實(shí)施例:以與描述的實(shí)施例不同的順序提供或應(yīng)用特征;從一個(gè)實(shí)施例提取單個(gè)特征并將這樣的特征插入到另一實(shí)施例中；從實(shí)施例移除一個(gè)或多個(gè)特征;或在提供這樣的組合和子組合所包含的特征的同時(shí)，既從實(shí)施例移除特征又添加從另一實(shí)施例提取的特征。
[0167]在本文檔中，短語“被構(gòu)造為”和/或“被配置為”表示與這些短語之前的元件的物理特性或特征根本上關(guān)聯(lián)的構(gòu)造和/或配置的一個(gè)或多個(gè)實(shí)際狀態(tài)，如此很好地達(dá)到僅描述所期望的使用之外的使用。如本領(lǐng)域技術(shù)人員在閱覽本公開之后將清楚的，任何這樣的元件或特征可以以超出本文檔所示出的示例的許多方式被實(shí)現(xiàn)。
[0168]不管是在本文檔還是在本專利申請的申請數(shù)據(jù)表(ADS)中提及的，任何和所有父母、祖父母、曾祖父母等類型的專利申請通過引用合并于此，包括在那些申請中要求的任何優(yōu)先權(quán)和通過引用合并的任何材料到這樣的主題與其并非不一致的范圍。
[0169]在本描述中，單個(gè)參考標(biāo)號(hào)可一貫地用于表示單個(gè)方面、組件或處理。此外，在本描述的撰寫中已經(jīng)做了進(jìn)一步的努力，來選擇類似的但是不相同的參考標(biāo)號(hào)來表示相同或可能不同的方面、組件或處理的版本或?qū)嵤├?。在做出這樣進(jìn)一步的努力的地方，不需要這樣進(jìn)一步的努力，但是不管怎樣還是無償?shù)刈龀鲞@樣進(jìn)一步的努力以加速讀者理解。即使在本文檔中做出這樣努力的地方，貫穿本描述可做出的許多版本或?qū)嵤├?，這樣的努力也可能未完全一致地被做出。因此，由描述來控制。參考標(biāo)號(hào)的任何相似性可被用于確認(rèn)文本的相似性，或者即使可能缺乏文本描述的相似性，但是不混淆文本或上下文另外指示的方面。
[0170]本文檔的權(quán)利要求限定被視為新穎且非顯而易見的元件、特征以及步驟或操作的特定組合和子組合?？稍诒疚臋n或相關(guān)文檔中呈現(xiàn)針對這樣的組合和子組合的附加權(quán)利要求。這些權(quán)利要求意圖將這里描述的主題的真正精神和范圍內(nèi)的所有改變和修改包含在它們的范圍內(nèi)。這里(包括權(quán)利要求中)所使用的術(shù)語通常被視為“開放”術(shù)語。例如，術(shù)語“包括”應(yīng)該被理解為“包括但不限于”，術(shù)語“具有”應(yīng)該被解釋為“至少具有”等。除非另外說明，否則，如果特定數(shù)量被用于權(quán)利要求的敘述，則該數(shù)量是最小的而不是最大的。例如，當(dāng)權(quán)利要求敘述“一個(gè)”組件或“一”項(xiàng)時(shí)，表示其可具有一個(gè)或多個(gè)該組件或項(xiàng)。
【主權(quán)項(xiàng)】
1.一種被配置為渲染對象的深度圖像的T-O-F深度成像裝置，包括: 殼體； 控制器，被配置為產(chǎn)生以操作頻率調(diào)制的照明時(shí)鐘信號(hào)、以操作頻率調(diào)制的快門時(shí)鐘信號(hào)，其中，快門時(shí)鐘信號(hào)與照明時(shí)鐘信號(hào)具有驅(qū)動(dòng)相位差； 光源，位于殼體上，被配置為響應(yīng)于照明時(shí)鐘信號(hào)向?qū)ο蟀l(fā)射光； 光學(xué)快門，被配置為響應(yīng)于快門時(shí)鐘信號(hào)交替地打開和關(guān)閉； 像素陣列，具有布置在多個(gè)行中的多個(gè)深度像素，其中，所述多個(gè)行中的第一行具有至少一個(gè)第一深度像素，第一深度像素被配置為感測發(fā)射的光的從對象反射回殼體并在光學(xué)快門打開時(shí)進(jìn)一步穿過光學(xué)快門的部分，由此第一深度像素被配置為從驅(qū)動(dòng)相位差具有第一角度值的第一時(shí)刻到驅(qū)動(dòng)相位差具有第二角度值的第二時(shí)刻感測發(fā)射的光的所述部分，第二角度值與第一角度值至少相差25°，第一深度像素還被配置為響應(yīng)于所述感測產(chǎn)生第一深度值； 處理器，被配置為: 根據(jù)第一行的屬性計(jì)算第一相位校正， 從第一深度值和第一相位校正來計(jì)算調(diào)整的第一深度值， 其中，包括調(diào)整的第一深度值的對象的深度圖像被渲染。2.如權(quán)利要求1所述的T-O-F深度成像裝置，其中， 第一時(shí)刻與第二時(shí)刻之間的所述感測是連續(xù)的。3.如權(quán)利要求1所述的T-O-F深度成像裝置，其中， 所述屬性包括相對于所述多個(gè)行的位置的第一行的位置。4.如權(quán)利要求1所述的T-O-F深度成像裝置，其中， 通過從第一深度值減去第一相位校正來計(jì)算調(diào)整的第一深度值。5.如權(quán)利要求1所述的T-O-F深度成像裝置，其中， 第一行包括其它的深度像素，其中，所述其它的深度像素被配置為與第一深度像素同時(shí)感測發(fā)射的光的所述部分，并響應(yīng)于所述感測產(chǎn)生其它的各個(gè)深度值， 處理器還被配置為:從其它的深度值和第一相位校正來計(jì)算其它的調(diào)整的深度值， 渲染的深度圖像包括所述其它的調(diào)整的深度值。6.如權(quán)利要求5所述的T-O-F深度成像裝置，其中， 通過從其它的深度值減去第一相位校正來計(jì)算所述其它的調(diào)整的深度值。7.如權(quán)利要求1所述的T-O-F深度成像裝置，其中， 所述多個(gè)行中的與第一行不同的第二行具有至少一個(gè)第二深度像素，其中，第二深度像素被配置為感測發(fā)射的光的所述部分，由此第二深度像素被配置為從驅(qū)動(dòng)相位差具有第一角度值的第三時(shí)刻到驅(qū)動(dòng)相位差具有第二角度值的第四時(shí)刻進(jìn)行感測，第二深度像素還被配置為響應(yīng)于所述感測產(chǎn)生第二深度值， 處理器還被配置為:根據(jù)第二行的屬性計(jì)算第二相位校正，其中，第二相位校正與第一相位校正不同， 處理器還被配置為:從第二深度值和第二相位校正來計(jì)算調(diào)整的第二深度值， 渲染的深度圖像包括調(diào)整的第二深度值。8.如權(quán)利要求7所述的T-O-F深度成像裝置，其中， 第二行的屬性包括相對于所述多個(gè)行的位置的第二行的位置。9.如權(quán)利要求7所述的T-O-F深度成像裝置，其中， 通過從第二深度值減去第二相位校正來計(jì)算調(diào)整的第二深度值。10.如權(quán)利要求7所述的T-O-F深度成像裝置，其中， 第二行包括其它的深度像素，其中，所述其它的深度像素被配置為與第二深度像素同時(shí)感測發(fā)射的光的所述部分，并響應(yīng)于所述感測產(chǎn)生其它的各個(gè)深度值， 處理器還被配置為:從其它的深度值和第二相位校正來計(jì)算其它的調(diào)整的深度值； 渲染的深度圖像包括所述其它的調(diào)整的深度值。11.如權(quán)利要求1O所述的T-O-F深度成像裝置，其中， 通過從其它的深度值減去第二相位校正來計(jì)算所述其它的調(diào)整的深度值。12.—種用于渲染對象的深度圖像的T-O-F深度成像裝置的方法，其中，所述T-O-F深度成像裝置包括殼體、控制器、位于殼體上的光源、光學(xué)快門和具有布置在多個(gè)行中的多個(gè)深度像素的像素陣列，所述多個(gè)行中的第一行具有至少一個(gè)第一深度像素，所述方法包括: 產(chǎn)生以操作頻率調(diào)制的照明時(shí)鐘信號(hào)； 響應(yīng)于照明時(shí)鐘信號(hào)由光源向?qū)ο蟀l(fā)射光； 產(chǎn)生以操作頻率調(diào)制的快門時(shí)鐘信號(hào)，其中，快門時(shí)鐘信號(hào)與照明時(shí)鐘信號(hào)具有驅(qū)動(dòng)相位差； 響應(yīng)于快門時(shí)鐘信號(hào)交替地打開和關(guān)閉光學(xué)快門； 由第一深度像素感測發(fā)射的光的從對象反射回殼體并在光學(xué)快門打開時(shí)進(jìn)一步穿過光學(xué)快門的部分，由此第一深度像素從驅(qū)動(dòng)相位差具有第一角度值的第一時(shí)刻到驅(qū)動(dòng)相位差具有第二角度值的第二時(shí)刻進(jìn)行感測，其中，第二角度值與第一角度值至少相差25°; 由第一深度像素響應(yīng)于所述感測產(chǎn)生第一深度值； 根據(jù)第一行的屬性計(jì)算第一相位校正； 從第一深度值和第一相位校正來計(jì)算調(diào)整的第一深度值； 渲染包括調(diào)整的第一深度值的對象的深度圖像。13.如權(quán)利要求12所述的方法，其中， 第一時(shí)刻與第二時(shí)刻之間的所述感測是連續(xù)的。14.如權(quán)利要求12所述的方法，其中， 所述屬性包括相對于所述多個(gè)行的位置的第一行的位置。15.如權(quán)利要求12所述的方法，其中， 通過從第一深度值減去第一相位校正來計(jì)算調(diào)整的第一深度值。16.如權(quán)利要求12所述的方法，其中， 第一行包括其它的深度像素，所述其它的深度像素被配置為與第一深度像素同時(shí)感測發(fā)射的光的所述部分，并響應(yīng)于所述感測產(chǎn)生其它的各個(gè)深度值， 處理器還被配置為:從其它的深度值和第一相位校正來計(jì)算其它的調(diào)整的深度值； 渲染的深度圖像包括所述其它的調(diào)整的深度值。17.如權(quán)利要求16所述的方法，其中， 通過從其它的深度值減去第一相位校正來計(jì)算所述其它的調(diào)整的深度值。18.如權(quán)利要求12所述的方法，其中， 所述多個(gè)行中的與第一行不同的第二行具有至少一個(gè)第二深度像素，第二深度像素被配置為感測發(fā)射的光的所述部分，由此第二深度像素被配置為從驅(qū)動(dòng)相位差具有第一角度值的第三時(shí)刻到驅(qū)動(dòng)相位差具有第二角度值的第四時(shí)刻進(jìn)行感測，第二深度像素還被配置為響應(yīng)于所述感測產(chǎn)生第二深度值， 處理器還被配置為:根據(jù)第二行的屬性計(jì)算第二相位校正，其中，第二相位校正與第一相位校正不同， 處理器還被配置為:從第二深度值和第二相位校正來計(jì)算調(diào)整的第二深度值， 渲染的深度圖像包括調(diào)整的第二深度值。19.如權(quán)利要求18所述的方法，其中， 第二行的屬性包括相對于所述多個(gè)行的位置的第二行的位置。20.如權(quán)利要求18所述的方法，其中， 通過從第二深度值減去第二相位校正來計(jì)算調(diào)整的第二深度值。21.如權(quán)利要求18所述的方法，其中， 第二行包括其它的深度像素，所述其它的深度像素被配置為與第二深度像素同時(shí)感測發(fā)射的光的所述部分，并響應(yīng)于所述感測產(chǎn)生其它的各個(gè)深度值， 處理器還被配置為:從其它的深度值和第二相位校正來計(jì)算其它的調(diào)整的深度值； 渲染的深度圖像包括所述其它的調(diào)整的深度值。22.如權(quán)利要求21所述的方法，其中， 通過從其它的深度值減去第二相位校正來計(jì)算所述其它的調(diào)整的深度值。
【文檔編號(hào)】G06T7/00GK105894492SQ201610007184
【公開日】2016年8月24日
【申請日】2016年1月6日
【發(fā)明人】格雷戈里·瓦力古爾斯基, 莉利亞·奧夫相尼科夫, 樸勇和
【申請人】三星電子株式會(huì)社