專利名稱：從圖像中確定深度圖的方法以及確定深度圖的設備的制作方法
技術領域：
本發(fā)明涉及一種用于對圖像的點使用基于窗口的匹配來從不同方 向所獲得的圖像中確定深度圖的方法。本發(fā)明還涉及一種用于對圖像 的點使用基于窗口的匹配來從不同方向獲得的圖像中確定出深度圖的 設備。
背景技術：
對于許多應用而言，所期望的是從圖像中確定深度圖。這種應用的 示例包括下述系統(tǒng)，這些系統(tǒng)可計算出從交互可控的方向來看的場景
的圖像、圖像壓縮、檢查等。對于諸如3D顯示、制造時的質量控制、 自主導航、以及對象識別之類的廣泛應用而言，從立體影像中恢復深 度圖的任務通常是關鍵的。在這里，點在圖像中的深度是指視點與穿 過該點且與相機的光軸相垂直的平面之間的距離。
當相機的視點從第 一視點移動到第二視點時，可根據(jù)圖像點的位置 的平移量來確定該圖像點的深度。如果通過點投影獲得了圖像，那么 該平移與相機的位移量成正比并且與圖像一部分的深度成反比。
已為大家所熟知的，為了對該平移進行度量，使用基于窗口的匹配， 其中對從相機的第一方向獲得的第一圖像中的像素周圍的窗口中的像 素值與從第二方向獲得的第二圖像中的像素周圍的窗口中的像素值進 行比較。匹配通常涉及確定匹配窗口中的像素的像素值之間的差的總計。
還提出了使用自適應窗口。然而，利用自適應窗口需要通常相當復 雜的算法以使該窗口適應。
在作者為Masatoshi 0kutomi等人、Computer Vision and Pattern Recognition(計算機視覺和模式識別)2001、 CVPR 2001、 proceedings of the 2001 IEEE Computer Society Conference ( 2001 IEEE計算 機協(xié)會會議的會議記錄)巻2、 2001年第2巻、第II-138至11-142 頁的文章"A Simple Stereo Algorithm to Recover Precise Object
4Boundaries and Smooth Surf aces"中描述了 一種用于利用基于窗口
的匹配來確定深度圖的方法。
在已知的方法中，對于為其執(zhí)行匹配的圖像中的每個點，使用匹配 窗，其中在該窗口所有點上掃描感興趣點的位置。如果將匹配窗口不 對稱地設置在感興趣像素的周圍以便匹配窗口不覆蓋對象邊界，那么 不會出現(xiàn)邊界越過。在匹配窗口的總集合上掃描感興趣像素。查找到 最終SSSD (SSD的和，其中SSD是平方差值和)的最小值給出了對該 點的視差估計。
該已知方法為邊界越過問題提供了解決方案。然而，該解決方案以 需要大量計算為代價。此外，出現(xiàn)了另一問題破壞了平滑視差表面 并且會在這樣的平滑視差表面中觀察到許多階梯式的正方形。在已知 方法中，通過實現(xiàn)邊界檢測方法并且對邊界區(qū)進行與非邊界區(qū)不同地 處理來消除平滑視差表面中的問題。
然而，已知方法需要大量計算能力和相當復雜的算法。 在其它當中，本發(fā)明的目的是提供這樣一種方法，該方法需要相對 較少的計算能力，同時仍可提供對深度相對可靠且精確的估計。

發(fā)明內容
根據(jù)本發(fā)明，至少對于圖像的一部分而言，對圖像這部分中的點使 用匹配窗口組，為每個點計算多個候選視差值以提供臨時深度圖，其 中使超過一個候選視差值歸屬于每個點，在這之后，通過為每個點至 少最小化從鄰近點的候選視差值指向所述點的單位向量之和的范數(shù)的 z分量來計算進一步的深度圖。
已知方法基于"贏家通吃"策略，即為每個點計算單個最好的視差 值。這需要高精確度(其需要大量計算能力)。即使如此，該精確度 僅與對匹配窗口的特定選擇一樣，也就是說如果特定問題與對匹配窗 口的選擇相關聯(lián)，那么該問題將保留。
在本發(fā)明中采用了不同方法。利用一組匹配窗口來為每個點初始地 計算若干個候選視差值。
本發(fā)明人已經(jīng)認識到，對于基于窗口的技術而言，窗口的恰當選擇 是重要的。如果所采用的匹配窗口的尺寸大，那么這會導致邊界不精 確并且喪失了細節(jié)的模糊深度圖。另一方面，利用較小的窗口在降低了計算功率并且是很好的同時會導致有噪聲傾向的方法。利用相對小 的窗口進行匹配的結果將會導致具有噪聲的深度圖，但是包含了重要
的小圖像特征。代替將具有最低SSD或者SAD得分的窗口結果選擇為 感興趣點的視差值的多窗口匹配的通用方法的是，根據(jù)本發(fā)明的方法 的關鍵特征是利用這些候選作為正則化空間來重新計算視差估計。構 造包含噪聲的臨時深度圖，其中為每個點計算了若干候選視差值。對 于這種計算而言，僅需要有限計算能力。此后執(zhí)行平滑操作以向每個 點提供z值。
采用候選視差值的平均值或中值以查找"真的視差值"結果是不能 給出滿意結果。然而，利用單位向量以重新計算進一步深度圖結果是 可提供良好的結果。通過計算從鄰近3D點(在鄰近區(qū)域之內并且來自 不同的疊加多候選數(shù)據(jù)集)指向點的單位向量、并且此后查找在所述 點處至少使這些單位向量和的范數(shù)的z分量最小的視差來計算在這里 下面有時還被稱為局部深度圖的進一步深度圖。對該表面一部分中的 每個點進行此處理。"每個點"是指要為其構造進一步深度圖的圖像部 分中的點。在對該圖像部分的計算之內的點數(shù)目通常等于像素數(shù)目， 其中點歸屬于每個像素。不應將"每個點"曲解為是指存在無窮大數(shù)目 的數(shù)學意義上的"每個點"。鄰近在本發(fā)明的概念之內是指在感興趣點 周圍的給定范圍之內。
在優(yōu)選實施例中，使單位向量之和的范數(shù)最小化。如果興趣主要在 于恢復正平面，那么僅使單位向量之和的范數(shù)的z分量最小化則是足 夠的處理過程。
在更復雜的方法中，最小化鄰近點的單位向量之和的范數(shù)的所有分量。
更好地是，單位向量之和是加權和，其中該計算內的每個單位向量 的權重是距離感興趣點的距離的函數(shù)。這可提高精確度。與遠離感興 趣點的點相比，感興趣點的視差值更可能與靠近的鄰近點的視差值相 似。
更好地是，匹配組包括下述一個或多個匹配窗口，對于這一個或多 個匹配窗口而言，感興趣點偏心地位于匹配窗口中。雖然正方形塊是 匹配窗口最常用的形狀，但是匹配窗口的偏心定位的形狀更適于鎖定 諸如橫向和縱向邊沿之類的特定圖像特征。它們不以圖像中感興趣點
6為中心的事實可允許至少一個窗口恰當?shù)卦谡趽踹吔绺浇ヅ洹?br> 更好地是，執(zhí)行檢查以從計算中刪除下述單位向量，這些單位向量 與平均值的差異大于閾值。因此，異常候選視差值，即由于一些計算 誤差而遠離正常范圍的候選視差值，較不可能對結果有負面影響。該 閾值可以是固定值或者是根據(jù)其他值計算的值或者可以是與展開計算
(spread calculation)有關的值。
更好地是，匹配窗口組是基本上正交的匹配窗口組?；旧险黄?配窗口是這樣的匹配窗口 ，其中窗口之間的像素重疊小于每個窗口的 像素數(shù)目的1/4。
在優(yōu)選實施例中，匹配窗口的數(shù)目是四個并且匹配窗口形成了十字 交叉(cross)。十字交叉是簡單排列，其已經(jīng)示出給出了好的結果。
在另一優(yōu)選實施例中，匹配窗口的數(shù)目是八個，其中該窗口是由兩 個四個一組組成的， 一個四個一組是另一個四個一組中的窗口的左手 或者右手版本，每個四個一組形成了十字交叉。利用匹配窗口的一個 四個一組可能引入輕微的左到右或右到左的偏離。通過利用這兩個四 個一組，可消除該偏離。
在另一實施例中，匹配窗口基本上是三角形。


利用以下附圖對本發(fā)明的這些及其他有利方面進行更詳細的描述。
圖1給出了圖像一部分的幾何結構和兩個方向。
圖2給出了圖像一部分的圖像。
圖3A給出了用于構造深度圖的方法的流程圖。
圖3B說明了根據(jù)本發(fā)明的方法的一部分。
圖4一維地沿著線說明了結果產生的臨時深度圖。
圖5說明了本發(fā)明的方法內的進一步步驟。
圖6說明了如先有技術中所描述的匹配窗口組。
圖7至13說明了本發(fā)明的方法可用的匹配窗口組的各種實施例。
圖14說明了根據(jù)本發(fā)明的方法。
圖15和16說明了根據(jù)本發(fā)明的設備。
圖17說明了根據(jù)本發(fā)明的方法的結果。
圖18A至18D進一步說明了根據(jù)本發(fā)明的方法的結果。附圖沒有按比例繪制。通常，在附圖中由相同參考數(shù)字來表示相同 的部件。
具體實施例方式
圖1給出了圖像的一部分10的幾何結構和兩個方向12a， b。圖像 的一部分可以例如是圖像之內的人或者任何對象。本發(fā)明涉及一種用 于提供圖像的深度圖的方法。可將深度圖看作是認為使的z值(即深 度值)歸屬于對象中的點。當利用來自不同方向12a， b的點投影獲得 了包含有圖像一部分10的場景的圖像時，圖像部分上的點14， 15在 該圖像中可看見的位置是點14, 15的投影16a， b、 17a， b。該投影可 以由從點14, 15通過方向12a, b到圖像平面18的繪制線19a-d來 說明。為了陳述該基本原理，已經(jīng)在與圖像平面18平行的平面中選擇 了方向12a, b，但是本發(fā)明并不局限于這樣的對方向12a， b的選擇。 這些線19a -d與圖像平面18之間的交叉點說明了圖像部分10中的點 14， 15將在圖像中看見的位置。
應該注意的是，視點12a， b的變化會導致其中圖像部分上的點14, 15在圖像平面18中可看見的位置16a， b、 17a， b的平移。該平移與 視點與該點之間的深度"z"成反比并且與視點的位置的變化量成正比。 其結果是，對于具有與方向12a, b有不同深度"z"的圖像部分10中的 點14， 15而言，該平移會是不同的。
圖2給出了包括有其中可看見圖像一部分的區(qū)域22的圖像20。在 該圖像20中，示出了平移向量23a， b、 25a， b,其中響應于視點的移 動，圖像20中可看得見的圖像部分中的點的位置根據(jù)這些平移向量進 行平移。應該注意的是，與更遠離視點的點相比，對于更靠近視點的 圖像部分中的點而言，平移向量25a, b更大。沿著所有點的深度都是 相同的線26,該平移會是相同的。
當使用具有沿著線26的軸和與該線垂直的軸的坐標系統(tǒng)時，可看 得見點的位置的平移幅度"D"與A+Bu成正比，其中u是該可看得見點 的位置沿著與線26相垂直的軸的坐標。該平移方向與視點的移動方向 相反。參數(shù)"A"與在u = 0時深度"ZO"的倒數(shù)成正比A=c/ZO，并且類 似地"B"與該深度以及與該觀看方向相垂直的圖像部分的斜率"s"成正 比B = c*s/ZO (c是與距離視點的位移、焦距、以及圖像的縮放比例成正比的比例常數(shù))。圖1和2說明了其中使用兩個相機的情況。為 了確定深度圖，可使用不止兩個相機。利用不止兩個相機可提高精確 度并且可降低前景中的對象遮擋背景對象的機會。
圖3A示意性地給出了用于為圖像或者至少圖像的一部分構造深度 圖的方法的一部分的流程圖。
在該流程圖的第一和第二步驟31， 32中，使相機光學器件分別位 于第一和第二視點出，其中從所述第一和第二視點分別獲得第一和第 二圖像。
在該流程圖的第三步驟33中，選擇第一圖像中的像素。在第四步 驟34中，對于該像素，利用匹配窗口查找圖像之間的匹配。
在該流程圖的步驟35中，利用步驟34的結果，也就是說利用窗口 的匹配，將z值歸屬于所述像素。在已知方法中，根據(jù)"贏家通吃"原 理來將單個"最佳"z值歸屬于每個像素，即尋求最佳匹配并且這建立了 視差值(-z-值)。為了提供高的置信度級別，精確度必須很高，這 會導致選擇相當大的匹配窗口。然而，這種相對大的匹配窗口由于它 們的尺寸而無法捕獲小的細節(jié)。
圖3B說明了根據(jù)本發(fā)明的方法的一部分。
并非為感興趣點提供一個視差值，而是使用一組相對小的偏心匹配 窗口來為每個點提供多個候選視差值(z-值1、 z-值2、 z-值3等 等)。對于任何點不采用非明確判定(No definitive decision); 將不止一個候選視差值歸屬于每個點。組合的所有候選視差值提供用 于噪聲深度圖。
圖4說明了 一維的結果產生的臨時深度圖，其中示出了沿著線的候 選視差(即z-值)。在該示例中計算了兩種不同顏色的視差值。由實 心圓點和空心圓點示意性地表示這兩種不同值。
圖5說明了本發(fā)明的方法內的下一步驟。
為了從包含噪聲的樣本中估計出實際深度，即點的實際視差值，使 用如了圖5所示的方案。為每個像素計算下述深度值，該深度值使從 重構樣本指向候選點的單位向量之和的范數(shù)最小。在深度值遠離表面
的情況下，這些向量之和的范數(shù)很大(a)，但是當我們碰到表面時， 期望它最小或者接近最小。在該說明書描述的框架之內，還將這稱為" 表面過濾器"，即對臨時包含噪聲的深度圖執(zhí)行特定過濾。該臨時包含
9噪聲的深度圖為要使用該方法的圖像部分中的每個點包括若千個候選 視差值。單位向量之和本身是向量。
可數(shù)學上將向量的范數(shù)理解為該向量的"強度"。在本發(fā)明的方法 中，使作為所有這些單位向量之和的這個向量的強度最小。如果該強
度很低，那么達到了表面圖(surface map)。現(xiàn)在存在有用于對向量 強度進行測量的若干方式，最普通的是在下面公式中所描述的Lp-范 數(shù)。
特定情況是
- L2或者歐幾里德范數(shù)(p=2) : Wh(ZW2)(
- Ll范數(shù)(p=l) H,=^>"l
-以及被稱為Loo的有限情況，其被定義為IMk = mfc|x |
對于視差《，在數(shù)學上使地點'周圍很小鄰域N之內的單位向量之 和的L-l范數(shù)最小化(下面給出了 L-l范數(shù))
柳=
Z-
P一 ((if - - )2 + (/f - " +W ) - " )0
z 、2人/2
+
(d)
尸？ —^ )2+(if—& )2+(尸z w)—" )z)
八2
+
尸一 ((/f — " )2 + (d )2 + (, w) 一 。y2
其中重構點《=0^,^,,(《))與要最優(yōu)化的視差值",相對應(因為我
們在規(guī)則網(wǎng)格上，因此z分量僅取決于"，)，并且重構點尸,=(尸/,^，尸/) 與通過不同窗口配置所估計的視差相對應。因為來自不同深度估計器
(不同窗口匹配配置)的冗余，可在保持鄰域N的尺寸小的同時使表
面提取保持魯棒。如果我們主要對恢復正平面感興趣，那么我們可僅
最小化在計算上較不昂貴的(1)中的z分量。
還可通過將權重歸于點來設置鄰域N，其中權重是點之間的距離的函數(shù):
<formula>formula see original document page 11</formula>
其中W (Pi)是點Pi與點P之間的距離的函數(shù)，當距離增大時其 值減小。
為表面中的每個點進行該計算。在該計算中存在的點數(shù)目通常等于 像素數(shù)目，也就是說點歸屬于每個像素并且通過最小化單位向量之和 的范數(shù)來為該點計算z值。這使得計算相對容易。
這對視差值有平滑過濾效果。因為使用了感興趣點周圍的點的范 圍，因此在本發(fā)明的框架內將這稱為表面過濾器。
為完整起見，還給出了也可使用的L-2范數(shù)
<formula>formula see original document page 11</formula>
L-2范數(shù)-(S2 (di)}1/2
在另 一 實施例中使用了圖像約束。
表面過濾器被示為可提取魯棒的視差，但是可避免對深度不連續(xù)性 的過平滑，并且為了更好地恢復小的細節(jié)，我們還包含圖像匹配約束就此而言，我們可使用任何局部圖像相似準則。例如我們可在非常小
窗口上采用SSD。局部最小的最終準則是
￡(/) = s(《)+ ;lss￡)(《) (2)
其中/i是使平滑視差區(qū)域提取與精確邊界恢復相平衡的因數(shù)。通過
在最小與最大允許的離散視差值之間進行簡單掃描并且查找最小化E (i)的視差來執(zhí)行最優(yōu)化。
在某種意義上，可將這看作用于使點的SSD與自鄰近點起的單位向 量之和的范數(shù)的組合最小化的組合方法?；谑褂珊偷姆稊?shù)加上該點 處的SSD所給出的E( i)最小化的約束來最小化單位向量之和的范數(shù)。
圖6說明了在所引用的先有技術文章中所描述的一組匹配窗。使用 了 25個窗口，每個窗口包括25個像素。由黑色矩形來表示要為其確 定z值的、被稱為"感興趣點"的像素61。使用了 5*5像素的標準匹配 窗口并且在標準窗口的所有點上對感興趣像素進行掃描。這提供了 25 個匹配窗口 62。在圖4中，由灰色矩形的5 * 5個區(qū)域來表示這25個 匹配窗口。這將不得不執(zhí)行大量的計算。
圖7說明了在本發(fā)明的方法和設備中所使用的匹配窗口組。
在圖7的示例中，使用基本上正交取向的一組四個矩形5*2匹配窗 口。匹配窗口之間的重疊4艮小。
圖8說明了窗口組的另一個示例。
圖9說明了在根據(jù)本發(fā)明的方法和設備中所使用的窗口組的又一 個示例。在這種情況下，使用了兩組的四個匹配窗口。
圖10說明了在根據(jù)本發(fā)明的方法和設備中所使用的窗口組的又一 個示例。
圖ll說明了又一個示例。
圖12和13說明了本發(fā)明的又一個示例。在后者示例中使用8個三 角形窗口的組合。
應當注意的是，所示的匹配窗口示例并非都是正方形的。更好地是， 匹配窗口是非正方形，這是因為諸如矩形或者三角形匹配窗口之類的 非正方形形狀的窗口更適于鎖定諸如橫向和縱向邊沿(對于如圖11所 示的矩形匹配窗口或者三角形而言)或者成45度的邊沿(對于三角形 匹配窗口而言)之類的特定圖像特征。
圖7、 8和9所示的示例示出了基本上矩形形狀的匹配窗口。這些
12窗口彼此正交地取向并且組合地形成了十字形。如圖9所示的匹配窗
口這樣，這些匹配窗口示出了沿著垂直和水平方向的邊沿。沿著垂直 和水平方向取向的這種矩形形狀的匹配窗口是最好的。
更好地是，匹配窗口具有相同形狀并且形成了四個一組的形狀，其 中該形狀是有取向的并且其中每個匹配窗口的形狀與另一匹配窗口的 形狀相關并且可通過使另一個匹配窗口旋轉90、 180、或者270度而獲 得。圖7至13這組示出了這種排列，其中每組匹配窗口得自于一個(圖 7、 8、 9以及10)或者兩個(圖9、 12)基本取向的形式，通過使這些 基本取向的形式旋轉90、 180和270度以提供其他形式。這種排列提 供了容易的計算。更好地是，通過采用沿正交方向相互取向的小且較 薄的匹配窗口以產生視差候選，來摧毀平衡。
該方案基于臨時深度圖來提供進一步的深度圖。
可通過多個優(yōu)選的改進(preferred refinements)來進一步優(yōu)化
該計算
- 在計算S(D)的過程中，執(zhí)行檢查以從S (D)的計算中刪 除與平均值差異大于閾值的單位向量。異常候選視差值(即，由于一 些計算誤差所造成的候選視差值)較不可能對結果有負面影響。該閾 值可以是固定值或者是根據(jù)其他值計算的或者與展開計算(spread calculat ion )有關。
- 不同方案可丟棄假的匹配并且對遮擋區(qū)域進行檢測。簡單 方案是直接的左_右/右-左一致性檢查。這將確保所獲得的對應性的 唯一性并且允許對遮擋區(qū)域進行標記。
- 基于圖像的后處理
離群值舍棄和遮擋檢測將會在進一步深度圖中生成空孔，即不存在 視差值的區(qū)域。為了填充由離群值舍棄和遮擋檢測步驟所產生的空孔， 我們使用基于顏色的平均。這包括計算與接近我們地點(Ri，Gi，Bi)處 的顏色的顏色像素相對應的視差(局部鄰域之內)的平均值。如下所 述，非線性過濾器可用于重新計算在空孔的地點i處的深度。如果AC,,-7 7| + |G, _G'| + |5,-5,|<rc 那么％=1 否貝'、=0
其中K是色差閾值。 對于2>W=G，則保持舊的深度值。
.y
可迭代地使用該過濾器，并且這具有可使深度圖的邊界與相應彩色
圖像的邊界重新對準的優(yōu)點，這對3D呈現(xiàn)應用很重要。通過希望具有 與實際圖像不連續(xù)性相匹配的急劇深度不連續(xù)性來指示對包括色差閾 值的選擇。實際上證明該選擇作用良好。
圖14更詳細地說明了根據(jù)本發(fā)明的方法。
圖14說明了 4個模塊141至144:頭兩個模塊141和142是本發(fā) 明最寬范圍中的方法的一部分。后兩個模塊143和144是優(yōu)選實施例 的一部分并且是可選的。
將左右圖像數(shù)據(jù)的數(shù)據(jù)提供給第一模塊141,或者在從不止兩個視 點獲得圖像的情況下，將來自各個視點的圖像數(shù)據(jù)提供給第 一模塊 141。在該模塊中，利用基于窗口的匹配產生臨時深度圖。將包括每個 點的不止一個候選視差值的臨時深度圖發(fā)送給表面過濾器模塊142。該 表面過濾器模塊通過至少最小化從鄰近點的候選視差值指向所述點的 單位向量之和的范數(shù)的z分量來將表面過濾應用于臨時深度圖。這提 供了進一步深度圖?？蛇x的附加模塊143和144提供了離群值舍棄/遮 擋檢測和隨后的空孔填充。最后的產品是最終深度圖。
根據(jù)本發(fā)明的設備包括用于輸入從不同方向獲得的圖像數(shù)據(jù)的輸 入端，以及確定器(142),該確定器用于對圖像點使用基于窗口的匹 配來從輸入端所接收的圖像數(shù)據(jù)中確定出臨時深度圖，其中在確定器 中，為該圖像點使用一組匹配窗口以產生該點的候選視差值，其中這 組匹配窗口相對于該點偏心定位，其中設備進一步包括表面過濾器 (142),該表面過濾器被布置為通過為每個點至少最小化從鄰近點的 候選視差值指向所述點的單位向量之和的范數(shù)的z分量、來基于臨時 深度圖提供進一步深度圖。
圖15說明了根據(jù)本發(fā)明的設備。由兩個相機拍攝由圖15中的立方 體所表示的對象的圖像。在該示例中示出了兩個相機，但是該設備可 包括不止兩個相機。照相機可記錄彩色圖像、或者單色圖像、或者X 射線圖像、或者紅外圖像。每個相機提供兩組數(shù)據(jù)，其中每組數(shù)據(jù)表示二維圖像(在圖中由Dl (xl, yl)和D2 (x2， y2 )所述)，即兩個 二維數(shù)據(jù)組。相機從不同方向拍攝圖像幅面。該設備包括用于輸入從 不同方向所拍攝的圖像的輸入端I和確定器141。在該確定器內，利用 根據(jù)本發(fā)明的匹配窗口方法來匹配圖像。該確定器提供用于發(fā)送給表 面過濾器142的臨時深度圖。該表面過濾器142提供進一步深度圖。 通過離群值舍棄/遮擋檢測以及基于圖像的空孔填充可進一步改進該 進一步深度圖。
在歸屬器151中，利用該進一步或者最終深度圖將z值歸屬于所述 像素。更好地是，來自相機的數(shù)據(jù)包括與相機的相互定向有關的數(shù)據(jù)， 該確定器具有用于確定相機的相互定向的裝置或者相機包括用于將這 種相互定向傳送到確定器的裝置，或者該確定器包括用于輸入這種數(shù) 據(jù)(例如通過手)的裝置，或者固定相機的設置以便相互定向是已知 的。更好地是，使相機拍攝圖像同步。該設備具有輸出端0P。輸出數(shù) 據(jù)流D(x， y， z)是包括點的x和y坐標以及z坐標的數(shù)據(jù)流，即深 度圖?？梢詫⒃撦敵鰯?shù)據(jù)流D (x， y， z)發(fā)送到例如記錄設備以將該 數(shù)據(jù)流記錄到DVD數(shù)據(jù)載體或者其他任何數(shù)據(jù)載體上，或者將該輸出 數(shù)據(jù)流D(x， y， z)發(fā)送到用于顯示三維圖像的三維顯示設備。
圖15說明了包括諸如相機之類的記錄設備的設備。
圖16說明了具有用于例如DVD這樣的數(shù)據(jù)載體的輸入端的設備， 該數(shù)據(jù)載體上存儲了數(shù)據(jù)Dl (xl， yl)和D2(x2， y2)以及與相機D 的相互定向有關的數(shù)據(jù)(D(caml， cam2))。根據(jù)本發(fā)明的設備讀取 該數(shù)據(jù)并且提供輸出數(shù)據(jù)流D (x， y， z)。
根據(jù)本發(fā)明的設備的優(yōu)選實施例包括下述裝置，該裝置用于根據(jù)該 方法的上述優(yōu)選實施例(例如匹配窗口或者非正方形)的任何一個或 者任何組合來確定深度圖。
根據(jù)本發(fā)明的設備包括用于記錄圖像的裝置，也就是說，該設備包 括用于拍攝圖像的相機，其中該相機將與該圖像有關的數(shù)據(jù)發(fā)送到上 述輸入端。該設備還可接收來自記錄設備的數(shù)據(jù)。
應該注意的是，在本發(fā)明的概念之內，"確定器"、過濾器等等應被 廣泛地理解，并且單獨地或者相結合地起包括例如被設計用于執(zhí)行確 定、選擇或者匹配功能的任何硬件塊(諸如確定器)、任何電路或支 路，以及被設計或編程為執(zhí)行根據(jù)本發(fā)明的確定、選擇或者匹配操作
15的任何軟件塊(計算機程序或者子程序或者計算機程序集或者程序代碼)，以及起這種作用的硬件和軟件塊的任何組合，而不局限于以下所給出的示意性實施例。 一個程序可組合若干功能。
圖17說明了根據(jù)本發(fā)明的方法的結果。
為了進行性能估算，我們在靜止對(圖17)上運行我們的算法。頭兩個圖像是左右圖像，最后的附圖給出了深度圖的概念，其中灰度值是對深度的指示。結果示出了低紋理區(qū)域之內提取深度以及對深度不連續(xù)性的高精確度這兩個方面非常好的性能。通過利用魯棒表面過濾器和來自多個候選的冗余可魯棒地恢復低紋理區(qū)域內的深度，并且表面的隱式模型的使用也是重要因素。給定從左至右和從右到左的深度估計的魯棒性，也可以很好地執(zhí)行通過檢查一致性進行的離群值舍棄，并且檢測出絕大多數(shù)遮擋或者實際上非紋理的區(qū)域。最后，基于圖像的后處理步驟盡管很簡單但是允許進行恰當?shù)目障短畛浜瓦吔缰匦聦省Ｔ趫D像序列上的測試示出了根據(jù)本發(fā)明的算法提供了高質量深度和很好的時間一致性，同時對于該序列而言，假如收斂是局部的，則位于前列的優(yōu)化驅動的技術被證明較不穩(wěn)定并且由此初始化變得很關鍵。本發(fā)明的另一個優(yōu)點是該系統(tǒng)的模塊化特性，其允許靈活的實現(xiàn)并且允許會導致實時性能的優(yōu)化折衷。
圖18A至18D進一步說明了本發(fā)明。
在圖18B中示出了利用如圖7所示的四個不同小且薄窗口(左邊的具有橫向窗口且右邊的具有縱向窗口 )來對圖18A的左(L)-右(R)圖像對進行立體匹配的結果，所獲得的深度圖是如期望的具有強噪聲。圖18C中示出了中值過濾的結果并且將其與圖18D中的本發(fā)明的表面過濾器的結果進行比較。圖18D因此說明了通過根據(jù)本發(fā)明的方法所構造的進一步深度圖。很明顯的是中值過濾器使深度圖過平滑，這會導致喪失精細的細節(jié)。例如與圖18C中的相比，在圖18D中可看得見燈的更多細節(jié)。另一方面，表面過濾器因此在除去噪聲的同時從初始深度圖中恢復出更多的信息。就中值過濾器和表面過濾器而言在基于圖像的后處理之后的最終結果都改善了 。當將進一步深度圖和最終深度圖與基礎事實進行比較時，表面過濾器具有比中值過濾器要小15%的"壞像素"。
總之，本發(fā)明可描述為如下使用基于窗口的匹配來從不同方向獲得的圖像中確定深度圖。使用了一組匹配窗口用于要為其確定深度的圖像中的點。產生臨時深度圖，其中將不止一個候選視差值歸屬于每個點。利用表面過濾器對臨時深度圖進行過濾，其中至少從鄰近點的候選視差值指向感興趣點的單位向量之和的范數(shù)的Z分量。
產品。應將計算機程序產品理解為下述命令集合的任何物理實現(xiàn)，所述命令集合可使通用或專用處理器在用于將命令加入處理器中的一系列加載步驟(可能包括中間轉換步驟，像譯為中間語言和最終處理器語言)之后執(zhí)行發(fā)明的任何特征功能。尤其是，該計算機程序產品可以實現(xiàn)為諸如例如盤片或者磁帶之類的載體上的數(shù)據(jù)、存在于存儲器中的數(shù)據(jù)、在有線或無線網(wǎng)絡連接上傳播的數(shù)據(jù)、或者紙上的程序代碼。除了程序代碼之外，該程序所需的特征數(shù)據(jù)也具體體現(xiàn)為計算機程序產品。
該方法工作所需的、諸如數(shù)據(jù)輸入和輸出步驟之類的一些步驟早已存在于處理器的功能中以代替在計算機程序產品中的描述。
應該注意的是上述實施例對本發(fā)明進行說明而不是對本發(fā)明做出限制，并且本領域普通技術人員在不脫離所附權利要求的范圍的情況下可設計出許多替換實施例。
在權利要求中，不應認為置于括號之間的任何參考符號是對權利要求做出限制。
很顯然的是在本發(fā)明的框架之內可做出許多變化。所屬技術領域的專業(yè)人員應該知道的是，本發(fā)明并不受限于在上文中特定示出和描述的那些內容。本發(fā)明在于每個新穎的特征以及特征的每個組合。權利要求中的參考數(shù)字不對其保護范圍做出限制。
例如，該方法可以僅用于圖像的一部分，或者本發(fā)明的方法的不同實施例可以用于圖像的不同部分，例如一個實施例用于圖像中心，而另一個用于圖像的邊界。
此外，在這些示例中使用了三維的單位向量，即具有三個坐標x、y以及z坐標的單位向量?？墒褂酶嗑S的向量
示例是使用包括空間座標(,，尸，,)和相關紅色、綠色、以及藍色色值(,，.嚴，,)的六維向量，這會引起增廣向量(,,尸,嚴，,,嚴,,)。利用該情況，我們現(xiàn)在可將L-1范數(shù)的準則歸納如下:
<formula>formula see original document page 18</formula>此外當把權重歸于單位向量時，這可以是視差候選與感興趣點之間的距離的函數(shù)，但是這還可以是根據(jù)所使用的匹配窗口而歸屬的權重。如果使用了如所示示例給出的、基本上相同但是在定向不同的匹配窗口組，那么很可能的是所有估計具有相等權重。然而，這組匹配窗口
具有在尺寸或者形式上根本不同的匹配窗口。示例是使用圖7所示類型與圖IO所示類型的混合的匹配窗口的混合組。此后使8個候選視差值歸屬于每個點，其中每個子集歸屬4個。候選視差值的權重在子集之內是相同的，但是在子集之間是不同的。該置信度權重由用戶根據(jù)他利用不同估計器的經(jīng)驗而給出的固定數(shù)。
動詞"包括"以及其動詞變化的使用不排除存在除了在權利要求所陳述的那些之外的單元。在單元之前使用冠詞"一"或者"一個"不排除存在多個這種單元。
權利要求
1、一種用于為圖像中的點使用基于窗口的匹配來從不同方向獲得的圖像中確定深度圖的方法，其中至少對于所述圖像的一部分而言，為所述圖像這部分中的點使用匹配窗口組，為每個點計算多個候選視差值以提供臨時深度圖，其中將不止一個候選視差值歸屬于每個點，其中在這之后，通過為每個點至少最小化從鄰近點的候選視差值指向所述點的單位向量之和的范數(shù)的z分量來計算進一步的深度圖。
2、 如權利要求l所述的方法，其中最小化鄰近點的單位向量之和 的范數(shù)的所有分量。
3、 如權利要求l所述的方法，其中所述匹配組包括一個或多個其 中所述感興趣點相對于所述匹配窗口偏心定位的匹配窗口 。
4、 如權利要求1、 2或者3所述的方法，其中所述單位向量之和是 加權和，其中該計算內的每個單位向量的權重是距所述感興趣點的距離的函數(shù)。
5、 如權利要求l、 2、 3或者4所述的方法，其中執(zhí)行檢查以從所述計算中刪除與平均值差異超過閾值的單位向量。
6、 如先前任何一個權利要求所述的方法，其中所述匹配窗口組是 基本上正交的匹配窗口組
7、 如權利要求6所述的方法，其中所述匹配窗口的數(shù)目是四個并 且所述匹配窗口形成了十字。
8、 如權利要求7所述的方法，其中所述匹配窗口的數(shù)目是八個， 其中該窗口包括兩個四個一組， 一個四個一組是另一個四個一組中的 窗口的左手版或者右手版，每個四個一組都形成了十字。
9、 如權利要求6所述的方法，其中所述匹配窗口基本上是三角形。
10、 如先前任何一個權利要求所述的方法，其中在所述進一步深度 圖上執(zhí)行離群值舍棄/遮擋檢測。
11、 如權利要求IO所述的方法，其中在所述進一步深度圖上執(zhí)行 基于圖像的空孔填充。
12、 一種計算機程序，該計算機程序包括下述程序代碼裝置，該程序代碼裝置用于當在計算機上運行所述程序時執(zhí)行權利要求1至11任 ^可一個所述的方法。
13、 一種計算機程序，該計算機程序包括存儲在計算機可讀介質上 的程序代碼裝置，該程序代碼裝置用于執(zhí)行權利要求1至11任何一個 所述的方法。
14、 一種設備，包括用于輸入從不同方向所獲得的圖像數(shù)據(jù)的輸入 端和確定器，所述確定器用于為所述圖像中的點使用基于窗口的匹配 來從由所述輸入端接收的圖像數(shù)據(jù)中確定臨時深度圖，其中在所述確 定器中，使用了匹配窗口組用于所述圖像中的點以產生所述點的候選 視差值，其中該設備還包括表面過濾器(142)，該表面過濾器布置為 通過至少為每個點最小化從鄰近點的候選視差值指向所述點的單位向 量之和的范數(shù)的z分量、來基于所述臨時深度圖提供進一步深度圖。
15、 如權利要求14所述的設備，其中所述表面過濾器布置為最小 化鄰近點的單位向量之和的范數(shù)的所有分量。
16、 如權利要求14所述的設備，其中所述確定器布置為使所述匹 配組包括一個或多個其中所述感興趣點相對于匹配窗口偏心定位的匹 配窗口 。
17、 如權利要求14所述的設備，其中所述表面過濾器布置為使所 述單位向量之和是加權和，其中所述計算內的每個單位向量的權重是 距所述感興趣點的距離的函數(shù)。
18、 如權利要求14所述的設備，其中所述表面過濾器布置為執(zhí)行 檢查以從所述計算中刪除與平均值差異大于闞值的單位向量。
19、 如權利要求14所述的設備，其中該設備包括用于記錄圖像的 裝置。
全文摘要
使用基于窗口的匹配來從不同方向所獲得的圖像中確定深度圖。使用匹配窗口組用于要為其確定深度的圖像中的點。產生臨時深度圖，其中將不止一個候選視差值歸屬于每個點。表面過濾器對該臨時深度圖進行過濾，其中至少從鄰近點的候選視差值指向感興趣的點的單位向量之和的范數(shù)的Z分量。
文檔編號G06T7/00GK101512601SQ200780032803
公開日2009年8月19日 申請日期2007年9月4日 優(yōu)先權日2006年9月4日
發(fā)明者F·鮑戈貝爾 申請人:皇家飛利浦電子股份有限公司