專利名稱：計算深度圖的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算深度圖。
背景技術(shù)：
為了在多視圖顯示設(shè)備上產(chǎn)生3D印象，必須再現(xiàn)來自不同虛擬視點的圖像。這就需要存在多輸入視圖或一些3D或深度信息。從多視圖相機系統(tǒng)產(chǎn)生的或從傳統(tǒng)的2D視頻資料產(chǎn)生的該深度信息可被記錄。為了從2D視頻產(chǎn)生深度信息，可以應(yīng)用多種類型的深度暗示諸如運動恢復(fù)結(jié)構(gòu)(structure from motion)、聚焦信息、幾何形狀以及動態(tài)遮蔽。所得到的深度圖隨后被用于再現(xiàn)多視像以給觀眾提供深度印象。 W02005/083631公開了針對圖像的各個像素產(chǎn)生深度圖的方法，該深度圖包括表示到觀眾的距離的深度值。該方法包括通過結(jié)合像素(所述像素設(shè)置在從第一個像素到屬于圖像像素的預(yù)定子集的第二個像素的路徑上)值之間的差，計算針對圖像的第一個像素的成本值；并基于成本值來分配對應(yīng)于第一個像素的第一個深度值。
所引用的方法基于以下觀察。場景中將要成像的對象具有不同的尺寸、亮度以及顏色，并且具有一定的空間部署。 一些對象遮蔽了圖像中的其它對象。圖像中像素的亮度和/或色值間的差主要與對象表面的光特性間的差有關(guān)、以及與場景內(nèi)對象相對于光源的空間位置有關(guān)。表面的光特性包括例如顏色和反射率。因此，亮度和/或顏色的較大轉(zhuǎn)變或者鄰近像素的像素值之間的較大差對應(yīng)于第一圖像段和第二圖像段之間的轉(zhuǎn)變，籍此，在被成像的場景中，第一圖像段對應(yīng)于第一對象，而第二圖像段對應(yīng)于第二對象。通過針對圖像的像素確定亮度和/或顏色轉(zhuǎn)變的次數(shù)和延伸、或者在從各個像素到圖像的預(yù)定位置的路徑上的像素值之間的差，可以獲得與場景中對象的空間部署有關(guān)的相應(yīng)度量。這些度量或成本值隨后被轉(zhuǎn)換成深度值。這種轉(zhuǎn)換優(yōu)選是成本值與預(yù)定常數(shù)相乘?？商娲兀@種轉(zhuǎn)換對應(yīng)于各個成本值到預(yù)定范圍的深度值的借助于歸一化的映射。應(yīng)注意，背景也形成一個或多個對象，例如天空或森林或牧場。 基于亮度和/或顏色瞬變的深度值能夠被直接用作用于再現(xiàn)多視像的深度值。

發(fā)明內(nèi)容
擁有用于計算深度圖的改良系統(tǒng)將是有利的。為了更好地解決該問題，在本發(fā)明的第一方面，提出了一種能夠針對圖像的各個像素計算深度圖的系統(tǒng)，該深度圖包括表示到觀眾的距離的深度值，該系統(tǒng)包括 優(yōu)化單元，用于確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選成本值之中的最小成本值，其中 至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)的至少一個像素的深度相關(guān)成本值、以及基于局部鄰域內(nèi)至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差，以及
至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、 以及基于局部鄰域外至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差；
該系統(tǒng)還包括分配器，用于依賴所確定的深度相關(guān)成本值向當(dāng)前像素分配深度 值。 該系統(tǒng)基于以下構(gòu)思深度的變化通常與對象邊界一致，且對象邊界通常與顏色 屬性的變化一致。因此，通過考慮當(dāng)前像素的局部鄰域內(nèi)的像素的深度以及相對于與這些 像素有關(guān)的至少一個顏色屬性的差，可估計當(dāng)前像素的深度。所述局部鄰域優(yōu)選包括距當(dāng) 前像素足夠近以便能夠觀察發(fā)生在當(dāng)前像素上的顏色屬性的局部變化的像素。然而，只查 看鄰域中的像素導(dǎo)致不切實際的深度圖，因為不能確定當(dāng)前像素是否屬于在圖像的其它任 何地方也可見的對象，因此，對象的不同部分不總是被分配相似的深度值。通過考慮鄰域外 的至少一個像素，這種情形得到改進。 優(yōu)選地，所提到的差是絕對差。同樣優(yōu)選地，與至少一個像素(鄰域內(nèi)或外)有關(guān) 的成本值被加到相應(yīng)的絕對差上，以獲得候選成本值。 作為中間步驟，與深度值有關(guān)的成本函數(shù)被確定，例如成本函數(shù)可與深度一致或 者與深度成反比。優(yōu)選地，低成本函數(shù)對應(yīng)于指示遠離觀眾的位置的深度值，而高成本函數(shù) 對應(yīng)于指示靠近觀眾的位置的深度值 實施例包括選擇器，用于從跨越具有大于圖像寬度一半的長度的圖像區(qū)的一組候 選者中隨機選擇局部鄰域外的至少一個像素。這樣，在處理了較少量的當(dāng)前像素之后，跨越 較大圖像區(qū)的像素已被考慮。 實施例包括統(tǒng)計單元908，用于根據(jù)與局部鄰域外至少一個像素中的各個像素
有關(guān)的各個成本值，計算與局部鄰域外所述至少一個像素有關(guān)的成本值；以及 統(tǒng)計單元910，用于根據(jù)與局部鄰域外的至少一個像素中的各個像素有關(guān)的各個
顏色屬性，計算與局部鄰域外所述至少一個像素有關(guān)的顏色屬性。 通過使用統(tǒng)計值，減小了噪聲和異常值的負面影響。 實施例包括迭代器912，用于使優(yōu)化單元處理圖像的連續(xù)像素，其中被處理的像素 是當(dāng)前像素，迭代器被設(shè)置成在圖像頂部開始并向下操作，或者從圖像底部開始并向上操 作。假定圖像的布局通常如此越在圖像的下部，對象離觀眾越近。當(dāng)從頂部向底部或從底 部向頂部處理圖像時，容易創(chuàng)建滿足該假定的深度圖。 在實施例中，迭代器被設(shè)置成使優(yōu)化單元處理圖像的連續(xù)行，從左到右和從右到 左交替進行。這有助于避免圖像左側(cè)的深度值和右側(cè)的深度值之間任何非期望的差。
實施例包括選擇器，用于從跨越具有大于圖像寬度一半的寬度的圖像區(qū)的一組候 選者中隨機選擇局部鄰域外的至少一個像素，其中所述圖像區(qū)是個基本水平帶。由于所跨 越的圖像區(qū)是個基本水平帶，因此圖像中所有候選者具有近似相同的高度，考慮到上述關(guān) 于圖像布局的假定，這有助于就由候選者的豎直位置可能造成的任何成本值之差而言使候 選者彼此更加相近。 在實施例中，局部鄰域外的至少一個像素是跨越圖像的基本水平線段的多個像 素。這樣，圖像中該多個像素具有相同的高度?？紤]到上述有關(guān)圖像布局的假定，這有助于 計算更為可靠的統(tǒng)計量。 在實施例中，顏色屬性依賴于亮度和色度中的至少一個。這些是圖像中出現(xiàn)的共同顏色屬性。 在實施例中，優(yōu)化單元被設(shè)置成還依賴基于預(yù)定深度模型的深度暗示計算成本 值。這樣，通過結(jié)合基于顏色屬性差的深度和任何先前獲取的深度信息來獲得更為精確的 深度信息。盡管先前獲取的這類深度信息本身可能不可靠，但是與如所提及的成本值計算 的結(jié)合導(dǎo)致深度估計的質(zhì)量得到了意外提高。 實施例包括選擇性模糊單元，用于在優(yōu)化單元確定成本值之前，根據(jù)預(yù)定深度模 型使背景中的圖像的至少一個區(qū)域模糊。如果背景對象被稍微模糊，則深度估計的質(zhì)量提 高，因為在圖像的模糊區(qū)域中，顏色屬性之差更小了。 在實施例中，預(yù)定深度模型是運動深度模型。具體地，已經(jīng)發(fā)現(xiàn)基于運動深度的預(yù) 定深度模型與所提及的選擇性模型單元的結(jié)合提供了高質(zhì)量的深度圖。 實施例包括集成電路，用于針對圖像的各個像素計算深度圖，該深度圖包括表示 到觀眾的距離的深度值，該集成電路包括 用于確定當(dāng)前像素的深度相關(guān)成本值的電路，該深度相關(guān)成本值是多個候選成本 值中的最小成本值，其中 至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本 值、以及基于該局部鄰域內(nèi)至少一個像素的顏色屬性與當(dāng)前像素的對應(yīng)顏色屬性之間的 差，以及 至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、 以及基于局部鄰域外所述至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的 差； 該系統(tǒng)還包括用于依賴所確定的深度相關(guān)成本值向當(dāng)前像素分配深度值的分配 器。
實施例包括電視，該電視包括 3D顯示器，用于根據(jù)深度圖來提供具有三維外觀的視頻再現(xiàn)；以及 用于針對圖像的各個像素來計算深度圖的系統(tǒng)，該深度圖包括表示到觀眾的距離
的深度值，該系統(tǒng)包括 優(yōu)化單元，用于確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選 成本值之中的最小成本值，其中 至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本 值、以及基于該局部鄰域內(nèi)至少一個像素的顏色屬性與當(dāng)前像素的對應(yīng)顏色屬性之間的 差，以及 至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、 以及基于局部鄰域外所述至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的 差； 該系統(tǒng)還包括用于依賴所確定的深度相關(guān)成本值向當(dāng)前像素分配深度值的分配 器。
實施例包括相機，該相機包括 捕獲裝置，用于捕獲包括圖像序列的視頻信號； 用于針對圖像之一中的各個像素來計算深度圖的系統(tǒng)，該深度圖包括表示到觀眾
7的距離的深度值，該系統(tǒng)包括 優(yōu)化單元，用于確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選 成本值之中的最小成本值，其中 至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本 值、以及基于該局部鄰域內(nèi)至少一個像素的顏色屬性與當(dāng)前像素的對應(yīng)顏色屬性之間的 差，以及 至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、 以及基于局部鄰域外所述至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的 差； 分配器，用于依賴所確定的各個深度相關(guān)成本值向各個當(dāng)前像素分配相應(yīng)深度 值，以獲得深度圖； 第一輸出，用于提供捕獲的視頻信號；以及
第二輸出，用于提供深度圖。 實施例包括針對圖像的各個像素計算深度圖的方法，該深度圖包括表示到觀眾的 距離的深度值，該方法包括 確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選成本值之中的最 小成本值，其中 至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本 值、以及基于該局部鄰域內(nèi)至少一個像素的顏色屬性與當(dāng)前像素的對應(yīng)顏色屬性之間的 差，以及 至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、 以及基于局部鄰域外所述至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的 差； 該方法還包括依賴所確定的深度相關(guān)成本值向當(dāng)前像素分配深度值 實施例包括計算機程序產(chǎn)品，用于針對圖像的各個像素計算深度圖，該深度圖包
括表示到觀眾的距離的深度值，該計算機程序產(chǎn)品包括用于使處理器執(zhí)行以下步驟的計算
機可執(zhí)行指令 確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選成本值之中的最 小成本值，其中 至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本 值、以及基于該局部鄰域內(nèi)至少一個像素的顏色屬性與當(dāng)前像素的對應(yīng)顏色屬性之間的 差，以及 至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、 以及基于局部鄰域外所述至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差； 以及 依賴所確定的深度相關(guān)成本值向當(dāng)前像素分配深度值。


將參考附圖進一步闡明和描述本發(fā)明的這些方面以及其它方面，其中
圖1圖示了視頻系統(tǒng)的結(jié)構(gòu)； 圖2、3、4、5和6圖示了圖像細節(jié)的處理； 圖7圖示了圖像的多個行； 圖8圖示了圖像細節(jié)的處理；以及 圖9圖示了多個實施例。
具體實施例 圖1示出了給出深度估計算法實施例的高層概覽框圖。當(dāng)輸入Y、U、V時，提供亮 度(Y)和色度(U，V)值的文件可被使用。以本領(lǐng)域公知的方式在框114中檢測水平和豎直 黑條(也被稱為幕)。該框114返回源窗口，其包含真實有效視頻的坐標(biāo)。該黑條檢測器在 源窗口變化的情況下能夠支配場景變化檢測器112。 場景變化檢測器112優(yōu)選在預(yù)定邊界之間被剪輯的場景變化后輸出幀數(shù)。場景變 化檢測器112例如計算源窗口內(nèi)當(dāng)前幀和前前幀(即前一幀之前的幀)之間的差。如果該 差大于每像素的預(yù)定門限，則報告場景變化。場景變化檢測器在本領(lǐng)域是公知的。
運動深度(DFM)框102例如利用已知方法(例如參考W099/40726、 US6563873以 及W001/91468)提供基于輸入運動矢量場124的深度圖?；谶M入的運動矢量場124(即 來自運動估計器)，運動深度框102計算深度暗示。例如，實施DFM框102的一種可能的方 法是通過比較運動矢量場和背景運動矢量場。在那種情況下，基于圖像的整體運動(例如 平移-縮放參數(shù))來計算背景運動矢量場。基于運動矢量場124和背景運動矢量場，計算 運動深度。這通過計算針對矢量場中矢量的AVD (絕對矢量距離，即背景運動矢量和輸入運 動矢量的X和Y分量差的絕對值之和)來完成。其結(jié)果是表示視頻信號的運動估計的矢量 場。不過，背景矢量場和平移-縮放參數(shù)的使用是可選的。該運動估計被轉(zhuǎn)換成深度圖。
在框106中，深度圖被平滑化。在框108和110中，輸入圖像被高斯核過濾?？?108處理亮度(Y)，而框110處理色度(U，V)。優(yōu)選地使用邊緣保持過濾器。其結(jié)果是模糊 的圖像。 據(jù)觀察，通過使用由具有淺聚焦深度的相機拍攝的圖像快照，改進了深度估計。換 句話說，當(dāng)背景模糊而前景對象明顯時，深度估計算法執(zhí)行得較好。為了模擬該特性，在框 116中，使圖像的背景部分模糊而使前景部分不模糊。利用基于運動的深度圖、原始輸入以 及模糊圖像，依賴基于運動的深度圖，通過混合原始輸入和模糊圖像來創(chuàng)建新的中間混合 圖像。首先，從運動深度值中減去門限以減小噪聲。基于所得到的值，計算范圍從0到1的 混合因子，其中對于背景區(qū)域，混合因子較大，而對于前景區(qū)域，混合因子較小。因此，框116 的輸出為 輸出圖像=混合因子*模糊圖像混合因子)*輸入圖像
背景的模糊可減小深度估計框118的輸出中的光暈。 在框118中，框116的部分模糊的圖像輸出、框106的平滑的運動深度輸出被結(jié)合 以獲得改進的深度圖。為此，計算與像素有關(guān)的成本值。在框118中，圖像線被掃描(被彎 曲)，從最高線開始向下到最低線，并從左到右和從右到左交替進行。當(dāng)前像素的成本值是 取自一組候選成本值中的最小值。候選成本值是另一像素的亮度值和當(dāng)前像素的亮度值之 差的絕對值與所述另一像素的成本值之和。任何像素參數(shù)(諸如色度相關(guān)值或任何顏色相關(guān)值)可以用來代替亮度值。 圖2A和2B描述了對應(yīng)于候選成本值的候選像素。圖2A示出了當(dāng)線從左向右穿 過時的情形，而圖2B示出了當(dāng)線從右向左穿過時的情形。在兩幅圖中，當(dāng)前像素用叉表示。 箭頭指示像素被處理的次序。被編號的像素l-4指示對應(yīng)于候選成本值的候選像素。由于 從上至下地處理所述線，可以看出在緊鄰當(dāng)前像素的像素已經(jīng)被處理的情況下使用它們。 因此，當(dāng)前像素之上的三個像素和先前處理的像素被用來確定候選成本值。
成本值可以如下來計算。首先，計算候選值，即針對圖2A或2B所示的候選像素 1-4中的每個像素來計算候選成本值。該候選成本值是候選像素的成本值加上候選像素的 亮度與當(dāng)前像素的亮度之間的絕對差，艮卩 候選成本=候選像素成本+ABS (候選像素的亮度_當(dāng)前像素的亮度)
在對應(yīng)于四個候選像素1-4的四個候選成本值中，確定最小值，并且這是分配給 當(dāng)前像素的成本值。隨后針對每個像素的成本值可用作深度暗示。例如，通過用固定常數(shù) 除以成本值而從成本函數(shù)中導(dǎo)出像素的深度值。 成本值的計算可用多種方式來增強?，F(xiàn)在來概述一些示例性的增強。例如，直接 的延伸是，除亮度之外，也可以使用色度。取代單個的像素(圖2A-2B中的l-4)，可以對像 素組取平均以減小噪聲影響。例如可使用3x 3核來對成本值取平均，以便進一步減小噪聲 影響。另外，可包括針對先前幀計算的成本值以便增加時間穩(wěn)定性。而且，不僅使用與四 個相鄰(成組)像素有關(guān)的候選值，而且另外使用取自先前線段的平均值背景校正形式。 這允許所述算法穿過圖像掃描而不需要總是分配越來越大的成本值，從而防止非期望的高 值。這在具有高的運動深度值的對象中尤為重要。 在選擇了最小成本候選者之后，通過將對應(yīng)像素的運動深度(D預(yù))加到候選成本 值上以獲得當(dāng)前像素的最終成本值而實現(xiàn)進一步的改進。這優(yōu)選地在遞推核心內(nèi)進行?？?慮到D預(yù)的易變特性，D預(yù)值的這種使用是關(guān)于可靠性和穩(wěn)定性的良好折中。
通過將基于圖像的局部紋理的值加到成本值上可實現(xiàn)進一步的改進，這可以利用 較復(fù)雜的過濾器(如邊緣檢測器)來擴展。 通過不從如圖2A/2B中的緊鄰鄰域像素(或像素組)中選擇候選成本值可實現(xiàn)進 一步的改進。例如，可使用如圖5所示的距當(dāng)前(成組)像素兩行和/或兩列遠的像素。這 導(dǎo)致更一致的深度暗示。 圖3圖示了在"像素叉"中如何處理亮度(luma)和色度(chroma)?？紤]由方格指 示的像素格柵構(gòu)成的圖像片段300。每個像素具有與之關(guān)聯(lián)的亮度值Y。每個像素僅具有 與之關(guān)聯(lián)的色度的U或V坐標(biāo)，其取決于所示的圖像中的列。當(dāng)估計像素302的亮度時，對 4個周圍像素304(由虛線塊指示)的亮度取平均。優(yōu)選地不使用像素302本身的亮度。當(dāng) 估計色度的U分量時，對像素302之上和之下的兩個虛線像素取平均。當(dāng)估計色度的V分 量時，對像素302的向左和向右的兩個虛線像素取平均?？梢詫崿F(xiàn)其它組合來代替取平均。 圖像片段310示出了相似的星座，不過待估計的像素(在圖像片段310中表示為黑方格) 處于所指示的V列；因此，當(dāng)估計色度的U分量時，對圖像片段310中黑色像素向左和向右 的兩個虛線像素取平均，而當(dāng)估計色度的V分量時，對圖像片段310中黑色像素之上和之下 的兩個虛線像素取平均。使用"像素叉"是處理圖像數(shù)據(jù)(其中并非全部像素都包含所有 屬性)的有利方式，尤其是在交替列或行包含兩個交替類型的屬性的情況下。所有的樣本都取自當(dāng)前圖像。然而，可替代地，來自先前或后續(xù)幀的像素數(shù)據(jù)可被結(jié)合以改進時間穩(wěn)定 性。 盡管在該說明書中討論了交替色度的U和V坐標(biāo)的示例，但是"像素叉"的構(gòu)思可 擴展到任何種類的屬性。應(yīng)理解，該文本中所描述的方法和系統(tǒng)不受限于具有交替U和V 列的圖像。例如，可以使用其中每個像素具有Y、U和V屬性的圖像?？蓪和V值取平均 以獲得表示色度的度量的單個值。 在該說明書中，作為示例，Y， U和V被用作顏色屬性。不過，還可以使用其它種類 的顏色屬性，如RGB屬性。這些顏色屬性以及不同像素的顏色屬性之差可以被直接使用，或 者可以以本領(lǐng)域公知的方式根據(jù)給出的顏色屬性來計算顏色屬性Y，U和/或V中的一個或 多個。 圖4圖示了一個實施例，其中，當(dāng)估計先前計算的成本值時，對圍繞中心像素的
3x3塊("像素塊")的成本值取平均，以獲得空間過濾的成本值?？墒褂眉訖?quán)平均來給中
心像素更多的權(quán)重。優(yōu)選地，可包括與前一或后一幀相關(guān)的成本值，以改進時間穩(wěn)定性。例
如，在該3x3像素塊中的一些成本值可以簡單地被前一幀中的對應(yīng)成本值代替。 圖5圖示了一個實施例，其中，使用位于兩行和/或列間距處的像素，而非使用如
圖2所示的緊鄰的像素。這樣，成本候選者并非設(shè)置為緊挨當(dāng)前像素。這與上述像素叉和
像素塊的使用有利地組合。 圖6圖示了在具有兩個相應(yīng)中心像素602和604的兩個像素叉中亮度和色度值的
成對比較?？梢钥吹剑行南袼刂系南袼乇槐容^，中心像素之右的像素被比較，中心像素
之下的像素被比較，以及中心像素之左的像素被比較。對于亮度，可對四個對應(yīng)差取平均。
對于色度，有兩種類型的樣本(U和V)，其應(yīng)分別被減去。當(dāng)計算針對像素叉的統(tǒng)計量時同
樣是正確的平均亮度基于四個像素，而平均色度U和平均色度V基于兩個像素。 圖7圖示了除圖5所示的四個候選者1-4之外，基于先前線段的統(tǒng)計量使用第五
候選者。為此，計算像素叉的統(tǒng)計量。對出現(xiàn)在像素叉中的亮度值、色度U和色度V值取平
均，以獲得像素叉的統(tǒng)計量。這些統(tǒng)計量是針對當(dāng)前像素的像素叉來計算的。 進而，當(dāng)前像素的統(tǒng)計量和與第五候選者有關(guān)的統(tǒng)計量比較。該第五候選者偽隨
機地選自一組統(tǒng)計候選者。每個統(tǒng)計候選者與例如聚合在線段內(nèi)的多個像素有關(guān)。該統(tǒng)計
候選者產(chǎn)生第五候選成本值。像素的最終成本值是所有候選成本值中的最小值。 圖7圖示了圖像的部分700，該部分700包括圖像的多個行。行702表示當(dāng)前被處
理的行，即當(dāng)前像素是行702的一部分。每行具有給定寬度708的多個"有效線段"。這些
有效線段被指示為虛線。圖中剩余像素被指示為白色。 例如，圖像的列數(shù)為740，而針對每行的有效線段的數(shù)量被設(shè)置成4。例如，有效線 段沿每行均勻分布。例如，有效線段的長度被設(shè)置成45，剩余像素不是任何有效線段的一部 分。對于每個有效線段，計算包括例如平均亮度、色度U、色度V以及成本值的統(tǒng)計量。
當(dāng)處理當(dāng)前像素以計算成本值時，針對圍繞當(dāng)前像素的像素叉集合統(tǒng)計量。當(dāng)?shù)?達線段末端時，對沿線段的像素叉的統(tǒng)計量取平均以獲得與該線段有關(guān)的統(tǒng)計量。
根據(jù)定義，暗區(qū)具有低的亮度值和低的色度值。因此，在(部分)背景是黑暗的場 景中，圖像中的暗色對象將使來源于該黑暗背景的統(tǒng)計候選者作為最小候選成本值，因而 作為這些黑暗對象的一部分的像素的成本值將受到黑暗背景像素的影響。這將深度整體引
11入到圖像中。這種影響通過將損失添加到與這些暗區(qū)相關(guān)的統(tǒng)計量上而得到減小。當(dāng)確定 最小候選成本值時將該損失加到成本值上，以減小黑暗候選統(tǒng)計成本值將被選擇為最小候 選者的可能性。 僅僅使用少數(shù)統(tǒng)計候選者或僅僅單個統(tǒng)計候選者作為針對每個像素的候選者是 有利的。這減少了所需要的計算量。它還改進了所得到的深度圖。選擇一個(偽)隨機選 擇的統(tǒng)計候選者是有利的。還可以使用更多的統(tǒng)計候選者。優(yōu)選地，統(tǒng)計候選者選自來自 行的線段，該行離包括當(dāng)前像素的行不太遠。例如，在最后幾行中的線段的統(tǒng)計量被存儲， 并且從這些線段中隨機選擇候選者。有利地，除了圖像的第一部分，候選統(tǒng)計量應(yīng)與從當(dāng)前 像素向上至少預(yù)定數(shù)量行的線段有關(guān)，這有助于避免振鈴偽影(ringing artifact)。
在已經(jīng)選擇了作為最小值的最佳候選成本值后，運動深度值被加到該最佳候選成 本值上，以形成最終成本值。在相加之前，運動深度首先乘以加權(quán)因子。有利的是，對于圖 像的較高行，加權(quán)因子較大，而對于圖像的較低行較小。例如，在每行之后加權(quán)因子線性下 降，這有助于避免或減小"傾斜"效應(yīng)，該效應(yīng)使得對象在最終深度圖中看起來向后傾斜。該 效應(yīng)還可通過直接校正成本值而減小。 由于像素叉的使用，對圍繞當(dāng)前像素的若干像素取平均，而不是直接使用單個像 素的亮度和色度值。這可導(dǎo)致對象邊緣附近的性能下降，并且尤其可導(dǎo)致邊緣處成本值低， 從而低深度"漏"入對象，尤其是與統(tǒng)計候選成本值結(jié)合。為避免或減小該效應(yīng)，可例如通 過估計亮度和/或色度中的跳躍來檢測邊緣。例如，在將加權(quán)因子應(yīng)用到與像素叉中不同 像素有關(guān)的亮度和/或色度值之間的絕對差之后，可將該絕對差加到成本值上。
類似于上述基于運動深度和基于邊緣檢測對成本值的貢獻，可合并其它信息來進 一步改善成本值，從而增強所得到的深度圖。例如，根據(jù)估計場景的物理結(jié)構(gòu)的算法的深度 信息、天空檢測器(sky detector)等可以以類似方式被合并。 如果黑幕和鄰近的黑色圖像部分以"正常"方式來處理，那么低深度值將經(jīng)由該幕 傳播入鄰近的黑暗圖像區(qū)并產(chǎn)生深度孔。 為避免這個，在對線進行掃描之前，設(shè)置"黑幕狀態(tài)"。黑幕是至少4個像素寬，即 使在這頭4個像素內(nèi)檢測到有效視頻。這允許以特殊方式來處理開頭的像素(最左或最 右，根據(jù)掃描方向)，避免邊界附近復(fù)雜的數(shù)據(jù)提取(即剪輯)。事實上，在黑幕中，僅僅當(dāng) 前的像素叉是重要的。每像素，在當(dāng)前行之上的行中僅僅提取一個像素叉，以及在當(dāng)前行中 提取一個，分別是圖8中圍繞3和X的叉。該圖還示出左圖像邊界902。這樣，僅從第五像 素起，候選者用圖像數(shù)據(jù)以正常方式填充。 在那4個像素之后，提取當(dāng)前像素叉的平均亮度值并將其與門限比較。如果平均 值在門限之下，維持黑幕狀態(tài)。如果它超過該門限預(yù)定次數(shù)，則釋放黑幕狀態(tài)，且操作被規(guī) 范化。 黑幕中的成本值如下來計算。使用最后或最開頭的有效列的成本，將其增加小的 損失值。因此，在該黑幕中，成本值獨立于當(dāng)前的像素叉。另外，黑幕中的深度值與不必接 觸邊界的圖像部分有關(guān)。 在針對所有像素計算了成本值之后，可執(zhí)行按比例縮放。另外，可執(zhí)行按比例縮減 來減小存儲每個成本值所需的比特數(shù)。還可以執(zhí)行剪輯。同樣，可執(zhí)行空間和/或時間過 濾。
圖9圖示了本發(fā)明的若干實施例。該圖總體示出了用于針對圖像的各個像素計算深度圖的系統(tǒng)，該深度圖包括表示到觀眾的距離的深度值。該系統(tǒng)包括輸入916，用于獲得應(yīng)針對其計算深度圖的圖像；以及輸出918，用于提供最終計算的深度圖。該系統(tǒng)還包括優(yōu)化單元902、分配器904、選擇器906、兩個統(tǒng)計單元908和910、迭代器912、以及選擇性模糊單元914。 從輸入916獲得的圖像被提供給優(yōu)化單元902，該優(yōu)化單元確定當(dāng)前像素的深度相關(guān)成本值，其中該深度相關(guān)成本值是多個候選成本值中最小的成本值。為此，優(yōu)化單元902定義了圍繞當(dāng)前像素的局部鄰域。局部鄰域的示例為鄰近當(dāng)前像素的所有像素；距當(dāng)前像素預(yù)定距離內(nèi)的所有像素；距當(dāng)前像素至多一個像素遠、三個像素遠、或五個像素遠的所有像素。至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)的至少一個像素的深度相關(guān)成本值、以及基于局部鄰域內(nèi)至少一個像素的顏色屬性與當(dāng)前像素的對應(yīng)顏色屬性之間的差。優(yōu)選地，局部鄰域這樣選擇使得所述差與發(fā)生在當(dāng)前像素處的顏色屬性的變化有關(guān)。而且，至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、以及基于局部鄰域外的至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差。最后提到的差優(yōu)選與發(fā)生在當(dāng)前像素處的顏色屬性的變化不相關(guān)。相反，它優(yōu)選地包括和與局部鄰域外的某處有關(guān)的參考值的比較。 該系統(tǒng)還包括分配器904，該分配器用于依賴所確定的深度相關(guān)成本值向當(dāng)前像素分配深度值。該分配器可以簡單地拷貝該深度相關(guān)成本值。它還可以分配該深度相關(guān)成本值的相反值或求反。它還可以分配對應(yīng)于該深度相關(guān)成本值的某些函數(shù)的值，這樣的函數(shù)優(yōu)選為單調(diào)函數(shù)。 實施例還包括選擇器906，該選擇器用于選擇當(dāng)前像素的局部鄰域外的至少一個
像素，使得連接當(dāng)前像素和局部鄰域外所述至少一個像素的直線穿過圖像中對象邊界的概
率大于連接當(dāng)前像素和局部鄰域內(nèi)至少一個像素的線穿過圖像中對象邊界的概率。 在另一實施例中，選擇器906從跨越具有大于圖像寬度一半的長度的圖像區(qū)的一
組候選者中隨機選擇局部鄰域外的至少一個像素。 實施例包括統(tǒng)計單元908，用于基于與局部鄰域外的至少一個像素中的各個像素有關(guān)的相應(yīng)成本值，計算與局部鄰域外所述至少一個像素有關(guān)的成本值；以及統(tǒng)計單元910，用于基于與局部鄰域外至少一個像素中的各個像素有關(guān)的相應(yīng)顏色屬性，計算與局部鄰域外所述至少一個像素有關(guān)的顏色屬性。這樣，參考值基于統(tǒng)計量，其提供更穩(wěn)定的性能。 實施例包括迭代器912，用于使優(yōu)化單元處理圖像的連續(xù)像素，其中被處理的像素是當(dāng)前像素，該迭代器被設(shè)置成在圖像頂部開始并向下操作，或者在圖像底部開始并向上操作。 在實施例中，迭代器被設(shè)置成使優(yōu)化單元處理圖像的連續(xù)行，從左到右和從右到
左交替進行。在實施例中，選擇器906從跨越具有大于圖像寬度一半的寬度的圖像區(qū)的一
組候選者中隨機選擇局部鄰域外的至少一個像素，其中該圖像區(qū)是基本水平帶。 優(yōu)選地，局部鄰域外所述至少一個像素是跨越圖像的基本水平線段的多個像素。
顏色屬性優(yōu)選地依賴于亮度和色度中的至少一個。優(yōu)選地，優(yōu)化單元被設(shè)置成還依賴基于
預(yù)定深度模型的深度暗示來計算成本值。優(yōu)選地，選擇性模糊單元914被提供用于在優(yōu)化單元確定成本值之前，根據(jù)預(yù)定深度模型使處于背景中的圖像的至少一個區(qū)域模糊。優(yōu)選地，預(yù)定深度模型是運動深度模型。 所提及的系統(tǒng)可實施為集成電路(例如視頻處理芯片)的一部分。所提及的系統(tǒng)或所提及的集成電路可以是能夠再現(xiàn)三維圖像的電視(例如設(shè)置有透鏡屏的LCD電視)的一部分，其允許再現(xiàn)具有深度印象的圖像，而無須觀眾戴上立體眼鏡。當(dāng)然，也可以使用帶有立體眼鏡(例如LCD快門眼鏡或紅/綠眼鏡)的系統(tǒng)。
所提及的系統(tǒng)還可合并到相機或視頻控制工具中。 在此描述針對圖像的各個像素計算深度圖的方法，該深度圖包括表示到觀眾的距
離的深度值。該方法包括確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選
成本值之中的最小成本值，其中至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個
像素的深度相關(guān)成本值、以及基于局部鄰域內(nèi)至少一個像素的顏色屬性與當(dāng)前像素的對應(yīng)
顏色屬性之間的差，且至少一個候選成本值基于與局部鄰域外至少一個像素有關(guān)的深度相
關(guān)成本值、以及基于局部鄰域外至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間
的差。該方法還包括依賴所確定的深度相關(guān)成本值向當(dāng)前像素分配深度值。 所述方法和系統(tǒng)還可以以計算機程序產(chǎn)品來實施，該計算機程序產(chǎn)品用于針對圖
像的各個像素計算深度圖，該深度圖包括表示到觀眾的距離的深度值。該計算機程序產(chǎn)品
包括用于使處理器執(zhí)行以下步驟的計算機可執(zhí)行指令確定當(dāng)前像素的深度相關(guān)成本值，
該深度相關(guān)成本值是多個候選成本值之中的最小成本值，其中至少一個候選成本值基于當(dāng)
前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本值、以及基于局部鄰域內(nèi)至少一個像素
的顏色屬性與當(dāng)前像素的對應(yīng)顏色屬性之間的差，且至少一個候選成本值基于與局部鄰域
外至少一個像素有關(guān)的深度相關(guān)成本值、以及基于局部鄰域外至少一個像素的顏色屬性和
當(dāng)前像素的對應(yīng)顏色屬性之間的差。該計算機程序產(chǎn)品還包括用于使處理器執(zhí)行以下步驟
的計算機可執(zhí)行指令依賴所確定的深度相關(guān)成本值向當(dāng)前像素分配深度值。 應(yīng)理解，本發(fā)明還延伸到適于使本發(fā)明得到實施的計算機程序，尤其是在載體上
或載體內(nèi)的計算機程序。該程序可以是源代碼、目標(biāo)代碼、碼中間源和目標(biāo)代碼(如部分編
譯形式)形式、或適合于在實現(xiàn)按照本發(fā)明的方法中使用的任何其它形式。還應(yīng)理解，這樣
的程序可具有多種不同的結(jié)構(gòu)設(shè)計。例如，實現(xiàn)按照本發(fā)明方法或系統(tǒng)的功能的程序代碼
可以細分成一個或多個子程序。對于普通技術(shù)人員而言，在這些子程序中分布所述功能的
多種不同方式將是顯然的。所述子程序可以一起被存儲在一個可執(zhí)行文件中以構(gòu)成自包含
程序。這樣的可執(zhí)行文件可包括計算機可執(zhí)行指令，例如處理器指令和/或解釋器指令(例
如Java解釋器指令)?？商娲?， 一個或多個或所有子程序可被存儲在至少一個外部庫文
件中并與主程序例如在運行時間靜態(tài)或動態(tài)鏈接。該主程序包含對至少一個子程序的至少
一個調(diào)用。同時，子程序可包括對彼此的函數(shù)調(diào)用。與計算機程序產(chǎn)品有關(guān)的實施例包括
與所提及的至少一個方法的每個處理步驟對應(yīng)的計算機可執(zhí)行指令。這些指令可被細分成
子程序和/或被存儲在可被靜態(tài)或動態(tài)鏈接的一個或多個文件中。與計算機程序產(chǎn)品有關(guān)
的另一實施例包括與所提及的至少一個系統(tǒng)和/或產(chǎn)品中每個裝置對應(yīng)的計算機可執(zhí)行
指令。這些指令可被細分為子程序和/或被存儲在可被靜態(tài)或動態(tài)鏈接的一個或多個文件中。 計算機程序的載體可以是能夠承載程序的任何實體或設(shè)備。例如，該載體可以包括存儲介質(zhì)，如ROM(例如CD R0M或半導(dǎo)體R0M)，或磁記錄介質(zhì)(例如軟盤或硬盤)。此外，載體還可以是可傳輸載體，如電或光信號，其可以經(jīng)由電纜或光纜進行傳送，或者通過無線電或其它裝置進行傳送。當(dāng)程序被包含在這樣的信號中時，該載體可以由這類電纜或其它設(shè)備或裝置構(gòu)成?？商娲?，該載體可以是內(nèi)嵌程序的集成電路，該集成電路適于執(zhí)行相關(guān)方法，或在相關(guān)方法的操作中使用。 應(yīng)注意，上述實施例對本發(fā)明進行說明而非進行限制，且在不背離所附權(quán)利要求書范圍的情況下，本領(lǐng)域的普通技術(shù)人員將能夠設(shè)計多種替選實施例。在權(quán)利要求書中，置于括號內(nèi)的任何參考標(biāo)記不應(yīng)解釋為限制該權(quán)利要求。動詞"包括"及其變化形式的使用并不排除除權(quán)利要求中陳述的那些之外的元件或步驟的存在。元件前的冠詞"一"并不排除多個這樣的元件的存在。本發(fā)明可借助于包括若干不同元件的硬件、以及借助于被適當(dāng)編程的計算機來實現(xiàn)。在列舉了若干裝置的設(shè)備權(quán)利要求中，這些裝置中的若干裝置可由同一項硬件來體現(xiàn)。在相互不同的從屬權(quán)利要求中記載了某些措施，這個起碼的事實并不代表這些措施的組合不能被有利地利用。
權(quán)利要求
一種用于針對圖像的各個像素計算深度圖的系統(tǒng)，該深度圖包括表示到觀眾的距離的深度值，所述系統(tǒng)包括優(yōu)化單元(902)，用于確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選成本值之中的最小成本值，其中至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)的至少一個像素的深度相關(guān)成本值、以及基于局部鄰域內(nèi)的所述至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差，以及至少一個所述候選成本值基于局部鄰域外的至少一個像素的深度相關(guān)成本值、以及基于局部鄰域外的所述至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差；所述系統(tǒng)還包括分配器(904)，用于根據(jù)所確定的深度相關(guān)成本值向所述當(dāng)前像素分配深度值。
2. 根據(jù)權(quán)利要求l所述的系統(tǒng)，還包括選擇器(906)，用于從跨越具有大于圖像寬度一 半的長度的圖像區(qū)的一組候選者中隨機選擇所述局部鄰域外的至少一個像素。
3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括統(tǒng)計單元(908)，用于根據(jù)所述局部鄰域外的所述至少一個像素中的各個像素的各個 深度相關(guān)成本值，計算局部鄰域外的至少一個像素的所述深度相關(guān)成本值；以及統(tǒng)計單元(910)，用于根據(jù)所述局部鄰域外的至少一個像素中的各個像素的各個顏色屬性，計算所述局部鄰域外的至少一個像素的顏色屬性。
4. 根據(jù)權(quán)利要求3所述的系統(tǒng)，其中所述局部鄰域外的至少一個像素是跨越圖像的基 本水平的線段的多個像素。
5. 根據(jù)權(quán)利要求l所述的系統(tǒng)，還包括迭代器(912)，用于使優(yōu)化單元處理圖像的連續(xù) 像素，其中被處理的像素是當(dāng)前像素，所述迭代器被設(shè)置成在圖像頂部開始并向下操作，或 者從圖像底部開始并向上操作。
6. 根據(jù)權(quán)利要求5所述的系統(tǒng)，其中所述迭代器被設(shè)置成使所述優(yōu)化單元處理所述圖 像的連續(xù)行，從左到右和從右到左交替進行。
7. 根據(jù)權(quán)利要求5所述的系統(tǒng)，還包括選擇器(906)，用于從跨越具有大于圖像寬度一 半的寬度的圖像區(qū)的一組候選者中隨機選擇所述局部鄰域外的至少一個像素，其中所述圖 像區(qū)是個基本水平帶。
8. 根據(jù)權(quán)利要求1所述的方法，其中所述顏色屬性取決于亮度和色度中的至少一個。
9. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述優(yōu)化單元被設(shè)置成還依賴基于預(yù)定深度模型 的深度暗示來計算所述深度相關(guān)成本值。
10. 根據(jù)權(quán)利要求l所述的系統(tǒng)，還包括選擇性模糊單元(914)，用于在所述優(yōu)化單元 確定深度相關(guān)成本值之前，根據(jù)預(yù)定深度模型使背景中圖像的至少一個區(qū)域模糊。
11. 根據(jù)權(quán)利要求9或10所述的系統(tǒng)，其中所述預(yù)定深度模型是運動深度模型。
12. —種用于針對圖像的各個像素計算深度圖的集成電路，該深度圖包括表示到觀眾 的距離的深度值，所述集成電路包括用于確定當(dāng)前像素的深度相關(guān)成本值的電路，該深度相關(guān)成本值是多個候選成本值中 的最小成本值，其中至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)的至少一個像素的深度相關(guān)成本值、 以及基于局部鄰域內(nèi)的所述至少一個像素的顏色屬性與所述當(dāng)前像素的對應(yīng)顏色屬性之間的差，以及至少一個候選成本值基于與所述局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、 以及基于局部鄰域外的所述至少一個像素的顏色屬性和所述當(dāng)前像素的對應(yīng)顏色屬性之 間的差；所述系統(tǒng)還包括用于依賴所確定的深度相關(guān)成本值向所述當(dāng)前像素分配深度值的分 配器。
13. —種電視，包括3D顯示器，用于根據(jù)深度圖來提供具有三維外觀的視頻再現(xiàn)；以及用于針對圖像的各個像素來計算深度圖的系統(tǒng)，該深度圖包括表示到觀眾的距離的深 度值，所述系統(tǒng)包括優(yōu)化單元，用于確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選成本 值之中的最小成本值，其中至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本值、以 及基于所述局部鄰域內(nèi)所述至少一個像素的顏色屬性與所述當(dāng)前像素的對應(yīng)顏色屬性之 間的差，以及至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、以及 基于局部鄰域外的所述至少一個像素的顏色屬性和所述當(dāng)前像素的對應(yīng)顏色屬性之間的 差；所述系統(tǒng)還包括用于依賴所確定的深度相關(guān)成本值向所述當(dāng)前像素分配深度值的分 配器。
14. 一種相機，包括捕獲裝置，用于捕獲包括圖像序列的視頻信號；用于針對所述圖像之一中的各個像素來計算深度圖的系統(tǒng)，該深度圖包括表示到觀眾 的距離的深度值，所述系統(tǒng)包括優(yōu)化單元，用于確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選成本 值之中的最小成本值，其中至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)的至少一個像素的深度相關(guān)成本值、 以及基于局部鄰域內(nèi)所述至少一個像素的顏色屬性與當(dāng)前像素的對應(yīng)顏色屬性之間的差， 以及至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、以及 基于局部鄰域外的所述至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差；分配器，用于依賴所確定的各個深度相關(guān)成本值向各個當(dāng)前像素分配相應(yīng)深度值，以 獲得所述深度圖；第一輸出，用于提供所捕獲的視頻信號；以及第二輸出，用于提供所述深度圖。
15. —種針對圖像的各個像素計算深度圖的方法，該深度圖包括表示到觀眾的距離的 深度值，所述方法包括確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選成本值之中的最小成 本值，其中至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本值、以 及基于局部鄰域內(nèi)所述至少一個像素的顏色屬性與所述當(dāng)前像素的對應(yīng)顏色屬性之間的 差，以及至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、以 及基于局部鄰域外所述至少一個像素的顏色屬性和所述當(dāng)前像素的對應(yīng)顏色屬性之間的 差；所述方法還包括依賴所確定的深度相關(guān)成本值向所述當(dāng)前像素分配深度值。
16. —種用于針對圖像的各個像素計算深度圖的計算機程序產(chǎn)品，該深度圖包括表示到觀眾的距離的深度值，所述計算機程序產(chǎn)品包括用于使處理器執(zhí)行以下步驟的計算機可執(zhí)行指令確定當(dāng)前像素的深度相關(guān)成本值，該深度相關(guān)成本值是多個候選成本值之中的最小成 本值，其中至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)的至少一個像素的深度相關(guān)成本值、 以及基于局部鄰域內(nèi)所述至少一個像素的顏色屬性與所述當(dāng)前像素的對應(yīng)顏色屬性之間 的差，以及至少一個候選成本值基于與局部鄰域外的至少一個像素有關(guān)的深度相關(guān)成本值、以及 基于局部鄰域外所述至少一個像素的顏色屬性和所述當(dāng)前像素的對應(yīng)顏色屬性之間的差； 以及依賴所確定的深度相關(guān)成本值向所述當(dāng)前像素分配深度值。
全文摘要
一種用于針對圖像的各個像素計算深度圖的系統(tǒng)，該深度圖包括表示到觀眾的距離的深度值。所述系統(tǒng)包括優(yōu)化單元(902)，用于在多個候選成本值之中確定當(dāng)前像素的最小深度相關(guān)成本值，其中至少一個候選成本值基于當(dāng)前像素的局部鄰域內(nèi)至少一個像素的深度相關(guān)成本值、以及基于該局部鄰域內(nèi)至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差，且至少一個候選成本值基于與局部鄰域外至少一個像素有關(guān)的深度相關(guān)成本值、以及基于局部鄰域外至少一個像素的顏色屬性和當(dāng)前像素的對應(yīng)顏色屬性之間的差。
文檔編號G06T7/00GK101720480SQ200880023190
公開日2010年6月2日 申請日期2008年6月24日 優(yōu)先權(quán)日2007年7月3日
發(fā)明者H·A·G·范帕里斯, R·弗伯格 申請人:皇家飛利浦電子股份有限公司