專利名稱：圖像處理設(shè)備和方法
技術(shù)領(lǐng)域：
示例性實施例涉及一種虛擬三維(3D)顯示，更具體地，涉及基于多視圖顯示中的 視點的對去除遮蔽區(qū)域的顏色信息的進行存儲的設(shè)備和方法。
背景技術(shù)：
虛擬三維(3D)顯示對人的左眼和右眼提供不同的圖像，從而可提供3D效果。這 里，不同圖像可表示來自不同視點的圖像。在立體方法中，虛擬3D顯示可提供兩個不同圖 像，B卩，用于左眼的一個圖像和用于右眼的一個圖像。在3D多視圖中，可基于視角向顯示器 提供彼此不同的多個圖像。 此外，可使用特定幀的輸入的顏色信息和深度信息以渲染3D多視像。在本示 例中，將克服去除遮蔽(disocclusion)現(xiàn)象。深度信息可包括具有相對顯著視差的關(guān)于對 象的信息和具有相對不顯著視差的關(guān)于背景的信息。當以多視點對3D多視圖執(zhí)行渲染時， 可在具有大視角的區(qū)域中產(chǎn)生不具有顏色信息的去除遮蔽區(qū)域。
由于多視圖顯示的發(fā)展，需要克服去除遮蔽區(qū)域的技術(shù)。

發(fā)明內(nèi)容
示例性實施例可提供一種有效預(yù)測去除遮蔽區(qū)域并產(chǎn)生顏色信息的圖形處理設(shè) 備和方法。 示例性實施例還可提供一種從視頻的至少一幀的顏色信息有效地獲得去除遮蔽 區(qū)域的顏色信息的圖像處理設(shè)備和方法。 根據(jù)示例性實施例，可提供一種圖像處理設(shè)備，所述設(shè)備包括計算單元，確定視 頻的第一幀的去除遮蔽區(qū)域；以及處理單元，使用與視頻的第二幀相關(guān)的顏色信息來產(chǎn)生 所述第一幀的去除遮蔽區(qū)域的顏色信息。 所述計算單元可基于第一幀的背景區(qū)域的視差和第一幀的對象區(qū)域的視差之間 的差來確定視頻的第一幀的去除遮蔽區(qū)域。在本示例中，可使用與第一幀相關(guān)的深度信息 來計算所述視差。 所述計算單元可確定第一幀的對象區(qū)域和背景區(qū)域之間的邊界，以及將在所述邊
界周圍具有第一寬度的帶確定為第一幀的去除遮蔽區(qū)域。在本示例中，所述第一寬度可以
與第一幀的背景區(qū)域的視差和第一幀的對象區(qū)域的視差之間的差成比例。 在與將基于第一幀被渲染的多視像相關(guān)的多個視點中，可在具有最大視角的
視點和具有最小視角的視點之間計算所述第一幀的背景區(qū)域的視差和所述第一幀的對象
區(qū)域的視差中的至少一個。 所述處理單元可確定在第一幀的去除遮蔽區(qū)域周圍的第一塊；在視頻的至少一幀 中確定與第一塊相應(yīng)的區(qū)域的第一特征值；以及基于所述第一特征值確定所述第二幀。
所述處理單元可將在視頻的至少一幀中第一特征值小于第一閾值的幀確定為所 述第二幀的候選幀；對所述第二幀的候選幀產(chǎn)生在第一塊周圍的去除遮蔽區(qū)域的顏色信
4息；以及將在第一塊周圍的去除遮蔽區(qū)域產(chǎn)生最大數(shù)量的顏色信息的幀確定為第二幀。所
述處理單元可比較所述第二幀的每個候選幀的第一特征值來確定所述第二幀。 所述處理單元可在第二幀的候選幀中與第一塊相應(yīng)的區(qū)域周圍的像素中，獲得
與第一幀的背景區(qū)域的像素具有深度值差的像素的顏色信息；確定所述第一塊周圍的去除
遮蔽區(qū)域的顏色信息；以及將在第一塊周圍的去除遮蔽區(qū)域產(chǎn)生最大數(shù)量的顏色信息的幀
確定為第二幀。在本示例中，所述深度值差可小于第二閾值。 所述處理單元可復(fù)制第二幀中與第一塊相應(yīng)的區(qū)域周圍的區(qū)域的顏色信息以產(chǎn) 生第一幀的去除遮蔽區(qū)域的顏色信息。在本示例中，所述處理單元可復(fù)制所述第二幀中與 第一塊相應(yīng)的區(qū)域周圍的區(qū)域的顏色信息；改變第一幀中的第一塊的位置；以及復(fù)制第二 幀中與改變的第一塊相應(yīng)的區(qū)域周圍的區(qū)域的顏色信息以產(chǎn)生第一幀的去除遮蔽區(qū)域的 顏色信息。 所述圖像處理設(shè)備還可包括渲染單元，基于與第一幀相關(guān)的顏色信息、與第一幀 相關(guān)的深度信息、第一幀的去除遮蔽區(qū)域的顏色信息來渲染多視像。 根據(jù)示例性實施例，可提供一種圖像處理設(shè)備，包括計算單元，確定視頻的第一
幀的去除遮蔽區(qū)域；以及處理單元，使用與視頻的第二幀相關(guān)的顏色信息和與視頻的第一
幀相關(guān)的顏色信息中的任意一個來產(chǎn)生所述第一幀的去除遮蔽區(qū)域的顏色信息。 根據(jù)示例性實施例，可提供一種圖像處理方法，所述方法包括確定視頻的第一幀
的去除遮蔽區(qū)域；以及使用與視頻的第二幀相關(guān)的顏色信息來產(chǎn)生所述第一幀的去除遮蔽
區(qū)域的顏色信息。
所述產(chǎn)生步驟可確定第一幀的去除遮蔽區(qū)域周圍的第一塊；在視頻的至少一幀 中確定與第一塊相應(yīng)的區(qū)域的第一特征值；以及基于所述第一特征值確定所述第二幀。
示例性實施例的另外方面、特征和/或優(yōu)點將在下面的描述中部分地闡明，并且 從描述中部分變得清楚，或通過本公開的實施可被理解。


通過下面結(jié)合附圖進行的描述，示例性實施例的上述和/或其他方面和優(yōu)點將會 變得清楚和更容易理解，其中 圖1示出根據(jù)示例性實施例的圖像處理設(shè)備的概念性示圖； 圖2示出根據(jù)示例性實施例的第一幀的顏色信息和深度信息； 圖3示出根據(jù)示例性實施例的由圖像處理設(shè)備復(fù)原的去除遮蔽區(qū)域； 圖4示出根據(jù)示例性實施例的圖像處理設(shè)備； 圖5示出獲得第一幀(例如，圖1的第一幀)的視差的方法； 圖6示出第一幀(例如，圖2的第一幀)的去除遮蔽區(qū)域； 圖7示出產(chǎn)生去除遮蔽區(qū)域(例如，圖6的去除遮蔽區(qū)域)的顏色信息的第一塊；
圖8示出在處理單元(例如，圖4的處理單元)中產(chǎn)生第一幀的去除遮蔽區(qū)域的 顏色信息的方法； 圖9示出根據(jù)示例性實施例的第一幀的去除遮蔽區(qū)域的顏色信息；
圖10示出根據(jù)示例性實施例的圖像處理設(shè)備提供的多視像。
具體實施例方式
現(xiàn)在將詳細描述示例性實施例，其示例在附圖中示出，其中，相同的標號始終表示 相同的部件。下面通過參照附圖來描述示例性實施例以解釋本公開。
圖1示出根據(jù)示例性實施例的圖像處理設(shè)備100。 幀110是用于三維(3D)渲染的視頻的第i幀。這里，i可以是自然數(shù)，通過視頻 可提供多個幀。圖像處理設(shè)備100可產(chǎn)生幀110的去除遮蔽區(qū)域的顏色信息。以下，將幀 110稱作第一幀110。 顏色信息111可指示與第一幀110相關(guān)的顏色值(諸如紅、綠和藍(RGB)值)。深 度信息112可包括與第一幀110相關(guān)的深度值。渲染單元120可將深度信息112和顏色信 息111進行匹配。 多視圖屏幕(或顯示面板)130可通過折射來自渲染單元120的多視像來向 多個視點提供不同的圖像。多視圖屏幕130可包括透鏡鏡頭。 在第一視點可觀察圖像141。第一個視點中，最左邊的第一視點可具有最大的視 角。 在多個視點中，可在具有多視圖屏幕130的最小視角的視點觀察圖像142。因此， 圖像142可處于多視圖屏幕130的垂直方向。 可在第k個視點觀察圖像143。在最右邊的多個視點中，第k個視點可具有最大的 視角。k可以與多視圖屏幕130的規(guī)格相關(guān)，并且可以是是多個視點的總數(shù)量。例如，當多 視圖屏幕130具有9個視圖特征，則k可以是9。 然而，圖像141中可示出被渲染為黑色的第一去除遮蔽區(qū)域。由于在作為對象的
骰子的左邊不存在一部分背景的顏色信息，所以會產(chǎn)生第一去除遮蔽區(qū)域。 可在圖像143中示出被渲染為黑色的第二去除遮蔽區(qū)域。由于在對象的右邊不存
在一部分背景的顏色信息，所以會產(chǎn)生第二去除遮蔽區(qū)域。圖像142中未示出去除遮蔽區(qū)域。 當提供k個多視像并且對觀眾的兩眼提供兩個彼此相鄰的圖像時，可提供 k-l個3D圖像。在本示例中，所述k-l個3D圖像可彼此不同。此外，可將兩個圖像的左圖 像提供給左眼，并且將兩個圖像的右圖像提供給右眼。因此，觀眾可將對象識別為3D對象， 并且感受到好像觀眾圍繞該對象看所獲得的一樣的效果。 根據(jù)示例性實施例，可向圖像處理設(shè)備100提供第一幀110的顏色信息111和深 度信息112，以及除第一幀110之外的幀的顏色信息，從而可產(chǎn)生第一幀110的去除遮蔽區(qū) 域的顏色信息，并且將該顏色信息提供給渲染單元120。 根據(jù)示例性實施例，圖像處理設(shè)備100可基于第二幀的顏色信息來產(chǎn)生第一幀 110的去除遮蔽區(qū)域的顏色信息，所述第二幀在除第一幀IIO之外的幀中。然而，圖像處理 設(shè)備100不限于上述實施例，也可基于第一幀110的顏色信息111來產(chǎn)生第一幀110的去 除遮蔽區(qū)域的一部分顏色信息。 渲染單元120可使用第一幀110的顏色信息111和深度信息112、以及第一幀110 的去除遮蔽區(qū)域的顏色信息來產(chǎn)生k個(多視圖)圖像。 可將由圖像處理設(shè)備100產(chǎn)生的圖像151提供給第一視點。圖像151可以與圖像 141相應(yīng)，并且具有圖像141的第一去除遮蔽區(qū)域的顏色信息。
可將由圖像處理設(shè)備100產(chǎn)生的圖像153提供給第k視點。圖像153可以與圖像 143相應(yīng)，并且具有與圖像143的第二去除遮蔽區(qū)域相應(yīng)的顏色信息。
將參照圖2到圖10詳細描述圖像處理設(shè)備100及其方法。
圖2示出根據(jù)示例性實施例的第一幀的顏色信息和深度信息。
顏色信息210可以與圖1的顏色信息111相應(yīng)。區(qū)域211可以與圖像141的去除 遮蔽區(qū)域相應(yīng)。區(qū)域211在圖2的視點可被對象遮蔽。此外，區(qū)域212可以與圖像143的 去除遮蔽區(qū)域相應(yīng)。雖然區(qū)域212在圖2的視點可被對象遮蔽，但是根據(jù)執(zhí)行渲染的視點 可示出區(qū)域212。因此，區(qū)域212需要顏色信息。 深度信息220可指示距多視圖屏幕130的距離。對象區(qū)域221可具有大的深度值， 從而對象區(qū)域221很亮。背景區(qū)域222可具有小的深度值，從而背景區(qū)域222很暗。深度 值被包括在深度信息220中。雖然為了描述方便簡單地示出深度信息220，但是深度信息 220通常可包括許多級(或梯度)。 圖3示出根據(jù)示例性實施例的由圖像處理設(shè)備復(fù)原的去除遮蔽區(qū)域。
圖像310可以與圖1的圖像141相應(yīng)。如上所述，當與其他圖像320、330、340、350 和360比較時，圖像310可包含在對象的左邊具有最大尺寸的去除遮蔽區(qū)域311。圖像320 可以與在第二視點提供的圖像相應(yīng)，其中，所述第二視點可以是圖1所示的多個視點中的 一個。第二視點可在對象的第二左邊具有大視角。圖像320可具有比圖像310的去除遮蔽 區(qū)域小的去除遮蔽區(qū)域321。相似地，圖像330可以與第四視點相應(yīng)，其中，所述第四視點可 以是圖1中的多個視點之一，并且具有比去除遮蔽區(qū)域321小的去除遮蔽區(qū)域331。
此外，當視圖的總數(shù)k是9，并且視角最小時，圖像340可以與圖1的圖像142相 應(yīng)，并且在圖像340中不產(chǎn)生去除遮蔽區(qū)域。 當視點移動到對象的左邊，可觀察圖像350和隨后另一圖像360。圖像350中對象 的右邊存在去除遮蔽區(qū)域351，另一圖像360中對象的右邊存在具有最大尺寸的去除遮蔽 區(qū)域361。 圖像處理設(shè)備100可確定去除遮蔽區(qū)域311和去除遮蔽區(qū)域361，并產(chǎn)生顏色信 息。 圖4示出根據(jù)示例性實施例的圖像處理設(shè)備400。 計算單元410可計算第一幀的多個視點中對象區(qū)域的視差和的背景區(qū)域的視差 之間的差，從而可確定第一幀的去除遮蔽區(qū)域。 根據(jù)示例性實施例，計算單元410可接收第一幀的深度信息。此外，計算單元410 可基于每個區(qū)域的深度值和/或視差來確定對象區(qū)域和背景區(qū)域之間的邊界?？稍谏疃刃?息中包括深度值，并且可計算任意視點的視差。此外，計算單元410可確定第一幀的邊界周 圍的去除遮蔽區(qū)域，將參照圖5對此進行詳細描述。 處理單元420可從計算單元410接收關(guān)于第一幀的去除遮蔽區(qū)域的信息，并確定 去除遮蔽區(qū)域周圍的第一塊。第一塊可用于查找參考幀，所述參考幀用于產(chǎn)生去除遮蔽區(qū) 域(例如，圖6的去除遮蔽區(qū)域610)的顏色信息。 處理單元420可接收與多個幀相關(guān)的顏色信息。此外，處理單元420可在多個幀 的每一個中查找與第一塊相應(yīng)的區(qū)域。由于相似的顏色值，可將所述區(qū)域與第一塊進行匹 配。
7
根據(jù)示例性實施例，處理單元420可計算第一特征值。第一特征值可以是差的平 方和(SSD:Sum of Squared Difference)，并且可基于預(yù)定塊的顏色值來計算。因為兩幀 的預(yù)定區(qū)域之間的SSD降低，所以預(yù)定區(qū)域可接近相同的顏色值。 此外，處理單元420可將多個幀中的每一個的第一特征值與第一閾值進行比較， 并且將第一特征值小于第一閾值的幀確定為第二幀的候選幀。第二幀可以是參考幀，可存 在第二幀的多個候選幀。 根據(jù)示例性實施例，處理單元420可將第二幀的候選幀中可在與第一塊相應(yīng)的區(qū) 域的右邊區(qū)域中提供最大數(shù)量的顏色信息的幀確定為第二幀。在本示例中，當其他條件相 同時，可將具有較小的SSD的幀確定為第二幀。在本示例中，SSD可以是第一幀和第二幀的 預(yù)定區(qū)域之間的SSD。 根據(jù)示例性實施例，當根據(jù)紋理的特征在第一幀的背景區(qū)域的顏色信息中示出有 規(guī)律的重復(fù)時，處理單元420可產(chǎn)生第一幀中至少一部分去除遮蔽區(qū)域的顏色信息。
根據(jù)示例性實施例，圖像處理設(shè)備400還可包括渲染單元430。渲染單元430可提 供與第一幀相關(guān)的顏色信息和深度信息，以及第一幀的去除遮蔽區(qū)域的顏色信息，并從而 可通過多視圖屏幕130提供多視圖顏色圖像。 圖5示出獲得第一幀(例如，圖1的第一幀)的視差的方法。 在下面的等式1中表示為d的視差521可指示當左眼531和右眼532觀看點511
時點511投影到屏幕520的位置的差。由于左眼531和右眼532之間的距離(E，533)是有
限的，隨著屏幕520和包含點511的線510之間的距離D大于屏幕520和包含左眼531和
右眼532的點位置的線530之間的距離V，視差521可增加。也就是說，隨著對象遠離左眼
531和右眼532，視差521可減少。此外，隨著對象靠近左眼531和右眼532，視差521可增加。
等式1 :
<i =- 根據(jù)示例性實施例，計算單元410(圖4)可計算在第一視點和第五視點(在圖l中 示出的多個視點中的兩個，作為示例選擇)背景區(qū)域的視差和對象區(qū)域的視差之間的差， 從而可確定在對象左邊的去除遮蔽區(qū)域。在本示例中，第一視點可具有最大的視角，第五視 點可以是當k是9時的視點。此外，對象區(qū)域的視差可相對顯著，背景區(qū)域的視差可相對不顯著。 此外，計算單元410(圖4)可計算在第五視點和第九視點(在圖1中示出的多個 視點中的兩個，作為示例選擇)背景區(qū)域的視差和對象區(qū)域的視差之間的差，從而確定對 象右邊的去除遮蔽區(qū)域。在本示例中，第五視點和第九視點可以是當k是9時的視點。
根據(jù)示例性實施例，再參照圖1、2和4，計算單元410可接收第一幀110的深度信 息112。此外，計算單元410可基于深度值和/或視差來確定對象區(qū)域221和背景區(qū)域222 之間的邊界。在本示例中，可在深度信息112中包括深度值，可在任意視點計算視差。此 外，計算單元410可確定第一幀110的邊界周圍的去除遮蔽區(qū)域211和212。在本示例中， 可存在多個邊界。 根據(jù)示例性實施例，計算單元410可從邊界提取垂直邊界。當提取的垂直邊界的數(shù)量多于1時，計算單元410可選擇第一幀110的左半平面中的垂直邊界。隨后，計算單元 410可確定向選擇的垂直邊界的右邊的帶。所述帶可具有第一寬度，包括該帶的區(qū)域可被確 定為左去除遮蔽區(qū)域211。此外，計算單元410可選擇右半平面中的垂直邊界，并確定向選 擇的垂直邊界的左邊的帶。所述帶可具有第一寬度，包括該帶的區(qū)域可被確定為右去除遮 蔽區(qū)域212。 例如，可通過下面是出的等式2計算第一寬度。 等式2 :
第一寬度=_2___2_
Z)(對象)+ r "(背景)+ F 這里，右邊的第一項可以是由等式1計算的對象區(qū)域的視差，右邊的第二項可以
是由等式1計算的背景區(qū)域的視差。等式2中，E可表示k個視點中彼此相鄰的視點之間
的距離。在本示例中，k可表示多視圖視點的數(shù)量?？捎?除視點的數(shù)量k以獲得具有最
大視角的視點和具有最小視角的視點的視差之間的差。 根據(jù)示例性實施例，雖然可將具有第一寬度的帶確定為第一幀110的選擇的邊界 周圍的去除遮蔽區(qū)域，但是圖像處理設(shè)備和方法不限于描述的示例性實施例。雖然可增加 計算復(fù)雜性，但是可在每個區(qū)域適應(yīng)地確定去除遮蔽區(qū)域。
圖6示出第一幀(例如，圖2的第一幀)的去除遮蔽區(qū)域。 計算單元410(圖4)可確定第一幀600中的左去除遮蔽區(qū)域610和右去除遮蔽區(qū) 域620。 根據(jù)示例性實施例，可由處理單元420(圖4)分別或同時產(chǎn)生左去除遮蔽區(qū)域610 和右去除遮蔽區(qū)域620的顏色信息。具體地，當存在n個去除遮蔽區(qū)域時，處理單元420 (圖 4)可分別地產(chǎn)生左去除遮蔽區(qū)域610和右去除遮蔽區(qū)域620中的每個去除遮蔽區(qū)域的顏色 信息，或同時產(chǎn)生部分或全部去除遮蔽區(qū)域的顏色信息。 圖7示出產(chǎn)生去除遮蔽區(qū)域(例如，圖6的去除遮蔽區(qū)域610)的顏色信息的第一 塊。 根據(jù)示例性實施例，處理單元420(圖4)可接收關(guān)于圖6的去除遮蔽區(qū)域610的 信息。此外，處理單元420(圖4)可確定去除遮蔽區(qū)域610(圖6)周圍的第一塊710。可將 第一塊710用于查找參考幀以產(chǎn)生去除遮蔽區(qū)域610的顏色信息。 處理單元420 (圖4)可接收與多個幀(諸如第i-n幀、第i-(n+l)幀.....第i_l
幀、第i幀、第i+l幀.....第i+n幀)相關(guān)的顏色信息。此外，處理單元420(圖4)可查找
在多個幀中的每一幀中與第一塊710相應(yīng)的區(qū)域。在本示例中，由于相似的顏色值，可將所 述區(qū)域與第一塊710進行匹配。 根據(jù)示例性實施例，處理單元420(圖4)可計算第一特征值。第一特征值可以是 SSD，并且基于預(yù)定塊的顏色值來被計算。隨著兩幀的預(yù)定區(qū)域之間的SSD降低，所述兩個 區(qū)域可接近相同的顏色值。 此外，處理單元420(圖4)可將多個幀中的每一幀的第一特征值與第一閾值進行 比較，并將第一特征值小于第一閾值的幀確定為第二幀的候選幀。第二幀可以是參考幀，可 存在第二幀的多個候選幀。
根據(jù)示例性實施例，處理單元420(圖4)可基于與第二幀的候選幀中的第一塊相 應(yīng)的區(qū)域的右邊區(qū)域的顏色值產(chǎn)生去除遮蔽區(qū)域的顏色信息。然而，可通過參考多個幀中 的每一幀的深度信息來從與背景區(qū)域相應(yīng)的區(qū)域的顏色信息產(chǎn)生去除遮蔽區(qū)域的顏色信 息。在本示例中，可將多個幀中的每一幀的深度信息提供給處理單元420(圖4)，處理單元 420可使用深度信息。此外，可比較第一幀的深度值和第二幀的候選幀中的每一個的深度 值，并且可僅將深度值等于或小于第二閾值的區(qū)域的顏色信息用于產(chǎn)生去除遮蔽區(qū)域的顏 色信息。 因此，當對象的位置可根據(jù)幀而改變時，可完全示出去除遮蔽區(qū)域，從而可將具有 去除遮蔽區(qū)域的顏色信息的幀確定為第二幀。也就是說，處理單元420(圖4)可將第二幀 的候選幀中的可在與第一塊相應(yīng)的區(qū)域的右邊區(qū)域中提供最大數(shù)量的顏色信息的幀確定 為第二幀。在本示例中，當其他條件相同時，可將具有較小SSD的幀確定為第二幀。在本示 例中，SSD可以是第一幀和第二幀的預(yù)定區(qū)域之間的SSD。 根據(jù)示例性實施例，當根據(jù)紋理的特征在第一幀700的背景區(qū)域的顏色信息中示 出有規(guī)律的重復(fù)時，處理單元420(圖4)可產(chǎn)生第一幀的去除遮蔽區(qū)域的顏色信息。
雖然作為示例在圖7中示出第一塊710，但是實施例可不限于描述的示例性實施 例。也就是說，本領(lǐng)域技術(shù)人員應(yīng)該理解，可對這些示例性實施例進行改變。例如，可根據(jù) 幀、所需質(zhì)量、視頻特征等來調(diào)整鄰近第一幀700中的去除遮蔽區(qū)域的第一塊710的大小和 位置。 圖8示出在處理單元(例如，圖4的處理單元420)中產(chǎn)生第一幀的去除遮蔽區(qū)域 的顏色信息的方法。 可由圖4的處理單元420實現(xiàn)產(chǎn)生第一幀的去除遮蔽區(qū)域的顏色信息的方法。
操作S810中，處理單元420(圖4)基于關(guān)于去除遮蔽區(qū)域的信息可確定去除遮蔽 區(qū)域周圍的第一塊。在本示例中，第一塊可以是圖7的第一塊710，去除遮蔽區(qū)域可以是圖 6的去除遮蔽區(qū)域610。此外，處理單元420可計算第一特征值。例如，第一特征值可以是 第一幀和第j幀之間的SSD。在本示例中，j可以是自然數(shù)。隨著第一幀和第j幀的預(yù)定區(qū) 域之間的SSD降低，第一幀和第j幀可具有相同的顏色值。 操作S820中，處理單元420 (圖4)可將預(yù)定第一閾值Th與多個幀中的每一幀的 第一特征值進行比較。當?shù)谝惶卣髦荡笥诘谝婚撝禃r，處理單元420(圖4)可忽略第j幀， 并對于后面的幀返回到操作S810。 如果第一特征值小于第一閾值，則該方法進行到操作S830，處理單元420 (圖4)將 第j幀確定為第二幀的候選幀。在本示例中，可存在多個候選幀。 操作S840中，處理單元420(圖4)可確定第j幀是否是檢查的最后幀。當?shù)趈幀 不是最后幀時，處理單元420 (圖4)返回操作S810，并可再次在操作S810中執(zhí)行確定、在操 作S820中執(zhí)行比較以及在操作S830中執(zhí)行確定。 如果第j幀是最后幀，則該方法進行到操作S850，處理單元420 (圖4)可從第二幀 的候選幀選擇第二幀。操作S860中，處理單元420(圖4)可產(chǎn)生第一幀的去除遮蔽區(qū)域的 顏色信息。已經(jīng)參照圖7在上面描述了操作S850中的選擇和S860中的產(chǎn)生。
根據(jù)示例性實施例，可將第一幀的去除遮蔽區(qū)域劃分為多個去除遮蔽區(qū)域，可在 操作S810到操作S860中產(chǎn)生多個去除遮蔽區(qū)域的任意一個的顏色信息。當對所有去除遮
10蔽區(qū)域執(zhí)行該方法時，可產(chǎn)生整個去除遮蔽區(qū)域的顏色信息。 根據(jù)示例性實施例，當在操作S810到操作S860中未產(chǎn)生第一幀的整個去除遮蔽
區(qū)域的顏色信息時，可通過外推法(extrapolation)來完全產(chǎn)生顏色信息。 圖9示出根據(jù)示例性實施例的第一幀900的去除遮蔽區(qū)域910和920的顏色信息。第一幀900的去除遮蔽區(qū)域910的顏色信息可以與圖6的左去除遮蔽區(qū)域610的
顏色信息相應(yīng)。此外，去除遮蔽區(qū)域920的顏色信息可以是右去除遮蔽區(qū)域620的顏色信息。 圖10示出根據(jù)示例性實施例的圖像處理設(shè)備提供的多視像。
參照圖1、4、9和IO，可將由處理單元420產(chǎn)生的顏色信息910和920以及顏色信 息111和深度信息112提供給渲染單元120。在本示例中，顏色信息111和深度信息112可 以與圖1的第一幀110相關(guān)。此外，作為示例，當k是9時，渲染單元120可通過多視圖屏 幕130在9個視點提供圖像1010、 1020、 1030、 1040、 1050和1060。 圖像1010、1020、1030、1040、1050和1060可分別與圖3中的圖像310、320、330、 340、350和360相應(yīng)。當將圖像1010、 1020、 1030、 1040、 1050和1060中每個圖像與圖像 310、320、330、340、350和360中每個圖像進行比較時，可確定改善了去除遮蔽區(qū)域311、 321、331、341、351和361。 可將根據(jù)上述示例性實施例的圖像處理方法記錄在計算機可讀介質(zhì)中，所述計算 機可讀介質(zhì)包括實現(xiàn)由計算機實施的不同操作的程序指令。所述介質(zhì)還可單獨或與所述 程序指令結(jié)合包括數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。計算機可讀介質(zhì)的示例包括磁性介質(zhì)(諸如， 硬盤、軟盤和磁帶)；光學(xué)介質(zhì)(如CD-ROM盤或DVD);磁光介質(zhì)(諸如光盤)；和專門構(gòu)造 以存儲和執(zhí)行程序指令的硬件裝置(諸如只讀存儲器(ROM)、隨機存取存儲器(RAM)、閃存 等)。程序指令的示例包括如由編譯器產(chǎn)生的機器代碼和包含可由計算機使用解釋器執(zhí)行 的高級代碼的文件。所述硬件裝置可以被構(gòu)造為擔(dān)當一個或多個軟件模塊以執(zhí)行上述實施 例的操作，反之亦然。 雖然顯示和描述了幾個示例性實施例，但是本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離 范圍由權(quán)利要求及其等同物限定的本發(fā)明的原理和精神的情況下，可對這些示例性實施例 進行改變。
1權(quán)利要求
一種圖像處理設(shè)備，包括計算單元，確定視頻的第一幀的去除遮蔽區(qū)域；以及處理單元，使用與視頻的第二幀相關(guān)的顏色信息來產(chǎn)生所述第一幀的去除遮蔽區(qū)域的顏色信息。
2. 如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述計算單元基于第一幀的背景區(qū)域的 視差和第一幀的對象區(qū)域的視差之間的差來確定第一幀的去除遮蔽區(qū)域，其中，使用與第 一幀相關(guān)的深度信息來計算所述視差。
3. 如權(quán)利要求2所述的圖像處理設(shè)備，其中，所述計算單元確定第一幀的對象區(qū)域和 背景區(qū)域之間的邊界，以及將在所述邊界周圍具有第一寬度的帶確定為第一幀的去除遮蔽 區(qū)域，所述第一寬度與第一幀的背景區(qū)域的視差和第一幀的對象區(qū)域的視差之間的差成比 例。
4. 如權(quán)利要求2所述的圖像處理設(shè)備，其中，從與將基于第一幀被渲染的多視像 相關(guān)的多個視點中，在具有最大視角的視點和具有最小視角的視點之間計算所述第一幀的 背景區(qū)域的視差和所述第一幀的對象區(qū)域的視差中的至少一個。
5. 如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述處理單元確定在第一幀的去除遮蔽 區(qū)域周圍的第一塊；視頻的至少一幀中確定與第一塊相應(yīng)的區(qū)域的第一特征值；以及基于 所述第一特征值確定所述第二幀。
6. 如權(quán)利要求5所述的圖像處理設(shè)備，其中，所述處理單元將視頻的至少一幀中第一 特征值小于第一閾值的幀確定為所述第二幀的候選幀；對所述第二幀的候選幀產(chǎn)生所述第 一塊周圍的去除遮蔽區(qū)域的顏色信息；以及將對第一塊周圍的去除遮蔽區(qū)域產(chǎn)生最大數(shù)量 的顏色信息的幀確定為第二幀。
7. 如權(quán)利要求6所述的圖像處理設(shè)備，其中，所述處理單元比較所述第二幀的每個候 選幀的第一特征值以確定所述第二幀。
8. 如權(quán)利要求6所述的圖像處理設(shè)備，其中，在與第二幀的候選幀中的第一塊相應(yīng)的 區(qū)域周圍的像素中，所述處理單元獲得與第一幀的背景區(qū)域的像素具有深度值差的像素相 關(guān)的顏色信息；確定所述第一塊周圍的去除遮蔽區(qū)域的顏色信息；以及將對第一塊周圍的 去除遮蔽區(qū)域產(chǎn)生最大數(shù)量的顏色信息的幀確定為第二幀，所述深度值差小于第二閾值。
9. 如權(quán)利要求5所述的圖像處理設(shè)備，其中，所述處理單元復(fù)制第二幀中與第一塊相 應(yīng)的區(qū)域周圍的區(qū)域的顏色信息以產(chǎn)生第一幀的去除遮蔽區(qū)域的顏色信息。
10. 如權(quán)利要求9所述的圖像處理設(shè)備，其中，所述處理單元復(fù)制所述第二幀中與第一 塊相應(yīng)的區(qū)域周圍的區(qū)域的顏色信息；改變第一幀中的第一塊的位置；以及復(fù)制第二幀中 與改變位置的第一塊相應(yīng)的區(qū)域周圍的區(qū)域的顏色信息以產(chǎn)生第一幀的去除遮蔽區(qū)域的 顏色信息。
11. 如權(quán)利要求l所述的圖像處理設(shè)備，還包括渲染單元，基于與第一幀相關(guān)的顏色信息、與第一幀相關(guān)的深度信息和第一幀的去除 遮蔽區(qū)域的顏色信息來渲染多視像。
12. —種圖像處理設(shè)備，包括計算單元，確定視頻的第一幀的去除遮蔽區(qū)域；以及處理單元，使用與視頻的第二幀相關(guān)的顏色信息和與視頻的第一幀相關(guān)的顏色信息中的任意一個來產(chǎn)生所述第一幀的去除遮蔽區(qū)域的顏色信息。
13. 如權(quán)利要求12所述的圖像處理設(shè)備，其中，所述計算單元基于第一幀的背景區(qū)域 的視差和第一幀的對象區(qū)域的視差之間的差來確定第一幀的去除遮蔽區(qū)域，其中，使用與 第一幀相關(guān)的深度信息來計算所述視差。
14. 如權(quán)利要求12所述的圖像處理設(shè)備，其中，所述處理單元確定第一幀的去除遮蔽 區(qū)域周圍的第一塊；在視頻的至少一幀中確定與第一塊相應(yīng)的區(qū)域的第一特征值；以及基 于所述第一特征值確定所述第二幀。
15. 如權(quán)利要求12所述的圖像處理設(shè)備，其中，所述處理單元在第一幀中確定具有與 第一塊相似的顏色信息的第二塊；以及，當基于第一特征值和已經(jīng)復(fù)原的第一幀的去除遮 蔽區(qū)域的數(shù)量確定第一幀中的第二塊比第二幀中與第一塊相應(yīng)的區(qū)域更合適時，所述處理 單元使用所述第二塊和與所述第一塊相關(guān)的顏色信息來復(fù)原第一幀的去除遮蔽區(qū)域。
16. —種圖像處理方法，包括 確定視頻的第一幀的去除遮蔽區(qū)域；以及使用與視頻的第二幀相關(guān)的顏色信息來產(chǎn)生所述第一幀的去除遮蔽區(qū)域的顏色信息。
17. 如權(quán)利要求16所述的圖像處理方法，其中，所述確定步驟基于第一幀的背景區(qū)域 的視差和第一幀的對象區(qū)域的視差之間的差來確定第一幀的去除遮蔽區(qū)域，使用與第一幀 相關(guān)的深度信息來計算所述視差。
18. 如權(quán)利要求16所述的圖像處理方法，其中，所述產(chǎn)生步驟確定在第一幀的去除遮 蔽區(qū)域周圍的第一塊；在視頻的至少一幀中確定與第一塊相應(yīng)的區(qū)域的第一特征值；以及 基于所述第一特征值確定所述第二幀。
全文摘要
公開了一種圖像處理設(shè)備和方法。計算單元可確定視頻的第一幀的去除遮蔽區(qū)域。處理單元可使用與視頻的第二幀相關(guān)的顏色信息來產(chǎn)生第一幀的去除遮蔽區(qū)域的顏色信息。
文檔編號G06T15/40GK101729791SQ20091017761
公開日2010年6月9日 申請日期2009年9月24日 優(yōu)先權(quán)日2008年10月10日
發(fā)明者鄭英珠, 郭永信, 韓榮蘭 申請人:三星電子株式會社