專利名稱：三維視差圖的制作方法
技術(shù)領(lǐng)域：
本文描述了涉及3D (三維)的實現(xiàn)方式。各種具體實現(xiàn)方式涉及視頻圖像的視差圖。
背景技術(shù)：
立體視頻提供包括左視頻圖像和右視頻圖像的兩種視頻圖像。還可以為這兩種視頻圖像提供深度和/或視差信息。深度和/或視差信息可以用于對兩種視頻圖像的多種處理操作。

發(fā)明內(nèi)容
按照一個一般方面，存取畫面中的特定地點的視差值。該視差值指示與特定分辨率有關(guān)的視差。根據(jù)多種分辨率修改存取的視差值以產(chǎn)生修改的視差值。按照另一個一般方面，信號或結(jié)構(gòu)包括其包括畫面中的特定地點的視差值的視差部分。該畫面具有特定分辨率。該視差值指示與不同于該特定分辨率和基于多種分辨率的另一個分辨率有關(guān)的視差。按照另一個一般方面，存取畫面中的特定地點的視差值。該畫面具有特定分辨率。該視差值指示與不同于該特定分辨率和基于多種分辨率的另一個分辨率有關(guān)的視差。修改存取的視差值以產(chǎn)生指示與特定分辨率有關(guān)的視差的修改視差值。在附圖和下面的描述中展示了一種或多種實現(xiàn)方式的細(xì)節(jié)。即使以一種特定方式描述，也應(yīng)該清楚可以以各種方式配置或具體化這些實現(xiàn)方式。例如，一種實現(xiàn)方式可以作為方法來執(zhí)行，具體化成諸如，例如，配置成執(zhí)行一組操作的裝置或存儲執(zhí)行一組操作的指令的裝置那樣的裝置，或以信號形式具體化。其他方面和特征將從結(jié)合附圖和權(quán)利要求書考慮的如下詳細(xì)描述中清楚看出。


圖I是平行攝像機(jī)的實際深度值的圖形表示。圖2是視差值的圖形表不。圖3是表觀深度與視差之間的關(guān)系的圖形表示；圖4是交向攝像機(jī)的圖形表示。圖5是立體視頻圖像對中的遮擋的圖形表示。
圖6是描繪具有不同本機(jī)格式和傳輸格式的一個實現(xiàn)方式的框/流程圖。圖7是視差值的公倍數(shù)表不的一個例子的表格表不。圖8是描繪發(fā)送和使用視差值的公倍數(shù)表示的過程的一個例子的方塊/流程圖。圖9是描繪可以與一種或多種實現(xiàn)方式一起使用的發(fā)送系統(tǒng)的一個例子的方塊/流程圖。圖10是描繪可以與一種或多種實現(xiàn)方式一起使用的接收系統(tǒng)的一個例子的方塊
/流程圖。
具體實施例方式作為展示在本申請中的一些特征的預(yù)覽，至少一種實現(xiàn)方式描述了基于比任何標(biāo)準(zhǔn)顯示器的最大分辨率大得多的分辨率的視差值的使用。在本申請中，術(shù)語“分辨率”一般指水平分辨率，以及用，例如，顯示器的像素的數(shù)量，顯示器的像素的方塊的數(shù)量，或數(shù)字圖像的元素的數(shù)量來度量。非標(biāo)準(zhǔn)分辨率是易于轉(zhuǎn)換成幾種標(biāo)準(zhǔn)顯示分辨率之一或多種的整數(shù)。在這種特定實現(xiàn)方式中，有效顯示分辨率是幾種標(biāo)準(zhǔn)顯示分辨率的最小公倍數(shù)。有效顯示分辨率的視差值用整數(shù)格式表示。作為基于大非顯示分辨率的結(jié)果，視差值可能很大。然而，當(dāng)將視差值向下轉(zhuǎn)換成標(biāo)準(zhǔn)顯示分辨率時，整數(shù)表示保證了子像素精度。從上面的預(yù)覽中退出，圖I例示了視頻圖像中的深度的概念。圖I示出了帶有傳感器107的右攝像機(jī)105、和帶有傳感器112的左攝像機(jī)110。兩臺攝像機(jī)105，110捕獲物體115的圖像。為了例示的目的，物體115是有形十字架，其具有位于十字架的右側(cè)的任意細(xì)節(jié)116 (參見圖2)。右攝像機(jī)105含有捕獲角120，左攝像機(jī)110具有捕獲角125。兩個捕獲角120，125在3D立體區(qū)130中重疊。因為物體115處在3D立體區(qū)130中，所以物體115可被攝像機(jī)105，110兩者看見，因此物體115能夠被感覺成具有深度。物體115具有實際深度135。實際深度135—般被稱為從物體115到攝像機(jī)105，110的距離。更具體地說，實際深度135可以稱為從物體115到立體攝像機(jī)基線140的距離，立體攝像機(jī)基線140是通過兩臺攝像機(jī)105，110的入射光瞳面定義的平面。攝像機(jī)的入射光瞳面通常在變焦透鏡內(nèi)部，因此通常在物理上是不可接近的。攝像機(jī)105，110還被顯示成具有焦距145。焦距145是從出射光瞳面到傳感器107,112的距離。為了例示的目的，入射光瞳面和出射光瞳面被顯示成重合的，但在大多數(shù)情況下，它們分開一點。另外，攝像機(jī)105，110被顯示成具有基線長度150?；€長度150是攝像機(jī)105，110的入射光瞳的中心之間的距離，因此在立體攝像機(jī)基線140上測量。物體115被攝像機(jī)105和110的每一臺成像成傳感器107和112的每一個上的實像。這些實像包括傳感器107上的細(xì)節(jié)116的實像117、和傳感器112上的細(xì)節(jié)116的實像118。如圖I所示，如在現(xiàn)有技術(shù)中所知，實像是顛倒的。深度與視差密切相關(guān)。圖2示出了從攝像機(jī)110捕獲的左圖像205、和從攝像機(jī)105捕獲的右圖像210。兩個圖像205，210包括具有細(xì)節(jié)116的物體115的表示。圖像210包括細(xì)節(jié)116的細(xì)節(jié)圖像217，圖像205包括細(xì)節(jié)116的細(xì)節(jié)圖像218。在左圖像205中的細(xì)節(jié)圖像218中的像素220中，以及在右圖像210中的細(xì)節(jié)圖像217中的像素225中捕獲了細(xì)節(jié)116的最右點。像素220和像素225的地點之間的水平距離是視差230。假設(shè)物像217,218是垂直對準(zhǔn)的，使得細(xì)節(jié)116的圖像在圖像205，210兩者中具有相同垂直位置。當(dāng)左右圖像205，210分別被觀眾的左右眼看到時，視差230提供了物體215具有深度的感覺。圖3示出了視差與感覺深度之間的關(guān)系。所示的是三個觀察者305，307，309在各自屏幕310，320，330上觀看物體的立體圖像對。第一觀察者305觀看具有正視差的物體的左視圖315和物體的右視圖317。正視差反映在屏幕310上物體的左視圖315在物體的右視圖317的左側(cè)的事實。正視差導(dǎo)致出現(xiàn)在屏幕310的平面的后面的感覺或虛擬物體319。第二觀察者307觀看具有零視差的物體的左視圖325和物體的右視圖327。零視差反映在屏幕320上物體的左視圖325處在與物體的右視圖327相同的位置上的事實。零視差導(dǎo)致出現(xiàn)在與屏幕320相同的深度上的感覺或虛擬物體329。第三觀察者309觀看具有負(fù)視差的物體的左視圖335和物體的右視圖337。負(fù)視 差反映在屏幕330上物體的左視圖335在物體的右視圖337的右側(cè)的事實。負(fù)視差導(dǎo)致出現(xiàn)在屏幕330的平面的前面的感覺或虛擬物體339。在這一點上值得注意的是，視差和深度在各種實現(xiàn)方式中可以互換使用，除非上下文另有所指或要求。從方程I中我們知道視差與景深成反比D =(I)
d其中“D”描述深度(圖I中的135)，“b”是兩臺立體圖像攝像機(jī)之間的基線長度(圖I中的150)，“f”是每臺攝像機(jī)的焦距(圖I中的145)，以及“d”是兩個相對特征點的視差(圖2中的230)。上面的方程I對于具有相同焦距的平行攝像機(jī)是有效的?？梢詾槠渌樾味x更復(fù)雜的公式，但在大多數(shù)情況下，方程I可以用作近似。但是，另外，如本領(lǐng)域的普通技術(shù)人員所知，下面的方程2至少對于交向(converging)攝像機(jī)的各種安排是有效的D = ---( 2 )
l — d其中CL·是處在無窮遠(yuǎn)的物體的視差值。CL·取決于交向角和焦距，用米(例如)來表達(dá)而不是用像素的數(shù)量來表達(dá)。前面參照圖I和針對焦距145已經(jīng)討論過焦距。交向角如圖4所示。圖4包括處在交向配置下而不是圖I的平行配置下的攝像機(jī)105和攝像機(jī)110。角度410示出了攝像機(jī)105，110交向的視線，角度410可以稱為交向角。視差圖用于提供視頻圖像的視差信息。視差圖一般指具有與相關(guān)視頻圖像中的像素相對應(yīng)的幾何的一組視差值。稠密視差圖一般指具有通常與相關(guān)視頻圖像的分辨率相同的空間和時間分辨率的視差圖。時間分辨率指的是，例如，幀速率，以及可以是，例如，50Hz或60Hz。因此，稠密視差圖一般每個像素地點具有一個視差樣本。稠密視差圖的幾何通常與相應(yīng)視頻圖像的幾何相同，例如，具有以像素為單位的如下水平和垂直尺寸的長方形(i) 1920X1080 (或 1920X1200);(ii) 1440X1080 (或 1440X900)；
(iii) 1280X720 (或 1280X 1024，1280X960，1280X900，1280X800);(iv) 960X640 (或 960X600，960X576，960X540);(V) 2048X1536 (或 2048X1152);(vi) 4096X3072 (或 4096 X 3112，4096 X 2304，4096 X 2400，4096 X 2160，4096X768);或(vii) 8192X4302 (或 8192X8192，8192X4096，7680X4320)。稠密視差圖的分辨率可以基本上與相關(guān)圖像的分辨率相同，但也可以與之不同。在一種實現(xiàn)方式中，圖像邊界上的視差信息難以獲得。因此，在那種實現(xiàn)方式中，邊界像素上的視差值未包括在視差圖中，該視差圖小于相關(guān)圖像。下采樣視差圖一般指分辨率小于本機(jī)視頻分辨率(例如，除以因數(shù)4 )的視差圖。下 采樣視差圖將，例如，每個像素塊具有一個視差值。稀疏視差圖一般指與相應(yīng)視頻圖像中被認(rèn)為可容易跟蹤的有限個像素(例如，1000個)相對應(yīng)的一組視差。所選的有限個像素一般取決于內(nèi)容本身。在圖像中經(jīng)常超過一二百萬個像素(1280 X 720或1920X1080)。像素子集選擇一般通過能夠檢測特征點的跟蹤工具自動或半自動完成的。跟蹤工具都是現(xiàn)成的。特征點可以是，例如，可以在其他圖像中容易跟蹤的畫面中的邊緣或角落點。一般為像素子集優(yōu)選代表物體的高對比度邊緣的特征。視差圖，或更一般地說，視差信息可以用于多種處理操作。這樣的操作包括，例如，調(diào)整消費者設(shè)備上的3D效果的視圖內(nèi)插(呈現(xiàn))、提供智能字幕布置、視覺效果以及圖形插入。在一種特定實現(xiàn)方式中，將圖形插入圖像的背景中。在這種實現(xiàn)方式中，3D呈現(xiàn)包括兩者都在前景中的體育比賽解說員和足球運動員之間的立體視頻采訪。背景包括體育館的視圖。在本例中，視差圖用于當(dāng)相應(yīng)視差值比預(yù)定值小(也就是說，更近)時從立體視頻采訪中選擇像素。相反，如果視差值比預(yù)定值大(也就是說，更遠(yuǎn))時從圖形中選擇像素。這使，例如，導(dǎo)演可以將采訪參與者顯示在圖形圖像的前面，而不是在實際體育館背景的前面。在其他變體中，在球員最近得分播放的重放期間用像，例如，球場那樣的另一種環(huán)境取代該背景。在一種實現(xiàn)方式中，根據(jù)用戶偏愛軟化(減弱)3D效果。為了減弱3D效果(減小視差的絕對值)，使用視差和視頻圖像內(nèi)插新視圖。例如，將新視圖放置在現(xiàn)有左視圖和右視圖之間的地點上，讓新視圖取代左視圖和右視圖之一。因此，新立體圖像對具有縮短的基線長度和具有減小的視差，因此具有減弱的3D效果。在另一種實現(xiàn)方式中，進(jìn)行外推而不是內(nèi)插，以便擴(kuò)大表觀深度，從而增強(qiáng)3D效果。在這種實現(xiàn)方式中，與相對于原始左右視圖之一具有更長基線長度的虛擬攝像機(jī)相對應(yīng)地外推新視圖。在另一個實施例中，視差圖用于在視頻圖像中智能放置字幕，以便降低或避免觀眾不適感。例如，字幕一般應(yīng)具有在字幕遮擋的任何物體前面的感覺深度。但是，感覺深度一般應(yīng)具有與感興趣的區(qū)域相當(dāng)，而不是在感興趣區(qū)域中的物體前面太遠(yuǎn)的深度。對于許多3D處理操作，稠密視差圖優(yōu)于下采樣視差圖或稀疏視差圖。例如，當(dāng)視差圖用于實現(xiàn)用戶可控3D效果時，基于每個像素的視差信息一般是優(yōu)選的?；诿總€像素視差信息一般可能取得更好的結(jié)果，因為使用稀疏或下采樣視差圖可能使合成視圖的質(zhì)量變差。視差值可以用多種格式表示。有幾種實現(xiàn)方式使用如下格式來表示視差值以便于存儲或發(fā)送(i)帶符號整數(shù)'2的補(bǔ)數(shù)· (a)負(fù)視差值指示在屏幕前面的深度· (b)零用于屏幕面中物體的視差值(ii) 1/8像素為單位 ( i i i )用16位表示視差值*(a)典型視差范圍在+80個像素到-150個像素之間變化。這對于分辨率為1920或2048的四十英寸顯示器一般足夠了?！?(b)對于1/8像素精度，該范圍在+640到-1200個單位之間，這可以用11個位+1個符號位=12個位來表示?！?(c)為了在8k顯示器(具有約等于1920或2048個像素寬的顯示器的水平分辨率的四倍的分辨率)上保持相同3D效果，我們通常需要兩個附加位來編碼視差12+2=14個位?！?(d)提供2個位以備將來使用。并且，使用上述格式的各種實現(xiàn)方式也為稠密視差圖提供。因此，為了針對這樣的實現(xiàn)方式來完成稠密視差圖，為相應(yīng)視頻圖像中的每個像素地點提供上述16-位格式。視差以及相關(guān)深度變化造成場景的不同視圖之間的遮擋。圖5示出了在觀眾的大腦中組合在一起產(chǎn)生3D場景530的左視圖510和右視圖520。左視圖510、右視圖520、和3D場景530每一種都包含三個物體，其包括胖圓筒532、橢球體534、和瘦圓筒536。但是，如圖5所示，三個物體532，534，536的兩個在兩個視圖510，520和3D場景530的每一個中處在不同的相對地點上。這兩個物體是胖圓筒532和瘦圓筒536。橢球體534在視圖510，520和3D場景530的每一個中處在相同的相對地點上。如下面簡化討論所說明，不同的相對地點會產(chǎn)生遮擋。在也揭示了遮擋區(qū)545和548的左圖像540中示出了左視圖510。遮擋區(qū)545和548只在左視圖510中可看見而在右視圖520中看不見。這是因為(i)在右視圖520中與遮擋區(qū)545相對應(yīng)的區(qū)域被胖圓筒532覆蓋，以及(ii)在右視圖520中與遮擋區(qū)548相對應(yīng)的區(qū)域被瘦圓筒536覆蓋。類似地，在也揭示了兩個遮擋區(qū)555和558的右圖像550中示出了右視圖520。遮擋區(qū)555，558只在右視圖520中可看見而在左視圖510中看不見。這是因為(i)在左視圖510中與遮擋區(qū)555相對應(yīng)的區(qū)域被胖圓筒532覆蓋，以及(ii)在左視圖510中與遮擋區(qū)558相對應(yīng)的區(qū)域被瘦圓筒536覆蓋。鑒于在立體圖像對中可能存在遮擋，為立體圖像對提供兩個視差圖是有用的。在一種這樣的實現(xiàn)方式中，為左視頻圖像提供左視差圖，為右視頻圖像提供右視差圖。已知算法可以用于將視差值指定給每個圖像不能使用標(biāo)準(zhǔn)視差矢量手段確定視差值的像素地點。然后可以通過比較左右視差值確定遮擋區(qū)。作為比較左右視差值的一個例子，考慮左眼圖像和相應(yīng)右眼圖像。一個像素L處在第N行上,在左眼圖像中具有水平坐標(biāo)Xp像素L被確定為具有視差值4。像素R處在相應(yīng)右眼圖像的第N行上，具有與最接近的水平坐標(biāo)。像素R被確定為具有大約“-dj的視差值dK。然后，可以有較大程度把握地認(rèn)為，在L或R上沒有遮擋，因為視差相互對應(yīng)。也就是說，一般說來，對于它們確定的視差，像素L和R兩者指向?qū)Ψ健５?，如果dK不與大致相同，則可能存在遮擋。例如，如果兩個視差值明顯不同，則在考慮到符號之后，一般可以很有把握地認(rèn)為存在遮擋。在一種實現(xiàn)方式中，明顯不同用Ι Ι>ι來指示。另外，如果視差值之一((!,或^不可用，則一般可以有較大程度把握地認(rèn)為存在遮擋。視差值可能不可用是因為，例如，不能確定視差值。遮擋一些涉及兩個圖像之一。例如，與具有較小幅度的視差相聯(lián)系的像素所示，或與不可用視差值相對應(yīng)的像素所示的場景部分一般認(rèn)為在另一個圖像中被遮擋。表示視差值的一種可能性是使用整數(shù)來表示視頻圖像中的給定像素地點的視差 的像素數(shù)。視差值代表視頻圖像的特定水平分辨率的視差的像素數(shù)。因此，視差值取決于特定水平分辨率。這樣的實現(xiàn)方式是有用的并且可以是有效的。但是，其他實現(xiàn)方式要求視差值達(dá)到子像素精度。這樣的實現(xiàn)方式一般使用浮點數(shù)來表示視差值，以便在視差值中可以包括分?jǐn)?shù)。這些實現(xiàn)方式的幾種提供了給定水平分辨率特有的視差值。這些實現(xiàn)方式也是有用的并且可以是有效的?！┢渌麑崿F(xiàn)方式將視差值表示成百分比值。因此，取代將視差表示成像素數(shù)，將視差表示成水平分辨率的百分比。例如，如果給定像素地點的視差是十個像素，和水平分辨率是1920，則百分比視差值是(10/1920)*100。這樣的實現(xiàn)方式也可以提供視差的子像素精度。百分比值表示通常是浮點表示，而不是整數(shù)表示。例如，水平分辨率為1920的顯示器的一個像素視差是1/1920，等于O. 0005208或O. 05208%。并且，這樣的百分比視差值可以直接應(yīng)用于其他水平分辨率。例如，假設(shè)(i)視頻圖像具有1920的水平分辨率，(ii)將視頻圖像發(fā)送到用戶的家里，以及(iii)用戶的顯示設(shè)備具有1440的水平分辨率。在這種情形下，用戶的顯示設(shè)備(或機(jī)頂盒、一些其他處理器或處理設(shè)備)通常將視頻圖像的水平分辨率從1920轉(zhuǎn)換成1440，并且還轉(zhuǎn)換視差值以便視差值對應(yīng)于1440的水平分辨率。該轉(zhuǎn)換可以，例如，通過將百分比視差值乘以水平分辨率來進(jìn)行。例如，如果給定像素地點的百分比視差是O. 5%，并且水平分辨率是1920，則絕對視差值是1/2*1920/100。這些實現(xiàn)方式的幾種與視頻圖像和視差圖的水平分辨率無關(guān)地將等于百分比視差值的單個視差值用在視差值的發(fā)送和存儲中。這樣的實現(xiàn)方式也是有用的，并且可以是有效的。如上所述，發(fā)送系統(tǒng)可以使用與視頻圖像的水平分辨率不同的發(fā)送格式的水平分辨率。另外，接收系統(tǒng)可以使用不同水平分辨率來顯示視頻圖像。因此，可能需要從一種水平分辨率轉(zhuǎn)換到另一種水平分辨率。這樣的轉(zhuǎn)換不僅改變視頻圖像的分辨率，而且需要調(diào)整視差值。一般說來，這樣的轉(zhuǎn)換不僅是絕對視差值所需的，而且是百分比視差值所需的。如下的例子提供了有關(guān)各種實現(xiàn)方式之間的一些折衷的更多細(xì)節(jié)· (i)一種實現(xiàn)方式將視差值格式化成精度為一個像素的1/8的給定視頻分辨率的絕對值(像素數(shù))(例如，在具有1920個水平像素的視頻內(nèi)容上一個物體具有10個像素的視差)?！?(ii)這樣的系統(tǒng)具有許多優(yōu)點，包括簡單和易于操縱。在一個這樣的系統(tǒng)中，使用11個位8位用于提供上至255個像素視差的整數(shù)部分，3位用于小數(shù)部分(以便達(dá)到1/8準(zhǔn)確度或精度)。注意，也可以使用符號位，或系統(tǒng)提供+/-127個像素的視差值。_(iv)如果在發(fā)送期間需要將視頻圖像重新格式化，則也要將視差圖格式化，這可能導(dǎo)致信息丟失。例如，參照圖6，一種實現(xiàn)方式使用水平分辨率為1920的本機(jī)格式610和下采樣成具有1280 (或在另一種實現(xiàn)方式中，1440)的水平分辨率的發(fā)送格式620。在通常導(dǎo)致深度細(xì)節(jié)丟失的子采樣之前，與視頻圖像一樣地濾波深度或視差圖。該濾波發(fā)生在濾波和子采樣操作630中。將濾波和子采樣操作應(yīng)用于視頻圖像和視差圖像兩者?！?(V)而且，新視差值被轉(zhuǎn)換，并通常遭到破壞。例如，在下采樣以便降低視差圖的分辨率(也就是說，減少視差值的數(shù)量)之后，視差值被轉(zhuǎn)換成發(fā)送格式的分辨率。當(dāng)從1920變成1280時，10個像素的視差值變成6. 6666。這導(dǎo)致了，例如，將該值舍成6. 625，因為小數(shù)部分只能是O. 125 (1/8)的倍數(shù)?！?(vi)在發(fā)送之后，如果顯示器是1920個像素寬，則最終視差值是 6. 625X1920/1280=9. 9375。9. 9375的值與10的原始值相比代表某種失真。9. 9375的值可以被上，向下舍成最接近整數(shù)，或例如，最接近1/8，從而可能造成信息丟失。如果該值被向下舍入，則丟失很嚴(yán)重。一種解決方案是使用可能是所有水平分辨率共有的百分比視差。上述這樣的實現(xiàn)方式既有優(yōu)點也有缺點。百分比視差值的使用使發(fā)送之前的轉(zhuǎn)換操作可以省略。另一種解決方案是使用不是任何一種常用分辨率特有的整數(shù)值(注意，通常假設(shè)畫面已經(jīng)經(jīng)過垂直校正以及接受其他處理。于是，通常針對水平布置來討論視差就足夠了)。這種解決方案建議定義11520個像素的參考分辨率(或虛擬分辨率)，在本申請中將其稱為幾種標(biāo)準(zhǔn)TV分辨率(720，960，1280，1440，1920)的最小公倍數(shù)(“SCM”)。注意，SCM在各種參考文獻(xiàn)中也被稱為“最低公倍數(shù)”。這種SCM解決方案的至少一種實現(xiàn)方式具有包括如下的許多優(yōu)點(其他實現(xiàn)方式無需具有所有這些優(yōu)點)_(i)因為視差值是整數(shù)，所以確定和存儲視差值簡單，并且使視差值易于操縱和處理?！?(ii)視差值不再是嚴(yán)格絕對的，而是具有相對方面，因此與本機(jī)視頻分辨率無關(guān)?！?(iii)不需要小數(shù)部分。_(iv)視差值像百分比，因為它是相對的，并且與本機(jī)視頻分辨率無關(guān)。但是，視差值是整數(shù)，因此，無明顯需要編碼像O. 00868%那樣的復(fù)雜數(shù)字來描述最小視差值。最小視差值是一個像素，1/11520是O. 00868%?！?(V)在傳輸期間無明顯需要將視差值轉(zhuǎn)碼，因為視差值指的是11520。#(vi)當(dāng)基于SCM的視差值到達(dá)，例如，機(jī)頂盒(“STB”)時，STB通過進(jìn)行像，例如，如下那樣的極簡單運算計算給定視頻分辨率的真正絕對值視差ο Ca)對于1920分辨率，視差/6 ；o(b)對于1440分辨率,視差/8 ；ο (C)對于1280分辨率，視差/9 ;以及ο (d)對于960分辨率，視差/12。
· (vii)與使用哪些信道無關(guān)，只要不轉(zhuǎn)碼，在傳輸期間不關(guān)心視差信息?！?(viii)即使對于像2k，4k，8k那樣的較新消費者分辨率，其運算實現(xiàn)起來也簡單，并且可以容易地在STB處理單元中實現(xiàn)。注意，2k—般指具有2048的水平像素分辨率的圖像，4k 一般指4096，以及8k —般指8192。其運算是ο Ca)對于2048分辨率，視差X8/45 ；ο (b)對于4096分辨率，視差X 16/45 ;以及ο (C)對于 8192 分辨率，視差 X32/45。在實際中，一個或多個SCM實現(xiàn)方式(I)確定相應(yīng)視頻內(nèi)容的現(xiàn)有水平分辨率的視差值；(2)通過簡單相乘和/或相除將那些視差值轉(zhuǎn)換成11520的尺度以生成SCM視差值；(3)不轉(zhuǎn)碼地存儲和發(fā)送SCM視差值；以及(4)使用簡單相乘和/或相除將接收的SCM視差值轉(zhuǎn)換成輸出顯示器的分辨率。因為不用轉(zhuǎn)碼，所以這種解決方案一般不會遭受由轉(zhuǎn) 碼引起的信息丟失(例如，舍入丟失)。注意，上述過程不會改變視差圖的分辨率。而是，縮放現(xiàn)有視差值(針對現(xiàn)有分辨率)，以便使它們基于，或反映與實際分辨率不同的參考分辨率(或虛擬分辨率)。各種實現(xiàn)方式通過與上述的那些相反的簡單數(shù)學(xué)運算生成視差值。例如，為了生成SCM視差值，按如下將接收的絕對視差值乘以和/或除以一個或兩個整數(shù)O (i ) 1920 視差 *6=SCM 視差；ο (ii) 1440 視差 *8=SCM 視差；ο (i i i ) 1280 視差 *9=SCM 視差；ο (iv) 960 視差 *12=SCM 視差；o(v) 2048 視差 *45/8=SCM 視差；ο (vi) 4096 視差 *45/16=SCM 視差；ο (vii) 8192 視差 *45/32=SCM 視差；圖7更詳細(xì)地提供了為各種不同水平分辨率確定最小公倍數(shù)的過程。列710列出了不同水平分辨率。列720列出了水平分辨率的最小因子(factor)。例如，960被因子分解成26*3*5，其中26是2的6次方。因此，960=64*3*5。還要注意到，關(guān)于1280的水平分
辨率，3°等于I。前四個分辨率960，1280，1440和1920的最小公倍數(shù)28*32*5，即等于11520。通過乘以2的適當(dāng)次方，然后除以未出現(xiàn)在2k，4k和8k中的32和5因子，將11520用在2k，4k和8k的分辨率上。注意，在各種實現(xiàn)方式中，使用逐位左移操作，而不是實際相乘運算來進(jìn)行2的冪次相乘。圖7包括提供在11520與顯示在列710中的各種分辨率之間轉(zhuǎn)換的轉(zhuǎn)換方程的列730。列730的轉(zhuǎn)移方程可以用于根據(jù)多種常用顯示器尺寸(顯示器尺寸指的是用，例如，英寸或厘米度量的顯示器的物理尺寸)支持的分辨率縮放視差值。在圖6的例子中，通過6的因子縮放基于，例如，1920水平分辨率的輸入視差值，以便將視差值轉(zhuǎn)換成基于11520的水平分辨率的新視差值。新視差值也基于960，1280，和1440的水平分辨率，因為那些分辨率是被11520的分辨率接納的，并且用在確定11520的分辨率中。一種替代實現(xiàn)方式簡單地使用11520*25=368640的視差分辨率。在這種替代實現(xiàn)方式中，無需相乘將368640轉(zhuǎn)換回到原始分辨率。
11520的值被用于各種實現(xiàn)方式。但是，在其他實現(xiàn)方式中也可以使用其他值。在一種實現(xiàn)方式中，將11520加倍成23040。在第二種實現(xiàn)方式中，將368640加倍成737280?？商娲?，在各種實現(xiàn)方式中可以使用不同組的水平分辨率。這導(dǎo)致不同的SCM。例如，在另一種實現(xiàn)方式中，只對1920和1440輸出分辨率感興趣，因此該實現(xiàn)方式使用5760的SCM。然后，為了生成SCM視差值，將來自1920分辨率的視差值乘以3的因子，而將來自1440分辨率的視差值乘以4的因子。應(yīng)當(dāng)清楚，各種實現(xiàn)方式不是SCM實現(xiàn)方式。例如，甚至11520值也不是列在列710中的所有七種分辨率的SCM。而是，368640值是SCM。不過，即使視差值不是所有水平分辨率的最小公倍數(shù)，描述在本申請中的實現(xiàn)方式一般也稱為SCM實現(xiàn)方式。注意，SCM實現(xiàn)方式提供了子像素精度。例如，對于1920分辨率，視差值使用6的因子轉(zhuǎn)換成11520分辨率/從11520分辨率轉(zhuǎn)換過來，這樣就提供了 1/6的像素精度。更具體地說，如果基于11520的視差值是83，則基于1920的視差值是135/6。這顯然提供了 1/6的像素精度。就質(zhì)量，以及將來使用的邊界而言，這提供了各種優(yōu)點。例如，如果1920分辨率被2k分辨率取代，則基于11520的視差值仍然提供8/45像素精度的子像素精度，這稍低于1/6 (7. 5/45)像素的精度，但仍然高于1/5 (9/45)像素的精度。使用11520的SCM分辨率的至少一種實現(xiàn)方式以兩字節(jié)(十六位)格式操作。在1920X1080顯示器(分辨率)上典型的視差值往往在+80與-150個像素之間變化。在11520參考分辨率上將那些數(shù)字乘以六得出+480到-900的范圍。這個1380的范圍可以用十一個位(2n=2048)來表示。一種替代實現(xiàn)方式使用十個位來表示視差的絕對值(視差最大絕對值是900)，以及用一個附加位來表示符號。又一種實現(xiàn)方式通過將視差的符號變成隱性的保留一個位。例如，與視差的符號一起編碼左視圖中的像素的視差。但是，假設(shè)相應(yīng)右視圖中的相應(yīng)像素的視差具有相反符號。另一種實現(xiàn)方式為了能夠為每個視圖(左視圖和右視圖兩者)提供一個稠密視差圖，從而減輕遮擋引起的問題，分配指示稠密視差圖對應(yīng)的視圖的位。另一種實現(xiàn)方式提供圖像(左圖像或右圖像)與相應(yīng)稠密視差圖之間的隱性聯(lián)系，因此無需把位花費在這個信息上。這些實現(xiàn)方式的變體使用一個或多個附加位來介紹其他類型的圖或圖像。一種這樣的實現(xiàn)方式使用兩個位來指示該圖是(i)左圖像視差圖，(ii)右圖像視差圖，(iii)遮擋圖，還是(iv)透明圖。一種實現(xiàn)方式使用十六位格式，將11位用于指示-900到+480的范圍，將2位用于指示圖的類型，另外3位待用。圖8提供了例示一種或多種實現(xiàn)方式的操作的框/流程圖。圖8還例示了不同實現(xiàn)方式之間的一些折衷。圖8包括處理視頻的處理鏈810。視頻圖像811具有1920的水平分辨率。但是，處理鏈810的發(fā)送格式具有1280的分辨率。于是，在操作812中濾波和下采樣視頻圖像811，以便生成水平分辨率為1280的視頻圖像813。在處理鏈810中濾波和下采樣是一起進(jìn)行的。但是，在其他實現(xiàn)方式中分開進(jìn)行濾波和下采樣。該濾波用于，例如，當(dāng)下采樣視頻圖像811時以防止混疊為目的地低通濾波視頻圖像811。在發(fā)送和/或存儲操作814中傳送視頻圖像813。處理鏈810的接收側(cè)存取可以與視頻圖像813相同、相似或不同的接收視頻圖像815。例如，在一種實現(xiàn)方式中，視頻圖像815是視頻圖像813的存儲版本。另外，在另一種實現(xiàn)方式中，視頻圖像815代表源編碼和解碼操作(未示出)之后視頻圖像813的重構(gòu)版本。并且，在又一種實現(xiàn)方式中，視頻圖像815代表信道編碼和解碼(包括糾錯)操作(未示出)之后視頻圖像813的糾錯版本。在上采樣操作816中處理視頻圖像815以產(chǎn)生具有像在原始視頻圖像811中那樣的1920水平分辨率的視頻圖像817。圖8還包括處理與在處理鏈810中處理的視頻圖像相對應(yīng)的視差圖像的處理鏈820。視差圖像821具有1920的水平分辨率，并且包括基于11520的分辨率的整數(shù)值化視差值。注意，視差圖像一般指像，例如，稠密視差圖、下采樣視差圖、或稀疏視差圖那樣的視差信息的任何累積。并且，視差圖可以對應(yīng)于，例如，畫面、幀、場、切片、宏塊、分區(qū)、或視差信息的一些其他集合。但是，處理鏈820的發(fā)送格式具有1280的水平分辨率。于是，在操作822中濾波和下采樣視差圖像，以便生成水平分辨率為1280的視差圖像823。在處理鏈820中濾波和下采樣是一起進(jìn)行的。但是，其他實現(xiàn)方式分開進(jìn)行濾波和下采樣。該濾波用于，例如，當(dāng) 下采樣視差圖像821時以防止混疊為目的地低通濾波視差圖像821的視差值。視差圖像821的視差值是整數(shù)值。這可以以各種方式來完成。在一種實現(xiàn)方式中，將濾波和下采樣操作的結(jié)果舍成最接近整數(shù)。在另一種實現(xiàn)方式中，簡單地放棄任何分?jǐn)?shù)部分。又一種實現(xiàn)方式將浮點表示用于視差圖像823的視差值。注意，即使在濾波和下采樣產(chǎn)生1280的視差圖像823的分辨率之后，視差值也仍然基于11520的分辨率。在發(fā)送和/或存儲操作824中傳送視差圖像823。處理鏈820的接收側(cè)存取接收的視差圖像825。視差圖像825可以與視差圖像823相同、相似或不同。例如，在一種實現(xiàn)方式中，視差圖像825是視差圖像823的存儲版本。另外，在另一種實現(xiàn)方式中，視差圖像825代表源編碼和解碼操作(未示出)之后視差圖像823的重構(gòu)版本。并且，在又一種實現(xiàn)方式中，視差圖像825代表信道編碼和解碼(包括糾錯)操作(未示出)之后視差圖像823的糾錯版本。但是，如果需要的話，通過使用，例如，舍入使視差圖像825中的視差值保持整數(shù)。在上采樣操作826中處理視差圖像825以產(chǎn)生具有像在原始視差圖像821中那樣的1920水平分辨率的視差圖像827。操作826使用，例如，舍入和截斷生成視差圖像827的整數(shù)值。在轉(zhuǎn)換操作828中將視差圖像827的視差值從基于11520分辨率的值轉(zhuǎn)換成基于1920分辨率的值。如上所述，轉(zhuǎn)換操作827將每個視差值除以6。轉(zhuǎn)換操作828生成視差圖像829。將視差圖像829的視差值表示成浮點數(shù)，以便保持子像素精度。應(yīng)當(dāng)清楚，處理鏈820至少包括重要優(yōu)點。首先，視差值在整個處理鏈820中都是整數(shù)，直到提供最終視差圖像829。其次，盡管發(fā)送格式的水平分辨率不同于本機(jī)視差圖821的水平分辨率，但不用轉(zhuǎn)碼實際視差值。因此，該視差值可應(yīng)用于多種不同水平分辨率。然后，接收系統(tǒng)使用視差圖像829處理視頻圖像817。如上所述，該處理可以包括調(diào)整3D效果，定位字幕，插入圖形，或?qū)崿F(xiàn)方式視覺效果。圖8還描述了用于比較目的的處理鏈830。處理鏈830也處理與在處理鏈810中處理視頻圖像相對應(yīng)的視差圖像。處理鏈830是處理鏈820的一種替代。應(yīng)當(dāng)清楚，如下所述，為了簡化圖8，未示出整個處理鏈830。視差圖像831具有1920的水平分辨率，并且包括具有浮點表示的基于百分比視差值。但是，處理鏈830的發(fā)送格式具有1280的水平分辨率。于是，在操作832中濾波和下采樣視差圖像831，以便生成水平分辨率為1280的視差圖像833。操作832可以類似于，例如，濾波和下采樣操作812或822。繼續(xù)用浮點格式表示視差圖像833的基于百分比視差值。處理鏈830的其余部分(未示出)反映了處理鏈820的其余部分。在發(fā)送和/或存儲操作中傳送視差圖像833。處理鏈830的接收側(cè)存取接收的視差圖像。將接收的視差圖像上采樣成1920的水平分辨率，然后將視差值從基于百分比的值轉(zhuǎn)換成基于1920分辨率的值。如上所述，該轉(zhuǎn)換操作是百分比乘以1920的乘法。但是，與處理鏈820相反，處理鏈830中的視差圖像的視差值總是用浮點格式表示。圖8還描述了用于比較目的的處理鏈840。處理鏈840也處理與在處理鏈810中處理視頻圖像相對應(yīng)的視差圖像。處理鏈840是處理鏈820的一種替代。應(yīng)當(dāng)清楚，如下所述，為了簡化圖8，未示出整個處理鏈840。
視差圖像841具有1920的水平分辨率，并且包括基于1920分辨率和具有浮點表示的視差值。但是，處理鏈840的發(fā)送格式具有1280的水平分辨率。于是，在操作842中濾波和下采樣視差圖像841，以便生成水平分辨率為1280的視差圖像843。操作842可以類似于，例如，濾波和下采樣操作812、822或823。繼續(xù)用浮點格式表示視差圖像843的視差值。然后，在轉(zhuǎn)換操作850中轉(zhuǎn)換視差圖像843的視差值，以便生成視差圖像860。轉(zhuǎn)換操作850將視差值從基于1920水平分辨率的值轉(zhuǎn)換成基于1280水平分辨率的值。繼續(xù)用浮點格式表示視差圖像860的視差值。處理鏈840的其余部分(未示出)反映了處理鏈820的其余部分。在發(fā)送和/或存儲操作中傳送視差圖像860。處理鏈840的接收側(cè)存取接收的視差圖像。將接收的視差圖像上采樣成1920的水平分辨率，然后將視差值從基于1280分辨率的值轉(zhuǎn)換成基于1920分辨率的值。該轉(zhuǎn)換操作牽涉到將視差值乘以1920/1280。與處理鏈830 —樣，而與處理鏈820相反，處理鏈830中的視差圖像的視差值總是用浮點格式表示。在處理鏈840的另一種實現(xiàn)方式中，不進(jìn)行轉(zhuǎn)換操作850。因此，視差圖像843的視差值保持與基于1920水平分辨率的視差值一樣。但是，視差圖像843的水平分辨率保持與1280 —樣。因此，這種實現(xiàn)方式避免了發(fā)送之前的轉(zhuǎn)換，以及可能避免了接收或檢索之后的再轉(zhuǎn)換。在至少一些實現(xiàn)方式中避免轉(zhuǎn)換或再轉(zhuǎn)換也避免了舍入誤差。這種實現(xiàn)方式與本申請中的所有其他實現(xiàn)方式一樣具有優(yōu)點并且可以是有用的。但是，視差值在整個實現(xiàn)過程中都用浮點數(shù)表示?，F(xiàn)在參照圖9，示出了可以應(yīng)用上述特征和原理的視頻發(fā)送系統(tǒng)或裝置900。視頻發(fā)送系統(tǒng)或裝置900可以是，例如，使用像，例如，衛(wèi)星、有線、電話線、或地面廣播那樣的多種介質(zhì)的任何一種發(fā)送信號的首端或發(fā)送系統(tǒng)。視頻發(fā)送系統(tǒng)或裝置900也可以或可替代地用于，例如，提供加以存儲的信號?？梢栽诨ヂ?lián)網(wǎng)或一些其他網(wǎng)絡(luò)上提供發(fā)送。視頻發(fā)送系統(tǒng)或裝置900能夠生成和輸送，例如，視頻內(nèi)容以及像，例如，包括，例如，深度和/或視差值的深度指示那樣的其他內(nèi)容。還應(yīng)當(dāng)清楚，除了提供視頻發(fā)送系統(tǒng)或裝置的方塊圖之外，圖9的方塊還提供了視頻發(fā)送過程的流程圖。視頻發(fā)送系統(tǒng)或裝置900接收來自處理器901的輸入視頻。在一種實現(xiàn)方式中，處理器901簡單地將像視差圖像821，831，841和/或視頻圖像811那樣的原始分辨率圖像提供給視頻發(fā)送系統(tǒng)或裝置900。但是，在另一種實現(xiàn)中，處理器901是配置成，例如，如上面針對操作812，822，832，842所述，進(jìn)行濾波和下采樣，以便生成像視頻圖像813和/或視差圖像823，833，843那樣的圖像的處理器。在又一種實現(xiàn)方式中，處理器901被配置成進(jìn)行像，例如，操作850那樣的視差轉(zhuǎn)換，以便生成像，例如，視差圖像860那樣具有轉(zhuǎn)換視差值的視差圖像。處理器901也可以把元數(shù)據(jù)提供給視頻發(fā)送系統(tǒng)或裝置900以指示，例如，輸入圖像的水平分辨率、視差值基于的水平分辨率、視差值基于百分比還是公倍數(shù)、和描述一種或多種輸入圖像的其他信息。視頻發(fā)送系統(tǒng)或裝置900包括編碼器902和能夠發(fā)送編碼信號的發(fā)送器904。編碼器902接收來自處理器901的視頻信息。該視頻信息可以包括，例如，視頻圖像和/或視差(或深度)圖像。編碼器902根據(jù)視頻和/或視差信息生成編碼信號。編碼器902可以是，例如，AVC編碼器。AVC編碼器可以應(yīng)用于視頻和視差信息兩者。AVC指的是現(xiàn)有國際標(biāo)準(zhǔn)化組織/國際電工委員會(IS0/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟，電信部門(ITU-T)H. 264建議書(在下文中，“H. 264/MPEG-4AVC 標(biāo)準(zhǔn)”或像“AVC標(biāo)準(zhǔn)”、“H. 264標(biāo)準(zhǔn)、或簡單地“AVC”或“H. 264”那樣它的變體)。編碼器902可以包括子模塊，該子模塊包括，例如，接收各種信息段并將其組裝成結(jié)構(gòu)化格式加以存儲或發(fā)送的組裝單元。各種信息段可以包括，例如，編碼或未編碼視頻、編碼或未編碼視差(或深度)值、和像，例如，運動矢量、編碼格式指示符、和語法元素那樣的編碼或未編碼元素。在一些實現(xiàn)方式中，編碼器902包括處理器901，因此進(jìn)行處理器901的操作。發(fā)送器904接收來自編碼器902的編碼信號，并在一種或多種輸出信號中發(fā)送編碼信號。發(fā)送器904可以，例如，適用于發(fā)送含有代表編碼畫面和/或與之相關(guān)的信息的一種或多種位流的節(jié)目信號。典型的發(fā)送器執(zhí)行像，例如，提供糾錯編碼、交織信號中的數(shù)據(jù)、將信號中的能量隨機(jī)化、和使用調(diào)制器906將信號調(diào)制在一種或多種載波上的一種或多種那樣的功能。發(fā)送器904可以包括天線(未示出)，或與天線交接。并且，發(fā)送器904的實現(xiàn)方式可以不局限于調(diào)制器906。視頻發(fā)送系統(tǒng)或裝置900還可通信地與存儲單元908耦合。在一種實現(xiàn)方式中，存儲單元908與編碼器902耦合，以及存儲單元908存儲來自編碼器902的編碼位流。在另一種實現(xiàn)方式中，存儲單元908與發(fā)送器904耦合，存儲來自發(fā)送器904的位流。來自發(fā)送器904的位流可以包括，例如，已經(jīng)經(jīng)過發(fā)送器904進(jìn)一步處理的一種或多種編碼位流。在不同實現(xiàn)方式中，存儲單元908是標(biāo)準(zhǔn)DVD、藍(lán)光盤、硬盤驅(qū)動器、或一些其他存儲設(shè)備的一種或多種?，F(xiàn)在參照圖10，所示的是可以應(yīng)用上述特征和原理的視頻接收系統(tǒng)或裝置1000。視頻接收系統(tǒng)或裝置1000可以配置成在像，例如，衛(wèi)星、電線、電話線、或地面廣播那樣的多種介質(zhì)上接收信號?？梢栽诨ヂ?lián)網(wǎng)或一些其他網(wǎng)絡(luò)上接收信號。還應(yīng)當(dāng)清楚，除了提供視頻接收系統(tǒng)或裝置的框圖之外，圖10的框還提供了視頻接收過程的流程圖。視頻接收系統(tǒng)或裝置1000可以是，例如，蜂窩式電話、計算機(jī)、機(jī)頂盒、電視機(jī)、或接收編碼視頻和提供，例如，解碼視頻信號加以顯示(向，例如，用戶顯示)，加以處理，或加以存儲的其他設(shè)備。因此，視頻接收系統(tǒng)或裝置1000可以將它的輸出提供給電視機(jī)的屏幕、計算機(jī)監(jiān)視器、計算機(jī)(加以存儲、處理、或顯示)、或一些其他存儲、處理、或顯示設(shè)備。視頻接收系統(tǒng)或裝置1000能夠接收和處理視頻信息，該視頻信息可以包括，例如，視頻圖像和/或視差(或深度)圖像。視頻接收系統(tǒng)或裝置1000包括接收像，例如，在本申請的實現(xiàn)方式中所述的信號那樣的編碼信號的接收器1002。接收器1002可以接收，例如，提供視頻圖像815和/或視差圖像825的信號、或從圖9的視頻發(fā)送系統(tǒng)900輸出的信號的一個或多個。接收器1002可以，例如，適用于接收含有代表編碼畫面的多種位流的節(jié)目信號。典型的接收器執(zhí)行像，例如，接收調(diào)制和編碼數(shù)據(jù)信號、使用解調(diào)器從一種或多種載波中解調(diào)數(shù)據(jù)信號、將信號中的能量去隨機(jī)化、將信號中的數(shù)據(jù)去交織、和糾錯解碼信號的一種或多種那樣的功能。接收器1002可以包括天線(未示出)，或與天線交接。并且，接收器1002的實現(xiàn)方式可以不局限于解調(diào)器1004。視頻接收系統(tǒng)或裝置1000包括解碼器1006。接收器1002將接收信號提供給解碼器1006。接收器1002提供給解碼器1006的信號可以包括一種或多種編碼位流。解碼器 1006輸出像，例如，包括視頻信息的解碼視頻信號那樣的解碼信號。解碼器1006可以是，例如，AVC解碼器。視頻接收系統(tǒng)或裝置1000還可通信地與存儲單元1007耦合。在一種實現(xiàn)方式中，存儲單元1007與接收器1002耦合，接收器1002從存儲單元1007中存取位流。在另一種實現(xiàn)方式中，存儲單元1007與解碼器1006耦合，解碼器1006從存儲單元1007中存取位流。在不同實現(xiàn)方式中，從存儲單元1007中存取的位流包括一種或多種編碼位流。在不同實現(xiàn)方式中，存儲單元1007是標(biāo)準(zhǔn)DVD、藍(lán)光盤、硬盤驅(qū)動器、或一些其他存儲設(shè)備的一種或多種。在一種實現(xiàn)方式中，將來自解碼器1006的輸出視頻提供給處理器1008。在一種實現(xiàn)方式中，處理器1008是配置成進(jìn)行像，例如，針對上采樣操作816和/或826所述的那種那樣的上采樣的處理器。在一些實現(xiàn)方式中，解碼器1006包括處理器1008，因此執(zhí)行處理器1008的操作。在其他實現(xiàn)方式中，處理器1008是像，例如，機(jī)頂盒或電視機(jī)那樣的下游設(shè)備的一部分。注意，至少一種實現(xiàn)方式使用額外位來生成2個視差圖。第一視差圖是針對“左”視圖計算的，第二視差圖是針對“右”視圖計算的。鑒于物體可能被遮擋，擁有兩個視差圖有助于改進(jìn)對遮擋的管理。例如，通過比較相應(yīng)視差值，系統(tǒng)可以確定是否存在遮擋，如果存在，則采取填充造成空洞的步驟。另外的實現(xiàn)方式提供更多的視差圖，并分配適當(dāng)位數(shù)來接納視差圖的數(shù)量。例如，在像，例如，MVC (指的是帶有MVC擴(kuò)展(附錄G)的AVC)那樣的多視圖背景下，可能希望發(fā)送逐個視圖地示出計算視差的一組視差圖?？商娲?，一種實現(xiàn)方式可能只發(fā)送與一小組視圖有關(guān)的視差圖。視差可以，例如，以類似于計算運動矢量的方式計算?？商娲兀娝苤腿缟纤?，視差可以從深度值中計算。各種實現(xiàn)方式還具有使用視差值取代深度值引起的優(yōu)點。這樣的優(yōu)點可以包括
(I)視差值是有界的，而深度值可能無窮大，因此深度值更難以表示/編碼；以及(2)視差值可以直接表示，而表示可能極大深度值往往需要對數(shù)刻度。另外，從視差中確定深度一般簡單。在各種實現(xiàn)方式中包括元數(shù)據(jù)來提供像焦距、基線距離(長度)、和會聚面距離那樣的信息。會聚面距離是當(dāng)攝像機(jī)交向時攝像機(jī)軸相交的距離。像角度410的頂點那樣可以從圖4中看出攝像機(jī)軸相交的點。當(dāng)攝像機(jī)平行時，會聚面距離是無窮大距離。因此，我們提供了具有特定特征和方面的一種或多種實現(xiàn)方式。尤其，我們提供了與稠密視差圖有關(guān)的幾種實現(xiàn)方式。稠密視差圖可以使像，例如，消費者設(shè)備上的相對復(fù)雜3D效果調(diào)整、和制作后期的相對簡單字幕布置那樣的多種應(yīng)用成為可能。但是，可以設(shè)想出這些實現(xiàn)方式的變體和附加應(yīng)用，它們都在本公開之內(nèi)，以及所述實現(xiàn)方式的特征和方面可以適用于其他實現(xiàn)方式。注意，對于一種或多種特定顯示器尺寸，在上述實現(xiàn)方式的至少一種中使用了+80到-150個像素的范圍。但是，在其他實現(xiàn)方式中，即使對于那些特定顯示器尺寸，也可以使用范圍的端值和/或范圍本身的大小有變的不同視差范圍。在一種實現(xiàn)方式中，主題公園中的表演使用負(fù)得多的視差(例如，把對象描繪成比中途更近地從屏幕出來)來達(dá)到更具戲劇性的效果。在另一種實現(xiàn)方式中，讓專業(yè)設(shè)備支持比消費者設(shè)備更寬的視差范圍。本申請所述的幾種實現(xiàn)方式和特征可以用在AVC標(biāo)準(zhǔn)、帶有MVC擴(kuò)展(附錄H)的 AVCdP /或帶有SVC擴(kuò)展(附錄G)的AVC的背景下。另外，這些實現(xiàn)方式和特征可以用在另一種標(biāo)準(zhǔn)(現(xiàn)在或?qū)?的背景下，或用在不牽涉標(biāo)準(zhǔn)的背景下。提到本原理的“一個實施例”、“實施例”、“一種實現(xiàn)方式”或“實現(xiàn)方式”以及它們的其他變體意味著結(jié)合所述實施例描述的特定特征、結(jié)構(gòu)、特性等包括在本原理的至少一個實施例中。因此，在說明書各處出現(xiàn)的短語“在一個實施例中”、“在實施例中”、“在一種實現(xiàn)方式中”或“在實現(xiàn)方式中”以及任何其他變體的出現(xiàn)不一定都指代相同的實施例。另外，本申請或其權(quán)利要求書可能提到“確定”各種信息段。確定信息可以包括，例如，估計信息、計算信息、預(yù)測信息或從存儲器中檢索信息的一種或多種。應(yīng)該明白，給定顯示器可能支持多種不同分辨率。因此，給定顯示器可能能夠顯示具有，例如，1280、1440或1920的分辨率的視頻內(nèi)容。不過，給定顯示器往往被稱為1920顯示器，因為最高支持分辨率是1920。當(dāng)大顯示器顯示低分辨率圖像時，圖像的各個元素可能包含多個像素。例如，如果顯示器可以支持800和1920的水平分辨率，則顯示器通常至少是1920個像素寬。當(dāng)顯示器顯示800分辨率圖像時，顯示器可能至少一部分地將三個或更多個像素分配給圖像的元素。各種實現(xiàn)方式使用視差值的浮點表示。這樣實現(xiàn)方式的特定變體使用視差值的定點表示來取代浮點表示。應(yīng)當(dāng)認(rèn)識到，例如，在“A/B”、“A和/或B”和“A和B的至少一個”的情況中，如下 和/或”和“至少一個”的任何一種的使用意欲包括只對第一所列選項(A)的選擇、只
對第二所列選項(B)的選擇、或者對兩個選項(A和B)的選擇。作為另一示例，在“A、B和/或C”、“A、B和C的至少一個”和“A、B或C的至少一個”的情況中，這種措辭意欲包括只對第一所列選項(A)的選擇、只對第二所列選項(B)的選擇、只對第三所列選項(C)的選擇、只對第一和第二所列選項(A和B)的選擇、只對第一和第三所列選項(A和C)的選擇、只對第二和第三所列選項(B和C)的選擇、或者對全部三個選項(A和B和C)的選擇。如本領(lǐng)域和相關(guān)領(lǐng)域普通技術(shù)人員容易認(rèn)識到，這可以被擴(kuò)展用于很多列出的項目。另外，許多實現(xiàn)方式可以在編碼器(例如，編碼器902)、解碼器(例如，解碼器1006)、處理來自解碼器的輸出的后處理器(例如，處理器1008)、或向編碼器提供輸入的預(yù)處理器(例如，處理器901)的一個或多個中實現(xiàn)。并且，通過本公開可以設(shè)想出其他實現(xiàn)方式。本文所述的實現(xiàn)方式可以以，例如，方法或進(jìn)程、裝置、軟件程序、數(shù)據(jù)流、或信號的形式實現(xiàn)。即使只在單種實現(xiàn)形式的背景下討論(例如，只作為方法來討論)，所討論的特征的實現(xiàn)方式也可以以其他形式(例如，裝置或程序)實現(xiàn)。裝置可以以，例如，適當(dāng)硬件、軟件、或固件的形式實現(xiàn)。方法可以在，例如，像例如處理器那樣的裝置中實現(xiàn)，處理器一般指處理設(shè)備，包括，例如，計算機(jī)、微處理器、集成電路、或可編程邏輯設(shè)備。處理設(shè)備還包括像，例如，計算機(jī)、蜂窩式電話、便攜式/個人數(shù)據(jù)助理(“PDA”)、和有助于在最終用戶之間傳送信息的其他設(shè)備那樣的通信設(shè)備。本文所述的各種進(jìn)程和特征的實現(xiàn)方式可以在多種不同裝備或應(yīng)用，尤其，例如，與數(shù)據(jù)編碼、數(shù)據(jù)解碼、視圖生成、深度或視差處理、和圖像和相關(guān)深度和/或視差圖的其他圖像相聯(lián)系的裝備或應(yīng)用中實施。這樣裝備的例子包括編碼器、解碼器、處理來自解碼器 的輸出的后處理器、向編碼器提供輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、萬維網(wǎng)服務(wù)器、機(jī)頂盒、膝上型電腦、個人計算機(jī)、蜂窩式電話、PDA、和其他通信設(shè)備。應(yīng)當(dāng)清楚，該裝備可以是移動的，甚至可以安裝在移動交通工具中。另外，這些方法可以通過由處理器執(zhí)行的指令來實現(xiàn)，這樣的指令可以存儲在像，例如，集成電路、軟件載體或像，例如，硬盤、小型盤(“ CD ”)、光盤(像，例如，往往稱為數(shù)字多功能盤或數(shù)字視頻盤的DVD那樣)、隨機(jī)訪問存儲器(“RAM”)、或只讀存儲器(“ROM”)那樣的處理器可讀介質(zhì)上。這些指令可以在，例如，硬件、固件、軟件或它們的組合體中。這些指令可以在，例如，操作系統(tǒng)、單獨應(yīng)用程序、或兩者的組合體中找到。因此，可以將處理器表征成，例如，配置成執(zhí)行進(jìn)程的設(shè)備和包括含有執(zhí)行進(jìn)程的指令的處理器可讀介質(zhì)(像存儲設(shè)備那樣)的設(shè)備兩者。并且，除了指令之外或取代指令，處理器可讀介質(zhì)可以存儲一種實現(xiàn)方式產(chǎn)生的數(shù)據(jù)值。對于本領(lǐng)域的普通技術(shù)人員來說，顯而易見，各種實現(xiàn)方式可以產(chǎn)生格式化成傳送可以，例如，存儲或發(fā)送的信息的多種信號。該信息可以包括，例如，執(zhí)行方法的指令、或所述實現(xiàn)方式之一產(chǎn)生的數(shù)據(jù)。例如，可以將信號格式化成傳送寫入或讀取所述實施例的語法的規(guī)則作為數(shù)據(jù)，或傳送所述實施例寫入的實際語法值作為數(shù)據(jù)。這樣的信號可以格式化成，例如，電磁波(例如，使用頻譜的射頻部分)或基帶信號。格式化可以包括，例如，編碼數(shù)據(jù)流和將編碼數(shù)據(jù)流調(diào)制在載波上。信號傳送的信息可以是，例如，模擬或數(shù)字信息。眾所周知，可以在多種不同有線或無線鏈路上發(fā)送信號?？梢詫⑿盘柎鎯υ谔幚砥骺勺x介質(zhì)上。本文描述了許多實現(xiàn)方式。不過應(yīng)該明白，可以作出各種修改。例如，可以組合，補(bǔ)充，修改，或除去不同實現(xiàn)方式的一些元素以形成其他實現(xiàn)方式。另外，本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，可以用其他結(jié)構(gòu)和進(jìn)程取代本文公開的那些，所得實現(xiàn)方式以至少基本相同的方式執(zhí)行至少基本相同的功能，以獲得與本文公開的實現(xiàn)方式至少基本相同的結(jié)果。于是，這些和其他實現(xiàn)方式可以通過本申請設(shè)想出來。
權(quán)利要求
1.一種方法，其包含存取畫面中的特定地點的視差值，所述視差值指示與特定分辨率有關(guān)的視差；以及根據(jù)多種分辨率修改存取的視差值以產(chǎn)生修改的視差值。
2.如權(quán)利要求I所述的方法，其中所述修改包含通過基于多種分辨率的因子來縮放存取的視差值。
3.如權(quán)利要求I或2的任何一項所述的方法，其中所述多種分辨率對應(yīng)于標(biāo)準(zhǔn)顯示器支持的分辨率。
4.如權(quán)利要求I到3的任何一項所述的方法，其中所述修改包含根據(jù)多種分辨率的公倍數(shù)縮放存取的視差值。
5.如權(quán)利要求4所述的方法，其中所述公倍數(shù)是多種分辨率的最小公倍數(shù)。
6.如權(quán)利要求4到5的任何一項所述的方法，其中所述公倍數(shù)是11520。
7.如權(quán)利要求I到6的任何一項的所述的方法，其中所述修改視差值指示與比標(biāo)準(zhǔn)顯示器的任何分辨率大得多的非標(biāo)準(zhǔn)分辨率有關(guān)的視差值。
8.如權(quán)利要求7的所述的方法，其中所述非標(biāo)準(zhǔn)分辨率不同于所述多種分辨率的每一種。
9.如權(quán)利要求I到8的任何一項所述的方法，其中所述畫面具有特定分辨率。
10.如權(quán)利要求I到9的任何一項所述的方法，其中所述修改視差值是整數(shù)。
11.如權(quán)利要求10所述的方法，其中所述整數(shù)為多種分辨率提供視差的子像素精度。
12.如權(quán)利要求11所述的方法，其中所述整數(shù)提供比1/4像素還要精確的視差精度。
13.一種包含一個或多個處理器的裝置，所述一個或多個處理器被集體配置成執(zhí)行如下步驟存取畫面中的特定地點的視差值，所述視差值指示與特定分辨率有關(guān)的視差；以及根據(jù)多種分辨率修改存取的視差值以產(chǎn)生修改的視差值。
14.如權(quán)利要求13所述的裝置，進(jìn)一步包含存儲修改的視差值的存儲器。
15.一種裝置，其包含存取畫面中的特定地點的視差值的部件，所述視差值指示與特定分辨率有關(guān)的視差；以及根據(jù)多種分辨率修改存取的視差值以產(chǎn)生修改的視差值的部件。
16.一種上面存儲著指令的處理器可讀介質(zhì)，所述指令使一個或多個處理器集體執(zhí)行如下步驟存取畫面中的特定地點的視差值，所述視差值指示與特定分辨率有關(guān)的視差；以及根據(jù)多種分辨率修改存取的視差值以產(chǎn)生修改的視差值。
17.一種裝置，其包含處理器，其被配置成存取畫面中的特定地點的視差值，所述視差值指示與特定分辨率有關(guān)的視差；以及根據(jù)多種分辨率修改存取的視差值以產(chǎn)生修改的視差值；以及調(diào)制器，其被配置成將指示修改的視差值的數(shù)據(jù)調(diào)制在信號上。
18.一種格式化成包括信息的信號，所述信號包含包括畫面中的特定地點的視差值的視差部分，所述畫面具有特定分辨率，以及所述視差值指示與不同于所述特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差。
19.一種信號結(jié)構(gòu),其包含包括畫面中的特定地點的視差值的視差部分，所述畫面具有特定分辨率，以及所述視差值指示與不同于所述特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差。
20.—種上面存儲著信號結(jié)構(gòu)的處理器可讀介質(zhì)，所述信號結(jié)構(gòu)包含包括畫面中的特定地點的視差值的視差部分，所述畫面具有特定分辨率，以及所述視差值指示與不同于所述特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差。
21.—種方法,其包含存取畫面中的特定地點的視差值，所述畫面具有特定分辨率，以及所述視差值指示與不同于所述特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差；以及修改存取的視差值以產(chǎn)生指示與特定分辨率有關(guān)的視差的修改的視差值。
22.如權(quán)利要求21所述的方法，其中所述修改包含通過基于多種分辨率的因子來縮放存取的視差值。
23.如權(quán)利要求21到22的任何一項所述的方法，其中所述多種分辨率對應(yīng)于標(biāo)準(zhǔn)顯示器支持的分辨率。
24.如權(quán)利要求21到23的任何一項所述的方法，其中所述修改包含根據(jù)多種分辨率的公倍數(shù)縮放存取的視差值。
25.如權(quán)利要求24所述的方法，其中所述公倍數(shù)是多種分辨率的最小公倍數(shù)。
26.如權(quán)利要求24到25的任何一項所述的方法，其中所述公倍數(shù)是11520。
27.如權(quán)利要求21到26的任何一項所述的方法，其中所述另一種分辨率是比標(biāo)準(zhǔn)顯示器的任何分辨率大得多的非標(biāo)準(zhǔn)分辨率。
28.如權(quán)利要求27的所述的方法，其中所述非標(biāo)準(zhǔn)分辨率不同于所述多種分辨率的每一種。
29.如權(quán)利要求21到28的任何一項所述的方法，其中所述存取視差值是整數(shù)。
30.如權(quán)利要求21到29的任何一項所述的方法，其中所述修改視差值是整數(shù)。
31.如權(quán)利要求29所述的方法，其中所述整數(shù)為多種分辨率提供視差的子像素精度。
32.如權(quán)利要求31所述的方法，其中所述整數(shù)提供比1/4像素還要精確的視差精度。
33.一種包含一個或多個處理器的裝置，所述一個或多個處理器被集體配置成執(zhí)行如下步驟存取畫面中的特定地點的視差值，所述畫面具有特定分辨率，以及所述視差值指示與不同于所述特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差；以及修改存取的視差值以產(chǎn)生指示與特定分辨率有關(guān)的視差的修改視差值。
34.如權(quán)利要求33所述的裝置，進(jìn)一步包含存儲修改視差值的存儲器。
35.一種裝置,其包含存取畫面中的特定地點的視差值的部件，所述畫面具有特定分辨率，以及所述視差值指示與不同于所述特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差；以及修改存取的視差值以產(chǎn)生指示與特定分辨率有關(guān)的視差的修改視差值的部件。
36.一種上面存儲著指令的處理器可讀介質(zhì)，所述指令使一個或多個處理器集體執(zhí)行如下步驟存取畫面中的特定地點的視差值，所述畫面具有特定分辨率，以及所述視差值指示與不同于所述特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差；以及修改存取的視差值以產(chǎn)生指示與特定分辨率有關(guān)的視差的修改視差值。
37.一種裝置，其包含解調(diào)器，用于解調(diào)包括指示畫面中的特定地點的視差值的數(shù)據(jù)的信號，所述畫面具有特定分辨率，以及所述視差值指示與不同于所述特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差；以及處理器，配置成修改存取的視差值以產(chǎn)生指示與特定分辨率有關(guān)的視差的修改視差值。
全文摘要
一種特定實現(xiàn)方式存取畫面中的特定地點的視差值，該視差值指示與特定分辨率有關(guān)的視差。該特定實現(xiàn)方式根據(jù)多種分辨率修改存取的視差值以產(chǎn)生修改的視差值。另一種實現(xiàn)方式存取畫面中的特定地點的視差值，該畫面具有特定分辨率，以及該視差值指示與不同于該特定分辨率和基于多種分辨率的另一種分辨率有關(guān)的視差。一種進(jìn)一步實現(xiàn)方式修改存取的視差值以產(chǎn)生指示與特定分辨率有關(guān)的視差的修改視差值。
文檔編號H04N13/00GK102934451SQ201180027121
公開日2013年2月13日 申請日期2011年3月31日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者T.博雷爾, R.奧斯特曼, W.普策克-羅明 申請人:湯姆森特許公司