專利名稱：立體觀察用圖像提供方法和立體圖像顯示裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體觀察用圖像提供方法和立體圖像顯示裝置。
背景技術(shù)：
作為現(xiàn)有技術(shù)，提出一種根據(jù)從二維圖像信號抽出的深度信息和二維圖像信號來生成立體圖像的立體圖像接收裝置和立體圖像系統(tǒng)(參照特開2000-78611號公報)。
根據(jù)上述的現(xiàn)有技術(shù)，利用所述深度信息，可以從實際攝影的二維圖像生成具有視差信息的立體觀察用圖像。然而，在上述現(xiàn)有技術(shù)中，沒有實現(xiàn)使多樣的立體圖像顯示成為可能或減少發(fā)送的信息量。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題而進(jìn)行的，其目的在于，提供一種使多樣的立體圖像顯示成為可能或可以減少發(fā)送的信息量的立體觀察用圖像提供方法和立體圖像顯示裝置。
為了解決上述的問題，本發(fā)明的立體觀察用圖像提供方法的特征在于，在將二維圖像作為數(shù)據(jù)提供時，對將所述二維圖像的數(shù)據(jù)變換為立體觀察用圖像有用的深度信息和該深度信息的標(biāo)度信息作為所述二維圖像的附屬信息，而和該二維圖像一起提供。
如果是上述構(gòu)成，則由于將標(biāo)度信息作為所述二維圖像的附屬信息，和該二維圖像的數(shù)據(jù)一起提供，故在被提供側(cè)可以制作具有各種寬窄的深度信息的立體觀察用圖像成為可能。
并且，本發(fā)明的立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，作為附屬信息，和該二維圖像數(shù)據(jù)一起提供對將所述二維圖像數(shù)據(jù)變換為立體觀察用圖像有用的深度信息；將由該深度信息的值表示的距離等效值相對該深度信息值的等級差別設(shè)為非等間隔用的定義信息。
如果是上述構(gòu)成，則能夠在深度上的任意位置設(shè)定所希望的分辨能力，使多樣的立體圖像顯示成為可能。所述定義信息可以是從函數(shù)群指定任意函數(shù)的信息。并且，也可以使所述附屬信息包含表示所述深度信息值中的哪一個值變?yōu)閳D像顯示位置的信息。或者，所述定義信息也可以是從相對深度信息值而預(yù)先設(shè)定視差量的表群中指定任意表的信息。另外，可以將所述定義信息設(shè)定為所述非等間隔變?yōu)榇箝g隔的區(qū)域形成在距離觀察者遠(yuǎn)的位置上，變?yōu)樾￠g隔的區(qū)域形成在距離觀察者近的位置上。此外，也可以將所述定義信息設(shè)定為所述非等間隔變?yōu)榇箝g隔的區(qū)域形成在距離圖像顯示面位置遠(yuǎn)的位置上，變?yōu)樾￠g隔的區(qū)域形成在距離圖像顯示面位置近的位置上。
另外，本發(fā)明的立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，將根據(jù)所述二維圖像的畫面區(qū)域而不同的位數(shù)所表示的深度信息，作為所述二維圖像的附屬信息，和該二維圖像數(shù)據(jù)一起提供。
如果是上述構(gòu)成，則和涉及二維圖像全體設(shè)定為同樣的位數(shù)的情況相比，可以削減所提供的深度信息量、且能夠生成被提供側(cè)的良好質(zhì)量的立體觀察用圖像。與所述二維圖像的中央側(cè)相比，可以在外周側(cè)減少所述深度信息的位數(shù)。另外，也可以將表示畫面的哪一個區(qū)域中用哪一位來表示深度信息的信息作為附屬信息，和該二維圖像的數(shù)據(jù)一起提供。此外，也可以將表示在每一個像素以哪一位表示深度信息的信息作為附屬信息，和該二維圖像數(shù)據(jù)一起提供。
另外，本發(fā)明的立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，將附加在所述二維圖像的多個像素上的共同值的深度信息，作為所述二維圖像的附屬信息，和該二維圖像數(shù)據(jù)一起提供。
如果是上述構(gòu)成，則和針對二維圖像的全部像素設(shè)定每一個深度信息的情況相比，可以削減所提供的深度信息量，并且能夠生成被提供側(cè)的良好質(zhì)量的立體觀察用圖像。與所述二維圖像的中央側(cè)相比，也可以在外周側(cè)增多提供所述共同值的深度信息的像素數(shù)。
并且，本發(fā)明的立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，將向所述二維圖像中的每一個目標(biāo)提供的第一深度信息和向構(gòu)成每一個目標(biāo)的像素提供的第二深度信息，作為所述二維圖像的附屬信息，和該二維圖像數(shù)據(jù)一起提供。
如果是上述構(gòu)成，則因為可以由第一深度信息提供二維圖像中的每一個目標(biāo)的深度，由第二深度信息中提供構(gòu)成每一個目標(biāo)的像素的深度，所以，和針對二維圖像的全部像素設(shè)定各自的深度信息的情況相比，可以削減所提供的深度信息量，并且能夠生成被提供側(cè)的良好質(zhì)量的立體觀察用圖像。
并且，本發(fā)明的立體觀察用圖像提供方法，其特征在于，將二維圖像作為數(shù)據(jù)提供時，將向所述二維圖像中的每一個目標(biāo)提供的第一深度信息和每一個目標(biāo)的形狀信息，作為所述二維圖像的附屬信息，和該二維圖像的數(shù)據(jù)一起提供。
如果是上述構(gòu)成，則通過由深度信息提供二維圖像中的每一個目標(biāo)的深度，并提供其形狀信息，從而利用被提供側(cè)中所保有的每一個形狀的深度值表，可以獲得構(gòu)成每一個目標(biāo)的像素的深度，和針對二維圖像的全部像素設(shè)定各個深度信息的情況相比，可以削減所提供的深度信息量，同時能夠生成被提供側(cè)的良好質(zhì)量的立體觀察用圖像。
在這些立體觀察用圖像提供方法中，可以通過廣播、通信、向記錄介質(zhì)的記錄的任意一個來進(jìn)行信息的提供。
另外，本發(fā)明的立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得標(biāo)度信息和深度信息的機(jī)構(gòu)；利用所述標(biāo)度信息和所述深度信息來生成視差量的機(jī)構(gòu)；根據(jù)所述視差量來生成立體觀察用圖像的機(jī)構(gòu)。
此外，本發(fā)明的立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得深度信息和函數(shù)指定信息的機(jī)構(gòu)；存儲使由所述深度值表示的距離等效值相對該深度信息值的等級差別而設(shè)為非等間隔的多個函數(shù)、的機(jī)構(gòu)；根據(jù)所述函數(shù)指定信息來選擇函數(shù)的機(jī)構(gòu)；利用所選擇的函數(shù)和所述深度信息來生成視差量的機(jī)構(gòu)；根據(jù)所述視差量來生成立體觀察用圖像的機(jī)構(gòu)。
在上述構(gòu)成中，也可以構(gòu)成為利用表示圖像顯示面位置的信息，判定提供基準(zhǔn)視差量的深度值。
另外，本發(fā)明的立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得深度信息和表指定信息的機(jī)構(gòu)；存儲使由所述深度值表示的距離等效值相對該深度信息值的等級差別設(shè)為非等間隔的多個表、的機(jī)構(gòu)；根據(jù)所述表指定信息來選擇表的機(jī)構(gòu)；利用所選擇的表和所述深度信息來生成視差量的機(jī)構(gòu)；根據(jù)所述視差量來生成立體觀察用圖像的機(jī)構(gòu)。
此外，本發(fā)明的立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括在從所述附屬信息，取得由于所述二維圖像的畫面區(qū)域不同而以不同位數(shù)表示的深度信息的情況下，將所述二維圖像的畫面區(qū)域中用不同位數(shù)表示的深度信息，應(yīng)用于畫面區(qū)域的每一個像素，以生成立體觀察用圖像的機(jī)構(gòu)。
進(jìn)而，本發(fā)明的立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括在從所述附屬信息取得數(shù)量比所述二維圖像像素數(shù)還少的深度信息的情況下，采用附加在所述二維圖像多個像素上的共同值的所述深度信息，以生成立體觀察用圖像的機(jī)構(gòu)。
再有，本發(fā)明的立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得向所述二維圖像中的每一個目標(biāo)提供的第一深度信息和向構(gòu)成每一個目標(biāo)的像素提供的第二深度信息的機(jī)構(gòu)；對所述第一深度信息加入所述第二深度信息而生成每一個像素的深度信息的機(jī)構(gòu)；根據(jù)所述每一個像素的深度信息，生成立體觀察用圖像的機(jī)構(gòu)。
另外，本發(fā)明的立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得向所述二維圖像中的每一個目標(biāo)提供的深度信息和每一個目標(biāo)的形狀信息的機(jī)構(gòu)；存儲將深度信息與構(gòu)成每一個形狀的像素群的每一個像素對應(yīng)的表、的機(jī)構(gòu)；根據(jù)所述形狀信息選擇所述表的機(jī)構(gòu)；將從所述表獲得的深度信息加入對所述每一個目標(biāo)提供的深度信息中，以生成每一個像素的深度信息的機(jī)構(gòu)；根據(jù)所述每一個像素的深度信息，生成立體觀察用圖像的機(jī)構(gòu)。


圖1(a)、(b)、(c)是表示本發(fā)明實施方式的立體觀察用圖像提供方法和立體圖像顯示裝置的說明圖。
圖2是表示二維圖像和附隨其中的深度圖像的說明圖。
圖3(a)、(b)是表示分辨能力與表現(xiàn)范圍的關(guān)系的說明圖。
圖4(a)、(b)是表示使由深度信息值表示的距離等效值相對該深度信息值的等級差別設(shè)為非等間隔的說明圖。
圖5(a)、(b)是表示使由深度信息值表示的距離等效值相對該深度信息值的等級差別設(shè)為非等間隔的說明圖。
圖6(a)、(b)是表示使由深度信息值表示的距離等效值相對該深度信息值的等級差別設(shè)為非等間隔的說明圖。
圖7是表示將深度信息在圖像的外周側(cè)設(shè)為3位而在中央的50％×50％區(qū)域設(shè)為6位的、說明圖。
圖8是表示使深度信息在圖像上的不同位置變?yōu)椴煌钠渌拥恼f明圖。
圖9(a)是表示提供附加在二維圖像的多數(shù)像素中的共同值的深度信息的說明圖；圖9(b)是表示該深度信息的發(fā)送形態(tài)的說明圖。
圖10(a)、(b)、(c)、(d)是表示深度信息的提供方法的其他例子的說明圖。
圖11是表示圖10的具體例子的說明圖。
圖12是表示圖10的其他具體例子的說明圖。
具體實施例方式
下面，根據(jù)附圖1至12，說明本發(fā)明的立體觀察用圖像提供方法和立體圖像顯示裝置。
根據(jù)圖1來說明利用二維圖像和深度圖像(深度信息)，生成立體圖像。另外，在圖1中，作為由作為廣播局或互聯(lián)網(wǎng)上的服務(wù)器而構(gòu)成的發(fā)送側(cè)裝置1；和廣播接收裝置或具備網(wǎng)絡(luò)連接環(huán)境的個人用電子計算機(jī)或移動電話等接收側(cè)裝置2所構(gòu)成的系統(tǒng)來說明。
圖1(a)表示作為原圖像的二維圖像100。在發(fā)送側(cè)裝置1中，對二維圖像100進(jìn)行圖像分析。如圖1(b)所示，抽出背景圖像101、山的圖像102、樹的圖像103、人的圖像104。將這些被抽出的圖像作為目標(biāo)(例如，邊界信息)來處理。并且，以像素為單位提供深度值，以生成深度圖像。另外，也可以以目標(biāo)為單位提供深度值。深度值可以自動(估計)提供，也可以手動操作來提供。
這樣，在發(fā)送側(cè)裝置1中，在提供(發(fā)送、廣播)圖像時，將深度圖像作為所述圖像的附屬信息發(fā)送。并且，在本實施方式中，也發(fā)送其他附屬信息。至于其他附屬信息，在后面敘述。在數(shù)字化廣播的情況下，可以將圖像數(shù)據(jù)和各種附屬信息多重化為傳送流(transport stream)后進(jìn)行廣播。在利用計算機(jī)網(wǎng)絡(luò)的傳送中，也可以將圖像數(shù)據(jù)和各種附屬信息多重化后發(fā)送。
但是，在利用二維圖像和深度圖像來生成立體觀察用圖像的情況下，可以將深度圖像考慮為一種二維圖像，所以，如圖2所示，只要提供二維圖像和深度圖像的兩張圖像就可以。因此，在雙眼式立體觀察中，可以應(yīng)用和提供兩張L圖像和R圖像同樣的想法。但是，在雙眼式立體觀察用圖像或多視點用圖像中，每一個視點圖像之間格式不會不同，與此相反，利用二維圖像和深度圖像來制作立體觀察用圖像的情況下，深度圖像在單色(monochrome)圖像中可以容易變?yōu)閷γ恳粋€像素分配了幾位的圖像。因此，預(yù)先規(guī)定用哪一位來表現(xiàn)深度圖像的一個像素(對應(yīng)于二維圖像的每一個像素的深度信息)，或者從發(fā)送側(cè)裝置1向接收側(cè)裝置2提供表示一個像素的位數(shù)的信息。并且，在將深度圖像作為單色圖像來表現(xiàn)的情況下，變?yōu)閰^(qū)別如果更白就表示近距離等效值或如果更黑就表示近距離等效值，因此，可以對此預(yù)先規(guī)定，或也可以從發(fā)送側(cè)發(fā)送表示該意思的信息。
①發(fā)送側(cè)裝置1在將二維圖像作為數(shù)據(jù)提供時，將所述深度圖像和該深度圖像值的標(biāo)度信息，作為所述二維圖像的附屬信息，和該二維圖像數(shù)據(jù)一起發(fā)送。最好是設(shè)為深度圖像的每一個像素的位數(shù)已經(jīng)決定，并且表示分辨能力與絕對距離等效值之間的關(guān)系。圖3例示了用3位表示一個像素的深度值的情況(實際上不會存在3位的情況，但是為了說明的方便，設(shè)為3位)。對每一個像素分配3位的情況下，可以表現(xiàn)8級的深度，但為了表示一個刻度相當(dāng)于多大的絕對距離，發(fā)送標(biāo)度信息。在圖3(a)中，將分辨能力設(shè)為100mm，可以覆蓋從0至800mm的寬的范圍。并且，在圖3(b)中，將分辨能力設(shè)為10mm，可以覆蓋從0至80mm的窄的范圍。因此，通過發(fā)送標(biāo)度信息，從而能夠使接收側(cè)裝置2制作具有寬窄各式各樣深度的立體觀察用圖像。
②在將二維圖像作為數(shù)據(jù)提供時，發(fā)送側(cè)裝置1將所述深度圖像、與使由該深度圖像值表示的距離等效值相對深度圖像值的等級差別設(shè)為非等間隔的定義信息作為附屬信息，和該二維圖像數(shù)據(jù)一起發(fā)送。在上述的圖3中，示出了以等間隔來表現(xiàn)深度(depth)的情況，但是沒有必要必須是等間隔。對深度的分辨能力，例如，雖然前面為細(xì)的較好，但也可認(rèn)為遠(yuǎn)的為粗也可以，所以，在每一個像素的位數(shù)有限的情況下，考慮用非等間隔來表現(xiàn)的方法效率高的情形。在圖4(a)中表示使前面?zhèn)鹊姆直婺芰ψ兗?xì)的對數(shù)(log)型的表現(xiàn)。利用圖5更詳細(xì)敘述。在圖5中，定義M為最大深度值(在此為7(111))；深度值A(chǔ)為從1到M的正數(shù)；B＝(M-A)/2；將深度值A(chǔ)與A-1之間的視差間隔進(jìn)行2的B次方。并且，在圖5(a)中將管面位置設(shè)為(010)，在圖5(b)中將管面位置設(shè)為(100)。在利用這種函數(shù)的情況下，與管面位置無關(guān)，使前面?zhèn)?觀察者側(cè))的分辨能力變細(xì)。
另一方面，在圖4(b)所示的例子中，越接近管面(圖像顯示面位置)則深度的分辨能力越細(xì)，隨著離開管面、深度的分辨能力越粗。利用圖6更詳細(xì)地敘述。在圖6中，將最大視差(正)與最小視差(負(fù))之間的差設(shè)為22，將視差間隔規(guī)定為按順序使用“1、1、2、2、4、4、8、8”的數(shù)值的列。并且，在圖6(a)中，管面位置為010，在圖6(b)中，管面位置作為011。于是，可以將管面位置附近的深度設(shè)定為細(xì)。
在設(shè)為上述的非等間隔表現(xiàn)的情況下，雖然可以采用在發(fā)送接收期間固定性地決定一個非等間隔表現(xiàn)的方法，但是，在接收側(cè)可以自在地指定幾個非等間隔表現(xiàn)的方法較好。例如，通過設(shè)為發(fā)送2位的指定信息并在接收側(cè)準(zhǔn)備四個函數(shù)(包含上述的數(shù)值列的規(guī)定)，可以實現(xiàn)4種非等間隔表現(xiàn)。另外，對于管面位置，雖然可以采用在發(fā)送接收期間固定性地決定一個管面位置的方法(例如，010固定性地作為管面位置等)，但在接收側(cè)可以任意指定管面位置更好。該情況下，如果將010作為管面位置，則作為管面位置信息只要發(fā)送010就可以。
不限于上述的利用函數(shù)的非等間隔表現(xiàn)，也可以是接收側(cè)具備表。當(dāng)然，也可以在接收側(cè)準(zhǔn)備多個這樣的表，根據(jù)從發(fā)送側(cè)發(fā)送來的表指定信息來選擇表。
③在將二維圖像作為數(shù)據(jù)提供時，發(fā)送側(cè)裝置1將因所述二維圖像的畫面區(qū)域不同而以不同位數(shù)表示的深度圖像作為所述二維圖像的附屬信息，和該二維圖像數(shù)據(jù)一起發(fā)送。該情況下，優(yōu)選與二維圖像的中央側(cè)相比，在外周側(cè)減少所述深度信息的位數(shù)。例如，如圖7所示，外周設(shè)為3位，中央的50％×50％區(qū)域設(shè)為6位。雖然可以采用在發(fā)送接收期間固定性地決定一個區(qū)域分割圖案的方法，但也可以是準(zhǔn)備多個區(qū)域分割圖案，在接收側(cè)指定任意圖案?；蛘咭部梢杂浭雒恳粋€像素的最初是哪個位的信息。例如，如果定義0為3位、定義1為6位，則像素信息可以記述為，像素1(0 000)、像素2(0 000)、像素3(1 000000)......。
而且，在上述的區(qū)域分割例子中是分割為兩個，但不限于這些，也可以如圖8所示，分割為3位區(qū)域、4位區(qū)域、和6位區(qū)域等三個區(qū)域。另外，也可以根據(jù)圖像內(nèi)容(目標(biāo)配置狀態(tài))或景物(在時間軸上)而使分割區(qū)域圖案不同。另外，在圖8所示的人物圖像的情況下，人物的臉、身體等結(jié)構(gòu)是可以唯一定義的，所以，其構(gòu)成可以是準(zhǔn)備對應(yīng)于那些的深度圖像表，當(dāng)攝像對象為人物時，通過選擇(由操作者的選擇或通過自動判定攝像對象來選擇)對應(yīng)其的深度圖像表，從而可以自動選擇圖8的分割區(qū)域圖案。
④是在將二維圖像作為數(shù)據(jù)提供時，發(fā)送側(cè)裝置1將附加在所述二維圖像上的共同值的深度圖像作為所述二維圖像的附屬信息，和該二維圖像數(shù)據(jù)一起發(fā)送。雖然可以使深度圖像基本上等于二維圖像，但不限于這些，也可能不同于二維圖像。例如，對二維圖像的2×2像素分配深度圖像的一個像素(深度圖像的分辨率變?yōu)?D圖像的1/4)。并且，也可以與二維圖像的中央從相比，在外周側(cè)增加提供所述共同值的深度信息的像素數(shù)。例如，如圖9(a)所示，在外周以3×3像素(pixel)提供共同的深度信息，在中央的50％×50％區(qū)域以2×2像素提供共同的深度信息。雖然可以采用在接收發(fā)送期間固定性地決定一個區(qū)域分割圖案的方法，但也可以采用先準(zhǔn)備多個區(qū)域分割圖案，在接收側(cè)指定任意圖案的方法。在深度圖像(單色圖像)的發(fā)送中，如圖9(b)所示，分割為4個區(qū)域(區(qū)域V相當(dāng)于所述中央的50％×50％區(qū)域)，以每一個區(qū)域為單位按順序發(fā)送。
⑤在將二維圖像作為數(shù)據(jù)提供時，發(fā)送側(cè)裝置1將向所述二維圖像中的每一個目標(biāo)提供的第一深度圖像和向構(gòu)成每一個目標(biāo)的像素提供的第二深度圖像，作為所述二維圖像的附屬信息，和該二維圖像數(shù)據(jù)一起發(fā)送。即，一旦用深度圖像大量地表現(xiàn)目標(biāo)，進(jìn)一步細(xì)分深度圖像后分配給每一個目標(biāo)。圖10是表示該方法的概念的說明圖。在圖10(b)中表示從上側(cè)看圖10(a)所示的攝像狀態(tài)時的被攝像體(目標(biāo))的深度狀態(tài)。該圖10(b)的深度狀態(tài)不僅作為圖像存在，還在攝影時或編輯時等中作為信息提供。即，如圖10(c)所示，將深度狀態(tài)分割為籠統(tǒng)的層，對位于其層上位置的每一個目標(biāo)提供分層信息(第一深度圖像)。然后，對每一個目標(biāo)的像素分配第二深度圖像。圖11是表示圖像發(fā)送的具體例。該圖11的圖像號碼1是作為原圖像而被發(fā)送的圖像，對此附加圖像號碼2的圖像(第一深度圖像)。進(jìn)一步，附加作為每一個目標(biāo)的第二深度圖像的圖像(圖像號碼3、圖像號碼4、圖像號碼5)。即，從發(fā)送側(cè)發(fā)送圖像號碼1到圖像號碼5的圖像，在接收側(cè)利用這些5個圖像來合成1個圖像。并且，在此例中，每一個目標(biāo)的第二深度圖像信息并未設(shè)為相同位數(shù)，而是人為8位、樹為4位等不同的位。
⑥在將二維圖像作為數(shù)據(jù)提供時，發(fā)送側(cè)裝置1將提供給所述二維圖像中的每一個目標(biāo)的深度圖像和每一個目標(biāo)的形狀信息作為所述二維圖像的附屬信息，和該二維圖像數(shù)據(jù)一起發(fā)送。圖12表示該圖像發(fā)送的具體例。該圖12的圖像號碼1是作為原圖像而被發(fā)送的圖像，對此附加圖像號碼2的單色圖像(深度圖像)。進(jìn)一步，附加每一個目標(biāo)的構(gòu)成要素的形狀信息。該形狀信息，例如，由目標(biāo)號碼(例如，表示人、樹中的哪一個的信息)、構(gòu)成要素號碼(例如，表示人的頭部、身體、腿等構(gòu)成要素的信息)、形狀信息(表示所述構(gòu)成要素是球、圓柱還是圓錐的信息)、構(gòu)成要素之間的配置信息(例如，在樹中三角錐球的下面存在圓柱等的信息)等構(gòu)成。對不能特定形狀的山，作為單色圖像(深度圖像)發(fā)送。在接收側(cè)，利用這些信息來合成一個圖像。
如圖1(c)所示，接收側(cè)裝置2接收圖像數(shù)據(jù)、深度圖像、其他附屬信息。這些數(shù)據(jù)只要是多路復(fù)用，就可以進(jìn)行多路分配(DEMUX)處理。對圖像數(shù)據(jù)的譯碼處理基本上采用例如基于MPEG的處理等。然后，在接收側(cè)裝置2中，根據(jù)圖像數(shù)據(jù)和深度圖像等生成提供視差的右眼圖像105R和左眼圖像105L。因此，在接收側(cè)裝置2具備用于接收數(shù)據(jù)的接收部21(調(diào)制解調(diào)器、調(diào)諧器等)、多路分配器22(DEMUX)、譯碼部23、根據(jù)二維圖像數(shù)據(jù)和深度圖像來生成視差圖像的圖像生成部24、監(jiān)視器25等。
接收側(cè)裝置2例如通過在監(jiān)視器前面位置具備液晶阻擋層，從而可以進(jìn)行平面觀察圖像的顯示和立體觀察圖像的顯示的雙方。例如，立體觀察圖像若為右眼圖像和左眼圖像交替配置成縱向帶狀的圖像，則通過CPU的控制，在液晶阻擋層形成縱向帶狀的遮光區(qū)域。另外，不限于右眼圖像和左眼圖像交替配置成縱向帶狀的立體圖像，例如，也可以是將右眼圖像和左眼圖像交替配置成斜向配置的立體圖像(參照特許第3096613號公報)，該情況下，在液晶阻擋層形成斜向阻擋層。
接收側(cè)裝置2的CPU26從多路分配器22接收所述其他附屬信息，并執(zhí)行基于該附屬信息的圖像顯示控制處理。下面，說明該圖像顯示控制處理。
如果接收側(cè)裝置2的CPU26將標(biāo)度信息作為附屬信息而取得，則根據(jù)該標(biāo)度信息和深度圖像來決定視差量(像素偏移量)。即，即使對于某些像素已經(jīng)設(shè)定有A值的深度值，在標(biāo)度信息為B的情況和C的情況(B≠C)，視差圖像的像素偏移量也會變得不同。CPU26向圖像生成部24提供視差量信息，圖像生成部24根據(jù)視差量信息生成視差圖像。
如果接收側(cè)裝置2的CPU26將函數(shù)指定信息作為附屬信息而取得，則根據(jù)該函數(shù)指定信息來選擇函數(shù)。存儲器27中存儲有使由深度圖像值表示的距離等效值相對該深度信息值的等級差別變?yōu)榉堑乳g隔的多個函數(shù)(定義)。CPU26根據(jù)所選擇的函數(shù)和所接收的深度值，運算出視差量(像素偏移量)。在此利用圖5(a)進(jìn)行具體說明。接收側(cè)裝置2利用B＝(M-A)/2的運算和2的B次方的運算，獲得深度值A(chǔ)與A-1之間的視差間隔。另外，由于視差間隔本身可以由表示深度值的位數(shù)來決定，故也可以將視差間隔本身與位數(shù)加以對應(yīng)后存儲在所述存儲器27中，讀出這些。管面位置是深度值設(shè)為010的地點。在所接收的深度值為010時，101比101大三個刻度，所以通過4+2+2的運算而獲得視差量8。CPU26向圖像生成部24提供視差量信息，圖像生成部24根據(jù)視差量信息來生成視差圖像。
如果接收側(cè)裝置2的CPU26將表指定信息作為附屬信息而取得，則根據(jù)該表指定信息來選擇表。在存儲器27中存儲有將深度值與視差量加以對應(yīng)的多個表。如果以所述圖5(a)為例，則表的內(nèi)容變?yōu)?00＝-12、001＝-4、010＝0......的表。例如，CPU26作為地址例如向所述表提供所接收的深度值之后，從該表中讀出視差量信息，并將該視差量信息提供給圖像生成部24，圖像生成部24根據(jù)視差量信息來生成視差圖像。
接收側(cè)裝置2依據(jù)圖5(a)(b)所示的設(shè)定時生成視差圖像，該圖像相當(dāng)于非等間隔的成為大間隔的區(qū)域形成在距離觀察者遠(yuǎn)的位置上，變?yōu)樾￠g隔的區(qū)域形成在距離觀察者近的位置上。并且，接收側(cè)裝置2依據(jù)圖5(a)(b)所示的設(shè)定時，生成視差圖像，該視差圖像相當(dāng)于非等間隔的變?yōu)榇箝g隔的區(qū)域形成在距離圖像顯示面位置遠(yuǎn)的位置上，變?yōu)樾￠g隔的區(qū)域形成在距離圖像顯示面位置近的位置上。
在接收側(cè)裝置2取得因二維圖像的畫面不同區(qū)域而以不同位數(shù)表示的深度圖像的情況下，將所述二維圖像的畫面區(qū)域中以不同位數(shù)表示的深度圖像應(yīng)用在每一個像素中，以生成立體觀察用圖像。例如，如圖7所示，在從發(fā)送側(cè)接收了表示已經(jīng)選擇其外周設(shè)為3位、中央的50％×50％的區(qū)域設(shè)為6位的圖案的情況下，從由該信息特定的圖案，CPU26判斷每一個深度值的位數(shù)。并且，在記述有每一個深度值(像素)的最初為哪個位的信息的情況下，按照其記述可以判斷每一個深度值的位數(shù)。
接收側(cè)裝置2取得比二維圖像像素數(shù)還少的深度信息的情況下，應(yīng)用附加在所述二維圖像多數(shù)像素上的共同值的所述深度信息，生成立體觀察用圖像。例如，如圖9(a)所示，從發(fā)送側(cè)接收了表示已經(jīng)選擇外周以3×3像素提供共同的深度信息、中央的50％×50％的區(qū)域以2×2像素提供共同的深度信息模型的情況下，從由該信息特定的圖案，CPU26判斷哪一個像素已經(jīng)組合化并提供有共同的深度信息。然后，例如，在圖像生成部24進(jìn)行對二維圖像的第一行的從左的3個像素份、第二行的從左的3個像素份、第三行的從左的3個像素份合計9個像素份的視差圖像生成處理時，變?yōu)槔脧腃PU26提供的共同的(一個)視差量。
接收側(cè)裝置2取得對二維圖像中的每一個目標(biāo)提供的第一深度信息和對構(gòu)成每一個目標(biāo)的像素提供的第二深度信息，在第一深度信息中加進(jìn)所述第二深度信息，以生成每一個像素的深度信息。例如，如圖11所示，接收側(cè)裝置2接收發(fā)送側(cè)所發(fā)送的圖像號碼1到圖像號碼5的圖像，CPU26根據(jù)利用圖像號碼2的每一個目標(biāo)的2位的深度圖像、和利用圖像號碼3到圖像號碼5的每一個目標(biāo)的構(gòu)成像素的深度圖像，來生成每一個像素的視差量信息。CPU26向圖像生成部24提供視差量信息，圖像生成部24根據(jù)視差量信息而生成視差圖像。
接收側(cè)裝置2在其存儲器27中存儲有構(gòu)成每一個形狀(球、圓柱、三角錐)的像素群的每一個像素上加以對應(yīng)了深度信息的深度表。并且，在作為附屬信息取得每一個目標(biāo)的形狀信息時，選擇對應(yīng)于其形狀的深度表而讀出深度信息。對該深度信息(單色圖像)進(jìn)行與所謂的像素補(bǔ)充或像素剔除處理相當(dāng)?shù)奶幚?，可以使深度圖像對應(yīng)于目標(biāo)的大小。CPU26在向各目標(biāo)提供的深度信息中加入從上述表得到的深度信息，生成各像素的視差量信心。CPU26向圖像生成部24提供視差量信息，圖像生成部24根據(jù)視差量信息而生成視差圖像。
如上述所說明的，根據(jù)本發(fā)明，能夠進(jìn)行多樣的立體圖像顯示。并且，獲得可以削減所提供的信息量的效果。
權(quán)利要求
1.一種立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，作為附屬信息，和該二維圖像的數(shù)據(jù)一起提供的是對將所述二維圖像的數(shù)據(jù)變換為立體觀察用圖像有用的深度信息；和該深度信息值的標(biāo)度信息。
2.一種立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，作為附屬信息，和該二維圖像的數(shù)據(jù)一起提供的是對將所述二維圖像的數(shù)據(jù)變換為立體觀察用圖像有用的深度信息；將該深度信息值所表示的距離等效值相對該深度信息值的等級差別設(shè)為非等間距用的定義信息。
3.根據(jù)權(quán)利要求2所述的立體觀察用圖像提供方法，其特征在于，所述定義信息是從函數(shù)群指定任意函數(shù)的信息。
4.根據(jù)權(quán)利要求3所述的立體觀察用圖像提供方法，其特征在于，使附屬信息中包含表示所述深度信息值中的哪一個值成為圖像顯示面位置的信息。
5.根據(jù)權(quán)利要求2所述的立體觀察用圖像提供方法，其特征在于，所述定義信息是從相對深度信息值而預(yù)先設(shè)定視差量的表群中指定任意表的信息。
6.根據(jù)權(quán)利要求2至5中任一項所述的立體觀察用圖像提供方法，其特征在于，設(shè)定所述定義信息，以便將所述非等間隔的變?yōu)榇箝g隔的區(qū)域形成在距離觀察者遠(yuǎn)的位置上，將變?yōu)樾￠g隔的區(qū)域形成在距離觀察者近的位置上。
7.根據(jù)權(quán)利要求2至5所述的立體觀察用圖像提供方法，其特征在于，設(shè)定所述定義信息，以便將所述非等間隔的變?yōu)榇箝g隔的區(qū)域形成在距離圖像顯示面位置遠(yuǎn)的位置上，將變?yōu)樾￠g隔的區(qū)域形成在距離圖像顯示面位置近的位置上。
8.一種立體觀察用圖像提供方法，其特征在，在將二維圖像作為數(shù)據(jù)提供時，將以所述二維圖像的畫面區(qū)域不同而以不同位數(shù)表示的深度信息作為所述二維圖像的附屬信息，和該二維圖像的數(shù)據(jù)一起提供。
9.根據(jù)權(quán)利要求8所述的立體觀察用圖像提供方法，其特征在于，與所述二維圖像的中央側(cè)相比，在外周側(cè)減少所述深度信息的位數(shù)。
10.根據(jù)權(quán)利要求8或9所述的立體觀察用圖像提供方法，其特征在于，將表示在畫面的哪一個區(qū)域中以哪個位來表示深度信息的信息，作為附屬信息，和該二維圖像的數(shù)據(jù)一起提供。
11.根據(jù)權(quán)利要求8或9所述的立體觀察用圖像提供方法，其特征在于，將表示每一個像素是以哪個位來表示深度信息的信息，作為附屬信息，和該二維圖像的數(shù)據(jù)一起提供。
12.一種立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，將附加在所述二維圖像的多個像素上的共同值的深度信息作為所述二維圖像的附屬信息，和該二維圖像的數(shù)據(jù)一起提供。
13.根據(jù)權(quán)利要求12所述的立體觀察用圖像提供方法，其特征在于，與所述二維圖像的中央側(cè)相比，在外周側(cè)增多提供所述共同值的深度信息的像素數(shù)。
14.一種立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，將向所述二維圖像中的每一個目標(biāo)提供的第一深度信息和向構(gòu)成每一個目標(biāo)的像素提供的第二深度信息，作為所述二維圖像的附屬信息，和該二維圖像的數(shù)據(jù)一起提供。
15.一種立體觀察用圖像提供方法，其特征在于，在將二維圖像作為數(shù)據(jù)提供時，將向所述二維圖像中的每一個目標(biāo)提供的第一深度信息和每一個目標(biāo)的形狀信息，作為所述二維圖像的附屬信息，和該二維圖像的數(shù)據(jù)一起提供。
16.根據(jù)權(quán)利要求1至15所述的立體觀察用圖像提供方法，其特征在于，信息的提供是通過廣播、通信、向記錄介質(zhì)的記錄的任意一種來進(jìn)行的。
17.一種立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得標(biāo)度信息和深度信息的機(jī)構(gòu)；由所述標(biāo)度信息和所述深度信息來生成視差量的機(jī)構(gòu)；和根據(jù)所述視差量生成立體觀察用圖像的機(jī)構(gòu)。
18.一種立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得深度信息和函數(shù)指定信息的機(jī)構(gòu)；存儲將由所述深度值來表示的距離等效值相對該深度信息值的等級差別設(shè)為非等間隔的多個函數(shù)、的機(jī)構(gòu)；根據(jù)所述函數(shù)指定信息來選擇函數(shù)的機(jī)構(gòu)；利用所選擇的函數(shù)和所述深度信息來生成視差量的機(jī)構(gòu)；和根據(jù)所述視差量來生成立體觀察用圖像的機(jī)構(gòu)。
19.根據(jù)權(quán)利要求18所述的立體圖像顯示裝置，其特征在于，利用表示圖像顯示面位置的信息，可以判定提供基準(zhǔn)視差量的深度值。
20.一種立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得深度信息和表指定信息的機(jī)構(gòu)；存儲將由所述深度值來表示的距離等效值相對該深度信息值的等級差別設(shè)為非等間隔的多個表、的機(jī)構(gòu)；根據(jù)所述表指定信息來選擇表的機(jī)構(gòu)；利用所選擇的表和所述深度信息來生成視差量的機(jī)構(gòu)；和利用所述視差量來生成立體觀察用圖像的機(jī)構(gòu)。
21.一種立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得因所述二維圖像的畫面區(qū)域不同而以不同位數(shù)表示的深度信息的情況下，將所述二維圖像的畫面區(qū)域中用不同位數(shù)表示的深度信息應(yīng)用在畫面區(qū)域的每一個像素，以生成立體觀察用圖像的機(jī)構(gòu)。
22.一種立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得數(shù)量比所述二維圖像的像素數(shù)還少的深度信息的情況下，應(yīng)用附加在所述二維圖像的多個像素上的共同值的所述深度信息，以生成立體觀察用圖像的機(jī)構(gòu)。
23.一種立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得向所述二維圖像中的每一個目標(biāo)提供的第一深度信息和提供給構(gòu)成每一個目標(biāo)的像素的第二深度信息的機(jī)構(gòu)；在所述第一深度信息中加入所述第二深度信息，以生成每一個像素的深度信息的機(jī)構(gòu)；和根據(jù)每一個像素的深度信息，生成立體觀察用圖像的機(jī)構(gòu)。
24.一種立體圖像顯示裝置，其中利用所取得的二維圖像數(shù)據(jù)及其附屬信息來生成立體觀察用圖像，其特征在于，包括從所述附屬信息取得提供給所述二維圖像中的每一個目標(biāo)的深度信息和每一個目標(biāo)的形狀信息的機(jī)構(gòu)；存儲將深度信息與構(gòu)成每一個形狀的像素群的每一個像素加以對應(yīng)的表、的機(jī)構(gòu)；根據(jù)所述形狀信息選擇所述表的機(jī)構(gòu)；將從所述表獲得的深度信息加入到提供給所述每一個目標(biāo)的深度信息中，以生成每一個像素的深度信息的機(jī)構(gòu)；和根據(jù)所述每一個像素的深度信息，生成立體觀察用圖像的機(jī)構(gòu)。
全文摘要
在發(fā)送側(cè)裝置(1)中，對實際攝影的二維圖像(100)進(jìn)行圖像分析后生成圖像數(shù)據(jù)，同時生成對將所述二維圖像變換為立體觀察用圖像有用的深度信息。并且，也生成標(biāo)度信息、函數(shù)指定信息、表指定信息等其他附屬信息，并向接收側(cè)裝置(2)發(fā)送這些信息。接收側(cè)裝置(2)接收圖像數(shù)據(jù)、深度信息、和所述其他附屬信息，根據(jù)這些信息生成視差圖像，對觀察者進(jìn)行立體觀察。
文檔編號G06T19/00GK1739303SQ200480002440
公開日2006年2月22日 申請日期2004年1月19日 優(yōu)先權(quán)日2003年1月20日
發(fā)明者竹本賢史, 濱岸五郎, 野村敏男 申請人:三洋電機(jī)株式會社, 夏普株式會社