專利名稱：圖像處理裝置及方法、以及圖像顯示裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施方式涉及圖像處理裝置及方法、以及圖像顯示裝置。
背景技術(shù)：
存在使視聽者觀察立體圖像的圖像顯示裝置。在圖像顯示裝置中，在排列了多個像素的顯示面板的前表面，設(shè)置用于控制來自各像素的光線的射出方向的光線控制部，顯示相互具有視差的多個視差圖像。例如，在如幕布和顯示器等那樣顯示區(qū)域自身能夠彎曲的情況、由于經(jīng)年變化而面板和鏡頭的一部分變形或者剝離的情況下，在這樣的圖像顯示裝置中，視聽者觀看的圖像看起來不立體。

發(fā)明內(nèi)容
本實施方式的目的在于提供一種能夠使畫面成為正常視覺區(qū)域的圖像處理裝置及方法、以及圖像顯示裝置。根據(jù)實施方式，圖像處理裝置具備第I取得部、第2取得部、校正部以及第I生成部。第I取得部取得相互具有視差的多個所述視差圖像。第2取得部在將顯示所述立體圖像的顯示區(qū)域分割為包括至少I個所述要素圖像的多個區(qū)域而得到的各區(qū)域中，取得從預(yù)定的視點位置應(yīng)被觀察的視差圖像的識別信息。校正部將所述視差圖像中的與所述區(qū)域?qū)?yīng)的位置的像素校正為通過所述識別信息確定的視差圖像的像素。第I生成部根據(jù)校正后的所述視差圖像生成所述立體圖像。根據(jù)本實施方式，能夠提供能夠使畫面成為正常視覺區(qū)域的圖像處理裝置及方法、以及圖像顯示裝置。


圖1是實施方式I的圖像顯示裝置的概略圖。圖2是示出顯示裝置的示意圖。圖3是示出顯示裝置的示意圖。圖4是從要素圖像的各像素射出的光線方向的說明圖。圖5是示出構(gòu)成要素圖像的像素的示意圖。圖6是光線方向均勻的情況下的示意圖。圖7是光線方向不均勻的情況下的示意圖。圖8是實施方式I的圖像處理裝置的框圖。
圖9是示出實施方式I的圖像處理的步驟的流程圖。圖10是示出視差圖像的校正的示意圖。圖11是示出要素圖像的各像素的亮度分布的圖。圖12是實施方式2的圖像處理裝置的框圖。圖13是示出亮度分布的一個例子的圖。圖14是示出顯示裝置與視點位置m的位置關(guān)系的圖。圖15是示出實施方式2的圖像處理的步驟的流程圖。圖16是示出視差圖像的校正的示意圖。圖17是示出亮度分布的校正的示意圖。圖18是實施方式3的圖像處理裝置的框圖。圖19是示出濾波器系數(shù)的插值的示意圖。
具體實施例方式(實施方式I)本實施方式的圖像處理裝置能夠應(yīng)用于視聽者能夠用裸眼觀察立體圖像的TV (電視)、PC (Personal Computer,個人電腦)、智能手機、數(shù)碼相框等圖像顯示裝置。立體圖像是指，包括相互具有視差的多個視差圖像的圖像。另外，實施方式中敘述的圖像既可以是靜止圖像也可以是運動圖像。圖1是本實施方式的圖像顯示裝置10的概略圖。圖像顯示裝置10具備顯示裝置
14、以及圖像處理裝置12。顯示裝置14顯示立體圖像。顯示裝置14例如采用積分成像方式(II方式)、多眼方式等3D顯示方式。顯示裝置14具備顯示面板20和光線控制部22。顯示面板20是在第I方向(例如，圖1中的行方向(左右))和第2方向(例如，圖1中的列方向(上下))上矩陣狀地排列了具有顏色成分的多個子像素(例如，R、G、B)的液晶面板。在該情況下，在第I方向上排列的RGB各色的子像素構(gòu)成I個像素。另外，將在第I方向排列了視差數(shù)量的鄰接的像素而得到的像素群中顯示的圖像稱為要素圖像。即，顯示裝置14顯示矩陣狀地排列了多個要素圖像的立體圖像。顯示裝置14的子像素的排列也可以是其他公知的排列。另外，子像素不限于RGB這3色。例如，也可以是4色以上。在顯示面板20中，使用直視型二維顯示器、例如有機EL(Organic ElectroLuminescence,有機電致發(fā)光)、LCD (Liquid Crystal Display,液晶顯不器)、PDP (PlasmaDisplay Panel，等離子顯示器)、投射型顯示器等。另外，顯示面板20也可以是具備背光源的結(jié)構(gòu)。光線控制部22相對顯示面板20隔開間隔而對向地配置。光線控制部22控制來自顯不面板20的各像素的光線的射出方向。關(guān)于光線控制部22,使用于射出光線的光學(xué)性的開口部直線狀地延伸，并在第I方向排列多個該光學(xué)性的開口部。在光線控制部22中，使用例如排列了多個柱面透鏡的光柵片、排列了多個狹縫的視差屏障等。與顯示面板20的各要素圖像對應(yīng)地配置光學(xué)性的開口部。另外，在本實施方式中，說明圖像顯示裝置10是在第2方向排列同一顏色成分的子像素、并且在第I方向反復(fù)排列各顏色成分的“縱條狀排列”的情況。另外，在本實施方式中，說明以使其光學(xué)性的開口的延伸方向與顯示面板20的第2方向一致的方式，配置了光線控制部22的情況。另外，也可以以使其光學(xué)性的開口的延伸方向相對顯示面板20的第2方向具有傾斜的方式，配置光線控制部22。圖2是將顯示裝置14的一部分的區(qū)域放大而示出的示意圖。另外，圖2中的符號
(I) (3)分別表示視差圖像的識別信息。另外，在本實施方式中，作為視差圖像的識別信息，使用對視差圖像的各個唯一地賦予的視差編號。同一視差編號的像素是顯示同一視差圖像的像素。在圖2所示的例子中，按照視差編號I 3的順序，排列通過各視差編號確定的視差圖像的像素，而作為要素圖像24。圖2的例子中的視差數(shù)是3視差(視差編號I 3)，但也可以是其他視差數(shù)(例如，視差編號I 9的9視差)。如圖2所示，在顯示面板20中，在第I方向以及第2方向上矩陣狀地排列了要素圖像24。在視差數(shù)是3的情況下，各要素圖像24是在第I方向依次排列了視差圖像I的像素2七、視差圖像2的像素242、視差圖像3的像素243的像素群。各要素圖像24中的、從各視差圖像的像素(像素2七 像素243)射出的光線到達光線控制部22。然后，通過光線控制部22，控制行進方向和散射，朝向顯示裝置14的整個面射出。例如，各要素圖像24中的、從視差圖像I的像素2七射出的光向箭頭ZI方向射出。另外，各要素圖像24中的從視差圖像2的像素242射出的光向箭頭Z2方向射出。另外，各要素圖像24中的從視差圖像3的像素243射出的光向箭頭Z3方向射出。這樣，在顯示裝置14中，通過光線控制部22調(diào)整從各要素圖像24的各像素射出的光的射出方向。圖3是示出視聽者18觀察了顯示裝置14的狀態(tài)的示意圖。在顯示面板20中顯示由多個要素圖像24構(gòu)成的立體圖像。于是，視聽者18在左眼18A以及右眼18B的各個視點位置m(m2、ml)觀察要素圖像24中包含的不同的視差圖像的像素。這樣，通過針對視聽者18的左眼18A以及右眼18B，分別顯示視差不同的圖像，能夠使視聽者18觀察立體圖像。此處，將從各要素圖像24的各像素射出的光經(jīng)由光線控制部22，向預(yù)先設(shè)定的方向射出。但是，從各要素圖像24的各像素射出的光有時向與預(yù)先設(shè)定的方向不同的方向射出。因此，顯示裝置14中顯示的立體圖像的各要素圖像24中的、從相同的視差編號的像素射出的光有時向不同的方向射出，而在顯示裝置14的顯示區(qū)域整體中產(chǎn)生偏差。圖4是說明從各要素圖像24的各像素射出的光線方向的圖。圖4(A)示出從各要素圖像24的像素(2七 243)射出的光向預(yù)先設(shè)定的方向射出的情況。如圖4(A)所示，在例如預(yù)先設(shè)定的狀態(tài)下，要素圖像24中的、從視差編號3的像素243射出的光線經(jīng)由光線控制部22向箭頭Z3方向射出。另外，要素圖像24中的、從視差編號2的像素242射出的光線經(jīng)由光線控制部22向箭頭Z2方向射出。另外，要素圖像24中的、從視差編號I的像素24:射出的光線經(jīng)由光線控制部22向箭頭Zl方向射出。圖4(B)是示出從各要素圖像24的像素(2七 243)射出的光向與預(yù)先設(shè)定的方向不同的方向射出的情況的示意圖。如圖4(B)所示，要素圖像24中的、從視差編號3的像素243射出的光線有時經(jīng)由光線控制部22向箭頭Z2方向而并非箭頭Z3方向射出。另外，要素圖像24中的、從視差編號2的像素242射出的光線有時經(jīng)由光線控制部22向箭頭Z3方向而并非箭頭Z2方向射出。認為由于例如下述主要原因而產(chǎn)生這樣的從各要素圖像24的像素射出的光線方向的偏差。例如，可以舉出顯示裝置14中的顯示區(qū)域的歪斜、顯示裝置14的經(jīng)年劣化、顯示面板20和光線控制部22的間隙不均等。如果產(chǎn)生了顯示裝置14的經(jīng)年劣化，則有顯示面板20和光線控制部22的一部分剝離、或者在顯示面板20與光線控制部22的間隙中產(chǎn)生不均的情況。因此，在顯示裝置14的顯示區(qū)域整體中，有時在從各要素圖像24的同一視差編號的像素射出的光線方向上產(chǎn)生偏差。如果產(chǎn)生這樣的偏差，則成為雖然在顯示裝置14的某區(qū)域中能觀察到良好的立體圖像，但在某區(qū)域中無法觀察立體圖像的狀態(tài)。進一步具體說明該現(xiàn)象。圖5是示出視差數(shù)是9的情況下的、構(gòu)成要素圖像24的像素(2七 249)的示意圖。各像素(21 249)分別是通過視差編號I 視差編號9分別確定的視差圖像的像素。圖6是示出在視差數(shù)是9的情況下，從同一視差編號的像素射出的光線方向均勻的情況的圖。另外，光線方向均勻是指，從各要素圖像24的各視差編號的像素射出的光線方向與預(yù)先設(shè)定的方向一致的狀態(tài)。更具體而言，表示從某視點位置(單眼)在各區(qū)域P之間觀察通過同一視差編號確定的視差圖像的像素。另外，區(qū)域P是指，將顯示裝置14中的立體圖像的顯示區(qū)域分割為多個區(qū)域時的各區(qū)域P?？梢灶A(yù)先設(shè)定將顯示裝置14中的立體圖像的顯示區(qū)域分割為多個區(qū)域P時的分割方法。例如，既可以將顯示裝置14中的與各要素圖像24對應(yīng)的各個區(qū)域作為區(qū)域P，也可以針對多個要素圖像24的每一個設(shè)定I個區(qū)域P。另外，在本實施方式中，將顯示裝置14中的立體圖像的顯示區(qū)域中的與各要素圖像24對應(yīng)的區(qū)域作為將顯示裝置14中的立體圖像的顯示區(qū)域分割為多個區(qū)域時的區(qū)域P進行說明。另外，視點位置表示對立體圖像進行視聽的視聽者的位置。更具體而言，視點位置表示視聽者的單眼的位置。圖6㈧是示出在光線方向均勻的情況下，從某視點位置在顯示裝置14的顯示區(qū)域的各區(qū)域P(Pa Pe)中觀察的視差圖像的視差編號的圖。另外，設(shè)為從視點位置m應(yīng)被觀察的視差圖像是視差編號為5的視差圖像。在該情況下，如圖6(A)所示，如果視聽者從某視點位置m用單眼觀察了顯示裝置14，則能夠在顯示裝置14的全部區(qū)域內(nèi)觀察視差編號5的視差圖像。S卩，如圖6(B)所示，在視點位置m，從顯示裝置14，從各區(qū)域Pa Pe，入射來自視差編號為5的視差圖像的像素的光。同樣地，如果視聽者用另一方的單眼觀察了顯示裝置14，則作為應(yīng)被觀察的視差編號的視差圖像，能夠觀察到例如視差編號為3 (圖示省略)的視差圖像。因此，在光線方向均勻的情況下，如果視聽者用雙眼觀察了顯示裝置14，則不論使視線偏向?qū)@示裝置14的整個區(qū)域分割為多個區(qū)域而得到的區(qū)域的哪一個區(qū)域P，都能夠觀察立體圖像。圖7是示出在視差數(shù)是9的情況下，從同一視差編號的像素射出的光線方向不均勻的情況的圖。另外，光線方向不均勻是指，在從各要素圖像24的各視差編號的像素射出的光線方向中，包含與預(yù)先設(shè)定的方向不同的方向的情況。更具體而言，表示從某視點位置(單眼)在各區(qū)域P之間觀察通過不同的視差編號確定的視差圖像的像素。圖7(A)是示出在光線方向不均勻的情況下，從某視點位置，在顯示裝置14的顯示區(qū)域的各區(qū)域P(Pf Pj)中觀察的視差圖像的視差編號的圖。另外，設(shè)為從視點位置m應(yīng)被觀察的視差圖像是視差編號為5的視差圖像。在該情況下，在光線方向不均勻的情況下，如果視聽者從某視點位置m用單眼觀察了顯示裝置14，則在各區(qū)域中觀察到不同的視差編號的視差圖像。例如，如圖7(A)所示，產(chǎn)生觀察到視差編號5的區(qū)域Ph、觀察到視差編號I的區(qū)域Pf、以及觀察到視差編號9的區(qū)域Pj。S卩，如圖7⑶所示，在視點位置m，從顯示裝置14的各區(qū)域Pf Pj，入射來自不同的視差編號(1、4、5、9)的視差圖像的像素的光。因此，在光線方向不均勻的情況下，如果視聽者用雙眼觀察顯示裝置14，則通過顯示裝置14上的區(qū)域P，產(chǎn)生能夠觀察立體圖像的區(qū)域、和無法觀察立體圖像的區(qū)域(逆視區(qū)域)。如上所述，由于顯示裝置14的歪斜等，從顯示裝置14的各區(qū)域P中包含的要素圖像24的各視差圖像的像素射出的光線方向有時射向與假想的方向不同的方向。于是，觀察到與從某視點位置應(yīng)被觀察的視差編號不同的視差編號的視差圖像，畫面整個區(qū)域不成為正常視覺區(qū)域，而無法實現(xiàn)立體視覺。因此，有時在顯示裝置14的顯示區(qū)域上，產(chǎn)生能夠觀察立體圖像的區(qū)域P、和無法觀察立體圖像的區(qū)域P。因此，在本實施方式中，圖像處理裝置12根據(jù)視點位置、和在將顯示裝置14分割為多個區(qū)域而得到的各區(qū)域P的各像素中從該視點位置應(yīng)被觀察的像素的視差圖像的視差編號(識別信息)，將視差圖像中的、與校正對象的區(qū)域P對應(yīng)的位置的像素校正為該應(yīng)觀察的像素。然后，將根據(jù)校正后的視差圖像生成的立體圖像顯示于顯示裝置14。因此，在本實施方式的圖像處理裝置12中，能夠使畫面成為正常視覺區(qū)域。以下，詳細說明本實施方式的圖像處理裝置12。圖8是示出圖像處理裝置12的框圖。圖像處理裝置12具備第I取得部30、校正部32、第I存儲部34、第2取得部36、第2存儲部38、第I生成部40以及輸出部42。第I取得部30取得立體圖像中使用的多個(K個(K是2以上的整數(shù)))視差圖像。第I取得部30將所取得的視差圖像輸出給校正部32。第I存儲部34將各區(qū)域P和視點位置對應(yīng)起來，存儲表示從該視點位置應(yīng)被觀察的視差圖像的視差編號的第I視差編號。該視點位置如上所述，表示視聽者的實際空間上的位置。更詳細而言，在本實施方式中，視點位置表示視聽者的眼睛(即單眼)的位置。另夕卜，該視點位置表示實際空間上的三維位置坐標。另外，第I存儲部34存儲各區(qū)域P的顯示裝置14的顯示區(qū)域上的位置而作為區(qū)域P。第I視差編號表示在從對應(yīng)的視點位置觀察了對應(yīng)的區(qū)域P時應(yīng)觀察的視差圖像的視差編號。在圖像顯示裝置10中，將和視點位置與區(qū)域P的位置關(guān)系對應(yīng)的第I視差編號預(yù)先存儲到第I存儲部34。另外，也可以預(yù)先通過實驗、仿真等求出和各視點位置與區(qū)域P對應(yīng)的第I視差編號，并存儲到第I存儲部34。第2存儲部38預(yù)先存儲視聽者的單眼的位置即視點位置。對于該視點位置，預(yù)先設(shè)定能夠觀察顯示裝置14的實際空間上的任意一個位置(三維位置坐標)即可。另外，在本實施方式中，說明預(yù)先存儲I個視點位置的情況，但也可以存儲多個視點位置。另外，在本實施方式中，說明預(yù)先存儲視點位置的情況，但也可以從外部裝置讀取。另外，也可以設(shè)為將檢測部(圖示省略)設(shè)置于圖像顯示裝置10中，通過從該檢測部檢測視聽者的單眼的位置來取得視點位置。在檢測部中，使用照相機、傳感器等。另外，檢測部也可以通過檢測實際空間上的視聽者的左眼的三維位置坐標、以及右眼的三維位置坐標的至少一方，來檢測視點位置。第2取得部36從第I存儲部34取得與視聽者的視點位置和校正對象的區(qū)域P對應(yīng)的第I視差編號。即，第2取得部36從第I存儲部34取得從視點位置在校正對象的區(qū)域P中應(yīng)被觀察的像素的視差編號。另外，在第I存儲部34中，作為從I個視點位置在各區(qū)域P中應(yīng)被觀察的視差圖像的第I視差編號，將在該各區(qū)域P之間相同的視差編號對應(yīng)起來存儲。因此，第2取得部36優(yōu)選作為從某視點位置在各區(qū)域P應(yīng)被觀察的視差圖像的第I視差編號，取得在該各區(qū)域之間相同的視差編號。校正部32根據(jù)視點位置、和從該視點位置在各區(qū)域P的像素中應(yīng)被觀察的第I視差編號，將從第I取得部30取得的視差圖像中的、與區(qū)域P對應(yīng)的位置的像素校正為通過第I視差編號確定的視差圖像的像素。然后，校正部32將校正了的視差圖像(校正視差圖像)輸出給第I生成部40。第I生成部40根據(jù)多個校正視差圖像生成立體圖像，輸出給輸出部42。輸出部42將從第I生成部40接收到的立體圖像顯示于顯示裝置14的顯示面板20。另外，第I取得部30、校正部32、第2取得部36、第I生成部40、以及輸出部42通過CPU (Central Processing Unit,中央處理單元)來實現(xiàn)。第I存儲部34、第2存儲部38通過CPU使用的存儲器、硬盤驅(qū)動器裝置(HDD)等存儲介質(zhì)來實現(xiàn)。接下來，詳細說明由校正部32校正視差圖像的校正處理。
`
校正部32指定在將顯示裝置14的顯示區(qū)域分割為多個區(qū)域P時的全部區(qū)域P內(nèi)的、校正對象的I個區(qū)域P。另外，將顯示裝置14的各區(qū)域P的位置坐標設(shè)為(i，j)T。T表示轉(zhuǎn)置。i是顯示裝置14中的第I方向的坐標(也可以是索引)。j是顯示裝置14中的第2方向的坐標(也可以是索引)。在各視差圖像中，坐標(i，j)設(shè)為共同的。此處，區(qū)域P的位置坐標(i，j)τ中包含的要素圖像24由視差數(shù)K (K是I以上的整數(shù))的視差圖像的像素群構(gòu)成。因此，校正前的各區(qū)域P的像素群y(i，j)如下述式(I)。y (i, j) = (Y1 (i, j),...，yK(i，j))T …(I)在式⑴中、yi yK的下標Uk)表示視差編號。K表示視差數(shù)。y(i，j)表示根據(jù)由第I取得部30取得的視差圖像生成的立體圖像中的、構(gòu)成I個區(qū)域P (要素圖像24)的各視差編號的像素群。另外，yji，j)表示視差編號為I的視差圖像中的坐標(i，j)的像素值。另外，在式(I)中，“，…，”表示式(I)中的K值是大于等于2小于K-1的各視差編號的視差圖像中的坐標(i，j)的像素值。同樣地，yK(i，j)表示視差編號K的視差圖像中的坐標(i，j)的像素值。即，y(i，j)表示根據(jù)由第I取得部30取得的視差圖像(校正前的視差圖像)生成的立體圖像中的、I個區(qū)域P(要素圖像24)的像素值。校正部32使用區(qū)域P的位置坐標(i，j)T、以及與視點位置對應(yīng)的、應(yīng)觀察的第I視差編號kdst的視差圖像的像素L(i，j)，校正各視差編號的視差圖像中的坐標(i，j)的像素值。具體而言，校正部32首先使用下述式(2)，求出用于校正各視差圖像中的坐標(i，j)的像素值(Y1 (i，j) yK(i，j))的校正值C。c = kdst-L(i, j) …(2)然后，校正部32使用通過式(2)計算出的校正值C，將式(I)中的各像素值(yi(i，j) yK(i，j))分別校正為通過下述式(2A)表示的視差編號為k’的視差圖像中的相同的位置坐標的像素值。k，= mod (k+c, K) 式(2A)在式(2A)中、k表示校正前的視差編號。K表示視差數(shù)。c如上述式(2)所示。k’表不校正后的視差編號。即，校正部32將把對視差編號k加上了上述校正值c的加法值除以視差數(shù)K而得到的剩余的值即k’作為校正后的視差編號。然后，將與區(qū)域P對應(yīng)的位置的視差圖像的像素校正為通過校正后的視差編號所確定的視差圖像的像素。因此，校正后的各區(qū)域P的像素群x(i，j)如下述式(3)所示。x(i, j) = (X1 (i, j),...，xK(i，j))T …⑶在式(3)中、X1 Xk的下標O表示校正后的視差編號。S卩，在式(3)中、X1 xK的下標(^)是使用上述式(2A)對通過校正前的視差編號即式(I)中的yi yK的下標(卜κ)表示的視差編號進行了校正之后的視差編號。另外，在式(3)中、K表示視差數(shù)。x(i，j)表示根據(jù)校正后的視差圖像生成的立體圖像中的、構(gòu)成I個區(qū)域P(要素圖像24)的像素群。另外，Xl(i，j)表示視差編號為I的視差圖像中的坐標(i，j)的校正 后的像素值。另外，在式⑶中，“，…，”表示式⑶中的K的值是大于等于2小于K-1的各視差編號中的坐標(i，j)的校正后的像素值。同樣地，Xk(IjJ)表示視差編號為K的視差圖像中的坐標(i，j)的校正后的像素值。即，x(i，j)表示根據(jù)由校正部32校正之后的校正視差圖像生成的立體圖像中的、I個區(qū)域P(要素圖像24)的像素值。這樣，在本實施方式的圖像處理裝置12中，以在將顯示裝置14分割為多個區(qū)域而得到的各區(qū)域P的各像素中，觀察到從視點位置應(yīng)被觀察的第I視差編號的視差圖像的像素的方式，校正由第I取得部30取得的視差圖像。S卩，校正部32以顯示應(yīng)被觀察的第I視差編號的視差圖像的像素的方式，變更構(gòu)成各區(qū)域P的要素圖像24的多個視差圖像的像素群的排列。因此，圖像處理裝置12以在各區(qū)域P中形成假想的視覺區(qū)域的方式，使視覺區(qū)域旋轉(zhuǎn)。接下來，說明由圖像處理裝置12執(zhí)行的圖像處理的步驟。圖9是示出由本實施方式的圖像顯示裝置10執(zhí)行的圖像處理的步驟的流程圖。首先，第I取得部30取得多個視差圖像(步驟S100)。接下來，校正部32讀取第2存儲部38中存儲的視點位置(步驟S104)。接下來，圖像處理裝置12對下述步驟S106 步驟S108的處理，反復(fù)將顯示裝置14分割為預(yù)定的多個區(qū)域P的區(qū)域數(shù)量次數(shù)。首先，第2取得部36從第I存儲部34取得與在上述步驟S104中讀取的視聽者的視點位置和校正對象的區(qū)域P對應(yīng)的第I視差編號(步驟S106)。通過步驟S106的處理，第2取得部36取得應(yīng)從視點位置在校正對象的區(qū)域P中被觀察的像素的視差編號。接下來，校正部32進行校正處理(步驟108)。S卩，校正部32根據(jù)在步驟S104中取得的視點位置、和在上述步驟S106中取得的第I視差編號，將在上述步驟SlOO中取得的視差圖像中的、與校正對象的區(qū)域P對應(yīng)的位置的像素校正為應(yīng)被觀察的第I視差編號的像素。通過針對顯示裝置14中的多個區(qū)域P的全部區(qū)域P執(zhí)行步驟S106 步驟S108的處理，校正從第I取得部30取得的視差圖像，生成校正視差圖像。接下來，第I生成部40根據(jù)校正視差圖像生成立體圖像(步驟S110)。接下來，輸出部42將在步驟SllO中生成的立體圖像顯示于顯示面板20 (步驟S112)，結(jié)束本例程。圖10是示出由第I取得部30取得的視差圖像的校正的示意圖。圖10㈧是示出在顯示了根據(jù)由第I取得部30取得的視差圖像生成的立體圖像的情況下，從視點位置m在各區(qū)域P(P1 P5)中觀察的視差編號的像素的示意圖。如圖10 (A)所示，在光線方向不均勻的情況下，如果視聽者從某視點位置m用單眼觀察顯示裝置14，則針對顯示裝置14的每個區(qū)域P，觀察到不同的視差編號的視差圖像。詳細而言，如圖10⑷所示，顯示裝置14上的各區(qū)域Pl P5各自中的要素圖像24是連續(xù)排列了視差編號I 9的視差圖像的像素的結(jié)構(gòu)。而且，在來自顯示裝置14的各要素圖像24的像素的光線方向不均勻的情況下，如果從視點位置m觀察各區(qū)域Pl P5，則觀察到以下的視差編號的像素。例如，對于區(qū)域P1，從視點位置m觀察視差編號為I的像素，對于區(qū)域P2觀察視差編號為4的像素，對于區(qū)域P3觀察視差編號為5的像素。同樣地，對于區(qū)域P4，從視點位置m觀察視差編號為5的像素，對于區(qū)域P5，從視點位置m觀察視差編號為9的像素。另一方面，在本實施方式的圖像處理裝置12中，如上所述，校正部32根據(jù)視點位置m和第I視差編號，將由第I取得部30取得的視差圖像中的、與校正對象的區(qū)域P對應(yīng)的位置的像素校正為應(yīng)被觀察的第I視差編號的像素。另外，設(shè)為從視點位置m在各區(qū)域P (Pl P5)中應(yīng)被觀察的像素是視差編號為5的像素。在該情況下，通過本實施方式的圖像處理裝置12進行上述圖像處理，以使在各區(qū)域Pl P4中從視點位置m觀察的像素的視差編號成為視差編號5的方式來校正視差圖像的各像素。因此，如果使用校正后的校正視差圖像而將立體圖像顯示于顯示裝置14，則成為以在顯示裝置14的各區(qū)域Pl P4中，從視點位置m觀察視差編號為5的像素的方式旋轉(zhuǎn)了視覺區(qū)域的狀態(tài)(參照圖10(B))。因此，從各區(qū)域P (Pl P5)，視差編號為5的像素的光到達視點位置m。通過這樣以從視點位置m觀察到應(yīng)被觀察的第I視差編號的像素的方式，校正視差圖像中的、與各區(qū)域P對應(yīng)的位置的像素，從而能夠根據(jù)視點位置使畫面整個區(qū)域為正常視覺區(qū)域。如以上說明那樣，在本實施方式的圖像處理裝置12中，以在將顯示裝置14分割為多個區(qū)域而得到的各區(qū)域P的各像素中，觀察到從視點位置預(yù)定的應(yīng)被觀察的第I視差編號的視差圖像的像素的方式，校正視差圖像。然后，根據(jù)校正后的校正視差圖像生成立體圖像，顯示于顯示裝置14。因此，即使在幕布和顯示器由于經(jīng)年變化而顯示區(qū)域的一部分變形或者剝離等的情況下，也能夠使畫面整個區(qū)域為正常視覺區(qū)域，能夠立體地觀察圖像。另外，第I取得部30也可以根據(jù)所輸入的一個圖像生成各視差圖像。或者，也可以根據(jù)所輸入的立體圖像生成各視差圖像。另外，各個視差圖像也可以包括相互具有視差的區(qū)域。即，即使包括成為同一視差的區(qū)域也可以。(實施方式2)在實施方式I中，說明了以在顯示裝置14上的各區(qū)域P中，觀察到應(yīng)被觀察的第I視差編號的視差圖像的像素的方式，校正由第I取得部30取得的視差圖像，并根據(jù)校正后的校正視差圖像生成立體圖像的情況。在本實施方式中，說明根據(jù)第I視差編號、以及與視點位置和各區(qū)域P的位置關(guān)系對應(yīng)的亮度分布，校正視差圖像的情況。另外，亮度分布表示從顯示裝置14的各區(qū)域P射出的光線的亮度的角度分布。該角度表示例如第I方向(左右方向)的角度、或者第2方向(上下方向)的角度。在本實施方式中，說明角度是第2方向的角度的情況，但也可以是第I方向的角度、或者第I方向以及第2方向這雙方的角度。此處，說明到達位于某視點位置的單眼的光。圖11是示出從某區(qū)域P的要素圖像24射出的光線的亮度分布的圖。另外，在圖11中，示出了相對光線控制部22中的光學(xué)性的開口部，將由視差數(shù)3、即視差編號為I的像素24、視差編號為2的像素242、以及視差編號為3的像素243構(gòu)成的I個要素圖像24配置于顯示裝置14的區(qū)域Pl的情況。如圖11所示，從各像素(像素24 像素243的各個)射出的光經(jīng)由光線控制部22射出。經(jīng)由光線控制部22射出的光線具有寬度，所以如果在從光線控制部22離開一定距離的位置測量光線的亮度，則如圖11所示，分布于某一定的范圍內(nèi)。此處，橫軸表示位置、縱軸表示強度，像素2七的亮度分布是506、像素242的光線分布是505、像素243的光線分布是504。在從某視點位置m觀察了顯示裝置14中的區(qū)域Pl時到達單眼的光依照該亮度分布。即，到達視點位置m的光成為各像素21 像素243的像素值重疊了(例如被混色了)的結(jié)果。例如，在從位置507觀察了該區(qū)域Pl時到達視點位置m的眼的光成為將各亮度分布的位置507處的值508、509、510作為權(quán)重并對像素2七、像素242、像素243的亮度值進行加權(quán)加法而得到的結(jié)果。在視點位置m是僅能夠選擇性地觀察來自像素242的光線的位置503的情況下，從視點位置m能夠觀察的像素為視差編號為2的像素242。但是，在視點位置m是能夠觀察像素242和像素21這雙方的光線的位置507的情況下，從視點位置m能夠觀察的像素成為視差編號為2的像素242和視差編號為I的像素23:這雙方。因此，在視聽者將位置507作為視點位置m而用單眼觀察了顯示裝置14的情況下，成為多個視差圖像的各像素通過該視點位置處的亮度分布而重疊了的重疊圖像，產(chǎn)生多重模糊。換言之，在從觀察角度不同的視點位置m觀察到相同的區(qū)域P的情況下，由于其視點位置m處的亮度分布，有時觀察到與應(yīng)被觀察的視差編號不同的視差編號的視差圖像。因此，在本實施方式的圖像顯示裝置中，根據(jù)第I視差編號、以及與視點位置和各區(qū)域P的位置關(guān)系對應(yīng)的亮度分布，將各視差圖像中的、與各區(qū)域P對應(yīng)的位置的像素的亮度校正為應(yīng)被觀察的第I視差編號的視差圖像的像素的亮度。
圖12是示出本實施方式的圖像顯示裝置IOA的框圖。圖像顯示裝置IOA具備圖像處理裝置12A、以及顯示裝置14。圖像處理裝置12A具備第I取得部30、校正部32A、第3存儲部43、第3取得部45、第I生成部40、輸出部42、第I存儲部34、第2取得部36、以及第2存儲部38。第I取得部30、第I存儲部34、第2取得部36、第2存儲部38、第I生成部40、以及顯示裝置14與實施方式I相同，所以省略說明。第3存儲部43針對顯示裝置14的每個角度Θ，存儲亮度分布。另外，角度Θ表示視聽者從角度Θ的視點位置觀察區(qū)域P時的角度。即，表示視聽者的單眼的位置即視點位置和顯示裝置14中的區(qū)域P所成的角度。另外，在本實施方式中，用H來表示亮度分布。該亮度分布H如下述式(4)所示。
權(quán)利要求
1.一種圖像處理裝置，在能夠顯示分配了要素圖像的立體圖像的顯示部中顯示所述立體圖像，所述要素圖像包括多個視差圖像各自的像素，該圖像處理裝置的特征在于，具備: 第I取得部，取得相互具有視差的多個所述視差圖像； 第2取得部，在將顯示所述立體圖像的顯示區(qū)域分割為包括至少I個所述要素圖像的多個區(qū)域而得到的各區(qū)域中，取得從預(yù)定的視點位置應(yīng)被觀察的視差圖像的識別信息； 校正部，將所述視差圖像中的與所述區(qū)域?qū)?yīng)的位置的像素校正為通過所述識別信息確定的視差圖像的像素；以及 第I生成部，根據(jù)被校正后的所述視差圖像，生成所述立體圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 在所述第2取得部中，作為在所述各區(qū)域中從I個視點位置應(yīng)被觀察的視差圖像的識別信息，取得在該各區(qū)域間相同的所述識別信息。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備: 第3取得部，取得與所述各區(qū)域和所述視點位置之間的位置關(guān)系對應(yīng)的亮度分布， 所述校正部根據(jù)所述亮度分布，將所述視差圖像中的與所述各區(qū)域?qū)?yīng)的位置的像素的亮度校正為通過所述識別信息確定的視差圖像的像素的亮度。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，還具備: 第2生成部，該第2生成部根據(jù)所述亮度分布，生成濾波器系數(shù)，該濾波器系數(shù)用于將所述視差圖像中的 與所述各區(qū)域?qū)?yīng)的位置的像素的亮度校正為通過所述識別信息確定的視差圖像的像素的亮度， 所述校正部通過使用了所述濾波器系數(shù)的濾波處理，將所述視差圖像中的與所述各區(qū)域?qū)?yīng)的位置的像素的亮度校正為通過所述識別信息確定的視差圖像的像素的亮度。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，還具備: 存儲單元，存儲與所述各區(qū)域和所述視點位置之間的位置關(guān)系對應(yīng)的所述濾波器系數(shù)。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 所述校正部根據(jù)所述區(qū)域與所述視點位置之間的位置關(guān)系，對所述濾波器系數(shù)進行插值，通過使用了插值后的所述濾波器系數(shù)的濾波處理，將所述視差圖像中的與所述各區(qū)域?qū)?yīng)的位置的像素的亮度校正為通過所述識別信息確定的視差圖像的像素的亮度。
7.一種圖像處理方法，在能夠顯示分配了要素圖像的立體圖像的顯示部中顯示所述立體圖像，所述要素圖像包括多個視差圖像各自的像素，所述圖像處理方法的特征在于， 取得相互具有視差的多個所述視差圖像， 在將顯示所述立體圖像的顯示區(qū)域分割為包括至少I個所述要素圖像的多個區(qū)域而得到的各區(qū)域中，取得從預(yù)定的視點位置應(yīng)被觀察的視差圖像的識別信息； 將所述視差圖像中的與所述區(qū)域?qū)?yīng)的位置的像素校正為通過所述識別信息確定的視差圖像的像素， 根據(jù)校正后的所述視差圖像，生成所述立體圖像。
8.一種圖像顯示裝置，能夠顯示分配了要素圖像的立體圖像，所述要素圖像包括多個視差圖像各自的像素，該圖像顯示裝置的特征在于，具備: 第I取得部，取得相互具有視差的多個所述視差圖像；第2取得部，在將顯示所述立體圖像的顯示區(qū)域分割為包括至少I個所述要素圖像的多個區(qū)域而得到的各區(qū)域中，取得從預(yù)定的視點位置應(yīng)被觀察的視差圖像的識別信息；校正部，將所述視差圖像中的與所述區(qū)域?qū)?yīng)的位置的像素校正為通過所述識別信息確定的視差圖像的像素； 第I生成部，根據(jù)校正后的所述視差圖像，生成所述立體圖像；以及 顯示部，顯示所述立 體圖像。
全文摘要
本發(fā)明的實施方式涉及圖像處理裝置及方法、以及圖像顯示裝置。使畫面成為正常視覺區(qū)域。圖像處理裝置(12)具備第1取得部(30)、第2取得部(36)、校正部(32)以及第1生成部(40)。第1取得部(30)取得相互具有視差的多個視差圖像。第2取得部(36)在將對矩陣狀地配置了包括多個視差圖像各自的像素的要素圖像的立體圖像進行顯示的顯示裝置(14)的顯示區(qū)域分割為包括至少1個要素圖像的多個區(qū)域而得到的各區(qū)域中，取得從預(yù)定的視點位置應(yīng)被觀察的視差圖像的識別信息。校正部(32)將所取得的視差圖像中的與各區(qū)域?qū)?yīng)的位置的像素校正為通過識別信息確定的視差圖像的像素。第1生成部(40)根據(jù)校正后的視差圖像生成立體圖像。
文檔編號H04N13/00GK103179411SQ20121006975
公開日2013年6月26日 申請日期2012年3月16日 優(yōu)先權(quán)日2011年12月21日
發(fā)明者三島直, 三田雄志 申請人:株式會社東芝