專利名稱：三維圖像顯示裝置和方法
技術領域：
這里描述的實施例一般涉及三維圖像顯示裝置和方法。
背景技術：
最近開發(fā)了用于顯示可通過裸眼觀察的三維圖像的裝置。一種這種裝置利用了積分成像(II)方案，該方案允許觀察圖像，使得其示像根據(jù)觀察者的視點的變化而改變。在 II顯示裝置中，在常規(guī)的二維圖像顯示器的前面設置用于控制光線的方向和分布的諸如透鏡和擋板的多個光線控制元件，以對于右眼和左眼產(chǎn)生不同圖像并因此產(chǎn)生立體效果。但是，II方案具有當從一定的視點觀看圖像時可出現(xiàn)多重圖像和模糊的缺點。該效果將被稱為“多重模糊”。

發(fā)明內(nèi)容
實施例提供了用于減少多重模糊圖像的三維圖像顯示裝置和方法。根據(jù)一個實施例，一種三維圖像顯示裝置包括顯示單元和最佳元素圖像生成單元。顯示單元包含二維圖像顯示設備和多個光線控制元件，所述二維圖像顯示設備包含具有以矩陣排列的多個像素的顯示表面，所述光線控制元件依據(jù)作為顯示數(shù)據(jù)項的元素圖像的位置，與像素相對應地設置在二維圖像顯示設備的顯示表面上。光線控制元件控制來自像素的光線。最佳元素圖像生成單元通過根據(jù)生成的圖像或輸入的圖像的至少兩個像素的值的加權和以及基于表示來自光線控制元件的光線的方向和散射程度的光線分布計算的權重來確定至少一個像素的值，來生成最佳元素圖像，其中，生成的圖像或輸入的圖像是作為試驗性元素圖像的初始元素圖像。顯示單元顯示最佳元素圖像。根據(jù)實施例，能夠提供用于減少多重模糊圖像的三維圖像顯示裝置和方法。


圖1是示出三維圖像顯示裝置的示例性示意圖；圖2是示出三維圖像顯示裝置的一部分的示意性放大圖；圖3是可用于解釋如何觀察II方案的三維圖像的示例性概念圖；圖4是示出元素圖像和平鋪圖像之間的關系的示例性概念圖；圖5是可用于解釋多重模糊圖像的原因的示例性示圖；圖6是示出出現(xiàn)多重模糊的狀態(tài)的示例性概念圖；圖7是示出根據(jù)第一實施例的三維圖像顯示裝置的示例性框圖；圖8是示出根據(jù)第一實施例的三維圖像顯示裝置的操作例子的示例性流程圖；圖9是示出根據(jù)第一實施例的三維圖像顯示裝置的硬件配置的示例性示圖；圖10是示出根據(jù)第二實施例的三維圖像顯示裝置的示例性框圖；圖11是示出根據(jù)第二實施例的三維圖像顯示裝置的操作例子的示例性流程圖；圖12是示出在第二實施例中使用的問題解決方法的示例性概念圖13是可用于解釋第二實施例中的處理的內(nèi)容的示例性示圖；圖14是示出根據(jù)第三實施例的三維圖像顯示裝置的示例性框圖；圖15是示出根據(jù)第三實施例的三維圖像顯示裝置的操作例子的示例性流程圖；圖16是示出根據(jù)第四實施例的三維圖像顯示裝置的示例性框圖；圖17是示出根據(jù)第四實施例的三維圖像顯示裝置的操作例子的示例性流程圖； 以及圖18是示出根據(jù)第四實施例的三維圖像顯示裝置的外觀的示例性示圖。
具體實施例方式現(xiàn)在參照附圖詳細描述實施例的三維圖像顯示裝置和方法。在實施例中，類似的附圖標記表示類似的元素，并且，避免重復的解釋。首先參照圖1 6，描述多重模糊圖像的出現(xiàn)的原理。如上面提到的那樣，在并入II方案的三維圖像顯示裝置100中的二維圖像顯示裝置101的前面，設置作為用于向右眼和左眼發(fā)送不同圖像的光線控制元件102的陣列的透鏡陣列。特別地，使用用于僅水平地控制光線的透鏡片材的方案被稱為一維II (以下， 1D-II)方案。圖2是圖1所示的區(qū)域103的放大圖。如圖2所示，從二維圖像顯示裝置(諸如液晶顯示器或CRT顯示器)的像素發(fā)射的光線進入透鏡201，在這里，在它們的行進方向和分布受到控制的情況下，它們被輸出到顯示器的前表面。如圖3所示，到達觀察者的眼睛的光線導致觀察者通過雙目視差感覺如同沿顯示裝置的深度存在物體。即，觀察者觀察到立體模型。圖2中的視差號是被分配給相對于透鏡位于同一位置的像素的號碼。例如，在透鏡上設定預設的基準點，并且，用作視差號的序列號被分配給依次定位的像素。并且以下，視差號的最大號將被稱為視差計數(shù)，要在顯示表面上照射的顯示數(shù)據(jù)被稱為元素圖像， 并且，包含相應視差號的像素的圖像被稱為平鋪圖像(參見圖4)。由圖4中的“A” “F” 表示的例子中的每一個包括包含具有視差號(1)、(幻和C3)的三個像素202的單個元素圖像。并且，在圖4中，每個平鋪圖像具有寬度3和高度2。將描述在一定視點到達觀察者的一只眼睛的光。為了有利于描述，作為例子描述 ID-II方案。圖5示出了存在一個透鏡201和三個平鋪圖像的情況下的光線分布，并且，每個平鋪圖像的寬度和高度均為1 (在這種情況下為1個像素)。從一個像素發(fā)射的光線進入透鏡并在受控方向上被輸出。由于光線被散射，如圖5所示，在距離透鏡的一定距離處測量的其強度在一定范圍內(nèi)分布。在圖5中，橫軸表示位置，并且，縱軸表示強度。具體而言，附圖標記506表示像素501的光線分布，附圖標記505表示像素502的光線分布，并且，附圖標記504表示像素503的光線分布。當觀察者從一定視點觀察該透鏡時，到達他們的眼睛的光是根據(jù)光線分布的像素的值的混合(表示例如混合色)。例如，當從位置507觀察透鏡時到達眼睛的光是像素501、502和503的值的加權和，所述加權和是使用在位置507假定的光線分布的值508、509和510作為各個權重獲得的。并且，在多個透鏡的情況下，當從一定視點由一只眼睛觀察II三維圖像顯示裝置時獲得的觀察圖像是當平鋪圖像的像素在該視點處與它們的光線強度分布重疊時獲得的重疊圖像。如上所述，每個平鋪圖像在位置上與物體對應地偏移以提供雙目視差效果。因此，通過重疊平鋪圖像而獲得的圖像不可避免地具有多重模糊。例如，如圖6所示，如果每個平鋪圖像被設為通過從不同位置捕獲同一物體的圖像而獲得的圖像的組合，那么從一定視點看到的觀察圖像是從不同位置捕獲的圖像的組合，并因此具有多重模糊。由于光線分布由此根據(jù)視點而改變，從不同視點獲得不同觀察圖像。雖然在本實施例中描述了視差計數(shù)為3的示例性情況，但是，視差計數(shù)可被設為任意值。例如，它可被設為9。并且，在這種情況下，可以給出與以上類似的描述。(第一實施例)然后參照圖7，描述根據(jù)第一實施例的三維圖像顯示裝置700。圖7是示出三維圖像顯示裝置700的框圖。第一實施例的三維圖像顯示裝置700包含最佳元素圖像生成單元701和顯示單元 702。最佳元素圖像生成單元701生成最佳元素圖像。顯示單元702包含二維顯示裝置101 和光線控制元件102。最佳元素圖像生成單元701接收初始元素圖像751，并且基于初始元素圖像751來生成最佳元素圖像752。初始元素圖像751是通過在例如JP-A 2004-212666 (KOKAI)中公開的方法生成的元素圖像。作為替代方案，最佳元素圖像生成單元701可基于例如在生成初始元素圖像之前準備的原始圖像來生成最佳元素圖像752。最佳元素圖像生成單元701 基于作為生成或接收的試驗性元素圖像的初始元素圖像751的兩個或更多個像素值的加權和以及根據(jù)光線分布計算的權重，來確定至少一個像素值，由此變換初始元素圖像751， 使得不在觀察的圖像中出現(xiàn)多重模糊，以生成最佳元素圖像752。顯示單元702包含二維顯示裝置101和光線控制元件102。二維顯示裝置101具有上面的多個像素以矩陣排列的顯示表面，并且在二維表面上顯示圖像。光線控制元件102 在與作為像素的顯示數(shù)據(jù)的元素圖像相對應的位置被設置在二維圖像顯示裝置的顯示表面上，并且被設計成控制從像素發(fā)射的光線。參照圖7和圖8，描述第一實施例的三維圖像顯示裝置700的操作例子。圖8是可用于解釋第一實施例的三維圖像顯示裝置700的操作例子的流程圖。在步驟S801中，最佳元素圖像生成單元701接收初始元素圖像751并且基于初始元素圖像來生成最佳元素圖像752。在步驟S802中，顯示單元702接收最佳元素圖像752，由此向觀察者顯示三維圖像。然后參照圖9，描述三維圖像顯示裝置700的硬件配置。在第一實施例的三維圖像顯示裝置700和根據(jù)后面描述的其它實施例的三維圖像顯示裝置之間，該硬件配置是共同的。三維圖像顯示裝置700包含通過總線903相互連接的中央處理單元(CPU) 901、顯示單元702和存儲器單元902。CPU 901使用例如包含在存儲器單元902中的隨機存取存儲器(RAM)中的預設區(qū)域作為工作區(qū)，并且根據(jù)預存儲在也包含在存儲器單元902中的只讀存儲器(ROM)中的各種控制程序來執(zhí)行各種處理，由此總體控制三維圖像顯示裝置700的部件的操作。并且， CPU 901根據(jù)預存儲在存儲器單元902中的預設程序來實現(xiàn)上述最佳元素圖像生成單元 701的功能。存儲器單元902包含磁性或光學可記錄記錄介質。存儲器單元902在記錄介質上記錄獲取的圖像數(shù)據(jù)和/或經(jīng)由通信單元或接口(未示出)輸入的諸如圖像數(shù)據(jù)的外部數(shù)據(jù)。例如，存儲器單元在例如ROM中存儲與三維圖像顯示裝置700的控制相關聯(lián)的程序和各種設置數(shù)據(jù)，使得它們不能被重寫。并且，RAM為例如SDRAM，并且用作CPU 901的工作區(qū)并且還用作例如緩沖器。在上述第一實施例中，通過加權和來生成不在觀察的圖像中提供多重模糊的最佳元素圖像752，由此抑制圖像中的多重模糊。(第二實施例)現(xiàn)在參照圖10，描述根據(jù)第二實施例的三維圖像顯示裝置1000。圖10是示出第二實施例的三維圖像顯示裝置1000的框圖。第二實施例與第一實施例的不同在于最佳元素圖像生成單元。并入第二實施例中的最佳元素圖像生成單元1001不僅接收初始元素圖像751而且還接收目標圖像1052，并且基于這些圖像來生成最佳元素圖像752。目標圖像1052是在顯示單元上顯示的希望在觀察者至少從一個視點通過一只眼睛來觀看三維圖像顯示裝置 1000時被觀看到的圖像。參照圖10和圖11，描述第二實施例的三維圖像顯示裝置1000的操作例子。圖11 是可用于解釋第二實施例的三維圖像顯示裝置1000的操作例子的流程圖。在步驟SllOl中，最佳元素圖像生成單元1001接收初始元素圖像751和目標圖像 1052，并且基于這些圖像來生成最佳元素圖像752。具體而言，最佳元素圖像生成單元1001 獲取包含在目標圖像1052中的兩個或更多個像素值的加權和以及根據(jù)光線分布計算的權重，以確定至少一個像素值，由此變換初始元素圖像751，使得觀察到的圖像接近目標圖像， 如圖12所示，并且生成最佳元素圖像752。期望觀察者從任意設定視點觀看到的圖像被設為目標圖像。例如，如果通過從與設定視點相對應的位置捕獲要在三維圖像顯示裝置1000上顯示的物體的圖像而獲得的視差圖像選自通過從不同位置捕獲物體的圖像而獲得的多個視差圖像并且被用作目標圖像， 那么它不對觀察者展現(xiàn)多重模糊。由于用于設定目標圖像的視點將從該視點看到的觀察圖像限于目標圖像，它在以下被稱為限制視點。并且，目標圖像不總是必須選自通過從不同位置捕獲物體的圖像而獲得的多個視差圖像。作為替代方案，目標圖像可包含與物體的圖像完全不同的圖像。在這種情況下，最佳元素圖像生成單元必須接收目標圖像。換句話說，在第一實施例的三維圖像顯示裝置700上，不能看到如果目標圖像包含與初始元素圖像完全不同的圖像則能夠在第二實施例的三維圖像顯示裝置1000上看到的圖像。相反，如果在初始元素圖像中包含第二實施例的三維圖像顯示裝置1000上的目標圖像，那么也能在第一實施例的三維圖像顯示裝置700上看到它。描述用于計算權重并用于變換初始元素圖像的方法例子。為了有利于理解，描述圖13所示的例子，其中，使用一個透鏡201、一個限制視點 (U1)和三個平鋪圖像，并且，每個平鋪圖像具有寬度1和高度1。這里假定在二維圖像顯示裝置上顯示的三個平鋪圖像(在這種情況下，分別僅由一個像素形成)的亮度分別被設為 Xl、x2和x3，以及表示與每個視點位置u相關聯(lián)的從像素i (i = 1、2、3)發(fā)射的光線的強度分布的函數(shù)，即表示在位置u處與像素i(i = 1,2,3)相關聯(lián)的光線分布的函數(shù)分別被設為 B1(U)^a2(U)和 (11)。從視點U1觀看的觀察圖像由單個像素形成，并且該單個像素的亮度Y(U1)由下式(1)給出。
權利要求
1.一種三維圖像顯示裝置，包括包含二維圖像顯示設備和多個光線控制元件的顯示單元，所述二維圖像顯示設備包含具有以矩陣排列的多個像素的顯示表面，所述光線控制元件與像素相對應地設置在二維圖像顯示設備的顯示表面上，所述光線控制元件被配置成控制來自像素的光線；和最佳元素圖像生成單元，被配置成通過根據(jù)生成的圖像或輸入的圖像的至少兩個像素的值的加權和以及基于表示來自光線控制元件的光線的方向和散射程度的光線分布計算的權重來確定至少一個像素的值，來生成最佳元素圖像， 所述顯示單元顯示所述最佳元素圖像。
2.根據(jù)權利要求1的裝置，其中，所述最佳元素圖像生成單元接收從至少一個預定視點在顯示單元上顯示的目標圖像，并且獲得用于減小表示所述目標圖像和從所述預定視點觀看并根據(jù)光線分布計算的重疊圖像之間的差的能量函數(shù)的權重。
3.根據(jù)權利要求2的裝置，其中，所述最佳元素圖像生成單元基于所述能量函數(shù)的梯度來計算所述權重。
4.根據(jù)權利要求2的裝置，其中，所述權重減小所述能量函數(shù)，并且所述最佳元素圖像生成單元基于根據(jù)光線分布確定的矩陣的廣義逆矩陣來計算所述權重。
5.根據(jù)權利要求2的裝置，其中，所述目標圖像是選自要在三維圖像顯示裝置上顯示的多個視差圖像并從與所述預定視點相對應的位置捕獲的視差圖像。
6.根據(jù)權利要求2的裝置，進一步包括視差圖像生成單元，被配置成基于要在三維圖像顯示裝置上顯示的物體的三維坐標和亮度，來生成要從任意視點觀看的視差圖像，其中，所述最佳元素圖像生成單元接收所述視差圖像作為所述目標圖像。
7.根據(jù)權利要求2的裝置，進一步包括被配置成檢測正在觀看三維圖像顯示裝置的觀察者的面部區(qū)的照相機； 被配置成獲取由照相機捕獲的照相機圖像的獲取單元；和被配置成在照相機圖像中檢測表示觀察者的面部區(qū)的觀察者位置的檢測單元， 其中，所述最佳元素圖像生成單元使用所述觀察者位置作為所述預定視點來生成所述最佳元素圖像。
8.一種三維圖像顯示裝置，包括包含二維圖像顯示設備和多個光線控制元件的顯示單元，所述二維圖像顯示設備包含具有以矩陣排列的多個像素的顯示表面，所述光線控制元件與像素相對應地設置在二維圖像顯示設備的顯示表面上，所述光線控制元件被配置成控制來自像素的光線；和最佳元素圖像生成單元，被配置成通過根據(jù)從至少一個預定視點在顯示單元上顯示的目標圖像的至少兩個像素的值的加權和以及基于表示來自光線控制元件的光線的方向和散射程度的光線分布計算的權重來確定至少一個像素的值，來生成最佳元素圖像， 所述顯示單元顯示所述最佳元素圖像。
9.根據(jù)權利要求8的裝置，其中，所述最佳元素圖像生成單元獲得用于減小表示所述目標圖像和從所述預定視點觀看并根據(jù)光線分布計算的重疊圖像之間的差的能量函數(shù)的權重。
10.根據(jù)權利要求9的裝置，其中，所述最佳元素圖像生成單元基于所述能量函數(shù)的梯度來計算所述權重。
11.根據(jù)權利要求9的裝置，其中，所述權重減小所述能量函數(shù)，并且所述最佳元素圖像生成單元基于根據(jù)光線分布確定的矩陣的廣義逆矩陣來計算所述權重。
12.根據(jù)權利要求8的裝置，其中，所述目標圖像是選自要在三維圖像顯示裝置上顯示的多個視差圖像并從與所述預定視點相對應的位置捕獲的視差圖像。
13.根據(jù)權利要求8的裝置，進一步包括視差圖像生成單元，被配置成基于要在三維圖像顯示裝置上顯示的物體的三維坐標和亮度，來生成要從任意視點觀看的視差圖像，其中，所述最佳元素圖像生成單元接收所述視差圖像作為所述目標圖像。
14.根據(jù)權利要求8的裝置，進一步包括被配置成檢測正在觀看三維圖像顯示裝置的觀察者的面部區(qū)的照相機； 被配置成獲取由照相機捕獲的照相機圖像的獲取單元；和被配置成在照相機圖像中檢測表示觀察者的面部區(qū)的觀察者位置的檢測單元， 其中，所述最佳元素圖像生成單元使用所述觀察者位置作為所述預定視點來生成所述最佳元素圖像。
15.一種三維圖像顯示方法，包括制備包含二維圖像顯示設備和多個光線控制元件的顯示單元，所述二維圖像顯示設備包含具有以矩陣排列的多個像素的顯示表面，所述光線控制元件與像素相對應地設置在二維圖像顯示設備的顯示表面上，所述光線控制元件控制來自像素的光線；和通過根據(jù)生成的圖像或輸入的圖像的至少兩個像素的值的加權和以及基于表示來自光線控制元件的光線的方向和散射程度的光線分布計算的權重來確定至少一個像素的值， 來生成最佳元素圖像，所述顯示單元顯示所述最佳元素圖像。
16.一種三維圖像顯示方法，包括制備包含二維圖像顯示設備和多個光線控制元件的顯示單元，所述二維圖像顯示設備包含具有以矩陣排列的多個像素的顯示表面，所述光線控制元件依據(jù)作為顯示數(shù)據(jù)項的元素圖像的位置，與像素相對應地設置在二維圖像顯示設備的顯示表面上，所述光線控制元件控制來自像素的光線；和通過根據(jù)從至少一個預定視點在顯示單元上顯示的目標圖像的至少兩個像素的值的加權和以及基于表示來自光線控制元件的光線的方向和散射程度的光線分布計算的權重來確定至少一個像素的值，來生成最佳元素圖像， 所述顯示單元顯示所述最佳元素圖像。
全文摘要
公開了三維圖像顯示裝置和方法。一般地，根據(jù)一個實施例，三維圖像顯示裝置包括顯示單元和生成單元。顯示單元包含二維圖像顯示設備和多個光線控制元件，二維圖像顯示設備包含具有以矩陣排列的多個像素的顯示表面，光線控制元件與像素相對應地設置在二維圖像顯示設備的顯示表面上。生成單元通過根據(jù)生成的圖像或輸入的圖像的至少兩個像素的值的加權和以及基于表示來自光線控制元件的光線的方向和散射程度的光線分布計算的權重來確定至少一個像素的值，來生成最佳元素圖像。顯示單元顯示最佳元素圖像。
文檔編號H04N13/00GK102469326SQ201110279390
公開日2012年5月23日 申請日期2011年9月15日 優(yōu)先權日2010年11月10日
發(fā)明者山本琢磨, 松本信幸, 田口安則 申請人:株式會社東芝