本發(fā)明涉及立體圖像呈現(xiàn)裝置、立體圖像呈現(xiàn)方法和頭戴式顯示器。

背景技術：

近來，用于呈現(xiàn)立體視頻的技術的發(fā)展已取得進展，并且能夠呈現(xiàn)具有深度的立體視頻的頭戴式顯示器(在下文中描述為“HMD”)已擴展。這樣的HMD包括遮蔽HMD，其完全覆蓋和遮蔽佩戴HMD的用戶的視野，并且因此可以向觀察視頻的用戶提供深沉浸感。光學透視HMD也已作為另一種類型的HMD被開發(fā)。光學透視HMD是可以使用全息元件、半鍍銀鏡等向用戶呈現(xiàn)作為虛擬立體視頻的增強現(xiàn)實(AR)圖像并且以透視方式向用戶呈現(xiàn)在HMD外部的真實空間的狀態(tài)的立體圖像裝置。

技術實現(xiàn)要素：

[技術問題]

這些HMD是用于向用戶呈現(xiàn)立體視頻的裝置。期望減少給予佩戴HMD的用戶的視覺陌生感，并且增強由HMD呈現(xiàn)的立體視頻的立體效果以給出更深的沉浸感。另外，當光學透視HMD呈現(xiàn)AR圖像時，以疊加在真實空間上的方式顯示AR圖像。所以，當三維對象特別地呈現(xiàn)為AR圖像時，期望的是，對于光學透視HMD的用戶，AR圖像看起來與真實空間中的對象協(xié)調而不導致陌生感。因此期望一種改善AR圖像的立體效果的技術。

本發(fā)明的目的是提供一種技術，其改善由立體圖像呈現(xiàn)裝置呈現(xiàn)的圖像的立體效果。

[問題的解決方案]

為了解決以上問題，根據(jù)本發(fā)明的模式，提供了一種立體圖像呈現(xiàn)裝置，其包括：圖像獲取部分，其配置成獲取待呈現(xiàn)的圖像；以及圖像呈現(xiàn)部分，其配置成將由所述圖像獲取部分獲取的圖像的虛擬圖像呈現(xiàn)給所述立體圖像呈現(xiàn)裝置的用戶的視野。所述圖像呈現(xiàn)部分配置成能夠改變呈現(xiàn)給用戶的虛擬圖像的位置，并且基于出現(xiàn)在圖像中的對象的深度信息來改變呈現(xiàn)虛擬圖像的位置。

本發(fā)明的另一模式是一種由立體圖像呈現(xiàn)裝置的處理器執(zhí)行的圖像呈現(xiàn)方法。該方法包括獲取待呈現(xiàn)的對象的圖像的步驟，基于對象的深度信息設置呈現(xiàn)圖像的虛擬圖像的位置的步驟，以及在設置位置處呈現(xiàn)虛擬圖像的步驟。

本發(fā)明的又一模式是一種用于呈現(xiàn)立體圖像的頭戴式顯示器。該頭戴式顯示器包括：圖像獲取部分，其配置成獲取待呈現(xiàn)的圖像；以及圖像呈現(xiàn)部分，其配置成向佩戴所述頭戴式顯示器的用戶呈現(xiàn)由所述圖像獲取部分獲取的圖像的虛擬圖像。所述圖像呈現(xiàn)部分包括配置成顯示圖像的多個透射顯示部分，和配置成生成由所述多個透射顯示部分的每一個顯示的圖像的虛擬圖像的光學元件。所述多個透射顯示部分并排設在所述圖像呈現(xiàn)部分的光路上，并且所述光學元件在所述圖像呈現(xiàn)部分的光路中設在用戶的眼睛和所述多個透射顯示部分之間。

本發(fā)明的又一模式是一種用于使計算機實現(xiàn)上述方法的每個步驟的程序。

該程序例如可以提供為包含在用于執(zhí)行硬件資源的基本控制的裝置(例如包括在HMD中的計算機)中的固件的一部分。該固件例如存儲在諸如只讀存儲器(ROM)的半導體存儲器或裝置內的閃存中。為了提供該固件，或者為了更新固件的一部分，可以提供其上記錄有程序的計算機可讀記錄介質，并且可以通過通信線傳輸程序。

應當注意以上組成元件的任意組合以及通過在方法、裝置、系統(tǒng)、計算機程序、數(shù)據(jù)結構、記錄介質等之間轉換本發(fā)明的表達而獲取的模式作為本發(fā)明的模式也是有效的。

[發(fā)明的有利效果]

根據(jù)本發(fā)明，可以改善由立體圖像呈現(xiàn)裝置呈現(xiàn)的圖像的立體效果。

附圖說明

圖1是示意性地顯示根據(jù)實施例的HMD的外觀的示例的圖。

圖2(a)和2(b)是示意性地顯示虛擬三維空間中的對象和疊加在真實空間上的對象之間的關系的圖。

圖3是輔助解釋凸透鏡的透鏡公式的圖。

圖4是示意性地顯示提供給根據(jù)實施例的HMD的光學系統(tǒng)的圖。

圖5是顯示將由透射顯示元件顯示以在不同位置處呈現(xiàn)具有相同尺寸的虛擬圖像的圖像的圖。

圖6是示意性地顯示根據(jù)實施例的立體圖像呈現(xiàn)裝置的功能配置的圖。

圖7(a)和7(b)是示意性地顯示由根據(jù)實施例的部分區(qū)域生成部分生成的多個部分區(qū)域和包括在部分區(qū)域的每一個中的虛擬對象之間的關系的示例的圖。

圖8是示意性地顯示由根據(jù)實施例的繪制部分生成的圖像的示例的圖。

圖9是輔助解釋由根據(jù)實施例的立體圖像呈現(xiàn)裝置執(zhí)行的立體圖像呈現(xiàn)處理的流程的流程圖。

圖10是示意性地顯示焦距可變的凸透鏡和焦距的圖。

圖11是顯示為了在不同位置處呈現(xiàn)具有相同尺寸的虛擬圖像凸透鏡的焦點將定位的位置的圖。

圖12(a)和12(b)是示意性地顯示根據(jù)第二變形例的立體圖像呈現(xiàn)裝置的光學系統(tǒng)的圖。

圖13(a)和13(b)是示意性地顯示根據(jù)第三變形例的立體圖像呈現(xiàn)裝置的光學系統(tǒng)的圖。

圖14(a)和14(b)是示意性地顯示根據(jù)第四變形例的立體圖像呈現(xiàn)裝置的光學系統(tǒng)的圖。

具體實施方式

以下將參考附圖詳細描述用于實施本發(fā)明的模式。順便提及，在描述中，相同的元件由相同的附圖標記表示，并且將視情況省略其重復描述。另外，下面將描述的配置是示例性的，并且不完全限制本發(fā)明的范圍。

圖1是示意性地顯示根據(jù)實施例的立體圖像呈現(xiàn)裝置100的外觀的示例的圖。立體圖像呈現(xiàn)裝置100可以通過例如遮蔽HMD或光學透視HMD實現(xiàn)。立體圖像呈現(xiàn)裝置100包括容納呈現(xiàn)部分120的殼體160，成像元件140和各種模塊。在本說明書中，立體圖像呈現(xiàn)裝置100將在下文中簡單地描述為HMD，除非要特別區(qū)分諸如遮蔽HMD或光學透視HMD的HMD的類型。因此，HMD包括遮蔽HMD和光學透視HMD。

呈現(xiàn)部分120向用戶的眼睛呈現(xiàn)立體視頻。更具體地，呈現(xiàn)部分120向用戶的眼睛單獨呈現(xiàn)用于左眼的視差圖像和用于右眼的視差圖像。呈現(xiàn)部分120由此可以呈現(xiàn)向用戶提供深度感的立體視頻。成像元件140對存在于包括佩戴立體圖像呈現(xiàn)裝置100的用戶的視野的區(qū)域中的被攝體進行成像。所以，當用戶佩戴立體圖像呈現(xiàn)裝置100時成像元件140安裝成在用戶的前額的中間周圍布置。成像元件140可以通過使用諸如電荷耦合器件(CCD)圖像傳感器、互補金屬氧化物半導體(CMOS)圖像傳感器的已知固態(tài)成像元件來實現(xiàn)。

殼體160在立體圖像呈現(xiàn)裝置100中起到框架的作用，并且容納由立體圖像呈現(xiàn)裝置100使用的各種模塊(未顯示)。由立體圖像呈現(xiàn)裝置100使用的模塊是包括全息導光板的光學部件，和用于改變這些光學部件的位置的馬達，以及通信模塊，如Wi-Fi(注冊商標)模塊，電子羅盤，加速度傳感器，傾斜傳感器，全球定位系統(tǒng)GPS)傳感器，照度傳感器，用于控制和操作這些部件的中央處理單元(CPU)，用作CPU的工作區(qū)域的存儲器等。這些模塊是示例性的，并且立體圖像呈現(xiàn)裝置100不一定需要包括所有這些模塊。根據(jù)立體圖像呈現(xiàn)裝置100采用的使用場景確定包括哪些模塊就足夠了。

圖1是顯示使用眼鏡型的HMD作為立體圖像呈現(xiàn)裝置100的示例的圖?？梢韵氲搅Ⅲw圖像呈現(xiàn)裝置100的形狀的各種其它變型，如頭飾形狀，圍繞用戶的頭部放置并固定的帶形狀，以及覆蓋用戶的整個頭部的頭盔形狀。本領域技術人員應當容易理解，在本發(fā)明的實施例中包括任何形狀的立體圖像呈現(xiàn)裝置100。

下面將參考圖2至5描述改善由根據(jù)實施例的立體圖像呈現(xiàn)裝置100呈現(xiàn)的圖像的立體效果的原理。下面將描述立體圖像呈現(xiàn)裝置100以疊加在真實空間上的方式顯示AR圖像的情況。然而，由立體圖像呈現(xiàn)裝置100呈現(xiàn)的圖像不限于AR圖像，而是也可以應用為包括用于左眼的視差圖像和用于右眼的視差圖像的立體視頻，如三維(3D)電影。稍后將作為實施例的第八變形例描述后一種情況。

圖2(a)和2(b)是示意性地顯示虛擬三維空間中的對象和疊加在現(xiàn)實空間上的對象之間的關系的圖。

圖2(a)是顯示在虛擬三維空間(在下文中描述為“虛擬空間”)中設置的虛擬照相機(在下文中描述為“虛擬照相機300”)正在拍攝虛擬對象(在下文中描述為“虛擬對象304”)的狀態(tài)的圖。在虛擬空間中設置用于限定虛擬對象304的位置坐標的虛擬三維正交坐標系(在下文中描述為“虛擬坐標系302”)。

虛擬照相機300是虛擬雙目照相機。虛擬照相機300生成用于用戶的左眼的視差圖像和用于用戶的右眼的視差圖像。從虛擬照相機300拍攝的虛擬對象304的圖像根據(jù)在虛擬空間中從虛擬照相機300到虛擬對象304的距離變化。

圖2(b)是顯示從虛擬空間中的虛擬照相機300觀看的虛擬對象304的圖像以疊加在真實空間上的方式顯示的狀態(tài)的圖。圖2(b)中的桌子310是作為存在于真實空間中的真實物體的桌子。當佩戴立體圖像呈現(xiàn)裝置100的用戶用左眼308a和右眼308b觀察桌子310時，用戶觀察到仿佛虛擬對象304放置在桌子310上。因此以疊加在真實空間中存在的真實物體上的方式顯示的圖像是AR圖像。在下文中，在本說明書中，用戶的左眼308a和右眼308b將簡單地描述為“視點308”，除非特別地彼此區(qū)分。

與在虛擬空間中一樣，也在真實空間中設置用于限定虛擬對象304的位置坐標的三維正交坐標系(三維正交坐標系將在下文中描述為“真實坐標系306”)。立體圖像呈現(xiàn)裝置100參考虛擬坐標系302和真實坐標系306，并且根據(jù)在虛擬空間中從虛擬照相機300到虛擬對象304的距離改變真實空間中的虛擬對象304的呈現(xiàn)位置。更具體地，當在虛擬空間中從虛擬照相機300到虛擬對象304的距離變得更長時，立體圖像呈現(xiàn)裝置100將虛擬對象304的虛擬圖像布置在真實空間中的更遠離視點308的位置。

圖3是輔助解釋凸透鏡的透鏡公式的圖。更具體地，圖3是在對象存在于凸透鏡312的焦點的內側的情況下輔助解釋對象314的對象314和虛擬圖像316之間的關系的圖。如圖3中所示，在視點308的視線的方向上設置Z軸，并且凸透鏡312布置成使得凸透鏡312的光軸和Z軸在Z軸上彼此重合。凸透鏡312的焦距為F。對象314相對于凸透鏡312布置在與視點308相對的一側從而與凸透鏡312分離距離A(A<F)。也就是說，在圖3中，對象314布置在凸透鏡312的焦點的內側。在該情況下，當從視點308觀看對象314時，對象314在與凸透鏡312分離距離B(F<B)的位置處作為虛擬圖像316被觀察。

在該情況下，距離A、距離B和焦距F之間的關系由以下等式(1)表達的已知透鏡公式限定：

1/A-1/B＝1/F (1)

另外，虛擬圖像316的尺寸Q(圖3中的虛線箭頭的長度)與對象314的尺寸P(圖3中的實線箭頭的長度)的比率，即放大率m＝Q/P，由以下等式(2)表達：

m＝B/A (2)

等式(1)還可以被認為指示為了在相對于凸透鏡312與視點308相對的一側在與凸透鏡312分離距離B的位置處呈現(xiàn)虛擬圖像316由對象314的距離A和焦距F滿足的關系。將考慮例如凸透鏡312的焦距F固定的情況。在該情況下，當修改等式(1)時，距離A可以在以下等式(3)表達為距離B的函數(shù)。

A(B)＝FB/(F+B)＝F/(1+F/B) (4)

等式(4)指示當凸透鏡的焦距為F時為了在距離B的位置處呈現(xiàn)虛擬圖像316布置對象314的位置。從等式(4)可以清楚，距離B越大，距離A越大。

另外，當通過將等式(1)代入等式(2)中修改等式(2)時，為了在距離B的位置處呈現(xiàn)具有尺寸Q的虛擬圖像316由對象314采取的尺寸P可以在以下等式(5)中表達為：

P(B,Q)＝Q*F/(B+F) (5)

等式(5)表示作為距離B和虛擬圖像316的尺寸Q的函數(shù)由對象314采取的尺寸P。等式(5)指示虛擬圖像316的尺寸Q越大，對象314的尺寸P越大。它也指示虛擬圖像316的距離B越大，對象314的尺寸P越小。

圖4是示意性地顯示提供給根據(jù)實施例的立體圖像呈現(xiàn)裝置100的光學系統(tǒng)的圖。立體圖像呈現(xiàn)裝置100在殼體160內包括凸透鏡312和多個透射顯示元件318。在圖4中，立體圖像呈現(xiàn)裝置100包括七個透射顯示元件，即透射顯示元件318a至318g。透射顯示元件318a至318g將在下文中統(tǒng)稱為“透射顯示元件318”，除非特別地彼此區(qū)分。

盡管沒有限制，但是透射顯示元件318a至318g的每一個例如可以通過使用透射有機電致發(fā)光(EL)來實現(xiàn)。盡管圖4示出立體圖像呈現(xiàn)裝置100包括七個透射顯示元件318的情況，但是透射顯示元件318的數(shù)量不限于七個。提供至少兩個透射顯示元件318就足夠了。

與圖3中所示的情況一樣，同樣在圖4中，在視點308的視線的方向上設置Z軸，并且凸透鏡312布置成使得凸透鏡312的光軸和Z軸在Z軸上彼此重合。凸透鏡312的焦距為F。圖4中的兩個點F均表示凸透鏡312的焦點。如圖4中所示，多個透射顯示元件318的每一個在相對于凸透鏡312與視點308相對的一側布置在凸透鏡312的焦點的內側。因此，假設一個透射顯示元件318的厚度為d，可以布置的透射顯示元件318的最大數(shù)量為[F/d]。這里，[]是高斯符號，并且[x]表示等于或小于x的最大整數(shù)。

透射顯示元件318的每一個可以獨立地顯示不同圖像。透射顯示元件318是能夠透射可見光的部件。另外，多個透射顯示元件318均并排設在立體圖像呈現(xiàn)裝置100的光路上，即在凸透鏡312的光軸上。因此甚至由相對于視點308在遠側的透射顯示元件318顯示的圖像通過相對于視點308在近側的透射顯示元件318，并且到達視點308。也就是說，由多個透射顯示元件318顯示的圖像以從視點308觀看彼此重疊的方式被觀察。

在該情況下，如上所述，凸透鏡312存在于視點308和透射顯示元件318之間。因此，當從視點308觀看透射顯示元件318時，由多個透射顯示元件318顯示的圖像均根據(jù)等式(1)和等式(2)作為虛擬圖像被觀察。在這個意義上，凸透鏡312用作生成由多個透射顯示元件318顯示的圖像的相應虛擬圖像的光學元件。

圖5是顯示將由透射顯示元件318顯示以在不同位置處呈現(xiàn)具有相同尺寸的虛擬圖像的圖像的圖。圖5顯示在離凸透鏡312的光學中心的距離B1、B2和B3處以相同尺寸Q呈現(xiàn)三個虛擬圖像316a、316b和316c的示例。另外，圖5中的圖像314a、314b和314c相應地對應于虛擬圖像316a、316b和316c。圖像314a、314b和314c均由多個透射顯示元件318中的一個顯示。順便提及，關于等式(1)中所示的透鏡公式，圖3中的對象314圖3對應于由圖5中的透射顯示元件318顯示的圖像。因此，圖5中的圖像由與圖3中的對象314相同的附圖標記314識別。

更具體地，圖像314a、314b和314c相應地由位于與凸透鏡312的光學中心分離A1、A2和A3的位置處的透射顯示元件318顯示。這里，根據(jù)等式(4)，A1、A2和A3由以下相應的等式給出。

A1＝F/(1+F/B1)

A2＝F/(1+F/B2)

A3＝F/(1+F/B3)

另外，從等式(5)，使用虛擬圖像316的尺寸Q由相應的以下等式給出將顯示的圖像314a、314b和314c的尺寸P1、P2和P3。

P1＝Q*F/(B1+F)

P2＝Q*F/(B2+F)

P3＝Q*F/(B3+F)

通過因此改變用于顯示圖像314的透射顯示元件318，或換句話說，改變用于顯示圖像的透射顯示元件318的位置，可以改變呈現(xiàn)給用戶的虛擬圖像316的位置。另外，也可以通過改變顯示在透射顯示元件318上的圖像的尺寸控制將呈現(xiàn)的虛擬圖像316的尺寸。

在對象314位于凸透鏡312的焦點F的內側的情況下已對對象314的位置和虛擬圖像316的位置之間的關系以及對象314的尺寸和虛擬圖像316的尺寸之間的關系進行以上描述。接著將描述根據(jù)實施例的立體圖像呈現(xiàn)裝置100的功能配置。根據(jù)實施例的立體圖像呈現(xiàn)裝置100使用對象314和虛擬圖像316之間的上述關系。

圖6是示意性地顯示根據(jù)實施例的立體圖像呈現(xiàn)裝置100的功能配置的圖。立體圖像呈現(xiàn)裝置100包括圖像獲取部分102和圖像呈現(xiàn)部分104。圖6顯示用于實現(xiàn)根據(jù)實施例的立體圖像呈現(xiàn)裝置100的功能配置，但是未顯示其他配置。作為執(zhí)行圖6中的各種處理的功能塊描述的元件可以在硬件方面由CPU、主存儲器或容納在立體圖像呈現(xiàn)裝置100的殼體160內的另一大規(guī)模集成電路(LSI)配置。另外，上述元件在軟件上方面由加載在主存儲器等中的程序實現(xiàn)。因此，本領域技術人員應當理解，這些功能塊可以以各種形式實現(xiàn)，并且不限于這些形式之一。

圖像獲取部分102獲取將由立體圖像呈現(xiàn)裝置100呈現(xiàn)的圖像。圖像獲取部分102例如獲取虛擬對象304的圖像，所述圖像由設置在虛擬空間中的虛擬照相機300拍攝。由虛擬照相機300拍攝的圖像在該情況下是通過二維投影具有三維信息的虛擬對象304而獲取的二維圖像。圖像獲取部分102由在上面參考圖1描述的立體圖像呈現(xiàn)裝置100的殼體160內實現(xiàn)的各種類型的模塊實現(xiàn)。稍后將描述圖像獲取部分102的細節(jié)。

圖像呈現(xiàn)部分104以疊加在由佩戴立體圖像呈現(xiàn)裝置100的用戶觀察的真實空間上的方式呈現(xiàn)由圖像獲取部分102獲取的圖像。在該情況下圖像呈現(xiàn)部分104在真實空間中呈現(xiàn)由圖像獲取部分102獲取的圖像的虛擬圖像316。圖像呈現(xiàn)部分104配置成能夠改變圖像的虛擬圖像316的位置，所述虛擬圖像在真實空間中呈現(xiàn)。圖像呈現(xiàn)部分104基于在呈現(xiàn)給用戶的圖像中出現(xiàn)的虛擬對象304的深度信息改變呈現(xiàn)虛擬圖像316的位置。

“深度信息”例如是反映當向用戶呈現(xiàn)顯示某個被攝體的圖像并且用戶觀看被攝體時由用戶識別的距離感的信息。所以，虛擬對象304的“深度信息”的示例包括當虛擬對象304被拍攝時從虛擬照相機300到虛擬對象304的距離。在該情況下，圖像呈現(xiàn)部分104基于在虛擬空間中從虛擬照相機300到虛擬對象304的距離改變由圖像獲取部分102獲取的圖像的虛擬圖像316的呈現(xiàn)位置。

具體地，在虛擬空間中從虛擬照相機300到虛擬對象304的距離短的情況下，與在虛擬空間中從虛擬照相機300到虛擬對象304的長距離的情況相比，圖像呈現(xiàn)部分104在從佩戴立體圖像呈現(xiàn)裝置100的用戶觀看的近位置處呈現(xiàn)虛擬對象304的圖像的虛擬圖像316。另外，圖像呈現(xiàn)部分104根據(jù)將呈現(xiàn)的虛擬圖像316的位置生成對應于虛擬圖像316的圖像314。在下面，將更詳細地描述由圖像獲取部分102生成圖像314的方法和由圖像呈現(xiàn)部分104呈現(xiàn)虛擬圖像316的方法。

如圖6中所示，圖像獲取部分102包括部分區(qū)域生成部分106，繪制部分108，虛擬照相機設置部分110，和對象設置部分112。另外，圖像呈現(xiàn)部分104包括虛擬圖像呈現(xiàn)部分114和虛擬圖像位置設置部分116。

對象設置部分112在虛擬空間內設置用作將呈現(xiàn)給立體圖像呈現(xiàn)裝置100的用戶的AR圖像的基礎的虛擬對象304。虛擬對象304例如由三維體素數(shù)據(jù)構成。對象設置部分112從立體圖像呈現(xiàn)裝置100的殼體160內的未顯示的存儲部分讀出虛擬對象304的體素數(shù)據(jù)?；蛘撸瑢ο笤O置部分112可以經由殼體160中的未顯示的Wi-Fi模塊從存在于立體圖像呈現(xiàn)裝置100外部的另一裝置無線通信獲取體素數(shù)據(jù)。對象設置部分112還可以在虛擬空間內設置虛擬光源以便照明設置在虛擬空間內的虛擬對象304。

虛擬照相機設置部分110在虛擬空間內設置用于觀察由對象設置部分112設置的虛擬對象304的虛擬照相機300。盡管沒有限制，但是虛擬照相機設置部分110可以根據(jù)提供給立體圖像呈現(xiàn)裝置100的成像元件140的運動改變虛擬空間內的虛擬照相機的設置位置。

在該情況下，虛擬照相機設置部分110基于包括在殼體160中的各種傳感器(例如電子羅盤，加速度傳感器和傾斜傳感器)的輸出來檢測成像元件140的姿態(tài)和運動。虛擬照相機設置部分110改變虛擬照相機300的姿態(tài)和設置位置從而跟隨檢測到的成像元件140的姿態(tài)和運動。因此，從虛擬照相機300觀看的虛擬對象304的外觀可以改變從而跟隨佩戴立體圖像呈現(xiàn)裝置100的用戶的頭部的運動。這可以更加增強呈現(xiàn)給用戶的AR圖像的真實性。

部分區(qū)域生成部分106將包括虛擬對象304的處理目標區(qū)域分割為多個部分區(qū)域。繪制部分108通過繪制從虛擬照相機300可觀察的部分生成由部分區(qū)域生成部分106生成的多個部分區(qū)域中包括的各個虛擬對象304的圖像。

圖7(a)和7(b)是示意性地顯示由根據(jù)實施例的部分區(qū)域生成部分106生成的多個部分區(qū)域和包括在每個部分區(qū)域中的虛擬對象304之間的關系的示例的圖。圖7(a)和7(b)顯示球形或卵形虛擬對象304由七個部分區(qū)域320a至320g定界的狀態(tài)。多個部分區(qū)域在下文中將統(tǒng)稱為“部分區(qū)域320”，除非特別地彼此區(qū)分。

部分區(qū)域生成部分106通過根據(jù)在虛擬空間中離虛擬照相機300的距離分割虛擬空間生成部分區(qū)域320。盡管沒有限制，但是部分區(qū)域生成部分106在虛擬空間中設置與虛擬照相機300的光軸(圖7中的z軸)垂直的多個平面，并且將夾在彼此相鄰的平面之間的區(qū)域設置為部分區(qū)域320。為了描述方便，限定部分區(qū)域320的平面將在下文中描述為“分割平面”。在圖7中，部分區(qū)域生成部分106設置七個分割平面，即分割平面322a至322g，并且生成七個部分區(qū)域320a至320g。順便提及，對于圖7中的部分區(qū)域320g，從分割平面322g到無限遠的空間是部分區(qū)域320g。

圖7(a)是顯示從與虛擬照相機300的光軸垂直的方向(即與圖2中的虛擬坐標系302的xy平面垂直的方向)觀看的虛擬對象304的狀態(tài)的圖。另外，圖7(b)是顯示從與圖2中的虛擬坐標系302的xz平面垂直的方向觀看虛擬對象304的狀態(tài)的圖。

如圖7(b)中所示，虛擬對象304通過由部分區(qū)域生成部分106生成的部分區(qū)域320分割為多個片段。繪制部分108使用由部分區(qū)域320分段的虛擬對象304的片段的每一個作為單位繪制虛擬對象304。更具體地，繪制部分108在從虛擬照相機300觀看的范圍內生成分段虛擬對象304的片段的每一個的圖像。

圖8是示意性地顯示由根據(jù)實施例的繪制部分108生成的圖像的示例的圖。圖8是顯示繪制部分108繪制圖7中所示的虛擬對象304的片段的每一個時生成的圖像的圖。

通過繪制虛擬對象304的片段相應地獲取圖8中的圖像324a至324e，所述片段包括在圖7中的部分區(qū)域320a至320e中。圖7中的部分區(qū)域320a例如包括虛擬對象304的一部分，所述部分最靠近虛擬照相機300。因此當從虛擬照相機觀看時包括在部分區(qū)域320a中的虛擬對象304的片段看起來像橢圓形。繪制部分108因此生成如圖8中的圖像324a表示的橢圓圖像324e。

類似地，當從虛擬照相機300觀看時包括在圖7中的部分區(qū)域320b中的虛擬對象304的片段具有橢圓形狀。然而，包括在部分區(qū)域320a中的虛擬對象304的片段存在于包括在部分區(qū)域320b中的虛擬對象304的片段和虛擬照相機300之間。因此，在包括在部分區(qū)域320b中的虛擬對象304的片段中從虛擬照相機300可觀察到的部分具有如圖8中的圖像324b表示的環(huán)圈型形狀。繪制部分108因此生成圖像324b作為虛擬對象304的片段的圖像，所述片段包括在部分區(qū)域320b中。圖像324c至324e以類似的方式生成。

順便提及，在圖7中包括在部分區(qū)域320f和部分區(qū)域320g中的虛擬對象340的片段由虛擬對象340自身隱藏，并且因此不能從虛擬照相機300觀察。所以繪制部分108不生成虛擬對象340的片段的圖像，所述片段包括在部分區(qū)域320f和部分區(qū)域320g中。

描述返回圖6。虛擬圖像位置設置部分116根據(jù)在虛擬空間中從虛擬照相機300到部分區(qū)域320的距離設置呈現(xiàn)由繪制部分108生成的圖像的虛擬圖像316的位置。如上面參考圖3所述，圖像314的位置和虛擬圖像316的位置在一對一的基礎上彼此對應。因此，如等式(4)指示，可以通過改變對應于虛擬圖像316的圖像314控制呈現(xiàn)虛擬圖像316的位置。因此虛擬圖像位置設置部分116根據(jù)在虛擬空間中從虛擬照相機300到部分區(qū)域320的距離設置透射顯示元件318的位置以顯示由繪制部分108生成的圖像。更具體地，虛擬圖像位置設置部分116選擇存在于根據(jù)等式(4)導出的位置處的透射顯示元件318。

例如，虛擬圖像位置設置部分116選擇圖4中的透射顯示元件318a作為透射顯示元件318以顯示從虛擬對象304的片段產生的圖像，所述片段包括在圖7中的部分區(qū)域320a中。然后虛擬圖像位置設置部分116類似地選擇透射顯示元件318b至318g作為透射顯示元件318以顯示通過繪制相應地包括在部分區(qū)域320b至320g中的虛擬對象304獲取的圖像。通過因此根據(jù)在空間中從虛擬照相機300到部分區(qū)域320的距離設置由繪制部分108生成的圖像的虛擬圖像316的呈現(xiàn)位置可以更立體地呈現(xiàn)AR圖像。這是因為，當從用戶觀看時，虛擬對象304的深度方向上的信息在呈現(xiàn)的虛擬圖像316中被反映。

順便提及，如圖7中所示，部分區(qū)域320g包括從分割平面322g到無限遠的空間。因此，繪制部分108按原樣舍入在部分區(qū)域320g中包括的虛擬對象304的深度方向上的信息，并且生成圖像。也就是說，在虛擬空間中位于離虛擬照相機300最遠的位置處的分割平面322限定離虛擬照相機300的長距離。

在圖7所示的示例中，分割平面322g是離虛擬照相機300最遠的分割平面。因此，位于離虛擬照相機300最遠的位置處的分割平面322和虛擬照相機300之間的距離設置為“遠程參考距離”。部分區(qū)域生成部分106將與虛擬照相機300分離大于遠程參考距離的區(qū)域設置為一個部分區(qū)域，即遠程部分區(qū)域。位于離虛擬照相機300最遠的位置處的分割平面322限定遠程參考距離。所以，分割平面322也可以被稱為“遠程參考平面”。

順便提及，遠程參考距離由部分區(qū)域生成部分106設置。部分區(qū)域生成部分106將遠程參考平面設置在與虛擬照相機300分離遠程參考距離的位置。部分區(qū)域生成部分106將比設置的遠程參考平面更靠近虛擬照相機300的區(qū)域分割為多個部分區(qū)域320。繪制部分108由此可以對存在于比遠程參考距離更靠近虛擬照相機300的區(qū)域中的虛擬對象304精細地成像。也就是說，可以改善從存在于比該距離更靠近虛擬照相機300的區(qū)域中的虛擬對象304導出的AR圖像的立體效果。

這里，部分區(qū)域生成部分106執(zhí)行分割，使得多個部分區(qū)域320的每一個部分地與另一部分區(qū)域320重疊或者至少與另一部分區(qū)域320接觸。另外，部分區(qū)域生成部分106將最靠近虛擬照相機300的分割平面322設置成與虛擬照相機300接觸。繪制部分108由此可以在沒有遺漏的情況下繪制存在于虛擬空間中的虛擬對象304。

上面已描述根據(jù)實施例的立體圖像呈現(xiàn)裝置100的功能配置。接著將描述由立體圖像呈現(xiàn)裝置100執(zhí)行的應用的示例。

根據(jù)實施例的立體圖像呈現(xiàn)裝置100可以使用殼體160內的CPU執(zhí)行各種應用。例如引用游戲應用作為這樣的應用的示例。

游戲應用典型地包括可以由用戶操作的角色的圖像和其他圖像。在賽車游戲的情況下，例如，由用戶操作的車輛是角色，并且道路、對手的車輛等似乎構成背景。在近年來的游戲應用中，通常的做法是在虛擬空間中設置用于生成角色圖像的虛擬對象304和用于生成背景圖像的虛擬對象304，并且生成從虛擬照相機300觀看的投影圖像。當立體圖像呈現(xiàn)裝置100執(zhí)行游戲應用的程序時，圖像獲取部分102在虛擬空間中設置出現(xiàn)在游戲和背景中的角色的虛擬對象304，并且生成虛擬對象304的圖像。圖像呈現(xiàn)部分104向立體圖像呈現(xiàn)裝置100的用戶呈現(xiàn)由圖像獲取部分102生成的圖像的虛擬圖像316。

由圖像獲取部分102中的對象設置部分112在虛擬空間中設置的虛擬對象304被給予限定虛擬對象304的特性的一個或多個屬性。作為屬性的示例，例如有指示該角色是否可以由用戶操作的屬性。屬性的其他示例包括虛擬空間中的虛擬對象304的物理特性，如移動速度，加速度，以及光的反射和吸收的程度。

虛擬對象304因此包括從預先設置的多個屬性中選擇的一個或多個屬性。部分區(qū)域生成部分106可以根據(jù)虛擬對象304的屬性來改變分割部分區(qū)域320的方法。

如上所述，離虛擬照相機300超過由部分區(qū)域生成部分106設置的遠程參考距離的區(qū)域被收集為一個部分區(qū)域320作為遠程區(qū)域。因此由繪制部分108在一個圖像中繪制存在于遠程區(qū)域中的虛擬對象304。所以從存在于遠程區(qū)域中的虛擬對象304導出的圖像的虛擬圖像316作為缺乏感知深度的圖像呈現(xiàn)給用戶。

據(jù)認為由用戶在游戲應用中操作的角色引起用戶的高度關注。所以，如果由用戶操作的角色的虛擬對象304包括在遠程區(qū)域中，則實際呈現(xiàn)給用戶的虛擬圖像316可能缺乏感知深度。因此，當虛擬對象304具有指示用戶可以操作的角色的角色屬性時，部分區(qū)域生成部分106設置遠程參考距離，使得從遠程部分區(qū)域排除虛擬對象304。具體地，部分區(qū)域生成部分106在具有角色屬性的虛擬對象304中，將遠程參考平面設置在與離虛擬照相機300最遠的位置處的虛擬對象304相同的位置或更遠的位置。由此可以改善從至少由用戶操作的角色導出的AR圖像的立體效果。

圖9是輔助解釋由根據(jù)實施例的立體圖像呈現(xiàn)裝置100執(zhí)行的立體圖像呈現(xiàn)處理的流程的流程圖。例如，當開始立體圖像呈現(xiàn)裝置100的電力供應時，開始本流程圖中的處理。

對象設置部分112在虛擬空間中設置虛擬對象304(S2)。部分區(qū)域生成部分106獲取提供給由對象設置部分112設置的虛擬對象304的屬性(S4)。部分區(qū)域生成部分106根據(jù)獲取的虛擬對象304的屬性在虛擬空間中設置多個部分區(qū)域320(S6)。

虛擬圖像位置設置部分116針對由部分區(qū)域生成部分106生成的部分區(qū)域320的每一個設置呈現(xiàn)虛擬對象304的圖像的虛擬圖像316的位置(S8)。繪制部分108通過繪制包括在部分區(qū)域320中的虛擬對象304的一部分生成由部分區(qū)域生成部分106生成的部分區(qū)域320的每一個的圖像(S10)。虛擬圖像呈現(xiàn)部分114將由繪制部分108生成的圖像顯示在透射顯示元件318上，使得由繪制部分108生成的圖像的虛擬圖像316呈現(xiàn)在由虛擬圖像位置設置部分116設置的位置(S12)。

在虛擬圖像呈現(xiàn)部分114呈現(xiàn)虛擬圖像316之后，本流程圖中的處理結束。

如上所述，根據(jù)實施例的立體圖像呈現(xiàn)裝置100可以改善AR圖像的立體效果。

以上基于本發(fā)明的實施例已描述本發(fā)明。實施例是示例性的，并且本領域技術人員應當理解，實施例的組成元件和處理過程的組合易于進行各種修改，并且這樣的修改也落入本發(fā)明的范圍內。

(第一變形例)

在上文中，已描述凸透鏡312的焦距固定的情況。所以，基于等式(1)，通過改變透射顯示元件318的位置控制虛擬圖像316的位置。代替該情況，從凸透鏡312的光學中心到透射顯示元件318的距離可以是固定的，并且凸透鏡312的焦距可以改變。這可以通過例如使用焦距可以改變的液晶透鏡作為凸透鏡312來實現(xiàn)?；蛘?，這可以通過采用具有彼此不同的焦距的多個透鏡互換的構造來實現(xiàn)。透射顯示元件318的位置固定并且采用焦距可變的凸透鏡312的立體圖像呈現(xiàn)裝置100將在下面作為第一變形例進行描述。

圖10是示意性地顯示焦距可變的凸透鏡312和焦距的圖。如圖10中所示，凸透鏡312具有在F1至F2的范圍內可自由改變的焦距。例如，在圖10中，在由實線表示的凸透鏡312a的狀態(tài)下焦距為F1。另外，在由虛線表示的凸透鏡312b的狀態(tài)下焦距為F2。順便提及，盡管為了便于描述，圖10顯示凸透鏡312的厚度改變，但是凸透鏡312的厚度本身不必改變。例如，也可以通過改變具有雙折射的液晶的取向來改變焦距。

假設在等式(1)中，距離A是固定的，并且焦距F是可變的。在該情況下，當修改等式(1)時，獲取以焦距F作為距離B的函數(shù)的以下等式(6)。

F(B)＝A/(1-A/B) (6)

等式(6)指示當給定一定距離B時由焦距F滿足的值。等式(6)顯示距離B越長，焦距F越大。

另外，為了在距離B的位置處呈現(xiàn)具有尺寸Q的虛擬圖像316由對象314采取的的尺寸P與上述等式(5)中相同。

圖11是顯示為了在不同位置處呈現(xiàn)具有相同尺寸的虛擬圖像316凸透鏡312的焦點F將定位的位置的圖。圖11顯示兩個虛擬圖像316a和316b在相應地離凸透鏡312的光學中心的距離B1和距離B2處以相同尺寸Q呈現(xiàn)的示例。另外，在圖11中，圖像314a和圖像314b相應地對應于虛擬圖像316a和虛擬圖像316b。圖像314a和圖像314b由相同的透射顯示元件318顯示。

更具體地，圖像314a和圖像314b都由存在于與凸透鏡312的光學中心分離距離A的位置處的透射顯示元件318顯示。在該情況下，凸透鏡312的焦點F將定位的位置(即，焦距F1和焦距F2)由相應的以下等式給出。

F1＝A/(1-A/B1)

F2＝A/(1-A/B2)

另外，從等式(5)，使用虛擬圖像316的尺寸Q通過相應的以下等式給出將顯示的圖像314a和圖像314b的尺寸P1和P2。

P1＝Q*F/(B1+F)

P2＝Q*F/(B2+F)

因此改變凸透鏡312的焦距可以改變呈現(xiàn)給用戶的虛擬圖像316的位置。另外，可以通過改變顯示在透射顯示元件318上的圖像的尺寸來控制將呈現(xiàn)的虛擬圖像316的尺寸。在該情況下，從包括在相應的部分區(qū)域320中的虛擬對象304導出的圖像314在時分基礎上按順序顯示。用戶可以由于用戶的視覺的持久性而立體地觀察虛擬圖像316。

順便提及，在使用諸如液晶透鏡的具有偏振性質的光學元件的情況下，發(fā)生色差和亮度差異。因此，繪制部分108考慮偏振性質理想地生成圖像。

(第二變形例)

已描述根據(jù)上述實施例的立體圖像呈現(xiàn)裝置100通過從多個透射顯示元件318中選擇透射顯示元件318以顯示圖像314來改變圖像314的顯示位置的情況。代替該情況，可以通過移動透射顯示元件318來改變顯示圖像314的透射顯示元件318的物理位置。在透射顯示元件318的物理位置改變的情況下立體圖像呈現(xiàn)裝置100將在下面作為第二變形例進行描述。

圖12(a)和12(b)是示意性地顯示根據(jù)第二變形例的立體圖像呈現(xiàn)裝置100的光學系統(tǒng)的圖。圖12(a)中所示的示例和圖12(b)中所示的示例都包括一個透射顯示元件318。該透射顯示元件318可以在圖12(a)和圖12(b)中所示的透射顯示元件318a和318b之間沿著凸透鏡312的光軸移動。這可以通過例如使用圖中未顯示的馬達移動透射顯示元件318來實現(xiàn)，所述馬達包括在立體圖像呈現(xiàn)裝置100的殼體160內。

在圖12(a)所示的示例中，與圖4所示的示例中一樣，透射顯示元件318相對于凸透鏡312布置在與視點308相對的一側。在另一方面，在圖12(b)所示的示例中，提供諸如全息圖的光學元件326來代替凸透鏡312。當光學元件326接收由透射顯示元件318顯示的圖像的光時，光學元件326可以將通過放大由透射顯示元件318顯示的圖像獲取的虛擬圖像呈現(xiàn)給視點308。

(第三變形例)

已描述根據(jù)上述的第二變形例的立體圖像呈現(xiàn)裝置100通過改變顯示圖像314的透射顯示元件318的物理位置來改變虛擬圖像316的位置的情況。代替該情況，透射顯示元件318的位置可以是固定的，并且透鏡可以移動。在透鏡的物理位置改變的情況下立體圖像呈現(xiàn)裝置100將在下面作為第三變形例進行描述。

圖13(a)和13(b)是示意性地顯示根據(jù)第三變形例的立體圖像呈現(xiàn)裝置100的光學系統(tǒng)的圖。在圖13(a)所示的示例和圖13(b)所示的示例兩者中，與圖12(a)和12(b)所示的示例中一樣，立體圖像呈現(xiàn)裝置100包括一個透射顯示元件318。

在圖13(a)所示的示例中，與圖4和圖12(a)所示的示例中一樣，立體圖像呈現(xiàn)裝置100包括一個凸透鏡312。在圖13(a)所示的示例中，圖中未顯示的馬達沿著凸透鏡312的光軸移動凸透鏡312，所述馬達包括在立體圖像呈現(xiàn)裝置100的殼體160內。具體地，馬達可以在圖13(a)中所示的凸透鏡312a和312b之間移動凸透鏡312。由此可以改變凸透鏡312和透射顯示元件318之間的相對距離。因此可以改變呈現(xiàn)給視點308的虛擬圖像316的位置。

在圖13(b)所示的示例中，立體圖像呈現(xiàn)裝置100包括凹透鏡328和準直透鏡330。圖中未顯示的馬達沿著凹透鏡328的光軸移動凹透鏡328，所述馬達包括在立體圖像呈現(xiàn)裝置100的殼體160內。具體地，馬達可以在圖13(b)中所示的凹透鏡328a和328b之間移動凹透鏡328。由此，可以改變呈現(xiàn)給視點308的虛擬圖像的位置。

(第四變形例)

根據(jù)第二變形例的立體圖像呈現(xiàn)裝置100和根據(jù)上述的第三變形例的立體圖像呈現(xiàn)裝置100都是透射顯示元件318或諸如凸透鏡312的透鏡移動以由此改變透射顯示元件318和透鏡之間的相對距離的示例。代替該情況，可以準備透射顯示元件318和凸透鏡312的多個組，并且可以在選擇這些組的同時呈現(xiàn)虛擬圖像316?；蛘?，可以在凸透鏡312和透射顯示元件318之間插入具有可變折射率的光學元件以使凸透鏡312和透射顯示元件318之間的光路長度可變。

圖14(a)和14(b)是示意性地顯示根據(jù)第四變形例的立體圖像呈現(xiàn)裝置100的光學系統(tǒng)的圖。

圖14(a)中所示的示例表示包括凸透鏡312和透射顯示元件318的多個組的立體圖像呈現(xiàn)裝置100的示例，所述組具有凸透鏡312和透射顯示元件318之間的不同距離。在圖14(a)所示的示例中，立體圖像呈現(xiàn)裝置100包括三個組，即，凸透鏡312a和透射顯示元件318a的組，凸透鏡312b和透射顯示元件318b的組，以及凸透鏡312c和透射顯示元件318c的組。圖14(a)中所示的立體圖像呈現(xiàn)裝置100還包括連接到圖中未顯示的馬達的半鍍銀鏡332。立體圖像呈現(xiàn)裝置100通過控制馬達來旋轉半鍍銀鏡332。立體圖像呈現(xiàn)裝置100由此可以將由透射顯示元件318中的一個顯示的圖像314的虛擬圖像316呈現(xiàn)給視點308。由于凸透鏡312和透射顯示元件318的組具有凸透鏡312和透射顯示元件318之間的相應的不同距離，因此立體圖像呈現(xiàn)裝置100可以改變呈現(xiàn)給視點308的虛擬圖像316的位置。

圖14(b)顯示包括在凸透鏡312和透射顯示元件318之間具有可變折射率的光學元件334的立體圖像呈現(xiàn)裝置100的示例。通過改變光學元件334的折射率，圖14(b)中所示的立體圖像呈現(xiàn)裝置100改變凸透鏡312和透射顯示元件318之間的光學距離，即使凸透鏡312和透射顯示元件318之間的物理距離是固定的。立體圖像呈現(xiàn)裝置100由此可以改變呈現(xiàn)給視點308的圖像314的虛擬圖像316的位置。

(第五變形例)

在上文中，已描述改變透射顯示元件318的位置以改變提供給視點308的圖像314的虛擬圖像316的位置的情況。代替該情況，透射顯示元件318可以移動以改善透射顯示元件318的可視分辨率。在該情況下，立體圖像呈現(xiàn)裝置100中的圖中未顯示的驅動部分在從光軸偏移例如由透射顯示元件318顯示的圖像的每一幀中的像素的半個像素或1/4像素的方向上移位透射顯示元件318。與此可操作地關聯(lián)，虛擬照相機設置部分110移位安裝在虛擬照相機300中的虛擬照相機300的位置。因此，由于所謂的“無意識眼動”的效果，可以改善呈現(xiàn)給立體圖像呈現(xiàn)裝置100的用戶的虛擬圖像316的可視分辨率。

(第六變形例)

在上文中，已描述顯示由繪制部分108生成的圖像的裝置是透射顯示元件318的情況。然而，當立體圖像呈現(xiàn)裝置100僅包括一個顯示裝置時，顯示裝置可以例如是諸如液晶監(jiān)視器的非透射顯示裝置，而不是透射顯示裝置。

(第七變形例)

已描述根據(jù)前述實施例的立體圖像呈現(xiàn)裝置100通過設在殼體160中的CPU執(zhí)行游戲應用的情況。代替該情況，或除此之外，立體圖像呈現(xiàn)裝置100可以通過無線電或有線連接到外部裝置(例如游戲控制臺)，并且用作該裝置的輸出裝置。

(第八變形例)

在上文中，已描述立體圖像呈現(xiàn)裝置100以疊加的方式在真實空間中顯示AR圖像的情況。為此，基于出現(xiàn)在待呈現(xiàn)給用戶的圖像中的虛擬對象304的深度信息，圖像呈現(xiàn)部分104改變呈現(xiàn)該圖像的虛擬圖像的位置。然而，如上所述，“深度信息”例如是反映當向用戶呈現(xiàn)顯示某個被攝體的圖像并且用戶觀看被攝體時由用戶識別的距離感的信息。因此，作為顯示對象出現(xiàn)在圖像中的被攝體不限于虛擬對象304，并且本發(fā)明例如也可應用于諸如3D電影的立體視頻，其中實際存在的對象設置為被攝體并且由實際存在的照相機拍攝。在這個意義上，“對象”不僅包括虛擬對象，而且包括實際存在的對象，并且也可以被稱為立體圖像呈現(xiàn)裝置100的“繪制對象”。

將假設立體視頻是包括用于左眼的視差圖像和用于右眼的視差圖像的視頻進行以下描述。

用于左眼的視差圖像和用于右眼的視差圖像是通過從相應的不同方向或角度拍攝相同被攝體而獲取的圖像的集合。用于左眼的視差圖像和用于右眼的視差圖像通過拍攝相同被攝體而獲取，但是從不同的觀察點獲取。因此，被攝體在相應的圖像中出現(xiàn)的方向或角度彼此不同。該差異被稱為“雙眼視差”。雙眼視差的幅度根據(jù)從觀察點到被攝體的距離而變化。也就是說，用于左眼的視差圖像和用于右眼的視差圖像的集合包括被攝體的深度信息。已知通過分析視差圖像的雙眼視差來獲取在視差圖像中拍攝的被攝體的深度信息的技術。

因此，圖像呈現(xiàn)部分104可以通過分析包括在立體視頻中的雙眼視差來獲取出現(xiàn)在立體視頻中的對象的深度信息。具體地，對象設置部分112基于用于左眼的視差圖像和用于右眼的視差圖像來獲取包括在立體視頻中的對象的深度信息，所述視差圖像包括在立體視頻中。更具體地，對象設置部分112針對包括在立體視頻中的視差圖像的每個像素獲取深度信息。由對象設置部分112針對每個像素獲取的深度信息是反映由每個像素表示的對象和拍攝對象的照相機之間的距離的信息。

部分區(qū)域生成部分106基于由對象設置部分112獲取的深度信息將待處理的立體視頻分割為多個部分區(qū)域。繪制部分108生成由包括在部分區(qū)域生成部分106所生成的多個部分區(qū)域的每一個中的像素組成的視頻。

虛擬圖像位置設置部分116基于由對象設置部分112獲取的深度信息設置呈現(xiàn)由繪制部分108生成的圖像的虛擬圖像316的位置。也就是說，虛擬圖像位置設置部分116基于由對象設置部分112獲取的深度信息設置透射顯示元件318的位置以顯示由繪制部分108生成的圖像。當由對象設置部分112獲取的深度信息指示離用戶的長距離時，與由對象設置部分112獲取的深度信息指示短距離的情況相比，虛擬圖像位置設置部分116將透射顯示元件318的位置設置為遠離用戶的眼睛的位置。由于在包括被攝體的圖像的虛擬圖像的呈現(xiàn)位置反映被攝體的深度信息，因此可以改善呈現(xiàn)給用戶的立體視頻的立體效果。

順便提及，在深度信息被存儲為與構成立體視頻的每個幀相關聯(lián)的情況下，例如，在拍攝立體視頻等時，繪制部分108和虛擬圖像位置設置部分116可以使用存儲的深度信息。這可以通過例如在拍攝被攝體時使用已知的三維位置測量裝置測量被攝體的三維位置來實現(xiàn)。可以省略視差圖像的后分析，這是有效的，原因是可以減小處理速度和功耗。另一個優(yōu)點在于獲取比通過后計算獲取的深度信息更精確的深度信息。

應當注意，通過組合上述實施例或每個變形例獲取的新實施例也包括在本發(fā)明的實施例中。例如，實施例和第二變形例可以彼此組合以構造包括多個透射顯示元件318并且包括可移動凸透鏡312的立體圖像呈現(xiàn)裝置100。

附圖標記列表：

100立體圖像呈現(xiàn)裝置，102圖像獲取部分，104圖像呈現(xiàn)部分，106部分區(qū)域生成部分，108繪制部分，110虛擬照相機設置部分，112對象設置部分，114虛擬圖像呈現(xiàn)部分，116虛擬圖像位置設置部分，120呈現(xiàn)部分，140成像元件，160殼體，220部分區(qū)域，314圖像，316虛擬圖像，318透射顯示元件，320部分區(qū)域，326光學元件，334光學元件。

[工業(yè)實用性]

本發(fā)明可應用于用于呈現(xiàn)立體圖像的技術。