專利名稱：：三維圖像處理裝置以及方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及用于生成與三維圖像的顯示相關(guān)的要素圖像陣列的三維圖像處理裝置以及方法。
背景技術(shù)：
：作為對包括注視點的投影面，使用了從相互不同的多個視點位置取得的多個多視點圖像的三維圖像顯示裝置，公知采用了多視角(Multi-View)式、稠密多視角式、集成成像(integralimaging)方式(II方式)、一維II式(1D-II方式僅沿著水平方向顯示視差圖像)等顯示方式的裝置。在這些顯示方式中，具有如下的共同特性視差圖像的數(shù)目(視點數(shù))越多，三維圖像的畫質(zhì)越高，但為了取得成為視差圖像的源的多視點圖像而所需的負(fù)擔(dān)增大。另外，將把多個多視點圖像的投影面設(shè)定成相同時的投影面設(shè)為顯示面，并抽出與出射光瞳的坐標(biāo)對應(yīng)的像素信息而得到的圖像成為構(gòu)成該出射光瞳的要素圖像的視差圖像。在上迷的各種顯示方式中，在每個顯示方式中視點數(shù)、視差圖像的提示間隔、光線的關(guān)系都不同。因此，在希望正確地顯示三維圖像的情況下，即使包括注視點的投影面是相同，也需要從與各顯示方式對應(yīng)的視點取得多視點圖像。相反地，如果使用顯示方式不同的多視點圖像，則所顯示的三維圖像成為包括錯誤的圖像，所以存在畫質(zhì)降低這樣的問題。這樣，相對于取得多視點圖像所需的負(fù)荷變高，所取得的多視點圖像的通用性變低。因此，以往為了提高顯示方式之間的互換性而提出各種技術(shù)。例如，在專利文獻(xiàn)l中，公開出在視點數(shù)未滿足期望值的情況下制成并內(nèi)插視點間的圖像的技術(shù)。另外，在專利文獻(xiàn)2中，公開出通過向所鄰接的多個像素列分配多個來自從同一視點位置取得的視點圖像的視差圖像而內(nèi)插視點數(shù)的技術(shù)。另外，作為統(tǒng)一地處理顯示方式不同的多視點信息的研究方法，公知被稱為光線空間的技術(shù)(例如參照非專利文獻(xiàn)l)。通過使用該技術(shù)，可以從光線空間生成與任意的三維圖像顯示裝置對應(yīng)的多視點信息。例如，從根據(jù)100的視點位置的多視點信息生成的光線空間中，可以生成從任意的位置取得的多視點信息。即，如果生成過一次光線空間，則可以生成與任意的顯示方式對應(yīng)的多視點信息。專利文獻(xiàn)l:特開平09-9143號公報專利文獻(xiàn)2:特開2005-331844號公才艮非專利文獻(xiàn)l:MasayukiTanimotoandToshiakiFujii，"FTV-FreeViewpointTelevision"，ISO/IECJTC1/SC29/WG11M8595，July2002.
發(fā)明內(nèi)容但是，在專利文獻(xiàn)l的技術(shù)中，存在如果想要增大三維圖像的正確度則用于內(nèi)插的計算量增加這樣的問題。另外，即使增加了計算量，根據(jù)不足的信息通過內(nèi)插生成的視差圖像的精度、即三維圖像的正確度也不及從正確的視差圖像生成的三維圖像。另外，在專利文獻(xiàn)2的技術(shù)中，由于所內(nèi)插的部分的視點圖像并非正確的信息，所以存在所顯示的三維圖像不正確等無法回避畫質(zhì)劣化這樣的問題。另外，在可以根據(jù)之前生成的多個視點信息生成任意的多視點信息的非專利文獻(xiàn)l的技術(shù)中，存在用于生成光線空間的負(fù)荷高這樣的問題。本發(fā)明是鑒于上述問題而完成的，其目的在于提供一種三維圖像處理裝置以及方法，可以使用在任意條件下取得的多視點信息，生成顯示通過簡易的處理維持了正確度的三維圖像的要素圖像陣列。為了解決上述的課題，并達(dá)成目的，本發(fā)明的三維圖像處理裝置的特征在于，具備存儲單元，存儲定義與顯示面板和光線控制部相關(guān)的規(guī)格的規(guī)格信息，其中，該顯示面板矩陣狀地排列有具有規(guī)定寬度的像素，在多個圖像上顯示用于三維圖像顯示的各要素圖像，該光線控制部被配置在上述顯示面板的前面，通過以上述規(guī)定寬度的大致整數(shù)倍的間距寬度設(shè)定的出射光瞳對來自上述各像素的光線方向進(jìn)行控制，朝向從上述顯示面板離開規(guī)定距離的區(qū)域射出與該各出射光瞳對應(yīng)的要素圖像；接受單元，接受包括從相互不同的視點位置取得的多個視差圖像的多視點圖像；可視區(qū)域控制單元，根據(jù)上述規(guī)格信息，決定上述要素圖像的像素數(shù)，以使連接構(gòu)成上述要素圖像的各像素的中心、與對應(yīng)于該要素圖像的上述出射光瞳的中心的光線的軌跡組在從上述光線控制部離開規(guī)定距離的第1視距處向大致同一區(qū)域入射；取得位置設(shè)定單元，根據(jù)上述規(guī)格信息，在從上述光線控制部離開規(guī)定距離的第2視距的面上，設(shè)定上述多視點圖像的圖像取得位置；入射位置導(dǎo)出單元，分別導(dǎo)出通過上述出射光瞳射出的來自上述要素圖像的各像素的光線向上述第2視距的面入射的入射位置；取得位置確定單元，針對每個上述入射位置，確定最接近該入射位置的圖像取得位置；以及生成單元，向與上述各入射位置對應(yīng)的光線的射出源的各像素，分配從與由上述取得位置確定單元確定的圖像取得位置對應(yīng)的多視點圖像抽出的視差圖像，生成要素圖像陣列。本發(fā)明的三維圖像處理方法的特征在于，包括如下的步驟接受步驟，接受從相互不同的視點位置取得的多個多視點圖像；可視區(qū)域控制步驟，根據(jù)定義與顯示面板和光線控制部相關(guān)的規(guī)格的規(guī)格信息，其中，該顯示面板矩陣狀地排列有具有規(guī)定寬度的像素，在多個圖像上顯示用于三維圖像顯示的各要素圖像，該光線控制部被配置在上述顯示面板的前面，通過以上述規(guī)定寬度的大致整數(shù)倍的間距寬度設(shè)定的出射光脧對來自上述各像素的光線方向進(jìn)行控制，朝向從上述顯示面板離開規(guī)定距離的區(qū)域射出與該各出射光瞳對應(yīng)的要素圖；從而決定上述要素圖像的像素數(shù)，以使連接構(gòu)成上述要素圖像的各像素的中心與對應(yīng)于該要素圖像的上述出射光瞳的中心的光線的軌跡組在從上述光線控制部離開規(guī)定距離的第l視距處向大致同一區(qū)域入射；取得位置設(shè)定步驟，根據(jù)上述規(guī)格信息，在從上述光線控制部離開規(guī)定距離的第2視距的面上，設(shè)定上述多視點圖像的圖像取得位置；入射位置導(dǎo)出步驟，分別導(dǎo)出通過上迷出射光瞳射出的來自上迷要素圖像的各像素的光線向上述第2視距的面入射的入射位置；取得位置確定步驟，針對每個上述入射位置，確定最接近該入射位置的圖像取得位置；以及生成步驟，向與上述各入射位置對應(yīng)的光線的射出源的各像素，分配從與在上述取得位置確定步驟中確定的圖像取得位置對應(yīng)的多視點圖像抽出的視差圖像，生成要素圖像陣列。本發(fā)明的三維圖像處理程序的特征在于，使計算機作為如下的單元發(fā)揮功能接受單元，接受從相互不同的視點位置取得的多個多視點圖像；可視區(qū)域控制單元，根據(jù)定義與顯示面板和光線控制部相關(guān)的規(guī)格的規(guī)格信息，其中，該顯示面板矩陣狀地排列有具有規(guī)定寬度的像素，在多個圖像上顯示用于三維圖像顯示的各要素圖像，該光線控制部被配置在上述顯示面板的前面，通過以上述規(guī)定寬度的大致整數(shù)倍的間距寬度設(shè)定的出射光瞳對來自上述各像素的光線方向進(jìn)行控制，朝向從上述顯示面板離開規(guī)定距離的區(qū)域射出與該各出射光瞳對應(yīng)的要素圖；從而決定上述要素圖像的像素數(shù)，以使連接構(gòu)成上述要素圖像的各像素的中心與對應(yīng)于該要素圖像的上述出射光瞳的中心的光線的軌跡組在從上迷光線控制部離開規(guī)定距離的第1視距處向大致同一區(qū)域入射；取得位置設(shè)定單元，根據(jù)上述規(guī)格信息，在從上述光線控制部離開規(guī)定距離的第2視距的面上，設(shè)定上述多視點圖像的圖像取得位置；入射位置導(dǎo)出單元，分別導(dǎo)出通過上述出射光瞳射出的來自上述要素圖像的各像素的光線向上述第2視距的面入射的入射位置；取得位置確定單元，針對每個上述入射位置，確定最接近該入射位置的圖像取得位置；以及生成單元，向與上述各入射位置對應(yīng)的光線的射出源的各像素，分配從與在上述取得位置確定單元中確定的圖像取得位置對應(yīng)的多視點圖像抽出的視差圖像，生成要素圖像陣列。根據(jù)本發(fā)明，將在任意的條件下取得的多視點信息中包含的各視差圖像，根據(jù)來自以在第l視距處向大致同一區(qū)域入射那樣地調(diào)整了構(gòu)成要素圖像的像素數(shù)的各像素的光線的入射位置、和多視點圖像的圖像取得位置，分配給構(gòu)成顯示面板的各像素。由此，可以使來自各像素的光線方向與各視差圖像的取得方向接近，所以可以生成顯示通過簡易的處理維持了正確度的三維圖像的要素圖像陣列。圖l是示出三維圖像顯示裝置的結(jié)構(gòu)的圖。圖2是示出顯示部的結(jié)構(gòu)的圖。圖3-l是顯示部的水平剖面圖。圖3-2是示出從要素圖像射出的光線的圖。圖4-l是顯示部的水平剖面圖。圖4-2是示出要素圖像寬度和顯示要素圖像的子像素的圖。圖5是示出多視點圖像取得位置與視差圖像的關(guān)系的一個例子的示意圖。圖6是示出多視點圖像取得位置與視差圖像的關(guān)系的一個例子的示意圖。圖7是示出要素圖像、構(gòu)成要素圖像的視差圖像、出射光瞳的關(guān)系的圖。圖8-l是用于說明視差圖像的觀察方法的圖。圖8-2是用于說明視差圖像的觀察方法的圖。圖8-3是用于說明視差圖像的觀察方法的圖。圖8-4是用于說明視差圖像的觀察方法的圖。圖9是示出三維圖像顯示裝置的功能結(jié)構(gòu)的圖。圖IO是顯示部的水平剖面圖。圖11是示出投影面與多視點圖像取得位置的視點序號的關(guān)系的圖。圖12是顯示部的水平剖面圖。圖13是示出投影面與多視點圖像取得位置的視點序號的關(guān)系的圖14是示出投影面與多視點圖像取得位置的視點序號的關(guān)系的圖。圖15是示出投影面與多視點圖像取得位置的視點序號的關(guān)系的圖。圖16是示出投影面與多視點圖像取得位置的視點序號的關(guān)系的圖。圖17是顯示部的水平剖面圖。圖18是示出要素圖像陣列生成處理的步驟的流程圖。圖19是顯示部的水平剖面圖。圖20是顯示部的水平剖面圖。(標(biāo)號說明)100三維圖像顯示裝置1控制部2操作部3顯示部31FPD32子像素33要素圖像34微透鏡(lenticular)板35柱透鏡(cylindricallens)4ROM5RAM6存儲部7通信部8總線9規(guī)格信息11多視點信息接受部12規(guī)格信息取得部13要素圖像陣列生成部14顯示控制部具體實施例方式以下，參照附圖，對三維圖像處理裝置、方法以及程序的最佳實施方式進(jìn)行詳細(xì)+兌明，圖1是示出本實施方式的三維圖像顯示裝置100的硬件結(jié)構(gòu)的框圖。如圖1所示，三維圖像顯示裝置100具備控制部1、操作部2、顯示部3、ROM(ReadOnlyMemory,只讀存儲器)4、RAM(RandomAccessMemory,隨機訪問存儲器)5、存儲部6、通信部7等，各部通過總線8連接?？刂撇?包括CPU(CentralProcessingUnit,中央處理單元)或GPU(GraphicsProcessingUnit,圖形處理單元)等運算裝置，將RAM5的規(guī)定區(qū)域作為作業(yè)區(qū)域，通過與預(yù)先存儲在ROM4或存儲部6中的各種控制程序的協(xié)作來執(zhí)行各種處理，綜合地對構(gòu)成三維圖像顯示裝置100的各部的動作進(jìn)行控制。另外，控制部l通過與預(yù)先存儲在ROM4或存儲部6中的規(guī)定的程序的協(xié)作，實現(xiàn)后述的各功能部(多視點信息接受部11、規(guī)格信息取得部l2、要素圖像陣列生成部13、顯示控制部14)的功能。操作部2是鼠標(biāo)或鍵盤等輸入設(shè)備，將從用戶操作輸入的信息作為指示信號接受，并向控制部l輸出該指示信號。顯示部3具備以液晶等為代表的平板顯示器(FPD)和微結(jié)構(gòu)透鏡等光線控制元件。另外，將在后面，對顯示部3的結(jié)構(gòu)進(jìn)行敘述。RAM5是SDRAM等非易失性存儲設(shè)備，作為控制部1的作業(yè)區(qū)域或視頻存儲器發(fā)揮功能。具體而言，在后述的要素圖像陣列的生成所涉及的處理時，發(fā)揮臨時存儲各種變量和參數(shù)的值的緩沖器等作用。存儲部6具有可以磁或光學(xué)地進(jìn)行記錄的存儲介質(zhì)，可改寫地存儲與三維圖像顯示裝置100的控制相關(guān)的程序和各種信息。另外，存儲部6存儲有與顯示部3的規(guī)格相關(guān)的后述的規(guī)格信息9(參照圖9)。通信部7是在與外部裝置之間進(jìn)行通信的接口，向控制部1輸出所接收到的各種信息，并且向外部裝置發(fā)送從控制部l輸出的各種信號。此處，參照圖2,對顯示部3的結(jié)構(gòu)進(jìn)行詳細(xì)說明。圖2是概略地示出顯示部3的結(jié)構(gòu)的側(cè)視圖。另外，在圖2中示出將視點數(shù)n設(shè)為n=9的顯示部3。顯示部3如上所述具有FPD和光線控制元件，通過根據(jù)觀察位置切換經(jīng)由光線控制元件的出射光瞳進(jìn)行觀察的像素，使觀察者視認(rèn)三維圖像。即，一個出射光瞳相當(dāng)于顯示部3的一個像素。因此，顯示部3的分辨率低于FPD31自身所具有的分辨率。另外，為了將分辨率的降低抑制成最小限，可知僅沿著水平方向提示視差圖像的作法是有效的。以下，在本實施方式中對僅沿著水平方向提示視差圖像的情況進(jìn)行說明。如圖2所示，顯示部3具備矩陣狀地排列有子像素32的FPD31;和在該FPD31的顯示面的前面配置的作為光線控制元件的微透鏡板34。此處，根據(jù)抑制上述的分辨率降低的理由，由于僅沿著水平方向提示視差圖像，所以構(gòu)成微透鏡板34的柱透鏡35的透鏡成分僅成為水平成分。另外，在圖2中示出使用了光學(xué)孔徑沿著垂直方向連續(xù)的柱透鏡35的結(jié)構(gòu)，但也可以是傾斜地配置該柱透鏡35的結(jié)構(gòu)。在FPD31的顯示面中，沿著垂直方向一列排列的子像素32被配置成在同一列內(nèi)紅(R)、綠(G)、藍(lán)(B)被交替地排列，以使通過單一透鏡放大的子像素不成為單色。通過采用這樣的顏色排列，可以使用R、G、B來構(gòu)成從觀察位置經(jīng)由柱透鏡35觀察的視差圖像。另一方面，被配置成沿著水平方向也在直線上排列成一列，并在同一列內(nèi)R、G、B被交替排列，但不限于該例子，也可以配置成在同一行中為相同顏色。在一般的彩色圖像顯示裝置中，由橫向排列的RGB這3個子像素32構(gòu)成1個有效像素、即可以任意地設(shè)定亮度和顏色的最小單位，所以子像素的縱向?qū)挾?3Pp)與橫向?qū)挾?Pp)之比成為3:1。另夕卜，在本實施方式中，示出了子像素的縱向?qū)挾扰c橫向?qū)挾戎葹?:1的情況，但縱向?qū)挾扰c橫向?qū)挾戎炔幌抻谠摾?。以下，將子像?2的橫向?qū)挾萈p稱為像素間距。在圖2所示的顯示面中，由縱向排列的RGB這3個子像素32構(gòu)成l個有效像素，通過將該有效像素橫向排列的9列的有效像素，顯示作為針對一個柱透鏡35的視差圖像的集合的要素圖像33(用黑框表示)。構(gòu)成微透鏡板34的各柱透鏡35分別配置在要素圖像33的大致正面。通過這樣的結(jié)構(gòu)，根據(jù)水平方向的觀察位置的變動，切換經(jīng)由與顯示部3的像素相當(dāng)?shù)某錾涔馔?、即柱透鏡35的透鏡而放大地觀察到的有效像素。另外，在本發(fā)明中將子像素32的縱橫比設(shè)為3:1，所以通過設(shè)為9視差可以將顯示部3的像素設(shè)為正方形。在ID-II方式或多視角式中，顯示部3的基本結(jié)構(gòu)也與圖2所示的結(jié)構(gòu)例子相同，通過根據(jù)觀察位置來切換經(jīng)由出射光瞳觀察的有效像素上顯示的視差圖像33(與一個出射光瞳對應(yīng)的要素圖像的構(gòu)成成分)，使觀察者視認(rèn)三維圖像。此處，由于柱透鏡35背后的要素圖像33的要素圖像寬度P有限，所以可以觀察三維圖像的區(qū)域、即可視區(qū)域也被限制。以下，使用圖3-l、圖3-2對要素圖像33的寬度與可視區(qū)域的關(guān)系進(jìn)行說明。圖3-1是顯示部3的水平剖面圖。另外，圖3-2是放大了圖3-1所示的FPD31的最左端部分的要素圖像33L的圖。另外，在圖3-1、圖3-2中，"P"意味著要素圖像的橫向?qū)挾取Ａ硗猓?g，，意味著微透鏡板34的透鏡與要素圖像33之間的距離(透鏡像素間距離)。另外，"Lsl，，意味著從觀察者的觀察位置到微透鏡板34的距離(視距)，對應(yīng)于后述的可視區(qū)域最佳化距離。另外，圖3-1中陰影部示出由要素圖像33L形成的可視區(qū)域。如圖3-1所示，如果觀察者的觀察位置以O(shè)l—02—03這樣的方式沿著水平方向移動，則如圖3-2所示，根據(jù)該移動，經(jīng)由柱透鏡35的透鏡依次切換來自子像素(有效像素)PI—P9的顯示用光線而觀察。另外，在圖3-2中，箭頭表示經(jīng)由柱透鏡35的透鏡觀察各有效像素的主方向。實際上，像素具有有限的寬度，并且也受到透鏡的散焦影響，可以以該主方向為中心而觀察的范圍擴大。此處，如果針對一個要素圖像，將以視距Lsl觀察三維圖像的可視區(qū)域的寬度(可視區(qū)域?qū)挾?設(shè)為"VW"，則可視區(qū)域?qū)挾萔W具有下式(1)的關(guān)系，所以可以如下式(2)那樣表示。<formula>formulaseeoriginaldocumentpage14</formula>(1)<formula>formulaseeoriginaldocumentpage14</formula>(2)如從上式(2)可知，在像素間距Pp和視點數(shù)n為一定的情況下，通過減小透鏡像素間距離g的值，可以擴大可視區(qū)域?qū)挾萔W。另夕卜，在該情況下，由于提示視差圖像的光線的間隔擴大，所以深度方向的顯示性能降低。這樣，在可以觀察三維圖像的區(qū)域中顯示部3的硬件上的規(guī)格和制約的關(guān)系緊密。因此，為了以有限的視距使可以觀察三維圖像的區(qū)域成為最大，需要在視距Lsl處使通過上述式(1)的關(guān)系式?jīng)Q定的所有經(jīng)由柱透鏡35觀察要素圖像的范圍、即可視區(qū)域?qū)挾萔W—致。此處，參照圖4-l、圖4-2,對在視距Lsl處使可視區(qū)域?qū)挾萔W—致時的步驟進(jìn)行說明。另外，圖4-l是示出顯示部3的水平剖面圖的圖。另外，圖4-2是放大了圖4-1所示的FPD31的最左端部分中包含的一個要素圖像33L的圖，示出要素圖像寬度和顯示要素圖像的子像素。在視距Ls1處使可視區(qū)域?qū)挾萔W—致的情況下，如圖4-1、圖4-2所示，使連接要素圖像33L的中心與柱透鏡35的中心(出射光瞳)的直線在視距Lsl處交叉成一點即可。為此，柱透鏡35的水平間距Ps與要素圖像寬度P需要滿足下式(3)的關(guān)系。另外，下式(3)可以如下式(4)那樣變形。<formula>formulaseeoriginaldocumentpage14</formula>(3)<formula>formulaseeoriginaldocumentpage14</formula>(4)為了滿足上式(4)，在多視角式的顯示部3中，制作成使各柱透鏡35的水平間距Ps比排列在顯示面內(nèi)的子像素32的橫向周期、即像素間距Pp的視點數(shù)n倍僅短Ls/(Lsl+g)倍。如果將其一般化，則柱透鏡35的水平間距Ps可以如下式(5)那樣表示。Ps-(nxPp)xLs1/(Ls1+g)(5)因此，多視角式中的要素圖像總是由與視點數(shù)n對應(yīng)的n個像素形成，并且來自沿著水平方向隔著n個的子像素的光線在視距Ls1處形成聚光點。另外，在1D-II方式中，在視距Lsl上不設(shè)聚光點。為此，例如，使各柱透鏡的水平間距Ps等于排列在顯示面內(nèi)的子像素32的像素間距Pp的n倍(n為視點數(shù))。即，以滿足下式(6)的形式制成柱透鏡的水平間距Ps。Ps-nxPp(6)由此，從沿著水平方向隔著n個的子像素32照射的光線成為平行光線。在該硬件結(jié)構(gòu)中，為了確保視距Ls1處的可視區(qū)域(滿足式(4))，使要素圖像由n個子像素構(gòu)成，并且離散地配置由(n+l)個子像素構(gòu)成的要素圖像即可。此處，如果將發(fā)生(n+l)個子像素的比率設(shè)為"m"，則要素圖像寬度P可以如下式(7)那樣表示。P-{(l-m)xn+mx(n+l)}xPp(7)另外，上式(7)通過式(4)以及式(6)而成為下式(8)。通過決定比率m以滿足該式(8),可以防止在視距處發(fā)生聚光點，并且可以滿足上式(4)。Ps/P-n/{(1-m)xn+mx(n+1)}=Ls1/(Ls1+g)(8)從式(8)可知，如果希望將可視區(qū)域?qū)挾瘸蔀樽畲蟮囊暰郘s1設(shè)定得較長，則減小比率m即可。另外，可知如果希望將Lsl設(shè)定得較短，則增大比率m即可。以下，在本實施方式中，將如下的處理稱為"可視區(qū)域最佳化"通過以根據(jù)上式(8)導(dǎo)出的比率m離散地發(fā)生由(n+1)個子像素組成的要素圖像，來決定構(gòu)成各要素圖像的像素數(shù)，在視距Lsl處使可視區(qū)域?qū)挾萔W大致一致。另外，將此時的視距Ls1稱為可視區(qū)域最佳化距離。另外，通過對以從視距Ls1處的可視區(qū)域的中心Oc朝向各出射光瞳的中心被引出的直線Ll為中心來決定要素圖像寬度P時的邊界、與子像素的中心進(jìn)行比較，并重復(fù)進(jìn)行決定所屬的要素圖像的判定，可以決定由(n+l)個子像素構(gòu)成的要素圖像的發(fā)生位置。例如，如果設(shè)為n-9，則與以朝向各出射光瞳的中心被引出的直線Ll為中心來決定要素圖像寬度P時的邊界(左端和右端)相比像素中心成為內(nèi)側(cè)的子像素32如圖4-2所示主要有9個，所以要素圖像主要由9個子像素構(gòu)成。但是，通過上式(8)而成為P〉9xPp，所以子像素32的中心很少進(jìn)入決定要素圖像寬度P時的邊界(左端和右端)的內(nèi)側(cè)，而有時構(gòu)成要素圖像的像素32成為10個。另外，上述的可視區(qū)域最佳化還可以適用于在視距Ls1處發(fā)生聚光點的多視角式。即，在以硬件上設(shè)定的視距Lsl以外的距離使可視區(qū)域?qū)挾瘸蔀樽畲蟮那闆r下，以滿足上式(8)的關(guān)系的形式?jīng)Q定發(fā)生包括(n+l)個子像素的要素圖像的比率m即可。另外，如下述那樣生成為了顯示三維圖像而顯示在FPD31上的要素圖像陣列。圖5是示出與多視角式的顯示方式對應(yīng)的圖像取得位置43與視差圖像45的關(guān)系的一個例子的示意圖。另外，在圖5中，示出將視點數(shù)n設(shè)為n-3的情況。在該圖中，要素圖像44是與微透鏡板的一個透鏡對應(yīng)的視差圖像45的集合。將這樣的要素圖像的集合稱為要素圖像陣列(要素圖像陣列41)。此處，多視點圖像是指，通過從與視點序號對應(yīng)的多個不同的視點位置(圖像取得位置)設(shè)定單一投影面并進(jìn)行攝影而取得的圖像(在該圖中用46表示的二維圖像)。如果根據(jù)這樣取得的多視點圖像來生成要素圖像陣列，則在三維圖像顯示時投影面與顯示器表面一致。在圖5中，42是連接顯示出視差圖像45的子像素與出射光瞳(透鏡)的中心的線段，在有限的距離(具體而言為Lsl)處聚光。即，在通過多視角式進(jìn)行三維圖像的顯示的情況下，該聚光點相當(dāng)于圖像取得位置43。圖6是示出與1D-II方式的顯示方式對應(yīng)的圖像取得位置53與視差圖像55的關(guān)系的一個例子的示意圖。另外，在圖6中，示出將視點數(shù)n設(shè)為n-3的情況。要素圖像54是與微透鏡板的一個透鏡對應(yīng)的視差圖像55的集合，該要素圖像54的集合成為要素圖像陣列51。另外，52是連接顯示出視差圖像的子像素與出射光瞳(透鏡)的中心的線段。此處，線段52滿足上式(6)的關(guān)系，所以以平行光線射出。即，在1D-II方式中，以平行光線取得多視點圖像，并將該多視點圖像分配給每n個像素的子像素的作法是理想的。此處，對于圖像取得位置53，由于所取得的多視點圖像是平行投影圖像，所以僅規(guī)定了方向而未規(guī)定距離，所以是假想的配置。但是，在從顯示部3離開有限的距離的位置處，觀察顯示部3的FPD31上顯示的要素圖像陣列。當(dāng)以有限的視距進(jìn)行可視區(qū)域最佳化的情況下，需要角度更大的光線信息，所以為了構(gòu)成要素圖像陣列而所需的多視點圖像多于每一個透鏡的水平子像素數(shù)、即視點數(shù)n。具體而言，在圖6示出的1D-II方式中，視點數(shù)為n=3(每一個透鏡的水平子像素數(shù)為3)而與圖5的多視角式相同，但圖像取得位置為6個位置(視點序號-3、-2、-1、1、2、3)而成為多視角式的2倍。以下，參照圖7，對在1D-II方式中，構(gòu)成要素圖像而所需的多視點圖像的數(shù)目增加的理由進(jìn)行說明。圖7是示出設(shè)為視點數(shù)n-9時的要素圖像33、構(gòu)成該要素圖像33的視差圖像、出射光瞳(柱透鏡35)的關(guān)系的圖。在圖7中，設(shè)為位于右端的由n=9個子像素構(gòu)成的要素圖像33為由與視點序號-2~7對應(yīng)的視差圖像構(gòu)成。如果在該要素圖像33的左側(cè)發(fā)生由n+l-10個子像素構(gòu)成的要素圖像33(圖中中央的要素圖像)，則所追加的l個子像素顯示視點序號8的視差圖像。因此，位于圖中左端的由n-9個子像素構(gòu)成的要素圖像33由與視點序號-1~8對應(yīng)的視差圖像構(gòu)成。即，通過發(fā)生由上述的(n+l)個子像素構(gòu)成的要素圖像，構(gòu)成要素圖像的視點序號偏移1個，并且要素圖像相對透鏡的相對位置也僅偏移1個子像素。視點序號偏移的意思相當(dāng)于從出射光瞳射出的來自要素圖像的光線組的射出方向、即顯示三維圖像的方向發(fā)生移位。即，通過上式(8)，在擴大可視區(qū)域?qū)挾鹊那闆r下，即在進(jìn)一步減小視距Ls的情況下，需要包含角度更大的光線信息的視差圖像，所以比率m的值增加。另外，對于1D-II方式中的視差圖像，如上所述那樣由來于同一視點的視點圖像的圖像被分配成平行光線。因此，觀察者如果從有限的距離對顯示部3的FPD31上顯示的要素圖像陣列(視差圖像)進(jìn)行觀察，則通過多個多視點圖像的相加而觀察到自該距離的透視投影圖像。圖8-l、圖8-2、圖8-3以及圖8-4是用于說明1D-II方式中的要素圖像陣列的觀察方法的圖。如果從有限的距離(圖中箭頭位置)觀察顯示部3，而如圖8-l所示觀察到視點序號-22的視差圖像61，則在觀察位置向左偏移的情況下，如圖8-2所示，觀察到視點-3~1的視差圖像61。另外，在從圖8-1所示的觀察位置向顯示部3接近時，如圖8-3所示，觀察到視點序號-3、-1、1、3的視差圖像61，在從顯示部3遠(yuǎn)離時，如圖8-4所示，觀察到視點序號-1、l的視差圖像61。其結(jié)果，觀察者通過對與各觀察位置對應(yīng)的透視投影圖像進(jìn)行觀察，而視認(rèn)成三維圖像。另外，在圖8-1、圖8-2、圖8-3以及圖8-4中，示出了從單視點觀察的情況，但當(dāng)通過兩視角來觀察時也同樣地，將與兩視角各自的觀察位置對應(yīng)的透視投影影像視認(rèn)成三維圖像。即，所顯示的三維圖像是對在實際上存在物體時的光線雖然是粗亂的但卻進(jìn)行采樣而得到的圖像，三維圖像在空間中具有固有的坐標(biāo)。其為與利用了以以往的兩視角式為代表的兩視角視差的技術(shù)的決定性差異點。另外，圖5所示的多視角式也是從以往的聚光點以設(shè)定視點距離而被設(shè)定在兩視角間隔的兩視角式發(fā)展出的手法。但在最近，通過設(shè)為將聚光點有意地設(shè)定在比設(shè)想視距遠(yuǎn)的位置、或者以比兩視角間隔充分窄的間隔設(shè)定的稠密多視角式，從而還提出空間像方式顯示的方式。如上所述，多視點圖像的生成方法根據(jù)三維圖像的顯示方式和進(jìn)行顯示的顯示裝置的規(guī)格而不同，所以在將所生成的多視點圖像挪用到其他顯示方式和顯示裝置的那樣的情況下，難以維持所顯示的三維圖像的正確度。因此，在本實施方式的三維圖像顯示裝置100中，通過后述的功能結(jié)構(gòu)的控制，將在任意的圖像取得位置處取得的多視點圖像，根據(jù)顯示部3的規(guī)格重新排列而分配給各子像素，從而維持所顯示的三維圖像的正確度。圖9是示出通過控制部1與預(yù)先存儲在ROM4或存儲部6中的規(guī)定的程序的協(xié)作而實現(xiàn)的三維圖像顯示裝置100的功能結(jié)構(gòu)的圖。如該圖所示，三維圖像顯示裝置100作為功能結(jié)構(gòu)具備多視點信息接受部11、規(guī)格信息取得部12、要素圖像陣列生成部13以及顯示控制部14。多視點信息接受部11作為接受經(jīng)由通信部7從外部輸入的多視點信息的接受單元發(fā)揮功能，向要素圖像陣列生成部13輸出所接受到的多視點信息。此處，所謂多視點信息是指，至少包括與三維圖像的顯示相關(guān)的多個多視點圖像和表示各視點圖像的攝影位置的前后關(guān)系的視點序號的信息組。另外，多視點圖像的輸入不限于經(jīng)由通信部7從外部輸入的形式，也可以是通過讀出預(yù)先存儲在存儲部6中的多視點信息來接受的形式。規(guī)格信息取得部12從存儲部6讀出定義了顯示部3的硬件上的規(guī)格和制約的規(guī)格信息9，并輸出到要素圖像陣列生成部13。此處，作為規(guī)格信息9，可以舉出柱透鏡35的水平間距Ps、與一個柱透鏡35對應(yīng)的要素圖像的視點數(shù)n、子像素32的像素間距Pp、通過柱透鏡35從所鄰接的子像素照射的光線間的角度(可視區(qū)域射出角)等。要素圖像陣列生成部13根據(jù)由規(guī)格信息取得部12取得的規(guī)格信息，假想地實現(xiàn)顯示部3的結(jié)構(gòu)，通過仿真導(dǎo)出后述的要素圖像陣列生成處理時的從顯示部3射出的光線的狀態(tài)。另外，在本實施方式中，設(shè)為將與三維圖像顯示裝置IOO具備的顯示部3相關(guān)的規(guī)格信息存儲在存儲部6中的形式，但不限于此，也可以是經(jīng)由通信部7從外部裝置取得的形式。另外，也可以是取得其他三維圖像顯示裝置中具備的顯示部的規(guī)格信息的形式，在該情況下，也可以是三維圖像顯示裝置100自身不具備顯示部3的形式。要素圖像陣列生成部13根據(jù)從多視點信息接受部11以及規(guī)格信息取得部12取得的各種信息，根據(jù)所輸入的多視點信息生成與顯示部3的規(guī)格對應(yīng)的要素圖像陣列。具體而言，要素圖像陣列生成部13作為根據(jù)假想實現(xiàn)的顯示部3的結(jié)構(gòu)在從柱透鏡35離開規(guī)定距離的視距Lsl處進(jìn)行上迷的可視區(qū)域最佳化，并決定發(fā)生由(n+l)個子像素組成的要素圖像的比率m,從而決定構(gòu)成各要素圖像33的子像素32的數(shù)目的可視區(qū)域控制單元發(fā)揮功能。另外，要素圖像陣列生成部13判定在由多視點信息接受部11接受到的多視點信息中是否包含圖像取得位置信息。此處，所謂圖像取得位置信息是指，與包含在多視點信息中的各視點圖像的圖像取得位置相關(guān)的信息組，至少包括圖像取得距離Lc。另外，要素圖像陣列生成部13根據(jù)由多視點信息接受部11接受到的多視點信息中包含的圖像取得位置信息或多視點圖像的總數(shù)，來決定視距Ls2。另外，要素圖像陣列生成部13作為從與FPD31的中心線對應(yīng)的Lc2的面的位置，按照每個后述的光線間距離x依次沿著FPD31的兩側(cè)方向分配視點序號，設(shè)定所對應(yīng)的圖像取得位置的取得位置設(shè)定單元發(fā)揮功能。另外，要素圖像陣列生成部13作為分別導(dǎo)出從應(yīng)用了可視區(qū)域最佳化后的FPD31的各子像素射出的顯示用光線向Ls2面入射的入射位置的入射位置導(dǎo)出單元發(fā)揮功能。此處，Ls2面是指，從作為三維圖像的顯示面的顯示部3(柱透鏡35)僅離開視距Ls2的位置上假想地設(shè)置的顯示部3的對置面。另外，Ls2面也可以是與顯示部3平行的面，也可以是曲面。另外，要素圖像陣列生成部13作為對從應(yīng)用了可視區(qū)域最佳化后的FPD31的各子像素射出的顯示用光線向Ls2面入射的各入射位置、與Ls2面中的圖像取得位置進(jìn)行比較，針對各入射位置分別確定最接近的圖像取得位置的取得位置確定單元發(fā)揮功能。另外，要素圖像陣列生成部13作為向成為與各入射位置對應(yīng)的顯示用光線的射出源的子像素分配與所確定的圖像取得位置的視點序號對應(yīng)的視差圖像，生成要素圖像陣列的生成單元發(fā)揮功能。另外，要素圖像陣列生成部13作為接受經(jīng)由操作部2從用戶指示的光線間距離x、視距Ls2、視距Lsl的值的變更指示的變更接受單元發(fā)揮功能，根據(jù)所指定的值來生成要素圖像陣列。以下，參照圖10~17，對要素圖像陣列生成部13進(jìn)行說明。首先，圖10是n-9且采用了1D-II方式的顯示部3的水平剖面圖，示出從應(yīng)用可視區(qū)域最佳化前的狀態(tài)的各出射光瞳(柱透鏡35)射出的光線的軌跡。另外，用視點序號"O，，表示在正面射出的光線，對在視點序號0的左側(cè)射出的光線附加"負(fù)，，，對在右側(cè)射出的光線附加"正，，(以下相同)。如上所述，在未在特定的距離設(shè)置聚光點的ID-II方式的情況下，從各出射光瞳射出的光線處于平行的關(guān)系。因此，為了取得與這些光線對應(yīng)的光線信息，如圖ll所示，需要從與圖10的視點序號-4~4對應(yīng)的視點序號-4~4這合計9個視點朝向投影面Vs通過平行投影、即從無限遠(yuǎn)的透視投影來取得多視點圖像。由此，可以使從構(gòu)成各要素圖像的子像素中的與同一位置的子像素對應(yīng)的出射光瞳射出的光線成為平行光線。另一方面，在與圖10同樣的硬件結(jié)構(gòu)的顯示部3中，針對有限的視距Lsl實施了可視區(qū)域最佳化時的從各出射光瞳射出的光線的軌跡如圖12所示。雖然是抽象性的圖，但為了取得來自最左端的出射光瞳(柱透鏡35)的光線信息，需要從與視點序號3~11對應(yīng)的合計9個視點通過平行投影取得多視點圖像。在1D-II方式的情況下，如上所述構(gòu)成要素圖像的多視點圖像的數(shù)目增加。因此，在圖12的結(jié)構(gòu)中，針對全部子像素所需的多視點圖像的數(shù)目、即視點序號需要-11~11這23個，這些視點序號與、針對投影面Vs的圖像取得方向的關(guān)系可以如圖13那樣表示。另外，通過平行投影取得多視點圖像時所需的多視點圖像的總數(shù)、即總視點數(shù)Na可以通過下式(9)來求出。此處，H意味著FPD31的畫面寬度。Na=(H-Ps+VW)xg/L/Pp+1(9)圖14是示出投影面與多視點圖像取得位置的視點序號的關(guān)系的圖。在該圖中，用圖中的陰影部分表示通過從圖13所示的23方向的平行投影取得的多視點圖像保有的光線信息所充滿的區(qū)域。此處，用針對投影面Vs的從視點-11~11引出的虛線表示的線段對應(yīng)于三維圖像的顯示中使用的光線信息、即顯示用光線。即，從圖14可知，多視點圖像保有的光線信息所充滿的區(qū)域與顯示用光線相比變得過多。另一方面，圖15是用于與圖14進(jìn)行比較的圖，是示出投影面Vs與多視點圖像取得位置的視點序號的關(guān)系的圖。在該圖中，用圖中的陰影部分表示從可視區(qū)域最佳化距離Lsl通過透視投影取得的多視點圖像保有的光線信息所充滿的區(qū)域。另外，多視點圖像取得距離是有限的距離意味著通過透視投影取得多視點圖像。從有限的距離Ls1的視點序號-4~4這9個視點取得的光線與三維圖像的顯示中使用的顯示用光線(圖中虛線部)大致相等。即，可視區(qū)域最佳化距離Lsl成為可以最高效地取得光線信息的距離。在多視角式的情況下，由于在視距內(nèi)有聚光點，所以可以使三維圖像的顯示中使用的光線信息與作為多視點圖像而取得的光線信息完全一致。另外，圖16是用于與圖14、圖15進(jìn)行對比的圖，是示出投影面Vs與多視點圖像取得位置的視點序號的關(guān)系的圖。在該圖中，用圖中的陰影部分表示從比無限遠(yuǎn)近且比可視區(qū)域最佳化距離Lsl遠(yuǎn)的視距Ls2通過透視投影取得的多視點圖像保有的光線信息所充滿的區(qū)域。在圖16的結(jié)構(gòu)中，與圖14相比可以更高效地利用多視點圖像的光線信息，但與圖15的結(jié)構(gòu)相比效率差。如果總結(jié)圖14、圖15、圖16中的狀態(tài)，則可以如下表那樣表示。此處，所謂包含在顯示用光線中的誤差是指與平行光線的偏移量，距離越接近無限遠(yuǎn)，誤差越低。(表l)<table>tableseeoriginaldocumentpage23</column></row><table>要素圖像陣列生成部13著眼于上述的圖像取得用的光線所充滿的光線區(qū)域與三維圖像的顯示用光線所充滿的光線區(qū)域的偏離，而根據(jù)可視區(qū)域最佳化距離Ls1處的顯示用光線，根據(jù)包含在多視點信息中的視差圖像組生成要素圖像陣列。以下，對要素圖像陣列生成部13的動作原理進(jìn)行說明。經(jīng)由出射光瞳射出的來自各子像素32的顯示用光線間在有限的視距L中可以以等間隔進(jìn)行觀察。此時，從一個要素圖像射出的顯示用光線的距離L處的顯示用光線間的間隔(光線間距離x)可以如下式(10)那樣表示Pp:x=g:L(10)此處，各顯示用光線向距離L的面入射的位置(入射位置)與將顯示部3設(shè)為投影面Vs時的圖像取得位置對應(yīng)。即，通過生成將從在這些圖像取得位置處取得的多視點圖像抽出的視差圖像分配給所對應(yīng)的子像素而得到的要素圖像陣列，可以顯示與距離L對應(yīng)的三維圖像。在該情況下，與圖13示出的視點序號量的多視點圖像相比，可以減少多視點圖像的數(shù)目。另外，在圖16的例子中，對于來自投影面Vs的光線的入射位置通過可視區(qū)域最佳化距離Lsl被大致同一化的顯示用光線組，在Lsl的更遠(yuǎn)處再次觀察到擴展。此時，從一個要素圖像射出的距離Ls2面中的顯示用光線的光線間距離x通過上式(10)被規(guī)定，顯示用光線被入射到視點序號-6~6的各位置。這些顯示用光線的入射位置與將顯示部3設(shè)為投影面Vs時的多視點圖像取得位置對應(yīng)，成為視點序號-6~6這合計13個。即，與圖13示出的23個視點的平行投影多視點圖像相比，可以減少IO個視點量的多視點圖像。要素圖像陣列生成部13根據(jù)上述的顯示用光線的入射位置與圖像取得位置的關(guān)系，根據(jù)由多視點信息接受部11接受到的多視點信息，生成要素圖像陣列。即，要素圖像陣列生成部13根據(jù)上式(10)來設(shè)定從多視點信息導(dǎo)出的視距Ls2面中的圖像取得位置，將最接近向該Ls2面入射的通過視距Ls1進(jìn)行了可視區(qū)域最佳化的來自各子像素的顯示用光線的位置的圖像取得位置分配給所對應(yīng)的子像素，從而從多視點信息生成要素圖像陣列。此處，參照圖17，對將從多視點圖像抽出的視差圖像分配給子像素進(jìn)行說明。圖17是示出顯示部3的水平剖面圖的圖，示出從通過視距Ls1可視區(qū)域最佳化后的子像素射出的顯示用光線的軌跡。33L表示位于FPD31的左端的要素圖像，33C表示位于FPD31的中央的要素圖像，33R表示位于FPD31的右端的要素圖像。另外，由要素圖像陣列生成部13根據(jù)包含在多視點信息中的圖像取得位置Lc或多視點圖像數(shù)來設(shè)定有限的視距Ls2，在該Ls2面中，通過上式(10)分別設(shè)定與圖像取得位置對應(yīng)的視點序號-5~5。此處，如果著眼于要素圖像33L，則可知從要素圖像33L的各子像素射出的顯示用光線在Ls2面中的入射位置分別接近視點序號-3~5。在該情況下，要素圖像陣列生成部13從多視點信息取出與這些視點序號-3~5對應(yīng)的9個視點圖像，分配給要素圖像33L的各子像素。另外，如果著眼于要素圖像33C，則可知從要素圖像33C的各子像素射出的顯示用光線在Ls2面中的入射位置分別接近視點序號-4~4。在該情況下，要素圖像陣列生成部13從與這些視點序號-4~4對應(yīng)的9個多視點圖像取出視差圖像，分配給要素圖像33C的各子像素。另外，如果著眼于要素圖像33R，則可知從要素圖像33R的各子像素射出的顯示用光線在Ls2面中的入射位置分別接近視點序號-5~3。在該情況下，要素圖像陣列生成部13從與這些視點序號-5~3對應(yīng)的9個多視點圖像取出視差圖像，分配給要素圖像33R的各子像素。這樣，要素圖像陣列生成部13通過針對構(gòu)成FPD31的所有子像素，分配從所對應(yīng)的多視點圖像抽出的視差圖像，而生成要素圖像陣列。另外，在圖17的例子中，雖然未針對由(n+l)個子像素構(gòu)成的要素圖像進(jìn)行圖示，但是與上述同樣地針對(n+l)個子像素分配從所對應(yīng)的多視點圖像抽出的視差圖像。以下，參照圖18，對三維圖像顯示裝置100的動作進(jìn)行說明。此處，圖18是示出要素圖像陣列生成處理的步驟的流程圖。另外，作為本處理的前提，由規(guī)格信息取得部12從存儲部6等取得與顯示部3相關(guān)的規(guī)格信息9，輸出到要素圖像陣列生成部13。首先，如果由多視點信息接受部11經(jīng)由通信部7等接受到多視點信息的輸入(步驟S11)，則要素圖像陣列生成部13判定在該多視點信息中是否包含圖像取得位置信息(步驟S12)。當(dāng)在步驟S12中，判定為在多視點信息中包含圖像取得位置信息的情況下(步驟S12:"是")，要素圖像陣列生成部13將包含在圖像取得位置信息中的圖像取得距離Lc設(shè)定成視距Ls2(步驟S13)。要素圖像陣列生成部13根據(jù)由規(guī)格信息取得部12取得的規(guī)格信息9，通過視距Lsl執(zhí)行可視區(qū)域最佳化(步驟S14)。另外，此處設(shè)為視距Lsl是有限的視距，并設(shè)為滿足LslSLs2的關(guān)系。接下來，要素圖像陣列生成部13從與FPD31的中心線對應(yīng)的Lc2面的位置，按照每個通過上式(10)導(dǎo)出的光線間距離x沿著FPD31的兩側(cè)方向依次分配視點序號，設(shè)定Ls2面上的圖像取得位置(步驟S15)。另外，在本實施方式中，設(shè)為根據(jù)上式(10)來決定光線間距離X的形式，但不限于此，也可以設(shè)為當(dāng)在多視點信息中包含有表示圖像取得位置的間隔的信息的情況下，將該圖像取得位置的間隔設(shè)為光線間距離X的形式。接下來，要素圖像陣列生成部13分別導(dǎo)出從可視區(qū)域最佳化后的各子像素射出的顯示用光線向Ls2面入射的入射位置(步驟S16)，分別確定最接近各入射位置的圖像取得位置(視點序號)(步驟S17)。接下來，要素圖像陣列生成部13向成為與對Ls2面入射的各入射位置對應(yīng)的顯示用光線的射出源的子像素，分別分配從在步驟S17中確定的視點序號的多視點圖像抽出的視差圖像，來生成要素圖像陣列(步驟S18)，向步驟S26處理轉(zhuǎn)移。另一方面，當(dāng)在步驟S12中，判定為在多視點信息中未包含圖像取得位置信息的情況下(步驟S12:"否")，要素圖像陣列生成部13在根據(jù)由規(guī)格信息取得部12取得的規(guī)格信息9，通過有限的視距Ls1執(zhí)行了可視區(qū)域最佳化之后(步驟S19)，臨時設(shè)定有限的視距Ls2(步驟S20)。此處，設(shè)為Ls1與"2的關(guān)系滿足Lsl仏s2。要素圖像陣列生成部13從與FPD31的中心線對應(yīng)的Lc2面的位置按照每個通過上式(10)導(dǎo)出的光線間距離x沿著FPD31的兩側(cè)方向依次分配視點序號，來設(shè)定Ls2面上的圖像取得位置(步驟S21)。接下來，要素圖像陣列生成部13導(dǎo)出從可視區(qū)域最佳化后的各子像素射出的顯示用光線向Ls2面入射的入射范圍的寬度、即Ls2面中的可視區(qū)域?qū)挾萔W(步驟S22)。接下來，要素圖像陣列生成部13根據(jù)包含在多視點信息中的總視點序號，導(dǎo)出Ls2面上的圖像取得范圍的寬度(步驟S23)。具體而言，通過計算出(視差圖像數(shù)-l)x光線間距離x，可以導(dǎo)出圖像取得范圍。接下來，要素圖像陣列生成部13判定在步驟S22中導(dǎo)出的入射范圍的寬度與在步驟S23中導(dǎo)出的取得范圍的寬度是否大致一致(步驟S24)。另外，判定為兩個寬度大致一致的程度可以任意設(shè)定。當(dāng)在步驟S24中，判定為兩個寬度不一致的情況下(步驟S24:"否")，要素圖像陣列生成部13再次回到步驟S19的處理，用其他值來臨時設(shè)定Ls2。另外，當(dāng)在步驟S24中判定為兩個寬度大致一致的情況下(步驟S24:"是，，)，要素圖像陣列生成部13將當(dāng)前臨時設(shè)定中的Ls2值重新設(shè)定成正式的值(步驟S25)，轉(zhuǎn)移到步驟S16的處理o在步驟S26中，顯示控制部14在FPD31的各子像素32上顯示在步驟S18中生成的要素圖像陣列，從而在顯示部3上顯示三維圖像(步驟S26)。此處，如果經(jīng)由操作部2輸入了變更光線間距離x的值的指示信息(步驟S27:"是，，)，要素圖像陣列生成部13在將光線間距離x變更成該指示的值之后，再次回到步驟S15的處理，進(jìn)行步驟S1618的處理，從而針對變更后的光線間距離x生成要素圖像陣列。即，三維圖像顯示裝置100的用戶可以一邊觀察顯示在顯示部3上的三維圖像，一邊變更光線間距離x的值，可以恰當(dāng)?shù)匦拚溆^察方法。另外，如杲經(jīng)由操作部2輸入了變更Ls2的值的指示信息(步驟S27:"否"—步驟S28:"是")，要素圖像陣列生成部13在將Ls2變更成該指示的值之后，再次回到步驟S15的處理，進(jìn)行步驟S1618的處理，從而生成關(guān)于變更后的Ls2的要素圖像陣列。即，三維圖像顯示裝置100的用戶可以一邊觀察顯示在顯示部3上的三維圖像，一邊變更Ls2的值，可以恰當(dāng)?shù)匦拚溆^察方法。另外，變更后的Ls2的值設(shè)成Ls1以上，但也可以限制來自操作部2的輸入以使其不小于Ls1，也可以根據(jù)Ls2的值自動地修正Ls1的值。另夕卜，在經(jīng)由操作部2輸入了變更Ls2的值的指示信息的情況下(步驟S28:"否"—步驟S29:"是")，要素圖像陣列生成部13在將Ls1變更成該指示的值之后，再次回到步驟S14的處理，進(jìn)行步驟S15S18的處理，從而生成關(guān)于變更后的Ls1的要素圖像陣列。即，三維圖像顯示裝置100的用戶可以一邊觀察顯示在顯示部3上的三維圖像，一邊變更Lsl的值，可以恰當(dāng)?shù)匦拚溆^察方法。另外，變更后的Lsl的值設(shè)成Ls2以下，但也可以限制來自操作部2的輸入以使其不大于Ls2,也可以根據(jù)Lsl的值自動地修正Ls2的值。另夕卜，要素圖像陣列生成部13如果判斷為未經(jīng)由操作部2輸入了變更參數(shù)的指示(步驟S27:"否"—步驟S28:"否"—步驟S29:"否")，結(jié)束本處理。另外，上述要素圖像陣列生成處理的步驟即使是在多視角式或1D-II方式下也不變。即，即使根據(jù)多視角式或1D-II方式生成了由多視點信息接受部11接受的多視點信息，也可以根據(jù)該多視點信息生成與顯示部3的規(guī)格對應(yīng)的要素圖像陣列。此處，參照圖19、圖20,對通過本要素圖像陣列生成處理生成的要素圖像陣列的顯示狀態(tài)進(jìn)行說明。圖19、20是示出來自被分配了由來于通過ID-II方式從同一視點位置取得的多視點圖像的視差圖像的各子像素的光線的軌跡的圖。圖19示出將從作為平行投影圖像取得的單一的視點圖像抽出的視差圖像分配給子像素時的光線組的軌跡。如圖中用粗線所示來自子像素的光線處于平行關(guān)系。在該情況下，由于來自各子像素的光線方向與各視差圖像取得時的視線方向一致，所以在視差圖像所表示的信息與來自各子像素的顯示用光線所表示的信息中不產(chǎn)生偏離，可以顯示正確的三維圖像。另外，圖20示出將從自有限的視距作為透視投影圖像而取得的單一的視點圖像抽出的視差圖像分配給子像素時的光線組的軌跡。如圖中用粗線所示來自子像素的光線處于大致透視的關(guān)系。在ID-II方式中，由于在有限的視距未設(shè)置聚光點，所以在視差圖像所表示的信息與來自各子像素的顯示用光線所表示的信息之間產(chǎn)生誤差。但是，由于可以使來自各子像素的光線方向與各視差圖像取得時的視線方向接近，所以作為整體可以顯示大致正確的三維圖像。如上所述，根據(jù)本實施方式的三維圖像顯示裝置100，將在任意的條件下取得的多視點信息中包含的各視差圖像，根據(jù)來自以在視距Ls1處向大致同一區(qū)域入射那樣地調(diào)整了構(gòu)成要素圖像的像素數(shù)的各像素的光線的入射位置、和各視差圖像的圖像取得位置，分配給構(gòu)成顯示面板的各像素。由此，可以使來自各像素的光線方向與各視差圖像取得時的視線方向接近，所以可以生成顯示通過簡易的處理維持了正確度的三維圖像的要素圖像陣列。另外，在上述的要素圖像陣列生成處理中，在變更了圖像取得位置的間隔、即光線間距離x的值的情況下，所顯示的三維圖像的深度方向發(fā)生變化。例如，如果使圖像取得位置的間隔成為1/2，則三維圖像以沿著深度方向倒塌成大致1/2的狀態(tài)進(jìn)行顯示。另外，如果通過變更視距Ls1、視距Ls2而變更了圖像取得距離，則三維圖像的透視度變化。在該情況下，例如，如果圖像取得距離變小，則透視度變大，距顯示部3位于跟前的部分顯示得更大，位于里頭的部分顯示得更小。另外，如果圖像取得距離變大，則透視度變小，在透視度為零的情況下，與位于跟前的部分相比位于里頭的部分顯示得小。在知曉正確的三維圖像的顯示狀態(tài)的情況下，通過考慮該關(guān)系而調(diào)整圖像取得距離、圖像取得間隔，可以實現(xiàn)期望的顯示狀態(tài)。另外，在本實施方式中，設(shè)為由用戶通過對顯示在顯示部3上的三維圖像進(jìn)行視認(rèn)，來確認(rèn)顯示狀態(tài)的正確度的形式，但不限于此，例如，也可以是對正確的三維圖像數(shù)據(jù)與顯示在顯示部3上的三維圖像進(jìn)行對照，來判定顯示狀態(tài)的正確度的形式。具體而言，優(yōu)選具備從多個視點對顯示在顯示部3上的三維圖像進(jìn)行攝影的攝像裝置，要素圖像陣列生成部13通過計算出由該攝像裝置取得的三維圖像的圖像數(shù)據(jù)與預(yù)先存儲在存儲部6等中的正確的三維圖像數(shù)據(jù)的對照度，來判定所顯示的三維圖像的正確性。該判定的結(jié)果，在對照度為規(guī)定的閾值以下的情況下，要素圖像陣列生成部13對視距Ls1、Ls2、光線間距離x的值進(jìn)行修正，調(diào)整直到對照度超過規(guī)定的閾值為止。通過這樣自動地調(diào)整所顯示的三維圖像的正確性，可以向用戶提示正確的三維圖像。另外，在本實施方式中，對水平方向的三維圖像的顯示進(jìn)行了說明，但不限于此，還可以適用于垂直方向。例如，在可以使視差圖像的垂直方向與水平方向的圖像取得位置不同的情況下(在可以使透視度不同的情況下)，關(guān)于水平方向設(shè)為視距Ls2、關(guān)于垂直方向設(shè)為視距Lsl而取得視差圖像，從而可以顯示透視度在垂直方向和水平方向上都正確的三維圖像。以上，對發(fā)明的實施方式進(jìn)行了說明，但本發(fā)明不限于此，可以在不脫離本發(fā)明的要旨的范圍內(nèi)進(jìn)行各種變更、置換、追加等。例如，也可以設(shè)為將執(zhí)行三維圖像顯示裝置100中的各處理的程序，以可以安裝的形式或可以執(zhí)行的形式記錄在CD-ROM、軟(R)盤(FD)、DVD等可以由計算機讀取的記錄介質(zhì)中來提供的形式。另外，也可以構(gòu)成為將執(zhí)行三維圖像顯示裝置100中的各處理的程序存儲在與因特網(wǎng)等網(wǎng)絡(luò)連接的計算機上，而通過經(jīng)由網(wǎng)絡(luò)下栽來提供。在該情況下，程序通過在三維圖像顯示裝置100中從上述記錄介質(zhì)讀出并執(zhí)行而被載入到RAM5，在RAM5上生成按上述功能結(jié)構(gòu)說明的各部。另外，在本實施方式中，對作為光線控制子使用了包括柱透鏡35的微透鏡板34的形式進(jìn)行了說明，但不限于此，也可以是將透鏡陣列或小孔陣列等用作光線控制子的形式。權(quán)利要求1.一種三維圖像處理裝置，其特征在于，具備存儲單元，存儲定義與顯示面板和光線控制部相關(guān)的規(guī)格的規(guī)格信息，其中，該顯示面板矩陣狀地排列有具有規(guī)定寬度的像素，在多個圖像上顯示用于三維圖像顯示的各要素圖像，該光線控制部被配置在上述顯示面板的前面，通過以上述規(guī)定寬度的大致整數(shù)倍的間距寬度設(shè)定的出射光瞳對來自上述各像素的光線方向進(jìn)行控制，朝向從上述顯示面板離開規(guī)定距離的區(qū)域射出與該各出射光瞳對應(yīng)的要素圖像；接受單元，接受包括從相互不同的視點位置取得的多個視差圖像的多視點圖像；可視區(qū)域控制單元，根據(jù)上述規(guī)格信息，決定上述要素圖像的像素數(shù)，以使連接構(gòu)成上述要素圖像的各像素的中心、與對應(yīng)于該要素圖像的上述出射光瞳的中心的光線的軌跡組在從上述光線控制部離開規(guī)定距離的第1視距處向大致同一區(qū)域入射；取得位置設(shè)定單元，根據(jù)上述規(guī)格信息，在從上述光線控制部離開規(guī)定距離的第2視距的面上，設(shè)定上述多視點圖像的圖像取得位置；入射位置導(dǎo)出單元，分別導(dǎo)出通過上述出射光瞳射出的來自上述要素圖像的各像素的光線向上述第2視距的面入射的入射位置；取得位置確定單元，針對每個上述入射位置，確定最接近該入射位置的圖像取得位置；以及生成單元，向與上述各入射位置對應(yīng)的光線的射出源的各像素，分配從與由上述取得位置確定單元確定的圖像取得位置對應(yīng)的多視點圖像抽出的視差圖像，生成要素圖像陣列。2.根據(jù)權(quán)利要求l所述的三維圖像處理裝置，其特征在于上述接受單元接受表示包括取得了上述多視點圖像時的注視點的投影面與圖像取得位置之間的距離的圖像取得距離，上述取得位置設(shè)定單元將由上述接受單元接受到的圖像取得距離設(shè)定成上述第2視距。3.根據(jù)權(quán)利要求l所述的三維圖像處理裝置，其特征在于上述取得位置設(shè)定單元將在從上述光線控制部離開規(guī)定距離的第3視距面中，針對上述多視點圖像設(shè)定了圖像取得位置時的圖像取得區(qū)域的寬度、與通過上述出射光瞳射出的來自上述要素圖像的各像素的光線向上述第3枧距面入射的入射區(qū)域的寬度大致一致的第3視距決定成上述第2f見距。4.根據(jù)權(quán)利要求1~3中的任意一項所述的三維圖像處理裝置，其特征在于上述取得位置設(shè)定單元根據(jù)上述顯示面板和光線控制部之間的距離、與來自上述光線控制部的視距的關(guān)系，通過上述像素的規(guī)定寬度，決定上述第2視距的面上的圖像取得位置之間的間隔。5.根據(jù)權(quán)利要求l所述的三維圖像處理裝置，其特征在于還具備接受上述第l視距的變更指示的變更接受單元，上述可視區(qū)域控制單元再次調(diào)整上述要素圖像的像素數(shù)，以在上述變更后的第l視距處向大致同一區(qū)域入射。6.根據(jù)權(quán)利要求1所述的三維圖像處理裝置，其特征在于還具備接受上述第2視距的變更指示的變更接受單元，上述取得位置設(shè)定單元在上述變更后的笫2視距的面上再次設(shè)定上述多視點圖像的圖像取得位置。7.根據(jù)權(quán)利要求l所述的三維圖像處理裝置，其特征在于還具備接受在上述第2視距的面上設(shè)定的上述圖像取得位置之間的間隔的變更指示的變更接受單元，上述取得位置設(shè)定單元以上述變更后的圖像取得位置之間的間隔再次設(shè)定上述視點圖像的圖像取得位置。8.根據(jù)權(quán)利要求l所述的三維圖像處理裝置，其特征在于上述可視區(qū)域控制單元在由從自n個視點位置取得了上述要素圖像的多視點圖像抽出的n個視差圖像構(gòu)成的第l要素圖像的顯示排列中，離散地發(fā)生由從自(n+l)個視點位置取得的多視點圖像抽出的(n+l)個視差圖像構(gòu)成的第2要素圖像。9.一種三維圖像處理方法，其特征在于，包括如下的步驟接受步驟，接受從相互不同的視點位置取得的多個多視點圖像；可視區(qū)域控制步驟，根據(jù)定義與顯示面板和光線控制部相關(guān)的規(guī)格的規(guī)格信息，其中，該顯示面板矩陣狀地排列有具有規(guī)定寬度的像素，在多個圖像上顯示用于三維圖像顯示的各要素圖像，該光線控制部被配置在上述顯示面板的前面，通過以上述規(guī)定寬度的大致整數(shù)倍的間距寬度設(shè)定的出射光瞳對來自上述各像素的光線方向進(jìn)行控制，朝向從上述顯示面板離開規(guī)定距離的區(qū)域射出與該各出射光瞳對應(yīng)的要素圖；從而決定上述要素圖像的像素數(shù)，以使連接構(gòu)成上述要素圖像的各像素的中心與對應(yīng)于該要素圖像的上述出射光瞳的中心的光線的軌跡組在從上述光線控制部離開規(guī)定距離的第1視距處向大致同一區(qū)域入射；取得位置設(shè)定步驟，根據(jù)上述規(guī)格信息，在從上述光線控制部離開規(guī)定距離的第2視距的面上，設(shè)定上述多視點圖像的圖像取得位置；入射位置導(dǎo)出步驟，分別導(dǎo)出通過上述出射光瞳射出的來自上述要素圖像的各像素的光線向上述笫2視距的面入射的入射位置；取得位置確定步驟，針對每個上述入射位置，確定最接近該入射位置的圖像取得位置；以及生成步驟，向與上述各入射位置對應(yīng)的光線的射出源的各像素，分配從與在上述取得位置確定步驟中確定的圖像取得位置對應(yīng)的多視點圖像抽出的視差圖像，生成要素圖像陣列。全文摘要本發(fā)明提供一種三維圖像處理裝置以及方法，可以使用在任意的條件下取得的多視點信息，生成顯示通過簡易的處理維持了正確度的三維圖像的要素圖像陣列。對于在任意的條件下取得的多視點信息中包含的各視差圖像，根據(jù)來自以在第1視距處向大致同一區(qū)域入射那樣地調(diào)整了構(gòu)成要素圖像的像素數(shù)的各像素的光線的入射位置、和多視點圖像的圖像取得位置，將由來于多視點圖像的視差信息分配給構(gòu)成顯示面板的各像素，生成用于三維圖像顯示的要素圖像陣列。文檔編號H04N13/04GK101394572SQ20081021574公開日2009年3月25日申請日期2008年9月9日優(yōu)先權(quán)日2007年9月21日發(fā)明者平山雄三,福島理惠子申請人:株式會社東芝