專利名稱：立體圖像顯示裝置、立體圖像顯示方法及計算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成顯示利用觀看者兩眼視差而能夠使觀看者無論從哪 個位置觀看均能于視網(wǎng)膜上形成三維圖像、并且能夠自然地掌控被攝體的 空間位置關(guān)系的立體圖像的立體圖像顯示裝置、立體圖像顯示方法及計算 機(jī)程序。
背景技術(shù)：
隨著近年來的圖像處理技術(shù)的急速進(jìn)展，不僅大量開發(fā)出了能夠通過 使用組裝了偏振透鏡等光學(xué)透鏡的特殊眼鏡而欣賞到立體圖像的立體圖 像顯示裝置，而且還大量開發(fā)出了用裸眼也能夠欣賞到立體圖像的立體圖 像顯示裝置。對于現(xiàn)有的立體圖像顯示裝置而言，具有下述的問題生成 顯示的為注視點單一時的立體圖像，就空間中的部分區(qū)域而言，能夠清晰 地觀看到，從而能夠正確觀看到空間的位置關(guān)系，相對于該情況，就其他 區(qū)域而言，看到所謂的模糊圖像，所以，難以在空間整個區(qū)域正確觀看到 位置關(guān)系。
圖16為表示現(xiàn)有技術(shù)的立體圖像顯示的概念的示意圖。在通過投影
立體圖像的屏幕1而觀看所投影的被攝體(圖16中為車輛)的注視點2 時，因為在注視點2未產(chǎn)生視差，故而能夠清晰地觀看到立體圖像。另一 方面，對于離開注視點2的位置處的立體圖像，視差越大，形成于左眼視 網(wǎng)膜上的立體圖像3和形成于右眼視網(wǎng)膜上的立體圖像4的背離就越大， 結(jié)果只能在模糊不清的狀態(tài)下觀看。圖17為表示現(xiàn)有技術(shù)的立體圖像顯 示的模糊區(qū)域的圖。如圖17所示，在現(xiàn)有技術(shù)的立體圖像顯示裝置中， 采用單焦透鏡5、 5、...，能夠清晰觀看注視點2附近的被攝體，但是，在 離開注視點2的區(qū)域例如影線區(qū)域6中，則因左右圖像的視差大于規(guī)定值
為了解決該技術(shù)問題，例如專利文獻(xiàn)1及2中，采用可變焦透鏡，在 觀看者和屏幕1之間的多個不同位置設(shè)置注視點，擴(kuò)大能夠清晰觀看的區(qū) 域，從而使由于觀看者位置、注視點等的不同而所見三維圖像不同的情況 均勻化。圖18為表示采用可變焦透鏡時的立體圖像顯示的模糊區(qū)域的圖。 如圖18所示，通過采用可變焦透鏡7、7、...，能夠設(shè)置多個注視點2、2、...， 通過采用多個可變焦透鏡7、 7、...，以進(jìn)行注視點2、 2、...的配置設(shè)計， 從而能夠縮小或消除圖17的影線區(qū)域6、即左右圖像的視差大于規(guī)定值而 作為模糊圖像被識別的區(qū)域。
專利文獻(xiàn)1: JP特許第3064992號公報
專利文獻(xiàn)2: JP特開2001-238229號公報
然而，為了完全消除采用了所述可變焦透鏡7、 7、...的立體圖像顯示 系統(tǒng)中的模糊區(qū)域，需要配備多個可變焦透鏡7，從而有成本增大的問題。
另外，即使在包括多個可變焦透鏡7的情況下，例如對于位于從某個 注視點沿縱深方向離開的位置的被攝體的圖像，在某個注視點左右圖像的 視差仍然大于規(guī)定值，只能看到模糊的圖像。因此，即使在觀看者打算掌 控被攝體的空間位置關(guān)系而多次改變視點的情況下，仍存在僅能夠看到模 糊圖像，而且不能完全消除看到模糊圖像的區(qū)域這樣的問題。
這是因為，現(xiàn)有技術(shù)的立體顯示圖像系統(tǒng)沒有考慮到能使觀看者沒有 模糊地看到立體圖像的視差的界限值(下稱界限視差)。界限視差可以根 據(jù)觀看者和屏幕之間的位置關(guān)系而求得。
另外，對于現(xiàn)有技術(shù)的立體顯示圖像系統(tǒng)，為了從多個拍攝成的圖像 中提取焦點最對準(zhǔn)的圖像，需要對圖像所含有的所有像素均進(jìn)行比較判斷 處理。換言之，就所有像素而言，算出相關(guān)度，算出視差。所以，需要在 多個圖像間對算出的視差進(jìn)行比較，故而還存在計算機(jī)的處理負(fù)荷龐大這 樣的問題。

發(fā)明內(nèi)容
本發(fā)明鑒于所述技術(shù)問題而提出，本發(fā)明的目的在于提供一種無需采 用可變焦透鏡而能夠正確觀看立體圖像的所有區(qū)域、以及能夠減輕計算機(jī) 處理負(fù)荷的立體圖像顯示裝置、立體圖像顯示方法及計算機(jī)程序。 另外，本發(fā)明的目的還在于提供一種能夠盡可能正確地算出界限視 差、且多個觀看者從任何位置觀看圖像時均能夠在視網(wǎng)膜上形成自然三維 圖像的立體圖像顯示裝置、立體圖像顯示方法及計算機(jī)程序。
為了實現(xiàn)所述目的，本發(fā)明第1方面提供一種立體圖像顯示裝置，其 生成顯示在觀看者視網(wǎng)膜上形成三維圖像的立體圖像，其特征在于，包括 界限視差算出機(jī)構(gòu)，其算出可在觀看者視網(wǎng)膜上形成三維圖像的視差的邊 界即界限視差；長方體尺寸算出機(jī)構(gòu)，其算出與以算出的界限視差為直徑 的球內(nèi)接的長方體的尺寸；空間分割機(jī)構(gòu)，其由算出的長方體將包含被攝 體的空間分割成多個空間；注視點圖像生成機(jī)構(gòu)，其在每個分割空間中生 成被攝體相對于單一注視點的立體圖像；注視點圖像合成機(jī)構(gòu)，其合成所 生成的多個立體圖像，生成單一立體圖像；圖像顯示機(jī)構(gòu)，其顯示所生成 的單一立體圖像。
本發(fā)明第2方面涉及本發(fā)明第1方面的立體圖像顯示裝置，其特征在 于，包括檢測顯示立體圖像的面和觀看者的相對位置的相對位置檢測機(jī) 構(gòu)，所述界限視差作為左右視線交叉的點和兩眼之間的距離的倒數(shù)與顯示 立體圖像的面和兩眼之間的距離的倒數(shù)之差為規(guī)定值的視差而算出。
本發(fā)明第3方面涉及本發(fā)明第1或第2方面的立體圖像顯示裝置，其 特征在于，所述界限視差算出機(jī)構(gòu)包括基于觀看者的個人特征而修正所述 界限視差的修正機(jī)構(gòu)。
本發(fā)明第4方面涉及本發(fā)明第1至第3方面中任意一個立體圖像顯示 裝置，其特征在于，所述注視點圖像合成機(jī)構(gòu)包括亮度差算出機(jī)構(gòu)，其 將分割空間中的一個空間作為基準(zhǔn)而算出在一個空間生成的立體圖像的 亮度值和在鄰接的其他空間生成的立體圖像的亮度值的差；亮度差再算出 機(jī)構(gòu)，其相對于一個空間平行移動其他空間而再次算出亮度差；相對位置 求取機(jī)構(gòu)，其求取所算出的亮度差最小的其他空間相對于一個空間的相對 位置。 .
本發(fā)明第5方面提供一種立體圖像顯示方法，其生成顯示在觀看者視 網(wǎng)膜上形成三維圖像的立體圖像，其特征在于，算出可在觀看者視網(wǎng)膜上 形成三維圖像的視差的邊界即界限視差；算出與以算出的界限視差為直徑 的球內(nèi)接的長方體的尺寸；由算出的長方體將包含被攝體的空間分割成多
個空間；在每個分割空間中生成被攝體相對于單一注視點的立體圖像；合 成所生成的多個立體圖像，生成單一立體圖像；顯示所生成的單一立體圖
本發(fā)明第6方面涉及本發(fā)明第5方面的立體圖像顯示方法，其特征在 于，檢測顯示立體圖像的面和觀看者的相對位置，所述界限視差作為左右 視線交叉的點和兩眼之間的距離的倒數(shù)與顯示立體圖像的面和兩眼之間 的距離的倒數(shù)之差為規(guī)定值的視差而算出。
本發(fā)明第7方面涉及本發(fā)明第5或第6方面的立體圖像顯示方法，其 特征在于，基于觀看者的個人特征而修正所述界限視差。
本發(fā)明第8方面涉及本發(fā)明第5至第7方面中任意一個立體圖像顯示 方法，其特征在于，將分割空間中的一個空間作為基準(zhǔn)而算出在一個空間 生成的立體圖像的亮度值和在鄰接的其他空間生成的立體圖像的亮度值 的差即亮度差，相對于一個空間平行移動其他空間而再次算出亮度差，求 取所算出的亮度差最小的其他空間相對于一個空間的相對位置。
本發(fā)明第9方面提供一種計算機(jī)程序，其生成顯示在觀看者視網(wǎng)膜上
形成三維圖像的立體圖像，其特征在于，所述計算機(jī)作為如下機(jī)構(gòu)而發(fā)揮
功能，即，界限視差算出機(jī)構(gòu)，其算出可在觀看者視網(wǎng)膜上形成三維圖像
的視差的邊界即界限視差；長方體尺寸算出機(jī)構(gòu)，其算出與以算出的界限
視差為直徑的球內(nèi)接的長方體的尺寸；空間分割機(jī)構(gòu)，其由算出的長方體
將包含被攝體的空間分割成多個空間；注視點圖像生成機(jī)構(gòu)，其在每個分 割空間中生成被攝體相對于單一注視點的立體圖像；注視點圖像合成機(jī)
構(gòu)，其合成所生成的多個立體圖像，生成單一立體圖像。
本發(fā)明第10方面涉及本發(fā)明第9方面的計算機(jī)程序，其特征在于，
所述計算機(jī)作為檢測顯示立體圖像的面和觀看者的相對位置的相對位置
檢測機(jī)構(gòu)而發(fā)揮功能，且以所述界限視差作為左右視線交叉的點和兩眼之
間的距離的倒數(shù)與顯示立體圖像的面和兩眼之間的距離的倒數(shù)之差為規(guī)
定值的視差而算出的方式發(fā)揮功能。
本發(fā)明第11方面涉及本發(fā)明第9或第10方面的計算機(jī)程序，其特征
在于，所述計算機(jī)作為基于觀看者的個人特征而修正所述界限視差的修正
機(jī)構(gòu)而發(fā)揮功能。
本發(fā)明第12方面涉及本發(fā)明第9至第11方面中任意一個計算機(jī)程序， 其特征在于，所述計算機(jī)作為如下機(jī)構(gòu)而發(fā)揮功能，即，亮度差算出機(jī)構(gòu)， 其將分割空間中的一個空間作為基準(zhǔn)而算出在一個空間生成的立體圖像 的亮度值和在鄰接的其他空間生成的立體圖像的亮度值的差；亮度差再算 出機(jī)構(gòu)，其相對于一個空間平行移動其他空間而再次算出亮度差；相對位 置求取機(jī)構(gòu)，其求取所算出的亮度差最小的其他空間相對于一個空間的相 對位置。
在本發(fā)明第1、第5、及第9方面，算出可在觀看者視網(wǎng)膜上形成三 維圖像的視差的邊界即界限視差；算出所算出的界限視差內(nèi)的長方體的尺 寸；由算出的長方體將包含被攝體的空間分割成多個空間；在每個包含被 攝體的空間中生成被攝體相對于單一注視點的立體圖像；合成所生成的多 個立體圖像，由此生成單一立體圖像并進(jìn)行顯示輸出。由此，在觀看者沒 有看到模糊圖像的視差范圍內(nèi)以某長方體分割空間，在每個分割空間均和 現(xiàn)有技術(shù)相同地生成立體圖像，然后將它們進(jìn)行合成以生成立體圖像，所 以，在所生成的立體圖像的任何一個區(qū)域中均為界限視差內(nèi)的立體圖像， 即使觀看者從任何位置任何角度觀看立體圖像，也都不會在視網(wǎng)膜上形成 模糊的三維圖像。
因此，即使不采用可變焦透鏡也可以正確觀看立體圖像的所有區(qū)域， 也能夠正確掌控被攝體的空間位置關(guān)系。另外，因為僅合成存在被攝體的 長方體空間中生成的立體圖像即可，故而可大幅削減計算機(jī)處理負(fù)荷，能 夠?qū)崿F(xiàn)計算成本的降低。
在本發(fā)明第2、第6、及第10方面，包括檢測顯示立體圖像的面和觀 看者的相對位置的相對位置檢測機(jī)構(gòu)，所述界限視差作為左右視線交叉的 點和兩眼之間的距離的倒數(shù)與顯示立體圖像的面和兩眼之間的距離的倒 數(shù)之差為規(guī)定值的視差而算出。由此，根據(jù)觀看者觀看的位置能夠正確算 出界限視差，能夠顯示適合于觀看者的立體圖像。
在本發(fā)明第3、第7、及第11方面，具有基于觀看者的個人特征而修 正界限視差的修正機(jī)構(gòu)。由此，通過對應(yīng)于由于觀看者的個人特征例如近 視或遠(yuǎn)視而形成的視網(wǎng)膜位置的前后、晶狀體有無污物等而對算出的界限 視差進(jìn)行修正，能夠更加正確地算出界限視差，能夠顯示更加適合于觀看者的立體圖像。
在本發(fā)明第4、第8、及第12方面，將分割空間中的一個空間作為基 準(zhǔn)而算出在一個空間生成的立體圖像的亮度值和在鄰t妾的其他空間生成 的立體圖像的亮度值的差即亮度差，相對于一個空間平行移動其他空間而 再次算出亮度差，求取所算出的亮度差最小的其他空間相對于一個空間的 相對位置。由此，在簡單地于最初空間位置合成立體圖像時，能夠除去在 鄰接立體圖像的邊界處產(chǎn)生的透明部分等間隙部分，在邊界部分也能夠生 成可在觀看者的視網(wǎng)膜上形成自然的三維圖像的立體圖像。
根據(jù)本發(fā)明第1、第5、及第9方面，在觀看者沒有看到模糊圖像的 視差范圍內(nèi)以某長方體中分割空間，在每個分割空間均和現(xiàn)有技術(shù)相同地 生成立體圖像，然后將它們進(jìn)行合成以生成立體圖像，所以，所生成的立 體圖像在任何一個區(qū)域中均為界限視差內(nèi)的立體圖像，即使觀看者從任何 位置任何角度觀看立體圖像，也都不會在視網(wǎng)膜上形成模糊的三維圖像。
因此，即使不采用可變焦透鏡也可以正確觀看立體圖像的所有區(qū)域， 也能夠正確掌控被攝體的空間位置關(guān)系。另外，因為僅合成存在被攝體的 長方體空間中生成的立體圖像即可，故而可大幅削減計算機(jī)處理負(fù)荷，能 夠?qū)崿F(xiàn)計算成本的降低。
根據(jù)本發(fā)明第2、第6、及第10方面，根據(jù)觀看者觀看的位置能夠正
確算出界限視差，能夠顯示適合于觀看者的立體圖像。
根據(jù)本發(fā)明第3、第7、及第11方面，通過對應(yīng)于由于觀看者的個人 特征例如近視或遠(yuǎn)視而形成的視網(wǎng)膜位置的前后、晶狀體有無污物等而對 算出的界限視差進(jìn)行修正，能夠更加正確地算出界限視差，能夠顯示更加 適合于觀看者的立體圖像。
根據(jù)本發(fā)明第4、第8、及第12方面，在簡單地于最初空間位置合成 立體圖像時，能夠除去在鄰接立體圖像的邊界處產(chǎn)生的透明部分等間隙部 分，在邊界部分也能夠生成可在觀看者的視網(wǎng)膜上形成自然的三維圖像的 立體圖像。


圖I為表示本發(fā)明實施方式1的立體圖像顯示裝置的結(jié)構(gòu)的方塊圖；式1的立體圖像顯示裝置的CPU的處理順 序的流程圖3為界限視差的說明圖4為表示本發(fā)明實施方式1的立體圖像顯示裝鬂的CPU算出界限 視差的順序的流程圖5為表示為了確定存儲于圖像數(shù)據(jù)存儲部的圖像數(shù)據(jù)的立體圖像的 構(gòu)圖而在空間內(nèi)任意位置設(shè)定的注視點及視點的圖6為所分割的空間的注視點求取方法的說明圖；.
圖7為表示確定最初分割空間的方法的示意圖8為表示最初分割空間的長方體的高度和寬度的求取方法的示意
圖9為表示配置了最初分割空間的狀態(tài)的圖； 圖10為表示作為被攝體的分割空間而配置了長方體的狀態(tài)的圖； 圖11為表示第1列所生成的立體圖像的例子的圖； 圖12為表示本發(fā)明實施方式1的立體圖像顯示裝置的CPU進(jìn)行立體 圖像合成處理的流程圖13為表示以點單位移動成為調(diào)整對象的立體圖像的狀態(tài)的示意圖； 圖14為表示本發(fā)明實施方式2的立體圖像顯示裝置的結(jié)構(gòu)的方塊圖； 圖15為表示本發(fā)明實施方式2的立體圖像顯示裝置的CPU算出界限
視差的順序的流程圖16為表示現(xiàn)有技術(shù)的立體圖像顯示的概念的示意圖17為表示現(xiàn)有技術(shù)的立體圖像顯示中的模糊區(qū)域的圖18為表示采用可變焦透鏡時立體圖像顯示中的模糊區(qū)域的圖。
符號說明
10:立體圖像顯示裝置
11: CPU
12:存儲機(jī)構(gòu)
13: RAM
14:通信機(jī)構(gòu) 15:輸入機(jī)構(gòu)
16:顯示接口
17:輔助存儲機(jī)構(gòu)
18:移動型記錄介質(zhì)
20:大畫面顯示裝置
30:顯示裝置
40:觀看者傳感器
41:傳感器接口
121:圖像數(shù)據(jù)存儲部
D.-界限視差
g、 gl、 g2、…、gn:注視點
具體實施例方式
(實施方式1)
下面參照附圖對本發(fā)明實施方式1的立體圖像顯示裝置進(jìn)行具體地說
明。圖1為表示本發(fā)明實施方式1的立體圖像顯示裝置10的結(jié)構(gòu)的方塊 圖。如圖1所示，立體圖像顯示裝置10至少由CPU (中央運(yùn)算裝置)11、 存儲機(jī)構(gòu)12、 RAM13、與互聯(lián)網(wǎng)等外部網(wǎng)絡(luò)連接的通信機(jī)構(gòu)14、輸入機(jī) 構(gòu)15、向能夠供多個觀看者觀看的位于外部的大畫面顯示裝置20輸出顯 示圖像數(shù)據(jù)的顯示接口 16、及使用DVD、 CD等移動型存儲介質(zhì)18的輔 助存儲機(jī)構(gòu)17構(gòu)成。
CPU11通過內(nèi)部總線19與立體圖像顯示裝置10的所述硬件各部分連 接，控制所述硬件各部分，并且根據(jù)存儲機(jī)構(gòu)12中所存儲的處理程序、 例如算出界限視差的程序、以界限視差內(nèi)的長方體分割空間的程序、生成 被攝體相對于單一注視點的立體圖像的程序、合成多個立體圖像的程序 等，執(zhí)行各種硬件功能。
存儲機(jī)構(gòu)12采用內(nèi)置固定型存儲裝置(硬盤)、ROM等構(gòu)成，存儲 經(jīng)由通信機(jī)構(gòu)14而從外部計算機(jī)、或DVD、 CD-RAM等移動式記錄介質(zhì) 18獲得的、作為立體圖像顯示裝置IO發(fā)揮功能所需的處理程序。存儲機(jī) 構(gòu)12不僅存儲處理程序，而且還將例如從外部計算機(jī)接收的對被攝體進(jìn) 行攝像而得到的圖像數(shù)據(jù)存儲在圖像數(shù)據(jù)存儲部121中。
RAM13由DRAM等構(gòu)成，用于存儲執(zhí)行軟件時產(chǎn)生的臨時數(shù)據(jù)。通 信機(jī)構(gòu)14與內(nèi)部總線19連接，以與互聯(lián)網(wǎng)、LAN等網(wǎng)絡(luò)能夠通信的方式 連接，從而接收發(fā)送處理所需的數(shù)據(jù)。
輸入機(jī)構(gòu)15為用于指示畫面上任意位置的鼠標(biāo)等指示器、或為通過 在畫面上鍵入顯示畫面的橫向?qū)挾鹊葦?shù)值數(shù)據(jù)而進(jìn)行輸入的鍵盤等。
顯示接口 16為向輸出顯示圖像的液晶顯示器(LCD)、顯示顯示器 (CRT)等外部的大畫面顯示裝置20輸送顯示數(shù)據(jù)的LSI板。
輔助存儲機(jī)構(gòu)17采用CD、 DVD等移動式記錄介質(zhì)18，用于向存儲 機(jī)構(gòu)12下載CPU11處理的程序、數(shù)據(jù)等。另外，還可為了備份CPU11 處理的數(shù)據(jù)而寫入。
圖2為表示本發(fā)明實施方式1的立體圖像顯示裝置10的CPU11的處 理順序的流程圖。首先，立體圖像顯示裝置10的CPU11算出可于觀看者 視網(wǎng)膜上形成三維圖像的視差的邊界即界限視差(步驟S201)。
CPU11算出與以算出的界限視差為直徑的球內(nèi)接的長方體的尺寸(步 驟S202)，從圖像數(shù)據(jù)存儲部121中讀出對被攝體進(jìn)行攝像而得到的圖像 數(shù)據(jù)，由算出的長方體將含有被攝體的空間分割成多個空間(步驟S203)。 然后，CPU11在每個分割空間中生成被攝體相對于單一注視點的立體圖像 (步驟S204)。
CPU11從多個立體圖像中依次選擇一個立體圖像(步驟S205)，判斷 所選擇的立體圖像中是否含有被攝體(步驟S206)。如梟CPUll判斷為所 選擇的立體圖像中含有被攝體(步驟S206:是)，則CPU11將選擇的立體 圖像作為整體的立體圖像生成用數(shù)據(jù)而存儲在RAM13中(步驟S207)， 判斷是否已對所有的立體圖像進(jìn)行了選擇(步驟S208)。如果CPUll判斷 為所選擇的立體圖像中不含有被攝體(步驟S206:否)，則CPUll不將該 立體圖像存儲在RAM13中，而是跳至步驟S208。
在CPU11判斷為未選擇所有立體圖像時(步驟S208:否)，CPU11 返回步驟S.205，重復(fù)執(zhí)行所述的處理。如果CPUll判斷為選擇了所有立 體圖像(步驟S208:是)，則CPUll對存儲的多個立體圖像進(jìn)行合成(步 驟S209)，通過顯示接口 16將生成的單一立體圖像輸出至外部的大畫面顯 示裝置20 (步驟S210)。
圖3為界限視差的說明圖。在觀看者觀看被攝體時，按照左右兩眼31、 32的光軸在被攝體上交叉的方式進(jìn)行眼球的旋轉(zhuǎn)、晶狀體厚度的調(diào)節(jié)等。 由此，左右兩眼31、 32的光軸交叉的點與兩眼31、 32之間的距離L1發(fā) 生變動，投影有被攝體的顯示裝置20的畫面、屏幕等和兩眼31、 32之間 的距離L2的相對關(guān)系發(fā)生變動。
艮P，對存在于沿縱深方向離開注視點的值的部分的圖像進(jìn)行觀看時， 距離Ll和距離L2不一致而產(chǎn)生相當(dāng)?shù)木嚯x差。在該距離差逐漸變大的情 況下，當(dāng)?shù)竭_(dá)了規(guī)定的距離差時，觀看者觀看到模糊圖像。該距離差時的 視差定義為界限視差。
通常，在左右兩眼3K 32的光軸交叉的點與兩眼31、 32之間的距離 Ll的倒數(shù)、和投影有被攝體的畫面、屏幕等與兩眼31、 32之間的距離L2 的倒數(shù)的差在士2以內(nèi)時，知道所看到的三維圖像沒有模糊。因此，界限視 差可按照以下順序算出。
圖4為表示本發(fā)明實施方式1的立體圖像顯示裝置10的CPU11在步 驟S201中的詳細(xì)處理、即算出界限視差的順序的流程圖。首先，立體圖 像顯示裝置10的CPU11按照下述順序算出實空間的界限視差(步驟 S401)。
由于距離Ll的倒數(shù)和距離L2的倒數(shù)之差在士2以內(nèi)，故距離Ll和距 離L2之間滿足數(shù)學(xué)式1的關(guān)系。 — (1/L2-2) < 1/L1 < (1/L2+2) (數(shù)學(xué)式1)
另外，由于以圖3的視差d為底邊的三角形和以兩眼距離E為底邊的 三角形相似，故數(shù)學(xué)式2成立。
Ll=L2xE/(d+E) (數(shù)學(xué)式2)
根據(jù)數(shù)學(xué)式1和數(shù)學(xué)式2，關(guān)于視差d而進(jìn)行整理，則可導(dǎo)出數(shù)學(xué)式 3，是否具有數(shù)學(xué)式3的邊界上的視差d的絕對值為界限視差D。 -2xL2><E<d<2xL2xE (數(shù)學(xué)式3)
CPU11根據(jù)算出的界限視差D、大畫面顯示裝置20的畫面的橫向?qū)?度W及畫面的水平方向的析像度R算出界限視差D的像素數(shù)(步驟S402)。 即根據(jù)數(shù)學(xué)式4將界限視差D換算成顯示的畫面的像素數(shù)Q。
Q=DxR/W (數(shù)學(xué)式4)
這樣，通過以顯示裝置的顯示畫面的像素單位求得界限視差D，從而 在以注視點為中心、以界限視差D為直徑的球的內(nèi)部，觀看者不會看到模 糊圖像的被攝體。該范圍稱為立體界限。因此，在本實施方式l中，為了 將含有被攝體的空間無間隙地分割，而算出內(nèi)接于立體界限的長方體，根 據(jù)求得的長方體將含有被攝體的空間進(jìn)行分割。
圖5為表示為了確定存儲于存儲機(jī)構(gòu)12的圖像數(shù)據(jù)存儲部121中的 圖像數(shù)據(jù)的立體圖像的構(gòu)圖而在空間內(nèi)任意位置設(shè)定的注視點及視點的 圖。在圖5的例子中，在被攝體即車輛的重心附近設(shè)置注視點g，設(shè)置面 向注視點g的視點v。
接著，CPU11根據(jù)提供的注視點g和視點v而確定分割空間的最初長 方體。圖6為求得所分割的空間的注視點gl的方法的說明圖。求得連接 注視點g和視點v的線段和作為三維模型的被攝體的表面的交點Pl。求得 所述線段上從交點P1向注視點g側(cè)移動了規(guī)定距離M的點，將該點作為 最初的分割空間的注視點gl。還有，移動距離M為由式M-Lxp (0Sp《1) 求得的距離。在此，系數(shù)p為用于調(diào)整交點Pl附近的圖像的參數(shù)。
另外，L為以最初的分割空間的注視點gl為中心的長方體的縱深長 度，基于界限視差D而算出。長方體的形狀通過將界限視差D乘以形狀 參數(shù)q (OSqSl)來調(diào)整。即，q越大，縱深長度越長，高度及寬度越短。
CPU11以連接視點v和最初的分割空間的注視點gl而成的線段上的 任意的點a的視差不超過界限視差D乘以形狀參數(shù)q而得到的值的方式確 定點a的坐標(biāo)。圖7為表示確定最初的分割空間的方法的示意圖。CPU11 求得在從視點v向最初的分割空間的注視點gl的縱深方向上不超過界限 視差D的點a的坐標(biāo)。然后，以對角線的交點與注視點gl —致，對角線 的長度的二分之一和注視點gl與點a的距離一致的方式確定長方形Dl 。
圖8 (a)和(b)為表示求取最初的分割空間的長方體的高度的方法 的示意圖。如圖8 (a)所示，CPU11確定在與含有長方形D1的平面正交 的直線上不超過界限視差D的點b的坐標(biāo)。然后，如圖S(b)所示，CPU11 按照下述方式確定最初的分割空間即長方體，該方式為以注視點gl為 中心，底面為長方形D1，高度為點a和點b的距離h的2倍。
CPU11在確定了分割空間的長方體的縱深長度、高度及寬度時，將以
注視點gl為中心的長方體配置為最初的分割空間。圖9為表示配置了最
初的分割空間的狀態(tài)的圖。如圖9所示，1個長方體形成1個分割空間， 長方體的中心為分割空間的注視點gl。而且，CPU11以在最初的分割空 間即長方體的上下左右前后鄰接的方式依次配置長方體。
圖10為表示作為被攝體的分割空間配置了長方體的狀態(tài)的圖。如圖 10所示，CPU11依次重復(fù)進(jìn)行長方體的配置，直到長方體內(nèi)不再含有表 示被攝體的3維模型。通過如此配置，任何一個長方體所含有的3維模型 的圖像的視差均不超過圖8 (a)頂點b的視差。這是因為在此配置的長方 體越遠(yuǎn)離最初的長方體，其在立體圖像上越小。
CPU11在如上分割成的每一個空間中生成立體圖像時，固定視點v， 和現(xiàn)有技術(shù)同樣地在每一個分割空間的長方體中生成相對于注視點gl、 g2、 ...、 gn (n為自然數(shù))的立體圖像。
立體圖像的生成從接近視點v的分割空間依次進(jìn)行。例如，如圖10 所示，在縱深方向配置m列(m為自然數(shù))長方體時，CPU11從第1列
開始依次生成立體圖像。在生成第2列、第3列.....第k (k為Wk《m
的自然數(shù))列的立體圖像時，在其之前生成的立體圖像即第1列到第(k-l) 列的立體圖像的作用下，分割空間從視點v完全隱去時，對于該分割空間， 跳過立體圖像的生成。圖11為表示在第1列生成的立體圖像的例子的圖。 于是，通過依次從視點v開始生成觀看者能夠觀看到的立體圖像，來合成 這些圖像，由此，即使在觀看者觀看了顯示于大畫面的圖像的任何一個部 分的情況下，也均能夠看到三維圖像。
然而，對于僅簡單地合成立體圖像而言，分割空間的邊界處產(chǎn)生透明 間隙部分，形成不自然的三維圖像。因此，為了不在邊界形成透明間隙部 分，CPU11相對于一個分割空間一個點一個點地移動鄰接的其他分割空 間。圖12為表示本發(fā)明實施方式1的立體圖像顯示裝置10的CPU11進(jìn) 行立體圖像合成處理的流程圖。
立體圖像顯示裝置10的CPU11從生成的多個立體圖像中特定成為進(jìn) 行合成處理的基準(zhǔn)的立體圖像和成為調(diào)整對象的立體圖像(步驟S1201)。 通常，成為基準(zhǔn)的立體圖像從與最初的分割空間的長方體對應(yīng)的立體圖像 向依次進(jìn)行了合成處理的立體圖像移動。
CPUll將成為調(diào)整對象的立體圖像向成為基準(zhǔn)的立體圖像的注視點
(基準(zhǔn)注視點)移動1個點(步驟S1202),判斷是否存在事先作為背景色 登記的亮度值的點、即是否存在可透過背景的透明部分;(步驟S1203)。圖 13為表示以點單位移動成為調(diào)整對象的立體圖像的狀態(tài)的示意圖。在圖 13中，通過以點單位將成為調(diào)整對象的立體圖像62向成為基準(zhǔn)的立體圖 像61的注視點(基準(zhǔn)注視點)g移動，從而使存在于成為基準(zhǔn)的立體圖像 61和成為調(diào)整對象的立體圖像62之間的背景色部分即透明部分63消失。
在CPUll判斷為存在透明部分時(步驟S1203:是)，CPU11返回步 驟S1202，重復(fù)一個點一個點地使成為調(diào)整對象的立體圖像接近移動。在 CPU11判斷為無透明部分時(步驟S1203:否)，CPU1算出邊界的亮度 值的差值(步驟S1204)，判斷亮度值的差是否在規(guī)定值以下(步驟S1205)。
在CPU11判斷為亮度值差不在規(guī)定值以下時(步驟S1205:否)，CPU11 返回步驟S1202，重復(fù)執(zhí)行所述的處理。在CPU11判斷為亮度值差在規(guī)定 值以下時(步驟S1205:是)，CPU11判斷是否所有立體圖像進(jìn)行完合成 處理(步驟S1206)。
在CPU11判斷為所有立體圖像進(jìn)行完合成處理時(步驟S1206:是)， CPU11通過顯示接口 16向大畫面顯示裝置20送出生成的立體圖像(步驟 S1207)。在CPU11判斷為所有立體圖像未進(jìn)行完合成處理時(步驟S1206: 否)，CPU11返回步驟S1201，重復(fù)執(zhí)行所述的處理。
在所述處理中，盡管根據(jù)邊界的亮度值差是否在規(guī)定值以下來確定合 成處理中的成為調(diào)整對象的立體圖像相對于成為基準(zhǔn)的立體圖像的相對 位置，但是，也可以算出一定范圍內(nèi)的所有亮度值差，將亮度值差最小的 位置作為成為調(diào)整對象的立體圖像相對于成為基準(zhǔn)的立體圖像的相對位 置。這樣，在簡單地于最初的空間位置合成立體圖像時能夠更有效地消除 在鄰接的立體圖像的邊界處產(chǎn)生的透明部分等間隙部分，能夠生成即使在 邊界部分也仍可在觀看者視網(wǎng)膜上形成自然三維圖像的立體圖像。
根據(jù)所述本實施方式1，由觀看者沒有看到模糊圖像的視差范圍內(nèi)的 長方體將空間進(jìn)行分割，在每個分割空間均和現(xiàn)有技術(shù)相同地生成立體圖 像，然后將它們進(jìn)行合成以生成立體圖像，所以，在已生成的立體圖像的 任何一個區(qū)域均是界限視差內(nèi)的立體圖像，即使觀看者從任何位置任何角200580049150.0
說明書第14/16頁
度觀看立體圖像，也都不會在視網(wǎng)膜上形成模糊的三維圖像。
因此，即使不采用可變焦透鏡也可以正確觀看立體.圖像的所有區(qū)域， 能夠正確掌控被攝體的空間位置關(guān)系。另外，因為僅合成存在被攝體的長 方體空間中生成的立體圖像即可，故而可大幅削減計算機(jī)處理負(fù)荷，能夠 實現(xiàn)計算成本的降低。 (實施方式2)
下面參照附圖對本發(fā)明實施方式2的立體圖像顯示裝置進(jìn)行具體地說 明。圖14為表示本發(fā)明實施方式2的立體圖像顯示裝置10的結(jié)構(gòu)的方塊 圖。如圖14所示，本發(fā)明實施方式2的立體圖像顯示裝置10的結(jié)構(gòu)由于 和實施方式l的相同，故標(biāo)注相同符號而省略其詳細(xì)的說明。本實施方式 2的特征在于，不僅向能夠供多個觀看者觀看的大畫面顯示裝置20、而且 還向能夠供單個觀看者觀看的外部顯示裝置30送出立體圖像，并且，基 于由觀看者傳感器40檢測出的觀看者到畫面的距離、兩眼距離等，對生 成立體圖像的作為基準(zhǔn)的界限視差進(jìn)行修正。
輸入機(jī)構(gòu)15為用于指示畫面上任意位置的鼠標(biāo)等指示器、或為通過 在畫面上鍵入顯示畫面的橫向?qū)挾鹊葦?shù)值數(shù)據(jù)而進(jìn)行輸入的鍵盤等。
顯示接口 16為向輸出顯示圖像的液晶顯示器(LCD)、顯示顯示器 (CRT)等外部顯示裝置30輸送顯示數(shù)據(jù)的LSI板。
傳感器接口 41將位于外部的觀看者傳感器40所檢測出的信號傳送至 CPUll。觀看者傳感器40例如可以是設(shè)于顯示裝置30畫面上方的光傳感 器、超聲波傳感器等，CPU11基于所取得的檢測信號，算出至觀看者的距 離、觀看者兩眼的間隔等。
通常，在左右兩眼31、 32的光軸交叉的點與兩眼31、 32之間的距離 Ll的倒數(shù)、和投影有被攝體的畫面、屏幕等與兩眼31、 32之間的距離L2 的倒數(shù)的差在士2以內(nèi)時，知道所看到的三維圖像沒有模糊。然而，還需考 慮由于個人特質(zhì)例如觀看者至顯示畫面的距離、觀看者兩眼距離的不同而 可能不一樣的情況。
因此，在本實施方式2中，為了抵消這種容許界限的變動，根據(jù)基于 觀看者傳感器40所檢測出的信號而算出的到觀看者的距離、觀看者兩眼 間隔等，CPU11算出距離Ll的倒數(shù)和距離L2的倒數(shù)的容許差Z。
圖15為表示本發(fā)明實施方式2的立體圖像顯示裝置10的CPU11算 出界限視差的順序的流程圖。立體圖像顯示裝置10的CPU11獲取由觀看 者傳感器40檢測出的檢測信號(步驟S1501)，算出投影有被攝體的顯示 裝置20的畫面、屏幕等與兩眼31、 32的距離L2、及觀看者兩眼的間隔E 等(步驟S1502)。
CPU11算出距離L1的倒數(shù)與距離L2的倒數(shù)的容許差Z(步驟S1503)， 按照下面的順序算出實空間中的界限視差(步驟S1504)。因為距離L1的 倒數(shù)與距離L2的倒數(shù)之差在士Z以內(nèi)，故距離Ll和L2之間滿足數(shù)學(xué)式5。
<formula>formula see original document page 19</formula>
另外，由于以圖3的視差d為底邊的三角形和以兩眼距離E為底邊的 三角形相似，故數(shù)學(xué)式6成立。
<formula>formula see original document page 19</formula>根據(jù)數(shù)學(xué)式5和數(shù)學(xué)式6，關(guān)于視差d而進(jìn)行整理，則可導(dǎo)出數(shù)學(xué)式 7，是否具有數(shù)學(xué)式7的邊界的視差d的絕對值為界限視差D。 -ZxL2xE<d<ZxL2><E (數(shù)學(xué)式7)
然而，根據(jù)由于觀看者的個人特征例如近視或遠(yuǎn)視等導(dǎo)致的視網(wǎng)膜位 置的前后、晶狀體有無污物等，對于所見模糊范圍存在個人差異。為了更 適合于觀看者的個體特征，通過輸入機(jī)構(gòu)15設(shè)定用于修正界限視差D的 系數(shù)。因此，能夠生成更適合于觀看者的立體圖像。
CPU11根據(jù)算出的界限視差D、顯示裝置30的畫面的橫向?qū)挾萕及 畫面的水平方向的析像度R，算出界限視差D的像素數(shù)(步驟S1505)。 即根據(jù)數(shù)學(xué)式8而將界限視差D換算成顯示的畫面的像素數(shù)Q。<formula>formula see original document page 19</formula>
這樣，通過以顯示裝置的顯示畫面的像素單位求得界限視差D，從而 在以注視點為中心、以界限視差D為直徑的球的內(nèi)部，觀看者不會看到模 糊圖像的被攝體。該范圍稱為立體界限。因此，在本實施方式l中，為了 將含有被攝體的空間無間隙地分割，而算出內(nèi)接于立體界限的長方體，根 據(jù)求得的長方體將含有被攝體的空間進(jìn)行分割。
然后，和實施方式l同樣，在每個分割空間生成立體圖像，將生成的 多個立體圖像合成以生成單一的立體圖像，由此，無論觀看者的觀看姿勢、
方向等如何，均能夠觀看到正確的三維圖像。
如上所述，根據(jù)本實施方式2，能夠根據(jù)觀看者的觀看位置而正確算 出界限視差，能夠顯示適合于觀看者的立體圖像。另外，通過根據(jù)由于觀 看者的個人特征例如近視或遠(yuǎn)視等導(dǎo)致的視網(wǎng)膜位置的前后、晶狀體有無 污物等，對算出的界限視差進(jìn)行修正，由此，能夠更準(zhǔn)確地算出界限視差， 能夠顯示更適合于觀看者的立體圖像。
權(quán)利要求
1、一種立體圖像顯示裝置，其生成顯示在觀看者視網(wǎng)膜上形成三維圖像的立體圖像，其特征在于，包括界限視差算出機(jī)構(gòu)，其算出可在觀看者視網(wǎng)膜上形成三維圖像的視差的邊界即界限視差；長方體尺寸算出機(jī)構(gòu)，其算出與以算出的界限視差為直徑的球內(nèi)接的長方體的尺寸；空間分割機(jī)構(gòu)，其由算出的長方體將包含被攝體的空間分割成多個空間；注視點圖像生成機(jī)構(gòu)，其在每個分割空間中生成被攝體相對于單一注視點的立體圖像；注視點圖像合成機(jī)構(gòu)，其合成所生成的多個立體圖像，生成單一立體圖像；圖像顯示機(jī)構(gòu)，其顯示所生成的單一立體圖像。
2、 如權(quán)利要求l所述的立體圖像顯示裝置，其特征在于， 包括檢測顯示立體圖像的面和觀看者的相對位置的相對位置檢測機(jī)構(gòu)，所述界限視差作為左右視線交叉的點和兩眼之間的距離的倒數(shù)與顯 示立體圖像的面和兩眼之間的距離的倒數(shù)之差為規(guī)定值的視差而算出。
3、 如權(quán)利要求1或2所述的立體圖像顯示裝置，其特征在于， 所述界限視差算出機(jī)構(gòu)包括基于觀看者的個人特征而修正所述界限視差的修正機(jī)構(gòu)。 _
4、 如權(quán)利要求1至3中任意一項所述的立體圖像顯示裝置，其特征 在于，所述注視點圖像合成機(jī)構(gòu)包括亮度差算出機(jī)構(gòu)，其將分割空間中的一個空間作為基準(zhǔn)而算出在一個 空間生成的立體圖像的亮度值和在鄰接的其他空間生成的立體圖像的亮 度值的差； 亮度差再算出機(jī)構(gòu)，其相對于一個空間平行移動其他空間而再次算出亮度差；相對位置求取機(jī)構(gòu)，其求取所算出的亮度差最小的其他空間相對于一 個空間的相對位置。
5、 一種立體圖像顯示方法，其生成顯示在觀看者視網(wǎng)膜上形成三維 圖像的立體圖像，其特征在于，算出可在觀看者視網(wǎng)膜上形成三維圖像的視差的邊界即界限視差；算出與以算出的界限視差為直徑的球內(nèi)接的長方體的尺寸；由算出的長方體將包含被攝體的空間分割成多個空間；在每個分割空間中生成被攝體相對于單一注視點的立體圖像；合成所生成的多個立體圖像，生成單一立體圖像；顯示所生成的單一立體圖像。
6、 如權(quán)利要求5所述的立體圖像顯示方法，其特征在于， 檢測顯示立體圖像的面和觀看者的相對位置，所述界限視差作為左右視線交叉的點和兩眼之間的距離的倒數(shù)與顯 示立體圖像的面和兩眼之間的距離的倒數(shù)之差為規(guī)定值的視差而算出。
7、 如權(quán)利要求5或6所述的立體圖像顯示方法，其特征在于，基于觀看者的個人特征而修正所述界限視差。
8、 如權(quán)利要求5至7中任意一項所述的立體圖像顯示方法，其特征 在于，將分割空間中的一個空間作為基準(zhǔn)而算出在一個空間生成的立體圖 像的亮度值和在鄰接的其他空間生成的立體圖像的亮度值的差即亮度差， 相對于一個空間平行移動其他空間而再次算出亮度差， 求取所算出的亮度差最小的其他空間相對于一個空間的相對位置。
9、 一種計算機(jī)程序，其生成顯示在觀看者視網(wǎng)膜上形成三維圖像的 立體圖像，其特征在于，所述計算機(jī)作為如下機(jī)構(gòu)而發(fā)揮功能，艮P，界限視差算出機(jī)構(gòu)，其算出可在觀看者視網(wǎng)膜上形成三維圖像的視差 的邊界即界限視差；長方體尺寸算出機(jī)構(gòu)，其算出與以算出的界限視差為直徑的球內(nèi)接的 長方體的尺寸；空間分割機(jī)構(gòu)，其由算出的長方體將包含被攝體的空間分割成多個空間；注視點圖像生成機(jī)構(gòu)，其在每個分割空間中生成被攝體相對于單一注 視點的立體圖像；注視點圖像合成機(jī)構(gòu)，其合成所生成的多個立體圖像，生成單一立體 圖像。
10、 如權(quán)利要求9所述的計算機(jī)程序，其特征在于， 所述計算機(jī)作為檢測顯示立體圖像的面和觀看者的相對位置的相對位置檢測機(jī)構(gòu)而發(fā)揮功能，且以所述界限視差作為左右視線交叉的點和兩眼之間的距離的倒數(shù) 與顯示立體圖像的面和兩眼之間的距離的倒數(shù)之差為規(guī)定值的視差而算 出的方式發(fā)揮功能。
11、 如權(quán)利要求9或IO所述的計算機(jī)程序，其特征在于，所述計算機(jī)作為基于觀看者的個人特征而修正所述界限視差的修正 機(jī)構(gòu)而發(fā)揮功能。
12、 如權(quán)利要求9至11中任意一項所述的計算機(jī)程序，其特征在于， 所述計算機(jī)作為如下機(jī)構(gòu)而發(fā)揮功能，艮P，亮度差算出機(jī)構(gòu)，其將分割空間中的一個空間作為基準(zhǔn)而算出在一個 空間生成的立體圖像的亮度值和在鄰接的其他空間生成的立體圖像的亮 度值的差；亮度差再算出機(jī)構(gòu)，其相對于一個空間平行移動其他空間而再次算出 亮度差；相對位置求取機(jī)構(gòu)，其求取所算出的亮度差最小的其他空間相對于一 個空間的相對位置。
全文摘要
提供一種無需采用可變焦透鏡而能夠正確觀看立體圖像的所有區(qū)域并能夠減輕計算機(jī)處理負(fù)荷、以及能夠在多個觀看者從任何位置觀看圖像時也在視網(wǎng)膜上形成自然三維圖像的立體圖像顯示裝置、立體圖像顯示方法及計算機(jī)程序。在生成顯示在觀看者視網(wǎng)膜上形成三維圖像的立體圖像的立體圖像顯示裝置中，算出可在觀看者視網(wǎng)膜上形成三維圖像的視差的邊界即界限視差；算出與以算出的界限視差為直徑的球內(nèi)接的長方體的尺寸；由算出的長方體將包含被攝體的空間分割成多個空間；在每個分割空間中生成被攝體相對于單一注視點的立體圖像；合成所生成的多個立體圖像，生成單一立體圖像；顯示所生成的單一立體圖像。
文檔編號H04N13/04GK101180891SQ200580049150
公開日2008年5月14日 申請日期2005年12月12日 優(yōu)先權(quán)日2005年3月18日
發(fā)明者內(nèi)村隆生, 岡田忠憲, 平松孝一, 服部和行, 竹內(nèi)俊作, 須內(nèi)康仁 申請人:株式會社恩梯梯數(shù)據(jù)三洋系統(tǒng);豐田自動車株式會社