專(zhuān)利名稱(chēng)：用于三維空間顯示的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于基于場(chǎng)景的多個(gè)不同視圖An在由圖像元素形成的光柵上對(duì)該場(chǎng)景進(jìn)行三維空間顯示的方法，其中n=0，…，N-I以及N=2或者N>2，N是視圖的總數(shù)。
背景技術(shù)：
在現(xiàn)有技術(shù)中存在很多不同的用于顯示三維空間圖像的方法，而這些主要方法的一種，即允許在沒(méi)有輔助手段的情況下觀察三維空間圖像的方法基于相應(yīng)于為該三維空間顯示預(yù)定的組合規(guī)則而將視圖An組合為一幅組合圖像，該組合圖像將顯示在由圖像元素形成的光柵上，其中相應(yīng)于所述組合規(guī)則每一個(gè)視圖An中僅有分配給相應(yīng)視圖An的圖像像素 bn(xk, Y1)的一部分顯示在由圖像元素形成的光柵上。在此，為這些視圖An預(yù)定傳播方向， 使得觀察者的左眼與該觀察者的右眼察覺(jué)到對(duì)視圖An的不同選擇，由此產(chǎn)生了三維空間的視覺(jué)印象。
這樣的組合規(guī)則例如在DE 100 03 326 Al中描述。在該文獻(xiàn)中，這些組合規(guī)則總是依據(jù)必須適合于三維空間顯示的顯示屏的特征來(lái)預(yù)定。例如，該顯示屏可以配備有專(zhuān)用的濾波陣列，該濾波陣列由透明的和不透明的濾波元件組成，從而在與組合規(guī)則合作的情況下預(yù)定用于所述視圖的傳播方向。
在此，這樣的方法的一個(gè)重要方面是產(chǎn)生對(duì)應(yīng)于不同觀察位置的不同視圖。這樣的視圖在經(jīng)典的影片中例如可以采用立體攝像機(jī)或定位在相應(yīng)觀察位置上的相機(jī)以數(shù)字方式拍攝和組合，并且在此過(guò)程中不一定取決于用于此的時(shí)間，因?yàn)橛^察者看見(jiàn)的是最終的、不再能改變的以及因此靜態(tài)的最終產(chǎn)物，從而在計(jì)算機(jī)動(dòng)畫(huà)對(duì)象(例如在導(dǎo)航設(shè)備或計(jì)算機(jī)游戲中所使用的)的情況下不同視圖的產(chǎn)生被證明是隨著顯示屏的分辨率升高以及視圖數(shù)量的增加而越來(lái)越多地成為降低速度的時(shí)間因素，盡管圖形卡的效率增大，該時(shí)間因素還是會(huì)干擾一般必須通過(guò)與觀察者的交互才更新的圖像序列的流動(dòng)并且可能例如導(dǎo)致遲滯。
在此，在現(xiàn)有技術(shù)中公知基于源視圖Q產(chǎn)生所述視圖的不同方法。這些方法的共同之處在于，首先提供投影在具有橫坐標(biāo)X和豎坐標(biāo)y的投影平面P (x, y)中的源視圖Q，原始觀察位置Btl被分配給該源視圖Q。在此，源視圖Q由源像素M(Uj)組成，其中j是行， j=l,…，J，而i是列，i=l,…，I。在此，在每個(gè)源像素M(Uj)中存儲(chǔ)至少一個(gè)顏色信息。 此外，還提供涉及所述投影平面的深度圖(Tiefenkarte) T，原始觀察位置Btl同樣被分配給該深度圖。深度圖由深度像素t(xp，y》組成，其中r是行，r=l，···，! ，而ρ是列，p=l，···，P。 在每個(gè)深度像素t(Xp，yr)中存儲(chǔ)至少一個(gè)深度信息，其中該深度信息相應(yīng)于離投影平面 P(x, y)的垂直距離。涉及顯示的其它信息也可以存儲(chǔ)在源像素或深度像素中。原始觀察位置Btl在此也分配給第一視圖A°。該第一視圖在此通常被選擇為，使得該第一視圖中心地以及共軸地與所述投影平面相對(duì)，并且從觀察位置Btl至所述投影平面的、與該第一視圖包圍垂直直線的射線因此大致穿過(guò)源視圖Q的中心像素。從該原始觀察位置Btl出發(fā)，通過(guò)水平移動(dòng)該位置而產(chǎn)生N-I個(gè)另外的、成對(duì)地彼此不同的而且與其余視圖Am(m=l，…，N-1)對(duì)應(yīng)的觀察位置Bm。必須為所有視圖々"確定針對(duì)圖像像素bn(xk，yi)的顏色信息，其中1是行， 1=1，…，L，而 k 是列，k=l, -,K0
在經(jīng)典的方法中，例如在未預(yù)先公開(kāi)的德國(guó)申請(qǐng)10 2006 005 004中，將在此與源視圖Q相同的原始視圖A°重復(fù)(N-I)次。由此相應(yīng)于新的觀察位置和該視圖所基于的基元(Primitive)的深度信息，可以計(jì)算這些視圖，其中在程序上分別重新確定所有的圖像元素 bm (xk, Y1)。
在DE 696 21 778 T2中描述了另一種方法。從原始視圖A°出發(fā)，將該視圖的每個(gè)像素與其深度信息成比例地水平向左或向右移動(dòng)以產(chǎn)生其余的視圖，這是所謂的視差像素移動(dòng)。因此產(chǎn)生一個(gè)透視的移動(dòng)的視圖，所形成的空洞通過(guò)插值來(lái)填充。所述像素移動(dòng)必須對(duì)每個(gè)視圖單獨(dú)執(zhí)行。
在所有方法中，代價(jià)隨著視圖數(shù)量增加而劇烈上升。另一方面，大量視圖的使用實(shí)際上是值得期望的，因?yàn)檫@也會(huì)導(dǎo)致高質(zhì)量的三維空間視覺(jué)印象。
從計(jì)算機(jī)圖形的另一領(lǐng)域公知所謂立體地圖(relief mapping)的方法。通過(guò)應(yīng)用該方法可以消除應(yīng)當(dāng)用于顯示三維對(duì)象的二維計(jì)算機(jī)圖形的典型偽影，也就是說(shuō)計(jì)算機(jī)圖形對(duì)象所具有的三維空間顯現(xiàn)的紋理一也就是圖案一在更精確觀察的情況下不是顯現(xiàn)為三維空間的，而是顯現(xiàn)為二維的。如果例如在應(yīng)當(dāng)顯示墻壁的計(jì)算機(jī)圖形對(duì)象上施加磚塊形狀的紋理，則從一定距離外該結(jié)構(gòu)實(shí)際上顯得就像是真正的磚墻，但是如果將觀察位置設(shè)置得非常緊密并且盡可能地設(shè)置在相對(duì)于墻壁傾斜的角度上，則該紋理看起來(lái)就像是它原來(lái)的樣子，也就是近似地像是沒(méi)有任何三維空間輪廓的二維復(fù)制圖像(Abziehbild)。 利用立體地圖方法(下面稱(chēng)為立體地圖的產(chǎn)生)，可以消除所述偽影并且例如向上述磚墻施加實(shí)際上三維空間顯現(xiàn)的結(jié)構(gòu)，即使從不利的觀察位置來(lái)看該結(jié)構(gòu)也會(huì)保持該效果。該方法在文獻(xiàn)中詳細(xì)描述，例如在M. Oliveira, G. Bishop和D. McAllister的文章"Relief Texture Mapping” 中，該文章出現(xiàn)在 Proceedings of SIGGRAPH 2000，359-368 頁(yè)中，以及在F. Policarpo,M. Oliveira禾口 J. Comba的文章"Real-Time Relief Mapping on Arbitrary Polygonal Surfaces，，中，i亥文章出現(xiàn)在 Proceedings of ACM Symposium on Interactive 3D Graphics and Games 2005, ACM Press，155-162頁(yè)中。由此清楚地參照所述文獻(xiàn)的公開(kāi)內(nèi)容。立體地圖方法與所謂的光線跟蹤(Ray Tracing)方法類(lèi)似地工作，并且正如所提到的用于讓二維顯示的對(duì)象的三維空間印象顯得更為真實(shí)。但是，與光線跟蹤方法的主要區(qū)別在于，首先確定射線與3D場(chǎng)景的幾何對(duì)象的交點(diǎn)，以計(jì)算3D場(chǎng)景的圖像，而立體地圖僅確定具有已經(jīng)完整計(jì)算的圖像的深度值的交點(diǎn)，以事后改變圖像元素的位置。甚至可以考慮將立體地圖應(yīng)用于事先借助光線跟蹤計(jì)算的圖像，因?yàn)樵诖艘蚕蛎總€(gè)像素分配一個(gè)深度值。該方法涉及實(shí)際三維空間顯示的應(yīng)用還未公開(kāi)。發(fā)明內(nèi)容
基于該現(xiàn)有技術(shù)，本發(fā)明要解決的任務(wù)是改進(jìn)開(kāi)頭所述類(lèi)型的方法，使得即使對(duì)于很多不同的視圖也能快速計(jì)算組合圖像以及因此能夠?qū)崟r(shí)地進(jìn)行無(wú)遲滯的顯示。
該任務(wù)在開(kāi)頭所述類(lèi)型的方法中通過(guò)以下方式解決，即借助深度圖產(chǎn)生視圖的立體地圖Z(x，y)，其中Z(x，y)是在χ和y方面連續(xù)的函數(shù)，并且立體地圖Z(x，y)與源視圖 Q關(guān)聯(lián)。這是借助上述立體地圖產(chǎn)生的方法來(lái)進(jìn)行的。如果產(chǎn)生了立體地圖Z(x，y)，則可以通過(guò)以下方式為視圖々"的圖像像素bn(xk，yi)確定顏色信息，即(i)沿著觀察方向從相應(yīng)的觀察位置Bn至所涉及的圖像像素bnUk，Yl)產(chǎn)生射線，并且該射線穿出該圖像像素地延長(zhǎng)到深度中，(ii)確定該射線與立體地圖Z(x，y)的最靠近觀察位置Bn的交點(diǎn)，(iii)確定最靠近該交點(diǎn)的源像素M(Xs^yj)，以及(iv)向所涉及的圖像像素bn(xk，yi)分配圖像像素M(Xs^yj)的顏色信息。在此重要的是，該顏色信息不是針對(duì)視圖的所有圖像像素而確定的。而是視圖An的顏色信息僅僅是針對(duì)將相應(yīng)于組合規(guī)則而顯示的圖像像素bn(xk，yi)而確定的。
參照組合圖像的圖像像素所基于的光柵^ Y1是指對(duì)每一對(duì)(k，1)相應(yīng)于所述組合規(guī)則首先確定將在組合圖像的該位置上顯示的信息來(lái)自哪一個(gè)視圖。然后借助與所涉及的視圖對(duì)應(yīng)的觀察方向如上所述地確定待顯示的顏色信息，而且僅針對(duì)所涉及的視圖。不確定視圖的在光柵位置^ Y1上不顯示的信息，這與其中按照程序無(wú)法避免這些不需要的操作的現(xiàn)有技術(shù)相反。因此對(duì)于每個(gè)視圖An來(lái)說(shuō)，總是只確定圖像像素bn(xk，yi)的相應(yīng)于組合規(guī)則實(shí)際上也要顯示的部分。因此，立體地圖產(chǎn)生的方法不是完全應(yīng)用于每個(gè)視圖，而是只選擇性地應(yīng)用于分別在每個(gè)視圖中可見(jiàn)的圖像像素，也就是取決于組合規(guī)則。在此，完全可能的還有在組合圖像中的位置(xk，yi)上不僅顯示視圖之一的顏色信息，而且還顯示兩個(gè)或更多視圖的顏色信息。這取決于組合規(guī)則。
在源視圖Q和/或深度圖T具有比視圖An更小或更大的分辨率的情況下，也就是 R Φ L和/或P Φ K，或J Φ L和/或I Φ K，用相應(yīng)的伸縮因子來(lái)對(duì)深度圖T或源視圖Q進(jìn)行伸縮。這些伸縮因子針對(duì)深度圖T的寬度是Stx = Κ/Ρ和針對(duì)高度是STy = L/R。 為了伸縮源視圖Q，這些伸縮因子相應(yīng)地針對(duì)寬度是Sqx = K/I和針對(duì)高度是SQy = L/J0在分辨率相同的情況下，該步驟不一定要被跳過(guò)，而是也可以進(jìn)行與因子1的乘法。所述伸縮因子被應(yīng)用于深度像素t(Xp，ρ》和/或源像素『(Χ ，ι_)，使得深度像素t(Xp，p》和/或源像素M(^yj)相對(duì)于圖像像素『(&，71)擴(kuò)展或壓縮。如果例如源視圖和深度圖的分辨率既在χ方向上又在y方向上都只是顯示屏分辨率的一半那么大，在該顯示屏上應(yīng)當(dāng)顯示視圖An并且應(yīng)當(dāng)相應(yīng)于該顯示屏的分辨率產(chǎn)生這些視圖，則源視圖Q和深度圖T擴(kuò)展，使得每個(gè)源像素和每個(gè)深度像素都覆蓋4個(gè)圖像像素，這影響了從不同觀察位置上圖像像素向源像素的分配。
在此可行的是，如果源視圖Q和深度圖T例如相互分離地產(chǎn)生，則源視圖Q和深度圖T以不同的分辨率出現(xiàn)。但是這兩者一般具有相同的分辨率，從而每個(gè)源像素恰好對(duì)應(yīng)于一個(gè)深度像素，反之亦然。由此，深度圖T還可以作為具有各自的索引的其它場(chǎng)保存在矩陣中，在該矩陣中還存儲(chǔ)了源視圖的顏色信息，但是深度圖T還可以作為自主的、獨(dú)立的場(chǎng)來(lái)處理，其中該深度圖例如保存在通過(guò)推動(dòng)器操縱的深度緩沖器中。
如果深度圖、源視圖和視圖An的分辨率相同，則不進(jìn)行伸縮或者用因子1進(jìn)行伸縮。在源視圖擴(kuò)展而深度圖與該源視圖匹配的情況下，可以消除顏色偽影，該顏色偽影通過(guò)專(zhuān)用于三維空間顯示的濾波結(jié)構(gòu)與其中例如像素由并排的紅色、綠色和藍(lán)色的子像素組成的顯示屏的合作而產(chǎn)生。該合作在三維空間顯示中可能導(dǎo)致在顏色邊緣上出現(xiàn)雜亂的乳白色的顏色邊，顏色邊緣即顏色在其上變換的邊緣。
另一方面，反過(guò)來(lái)當(dāng)源圖像和深度圖的分辨率高于用于顯示的顯示屏的分辨率時(shí)還可以壓縮源圖像和深度圖。這尤其是在顯示屏具有全色像素的情況下或者在單色顯示屏的情況下是有利的，因?yàn)橥ㄟ^(guò)這種方式可以實(shí)現(xiàn)深度精確性的提高。
因此，借助本發(fā)明的方法實(shí)現(xiàn)了，用于計(jì)算組合圖像的待推動(dòng)的代價(jià)主要還僅取決于顯示屏的分辨率以及僅一小部分還取決于視圖的數(shù)量，而在現(xiàn)有技術(shù)中該代價(jià)主要取決于與產(chǎn)生視圖有關(guān)的計(jì)算，即與對(duì)每個(gè)視圖都要執(zhí)行的所謂的渲染(Rendering)有關(guān)的計(jì)算。由此原則上可以組合任意多的視圖，這尤其是在大尺寸、高分辨率的顯示屏的情況下會(huì)導(dǎo)致三維空間印象的質(zhì)量明顯提高。
圖像像素1^(&，71)可以是全像素或者是子像素。在全像素的情況下，向每個(gè)全像素分配針對(duì)紅色、綠色和藍(lán)色的顏色信息，在子像素的情況下向每個(gè)子像素分配針對(duì)這些顏色中恰好一種顏色的顏色信息。
在本方法的有利構(gòu)成中，對(duì)深度圖T的深度信息進(jìn)行伸縮，使得待顯示的深度例如可以與特定的設(shè)備類(lèi)型匹配也與標(biāo)準(zhǔn)3D體積匹配，從而對(duì)于觀察者而言總是產(chǎn)生最大的三維空間印象。該伸縮根據(jù)以下步驟進(jìn)行在第一步驟中確定具有最大深度的平面以及具有最小深度的平面。這是參照觀察位置Btl來(lái)進(jìn)行的，也就是一般垂直于投影平面P (x, y) 進(jìn)行，其中原則上也可以考慮其它透視。如果將整個(gè)深度空間或深度圖中的深度信息可以采用的值范圍伸縮到0和1之間的間隔，則具有最大深度的平面具有值1作為深度信息，而具有最小深度的平面具有值0作為深度信息。通常，具有最小深度的平面覆蓋所有源像素， 只要這些源像素沒(méi)有位于該平面中。另一方面，只要沒(méi)有源像素位于具有最大深度的平面上，則具有最大深度的平面就不覆蓋源像素。但是一般情況下源像素既沒(méi)有位于具有最小深度的平面上也沒(méi)有位于具有最大深度的平面上，從而深度印象還未被最佳利用或者還可以被優(yōu)化。該平面的深度信息或深度值對(duì)該平面中的每個(gè)點(diǎn)都是相同的。
然后在下一步驟中將兩個(gè)平面相互靠近地移動(dòng)，并且確定兩個(gè)平面之間的最小距離，在該最小距離時(shí)深度圖的深度信息還全部位于這些平面上或這些平面之間。如果在確定這些平面時(shí)已經(jīng)在這些平面的一個(gè)平面上找到深度信息，則該平面不再進(jìn)一步移動(dòng)。所述移動(dòng)優(yōu)選迭代地進(jìn)行，其中該平面的位置被跳躍地前后移動(dòng)，而且作為下一個(gè)迭代步驟的起點(diǎn)在具有最大深度的平面的情況下從前面的兩個(gè)迭代步驟中選擇覆蓋最少像素的位置，在具有最小深度的平面的情況下為下一個(gè)迭代步驟選擇覆蓋最多像素的位置。在此，這些平面的特征在于其一致的深度值或一致的深度信息。當(dāng)然也可以應(yīng)用其它公知的迭代方法。
如果兩個(gè)平面被移動(dòng)到進(jìn)一步的迭代步驟不再帶來(lái)進(jìn)一步的改進(jìn)那么遠(yuǎn)，也就是找到了最小可能距離，則依據(jù)該最小距離將深度信息伸縮到預(yù)定的標(biāo)準(zhǔn)距離。例如，該標(biāo)準(zhǔn)距離可以確定為1，而且如果深度圖的所有深度信息都位于從0.2至0.7的范圍內(nèi)，則可以伸縮到介于0和1之間的標(biāo)準(zhǔn)距離，從而所提供的3D體積被最大利用。在此，所述伸縮可以取決于深度圖中的深度信息并且不需要線性進(jìn)行。
在此，在第一步驟中對(duì)具有最大深度的平面和/或具有最小深度的平面的確定可以自動(dòng)進(jìn)行，也就是例如在深度值0和1的情況下，但是該確定也可以手動(dòng)進(jìn)行。這尤其是在對(duì)相應(yīng)平面的確定應(yīng)當(dāng)基于借助圖像內(nèi)容的評(píng)估來(lái)進(jìn)行時(shí)是有利的，這當(dāng)然還可以基于相應(yīng)的圖像分析算法自動(dòng)進(jìn)行。如果這些平面通過(guò)這種方式剛開(kāi)始被確定為具有與0或1 不同的深度值，則分別向其深度信息相應(yīng)于位于具有最小深度的平面之前或位于具有最大深度的平面之后的值的所有深度像素t分配一致的深度值。然后這樣的對(duì)象看起來(lái)分別位于一個(gè)在其中三維空間顯示其它對(duì)象的實(shí)際體積之前或之后的平面中，并且僅具有二維的圖像結(jié)構(gòu)。
這些方法步驟的流程優(yōu)選通過(guò)推動(dòng)器來(lái)控制，該推動(dòng)器也可以被手動(dòng)干預(yù)。優(yōu)選地，該控制通過(guò)在圖形卡上實(shí)施的推動(dòng)器來(lái)進(jìn)行，該推動(dòng)器還可以相應(yīng)地響應(yīng)該圖形卡。這些方法步驟優(yōu)選地還在具有為這樣的過(guò)程步驟而優(yōu)化的連接的圖形卡上執(zhí)行。
所述推動(dòng)器例如可以依據(jù)前面執(zhí)行的處理步驟來(lái)決定哪些深度圖用于產(chǎn)生和顯示三維空間圖像，或決定是否必須首先產(chǎn)生這樣的深度圖，或者決定現(xiàn)有的深度圖是否必須被補(bǔ)充。該深度圖在此尤其是還可以從應(yīng)用中獲得，例如從計(jì)算機(jī)游戲或用于顯示醫(yī)療事實(shí)的程序中獲得，該醫(yī)療事實(shí)的顯示屏輸出應(yīng)當(dāng)從二維轉(zhuǎn)換為三維并且其中計(jì)算出用于正常二維顯示的深度圖以區(qū)分背景中的對(duì)象和前景中的對(duì)象。
應(yīng)當(dāng)理解，上面講述和下面還要解釋的特征不僅能以所說(shuō)明的組合而且還能以其它組合使用或單獨(dú)使用，而不脫離本發(fā)明的范圍。


下面還例如借助也公開(kāi)了本發(fā)明的主要特征的附圖詳細(xì)解釋本發(fā)明。
圖1示出投影平面、原始視圖、立體地圖以及不同的觀察位置的關(guān)系的概貌， 圖2示出由5個(gè)視圖組成的組合圖像，圖3a示出用于預(yù)定所定義的傳播方向的濾波結(jié)構(gòu)，圖3b，3c示出所述組合圖像以及位于該組合圖像上面的濾波結(jié)構(gòu)，就像該濾波結(jié)構(gòu)在特定位置被左眼或右眼所察覺(jué)的那樣，圖4示出用于確定針對(duì)其余視圖的顏色信息的過(guò)程， 圖5以全像素顯示屏為例示出顏色信息的確定，以及圖6以具有子像素的顯示屏為例示出針對(duì)待顯示圖像像素的顏色信息的確定， 圖7 7b示出視圖具有比深度圖和源視圖更高的分辨率的情況，以及圖8示出與圖7 7b相反的情況。
具體實(shí)施方式
在圖1中首先示出與一種用于基于場(chǎng)景的多個(gè)不同視圖An在由圖像元素形成的光柵上對(duì)該場(chǎng)景進(jìn)行三維空間顯示的方法有關(guān)的基本概念，其中n=0，. .，N-1，以及N>2或 N=2, N是視圖的總數(shù)。首先提供投影到具有橫坐標(biāo)χ和豎坐標(biāo)y的投影平面P(x，y)中的源視圖Q。投影平面P(x，y)在圖Ia中示出，在此，所述場(chǎng)景僅包含一個(gè)直角平行六面體并且其它地方都是空的。如圖Ib所示，源視圖Q被分配了原始觀察位置在此，源視圖Q 此外由源像素『Oq，Yj)組成，其中j是行，j=l,…，J，而i是列，i=l,…，I。在每個(gè)源像素 bq(xi)yj)中存儲(chǔ)至少一個(gè)顏色信息。此外還可以存儲(chǔ)其它信息。源像素M(Uj)的顯示被放棄了，以保證清楚性。但是人們可以將該顯示想象為在圖Ia中的視圖Q下方的、細(xì)網(wǎng)眼的光柵。原始觀察位置Btl也被分配給第一視圖A°。通過(guò)原始觀察位置Btl的水平移動(dòng)生成N-I 個(gè)其它的成對(duì)的相互不同的觀察位置Bm，這些觀察位置對(duì)應(yīng)于其余視圖Am，m=l，-,N-I0在所示情況下N=5。但是也可以使用其它數(shù)量的視圖，一般來(lái)說(shuō)N是大于或等于2的自然數(shù)。
此外在圖Ib中還示出立體地圖Z (x，y)，該立體地圖借助針對(duì)源視圖Q的深度信息產(chǎn)生。這些深度信息存儲(chǔ)在涉及投影平面的深度圖T中。該深度圖T同樣被分配了原始觀察位置該深度圖T由深度像素t(xp，y』組成，其中r是行，r=l，···，! ，而ρ是列， =1，一，？。在每個(gè)深度像素1(\，yr)中存儲(chǔ)至少一個(gè)深度信息，其中每個(gè)深度信息相應(yīng)于與投影平面P(x，y)之間的垂直距離。深度圖T和源視圖Q —般具有涉及行數(shù)和列數(shù)的相同尺寸，但是如果不是這樣的話(huà)則可以進(jìn)行彼此緊靠的伸縮。
即使在深度圖T和/或源視圖Q具有比視圖An更小或更大的分辨率的情況下，也可以用相應(yīng)的伸縮因子對(duì)深度圖T或源視圖Q進(jìn)行伸縮。在R興L和/或P興K的情況下，利用伸縮因子Stx = K/P或STy = L/R對(duì)深度圖T進(jìn)行伸縮。在源視圖Q具有比視圖An 更小或更大的分辨率的情況下，也就是J Φ L和/或I Φ K，利用伸縮因子Sqx = Κ/Ι或 S0y = L/J對(duì)源視圖Q進(jìn)行伸縮。在深度圖T和源視圖Q的分辨率小于視圖An的分辨率的情況下，可以在3D顯示中減小顏色過(guò)渡時(shí)的顏色邊，為此還可以通過(guò)相應(yīng)的圖像算法人工地減小源視圖Q和深度圖T的分辨率。正是在顯示屏老化的情況下該措施是很有意義的， 在該情況下像素比在新顯示屏的情況下相互離得更遠(yuǎn)，因?yàn)樵诖讼袼刂g的距離越大，所出現(xiàn)的顏色邊就越具有干擾性。在分辨率高于針對(duì)視圖An的分辨率的情況下，可以改善深度印象，尤其是在單色顯示屏或者顯示屏基于全像素的情況下。
只要源視圖Q、深度圖T和視圖An的分辨率相同，則作為視圖Α°還可以使用源視圖Q，然后向該源視圖分配深度信息。
然后，相應(yīng)于立體地圖產(chǎn)生的方法大致以所示出的方式將立體地圖Z(x，y)與源視圖Q關(guān)聯(lián)。在此，Z(x，y)是在χ和y方面連續(xù)的函數(shù)。在此，該函數(shù)例如可以是階梯函數(shù)，但是像素之間的值還可以被插值為，使得函數(shù)Z(x，y)可以連續(xù)一次或二次微分，例如可以被線性或雙三次地插值。立體地圖Z(x，y)在圖Ib中針對(duì)視圖Q的具有恒定y的截面示出；該截面在圖Ia中通過(guò)虛線表示。此外該立體地圖被標(biāo)準(zhǔn)化，小的值相應(yīng)于低的深度并且因此只經(jīng)歷很小的移動(dòng)，高的值相應(yīng)于背景中的點(diǎn)，這些點(diǎn)與位于前景的點(diǎn)相比經(jīng)歷相對(duì)較小的移動(dòng)。
然后下面確定針對(duì)視圖An的圖像像素bnUk，Yl)的顏色信息，其中1是行，1=1，… ，L，而k是列，1 =1，···，Κ。接著相應(yīng)于為了三維空間顯示而預(yù)定的組合規(guī)則將所有視圖An 組合為一幅組合圖像，該組合圖像將顯示在圖像元素的光柵上，其中每個(gè)視圖An中相應(yīng)于該組合規(guī)則在由圖像元素形成的光柵上僅顯示分配給相應(yīng)視圖An的圖像像素bnUk，Yl)的一部分，以及為這些視圖An預(yù)定傳播方向，使得觀察者的左眼與觀察者的右眼察覺(jué)到對(duì)視圖An的不同選擇，由此產(chǎn)生三維空間的視覺(jué)印象。
這樣的、相應(yīng)于組合規(guī)則而組成的組合圖像例如在圖2中示出。該組合圖像是為了在具有子像素的顯示屏上顯示而設(shè)置的組合圖像。相應(yīng)于所述規(guī)則，為相鄰的子像素分配不同的視圖。在用R，G和B標(biāo)示的方格下方的方格中的數(shù)字表示在本示例中使用的5個(gè)視圖乂的索引。
然后通過(guò)相應(yīng)的光學(xué)濾波結(jié)構(gòu)，例如通過(guò)視差阻擋濾波器或雙凸透鏡濾波器來(lái)預(yù)定所述傳播方向。以阻擋結(jié)構(gòu)的形式給出的這樣的光學(xué)濾波器在圖3a中示出。如果觀察者位于顯示屏之前的一個(gè)選擇的位置上，則例如可以左眼只察覺(jué)到如圖北所示的第二視圖， 而右眼只察覺(jué)到如圖3c所示的第四視圖。因此，該光學(xué)濾波結(jié)構(gòu)在視線方向上設(shè)置在光柵化的組合圖像之前或者也設(shè)置在該組合圖像之后，由此預(yù)定了可以產(chǎn)生三維空間視覺(jué)印象的傳播方向。
在圖4中示出在確定針對(duì)視圖An的圖像像素bn(xk，Yl)的顏色信息時(shí)的原則性措施。為此首先產(chǎn)生沿著觀察方向從相應(yīng)的觀察位置Bn (在所示出的示例中是B1)至所涉及的圖像像素bnUk，Yl)的射線。在該示例中這是針對(duì)在針對(duì)第一觀察位置B1的第一行(1=1) 中的4個(gè)圖像像素k=l，…，4示出的。源視圖Q —般被計(jì)算為，使得該源視圖Q已經(jīng)被確定并且投影到中心投影或正交投影中。因此為了從該觀察位置和其余觀察位置產(chǎn)生視圖An， 不需要重新投影，與投影體積的剪切相應(yīng)的平行移動(dòng)就足以。因此每個(gè)視圖An或觀察位置 Bn恰好分別對(duì)應(yīng)于一個(gè)觀察方向。
然后這些觀察方向超出所涉及的圖像像素地延長(zhǎng)到深度中，并且確定所述射線與立體地圖Z(x，y)的最靠近觀察位置Bn的交點(diǎn)。這是通過(guò)計(jì)算來(lái)進(jìn)行的，其中使用源視圖 Q與立體地圖Z(x，y)的關(guān)聯(lián)。該措施相應(yīng)于在現(xiàn)有技術(shù)中關(guān)于所謂的立體地圖而描述的用于找到該交點(diǎn)的措施。這些交點(diǎn)同樣在圖4中示出，所述射線的箭頭在這些交點(diǎn)處結(jié)束。 在查找這些交點(diǎn)時(shí)要注意實(shí)際上分別只找到最靠近的交點(diǎn)，而不是被前景中的對(duì)象覆蓋的交點(diǎn)。這也可以借助相應(yīng)的算法來(lái)實(shí)現(xiàn)。然后在下一個(gè)步驟中確定最靠近該交點(diǎn)的源像素W(Xs^yj)。該源像素也在圖4中示出。最后在最后一個(gè)步驟中，向所涉及的圖像像素 bn(xk, Y1)分配源視圖Q的該圖像像素M(Xs^yj)的顏色信息。由此這相當(dāng)于相應(yīng)于對(duì)象的深度來(lái)移動(dòng)該對(duì)象，這通過(guò)用dXl，dx2，dx3和Ck4標(biāo)示的距離來(lái)表示。在此，立體地圖Z (x, y) 要這樣來(lái)理解，即小的值相應(yīng)于小的深度，接近1的值相應(yīng)于大的深度；背景中的對(duì)象在觀察位置變換的情況下比位于前景中的對(duì)象移動(dòng)的強(qiáng)度更小。
在此重要的是，只為相應(yīng)于所述組合規(guī)則而顯示的圖像像素bnUk，Yl)來(lái)確定針對(duì)視圖An的顏色信息。對(duì)于其余的所有圖像像素不確定顏色信息，因此這些其余的圖像像素在計(jì)算時(shí)不予考慮，因?yàn)椴恍枰鼈兊男畔?。因此?duì)于每個(gè)視圖An來(lái)說(shuō)總是只確定相應(yīng)于所述組合規(guī)則實(shí)際上也要顯示的那部分圖像像素bnUk，Yl)。
在圖5中示出用于針對(duì)基于全像素的顯示屏來(lái)確定組合圖像中的顏色信息的措施，在該顯示屏上僅顯示兩個(gè)視圖，一個(gè)是針對(duì)左眼的，一個(gè)是針對(duì)右眼的。每個(gè)全像素包含紅色(R)、綠色(G)和藍(lán)色(B)的顏色信息。針對(duì)左眼的視圖和針對(duì)右眼的視圖在圖5中用L和R標(biāo)示，視圖的總數(shù)因此是N=2。
在圖6中示出針對(duì)基于子像素的顯示屏的措施。在此，在相鄰的子像素上顯示不同的視圖。第一紅色子像素R1被分配了視圖1的顏色信息，用G1標(biāo)示的第一綠色子像素被分配了視圖2的顏色信息，依此類(lèi)推。每個(gè)顏色值都來(lái)自另一個(gè)視圖。
在圖7a和7b以及圖8中示出與圖6所示的狀況類(lèi)似的狀況。在圖6中以及在圖 4和圖5中所示出的立體地圖Z(x，y)作為二次可連續(xù)微分函數(shù)被插值出，也就是一次導(dǎo)數(shù)形成可連續(xù)微分的函數(shù)，而在圖7a中示出的立體地圖Z (x, y)相應(yīng)于階梯函數(shù)，其中每一個(gè)階梯相應(yīng)于深度值而在整個(gè)源像素上延伸；在圖7b和圖8中示出的立體地圖Z(x，y)相應(yīng)于在源像素的深度信息之間線性插值出的函數(shù)。
在圖7a，7b和在圖8中示例性地示出在一方源視圖和深度圖和另一方視圖An的尺寸不同的情況下可能的伸縮。在圖7a和圖7b中所示的狀況中，源視圖Q在橫向上只有視圖An的一半尺寸那么大，因此源視圖Q只有一半多的列。相應(yīng)地伸縮因子Sqx = 2。因此每個(gè)源像素分別被分配了兩個(gè)圖像像素。這導(dǎo)致顏色邊的明顯減少，該顏色邊在使用專(zhuān)用于3D顯示的濾波器的情況下會(huì)出現(xiàn)，例如在圖3a中所示的那樣。深度圖T一深度信息作為點(diǎn)繪制在相應(yīng)源像素區(qū)域的中心處一可以與源視圖Q關(guān)聯(lián)，使得深度圖和源視圖總是具有相同的尺寸，也就是說(shuō)如果源視圖Q被伸縮，則深度圖T的伸縮自動(dòng)進(jìn)行。深度圖T例如可以是在源像素的通常多維的矩陣中的另一個(gè)索引，從而向每一個(gè)源像素不僅分配顏色信息，例如由3個(gè)顏色值組成的顏色信息，而且同樣還分配深度信息或者還有其它信息。但是，深度圖T還可以與源視圖Q無(wú)關(guān)地使用，并且例如存儲(chǔ)在深度緩沖器中，從而可以獨(dú)立地操縱該深度圖并且稍后將該深度圖與源視圖Q關(guān)聯(lián)。
在圖8中與圖7相對(duì)示出相反的狀況，其中也就是源視圖Q具有比視圖An更高的分辨率，也就是恰好加倍那么高。這有利于提高深度掃描時(shí)的精度。如果例如源視圖Q的分辨率是視圖An的分辨率的三倍那么高，則可以向每一個(gè)子像素分配自己的深度值，因此提高深度確定時(shí)的精度。
深度印象還可以通過(guò)對(duì)深度圖T的單獨(dú)處理來(lái)改善，其中也就是深度信息被如下伸縮首先參照觀察位置Btl確定具有最大深度的平面和具有最小深度的平面。然后將這兩個(gè)平面相互靠近地移動(dòng)，并且確定這些平面之間的最小距離，在該距離時(shí)深度圖T的在前面的步驟中確定這些平面時(shí)位于這些平面上或者這些平面之間的深度信息還全部位于這些平面上或位于這些平面之間。只要在最大深度時(shí)深度信息已經(jīng)位于這些平面的一個(gè)平面上，則該平面一般不移動(dòng)。所述移動(dòng)總的來(lái)說(shuō)是迭代進(jìn)行的，從而所述最小距離在多個(gè)迭代步驟內(nèi)被找到。如果找到該最小距離，則依據(jù)該最小距離將深度信息一也就是深度值一伸縮到預(yù)定的新距離，使得一般可以最佳地利用所提供的3D深度空間。
在該方法的一種特殊變型中，具有最大深度的平面和/或具有最小深度的平面在第一步驟中借助對(duì)圖像內(nèi)容的評(píng)估來(lái)確定。例如，可以在位于前景信息一在計(jì)算機(jī)游戲中例如是賽車(chē)的駕駛員座艙、機(jī)車(chē)的操縱臺(tái)或飛機(jī)的駕駛員座艙一之間的區(qū)域中確定具有最小深度的平面，從而駕駛員座艙等位于該平面之前。由此所有位于該平面之前的點(diǎn)都具有共同的深度值，這與兩個(gè)平面的相互靠近的移動(dòng)無(wú)關(guān)。然后深度信息的伸縮僅針對(duì)位于看起來(lái)二維的駕駛員座艙等之外的深度信息進(jìn)行，從而對(duì)于觀察者或游戲玩家實(shí)際感興趣的區(qū)域來(lái)說(shuō)，可以通過(guò)對(duì)所提供的深度空間的最大利用來(lái)優(yōu)化三維空間視覺(jué)印象。
整個(gè)方法可以通過(guò)推動(dòng)器控制，該推動(dòng)器也能在圖形卡上實(shí)施。所述方法步驟可以很容易地在圖形卡上執(zhí)行。
在上面描述的方法中，用于產(chǎn)生組合圖像的主要代價(jià)不再取決于所使用的視圖的數(shù)量，而是僅還取決于所使用的顯示屏的分辨率。這使得可以使用很多的視圖，由此改善了三維空間視覺(jué)印象的質(zhì)量。
權(quán)利要求
1.一種用于基于場(chǎng)景的多個(gè)不同視圖々“在由圖像元素形成的光柵上對(duì)該場(chǎng)景進(jìn)行三維空間顯示的方法，其中n=0，…，N-I以及N彡2，N是視圖的總數(shù)，在該方法中-提供投影在具有橫坐標(biāo)χ和豎坐標(biāo)y的投影平面P (χ，y)中的源視圖Q，原始觀察位置Btl被分配給該源視圖Q，其中源視圖Q由源像素bq(Xi，yj)組成，其中j是行，j=l，-,J, 而i是列，i=l,…，I，以及在每個(gè)源像素bq(Xi，Yj)中存儲(chǔ)至少一個(gè)顏色信息，-提供涉及所述投影平面的深度圖T，原始觀察位置Btl同樣被分配給該深度圖，其中該深度圖由深度像素t (xp, yr)組成，其中r是行，r=l，…，R，而ρ是列，ρ=1，…，P，以及在每個(gè)深度像素t(Xp，yr)中存儲(chǔ)了至少一個(gè)深度信息，其中該深度信息相應(yīng)于離投影平面P (x，y) 的垂直距離，-將原始觀察位置Btl分配給第一視圖A°，并且通過(guò)水平移動(dòng)該原始觀察位置Btl而產(chǎn)生 N-I個(gè)另外的、成對(duì)地彼此不同的而且與其余視圖々" 對(duì)應(yīng)的觀察位置Bm，其中πι=1，···，Ν-1，-確定針對(duì)視圖An的圖像像素bn(xk，Yl)的顏色信息，其中1是行，1=1，···Λ，而k是列，k=l，-,K,-相應(yīng)于為了所述三維空間顯示而預(yù)定的組合規(guī)則將視圖An組合為一幅組合圖像，該組合圖像將顯示在由圖像元素形成的光柵上，其中每個(gè)視圖An中相應(yīng)于該組合規(guī)則僅顯示分配給相應(yīng)視圖An的圖像像素bnUk，Y1)的一部分，以及為這些視圖An預(yù)定傳播方向， 使得觀察者的左眼與觀察者的右眼察覺(jué)到對(duì)視圖An的不同選擇，由此產(chǎn)生三維空間的視覺(jué)印象，其特征在于，-在R Φ L和/或P Φ K以及由此深度圖T具有比視圖An更小或更大的分辨率的情況下，利用伸縮因子Stx = Κ/Ρ或STy = L/R對(duì)深度圖T進(jìn)行伸縮，-在J Φ L和/或I Φ K以及由此源視圖具有比視圖An更小或更大的分辨率的情況下，利用伸縮因子Sqx = Κ/Ι或SQy = L/J對(duì)源視圖進(jìn)行伸縮，-借助所述深度圖T產(chǎn)生源視圖Q的立體地圖Z (X，y)，其中Z(x，y)是在χ和y方面連續(xù)的函數(shù)，并且立體地圖Z (x，y)與源視圖Q關(guān)聯(lián)，-通過(guò)以下方式為視圖An的圖像像素bn(xk，Yl)確定顏色信息，即⑴沿著觀察方向從相應(yīng)的觀察位置Bn至所涉及的圖像像素bn(xk，Yl)產(chǎn)生射線并且該射線穿出該圖像像素地延長(zhǎng)到深度中，(ii)確定該射線與立體地圖Z(x，y)的最靠近觀察位置Bn的交點(diǎn)，(iii) 確定最靠近該交點(diǎn)的源像素『(χΛ y」)，以及(iv)向所涉及的圖像像素bn(xk，yi)分配源像素『(χΛ Yj)的顏色信息，-其中視圖An的顏色信息僅僅是針對(duì)將相應(yīng)于組合規(guī)則而顯示的圖像像素bn(xk，Yl) 而確定的。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像像素bn(xk，yi)是全像素，其中向每個(gè)全像素分配針對(duì)紅色、綠色和藍(lán)色的顏色信息。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像像素bn(xk，yi)是子像素，其中向每個(gè)子像素分配紅色、綠色或藍(lán)色中恰好一種顏色的顏色信息。
4.根據(jù)權(quán)利要求1至3之一所述的方法，其特征在于，根據(jù)以下步驟對(duì)深度圖T的深度信息進(jìn)行伸縮a)參照觀察位置Btl來(lái)確定具有最大深度的平面以及具有最小深度的平面，b)將兩個(gè)平面相互靠近地移動(dòng)并且確定兩個(gè)平面之間的最小距離，在該最小距離時(shí)深度圖的在步驟a)中確定這些平面時(shí)位于這些平面上或這些平面之間的深度信息還全部位于這些平面上或這些平面之間，c)依據(jù)該最小距離將深度信息伸縮到預(yù)定的標(biāo)準(zhǔn)距離。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在步驟a)中借助圖像內(nèi)容的評(píng)估來(lái)確定具有最大深度的平面和/或具有最小深度的平面。
6.根據(jù)權(quán)利要求1至5之一所述的方法，其特征在于，方法步驟的流程通過(guò)推動(dòng)器來(lái)控制，優(yōu)選通過(guò)在圖形卡上實(shí)施的推動(dòng)器來(lái)控制。
7.根據(jù)權(quán)利要求1至6之一所述的方法，其特征在于，方法步驟在圖形卡上執(zhí)行。
全文摘要
本發(fā)明涉及一種基于多個(gè)視圖在由圖像元素形成的光柵上對(duì)場(chǎng)景進(jìn)行三維空間顯示的方法，所述多個(gè)視圖相應(yīng)于組合規(guī)則而被組合成一幅組合圖像。該組合圖像僅包含從每個(gè)視圖中選擇出的部分或像素。為此預(yù)定傳播方向，該傳播方向使得觀察者可以在組合圖像中用左眼察覺(jué)到與用右眼不同的視圖選擇，這導(dǎo)致三維空間的視覺(jué)印象。基于其中每個(gè)像素都包含顏色信息和深度信息的原始視圖，產(chǎn)生其余的視圖，其中只確定屬于視圖的在組合圖像中顯示的圖像元素的顏色信息。顏色信息的確定借助立體地圖Z(x,y)進(jìn)行。
文檔編號(hào)H04N13/00GK102484728SQ201080019861
公開(kāi)日2012年5月30日 申請(qǐng)日期2010年5月6日 優(yōu)先權(quán)日2009年5月6日
發(fā)明者施密特 A. 申請(qǐng)人:3D國(guó)際歐洲有限責(zé)任公司