本申請(qǐng)是國際申請(qǐng)日為2011年04月01日，國際申請(qǐng)?zhí)枮閜ct/ep2011/055144，2012年12月03日進(jìn)入中國國家階段，中國申請(qǐng)?zhí)枮?01180027446.8，并于2016年08月04日獲得中國發(fā)明專利授權(quán)，名稱為“用于在全息系統(tǒng)中編碼包含透明物體的三維場景的方法和裝置”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

背景技術(shù)：

本發(fā)明涉及一種用于計(jì)算編碼包含透明物體的三維場景的物點(diǎn)值的方法。其進(jìn)一步涉及實(shí)施該方法的計(jì)算單元。

該方法能被應(yīng)用于全息顯示系統(tǒng)的計(jì)算機(jī)生成的全息圖的計(jì)算或全息圖(硬拷貝)的生成。它能進(jìn)一步與其它三維顯示系統(tǒng)(例如體顯示器)一起使用，其中物點(diǎn)能在空間中以交錯(cuò)方式單獨(dú)顯示。

總體上，本發(fā)明也能用于可見光譜范圍外的其它波長范圍。與其中始終有至少兩個(gè)天線發(fā)射相干輻射以使發(fā)射的電磁波能夠相互干擾的天線陣相結(jié)合，它能例如在射電望遠(yuǎn)鏡接收的宇宙輻射的空間分析的情況下用于模擬和重建電磁光譜。用于這種模擬或重建的光譜范圍不一定必須與待分析的光譜范圍相對(duì)應(yīng)，但是能通過轉(zhuǎn)化映射到前者上。

本發(fā)明能進(jìn)一步地應(yīng)用于電磁波譜外的其它媒介，例如，用于聲波。與其中始終有至少兩個(gè)發(fā)聲裝置能經(jīng)控制以發(fā)射相干波以使發(fā)射的聲波能相互干擾的發(fā)聲裝置陣列相結(jié)合，它可用于模擬和重建三維聲場，其中本發(fā)明不應(yīng)限于聽得見的聲音頻率范圍。聲場包括含具有吸聲屬性的物體的三維場景的空間和時(shí)間變化的聲音值。該方法和計(jì)算裝置也可以生成用于為不僅在小空間而且在大的環(huán)境中減少噪音的反相聲音。

該方法也可用于也可為非光學(xué)性質(zhì)的其他空間分布的顯示和分析。物理的三維分布和其他參數(shù)映射成透明度值、三維物體和光源(偽彩色成像)。其例如優(yōu)選可具體化和分析各種層析成像方法、3d超聲檢查或工件的機(jī)械應(yīng)力的分布。

根據(jù)本申請(qǐng)的全息顯示系統(tǒng)(在下文中也簡單地表示為全息系統(tǒng))是一種用于三維物體數(shù)據(jù)的顯示裝置，其中要呈現(xiàn)的場景的三維物體數(shù)據(jù)以待重建的場景的衍射圖的形式來編碼。特別地，衍射圖的計(jì)算將在這里稱之為編碼，許多這樣的編碼方法是已知的。

編碼可通過生成所有物點(diǎn)信息的集合全息圖來完成，然而，這會(huì)很容易引起大量的計(jì)算負(fù)荷，特別是用高分辨率顯示系統(tǒng)時(shí)。

根據(jù)另一方法，為最小化計(jì)算負(fù)荷，全息圖被分為相同尺寸的單獨(dú)的相鄰區(qū)域(全息素(hogel))。每個(gè)區(qū)域由此與所用的空間光調(diào)制器(spatiallightmodulator(slm))的相同數(shù)目的單元對(duì)應(yīng)。每個(gè)全息素?cái)y帶大量關(guān)于物點(diǎn)和大量關(guān)于衍射角(全息素向量)的信息。當(dāng)計(jì)算所述全息素時(shí)，由于預(yù)計(jì)算的衍射圖能從查閱表(lut)中找到，從而實(shí)現(xiàn)簡化。

或者，該計(jì)算能為各個(gè)物點(diǎn)以子全息圖的方式獨(dú)立地執(zhí)行。每個(gè)子全息圖僅被寫到用于重建的光學(xué)光調(diào)制器(或空間光調(diào)制器，slm)的調(diào)制器表面的子區(qū)域。各個(gè)子全息圖能基于物點(diǎn)的位置部分地或完全地在調(diào)制器表面重疊。如果全息圖僅為小的可見區(qū)域編碼，該方法能特別優(yōu)選地應(yīng)用，其中提供至少一種裝置用于將分配給一個(gè)觀察者眼睛的一個(gè)或多個(gè)可見區(qū)域跟蹤到一個(gè)或多個(gè)觀察者的觀察者眼睛的運(yùn)動(dòng)。申請(qǐng)人已例如在文件de10353439b4和文件wo2006/066919a1中描述了這樣的全息顯示裝置。該子全息圖與使期望物點(diǎn)用期望亮度或用期望亮度與顏色在期望距離處聚集到調(diào)制器表面的衍射透鏡(diffractionlenses)相對(duì)應(yīng)。凸透鏡的功能是用于在調(diào)制器表面的前面生成物點(diǎn)。凹透鏡的功能是用于在調(diào)制器表面的后面生成虛擬物點(diǎn)。位于調(diào)制器表面的物點(diǎn)直接生成。透鏡的功能也能預(yù)計(jì)算，且存儲(chǔ)在查閱表中。當(dāng)編碼衍射圖時(shí)，可以考慮附加參數(shù)，例如可以考慮所用的slm的調(diào)制器區(qū)域的轉(zhuǎn)化函數(shù)、光源及其他光路中的光學(xué)部件。這也包含旨在減少斑點(diǎn)的技術(shù)。

由于大多數(shù)顯示器中的各個(gè)像素呈現(xiàn)在二維slm表面上，像素化的2d圖像或包含至少兩個(gè)不同的2d圖像(3d顯示)的立體3d呈現(xiàn)能直接地展現(xiàn)在這些顯示器上，而不需要太多的必要調(diào)整努力。必要的調(diào)整主要涉及將要呈現(xiàn)的區(qū)域縮放到顯示面板的分辨率和為顯示板的分級(jí)進(jìn)行的亮度和顏色的調(diào)整。在3d顯示器中，基于所使用的方法，立體呈現(xiàn)的多個(gè)視圖必須在調(diào)制器表面時(shí)間地和/或空間地編碼。2d向量圖圖像在其被顯示之前必須轉(zhuǎn)化為光柵圖形圖像。

在三維場景能呈現(xiàn)在2d顯示器或3d顯示器之前，或其能為重建而在全息顯示器中編碼之前，視圖必須從用其屬性描述場景的物體的三維數(shù)據(jù)記錄中生成。這一過程也被稱為圖像合成或渲染。大量用于此的方法是已知的，其中場景描述的種類、視圖的期望質(zhì)量和實(shí)際生成這些視圖的方式不同。

例如，3dcad模型包括物體的幾何描述，其包含在三維坐標(biāo)系統(tǒng)中。此外，許多進(jìn)一步的物理屬性能被界定以描述物體的材料，包括例如不透明物體的反射率和發(fā)射率以及另外地透明物體的折射率和吸收率等光學(xué)屬性。對(duì)于同質(zhì)的物體，這些參數(shù)僅為邊界面界定是足夠的。一般地，這些屬性不僅能展示空間梯度，并且它們可依賴于一個(gè)或多個(gè)其他參數(shù)，例如波長和偏振。

數(shù)據(jù)也可以預(yù)先以體像素?cái)?shù)據(jù)的形式存在。例如在醫(yī)藥應(yīng)用通常是這樣的。當(dāng)3d場景生成時(shí)，它已經(jīng)被分割成單獨(dú)空間點(diǎn)或小的空間區(qū)域(體素)。

例如3d場景由結(jié)合深度圖的像素化的2d數(shù)據(jù)生成也是可能的。每個(gè)像素到參考面的距離在深度圖中存儲(chǔ)。這樣的數(shù)據(jù)格式例如用于應(yīng)當(dāng)在2d顯示器和另外的各種3d顯示裝置兩者上呈現(xiàn)的視頻數(shù)據(jù)。它促進(jìn)了一個(gè)場景的多個(gè)視圖的生成。然而必須提供額外數(shù)據(jù)以能夠考慮隱藏物體。

在圖像合成開始時(shí)，必須為在將要用于描述物體在場景中的位置的三維坐標(biāo)系中生成的每一個(gè)視圖選擇位置，所述位置與記錄場景的視圖的照相機(jī)(虛擬照相機(jī))的位置相對(duì)應(yīng)。進(jìn)一步地，必須界定用于圖像生成的slm的有源調(diào)制器表面的場景中的虛擬位置和虛擬尺寸。有源調(diào)制器表面的虛擬尺寸可不同于它的實(shí)際尺寸，例如，如果使用掃描排列或投影排列。虛擬照相機(jī)的位置界定觀察者眼睛察覺場景的位置和方向。該位置也能位于物體之間或物體中。虛擬照相機(jī)的性能(例如焦距和視角)確定哪個(gè)截面以多大虛擬放大倍數(shù)顯示。通過slm的虛擬區(qū)及其相對(duì)于虛擬照相機(jī)的位置確定視角。起源于虛擬照相機(jī)位置并貫穿slm的虛擬區(qū)的邊界的光線界定代表可見區(qū)域的空間。位于該錐體外的場景部分不能顯示。在2d顯示器中，為每一個(gè)觀察者眼睛生成同樣視圖，因此只可能是透視圖。通過為每一個(gè)觀察者眼睛同步移動(dòng)虛擬照相機(jī)，觀察者能在圖像序列中虛擬地穿過場景，而不必在顯示器前移動(dòng)身體。如果傳感器檢測(cè)到觀察者眼睛在顯示器前的移動(dòng)，則也可基于該信息控制虛擬照相機(jī)的移動(dòng)。在虛擬調(diào)制器表面和觀察者眼睛之間可布置進(jìn)一步的成像裝置。這些成像裝置可以包括在虛擬調(diào)制器表面區(qū)域中，和/或可以考慮到虛擬照相機(jī)的屬性中。

在全息顯示中，可以借助衍射圖生成真實(shí)的深度信息。這使得觀察者可能關(guān)注經(jīng)重建的場景的不同深度面，而不需要改變?cè)撝亟?。因此，在全息顯示的情況下，更合適的是虛擬觀察者位置，而不是虛擬照相機(jī)。

在進(jìn)一步圖像合成的過程中，確定場景的哪些部分位于可見區(qū)內(nèi)和哪些部分為實(shí)際可見，例如，哪些不會(huì)隱藏在該場景的其他部分后面。這可以是多階段計(jì)算過程，其中場景越復(fù)雜或期望呈現(xiàn)越現(xiàn)實(shí)，要付出的努力越大?；趫鼍爸械牟牧系膶傩院凸庠吹奈恢?，可考慮反射、衍射、折射和散射，其可進(jìn)而帶來進(jìn)一步的可見虛擬物體、表面或點(diǎn)，它們通過可見、隱藏和/或位于可見區(qū)外的場景部分生成。

可以考慮到物體(遮擋物)的材料屬性計(jì)算場景中表面的外觀。這包括例如將紋理成像到物體的表面(紋理映射)。因?yàn)閳D像合成是非常復(fù)雜的過程，所以在像素合成期間物體的外觀、表面和各個(gè)像點(diǎn)可改變多次。

如果場景包括結(jié)構(gòu)光源，那么可通過調(diào)整表面的外觀考慮它們的影響(照明、遮擋)，其中為了最小化計(jì)算負(fù)荷通常使用經(jīng)簡化的照明模型。表面的反射率通常用雙向反射分布函數(shù)(brdf)來計(jì)算。

通常使用遞歸射線追蹤方法(recursiveraytracingmethod)來生成場景的實(shí)際視圖。這意味著，由顯示器像素和虛擬照相機(jī)的位置界定的各個(gè)光線的路徑被反向追蹤。首先，該光線穿過射到的物體(hitobject)的非隱藏表面中的所有點(diǎn)通過他們到虛擬照相機(jī)的距離來確定和分類。然后，考慮所有涉及的可視點(diǎn)的外觀，生成綜合數(shù)據(jù)以描述要在相應(yīng)顯示器像素的位置處呈現(xiàn)的視點(diǎn)。當(dāng)生成該綜合數(shù)據(jù)時(shí)，一個(gè)接著一個(gè)地考慮所有涉及的透明點(diǎn)的透明度屬性，和不透明點(diǎn)(如果有的話)透明度屬性。例如，通過考慮確定透明度以及材料中光線覆蓋的光路長度的材料屬性，來確定透明度屬性。也可考慮這些材料屬性的光譜和空間分布。

us7,030,887b2中描述了這樣一種方法。通過采用儲(chǔ)存深度信息的多個(gè)深度緩存，將相互疊加的透明像素按照深度進(jìn)行分類。這使得可能找到最接近于不透明像素的像素。接著，相對(duì)于該不透明像素計(jì)算所述像素的透明度影響。然后，找出是否存在與之前的透明像素相鄰的透明像素。相對(duì)于已經(jīng)計(jì)算的透明度影響計(jì)算該像素的透明度影響。重復(fù)該過程，直到考慮了所有疊加的透明像素。該方法具有缺點(diǎn)，即，僅能為對(duì)應(yīng)于顯示面板上的像素的每個(gè)有關(guān)射線確定一個(gè)亮度值或一個(gè)亮度值與一個(gè)顏色值。

當(dāng)考慮房間中的聲學(xué)和幾何學(xué)屬性(聲場聽覺化模擬(auralisation))在房間中模擬聲場時(shí)存在類似的問題。這種模擬用于規(guī)避在幾何模型中的廣泛的測(cè)量。因而可測(cè)試不同位置的聲源、移動(dòng)、極性模式和響度以及房間聲學(xué)的相互關(guān)系。除了具有某一位置和形式，空間中的各個(gè)物體或聽覺場景的物體也顯示了波長特定的吸收和擴(kuò)散。在多階段過程中發(fā)現(xiàn)房間的聲學(xué)屬性，其中也使用遞歸的射線追蹤方法。再者，可以考慮例如，由反射、擴(kuò)散和偏轉(zhuǎn)引起的虛擬聲源。在虛擬聽者的位置處通過立體耳機(jī)典型地渲染經(jīng)計(jì)算的聽覺，其中必須為真實(shí)聽覺考慮頭部相關(guān)傳遞函數(shù)(hrtf)。在這里僅存在一個(gè)通過立體耳機(jī)渲染的聚合信號(hào)是個(gè)缺點(diǎn)。當(dāng)針對(duì)聽者的改變的位置再計(jì)算聽覺時(shí)，在虛擬空間中的巡回(roundtour)仍然是可能的，但是在頭部移動(dòng)之后不再計(jì)算聲音信號(hào)的真實(shí)聽覺是不可能的。

技術(shù)實(shí)現(xiàn)要素：

在全息顯示器或體顯示器中，當(dāng)呈現(xiàn)包括透明物體的三維場景時(shí)，根據(jù)本發(fā)明通過權(quán)利要求1中的方法特征克服了這些缺陷。對(duì)于聲學(xué)領(lǐng)域，根據(jù)本發(fā)明通過權(quán)利要求8中的方法特征克服了缺陷。

根據(jù)本發(fā)明，在包括權(quán)利要求10的特征的計(jì)算單元中可實(shí)施該創(chuàng)造性的方法。

本發(fā)明的進(jìn)一步優(yōu)選實(shí)施例和改進(jìn)界定在從屬權(quán)利要求中界定。

根據(jù)本發(fā)明的方法可特別地用于為至少一個(gè)觀察者眼睛為全息系統(tǒng)的空間光調(diào)制器(slm)計(jì)算全息編碼值，其中該全息系統(tǒng)用于三維場景的重建，該三維場景包括具有透明屬性的物體。該方法包括以下步驟：

a)將三維場景分成單個(gè)物點(diǎn)并檢測(cè)這些物點(diǎn)的坐標(biāo)。用這些坐標(biāo)，可執(zhí)行根據(jù)方法的d)步驟的分類，或者這些物點(diǎn)的坐標(biāo)可用于在全息編碼值的計(jì)算中的其它目的。

b)確定虛擬觀察者位置，該位置對(duì)應(yīng)于所選擇的明顯感知三維場景中的觀察者的眼睛的位置。

c)確定從虛擬觀察者的位置觀察沒有被其他物點(diǎn)所覆蓋的所有物點(diǎn)并且使其待編碼。

d)將所有可見物點(diǎn)按照待編碼的所有可見物點(diǎn)到虛擬觀察者位置的距離進(jìn)行分類，所述所有可見物點(diǎn)從虛擬觀察者位置在同一角度可看見。

e)確定每個(gè)可見物點(diǎn)的實(shí)際亮度，如果可能，考慮場景的所有真實(shí)和虛擬光源在那些物點(diǎn)的位置處從虛擬觀察者位置觀察它們的角度的位置和強(qiáng)度，其中可考慮包括真實(shí)和虛擬光源的物體的物理屬性。

f)對(duì)待編碼的每個(gè)可見物點(diǎn)，考慮到它在實(shí)際位置的實(shí)際亮度、到虛擬物點(diǎn)的距離和位于可見物點(diǎn)與虛擬觀察者位置之間的所有物體或物點(diǎn)的透明度屬性，確定通過其在虛擬觀察者位置感知物點(diǎn)的表觀亮度值。

g)用其各自的亮度值分別編碼每個(gè)物點(diǎn)，以使其以該亮度值在全息系統(tǒng)中在其位置盡可能遠(yuǎn)地重建，使得在它們各自位置處能獨(dú)立地感知不透明和透明物點(diǎn)。

應(yīng)該注意到，全息編碼值也被稱為全息圖數(shù)據(jù)或者簡單地稱為全息圖。

假如全息顯示器使用或配置為使用小的虛擬的觀察者窗口，例如在wo2006/066919a1中描述的全息系統(tǒng)，其中一個(gè)虛擬觀察者窗口對(duì)觀察者的每個(gè)眼睛可用，應(yīng)當(dāng)至少對(duì)虛擬觀察者窗口的每一個(gè)執(zhí)行全息編碼值的計(jì)算，在虛擬觀察者窗口中定位觀察者的眼睛。假如全息系統(tǒng)包括針對(duì)觀察者眼睛的實(shí)際位置的虛擬觀察者窗口的追蹤功能，如果已經(jīng)改變場景的內(nèi)容或虛擬觀察者窗口的位置，僅需要再計(jì)算物點(diǎn)的實(shí)際的和表觀亮度值。然而，如果全息編碼值的編碼適應(yīng)于虛擬觀察者窗口的新的位置，可考慮用于為觀察者眼睛的新位置對(duì)物點(diǎn)編碼的追蹤裝置的缺點(diǎn)和/或成像裝置以及光學(xué)光調(diào)制器的本地特征。

關(guān)于如上述提及的虛擬觀察者窗口，其也可稱為虛擬觀察窗口，應(yīng)當(dāng)注意的是不存在物理孔或物理框或相關(guān)其他光學(xué)元件。根據(jù)本發(fā)明的虛擬觀察者窗口是一個(gè)區(qū)域，在其中可看見將要通過全息系統(tǒng)重建的三維場景。因此，觀察者的眼睛位于或靠近虛擬觀察者窗口。

假如全息系統(tǒng)包括一大的虛擬觀察者窗口，分別為虛擬觀察者窗口內(nèi)的視圖的單一方向，對(duì)每個(gè)物點(diǎn)的實(shí)際和表觀亮度值執(zhí)行計(jì)算。通常地，如果視圖窗口具有圓形，則觀察者窗口具有直徑約10-20mm的尺寸。如果視圖窗口具有矩形，則虛擬觀察者窗口通常是邊長為10-20mm的矩形。然而，如果虛擬觀察者窗口具有大于常規(guī)尺寸的尺寸，則能以單角度片段(singleangularsegments)掃描大的虛擬觀察者窗口。在這樣的情況中為每個(gè)單角度片段執(zhí)行全息編碼值的計(jì)算。如果必要，用已知的內(nèi)插法能計(jì)算中間值或插入值。一旦已經(jīng)為每個(gè)角度片段執(zhí)行計(jì)算，則能分別地執(zhí)行編碼值的編碼。通過包含最大可能衍射角的光學(xué)光調(diào)制器的特征確定虛擬觀察者窗口的最大尺寸?；谔摂M觀察者窗口的最大尺寸，必要的增量從那生成了。負(fù)責(zé)與光學(xué)光調(diào)制器相互作用的光的衍射的有效結(jié)構(gòu)特征依賴于編碼的類型(例如，布克哈特編碼(burkhardt-encoding)，2-相位編碼(2-phase-encoding))以及依賴于光學(xué)光調(diào)制器的類型。復(fù)數(shù)個(gè)調(diào)制器單元或光學(xué)光調(diào)制器的像素被用于編碼復(fù)雜編碼值的振幅和相位值。這些復(fù)數(shù)個(gè)調(diào)制器單元界定光學(xué)光調(diào)制器的有效結(jié)構(gòu)尺寸和在那點(diǎn)的衍射。例如，執(zhí)行2-相位編碼(2-phase-encoding)，如此在被具體化為相位調(diào)制器的光學(xué)光調(diào)制器的兩個(gè)相鄰像素中編碼相位值。隨后，那兩個(gè)編碼相位值編碼復(fù)雜的編碼值。如果使用不具柵格或規(guī)則的衍射結(jié)構(gòu)(例如光學(xué)可尋址空間光調(diào)制器(oaslm))的光學(xué)光調(diào)制器，那么最小的有效結(jié)構(gòu)尺寸依賴于編程單元的編寫。

根據(jù)本發(fā)明的方法也能應(yīng)用于體顯示裝置。如果當(dāng)追蹤裝置追蹤觀察者的實(shí)際位置時(shí)，改變觀察通過體顯示技術(shù)正顯示的三維場景的觀察者的位置，那么其是尤其真實(shí)的。用這樣的顯示裝置，不可能在不同的方向編碼不同亮度值，像這樣用全息系統(tǒng)或全息顯示裝置是可能的，其中用不同衍射圖為視圖的不同或單個(gè)方向能編碼一個(gè)物點(diǎn)。

在全息系統(tǒng)中，由于為一區(qū)域內(nèi)或一光學(xué)光調(diào)制器的有限區(qū)域內(nèi)或光調(diào)制器的完整區(qū)域內(nèi)的一物點(diǎn)能生產(chǎn)單個(gè)物點(diǎn)的衍射圖，光學(xué)光調(diào)節(jié)器的有效柵格或衍射圖外的另一柵格或衍射圖能被使用。

根據(jù)本發(fā)明的方法能應(yīng)用于如三維無線電圖(計(jì)算機(jī)斷層攝影，crt)的生成、可視化和分析，其中材料(尤其是用于x射線的生物材料)的透明度和吸收特征中為了診斷的目的調(diào)查和顯示。

在大量的申請(qǐng)中，不僅通過亮度值或強(qiáng)度值描繪三維場景，而且三維場景的外觀也依賴于三維場景內(nèi)的單個(gè)元素或物體的發(fā)射、吸收和/或反射屬性。

在一優(yōu)選實(shí)施例中，考慮到每個(gè)待編碼的物點(diǎn)位置處的實(shí)際顏色值以及位于可見物點(diǎn)和虛擬觀察者之間所有物體和物點(diǎn)的透明度屬性，除表觀亮度值以外，針對(duì)每個(gè)待編碼的物點(diǎn)的表觀顏色值經(jīng)確定，具有該表觀顏色值的該物點(diǎn)可在虛擬觀察者位置處感知。用它的各自的顏色值分別編碼每個(gè)物點(diǎn)，以使其通過這顏色值在其實(shí)際或虛擬位置處盡可能遠(yuǎn)地在全息系統(tǒng)中重建，因此在它們各自位置處能分別地感知不透明和透明物點(diǎn)。

根據(jù)該實(shí)施例的方法能被適用于應(yīng)用顏色模型和應(yīng)用顏色深度，其中能編碼待重建的場景。通常用的顏色模型例如為能非常好地適應(yīng)于這地方的附加紅色、綠色、藍(lán)色模型(rgbcolourmodel)。用這些顏色模型，用發(fā)射或傳播光的三分之一的紅色、三分之一的綠色和三分之一的藍(lán)色子像素生成顏色。在分別呈現(xiàn)顏色紅、綠、藍(lán)的三個(gè)灰度值通道中存儲(chǔ)物點(diǎn)的亮度值和顏色值?；叶戎档淖畲罂赡艿臄?shù)值確定可能的顏色深度。通常，在進(jìn)一步的通道中存儲(chǔ)物點(diǎn)的透明特征，其也被稱為α通道。其他顏色模型例如使用為每個(gè)顏色(色相、飽和度和值(value)、hsv模型，或色相、飽和度和亮度、hsb模型)的顏色值、顏色飽和度和亮度值。進(jìn)一步地，還存在針對(duì)具體顯示裝置或格式經(jīng)適應(yīng)的顏色模型，例如用于電視格式的ntsc或pal的yuv模型。特別地，在工作于反射模型中的印刷技術(shù)或光調(diào)制器，使用減色模型。因此例子是藍(lán)綠色、洋紅色、黃色模型或藍(lán)綠色、洋紅色、鍵(cmyk)，其中鍵代表黑色部分。這樣的模型適應(yīng)于使用印刷技術(shù)的硬拷貝全息圖(hard-copy-hologram)的生成。

由于反射、緩解或散射可被虛擬地生成的附加的虛擬物點(diǎn)經(jīng)計(jì)算，其是在至少一個(gè)虛擬或真實(shí)的光源的光和將要重建的三維場景的物體的物點(diǎn)之間的相互作用的結(jié)果。能考慮物體的光學(xué)屬性和虛擬或真實(shí)光源。為那些像真實(shí)物點(diǎn)的虛擬物點(diǎn)，計(jì)算在虛擬觀察者的位置處的表觀亮度值或表觀亮度及顏色值。用他們的各自的值分別地編碼他們。

真實(shí)的光源是在待重建的三維場景中顯然地生成方向性光的光源。虛擬光源可例如通過在物體的表面由真實(shí)的光源生成的光的反射而被應(yīng)用。這樣的虛擬光源能生成進(jìn)一步的虛擬光源，例如通過多次反射。當(dāng)也應(yīng)用計(jì)算全息編碼值的該方法時(shí)，多次反射能被考慮到。這樣的多次反射通常需要用于圖像合成的多個(gè)階段過程。

在一優(yōu)選實(shí)施例中，該物點(diǎn)的位置相對(duì)于虛擬觀察者位置經(jīng)修正，如果必要，由于定位在虛擬觀察者位置和待修正的物點(diǎn)之間的物體或物點(diǎn)處的光學(xué)屬性(例如反射、折射或衍射)。為那些修正的位置而計(jì)算表觀亮度值或表觀亮度和顏色值?？梢杂酶髯缘闹捣謩e編碼該物點(diǎn)。

這能應(yīng)用于包括具有反射表面的物體(例如鏡子)(對(duì)復(fù)雜的物體，例如玻璃缸)的三維場景；其中為了可視化在這樣的玻璃缸中的物點(diǎn)(例如魚或石頭)的正確位置，必須要應(yīng)用折射定律。

對(duì)本領(lǐng)域技術(shù)人員，能在不包括透明物體的三維場景中執(zhí)行與虛擬觀察者的位置相關(guān)聯(lián)的物點(diǎn)的位置的修正是顯然的。因此，根據(jù)本發(fā)明的方法能以這種方式被修改，以忽略關(guān)于(在特殊情況下)不存在于待重建的三維場景中的透明物體的方法步驟。

通過考慮位于物點(diǎn)和虛擬觀察者位置之間的物體或物點(diǎn)的空間透明度分布，計(jì)算在虛擬觀察者位置處物點(diǎn)的表觀亮度值或表觀亮度和顏色值。他們的光譜相關(guān)性能被考慮。

三維場景的物體能包括一元相對(duì)透明度值τ。這個(gè)透明度值是來自材料的透明度t和厚度d的商。因此物體的透明度取決于在物體中沿著其傳播的光路的長度。通常，物體的透明度值τ能是來自位置(亮度函數(shù))或亮度和顏色的函數(shù)(顏色函數(shù))的函數(shù)。能通過(在物體內(nèi)光沿著光路傳播)相對(duì)透明度值分布τ上的空間依賴項(xiàng)的集成計(jì)算透明度t。如果物體包括折射指數(shù)的空間分布，則這光路能是非線性的。

假如透明物體包括散射特征，例如漫射屏或磨砂玻璃，僅僅直接穿過該散射物體的光確定位于最向前物點(diǎn)的后面的物點(diǎn)的表觀亮度或表觀亮度和表觀顏色。散射光促成這樣的物體的表觀亮度。這樣的物體也被稱為半透明物體。

優(yōu)選地，在隨機(jī)方法和位于物點(diǎn)和虛擬觀察者的位置之間的透明和/或反射和/或漫射和/或衍射和/或折射的物體或物點(diǎn)的吸收、散射、反射和衍射的概率的幫助下，計(jì)算在虛擬觀察者的位置處的物點(diǎn)的表觀亮度值或表觀亮度和顏色值。他們的光譜相關(guān)性被考慮。

如果用隨機(jī)方法(例如蒙特卡羅法(monte-carlo-method))的幫助執(zhí)行進(jìn)一步的部分圖像合成，這是特別有幫助的。沒有通過回歸系數(shù)描述例如吸收、反射、衍射或散射等物理效應(yīng)，而是通過來自應(yīng)用隨機(jī)方法時(shí)的這些物理效應(yīng)的概率來描述。例如，能追蹤或注意穿過三維場景的多個(gè)單光子的光路。能通過真實(shí)光源同時(shí)考慮這些光子的輻射的概率生成這些光子。如果需要考慮這些參數(shù)，隨機(jī)數(shù)能確定這些光源的輻射特征，例如發(fā)射光子中的位置、光輻射的方向、波長以及，如果必要的話，正在發(fā)射光的偏振和其他光子或光波的輻射的相位關(guān)系。借助于均勻分布的隨機(jī)數(shù)可以在每個(gè)光學(xué)界面確定是否反射、折射、衍射、散射或吸收光子。通常在0和1之間的間隔中測(cè)量均勻分布的隨機(jī)數(shù)。能基于關(guān)于吸收、傳播、散射、反射和/或衍射概率的概率做出這樣一個(gè)決定，其中能考慮來自像波長或偏振的物理參數(shù)相關(guān)性。可例如考慮與雙折射材料或材料的波長依賴性的透明度分布相關(guān)聯(lián)發(fā)生的偏振的效果。所有通過發(fā)射直接產(chǎn)自物點(diǎn)的光子或者在物體的表面處向虛擬觀察者窗口的方向通過漫反射發(fā)送的光子能夠被計(jì)算，以及這些確定在對(duì)于所有生成的光子的總數(shù)量適當(dāng)測(cè)量之后物點(diǎn)的實(shí)際亮度或?qū)嶋H亮度和顏色。到達(dá)虛擬觀察者窗口的這些光子的數(shù)值也被計(jì)算，并且在測(cè)量后這些數(shù)值確定這物點(diǎn)的表觀亮度。

作為穿越媒介的強(qiáng)度比率或者在簡單化模型中物體的表面的強(qiáng)度與入射的強(qiáng)度的比例的透射的級(jí)別或透光率t可以例如被解釋為透射概率。當(dāng)入射的光子進(jìn)入媒介或物體時(shí)，生成規(guī)格化隨機(jī)數(shù)z(normalizedrandomnumberz)。如果z小于或等于t，那么光子穿越媒介或通過物體的表面。假如z大于t，光子被吸收并不會(huì)導(dǎo)致表觀亮度。

應(yīng)用更復(fù)雜的模型是可能的，其中例如可考慮物體表面上的反射。如果光子入射到表面或光學(xué)界面上，生成新的隨機(jī)數(shù)值并且反射r的概率是否發(fā)生取決于這隨機(jī)數(shù)值。假如反射發(fā)生，光子根據(jù)反射定律改變它的傳播的方向。假如發(fā)生散射或者漫反射，借助于一組另外隨機(jī)數(shù)值能確定光子的新的傳播方向。例如從物體的反射分布能確定光子偏轉(zhuǎn)的概率。假如不發(fā)生反射，分配給光子的吸收概率的另一隨機(jī)數(shù)被確定，取決于這進(jìn)一步的隨機(jī)數(shù)、該光子從媒介或者物體被吸收、或者該光子繼續(xù)傳播到物體的出口界面。在物體的出口界面處，如果反射在出口界面/光學(xué)界面上發(fā)生或者如果光子穿越，它能被檢查。直接的反射光在這樣的情況下生成虛擬物點(diǎn)，其位置能通過追溯(backtracing)反射方向或考慮入射的原始方向來確定。僅僅需要考慮那些虛擬物點(diǎn)，光子能從該虛擬物點(diǎn)傳播到虛擬觀察者窗口，也就是其表觀亮度值不是0或者其位置不在重建范圍之外。假如這樣的位置位于重建范圍之外，那么在延伸穿過將要重建的重建范圍的邊界射線的交點(diǎn)的區(qū)域中生成虛擬物點(diǎn)是可能的，其然而可能導(dǎo)致透視變形。當(dāng)然對(duì)位于重建范圍之外的真實(shí)物點(diǎn)這也是可能的。這些物點(diǎn)從而被投射或被成像到重建范圍的背景上。假如在途中光子被折射，這導(dǎo)致相應(yīng)的物點(diǎn)的顯然不同位置。通過追溯折射光束的或者光子傳播的路徑也能確定物點(diǎn)的新位置。通常地，為物點(diǎn)的實(shí)際亮度，僅僅考慮從物點(diǎn)朝虛擬觀察者位置的方向通過發(fā)射(透明光源)生成的光子，或者在媒介或物體表面處朝虛擬觀察者位置的方向以分散的方式反射的光子。如果無其他物體或者媒介位于在這樣的物點(diǎn)和虛擬觀察者位置之間，那么接近虛擬觀察者位置的光子的數(shù)值代表這樣的物點(diǎn)的表觀亮度。

可能的是，透明物點(diǎn)能以如不透明物點(diǎn)的同樣的方式生成虛擬物點(diǎn)。

通過物體中光的散射或者衍射也能影響透明物體的表觀亮度。當(dāng)考慮透明物體時(shí)，優(yōu)選以類似于根據(jù)本發(fā)明的方法考慮這些效果。

可能還有一些情況，其中這樣的隨機(jī)方法的應(yīng)用需要大量計(jì)算時(shí)間和大量的計(jì)算內(nèi)存，尤其如果待重建的三維場景包括必須計(jì)算的高分辨率和大量光子。這樣的隨機(jī)方法因此不能被實(shí)時(shí)執(zhí)行。然而，即使具有錯(cuò)綜復(fù)雜的的場景，簡單的算法還是能被應(yīng)用，并且光子的計(jì)算能通過并行處理被執(zhí)行。因此，如果必須執(zhí)行靜態(tài)場景或者全息視頻，這樣的方法能被特別地應(yīng)用。所以對(duì)硬拷貝的生成或原版的生成也是一樣的。

在一優(yōu)選的實(shí)施例中，為了提高或者減少那個(gè)點(diǎn)的可見性，以放大或減弱的形式在單個(gè)物點(diǎn)的表觀亮度值或者表觀亮度和顏色值的計(jì)算中，考慮位于物點(diǎn)和虛擬觀察者位置之間的至少一個(gè)單物體的至少一個(gè)透明度值。

場景的地區(qū)或者區(qū)域被重建是可能的，該場景的地區(qū)或區(qū)域包括與該場景的這地區(qū)或區(qū)域的自然表觀相比不同的表觀亮度和/或不同的表觀顏色。所以可能的是，能夠在其表觀方面放大或者減弱或者抑制和/或改變這區(qū)域的可見性。因此，根據(jù)本發(fā)明的方法能夠?qū)嵤┧惴?，其使得待改變或控制的場景地區(qū)的表觀能夠被臨時(shí)存儲(chǔ)(如在計(jì)算機(jī)內(nèi)存中)，這樣僅僅改變了該場景的經(jīng)改變地區(qū)而不需要對(duì)場景的完全重新計(jì)算。假如，如例如在wo2006/066919a1中公開那樣，根據(jù)本發(fā)明的方法應(yīng)用子全息圖以計(jì)算全息編碼值，那么在操作之前，當(dāng)生成子全息圖的總和時(shí)，僅場景的各自區(qū)域的物點(diǎn)的子全息圖能被減去，在操作之后，經(jīng)改變的物點(diǎn)的子全息圖能添加到子全息圖的總和上。操作的控制能例如由于與至少一個(gè)觀察者相互作用而被執(zhí)行。為了強(qiáng)調(diào)在醫(yī)學(xué)應(yīng)用中的器官的可視范圍內(nèi)的病變區(qū)域，可通過改變例如場景區(qū)域或單物體的透明特征從而改變待重建的三維場景的單區(qū)域的表觀的操作。

在本發(fā)明的另一方面，本發(fā)明的方法能被應(yīng)用于計(jì)算將要用于與聲音重放系統(tǒng)關(guān)聯(lián)的編碼值。該聲音重放系統(tǒng)包括至少兩個(gè)聲音生成裝置以及該至少兩個(gè)聲音生成裝置用于用于包含三維場景的空間和時(shí)間的不同的聲音值的三維聲場的重建。該三維場景包括具有聲音吸收屬性的物體。三維聲場經(jīng)重建以被至少一個(gè)聽者的耳朵感知。該方法包括以下步驟：

h)該三維場景被分成單個(gè)物點(diǎn)。單個(gè)物點(diǎn)能夠影響聲音。確定這些物點(diǎn)的坐標(biāo)。

i)確定虛擬聽者的位置，其與經(jīng)選擇的聽者的耳朵的位置相對(duì)應(yīng)，其中聽覺上明顯感知三維場景。

j)在虛擬聽者的位置的方向，確定沒有被其他充分吸收聲音的物點(diǎn)充分覆蓋的所有物點(diǎn)。

k)位于來自虛擬聽者的位置方向的所有物點(diǎn)通過他們到虛擬聽者的位置的距離分類。

l)確定在能影響聲音的每個(gè)物點(diǎn)的位置處的實(shí)際響度、音高和聲音傳送時(shí)間，如果可能的話，在那些物點(diǎn)的位置處，以從虛擬聽者的位置感知他們的所述角度，考慮場景所有實(shí)際和虛擬的聲源的位置和強(qiáng)度，其中包含實(shí)際和虛擬聲源的物體的物理屬性能被考慮。

m)針對(duì)能影響聲音的每個(gè)物點(diǎn)，通過考慮能影響聲音的物點(diǎn)的位置處的實(shí)際響度、音高和聲音傳送時(shí)間、至虛擬聽者的位置的距離以及位于物點(diǎn)和虛擬聽者的位置之間的所有物體或物點(diǎn)的吸收屬性確定表觀響度、音高和聲音傳送時(shí)間，該聲音通過所述表觀響度、音高和聲音傳送時(shí)間在虛擬聽者位置處被感知。

n)分別編碼包括響度、音高和聲音傳送時(shí)間的每個(gè)聲音值，如此，在虛擬聽者的位置處，能用這樣的表觀響度值、音高和聲音傳送時(shí)間感知具有所述聲音重放系統(tǒng)的重建。

位于聲源和聽者的耳朵之間的場景的吸音物體減小聲音的響度，導(dǎo)致在觀察者的耳朵的位置處的感知比聲源或聲源的實(shí)際處更安靜。反射聲音的面或物體能生成附加的虛擬聲源。在聽者的耳朵處，與直接到達(dá)的這聲源的聲音(即沒有反射)相比，如此正在被反射的聲音能稍后到達(dá)(即在不同階段或者不同聲音傳送時(shí)間或方向下)，因此導(dǎo)致大廳或回聲效應(yīng)。通過聲音吸收媒介中的聲速影響這聲音的相位延遲或者聲音傳送時(shí)間。能振蕩或振動(dòng)的場景物體能通過附帶的聲音引起振蕩或振動(dòng)，因此導(dǎo)致虛擬聲源。

在根據(jù)本發(fā)明的一優(yōu)選實(shí)施例中，為了聲音的真實(shí)感知，為觀察者的左耳和右耳，分別計(jì)算和編碼部分聲音。

對(duì)三維場景，用單個(gè)聲音生成裝置的場的幫助，能執(zhí)行經(jīng)編碼的聲音分布的重建，其中該場構(gòu)成相當(dāng)高的分辨率，其中根據(jù)他們的相位關(guān)系，單個(gè)聲音生成裝置應(yīng)當(dāng)被同步地控制。此外，單個(gè)聲音生成裝置應(yīng)當(dāng)包括關(guān)于它能生成的聲音的高的頻譜。能分別地考慮每個(gè)或者至少一個(gè)聲音生成裝置的聲音生成特征和聲音重放系統(tǒng)以及范圍(volume)的聲音特征，其中當(dāng)為聲音生成裝置執(zhí)行編碼值的計(jì)算時(shí)，聲音被生成。

因此，關(guān)于光學(xué)感知(即三維場景的表觀亮度或者表觀亮度和顏色值)，特別優(yōu)選地將三維場景的計(jì)算和編碼和重建相結(jié)合，例如在權(quán)利要求1-7中描述了這些。除此之外，在同一時(shí)間，計(jì)算、編碼和/或重建這樣的三維場景的聲音的重建。換言之，除根據(jù)權(quán)利要求1-7中任意一個(gè)權(quán)利要求中的計(jì)算和編碼表觀亮度或表觀亮度和顏色值之外，還根據(jù)權(quán)利要求8計(jì)算和編碼虛擬響度、音高和聲音傳送時(shí)間。

全息系統(tǒng)(例如全息投影裝置)和聲音生成裝置的場或排列被使用。例如可能的是，在觀察者能移動(dòng)的范圍中生成虛擬場景。根據(jù)他在該范圍內(nèi)的移動(dòng)追蹤該重建或者為觀察者的整個(gè)移動(dòng)空間而計(jì)算和重建該場景，這樣觀察者能真實(shí)地看見和聽見來自范圍內(nèi)的每個(gè)位置的三維場景。

當(dāng)確定實(shí)際的或表觀的亮度值，或者實(shí)際的或表觀的顏色值，和/或?qū)嶋H的或表觀的響度值、音高和聲音傳送時(shí)間時(shí)，根據(jù)本發(fā)明的方法，其不限于射線追蹤或射線計(jì)算。執(zhí)行這方法的分析也能包括考慮光的波動(dòng)特征或者有限單元法(fem)的方法。例如用三維場景物理過程的模擬，例如溫度分布或機(jī)械拉力或機(jī)械應(yīng)力的分布，有限元素法的方法能有利地被應(yīng)用，其中，在虛色可視化(falsecolourvisualization)方面執(zhí)行三維分布的重建。

為了執(zhí)行根據(jù)權(quán)利要求1-9中任一權(quán)利要求所述的方法，計(jì)算單元能改變以最佳的方式執(zhí)行單個(gè)方法步驟。因此，根據(jù)本發(fā)明，為三維場景的重建，分別地提供光學(xué)光調(diào)制器(slm)和/或全息系統(tǒng)的聲音生成裝置和/或聲音重放系統(tǒng)的計(jì)算編碼值的計(jì)算單元。三維場景包括具有透明光學(xué)屬性和/或具有聲音吸收屬性的物體，并且為至少一個(gè)觀察者的眼睛和/或至少一個(gè)聽者的耳朵重建。該計(jì)算單元執(zhí)行權(quán)利要求1-9中任一所述的方法。

這樣的計(jì)算單元能包括至少一個(gè)可編程處理器核心(programmableprocessorcore)，和/或任何類型的至少一個(gè)可編程邏輯裝置(pld)，和/或至少一個(gè)專用集成電路(asic)，和/或至少一個(gè)數(shù)字信號(hào)處理器(dsp)。至少兩個(gè)這樣的裝置能結(jié)合在一個(gè)集成電路中。

該計(jì)算單元能進(jìn)一步地包括部件，像例如存儲(chǔ)程序代碼和/或數(shù)據(jù)的裝置、電源(powersupply)、控制與使操作狀態(tài)和/或計(jì)算結(jié)果可視化的裝置。

計(jì)算單元可以是顯示三維場景的重建的系統(tǒng)控制器的一部分，例如全息顯示器、全息3d電視裝置(holographic3d-tv-device)、3d游戲裝置(3d-gaming-device)、全息數(shù)據(jù)的可視化/重建的移動(dòng)裝置和/或重建三維聲音分布/聲場的裝置。該計(jì)算單元能以單獨(dú)的單元被提供，該單獨(dú)的單元連接在電子計(jì)算裝置或另一接收和/或生成和/或3d場景儲(chǔ)存的裝置和全息顯示裝置和/或回放三維聲場的系統(tǒng)之間。

計(jì)算單元可以是能用于三維場景的計(jì)算的通用計(jì)算系統(tǒng)(generalcomputingsystem)的一部分。

計(jì)算單元能包括部分不同技術(shù)，例如用光學(xué)方法(例如基于電子執(zhí)行的計(jì)算的量子計(jì)算機(jī)和計(jì)算機(jī)單元)操作的計(jì)算單元。特別有利的是，如果這樣的計(jì)算單元包括大量能操作并行處理的裝置的計(jì)算單位。

附圖說明

為了完全地理解本發(fā)明的目的、技術(shù)和結(jié)構(gòu)，應(yīng)當(dāng)參考下面的詳細(xì)說明和附圖，其中：

圖1(a)顯示了3d立體攝影術(shù)和自然觀看/全息術(shù)之間的差異；

圖1(b)顯示了傳統(tǒng)的全息術(shù)的原理；

圖2(a)顯示通過使用傳統(tǒng)方法生成的大觀看區(qū)域；

圖2(b)顯示了通過使用子全息圖產(chǎn)生的觀看區(qū)域；

圖3顯示了作為通過使用子全息圖減小了的觀看區(qū)域的觀看窗口；

圖4顯示了我們的全息處理流程的總體概況；

圖5顯示了相機(jī)設(shè)置和生成的重建的示意圖；

圖6(a)為這樣的圖：其用于解釋設(shè)置于沿著一個(gè)單一的眼睛---顯示器---光線的不同深度的多個(gè)景點(diǎn)的重建；

圖6(b)為這樣的圖：其用于解釋在一個(gè)例示性的場景，其具有在全息圖平面的相同位置，但通過使用多個(gè)內(nèi)容數(shù)據(jù)層而具有不同深度的多個(gè)3d景點(diǎn)；

圖7顯示了視頻框架的典型的布局例子；

圖8顯示基于gpu的處理流程的概況；

圖9顯示基于fpga的處理流程的概況；

圖10顯示了不透明物體和透明物體在現(xiàn)實(shí)生活/自然中的情形；

圖11為這樣的圖：其用于解釋根據(jù)本發(fā)明計(jì)算/生成三維場景的重建；

圖12顯示了包括不透明和透明物體的簡單三維場景的視圖的原理介紹。

發(fā)明詳述

附圖12顯示了包括不透明和透明物體的簡單三維場景的視圖的原理介紹。

應(yīng)當(dāng)用全息系統(tǒng)或者全息顯示裝置(圖中未示)重建的三維場景包括不透明物體200和透明物體300。兩個(gè)物體200和300能被分成多個(gè)單個(gè)物點(diǎn)(圖12中未示)。漫射的白色光源(圖中未示)從各個(gè)方向照射三維場景。在圖12中，示意性地顯示了光源的光線101到110。針對(duì)觀察者的眼睛400，重建三維場景。場景內(nèi)的位置(虛擬觀察者的眼睛400從該位置明顯感知三維場景)，經(jīng)確定為虛擬觀察者的位置，也用引用數(shù)字400表示。被定位在與虛擬觀察者的位置400相關(guān)的物體200的轉(zhuǎn)移側(cè)(即，從虛擬觀察者的位置400觀看，物體200的后方)的物點(diǎn)無助于物體200的可視化，因而無需被計(jì)算或者編碼。如圖12中顯示的簡單場景不包括具有反射面的物體，并且該場景也不包括具有平行光(directionallight)發(fā)射特征的光源。因此，在場景中沒有虛擬物體或虛擬光源。因?yàn)榫哂邪咨獾娜S場景的漫射照明，所以物體200、300可由位于他們的實(shí)際位置的觀察者，根據(jù)與物體200、300的材料特征相關(guān)的他們的顏色值而感知。在圖12的該例子中，物體200包括黃色。通過物體200吸收白色光的光強(qiáng)度的藍(lán)色部分。在全部方向上，完全地發(fā)射白色光的紅色和綠色。在虛擬觀察者的位置400處用它的實(shí)際強(qiáng)度510(iao＝iao_r+iao_gr)用紅色將感知不透明物體200的可見物點(diǎn)，如果在三維場景內(nèi)沒有透明物體300。iao_r和iao_gr是來自從不透明物體200的物點(diǎn)至虛擬觀察者位置400的直射光的表觀強(qiáng)度或?qū)嶋H顏色值。藍(lán)色iao_b的強(qiáng)度部分或顏色值等于0。從漫射照明的亮度，實(shí)際強(qiáng)度的絕對(duì)值也被確定。在圖12的三維場景中出現(xiàn)的透明物體300，對(duì)紅色和藍(lán)色光分別地包括tr＝0,5和tb＝0,5的透明度。透明物體300完全地吸收綠色光的強(qiáng)度部分，即，綠色光的透明度為藍(lán)色光的tgr＝0.50％和透明物體300吸收紅色光的50％，并且藍(lán)色光和紅色光的50％被傳送。在虛擬觀察者的位置400處的不透明物體200的物點(diǎn)可在表觀強(qiáng)度iso520下被感知，iso520因此是iso＝tr*iao_r+tgr*iao_gr+tb*iao_b＝0,5*iao_r。在圖12的實(shí)例中，在虛擬位置400處用具有紅色強(qiáng)度部分的一半的強(qiáng)度的紅色感知不透明物體200的觀察物點(diǎn)。在三維場景的全息重建中用這種強(qiáng)度值計(jì)算和編碼該物點(diǎn)。

透明物體300的物點(diǎn)包括如從虛擬觀察者的位置400的方向看見的紫色。用漫射的白色光源的紅、綠、藍(lán)光的三個(gè)強(qiáng)度部分ir,igr和ib能計(jì)算實(shí)際強(qiáng)度iat530，iat＝0,5*ir+0,0*igr+0,5*ib。沒有進(jìn)一步的透明物體位于透明物體300和虛擬觀察者的位置400之間(iat＝ist)。因此，透明物體300的實(shí)際亮度也是表觀亮度。當(dāng)重建三維場景時(shí)，用這些亮度值計(jì)算和編碼透明物體300的物點(diǎn)。在附圖12的這簡單實(shí)例中，沒有考慮在物體的光學(xué)界面上的反射。此外，已經(jīng)忽略了依賴于媒介內(nèi)的光路的透明度的變化。

注意的是不透明物點(diǎn)也影響位于虛擬觀察者的位置方向上的透明物點(diǎn)的實(shí)際和表觀的亮度和/或?qū)嶋H和表觀的顏色，因?yàn)檫@樣的不透明物體能遮檔或覆蓋場景中的光源的光線。

執(zhí)行圖像合成時(shí)，越能考慮精確的物理效應(yīng)，就越能生成三維場景的真實(shí)視圖。

特別地，為了能夠獲得待重建的三維場景的三維感知，針對(duì)觀察者的所有眼睛的不同的視圖被生成。假如同時(shí)在一大的視角下觀看經(jīng)重建的全息圖，例如硬拷貝，那么針對(duì)不同虛擬觀察者的位置的大量這樣的視圖被計(jì)算，其中針對(duì)中間位置，從相鄰視圖的視圖處插入視圖是可能的。在這樣做時(shí)，用虛擬觀察者的位置(多重全息)能改變?nèi)S場景的內(nèi)容是可能的。單個(gè)視圖的計(jì)算能以連續(xù)方式和/或優(yōu)選以并行方式執(zhí)行。對(duì)于觀察者的單個(gè)眼睛，虛擬觀察者的位置能與觀察者的移動(dòng)相適應(yīng)，假如觀察者的位置改變。

因?yàn)榉謩e地編碼不透明物體200和透明物體300的可見物點(diǎn)，因此可能的是，由于當(dāng)看到三維場景的物體時(shí)，在眼睛的會(huì)聚和調(diào)節(jié)之間沒有存在錯(cuò)配，所以觀察者能夠用他的眼睛分別地聚焦到每個(gè)單物體200、300上，并且因此幾乎沒有視疲勞地觀察重建的三維場景。因此可能的是，觀察者能用他的自然的眼睛移動(dòng)而沒有扭曲地觀察經(jīng)重建的三維場景。

當(dāng)根據(jù)本發(fā)明執(zhí)行三維場景的計(jì)算時(shí)，公知的程序庫能被用于計(jì)算這樣的場景。這種程序庫是，例如開放圖形庫(opengl)、3d圖形函數(shù)庫(direct3d)或者xna框架(xna-framework)。用已知的數(shù)學(xué)方法是可能的，例如訪問查看表(lut)的預(yù)計(jì)算值或者插入中間值。

盡管結(jié)合具體實(shí)施例已經(jīng)描述了本發(fā)明，但是理解的是，鑒于上述描述，許多替代、修改以及變化的方案對(duì)所屬領(lǐng)域的技術(shù)人員將是明顯的。因此，本發(fā)明旨在包括屬于從屬權(quán)利要求的范圍的所有這些替代、修改以及變化。

附錄

為了進(jìn)一步公開關(guān)于上述本發(fā)明的信息提供下面的內(nèi)容。要強(qiáng)調(diào)的是：即使該信息可能僅提供在該附錄中而不在上面的說明書中，但是該附錄構(gòu)成本申請(qǐng)的一部分。

實(shí)時(shí)全息顯示的內(nèi)容的生成、編碼以及呈現(xiàn)

討論的是驅(qū)動(dòng)全息顯示器的方案。該全息顯示器具有通過使用視瑞爾(seereal)公司的子全息圖技術(shù)(sub-hologram-technology)并結(jié)合現(xiàn)成硬件實(shí)時(shí)編碼的交互式或視頻內(nèi)容。介紹為了從內(nèi)容方面和全息術(shù)方面正確生成包含關(guān)于全息圖的透明度的方面的復(fù)雜內(nèi)容的指南。傳統(tǒng)的生成經(jīng)計(jì)算機(jī)生成的全息圖的方法與我們的使用子全息圖方案進(jìn)行比較討論，以快速降低計(jì)算功率。最終，我們20英寸的直觀的全息原型的該計(jì)算平臺(tái)和說明將介紹。

1.引言

由于計(jì)算功率的大量消耗，傳統(tǒng)的生成計(jì)算機(jī)生成的全息圖(cghs)的方法不是很好地適用于交互應(yīng)用。所以，使用它們，僅靜態(tài)圖像或預(yù)計(jì)算的視頻已經(jīng)經(jīng)執(zhí)行。為了實(shí)現(xiàn)3d全息術(shù)的所述鍵的優(yōu)點(diǎn)，相較于3d立體攝影術(shù)，交互的內(nèi)容是必要的，其提供了將典型的作為專業(yè)的設(shè)計(jì)的3d應(yīng)用程序(3d游戲或3d電視)與3d全息術(shù)的觀看舒適度相結(jié)合的路標(biāo)。因此，不需要高性能計(jì)算軟件的實(shí)時(shí)全息計(jì)算方案是需要的。

本文將介紹一些生成吸引人的交互全息應(yīng)用程序的背景技術(shù)。此外，我們新的有效利用圖像處理單元或現(xiàn)場可編程門陣列的子全息技術(shù)的改變也會(huì)討論，其使得全息圖計(jì)算實(shí)時(shí)進(jìn)行。

2.實(shí)時(shí)全息術(shù)

本章綜述了全息術(shù)以及比較了傳統(tǒng)的方法與視瑞爾公司的新的子全息圖技術(shù)。該子全息圖技術(shù)是實(shí)時(shí)計(jì)算大的全息圖的基礎(chǔ)。

2.1為什么要全息術(shù)？

相較于3d立體攝影術(shù)，全息術(shù)克服了深度聚焦和會(huì)聚之間的景深(depth-cue)的錯(cuò)配的問題。這個(gè)因而被稱為調(diào)節(jié)會(huì)聚錯(cuò)配(accommodation-convergencemismatch)引起疲勞或頭疼，甚至短暫迷失方向，因此使用3d立體攝影術(shù)，僅小的深度范圍必須實(shí)現(xiàn)以及不停頓的使用3d立體攝影術(shù)也將非常受限²。

相反，全息術(shù)像自然的3d觀看，其允許了非常大的深度范圍，不存在負(fù)面作用，因?yàn)檠劬梢酝瑫r(shí)聚焦和會(huì)聚于被看的物體。當(dāng)觀看全息圖時(shí)，該聚焦的物體看起來清楚，而在不同距離的其它物體將看起來模糊，就像其是在現(xiàn)實(shí)生活中一樣。用3d立體攝影術(shù)，眼睛會(huì)聚在物體上但聚焦于顯示器本身錯(cuò)配發(fā)生，其引起了上面已經(jīng)描述的結(jié)果(請(qǐng)見圖1a)。

這是為什么全息術(shù)將是3d立體攝影術(shù)的目前快速發(fā)展市場的下一個(gè)重大步驟，因?yàn)槠鋵?duì)于很多領(lǐng)域的應(yīng)用程序(即，專業(yè)3d設(shè)計(jì)、3d游戲和3d電視)的較佳選擇。

下一個(gè)章節(jié)將傳統(tǒng)的生成全息圖的方法與視瑞爾公司的新的方案(稱為子全息圖)進(jìn)行了比較。子全息圖的使用使得能夠?qū)崟r(shí)計(jì)算大的和深的全息圖，其使得全息顯示器上的交互內(nèi)容通過使用現(xiàn)成硬件組分能夠?qū)崿F(xiàn)。

參看圖1，其在圖1(a)中顯示了3d立體攝影術(shù)和自然觀看/全息術(shù)之間的差異：針對(duì)3d立體攝影術(shù)，兩只眼會(huì)聚在一定深度的物體上，但是聚焦于顯示器平面上，對(duì)于自然觀看和全息術(shù)，聚焦和會(huì)聚是相同的。圖1(b)顯示了傳統(tǒng)的全息術(shù)的原理：多個(gè)大的重疊衍射圖重建了多重景點(diǎn)(scene-points)，當(dāng)相干光源照射時(shí)在界定的觀看區(qū)可看見該重建。

2.2傳統(tǒng)方法vs子全息圖

全息圖總體上是復(fù)雜的衍射圖。當(dāng)相干光源照射時(shí)，景點(diǎn)構(gòu)成的3d場景被重建，其可以在空間中的界定區(qū)域可見(見圖1b)。

傳統(tǒng)的計(jì)算由計(jì)算機(jī)生成的全息圖(cghs)的方法總體上基于如下方案：每個(gè)在全息圖中的像素有助于每個(gè)經(jīng)重建的景點(diǎn)。這意味著，針對(duì)場景的每個(gè)景點(diǎn)，必須計(jì)算具有全部全息圖尺寸的衍射圖。這些單獨(dú)的全息圖全部添加在一起---通過復(fù)雜的疊加---以生成呈現(xiàn)完整場景的全息圖。

參看圖2，其在圖2(a)中顯示了：當(dāng)使用傳統(tǒng)方法時(shí)，大觀看區(qū)域生成了，但在觀察者眼睛的位置處僅小部分是實(shí)際需要，因此大部分計(jì)算的信息浪費(fèi)了。圖2(b)顯示了：當(dāng)使用子全息圖時(shí)，僅計(jì)算出必要的信息。此外，全息顯示器的分辨率較低并正好在今天制造能力范圍內(nèi)。

這些傳統(tǒng)的全息圖一方面提供了非常大的觀看區(qū)域，但是另一方面需要非常小的待重建的像素間距(即約1μm)(見圖2a)。由于全息術(shù)的基本原理，衍射光的干擾，該觀看區(qū)域的尺寸是直接由像素間距界定。當(dāng)該觀看區(qū)域足夠大，兩只眼自動(dòng)感測(cè)到不同的遠(yuǎn)景，因此他們能聚焦和會(huì)聚在相同的點(diǎn)，甚至多個(gè)使用者能獨(dú)立地觀看該3d場景的重建。

在傳統(tǒng)的全息圖中，為每個(gè)景點(diǎn)計(jì)算的像素的數(shù)量非常巨大。除了提供有用的顯示器尺寸的小間距的顯示技術(shù)的缺失，其將需要驚人的計(jì)算功率。此外，如此大量的數(shù)據(jù)的處理引起甚至更多的關(guān)于數(shù)據(jù)轉(zhuǎn)移速率、記憶等問題。這是為什么使用傳統(tǒng)方法的實(shí)時(shí)全息術(shù)在可見未來看不出商業(yè)利益的關(guān)鍵原因。由于這些技術(shù)的限制，直到現(xiàn)在，僅像硬拷貝或化學(xué)膠片這樣的劇照能以適于臺(tái)式機(jī)或類似tv的應(yīng)用程序的尺寸實(shí)現(xiàn)以及用可擴(kuò)展的技術(shù)實(shí)現(xiàn)。

當(dāng)觀看圖2b時(shí)，可以看出，傳統(tǒng)的全息圖中的大多數(shù)經(jīng)計(jì)算的信息是浪費(fèi)的，因?yàn)閮H眼睛能實(shí)際看到的信息是真正需要的。因此，代替計(jì)算全部的觀看區(qū)域，僅僅部分的該全息圖需要被計(jì)算，其負(fù)責(zé)于在觀察者的眼睛位置處重建特定3d景點(diǎn)子全息圖(sh).這減小的觀看區(qū)域是所稱的觀看窗口(vw)(見圖3)。

該觀看區(qū)域的尺寸的減小通過增加像素間距完成—該像素間距與其它參數(shù)一起界定該觀看區(qū)域的尺寸。通過重疊不同景點(diǎn)的sh(添加或超定位)，具有稠密的景點(diǎn)的全息3d場景經(jīng)重建以及在vw的位置處是可見的(見圖3)。

該增加的像素間距另一方面導(dǎo)致了劇烈減小的像素?cái)?shù)，使得有另一動(dòng)機(jī)使用目前的顯示技術(shù)。但是小vw的使用暗示了快速、可依賴和非常精確的眼睛追蹤系統(tǒng)根據(jù)觀察者眼睛移動(dòng)進(jìn)行轉(zhuǎn)移vw的需要。這樣的眼睛追蹤系統(tǒng)已經(jīng)開發(fā)出，但是目前視瑞爾公司使用的是自己擁有的集成在全息原型中的眼睛追蹤方案，其已經(jīng)由視瑞爾公司在諸如sid、fpd、橫濱(yokohama)和finetec等公共事務(wù)得到證明。

參看圖3，其顯示了僅一小部分的全息圖—子全息圖—需要在減小了的觀看區(qū)域(觀看窗口)重建一單景點(diǎn)。通過超定位多個(gè)子全息圖，在空間的觀看窗口位置處生成和重建呈現(xiàn)整個(gè)場景的全息圖。

為了舉例說明計(jì)算功率節(jié)省有多巨大，兩種方法總體上使用一種示例性情形進(jìn)行比較。

假設(shè)具有40英寸的slm(800mm×600mm)，一觀察者正從2米遠(yuǎn)處觀看該顯示器，觀看區(qū)域在水平方向和垂直方向?qū)⑹恰?0°，該內(nèi)容放置在前面1m與全息圖后面無限制的距離的范圍內(nèi)，該全息圖用hdtv分辨率(1920×1080景點(diǎn))重建了場景以及波長為500nm，然后經(jīng)指定的情形必須管理。

這兒針對(duì)傳統(tǒng)方法，基于傅里葉轉(zhuǎn)化進(jìn)行該計(jì)算以針對(duì)如此大的全息圖應(yīng)用最有效率的方法，為此假定有256個(gè)步驟的景點(diǎn)的深度量子化。針對(duì)sh方法，需要計(jì)算兩種獨(dú)立的全息圖，一種對(duì)應(yīng)于每個(gè)眼睛。

在底線處，兩種方法為單獨(dú)的觀察者位置提供了相同的結(jié)果，但是可以清楚地看見關(guān)于光調(diào)節(jié)器的分辨率、框架尺寸和計(jì)算功率的顯著差異。

為了進(jìn)一步降低計(jì)算功率，可以使用所稱的單一視差全息圖，其中sh和全息視差的尺寸降低至一維。垂直或水平方向是可能的—稱為僅水平視差(hpo)或僅垂直視差(vpo)全息圖³。通過將半視差sh和每個(gè)眼睛的不同視圖混合，例如垂直全息視差與水平立體視差，將生成具有低計(jì)算需求的實(shí)時(shí)視頻全息圖⁸。如果其被很好理解以及并入全息內(nèi)容，單一視差的重建的感知限制對(duì)于觀察者來講是不可見的。

表1：傳統(tǒng)和子全息圖方法的比較

但是甚至提供全視差sh的全息圖能通過利用如今的已經(jīng)發(fā)展的技術(shù)(如現(xiàn)場可編程門陣列(fpgas)和圖形處理單元(gpus))使用視瑞爾公司的算法處理，其提供了充分的計(jì)算功率。這在下面的章節(jié)中討論。

3.視瑞爾公司的全息處理流程

下面四個(gè)章節(jié)概述了利用如上解釋的子全息圖，在全息3d顯示器上顯示實(shí)時(shí)3d內(nèi)容的重要步驟。

參看圖4，其顯示了我們?nèi)⑻幚砹鞒痰目傮w概況。圖4所示的步驟限定了我們?nèi)④浖鞒蹋浔环指畛梢韵赂鱾€(gè)模塊：以內(nèi)容生成開始，由內(nèi)容生成器生成的數(shù)據(jù)將轉(zhuǎn)移至全息圖合成，其中計(jì)算出復(fù)值的全息圖。然后，全息編碼將復(fù)值的全息圖轉(zhuǎn)換為兼容于經(jīng)使用的空間光調(diào)制器(slm)的呈現(xiàn)，全息顯示器。最終，后處理程序?qū)⑨槍?duì)三種顏色組分的不同全息圖和兩種或更多種依賴于顯示器種類的視圖混合，這樣最后生成的畫面能呈現(xiàn)在slm上。

4.步驟i：內(nèi)容生成

針對(duì)全息顯示器，兩種主要類型的內(nèi)容可以區(qū)分。首先，存在由計(jì)算機(jī)生成(cg)的實(shí)時(shí)3d內(nèi)容(如3d游戲和3d應(yīng)用程序)。其次，存在現(xiàn)實(shí)生活或生活行動(dòng)的視頻內(nèi)容，其可以是來自3d相機(jī)、3dtv廣播頻道、3d視頻文件、藍(lán)光光碟或其它媒介的直播視頻。

對(duì)于大多數(shù)實(shí)時(shí)cg內(nèi)容(如3d游戲或3d應(yīng)用程序)，目前的使用圖像處理單元(gpus)的3d渲染的應(yīng)用程序界面(api)是方便的。最重要的是微軟的direct3d和opengl-api。

當(dāng)生成和渲染一個(gè)場景時(shí)，對(duì)于每個(gè)視圖，生成具有像素的2d圖(基于3d渲染的應(yīng)用程序界面的紋理)，其中每個(gè)像素提供顏色以及其2d位置。每個(gè)像素也能看作相應(yīng)3d場景的景點(diǎn)。這是為什么兩個(gè)api總體上非常適合生成待由視瑞爾公司的全息處理流程處理的內(nèi)容。

4.1視圖、顏色和深度信息

在視瑞爾公司的方法中，對(duì)于每個(gè)觀察者，生成兩種視圖，一種針對(duì)一個(gè)眼睛。對(duì)于3d立體攝影術(shù)的差異是額外需要針對(duì)每個(gè)視圖的精確的深度信息—通常提供在綁定至顏色圖的號(hào)稱深度圖或z圖中。這針對(duì)每個(gè)觀察者的兩種視圖對(duì)于提供每個(gè)眼睛期望看到的合適的透視圖是非常必要的。它們一起提供會(huì)聚信息。用每個(gè)視圖的深度圖提供的深度信息被用于在合適的深度重建景點(diǎn)，這樣每個(gè)3d景點(diǎn)將在空間的精確位置被生成，因此給使用者的眼睛提供了自然的3d場景的正確的聚焦信息。這些視圖獨(dú)立地并根據(jù)使用者位置和不同vw內(nèi)3d場景被生成，其依次被放置在每個(gè)觀察者的眼睛位置處。

該提供的深度信息必須非常精確，因?yàn)樵谏疃葓D中給出的景點(diǎn)以及由這兩種視圖的視差提供的其深度信息必須相關(guān)聯(lián)。這對(duì)于在全息顯示器的視圖范圍的合適處重建景點(diǎn)是必要的，因此聚焦和會(huì)聚將匹配。該深度信息之后被使用生成正確的衍射圖(子全息圖)，其使得眼睛可以準(zhǔn)確聚焦于會(huì)聚點(diǎn)。

4.2虛擬相機(jī)

另一個(gè)也應(yīng)用于3d立體攝像術(shù)但經(jīng)常被內(nèi)容創(chuàng)造者輕視的重要點(diǎn)是正確的3d相機(jī)設(shè)置(3d-camera-setup)(對(duì)于實(shí)時(shí)3d內(nèi)容的真實(shí)相機(jī)或虛擬相機(jī))，給兩只眼睛的視圖從其中生成。

參看圖5，其顯示了相機(jī)設(shè)置和生成的重建的示意圖。如果視野(fov)以及相機(jī)距離(cd)和會(huì)聚平面距離(cpd)之間的聯(lián)系接近等于全息顯示提供的眼睛距離/觀察者距離設(shè)置(ed/od)，那么能實(shí)現(xiàn)1:1的重建。

該(虛擬)相機(jī)(會(huì)聚信息從此處被記錄)理想地應(yīng)該具有與觀察者正用其眼睛感覺一樣的設(shè)置。這意味著，該相機(jī)應(yīng)該放置在會(huì)聚在顯示器平面的眼睛的位置處。然后，記錄原始的場景以及進(jìn)行1:1重建?？傮w上來說，相機(jī)設(shè)置的參數(shù)之間的關(guān)系應(yīng)該與全息顯示提供的設(shè)置幾乎相同—cd/cpd應(yīng)當(dāng)接近于ed/od(見圖5)。相機(jī)的視野應(yīng)該提供幾乎相同角域，其從顯示器平面跨度至觀察者眼睛。僅僅通過考慮這些限制，場景能被重建并被看作“它將真實(shí)地在那兒”。否則，該場景將看起來類似，但是隨著稍微修改的視角或尺寸，依賴于這些參數(shù)，是不理想的。如果這些參數(shù)與適合的幾何學(xué)太多不同，將生成大的視角錯(cuò)配。

可以簡單考慮這些為了實(shí)時(shí)由計(jì)算機(jī)生成的3d內(nèi)容的限制，因?yàn)檫@里的虛擬相機(jī)能自由地安置或模式化在虛擬空間。這樣的虛擬相機(jī)通過稱為基于3d渲染的api的視圖和投射矩陣被典型地呈現(xiàn)。對(duì)于真實(shí)世界(3d相機(jī))或離線的計(jì)算機(jī)生成的內(nèi)容(例如計(jì)算機(jī)制作的動(dòng)畫)，應(yīng)該牢記上述限制，因?yàn)橐坏┥烧掌髞聿荒芨淖冊(cè)撓鄼C(jī)設(shè)置。一個(gè)折中的可能是從一個(gè)中央的視角自動(dòng)生成所有所需的含有顏色和深度信息的視圖，所有其他視角從其中生成。但是主要由于消失的阻塞信息，要考慮質(zhì)量損失。由于僅有一個(gè)視角是可用的，重要的視角信息，物體正擋在中央視圖中，在其他視角中是不可用的。然而，實(shí)施例有可能包含作為數(shù)據(jù)流的一部分的阻塞數(shù)據(jù)。

對(duì)于由計(jì)算機(jī)生成的實(shí)時(shí)3d內(nèi)容，具有使用者追蹤軟件的全息顯示器前面的實(shí)際的觀察者位置可用于恰當(dāng)定位虛擬相機(jī)。在視瑞爾公司的具有僅在觀看窗口內(nèi)的信息的全息3d顯示器中，眼睛坐標(biāo)的知識(shí)也可用于定位相應(yīng)于觀察者位置和移動(dòng)的虛擬相機(jī)，這樣提供了自然場景的全部觀看范圍(“環(huán)顧四周”的效果)。這意味著，當(dāng)環(huán)視靜止的物體時(shí)，該場景似乎如自然那樣被固定在相同位置。除了為舒適地長時(shí)間觀看3d提供所有自然景深外，這生成了相同的大觀看區(qū)域(傳統(tǒng)的超高分辨率的全息圖將本質(zhì)上提供)。此外，該特點(diǎn)用于根據(jù)觀察者眼睛距離恰當(dāng)?shù)卦O(shè)置虛擬相機(jī)的距離，以使得虛擬相機(jī)設(shè)置完美。然而，這環(huán)顧四周的效果是自愿性(打開或關(guān)閉)的特征，其不是針對(duì)所有3d內(nèi)容都令人滿意。

4.3透明度

一個(gè)有趣的效果，視瑞爾公司的全息處理流程的獨(dú)有特征，是包含透明(半透明)物體的場景的重建。自然界的透明物體(如玻璃或煙)影響來自關(guān)于強(qiáng)度、方向或波長的光源的光。在自然中，兩只眼睛能聚焦在透明物體或物體后面，其也可是透明物體(部分透明)。

這樣的重建能利用視瑞爾公司關(guān)于全息術(shù)的方案實(shí)現(xiàn)，且已經(jīng)以下列方式實(shí)現(xiàn)在顯示器中：沿著一個(gè)眼睛---顯示器---光線的不同深度布置的多個(gè)景點(diǎn)能夠同時(shí)重建。這意味著，為了具有不同深度和顏色的3d景點(diǎn)在全息圖的同一位置超定位多個(gè)sh，以及允許眼睛聚焦于不同的在各自深度的景點(diǎn)(見圖6a)。在到觀察者的眼睛的焦距中的景點(diǎn)將看起來清晰，然而其它后面或前面的將模糊不清。不幸的是，經(jīng)重建的3d景點(diǎn)不能實(shí)現(xiàn)物理特性，自然中的透明物體將利用通過光波進(jìn)行。因此這特性必須相應(yīng)通過控制景點(diǎn)的顏色而模仿，從而實(shí)現(xiàn)顏色過濾或阻尼等效果。

從內(nèi)容產(chǎn)物方面，該透明度效果可以通過往每個(gè)景點(diǎn)添加除了已有的顏色和深度值外的α值來控制。如果景點(diǎn)具有0.0的α值(完全透明)，就不用重建它，也不會(huì)生成sh。1.0的α值意味著景點(diǎn)是完全不透明的，因而要生成單一sh—所有后面的景點(diǎn)將不可見且沒有sh為其生成。介于0.0-1.0的α值意味著景點(diǎn)是部分透明的，該α值值代表了透明度的等級(jí)，因此為了透明景點(diǎn)和后面或前面的其他點(diǎn)，子全息圖將生成。

目前的實(shí)時(shí)3d渲染的api，如direct3d和opengl，僅提供一個(gè)深度值每像素，因?yàn)閮H一個(gè)顏色圖和一個(gè)深度圖典型地同時(shí)使用，以儲(chǔ)存經(jīng)渲染的場景。當(dāng)渲染透明度效果時(shí)，典型地，多個(gè)通路通過摻和在它們深度順序上的所有透明物體，相對(duì)于已經(jīng)渲染進(jìn)的顏色圖的其余的物體而完成。對(duì)于這些摻和的通路，典型地丟棄了深度值的生成。深度圖中的每個(gè)像素的最終深度值通常對(duì)應(yīng)于所有透明物體后面的像素。因此，視瑞爾公司開發(fā)了一種方案，其一方面使用這些已經(jīng)高度發(fā)展的3d渲染的api技術(shù)，另一方面為多有透明物體生成了深度值。

視瑞爾的公司在全息圖平面同一位置生成多個(gè)3d景點(diǎn)，但具有不同深度的原理是基于多個(gè)內(nèi)容數(shù)據(jù)層的使用(見圖6b)。每一層包含具有單獨(dú)顏色、深度和α信息的景點(diǎn)。這些層可以被看作經(jīng)排序的深度層，其中每層包含一種或多種(具有或不具有透明度)物體。所需的層的總數(shù)對(duì)應(yīng)于3d場景中的重疊透明3d景點(diǎn)的最大數(shù)。該方案與為2d和立體3d顯示器生成透明度效果的方法是兼容的。一方面，該差異是要將摻和通道的結(jié)果指向于適當(dāng)?shù)膶拥牟噬珗D,而不是覆蓋現(xiàn)有的顏色。另一方面,生成的深度值存儲(chǔ)在層的深度圖中而不是丟棄它們。

參看圖6，其在圖6(a)顯示了沿著一個(gè)單一的眼睛---顯示器---光線的多個(gè)景點(diǎn)連續(xù)經(jīng)重建，并能用于實(shí)現(xiàn)透明度效果。圖6(b)顯示了一個(gè)例示性的場景，其具有處理透明景點(diǎn)的一個(gè)額外層(可以是更多層)。透明的景點(diǎn)儲(chǔ)存在第一層中，背景物體存在于背景層中。

最終，該層必須經(jīng)預(yù)處理以根據(jù)所有景點(diǎn)的給定的α值和來自其他后面景點(diǎn)的影響從而轉(zhuǎn)化所有景點(diǎn)的顏色。作為一個(gè)例子的兩個(gè)物體，一個(gè)100％紅色且背景不透明，另一個(gè)100％白色且前景半透明(50％透明度，α＝0.5)，其僅僅阻尼50％光。處理后，阻尼背景物體—其新顏色是50％紅色，前景物體僅50％不透明，這樣其最終顏色將是50％白色。當(dāng)觀看這樣的重建時(shí)，當(dāng)前景中的半透明白色物體擋住背景物體時(shí)，背景物體將較黑，但是兩者均可以被看見以及聚焦。

因此，處理α值后的最后，移動(dòng)至該全息圖合成的數(shù)據(jù)含有多個(gè)具有多層的視圖，每個(gè)包含僅具有顏色和深度值的景點(diǎn)。隨后，sh將僅為了有效的景點(diǎn)而生成—僅部分的積極使用的透明度層將被處理。

換言之，透明物體的重建將通過以下方法實(shí)現(xiàn)：

不能直接從經(jīng)計(jì)算機(jī)生成的包含透明物體的場景中計(jì)算全息圖。透明物體可以是例如玻璃、水、霧、塵?；蚱漕愃莆?。通常沒有為透明物體生成一個(gè)深度值,而是只為位于一個(gè)或多個(gè)透明物體后面的不透明的物體。如果必須使用全息圖構(gòu)建，需要擁有物體的深度值。

如果全息圖為了兩個(gè)或更多個(gè)物體而生成，其中所述物體至少部分位于如從一觀察者看見的彼此的后面，這些物體將在它們各自距離(或深度坐標(biāo))處被重建并且所有均是可見的。位于其他物體前面的物體不會(huì)影響位于該物體后的其他物體的表觀。然而，這對(duì)于位于其他物體前面的透明物體是不同的。例如，從位于紅色透明玻璃盤后面的物體發(fā)出的僅紅色部分光可穿過該玻璃盤。

在本發(fā)明的一個(gè)實(shí)施例中，該方法包括多個(gè)階段。在第一階段，生成待重建的完全三維場景的深度值，其不包括該三維場景的透明物體。在第二階段，三維場景的所有透明物體的深度值分別生成。該全息圖(或待編碼進(jìn)全息顯示器/空間光調(diào)制器(slm)的全息圖數(shù)據(jù))也在多個(gè)階段生成了。首先，不透明物體或不透明物點(diǎn)通過生成該子全息圖和加上他們而處理。其次，該透明物體或透明物點(diǎn)通過生成該子全息圖和加上他們而處理。

為了現(xiàn)實(shí)的呈現(xiàn)或重建，正在被透明物體控制或影響的不透明物體的顏色值通過如下事件處理：不是控制在從不透明物體至觀察者眼睛的路途中傳播的光的波長，根據(jù)位于該不透明物體前面的透明物體的特征，在該不透明物體的位置，控制或改變?cè)摴獾牟ㄩL或者來自不透明物體的顏色。這些經(jīng)控制的顏色值能通過計(jì)算機(jī)繪圖方法生成。

該全息圖組合在一起，其含有具有經(jīng)控制的顏色/波長數(shù)據(jù)的不透明物體(如果位于透明物體后面)的物點(diǎn)的信息/數(shù)據(jù)以及在多階段的步驟中的透明物體的物點(diǎn)的信息/數(shù)據(jù)。所有物體---透明和/或不透明物體---在正確的深度以及以正確的顏色被重建。

對(duì)照于是用常規(guī)二維顯示或使用立體顯示的三維場景的可視化，對(duì)于全息重建，額外的景點(diǎn)能在空間生成，其中額外的景點(diǎn)可具有相同的x-y坐標(biāo)(橫向位置)，但是不同的z坐標(biāo)(深度)?；蛘?，額外的景點(diǎn)可以生成以例如通過深度實(shí)現(xiàn)稠密的范圍，如霧或水。這些額外的景點(diǎn)位于觀看方向的單一線上(沿著該單一線的不同深度值)或具有橫向位置，對(duì)于此沒有物點(diǎn)已經(jīng)被計(jì)算。這是因?yàn)閮H一個(gè)額外的子全息圖需要為該額外的物點(diǎn)生成，且該子全息圖需要被添加進(jìn)所有其他子全息圖，以生成額外物點(diǎn)至經(jīng)重建的三維場景中。

該方法是非常有效的，且能僅用較小的計(jì)算功率實(shí)現(xiàn)。它可以在現(xiàn)代圖形板實(shí)時(shí)或準(zhǔn)實(shí)時(shí)進(jìn)行，包括全息圖的計(jì)算。

圖10顯示了不透明物體和透明物體在現(xiàn)實(shí)生活/自然中的情形。圖11顯示了用于根據(jù)本發(fā)明計(jì)算/生成三維場景的重建的情形。

4.4全息視頻格式

存在兩種方式播放全息視頻：通過直接地加載并呈現(xiàn)先前計(jì)算的全息或者通過加載原始景點(diǎn)并實(shí)時(shí)計(jì)算全息圖。

第一種選擇有一個(gè)很大的優(yōu)點(diǎn)：全息圖幀的數(shù)據(jù)不應(yīng)該通過像編解碼的壓縮方法被操作，只有無損的方法是適合的。通過非常隨意自然的全息數(shù)據(jù)，無損壓縮技術(shù)在顯著降低數(shù)據(jù)范圍以獲得來自硬盤或光學(xué)媒介的流(streaming)是無效的，不涉及ip網(wǎng)絡(luò)(ip-networks)上的流。

為克服這些，視瑞爾建議采用存儲(chǔ)在如上述的不同視圖/圖層里的原始景點(diǎn)。這與視瑞爾的實(shí)時(shí)全息計(jì)算相結(jié)合能夠使用像h.264或mpeg-4的最先進(jìn)的視頻壓縮技術(shù)(state-of-the-artvideo-compressiontechnologies)，其依賴于使用的比特率會(huì)或多或少地?fù)p耗，但是提供了優(yōu)秀的壓縮率。對(duì)于深度信息，損耗必須被特別嚴(yán)格地控制，其直接地影響重建的質(zhì)量。但是當(dāng)選擇高比特率時(shí)，即使那樣用最小限度的而非?？山邮艿膿p耗，約1:10的壓縮率是可能的。

視瑞爾發(fā)展和使用簡單的存儲(chǔ)所有重要的數(shù)據(jù)的視頻框架格式以在全息顯示器上重建包含顏色和透明度的視頻框架。這靈活的格式包含全部必要的視圖和每個(gè)視圖的圖層，以存儲(chǔ)作為放置于視頻框架內(nèi)的子幀的顏色、α值和深度值(參見圖7)。存儲(chǔ)在xml文件(xml-document)或嵌入到視頻容器內(nèi)的額外的元信息包括視頻框架的布局和參數(shù)，全息視頻播放器需要其以生成適當(dāng)?shù)娜D。這些信息例如描述了哪些類型子幀被嵌入、他們的位置和原始的相機(jī)設(shè)置，特別地是如何解釋為映射它們進(jìn)入全息顯示器的3d坐標(biāo)系統(tǒng)的經(jīng)存儲(chǔ)的深度值。

參照?qǐng)D7，其顯示了視頻框架的典型的布局例子。在視頻框架中子幀能被自由地放置——單獨(dú)的元信息(meta-information)記錄提供所述信息，哪些子幀被嵌入以及在視頻框架中他們的位置。

這方法使視瑞爾公司能夠?qū)崟r(shí)地重建具有透明度效果的3d顏色視頻在全息顯示器上。元信息提供了所有參數(shù)，播放器需要這些參數(shù)生成全息圖。其也確保視頻與相機(jī)設(shè)置相配合，并且證實(shí)3d場景信息的完整性(即深度必須是可用的)。

5.步驟2：全息圖合成

全息圖合成將多重景點(diǎn)的轉(zhuǎn)化到全息圖，其中每個(gè)景點(diǎn)的特征在于顏色、橫向位置和深度。針對(duì)每個(gè)視圖和顏色元素各自地去做該過程，當(dāng)重復(fù)全部可用的圖層——對(duì)每個(gè)視圖和每個(gè)顏色元素計(jì)算單獨(dú)的全息圖。

針對(duì)可用圖層內(nèi)的每個(gè)景點(diǎn)，子全息圖sh被計(jì)算和累積到全息圖h，其由每個(gè)全息圖像素的復(fù)值組成，因此稱作全息圖單元或單元。僅僅具有強(qiáng)度/亮度b(b>0)的可見景點(diǎn)被轉(zhuǎn)化，這節(jié)約了計(jì)算時(shí)間，特別針對(duì)通常只部分充滿的透明圖層。

假設(shè)slm提供水平/垂直的間距px/py，在全息圖平面和觀察者之間的觀察者距離是od，以及每個(gè)景點(diǎn)提供圖層中它的位置(ox,oy)(其也是全息圖中的子全息圖位置)，它的深度d和在波長λ處亮度b(根據(jù)當(dāng)前地處理顏色元素)。

首先計(jì)算顯示面(全息圖面)中的子全息圖的尺寸然后針對(duì)sh里面的離散的單元位置(x,y)處的每個(gè)單元sh(x,y)，計(jì)算復(fù)值并且通過如下公式計(jì)算相位和振幅a：和

這樣的sh描述了具有焦距的全息鏡頭，以在經(jīng)編碼的距離d處重建給定的景點(diǎn)。術(shù)語是每個(gè)景點(diǎn)的唯一的初始階段，其是典型隨意的。在全息圖h中的shs位置(ox,oy)處將計(jì)算出的sh最終總計(jì)到全息圖h。位置(ox,oy)是全息圖h中的子全息圖sh的中心位置，其通過光線橫越全息圖/顯示面來界定，開始于vw并且通過空間內(nèi)景點(diǎn)的位置以及相應(yīng)于圖層內(nèi)的景點(diǎn)的2d位置。此時(shí)h代表將要重建我們的3d場景的波前(wave-front)。

在下一步驟中，從復(fù)值到可顯示的真實(shí)值的轉(zhuǎn)化，全息圖編碼，必須經(jīng)執(zhí)行以能夠?qū)⑷D寫入slm。

6.步驟3：全息編碼

編碼是制備將要被寫入slm、全息顯示器的全息圖的過程。slm通常不能直接地顯示復(fù)值，這意味著他們不能同時(shí)以一個(gè)單像素調(diào)節(jié)并相移光波。但是通過結(jié)合振幅調(diào)節(jié)和相位調(diào)節(jié)顯示器，能識(shí)別相干光波的調(diào)制。通過全息圖中的復(fù)值(單元)控制每個(gè)slm像素的調(diào)制。通過照明具有相干光的slm，在全息圖面上生成合成場景的波前，然后其傳播進(jìn)入vw以重建場景。

不同類型的slm能夠被用于生成全息圖，一些例子是：使用3個(gè)振幅值生成一復(fù)值⁴的具有僅振幅調(diào)制(繞相位調(diào)制(detour-phasemodulation))的slm；通過兩個(gè)相位⁵相結(jié)合的具有僅振幅調(diào)制的slm；或者通過一振幅像素與一相位像素相結(jié)合的結(jié)合振幅和相位調(diào)節(jié)的slm。后者通過相位和振幅板⁶的夾層能被識(shí)別。

因此，需要我們?nèi)D的slm類型的從屬、相位振幅、僅相位或僅振幅的呈現(xiàn)。全息圖中的每個(gè)單元必須轉(zhuǎn)變?yōu)檫m當(dāng)?shù)某尸F(xiàn)。在將轉(zhuǎn)變的全息圖寫入slm之后，每個(gè)slm像素通過它的相位和振幅調(diào)節(jié)穿過的光波。

7.步驟4：后處理

處理鏈的最后一步，針對(duì)顏色元素和視圖執(zhí)行不同全息圖的混合，并將全息圖幀顯示給觀察者。在全息顯示器上存在不同的方法來顯示顏色和視圖。

一種方法將是完全的時(shí)間順序的呈現(xiàn)(總時(shí)間多路技術(shù)(totaltime-multiplexing))。這里全部顏色和視圖在多用戶系統(tǒng)甚至對(duì)不同的觀察者接連顯示。通過同步地控制正確位置處的vw的布局和當(dāng)前顯示的視圖，并且通過根據(jù)為λ編碼的當(dāng)前顯示的全息圖在正確的時(shí)間為λ轉(zhuǎn)換適當(dāng)?shù)墓庠?，全部觀察者能夠看到3d場景的重建。另一方法是具有兩個(gè)不同的slm的視圖和時(shí)間多路技術(shù)的獨(dú)立呈現(xiàn)，這樣的系統(tǒng)已經(jīng)由視瑞爾公司于2007年在sidlongbeach展示⁷。

兩種進(jìn)一步的方法，其在我們當(dāng)前的原型中執(zhí)行，是基于在一單個(gè)幀中混合顏色和視圖，或者基于在一單個(gè)框架中混合視圖并連續(xù)的顯示顏色⁸。對(duì)于兩者，在垂直方向(vpo)中使用單視差全息圖，然而，在水平方向中用垂直的隔行掃描(interlacing)多路復(fù)用不同的視圖(顏色)。

也存在許多其他為全部觀察者呈現(xiàn)顏色和視圖的方式和方法?？傊筇幚沓绦蜇?fù)責(zé)將呈現(xiàn)給觀察者的全息幀格式化。

8.實(shí)施

以上描述的全部處理步驟已經(jīng)被實(shí)施，如在視瑞爾公司的全息參考軟件系統(tǒng)內(nèi)的一般軟件模塊。針對(duì)不同的原型，為在現(xiàn)成的pc硬件和視瑞爾公司的專用的fpga平臺(tái)上運(yùn)行的gpu和fpga計(jì)算機(jī)，需要的編碼路徑已經(jīng)被最佳化。兩平臺(tái)在以下被呈現(xiàn)，但是首先將給出我們20英尺直接視圖全息原型的說明。

8.1視瑞爾公司的直接視圖全息原型

視瑞爾公司的20英寸直接視圖原型是用1d垂直編碼(vpo)的全顏色全息3d顯示器。它通過用集成的準(zhǔn)確且快速眼睛追蹤系統(tǒng)提供視圖窗口追蹤，其用±2.5mm的精確度以每秒60次遞送3d眼睛的位置到至多四個(gè)觀察者。但是本全息原型僅針對(duì)一個(gè)觀察者被設(shè)計(jì)。眼睛追蹤軟件或在標(biāo)準(zhǔn)pc運(yùn)行，或完全整合到使用嵌入的dsp/fpga解決方案的顯示器中。

全息面板具有2048×7680振幅調(diào)制像素的分辨率并以60hz運(yùn)行。由于(對(duì)全息術(shù))現(xiàn)成lcd的相對(duì)粗糙像素間距，觀察者距離當(dāng)前設(shè)置在約2米處。通過用繞相位編碼⁴，對(duì)一個(gè)復(fù)雜的像素(單元)的間距是156×156μm，這導(dǎo)致了在垂直方向上8mm相應(yīng)的vw。在水平方向上，對(duì)兩個(gè)眼睛的全息圖被空間地分離。確定的光學(xué)系統(tǒng)為每個(gè)眼睛創(chuàng)建32.5mm寬的水平有效點(diǎn)，其根據(jù)觀察者的移動(dòng)在水平方向移動(dòng)。因此觀察者能在水平和垂直方向自由地移動(dòng)頭，而不會(huì)錯(cuò)過全息視圖。左、右眼的全息圖被空間地多路復(fù)用進(jìn)入到顯示的框架，當(dāng)顏色被連續(xù)地呈現(xiàn)。針對(duì)每個(gè)顏色元素(紅、綠、藍(lán))，顯示適當(dāng)波長的不同的幀。

重建每圖層512×2560景點(diǎn)是可能的，但是在2m的觀察者的距離處，人的眼睛不能分辯20英寸顯示器上512×2560的3d場景分辨率。因此，3d場景分辨率被任意地限于每圖層512×640景點(diǎn)，這也提供更多普通的格式(3:4)。對(duì)于更大的lcd，3d場景分辨率能容易地?cái)U(kuò)大到全部hd或者更高。3d場景的深度范圍通常開始于全息顯示器的前面約1米處并且在顯示器的后面能去到無窮遠(yuǎn)。

8.2在pc上的實(shí)時(shí)全息術(shù)

用pc驅(qū)動(dòng)全息顯示器的動(dòng)力是多方面的：能用標(biāo)準(zhǔn)圖形板來驅(qū)動(dòng)用dvi的slm，其支持需要的大的分辨率。此外，各種現(xiàn)有的部件是可用的，其迅速得到連續(xù)地提高。用寬泛既定的3d渲染的api開放圖形庫(3d-renderingapisopengl)和3d圖形函數(shù)庫(direct3d)，在微軟窗口平臺(tái)實(shí)時(shí)3d內(nèi)容的創(chuàng)建容易地進(jìn)行。此外，為3d模型和視頻提供格式和解碼器的格式，提供有用的sdk和軟件庫并且其是簡單可理解的。

當(dāng)用pc進(jìn)行高強(qiáng)度的全息計(jì)算時(shí)，主處理器大部分是不夠強(qiáng)大的。甚至最新的cpu也不能足夠迅速地執(zhí)行高分辨率實(shí)時(shí)3d全息圖的計(jì)算，例如英特爾酷睿i7(intelcorei7)實(shí)現(xiàn)約50gflop/s⁹。因此用更強(qiáng)大的部件是顯然的，最令人關(guān)注的是圖像處理單元(gpu)，由于他們巨大的存儲(chǔ)帶寬和強(qiáng)大的處理功率，盡管有一些開銷和缺乏靈活性。作為優(yōu)點(diǎn)，其可編程性、靈活性和處理能力在過去的幾年里已有明顯提高。

8.3用gpu的實(shí)時(shí)全息圖

基于微軟的direct3d9，如前述的全部全息處理流程與吸引人的交互式應(yīng)用已經(jīng)實(shí)施了。一切用一nvidiageforce285gtx在pc上運(yùn)行，驅(qū)動(dòng)20”全息3d直接視圖原型。幾乎全部計(jì)算都在圖像處理單元(gpu)上完成，cpu僅用于為計(jì)算而控制程序流程和提供參數(shù)。對(duì)大部分的步驟，已經(jīng)實(shí)施特殊的像素和頂點(diǎn)著色器程序(specialpixel-andvertex-shader-programs)¹¹，其從一步一步地切換以執(zhí)行適當(dāng)?shù)乃惴āＶ鞒绦?shader-program)用c類語言(即，當(dāng)用direct3d為高級(jí)著色語言(hlsl))寫的小的編碼片段。當(dāng)為執(zhí)行而被編輯和上傳到gpu時(shí)，他們?cè)趃pu的著色器內(nèi)核(shader-core)內(nèi)的平行運(yùn)行以處理圖形流程內(nèi)的頂點(diǎn)和片段/像素?，F(xiàn)代的gpu典型地具有多于200著色器內(nèi)核，每個(gè)能以約1ghz的高頻率執(zhí)行典型的4維向量操作。

相對(duì)于其他的如cuda¹²的gpgpu技術(shù)(在圖形處理單元¹³(graphicsprocessingunit)上的通用計(jì)算)，選擇直接使用direct3d的原因是具有更大的靈活性以使用gpu提供的任何特征和對(duì)所述應(yīng)用程序模塊實(shí)時(shí)生成的3d內(nèi)容的簡單界面。

我們的方案，利用gpu，是非常靈活且可參數(shù)化的。視瑞爾公司提供封裝全息計(jì)算的所有方面的簡單api，并已經(jīng)發(fā)展了windows-sdk，所以任何應(yīng)用程序設(shè)計(jì)者只需要集中在其本身的內(nèi)容上。涉及針對(duì)特殊全息顯示器的虛擬照相機(jī)、全息圖合成、全息圖編碼和后處理程序的所有事，通過該軟件系統(tǒng)隱藏或者自動(dòng)地處理。圖8提供基于gpu的處理流程的概況。

用于視瑞爾公司的20”直接視圖原型的gpu方案工作如下：在第一模塊中，內(nèi)容生成–部分的全息應(yīng)用程序–生成兩個(gè)視圖，每個(gè)由至多4個(gè)圖層組成，每個(gè)圖層存儲(chǔ)512×640景點(diǎn)以及每個(gè)景點(diǎn)提供顏色、深度和α信息。該全息應(yīng)用程序可用direct3d-api提供的所有功能和特征，例如其本身的著色器程序。生成的數(shù)據(jù)(在gpu存儲(chǔ)器內(nèi)至多生成16個(gè)紋理的數(shù)據(jù)，每個(gè)圖層的兩個(gè)提供深度和顏色以及α信息)移交到下一個(gè)實(shí)例。這是一應(yīng)用程序設(shè)計(jì)者必須創(chuàng)建和實(shí)施的唯一模塊，通過sdk提供所有其他的部分。

參見圖8，其顯示我們的gpu方案中數(shù)據(jù)流的概況。

下一個(gè)模塊，即全息圖合成，處理每個(gè)圖層以應(yīng)用α值給予的透明度效應(yīng)，以及在位于不同圖層之間的深度沒有通過該應(yīng)用程序分類的情況下執(zhí)行一些深度分類。然后針對(duì)每個(gè)圖層中的每個(gè)3d景點(diǎn)，用頂點(diǎn)著色器程序生成并定位子全息圖。每個(gè)子全息圖由執(zhí)行如前所述的每個(gè)全息圖單元(復(fù)值)的相位和振幅的計(jì)算的像素著色器程序處理。每個(gè)經(jīng)計(jì)算的單元隨后被累積到生成的復(fù)值化的全息圖上。用gpu存儲(chǔ)器中的兩個(gè)浮點(diǎn)紋理(一個(gè)對(duì)實(shí)際部分，一個(gè)對(duì)虛擬部分)實(shí)施這復(fù)值化的全息圖。

在2007年呈現(xiàn)在sid中的我們第一個(gè)原型的版本中，使用查閱表途徑，其中對(duì)每個(gè)256離散的深度步驟已經(jīng)預(yù)計(jì)算標(biāo)準(zhǔn)的子全息圖。其被做以在這時(shí)克服gpu的有限的處理能力，即nvidia7900gtx。迄今為止，圖形處理單元已被迅速地改進(jìn)，但是在計(jì)算能力的方面比存儲(chǔ)內(nèi)存寬帶上改進(jìn)更多。現(xiàn)在經(jīng)改良的gpu和最佳化的視瑞爾公司的算法的結(jié)合使得直接地計(jì)算具有更高質(zhì)量、更靈活和更有效率的子全息圖成為可能——?jiǎng)討B(tài)的子全息圖尺寸和直接的計(jì)算導(dǎo)致更多的有效計(jì)算，現(xiàn)在使用由gpu提供的幾乎無限制的深度分辨率(典型的24bit)以在重建中(尤其對(duì)大的深度范圍)中提供較佳的深度分辨率，并且存儲(chǔ)內(nèi)存寬帶不再限制計(jì)算。

在全息編碼的第三步驟中，復(fù)值經(jīng)編碼以創(chuàng)建結(jié)局(用繞相位調(diào)制⁴的兼容slm的呈現(xiàn))，其也用另一套像素著色器程序來完成。

最終六個(gè)全息圖(兩個(gè)視圖，其中每個(gè)視圖具有三個(gè)全息圖(針對(duì)顏色元素))為呈現(xiàn)在slm上而被多路復(fù)用。三個(gè)slm幀(一個(gè)幀對(duì)應(yīng)于每個(gè)顏色元素)通過使用垂直隔行掃描針對(duì)每個(gè)顏色元素將兩個(gè)視圖多路復(fù)用成一個(gè)幀而生成。然后這三個(gè)幀被連續(xù)地顯示。

8.4使用fpga的實(shí)時(shí)全息術(shù)

在視瑞爾公司的全息3d方案的發(fā)展中，另一步驟為移植(port)到現(xiàn)場可編程門陣列(fpga)而最佳化該軟件。該動(dòng)機(jī)是以實(shí)現(xiàn)要集成至任何顯示器的自治系統(tǒng)。對(duì)于這一點(diǎn)，來自altera利用stratixiiifpga的自定義fpga板已經(jīng)被設(shè)計(jì)。相對(duì)于cpu或gpu，fpga的優(yōu)點(diǎn)是兩者最佳的混合，比在cpu中更好的并行性以及與比在gpu中更佳的編程靈活性。盡管如此，fpga方案的復(fù)雜編程模型與基于pc的發(fā)展比較導(dǎo)致更長的發(fā)展周期。

在該應(yīng)用方面，兩種方案使用pc，以用如前所述的內(nèi)容生成模塊(content-creation-module)來生成內(nèi)容。但是對(duì)這種方案，通過對(duì)一個(gè)單個(gè)dvi幀(dvi-frame)內(nèi)的兩視圖包裝顏色和深度信息來轉(zhuǎn)化生成的數(shù)據(jù)到fpga板，該fpga板使用dvi幀代替gpu存儲(chǔ)器內(nèi)的紋理。因此機(jī)頂盒或游戲機(jī)也將適應(yīng)于作為內(nèi)容源使用。通過擴(kuò)展dvi幀尺寸而實(shí)現(xiàn)多于一個(gè)透明度圖層的操作，以包括類似于以上描述的建議的視頻框架格式的至多4個(gè)圖層的信息。

參見圖9，其顯示在我們的fpga方案中數(shù)據(jù)流的概況。

計(jì)算子全息圖、累計(jì)和編碼、以及后處理程序的模塊已經(jīng)用vhdl實(shí)施。今天，這方案提供了如視瑞爾公司的gpu版(gpu-version)的同樣的功能，除了對(duì)圖層的待支持。fpga板lvds界面(lvds-interface)直接地驅(qū)動(dòng)slm以呈現(xiàn)幀(參見圖9)。

8.5應(yīng)用

隨著這些技術(shù)方案在gpu和fpga上可用，視瑞爾公司能用60hz的滿的顯示幀比率顯示生動(dòng)編碼的高分辨率的生命活動(dòng)3d視頻，針對(duì)視頻解碼，從用標(biāo)準(zhǔn)mpeg-4解碼器的pc的硬件逐幀地被流動(dòng)。每個(gè)幀包含對(duì)兩個(gè)視圖和4個(gè)圖層(背景加3個(gè)透明度圖層)的原始顏色、深度和α信息，其被充分地利用。為了有意義的負(fù)載比較，在透明度圖層中多于全部可用的景點(diǎn)的80％被使用。

此外，在詳細(xì)的3d環(huán)境中，實(shí)時(shí)應(yīng)用程序已經(jīng)基于標(biāo)準(zhǔn)格式和由多個(gè)模型組成的復(fù)雜交互式3d場景被發(fā)展和演示顯示計(jì)算生成的3d模型。為了增強(qiáng)使用者體驗(yàn)和簡單化交互作用，已經(jīng)集成了經(jīng)選擇的現(xiàn)代的人類機(jī)器界面(像3d空間鼠標(biāo))和nintendowii控制器。

9.結(jié)果

基于全息3d顯示和相應(yīng)的所有權(quán)人的算法的視瑞爾公司的原理，兩個(gè)方案(gpu和fpga)用空間視圖和連續(xù)顏色多路復(fù)用能夠利用60hz的滿的slm頻率驅(qū)動(dòng)視瑞爾公司的20英寸全息3d直觀原型。此外，已然今天，該方案用相應(yīng)地增加像素?cái)?shù)量能夠驅(qū)動(dòng)按比例增加顯示器硬件(更高的slm分辨率，更大的尺寸)。

該高分辨率，滿幀比率gpu方案在具有單個(gè)nvidiagtx285的pc上運(yùn)行，視瑞爾公司的fpga方案采用一個(gè)alterastratixiii以執(zhí)行全部全息計(jì)算。支持復(fù)雜3d場景和3d視頻內(nèi)的透明度效應(yīng)。甚至對(duì)利用全部4個(gè)圖層的復(fù)雜的高分辨率的3d內(nèi)容，幀比率為連續(xù)地超過60hz。內(nèi)容能夠通過pc被提供，并且特別對(duì)fpga方案通過機(jī)頂盒、游戲機(jī)等等，其像驅(qū)動(dòng)普通2d或3d顯示器。

針對(duì)更多或更大的子全息圖，特別對(duì)在兩維延伸(滿視差全息圖)的子全息圖，兩者技術(shù)方案可很好地?cái)U(kuò)展以先前地合并功能。即使使用當(dāng)前方案，滿視差顏色全息圖的實(shí)時(shí)計(jì)算是可完成的，并且已經(jīng)內(nèi)部地測(cè)試了。依賴3d場景的復(fù)雜性，根據(jù)有效的計(jì)算能力，可能存在一些對(duì)較小深度范圍的限制。已然今天，通過用多個(gè)gpu(nvidiasli或者amdcrossfire)或鏈接多個(gè)fpga，計(jì)算性能完全能夠簡單地增強(qiáng)。作為一個(gè)例子，nvidiassli已經(jīng)應(yīng)用于連接兩個(gè)通過1.9的要素增加全息圖計(jì)算幀的速率的geforce285gtxgpu，證明了該方案的優(yōu)異擴(kuò)展性。

這些方案能夠使視瑞爾公司能顯示復(fù)雜的3d視頻和復(fù)雜的交互式3d場景，其全部全息地動(dòng)態(tài)編碼。相比于在其技術(shù)本身上，其目前允許更多地聚焦在全息內(nèi)容和應(yīng)用程序以及針對(duì)游戲或全息tv的適當(dāng)?shù)母袷降拈_發(fā)。

10.結(jié)論和進(jìn)一步展望

本文呈現(xiàn)了用新的子全息圖方法的我們的方案，當(dāng)適應(yīng)于gpu或fpga硬件時(shí)，其允許全息圖的實(shí)時(shí)計(jì)算，以驅(qū)動(dòng)顯示復(fù)雜且交互的3d內(nèi)容的全息顯示器。

進(jìn)一步的發(fā)展將專注于具有新引進(jìn)的計(jì)算著色器(compute-shader)和opengl3/4以及opencl的gpu(像direct3d11)領(lǐng)域的新技術(shù)，以提高視瑞爾公司的gpu方案的效率和靈活性。包括支持多個(gè)透明度圖層的視瑞爾公司的fpga方案將于2010年完成。進(jìn)一步，為了專用的全息asic的發(fā)展，vhdl設(shè)計(jì)(vhdl-designs)將被最佳化。

對(duì)流全息視頻(3dtv)和3d內(nèi)容以及視瑞爾公司的技術(shù)整合到現(xiàn)有游戲或應(yīng)用程序的引擎中，合適格式的發(fā)展和適應(yīng)將成為另一個(gè)焦點(diǎn)。

參考文獻(xiàn)

[1]goodman,j.w.,[introductiontofourieroptics],2ndedn,mcgraw-hill,newyork(1996).

[2]hoffman,d.m.,girshick,a.r.,akeley,k.&banks,m.s.,“vergence–accommodationconflictshindervisualperformanceandcausevisualfatigue,”j.vis.8(3),1–30(2008).journalofvision.org/8/3/33/

[3]st-hilaire,p.,benton,s.a.,lucente,m.e.,sutter,j.d.&plesniak,w.j.,“advancesinholographicvideo,”proc.spie1914,pp.188–196(1993).link.aip.org/link/？psi/1914/188/1

[4]burckhardt,c.b.,“asimplificationoflee’smethodofgeneratinghologramsbycomputer,”appl.opt.9(8),1949–1949(1970).ao.osa.org/abstract.cfm？uri＝ao-9-8-1949

[5]hsueh,c.k.&sawchuk,a.a.,“computer-generateddouble-phaseholograms,”appl.opt.17(24),3874–3883(1978).ao.osa.org/abstract.cfm？uri＝ao-17-24-3874

[6]gregory,d.a.,kirsch,j.c.&tam,e.c.,“fullcomplexmodulationusingliquidcrystaltelevisions,”appl.opt.31(2),163–165(1992).ao.osa.org/abstract.cfm？uri＝ao-31-2-163

[7]n.leister,a.schwerdtner,g.fütterer,s.buschbeck,j.-c.olayaands.flon,″full-colorinteractiveholographicprojectionsystemforlarge3dscenereconstruction,″proc.spie6911,69110v(2008).dx.doi.org/10.1117/12.761713

[8]r.,reichelt,s.,leister,n.,zschau,e.,missbach,r.&schwerdtner,a.,“l(fā)argereal-timeholographicdisplays:fromprototypestoaconsumerproduct,”proc.spie7237,p.72370s(2009).link.aip.org/link/？psi/7237/72370s/1

[9]www.intel.com/support/processors/sb/cs-023143.htm

[10]www.business-sites.philips.com/3dsolutions/home/index.page

[11]en.wikipedia.org/wiki/shader

[12]www.nvidia.com/object/cuda_home_new.html

[13]gpgpu.org/about