用于多調(diào)制顯示中的局部調(diào)光的系統(tǒng)和方法
【專利說明】
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年11月3日提交的美國(guó)臨時(shí)專利申請(qǐng)No. 61 /899，280的美國(guó)臨時(shí) 專利申請(qǐng)的優(yōu)先權(quán)，該申請(qǐng)的全部?jī)?nèi)容通過引用并入。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及多調(diào)制顯示系統(tǒng)，并且尤其涉及用于在多調(diào)制顯示系統(tǒng)上渲染圖像和 視頻數(shù)據(jù)的系統(tǒng)和方法。
【背景技術(shù)】
[0004] 投影儀系統(tǒng)目前正在光高效使用和動(dòng)態(tài)范圍加以改進(jìn)的情況下被構(gòu)造。雙和多調(diào) 制器投影儀顯示系統(tǒng)在本領(lǐng)域中是已知的。然而，在這樣的顯示系統(tǒng)的渲染和性能兩者上， 仍可能由于這樣的顯示系統(tǒng)中的光處理的改進(jìn)的模型化而實(shí)現(xiàn)額外的改進(jìn)。

【發(fā)明內(nèi)容】

[0005] 公開了雙和多調(diào)制器投影儀顯示系統(tǒng)和技術(shù)。在一個(gè)實(shí)施例中，投影儀顯示系統(tǒng) 包括:光源;控制器;第一調(diào)制器，所述第一調(diào)制器接收來自所述光源的光并且渲染輸入圖 像的半色調(diào)圖像;模糊化光學(xué)系統(tǒng)，所述模糊化光學(xué)系統(tǒng)通過點(diǎn)擴(kuò)散函數(shù)(PSF)使所述半色 調(diào)圖像模糊化;和第二調(diào)制器，所述第二調(diào)制器接收經(jīng)模糊化的半色調(diào)圖像并且渲染脈寬 調(diào)制圖像，所述脈寬調(diào)制圖像可被投影以形成期望的屏幕圖像。還公開了如下的系統(tǒng)和技 術(shù)，這些系統(tǒng)和技術(shù)用于從輸入圖像形成二值半色調(diào)圖像，校正第一調(diào)制器和第二調(diào)制器 之間的未對(duì)齊，并且例如隨著時(shí)間的過去對(duì)投影儀系統(tǒng)進(jìn)行校準(zhǔn)以連續(xù)地改進(jìn)圖像。
[0006] 在一個(gè)實(shí)施例中，一種投影儀顯示系統(tǒng)包括:激光光源;控制器，所述控制器接收 輸入圖像數(shù)據(jù)并且輸出控制信號(hào);第一調(diào)制器，所述第一調(diào)制器接收來自所述光源的光，所 述第一調(diào)制器接收來自所述控制器的所述控制信號(hào)，使得所述第一調(diào)制器能夠渲染所述輸 入圖像的半色調(diào)圖像;模糊化光學(xué)系統(tǒng)，所述模糊化光學(xué)系統(tǒng)使從所述第一調(diào)制器接收的 所述半色調(diào)圖像模糊化;和第二調(diào)制器，所述第二調(diào)制器接收來自所述模糊化光學(xué)系統(tǒng)的 所述經(jīng)模糊化的半色調(diào)圖像并且接收來自所述控制器的所述控制信號(hào)，使得所述第二調(diào)制 器能夠渲染脈寬調(diào)制圖像，所述脈寬調(diào)制圖像能夠被投影以形成期望的屏幕圖像。
[0007] 在另一實(shí)施例中，一種用于在投影儀顯示系統(tǒng)中從輸入圖像數(shù)據(jù)投影期望的屏幕 圖像的方法，所述投影儀顯示系統(tǒng)包括:光源;控制器，所述控制器接收輸入圖像數(shù)據(jù)并且 輸出控制信號(hào);預(yù)調(diào)制(premod)調(diào)制器，所述預(yù)調(diào)制調(diào)制器接收來自所述控制器的控制信 號(hào)以及來自所述光源的光;模糊化光學(xué)系統(tǒng)，所述模糊化光學(xué)系統(tǒng)接收來自所述預(yù)調(diào)制調(diào) 制器的光；以及主調(diào)制器，所述主調(diào)制器接收來自所述控制器的控制信號(hào)以及來自所述模 糊化光學(xué)系統(tǒng)的光，所述方法包括:從所述輸入圖像數(shù)據(jù)創(chuàng)建二值半色調(diào)圖像;從所述二值 半色調(diào)圖像創(chuàng)建經(jīng)模糊化的二值半色調(diào)圖像;從所述經(jīng)模糊化的二值半色調(diào)圖像創(chuàng)建脈寬 調(diào)制圖像;和從所述脈寬調(diào)制圖像投影期望的屏幕圖像。
[0008] 在又一實(shí)施例中，一種用于對(duì)投影儀顯示系統(tǒng)進(jìn)行校準(zhǔn)的方法，所述投影儀顯示 系統(tǒng)包括:光源;控制器，所述控制器接收輸入圖像數(shù)據(jù)并且輸出控制信號(hào);預(yù)調(diào)制調(diào)制器， 所述預(yù)調(diào)制調(diào)制器接收來自所述控制器的控制信號(hào)以及來自所述光源的光;模糊化光學(xué)系 統(tǒng)，所述模糊化光學(xué)系統(tǒng)接收來自所述預(yù)調(diào)制調(diào)制器的光；以及主調(diào)制器，所述主調(diào)制器接 收來自所述控制器的控制信號(hào)以及來自所述模糊化光學(xué)系統(tǒng)的光，所述方法包括:接收輸 入圖像數(shù)據(jù);計(jì)算半色調(diào)圖像;應(yīng)用光場(chǎng)模型，所述光場(chǎng)模型基于所述模糊化光學(xué)系統(tǒng)的 PSF模型；計(jì)算用于所述主調(diào)制器的主圖像;從所述主調(diào)制器顯示屏幕圖像；用圖像捕捉裝 置捕捉所述屏幕圖像;使所述捕捉的屏幕圖像配準(zhǔn)預(yù)調(diào)制柵格;將所述配準(zhǔn)的捕捉的屏幕 圖像與所述輸入圖像數(shù)據(jù)進(jìn)行比較;如果差異大于期望量，則計(jì)算對(duì)所述PSF模型的校正； 和應(yīng)用改進(jìn)的PSF模型來進(jìn)行進(jìn)一步校準(zhǔn)。
[0009] 下面在結(jié)合本申請(qǐng)內(nèi)呈現(xiàn)的附圖閱讀時(shí)，在【具體實(shí)施方式】中呈現(xiàn)了本系統(tǒng)的其他 特征和優(yōu)點(diǎn)。
【附圖說明】
[0010] 示例性實(shí)施例在附圖的參考圖中被例示說明。意圖是本文公開的實(shí)施例和附圖被 認(rèn)為是例示性的，而非限制性的。
[0011]圖1描繪了本申請(qǐng)的系統(tǒng)、方法和技術(shù)可以駐留在其中的多調(diào)制顯示系統(tǒng)和環(huán)境 的一個(gè)實(shí)施例。
[0012] 圖2描繪了可以由圖1中給出的雙、多調(diào)制器顯示系統(tǒng)實(shí)現(xiàn)的光學(xué)處理/圖像處理 的高級(jí)示圖的一個(gè)實(shí)施例。
[0013] 圖3A描繪了用于生成合適的二值半色調(diào)圖像的方法的一個(gè)實(shí)施例。
[0014] 圖3B、3C和3D描繪了用于生成合適的半色調(diào)圖像的方法的另一實(shí)施例。
[0015] 圖4描繪了用于產(chǎn)生脈寬DMD補(bǔ)償圖像的技術(shù)的一個(gè)實(shí)施例。
[0016] 圖5是使用預(yù)調(diào)制到主調(diào)制映射、光場(chǎng)模型以及主調(diào)制到預(yù)調(diào)制映射來生成主調(diào) 制配準(zhǔn)光場(chǎng)的流程圖的一個(gè)實(shí)施例。
[0017] 圖6描繪了可以被捕捉、被模型化并且被使用以計(jì)算有色（例如，紅色、綠色或藍(lán) 色)光場(chǎng)的PSF的陣列。
[0018] 圖7A至7F描繪了輸入圖像通過本申請(qǐng)的各種處理模塊的示例性渲染。
[0019]圖8和9描繪了圖像渲染處理以及用于系統(tǒng)的可能連續(xù)校正/改進(jìn)的精化 (ref inement)處理的一個(gè)實(shí)施例。
[0020]圖10描繪示例性點(diǎn)擴(kuò)散函數(shù)(PSF)分布。
[0021 ]圖11A-D描繪了可以被本申請(qǐng)的實(shí)施例處理的一個(gè)示例性圖像。
[0022]圖12A和12B描繪了基于示例性輸入圖像數(shù)據(jù)的圖像處理的兩個(gè)圖表。
【具體實(shí)施方式】
[0023]如本文所用的，術(shù)語(yǔ)"控制器"、"系統(tǒng)"、"接口"等意圖指代計(jì)算機(jī)相關(guān)實(shí)體，其為 硬件、軟件（例如，在執(zhí)行中）和/或固件。例如，控制器可以是在處理器上運(yùn)行的過程、處理 器、對(duì)象、可執(zhí)行指令、程序和/或計(jì)算機(jī)?？刂破骺梢园ㄌ幚砥骱拖到y(tǒng)存儲(chǔ)器，該存儲(chǔ)器 可以包括處理器可讀指令，該處理器可讀指令當(dāng)被處理器讀取時(shí)可以實(shí)現(xiàn)本文公開的一種 或多種方法和/或技術(shù)。一個(gè)或多個(gè)控制器可以駐留在過程內(nèi)，并且控制器可以本地化在一 個(gè)計(jì)算機(jī)/處理器上，和/或分布在兩個(gè)或更多個(gè)計(jì)算機(jī)/處理器之間?？刂破饕部梢砸鈭D指 代通信相關(guān)實(shí)體，其為硬件、軟件(例如，在執(zhí)行中）和/或固件，并且還可以包括足以實(shí)現(xiàn)通 信的有線或無(wú)線硬件。
[0024] 在以下整個(gè)描述中，闡述了特定細(xì)節(jié)以便為本領(lǐng)域技術(shù)人員提供更透徹的理解。 然而，公知的元件可能未被詳細(xì)示出或描述以避免不必要地使本公開模糊。因此，描述和附 圖要從例示性的、而非限制性的意義上來看待。
[0025] 引言
[0026] 在投影儀和其他顯示系統(tǒng)的領(lǐng)域中，希望的是提高圖像渲染性能和系統(tǒng)效率兩 者。本申請(qǐng)的幾個(gè)實(shí)施例描述了通過對(duì)于雙調(diào)制或多調(diào)制顯示系統(tǒng)利用光場(chǎng)模型化來實(shí)現(xiàn) 這些提高的系統(tǒng)、方法和技術(shù)。在一個(gè)實(shí)施例中，為了得到有利的效果，開發(fā)和使用光源模 型?？梢詫?duì)已知輸入圖像的顯示圖像的相機(jī)圖片進(jìn)行評(píng)估以改進(jìn)光模型。在一些實(shí)施例中， 迭代處理可以累積改進(jìn)。在一些實(shí)施例中，這些技術(shù)可以在運(yùn)動(dòng)圖像上被使用以進(jìn)行即時(shí) 調(diào)整來提高圖像渲染性能。
[0027] 在包括以下專利和專利申請(qǐng)的共同擁有的專利和專利申請(qǐng)中已經(jīng)描述了雙調(diào)制 投影儀和顯示系統(tǒng)：
[0028] (l)Ward等人的編號(hào)為8,125,702的美國(guó)專利，其于2012年2月28日發(fā)布，標(biāo)題為 "SERIAL MODULATION DISPLAY HAVING BINARY LIGHT MODULATION STAGE"；
[0029] (2)Whitehead等人的美國(guó)專利申請(qǐng)20130148037,其于2013年6月13日公布，標(biāo)題 為"PROJECTION DISPLAYS"；
[0030] (3)Wallener的美國(guó)專利申請(qǐng)20110227900,其于2011年9月22日公布，標(biāo)題為 "CUSTOM PSFs USING CLUSTERED LIGHT SOURCES"；
[0031] (4)Shields等人的美國(guó)專利申請(qǐng)20130106923,其于2013年5月2日公布，標(biāo)題為 "SYSTEMS AND METHODS FOR ACCURATELY REPRESENTING HIGH ⑶NTRAST MAGERY 0N HIGH DYNAMIC RANGE DISPLAY SYSTEMS"；
[0032] (5)Erinjippurath等人的美國(guó)專利申請(qǐng)20110279749,其于2011年11月17日公布， 標(biāo)題為 "HIGH DYNAMIC RANGE DISPLAYS USING FILTERLESS LCD(S)F0R INCREASING CONTRAST AND RESOLUTION"；以及
[0033] (6 )Kwong的美國(guó)專利申請(qǐng)20120133689,其于2012年5月31日公布，標(biāo)題為 "REFLECTORS WITH SPATIALLY VARYING REFLECTANCE/ABS0RPTI0N GRADIENTS FOR COLOR AND LUMINANCE COMPENSATION，，。
[0034] 一一所有這些專利和專利申請(qǐng)的全部?jī)?nèi)容都通過引用并入。
[0035] 示例性物理架構(gòu)
[0036] -般地，具有單個(gè)數(shù)字微鏡器件(DMD)的投影儀可能趨向于具有有限的對(duì)比率。為 了獲得更大的對(duì)比率，可以將兩個(gè)或更多個(gè)DMD和/或其他反射器(例如，MEMS)串聯(lián)布置。由 于DMD可以作為時(shí)分或脈寬調(diào)制器操作，因此，操作串聯(lián)的兩個(gè)或更多個(gè)DMD和/或反射器一 均用作脈沖寬度調(diào)制器一往往需要時(shí)分排序的精確時(shí)分對(duì)齊和像素與像素對(duì)應(yīng)。這樣的對(duì) 齊和對(duì)應(yīng)要求在實(shí)踐中可能是困難的。因此，在本申請(qǐng)的許多實(shí)施例中，投影儀和/或顯示 系統(tǒng)可以利用不同的雙調(diào)制方案來實(shí)現(xiàn)期望的性能。
[0037] 如將在示例性投影儀顯示系統(tǒng)的上下文更詳細(xì)地討論的，第一DMD/反射器一一被 稱為"預(yù)調(diào)制器"或"預(yù)調(diào)制調(diào)制器"一一可以通過可被保持期望的時(shí)間段(例如，幀或者其 一部分）的半色調(diào)圖像來對(duì)光源進(jìn)行空間調(diào)制。該半色調(diào)圖像可以被模糊化以創(chuàng)建可以應(yīng) 用于第二DMD/反射器的帶寬在空間上減小的光場(chǎng)。第二DMD/反射器一一被稱為主調(diào)制 器一一可以對(duì)經(jīng)模糊化的光場(chǎng)進(jìn)行脈寬調(diào)制。該布置可以趨向于避免以上提及的兩個(gè)要 求一一例如，精確的時(shí)分對(duì)齊和/或像素與像素對(duì)應(yīng)。在一些實(shí)施例中，所述兩個(gè)或更多個(gè) DMD/反射器可以在時(shí)間上幀對(duì)齊，并且大致上在空間上幀對(duì)齊。在一些實(shí)施例中，來自預(yù)調(diào) 制DMD/反射器的經(jīng)模糊化的光場(chǎng)可以基本上與主