專利名稱：用于顯示系統(tǒng)的圖像非意愿光污染的基于感知的補償?shù)闹谱鞣椒?br> 技術領域：
本發(fā)明一般地涉及光學系統(tǒng)，具體涉及作為顯示的一部分的解決光污染的圖像補 償。
背景技術：
在某一圖像將被觀眾觀看的情況下，在理想情況中，屏幕(或者其中投影接收面) 的每個區(qū)域應當在期望的時間向觀眾反射期望的色彩和強度。然而，存在引起光污染的物理約束，其中光污染包括從一個或多個屏幕區(qū)域的光的反射或者再-反射，其包括非預期的從該點反射的光。通常，這種“光污染”，由顯示系統(tǒng)的一些物理特性引起的非意愿泄露， 可能歸因于屏幕的彎曲或者立體3D顯示系統(tǒng)的鬼影，其中預期給一只眼睛的光被另一只眼睛看到，并且與實際上預期給該另一只眼睛的光結合。3D顯示系統(tǒng)中的光污染造成“鬼影”-在傳遞給眼睛的兩個立體圖像之間輕微的移位的物體，當一只眼睛的圖像的部分泄露到另一只眼睛的圖像時，其深度表現(xiàn)為“鬼影圖像”。在一些情形中，光污染容易被模型化。例如，可以通過經驗或者其他方法而確定由于投射或者反射光的不完全極化，某個3D顯示系統(tǒng)泄露右眼圖像的10%至左眼圖像以及泄露左眼圖像的10%至右眼圖像。在一個去鬼影的傳統(tǒng)方法中，右眼的圖像與左眼圖像的負10%混合并且顯示合成的混合物。然而，對于右眼圖像中的像素應該比來自左眼的光污染暗的時候則存在問題 (或者反之亦然)。這相當于嘗試減去比可減去的更多的光，使得合成的混合圖像具有負光值。當然，既然任何種類的物理顯示設備都不可能實現(xiàn)負光，該混合圖像仍有一些光污染。為了處理剩余的光污染，一些制造者修改“黑度(black level)”使得圖像的最黑點不是完全黑的，從而允許一些減去。然而，這降低了顯示的圖像的動態(tài)范圍。另一個方法是仔細地控制和編輯呈現(xiàn)的圖像序列，使得場景的前景中的亮物體不出現(xiàn)在暗物體之前，從而減少混合圖像中的負光值的情況。然而，這可能在導演、放映技師、 動畫師等需要在近似中使用大動態(tài)范圍的光時，過分地限制他們。又一個方法是忽略剩余的光污染，讓觀看者心理上應付剩余的鬼影。然而，這導致視覺疲勞，特這是在長片中。大部分，如果不是所有的，顯示系統(tǒng)的目的是提供觀看者盡可能高質量的觀看感受。很多因素決定整體的觀看質量，但是一個重要因素是由于在預期的圖像(其部分)上的非意愿光污染引起的質量下降。重要的是降低不能通過簡單的減去而消除的鬼影對觀看者的認知負擔。
發(fā)明內容
在包括非意愿光并且不能從顯示的圖像中完全減去這些光的如此顯示圖像的情況下，圖像處理器通過使用感知模型補償剩余光而補償。在一些情形中，感知模型包括多個使用者敏感度，計算至少部分地基于預期的使用者對圖像的部分的光污染敏感度。該感知模型可能包括對比敏感度函數(shù)，亮度感知門限，顯著性預測和視覺遮罩。該模型可能包括關于觀看注意的美工指示。光污染可能性圖可以用于降低需要的計算量，使用可能性程度來確定要執(zhí)行的計算量。在一個具體實施例中，通過計算機基于從計算機可讀的存儲器獲得的場景外形以及代表場景外形的元素隨時間的變化的動畫數(shù)據(jù)而生成的在顯示器上可視的圖像如此生成確定將要顯示的期望的一個或多個圖像或者其它圖像源；自所述將要顯示的期望的一個或多個圖像和/或將要顯示所述圖像的顯示系統(tǒng)的特征，確定可能呈現(xiàn)的圖像的交叉； 確定一個或者多個補償圖像，所述一個或者多個補償圖像代表所述圖像以及交叉的逆，使得所述補償圖像被計算，以在顯示時近似地產生所述期望的圖像；如果所述補償?shù)膱D像包括負光值，設置所述負光值為非負值，使用感知模型，調節(jié)所述補償?shù)膱D像以降低所述設置步驟的結果的感知。該交叉可能來自極化的3D圖像，在基于快門的3D圖像中的重疊的快門時間，來自曲面屏的屏至屏反射，或者任何預期給某一位置的光在另一位置被察覺的過程。該感知模型可以包括多個使用者敏感度，其中與調節(jié)圖像的部份相關的計算活動至少部份地基于對于所述圖像的所述部份的光污染的預期的使用者敏感度，并且包括對比敏感度函數(shù)，亮度感知門限，顯著性預測和視覺遮罩。確定圖像的調節(jié)部分的過程也可由美工或者技師輸入的預期的使用者觀看注意的指示驅動。以下結合附圖的詳細的描述將提供對本發(fā)明的特性和優(yōu)點的更好的理解。


圖1示出了根據(jù)本發(fā)明的實施例的圖形處理系統(tǒng)；圖2更具體地示出了圖像處理系統(tǒng)的元件；圖3以其它細節(jié)示出了包括編輯臺的圖像處理系統(tǒng)的元件；圖4示出了一個變化例，其中動畫數(shù)據(jù)庫構成用于多個處理和編輯的中央存儲器；圖5示出了根據(jù)本發(fā)明的一個實施例的一個示例性美工編輯系統(tǒng)，可用于動畫管理；圖6示出了一個可以執(zhí)行感知補償?shù)膱D像處理器或者補償過程的元件。
具體實施例方式此處描述了一種改進的圖像處理系統(tǒng)，其能夠用于處理圖像以降低對鬼影的感知，和/或作為處理圖像并顯示圖像的顯示系統(tǒng)的一部分。由于兩-視圖立體僅是自然深度感知的近似，由于圖像總是顯示在深度方向的同一個平面，即屏幕，立體3D顯示需要在焦距和聚散度之間的分離，觀看立體3D圖像已經需要對人視覺系統(tǒng)(HVS)增加的感知負擔，因此鬼影不應當使情況更糟。鬼影引入了沖突的感知深度線索，也稱為網膜競爭，其中人視覺系統(tǒng)的立體觀測過程選擇地嘗試合并預期的和非預期的邊緣以獲得深度感知。這導致進一步增加了認知負擔。通過執(zhí)行感知去鬼影， 合成的立體3D圖像，特別是對于大差異，觀看起來將更舒適。雖然由于彎曲屏幕中的散射的對比度降低不增加認知負擔，觀看體驗的質量仍被降低。特別對于用于仿真和娛樂的(半_)融入式裝置，仍需要盡可能高的質量。圖像的感知補償不僅避免需要對比度的整體降低，也保持對于減去補償將丟失的細節(jié)。如此處描述的，圖像處理器使用基于感知的方法補償光污染。該圖像處理器可以使用計算構架在圖像顯示之前以感知優(yōu)化的方式補償圖像，該構架基于從HVS特性獲得的感知模型。為了計算補償?shù)膱D像，該圖像處理器在圖像上運用該構架并且顯示用于預測污染可視性的參數(shù)。之后，其形成補償圖像或者數(shù)據(jù)集為優(yōu)化問題，并且根據(jù)此處稱為的感知范數(shù)解決。此處描述的方法和裝置能夠用于更普遍的光非意愿泄露情形，但是此處的光污染的主要的例子是3D投影系統(tǒng)中的眼到眼泄露。在生成補償圖像的具體過程中，輸入圖像連同光污染指示被圖像處理器考慮。其可以是，輸入圖像表示為像素色彩值的2D陣列，光污染也表示為像素色彩值的2D陣列。圖像處理器的輸出可能是補償圖像。此處使用的輸入可以稱最好是展示給觀看者的理想圖像 (如果不是光污染，將展示給觀看者)為“輸入圖像”，光污染為“污染圖像”，將要顯示的圖像為“補償圖像”。在3D投影的情形中，輸入圖像是一對圖像，污染圖像可能是該對中其他圖像的函數(shù)。在一些情形中，污染圖像可能是相對的眼圖像的恒定部分，或者污染可能更復雜。在一個簡單的例子中，補償圖像是這樣的，當補償圖像和污染圖像在屏幕上被加和(由于泄露)，合成的圖像恰好是理想輸入圖像。當然，其不涉及負光值(或者污染的不精確的模型)。在用于生成混合圖像的圖像處理器的一個實施例中，計算感知屏蔽圖像并且用于從處理中排除輸入圖像的部分，從而相對于處理全部輸入圖像，補償圖像能夠更快的生成。 該使用屏蔽圖像的感知過濾能夠考慮提供給圖像處理器的感知模型。以下結合具體附圖提供其他的細節(jié)。用于實現(xiàn)圖像處理系統(tǒng)的硬件圖1示出了圖像處理系統(tǒng)100，用于產生、修改和呈現(xiàn)動畫，包括內容生成器102、 實現(xiàn)器104、細化器106、渲染器108、顯示系統(tǒng)110和屏幕112，在屏幕112上動畫被投映給觀看者114。應當理解，這些元件的一些可以實現(xiàn)為軟件、硬件或者軟件和硬件的結合。軟件可以是分離的模塊或者具有幾個功能的較大的系統(tǒng)。同時，一個或者更多這些元件可以包括(通常未示出)為人、計算機或者電子界面的存儲器、輸入、輸出、輸入設備以及輸出設備。通過閱讀本說明書可以看出，這些元件的多個可以實現(xiàn)為通用計算機執(zhí)行程序代碼，同時接收輸入并發(fā)出輸出并存儲、讀取和寫入分配到該程序代碼的存儲器。在圖1示出的實施例中，內容生成器102接收多個輸入并且生成原始輸入數(shù)據(jù)，其示出為存儲在存儲器120中。輸入的例子為手繪圖像130、美工輸入和互動、以及其他源。 該原始輸入數(shù)據(jù)可能包括數(shù)字化的圖像、由美工作出的以指示對象如何運轉的輸入、運動捕捉數(shù)據(jù)、指示、元數(shù)據(jù)等。實現(xiàn)器104處理原始輸入數(shù)據(jù)以構建典型的對象，即以對象的形式表現(xiàn)圖像的數(shù)據(jù)結構。在一個實施例中，動畫數(shù)據(jù)庫122包括一系列對象描述(場景外形，3D物體，2D輪廓)、紋理、光照、例如物體在一系列的幀中的路徑的運動信息。例如，動畫數(shù)據(jù)庫可能包括用于做為角色的部分的一系列對象的存儲，以及用于描述這些對象的每個如何在幀至幀中移動的運動信息的存儲。在一個很簡單的例子中，動畫數(shù)據(jù)庫可能指示場景外形包括有紋理的、靜態(tài)的背景、具有虛擬空間中的4個單位長度的邊長的藍色立方體、以及運動數(shù)據(jù)， 該運動數(shù)據(jù)指示立方體在三個幀中不旋轉而是向上平移2個單位、向左平移1個單位，之后在隨后的10個幀中停止并且以指定的旋轉降落。在一個更復雜的例子中，動畫數(shù)據(jù)庫包括所有需要的對象，以描述法國餐館外的場景，兩個角色(有數(shù)以千計的身體元素構成)坐在桌邊并且進行交談。此外，動畫數(shù)據(jù)庫112可能包括不是有關要生成的場景的元數(shù)據(jù)，本質上，而是有關其他數(shù)據(jù)如何生成和/或編輯的信息，用于之后的處理步驟和/或編輯步驟。 動畫數(shù)據(jù)庫可以通過任何數(shù)據(jù)結構和/或存儲形式實現(xiàn)，并且不需要存儲在高度結構化的數(shù)據(jù)管理系統(tǒng)中，只要動畫數(shù)據(jù)是電子可讀的。細化器106處理來自動畫數(shù)據(jù)庫122的數(shù)據(jù)以細化動畫。例如，細化器106可能包括用于確定阻光的模塊、用于填充細節(jié)的模塊、以及用于顯示補償?shù)哪K。顯示補償可能用于彎曲屏幕(以補償平屏幕不涉及的屏至屏反射)，用于立體呈現(xiàn)(以補償來自一只眼睛的圖像邊界轉移至另一只眼睛的圖像邊界上的鬼影)以及其他顯示補償。從而，細化器106可能具有用于屏幕參數(shù)的輸入，以及用于屏幕參數(shù)的存儲器，美工輸入，技師輸入，諸如此類，其可能對于細化動畫有用。其他用途可能包括通過攝像機或者一對攝像機捕獲的現(xiàn)場動作或者內容。細化器106的輸出給儲存器IM用于可渲染的圖形數(shù)據(jù)。其可以是，在一些實施例中，動畫數(shù)據(jù)庫112用于預-細化的動畫和后-細化的動畫。可選的方式，渲染引擎108 可以采用該可渲染的圖形數(shù)據(jù)并且輸出存儲在存儲器126中的像素化的數(shù)字顯示數(shù)據(jù)。渲染引擎108可以實時運行或者不是。像素化的數(shù)字顯示可以是原始形式，例如具有最大分辨率(例如，1920X1280，U80X720)限定的尺寸的2D像素陣列，陣列的每個元素代表像素色彩值(通常三個或者四個“勝任”值)。該像素化的數(shù)字顯示數(shù)據(jù)也可能被壓縮，其存儲形式此處無需具體描述。像素化的數(shù)字顯示數(shù)據(jù)通過投影系統(tǒng)110是可讀的，該系統(tǒng)之后投映該圖像序列用于觀看。其可以是，像素化的數(shù)字顯示數(shù)據(jù)包括不僅僅是像素值陣列，其可以包括其他對于投影系統(tǒng)有用的數(shù)據(jù)，例如一些在處理中使用的數(shù)據(jù)，關于屏幕的假定等。同樣，投影系統(tǒng)110也可能配備有一個或者多個同步音軌。在多數(shù)情形中，動畫由一個實體生成，例如電影制造者，并且像素化的數(shù)字顯示數(shù)據(jù)被以數(shù)字傳輸形式分發(fā)給播出者，介質上的存儲的形式運輸給播出者，例如電影院業(yè)主、運輸?shù)腄VD，并且賣給終端消費者用于小規(guī)模觀看，以媒介提供給廣播者，等。同樣地，動畫的生成可能由一方完成，該方不管媒介和/或傳輸?shù)慕邮苷邔Σシ抛鍪裁础Ｈ欢?，該動畫處理可以被告知將要發(fā)生的播放的實際或者假定的細節(jié)。作為一個例子，對不不同的投影器，補償可以是變化的。作為另一個例子，分辨率和顏色深度可以基于播放者使用的格式(例如DVD格式，標準播放格式，影院播放)在渲染引擎處(和/或其他地方)變化。也可以包括動畫路徑，美工輸入。“美工”指提供輸入的任何使用者，例如圖形美工、動畫師、導演、放映技師、他們的助手等。可以接受不同的技術水平。例如， 無需很多動畫技巧以輸入掃描的圖畫，需要較多技巧提供某個關鍵幀的外觀的輸入。圖2具體示出了圖像處理系統(tǒng)100的元件。在此處示出的例子中，內容生成器102 來自掃描儀204在掃描手繪圖像202時的數(shù)字圖像206。內容生成器102也可以接收新內容，并且編輯作為來自美工編輯臺208的輸入210的已有內容、以及來自運動捕捉子系統(tǒng) 214的運動捕捉數(shù)據(jù)212。如所示的，美工編輯臺208包括鍵盤224、輸入板226、數(shù)字轉換器228、3D鼠標230、顯示生成器220以及顯示器222。使用美工編輯臺208，美工能夠查看原始輸入數(shù)據(jù)并且對輸入做修改。美工編輯臺208也可以配置成允許美工直接編輯原始輸入數(shù)據(jù)，但通常允許美工修改輸入更方便和/或直觀。例如，當美工確定有些地方看上去不對時，相比于提供原始數(shù)據(jù)呈現(xiàn)在顯示器222上的顯示并且要求美工修改存儲器120中的代表運動捕捉數(shù)據(jù)點的數(shù)據(jù)結構，更好的做法是提供美工工具用于指定對運動捕捉過程的修改(增加、刪除點、重新捕捉，等)并且讓內容生成器102重新生成原始數(shù)據(jù)。這使得美工免于在較高層面做藝術改動，同時提供較好的控制而無需數(shù)據(jù)管理經驗。在操作中，多個美工或者其他人可能在多回合中編輯數(shù)據(jù)，直到獲得可接受的原始數(shù)據(jù)。在一些實施例中，如以下描述的，編輯站可以允許多階段的編輯。圖3以其他細節(jié)示出了圖像處理系統(tǒng)100的元件，例如示出了編輯臺300。如此處所示，編輯臺300耦接到原始輸入數(shù)據(jù)存儲器120以寫入輸入數(shù)據(jù)(并且可以讀取數(shù)據(jù))， 耦接到動畫存儲器122以讀取和寫入動畫數(shù)據(jù)，，耦接到存儲器124以讀取可渲染的圖形， 并且耦接成讀取和寫入細化器106的參數(shù)。如示出的，實現(xiàn)器104處理原始輸入數(shù)據(jù)以填充動畫數(shù)據(jù)庫122，細化器106限定(至少部分的)動畫數(shù)據(jù)庫122的內容并且輸出為可渲染的圖形，渲染引擎108能夠產生作為像素化的數(shù)字顯示數(shù)據(jù)。從而，在概念上，整部長片可以通過動畫數(shù)據(jù)庫122指定，其可以全部或者部分地渲染，在編輯臺查看并且修改。理論上，在編輯臺配備的工具適于高層面編輯并且就美工所提供的而言是直觀的。在一些例子中，編輯臺可以生成用于獲得新的或者額外的原始輸入數(shù)據(jù)，例如額外的手繪草稿和額外的動作捕捉或者CGI處理，所需的額外操作的指示。圖4示出了一個變化例，其中動畫數(shù)據(jù)庫構成用于多個處理和編輯的中央存儲器。如此處所示，來自存儲器120的原始輸入數(shù)據(jù)由實現(xiàn)器104讀取并且寫入動畫數(shù)據(jù)庫 122，如之前的例子中的那樣。然而，不同的編輯器編輯動畫數(shù)據(jù)庫122以及用于實時校樣生成器406的源(其可以是較低的分辨率和/或質量渲染器)，動畫數(shù)據(jù)庫122可以是產品渲染引擎402的源，渲染引擎402渲染產品質量并且寫入產品像素化圖像序列儲存器404， 實時校樣生成器406輸出渲染的圖像至編輯顯示器408。如此處所示，動畫數(shù)據(jù)庫122可以接收來自屏幕參數(shù)器410的屏幕信息，基于測量的輸入和/或手工輸入，屏幕參數(shù)器410 確定關于將要發(fā)生渲染的屏幕的參數(shù)-例如其與投射鏡頭的距離、其彎曲半徑、從一個立體圖像至另一個的交叉照亮(例如極化圖像的交叉污染)。其他改變可以來自美工編輯系統(tǒng)420、動畫管理系統(tǒng)442和/或細化器424。美工輸入可以轉換為原始數(shù)據(jù)，但是美工輸入通常提供足夠多的信息以生成對象。圖5示出了根據(jù)本發(fā)明的一個實施例的，可以用于動畫管理的示例性美工編輯系統(tǒng)500。在目前描述的實施例中，美工編輯系統(tǒng)500通常包括顯示器/監(jiān)控器510、計算機 520、鍵盤530、使用者輸入設備540、計算機界面550、諸如此類。圖像可以通過掃描儀(未示出)輸入，通過網絡或者其他界面接收，存儲在內存或者硬盤存儲器中，或者直接繪入系統(tǒng)，該功能由別處描述的數(shù)據(jù)存儲設備提供和/或獲得。該界面和/或內存也可以用于提供關于圖像、動畫序列諸如此類元數(shù)據(jù)。在不同實施例中，顯示器/監(jiān)控器510可以實現(xiàn)為CRT顯示器、IXD顯示器、等離子顯示器、直接投影或者背投DLP、微顯示器、或者類似的。在不同實施例中，監(jiān)控器510可以用于可視地顯示使用者界面、圖像或者類似的，以及作為互動環(huán)境的一部分，該互動環(huán)境接收美工輸入，顯示動畫生成和元數(shù)據(jù)的結果等，并且接收進一步的輸入。在該實施例中，使用者輸入設備540典型地實現(xiàn)為計算機鼠標、軌跡球、軌跡板、 操縱桿、無線遙控、繪圖板、聲控系統(tǒng)、眼球跟蹤系統(tǒng)、諸如此類。使用者輸入設備540典型地允許使用者通過指令，例如點擊按鈕或者類似的以及例如標志曲線或者關聯(lián)對象、劃線等的移動輸入，選擇顯示在顯示器/監(jiān)控器510上的對象、圖標、文本等。計算機界面550的實施例典型地包括以太網卡、調制解調器(電話、衛(wèi)星、線纜、 ISDN)、(非同步)數(shù)字用戶線(DSL)單元、火線界面、USB界面、諸如此類。例如，計算機界面550可以耦接到計算機網絡，至火線總線，或者類似的。在其他實施例中，計算機界面550 可以物理地集成在計算機520的主板上和/或包括軟件驅動，或者類似的。在不同實施例中，計算機520典型地包括類似的計算機元件，例如處理器560，和存儲設備，例如隨機存儲器(RAM)570，和連接以上元件的系統(tǒng)總線590。RAM570或者其他存儲器可以容納由一個或者多個處理器執(zhí)行的計算機指令，作為達到軟件實現(xiàn)的此處描述的一些功能的機制。在一個實施例中，計算機520包括一個或者多個htel的內核""處理器。 此外，在該實施例中，計算機520典型地包括基于UNIX的操作系統(tǒng)。RAM 570和磁盤驅動器是計算機可讀的有形介質的例子，該有形介質被配置成存儲包括在此所描述的計算機可執(zhí)行代碼實現(xiàn)技術，諸如圖像文件、包括對象的地理描述的對象/場景模型、圖像、關于圖像的元數(shù)據(jù)以及用戶輸入和建議、過程描述、渲染引擎、可執(zhí)行計算機代碼和/或類似的數(shù)據(jù)的本發(fā)明的實施例。其他有形介質的類型可以包括諸如軟盤的磁存儲介質、聯(lián)網的硬盤、或可移動硬盤、諸如CD ROMS、DVDs的光存儲介質、全息存儲器、和/或條碼、諸如閃存的半導體存儲器、只讀存儲器(R0MQ、電池供電的易失性存儲器、 聯(lián)網的存儲設備、諸如此類。在各種實施例中，美工編輯系統(tǒng)500還可以包括實現(xiàn)諸如HTTP、TCP/IP、RTP/RTSP 協(xié)議諸如此類的網絡上通信的軟件。在本發(fā)明的替代的實施例中，還可以使用其他通信軟件和傳輸協(xié)議，例如IPX、UDP或類似的。在本發(fā)明的一些實施例中，可以使用圖像處理器單元或“GPU” (Graphics Processing Unit)來加速各種操作。圖5是能夠體現(xiàn)本發(fā)明的計算機系統(tǒng)的表示。對于本領域的專業(yè)人員顯而易見的是，許多其他的硬件和軟件配置適合與本發(fā)明一起使用。例如，計算機可以是臺式的、手提式的、安裝在機架上的或圖形輸入板配置的。附加地，計算機可以是一系列的聯(lián)網的計算機。此外，可考慮其他微處理器的使用，諸如來自Intel的Xeon 、Pentium 或Itanium 微處理器；來自 Advanced Micro Devices, Inc 的 I\irion 64 或 Opteron 微處理器；諸如此類。此外，可考慮其他類型的操作系統(tǒng)，諸如來自Microsoft Corporation的Vista 或 Window XP 或類似的、來自 SunMicrosystems 的 Solaris 、Linux、Unix 或類似的。在另
10一些實施例中，上述的技術可以在芯片或輔助處理電路板上實現(xiàn)。用于計算設備的許多配置類型能夠用于實現(xiàn)在此所描述的各種方法。此外，具有不同計算能量級別的處理組件，例如，微處理器、圖形處理器、RISC處理器、嵌入式處理器、或類似的也能夠用于實現(xiàn)各種實施例。感知補償構架的數(shù)據(jù)流圖6示出了圖像處理器或補償過程的元件，其可以執(zhí)行感知補償。這能夠通過一系列的處理器指令、專用的硬件或其它方式實現(xiàn)。在此圖中，為了清楚起見，一些過程被描述為數(shù)學運算，但是應該清楚的是，每個數(shù)學運算程序需要電子地執(zhí)行，在一些情況下，通過用戶輸入或反饋，而在一些情況下基于可用數(shù)據(jù)全自動地執(zhí)行。在一些例子中，通過使用由一個或多個處理器執(zhí)行的其他硬件和/或軟件，補償能夠獨立于圖1-5中所示出的硬件而發(fā)生。在一些實施例中，補償獨立于圖像源。在下述描述中，以大寫粗體的字母表示矩陣，而以小寫的粗體字母表示向量。其中的每一個能夠存儲在合適的存儲器結構中。圖像，I能夠通過使用算子來將圖像結構轉換成向量結構，例如將圖像的列堆棧成單個向量的vec()，而由向量數(shù)據(jù)結構表示。 因此，χ = Vec(I)0用于從向量獲取圖像的反變換以I=array(X)表示。使用小寫希臘字母表示連續(xù)函數(shù)。給定一幅或多幅輸入圖像，圖6中所示的圖像處理器能夠由輸入圖像600生成補償?shù)膱D像610 (用于顯示或存儲以便稍后的顯示)。如所示出的，輸入圖像600存儲在當前圖像存儲器602中，并且由污染估值器604和遮罩估值器606操作。污染估值器確定表示
一個或多個圖像中每個像素的光污染的污染函數(shù)0(·)?？梢允禽斎雸D像的線性函數(shù)， 并且，如果其是線性函數(shù)，則能夠表示為矩陣Φ。污染估值器604的輸出被添加到當前圖像 602，并且確定與輸入圖像的殘差。遮罩估值器606提供遮罩，其與添加到當前圖像602的污染估值器604的輸出與輸入圖像的殘差相乘。這根據(jù)被認為感知地需注意的地方來空間地過濾污染。該過濾能夠通過僅選擇圖像的一些小區(qū)域和施加較少的約束來大量地加速補償過程。隨后，所過濾的輸出輸入到計算補償圖像的優(yōu)化器608中。該迭代過程最后達到了最終的補償圖像，其被定義為輸出圖像610。所示圖像表示為X，所觀察圖像Xobs如方程1中所示Xobs 二 t//(x) =X + φ(χ)(方程 1)理想地，此圖像應該等于所意愿的或所期望的圖像，X,因此優(yōu)化器608將解決約束優(yōu)化問題，以找出補償。在特定的實施例中，其解決方程2所述的約束的最小二乘問題。argmmxi|^/(x) - x)||i|,‘s^.!.(方程 2)約束確保了像素值仍處于物理可及的值范圍，因為不能夠顯示負光(χ不能小于零)，并且每個顯示器都有受限的亮度(X不能大于最大值，在這個情況下，最大值歸一化為 1)。在彩色圖像的情況下，能夠為每個彩色通道獨立地解決方程2。方程2表示消減補償(subtractive compensation)，而無需涉及殘差污染。感知補償解決的就是殘差污染。定義殘差r為r = X + φ(Μ) — I ,以及抽象的感知的加權函數(shù)λ (·)，其對于過程結果的應用示出在方程3中的運算中。
argrainx|i(>)-O^xSl (方程3)在特定的使得方程3可有效計算的實施例中，感知的加權函數(shù)λ (·)被建模為非線性項的產物，計算一次，并且以對角矩陣人丨人工表示，而線性項以矩陣AlA1表示，表示為λ (r) ΛηΛΓ。方程3能夠由此寫為方程4中所示的最小化程序。
權利要求
1.一種使用計算機生成在顯示器上可視的圖像的方法，所述圖像基于從計算機可讀的存儲器獲得的場景外形和代表所述場景外形的元素隨時間的變化的動畫數(shù)據(jù)或者其他圖像源而生成，其中，如此生成的所述圖像預期用于存在交叉的場合，所述交叉是圖像的一部分被用于所述圖像的另一部份或者另一個圖像的光照亮，其特征在于，所述方法包括確定將要顯示的期望的一個或多個圖像；自所述將要顯示的期望的一個或多個圖像和/或將要顯示所述圖像的顯示系統(tǒng)的特征，確定可能存在的圖像的交叉；確定代表所述圖像以及交叉的逆的一個或者多個補償圖像，從而所述補償圖像被計算，以在顯示時近似地產生所述期望的圖像；當所述補償圖像包括負光值的情形a)設置所述負光值為非負值；以及b)使用感知模型，調節(jié)所述補償圖像以降低所述設置步驟的結果的感知；以及存儲所產生的圖像為所述將要顯示的圖像。
2.根據(jù)權利要求1所述的方法，其特征在于，所述交叉是來自立體圖像對的交叉。
3.根據(jù)權利要求1所述的方法，其特征在于，所述交叉是來自彎曲屏幕的屏到屏反射的交叉。
4.根據(jù)權利要求1所述的方法，其特征在于，所述交叉是來自主動式3D立體系統(tǒng)的交叉，所述主動式3D立體系統(tǒng)使用快門機構，以在左眼和右眼呈現(xiàn)不同的圖像，借以每個眼睛的快門時間重疊。
5.根據(jù)權利要求1所述的方法，其特征在于，所述感知模型包括多個使用者敏感度，并且其中，與調節(jié)所述圖像的部份相關的計算工作至少部份地基于對于所述圖像的所述部份的污染的預期的使用者敏感度而確定。
6.根據(jù)權利要求1所述的方法，其特征在于，所述感知模型包括對比敏感度函數(shù)，亮度感知門限，顯著性預測，以及視覺遮罩。
7.根據(jù)權利要求1所述的方法，其特征在于，還包括接收與觀看注意的美工指示相關的輸入數(shù)據(jù)，并且與調節(jié)所述圖像的部份相關的計算工作至少部份地基于對所述圖像的所述部份的光污染的預期的使用者敏感度而確定。
8.根據(jù)權利要求1所述的方法，其特征在于，還包括確定光污染可能性圖，其為一個或多個圖像的多個部份指示光污染部份的可能性程度；以及使用所述多個部份的一部分的可能性程度來確定要執(zhí)行的計算量。
9.根據(jù)權利要求8所述的方法，其特征在于，還包括使用可能性圖的系數(shù)作為加權優(yōu)化中的權重。
10.根據(jù)權利要求1所述的方法，其特征在于，對所述補償圖像的調節(jié)受限于幀到幀， 從而隨時間的轉換是平滑的。
11.一種使用計算機從輸入圖像對生成在3D顯示器上可視的修改的圖像對的方法，所述生成基于從計算機可讀的存儲器獲得的場景外形和代表所述場景外形的元素隨時間的變化的動畫數(shù)據(jù)，從而在所述修改的圖像對中，相對于所述輸入圖像對的顯示，降低對從所述對的一個圖像到所述對的另一個圖像的顯示的交叉照亮的感知，其特征在于，所述方法包括 讀取所述輸入圖像對；自將要顯示的所述輸入圖像對和/或將要顯示圖像的顯示系統(tǒng)的特征，確定自所述輸入圖像對的一個圖像至用于所述輸入圖像對的另一個圖像的觀看者目鏡的可能存在的圖像的交叉照亮； 為所述交叉照亮的至少一些，減去地補償，產生剩余的交叉照亮的指示；以及為所述剩余的交叉照亮的至少一些，感知地補償，以形成所述修改的圖像對，其中感知地補償包括確定用于所述輸入圖像對的修改值，所述修改值預期降低所述剩余的交叉照亮的感知。
12.根據(jù)權利要求11所述的方法，其特征在于，感知地補償包括根據(jù)感知度量確定所述剩余的交叉照亮的初始可見度，所述感知度量確定自代表亮度感知門限，頻帶之間的視覺遮罩，顯著性，對比閾，差異和運動信息的參數(shù)；根據(jù)所述剩余的交叉照亮的初始可見度生成權重圖；以及通過根據(jù)感知標準而降低所述輸入圖像對和所述具有剩余的交叉照亮的輸入圖像對之間的差異，生成所述修改的圖像對。
13.根據(jù)權利要求11所述的方法，其特征在于，所述3D顯示器是投射系統(tǒng)。
14.根據(jù)權利要求11所述的方法，其特征在于，所述3D顯示器是3DIXD顯示器。
15.根據(jù)權利要求11所述的方法，其特征在于，所述方法也補償由于顯示器之間的光散射而產生的交叉照亮感知。
16.一種圖像處理器，其接收多個通過顯示系統(tǒng)可視的圖像，期望用于存在交叉的場合，交叉是圖像的一部分被用于所述圖像的另一部份或者另一個圖像的光照亮，其特征在于，所述圖像處理器包括輸入，用于關于將要顯示的期望的一個或多個圖像和/或所述顯示系統(tǒng)的特征的參數(shù)；邏輯，用于自所輸入的參數(shù)確定可能存在的圖像的交叉；邏輯，用于計算代表所述圖像以及交叉的逆的一個或者多個補償圖像，使得所述補償圖像被計算，以在顯示時近似地產生所述期望的圖像，包括用于補償負光值的邏輯，所述用于補償負光值的邏輯借助于將所述負光值作為非負值并且使用存儲的感知模型來調節(jié)所述補償圖像以降低非負光假象的感知；以及存儲器或傳輸硬件，用于存儲或傳輸生成的圖像作為所述將要顯示的圖像。
17.根據(jù)權利要求16所述的圖像處理器，其特征在于，所述交叉是來自立體圖像對的交叉。
18.根據(jù)權利要求16所述的圖像處理器，其特征在于，所述交叉是來自彎曲屏幕的屏至屏反射的交叉。
19.根據(jù)權利要求16所述的圖像處理器，其特征在于，所述交叉是來自主動式3D立體系統(tǒng)的交叉，所述主動式3D立體系統(tǒng)使用快門機構，以在左眼和右眼呈現(xiàn)不同的圖像，借以每個眼睛的快門時間重疊。
20.根據(jù)權利要求16所述的圖像處理器，其特征在于，所述感知模型包括多個使用者敏感度，并且其中，與調節(jié)所述圖像的部份相關的計算工作至少部份地基于對于所述圖像的所述部份的污染的預期的使用者敏感度。
21.根據(jù)權利要求16所述的圖像處理器，其特征在于，所述感知模型包括對比敏感度函數(shù)，亮度感知門限，顯著性預測，以及視覺遮罩。
22.根據(jù)權利要求16所述的圖像處理器，其特征在于，還包括邏輯，所述邏輯用于處理與觀看注意的美工指示相關的輸入數(shù)據(jù)，以及與調節(jié)所述圖像的部份相關的計算工作至少部份地基于對所述圖像的所述部份的光污染的預期的使用者敏感度。
23.根據(jù)權利要求16所述的圖像處理器，其特征在于，還包括存儲器，用于光污染可能性圖，其為一個或多個圖像的多個部份指示光污染部份的可能性程度；以及邏輯，用于使用所述多個部份的一部分的可能性程度來確定要執(zhí)行的計算量。
24.根據(jù)權利要求23所述的圖像處理器，其特征在于，可能性圖的系數(shù)作為加權優(yōu)化中的權重。
25.根據(jù)權利要求16所述的圖像處理器，其特征在于，對所述補償圖像的調節(jié)受限于幀到幀，從而隨時間的轉換是平滑的。
全文摘要
在包括非意愿光并且不能從顯示的圖像中完全減去這些光的如此顯示圖像的情況下，圖像處理器通過使用感知模型補償剩余光而補償。在一些情形中，感知模型包括多個使用者敏感度，計算至少部分地基于預期的使用者對圖像的部分的光污染敏感度。該感知模型可能包括對比敏感度函數(shù)，亮度感知門限，顯著性預測和視覺遮罩。該模型可能包括美工指示的查看注意。光污染可能性圖可以用于降低需要的計算量，使用可能性程度來確定要執(zhí)行的計算量。
文檔編號H04N13/00GK102156624SQ201110025199
公開日2011年8月17日 申請日期2011年1月19日 優(yōu)先權日2010年1月19日
發(fā)明者J·范巴爾, M·格羅斯, R·塔姆斯托爾夫, S·波拉科斯 申請人:迪士尼企業(yè)公司