專利名稱：從通過未著色色空間映射的視頻內容得到的環(huán)境光的主色提取的制作方法
技術領域：
本發(fā)明涉及使用多光源來產生和設置環(huán)境光效，典型地基于，或者結合例如來自視頻顯示的視頻內容。更特別地，涉及一種實時地對視頻內容采樣或者子采樣以提取主色信息的方法，并執(zhí)行從視頻內容的色空間到最好允許驅動多個環(huán)境光源的色空間的顏色映射轉換。
背景技術：
工程師們?yōu)橥ㄟ^采樣視頻內容來擴展感覺感受已作了長時間的探索，例如通過擴大視屏和投影區(qū)域，將聲音調制為真實的3維效果，并改善視頻圖像，包括寬的視頻色域，分辨率和圖像縱橫比，例如可采用高清晰度(HD)數(shù)字電視和視頻系統(tǒng)來實現(xiàn)。而且，電影，電視和視頻播放器也試圖利用視覺和聽覺手段影響觀看者的感受，例如通過巧妙地運用顏色，場景剪輯，視角，周圍的場景和計算機輔助圖形表示。這也將包括劇場舞臺照明。燈光效果，例如，光效通常和視頻或者戲劇場景同步編排，在按預期方案編碼的合適的場景腳本編程的機器或者計算機的幫助下進行再現(xiàn)。
在數(shù)字領域的現(xiàn)有技術中，包括沒有計劃或者沒有腳本的場景在內，響應于場景快速變化的照明的自適應，在大場景中很不容易去協(xié)調，因為額外的高帶寬位流需要利用目前的系統(tǒng)。
飛利浦(荷蘭)和其它公司已經公開了利用遠離視頻顯示的分離的光源，改變環(huán)境或周圍的照明來改善視頻內容方法，其應用于典型家庭或商業(yè)中，以及對于很多應用，對預期的光效進行在先編排或者編碼。已經表明環(huán)境照明施加至視頻顯示或者電視能夠減少視覺疲勞和提高真實性以及感受深度。
感覺感受是人類視覺方面的自然的功能，其利用巨大而復雜的感管和神經系統(tǒng)來產生對顏色和光效果的的感覺。人類能夠區(qū)分大概1千萬種不同的顏色。在人眼中，對于顏色接收或亮視覺，而具有大概2百萬稱作視錐的感覺體共三組，其具有光波長峰值分布在445nm、535nm以及565nm吸收分布，并具有大量的重疊。這三類視錐細胞形成所謂的三色系統(tǒng)，也因歷史原因而被稱為B(藍)、G(綠)、R(紅)；峰值不必對應于那些用在顯示中的任何主色，例如，常利用的RGB熒光體。也有用于暗適應的相互作用，或者所謂稱作視網(wǎng)膜桿的夜視體。人眼典型地具有一億兩千萬個視網(wǎng)膜桿，其影響視頻感受，特別是在暗光條件下，例如在家庭影院中。
顏色視頻建立在人類視覺的規(guī)律上，眾所周知，人類視覺的三色和對立通道理論已經被我們結合用來理解怎樣影響眼睛去看期望的顏色與原始信號或者預期圖像具有高逼真度的顏色和效果。在大多數(shù)顏色模型和空間中，三維或者坐標用來描述人的視覺感受。
顏色視頻完全依賴位變異構性，其允許利用少量的基準色質產生顏色感覺，而不是期望的顏色和特征的實際光。這樣，利用有限數(shù)目的基準色質，整個色域的顏色在人的頭腦中再現(xiàn)，例如全世界范圍在視頻再現(xiàn)中利用的眾所周知的RGB(紅，綠，藍)三色系統(tǒng)。眾所周知，例如，幾乎所有的視頻顯示通過在每一個像素或者圖像單元中產生近似相等數(shù)量的紅光和綠光，而顯示黃色場景。像素與其對向的立體角相比很小，而且眼睛誤以為感知到黃色；它不能感知真實發(fā)射的綠色或者紅色光。
存在很多顏色模型和指定顏色的方式，包括眾所周知的CIE(國際照明委員會(Commission Interationale de I’eclairage))顏色坐標系統(tǒng)，利用它來描述和規(guī)定用于視頻再現(xiàn)的顏色。即時創(chuàng)造可以利用任意數(shù)量的顏色模型，包括運用未著色的對立顏色空間，比如CIE L*U*V*(CIELUV)或者CIE L*a*b*(CIELAB)系統(tǒng)。建立于1931年的CIE是所有顏色的管理和再現(xiàn)的基礎，結果是利用三坐標x、y和z的色度圖。該三維系統(tǒng)在最大亮度的區(qū)域根據(jù)x和y通常用于描述顏色，這個區(qū)域，稱為1931x，y色度圖，其被認為能描述所有人類可感知的顏色。這與顏色再現(xiàn)形成對比，在這里位變異構性欺騙了眼睛和大腦。現(xiàn)今，很多正在利用的顏色模型或者空間通過利用三種基本色或熒光體而再現(xiàn)顏色，其中有Adobe RGB，NTSC RGB，等。
特別應注意，視頻系統(tǒng)通過利用這些三色激勵系統(tǒng)所展示的所有可能顏色的范圍是有限的。NTSC(國際電視標準委員會)RGB系統(tǒng)具有相對寬的可用顏色范圍，但這個系統(tǒng)僅能再現(xiàn)人類能感知的所有顏色中的一半。利用傳統(tǒng)視頻系統(tǒng)的可用范圍不能足夠地再現(xiàn)多種藍色和紫色、藍綠色和橙色/紅色。
而且，人類視覺系統(tǒng)被賦予補償和識別特性，對它的認識對于設計任何視頻系統(tǒng)是必要的。人類的顏色能夠以幾種顯示模式出現(xiàn)，在其中有目標模式和發(fā)光模式。
在目標模式中，光激勵被感知為光源照射的物體所反射的光。在發(fā)光模式中，光激勵被視為光源。發(fā)光模式包括在復雜場中的激勵，其比其它激勵更加明亮。它不包括已知為光源的激勵，比如視頻顯示器，其亮度或輝度與景物或觀看場地的全部亮度相同或更低，以便這種激勵以目標模式顯示。
值得注意的是，有很多顏色僅在目標模式中出現(xiàn)，在其中有，褐色、橄欖色、栗色、灰色、和淺褐肉色。沒有例如作為褐色光發(fā)光源的燈，比如褐色交通燈。
為此，補充給要增加物體顏色的視頻系統(tǒng)的環(huán)境光不能這樣利用亮光的作為直接光源。在近范圍內的明亮的紅色和綠色光的結合不能再現(xiàn)褐色或栗色，因此選擇相當受限。僅具有變化的強度和飽和度的彩虹的光譜顏色能夠通過對亮光源的光的直接觀察再現(xiàn)出來。這強調對環(huán)境照明系統(tǒng)的精細控制的需要，比如在注意色調管理的情況下，從光源提供低亮度的光輸出。在目前數(shù)據(jù)結構下，該精密控制還不能在快速變化和精細環(huán)境照明方式下尋址。
視頻再現(xiàn)可采取很多形式。光譜顏色再現(xiàn)允許準確再現(xiàn)初始激勵的光譜能量分布，但這不可在任何利用三主色的視頻再現(xiàn)中實現(xiàn)。準確的顏色再現(xiàn)可復制人類視覺的三色值，產生與初始匹配的同質異性，但對于圖像和原始場景的整體觀察條件必須相似，以獲得相似的顯示。圖像和原始場景的整體觀察條件包括圖像的邊角，周圍的亮度和色度，以及強光。不能經常獲得精確的彩色再現(xiàn)的一個原因，是因為能在彩色監(jiān)視器上產生的最大亮度的受到限制。
當三色值與原始場景的色度成比例，色度顏色再現(xiàn)提供了一種有用的替換。色度坐標被準確再現(xiàn)，但成比例地減少了亮度。如果原始的和再現(xiàn)的基準白色具有相同的色度，觀察條件是相同的，且系統(tǒng)具有整體統(tǒng)一的灰度系數(shù)，色度顏色再現(xiàn)對視頻系統(tǒng)是好的參考標準。由于在視頻顯示中產生亮度有限，不能獲得與原始場景的色度和亮度匹配的等效的顏色再現(xiàn)。
實際中的大部分視頻再現(xiàn)試圖獲得相應的顏色再現(xiàn)，在這里，如果原始場景被照亮而產生相同的平均亮度水平以及與再現(xiàn)中相同的基準白色色度，再現(xiàn)的顏色將具有與原始場景一致的顏色表現(xiàn)。然而，很多爭論的最終目標是顯示系統(tǒng)在實際中優(yōu)選的顏色再現(xiàn)，在此觀察者的偏好影響顏色的逼真度。例如，曬黑的皮膚顏色優(yōu)選為真實皮膚的平均顏色，且天空優(yōu)選為比實際更藍的顏色，且葉子比實際更綠。即使相應的顏色再現(xiàn)被接受為設計標準，一些顏色比其它顏色更重要，比如肉色，其在很多再現(xiàn)系統(tǒng)比如NTSC視頻標準中是特別處理的主題。
在再現(xiàn)場景光線時，為獲得白平衡的色適應是重要的。在適當調整的攝影機和顯示器下，白色和中性灰以CIE標準日光光源D65的色度典型地再現(xiàn)。通過總是以相同的色度重現(xiàn)白色表面，該系統(tǒng)可模仿人類視覺系統(tǒng)，其固有地適應感知以使白色表面總是呈現(xiàn)相同的顯示，而不管光源的色度，以使一張白紙，無論在陽光明媚的海灘上或是在室內場景的白熾燈下，都能表現(xiàn)為白色。在顏色再現(xiàn)中，白平衡調整通常通過在R，G和B通道中的增益控制而獲得。
典型的彩色接收機的光輸出典型地不是線性的，而是符合冪律關系來施加視頻電壓。光輸出與提升至冪灰度系數(shù)的視頻驅動電壓成比例，在這里對彩色CRT(陰極射線管)灰度系數(shù)典型地為2.5，對其它類型的光源為1.8。在攝像機視頻處理放大器中通過三個主要的亮度灰度系數(shù)校正器補償該因子，以便經編碼、傳送和解碼的主要視頻信號實際上不是R、G和B，而是 色度顏色再現(xiàn)需要視頻再現(xiàn)——包括攝像機，顯示器和任何灰度調整電子設備——的整體灰度系數(shù)統(tǒng)一，但當嘗試相應的顏色再現(xiàn)時，環(huán)境的亮度優(yōu)先。例如，暗淡的環(huán)境需要的灰度系數(shù)大約為1.2，黑暗的環(huán)境為獲得最佳的顏色再現(xiàn)需要的灰度系數(shù)大約為1.5。對RGB彩色空間，灰度系數(shù)是重要的執(zhí)行問題。
大多數(shù)顏色再現(xiàn)編碼利用標準RGB色空間，比如sRGB，ROMM RGB，Adobe RGB98，Apple RGB和比如在NTSC標準中所利用的視頻RGB空間。典型地，圖像被截取至傳感器或源設備空間，其為特殊的設備和圖像。其可以被轉換到未著色的圖像空間，這是表示原始色度的標準色空間(見定義部分)。
然而，視頻圖像往往直接從源設備空間轉換至著色的圖像空間(見定義部分)，其表示某些真實的或虛擬的輸出設備，比如視頻顯示的彩色空間。大部分存在的標準RGB色空間是著色的圖像空間。例如，由攝像機和掃描儀產生的源和輸出空間不是基于CIE的色空間，而是由光譜靈敏度和攝像機或掃描儀的其它特性限定的光譜空間。
著色圖像空間是基于真實或虛擬設備特性的色度的特殊設備的色空間。圖像能夠從著色的或未著色的圖像空間轉換到著色空間。這些轉換的復雜性會變化，且能夠包括復雜的圖像依賴算法。這種轉換是不可逆的，且放棄或壓縮原始場景編碼的一些信息，以適應特殊設備的動態(tài)范圍和色域。
目前僅有一種未著色的RGB色空間，其正在變成為標準的過程中，定義在ISO17321中的ISO RGB，多用于數(shù)字照相機的顏色特性。在現(xiàn)今的多數(shù)申請中，為了存檔和數(shù)據(jù)轉換，轉換包括視頻信號的圖像至著色色空間。從一個著色圖像或色空間轉換到另一個，會導致嚴重的圖像假象。在兩設備之間色域和白點不匹配越多，則負面影響越大。
現(xiàn)有技術的環(huán)境光顯示系統(tǒng)的一個缺點是從視頻內容中對用于環(huán)境發(fā)射的代表顏色的提取還是有問題的。例如，像素色度的顏色平均經常導致灰色，褐色或其它偏色，這些不是視頻場景或圖像的感知的表示。從簡單的色度平均中得到的顏色看起來常常是模糊不清和錯選的，尤其是當其與圖像特征，比如明亮的魚或主背景如藍天對比的時候。
現(xiàn)有技術環(huán)境光顯示系統(tǒng)的另一問題是還沒有提供特殊的方法用于實時同步的操作，以將著色的三色值從視頻轉換到環(huán)境光源，從而得到合適的色度和表現(xiàn)。例如，從LED環(huán)境光源發(fā)送的光常常是刺眼的，并帶有限制的或偏斜的色域——通常地，色調和色度難以評估和再現(xiàn)。例如，Akashi等人的美國專利6611297處理環(huán)境光的真實性，但沒有提供特別的方法用來確保正確和令人滿意的色度，且Akashi的297號專利并不允許實時分析視頻，而是需要腳本或其等效物。
另外，利用已校正的視頻內容色空間的灰度系數(shù)的環(huán)境光源的設置常導致耀眼和明亮的顏色。另一現(xiàn)有技術的嚴重問題是需要轉換大量用于驅動環(huán)境光源的信息，該環(huán)境光源作為實時視頻內容的函數(shù)，以適應預期的快速變化的環(huán)境光環(huán)境，在其中期望良好的顏色匹配。
因此，擴展通過環(huán)境照明結合典型三色視頻顯示系統(tǒng)所產生的顏色的可能色域是有益的，當開發(fā)人眼的特性時，比如在作為亮度級函數(shù)的不同顏色的相對目視光度中的變化，通過調節(jié)或改變傳達給利用環(huán)境照明系統(tǒng)的視頻用戶的顏色和光特性，利用它來提高有益補償效果、靈敏度和其它人類視覺的特性。
在不受到灰度系數(shù)引起的失真影響下，產生有質量的環(huán)境氛圍也是有益的。其進一步需要的是，能夠提供一種方法，利用對平均的或定性的顏色值編碼的節(jié)省的數(shù)據(jù)流，通過從選定的視頻區(qū)域提取主色，用于提供更好的環(huán)境照明。其進一步需要的是，減少需要的數(shù)據(jù)流的大小。
關于視頻和電視工程、壓縮技術、數(shù)據(jù)傳送和編碼、人類視覺、色彩場景和感知、色空間、色度、圖像著色，以及包括視頻再現(xiàn)的信息，將在下面的參考文獻中引用，這些文獻是這些信息在整體上的結合參考[1]Color Perception，Alan R.Robertson，Physics Today，1992年12月，第45卷，第12期，24-29頁；參考[2]The physics andChemistry of Color，2rd，Kurt Nassau，John Wiley&Sons，Inc.，NewYork_2001；參考[3]Principles of Color Technology，3ed，Roy S.Berns，John Wiley&Sons，Inc.，New York，_2000；參考[4]StandardHandbook of Video and Television Engineering，4ed，Jerry Whitakerand K.Blair Benson，McGraw-Hill，New York_2003。

發(fā)明內容
本發(fā)明的不同實施例給出的方法包括利用像素水平統(tǒng)計或等效在某種程度上以盡可能少的計算量確定或提取一個或多個主色，但在同時，提供根據(jù)感知規(guī)律選擇為主色的舒適和合適的色度。
本發(fā)明涉及從在著色色空間中編碼的視頻內容中提取主色的方法，通過環(huán)境光源來產生用于模擬的主色。方法步驟包括[1]通過量化著色色空間中視頻內容的至少一些像素色度，量化著色色空間，以形成指定顏色的分布；[2]從指定顏色的分布執(zhí)行主色提取，以通過提取下面任一項產生主色[a]指定顏色的模式；[b]指定顏色的中值；[c]指定顏色的色度的加權平均值；[d]使用加權函數(shù)的加權平均值；然后[3]從著色色空間將主色轉換至于允許驅動環(huán)境光源的第二著色色空間。
像素色度(或著色色空間)的量化可通過很多方法實現(xiàn)(見定義部分)，其目標是通過在可能的顏色狀態(tài)中尋求簡化而減輕計算負擔，比如從分配的大量色度(例如像素色度)縮減到較少數(shù)量的指定色度或顏色；或通過挑出選擇像素的選擇過程來減少像素數(shù)量；或儲存以產生代表性的像素或超像素。
如果通過將像素色度儲存到至少一個超像素，部分地執(zhí)行著色色空間的量化，這樣產生的超像素可具有與圖像特征一致的尺寸、方向、形狀或位置。在量化過程中利用指定的顏色可選擇為區(qū)域顏色矢量，其不必在著色色空間中，比如可在第二著色色空間中。
一旦從指定顏色分布中選擇了主色，然后可返回，即得到實際的像素色度以提煉主色。例如，可在指定的顏色分布中確定至少一種感興趣的顏色，并提取在此指定的像素色度，以取得最終指定的真實的主色作為主色。這樣，當指定顏色可為視頻內容的粗略近似時，真實的主色能為環(huán)境發(fā)送提供正確的色度，但仍可節(jié)省本來需要的計算量。主色也可包括主色調色板。
其它可能的用于轉化的實施例步驟[3]包括[3a]將主色從著色色空間轉換至未著色色空間；然后[3b]將主色從未著色顏色的空間轉換至第二著色色空間。這附加地包括矩陣轉換，利用第一和第二三色主矩陣，轉換著色色空間和第二著色色空間的原色到未著色色空間；和通過著色色空間原色、第一三色矩陣以及第二三色矩陣的逆矩陣進行矩陣相乘，獲得顏色信息至第二著色色空間的轉換。
步驟[1]的像素色度可從提取區(qū)域獲得，附加步驟[4]可包括從鄰近提取區(qū)域的環(huán)境光源發(fā)射主色環(huán)境光。
步驟[2]的合理的加權函數(shù)允許從圖像特征提取多個像素色度，且在先的視頻幀可用于指導在后視頻幀中選擇主色。任何提取區(qū)域可選擇為從視頻幀中提取的圖像特征。
這些步驟可以以很多方式結合，未著色色空間可以是CIE XYZ；在ISO標準17321定義的ISO RGB；攝影YCC；CIE LAB；或者任何其它未著色空間之一。且步驟[1]，[2]和[3]基本與視頻信號同步，利用第二著色色空間中的顏色信息，從視頻顯示或在視頻顯示的周圍發(fā)射環(huán)境光。


圖1表示本發(fā)明簡單的視頻顯示的前表面視圖，展示了顏色信息提取區(qū)域和相關的環(huán)境光從六個環(huán)境光源發(fā)射；圖2表示一個房間的俯視圖，部分示意圖和部分截面圖，其中，利用本發(fā)明，產生從多重環(huán)境光源發(fā)射的環(huán)境光。
圖3表示按照本發(fā)明的一個提取顏色信息并影響色空間轉換以允許驅動環(huán)境光源的系統(tǒng)；
圖4表示從視頻提取區(qū)域計算顏色信息均值的方程式；圖5表示現(xiàn)有技術轉換著色主RGB至未著色色空間XYZ的矩陣方程式；圖6和圖7表示分別映射視頻和環(huán)境光著色區(qū)域至未著色區(qū)域的矩陣方程式；圖8表示利用已知的矩陣逆向轉化從未著色色空間XYZ得到環(huán)境光三色值R’G’B’的辦法；圖9-11表示現(xiàn)有技術中利用白點方法推導三色主矩陣M；圖12表示類似于如圖3所示的系統(tǒng)，另外包括一個用于環(huán)境發(fā)射的灰度系數(shù)校正步驟；圖13表示本發(fā)明所用的總的轉換過程的原理圖；圖14表示本發(fā)明中利用的獲得環(huán)境光源轉換矩陣系數(shù)的處理步驟；圖15表示本發(fā)明所用的估計視頻提取和環(huán)境光再現(xiàn)的處理步驟；圖16表示按照本發(fā)明視頻幀提取的示意圖；圖17表示依照本發(fā)明的簡化的色度評估處理步驟；圖18表示如圖3和12所示的提取步驟，為驅動環(huán)境光源，利用幀解碼器、設置幀提取率并執(zhí)行輸出計算；圖19和圖20表示本發(fā)明顏色信息提取和處理的處理步驟；圖21表示按照本發(fā)明總的過程的示意圖，包括主色提取和到環(huán)境光色空間的轉換；圖22示意性地表示一種通過指定像素色度到指定顏色，量化來自視頻內容的像素色度的可能的方法；圖23示意性地表示一種通過將像素色度存儲至超像素而量化的可能的方法的例子；圖24表示類似圖23的存儲過程，但是這里超像素的大小、方向、形狀或者位置可以與圖像特征一致地形成；圖25表示在標準笛卡爾CIE顏色圖上區(qū)域顏色矢量和它們的顏色或者色度坐標，這里一個顏色矢量位于顏色色域的外面，顏色色域通過PAL/SECAM、NTSC和Adobe RGB顏色產生標準得到；圖26表示圖25所示的CIE圖的一部分的特寫，另外表示像素色度和其在區(qū)域顏色矢量上的分布；圖27表示按照本發(fā)明展示指定顏色分布的模式一個可能的方法的直方圖；圖28表示按照本發(fā)明指定顏色分布的中值一個可能方法；圖29表示按照本發(fā)明通過指定顏色的色度的加權平均值的數(shù)學總和的一個可能的方法；圖30表示按照本發(fā)明利用像素加權函數(shù)通過指定顏色的色度的加權平均值的數(shù)學總和的一個可能的方法；圖31表示在指定顏色分布中確定感興趣的顏色，然后提取在那里的指定像素色度，以得到一個真實的主色并指定為主色的示意圖；圖32示意性地表示按照本發(fā)明的主色提取可以多次執(zhí)行或者分別同時執(zhí)行以提供一系列主色；圖33表示如圖1所示的視頻顯示的簡單的前表面圖，表示按照圖29和30示范的方法，將不同加權施加給優(yōu)選的空間區(qū)域一個例子；圖34給出一個如圖33所示的視頻顯示的簡單的前表面圖，圖表式的表示按照本發(fā)明為主色提取的目的而提取一個圖像特征；圖35給出本發(fā)明另一個實施例的圖示，視頻內容被解碼成一組幀，籍以允許得到的一幀的主色至少部分地依賴前一幀的主色；圖36表示按照本發(fā)明選擇主色的省略過程的過程步驟。
具體實施例方式
定義下列定義可以全文通用-環(huán)境光源-將在隨后的權利要求中，包括需要影響光產生的任何光產生電路或者驅動器。
-環(huán)境空間-將意味著任何和所有在視頻顯示單元外部的材料體或者空氣或者空間。
-指定顏色分布-將表示一組顏色，選擇它用來代表(如用于計算目的)在視頻圖像或者視頻內容中發(fā)現(xiàn)的像素色度的全部范圍。
-色度-在驅動環(huán)境光源的上下文中，將表示一個規(guī)定光產生的顏色特征的機械、數(shù)值或者物理方式，并且將不暗含特別的方法論，例如用于NTSC或者PAL的電視廣播。
-顏色信息-將包括色度和亮度的全部或者其中之一，或者功能等價量；-計算機-將包括不僅是所有的處理器，例如利用已知結構的CPU(中央處理單元)，還包括允許編碼、解碼、讀、處理、執(zhí)行設定代碼或者變化代碼的任何智能設備，例如可以執(zhí)行同樣功能的數(shù)字光學設備或者模擬電路。
-主色-將表示任何為環(huán)境發(fā)射目的而選擇用來代表視頻內容的色度，包括任何被選擇用來說明這里公開的方法的顏色；-提取區(qū)域-將包括任何整個視頻圖像或幀的子集。
-幀-將包括在視頻內容內按時間順序出現(xiàn)的圖像信息，與產業(yè)中利用的詞語“幀”一致，但是也將包括任何部分的(例如交錯)或者全部的圖像數(shù)據(jù)，用來在任何時刻或者在在任何間隔傳送視頻內容。
-測角色度-將涉及給定的作為視角或者觀察角度的函數(shù)的不同顏色或者色度的性質，例如通過彩虹產生的。
-測角光度-將涉及作為視角或觀察角度的函數(shù)的給定的不同光亮度、傳送和/或顏色的性質，例如發(fā)現(xiàn)于光芒四射、發(fā)火花或者回射現(xiàn)象。
-插值-將包括在兩組值之間的線性或者數(shù)學插值，還包括在兩組已知的值之間為設定值的功能性描述；-光特征-在廣義上，意思是例如由環(huán)境光源產生的任何光的性質的說明，包括除了亮度和色度的所有描述，例如光傳輸或者反射的程度；或者測角色度性質的描述，包括當觀察環(huán)境光源時，產生的顏色、閃耀或者其它已知的現(xiàn)象作為視角的函數(shù)的程度；光輸出方向，包括通過一個坡印廷或者其它傳播矢量給予的方向性；或者光角度的分布的描述，例如立體角或者立體角分布函數(shù)。還可以包括一個規(guī)定其在環(huán)境光源位置的坐標，例如單元像素或者燈的位置。
-亮度-將表示任何參數(shù)或者測得的明亮度、強度或者等價測量，并將不施加光產生的特定方法或者測量或者心理-生物的解釋。
-像素-將涉及真實的或者虛擬的視頻像元，允許像素信息偏差的等價信息。
-量化色空間-在說明書和權利要求的范圍中，將涉及可能顏色狀態(tài)的減少，例如導致從指定的大量色度(例如像素色度)到少量指定的色度或顏色；或者通過挑選被選擇像素的選擇過程，像素數(shù)目減少；或者儲存以產生代表性的像素或者超像素。
-著色色空間-將表示從作為設備和特定圖像的傳感器或者特定的光源或者顯示設備截取的圖像或者色空間。多數(shù)RGB色空間是著色圖像空間，包括用來驅動視頻顯示D的視頻顯示空間。在附加權利要求中，視頻顯示和環(huán)境光源88的特定色空間是著色色空間。
-轉換顏色信息至未著色色空間-在附加權利要求中將包含或者直接轉換至未著色色空間，或者利用或者受益于通過利用三色主矩陣的逆轉換，該三色主矩陣通過轉換至未著色色空間(如圖8所示的(M2)-1)而得到。
-未著色色空間-將表示一個標準或者非特定設備的色空間，例如這些利用標準CIE XYZ描述原圖像的比色法；例如在ISO17321標準中定義的ISO RGB；攝影YCC；和CIE LAB色空間。
-視頻-將指示任何視覺或者光產生裝置，無論需要能量產生光的有源設備，或者任何傳送圖像信息的傳送媒體，例如辦公大樓的窗子，或者從遠處得到的圖像信息的光波導。
-視頻信號-將指示為控制視頻顯示單元傳送的信號或者信息，因此包括任何音頻部分?？梢灶A期視頻內容分析包括為音頻部分可能的音頻內容分析。一般地，視頻信號可以包含任何類型的信號，例如利用任何數(shù)量的已知的調制技術的無線電頻率信號；電信號，包括模擬和量化模擬波形；數(shù)字(電)信號，例如那些利用脈寬調制、脈沖數(shù)目調制、脈沖位置調制、PCM(脈沖編碼調制)和脈沖放大調制；或者其它信號例如聽覺信號，聲音信號和光信號，它們都能夠利用數(shù)字技術。其中僅僅順序排列或者其它信息的數(shù)據(jù)，例如在基于計算機應用中，也可以利用。
-加權-將涉及任何在這里給出的為特定的色度或者空間位置給出優(yōu)先狀態(tài)或者較高數(shù)學加權的等價方法。
具體描述如果需要，按照本發(fā)明由視頻內容得到的環(huán)境光形成為，允許對原始視頻場景光有高的逼真度，然而保持高程度的環(huán)境光自由度特性僅需要低的計算負擔。這允許具有小的顏色色域環(huán)境光源和亮度降低空間，來模擬從具有相對大的顏色色域和亮度響應曲線的更高級的光源發(fā)出的視頻場景光。用于環(huán)境照明的可能的光源能夠包括任何數(shù)目的已知的發(fā)光設備，包括LED(發(fā)光二極管)和相關的半導體輻射源；電致發(fā)光設備包括非半導體類型；白織燈，包括用鹵素或者更高級的化學物質的更改類型；離子放電燈，包括熒光和氖燈；激光器；再調制的光源，例如通過利用LCD(液晶顯示器)或者其它光調制器；光致發(fā)光發(fā)射器，或者任何數(shù)量已知的可控光源，包括功能類似顯示器的陣列。
這里給出的說明部分，將部分地首先涉及從視頻內容提取顏色信息，隨后，涉及提取方法，以獲得能夠代表視頻圖像或者場景的環(huán)境發(fā)射的主色或者真實顏色。
參考圖1，其僅以示例性的目的用于說明按照本發(fā)明的視頻顯示D的簡單前表面圖。顯示D可以包括任何數(shù)目已知的從著色色空間解碼視頻內容的設備，如NTSC、PAL或者SECAM廣播標準，或者著色RGB空間，例如Adobe RGB。顯示D可以包括可選擇的顏色信息提取區(qū)域R1，R2，R3，R4，R5和R6，它們的邊界可以與那些圖解區(qū)域分離。顏色信息提取區(qū)域可以任意預先確定并具有產生特有環(huán)境光A8的特征，例如通過后面安裝可控環(huán)境照明單元(未示出)，其產生和發(fā)射如圖所示的環(huán)境光L1、L2、L3、L4、L5和L6，例如通過將部分光泄漏到顯示D安裝的墻(未示出)上?？蛇x擇地，如圖所示的顯示幀Df自己也包括以簡單的方式顯示光的環(huán)境照明單元，包括向外向觀看者(未示出)。如果希望，每一個顏色信息提取區(qū)域R1-R6可以單獨的影響接近它的環(huán)境光。例如，如圖所示，顏色信息提取區(qū)域R4可以影響環(huán)境光L4。
參考圖2，俯視圖-部分的示意以及部分的截面圖-顯示場所或者環(huán)境空間A0，其中，利用本發(fā)明，產生來自多環(huán)境光源的環(huán)境光。在環(huán)境空間A0設置所示的座位和桌子7，配置它們以允許觀看視頻顯示D。在環(huán)境空間A0也配置了大量環(huán)境照明單元，利用即時發(fā)明，其被隨意地控制，包括所示的光揚聲器1-4、所示的在沙發(fā)或者座位下面的地燈SL，還有一組配置在顯示D周圍的特殊模擬環(huán)境照明單元，即如圖1所示的產生環(huán)境光Lx的中心燈。這些環(huán)境照明單元的每一個可以發(fā)射環(huán)境光A8，如圖中陰影部分所示。
與此即時發(fā)明結合，可以任意地從這些環(huán)境照明單元產生環(huán)境光，伴隨從這些環(huán)境照明單元里得到但是實際上沒有通過視頻顯示D發(fā)射的顏色或者色度。這允許開拓人眼的特征和視覺系統(tǒng)。值得注意，人視覺系統(tǒng)的亮度功能，其對于不同可視波長具有探測靈敏度，作為光等級的函數(shù)而變化。
例如，暗視或者夜視依靠傾向對藍色和綠色更加敏感的視網(wǎng)膜桿。利用錐形細胞的明視更加適合探測長波長的光，例如紅色和黃色。在劇院環(huán)境的黑色空間，通過調制或者變化傳送給在環(huán)境空間中的視頻觀看者的顏色，可以稍微抵消不同顏色的相對發(fā)光度的這些變化作為光等級的函數(shù)。這可以通過從環(huán)境照明單元減去來完成，例如利用光調制器(未示出)的光揚聲器1-4或者通過利用在光揚聲器上增加元件，即光致發(fā)光發(fā)射器在環(huán)境釋放前進一步改變光。光致發(fā)光發(fā)射器通過吸收或者經歷來自光源的入射光的激勵而執(zhí)行顏色轉換，然后再次發(fā)射在更高的期望波長中的光。光致發(fā)光發(fā)射器這種激勵和再次發(fā)射，例如熒光染料，可以允許沒有在原始視頻圖像或者光源中出現(xiàn)的新的顏色著色，或許也沒有在顯示D的固有操作的顏色或者顏色色域范圍內。當希望的環(huán)境光Lx的亮度低時，這是有幫助的，例如在很黑的場景中，以及當希望的感知水平比通常沒有光調制時得到的感知水平高時。
新顏色的產生可以提供新的和有趣的視覺效果。說明的例子可以是橙色光的產生，例如被稱為尋覓的橙色，對于它，可用的熒光染料是眾所周知的(參照參考[2])。給出的例子包括熒光顏色，其與一般的熒光現(xiàn)象和相關現(xiàn)象對立。利用熒光橙色或者其它熒光染料種類對低光條件尤其有用，這里紅色和橙色的促進可以抵消暗視覺對長波長的靈敏度。
在環(huán)境照明單元利用熒光染料可以包括在染料類別中已知的染料，例如二萘嵌苯，萘酰亞胺，香豆素，噻噸，蒽醌，硫靛，以及專用的染料類別，例如由美國俄亥俄州克里夫蘭日光熒光染料顏色公司生產的。可用的顏色包括阿帕契黃，底格里斯黃，大草原黃，Pocono黃，莫霍克黃，波拖馬可河黃，萬壽菊橙，渥太華紅，伏爾加紅，大馬哈粉，以及哥倫比亞藍。這些染料類別可以利用已知的過程組合到合成樹脂中，例如PS、PET以及ABS。
熒光染料和材料已經提高了視覺效果，因為它們可以設計得比同色度的非熒光材料亮很多。用于產生熒光顏色的傳統(tǒng)的有機顏料的所謂耐久性問題，在近二十年得到了很大的解決，隨著技術的進步，已經導致耐久性熒光顏料的發(fā)展，暴露在陽光下，其可保持它們逼真的著色7-10年。因此這些顏料在進入UV射線最小的家庭影院環(huán)境中幾乎不受破壞。
可選擇地，熒光光顏料能夠利用，它們通過吸收短波長的光簡單地工作，并且再次將該光作為例如紅色或橙色的長波長的光發(fā)射。無機顏料的技術提高已經使可視光在激勵下可以實現(xiàn)，例如藍色和紫色，例如400-440nm的光。
測角色度和測角光度作用能夠相似地展開來產生不同光的作為視角函數(shù)的顏色、亮度和特征。為實現(xiàn)這一效果，環(huán)境照明單元1-4和SL和Lx能夠單獨的或者聯(lián)合地利用已知的測角光度元件(未示出)，例如金屬的和珠光般的傳遞著色；利用公知的散射或者薄膜干涉作用的彩虹材料，例如利用鱗狀實體；薄鱗片鳥嘌呤；或者有防腐劑的2-氨基次黃嘌呤。利用精細的云母或者其它物質作為擴散體，例如由氧化層、斑銅礦或者孔雀礦制造的光芒四射的材料；金屬薄片、玻璃薄片或者塑料薄片；顆粒物質；油；毛玻璃，和毛塑料。
參考圖3，表示按照本發(fā)明提取顏色信息(例如主色或者真實顏色)和作用色空間轉換以驅動環(huán)境光源的一個系統(tǒng)。在第一步驟，利用已知的技術從視頻信號AVS提取顏色信息。
視頻信號AVS可以包括已知的用于MPEG編碼、音頻PCM編碼等等的數(shù)字數(shù)據(jù)幀或者包?？梢岳靡阎木幋a方案給數(shù)據(jù)包，例如帶有可變長度數(shù)據(jù)包的程序流，或者均勻平分數(shù)據(jù)包的傳送流，或者其它單程序傳送流的方案?？蛇x擇地，這里公開的功能步驟或者方框圖可以利用計算機編碼或者其它通信標準模擬，包括異步協(xié)議。
作為一般的例子，所示的視頻信號AVS可以經歷所示的視頻內容分析CA，可能利用已知的方法在所示的硬盤HD來回記錄和傳遞選擇的內容，可能應用所示的內容類型庫或者其它存儲在存儲器MEM的信息。這能夠允許選擇視頻內容的單獨的、平行的、直接的、延遲的、連續(xù)的、周期的或者非周期的轉換。由這些視頻內容，可以執(zhí)行所示的特征提取FE，例如一般地提取顏色信息(例如主色)，或者從一個圖像特征提取。顏色信息在著色色空間還要被編碼，然后轉換到未著色空間，例如利用所示的RUR映射轉換電路10的CIE XYZ。這里的RUR代表希望的轉換類型，即，著色-未著色-著色，這樣RUR映射轉換電路10進一步轉換顏色信息至第二著色色空間，該第二著色色空間被形成為允許驅動所述環(huán)境光源88。RUR轉換時優(yōu)選的，但是可以利用其它的映射，只要能夠利用環(huán)境光產生電路或其等價裝置在第二著色色空間接收信息。
RUR映射轉換電路10可以功能性地包含在計算機系統(tǒng)中，其利用軟件來執(zhí)行相同的功能，但是在解碼由數(shù)據(jù)傳送協(xié)議傳送的分組信息的情況下，在電路10內存在一個存儲器，其包含或者被更新以便包含相互關聯(lián)或者提供著色色空間系數(shù)等等的信息。新產生的第二著色色空間是適當?shù)牟⑶蚁Ｍ麑⑵溆糜隍寗迎h(huán)境光源88(如圖1和2所示)，并且用所示的對環(huán)境光產生電路18的編碼供給。環(huán)境光產生電路18從RUR映射轉換電路10得到第二著色色空間信息，然后說明從任何用戶界面以及任何合成偏好存儲器(和U2一起所示)的任何輸入，在參考所示的可能導致環(huán)境光(第二著色)色空間查找表格LUT之后，用于發(fā)展真實環(huán)境光輸出控制參數(shù)(例如施加的電壓)。將由環(huán)境光產生電路18產生的環(huán)境光輸出控制參數(shù)供給所示的燈界面驅動器D88，以直接控制或供給所示的環(huán)境光源88，其可以包括單獨的環(huán)境照明單元1-N，例如前面引用的如圖1和2所示的環(huán)境光揚聲器1-4，或者環(huán)境光中心燈Lx。
為減少任何實時計算負擔，從視頻信號AVS移除的顏色信息可以被省略或者限制。參考圖4，表示從視頻提取區(qū)域計算平均顏色信息的方程，用于討論?？梢灶A期，如下面敘述的(參見圖18)，視頻信號AVS的視頻內容將包含一系列時間序列視頻幀，但是這并不是必需的。對于每一個視頻幀或者等價時間框圖，可以從每一個提取區(qū)域(例如R4)提取平均值或者其它顏色信息。每一個提取區(qū)域可以被設置以具有特定的大小，例如對100×376個像素。假設，例如幀頻率為25幀/秒，對于每一個視頻RGB三主色，在提取平均值(假設只有1字節(jié)需要規(guī)定8比特的顏色)之前提取區(qū)域R1-R6的合成的總數(shù)據(jù)將會是6×100×376×25或者5.64兆字節(jié)/秒。這種數(shù)據(jù)流很大，并且在RUR映射轉換電路10中很難處理，因此，對每一個提取區(qū)域R1-R6的平均顏色的提取可以在特征提取FE中起作用。特別地，所示的能夠對每一個m×n像素的提取區(qū)域的每一個像素求和RGB顏色通道值(如Rij)，并且通過m×n像素的數(shù)目來達到每一個主RGB的均值，例如所示的為紅色的Ravg。這樣重復對每一個RGB顏色通道的求和，每一個提取區(qū)域的均值將會是一個三位字節(jié)RAVG＝Ravg，Gavg，Bavg|。對所有的提取區(qū)域R1-R6和每一個RGB顏色通道，重復同樣的過程。提取區(qū)域的數(shù)目和大小可以與所示的不一樣，也可以按照希望的那樣劃分。
通過RUR映射轉換電路10執(zhí)行顏色映射轉換的下一步可以是所示的說明性的和利用所示的三色主矩陣表示，例如如圖5所示，其中具有向量R，G，B的著色三色空間利用帶有元素Xr，max，Yr，max，Zr，max三色主矩陣M轉換，其中Xr，max是R最初在最大值輸出的三色值。
從著色色空間至未著色、單獨設備空間的轉換可以是圖像和/或特別的設備-已知的線性化，像素重建(如果需要)和白點選擇步驟可以被執(zhí)行，隨后是矩陣轉換。在這種情況下，我們簡單地選擇采用著色視頻輸出空間作為轉換至未著色色空間比色的出發(fā)點。未著色圖像需要經過到第二著色空間的附加轉換，以使它們可視或者可印刷，并且這樣的RUR轉換包括到第二著色空間的轉換。
在第一可能的步驟，圖6和7表示繪制視頻著色色空間的矩陣方程，分別由主R，G，B和環(huán)境光著色色空間表示，分別由主R’，G’，B’表示，到所示的未著色色空間X，Y，Z，在這里，三色主矩陣M1轉換視頻RGB至未著色XYZ，三色主矩陣M2轉換環(huán)境光源R’G’B’至所示的未著色XYZ色空間。使圖8所示的著色空間RGB和R’G’B’相等，利用第一和第二三色主矩陣(M1，M2)，允許矩陣轉換著色(視頻)色空間和第二著色(環(huán)境)色空間的原色RGB和R’G’B’到所述未著色色空間(RUR映射轉換)；通過著色視頻色空間的原色RGB、第一三色矩陣M1和第二三色矩陣的逆矩陣(M2)-1進行矩陣相乘，得到顏色信息到第二著色色空間(R’G’B’)的轉換。然而已知顯示設備的三色主矩陣容易得到，本領域技術人員利用已知的白點法可以確定環(huán)境光源。
參考圖9-11，表示現(xiàn)有技術利用白點法得到一般三色主矩陣M。在圖9中，量SrXr代表每一個(環(huán)境光源)在最大輸出的主三色值，Sr代表白點振幅，Xr代表由(環(huán)境)光源產生的主光的色度。利用白點方法，利用已知的光源色度矩陣的逆，矩陣方程使Sr與白點參考值矢量相等。圖11是代數(shù)處理以提示白點基準值，例如Xw，是白點振幅或者亮度以及光源色度的乘積。貫穿始終，三色值X被設置等于色度x；三色值Y被設置等于色度y；三色值Z被限定為等于1-(x+y)。第二著色環(huán)境光源色空間的主色和基準白色元件能夠用已知的技術，例如通過利用顏色光譜儀獲得。
可以發(fā)現(xiàn)第一著色視頻色空間的相似的量。例如，已知當代的演播室監(jiān)視器在北美、歐洲和日本有稍微不同的標準。但是，例如，在高清電視(HDTV)上基本的標準已經國際一致，這些基本的標準接近地代表演播室監(jiān)視器在演播室視頻、計算以及計算機圖像方面的特征。這一標準正式地表示ITU-R推薦BT.709，其包括需要的參數(shù)，在這里，有關RGB的三色主矩陣(M)是0.640 0.300 0.150 ITU-R BT.709的矩陣M0.330 0.600 0.060
0.030 0.100 0.790白點的值也是已知的。
參考圖12，和圖3所示的系統(tǒng)相似，在為環(huán)境光發(fā)射的特征提取步驟FE之后，另外包括一個灰度系數(shù)校正步驟55?？蛇x擇地，灰度系數(shù)校正步驟55可以在由RUR映射轉換電路10和環(huán)境光產生電路18執(zhí)行的步驟之間執(zhí)行。已發(fā)現(xiàn)LED環(huán)境光源的最佳灰度系數(shù)值是1.8，因此可以利用已知的數(shù)學計算得出的灰度系數(shù)值來執(zhí)行用以抵消典型灰度系數(shù)為2.5的視頻色空間的負灰度系數(shù)校正。
一般地，RUR映射轉換電路10，其能夠是一個通過任何已知的適合的軟件平臺作用的功能塊，執(zhí)行如圖13所示的一般RUR轉換，在這里，所示的示意圖獲得包括例如視頻RGB的著色色空間的視頻信號AVS，并將其轉換到例如CIE XYZ的未著色色空間；然后到第二著色色空間(環(huán)境光源RGB)。RUR轉換之后，除了信號處理之外，如圖所示，可以驅動環(huán)境光源88。
圖14表示利用本發(fā)明獲得環(huán)境光源轉換矩陣系數(shù)的處理步驟，如圖所示，其中步驟包括驅動環(huán)境光單元；以及所示的本領域中的檢查輸出線性度。如果環(huán)境光源原色是穩(wěn)定的，(左邊分叉所示，穩(wěn)定原色)，利用顏色光譜儀可以得到轉換矩陣系數(shù)；另一方面，如果環(huán)境光源原色是不穩(wěn)定的，(右邊分叉所示，不穩(wěn)定原色)，可以復位在先給定的灰度系數(shù)校正(如圖所示，復位灰度系數(shù)曲線)。
一般地，希望從提取區(qū)域例如R4中每一個像素提取顏色信息，但這不是必須的，作為代替，如果需要，對已選擇像素的輪詢可以允許快速評估平均顏色，或者快速產生提取區(qū)域顏色特征的發(fā)生。圖15表示利用本發(fā)明視頻提取評估和環(huán)境光再現(xiàn)的處理步驟，這里的步驟包括[1]準備視頻再現(xiàn)色度(從著色色空間，例如視頻RGB)的評估；[2]轉換到未著色色空間；以及[3]為環(huán)境再現(xiàn)(第二著色色空間，例如LED RGB)的轉換色度評估。
按照本發(fā)明，已經發(fā)現(xiàn)需要用于從視頻幀支持視頻內容的提取和處理(例如主色)所需要的數(shù)據(jù)位流(參加下圖18)，可以通過明智的視頻幀子采樣來減少。參考圖16，表示按照本發(fā)明視頻幀提取的圖表。示出了一系列獨立的連續(xù)的視頻幀F(xiàn)，即視頻幀F(xiàn)1，F(xiàn)2，F(xiàn)3等等-例如由NTSC、PAL或者SECAM標準規(guī)定的獨立交織或者沒有交織的指定視頻幀。通過進行內容分析和/或特征提取-例如提取主色信息-從選定的連續(xù)幀，例如幀F(xiàn)1和FN，可以減少數(shù)據(jù)負載或開銷，同時保持可接受的環(huán)境光源的響應能力、現(xiàn)實性和逼真度。已經發(fā)現(xiàn)N＝10時可以給出好的結果，即從10個連續(xù)幀中子采樣一幀能夠工作。這提供了在低處理額外開銷的幀提取之間的刷新周期P，其中幀間插值過程能夠提供顯示D中的色度隨時間變化的恰當?shù)慕?。提取被選擇的幀F(xiàn)1和FN如圖所示(提取)并且色度參數(shù)的中間插入值，如G2、G3和G4所示，提供了必須的顏色信息來通知前面引用的環(huán)境光源88的驅動過程。這避免了在幀2至幀N-1中簡單凝固或者保持同樣顏色信息的需要。例如在提取的幀F(xiàn)1和FN之間的整體色度差別覆蓋插值幀G擴展的情況下，插入值可以線性地確定?？蛇x擇地，一個函數(shù)可以擴展以任何其它方式提取的幀F(xiàn)1和FN之間的色度差別，例如適合提取的顏色信息的時間顯象的高階近似。插值的結果可以用于通過預先訪問幀F(xiàn)來影響插值幀(例如在DVD播放器中)，或者可選擇地，插值可以在沒有預先選取幀F(xiàn)時用于影響將來的插值幀(例如在發(fā)射解碼中的應用)。
圖17表示按照本發(fā)明的簡化的色度評估處理步驟。幀提取的較高階分析可以相對本來可能的值擴大刷新周期P并擴大N。在幀提取期間，或者在提取區(qū)域Rx中選擇的像素臨時輪詢中，可以處理所示的簡化色度評估，這將導致要么下一幀提取的延遲，如左邊所示，要么使全部幀提取開始，如右邊所示。不論何種情況，插值繼續(xù)進行(插值)，帶有延遲的下一幀提取導致凝固，或者增加利用的色度值。這將在位流或者額外開銷的帶寬方面提供甚至更加節(jié)約的操作。
圖18表示圖3和12的頂部，在這里一個可選擇的提取步驟在所利用的幀解碼器FD旁顯示，在所示的步驟33，允許從提取區(qū)域(如R1)提取區(qū)域信息。進一步的處理或者組成的步驟35包括評估色度差別，并如所指示的一樣，利用這些信息設置視頻幀提取率。先于數(shù)據(jù)傳輸?shù)江h(huán)境照明和前面所示的產生電路18，如所示執(zhí)行下一處理步驟，該步驟執(zhí)行輸出計算00，如圖4的平均處理，或者如下面討論的主色提取的。
如圖19所示，表示本發(fā)明的顏色信息提取和處理的一般處理步驟包括獲得視頻信號AVS；從選擇的視頻幀(例如前面引用的F1和FN)提取區(qū)域(顏色)信息；在選擇的視頻幀之間插值；RUR映射轉換；可選擇的灰度系數(shù)校正；并利用這些信息驅動環(huán)境光源(88)。如圖20所示，在從選擇幀信息的區(qū)域提取之后可以插入另外兩個處理步驟可以執(zhí)行選擇幀F(xiàn)1和FN之間的色度差別評估，和依靠預定的準則，一個可以如指示設置新的幀提取率。這樣，如果連續(xù)幀F(xiàn)1和FN之間的色度差別很大，或者增加很快(例如大的一級導數(shù))，或者滿足其它一些準則，例如基于色度差別歷史，然后可以增加幀提取率，這樣減少了刷新周期P。然而，如果連續(xù)幀F(xiàn)1和FN之間的色度差別很小，并且很穩(wěn)定或者沒有快速增加(例如第一導數(shù)的絕對值低或者為零)，或者滿足其它的一些準則，例如基于色度差別歷史，然后可以節(jié)省需要的數(shù)據(jù)位流并降低幀提取率，這樣提高了刷新周期P。
參考圖21，表示按照本發(fā)明一個方面的一般處理過程。如圖所示，作為一個可選擇的步驟，可能減輕計算負擔，[1]相應于視頻內容的著色色空間被量化(QCS，量化色空間)，例如通過利用以下給出的方法；然后[2]選擇主色(或者主色的調色板)(DCE，主色提取)；以及[3]顏色映射轉換，例如執(zhí)行RUR映射轉換(10)(MT映射轉換至R’G’B’)來提高產生的環(huán)境光的逼真度、范圍和適合程度。
色空間的可選的量化可以減少可能顏色狀態(tài)和/或要測量的像素的數(shù)目，并且可以利用不同的方法執(zhí)行。作為一個例子，圖22示意性地表示一個可能的量化視頻內容的像素色度的方法。這里，如所示，說明性的視頻主值R范圍從值1至16，對任一個的這些主值R任意指定一個指定的顏色AC。這樣，例如，無論何時，任一紅色像素色度或者從1至16的值在視頻內容中相遇，因此會取代指定的顏色AC，導致在表現(xiàn)視頻圖像特征所需要的顏色數(shù)目中，以因數(shù)16單獨減少紅原色。在這個例子中，對所有三原色，這樣的可能顏色狀態(tài)的減少會導致以16×16×16，或者4096-在用于計算的顏色的數(shù)目中-的因數(shù)減少。這在許多視頻系統(tǒng)中的主色確定中減少計算負擔是極其有用的，例如那些具有8位的顏色，其呈現(xiàn)256×256×256或者16.78兆的可能顏色狀態(tài)。
另一個量化視頻色空間的方法如圖23所示，其示意性地表示另一個通過從大量像素Pi(例如所示的16)儲存像素色度到超像素XP的量化著色色空間的例子。儲存自身是一個方法，通過把相鄰的像素數(shù)學地(或者計算的)加在一起以形成一個超像素，這個超像素自身被用于進一步的計算或者表示。這樣，在視頻格式一般地具有，例如，0.75兆像素，選擇用來代替視頻內容的超像素的數(shù)目可以減少用來計算的像素的數(shù)目至0.05兆或者任何其它希望的小數(shù)目。
這樣的超像素的數(shù)量、大小、方向、形狀或者位置可以作為視頻內容的函數(shù)而變化。這里，例如，有利于在特征提取FE期間來保證超像素XP僅從圖像特征提取，而不是從邊緣區(qū)域或者背景提取，超像素XP相應地形成。圖24表示與圖23相似的儲存過程，但是這里超像素的大小、方向、形狀或者位置可以與所示的像素特征J8一致地形成。所示的圖像特征J8是鋸齒狀的或者不規(guī)則的，沒有直的水平或豎直的邊緣。如圖所示，選擇的超像素XP相應地模仿或者模擬圖像特征形狀。除了具有定制的形狀以外，還可以利用已知的像素等級計算技術通過圖像特征J8影響超像素的位置、大小和方向。
量化可以使像素色度和替換的指定顏色(如指定顏色AC)一致。那些指定的顏色可以任意指定，包括利用優(yōu)選的顏色矢量。因此，不利用指定顏色的可選的或者均勻的組，至少一些視頻圖像像素色度可以被設定為優(yōu)選的顏色矢量。
圖25表示在標準笛卡爾CIE x-y色度圖或者顏色圖上的區(qū)域顏色矢量和它們的顏色或者色度坐標。這個圖表示所有已知的顏色或者可感知的顏色在最大發(fā)光度處作為色度坐標x和y的函數(shù)，所示納米光波長和CIE標準發(fā)光白點作為參考。3個區(qū)域光矢量V在此圖上顯示，在這里，可以看到一個顏色矢量V位于顏色色域的外面，顏色色域是通過PAL/SECAM、NTSC和Adobe RGB顏色產生標準(所示的色域)得到的。
為了清楚，圖26表示圖25的CIE圖的一部分的特寫，另外表示像素色度Cp和它們指定的區(qū)域顏色矢量V。指定區(qū)域顏色矢量的標準可以改變，利用已知的計算技術，并可以包括歐幾里得計算或者與其它特定顏色矢量V的距離。被標記的顏色矢量V，位于顯示系統(tǒng)的著色色空間或者顏色色域外面；這可以允許優(yōu)選的容易通過環(huán)境照明系統(tǒng)或者光源88產生的色度能變成用于量化著色(視頻)色空間中的一種指定顏色。
一旦利用一個或多個上述給定的方法得出指定顏色的分布，下一步是執(zhí)行從指定顏色分布中通過提取以下任一項進行主色提取[a]指定顏色的方式；[b]指定顏色的中值；[c]指定顏色色度的加權平均值；或者[d]利用加權函數(shù)的加權平均值。
例如，可以用直方圖方法來選擇以最高頻率發(fā)生的指定顏色。圖27表示的直方圖給出了指定像素顏色或者最經常發(fā)生(參見坐標，像素百分比)的顏色(指定顏色)，即，指定顏色分布的方式。該方式或十種已利用的指定顏色之中的大多數(shù)可以選擇作為主色DC(已示出)，用于通過環(huán)境照明系統(tǒng)的利用或模擬。
同樣的，指定顏色分布的中值可以被選擇作為或者幫助影響主色DC的選擇。圖28示意性地表示指定顏色分布的中值，在這里選擇顯示的中值或者中間值(為偶數(shù)數(shù)目的指定顏色插值)作為主色DC。
可選擇地，可以利用加權平均值執(zhí)行指定顏色的求和，以便影響主色的選擇，可能更加適合環(huán)境照明系統(tǒng)顏色色域的強度。圖29表示指定顏色色度的加權平均值的數(shù)學求和。為了清楚，示出了單一變量R，但是可以利用任何數(shù)目的維度或者坐標(例如CIE坐標x和y)。色度變量R以像素坐標(或者超像素坐標，如果需要)i和j表示，在這個例子中i和j分別在1和n以及1和m之間取值。帶有所示的索引i和j的色度變量R與像素加權函數(shù)W相乘，然后進行整體的求和；結果除以像素數(shù)目n×m以得到加權平均值。
利用像素加權函數(shù)的相似的加權平均值如圖30所示，除了所示的W也是所示的像素位置i和j的函數(shù)外，與圖29相似，這允許空間主函數(shù)。通過也對像素位置加權，顯示D的中心或者任何其它部分可以在主色DC的選擇或者提取期間被強調，這將在下面討論。
加權求和可以通過上面給出的給定提取區(qū)域信息步驟33執(zhí)行，可以以任何已知的方式選擇和存儲W。像素加權函數(shù)W可以是任一函數(shù)或者算符，這樣，可以包含整體，對于特定的像素位置，可以排除零?？梢岳靡阎募夹g識別圖像特征，如圖34所示，為了服務更大的目的，W可以被相應地改變。
利用以上方法或者任何等價方法，一旦指定的顏色被選擇為主色，通過環(huán)境照明系統(tǒng)，可以對用于表示的適當?shù)纳葓?zhí)行更好的評估，特別是當考慮如果所有的色度和/或所有的視頻像素時，需要的計算步驟比它們原本需要的更少。圖31表示在指定顏色的分布中確定感興趣的顏色，然后在那里提取指定的像素色度，以得到一個真實主色作為指定的主色?？梢钥闯?，像素色度Cp指定給兩個指定的顏色AC；不選擇在圖的底部示出的指定顏色AC作為主色，然而上面的指定顏色被視作主色(DC)并被選作所示的感興趣的顏色COI。然后可以進一步檢查指定給(或者至少部分地)視為感興趣的顏色COI的指定顏色AC的像素，并且通過直接讀出它們的色度(例如利用均值，如圖4所示，或者為特別的目的，在已經給定的小區(qū)域內，執(zhí)行主色提取步驟)，可以獲得主色的更好的再現(xiàn)，在此所示作為真實主色TDC。任何為此需要的處理步驟可以利用上面給出的步驟和/或組件來完成，或者通過利用獨立的真色選擇器，其可以是已知的軟件程序或者子程序或者任務電路或者其等價物。
如圖32所示，按照本發(fā)明的主色提取可以執(zhí)行多次或者獨立地并行提供一主色調色板，其中主色DC可以包括主色DC1+DC2+DC3。
如圖30提到的，加權函數(shù)或者等價物可以通過像素位置提供加權，以允許對某些顯示區(qū)域特別的考慮或者強調。圖33表示如圖1所示的視頻顯示的簡單前表面圖，并表示一個在優(yōu)選的空間區(qū)域將不等加權提供給像素Pi的例子。例如，如圖所示，顯示的某些區(qū)域C可以利用數(shù)值上大的加權函數(shù)W加權，同時，一個提取區(qū)域(或者任何區(qū)域，例如場景背景)可以利用數(shù)值上小的加權函數(shù)W加權。
如圖34所示，這種加權或者強調可以施加在圖像特征J8上，其中給出了圖33所示的視頻顯示的簡單的前表面圖，在這里利用已知的技術通過特征提取步驟FE來選擇圖像特征J8(一條魚)(參見圖3和12)。圖像特征J8可以是在所示的或者上面所述在主色提取DCE之中僅利用的視頻內容，或者是利用的視頻內容的一部分。
參考圖35，可以看出利用這里給出的方法，允許通過至少部分地依賴前一幀的至少一個主色，獲得為視頻幀選取的主色。圖示的幀F(xiàn)1，F(xiàn)2，F(xiàn)3和F4經歷如圖所示的獲得主色提取DCE的過程，其目的是分別提取所示的主色DC1、DC2、DC3和DC4，其中，通過計算，可以建立為幀選擇的主色，表示為DC4，作為所示的主色DC1、DC2和DC3的函數(shù)(DC4＝F(DC1，DC2，DC3))。這允許為幀F(xiàn)4選取主色DC4的任何簡化過程，或者更好地通知其中前面的幀F(xiàn)1，F(xiàn)2，F(xiàn)3的主色選取，幫助影響主色DC4的選取。這個簡化過程如圖36所示，在這里用于減少計算負擔，臨時的主色提取DC4*利用色度評估，然后在下一步由從前面的幀(或者前面單一的幀)提取的主色來輔助，以幫助準備DC4的選擇(利用簡化過程準備DC4)。
一般地，環(huán)境光源88可以包含不同的擴散器效應來產生光混合，還有半透明或者其它現(xiàn)象，例如通過利用具有磨砂的或者光滑表面的燈結構；有棱紋的玻璃或者塑料；或者孔徑結構，例如通過利用環(huán)繞獨立光源的金屬結構。為提供這些感興趣的結果，可以利用任何數(shù)量的已知的擴散和散射材料或者現(xiàn)象，包括通過從小的懸浮顆粒利用散射獲得；有暗影的塑料或者樹脂，準備利用膠體、乳膠或者水珠1-5:m或者更少，例如少于1:m，其中包括長期的有機混合物；凝膠；和溶膠，本領域技術人員知道其的生產和制造。散射現(xiàn)象可以包括可視波長的瑞利散射，例如為提高環(huán)境光的藍色進行藍色的產生。產生的顏色可以區(qū)域定義，例如在某些區(qū)域整個帶藍色的色調或者區(qū)域色調，例如作為藍色光產生的上端部分(環(huán)境光L1或L2)。
環(huán)境燈還可以與測角光度元件配合，例如圓柱形棱鏡或者透鏡，其可以形成、集成、或者插入在燈結構的內部。這可以在產生的光特征作為觀看者位置的函數(shù)變化時允許特殊的效果?？梢岳闷渌庑螤詈托问?，包括矩形的、三角形的或者不規(guī)則形狀的棱鏡或者形狀，它們可以放置在環(huán)境照明單元上面或者組成環(huán)境照明單元。結果是不是產生了各向同性的輸出，獲得的效果可以無限地改變，例如投射到環(huán)境光源周圍的周圍墻上、物體上和表面上的感興趣的光頻帶，當場景元素、顏色和強度在視頻顯示單元上變化，在黑暗的房間里產生一種光顯示。這種效果可以是劇院環(huán)境光元素，其作為觀看者位置的函數(shù)-當觀看家庭劇場時，觀看者從椅子上站起來或者移動觀看位置時-易感知地變化光特征，例如觀看帶藍色的火花，然后是紅光。測角光度元件的數(shù)目和類型幾乎可以無限制的利用，包括成片的塑料、玻璃和由擦傷和適度破壞性的制造技術產生的光學效果?？梢灾圃飒毺氐沫h(huán)境燈，即使對不同的劇場效果，可以是可互換的。這些效果可以是可調制的，例如通過改變允許通過測角光度元件的光量，或者通過改變環(huán)境照明單元的不同點亮部分(例如，利用子燈或者成組的LED)。
這樣，圖1所示的在L3中產生的環(huán)境光來模擬提取區(qū)域R3可以具有一個色度，其提供在那個區(qū)域的現(xiàn)象的感知延伸，例如所示的運動的魚。這可以增加視覺經驗并提供合適的并且不刺眼或者正常匹配的色調。
視頻信號AVS當然可以是數(shù)字數(shù)據(jù)流和包含同步比特和級聯(lián)比特；奇偶校驗位；錯誤代碼；交織；特殊調制；數(shù)據(jù)串報頭，和希望的元數(shù)據(jù)例如環(huán)境光效果的描述(例如“發(fā)光風暴”；“日出”等等)以及本領域技術人員將能實現(xiàn)的功能步驟，為了清楚，這里給出的僅僅是說明性的并不包括常規(guī)的步驟和數(shù)據(jù)。
如圖3和12所示的圖形用戶界面&偏好存儲器可以用來變化環(huán)境照明系統(tǒng)行為，例如給希望的視頻顯示D的視頻內容變化顏色逼真度的程度；變化華麗，包括任何熒光顏色或者色域之外的顏色被發(fā)射到環(huán)境空間的程度，或者根據(jù)視頻內容的變化，環(huán)境光的變化有多快和多大，例如通過在光腳本命令內容中增大變化的亮度或者其它性質。這可以包括高級內容分析，其可以為電影或者特定特征的內容制作平緩的色調。在內容中包括很多黑暗場景的視頻內容，能夠影響環(huán)境光源88的行為，引起環(huán)境光的暗淡發(fā)射，而華麗的或者明亮的色調可以用于某些其它的內容，象許多肉色或者明亮場景(陽光照耀的沙灘，大草原上的一只老虎，等等)。
這里給出的敘述能夠使本領域技術人員利用本發(fā)明。利用本即時教導，很多配置是可能的，這些給出的配置和排列僅僅是說明性的。在這里并非所有的尋找的目標都需要演示，例如，在沒有脫離本發(fā)明的情況下，第二著色色空間的特殊的轉換可以從這里給出的教導中排除，特別是當著色色空間RGB和R’G’B’是類似的或者相同的時候。在實踐中，教導或者權利要求的方法可以作為較大系統(tǒng)的一部分顯示，較大系統(tǒng)可以是娛樂中心或者家庭劇院中心。
眾所周知，這里說明性地教導的函數(shù)和計算可以利用軟件或者機器碼功能性地再現(xiàn)和模擬，本領域技術人員能夠利用這些教導而不管這里教導的編碼和解碼的方式的控制。當為了執(zhí)行像素等級統(tǒng)計而考慮不是嚴格必須將解碼視頻信息變成幀的時候，這尤其是真的。
本領域技術人員基于這些教導，能夠更改這里教導和要求的裝置和方法，例如，重新排列步驟或者數(shù)據(jù)結構以適合特殊的應用，創(chuàng)造可以很少的包括相似的選擇說明性目的的系統(tǒng)。
利用上述例子公開的本發(fā)明可以利用上面一些敘述的特征來實現(xiàn)。同樣，這里沒有教導或者要求的東西將不排除其它結構或者功能元件的增加。
明顯地，按照上面的教導，本發(fā)明的改變和變化是可能的。因此可以理解，本發(fā)明可以在附加的權利要求的范圍內利用，而不是在這里特別的描述或者建議。
權利要求
1.一種從在著色色空間(RGB)中編碼的視頻內容提取主色以產生由環(huán)境光源(88)模擬的主色(DC)的方法，其包括[1]量化在所述著色色空間中的來自所述視頻內容的至少一些像素色度(Cp)，以形成指定顏色(AC)的分布；[2]從所述指定顏色的分布中執(zhí)行主色提取，以通過提取下面任何一項產生主色[a]所述指定顏色的模式；[b]所述指定顏色的中值；[c]所述指定顏色的色度的加權平均值；[d]利用加權函數(shù)(W(i，j，R))的加權平均值；[3]從所述著色色空間轉換所述主色到第二著色色空間(R’G’B’)，該第二著色色空間被形成為允許驅動所述環(huán)境光源。
2.如權利要求1所述的方法，其中所述量化包括將多個所述像素色度指定到所述指定顏色中的其中一個上。
3.如權利要求1所述的方法，其中所述量化包括儲存所述像素色度到至少一個超像素(XP)中。
4.如權利要求3所述的方法，其中所述超像素的尺寸，方向，形狀，或位置中任何一個與圖像特征(J8)相適應地形成。
5.如權利要求3所述的方法，另外包括將所述超像素中的多個所述像素色度(Cp)指定到所述指定顏色中的其中一個上。
6.如權利要求1所述的方法，其中所述指定顏色中至少一個是區(qū)域顏色矢量(V)，其在所述著色色空間中不是必需的。
7.如權利要求6所述的方法，其中所述區(qū)域顏色矢量位于所述第二著色色空間中。
8.如權利要求1所述的方法，另外包括在所述指定顏色的分布中確定至少一種感興趣的顏色(COI)并且提取指定在那里的像素色度，以得到一種要指定為所述主色的真實主色(TDC)。
9.如權利要求8所述的方法，其中所述像素色度的至少部分來自于通過存儲所述像素色度得到的超像素(XP)。
10.如權利要求1所述的方法，其中所述主色包括主色(DC1+DC2+DC3)的調色板。
11.如權利要求1所述的方法，其中步驟[3]包括[3a]從所述著色色空間轉換所述主色到未著色色空間(XYZ)；[3b]從所述未著色色空間轉換所述主色到所述第二著色色空間。
12.如權利要求11所述的方法，其中步驟[3a]和[3b]還包括步驟[3c]利用第一和第二三色主矩陣(M1，M2)，矩陣轉換所述著色色空間和第二著色色空間的原色(RGB，R’G’B’)到所述未著色色空間；和通過所述著色色空間的原色、所述第一三色矩陣以及所述第二三色矩陣的逆矩陣(M2)-1進行矩陣相乘，得到所述顏色信息到所述第二著色色空間(R’G’B’)的轉換。
13.如權利要求1所述的方法，其中從提取區(qū)域(R1)中得到步驟[1]的像素色度，且另外包括[4]從相鄰于所述提取區(qū)域的所述環(huán)境光源發(fā)射所述主色的環(huán)境光(L1)。
14.如權利要求1所述的方法，其中步驟[1]另外包括將述視頻信號解碼成一組幀，并且其中多個像素色度從通過所述一組幀中的一幀提取(FE)的圖像特征(J8)中得到。
15.如權利要求1所述的方法，其中步驟[1]另外包括將所述視頻信號解碼成一組幀，并且其中通過依賴于來自前一幀(F3)的至少一個主色而至少部分獲得幀(F4)的主色。
16.一種從在著色色空間(RGB)中編碼的視頻內容提取主色以產生由環(huán)境光源(88)模擬的主色(DC)的方法，其包括[1]在所述著色色空間中將所述視頻內容解碼成多個幀，并且在所述幀的其中一個中，量化至少一些來自提取區(qū)域(R1)的像素色度(Cp)，以形成指定顏色(AC)的分布；[2]從所述指定顏色的分布中執(zhí)行主色提取，以通過提取下面任何一項產生主色[a]所述指定顏色的模式；[b]所述指定顏色的中值；[c]所述指定顏色的色度的加權平均值；[d]利用加權函數(shù)(W(i，j，R))的加權平均值；[3a]從所述著色色空間轉換所述主色到未著色色空間(XYZ)；[3b]從所述未著色色空間轉換所述主色到所述第二著色色空間，由下列步驟進行輔助[3c]利用第一和第二三色主矩陣(M1，M2)，矩陣轉換所述著色色空間和第二著色色空間的原色(RGB，R’G’B’)到所述未著色色空間；和通過所述著色色空間的原色、所述第一三色矩陣以及所述第二三色矩陣的逆矩陣(M2)-1進行矩陣相乘，得到所述顏色信息到所述第二著色色空間(R’G’B’)的轉換[4]從相鄰于所述提取區(qū)域的所述環(huán)境光源發(fā)射所述主色的環(huán)境光(L1)。
17.如權利要求16所述的方法，其中所述提取區(qū)域被選擇成從一幀中提取(FE)的圖像特征(J8)。
18.如權利要求16所述的方法，另外包括在所述指定顏色的分布中確定至少一種感興趣的顏色(COI)并且提取指定在那里的像素色度，以得到一種要指定為所述主色的真實主色(TDC)。
19.如權利要求16所述的方法，其中所述指定顏色中的至少一個是區(qū)域顏色矢量(V)，其在所述著色色空間中不是必需的。
20.如權利要求16所述的方法，其中所述幀包括第一和第二幀，且通過依賴于來自前一幀(F3)的至少一個主色而至少部分獲得幀(F4)的主色。
全文摘要
提取并處理在著色色空間中編碼的視頻內容用于通過環(huán)境光源發(fā)射模擬，包括從視頻信號中提取主色信息，并使用三色主矩陣，經過未著色色空間轉換顏色信息以形成第二著色色空間用于環(huán)境分布。步驟包括量化著色色空間以形成指定的顏色分布，比如通過減少可能的顏色狀態(tài)，或存儲以形成超像素；利用像素色度的模式，平均值，中值，或加權平均值選擇主色?？蛇M一步分析感興趣的顏色以產生真實的主色，在先的視頻幀可用于指導在后幀中主色的選擇。
文檔編號H04N5/57GK1977529SQ200580022007
公開日2007年6月6日 申請日期2005年6月27日 優(yōu)先權日2004年6月30日
發(fā)明者S·古塔, M·J·埃爾廷 申請人:皇家飛利浦電子股份有限公司