專利名稱：利用感知規(guī)律提取主色以產(chǎn)生來自視頻內(nèi)容的環(huán)境光的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用多光源來產(chǎn)生和設(shè)置環(huán)境照明效果，典型地基于，或者結(jié)合例如來自視頻顯示或者顯示信號的視頻內(nèi)容。更特別地，涉及一種結(jié)合感知規(guī)律，實時地對視頻內(nèi)容采樣或者子采樣以提取主色信息的方法，并執(zhí)行從視頻內(nèi)容的色空間到最好允許驅(qū)動多個環(huán)境光源的色空間的顏色映射轉(zhuǎn)換。
背景技術(shù)：
工程師們?yōu)橥ㄟ^采樣視頻內(nèi)容來擴展感覺感受已作了長時間的探索，例如通過擴大視屏和投影區(qū)域，將聲音調(diào)制為真實的3維效果，并改善視頻圖像，包括寬的視頻色域，分辨率和圖像縱橫比，例如可采用高清晰度(HD)數(shù)字電視和視頻系統(tǒng)來實現(xiàn)。而且，電影，電視和視頻播放器也試圖利用視覺和聽覺手段影響觀看者的感受，例如通過巧妙地運用顏色，場景剪輯，視角，周圍的場景和計算機輔助圖形表示。這也將包括劇場舞臺照明。燈光效果，例如，光效通常和視頻或者戲劇場景同步編排，在按預(yù)期方案編碼的合適的場景腳本編程的機器或者計算機的幫助下進(jìn)行再現(xiàn)。
在數(shù)字領(lǐng)域的現(xiàn)有技術(shù)中，包括沒有計劃或者沒有腳本的場景在內(nèi)，響應(yīng)于場景快速變化的照明的自適應(yīng)，在大場景中很不容易去協(xié)調(diào)，因為額外的高帶寬位流需要利用目前的系統(tǒng)。
飛利浦(荷蘭)和其它公司已經(jīng)公開了利用遠(yuǎn)離視頻顯示的分離的光源，改變環(huán)境或周圍的照明來改善視頻內(nèi)容方法，其應(yīng)用于典型家庭或商業(yè)中，以及對于很多應(yīng)用，對預(yù)期的光效進(jìn)行在先編排或者編碼。已經(jīng)表明環(huán)境照明施加至視頻顯示或者電視能夠減少視覺疲勞和提高真實性以及感受深度。
感覺感受是人類視覺方面的自然的功能，其利用巨大而復(fù)雜的感管和神經(jīng)系統(tǒng)來產(chǎn)生對顏色和光效果的的感覺。人類能夠區(qū)分大概1千萬種不同的顏色。在人眼中，對于顏色接收或亮視覺，而具有大概2百萬稱作視錐的感覺體共三組，其具有光波長峰值分布在445nm、535nm以及565nm吸收分布，并具有大量的重疊。這三類視錐細(xì)胞形成所謂的三色系統(tǒng)，也因歷史原因而被稱為B(藍(lán))、G(綠)、R(紅)；峰值不必對應(yīng)于那些用在顯示中的任何主色，例如，常利用的RGB熒光體。也有用于暗適應(yīng)的相互作用，或者所謂稱作視網(wǎng)膜桿的夜視體。人眼典型地具有一億兩千萬個視網(wǎng)膜桿，其影響視頻感受，特別是在暗光條件下，例如在家庭影院中。
顏色視頻建立在人類視覺的規(guī)律上，眾所周知，人類視覺的三色和對立通道理論已經(jīng)被我們結(jié)合用來理解怎樣影響眼睛去看期望的顏色與原始信號或者預(yù)期圖像具有高逼真度的顏色和效果。在大多數(shù)顏色模型和空間中，三維或者坐標(biāo)用來描述人的視覺感受。
顏色視頻完全依賴位變異構(gòu)性，其允許利用少量的基準(zhǔn)色質(zhì)產(chǎn)生顏色感覺，而不是期望的顏色和特征的實際光。這樣，利用有限數(shù)目的基準(zhǔn)色質(zhì)，整個色域的顏色在人的頭腦中再現(xiàn)，例如全世界范圍在視頻再現(xiàn)中利用的眾所周知的RGB(紅，綠，藍(lán))三色系統(tǒng)。眾所周知，例如，幾乎所有的視頻顯示通過在每一個像素或者圖像單元中產(chǎn)生近似相等數(shù)量的紅光和綠光，而顯示黃色場景。像素與其對向的立體角相比很小，而且眼睛誤以為感知到黃色；它不能感知真實發(fā)射的綠色或者紅色光。
存在很多顏色模型和指定顏色的方式，包括眾所周知的CIE(國際照明委員會(Commission Interationale de I’eclairage))顏色坐標(biāo)系統(tǒng)，利用它來描述和規(guī)定用于視頻再現(xiàn)的顏色。即時創(chuàng)造可以利用任意數(shù)量的顏色模型，包括運用未著色的對立顏色空間，比如CIE L*U*V*(CIELUV)或者CIEL*a*b*(CIELAB)系統(tǒng)。建立于1931年的CIE是所有顏色的管理和再現(xiàn)的基礎(chǔ)，結(jié)果是利用三坐標(biāo)x、y和z的色度圖。該三維系統(tǒng)在最大亮度的區(qū)域根據(jù)x和y通常用于描述顏色，這個區(qū)域，稱為1931x，y色度圖，其被認(rèn)為能描述所有人類可感知的顏色。這與顏色再現(xiàn)形成對比，在這里位變異構(gòu)性欺騙了眼睛和大腦?，F(xiàn)今，很多正在利用的顏色模型或者空間通過利用三種基本色或熒光體而再現(xiàn)顏色，其中有Adobe RGB，NTSC RGB，等。
特別應(yīng)注意，視頻系統(tǒng)通過利用這些三色激勵系統(tǒng)所展示的所有可能顏色的范圍是有限的。NTSC(國際電視標(biāo)準(zhǔn)委員會)RGB系統(tǒng)具有相對寬的可用顏色范圍，但這個系統(tǒng)僅能再現(xiàn)人類能感知的所有顏色中的一半。利用傳統(tǒng)視頻系統(tǒng)的可用范圍不能足夠地再現(xiàn)多種藍(lán)色和紫色、藍(lán)綠色和橙色/紅色。
而且，人類視覺系統(tǒng)被賦予補償和識別特性，對它的認(rèn)識對于設(shè)計任何視頻系統(tǒng)是必要的。人類的顏色能夠以幾種顯示模式出現(xiàn)，在其中有目標(biāo)模式和發(fā)光模式。
在目標(biāo)模式中，光激勵被感知為光源照射的物體所反射的光。在發(fā)光模式中，光激勵被視為光源。發(fā)光模式包括在復(fù)雜場中的激勵，其比其它激勵更加明亮。它不包括已知為光源的激勵，比如視頻顯示器，其亮度或輝度與景物或觀看場地的全部亮度相同或更低，以便這種激勵以目標(biāo)模式顯示。
值得注意的是，有很多顏色僅在目標(biāo)模式中出現(xiàn)，在其中有，褐色、橄欖色、栗色、灰色、和淺褐肉色。沒有例如作為褐色光發(fā)光源的燈，比如褐色交通燈。
為此，補充給要增加物體顏色的視頻系統(tǒng)的環(huán)境光不能這樣利用亮光的作為直接光源。在近范圍內(nèi)的明亮的紅色和綠色光的結(jié)合不能再現(xiàn)褐色或栗色，因此選擇相當(dāng)受限。僅具有變化的強度和飽和度的彩虹的光譜顏色能夠通過對亮光源的光的直接觀察再現(xiàn)出來。這強調(diào)對環(huán)境照明系統(tǒng)的精細(xì)控制的需要，比如在注意色調(diào)管理的情況下，從光源提供低亮度的光輸出。在目前數(shù)據(jù)結(jié)構(gòu)下，該精密控制還不能在快速變化和精細(xì)環(huán)境照明方式下尋址。
視頻再現(xiàn)可采取很多形式。光譜顏色再現(xiàn)允許準(zhǔn)確再現(xiàn)初始激勵的光譜能量分布，但這不可在任何利用三主色的視頻再現(xiàn)中實現(xiàn)。準(zhǔn)確的顏色再現(xiàn)可復(fù)制人類視覺的三色值，產(chǎn)生與初始匹配的同質(zhì)異性，但對于圖像和原始場景的整體觀察條件必須相似，以獲得相似的顯示。圖像和原始場景的整體觀察條件包括圖像的邊角，周圍的亮度和色度，以及強光。不能經(jīng)常獲得精確的彩色再現(xiàn)的一個原因，是因為能在彩色監(jiān)視器上產(chǎn)生的最大亮度的受到限制。
當(dāng)三色值與原始場景的色度成比例，色度顏色再現(xiàn)提供了一種有用的替換。色度坐標(biāo)被準(zhǔn)確再現(xiàn)，但成比例地減少了亮度。如果原始的和再現(xiàn)的基準(zhǔn)白色具有相同的色度，觀察條件是相同的，且系統(tǒng)具有整體統(tǒng)一的灰度系數(shù)，色度顏色再現(xiàn)對視頻系統(tǒng)是好的參考標(biāo)準(zhǔn)。由于在視頻顯示中產(chǎn)生亮度有限，不能獲得與原始場景的色度和亮度匹配的等效的顏色再現(xiàn)。
實際中的大部分視頻再現(xiàn)試圖獲得相應(yīng)的顏色再現(xiàn)，在這里，如果原始場景被照亮而產(chǎn)生相同的平均亮度水平以及與再現(xiàn)中相同的基準(zhǔn)白色色度，再現(xiàn)的顏色將具有與原始場景一致的顏色表現(xiàn)。然而，很多爭論的最終目標(biāo)是顯示系統(tǒng)在實際中優(yōu)選的顏色再現(xiàn)，在此觀察者的偏好影響顏色的逼真度。例如，曬黑的皮膚顏色優(yōu)選為真實皮膚的平均顏色，且天空優(yōu)選為比實際更藍(lán)的顏色，且葉子比實際更綠。即使相應(yīng)的顏色再現(xiàn)被接受為設(shè)計標(biāo)準(zhǔn)，一些顏色比其它顏色更重要，比如肉色，其在很多再現(xiàn)系統(tǒng)比如NTSC視頻標(biāo)準(zhǔn)中是特別處理的主題。
在再現(xiàn)場景光線時，為獲得白平衡的色適應(yīng)是重要的。在適當(dāng)調(diào)整的攝影機和顯示器下，白色和中性灰以CIE標(biāo)準(zhǔn)日光光源D65的色度典型地再現(xiàn)。通過總是以相同的色度重現(xiàn)白色表面，該系統(tǒng)可模仿人類視覺系統(tǒng)，其固有地適應(yīng)感知以使白色表面總是呈現(xiàn)相同的顯示，而不管光源的色度，以使一張白紙，無論在陽光明媚的海灘上或是在室內(nèi)場景的白熾燈下，都能表現(xiàn)為白色。在顏色再現(xiàn)中，白平衡調(diào)整通常通過在R，G和B通道中的增益控制而獲得。
典型的彩色接收機的光輸出典型地不是線性的，而是符合冪律關(guān)系來施加視頻電壓。光輸出與提升至冪灰度系數(shù)的視頻驅(qū)動電壓成比例，在這里對彩色CRT(陰極射線管)灰度系數(shù)典型地為2.5，對其它類型的光源為1.8。在攝像機視頻處理放大器中通過三個主要的亮度灰度系數(shù)校正器補償該因子，以便經(jīng)編碼、傳送和解碼的主要視頻信號實際上不是R、G和B，而是R1/(，G1/(和B1/(。色度顏色再現(xiàn)需要視頻再現(xiàn)——包括攝像機，顯示器和任何灰度調(diào)整電子設(shè)備——的整體灰度系數(shù)統(tǒng)一，但當(dāng)嘗試相應(yīng)的顏色再現(xiàn)時，環(huán)境的亮度優(yōu)先。例如，暗淡的環(huán)境需要的灰度系數(shù)大約為1.2，黑暗的環(huán)境為獲得最佳的顏色再現(xiàn)需要的灰度系數(shù)大約為1.5。對RGB彩色空間，灰度系數(shù)是重要的執(zhí)行問題。
大多數(shù)顏色再現(xiàn)編碼利用標(biāo)準(zhǔn)RGB色空間，比如sRGB，ROMM RGB，Adobe RGB98，Apple RGB和比如在NTSC標(biāo)準(zhǔn)中所利用的視頻RGB空間。典型地，圖像被截取至傳感器或源設(shè)備空間，其為特殊的設(shè)備和圖像。其可以被轉(zhuǎn)換到未著色的圖像空間，這是表示原始色度的標(biāo)準(zhǔn)色空間(見定義部分)。
然而，視頻圖像往往直接從源設(shè)備空間轉(zhuǎn)換至著色的圖像空間(見定義部分)，其表示某些真實的或虛擬的輸出設(shè)備，比如視頻顯示的彩色空間。大部分存在的標(biāo)準(zhǔn)RGB色空間是著色的圖像空間。例如，由攝像機和掃描儀產(chǎn)生的源和輸出空間不是基于CIE的色空間，而是由光譜靈敏度和攝像機或掃描儀的其它特性限定的光譜空間。
著色圖像空間是基于真實或虛擬設(shè)備特性的色度的特殊設(shè)備的色空間。圖像能夠從著色的或未著色的圖像空間轉(zhuǎn)換到著色空間。這些轉(zhuǎn)換的復(fù)雜性會變化，且能夠包括復(fù)雜的圖像依賴算法。這種轉(zhuǎn)換是不可逆的，且放棄或壓縮原始場景編碼的一些信息，以適應(yīng)特殊設(shè)備的動態(tài)范圍和色域。
目前僅有一種未著色的RGB色空間，其正在變成為標(biāo)準(zhǔn)的過程中，定義在ISO17321中的ISO RGB，多用于數(shù)字照相機的顏色特性。在現(xiàn)今的多數(shù)申請中，為了存檔和數(shù)據(jù)轉(zhuǎn)換，轉(zhuǎn)換包括視頻信號的圖像至著色色空間。從一個著色圖像或色空間轉(zhuǎn)換到另一個，會導(dǎo)致嚴(yán)重的圖像假象。在兩設(shè)備之間色域和白點不匹配越多，則負(fù)面影響越大。
現(xiàn)有技術(shù)的環(huán)境光顯示系統(tǒng)的一個缺點是從視頻內(nèi)容中對用于環(huán)境發(fā)射的代表顏色的提取還是有問題的。例如，像素色度的顏色平均經(jīng)常導(dǎo)致灰色，褐色或其它偏色，這些不是視頻場景或圖像的感知的表示。從簡單的色度平均中得到的顏色看起來常常是模糊不清和錯選的，尤其是當(dāng)其與圖像特征，比如明亮的魚或主背景如藍(lán)天對比的時候。
現(xiàn)有技術(shù)環(huán)境光顯示系統(tǒng)的另一問題是還沒有提供特殊的方法用于實時同步的操作，以將著色的三色值從視頻轉(zhuǎn)換到環(huán)境光源，從而得到合適的色度和表現(xiàn)。例如，從LED環(huán)境光源發(fā)送的光常常是刺眼的，并帶有限制的或偏斜的色域——通常地，色調(diào)和色度難以評估和再現(xiàn)。例如，Akashi等人的美國專利6611297處理環(huán)境光的真實性，但沒有提供特別的方法用來確保正確和令人滿意的色度，且Akashi的297號專利并不允許實時分析視頻，而是需要腳本或其等效物。
另外，利用已校正的視頻內(nèi)容色空間的灰度系數(shù)的環(huán)境光源的設(shè)置常導(dǎo)致耀眼和明亮的顏色。另一現(xiàn)有技術(shù)的嚴(yán)重問題是需要轉(zhuǎn)換大量用于驅(qū)動環(huán)境光源的信息，該環(huán)境光源作為實時視頻內(nèi)容的函數(shù)，以適應(yīng)預(yù)期的快速變化的環(huán)境光環(huán)境，在其中期望高智能的顏色選擇。在現(xiàn)有技術(shù)中不存在用于施加感知規(guī)律以消除這些問題的方法。
因此，擴展通過環(huán)境照明結(jié)合典型三色視頻顯示系統(tǒng)所產(chǎn)生的顏色的可能色域是有益的，當(dāng)開發(fā)人眼的特性時，比如在作為亮度級函數(shù)的不同顏色的相對目視光度中的變化，通過調(diào)節(jié)或改變傳達(dá)給利用環(huán)境照明系統(tǒng)的視頻用戶的顏色和光特性，利用它來提高有益補償效果、靈敏度和其它人類視覺的特性，并提供環(huán)境輸出，其表現(xiàn)為不僅正確地從視頻內(nèi)容中獲得，而且靈活利用很多位于場景中的潛在的主色。
在不受到灰度系數(shù)引起的失真影響下，產(chǎn)生有質(zhì)量的環(huán)境氛圍也是有益的。其進(jìn)一步需要的是，能夠提供一種方法，利用對平均的或定性的顏色值編碼的節(jié)省的數(shù)據(jù)流，通過從選定的視頻區(qū)域提取主色，用于提供更好的環(huán)境照明。其進(jìn)一步需要的是，減少需要的數(shù)據(jù)流的大小，并允許施加感知規(guī)律以提高可觀察性、逼真度，并在為環(huán)境發(fā)射選擇色度和亮度中允許感知特性的訓(xùn)練。進(jìn)一步需要的是，這些由明確表現(xiàn)的用戶偏好影響的感知特性和規(guī)律的特征和效果，允許根據(jù)需要而產(chǎn)生不同的環(huán)境發(fā)送。
關(guān)于視頻和電視工程、壓縮技術(shù)、數(shù)據(jù)傳送和編碼、人類視覺、色彩場景和感知、色空間、色度、圖像著色，以及包括視頻再現(xiàn)的信息，將在下面的參考文獻(xiàn)中引用，這些文獻(xiàn)是這些信息在整體上的結(jié)合參考[1]Color Perception，Alan R.Robertson，Physics Today，1992年12月，第45卷，第12期，24-29頁；參考[2]The physics andChemistry of Color，2rd，Kurt Nassau，John Wiley & Sons，Inc.，NewYork2001；參考[3]Principles of Color Technology，3ed，Roy S.Berns，John Wiley & Sons，Inc.，New York，2000；參考[4]StandardHandbook of Video and Television Engineering，4ed，Jerry Whitakerand K.Blair Benson，McGraw-Hill，New York2003。

發(fā)明內(nèi)容
本發(fā)明的不同實施例給出的方法包括利用像素水平統(tǒng)計或功能等效在某種程度上以盡可能少的計算量確定或提取一個或多個主色，但在同時，提供根據(jù)感知規(guī)律選擇為主色的舒適和合適的色度。
本發(fā)明涉及從在著色色空間中編碼的視頻內(nèi)容中提取主色的方法，利用感知規(guī)律，通過環(huán)境光源來產(chǎn)生用于模擬的主色。可能的方法步驟包括[1]在著色色空間中，執(zhí)行從來自視頻內(nèi)容的像素色度提取主色，以通過提取下面各項產(chǎn)生主色[a]像素色度的模式；[b]像素色度的中值；[c]像素色度的色度的加權(quán)平均；[d]利用像素加權(quán)函數(shù)的像素色度的加權(quán)平均值，該函數(shù)是像素位置、色度和亮度的任一個的函數(shù)；[2]進(jìn)一步根據(jù)感知規(guī)律獲取主色的色度，感知規(guī)律從下面選擇[a]簡單色度轉(zhuǎn)換；[b]利用像素加權(quán)函數(shù)的加權(quán)平均值以進(jìn)一步用公式表示來自場景內(nèi)容的影響，該場景內(nèi)容通過為視頻內(nèi)容中的多個像素評估色度和亮度中任一個而獲得；[c]利用加權(quán)平均值進(jìn)一步提取主色，在這里像素加權(quán)函數(shù)公式表示為場景內(nèi)容的函數(shù)，該場景內(nèi)容通過對視頻內(nèi)容中的多個像素評估色度和亮度中任一個而獲得，且可進(jìn)一步公式表示像素加權(quán)函數(shù)，使得對于多數(shù)像素(MP)來說，最低限度地減小加權(quán)；而且[3]從著色色空間至第二著色色空間轉(zhuǎn)換主色，第二著色色空間被形成為允許驅(qū)動環(huán)境光源。
如果需要，像素色度(或著色色空間)可以量化，且可通過很多方法實現(xiàn)(見定義部分)，其目標(biāo)是通過在可能的顏色狀態(tài)中尋求簡化而減輕計算負(fù)擔(dān)，比如從分配的大量色度(例如像素色度)縮減到較少數(shù)量的指定色度或顏色；或通過挑出選擇像素的選擇過程來減少像素數(shù)量；或儲存以產(chǎn)生代表性的像素或超像素。
如果通過將像素色度儲存到至少一個超像素，部分地執(zhí)行著色色空間的量化，這樣產(chǎn)生的超像素可具有與圖像特征一致的尺寸、方向、形狀或位置。在量化過程中利用指定的顏色可選擇為區(qū)域顏色矢量，其不必在著色色空間中，比如可在第二著色色空間中。
該方法的其余的實施例包括其中的簡單色度轉(zhuǎn)換選擇用于產(chǎn)生環(huán)境光的第二著色色空間中發(fā)現(xiàn)的色度。
也可公式表示像素加權(quán)函數(shù)以提供黑暗支持，通過[4]評估視頻內(nèi)容以確定場景內(nèi)容中的場景亮度低；然后[5]執(zhí)行以下任何一個步驟[a]利用像素加權(quán)函數(shù)以進(jìn)一步降低明亮像素的加權(quán)值；和[b]發(fā)送主色，其通過利用相對于本來要產(chǎn)生的亮度降低的亮度獲得。
可選擇地，也可公式表示像素加權(quán)函數(shù)以提供顏色支持，通過[6]評估視頻內(nèi)容以確定場景內(nèi)容中的場景具有高亮度；然后[7]執(zhí)行以下步驟[a]利用像素加權(quán)函數(shù)以進(jìn)一步降低明亮像素的加權(quán)值；并[b]執(zhí)行步驟[2][c]。
可單獨重復(fù)進(jìn)一步的主色提取用于視頻內(nèi)容的不同場景特征，從而形成多個主色，且可在分配多個主色中每一個指定為像素色度的情況下重復(fù)步驟[1]。然后，如果需要，可在新出現(xiàn)的場景特征下為像素色度分別重復(fù)上述步驟[1](主色提取)。
可使至少一些像素色度的量化形成指定顏色的分布，這些像素色度來自著色色空間中的視頻內(nèi)容，且在步驟[1]中，至少可從指定顏色的分布中獲得一些像素色度?？商鎿Q地，此量化可包括將該像素色度存儲形成至少一個超像素。
如果形成指定的顏色分布，至少一種指定的顏色可以是著色色空間中非必需的區(qū)域顏色矢量，比如位于用于驅(qū)動環(huán)境光源的第二著色色空間的區(qū)域顏色矢量。
該方法還包括在指定的顏色分布中確定至少一種感興趣的顏色，然后提取在此指定的像素色度，以取得最終指定的真實的主色作為主色。
實際上，主色可包括主色的調(diào)色板，每一個調(diào)色板應(yīng)用該方法而獲得。
該方法也能在量化著色色空間后執(zhí)行，即，通過量化在著色色空間中視頻內(nèi)容的至少一些像素色度，以形成指定顏色的分布，以便主色提取的步驟[1]利用指定顏色(例如，[a]指定顏色分布的模式，等)的分布。然后，在相似的方式中，像素加權(quán)函數(shù)可如此公式表示以提供黑暗，通過[4]評估視頻內(nèi)容，以確定場景內(nèi)容中的場景具有低亮度；且[5]執(zhí)行下列步驟[a]利用像素加權(quán)函數(shù)以進(jìn)一步減少將可歸于亮像素的指定顏色屬性的加權(quán)值；且[b]發(fā)送主色，該主色利用相對于本應(yīng)產(chǎn)生的亮度減小的亮度獲得。同樣，對顏色支持，像素加權(quán)函數(shù)可如此公式表示以提供顏色支持，通過[6]評估視頻內(nèi)容，以確定場景內(nèi)容中的場景具有高亮度；且[7]執(zhí)行下面的步驟[a]利用像素加權(quán)函數(shù)以進(jìn)一步減少指定的顏色屬性的加權(quán)至亮像素；[b]執(zhí)行步驟[2][c]。相應(yīng)于指定顏色的利用，其它步驟可以被改變。
該方法也可選擇包括
在著色色空間中將視頻內(nèi)容編碼至多個幀，并在著色空間中量化至少一些來自視頻內(nèi)容的像素色度，以形成指定的顏色分布。另外，可選擇[3a]將主色從著色色空間轉(zhuǎn)換至未著色色空間；然后[3b]將主色從未著色顏色的空間轉(zhuǎn)換至第二著色色空間。這可由如下步驟輔助[3c]利用第一和第二三色主矩陣，矩陣轉(zhuǎn)換著色色空間和第二著色色空間的原色到未著色色空間；和通過著色色空間的原色、第一三色矩陣以及第二三色矩陣的逆矩陣進(jìn)行矩陣相乘，獲得顏色信息至第二著色色空間的轉(zhuǎn)換。
一旦主色從指定的顏色分布選擇，可以向后，也就是說，去獲得真實的像素色度來改善主色。例如，如上所述，可以設(shè)置至少一個在指定顏色分布中感興趣的顏色并且提取指定的像素色度，以獲得真實的主色來設(shè)計為主色。這樣，當(dāng)指定的顏色大致接近視頻內(nèi)容，真實的主色能夠提供正確的色度用于環(huán)境分布，然而仍然節(jié)省了實際需要的計算。
步驟[1]的像素色度能夠由提取任何形狀、大小或者位置的區(qū)域獲得，且一種主色的環(huán)境光從接近提取區(qū)域的環(huán)境光源發(fā)射。
這些步驟可以以很多方式結(jié)合以表示不同的同時施加的感知規(guī)律，例如通過建立多個標(biāo)準(zhǔn)，其必須同時存在并且在主色的提取和選擇中競爭優(yōu)先權(quán)。能夠用于向環(huán)境第二著色色空間轉(zhuǎn)換的未著色色空間可以是CIE XYZ之一；在ISO標(biāo)準(zhǔn)17321定義的ISO RGB；攝影YCC；CIE LAB；或者其它未著色空間。執(zhí)行主色提取和施加感知規(guī)律的步驟可以大體上與視頻信號同步，利用第二著色色空間的顏色信息，從視頻顯示的周圍發(fā)射出環(huán)境光。


圖1表示本發(fā)明簡單的視頻顯示的前表面視圖，展示了顏色信息提取區(qū)域和相關(guān)的環(huán)境光從六個環(huán)境光源發(fā)射；圖2表示一個房間的俯視圖，部分示意圖和部分截面圖，其中，利用本發(fā)明，產(chǎn)生從多重環(huán)境光源發(fā)射的環(huán)境光。
圖3表示按照本發(fā)明的一個提取顏色信息并影響色空間轉(zhuǎn)換以允許驅(qū)動環(huán)境光源的系統(tǒng)；圖4表示從視頻提取區(qū)域計算顏色信息均值的方程式；圖5表示現(xiàn)有技術(shù)轉(zhuǎn)換著色主RGB至未著色色空間XYZ的矩陣方程式；圖6和圖7表示分別映射視頻和環(huán)境光著色區(qū)域至未著色區(qū)域的矩陣方程式；圖8表示利用已知的矩陣逆向轉(zhuǎn)化從未著色色空間XYZ得到環(huán)境光三色值R’G’B’的辦法；圖9-11表示現(xiàn)有技術(shù)中利用白點方法推導(dǎo)三色主矩陣M；圖12表示類似于如圖3所示的系統(tǒng)，另外包括一個用于環(huán)境發(fā)射的灰度系數(shù)校正步驟；圖13表示本發(fā)明所用的總的轉(zhuǎn)換過程的原理圖；圖14表示本發(fā)明中利用的獲得環(huán)境光源轉(zhuǎn)換矩陣系數(shù)的處理步驟；
圖15表示本發(fā)明所用的估計視頻提取和環(huán)境光再現(xiàn)的處理步驟；圖16表示按照本發(fā)明視頻幀提取的示意圖；圖17表示依照本發(fā)明的簡化的色度評估處理步驟；圖18表示如圖3和12所示的提取步驟，為驅(qū)動環(huán)境光源，利用幀解碼器、設(shè)置幀提取率并執(zhí)行輸出計算；圖19和圖20表示本發(fā)明顏色信息提取和處理的處理步驟；圖21表示按照本發(fā)明總的過程的示意圖，包括主色提取和到環(huán)境光色空間的轉(zhuǎn)換；圖22示意性地表示一種通過指定像素色度到指定顏色，量化來自視頻內(nèi)容的像素色度的可能的方法；圖23示意性地表示一種通過將像素色度存儲至超像素而量化的可能的方法的例子；圖24表示類似圖23的存儲過程，但是這里超像素的大小、方向、形狀或者位置可以與圖像特征一致地形成；圖25表示在標(biāo)準(zhǔn)笛卡爾CIE顏色圖上區(qū)域顏色矢量和它們的顏色或者色度坐標(biāo)，這里一個顏色矢量位于顏色色域的外面，顏色色域通過PAL/SECAM、NTSC和Adobe RGB顏色產(chǎn)生標(biāo)準(zhǔn)得到；圖26表示圖25所示的CIE圖的一部分的特寫，另外表示像素色度和其在區(qū)域顏色矢量上的分布；圖27表示按照本發(fā)明展示指定顏色分布的模式一個可能的方法的直方圖；圖28表示按照本發(fā)明指定顏色分布的中值一個可能方法；圖29表示按照本發(fā)明通過指定顏色的色度的加權(quán)平均值的數(shù)學(xué)總和的一個可能的方法；圖30表示按照本發(fā)明利用像素加權(quán)函數(shù)通過指定顏色的色度的加權(quán)平均值的數(shù)學(xué)總和的一個可能的方法；圖31表示在指定顏色分布中確定感興趣的顏色，然后提取在那里的指定像素色度，以得到一個真實的主色并指定為主色的示意圖；圖32示意性地表示按照本發(fā)明的主色提取可以多次執(zhí)行或者分別同時執(zhí)行以提供一系列主色；圖33表示如圖1所示的視頻顯示的簡單的前表面圖，表示按照圖29和30示范的方法，將不同加權(quán)施加給優(yōu)選的空間區(qū)域一個例子；
圖34給出一個如圖33所示的視頻顯示的簡單的前表面圖，圖表式的表示按照本發(fā)明為主色提取的目的而提取一個圖像特征；圖35給出本發(fā)明另一個實施例的圖示，視頻內(nèi)容被解碼成一組幀，籍以允許得到的一幀的主色至少部分地依賴前一幀的主色；圖36表示按照本發(fā)明選擇主色的省略過程的過程步驟；圖37表示用一個新出現(xiàn)的特征描繪場景內(nèi)容，利用黑色支持說明主色提取的視頻顯示的簡單前表面圖；圖38表示描繪場景內(nèi)容以利用顏色支持說明主色提取的視頻顯示的簡單前表面圖；圖39示意性地表示三種說明性的種類，按照即時發(fā)明，感知規(guī)律可以分類到這三種說明性的種類中；圖40示意性地表示作為功能算符的一個簡單的色度轉(zhuǎn)換；圖41示意性地表示按照本發(fā)明，利用像素加權(quán)函數(shù)的平均值計算進(jìn)行主色提取，以執(zhí)行兩種說明性的可能的感知規(guī)律的一系列可能的步驟；圖42示意性地表示按照本發(fā)明，利用用于進(jìn)一步主色提取的像素加權(quán)函數(shù)執(zhí)行平均值計算，以執(zhí)行兩種說明性的可能的感知規(guī)律的一系列可能的步驟；圖43表示按照本發(fā)明利用的像素加權(quán)函數(shù)可能的函數(shù)形式。
具體實施例方式
定義下列定義可以全文通用-環(huán)境光源-將在隨后的權(quán)利要求中，包括需要影響光產(chǎn)生的任何光產(chǎn)生電路或者驅(qū)動器。
-環(huán)境空間-將意味著任何和所有在視頻顯示單元外部的材料體或者空氣或者空間。
-指定顏色分布-將表示一組顏色，選擇它用來代表(如用于計算目的)在視頻圖像或者視頻內(nèi)容中發(fā)現(xiàn)的像素色度的全部范圍。
-明亮-當(dāng)涉及像素亮度時，將表示其中之一或者兩者全部[1]一個相對的特征，即，比其它像素明亮，或者[2]一個絕對的特征，例如高亮度等級。這可以包括在不同于的暗紅場景中的明亮的紅色，或者固有的明亮色度，例如白色和灰色。
-色度轉(zhuǎn)換-作為在這里描述的感知規(guī)律的施加結(jié)果，將涉及一種色度對于另一種的替換。
-色度-在驅(qū)動環(huán)境光源的上下文中，將表示一個規(guī)定光產(chǎn)生的顏色特征的機械、數(shù)值或者物理方式，例如色度，并且將不暗含特別的方法論，例如用于NTSC或者PAL的電視廣播。
-有色的-當(dāng)涉及像素色度，表示二者之一或者二者全部[1]一個相對的特征，即，顯示比其它像素高的顏色飽和度，或者[2]一個絕對的特征，例如顏色飽和度。
-顏色信息-將包括色度和亮度的全部或者其中之一，或者功能等價量；-計算機-將包括不僅是所有的處理器，例如利用已知結(jié)構(gòu)的CPU(中央處理單元)，還包括允許編碼、解碼、讀、處理、執(zhí)行設(shè)定代碼或者變化代碼的任何智能設(shè)備，例如可以執(zhí)行同樣功能的數(shù)字光學(xué)設(shè)備或者模擬電路。
-黑暗-當(dāng)涉及像素亮度，將表示二者之一或者二者全部[1]一個相對的特征，即，比其它像素黑暗；或者[2]一個絕對的特征，例如低亮度級別。
-主色-將表示任何為環(huán)境發(fā)射目的而選擇用來代表視頻內(nèi)容的色度，包括任何被選擇用來說明這里公開的方法的顏色；-進(jìn)一步(主色)提取-將涉及前一過程消除或減少主像素或者其它在視頻場景或視頻內(nèi)容的像素的影響后，采取的任何主色提取過程，例如當(dāng)感興趣的顏色被用于進(jìn)一步的主色提取。
-提取區(qū)域-將包括任何整個視頻圖像或幀的子集，或者更一般地為主色提取的目的而包括任何或者所有取樣的視頻區(qū)域或者幀。
-幀-將包括在視頻內(nèi)容內(nèi)按時間順序出現(xiàn)的圖像信息，與產(chǎn)業(yè)中利用的詞語“幀”一致，但是也將包括任何部分的(例如交錯)或者全部的圖像數(shù)據(jù)，用來在任何時刻或者在在任何間隔傳送視頻內(nèi)容。
-測角色度-將涉及給定的作為視角或者觀察角度的函數(shù)的不同顏色或者色度的性質(zhì)，例如通過彩虹產(chǎn)生的。
-測角光度-將涉及作為視角或觀察角度的函數(shù)的給定的不同光亮度、傳送和/或顏色的性質(zhì)，例如發(fā)現(xiàn)于光芒四射、發(fā)火花或者回射現(xiàn)象。
-插值-將包括在兩組值之間的線性或者數(shù)學(xué)插值，還包括在兩組已知的值之間為設(shè)定值的功能性描述；-光特征-在廣義上，意思是例如由環(huán)境光源產(chǎn)生的任何光的性質(zhì)的說明，包括除了亮度和色度的所有描述，例如光傳輸或者反射的程度；或者測角色度性質(zhì)的描述，包括當(dāng)觀察環(huán)境光源時，產(chǎn)生的顏色、閃耀或者其它已知的現(xiàn)象作為視角的函數(shù)的程度；光輸出方向，包括通過一個坡印廷或者其它傳播矢量給予的方向性；或者光角度的分布的描述，例如立體角或者立體角分布函數(shù)。還可以包括一個規(guī)定其在環(huán)境光源位置的坐標(biāo)，例如單元像素或者燈的位置。
-亮度-將表示任何參數(shù)或者測得的明亮度、強度或者等價測量，并將不施加光產(chǎn)生的特定方法或者測量或者心理-生物的解釋。
-多數(shù)像素-將涉及傳送相似顏色信息的的像素，這些顏色信息如視頻場景中的飽和度、亮度或者色度。例如，當(dāng)少量或者不同數(shù)量其它像素明亮地照射的時候，包括設(shè)置來顯示黑暗(場景中的黑暗)的像素；主要設(shè)置用來顯示白色或者灰色(例如場景中的云層)像素；用來分享類似色度的像素。例如用來在森林場景中多葉的綠顏色，該場景也獨立描繪紅色狐貍。用于建立看起來相似的標(biāo)準(zhǔn)可以改變，雖然常常應(yīng)用，但不需要大量的標(biāo)準(zhǔn)。
-像素-將涉及真實的或者虛擬的視頻像元，或者允許像素信息偏差的等價信息。對于基于矢量的視頻顯示系統(tǒng)，像素可以是允許被分析或者被表示的輸出視頻的任何子部分。
-像素色度-將包括像素色度的真實值，以及其它指定作為任何量化或者固化過程的顏色值，例如當(dāng)執(zhí)行量化色空間的一個過程時。因此在附加權(quán)利要求中預(yù)期像素色度能夠包括從一個指定顏色分布的值。
-量化色空間-在說明書和權(quán)利要求的范圍中，將涉及可能顏色狀態(tài)的減少，例如導(dǎo)致從指定的大量色度(例如像素色度)到少量指定的色度或顏色；或者通過挑選被選擇像素的選擇過程，像素數(shù)目減少；或者儲存以產(chǎn)生代表性的像素或者超像素。
-著色色空間-將表示從作為設(shè)備和特定圖像的傳感器或者特定的光源或者顯示設(shè)備截取的圖像或者色空間。多數(shù)RGB色空間是著色圖像空間，包括用來驅(qū)動視頻顯示D的視頻顯示空間。在附加權(quán)利要求中，視頻顯示和環(huán)境光源88的特定色空間是著色色空間。
-場景亮度-將涉及按照任何期望標(biāo)準(zhǔn)的在場景內(nèi)容中的任何亮度的測量。
-場景內(nèi)容-將涉及能夠形成可視圖像視頻信息的特征，其能夠用于影響主色的期望選擇。例子包括白云或者遍及視頻圖像大部分的黑暗，其可以導(dǎo)致確定像素，形成看起來是多數(shù)像素的圖像，或者導(dǎo)致像素加權(quán)函數(shù)(圖30的W)像素的各向異性；或者可以引起探測的圖像特征(如圖34的J8)和特別的物體或者進(jìn)一步的主色提取。
-簡單色度轉(zhuǎn)換-將涉及按照感知規(guī)律的主色或者色度的變化或者推導(dǎo)，沒有作為場景內(nèi)容的函數(shù)被選擇或者推導(dǎo)出，在這里，在色度內(nèi)的變化或者推導(dǎo)結(jié)果不同于本應(yīng)被選擇的。例子為了滿足感知規(guī)律，通過主色提取(例如紫色)的第一主色(x，y)轉(zhuǎn)變至第二主色(x’，y’)。
-轉(zhuǎn)換顏色信息至未著色色空間-在附加權(quán)利要求中將包含或者直接轉(zhuǎn)換至未著色色空間，或者利用或者受益于通過利用三色主矩陣的逆轉(zhuǎn)換，該三色主矩陣通過轉(zhuǎn)換至未著色色空間(如圖8所示的(M2)-1)而得到，或者任何等價計算。
-未著色色空間-將表示一個標(biāo)準(zhǔn)或者非特定設(shè)備的色空間，例如這些利用標(biāo)準(zhǔn)CIE XYZ描述原圖像的比色法；例如在ISO17321標(biāo)準(zhǔn)中定義的ISO RGB；攝影YCC；和CIE LAB色空間。
-視頻-將指示任何視覺或者光產(chǎn)生裝置，無論需要能量產(chǎn)生光的有源設(shè)備，或者任何傳送圖像信息的傳送媒體，例如辦公大樓的窗子，或者從遠(yuǎn)處得到的圖像信息的光波導(dǎo)。
-視頻信號-將指示為控制視頻顯示單元傳送的信號或者信息，因此包括任何音頻部分。可以預(yù)期視頻內(nèi)容分析包括為音頻部分可能的音頻內(nèi)容分析。一般地，視頻信號可以包含任何類型的信號，例如利用任何數(shù)量的已知的調(diào)制技術(shù)的無線電頻率信號；電信號，包括模擬和量化模擬波形；數(shù)字(電)信號，例如那些利用脈寬調(diào)制、脈沖數(shù)目調(diào)制、脈沖位置調(diào)制、PCM(脈沖編碼調(diào)制)和脈沖放大調(diào)制；或者其它信號例如聽覺信號，聲音信號和光信號，它們都能夠利用數(shù)字技術(shù)。其中僅僅順序排列或者于其它信息的數(shù)據(jù)，例如基于計算機應(yīng)用的分組信息，也可以利用。
-加權(quán)-將涉及任何在這里給出的為特定的色度、亮度或者空間位置給出優(yōu)先狀態(tài)或者較高數(shù)學(xué)加權(quán)的等價方法，可能作為場景內(nèi)容的函數(shù)。然而，沒有什么可以排除為提供簡單的方式或者平均值的目的而將整體用作加權(quán)。
-像素加權(quán)函數(shù)-如此處說明的那樣，不必呈現(xiàn)所給的函數(shù)的顯示(例如，大量像素的總和W)，但是將包括所有的算法、算符或者其它執(zhí)行同一功能的電路。
具體描述如果需要，按照本發(fā)明由視頻內(nèi)容得到的環(huán)境光形成為，允許對原始視頻場景光有高的逼真度，然而保持高程度的環(huán)境光自由度特性僅需要低的計算負(fù)擔(dān)。這允許具有小的顏色色域環(huán)境光源和亮度降低空間，來模擬從具有相對大的顏色色域和亮度響應(yīng)曲線的更高級的光源發(fā)出的視頻場景光。用于環(huán)境照明的可能的光源能夠包括任何數(shù)目的已知的發(fā)光設(shè)備，包括LED(發(fā)光二極管)和相關(guān)的半導(dǎo)體輻射源；電致發(fā)光設(shè)備包括非半導(dǎo)體類型；白織燈，包括用鹵素或者更高級的化學(xué)物質(zhì)的更改類型；離子放電燈，包括熒光和氖燈；激光器；再調(diào)制的光源，例如通過利用LCD(液晶顯示器)或者其它光調(diào)制器；光致發(fā)光發(fā)射器，或者任何數(shù)量已知的可控光源，包括功能類似顯示器的陣列。
這里給出的說明部分，將部分地首先涉及從視頻內(nèi)容提取顏色信息，隨后，涉及提取方法，以獲得能夠代表視頻圖像或者場景的環(huán)境發(fā)射的主色或者真實顏色。
參考圖1，其僅以示例性的目的用于說明按照本發(fā)明的視頻顯示D的簡單前表面圖。顯示D可以包括任何數(shù)目已知的從著色色空間解碼視頻內(nèi)容的設(shè)備，如NTSC、PAL或者SECAM廣播標(biāo)準(zhǔn)，或者著色RGB空間，例如Adobe RGB。顯示D可以包括可選擇的顏色信息提取區(qū)域R1，R2，R3，R4，R5和R6，它們的邊界可以與那些圖解區(qū)域分離。顏色信息提取區(qū)域可以任意預(yù)先確定并具有產(chǎn)生特有環(huán)境光A8的特征，例如通過后面安裝可控環(huán)境照明單元(未示出)，其產(chǎn)生和發(fā)射如圖所示的環(huán)境光L1、L2、L3、L4、L5和L6，例如通過將部分光泄漏到顯示D安裝的墻(未示出)上。可選擇地，如圖所示的顯示幀Df自己也包括以簡單的方式顯示光的環(huán)境照明單元，包括向外向觀看者(未示出)。如果希望，每一個顏色信息提取區(qū)域R1-R6可以單獨的影響接近它的環(huán)境光。例如，如圖所示，顏色信息提取區(qū)域R4可以影響環(huán)境光L4。
參考圖2，俯視圖-部分的示意以及部分的截面圖-顯示場所或者環(huán)境空間A0，其中，利用本發(fā)明，產(chǎn)生來自多環(huán)境光源的環(huán)境光。在環(huán)境空間A0設(shè)置所示的座位和桌子7，配置它們以允許觀看視頻顯示D。在環(huán)境空間A0也配置了大量環(huán)境照明單元，利用即時發(fā)明，其被隨意地控制，包括所示的光揚聲器1-4、所示的在沙發(fā)或者座位下面的地?zé)鬝L，還有一組配置在顯示D周圍的特殊模擬環(huán)境照明單元，即如圖1所示的產(chǎn)生環(huán)境光Lx的中心燈。這些環(huán)境照明單元的每一個可以發(fā)射環(huán)境光A8，如圖中陰影部分所示。
與此即時發(fā)明結(jié)合，可以任意地從這些環(huán)境照明單元產(chǎn)生環(huán)境光，伴隨從這些環(huán)境照明單元里得到但是實際上沒有通過視頻顯示D發(fā)射的顏色或者色度。這允許開拓人眼的特征和視覺系統(tǒng)。值得注意，人視覺系統(tǒng)的亮度功能，其對于不同可視波長具有探測靈敏度，作為光等級的函數(shù)而變化。
例如，暗視或者夜視依靠傾向?qū)λ{(lán)色和綠色更加敏感的視網(wǎng)膜桿。利用錐形細(xì)胞的明視更加適合探測長波長的光，例如紅色和黃色。在劇院環(huán)境的黑色空間，通過調(diào)制或者變化傳送給在環(huán)境空間中的視頻觀看者的顏色，可以稍微抵消不同顏色的相對發(fā)光度的這些變化作為光等級的函數(shù)。這可以通過從環(huán)境照明單元減去來完成，例如利用光調(diào)制器(未示出)的光揚聲器1-4或者通過利用在光揚聲器上增加元件，即光致發(fā)光發(fā)射器在環(huán)境釋放前進(jìn)一步改變光。光致發(fā)光發(fā)射器通過吸收或者經(jīng)歷來自光源的入射光的激勵而執(zhí)行顏色轉(zhuǎn)換，然后再次發(fā)射在更高的期望波長中的光。光致發(fā)光發(fā)射器這種激勵和再次發(fā)射，例如熒光染料，可以允許沒有在原始視頻圖像或者光源中出現(xiàn)的新的顏色著色，或許也沒有在顯示D的固有操作的顏色或者顏色色域范圍內(nèi)。當(dāng)希望的環(huán)境光Lx的亮度低時，這是有幫助的，例如在很黑的場景中，以及當(dāng)希望的感知水平比通常沒有光調(diào)制時得到的感知水平高時。
新顏色的產(chǎn)生可以提供新的和有趣的視覺效果。說明的例子可以是橙色光的產(chǎn)生，例如被稱為尋覓的橙色，對于它，可用的熒光染料是眾所周知的(參照參考[2])。給出的例子包括熒光顏色，其與一般的熒光現(xiàn)象和相關(guān)現(xiàn)象對立。利用熒光橙色或者其它熒光染料種類對低光條件尤其有用，這里紅色和橙色的促進(jìn)可以抵消暗視覺對長波長的靈敏度。
在環(huán)境照明單元利用熒光染料可以包括在染料類別中已知的染料，例如二萘嵌苯，萘酰亞胺，香豆素，噻噸，蒽醌，硫靛，以及專用的染料類別，例如由美國俄亥俄州克里夫蘭日光熒光染料顏色公司生產(chǎn)的。可用的顏色包括阿帕契黃，底格里斯黃，大草原黃，Pocono黃，莫霍克黃，波拖馬可河黃，萬壽菊橙，渥太華紅，伏爾加紅，大馬哈粉，以及哥倫比亞藍(lán)。這些染料類別可以利用已知的過程組合到合成樹脂中，例如PS、PET以及ABS。
熒光染料和材料已經(jīng)提高了視覺效果，因為它們可以設(shè)計得比同色度的非熒光材料亮很多。用于產(chǎn)生熒光顏色的傳統(tǒng)的有機顏料的所謂耐久性問題，在近二十年得到了很大的解決，隨著技術(shù)的進(jìn)步，已經(jīng)導(dǎo)致耐久性熒光顏料的發(fā)展，暴露在陽光下，其可保持它們逼真的著色7-10年。因此這些顏料在其進(jìn)入的UV射線最小的家庭影院環(huán)境中幾乎不受破壞。
可選擇地，熒光光顏料能夠利用，它們通過吸收短波長的光簡單地工作，并且再次將該光作為例如紅色或橙色的長波長的光發(fā)射。無機顏料的技術(shù)提高已經(jīng)使可視光在激勵下可以實現(xiàn)，例如藍(lán)色和紫色，例如400-440nm的光。
測角色度和測角光度作用能夠相似地展開來產(chǎn)生不同光的作為視角函數(shù)的顏色、亮度和特征。為實現(xiàn)這一效果，環(huán)境照明單元1-4和SL和Lx能夠單獨的或者聯(lián)合地利用已知的測角光度元件(未示出)，例如金屬的和珠光般的傳遞著色；利用公知的散射或者薄膜干涉作用的彩虹材料，例如利用鱗狀實體；薄鱗片鳥嘌呤；或者有防腐劑的2-氨基次黃嘌呤。利用精細(xì)的云母或者其它物質(zhì)作為擴散體，例如由氧化層、斑銅礦或者孔雀礦制造的光芒四射的材料；金屬薄片、玻璃薄片或者塑料薄片；顆粒物質(zhì)；油；毛玻璃，和毛塑料。
參考圖3，表示按照本發(fā)明提取顏色信息(例如主色或者真實顏色)和作用色空間轉(zhuǎn)換以驅(qū)動環(huán)境光源的一個系統(tǒng)。在第一步驟，利用已知的技術(shù)從視頻信號AVS提取顏色信息。
視頻信號AVS可以包括已知的用于MPEG編碼、音頻PCM編碼等等的數(shù)字?jǐn)?shù)據(jù)幀或者包?？梢岳靡阎木幋a方案給數(shù)據(jù)包，例如帶有可變長度數(shù)據(jù)包的程序流，或者均勻平分?jǐn)?shù)據(jù)包的傳送流，或者其它單程序傳送流的方案?？蛇x擇地，這里公開的功能步驟或者方框圖可以利用計算機編碼或者其它通信標(biāo)準(zhǔn)模擬，包括異步協(xié)議。
作為一般的例子，所示的視頻信號AVS可以經(jīng)歷所示的視頻內(nèi)容分析CA，可能利用已知的方法在所示的硬盤HD來回記錄和傳遞選擇的內(nèi)容，可能應(yīng)用所示的內(nèi)容類型庫或者其它存儲在存儲器MEM的信息。這能夠允許選擇視頻內(nèi)容的單獨的、平行的、直接的、延遲的、連續(xù)的、周期的或者非周期的轉(zhuǎn)換。由這些視頻內(nèi)容，可以執(zhí)行所示的特征提取FE，例如一般地提取顏色信息(例如主色)，或者從一個圖像特征提取。顏色信息在著色色空間還要被編碼，然后轉(zhuǎn)換到未著色空間，例如利用所示的RUR映射轉(zhuǎn)換電路10的CIE XYZ。這里的RUR代表希望的轉(zhuǎn)換類型，即，著色-未著色-著色，這樣RUR映射轉(zhuǎn)換電路10進(jìn)一步轉(zhuǎn)換顏色信息至第二著色色空間，該第二著色色空間被形成為允許驅(qū)動所述環(huán)境光源88。RUR轉(zhuǎn)換時優(yōu)選的，但是可以利用其它的映射，只要能夠利用環(huán)境光產(chǎn)生電路或其等價裝置在第二著色色空間接收信息。
RUR映射轉(zhuǎn)換電路10可以功能性地包含在計算機系統(tǒng)中，其利用軟件來執(zhí)行相同的功能，但是在解碼由數(shù)據(jù)傳送協(xié)議傳送的分組信息的情況下，在電路10內(nèi)存在一個存儲器，其包含或者被更新以便包含相互關(guān)聯(lián)或者提供著色色空間系數(shù)等等的信息。新產(chǎn)生的第二著色色空間是適當(dāng)?shù)牟⑶蚁Ｍ麑⑵溆糜隍?qū)動環(huán)境光源88(如圖1和2所示)，并且用所示的對環(huán)境光產(chǎn)生電路18的編碼供給。環(huán)境光產(chǎn)生電路18從RUR映射轉(zhuǎn)換電路10得到第二著色色空間信息，然后說明從任何用戶界面以及任何合成偏好存儲器(和U2一起所示)的任何輸入，在參考所示的可能導(dǎo)致環(huán)境光(第二著色)色空間查找表格LUT之后，用于發(fā)展真實環(huán)境光輸出控制參數(shù)(例如施加的電壓)。將由環(huán)境光產(chǎn)生電路18產(chǎn)生的環(huán)境光輸出控制參數(shù)供給所示的燈界面驅(qū)動器D88，以直接控制或供給所示的環(huán)境光源88，其可以包括單獨的環(huán)境照明單元1-N，例如前面引用的如圖1和2所示的環(huán)境光揚聲器1-4，或者環(huán)境光中心燈Lx。
為減少任何實時計算負(fù)擔(dān)，從視頻信號AVS移除的顏色信息可以被省略或者限制。參考圖4，表示從視頻提取區(qū)域計算平均顏色信息的方程，用于討論。可以預(yù)期，如下面敘述的(參見圖18)，視頻信號AVS的視頻內(nèi)容將包含一系列時間序列視頻幀，但是這并不是必需的。對于每一個視頻幀或者等價時間框圖，可以從每一個提取區(qū)域(例如R4)提取平均值或者其它顏色信息。每一個提取區(qū)域可以被設(shè)置以具有特定的大小，例如對100×376個像素。假設(shè)，例如幀頻率為25幀/秒，對于每一個視頻RGB三主色，在提取平均值(假設(shè)只有1字節(jié)需要規(guī)定8比特的顏色)之前提取區(qū)域R1-R6的合成的總數(shù)據(jù)將會是6×100×376×25或者5.64兆字節(jié)/秒。這種數(shù)據(jù)流很大，并且在RUR映射轉(zhuǎn)換電路10中很難處理，因此，對每一個提取區(qū)域R1-R6的平均顏色的提取可以在特征提取FE中起作用。特別地，所示的能夠?qū)γ恳粋€m×n像素的提取區(qū)域的每一個像素求和RGB顏色通道值(如Rij)，并且通過m×n像素的數(shù)目來達(dá)到每一個主RGB的均值，例如所示的為紅色的Ravg。這樣重復(fù)對每一個RGB顏色通道的求和，每一個提取區(qū)域的均值將會是一個三位字節(jié)RAVG＝|Ravg，Gavg，Bavg|。對所有的提取區(qū)域R1-R6和每一個RGB顏色通道，重復(fù)同樣的過程。提取區(qū)域的數(shù)目和大小可以與所示的不一樣，也可以按照希望的那樣劃分。
通過RUR映射轉(zhuǎn)換電路10執(zhí)行顏色映射轉(zhuǎn)換的下一步可以是所示的說明性的和利用所示的三色主矩陣表示，例如如圖5所示，其中具有向量R，G，B的著色三色空間利用帶有元素Xr，max，Yr，max，Zr，max三色主矩陣M轉(zhuǎn)換，其中Xr，max是R最初在最大值輸出的三色值。
從著色色空間至未著色、單獨設(shè)備空間的轉(zhuǎn)換可以是圖像和/或特別的設(shè)備-已知的線性化，像素重建(如果需要)和白點選擇步驟可以被執(zhí)行，隨后是矩陣轉(zhuǎn)換。在這種情況下，我們簡單地選擇采用著色視頻輸出空間作為轉(zhuǎn)換至未著色色空間比色的出發(fā)點。未著色圖像需要經(jīng)過到第二著色空間的附加轉(zhuǎn)換，以使它們可視或者可印刷，并且這樣的RUR轉(zhuǎn)換包括到第二著色空間的轉(zhuǎn)換。
在第一可能的步驟，圖6和7表示繪制視頻著色色空間的矩陣方程，分別由主R，G，B和環(huán)境光著色色空間表示，分別由主R’，G’，B’表示，到所示的未著色色空間X，Y，Z，在這里，三色主矩陣M1轉(zhuǎn)換視頻RGB至未著色XYZ，三色主矩陣M2轉(zhuǎn)換環(huán)境光源R’G’B’至所示的未著色XYZ色空間。使圖8所示的著色空間RGB和R’G’B’相等，利用第一和第二三色主矩陣(M1，M2)，允許矩陣轉(zhuǎn)換著色(視頻)色空間和第二著色(環(huán)境)色空間的原色RGB和R’G’B’到所述未著色色空間(RUR映射轉(zhuǎn)換)；通過著色視頻色空間的原色RGB、第一三色矩陣M1和第二三色矩陣的逆矩陣(M2)-1進(jìn)行矩陣相乘，得到顏色信息到第二著色色空間(R’G’B’)的轉(zhuǎn)換。然而已知顯示設(shè)備的三色主矩陣容易得到，本領(lǐng)域技術(shù)人員利用已知的白點法可以確定環(huán)境光源。
參考圖9-11，表示現(xiàn)有技術(shù)利用白點法得到一般三色主矩陣M。在圖9中，量SrXr代表每一個(環(huán)境光源)在最大輸出的主三色值，Sr代表白點振幅，Xr代表由(環(huán)境)光源產(chǎn)生的主光的色度。利用白點方法，利用已知的光源色度矩陣的逆，矩陣方程使Sr與白點參考值矢量相等。圖11是代數(shù)處理以提示白點基準(zhǔn)值，例如Xw，是白點振幅或者亮度以及光源色度的乘積。貫穿始終，三色值X被設(shè)置等于色度x；三色值Y被設(shè)置等于色度y；三色值Z被限定為等于1-(x+y)。第二著色環(huán)境光源色空間的主色和基準(zhǔn)白色元件能夠用已知的技術(shù)，例如通過利用顏色光譜儀獲得。
可以發(fā)現(xiàn)第一著色視頻色空間的相似的量。例如，已知當(dāng)代的演播室監(jiān)視器在北美、歐洲和日本有稍微不同的標(biāo)準(zhǔn)。但是，例如，在高清電視(HDTV)上基本的標(biāo)準(zhǔn)已經(jīng)國際一致，這些基本的標(biāo)準(zhǔn)接近地代表演播室監(jiān)視器在演播室視頻、計算以及計算機圖像方面的特征。這一標(biāo)準(zhǔn)正式地表示ITU-R推薦BT.709，其包括需要的參數(shù)，在這里，有關(guān)RGB的三色主矩陣(M)是0.640 0.300 0.150 ITU-R BT.709的矩陣M0.330 0.600 0.0600.030 0.100 0.790白點的值也是已知的。
參考圖12，和圖3所示的系統(tǒng)相似，在為環(huán)境光發(fā)射的特征提取步驟FE之后，另外包括一個灰度系數(shù)校正步驟55?？蛇x擇地，灰度系數(shù)校正步驟55可以在由RUR映射轉(zhuǎn)換電路10和環(huán)境光產(chǎn)生電路18執(zhí)行的步驟之間執(zhí)行。已發(fā)現(xiàn)LED環(huán)境光源的最佳灰度系數(shù)值是1.8，因此可以利用已知的數(shù)學(xué)計算得出的灰度系數(shù)值來執(zhí)行用以抵消典型灰度系數(shù)為2.5的視頻色空間的負(fù)灰度系數(shù)校正。
一般地，RUR映射轉(zhuǎn)換電路10，其能夠是一個通過任何已知的適合的軟件平臺作用的功能塊，執(zhí)行如圖13所示的一般RUR轉(zhuǎn)換，在這里，所示的示意圖獲得包括例如視頻RGB的著色色空間的視頻信號AVS，并將其轉(zhuǎn)換到例如CIE XYZ的未著色色空間；然后到第二著色色空間(環(huán)境光源RGB)。RUR轉(zhuǎn)換之后，除了信號處理之外，如圖所示，可以驅(qū)動環(huán)境光源88。
圖14表示利用本發(fā)明獲得環(huán)境光源轉(zhuǎn)換矩陣系數(shù)的處理步驟，如圖所示，其中步驟包括驅(qū)動環(huán)境光單元；以及所示的本領(lǐng)域中的檢查輸出線性度。如果環(huán)境光源原色是穩(wěn)定的，(左邊分叉所示，穩(wěn)定原色)，利用顏色光譜儀可以得到轉(zhuǎn)換矩陣系數(shù)；另一方面，如果環(huán)境光源原色是不穩(wěn)定的，(右邊分叉所示，不穩(wěn)定原色)，可以復(fù)位在先給定的灰度系數(shù)校正(如圖所示，復(fù)位灰度系數(shù)曲線)。
一般地，希望從提取區(qū)域例如R4中每一個像素提取顏色信息，但這不是必須的，作為代替，如果需要，對已選擇像素的輪詢可以允許快速評估平均顏色，或者快速產(chǎn)生提取區(qū)域顏色特征的發(fā)生。圖15表示利用本發(fā)明視頻提取評估和環(huán)境光再現(xiàn)的處理步驟，這里的步驟包括[1]準(zhǔn)備視頻再現(xiàn)色度(從著色色空間，例如視頻RGB)的評估；[2]轉(zhuǎn)換到未著色色空間；以及[3]為環(huán)境再現(xiàn)(第二著色色空間，例如LED RGB)的轉(zhuǎn)換色度評估。
按照本發(fā)明，已經(jīng)發(fā)現(xiàn)需要用于從視頻幀支持視頻內(nèi)容的提取和處理(例如主色)所需要的數(shù)據(jù)位流(參加下圖18)，可以通過明智的視頻幀子采樣來減少。參考圖16，表示按照本發(fā)明視頻幀提取的圖表。示出了一系列獨立的連續(xù)的視頻幀F(xiàn)，即視頻幀F(xiàn)1，F(xiàn)2，F(xiàn)3等等-例如由NTSC、PAL或者SECAM標(biāo)準(zhǔn)規(guī)定的獨立交織或者沒有交織的指定視頻幀。通過進(jìn)行內(nèi)容分析和/或特征提取-例如提取主色信息-從選定的連續(xù)幀，例如幀F(xiàn)1和FN，可以減少數(shù)據(jù)負(fù)載或開銷，同時保持可接受的環(huán)境光源的響應(yīng)能力、現(xiàn)實性和逼真度。已經(jīng)發(fā)現(xiàn)N＝10時可以給出好的結(jié)果，即從10個連續(xù)幀中子采樣一幀能夠工作。這提供了在低處理額外開銷的幀提取之間的刷新周期P，其中幀間插值過程能夠提供顯示D中的色度隨時間變化的恰當(dāng)?shù)慕?。提取被選擇的幀F(xiàn)1和FN如圖所示(提取)并且色度參數(shù)的中間插入值，如G2、G3和G4所示，提供了必須的顏色信息來通知前面引用的環(huán)境光源88的驅(qū)動過程。這避免了在幀2至幀N-1中簡單凝固或者保持同樣顏色信息的需要。例如在提取的幀F(xiàn)1和FN之間的整體色度差別覆蓋插值幀G擴展的情況下，插入值可以線性地確定。可選擇地，一個函數(shù)可以擴展以任何其它方式提取的幀F(xiàn)1和FN之間的色度差別，例如適合提取的顏色信息的時間顯象的高階近似。插值的結(jié)果可以用于通過預(yù)先訪問幀F(xiàn)來影響插值幀(例如在DVD播放器中)，或者可選擇地，插值可以在沒有預(yù)先選取幀F(xiàn)時用于影響將來的插值幀(例如在發(fā)射解碼中的應(yīng)用)。
圖17表示按照本發(fā)明的簡化的色度評估處理步驟。幀提取的較高階分析可以相對本來可能的值擴大刷新周期P并擴大N。在幀提取期間，或者在提取區(qū)域Rx中選擇的像素臨時輪詢中，可以處理所示的簡化色度評估，這將導(dǎo)致要么下一幀提取的延遲，如左邊所示，要么使全部幀提取開始，如右邊所示。不論何種情況，插值繼續(xù)進(jìn)行(插值)，帶有延遲的下一幀提取導(dǎo)致凝固，或者增加利用的色度值。這將在位流或者額外開銷的帶寬方面提供甚至更加節(jié)約的操作。
圖18表示圖3和12的頂部，在這里一個可選擇的提取步驟在所利用的幀解碼器FD旁顯示，在所示的步驟33，允許從提取區(qū)域(如R1)提取區(qū)域信息。進(jìn)一步的處理或者組成的步驟35包括評估色度差別，并如所指示的一樣，利用這些信息設(shè)置視頻幀提取率。先于數(shù)據(jù)傳輸?shù)江h(huán)境照明和前面所示的產(chǎn)生電路18，如所示執(zhí)行下一處理步驟，該步驟執(zhí)行輸出計算00，如圖4的平均處理，或者如下面討論的主色提取的。
如圖19所示，表示本發(fā)明的顏色信息提取和處理的一般處理步驟包括獲得視頻信號AVS；從選擇的視頻幀(例如前面引用的F1和FN)提取區(qū)域(顏色)信息；在選擇的視頻幀之間插值；RUR映射轉(zhuǎn)換；可選擇的灰度系數(shù)校正；并利用這些信息驅(qū)動環(huán)境光源(88)。如圖20所示，在從選擇幀信息的區(qū)域提取之后可以插入另外兩個處理步驟可以執(zhí)行選擇幀F(xiàn)1和FN之間的色度差別評估，和依靠預(yù)定的準(zhǔn)則，一個可以如指示設(shè)置新的幀提取率。這樣，如果連續(xù)幀F(xiàn)1和FN之間的色度差別很大，或者增加很快(例如大的一級導(dǎo)數(shù))，或者滿足其它一些準(zhǔn)則，例如基于色度差別歷史，然后可以增加幀提取率，這樣減少了刷新周期P。然而，如果連續(xù)幀F(xiàn)1和FN之間的色度差別很小，并且很穩(wěn)定或者沒有快速增加(例如第一導(dǎo)數(shù)的絕對值低或者為零)，或者滿足其它的一些準(zhǔn)則，例如基于色度差別歷史，然后可以節(jié)省需要的數(shù)據(jù)位流并降低幀提取率，這樣提高了刷新周期P。
參考圖21，表示按照本發(fā)明一個方面的一般處理過程。如圖所示，作為一個可選擇的步驟，可能減輕計算負(fù)擔(dān)，[1]相應(yīng)于視頻內(nèi)容的著色色空間被量化(QCS，量化色空間)，例如通過利用以下給出的方法；然后[2]選擇主色(或者主色的調(diào)色板)(DCE，主色提取)；以及[3]顏色映射轉(zhuǎn)換，例如執(zhí)行RUR映射轉(zhuǎn)換(10)(MT映射轉(zhuǎn)換至R’G’B’)來提高產(chǎn)生的環(huán)境光的逼真度、范圍和適合程度。
色空間的可選的量化可以減少可能顏色狀態(tài)和/或要測量的像素的數(shù)目，并且可以利用不同的方法執(zhí)行。作為一個例子，圖22示意性地表示一個可能的量化視頻內(nèi)容的像素色度的方法。這里，如所示，說明性的視頻主值R范圍從值1至16，對任一個的這些主值R任意指定一個指定的顏色AC。這樣，例如，無論何時，任一紅色像素色度或者從1至16的值在視頻內(nèi)容中相遇，因此會取代指定的顏色AC，導(dǎo)致在表現(xiàn)視頻圖像特征所需要的顏色數(shù)目中，以因數(shù)16單獨減少紅原色。在這個例子中，對所有三原色，這樣的可能顏色狀態(tài)的減少會導(dǎo)致以16×16×16，或者4096-在用于計算的顏色的數(shù)目中-的因數(shù)減少。這在許多視頻系統(tǒng)中的主色確定中減少計算負(fù)擔(dān)是極其有用的，例如那些具有8位的顏色，其呈現(xiàn)256×256×256或者16.78兆的可能顏色狀態(tài)。
另一個量化視頻色空間的方法如圖23所示，其示意性地表示另一個通過從大量像素Pi(例如所示的16)儲存像素色度到超像素XP的量化著色色空間的例子。儲存自身是一個方法，通過把相鄰的像素數(shù)學(xué)地(或者計算的)加在一起以形成一個超像素，這個超像素自身被用于進(jìn)一步的計算或者表示。這樣，在視頻格式一般地具有，例如，0.75兆像素，選擇用來代替視頻內(nèi)容的超像素的數(shù)目可以減少用來計算的像素的數(shù)目至0.05兆或者任何其它希望的小數(shù)目。
這樣的超像素的數(shù)量、大小、方向、形狀或者位置可以作為視頻內(nèi)容的函數(shù)而變化。這里，例如，有利于在特征提取FE期間來保證超像素XP僅從圖像特征提取，而不是從邊緣區(qū)域或者背景提取，超像素XP相應(yīng)地形成。圖24表示與圖23相似的儲存過程，但是這里超像素的大小、方向、形狀或者位置可以與所示的像素特征J8一致地形成。所示的圖像特征J8是鋸齒狀的或者不規(guī)則的，沒有直的水平或豎直的邊緣。如圖所示，選擇的超像素XP相應(yīng)地模仿或者模擬圖像特征形狀。除了具有定制的形狀以外，還可以利用已知的像素等級計算技術(shù)通過圖像特征J8影響超像素的位置、大小和方向。
量化可以使像素色度和替換的指定顏色(如指定顏色AC)一致。那些指定的顏色可以任意指定，包括利用優(yōu)選的顏色矢量。因此，不利用指定顏色的可選的或者均勻的組，至少一些視頻圖像像素色度可以被設(shè)定為優(yōu)選的顏色矢量。
圖25表示在標(biāo)準(zhǔn)笛卡爾CIEx-y色度圖或者顏色圖上的區(qū)域顏色矢量和它們的顏色或者色度坐標(biāo)。這個圖表示所有已知的顏色或者可感知的顏色在最大發(fā)光度處作為色度坐標(biāo)x和y的函數(shù)，所示納米光波長和CIE標(biāo)準(zhǔn)發(fā)光白點作為參考。3個區(qū)域光矢量V在此圖上顯示，在這里，可以看到一個顏色矢量V位于顏色色域的外面，顏色色域是通過PAL/SECAM、NTSC和Adobe RGB顏色產(chǎn)生標(biāo)準(zhǔn)(所示的色域)得到的。
為了清楚，圖26表示圖25的CIE圖的一部分的特寫，另外表示像素色度Cp和它們指定的區(qū)域顏色矢量V。指定區(qū)域顏色矢量的標(biāo)準(zhǔn)可以改變，利用已知的計算技術(shù)，并可以包括歐幾里得計算或者與其它特定顏色矢量V的距離。被標(biāo)記的顏色矢量V，位于顯示系統(tǒng)的著色色空間或者顏色色域外面；這可以允許優(yōu)選的容易通過環(huán)境照明系統(tǒng)或者光源88產(chǎn)生的色度能變成用于量化著色(視頻o)色空間中的一種指定顏色。
一旦利用一個或多個上述給定的方法得出指定顏色的分布，下一步是執(zhí)行從指定顏色分布中通過提取以下任一項進(jìn)行主色提取[a]指定顏色的方式；[b]指定顏色的中值；[c]指定顏色色度的加權(quán)平均值；或者[d]利用像素加權(quán)函數(shù)的加權(quán)平均值。
例如，可以用直方圖方法來選擇以最高頻率發(fā)生的指定顏色。圖27表示的直方圖給出了指定像素顏色或者最經(jīng)常發(fā)生(參見坐標(biāo)，像素百分比)的顏色(指定顏色)，即，指定顏色分布的方式。該方式或十種已利用的指定顏色之中的大多數(shù)可以選擇作為主色DC(已示出)，用于通過環(huán)境照明系統(tǒng)的利用或模擬。
同樣的，指定顏色分布的中值可以被選擇作為或者幫助影響主色DC的選擇。圖28示意性地表示指定顏色分布的中值，在這里選擇顯示的中值或者中間值(為偶數(shù)數(shù)目的指定顏色插值)作為主色DC。
可選擇地，可以利用加權(quán)平均值執(zhí)行指定顏色的求和，以便影響主色的選擇，可能更加適合環(huán)境照明系統(tǒng)顏色色域的強度。圖29表示指定顏色色度的加權(quán)平均值的數(shù)學(xué)求和。為了清楚，示出了單一變量R，但是可以利用任何數(shù)目的維度或者坐標(biāo)(例如CI E坐標(biāo)x和y)。色度變量R以像素坐標(biāo)(或者超像素坐標(biāo)，如果需要)i和j表示，在這個例子中i和j分別在1和n以及1和m之間取值。帶有所示的索引i和j的色度變量R與像素加權(quán)函數(shù)W相乘，然后進(jìn)行整體的求和；結(jié)果除以像素數(shù)目n×m以得到加權(quán)平均值。
利用像素加權(quán)函數(shù)的相似的加權(quán)平均值如圖30所示，除了所示的W也是所示的像素位置i和j的函數(shù)外，與圖29相似，這允許空間主函數(shù)。通過也對像素位置加權(quán)，顯示D的中心或者任何其它部分可以在主色DC的選擇或者提取期間被強調(diào)，這將在下面討論。
加權(quán)求和可以通過上面給出的給定提取區(qū)域信息步驟33執(zhí)行，可以以任何已知的方式選擇和存儲W。像素加權(quán)函數(shù)W可以是任一函數(shù)或者算符，這樣，可以包含整體，對于特定的像素位置，可以排除零?？梢岳靡阎募夹g(shù)識別圖像特征，如圖34所示，為了服務(wù)更大的目的，W可以被相應(yīng)地改變。
利用以上方法或者任何等價方法，一旦指定的顏色被選擇為主色，通過環(huán)境照明系統(tǒng)，可以對用于表示的適當(dāng)?shù)纳葓?zhí)行更好的評估，特別是當(dāng)考慮如果所有的色度和/或所有的視頻像素時，需要的計算步驟比它們原本需要的更少。圖31表示在指定顏色的分布中確定感興趣的顏色，然后在那里提取指定的像素色度，以得到一個真實主色作為指定的主色?？梢钥闯?，像素色度Cp指定給兩個指定的顏色AC；不選擇在圖的底部示出的指定顏色AC作為主色，然而上面的指定顏色被視作主色(DC)并被選作所示的感興趣的顏色COI。然后可以進(jìn)一步檢查指定給(或者至少部分地)視為感興趣的顏色COI的指定顏色AC的像素，并且通過直接讀出它們的色度(例如利用均值，如圖4所示，或者為特別的目的，在已經(jīng)給定的小區(qū)域內(nèi)，執(zhí)行主色提取步驟)，可以獲得主色的更好的再現(xiàn)，在此所示作為真實主色TDC。任何為此需要的處理步驟可以利用上面給出的步驟和/或組件來完成，或者通過利用獨立的真色選擇器，其可以是已知的軟件程序或者子程序或者任務(wù)電路或者其等價物。
下面討論感知規(guī)律的施加，但是一般地，如圖32所示，按照本發(fā)明的主色提取可以執(zhí)行多次或者獨立地并行提供一主色調(diào)色板，其中主色DC可以包括主色DC1+DC2+DC3。這個調(diào)色板可以是利用感知規(guī)律，應(yīng)用這里所述方法產(chǎn)生主色優(yōu)先設(shè)置的結(jié)果。
如圖30提到的，像素加權(quán)函數(shù)或者等價物可以通過像素位置提供加權(quán)，以允許對某些顯示區(qū)域特別的考慮或者強調(diào)。圖33表示如圖1所示的視頻顯示的簡單前表面圖，并表示一個在優(yōu)選的空間區(qū)域?qū)⒉坏燃訖?quán)提供給像素Pi的例子。例如，如圖所示，顯示的某些區(qū)域C可以利用數(shù)值上大的加權(quán)函數(shù)W加權(quán)，同時，一個提取區(qū)域(或者任何區(qū)域，例如場景背景)可以利用數(shù)值上小的加權(quán)函數(shù)W加權(quán)。
如圖34所示，這種加權(quán)或者強調(diào)可以施加在圖像特征J8上，其中給出了圖33所示的視頻顯示的簡單的前表面圖，在這里利用已知的技術(shù)通過特征提取步驟FE來選擇圖像特征J8(一條魚)(參見圖3和12)。圖像特征J8可以是在所示的或者上面所述在主色提取DCE之中僅利用的視頻內(nèi)容，或者是利用的視頻內(nèi)容的一部分。
參考圖35，可以看出利用這里給出的方法，允許通過至少部分地依賴前一幀的至少一個主色，獲得為視頻幀選取的主色。圖示的幀F(xiàn)1，F(xiàn)2，F(xiàn)3和F4經(jīng)歷如圖所示的獲得主色提取DCE的過程，其目的是分別提取所示的主色DC1、DC2、DC3和DC4，其中，通過計算，可以建立為幀選擇的主色，表示為DC4，作為所示的主色DC1、DC2和DC3的函數(shù)(DC4＝F(DC1，DC2，DC3))。這允許為幀F(xiàn)4選取主色DC4的任何簡化過程，或者更好地通知其中前面的幀F(xiàn)1，F(xiàn)2，F(xiàn)3的主色選取，幫助影響主色DC4的選取。這個簡化過程如圖36所示，在這里用于減少計算負(fù)擔(dān)，臨時的主色提取DC4*利用色度評估，然后在下一步由從前面的幀(或者前面單一的幀)提取的主色來輔助，以幫助準(zhǔn)備DC4的選擇(利用簡化過程準(zhǔn)備DC4)。施加這個過程以獲得如下所述好的效果。
參考圖37，示出了描繪場景內(nèi)容的視頻顯示的簡單前表面圖，包括一個可能的新出現(xiàn)的特征，來說明按照本發(fā)明帶有黑暗支持和其它感知特性的主色提取的需要。按照上面闡述的原因，主色提取經(jīng)常產(chǎn)生和希望的感知輸出不一致的結(jié)果。圖37給出表征特別的場景特征V111(如綠色冷杉樹)的黑色或夜色場景的描繪圖。利用沒有利用感知規(guī)律的主色提取，經(jīng)常出現(xiàn)一個問題當(dāng)環(huán)境發(fā)射顏色對黑暗場景內(nèi)容顯示得太亮并且不細(xì)微或者不適合，從感知角度，場景內(nèi)容或者特定幀的顏色經(jīng)常有過大的影響。在圖37給予的例子中，大量或者大多數(shù)像素，例如所示的大多數(shù)像素MP，形成大批或者大部分幀圖像，這大多數(shù)像素MP平均起來具有很少或者不具有亮度。在這個例子中，黑暗對環(huán)境發(fā)射的影響可以是優(yōu)選的，設(shè)計者對環(huán)境光發(fā)射優(yōu)選的色度經(jīng)常是這些分離的場景實體，例如在場景特征V111中的樹，而不是從大多數(shù)像素MP的大部分得到的色度，其在這里說明表示具有低平均亮度的黑暗和表示環(huán)境照明的標(biāo)稱色度的例子，這可以從本發(fā)明看出。
實現(xiàn)的方法包括施加感知規(guī)律，感知規(guī)律受下面討論的提供黑暗支持的影響，其中要探測黑暗場景，且識別大多數(shù)像素MP，或者在主色提取中考慮刪除，或者對形成例如場景特征V111的場景特征的其它像素給予減少的加權(quán)。這需要利用場景內(nèi)容分析CA(見圖12)來識別場景元素，然后對其它不同的場景元素施加特別的處理，例如黑暗背景或者場景特征。利用感知規(guī)律也可以包括移除主色提取是不希望的場景部分，例如場景斑點或者場景假象，和/或可以包括圖像特征識別，例如對場景特征V111，通過特征識別(如特征提取FE，如圖3和12或者函數(shù)等價物)和對圖34的討論。
另外，新的場景特征，例如V999，一個發(fā)光閃電或者燈光的閃耀，能夠優(yōu)先于或者與給予的色度共存，給予的色度是利用上面給定的方法通過從場景特征V111提取普通色度而得到的。
類似地，光、明亮、白色、淡灰色的或者一致的高亮度場景可以受益于感知規(guī)律的利用。參考圖38，表示描繪場景內(nèi)容的視頻顯示的簡單前表面圖，來說明利用顏色支持的主色提取。圖38給出一個場景，其描繪一個相關(guān)的亮度，與場景特征V333稍微自相似的區(qū)域，其可以描述云層或者瀑布飛濺的白色的水。這個場景特征V333可以主要是灰或者白，因此可以被視作包括所示的大多數(shù)像素MP，而另一個場景特征V888，例如藍(lán)天，沒有由大多數(shù)像素組成，可以為主色提取在大多數(shù)像素MP為優(yōu)選的-例如，在這個例子中，環(huán)境光效設(shè)計者可能喜歡藍(lán)色發(fā)射，而不是白色或者灰色，特別如果場景特征V888新出現(xiàn)，或者環(huán)境發(fā)射包含一個優(yōu)選的色度(例如天空藍(lán)色)?，F(xiàn)有技術(shù)的問題在于，主色提取有時導(dǎo)致顏色低估，以及受光或者高飽和白色、灰色或者其它欠飽和顏色支配。為了校正這個問題，利用感知規(guī)律或者成套的感知規(guī)律以提供顏色支持，例如評估場景亮度和減少或者消除白色/灰色大多數(shù)像素MP的影響或者份量，而增加其它場景特征的影響，比如藍(lán)天V888。
參考圖39，示出了感知規(guī)律的三個說明性的種類，根據(jù)本即時發(fā)明，感知規(guī)律將在其中分類。如圖所示，為主色提取的感知規(guī)律可以包含任一或者全部簡單色度轉(zhuǎn)換SCT、作為場景內(nèi)容的函數(shù)的像素加權(quán)PF8以及進(jìn)一步提取/搜索EE8。這些分類意味著僅僅是說明性的，本領(lǐng)域技術(shù)人員將能夠利用這里給出的教導(dǎo)來發(fā)展可替代的相似方案。
參考圖40-43，給出涉及施加感知規(guī)律組的特殊方法論的例子。
首先，簡單色度轉(zhuǎn)換SCT，可以代表很多方法論，其全部是尋求以其它不同的色度代替或者轉(zhuǎn)換最初想要的主色。特別地，如圖40所示，由主色提取產(chǎn)生的特別選擇的色度(x，y)可以在任何希望的例子中用轉(zhuǎn)換的色度(x’，y’)代替，其示意性地表示簡單的作為功能算符的色度轉(zhuǎn)換SCT。
例如，如果特征提取FE獲得一個特定的用于環(huán)境發(fā)射的主色(例如褐色)，最近的與環(huán)境光源88的發(fā)光空間的主色匹配的是色度(x，y)，例如紫色發(fā)射-并且最近的匹配色度從感知的立場看不是優(yōu)選的-可以作出轉(zhuǎn)換或者代替到色度(x’，y’)，例如由橙色或者環(huán)境光產(chǎn)生的綠色，并且由前面引用的環(huán)境光產(chǎn)生電路18或者其等價物得到。這些轉(zhuǎn)換可以通過色度圖譜以色度形成，或許包含在查閱表格(LUT)中，或者被具體化為機器代碼、軟件，數(shù)據(jù)文件、算法或者是函數(shù)算符。因為這種類型的算法不必包含詳盡的內(nèi)容分析，因此被稱為簡單色度轉(zhuǎn)換。
簡單色度轉(zhuǎn)換SCT可以訓(xùn)練感知規(guī)律，其相對于原本要給的發(fā)射時間，對優(yōu)選的色度給出更多的發(fā)射時間。例如，如果一個特定的藍(lán)色是優(yōu)選的或者視為是期望的，它可以是簡單色度轉(zhuǎn)換SCT的主體或者結(jié)果，其通過映射大量相似的藍(lán)色色度到那個特定的藍(lán)色來支持它。本發(fā)明的簡單色度轉(zhuǎn)換，也可以用于優(yōu)選選擇在環(huán)境光源88的第二著色色空間中的色度。
按照本發(fā)明，場景內(nèi)容分析CA可以用于以某種方式給像素加權(quán)函數(shù)增加功能，以允許感知規(guī)律的施加。圖43表示像素加權(quán)函數(shù)的可能的函數(shù)形式。像素加權(quán)函數(shù)W可以是多變量的函數(shù)，包括任何或者所有視頻顯示像素空間位置，例如，由i和j索引的；色度，例如熒光亮度等級或者主值R(這里的R可以是代表R，G，B的一個矢量)或者色度變量x和y；以及亮度自身，所示的L(或者其等價物)。通過執(zhí)行特征提取FE和內(nèi)容分析CA，像素加權(quán)函數(shù)W的值可以被設(shè)置以執(zhí)行感知規(guī)律。因為像素加權(quán)函數(shù)W可以是功能算符，如果需要，能將它設(shè)置用來減少或者消除任何來自已選像素的影響，例如那些代表屏幕斑點、屏幕假象或者那些通過內(nèi)容分析的被視為大量的像素MP，例如當(dāng)對云層、水或者黑暗或者其它場景內(nèi)容給予小的加權(quán)或者零加權(quán)以符合感知規(guī)律時。
參考圖41，按照本發(fā)明，表示利用像素加權(quán)函數(shù)計算的均值進(jìn)行主色提取，以執(zhí)行兩個說明性的可能的感知規(guī)律的一系列可能的步驟。一般的步驟，稱為作為視頻內(nèi)容函數(shù)的像素加權(quán)PF8，可以包括很多比示出的兩個利用箭頭說明的更多可能的函數(shù)。
如圖41左邊指出的，以及規(guī)定指出的黑暗支持感知規(guī)律，或者黑暗支持(如圖37討論的)，執(zhí)行場景內(nèi)容分析。一個可能的或者步驟，可選的一個第一可能步驟是估計場景亮度，例如通過為任何或者所有像素，或者指定顏色的分布，計算每一個像素的全部或者平均亮度。在這個特別的例子中，全部場景亮度被視為是低的(為了清楚省略此步驟)以及一個可能的步驟是降低所示的環(huán)境光亮度，以使產(chǎn)生的環(huán)境光與場景黑暗比原有的更匹配。另一個可能的步驟是消除或者減少高亮度像素的像素加權(quán)函數(shù)W的加權(quán)，表示為明亮/彩色像素的截斷/減少加權(quán)。用于確定什么組成一個明亮或者彩色像素的已選閾值亮度等級是可以改變的，并且作為固定的閾值建立，或者可以是場景內(nèi)容、場景歷史和用戶偏好的函數(shù)。作為一個例子，對于從它們之間選取的無論什么主色，所有的明亮或者彩色像素可以使它們的W值以因數(shù)3減少，從而減少環(huán)境照明亮度。降低環(huán)境照明亮度的步驟也可以為此目的操作，比如通過相應(yīng)地減少像素加權(quán)函數(shù)W，同樣地降低全部像素的亮度?？蛇x擇地，像素加權(quán)函數(shù)W可以通過獨立的函數(shù)而減少，這個獨立函數(shù)自身是特定像素亮度的函數(shù)，例如因子1/L^2，其中L是亮度。
另一個黑暗支持的可能步驟是從明亮/彩色像素的COI的可能選擇，即上面引用的過程，因此，感興趣的顏色從視頻內(nèi)容中像素的子集建立，該視頻內(nèi)容是明亮的并且或許有高的飽和度(顏色)，例如，從圖37的特征V111。特別地，可以選擇某些色度以和上面討論的和圖31所示的相似的方式進(jìn)一步分析，不管其是否要為已選擇的指定顏色辨別真實顏色，或者感興趣的顏色是否來自像素色度，其自身將變成指定顏色的分布的一部分用于進(jìn)一步分析，例如為這些感興趣的顏色(例如，為冷杉樹尋找一個代表性的綠色)重復(fù)主色提取。這可以導(dǎo)致另一個可能的步驟，如圖所示，可能的進(jìn)一步提取，這將在下面進(jìn)一步討論，以及如圖所示的選擇主色，其可以是在從前面主色提取過程收集的感興趣的顏色分布上進(jìn)一步主色提取的結(jié)果。
如圖41右側(cè)所示，為提供指出(如圖38討論的顏色支持)的顏色支持感知規(guī)律，再次執(zhí)行場景內(nèi)容分析。一個可能的或者步驟，可選的一個第一可能步驟是評估場景亮度，例如通過為任何或者所有像素，或者為指定顏色的分布而計算每一個像素的全部或者平均亮度，如前述那樣。在這個例子中，找到一個高的總的場景亮度。另一個可能的步驟是消除或者減小像素加權(quán)函數(shù)W的加權(quán)以獲得高亮度、白色、灰色或者明亮的像素，表示為對明亮/顏色像素的截斷/減少加權(quán)。這可以防止選擇的主色成為柔和或者過亮的色度，其可以是過飽和或者過白或者過灰。例如，代表圖38的云層V333的像素可以通過從那里設(shè)置貢獻(xiàn)為可忽略的值或者零，從而從像素加權(quán)函數(shù)W中消除?？梢赃x擇主色或者感興趣的顏色，例如從所示的保持色度中選擇COI。執(zhí)行所示的可能的進(jìn)一步提取以幫助執(zhí)行所示的選擇主色步驟，這將在下面討論。
上面敘述的和圖42表示的進(jìn)一步提取/搜尋步驟EE8可以是在最初主色提取過程后的任何經(jīng)歷的過程，例如利用感知規(guī)律縮小一組候選主色的過程。圖42示意性地表示一系列可能的按照本發(fā)明用于主色提取的步驟，其利用用于進(jìn)一步主色提取的像素加權(quán)函數(shù)，利用色度/亮度平均值計算，來執(zhí)行兩個說明性的可能的感知規(guī)律。所示這樣兩個進(jìn)一步提取的例子是如圖所示的靜態(tài)支持感知規(guī)律和動態(tài)支持感知規(guī)律。在如圖所示的左邊，一個可能的靜態(tài)支持感知規(guī)律可以包括一個識別步驟，然后截斷/減少大多數(shù)像素的加權(quán)。這可以包括利用場景內(nèi)容分析來識別如圖37和38所示的大多數(shù)像素MP，利用邊緣分析，形成認(rèn)識或者基于視頻內(nèi)容的其它內(nèi)容分析技術(shù)。可以為以前討論的視為大多數(shù)像素MP的像素減少或者設(shè)置像素加權(quán)函數(shù)W為零。
然后，在下一個可能的步驟，從保持色度COI的可能的選擇(如直方圖方法)，可以在不是大多數(shù)像素MP的像素上執(zhí)行進(jìn)一步主色提取，例如前面引用的從像素色度或者指定顏色分布的主色提取，通過提取任何一個[a]一個方式(如直方圖方法)；[b]一個中值；[c]一個色度的加權(quán)均值；或者[d]利用像素色度和指定顏色的像素加權(quán)函數(shù)的加權(quán)平均值。在施加感知規(guī)律后，功能性地重復(fù)主色提取是相似的，例如減少給多數(shù)像素的加權(quán)。從這個主色提取過程，最后一步，可以執(zhí)行為環(huán)境發(fā)射選擇的主色。
另一個可能的感知規(guī)律是動態(tài)支持感知規(guī)律，在圖的右邊顯示。所示的前兩個步驟與左側(cè)的靜態(tài)支持是相同的。第三個可能的步驟是識別新出現(xiàn)的場景特征(例如發(fā)光閃電V111)并從所示的新出現(xiàn)的場景特征執(zhí)行主色提取。第四個可能的步驟是從前面敘述的為環(huán)境發(fā)射的步驟之一或者全部選擇色度，即這個感知規(guī)律可以包括對新出現(xiàn)的場景特征執(zhí)行主色提取的結(jié)果的全部或者兩者之一，或者在減少或者消除大多數(shù)像素MP的影響之后，從在剩余色度上執(zhí)行主色提取而獲得。這樣，例如，新出現(xiàn)的閃電V999和樹V111可以促成用于環(huán)境發(fā)射的一個或多個主色DC的獲得，而不是在不利用感知規(guī)律的情況下直接提取主色。
這樣運用感知規(guī)律，如上所述，沒有預(yù)先排除色空間量化。這些方法也可以對選擇場景特征重復(fù)，或者進(jìn)一步搜索用于環(huán)境發(fā)射的優(yōu)選的色度。
進(jìn)一步的一個例子，考慮一個說明性的方案，其中視頻內(nèi)容包括三個場景特征的背景以及一個新出現(xiàn)的特征。該背景包括沙灘、天空和陽光。利用內(nèi)容分析，評估場景。然后發(fā)現(xiàn)沙灘色調(diào)構(gòu)成圖像像素的47％。利用感知規(guī)律以便將這些沙灘顏色像素指定為大多數(shù)像素，以及通過像素加權(quán)函數(shù)W給出零影響，只要其它大的場景元素出現(xiàn)即可。為進(jìn)一步提取選擇天空，和利用上面給出的方法提取作為結(jié)果的藍(lán)色被設(shè)置為感興趣的顏色COI。然后開始真實主色提取過程(參考圖31)，以獲得代表天空特征的真實像素色度的真實顏色。這個過程在一幀接一幀的基礎(chǔ)上被更新(參見圖16和17)。依次通過特征提取FE和利用簡單色度轉(zhuǎn)換SCT識別太陽，選擇一個更加適合的淡黃白色度代替固有的明亮的白色給視頻顏色信息。當(dāng)沙灘色調(diào)像素降低到某一數(shù)值閾值之下時，另一個感知規(guī)律允許將所有這三個特征設(shè)置為主色，然后設(shè)置用于環(huán)境發(fā)射，依賴像素位置(例如提取區(qū)域，如R1，R2等)，可以是分別的或者一起的。然后一個新出現(xiàn)的特征，一只白船，利用另一個強調(diào)新內(nèi)容的感知規(guī)律，引起船的基于白色輸出的主色提取，以便環(huán)境發(fā)射變成白色，直到船在視頻場景中退出。當(dāng)船在場景中退出時，當(dāng)其代表的像素數(shù)目降低到某一百分比-或者低于已經(jīng)顯示中(沙灘，天空，太陽)特征在外面的部分-認(rèn)為新出現(xiàn)的內(nèi)容的不再處于控制狀態(tài)的另一個感知規(guī)律允許三個背景特征再一次設(shè)置為通過它們各自的主色的環(huán)境發(fā)射。當(dāng)沙灘色調(diào)像素再一次在數(shù)目上增大時，通過為它們的影響再一次允許將像素加權(quán)函數(shù)W設(shè)置為零而抑制影響。然而，另一個感知規(guī)律允許當(dāng)另外兩個背景特征(天空和太陽)不再出現(xiàn)，沙灘色調(diào)像素的像素加權(quán)函數(shù)W被恢復(fù)，經(jīng)受新出現(xiàn)的場景特征的再一次減少。一條紅色的蛇出現(xiàn)，像素的內(nèi)容分析貢獻(xiàn)11％給給這個特征。沙灘色調(diào)像素再一次從主色提取的效果中排除，從蛇的特征提取產(chǎn)生了感興趣的顏色COI，從其的進(jìn)一步主色提取和/或任意真實顏色選擇過程提煉的主色，提取用于環(huán)境發(fā)射的代表蛇的顏色。
通過前面的敘述可以容易地看出，沒有跟隨感知規(guī)律改變主色提取的機構(gòu)，主色提取可以是隨時間變化的遍布青色白光內(nèi)的陰影，沒有代表場景內(nèi)容，并對于觀看者而言，具有很少的娛樂或者信息價值。像那樣給出的感知規(guī)律的施加允許在參數(shù)的形式的特異性，一旦受影響，將具有顯示智能指導(dǎo)的作用。在主色提取中施加感知規(guī)律的結(jié)果可以像前面給出的那樣利用，以便那些顏色信息對第二著色色空間的環(huán)境光源88可以利用。
這樣，圖1所示的在L3中產(chǎn)生的環(huán)境光來模擬提取區(qū)域R3可以具有一個色度，其提供在那個區(qū)域的現(xiàn)象的感知延伸，例如所示的運動的魚。這可以增加視覺經(jīng)驗并提供合適的并且不刺眼或者正常匹配的色調(diào)。
一般地，環(huán)境光源88可以包含不同的擴散器效應(yīng)來產(chǎn)生光混合，還有半透明或者其它現(xiàn)象，例如通過利用具有磨砂的或者光滑表面的燈結(jié)構(gòu)；有棱紋的玻璃或者塑料；或者孔徑結(jié)構(gòu)，例如通過利用環(huán)繞獨立光源的金屬結(jié)構(gòu)。為提供這些感興趣的結(jié)果，可以利用任何數(shù)量的已知的擴散和散射材料或者現(xiàn)象，包括通過從小的懸浮顆粒利用散射獲得；有暗影的塑料或者樹脂，準(zhǔn)備利用膠體、乳膠或者水珠1-5:m或者更少，例如少于1:m，其中包括長期的有機混合物；凝膠；和溶膠，本領(lǐng)域技術(shù)人員知道其的生產(chǎn)和制造。散射現(xiàn)象可以包括可視波長的瑞利散射，例如為提高環(huán)境光的藍(lán)色進(jìn)行藍(lán)色的產(chǎn)生。產(chǎn)生的顏色可以區(qū)域定義，例如在某些區(qū)域整個帶藍(lán)色的色調(diào)或者區(qū)域色調(diào)，例如作為藍(lán)色光產(chǎn)生的上端部分(環(huán)境光L1或L2)。
環(huán)境燈還可以與測角光度元件配合，例如圓柱形棱鏡或者透鏡，其可以形成、集成、或者插入在燈結(jié)構(gòu)的內(nèi)部。這可以在產(chǎn)生的光特征作為觀看者位置的函數(shù)變化時允許特殊的效果?？梢岳闷渌庑螤詈托问?，包括矩形的、三角形的或者不規(guī)則形狀的棱鏡或者形狀，它們可以放置在環(huán)境照明單元上面或者組成環(huán)境照明單元。結(jié)果是不是產(chǎn)生了各向同性的輸出，獲得的效果可以無限地改變，例如投射到環(huán)境光源周圍的周圍墻上、物體上和表面上的感興趣的光頻帶，當(dāng)場景元素、顏色和強度在視頻顯示單元上變化，在黑暗的房間里產(chǎn)生一種光顯示。這種效果可以是劇院環(huán)境光元素，其作為觀看者位置的函數(shù)-當(dāng)觀看家庭劇場時，觀看者從椅子上站起來或者移動觀看位置時-易感知地變化光特征，例如觀看帶藍(lán)色的火花，然后是紅光。測角光度元件的數(shù)目和類型幾乎可以無限制的利用，包括成片的塑料、玻璃和由擦傷和適度破壞性的制造技術(shù)產(chǎn)生的光學(xué)效果?？梢灾圃飒毺氐沫h(huán)境燈，即使對不同的劇場效果，可以是可互換的。這些效果可以是可調(diào)制的，例如通過改變允許通過測角光度元件的光量，或者通過改變環(huán)境照明單元的不同點亮部分(例如，利用子燈或者成組的LED)。
視頻信號AVS當(dāng)然可以是數(shù)字?jǐn)?shù)據(jù)流和包含同步比特和級聯(lián)比特；奇偶校驗位；錯誤代碼；交織；特殊調(diào)制；數(shù)據(jù)串報頭，和希望的元數(shù)據(jù)例如環(huán)境光效果的描述(例如“發(fā)光風(fēng)暴”；“日出”等等)以及本領(lǐng)域技術(shù)人員將能實現(xiàn)的功能步驟，為了清楚，這里給出的僅僅是說明性的并不包括常規(guī)的步驟和數(shù)據(jù)。
如圖3和12所示的圖形用戶界面&偏好存儲器可以用來變化環(huán)境照明系統(tǒng)行為，例如給希望的視頻顯示D的視頻內(nèi)容變化顏色逼真度的程度；變化華麗，包括任何熒光顏色或者色域之外的顏色被發(fā)射到環(huán)境空間的程度，或者根據(jù)視頻內(nèi)容的變化，環(huán)境光的變化有多快和多大，例如通過在光描述命令內(nèi)容中增大變化的亮度或者其它性質(zhì)。這可以包括高級內(nèi)容分析，其可以為電影或者特定特征的內(nèi)容制作平緩的色調(diào)。在內(nèi)容中包括很多黑暗場景的視頻內(nèi)容，能夠影響環(huán)境光源88的行為，引起環(huán)境光的暗淡發(fā)射，而華麗的或者明亮的色調(diào)可以用于某些其它的內(nèi)容，象許多肉色或者明亮場景(陽光照耀的沙灘，大草原上的一只老虎，等等)。
這里給出的敘述能夠使本領(lǐng)域技術(shù)人員利用本發(fā)明。利用本即時教導(dǎo)，很多配置是可能的，這些給出的配置和排列僅僅是說明性的。在這里并非所有的尋找的目標(biāo)都需要演示，例如，在沒有脫離本發(fā)明的情況下，第二著色色空間的特殊的轉(zhuǎn)換可以從這里給出的教導(dǎo)中排除，特別是當(dāng)著色色空間RGB和R’G’B’是類似的或者相同的時候。在實踐中，教導(dǎo)或者權(quán)利要求的方法可以作為較大系統(tǒng)的一部分顯示，較大系統(tǒng)可以是娛樂中心或者家庭劇院中心。
眾所周知，這里說明性地教導(dǎo)的函數(shù)和計算可以利用軟件或者機器碼功能性地再現(xiàn)和模擬，本領(lǐng)域技術(shù)人員能夠利用這些教導(dǎo)而不管這里教導(dǎo)的編碼和解碼的方式的控制。當(dāng)為了執(zhí)行像素等級統(tǒng)計而考慮不是嚴(yán)格必須將解碼視頻信息變成幀的時候，這尤其是真的。
本領(lǐng)域技術(shù)人員基于這些教導(dǎo)，能夠更改這里教導(dǎo)和要求的裝置和方法，例如，重新排列步驟或者數(shù)據(jù)結(jié)構(gòu)以適合特殊的應(yīng)用，創(chuàng)造可以很少的包括相似的選擇說明性目的的系統(tǒng)。
利用上述例子公開的本發(fā)明可以利用上面一些敘述的特征來實現(xiàn)。同樣，這里沒有教導(dǎo)或者要求的東西將不排除其它結(jié)構(gòu)或者功能元件的增加。
明顯地，按照上面的教導(dǎo)，本發(fā)明的改變和變化是可能的。因此可以理解，本發(fā)明可以在附加的權(quán)利要求的范圍內(nèi)利用，而不是在這里特別的描述或者建議。
權(quán)利要求
1.一種利用感知規(guī)律從在著色色空間(RGB)中編碼的視頻內(nèi)容中提取主色來產(chǎn)生由環(huán)境光源(88)模擬的主色(DC)的方法，包括[1]從來自在所述著色色空間中的所述視頻內(nèi)容的像素色度(Cp)提取主色，通過提取下面任何一項來產(chǎn)生主色[a]所述像素色度的模式；[b]所述像素色度的中值；[c]通過所述像素色度的色度的加權(quán)平均值；[d]利用像素加權(quán)函數(shù)(W)的所述像素色度的加權(quán)平均值，所述函數(shù)是像素位置(i，j)、色度(x，y，R)和亮度(L)的任一個的函數(shù)；[2]進(jìn)一步按照感知規(guī)律得到所述主色的色度，所述感知規(guī)律從下面任何一項選擇[a]簡單色度轉(zhuǎn)換(SCT)；[b]利用進(jìn)一步公式表示以顯示場景內(nèi)容的影響的所述像素加權(quán)函數(shù)(PF8)的加權(quán)平均值，該場景內(nèi)容通過評估所述視頻內(nèi)容中多個像素的色度和亮度的任何一個而獲得；[c]利用加權(quán)平均值的進(jìn)一步主色提取(EE8)，其中所述像素加權(quán)函數(shù)作為場景內(nèi)容的函數(shù)被公式表示，該場景內(nèi)容通過在所述視頻內(nèi)容中評估多個像素的色度和亮度中任何一個而獲得，且隨著所述像素加權(quán)函數(shù)的進(jìn)一步公式表示，使得對于多數(shù)像素(MP)來說，最低限度地減小加權(quán)；[3]從所述著色色空間轉(zhuǎn)換所述主色至第二著色色空間(R’G’B’)，該第二著色色空間被形成為允許驅(qū)動所述環(huán)境光源。
2.如權(quán)利要求1所述的方法，其中簡單色度轉(zhuǎn)換選擇在所述第二著色色空間中建立的色度。
3.如權(quán)利要求1所述的方法，其中所述像素加權(quán)函數(shù)被公式表示為通過如下的步驟提供黑色支持[4]評估所述視頻內(nèi)容，以確定所述場景內(nèi)容中的場景具有低亮度；以及[5]執(zhí)行下面任何一項[a]利用進(jìn)一步公式表示的所述像素加權(quán)函數(shù)以減少明亮像素的加權(quán)；以及[b]發(fā)射利用相對于其原本產(chǎn)生的為減少的亮度而得到的主色。
4.如權(quán)利要求1所述的方法，其中所述像素加權(quán)函數(shù)被公式表示為通過如下的步驟提供顏色支持[6]評估所述視頻內(nèi)容以確定所述場景內(nèi)容中的場景具有高亮度；以及[7]執(zhí)行下列任何一項[a]利用進(jìn)一步公式表示的所述像素加權(quán)函數(shù)以減少明亮像素的加權(quán)；以及[b]執(zhí)行步驟[2][c]。
5.如權(quán)利要求1所述的方法，其中所述進(jìn)一步主色提取在所述視頻內(nèi)容中對不同場景特征(J8，V111，V999)獨立地重復(fù)，形成多個主色(DC1，DC2，DC3)以及在將所述多個主色中的每一個指定為像素色度的情況下重復(fù)步驟[1]。
6.如權(quán)利要求1所述的方法，其中在執(zhí)行所述進(jìn)一步主色提取后，為新出現(xiàn)的場景特征(V999)中的像素色度獨立地重復(fù)步驟[1]。
7.如權(quán)利要求1所述的方法，其中所述方法包括在步驟[1]之前量化至少一些來自在所述著色色空間中的所述視頻內(nèi)容的像素色度(Cp)，以形成指定顏色(AC)的分布，并且在步驟[1]中，從所述指定顏色的分布中獲得所述像素色度中的至少一些。
8.如權(quán)利要求7所述的方法，其中所述量化包括儲存所述像素色度到至少一個超像素(XP)中。
9.如權(quán)利要求7所述的方法，其中所述指定顏色的至少一個是區(qū)域顏色矢量(V)，其在所述著色色空間中不是必需的。
10.如權(quán)利要求9所述的方法，其中所述區(qū)域顏色矢量位于所述第二著色色空間中。
11.如權(quán)利要求7所述的方法，另外包括在所述指定顏色的分布中確定至少一種感興趣的顏色(COI)并且提取指定在那里的像素色度，以得到一種要指定為所述主色的真實主色(TDC)。
12.如權(quán)利要求1所述的方法，其中所述主色包括主色(DC1+DC2+DC3)調(diào)色板，應(yīng)用所述方法得到每一調(diào)色板。
13.一種利用感知規(guī)律從在著色色空間(RGB)中編碼的視頻內(nèi)容中提取主色來產(chǎn)生由環(huán)境光源(88)模擬的主色(DC)的方法，包括
量化至少一些來自在所述著色色空間中的所述視頻內(nèi)容的像素色度(Cp)，以形成指定顏色(AC)的分布；[1]從所述指定顏色的分布中執(zhí)行主色提取以通過提取下面任何一項來產(chǎn)生主色[a]所述指定顏色分布的模式；[b]所述指定顏色分布的中值；[c]通過所述指定顏色分布的色度的加權(quán)平均值；[d]利用像素加權(quán)函數(shù)(W)的所述指定顏色分布的加權(quán)平均值，所述函數(shù)是像素位置(i，j)、色度(x，y，R)和亮度(L)的任一個的函數(shù)；[2]按照感知規(guī)律進(jìn)一步得到所述主色的色度，所述感知規(guī)律從下面任何一項選取[a]簡單色度轉(zhuǎn)換(SCT)；[b]利用進(jìn)一步公式表示為顯示場景內(nèi)容的影響的所述像素加權(quán)函數(shù)(PF8)的加權(quán)平均值，該場景內(nèi)容通過評估所述視頻內(nèi)容中的多個像素的色度和亮度中任何一個而獲得；[c]利用加權(quán)平均值的進(jìn)一步主色提取(EE8)，其中所述像素加權(quán)函數(shù)作為場景內(nèi)容的函數(shù)被公式表示，該場景內(nèi)容通過評估所述視頻內(nèi)容中的多個像素色度和亮度中任何一個而獲得，且進(jìn)一步公式表示所述像素加權(quán)函數(shù)，使得對于多數(shù)像素(MP)的指定顏色來說，最低限度地減小加權(quán)；[3]從所述著色色空間轉(zhuǎn)換所述主色到第二著色色空間(R’G’B’)，所述第二著色色空間被形成為允許驅(qū)動所述環(huán)境光源。
14.如權(quán)利要求13所述的方法，其中簡單色度轉(zhuǎn)換選擇在所述第二著色色空間中建立的色度。
15.如權(quán)利要求13所述的方法，其中所述像素加權(quán)函數(shù)被公式表示為通過下列步驟提供黑暗支持[4]評估所述視頻內(nèi)容以確定所述場景內(nèi)容中的場景具有低亮度；以及[5]執(zhí)行下列任何一項[a]利用進(jìn)一步公式表示的所述像素加權(quán)函數(shù)以減少明亮像素的指定顏色的加權(quán)；和[b]發(fā)射利用相對于其原本要產(chǎn)生的為減少的亮度而得到主色。
16.如權(quán)利要求13所述的方法，其中所述像素加權(quán)函數(shù)被公式表示為通過如下的步驟提供顏色支持[6]評估所述視頻內(nèi)容以確定所述場景內(nèi)容中的場景具有高亮度；以及[7]執(zhí)行下列任何一項[a]利用進(jìn)一步公式表示的所述像素加權(quán)函數(shù)以減少對明亮像素起貢獻(xiàn)的指定顏色的加權(quán)；和[b]執(zhí)行步驟[2][c]。
17.如權(quán)利要求13所述的方法，其中所述進(jìn)一步的主色提取在所述視頻內(nèi)容中對不同場景特征(J8，V111，V999)獨立地重復(fù)，形成多個主色(DC1，DC2，DC3)，且在指定所述多個主色中的每一個作為指定顏色的情況下重復(fù)步驟[1]。
18.如權(quán)利要求13所述的方法，其中在執(zhí)行所述進(jìn)一步主色提取后，為對應(yīng)于描繪新出現(xiàn)的場景特征(V999)的像素的指定的顏色而獨立地重復(fù)步驟[1]。
19.如權(quán)利要求13所述的方法，另外包括在所述指定顏色的分布中確定至少一種感興趣的顏色(COI)并且提取指定在那里的像素色度，以得到一種要指定為所述主色的真實主色(TDC)。
20.一種利用感知規(guī)律從在著色色空間(RGB)中編碼的視頻內(nèi)容中提取主色來產(chǎn)生由環(huán)境光源(88)模擬的主色(DC)的方法，包括
將在所述著色色空間中的所述視頻內(nèi)容解碼成多個幀，并量化至少一些來自在所述著色色空間中的所述視頻內(nèi)容的像素色度(Cp)，以形成指定顏色(AC)的分布；[1]從所述指定顏色的分布中執(zhí)行主色提取以通過提取下面任何一項產(chǎn)生主色[a]所述指定顏色分布的模式；[b]所述指定顏色分布的中值；[c]通過所述指定顏色分布的色度的加權(quán)平均值；[d]利用像素加權(quán)函數(shù)(W)的所述指定顏色分布的加權(quán)平均值，所述函數(shù)是像素位置(i，j)、色度(x，y，R)和亮度(L)的任一個的函數(shù)；[2]按照感知規(guī)律進(jìn)一步得到所述主色的色度，所述感知規(guī)律從下面任何一項選取[a]簡單色度轉(zhuǎn)換(SCT)；[b]利用進(jìn)一步公式表示為顯示場景內(nèi)容的影響的所述像素加權(quán)函數(shù)(PF8)的加權(quán)平均值，該場景內(nèi)容通過評估所述視頻內(nèi)容中的多個像素的色度和亮度中任何一個而獲得；[c]利用加權(quán)平均值的進(jìn)一步主色提取(EE8)，其中所述像素加權(quán)函數(shù)作為場景內(nèi)容的函數(shù)被公式表示，該場景內(nèi)容通過評估所述視頻內(nèi)容中的多個像素色度和亮度中任何一個而獲得，且進(jìn)一步公式表示所述像素加權(quán)函數(shù)，使得對于對多數(shù)像素(MP)起貢獻(xiàn)的指定顏色來說，最低限度地減小加權(quán)；[3a]從所述著色色空間轉(zhuǎn)換所述主色到未著色色空間(XYZ)；[3b]從所述未著色色空間轉(zhuǎn)換所述主色到所述第二著色色空間，通過以下進(jìn)行輔助[3c]利用第一和第二三色主矩陣(M1，M2)，矩陣轉(zhuǎn)換所述著色色空間和第二著色色空間的原色(RGB，R’G’B’)到所述未著色色空間；和通過所述著色色空間的原色、所述第一三色矩陣以及所述第二三色矩陣的逆矩陣(M2)-1進(jìn)行矩陣相乘，得到所述顏色信息到所述第二著色色空間(R’G’B’)的轉(zhuǎn)換。
全文摘要
利用用于智能主色選取的感知規(guī)律，提取并處理在著色色空間中編碼的視頻內(nèi)容，以用于通過環(huán)境光源發(fā)射模擬。步驟包括量化視頻顏色空間；通過利用像素色度的模式，平均值，中值，或加權(quán)平均值提取主色；通過下面步驟施加感知規(guī)律以進(jìn)一步得到主色度[1]色度轉(zhuǎn)換；[2]利用受場景內(nèi)容影響的像素加權(quán)函數(shù)的加權(quán)平均值；以及[3]在為大多數(shù)像素減小像素加權(quán)值的情況下的進(jìn)一步的主色提取；和[4]利用三色矩陣將選擇的主色轉(zhuǎn)換至環(huán)境光色空間；可進(jìn)一步分析感興趣的顏色以產(chǎn)生真實的主色，在先的視頻幀可用于指導(dǎo)在后幀中的主色的選擇。
文檔編號H04N9/64GK1977542SQ200580022098
公開日2007年6月6日 申請日期2005年6月27日 優(yōu)先權(quán)日2004年6月30日
發(fā)明者S·古塔, E·M·A·迪德里克斯, M·J·埃爾廷 申請人:皇家飛利浦電子股份有限公司