用于hdr圖像編碼和解碼的裝置和方法
【專利摘要】為了使得具有強烈改進(jìn)的可用性的HDR圖像編碼機制可用，描述了一種被布置成編碼高動態(tài)范圍圖像（IM_HDR-in）的圖像編碼單元（301），該圖像編碼單元包括：-LDR選擇器（311），其用于標(biāo)識由高動態(tài)范圍圖像覆蓋的總輝度范圍（Range_HDR）內(nèi)的低動態(tài)輝度范圍（R_Norml_LDR）或者相應(yīng)的亮度代碼值范圍（R_LDR）；-HDR選擇器，其用于選擇總輝度范圍（Range_HDR）內(nèi)的至少一個互補范圍（R_above），該互補范圍主要包括未被低動態(tài)輝度范圍（R_Norml_LDR）覆蓋的輝度；-代碼映射單元（315），其被布置成在具有包括N比特碼字的亮度分量的第一圖像（Im_1*）中依照第一映射（CMAP_L）將落入低動態(tài)輝度范圍（R_Norml_LDR）內(nèi)的高動態(tài)范圍圖像（IM_HDR-in）的像素輝度編碼為代碼值（Y_out），并且依照第二映射（CMAP_H）將落入所述至少一個互補范圍（R_above）內(nèi)的高動態(tài)范圍圖像（IM_HDR-in）的像素輝度編碼為代碼值（Y_out），其中第一和第二映射映射到第一圖像的亮度代碼值范圍（RcTot_Im1）的分離的子范圍。
【專利說明】用于HDR圖像編碼和解碼的裝置和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于圖像，尤其是HDR場景的改進(jìn)編碼的裝置和方法以及得到的像數(shù)據(jù)存儲產(chǎn)品那樣的產(chǎn)品或者編碼信號。
【背景技術(shù)】
[0002]近來，出現(xiàn)了關(guān)于(不論捕獲的場景的還是計算機圖形的)圖像/視頻編碼的新發(fā)展，即，希望的是更好地捕獲自然出現(xiàn)的物體輝度(luminance)和顏色的整個范圍，其高達(dá)可能在外部陽光環(huán)境下或者在強烈人造光附近出現(xiàn)的像例如25000尼特(nit)那樣的大輝度值，以及經(jīng)常也有像0.01尼特那樣的低值，這稱為HDR (高動態(tài)范圍)編碼。在內(nèi)容創(chuàng)建偵牝例如照相機(并且甚至諸如移動電話照相機之類的移動器件照相機尤其是在所有種類的環(huán)境中隨意且簡單地被使用時將希望更好地捕獲實際的場景，而不管捕獲的圖像以后將在哪個再現(xiàn)系統(tǒng)上再現(xiàn)以及從其解耦)或者像在再現(xiàn)側(cè)那樣的計算機游戲或特效的人工計算機顏色空間，均存在推進(jìn)(push)。從目前起出現(xiàn)了越來越高峰值視亮度(brightness)的顯示器，其本身沒有限定什么是HDR再現(xiàn)鏈所需的，但是促進(jìn)對此加以引入。當(dāng)前，典型的HDR顯示器為LED背光LCD，但是如果例如放松顏色飽和的條件，那么也可以例如將單色背光源置于OLED之后(泄漏通過的光創(chuàng)建RGBW再現(xiàn))。出于若干原因，至少在未來若干年，可以希望某種形式的后向兼容性，這意味著所謂的低動態(tài)范圍(LDR)編碼的數(shù)據(jù)必須可用或者至少可容易確定，使得例如升級的視頻處理箱可以將LDR信號輸送至較低動態(tài)范圍顯示器。而且，如本文中將示出的，甚至長期來看，使良好LDR表示可用也可以證明是有用的。本發(fā)明人認(rèn)識到，具有LDR編碼的一個原理在于，盡管正在出現(xiàn)動態(tài)范圍不斷增加的顯示器(高端)，但是也存在相當(dāng)部分的低動態(tài)范圍顯示器(例如在外部環(huán)境中的移動器件、投影等等)。事實上，可能存在為若干可能的成像或再現(xiàn)方案自動地重新確定如圖像信號中所捕獲的灰度值的需要，正如人們將在幾何學(xué)上對畫面縮放以便將其顯示于不同分辨率的顯示器上那樣。
[0003]HDR捕獲鏈不只是將照相機對著在最暗與最亮物體之間具有大的輝度對比率的場景并且線性地記錄所存在的東西(諸如例如CCD之類的捕獲IC典型地為部分(近似)線性的)。HDR圖像技術(shù)與所有物體的確切中間灰度值是什么有關(guān)，因為這傳達(dá)了例如電影的情緒(已使場景中的一些物體變暗可以傳達(dá)灰暗的情緒)。并且這是一個復(fù)雜的心理過程。可以例如想象，亮光是否確切地以與其余再現(xiàn)灰度值成比例地在顯示器上再現(xiàn)在心理上不是那么重要，所述比例正如場景輝度與其余場景物體輝度的比例。相反地，如果像素以“某個”高的顯示器輸出輝度再現(xiàn)，只要該輝度充分高于畫面的其余部分，那么人們將擁有真實燈的忠實印象?？赡艽嬖趲讉€“燈光”白色水平，但是它們一充分地分開，它們的確切代碼水平或者最終顯示器再現(xiàn)的輸出輝度可能經(jīng)常就不那么關(guān)鍵了。(在場景的各個不同的光照區(qū)域中的)自發(fā)光物體與反射物體之間的灰度值分配也是一個關(guān)鍵任務(wù)，其取決于顯示器色域和典型的觀看條件。也可以想象，優(yōu)選地進(jìn)行較暗區(qū)域的編碼，使得它們可以容易地用于不同的再現(xiàn)方案中，例如不同的平均環(huán)繞照明水平(即它們可以局部地亮化)。通常，由于這是困難的心理任務(wù)，藝術(shù)家們將參與創(chuàng)建最佳的圖像，這稱為顏色分級。特別地，藝術(shù)家們形成單獨的LDR分級時是非常得心應(yīng)手的，即使那是在“純HDR編碼策略”中完成。換言之，在這種方案中，當(dāng)編碼僅有的HDR照相機RAW (原始)信號時，我們也將生成LDR圖像，這不一定因為它要用于視頻消費市場的大的LDR部分，而是因為它傳達(dá)了關(guān)于場景的重要信息。即，在場景中總是會存在更加重要的區(qū)域和物體，并且通過將這些置于LDR子結(jié)構(gòu)(其可以在概念上看作自動曝光算法的藝術(shù)配對物)中，這使得進(jìn)行所有種類的到中間范圍表示(MDR)的轉(zhuǎn)換更加容易，所述中間范圍表示適合于驅(qū)動具有特定的再現(xiàn)和觀看特性的顯示器。特別地，可以依照若干準(zhǔn)則調(diào)整該LDR部分，所述準(zhǔn)則例如是該LDR部分在標(biāo)準(zhǔn)參考LDR顯示器上以良好的質(zhì)量再現(xiàn)，或者傳達(dá)總的捕獲的信息的一定百分比，等等。
[0004]不存在那么多的編碼HDR信號的方式。通常，在現(xiàn)有技術(shù)中，人們只是原生地對HDR信號編碼，即人們將像素(線性地)映射到例如16比特字，并且然后出于類似于LDR編碼的理念，最大的捕獲的輝度值為HDR白色(盡管在心理視覺(psychovisually)上,這通常不是場景中的反射性白色，而是燈的明亮顏色)。人們也可以經(jīng)由某個“最佳”亮度(Iuma)變換函數(shù)將全范圍HDR信號映射為8比特LDR范圍,所述函數(shù)典型地為伽瑪函數(shù)或者類似函數(shù)。這尤其是在接收側(cè)可期望諸如局部亮化之類的圖像處理的情況下可能使丟失顏色精度與相應(yīng)的再現(xiàn)質(zhì)量問題密切相關(guān)，然而，圖像物體的主導(dǎo)灰度值分級大致被保留(即它們的相對/感知売度關(guān)系)。
[0005]現(xiàn)有技術(shù)也教導(dǎo)了一些將兩個畫面數(shù)據(jù)集用于HDR的、典型地基于一種可伸縮編碼概念的HDR編碼技術(shù)，其中通過某種預(yù)測，典型地通過縮放LDR輝度來改進(jìn)“LDR”編碼的局部紋理的精度，或者更準(zhǔn)確地說將其投影到該紋理的HDR版本(LDR在那些技術(shù)中通常不是好看的LDR等級，而是典型地對HDR輸入的簡單處理)。然后，在希望的程度上將原始HDR圖像與預(yù)測之間的差異共同編碼為增強畫面。例如，可以利用被8除將HDR灰度值1168表示為值146。該HDR值可以通過再次乘以8而重新創(chuàng)建，但是由于值1169將量化為相同的基層值146，因而需要等于I的能夠重新創(chuàng)建高質(zhì)量HDR信號的增強值。專利EP2009921[LiuShan et al.Mitsubishi Electric: Method for inverse tone mapping (by scalingand offset)]中描述了這種技術(shù)的一個實例。在用于這些編解碼器的理論中，逆色調(diào)映射預(yù)測模型(其是標(biāo)準(zhǔn)乘法器的更智能的等效物)應(yīng)當(dāng)準(zhǔn)確得足以已經(jīng)給出合理精確的HDR外觀，在該外觀上施加微小的修正(事實上，如果通過使用非線性函數(shù)將可能值的范圍投影到另一個范圍，那么除去精度問題之外，原始范圍值應(yīng)當(dāng)是可恢復(fù)的)。
[0006]目前尚未公布的申請US61/557461中描述了另一種雙畫面編碼，該文獻(xiàn)的所有教導(dǎo)在此通過引用加以合并。
[0007]該系統(tǒng)也對LDR和HDR圖像起作用，并且也具有一些對于本發(fā)明有用的相似認(rèn)識，即例如以下認(rèn)識:在HDR信號中，總是可以找到非常重要的LDR子區(qū)域，并且使得該LDR成為用于LDR再現(xiàn)的實際可用信號(例如專用LDR等級)可能是有意義的。并且，HDR信息典型地不僅在輝度軸上是非線性分開的(即，例如在場景中燈具有比白色高得多的輝度)，而且它也具有不同的含義。例如，人們可能經(jīng)常談起HDR效果，即他們不一定需要精確地對像場景的主要內(nèi)容(即其LDR部分)那樣的物體紋理編碼，而是取決于它是哪個HDR區(qū)域/效果，可以利用不同的準(zhǔn)則(比如降低的精度)對其編碼，或者讓其完全消失。這具有這樣的結(jié)果:經(jīng)?？梢詾閳鼍暗腍DR部分節(jié)省許多比特預(yù)算。此外，在這樣的LDR+HDR效果中編碼部分雙畫面格式具有以下優(yōu)點:二者可以非常容易地分開。僅僅需要LDR的舊式或者較低能力系統(tǒng)可以直接提取LDR，忽略其余部分。但是，也具有作為分開編碼的畫面的HDR非常容易地使得根據(jù)實際再現(xiàn)顯示器的實際色域能力以調(diào)整的方式，例如通過將縮放的HDR效果添加到經(jīng)過輝度變換的LDR部分上，來施加它們。
[0008]然而，盡管該格式例如通過重新使用通常可用于3D編碼的結(jié)構(gòu)而對于已經(jīng)被配置用于雙畫面編碼的系統(tǒng)完美地起作用，但是在我們只有單一畫面編碼占位符可用的情況下，我們將希望類似的能力。隨著視頻點播領(lǐng)域的成長，人們可以想象，那些系統(tǒng)中的至少一些系統(tǒng)會寧愿將一切編碼到單一畫面信號中。
[0009]然而，當(dāng)前實施例中的至少一些的目的是仍然具有將這樣的最佳的LDR在HDR內(nèi)的框架編碼到單一畫面中的益處，而不管以下事實:將兩幅畫面編碼到一幅畫面中看起來是奇怪的。應(yīng)當(dāng)指出的是，上面描述的其他類別的方法雖然在數(shù)學(xué)上/技術(shù)上以LDR畫面格式強制執(zhí)行一些數(shù)據(jù)(作為占位符)，但是并沒有對真實的LDR圖像(即在LDR觀看系統(tǒng)上看起來良好的圖像)(共同)編碼，因為它們?yōu)榱似銵DR外觀而被仔細(xì)分級(至少被選擇，經(jīng)常是被進(jìn)一步地顏色分級變換)(相反地，人們可以擁有具有正確物體幾何結(jié)構(gòu)的“LDR”畫面，但是如果其被直接再現(xiàn)，則表現(xiàn)出嚴(yán)重修改的物體紋理灰度值，例如錯誤的對比度或平均視亮度)。
[0010]

【發(fā)明內(nèi)容】

[0011]HDR圖像的一種簡單且可容易使用的編碼可以通過本文給出的遵循與圖像編碼單元(301)有關(guān)的原理的實施例構(gòu)思而實現(xiàn)，該圖像編碼單元被布置成對高動態(tài)范圍圖像(IM_HDR-1n)編碼，其包括:
-LDR選擇器(311)，其用于標(biāo)識由高動態(tài)范圍圖像覆蓋的總輝度范圍(Range_HDR)內(nèi)的低動態(tài)輝度范圍(R_Norml_LDR)或者相應(yīng)的亮度代碼值范圍(R_LDR)；
-HDR選擇器，其用于選擇總輝度范圍(Range_HDR)內(nèi)的至少一個互補范圍(R_above)，該互補范圍主要包括未被低動態(tài)輝度范圍(R_Norml_LDR)覆蓋的輝度；
-代碼映射單元(315)，其被布置成在至少具有包括N比特碼字的亮度分量的第一圖像(Im_l*)中依照第一映射(CMAP_L)將落入低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的高動態(tài)范圍圖像(M_HDR-1n)的像素輝度編碼為代碼值(Y_out)，并且依照第二映射(CMAP_H)將落入所述至少一個互補范圍(R_above)內(nèi)的高動態(tài)范圍圖像(IM_HDR-1n)的像素輝度編碼為代碼值(Y_out )，其中第一和第二映射映射到第一圖像的亮度代碼值范圍(RcTot_Iml)的分尚的子范圍。
[0012]有時，最佳LDR信號的創(chuàng)建(例如在典型的LDR顯示器上仍然在圖像的較暗部分中顯示足夠的細(xì)節(jié))可能涉及典型地由人類藝術(shù)家所做的像素輝度的某種重新映射，其稱為顏色分級者(或者分析圖像的各種不同的屬性的智能算法，所述屬性諸如例如由其導(dǎo)出各種不同的對比度度量的部分直方圖屬性)。然而，經(jīng)?？梢詮妮^大的輝度HDR范圍畫面內(nèi)恢復(fù)良好的LDR變型。于是，只需選擇最好的LDR畫面，但是這通?？赡苁且患щy的任務(wù)，因此可能要求人類藝術(shù)家的介入。他可以選擇感興趣物體的像素輝度的子范圍R_Norml_LDR,該子范圍應(yīng)當(dāng)被良好地編碼并且因此在標(biāo)準(zhǔn)LDR顯示器上良好地再現(xiàn)。為了簡單起見，我們將假設(shè)該LDR編碼可以例如通過以下方式而或多或少直接地用作用于LDR顯示器的驅(qū)動信號:施加所需的無論哪個硬件校準(zhǔn)的變換以便使得該LDR顯示器在LDR范圍R_Norml_LDR內(nèi)絕對地或者相對地再現(xiàn)原始輝度。但是，當(dāng)然可能涉及更加復(fù)雜的關(guān)系，因為在理論上LDR不一定需要顯示器再現(xiàn)的輝度的直接編碼，而是可以是捕獲的場景中的某些輝度的任何單獨的表示。然而，我們將仍然假定，LDR信號被調(diào)適(condition)成使得良好質(zhì)量的LDR信號可以(容易地)從其獲得(例如不是對應(yīng)當(dāng)可見的一些部分進(jìn)行剪切，并且因此這些部分永遠(yuǎn)不能被轉(zhuǎn)換到好看的區(qū)域，即使顯示器具有高級圖像處理能力)?？赡艽嬖诶缟婕暗囊院罂梢阅孓D(zhuǎn)的簡單線性對比度壓縮，但是該自動重新格式化還沒有所有或者一些像素灰度值的實際分級那么復(fù)雜，所述分級可能涉及局部區(qū)域重新著色等等。所述選擇典型地也涉及選擇可以以(非常)低質(zhì)量的方式編碼的區(qū)域，例如可以剪切在特定輝度以下至零的所有區(qū)域，因為它們無論如何都不會非常好地在LDR觀看系統(tǒng)上顯示(該系統(tǒng)包括具有由于例如光泄漏和/或諸如在室外觀看情形中的高視亮度反射之類的差觀看條件而造成的低對比度的顯示器)。這些區(qū)域可以簡單地從(密封的)LDR編碼中排除，并且因此它們將在HDR部分中以某種方式被編碼。典型地，因此將存在包含例如光源(或者也許還有室外陽光環(huán)境的某個部分)的至少一個互補范圍，并且分級者然后將典型地決定如何表示它們。即，他可以考慮對于光源而言，不需要這么多的灰度水平，但是仍然需要超過一個灰度水平，因為至少一些HDR顯示器可能想要再現(xiàn)光源的內(nèi)部結(jié)構(gòu)。典型地，他可以在設(shè)計這些顏色的映射CMAP_H中使用這些考慮。通常，軟件在很到程度上將是自動的，允許他以最小的努力交互。例如，他可以使用橢圓粗略地包圍燈，并且然后根據(jù)對畫面中其余物體編碼所需的數(shù)據(jù)量，軟件可以自動地為該燈分配例如兩個最高的代碼值(通過設(shè)計相應(yīng)的CMAP_H)。然而，這些值可能不傳達(dá)分級者將在其HDR標(biāo)準(zhǔn)監(jiān)視器上看見的足夠的內(nèi)部細(xì)節(jié)。他也可以通過例如降低該區(qū)域的平均明度(lightness)以粗略地模仿在甚至更明亮的HDR顯示器上的東西看起來如何而檢查另外的情形。如果分級者認(rèn)為該表示對于僅僅為光源(普通觀看者典型地可能不長時間觀察以研究其成分的某種東西，相反地，當(dāng)跟隨情節(jié)時，他將看著演員或者新聞廣播員的臉部等)的物體是足夠的，那么他將至少接受映射CMAP_H的該部分。否則，他可以通過進(jìn)一步的交互，例如規(guī)定在輸出圖像Im_l*中將需要5個亮度代碼值￥_0機以充分準(zhǔn)確地表示該區(qū)域。經(jīng)常，所需的少于編碼的這種準(zhǔn)確的局部細(xì)調(diào)，并且事實上，像例如伽瑪函數(shù)那樣的函數(shù) 可以用來采樣(即更準(zhǔn)確或者不那么準(zhǔn)確地表示)可用圖像物體像素(可以把每個變換表示為將輸入畫面的總范圍的至少一個區(qū)間映射到標(biāo)準(zhǔn)區(qū)間[0，I]，并且然后依照任何希望的非線性分配函數(shù)將許多數(shù)字輝度采樣點放置在那里)。
[0013]類似地，可以通過選擇用于LDR子選擇CMAP_L的適當(dāng)映射而做許多事情，但是可以依照諸如伽瑪2.2函數(shù)之類的預(yù)先存在的技術(shù)表示該部分，因為于是無需傳遞關(guān)于使用了什么特定映射(代碼定義)的附加信息，并且因此不檢查和更新這點的舊式系統(tǒng)可以按原樣僅僅使用所述編碼。然而，除了將編碼定義到輸出圖像的映射(CMAP_L，CMAP_H)之外，諸如色調(diào)映射之類的另外的顏色映射變換(TRF_LDR，TRF_HDR)創(chuàng)建附加的灰度值效果(例如，代替已經(jīng)高質(zhì)量分級的HDR輸入圖像，可以輸入照相機RAW捕獲，在這種情況下，分級者將在他編碼的同時分級)。這允許容易地分開純粹出于諸如壓縮效率之類的技術(shù)原因而進(jìn)行的灰度值修改(例如依照視覺原理分配代碼，所述視覺原理例如是不同可編碼值之間的JND)和例如使得雷暴云看起來 更加來勢洶洶的藝術(shù)性修改。應(yīng)當(dāng)指出的是，盡管互補范圍通常包含尚未被R_Norml_LDR覆蓋的大多數(shù)或者全部像素亮度，但是可能存在一定的重疊。例如，分級者可以決定將一些明亮的(HDR)輝度包括在LDR表示中，尤其是如果映射CMAP_L不是(偽)線性映射，但是如果他設(shè)計特定的軟剪切分級策略。這可能例如導(dǎo)致蒼白的有陽光的外部(其不僅僅是我們在LDR中所使用的，而且經(jīng)常是用于較高動態(tài)范圍的良好的映射策略)，然而這些外部遠(yuǎn)沒有被足夠準(zhǔn)確地表示以便可用于高質(zhì)量HDR再現(xiàn)。用于互補范圍的HDR部分編碼于是可以更精確地再次對這些值中的至少一些重新編碼(例如將更多的值分配給太陽下的反射物體，而降低可用于光源的代碼數(shù)量)。這對于正常的單畫面編碼而言是違反直覺的，在單畫面編碼中，定義了簡單的編碼，如果不是連續(xù)的(并且甚至利用定義代碼與捕獲的場景輝度之間的關(guān)系的簡單色調(diào)映射傳遞函數(shù))，那么當(dāng)然不是非單調(diào)的。但是，利用當(dāng)前實施例，其不僅容易可做，而且增加的自由度提供了編碼數(shù)據(jù)的有利簡單使用，例如重新分級以便調(diào)整到顯示器和觀看環(huán)境的實際物理細(xì)節(jié)(我們稱其為可調(diào)整性要求，這是諸如例如ITU-R.601或709之類的嚴(yán)格定義的單鏈端到端顯示器相關(guān)編碼中不存在的屬性)。有利的是，畫面編碼可以使用已經(jīng)到位的技術(shù)以用于亮度樣本，比如10比特碼字，但是當(dāng)然本發(fā)明可以對其他值起作用。應(yīng)當(dāng)指出的是，出于保持正文和權(quán)利要求簡單的原因，我們沒有總是深究一種特定的實現(xiàn)是否對輝度或亮度起作用，因為在知道變換定義時這些輝度或亮度可以容易地彼此轉(zhuǎn)換。因此，當(dāng)我們描述例如在輝度表示下選擇范圍(就像例如將YUV編碼重新變換為像實際場景輝度的線性XYZ那樣的原始場景表示或者其像照相機捕獲的圖像那樣的任何近似)時，也可以在相應(yīng)的亮度(Y)表示或者任何相關(guān)的表示下選擇范圍。再者，可以在概念上解釋得就像利用中間步驟朝向通用相聯(lián)系的顏色空間的變換在實際實現(xiàn)中可以立即實現(xiàn)為組合所有步驟的一個操作(即使像在非線性顏色空間中那樣是近似的)。技術(shù)人員在理解這點上應(yīng)當(dāng)沒有困難，因為類似地他應(yīng)當(dāng)理解，如果我們簡單化地將任何事情解釋為仿佛像素具有自然顏色表示，在實際中可能存在涉及的另外的子步驟，比如MPEG標(biāo)準(zhǔn)中的DCT變換或者類似的壓縮圖像或視頻編碼。
[0014]應(yīng)當(dāng)理解的是，簡單變型實施例也將作為等效物落入我們的權(quán)利要求書的范圍內(nèi)。代替在像YCrCb那樣的基于亮度的顏色空間中編碼的是，當(dāng)然可以在等效的顏色空間中在LDR和HDR子范圍內(nèi)做類似的劃分。例如，可以在R’ G’ B’顏色空間中例如在代碼40與750之間保留三個不等或者相等的區(qū)域(典型地可以考慮它們對亮度的知覺貢獻(xiàn)以及每個通道的希望的精度等等)，這在這種情況下由于這兩個顏色空間之間的線性矩陣關(guān)系而是容易的。在那種情況下，代替特性灰度值的是，典型地將存在特性顏色值，比如例如RU、Gt3等等。
[0015]更高級的實施例可以進(jìn)一步包括變換單元(312)，該變換單元被布置成向具有落入低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的輝度的高動態(tài)范圍圖像(IM_HDR_in)的像素顏色施加色度變換，以獲得用于那些像素顏色的修改的像素輝度(Y*_L)。
[0016]并且這并不僅僅為了能夠做到這點，而是依照以下技術(shù)哲理而非常有利。人們可以選擇在HDR輸入信號中良好分級(即看起來很好)的某個范圍。然而，那不一定需要在LDR系統(tǒng)上具有最好的外觀(當(dāng)然尤其是在涉及簡單映射的情況下，比如簡單化地只是利用壓縮因子I選擇輝度在一定范圍內(nèi)的所有像素)。可以例如想象，選擇LDR部分中的暗顏色，并且因此其在編碼圖像的數(shù)學(xué)代碼中良好地表示，但是將它們轉(zhuǎn)換成在任何LDR系統(tǒng)上良好地再現(xiàn)的表示不是非常容易(再現(xiàn)和編碼是不應(yīng)當(dāng)混淆的兩個不同的條件，并且二者非常重要，因此理想情況下任何(編碼)系統(tǒng)都應(yīng)當(dāng)允許優(yōu)美地處理這二者)。在該實例中，分級者可以決定施加任何復(fù)雜的分級變換，使得暗顏色在LDR顯示器上看起來良好(典型地，閃電(lightening)可能涉及分配LDR亮度范圍的過多部分)。然而，于是有意義的是容易地能夠?qū)⑦@些轉(zhuǎn)換回用于HDR再現(xiàn)的良好表示。因此，典型地，人們將以元數(shù)據(jù)MET共同編碼在圖像的該子部分上使用的變換，使得人們可以在接收側(cè)逆轉(zhuǎn)它。如前面所述的，也可以將一些信息(潛在地部分冗余地)編碼到Im_l*的HDR范圍部分中，例如允許查看暗部分，這與逆變換的LDR編碼區(qū)域不相似。
[0017]可能有利的是，如果LDR選擇器(311)包括基于輸入LDR分級圖像(GRD_LDR_in)和/或表征該LDR分級圖像的元數(shù)據(jù)(TM_G1 (gl, gh))標(biāo)識總輝度范圍(Range_HDR)的低動態(tài)輝度范圍(R_Norml_LDR)的標(biāo)識單元。
[0018]當(dāng)僅僅存在(預(yù)先分級的或者原始的)HDR圖像M_HDR_in時或者當(dāng)也已經(jīng)存在相同捕獲的場景的LDR版本GRD_LDR_in(例如已經(jīng)預(yù)先分級的圖像、計算機圖形學(xué)再現(xiàn)圖像、來自另一個照相機的圖像等等)時，可以使用當(dāng)前實施例系統(tǒng)。在那種情況下，必須存在通常在該LDR版本中最好地表示的場景物體的在HDR圖像中(被不同地表示)的標(biāo)識。盡管尤其是在復(fù)雜冗余編碼或分級(應(yīng)當(dāng)指出的是，可能有利的是可調(diào)整性能夠使用關(guān)于相似場景物體的信息，然而依照例如LDR與HDR分級者的不同分級哲理)的情況下，可以使用復(fù)雜的算法(既用于標(biāo)識相應(yīng)的雙重編碼部分，又用于混合場景數(shù)據(jù)的兩種編碼以獲得Im_l*的最終表示)，但是較簡單的變型可以僅僅定義LDR分級的極限gl和gh。在那種情況下，無論在輝度具有LDR范圍(R_Norml_LDR)的IM_HDR_in中像素顏色值是什么，它們現(xiàn)在都用LDR版本輸入GRD_LDR_in中的顏色值代替(可能地依照共同編碼的或者通過在與該代替的LDR范圍R_Norml_LDR相應(yīng)的代碼區(qū)間R_LDR內(nèi)當(dāng)前定義了另外的非線性映射的本地分級者)。即，通常，可能存在基于LDR版本GRD_LDR_in，例如通過使用圖像編碼單元確定Im_l*中為該LDR范圍中的像素編碼的最終顏色值的更加復(fù)雜的策略，其中代碼映射單元(315)被布置成依照LDR分級圖像(GRD_LDR_in)中編碼的像素顏色值映射落入低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的高動態(tài)范圍圖像(IM_HDR_in)的像素輝度。
[0019]對于依照本發(fā)明的任何實施例非常有用的是包括圖像信號格式化器(320)的圖像編碼單元，該圖像信號格式化器被布置成除了第一圖像(Im_l*)之外還輸出特性輝度水平(gt4)或者特性亮度代碼值(gC4)中的至少一個。
[0020]再一次地，如所述的，存在與人們是想要在(原始)輝度域中還是在亮度代碼值域中還是在類似的代碼域中定義特性灰度值的數(shù)學(xué)一致性。對于若干應(yīng)用而言，定義這些特性灰度值中的一個或多個具有若干優(yōu)點。如前面所述的，當(dāng)劃界諸如例如較明亮輝度的HDR效果區(qū)域之類的區(qū)域時，它們可以用來從一種表示剪貼到另一種表示，比如例如Im_l*。這允許定義代碼的含義?？梢悦獬鼈儾⑶覂H僅定義這樣的映射函數(shù)，其可以涉及不存在的代碼，因為它們由于它們在互補范圍R_above以下并且處于LDR范圍中而在利用CMAP_H的HDR部分映射中未被選擇(或者可以在該映射函數(shù)中隱含地編碼邊界灰度水平)。但是，也可以使用簡單映射(例如線性)并且明確地從該特殊灰度值(例如輝度gl)啟動它。這允許將一般的線性映射策略轉(zhuǎn)換為特定的映射策略，即允許最佳地調(diào)整到當(dāng)前圖像，(因為可以由此跳過圖像中不存在的輝度區(qū)域，并且利用可用的物體輝度波瓣不連續(xù)但是高效地(重新)啟動編碼。但是，定義若干這樣的特性灰度值也允許定義若干HDR波瓣(其在現(xiàn)實中可能不總是像在我們的簡單化圖2中那樣很好地分開，但是盡管如此，它們?nèi)匀皇强煞珠_的，但是典型地需要人類顏色分級者的智能)。這允許定義若干HDR效果，允許根據(jù)再現(xiàn)顯示器的物理能力(例如其可用輝度范圍)例如更強烈地增強爆炸并且減弱室外陽光區(qū)域的視亮度，所述物理能力可能取決于諸如可用led背光源及其避免光暈的驅(qū)動約束之類的硬件限制。但是同樣在單波瓣內(nèi)，例如R_Norml_LDR內(nèi)的LDR部分，可以定義有意義的灰度值，例如畫面的暗部分，其為由人類分級者選擇的具有情節(jié)相關(guān)特定含義的區(qū)域。它可以例如是其中不太多的動作在進(jìn)行的區(qū)域，比如通過門看見的暗的室內(nèi)。可以將其涂抹成單個(或者感知為單個)黑色值，但是可替換地，盡管對于情節(jié)而言不是關(guān)鍵的，可能希望的是在其中至少具有某種結(jié)構(gòu)。通過將該暗區(qū)域與應(yīng)當(dāng)更嚴(yán)格地再現(xiàn)的區(qū)域劃界，再現(xiàn)側(cè)可以更好地決定如何實際地再現(xiàn)它。例如，如果用戶在其遙控器視亮度按鈕上指明他發(fā)現(xiàn)場景太暗，并且不能很好地看見某些部分(其應(yīng)當(dāng)至少為最暗的部分)，那么電視可以決定亮化該部分。即，它可以增加所有那些像素的亮度，并且軟移動上方的亮度區(qū)域的顏色或者甚至與其重疊。另外的元數(shù)據(jù)可以解釋這些區(qū)域之間的關(guān)系并且進(jìn)一步幫助接收側(cè)處理，例如，內(nèi)容提供商可以強制該暗區(qū)域應(yīng)當(dāng)總是比上方的區(qū)域更暗(不論作為暗區(qū)域和更亮的區(qū)域的平均視亮度，最高的輝度降至上面的范圍的最低值以下等等)。
[0021]通常，這樣的特性值可能對于所有種類的應(yīng)用是有用的，但是尤其是在HDR系統(tǒng)中，用于更好地協(xié)調(diào)接收側(cè)(在像機頂盒或計算機那樣的圖像處理盒中或者在顯示器中等等)圖像處理操作，尤其是用于創(chuàng)建視覺上更好的再現(xiàn)的最佳色調(diào)映射。在LDR系統(tǒng)中，雖然一些特性點可能存在，但是它們不是所需的。白點正是最大輝度/亮度值。然而，在HDR中，若干白色可能存在(存在于陰影中或者外面的太陽下的白紙，并且甚至更亮的光源顏色不是真正的白色(白色應(yīng)當(dāng)為反射顏色)，而是“高亮度”)。當(dāng)然，可以存在甚至更加有趣的黑色和灰色，以非常簡單的方式允許對場景進(jìn)行語義定義。這在接收側(cè)想要使用全局圖像顏色/亮度變換的情況下是特別有用的，不過典型地需要調(diào)節(jié)它們以與實際的圖像內(nèi)容，尤其是捕獲和編碼的物體紋理顏色分布密切地相應(yīng)。
[0022]因此，這些特性灰度值對于單幅(或者若干相關(guān))畫面中，尤其是在主導(dǎo)LDR部分中或者在其協(xié)調(diào)周圍的任何HDR定義是有用的。更加有意義的是，可以給予這些區(qū)域更具語義的數(shù)據(jù)，諸如名稱代碼或者允許的操作，比如“暗區(qū)域”，“被允許為了更好的物體可見性而亮化”，但是應(yīng)當(dāng)保持在總的再現(xiàn)圖像中在心理上再現(xiàn)為微暗的”。應(yīng)當(dāng)指出的是，后者取決于再現(xiàn)圖像中存在的其他顏色以及導(dǎo)致觀看者看見某些顏色的另外的觀看條件，但是由于這不是本發(fā)明的主要組件，因而我們在這里將不會不必要地對此進(jìn)行進(jìn)一步的詳細(xì)說明。
[0023]上面的編碼單元裝置可以實現(xiàn)的類似的技術(shù)變換可以以其他的技術(shù)方式完成，其允許實現(xiàn)一種高動態(tài)范圍圖像(M_HDR-1n)的圖像編碼方法，該方法包括:
-選擇由高動態(tài)范圍圖像覆蓋的總輝度范圍(Range_HDR)內(nèi)的低動態(tài)輝度范圍(R_Norml_LDR)或者相應(yīng)的亮度代碼值范圍(R_LDR)；
-選擇總輝度范圍(Range_HDR)內(nèi)的至少一個互補范圍(R_above)，該互補范圍主要包括未被低動態(tài)輝度范圍(R_Norml_LDR)覆蓋的輝度；
-朝著至少具有包括N比特碼字的亮度分量的第一圖像的亮度代碼，依照第一映射(CMAP_L)將落入低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的高動態(tài)范圍圖像(IM_HDR_in)的像素輝度映射為代碼值(Y_out)，并且依照第二映射(CMAP_H)將落入所述至少一個互補范圍(R_above)內(nèi)的高動態(tài)范圍圖像(IM_HDR_in)的像素輝度映射為代碼值(Y_out)，其中第一和第二映射映射到第一圖像的亮度代碼值范圍(RcTot_Iml)的分離的子范圍。
[0024]所述高動態(tài)范圍圖像(IM_HDR_in)的圖像編碼方法可以進(jìn)一步包括對于具有低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的輝度的像素執(zhí)行顏色分級等等，特別地用于產(chǎn)生作為產(chǎn)品的圖像編碼的、具有技術(shù)上實現(xiàn)的方法的附屬物的任何上述子技術(shù)。
[0025]發(fā)送器側(cè)的鏡像技術(shù)可以在任何接收側(cè)(不管是最終目的地還是中間物)構(gòu)建，接收側(cè)比如例如圖像解碼單元(651)，該圖像解碼單元被布置成根據(jù)高動態(tài)范圍圖像編碼(Im_l*)獲得高動態(tài)范圍圖像(M_HDR_out)，包括:
-LDR復(fù)原單元(656)，其被布置成確定由高動態(tài)范圍圖像覆蓋的總輝度范圍(Range_HDR)內(nèi)的低動態(tài)輝度范圍(R_Norml_LDR)或者相應(yīng)的亮度代碼值范圍(R_LDR)，并且被布置成根據(jù)高動態(tài)范圍圖像編碼獲得低動態(tài)范圍圖像(Im_LDR_o)；
-HDR復(fù)原單元(655)，其被布置成確定總輝度范圍(Range_HDR)內(nèi)的至少一個互補范圍(R_above)，該互補范圍主要包括未被低動態(tài)輝度范圍(R_Norml_LDR)覆蓋的輝度，并且被布置成根據(jù)高動態(tài)范圍圖像編碼確定與該至少一個互補范圍(R_above)相應(yīng)的至少一個高動態(tài)范圍子圖像(ImP_HDR_o)；
-圖像組成單元(657)，其被布置成根據(jù)低動態(tài)范圍圖像(Im_LDR_o)和所述至少一個高動態(tài)范圍子圖像(ImP_HDR_o)組成高動態(tài)范圍圖像(IM_HDR_out)，其中低動態(tài)范圍圖像(Im_LDR_o)和所述至少一個高動態(tài)范圍子圖像(ImP_HDR_o)大致覆蓋高動態(tài)范圍圖像(IM_HDR_out)的非重疊輝度子范圍。
[0026]Im_l*內(nèi)的特定編碼結(jié)構(gòu)可以幫助將LDR子部分與HDR子部分分開，并且正確地重構(gòu)最終的HDR圖像IM_HDR_out，例如用于直接驅(qū)動像電視或者便攜式顯示器那樣的顯示器，或者其他用途，比如可能地具有進(jìn)一步的顏色圖像處理的存儲。
[0027]我們愿意指出的是，盡管我們在輝度域限定了接收側(cè)，解碼器的一個實施例典型地可以在亮度域標(biāo)識LDR和HDR部分(在亮度域，它們通常是分離的)，但是這可以容易地與輝度規(guī)范來回轉(zhuǎn)換(即，解碼器通常也映射到輝度范圍，尤其是如果該格式用于HDR圖像的最終輸出，或者至少經(jīng)由其顏色映射而相關(guān))。
[0028]在簡單的技術(shù)變型中，編碼器和解碼器二者可以知道(不僅僅在嵌入式系統(tǒng)中，而且例如電視傳輸標(biāo)準(zhǔn))LDR子圖像駐留在哪個子部分中，例如總是介于0與CLDRh(例如850)之間。為了驅(qū)動舊式顯示器，圖像接收盒(為了簡單起見，我們可以作為轉(zhuǎn)喻將其也稱為機頂盒，該機頂盒也表示像IC或板那樣的具有圖像處理能力的任何其他中間或最終裝置或者部件，比如例如為無線鏈接移動電話再現(xiàn)最終畫面進(jìn)行格式化的便攜式計算機)于是可以僅僅選擇LDR子圖像并且將其用于驅(qū)動最終的顯示器(潛在地具有另外的顏色映射)。在將HDR部分編碼到無需被所有系統(tǒng)識別和使用的基本信號的擴展版本中的情況下，可以在直接使用LDR部分中欺騙甚至更舊式的機頂盒，(例如，更舊的系統(tǒng)認(rèn)為信號可能僅僅從0到800，并且認(rèn)為所有其他的代碼都為錯誤或者至少與其不相關(guān)的代碼，并且只是丟棄它們，但是更新或者更智能的機頂盒還知道如何使用該智能地編碼的超范圍數(shù)據(jù)(例如在整個10比特范圍0-1023或者其更小的子范圍內(nèi)，允許另外的“other_relevance”代碼)。
[0029]如上面已經(jīng)提到的，當(dāng)圖像解碼單元(651)包括被布置成從輸入元數(shù)據(jù)(MET)中提取特性輝度水平(gt4)或者特性亮度代碼值(gC4)中的至少一個的特性灰度值標(biāo)識單元(661)時，它可以對解碼圖像施加智能得多的圖像處理應(yīng)用。這些灰度值可以不僅用于將Im_l*中編碼的圖像去格式化成最佳的輸出HDR圖像M_HDR_out，而且(如果例如為此不必要的話)允許另外的變換，比如例如子區(qū)域或者效果的可選的增強或者亮化，或者為了顯示環(huán)境可調(diào)整性更容易地對編碼區(qū)域插值。
[0030]另外的有意義的修改是例如:圖像解碼單元(651)，其中LDR復(fù)原單元(656)被布置成基于特性輝度水平(gt4)或者特性亮度代碼值(gC4)確定低動態(tài)輝度范圍(R_Norml_LDR);或者圖像解碼單元(651)，其包括色調(diào)映射單元(658)，該色調(diào)映射單元被布置成至少在像素顏色的輝度或亮度落入分別由特性輝度水平(gt4)或者特性亮度代碼值(gC4)所定義的高動態(tài)范圍圖像(IM_HDR_out)的輝度或亮度子范圍內(nèi)時變換像素顏色；或者如權(quán)利要求11所述的圖像解碼單元(651)，其中色調(diào)映射單元(658)被布置成優(yōu)選地根據(jù)來自光傳感器(688)的環(huán)繞光照(Surr_IL)的測量對至少具有在特定閾值以下的輝度或亮度的像素顏色施加亮化變換。
[0031]如上面所述的，具有表征較暗的區(qū)域的一個或多個特性灰度值允許例如根據(jù)在特定觀看環(huán)境中顯示器可以實際地使得什么可見而更好地調(diào)整其最終的再現(xiàn)。再者，如果存在若干暗區(qū)域，那么可以利用另外的特性灰度值關(guān)于其顏色再現(xiàn)特性更好地協(xié)調(diào)它們(例如在兩個區(qū)域之間的重疊可能開始的地方)。
[0032]所有以上所述和以下所述也可以在像根據(jù)高動態(tài)范圍圖像編碼獲得高動態(tài)范圍圖像aM_HDR_out)的圖像解碼方法那樣的方法中實施，該方法包括:
確定由高動態(tài)范圍圖像覆蓋的總輝度范圍(Range_HDR)內(nèi)的低動態(tài)輝度范圍(R_Norml_LDR)或者相應(yīng)的亮度代碼值范圍(R_LDR)，并且根據(jù)高動態(tài)范圍圖像編碼(Im_l*)獲得低動態(tài)范圍圖像(Im_LDR_o)；
確定總輝度范圍(Range_HDR)內(nèi)的主要包括未被低動態(tài)輝度范圍(R_Norml_LDR)覆蓋的輝度的至少一個互補范圍(R_above)，并且根據(jù)高動態(tài)范圍圖像編碼(Im_l*)確定與該至少一個互補范圍(R_above)相應(yīng)的至少一個高動態(tài)范圍子圖像(ImP_HDR_o)；
根據(jù)低動態(tài)范圍圖像(Im_LDR_o)和所述至少一個高動態(tài)范圍子圖像(ImP_HDR_o)組成高動態(tài)范圍圖像(IM_HDR_out)，其中低動態(tài)范圍圖像(Im_LDR_o)和所述至少一個高動態(tài)范圍子圖像(ImP_HDR_o)大致覆蓋高動態(tài)范圍圖像(IM_HDR_out)的非重疊輝度子范圍。
[0033]并且它可以在其他已知的技術(shù)部件中實施，所述技術(shù)部件比如例如:包括軟件的計算機程序產(chǎn)品，該軟件對使得處理器能夠?qū)崿F(xiàn)它的方法6編碼；或者包括軟件的計算機程序產(chǎn)品，該軟件對使得處理器能夠?qū)崿F(xiàn)它的方法13編碼；或者圖像信號，其對高動態(tài)范圍圖像(IM_HDR_in)編碼，特征在于，它至少包括這樣的編碼，該編碼對二維亮度畫面編碼化(codify),具有亮度代碼值(Y_out)到要再現(xiàn)的輝度(Lum_in_scene)的映射,其中低動態(tài)輝度范圍(R_Norml_LDR)覆蓋關(guān)于其顏色特性而被調(diào)適以便在低動態(tài)范圍顯示系統(tǒng)上再現(xiàn)的低動態(tài)范圍圖像(Im_LDR_o)的編碼，并且非重疊互補子范圍(R_above+R_beloW)覆蓋可用于在高動態(tài)范圍顯示系統(tǒng)上再現(xiàn)動態(tài)范圍圖像(IM_HDR_in)的高動態(tài)范圍像素顏色。
[0034]或者，如權(quán)利要求16所述的圖像信號，進(jìn)一步包括特性輝度水平(gt4)或者特性亮度代碼值(gC4)中的至少一個，其可以包含在諸如例如可移除數(shù)據(jù)載體(諸如例如藍(lán)光光盤)之類的各種不同的存儲器硬件部件中。[0035]在圖像信號的定義中，我們通過對二維亮度畫面編碼化的編碼來意指，亮度畫面不必是相同位置的像素的輝度的直接編碼，而是可以為其典型變換，比如DCT變換(但是新的畫面仍然對潛在的原始像素亮度畫面編碼化)。對于依照其LDR圖像的顏色特性的調(diào)適，我們典型地意指分級，其通常以這樣的方式進(jìn)行，使得當(dāng)在LDR顯示系統(tǒng)上再現(xiàn)時LDR (子)圖像看起來很好(足夠的對比度，沒有奇怪的顏色，仍然包括像爆炸那樣的足夠的HDR效果，等等)。因此，當(dāng)前實施例的技術(shù)新穎性可以在以LDR和HDR部分在亮度定義中交錯的方式的各種不同的信號實現(xiàn)中立即看出。該亮度范圍的LDR子范圍可以在標(biāo)準(zhǔn)信號中預(yù)先約定了(例如介于12與1400之間)，或者可以借助于特性灰度值而傳送。它允許實現(xiàn)對于所述部分的通用的另外的編碼/變換。當(dāng)然，典型地共同編碼的映射函數(shù)CMAP_L和CMAP_H也可以標(biāo)識所述子部分。
[0036]以下描述的實施例的許多另外的變型當(dāng)然是可能的，并且技術(shù)人員應(yīng)當(dāng)理解，它們可以例如在不同的裝置中在世界的不同幾何區(qū)域中實現(xiàn)，在不同的時刻應(yīng)用它們的部分功能或者在彼此之后應(yīng)用若干次，等等。
【專利附圖】

【附圖說明】
[0037]依照本發(fā)明的方法和裝置的這些和其他方面根據(jù)以下描述的實現(xiàn)方式和實施例并且參照附圖將是清楚明白的，并且將參照這些實現(xiàn)方式和實施例以及附圖進(jìn)行闡述，附圖僅僅用作例示更一般的構(gòu)思的非限制性特定圖示，并且在附圖中，虛線用來指明部件是可選的，非虛線部件不一定是必不可少的。虛線也可以用于指明被解釋為必不可少的元件隱藏在物體的內(nèi)部，或者用于不可觸摸的事物，諸如例如物體/區(qū)域(以及它們可以如何在顯示器上顯示)的選擇。
[0038]在附圖中:
圖1示意性地圖示出具有高動態(tài)輝度范圍的場景；
圖2示意性地圖示出根據(jù)場景區(qū)域的線性輝度要表示的該場景看起來像什么；
圖3示意性地圖示出可以依照本發(fā)明的原理編碼HDR圖像的編碼器實施例；
圖4示意性地圖示出闡明本發(fā)明的某些原理的輝度-亮度關(guān)系，其允許在單畫面亮度結(jié)構(gòu)中編碼LDR表示以及HDR表示的至少HDR信息部分二者；
圖5示意性地圖示出可以由顏色分級者操作的編碼側(cè)系統(tǒng)；
圖6示意性地圖示出解碼側(cè)系統(tǒng)，其可以是例如包括諸如主電視和便攜式圖像觀看器之類的裝置的消費者家庭顯示系統(tǒng)；以及
圖7示意性地圖示出依照本發(fā)明的一個實施例，其允許在一個信號(例如10比特)中編碼對于未來的電影編碼重要的三個分級(用于影劇院的主等級，LDR顯示器家庭等級以及HDR家庭等級)。
【具體實施方式】
[0039]圖1示出了一個典型的場景，其引起將高動態(tài)范圍(HDR)圖像編碼為能夠合理地再現(xiàn)該場景的良好代表的需要。即使典型地在不能夠確切地復(fù)現(xiàn)場景顏色(因為這不僅涉及顯示器限制，而且涉及人類觀看者的視覺系統(tǒng)的適應(yīng))時，再現(xiàn)器也仍然需要關(guān)于原始場景的盡可能準(zhǔn)確的信息。[0040]不僅僅存在以足夠的精度(其可以例如被選擇成使得對于像輝度拉伸那樣的預(yù)期顯示側(cè)變換，我們停留在安全側(cè)，即存在足夠的代碼，使得沒有可察覺的像條帶那樣的偽像出現(xiàn))編碼場景輝度/顏色的問題，而是相反地，存在具有特定質(zhì)量的可實現(xiàn)范圍的一種表示層級。這可以看作一種“曝光聚焦”，就像電影導(dǎo)演或者攝影師可以選擇聚焦的物體并且模糊所有其余部分，他可以出于物理限制或者藝術(shù)區(qū)域的原因而選擇需要理想地復(fù)現(xiàn)或者至少編碼的一定范圍的輝度(例如由于它包含主演101)以及在一些再現(xiàn)中可能被涂抹、但是在其他再現(xiàn)中以特定方式表示的另外的區(qū)域。
[0041]在該實例中，我們具有帶有一些東西的商店，一些東西在其中發(fā)生主要動作的桌子上。這些主要區(qū)域物體111應(yīng)當(dāng)良好地表示，即其或者處于像LDR圖像那樣的任何較低質(zhì)量編碼中，或者處于像HDR圖像那樣的另一種編碼中。
[0042]在電視節(jié)目產(chǎn)品中，這些主要物體典型地通過照明設(shè)計者良好地照射。在即時(on-the-fly)報告中，照相師將調(diào)節(jié)其照相機光圈，使得主要物體將大致落在他的LDR范圍的中間附近。
[0043]在圖2中，我們看見場景的計數(shù)n (L_Sc)與輝度L_sc的等效輝度直方圖(或者至少高質(zhì)量照相機如何近似地測量它們)。主要物體(輝度用主波瓣211示意性地表示)應(yīng)當(dāng)全部良好地大致落入LDR輝度范圍R_Norml_LDR內(nèi)(即，取決于實際場景對比度，這可能意味著它們落入用于低對比度物體的該范圍的子集中，通常，具有1%與100%之間的反射率的、具有合理均勻的光照的物體也應(yīng)當(dāng)適合在范圍R_Norml_LDR內(nèi)，并且對于較高的范圍而言一向例如JPEG或MPEG編碼提供照相機的軟剪切是不夠的一微小量的主要物體像素可以剪切到LDR代碼的外部值，即例如0和255)。典型地，LDR區(qū)域以在8比特LDR表示中映射到255的某種白色W*結(jié)束(并且典型地也可以使得該白色存在于所捕獲的圖像中，例如照相機自動曝光功能可以除了進(jìn)行像灰度世界假設(shè)那樣的一般計算之外，還查找最亮的物體并且將這些映射到255白色)。在其中，可能存在具有關(guān)鍵灰度值x%G的區(qū)域，例如，主演的波瓣201不應(yīng)當(dāng)太暗(也不太蒼白)。
[0044]在利用圖1例示的種類的場景中，也存在輝度遠(yuǎn)高于主要區(qū)域的區(qū)域，例如通過窗口在外面陽光下所看見的明亮區(qū)域102。它的指明其物體的反射率的直方圖落入總的HDR輝度范圍Range_HDR的另一個區(qū)域內(nèi)(如可以在場景中利用光度計測量的，或者來自利用高動態(tài)范圍照相機的捕獲的近似，或者計算機圖形學(xué)表示等等)，即明亮范圍R_above。如果場景中只有明亮物體，那么該范圍R_above與R_Norml_LDR互補,這不一定按照連續(xù)/相鄰的方式，而是在于它包含場景中存在的所有其他的物體像素輝度。在該實例中，R_above包含甚至更亮區(qū)域的輝度，該更亮區(qū)域即商店中的燈的光區(qū)域103，具有光直方圖203。低質(zhì)量通常會剪切這樣的較高輝度區(qū)域，或者至少不正確地(例如以蒼白的去飽和的彩度)表示它們。
[0045]經(jīng)常也存在非常暗的區(qū)域，比如在這種情況下在桌子底下的陰影中的物體的暗區(qū)域104。它具有落入暗范圍R_Below中的暗直方圖波瓣204。再一次地，在圖像的較粗略的版本中，它們可能沒有這么相關(guān)。例如，在其中從外部拍攝的另一個HDR場景中，可以將房屋的內(nèi)部(如例如通過微開的門所看見的)再現(xiàn)為(接近)黑色，并且觀看者可能看不見它。然而，可以想象，比于是也糟糕地對它編碼更好的是(尤其是在照相機可以很好地捕獲該數(shù)據(jù)的情況下)，也可以利用足夠數(shù)量的分配的代碼很好地表示那些暗的內(nèi)部物體像素。不能忠實地與較亮區(qū)域有關(guān)地再現(xiàn)那些暗區(qū)域的LDR系統(tǒng)上的LDR再現(xiàn)于是可以根據(jù)該(附加的)數(shù)據(jù)決定施加顏色變換，該顏色變換在保持足夠的微暗外觀的同時，通過亮化確實顯示出房屋門后的暗室中的一點物體結(jié)構(gòu)。這是利用HDR編碼所能做的，HDR編碼原則上可以編碼場景中的無論什么極端的輝度像素，不管它是否或者如何將在以后使用。
[0046]圖2也示出了本發(fā)明的思想可以如何適應(yīng)這樣的編碼，這將利用圖4進(jìn)一步闡明。如果例如使用已經(jīng)預(yù)定義為數(shù)據(jù)結(jié)構(gòu)的10比特數(shù)據(jù)字，那么可以在HDR范圍[0-1023]內(nèi)的某處包含直接可用(！)的LDR信號，并且其將最佳地編碼HDR范圍的該部分(不管它如何被編碼，例如非線性對比度修改，以及對HDR范圍的其余部分確切地做什么)?，F(xiàn)在違反直覺的是對HDR范圍的其余部分所做的。通常意義將指示人們只是以相同的編碼方式在LDR子部分之外繼續(xù)，直到10比特“占位符”亮度數(shù)據(jù)結(jié)構(gòu)的范圍允許的程度。即，定義代碼的映射傳遞函數(shù)將是(通常像伽瑪函數(shù)那樣的簡單函數(shù)的)簡單繼續(xù)，并且不是間斷(更不用說我們的發(fā)明在某些方案中發(fā)現(xiàn)非常有用的非單調(diào)分配)。其思想是，于是如果由于相鄰代碼的相應(yīng)場景輝度含義的微小差異的原因而形成某種誤差(某種舍入誤差或者由于某種圖像處理而引起的亮度值向下的移動)，那么不會出現(xiàn)顯著的視覺修改。我們認(rèn)為，在當(dāng)前數(shù)字時代，應(yīng)當(dāng)有可能確切地將一個子范圍與另一個劃界，并且因此完全避免任何這樣的問題，即使相鄰亮度代碼(例如951與950)包含非常不同的含義的數(shù)據(jù)，即非常不同的場景物體輝度。此外，由于HDR顏色編碼的特定性質(zhì)，即使問題會出現(xiàn)，通常也不會這么嚴(yán)重。錯誤地(或者故意地)將某些HDR明亮輝度數(shù)據(jù)置于LDR范圍R_Norml_LDR的較高代碼中應(yīng)當(dāng)不是這樣的問題，因為無論如何LDR圖像針對高視亮度物體都被剪切(并且亮度253與255之間的差異也幾乎不可察覺)。并且如果在HDR部分中出現(xiàn)錯誤，通常處理該數(shù)據(jù)的那些裝置應(yīng)當(dāng)足夠智能以發(fā)現(xiàn)和糾正它(例如通過檢測因為映射到應(yīng)當(dāng)為LDR編碼區(qū)域的區(qū)域而不協(xié)調(diào)的梯度)。
[0047]不管怎樣，該原理允許對HDR外觀仍然需要或希望的確切的那些像素輝度進(jìn)行智能的非線性編碼。即，可以例如為暗區(qū)域保留少量的亮度值0-11。這應(yīng)當(dāng)是允許復(fù)雜的非線性映射函數(shù)創(chuàng)建一個或若干個很好的暗區(qū)域再現(xiàn)的足夠信息。由于暗區(qū)域從來不會是至關(guān)重要的，因而可以例如施加再現(xiàn)，使得暗輝度變成恰可察覺差異，或者在其他情況下(例如更高的亮化)，可能存在導(dǎo)致某種色調(diào)分離的更大的步長，但這對于微不足道的這種陰影區(qū)域通常仍然是可接受的。由于在該實例中不存在特殊意義的另外的場景輝度(如果對具有較高平均輝度的某個微暗房間成像，情況可能如此，這可以考慮到其再現(xiàn)需要更多亮度代碼的子直方圖編碼)，因而可以以(12)正上方的亮度代碼、具有重要意義的LDR范圍的定義開始。并且這不管是否存在與暗區(qū)域的輝度間隙，或者是否存在重疊(在這種情況下，一些像素可能甚至也在LDR部分中被冗余地編碼，例如，用于HDR編碼的與R_below相應(yīng)的亮度中的最亮像素11可能根據(jù)其場景輝度的更精確的量化而獲得三個最低LDR代碼之一的重新編碼，即利用像素值12、13和14創(chuàng)建另外的物體紋理定義)。類似地，根據(jù)場景內(nèi)容，與亮度951相應(yīng)的場景輝度可以是與亮度950相應(yīng)的輝度的兩倍高(而不是例如高2%)，或
去二 /立宮坐坐
"0 ~J口間寸寸。
[0048]通常，可能有用的是共同編碼對這樣的區(qū)域劃界的特殊灰度值。S卩，比固定用于LDR部分的固定的子區(qū)域更通用的是，可以與特性灰度值(在這種情況下為亮度值)gl=951通信，在那里編碼的(第一)HDR部分開始，并且優(yōu)選地進(jìn)一步典型地在與畫面編碼關(guān)聯(lián)的元數(shù)據(jù)MET中共同編碼，該亮度值951與例如2000尼特的場景輝度相應(yīng)。顯示器側(cè)然后可以確定如何在視覺上最佳地將其再現(xiàn)于具有比如3000尼特的局部峰值視亮度的顯示器上，即也為甚至更高的視亮度的圖像區(qū)域保留足夠的空間。并且潛在地考慮用戶設(shè)置，例如用戶偏好對于其眼睛不太明亮或者為了節(jié)能的目的使用不足3000尼特的圖像。
[0049]圖3示意性地示出了可以存在于編碼器中的一些實施例?？偸谴嬖谠试S標(biāo)識LDR范圍并且典型地表征它的某種LDR選擇器。假定它尚未單獨地分級，即存在例如僅僅來自HDR照相機的原始照相機圖像，或者依照導(dǎo)演和DOP的偏好的最佳HDR主分級。我們將用輸入的高動態(tài)范圍圖像IM_HDR_in表示這點。典型地,人類(或者智能算法)至少將標(biāo)識哪個是該圖像中的LDR部分，即應(yīng)當(dāng)在標(biāo)準(zhǔn)LDR觀看系統(tǒng)上最佳地再現(xiàn)的那些場景區(qū)域，即具有良好的對比度、可能地也在一些較暗部分中的結(jié)構(gòu)的可見性、用于人臉的正確顏色等等。典型地，也需要做出犧牲，至少隱含地標(biāo)識未很好地被LDR編碼/子部分覆蓋的區(qū)域。即例如，一些較亮的區(qū)域可能有害地被軟剪切，從而減少仍然表征那里的物體紋理的亮度代碼的數(shù)量，或者甚至被硬剪切，即根本未被表示。但是，人類可以為例如暗陰影區(qū)域或者明亮的街燈合理地考慮這點。可選地，在編碼單元301的許多實施例中，也可以存在顏色/輝度變換單元312，其允許分級者在將陰影區(qū)域的某個部分填入到LDR子部分的最低亮度中之前仍然例如非線性地亮化它。即，具有用于在創(chuàng)建編碼時進(jìn)行這種單獨的顏色分級的單元允許很好地解耦合自捕獲物體的原始輝度到要輸出的單圖像Im_l* (至少就需要單個視圖而言是單個的，當(dāng)然對于每個時刻可以存在例如多個3D視圖，或者甚至可以存在另外的圖像，其可以是可替換的HDR編碼或者中間動態(tài)范圍(MDR)分級等等)中的最終亮度代碼的最終技術(shù)映射。通過這種方式,可以例如將標(biāo)準(zhǔn)的伽瑪2.2映射CMAP_L用于LDR部分。在這種情況下，任何舊式LDR系統(tǒng)可以直接使用LDR子范圍一通過僅僅閾值操作隔離它一并且因此通過適當(dāng)?shù)胤旨壍絃DR范圍R_Norml_LDR中而實現(xiàn)HDR場景編碼的某種智能性。
[0050]在任何情況下，分級者典型地將選擇智能HDR映射(第二映射CMAP_H)以用于將HDR部分編碼到該范圍中剩余的部分中。對于例如10比特圖像而言，仍然剩余1024-256=768個亮度代碼，這對于相當(dāng)一部分HDR方案應(yīng)當(dāng)是足夠的。然而，如果要以8比特總亮度范圍的7比特近似地編碼LDR圖像(通過另外的智能映射或者通過縮放犧牲I比特精度)，那么剩余代碼數(shù)量為256-128=128。這應(yīng)當(dāng)仍然足以生成與主要區(qū)域相同精度的外部陽光區(qū)域，然而，減少的代碼數(shù)量可能已經(jīng)要求進(jìn)行HDR效果的更智能的管理。例如，人們可能決定保留:那些代碼中的120個用于陽光區(qū)域(102);僅僅2個亮度代碼用于燈(103)，其于是被粗略地表示；并且僅僅6個用于暗區(qū)域(104)，其于是也不再以高精度表示。不過，優(yōu)點在于，整個HDR信號可以適應(yīng)8比特格式，并且不管是對于舊式系統(tǒng)還是HDR系統(tǒng)，任何解碼器都可以容易地隔離128個代碼的最佳LDR (7比特)范圍(例如啟動亮度7)，將其縮放到8比特以用于直接再現(xiàn)，在需要的情況下容易地撕開各個不同的HDR區(qū)域編碼，并且然后例如在用于創(chuàng)建明亮燈區(qū)域再現(xiàn)等等的視亮度增強方案中映射它們以便獲得最終的HDR圖像Im_HDR_out (為了簡單起見我們將考慮直接驅(qū)動圖像，技術(shù)人員會理解另外的修改，比如考慮不同的顯示器伽瑪、顯示器校準(zhǔn)等等)。
[0051 ] 類似地，它可能在包括HDR選擇器313的情況下是有用的，這可以允許分級者經(jīng)由用戶接口單元330 (典型地專用分級板和軟件)例如對一些HDR區(qū)域(不太重要而不編碼)去選擇，或者將它們分開到特殊語義含義的不同部分中等等。通過這種方式，他可以例如調(diào)整HDR第二映射CMAP_H以便最佳地在亮度中編碼明亮模式202與光模式203?？赡苡杏玫氖蔷哂锌蛇x的HDR顏色變換單元314以便比照由LDR顏色變換單元312利用LDR色調(diào)映射TM_L進(jìn)行的色調(diào)映射，向各個不同的HDR區(qū)域像素顏色/輝度值施加一個或多個色調(diào)映射(或者一般而言顏色映射)TM_H。
[0052]代碼映射單元315經(jīng)由映射CMAP_L和CMAP_H施加編碼，這些映射可以預(yù)定義(例如在特定【技術(shù)領(lǐng)域】中約定)或者由分級者最佳地設(shè)計并且共同編碼到輸出圖像信號S的元數(shù)據(jù)中。該圖像信號也可以包括一個或若干個有意義的灰度值，所述灰度值可以編碼為特性輝度值(例如gt4)和/或特性輝度值(gC4)，并且如前面所提到的，幫助例如潛在地以例如用戶可調(diào)整的方式解碼應(yīng)當(dāng)最終將亮度代碼951再現(xiàn)為哪個輸出輝度。格式化器320將格式化在信號S中的圖像Im_l*，并且技術(shù)人員會理解，這可能通過兼容性涉及這樣的諸如DCT變換等等之類的常見技術(shù)以獲得符合MPEG的流、分組化、依照藍(lán)光光盤規(guī)范的結(jié)構(gòu)化等等，而不管實現(xiàn)本發(fā)明構(gòu)思的技術(shù)要求什么。
[0053]在LDR分級GRD_LDR_in已經(jīng)存在的情況下，它典型地將被共同輸入。另外的輸入的元數(shù)據(jù)可以幫助利用HDR范圍Range_HDR內(nèi)的特定范圍標(biāo)識它，例如，使用的映射TM_G1的規(guī)范可以幫助獲得LDR分級。典型地，LDR選擇器311于是將包括LDR標(biāo)識單元340，該單元被布置成在輸入LDR等級與輸入HDR圖像之間進(jìn)行映射。最復(fù)雜的實施例可以進(jìn)行完整的空間顏色圖像分析，例如標(biāo)識相似的物體(例如經(jīng)由邊界檢測和匹配)，分析分級如何在兩幅圖像中，提出或者實現(xiàn)自動的進(jìn)一步的顏色/輝度映射變換(例如使得要編碼的最終的LDR等級成為輸入的LDR等級與HDR等級的中間變型)等等。在一些實施例中，到在其顯示器上觀看圖像的分級者的反饋可以以例如偽彩色的形式給出以便示出HDR再現(xiàn)中的哪些物體與LDR輸入(或者當(dāng)前要輸出)編碼相應(yīng)，并且允許顯示潛在地夸大的、不同地比較等等的顏色變換。
[0054]盡管根據(jù)LDR編碼如何確切地與HDR圖像相關(guān)(例如是用來已經(jīng)結(jié)合陽光室外的明亮區(qū)域202的大部分的智能色調(diào)映射)可以設(shè)想各種不同的高級構(gòu)思，但是簡單的系統(tǒng)可以僅僅定義在HDR圖像中的何處切斷并且替換的亮度(或者可以由彼此計算的輝度)的兩個閾值gl和gh。在該方案中，LDR分級可以直接繞開或者穿過而不處理LDR顏色變換單元312，而不是從例如通過單元312計算修改的HDR圖像M_HDR_in*實施的M_HDR_in生成修改的低動態(tài)范圍區(qū)域，所述修改的HDR圖像在HDR區(qū)域中具有未改變的輝度，但是在LDR區(qū)域中具有不同的輝度。
[0055]HDR圖像編碼，尤其是當(dāng)前實施例，允許創(chuàng)建例如傳達(dá)不同的情緒的視覺上完全不同的場景。自然范例總是至少讓場景中的主要動作很好地再現(xiàn)(即最佳地可見)，這典型地導(dǎo)致將主要物體置于“聚光燈下”。然而，在文藝復(fù)興中，發(fā)現(xiàn)其在宇宙中的次要地位的人們已經(jīng)產(chǎn)生像微暗的瓦尼塔斯(vanitas)繪畫那樣的新圖像種類。十九世紀(jì)人工照明的發(fā)現(xiàn)導(dǎo)致藝術(shù)家們發(fā)揮這個奇跡。除了日光世界之外，現(xiàn)在也發(fā)現(xiàn)了黑夜。并且這樣的黑夜圖像中的灰度值取決于場景如何被照亮。例如，像蠟燭那樣的小弱點源可能具有這樣的效果:在整個再現(xiàn)中，或多或少的物體區(qū)域?qū)⒈徽樟?。?yīng)當(dāng)指出的是，在心理上，暗的體驗可能已經(jīng)通過僅僅使得圖像的一些物體或部分為暗，同時保持其余部分較亮而創(chuàng)建。因此，將存在從光源上的非常明亮逐漸變?nèi)醯嚼碚摿阒档妮x度范圍?，F(xiàn)在，問題是動作在何處發(fā)生。一個演員可能被蠟燭合理良好地照亮，但是第二動作(尤其是在恐怖電影中)可能發(fā)生在較暗的區(qū)域中。利用本發(fā)明，可以決定不選擇很好地圍繞第二演員的臉中的所有顏色的LDR范圍，而是將他的像素顏色置于LDR范圍的底部，甚至例如將其臉的較暗的較少受照射的半邊剪切為零(LDR值，即例如單圖像Im_l* HDR編碼中的12)。在那種情況下，他的臉在LDR再現(xiàn)中將正確地再現(xiàn)為非常模糊。于是，可以在HDR部分(R_below)中編碼這些暗的半邊臉像素，使得HDR系統(tǒng)可以決定如何利用更多的紋理顯示它們(例如，HDR顯示器可能能夠準(zhǔn)確地生成暗得多的像素輝度，即使在特定光照下它們看起來不能被人類觀看者辨別，因此實現(xiàn)與在LDR顯示器上相同的、也許來自遠(yuǎn)處的模糊外觀，而當(dāng)更靠近地觀看時，所述紋理才開始顯現(xiàn))。
[0056]圖4示出了可以如何利用當(dāng)前實施例編碼輸入范圍的“灰度相關(guān)值”的示意性實例，這些值我們將再次假定為線性場景輝度(因此，像例如利用非線性亮度的特定編碼或者例如來自計算機圖形學(xué)設(shè)備的在數(shù)學(xué)上定義為在顏色空間中灰度相關(guān)的無論什么總是可以以這種等效的輝度(Lum_in_SCene)表示被變換)成為在10比特的實例中跨越1024個值的總HDR亮度范圍RcTot_Iml的輸出圖像Im_l*的亮度Y_out (我們僅僅闡述目前最流行的在圖像編碼中灰度相關(guān)的亮度的概念，但是在那里，也可以容易地利用以線性輝度度量定義例如顏色的編碼理解我們的發(fā)明)。在該代碼定義實例中，我們允許負(fù)的亮度值。LDR部分可以利用標(biāo)準(zhǔn)2.2伽瑪映射0祖?_1在LDR代碼子范圍R_LDR中找到，其也與特性輝度gt2與gt3之間的場景輝度相應(yīng)。元數(shù)據(jù)可以簡單地傳送這些特性輝度gt2和gt3，使得需要圖像編碼以生成用于LDR舊式顯示器的驅(qū)動值的系統(tǒng)只需選擇該范圍內(nèi)的值，并且它們在它們以亮度Y_out零開始并且以亮度255結(jié)束的情況下已經(jīng)被正確地歸一化(即如果這些值用于對LDR范圍cLDRl和cLDRh劃界的特性亮度，那么它們在原則上甚至無需被傳送或者共同存儲)。負(fù)值可以在這里用于利用(總的HDR映射的)第一 HDR映射CMAP_H1表示暗模式204的暗區(qū)域。第二 HDR (子)映射可以映射更亮的HDR/場景圖像像素，并且它可能涉及任何有用的函數(shù)形式(適當(dāng)?shù)赜成涞捷敵鰣D像亮度的可用HDR子區(qū)域，即HDR范圍R_LEffs_HDR)，該形式例如通過將最佳數(shù)量的亮度代碼分配用于以其自身的最佳精度表示若干區(qū)域的內(nèi)部紋理或者通過考慮對于這些子區(qū)域而言接收側(cè)再現(xiàn)典型地將看起來像什么并且已經(jīng)將它們置于近似正 確的亮度子范圍內(nèi)等等而確定。gt4為重要的事情開始的特性輝度，例如，它可以像陽光室外像素輝度停止并且光源輝度開始的地方那樣簡單(例如，可以以這樣的方式進(jìn)行HDR分級，使得這些區(qū)域在要編碼的顏色變換的HDR畫面M_HDR_in*中不重疊并且相鄰)。對于接收側(cè)而言，該特性輝度是非常有用的，因為它現(xiàn)在可以最佳地調(diào)整其明亮區(qū)域的再現(xiàn)，例如再現(xiàn)具有過分高的輸出輝度的燈，如果顯示器輝度范圍允許這樣的話，或者反之亦然，如果在LDR部分的再現(xiàn)上方?jīng)]有許多明亮的顏色可用，則最佳地將顯示器輝度分配給陽光室外像素和燈二者。該gt4可以幫助接收側(cè)的圖像分析方法(因為這是人類確定的有意義的值)，但是它也可以參數(shù)化接收側(cè)的簡單顏色變換函數(shù)，比如拉伸或者偏移。也看出，由于取消了編碼的簡單連續(xù)性屬性，因而可以編碼所有種類的間隙(如gtl與gt2之間的)和重疊，或者其他多個冗余編碼等等。
[0057]另外的有用特性灰度值注釋可以包含在輸出信號S中，例如特性亮度gCdk可以形成利用LDR部分編碼的兩個語義圖像子區(qū)域之間的劃界。這可以用在例如用于例如在觀看者控制下改進(jìn)較暗區(qū)域的視亮度的算法中。
[0058]也示出了通過例如典型地也具有色調(diào)或顏色映射單元的代碼轉(zhuǎn)換器選擇另一個LDR范圍R_OTHSEL_LDR的可能性。在該實例中，我們例如通過應(yīng)用軟剪切策略包括了稍微更多的暗區(qū)域和亮區(qū)域。這具有例如最終的心理視覺效果:更多的暗區(qū)域變得可見，并且盡可能好的一些附加的明亮HDR效果被包括(例如雖然經(jīng)常在LDR圖像中徹底地剪切外部陽光區(qū)域，但是如果它太去飽和的話，可以仔細(xì)地選擇以包括更多的顏色)。
[0059]圖5示出了在電影創(chuàng)建系統(tǒng)中實施本發(fā)明的一些構(gòu)思的示例性系統(tǒng)。HDR場景利用能夠捕獲HDR范圍Range_HDR的大動態(tài)范圍照相機501捕獲，并且捕獲的圖像可以在照相機顯示器503 (優(yōu)選地也有HDR，盡管它可能例如通過使用滑動尺度或者某種色調(diào)映射或者偽彩色等等模仿HDR)上觀看。從其上面，通過信號連接505 (網(wǎng)絡(luò)或者無線(衛(wèi)星)等等)將圖像發(fā)送至圖像處理設(shè)備510。取決于使用方案，對于現(xiàn)實生活廣播而言，這可以是導(dǎo)演棚或卡車中的裝置。在這種情況下，分級可以降至最少，映射可以是簡單的并且僅僅在少數(shù)時刻施加:例如，在節(jié)目開始之前生成CMAP_L和CMAP_H的單個校準(zhǔn)步驟，以及在與現(xiàn)實的偏離變得太極端并且在審閱的再現(xiàn)圖像開始看起來不那么合意的情況下，在商業(yè)廣告期間的升級。在電影創(chuàng)建方案中，它可以是(在顏色分級工作室中在后面的時刻離線的)分級者520的分級裝置。在前一情況下，可以進(jìn)行純粹自動的圖像分析。在后一方案下，它可以作為人類分級的起點而應(yīng)用，即在當(dāng)前實例中，我們假定進(jìn)行半自動處理，通過分級者520終結(jié)。應(yīng)當(dāng)指出的是，相同的原理可以應(yīng)用于任何中間的或者另外的步驟(例如重新制作先前分級的信號以用于新的應(yīng)用)中。例如，在捕獲側(cè)，DOP可能已經(jīng)(預(yù)先)規(guī)定得到的圖像Im_LDR和Im_HDR中的場景的LDR/HDR組成，然而，分級者520可以重新規(guī)定該組成。例如，他可以經(jīng)由適當(dāng)?shù)牡街虚g32比特線性表示的色調(diào)映射將比如亮區(qū)的編碼數(shù)據(jù)的一些輝度水平從LDR圖像移動(或者拷貝)到HDR圖像，或者反之亦然，從而獲得修改的LDR和/或HDR編碼圖像。典型地，他可以例如通過切換或者并排查看HDR參考顯示器531上的HDR版本和LDR參考顯示器530上的LDR版本來查看相同場景的若干分級和/或編碼。于是，他可以最優(yōu)化每個典型類別的最終觀看者將所能看到的，并且例如通過改變輸出Im_l*的子范圍而平衡這些信號中的每一個的編碼質(zhì)量。他可以將最終的分級圖像Im_l*存儲在數(shù)據(jù)載體511上。可能的是，他也可以比如通過規(guī)定映射函數(shù)Trf數(shù)學(xué)形式或者LUT等等而存儲描述Y代碼的含義的另外的元數(shù)據(jù)。
[0060]在圖像處理設(shè)備510內(nèi)部是進(jìn)行實際的每像素計算工作并且產(chǎn)生最終的輸出并且引導(dǎo)和幫助分級者的成像處理子單元。當(dāng)然，會存在圖像編碼單元551，其被布置成根據(jù)照相機輸入信號CSI和(典型地經(jīng)由UI模塊處理的)分級者偏好導(dǎo)出編碼圖像Im_l*。
[0061]此外，典型地將存在圖像分析單元550，其分析圖像，從而幫助編碼。該單元可以查看直方圖模式的屬性以及像HDR輸入圖像那樣的輸入圖像的某個子區(qū)域上的顏色分布，可能地進(jìn)一步由像紋理或運動分析、參數(shù)化幾何物體模型估計等等那樣的其他圖像分析部件幫助。它可以(再一次典型地通過人類介入幫助)輸出表征它認(rèn)為HDR信號中的LDR貢獻(xiàn)像什么樣的、在簡單實施例中可能與范圍一樣簡單的、數(shù)據(jù)結(jié)構(gòu)SEL_LDR，以及可能地還有一些另外的關(guān)于灰度值如何在該范圍內(nèi)分布的信息(例如依賴于落入LDR范圍內(nèi)的、HDR圖像區(qū)域中的、像素顏色的發(fā)生統(tǒng)計的函數(shù))。在更復(fù)雜的實施例中，它可以是這樣的復(fù)雜描述數(shù)據(jù)結(jié)構(gòu)，使得它也包括LDR區(qū)域的語義信息，例如臉駐留在何處(這可與其顏色相聯(lián)系或者與其相聯(lián)系)等等。
[0062]該實例的圖像處理設(shè)備510 (和分級者)也具有到像例如舊電影那樣的舊內(nèi)容580的訪問鏈接581 (當(dāng)然，技術(shù)人員理解，該功能可以在不同的裝置中實施，并且由不同的分級者或者計算機圖形學(xué)藝術(shù)家在成像鏈的不同階段執(zhí)行)。利用當(dāng)前實施例，分級者可以將HDR效果添加到老的LDR電影，并且當(dāng)前實施例非常有用在于LDR編碼無需被改變(“被破壞”)，因為它可以編碼為Im_l*的LDR部分，或者至少其非常簡單的微小且很大程度上可逆的變換。然后，所有的HDR區(qū)域或效果可以編碼到Im_l*的剩余范圍內(nèi)。此外，示出了另一個輸出582，其用于經(jīng)由互聯(lián)網(wǎng)584為便攜式顯示器提供另一個編碼Im_2*，例如用于另一個通信路徑的不同編碼，該編碼可以是例如較低質(zhì)量的編碼，所述便攜式顯示器一方面可能具有對于LDR部分的降低的質(zhì)量需求，并且另一方面將對HDR部分施加嚴(yán)重的變換以便在一定程度上仍然再現(xiàn)它，但是在很大程度上是失真的(然而與高質(zhì)量系統(tǒng)基于本發(fā)明的編碼實施例導(dǎo)出其需要的最終編碼同樣容易)。
[0063]沿著所述鏈進(jìn)一步向下，可以存在視頻改進(jìn)服務(wù)(例如在遠(yuǎn)程服務(wù)器上)，這些服務(wù)可以例如在訂閱時(通過適應(yīng)性調(diào)節(jié)LDR和/或HDR部分，例如通過重新映射)改進(jìn)Im_l*中的編碼數(shù)據(jù)以便調(diào)適用于特定再現(xiàn)環(huán)境的圖像?？梢岳缈紤]以HDR區(qū)域為代價為不管怎樣大多數(shù)是LDR的顯示系統(tǒng)(比如移動電話)增大范圍R_Norml_LDR。
[0064]天線512可以接收任何數(shù)據(jù)，或者進(jìn)一步發(fā)射它，例如圖像、操作指令等等。
[0065]圖6示出了接收側(cè)的再現(xiàn)系統(tǒng)的一個實例。它可以包括例如視頻處理盒651 (其可以例如為機頂盒或者通用PC計算機，所述盒可以包括BD讀取單元等等)和顯示器，該顯示器在該實例中為LED背光IXD電視602，但是它也可以是0LED、投影儀、簡單LDR顯示器
坐坐寸寸o
[0066]視頻處理盒651具有輸入，該輸入取決于系統(tǒng)而可以例如為盤讀取器、用于存儲卡和連接的存儲管理單元的插槽、連接外部裝置的總線、具有解調(diào)器的天線和接收器、網(wǎng)絡(luò)連接(不管是電纜還是無線的)等等。典型地，接收器將進(jìn)行所有的信號去格式化(包括描述和必要的事情)，但是這正變成另一個【技術(shù)領(lǐng)域】的一般知識，我們將簡單地假設(shè)編碼圖像Im_l*作為RAW圖像而進(jìn)入，無論它具有特定的亮度代碼映射定義。如上面所描述的，元數(shù)據(jù)MET可能非常復(fù)雜，并且它可以進(jìn)一步定義編碼如何確切地發(fā)生并且因此應(yīng)當(dāng)如何進(jìn)行解碼，但是也可能的是，它可以進(jìn)一步定義一旦圖像被解碼，可以對其做什么(該圖像我們示意性地用Im_HDR_out顯示，為了簡單起見，可以假定它處于線性輝度表示，盡管也可以使用某種其他的主代碼/顏色空間定義)。
[0067]特性灰度值標(biāo)識單元661可以被包括以便從元數(shù)據(jù)MET提取那些特定代碼(或者甚至基于圖像分析進(jìn)一步導(dǎo)出它們)，并且然后該信息可以用于例如色調(diào)重新映射中。
[0068]LDR復(fù)原單元656被布置成應(yīng)用所有必要的函數(shù)以便確定編碼圖像Im_l*中的LDR部分，因此典型地，它將確定低動態(tài)輝度范圍(R_Norml_LDR)，該范圍然后可以用于從Im_l*中切出LDR圖像。典型地，圖像組成單元657將生成最終的HDR圖像Im_HDR_out，因為它也將從HDR復(fù)原單元655接收HDR部分，并且這些部分(例如實施為LDR圖像Im_LDR_O +HDR部分圖像ImP_HDR_o)然后可以在施加適當(dāng)?shù)哪嬗成?CMAP_L_i和CMAPJT1)之后一起組成例如線性輝度域。也可以存在在將HDR圖像發(fā)送至顯示器(作為直接驅(qū)動信號或者需要顯示器進(jìn)一步變換的編碼)之前涉及的、由色調(diào)映射單元658進(jìn)行的另外的色調(diào)映射。該色調(diào)映射單元可以為了更好的觀看質(zhì)量而調(diào)適信號，例如利用變換函數(shù)TM_dk對亮度在gCdk以下的(或者事實上在由單元657映射到Im_HDR_out之后的相應(yīng)輝度)的像素施加亮化變換。所述映射可以取決于例如由所述盒或電視或者觀看者的地點處(例如在遙控器上)等的輝度計688記錄的觀看環(huán)境的屬性的度量Surr_IL。當(dāng)然，可以存在最終的格式化器659，其例如依照像例如HDMI標(biāo)準(zhǔn)那樣的連接規(guī)范(連接的一個實例例如電纜650)調(diào)適信號。此外，為了允許顯示器進(jìn)行其自身的智能變換，格式化器也可以發(fā)送另外的圖像編碼，比如LDR信號的變型Im_LDR，其在線性HDR圖像M_HDR_out中不再易于可辨。這允許顯示器例如在用戶控制下進(jìn)行其自身的顏色映射(通過包括的圖像處理單元620)?？梢詡魉土硗獾脑獢?shù)據(jù)MET_2 (HDR)，其描述至少傳送的HDR信號，諸如例如它如何由單元658重新調(diào)適。電視可以例如根據(jù)其是主要圖像還是小的PIP而不同地使用該信息。
[0069]解碼單元651也可以包括或者連接到天線699并且將相同或者另一個HDR輸出圖像傳送至例如便攜式顯示裝置630。
[0070]作為當(dāng)前實施例與容易的重新再現(xiàn)如何工作的一個實例，用戶接口可以被示出具有“信息察覺視亮度控制”，例如遙控器上的改進(jìn)的視亮度按鈕641。代替在按壓該按鈕時盲目地將偏移添加到Im_HDR_out的所有像素輝度，視頻處理盒651或者電視可以應(yīng)用新的色調(diào)映射策略，該策略例如重新映射與其余像素不同的暗波瓣204的信息，因此獲得暗物體的好得多的可見性。各個不同的特性灰度水平可以通過參數(shù)化這樣的動作，通過定義必須對不同的子范圍做什么(更強的亮化、協(xié)調(diào)的較少亮化量、身份變換)而強烈?guī)椭?br> [0071]當(dāng)前實施例允許在再現(xiàn)側(cè)實現(xiàn)改進(jìn)的用戶接口命令。更智能地適應(yīng)性調(diào)節(jié)的重新點燃按鈕642或者更智能的對比度改進(jìn)按鈕643可以不僅利用所有的元數(shù)據(jù)，而且也利用編碼子范圍。例如，該對比度按鈕可以應(yīng)用到處于黑暗中且不良照射的臉部區(qū)域。甚至當(dāng)正確地照射時，利用特性灰度值對該范圍劃界也可以允許不同地處理它。例如，要施加到臉部區(qū)域的修改伽瑪函數(shù)可以依賴于元數(shù)據(jù)。
[0072]應(yīng)當(dāng)指出的是，本發(fā)明并沒有排除除了 LDR范圍(或者潛在地原則上甚至數(shù)個LDR范圍或子范圍)之外還具有超過I個的HDR范圍或子范圍，并且特別地，它可以如將利用圖7的實例來闡述的使用該自由合并若干等級。特別地，沿著所述范圍的灰度值或者其任何變換之間不再具有簡單連續(xù)非線性關(guān)系的自由是個巨大的優(yōu)點。人們可以將所有經(jīng)典的色調(diào)映射變換看作一種將某些灰度值區(qū)域推送至某處的“彈簧”，這可能是或者可能不是所希望的。例如，伽瑪函數(shù)是這樣的簡單化變換的一個實例。它基本上保持白色固定，并且主要對輝度尺度的較暗區(qū)域起作用。它可能使得一些中間灰度太暗，或者為較暗區(qū)域保留了太多的代碼。具有由連續(xù)分配函數(shù)定義的單一輝度范圍并且沒有另外的精確子控制總是涉及到精確地平衡剪切白色或黑色。應(yīng)當(dāng)指出的是，(甚至對于例如在變換到不同的顏色表示系統(tǒng)時出現(xiàn)的那些簡單連續(xù)“彈簧型”變換而言)必須區(qū)分顏色/輝度編碼和再現(xiàn)。除非當(dāng)例如在經(jīng)典電視鏈(比如PAL或MPEG2)中發(fā)生的直接施加到顯示器時，否則亮度代碼值無需直接地對應(yīng)于確切要再現(xiàn)的用于圖像區(qū)域的輝度，因為可能總是存在實現(xiàn)諸如顯示和/或觀看環(huán)境特性之類的再現(xiàn)要求的中間變換，但是應(yīng)當(dāng)存在足夠的代碼值以便合理地表征存在的物體。即，當(dāng)可以將圖像中編碼的場景的基于照明的“外觀”從捕獲的場景物體紋理的編碼中解耦合時。即，本發(fā)明可以標(biāo)識例如若干光照區(qū)域(一些照亮的區(qū)域、中間區(qū)域、暗區(qū)域)，然而將它們編碼成好像它們?nèi)祭硐氲乇徽丈?其中它們在照相機捕獲期間可能不是這樣)，即具有最佳的足夠的代碼值范圍/數(shù)量。再后來，可以應(yīng)用所需的再現(xiàn)外觀。例如，LDR顯示器或者裝置可以決定它是想要將暗像素輝度的暗區(qū)域顯示得有點亮化，還是顯示為不能辨別的黑色。例如，當(dāng)利用電視電影掃描電影時，該電影的趾部(toe)以及尤其是肩部(shoulder)的寬大斜率(forgiving slope)可以包含大量信息。S卩，例如,甚至當(dāng)暗區(qū)域包含大量噪聲時，掃描的暗區(qū)域也可以例如在智能降噪或者普通物體改進(jìn)算法(其可以涉及復(fù)雜的操作，比如例如對暗物體上的數(shù)學(xué)紋理進(jìn)行圖像修復(fù)的計算機圖形學(xué)特效)之后利用用于該暗區(qū)域的大量代碼值將該暗區(qū)域編碼到最終的數(shù)字HDR編碼中?；蛘?，可以基于在用途方面(例如再現(xiàn)方面)仍然可能對這樣的暗區(qū)域做什么的預(yù)期確定最佳數(shù)量的代碼值，這可能不那么重要。LDR系統(tǒng)于是可以例如亮化該區(qū)域，直到它落入其亮度代碼范圍的中間，具有比其以僅僅少數(shù)最暗的代碼值被編碼少得多的偽像。
[0073]圖7現(xiàn)在示意性地示出了可以如何將用于電影制作者的三個重要的分級(當(dāng)然，可以例如為電視新聞報告或者游戲創(chuàng)建構(gòu)建類似的方案)集成到單個HDR圖像編碼結(jié)構(gòu)中，作為本發(fā)明實施例的一個實例。假定(盡管當(dāng)然可以在經(jīng)典的賽璐珞上攝制電影)電影RAW信號攝制在數(shù)字照相機上，例如ARRI或者RED。第一等級是用于電影院的主分級(不管是印制在經(jīng)典的膠片上還是數(shù)字地投影)。該等級可以被看作HDR等級，因為首先創(chuàng)建者將把它看作高質(zhì)量等級，其次電影院具有合理良好的再現(xiàn)特性。再現(xiàn)可以在黑暗中執(zhí)行，但是對此的視覺適應(yīng)可以在很大程度上通過簡單的數(shù)學(xué)映射函數(shù)來進(jìn)行。盡管畫面內(nèi)對比度可以由于諸如投影裝備(以及當(dāng)然還有影劇院中的諸如安全燈之類的燈)之類的因素而降低，但是畫面間動態(tài)對比度可以是良好的，并且典型地可以以令人信服的方式再現(xiàn)黑暗的恐怖環(huán)境和陽光室外二者。編碼典型地考慮到例如賽璐珞電影的灰度值行為。因此，在該主分級中，人們可能想要以良好的精度編碼從黑暗環(huán)境中的黑色物體(其可以在適應(yīng)黑暗環(huán)境時被分辨，但是最重要的不是這么多的實際輝度或者其任何代碼表示，而是其心理影響，即黑色區(qū)域在明亮再現(xiàn)中從來不會像它在暗再現(xiàn)中看起來那樣看起來這么暗)到諸如向觀察者閃耀的閃光燈之類的明亮燈光(其在電影院中將大致為高度明亮的心理解釋，但是在一些HDR顯示器上人們可以真實地創(chuàng)建非常明亮的區(qū)域)的一切事物。第二分級可以是用于家庭環(huán)境中的電子顯示器的HDR分級(我們將把它稱為“家庭HDR分級”)，例如可以經(jīng)由HDR電視付費頻道提供。它可以大致與主等級相符合(因為它們典型地可以通過在不同的再現(xiàn)環(huán)境中近似地維持外表的簡單映射函數(shù)而相關(guān))，然而它可以例如包含較少的暗代碼以及較多的亮代碼。應(yīng)當(dāng)指出的是，一些區(qū)域的任何細(xì)調(diào)可以利用元數(shù)據(jù)變換函數(shù)進(jìn)行編碼，但是對于像素值的重新編碼，尤其如此，在這種情況下，利用本發(fā)明可以在比如某個明亮像素區(qū)域的HDR信號中存在雙編碼。例如，在主等級中其亮度可能被減弱的燈的像素值范圍可以編碼到用于電影院等級的CMAP_H2_CIN范圍中，并且再一次地以不同的方式編碼到CMAP_H2_DISPL范圍中，這可以例如以像素交錯的方式(即棋盤圖案，其可以在再現(xiàn)之前被濾波)進(jìn)行。
[0074]然而，典型地，第一類別的燈將落入為用于電影劇院的主等級的明亮區(qū)域而分配的范圍(即CMAP_H2_CIN)內(nèi)，并且其他非常明亮的燈可以編碼到在用于家庭HDR分級的最終HDR信號中分配的另一個較高的范圍中。一種典型的實現(xiàn)可以例如僅僅在家庭HDR子范圍CMAP_H2_DISPL中編碼這些非常明亮的區(qū)域(在任何場景假設(shè)表示中，例如也創(chuàng)建最終HDR信號表示的分級裝置中的中間線性輝度顏色空間)。影劇院中的電子影院放映機然后將施加將該代碼改變?yōu)榭捎弥档淖罱K的再現(xiàn)變換，這實際上相當(dāng)于好像在CMAP_H2_IN的上部編碼圖像區(qū)域的相同事情。也可以這樣定義該范圍CMAP_H2_DISPL，使得它具有例如非常陡的斜率，允許非常明亮的光區(qū)域，但是具有較少的細(xì)節(jié)。這意味著例如甚至可以編碼超新星，所述超新星實際上不能忠實地在任何不久的將來的顯示器上再現(xiàn)，不過該顯示器可以使用這些不同的物體代碼值以轉(zhuǎn)換到適當(dāng)?shù)目稍佻F(xiàn)的顯示空間驅(qū)動值。
[0075]我們也利用CMAP_H1和CMAP_H2分別給出了暗區(qū)域編碼的兩個實例。第一個實例可以例如與可能想要用于電子家庭顯示器的可再現(xiàn)值的不太暗的區(qū)域相應(yīng)(典型地在較亮的觀看環(huán)境中)。不必將這些包括在典型的LDR光照范圍中，但是可以將它們編碼到較低的子范圍中，因為事實上它們不再完全是LDR。不過，舊式LDR成像系統(tǒng)在其切除LDR部分的情況下(在該情況下這些值將被再現(xiàn)為最暗的黑色)將合理地表現(xiàn)，但是更智能的LDR系統(tǒng)(至少具有LDR顯示能力)可以例如通過局部地將那些不那么暗的代碼值映射為更亮的可顯示的驅(qū)動值而構(gòu)建新的LDR驅(qū)動信號(典型地利用平衡紋理變化的可分辨性與總的圖像外觀所需的暗度的算法)。CMAP_H2區(qū)域于是可以包含甚至更暗的區(qū)域，這些區(qū)域主要對于電影院放映有意義。我們因此看到，該系統(tǒng)允許在顯示/解碼側(cè)以及在創(chuàng)建/編碼側(cè)非常容易地使用信號。在解碼側(cè)，只要作為LDR顯示器等級(例如人們現(xiàn)在典型地針對DVD或者BD創(chuàng)建所進(jìn)行的)的第三等級處于CMAP_L部分中，那么LDR系統(tǒng)可以容易地提取它，不管它是想要仍然對HDR信號中的剩余信息做些什么還是忽略它(即將所有較低的值作為例如0對待)。HDR家庭顯示器可以解釋并且使用除了 CMAP_H2區(qū)域以外的一切事情。再者，內(nèi)容創(chuàng)建者將在簡單化的工作流中以及協(xié)調(diào)和一起保存一切東西的可能性中非常受益于該系統(tǒng)(盡管該系統(tǒng)當(dāng)然也允許在以后的時間進(jìn)行代碼轉(zhuǎn)換，不過尤其是如果利用該系統(tǒng)共同編碼關(guān)于選擇和變換的另外的元數(shù)據(jù)，那么至少所有的分級專業(yè)技術(shù)已經(jīng)在信號中以用于以后的優(yōu)化)。例如，他可以使用無論什么策略以達(dá)到LDR部分。取決于他的質(zhì)量準(zhǔn)則，他可以僅僅例如固定LDR部分的某個映射策略，并且同時在某個LDR顯示器上看看LDR等級是否看起來合理(或者將其注釋為例如“對于主等級是良好的，以后要在改進(jìn)的家庭LDR等級中優(yōu)化”;我們的系統(tǒng)然后可以生成要存儲在BD上的第二分離HDR信號，但是也可以僅僅細(xì)調(diào)原始主分級，使得這三個等級仍然合理地包含在一個HDR編碼中，即通過定義用于最小化如單幅HDR圖像中編碼的(可復(fù)原)等級的失真的質(zhì)量準(zhǔn)則)。同事可以在放映室中看看主等級看起來如何，并且也檢查LDR等級的分級者可以同時看看HDR參考監(jiān)視器，諸如例如SM2。對于所有子區(qū)域、那里的定義和嵌入具有完全且復(fù)雜的控制允許一起實現(xiàn)所有這三個分級的強大編碼，不管人們具有松弛的還是嚴(yán)格的質(zhì)量準(zhǔn)則。例如，LDR部分可以智能地定義為“正常照亮的環(huán)境”(R_Norml_Lit_EnV)并且分級者可以根據(jù)與在HDR質(zhì)量方面他可以僥幸做成什么相比，他可以將什么映射到LDR范圍，而對此選擇。但是應(yīng)當(dāng)指出的是，映射(其將被共同編碼)可能非常復(fù)雜。因此，不僅僅是應(yīng)當(dāng)將亮點剪切到LDR子范圍內(nèi)，這在復(fù)原HDR信號時可能引入偽像。由于無論如何都必須降低亮點的輝度以用于LDR再現(xiàn)，這可以利用這樣的映射進(jìn)行，使得尤其是在與例如上面的范圍CMAP_H2_CIN中編碼的HDR物體整齊協(xié)調(diào)的映射之后，那些明亮的HDR解碼仍然可復(fù)原為正確的明亮。因此，分級者具有很大的自由以選擇如在其子范圍中編碼的主要LDR情節(jié)。即，他可以例如純粹在諸如代碼量之類的信息論原理上選擇該映射CMPA_L&用于比如非優(yōu)化光照下的臉部的精確再現(xiàn)，或者以后更容易地使用信號(通過明確地排除剪切的一些物體，例如暗區(qū)域，其是語義聲明共同編碼)等等?？梢岳缬嬎阌卸嗌儆糜趫鼍暗奶囟ㄗ訁^(qū)域的代碼值是所希望的(例如如果它為暗并且沒有這么多的高度復(fù)雜的空間物體紋理)，并且然后智能地分配例如[0-255]的某個區(qū)域。作為比特數(shù)的在任何信號定義中需要存儲分配的碼字長度以及含義(任何“場景表示”，例如參考顯示空間{16bit_defintion_gamma_l，0.1-5000尼特}中的輝度)現(xiàn)在最佳地被解耦且可控。
[0076]本文中公開的算法組件可以(全部地或者部分地)在實踐中實現(xiàn)為硬件(例如專用IC的部分)或者實現(xiàn)為運行在專用數(shù)字信號處理器或者通用處理器等等上的軟件。它們可以在以下意義上是半自動的:至少某用戶輸入可能/可能已經(jīng)(例如在工廠中或者消費者輸入或者其他人類輸入)存在。
[0077]技術(shù)人員根據(jù)我們的介紹應(yīng)當(dāng)可理解哪些部件可以是可選的改進(jìn)并且可以與其他部件組合地實現(xiàn)，以及(可選的)方法步驟如何與裝置的各構(gòu)件相應(yīng)，以及反之亦然。一些部件在本發(fā)明中以特定的關(guān)系(例如在單幅附圖中以特定的配置)被公開這一事實并不意味著其他的配置不可能作為本文中公開以申請專利的相同發(fā)明思想下的實施例。再者，出于務(wù)實的原因僅僅描述了實例的有限譜這一事實并不意味著其他的變型不能落入權(quán)利要求書的范圍下。事實上，本發(fā)明的部件可以在沿著任何用途鏈的不同變型中實施，例如，像編碼器那樣的創(chuàng)建側(cè)裝置的所有變型可以與分解系統(tǒng)的消費側(cè)的相應(yīng)裝置(例如解碼器)類似或者相應(yīng)，并且反之亦然。例如在諸如總的處理鏈中存在的本發(fā)明各個不同部件之間的技術(shù)功能協(xié)調(diào)之類的用途中，在編碼器與解碼器之間的任何傳輸技術(shù)中等等，所述實施例的若干部件可以被編碼為用于傳輸?shù)男盘栔械奶囟ㄐ盘枖?shù)據(jù)。在本申請中，措詞“裝置”在其最廣泛的意義上使用，(即允許實現(xiàn)特定目的的一組構(gòu)件)，并且因此可以例如為IC (的小部分)或者專用器具(例如具有顯示器的器具)或者聯(lián)網(wǎng)系統(tǒng)的部分等等?！安贾谩被颉跋到y(tǒng)”也被預(yù)期在最廣泛的意義上使用，因此它可以除別的以外還包括單個物理的可購買的裝置，裝置的部分，協(xié)作裝置(的部分)的集合等等。
[0078]計算機程序產(chǎn)品外延應(yīng)當(dāng)被理解為涵蓋命令集合的任何物理實現(xiàn)，這些命令在將命令輸入到處理器中的一系列加載步驟(其可以包括中間轉(zhuǎn)換步驟，例如翻譯成中間語言和最終的處理器語言)之后使得通用或?qū)Ｓ锰幚砥髂軌驁?zhí)行發(fā)明的任何特有功能。特別地，計算機程序產(chǎn)品可以實現(xiàn)為諸如例如盤或帶之類的載體上的數(shù)據(jù)、存儲器中存在的數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)連接(有線的或者無線的)行進(jìn)的數(shù)據(jù)，或者紙上的程序代碼。除了程序代碼之外，程序所需的特性數(shù)據(jù)也可以實施為計算機程序產(chǎn)品。這樣的數(shù)據(jù)可以以任何方式(部分地)提供。
[0079]本發(fā)明的任何實施例或者依照當(dāng)前實施例的任何哲理可用的任何數(shù)據(jù)(比如視頻數(shù)據(jù))也可以實施為數(shù)據(jù)載體上的信號，所述數(shù)據(jù)載體可以為可移除存儲器，比如光學(xué)盤、閃存、可移除硬盤、經(jīng)由無線構(gòu)件可寫的便攜式設(shè)備等等。
[0080]操作任何給出的方法所需的一些步驟可能已經(jīng)存在于本發(fā)明的處理器或者任何裝置實施例的功能中，而不是在本文描述的計算機程序產(chǎn)品或者任何單元、裝置或方法(具有本發(fā)明實施例的細(xì)節(jié))中描述，例如數(shù)據(jù)輸入和輸出步驟，公知的典型地結(jié)合的處理步驟，例如標(biāo)準(zhǔn)顯示器驅(qū)動，等等。我們也希望保護(hù)得到的產(chǎn)品和類似的結(jié)果，比如例如所述方法的任何步驟或者所述裝置的任何子部分中涉及的特定新穎信號以及這樣的信號的任何新的用途或者任何相關(guān)的方法。
[0081]應(yīng)當(dāng)指出的是，上述實施例說明了而不是限制了本發(fā)明。在技術(shù)人員可以容易地實現(xiàn)給出的實例到由權(quán)利要求書覆蓋的其他區(qū)域的映射的情況下，我們?yōu)榱撕啙嵠鹨姏]有深入地提及所有這些選項。除了如在權(quán)利要求書中組合的本發(fā)明的元件的組合之外，這些元件的其他組合也是可能的。元件的任何組合可以在單個專用元件中實現(xiàn)。
[0082]在權(quán)利要求中，括號之間的任何附圖標(biāo)記并不預(yù)期用于限制該權(quán)利要求，附圖中的任何特定符號也如此。措詞“包括”并沒有排除存在權(quán)利要求中未列出的元件或方面。元件之前的措詞“一”或“一個”并沒有排除存在多個這樣的元件。
【權(quán)利要求】
1.一種圖像編碼單元(301)，被布置成對高動態(tài)范圍圖像(IM_HDR_in)編碼，包括: -LDR選擇器(311)，其用于標(biāo)識由高動態(tài)范圍圖像覆蓋的總輝度范圍(Range_HDR)內(nèi)的低動態(tài)輝度范圍(R_Norml_LDR)或者相應(yīng)的亮度代碼值范圍(R_LDR)； -HDR選擇器(313)，其用于選擇總輝度范圍(1^叩6_冊10內(nèi)的至少一個互補范圍(R_above)，該互補范圍主要包括未被低動態(tài)輝度范圍(R_Norml_LDR)覆蓋的輝度； -代碼映射單元(315)，其被布置成在至少具有包括N比特碼字的亮度分量的第一圖像(Im_l*)中依照第一映射(CMAP_L)將落入低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的高動態(tài)范圍圖像(M_HDR_in)的像素輝度編碼為亮度代碼值(Y_out)，并且依照第二映射(CMAP_H)將落入所述至少一個互補范圍(R_above)內(nèi)的高動態(tài)范圍圖像(M_HDR_in)的像素輝度編碼為亮度代碼值(Y_out)，其中第一和第二映射映射到第一圖像的亮度代碼值范圍(RcTot_Iml)的分離的子范圍。
2.如權(quán)利要求1所述的圖像編碼單元，包括變換單元(312)，該變換單元被布置成向具有落入低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的輝度的高動態(tài)范圍圖像(IM_HDR_in)的像素顏色施加色度變換，以獲得用于那些像素顏色的修改的像素輝度(L*)。
3.如上面的權(quán)利要求之一所述的圖像編碼單元，其中LDR選擇器(311)包括基于輸入LDR分級圖像(GRD_LDR_in)和/或表征該LDR分級圖像的元數(shù)據(jù)(TM_G1 (gl, gh))標(biāo)識總輝度范圍(Range_HDR)的低動態(tài)輝度范圍(R_Norml_LDR)的標(biāo)識單元(340)。
4.如權(quán)利要求3所述的圖像編碼單元，其中代碼映射單元(315)被布置成依照LDR分級圖像(GRD_LDR_in)中編碼的像素顏色值映射落入低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的高動態(tài)范圍圖像(IM_HDR_in)的像素輝度。
5.如上面的權(quán)利要求之一所述的圖像編碼單元，包括圖像信號格式化器(320)，該圖像信號格式化器被布置成除了第一圖像之外還輸出特性輝度水平(gt4)或者特性亮度代碼值(gC4)中的至少一個。
6.一種高動態(tài)范圍圖像(IM_HDR_in)的圖像編碼方法，包括: -選擇由高動態(tài)范圍圖像覆蓋的總輝度范圍(Range_HDR)內(nèi)的低動態(tài)輝度范圍(R_Norml_LDR)或者相應(yīng)的亮度代碼值范圍(R_LDR)； -選擇總輝度范圍(Range_HDR)內(nèi)的至少一個互補范圍(R_above)，該互補范圍主要包括未被低動態(tài)輝度范圍(R_Norml_LDR)覆蓋的輝度； -朝著至少具有包括N比特碼字的亮度分量的第一圖像的亮度代碼，依照第一映射(CMAP_L)將落入低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的高動態(tài)范圍圖像(IM_HDR_in)的像素輝度映射為亮度代碼值(Y_out)，并且依照第二映射(CMAP_H)將落入所述至少一個互補范圍(R_above)內(nèi)的高動態(tài)范圍圖像(M_HDR_in)的像素輝度映射為亮度代碼值(Y_out)，其中第一和第二映射映射到第一圖像的亮度代碼值范圍(RcTot_Iml)的分離的子范圍。
7.如權(quán)利要求6所述的高動態(tài)范圍圖像(IM_HDR-1n)的圖像編碼方法，包括對于具有低動態(tài)輝度范圍(R_Norml_LDR)內(nèi)的輝度的像素執(zhí)行顏色分級。
8.一種圖像解碼單元(651)，被布置成根據(jù)高動態(tài)范圍圖像編碼(Im_l*)獲得高動態(tài)范圍圖像(IM_HDR_out),包括: -LDR復(fù)原單元(656)，其被布置成確定由高動態(tài)范圍圖像覆蓋的總輝度范圍(Range_HDR)內(nèi)的低動態(tài)輝度范圍(R_Norml_LDR)或者相應(yīng)的亮度代碼值范圍(R_LDR)，并且被布置成根據(jù)高動態(tài)范圍圖像編碼獲得低動態(tài)范圍圖像(Im_LDR_o)； -HDR復(fù)原單元(655)，其被布置成確定總輝度范圍(Range_HDR)內(nèi)的至少一個互補范圍(R_above)，該互補范圍主要包括未被低動態(tài)輝度范圍(R_Norml_LDR)覆蓋的輝度，并且被布置成根據(jù)高動態(tài)范圍圖像編碼確定與該至少一個互補范圍(R_above)相應(yīng)的至少一個高動態(tài)范圍子圖像(ImP_HDR_o)； -圖像組成單元(657)，其被布置成根據(jù)低動態(tài)范圍圖像(Im_LDR_o)和所述至少一個高動態(tài)范圍子圖像(ImP_HDR_o)組成高動態(tài)范圍圖像(IM_HDR_out)，其中低動態(tài)范圍圖像(Im_LDR_o)和所述至少一個高動態(tài)范圍子圖像(ImP_HDR_o)大致覆蓋高動態(tài)范圍圖像(IM_HDR_out)的非重疊輝度子范圍。
9.如權(quán)利要求8所述的圖像解碼單元(651)，包括被布置成從輸入元數(shù)據(jù)(MET)中提取特性輝度水平(gt4)或者特性亮度代碼值(gC4)中的至少一個的特性灰度值標(biāo)識單元(661)。
10.如權(quán)利要求9所述的圖像解碼單元(651)，其中LDR復(fù)原單元(656)被布置成基于特性輝度水平(gt4)或者特性亮度代碼值(gC4)確定低動態(tài)輝度范圍(R_Norml_LDR)。
11.如權(quán)利要求9所述的圖像解碼單元(651)，包括色調(diào)映射單元(658)，該色調(diào)映射單元被布置成至少在像素顏色的輝度或亮度落入分別由特性輝度水平(gt4)或者特性亮度代碼值(gC4)所定義的高動態(tài)范圍圖像(IM_HDR_out)的輝度或亮度子范圍內(nèi)時變換所述像素顏色。
12.如權(quán)利要求11所述的圖像解碼單元(651)，其中色調(diào)映射單元(658)被布置成優(yōu)選地根據(jù)來自光傳感器(688)的環(huán)繞光照(Surr_IL)的測量對至少具有在特定閾值以下的輝度或亮度的像素顏色施加亮化變 換。
13.一種根據(jù)高動態(tài)范圍圖像編碼(獲得高動態(tài)范圍圖像(IM_HDR_out)的圖像解碼方法，包括: -確定由高動態(tài)范圍圖像覆蓋的總輝度范圍(Range_HDR)內(nèi)的低動態(tài)輝度范圍(R_Norml_LDR)或者相應(yīng)的亮度代碼值范圍(R_LDR)，并且根據(jù)高動態(tài)范圍圖像編碼(Im_l*)獲得低動態(tài)范圍圖像(Im_LDR_o)； -確定總輝度范圍(Range_HDR)內(nèi)的主要包括未被低動態(tài)輝度范圍(R_Norml_LDR)覆蓋的輝度的至少一個互補范圍(R_above)，并且根據(jù)高動態(tài)范圍圖像編碼(Im_l*)確定與該至少一個互補范圍(R_above)相應(yīng)的至少一個高動態(tài)范圍子圖像(ImP_HDR_o)； -根據(jù)低動態(tài)范圍圖像(Im_LDR_o)和所述至少一個高動態(tài)范圍子圖像(ImP_HDR_o)組成高動態(tài)范圍圖像(IM_HDR_out )，其中低動態(tài)范圍圖像(Im_LDR_o )和所述至少一個高動態(tài)范圍子圖像(ImP_HDR_o)大致覆蓋高動態(tài)范圍圖像(IM_HDR_out)的非重疊輝度子范圍。
14.一種計算機程序產(chǎn)品，包括軟件，該軟件對使得處理器能夠?qū)崿F(xiàn)它的方法6編碼。
15.一種計算機程序產(chǎn)品，包括軟件，該軟件對使得處理器能夠?qū)崿F(xiàn)它的方法13編碼。
16.一種圖像信號，對高動態(tài)范圍圖像(IM_HDR_in)編碼，特征在于，它至少包括這樣的編碼，該編碼對二維亮度畫面編碼化，由亮度代碼值(Y_out)到要再現(xiàn)的輝度(Lum_in_scene)的映射(CMAP)定義，其中低動態(tài)輝度范圍(R_Norml_LDR)覆蓋關(guān)于其顏色特性而被調(diào)適以便在低動態(tài)范圍顯示系統(tǒng)上再現(xiàn)的低動態(tài)范圍圖像(Im_LDR_o)的編碼，并且非重疊互補子范圍(R_above+R_below)覆蓋可用于在高動態(tài)范圍顯示系統(tǒng)上再現(xiàn)動態(tài)范圍圖像(IM_HDR_in)的高動態(tài)范圍像素顏色。
17.如權(quán)利要求16所述的圖像信號，進(jìn)一步包括特性輝度水平(gt4)或者特性亮度代碼值(gC4)中的至少一個。
18.一種存儲器硬件部件，諸如例如可移除數(shù)據(jù)載體，諸如例如藍(lán)光光盤，包含如權(quán)利要求16或17所述的信號。
【文檔編號】H04N19/00GK103493487SQ201280020672
【公開日】2014年1月1日 申請日期:2012年4月23日 優(yōu)先權(quán)日:2011年4月28日
【發(fā)明者】M.J.W.梅坦斯 申請人:皇家飛利浦有限公司