對相關(guān)申請的交叉引用

本申請要求于2015年1月19日提交的美國臨時專利申請序列no.62/105,139的優(yōu)先權(quán)，其全部內(nèi)容通過引用并入本文。

本發(fā)明一般地涉及圖像。更具體地，本發(fā)明的一實(shí)施例涉及具有高動態(tài)范圍或增強(qiáng)動態(tài)范圍的圖像的顯示管理處理。

背景技術(shù)：

如本文所使用的，術(shù)語“動態(tài)范圍”(dr)可以涉及人類視覺系統(tǒng)(hvs)感知圖像中的強(qiáng)度(例如，輝度)的范圍(例如從最暗的暗(黑色)到最亮的亮(白色))的能力。在這個意義上，dr涉及“場景相關(guān)”的強(qiáng)度。dr還可以涉及顯示設(shè)備充分地或近似地呈現(xiàn)(render)特定寬度的強(qiáng)度范圍的能力。在這個意義上，dr涉及“顯示相關(guān)”的強(qiáng)度。在本文的描述中的任何點(diǎn)處，除非明確地指出特定意義具有特定含義，否則應(yīng)該推斷該術(shù)語可以在任何意義上使用，例如，可互換。

如本文所使用的，術(shù)語高動態(tài)范圍(hdr)涉及跨越人類視覺系統(tǒng)(hvs)的大約14-15個數(shù)量級的dr寬度。在實(shí)踐中，在其上人類可以同時感知寬度廣的強(qiáng)度范圍的dr相對于hdr可能會有些被截斷。如本文所使用的，術(shù)語增強(qiáng)動態(tài)范圍(edr)或視覺動態(tài)范圍(vdr)可以單獨(dú)地或可互換地涉及由人類視覺系統(tǒng)(hvs)可同時感知的dr。如本文所使用的，edr可以涉及跨越5-6個數(shù)量級的dr。因此，雖然相對于真實(shí)場景相關(guān)的hdr可能會有些縮窄，但是edr仍然表示寬的dr寬度，并且也可以被稱為hdr。

在實(shí)踐中，圖像包括一個或多個顏色分量(例如，輝度y以及色度cb和cr)，其中每個顏色分量由每像素n位的精度來表示(例如，n＝8)。使用線性輝度編碼，其中n≤8的圖像(例如，彩色24位jpeg圖像)被視為標(biāo)準(zhǔn)動態(tài)范圍的圖像，而其中n>8的圖像可以被視為增強(qiáng)動態(tài)范圍的圖像。edr和hdr圖像也可以使用諸如由industriallightandmagic開發(fā)的openexr文件格式之類的高精度(例如，16位)浮點(diǎn)格式進(jìn)行存儲和分發(fā)。

大多數(shù)消費(fèi)者桌面顯示器支持200至300cd/m²或尼特(nit)的輝度。大多數(shù)消費(fèi)者的hdtv的范圍從300到1000cd/m²。因此，這樣的常規(guī)顯示器代表相對于hdr或edr低的動態(tài)范圍(ldr)，也被稱為標(biāo)準(zhǔn)動態(tài)范圍(sdr)。隨著edr內(nèi)容的可用性由于捕獲裝置(例如照相機(jī))和edr顯示器(例如，來自杜比實(shí)驗(yàn)室的prm-4200專業(yè)參考監(jiān)視器)二者的進(jìn)步而增加，edr內(nèi)容可能會被顏色分級并且被顯示在支持更高動態(tài)范圍(例如，從1000尼特到5000尼特或更多)的edr顯示器上。通常，本公開的方法涉及高于sdr的任何動態(tài)范圍。如本發(fā)明人所理解的，用于高動態(tài)范圍圖像到hdr和sdr顯示器上的顯示管理的改進(jìn)的技術(shù)對于向后兼容性和卓越的沉浸式體驗(yàn)都是期望的。

如本文所使用的，術(shù)語“顯示管理”表示將第一動態(tài)范圍(例如，1000尼特)的輸入視頻信號映射到第二動態(tài)范圍(例如，500尼特)的顯示器所需的處理(例如，色調(diào)和色域映射)。

本節(jié)中描述的方法是可以實(shí)行的方法，但不一定是先前已經(jīng)想到或?qū)嵭械姆椒?。因此，除非另有說明，否則不應(yīng)假設(shè)本節(jié)中描述的任何方法僅僅因?yàn)樗鼈儼诒竟?jié)中而被當(dāng)作現(xiàn)有技術(shù)。類似地，除非另有說明，否則相對于一個或多個方法識別的問題不應(yīng)在本節(jié)的基礎(chǔ)上而假設(shè)已經(jīng)在任何現(xiàn)有技術(shù)中被認(rèn)識到。

附圖說明

在附圖中，以示例而非限制的方式示出了本發(fā)明的實(shí)施例，在附圖中，相似的附圖標(biāo)記表示相似的元件，并且其中：

圖1描繪了根據(jù)本發(fā)明的實(shí)施例的用于edr圖像的顯示管理的示例處理；

圖2描繪了根據(jù)本發(fā)明的實(shí)施例的將輸入edr數(shù)據(jù)從輸入顏色空間轉(zhuǎn)換為感知量化空間的示例處理；

圖3描繪了根據(jù)本發(fā)明的實(shí)施例的用于edr圖像的顏色體積映射(colorvolumemapping)的示例處理；

圖4描繪了根據(jù)本發(fā)明的實(shí)施例的用于細(xì)節(jié)保留的示例處理；和

圖5描繪了根據(jù)本發(fā)明的實(shí)施例的輸出顏色轉(zhuǎn)換的示例處理。

具體實(shí)施方式

本文描述了增強(qiáng)動態(tài)范圍(edr)圖像的有效顯示管理(例如，色調(diào)和色域映射)。在下面的描述中，為了說明的目的，闡述了許多具體細(xì)節(jié)以便提供對本發(fā)明的透徹理解。然而，應(yīng)當(dāng)清楚的是，可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其它情況下，未詳細(xì)描述已知的結(jié)構(gòu)和設(shè)備，以避免不必要地遮蓋、模糊或混淆本發(fā)明。

概述

本文描述的示例實(shí)施例涉及edr圖像的有效顯示管理。顯示管理處理器接收要被顯示在目標(biāo)顯示器上的具有增強(qiáng)動態(tài)范圍的輸入圖像，該目標(biāo)顯示器具有與源參考顯示器不同的動態(tài)范圍。輸入圖像被首先從輸入顏色空間(例如，rgb或ycbcr)變換到感知量化(pq)顏色空間，優(yōu)選地被變換到ipt-pq顏色空間。包括自適應(yīng)色調(diào)映射函數(shù)和自適應(yīng)色域映射函數(shù)的顏色體積映射函數(shù)生成第一映射圖像。向第一映射圖像的強(qiáng)度分量應(yīng)用細(xì)節(jié)保留步驟，以生成具有經(jīng)濾波的色調(diào)映射的強(qiáng)度圖像的最終映射圖像。最終映射圖像然后被轉(zhuǎn)化回顯示器的優(yōu)選顏色空間。提供了自適應(yīng)色調(diào)映射和色域映射函數(shù)的示例。

示例顯示管理處理流水線

圖1描繪了根據(jù)本發(fā)明的實(shí)施例的edr圖像(其也可以被稱為hdr圖像)的顯示管理的示例處理。該處理與2014年2月13日提交的序列號為pct/us2014/016304的pct申請(從現(xiàn)在起被稱為‘304申請)中描述的顯示管理處理有許多相似之處，該pct申請的全部內(nèi)容通過引用并入本文；然而，所提出的實(shí)施例包括多個改進(jìn)，這多個改進(jìn)允許在提高整體圖像質(zhì)量的同時減小計算復(fù)雜度。

如圖1所示，視頻處理器(例如，媒體服務(wù)器、機(jī)頂盒、圖像顯示器或其它合適的圖像處理器)接收edr輸入vi(102)、可選的相關(guān)聯(lián)的源和內(nèi)容元數(shù)據(jù)(104)以及目標(biāo)元數(shù)據(jù)(106)。edr輸入(102)可以包括諸如edr視頻信號之類的圖像序列的幀或全幀的一部分。如本文所使用的，術(shù)語“元數(shù)據(jù)”涉及作為編碼的位流的一部分而被發(fā)送并且協(xié)助解碼器呈現(xiàn)解碼圖像的輔助信息。這樣的元數(shù)據(jù)可以包括但不限于如本文所述的顏色空間或色域信息、參考顯示器參數(shù)和輔助信號參數(shù)。

所接收的edr輸入(102)可以是rgb顏色格式或者可以是任何其它顏色空間，諸如ycbcr、xyz等。所接收的圖像可以已經(jīng)在參考edr監(jiān)視器上進(jìn)行了顏色分級，其中該參考edr監(jiān)視器可以具有與目標(biāo)顯示監(jiān)視器不同的動態(tài)范圍和色域特性。如本文所使用的，術(shù)語“顏色分級”表示調(diào)整圖像或視頻的顏色以校正顏色偽像和/或匹配導(dǎo)演意圖的處理。

edr輸入(102)還可以包括與用于在節(jié)目制作期間對圖像進(jìn)行顏色分級的顯示器相關(guān)的源顯示器元數(shù)據(jù)(104)。例如，這樣的元數(shù)據(jù)可以包括參考電光變換函數(shù)(eotf)(例如，rec.itu-rbt.1866(03/2011)或smptest2084:2014)。edr輸入還可以包括額外的源顯示器和內(nèi)容元數(shù)據(jù)(104)，諸如源或參考顯示器的最大和最小亮度，數(shù)據(jù)的最大、最小和平均色調(diào)，以及顏色分級期間的環(huán)境光的強(qiáng)度。例如，參考監(jiān)視器的元數(shù)據(jù)可以包括制作中使用的以下示例參數(shù)：

源監(jiān)視器最小亮度，smin＝0.005尼特；

源監(jiān)視器最大亮度，smax＝4000尼特；

環(huán)境光，samb＝10尼特；

伽馬，sgamma＝2.4；

顏色空間＝dcip3，白點(diǎn)＝d65；

用于參考監(jiān)視器的元數(shù)據(jù)通常僅需要被發(fā)送一次；然而，用于視頻數(shù)據(jù)的元數(shù)據(jù)可以在每幀的基礎(chǔ)上、每個場景的基礎(chǔ)上、或者每當(dāng)有變化時被發(fā)送。如果沒有與源內(nèi)容相關(guān)的元數(shù)據(jù)，則在一些實(shí)施例中，可以通過分析源視頻內(nèi)容來提取這樣的數(shù)據(jù)。目標(biāo)元數(shù)據(jù)(106)由目標(biāo)顯示器遞送并且可以描述目標(biāo)顯示器特性(例如，最大亮度、色域等)。

ipt-pq顏色空間

在優(yōu)選實(shí)施例中，在將被稱為感知量化ipt或ipt-pq顏色空間的顏色空間中執(zhí)行處理流水線(100)；然而，可以在諸如線性rgb、伽馬rgb、ycbcr、xyz、cie-lab等的其它顏色空間中執(zhí)行類似的處理步驟。如本發(fā)明人所理解的，在ipt-pq顏色空間中進(jìn)行操作提供了許多優(yōu)點(diǎn)，諸如：在固定點(diǎn)并且以較低的位深度執(zhí)行顯示管理流水線，并且減少由于色調(diào)映射和色域映射操作引起的顏色偽像。如在proc.6^thcolorimagingconference:colorscience,systems,andapplications,is&t,scottsdale,arizona,1998年11月，第8-13頁、f.ebner和m.d.fairchild的“developmentandtestingofacolorspace(ipt)withimprovedhueuniformity”(將被稱為ebner論文)(其全部內(nèi)容通過引用并入本文)中描述的，ipt是人類視覺系統(tǒng)中視錐細(xì)胞(cone)之間的顏色差的模型。在這個意義上，它就像ycbcr或cie-lab的顏色空間；然而，它在一些科學(xué)研究中已經(jīng)顯示出比這些空間更好地模仿人類視覺處理。像cie-lab一樣，ipt是一些參考輝度的歸一化空間。在一個實(shí)施例中，歸一化是基于目標(biāo)顯示器的最大輝度的。

本文所使用的術(shù)語“pq”是指感知量化。人類視覺系統(tǒng)以非常非線性的方式來對增加的光線水平做出響應(yīng)。人類看到刺激的能力受到刺激的輝度、刺激的大小、構(gòu)成刺激的空間頻率以及正在觀察刺激的特定時刻的眼睛已經(jīng)適應(yīng)的輝度水平的影響。在優(yōu)選實(shí)施例中，感知量化器函數(shù)將線性輸入灰度級映射到更好地匹配人類視覺系統(tǒng)中的對比敏感度閾值的輸出灰度級。pq映射函數(shù)的示例在jsmiller等人于2012年12月6日提交的、題為“perceptualluminancenonlinearity-basedimagedataexchangeacrossdifferentdisplaycapabilities”的、序列號為pct/us2012/068212(將被稱為‘212申請)的pct申請中進(jìn)行了描述，該申請的全部內(nèi)容通過引用并入本文，其中，給定固定的刺激尺寸，對于每個輝度水平(即，刺激水平)，根據(jù)最敏感的適應(yīng)水平和最敏感的空間頻率(根據(jù)hvs模型)來選擇該輝度水平處的最小可見對比度步長。與代表物理陰極射線管(crt)設(shè)備的響應(yīng)曲線的、并且一致性可能與人類視覺系統(tǒng)響應(yīng)的方式非常粗糙地相似的傳統(tǒng)伽馬曲線相比，由‘212申請確定的pq曲線使用相對簡單的函數(shù)模型來模仿人類視覺系統(tǒng)的真實(shí)視覺響應(yīng)。

基于pq曲線的eotf的示例在smptest2084:2014“highdynamicrangeeotfofmasteringreferencedisplays”中定義，其全部內(nèi)容通過引用并入本文。感知量化的eotf的另一個示例在iso/iecjtc1/sc29/wg11mpeg2014/m35065，2014年10月、j.stessen等人的“chromaticitybasedcolorsignalsforwidecolorgamutandhighdynamicrange”中給出，其全部內(nèi)容通過引用并入本文。

表1描述了用于將數(shù)字視頻編碼值轉(zhuǎn)換成顯示點(diǎn)處的絕對線性輝度水平的感知曲線eotf的計算。還包括用于將絕對線性輝度轉(zhuǎn)換成數(shù)字編碼值的反向eotf(oetf)計算。

表1

示例性等式定義：

d＝感知曲線數(shù)字編碼值，sdi合法無符號整數(shù)，10或12位

b＝數(shù)字信號表示中的每個分量的位數(shù)，10或12

v＝歸一化感知曲線信號值，0≤v≤1

y＝歸一化輝度值，0≤y≤1

l＝絕對輝度值，0≤l≤10000cd/m²

示例性eotf解碼等式：

示例性反向eotf編碼等式：

d＝int(1015·v·2^b-10)+4·2^b-10(t3)

示例性常數(shù)：

注意：

1.運(yùn)算符int對...范圍內(nèi)的小數(shù)部分返回的值為0，對于...范圍內(nèi)的小數(shù)部分返回的值為+1，即它對0.5以上的分?jǐn)?shù)取整。

2.所有常數(shù)都被定義為12位有理數(shù)的精確倍數(shù)，以避免取整問題。

3.r、g或b信號分量將以與上述y信號分量相同的方式計算。

圖2更詳細(xì)地描繪了根據(jù)一實(shí)施例的顏色轉(zhuǎn)換步驟(110)的示例處理。如圖2所示，給定第一顏色格式(例如，ycbcr4：2：0或rgb伽馬4：4：4)的輸入edr信號vi(102)，顏色空間變換步驟(110)將其轉(zhuǎn)化成感知校正的ipt顏色空間(ipt-pq)中的信號vil(112)。該顏色變換可以包括以下步驟：

a)如果需要，步驟(215)可以執(zhí)行色度上采樣或其它預(yù)處理操作(例如，將輸入縮放到范圍(0,1)內(nèi))以生成輸出(217)。

b)輸入edr信號(102)可以是伽馬編碼或pq編碼的，其通常使用源元數(shù)據(jù)(104)來通知。步驟(220)可以使用eotf(由元數(shù)據(jù)(104)提供)來使源顯示器從編碼值到輝度的轉(zhuǎn)換反向或撤消。例如，如果輸入信號是伽馬編碼的，則該步驟應(yīng)用反向伽馬函數(shù)。如果輸入信號是pq編碼的(例如，根據(jù)smptest2084)，則該步驟應(yīng)用反向pq函數(shù)。實(shí)際上，線性化步驟(220)可以使用三個預(yù)先計算的1-d查找表(lut)來執(zhí)行。

c)步驟(225)將線性化信號(222)轉(zhuǎn)換為lms顏色空間中的信號(227)。通常，通過以下步驟來執(zhí)行該步驟：a)使用標(biāo)準(zhǔn)變換來將輸入轉(zhuǎn)化到xyz顏色空間，并且然后，應(yīng)用3×3矩陣將該信號從xyz轉(zhuǎn)化到lms。

d)(步驟230)。根據(jù)ebner的文章，傳統(tǒng)的lms到ipt顏色空間轉(zhuǎn)換包括首先將非線性功率函數(shù)應(yīng)用于lms數(shù)據(jù)，并且然后應(yīng)用線性變換矩陣。雖然可以將數(shù)據(jù)從lms轉(zhuǎn)換到ipt，并且然后將pq函數(shù)應(yīng)用于ipt-pq域，但在優(yōu)選實(shí)施例中，在步驟(230)中，用于lms到ipt的非線性編碼的傳統(tǒng)功率函數(shù)被替換為pq非線性編碼。例如，以與等式(t2)中的v信號相同方式來計算非線性l、m和s值，其中y信號被線性l、m或s分量值代替。在一些實(shí)施例中，可以使用pq編碼的歸一化版本，其中可以省略等式(t3)的步驟，并且輸出pq值的范圍在0和1之間。在一些實(shí)施例中，也可以應(yīng)用替代pq編碼(例如，stessen提出的編碼)。

e)使用標(biāo)準(zhǔn)lms到ipt3×3線性變換，步驟(235)完成信號(102)到ipt-pq顏色空間的轉(zhuǎn)換。

在一些實(shí)施例中，可以使用3dlut來計算完整的顏色變換流水線(例如，110)。此外，在輸入信號已經(jīng)在ipt-pq空間中的實(shí)施例中，可以繞過輸入顏色空間轉(zhuǎn)換(110)。

顏色體積映射

在顏色變換步驟(110)之后，需要映射信號vil(112)的強(qiáng)度(io)和色度(p/t)以適應(yīng)目標(biāo)顯示器的約束。圖3描繪了根據(jù)一實(shí)施例的顏色體積映射處理(115)的示例實(shí)現(xiàn)。顏色體積映射處理(115)的第一部分基于顏色的飽和度和顏色的強(qiáng)度來確定使顏色變暗的量。在一實(shí)施例中(非限制)，飽和度s的度量可以被計算為色度分量的平方和，或者

s＝p²+t²。(1)

色調(diào)映射函數(shù)(310)將非線性映射應(yīng)用于輸入數(shù)據(jù)vil(112)的強(qiáng)度io(302)以生成色調(diào)映射的強(qiáng)度數(shù)據(jù)im(314)(例如，im＝ft(io))。a.ballestad等人在題為“methodandapparatusforimagedatatransformation”的美國專利8,593,480(將被稱為‘480專利)中描述了非線性映射變換的示例，該專利的全部內(nèi)容通過引用并入本文。

根據(jù)‘480專利，用于非線性映射的示例變換函數(shù)可以被表示為

其中c1、c2和c3是常數(shù)，yin是顏色通道的輸入值(例如io)，yout是顏色通道的輸出值，并且slope和rolloff是參數(shù)。該變換函數(shù)是參數(shù)化的反曲色調(diào)曲線函數(shù)的示例。指數(shù)slope指定中點(diǎn)處的期望對比度。它可以從源顯示器和目標(biāo)顯示器之間的比率導(dǎo)出，以允許對于較暗圖像具有略高的對比度。指數(shù)rolloff確定在曲線的頂部和底部曲線下滑的急劇程度。越小的值導(dǎo)致越急劇的下滑。基于三個錨點(diǎn)的定義來確定參數(shù)c1、c2和c3，這三個錨點(diǎn)又是基于參考(或源)顯示器的亮度特性和目標(biāo)顯示器的亮度特性來定義的，參考(或源)顯示器的亮度特性通常是從輸入元數(shù)據(jù)(104)提取的，目標(biāo)顯示器的亮度特性通常對于經(jīng)由目標(biāo)元數(shù)據(jù)(106)來執(zhí)行顯示管理處理的處理器是已知的。

色調(diào)映射中的關(guān)鍵概念是通過盡可能少地改變中點(diǎn)強(qiáng)度和對比度來保留整體圖像外觀。然后，陰影和高光被平滑地映射到目標(biāo)顯示器的輝度范圍中。在示例性實(shí)施例中，步驟(310)可以如下計算等式(2)的色調(diào)曲線參數(shù)：

令tmin和tmax表示用pq編碼表示的、目標(biāo)顯示器的最小和最大亮度。令smin和smax表示也是pq編碼的、源顯示器的最小和最大亮度，則在實(shí)施例中，s2tratio可以被定義為：

給定s2tratio，在一實(shí)施例中，

并且

slope＝s2tratio+1

shift的值表示映射曲線的中點(diǎn)，或者表示使輸入圖像變暗以使其適應(yīng)目標(biāo)顯示器的能力的量。在不失一般性的情況下，在一實(shí)施例中，它被選擇為源顯示器和目標(biāo)顯示器中點(diǎn)之間的中心(half-way)，以保留導(dǎo)演對圖像的一些創(chuàng)意意圖。

在一實(shí)施例中，已經(jīng)主觀地確定了rolloff＝1/3值，以為各種圖像提供良好的圖像質(zhì)量。

給定等式(2-4)，參數(shù)c1、c2和c3可以通過求解確定通過指定的最小、最大和中間控制點(diǎn)的色調(diào)映射曲線的等式組來導(dǎo)出。

[x1，x2，x3]＝[smin，smid，smax]

y1＝max(smin-shift，tmin)

y2＝smid-shift

y3＝min(smax-shift，tmax)

ε＝x3y3(x1-x2)+x2y2(x3-x1)+x1y1(x2-x3)

在一些實(shí)施例中，例如當(dāng)映射到更亮或更暗的觀看環(huán)境時，可能期望對上述色調(diào)曲線進(jìn)行修改。這可以通過可以主觀調(diào)整的兩個附加參數(shù)進(jìn)行調(diào)節(jié)：contrast(對比度)和brightness(亮度)。給定contrast和brightness，等式(4)的原始shift和slope參數(shù)可以被調(diào)整為：

slope＝s2tratio+1+contrast。

雖然依賴于目標(biāo)顯示器動態(tài)范圍，brightness控制可能只影響中點(diǎn)，但是brightness控制具有全局升高或降低整個圖像的亮度的效果。雖然依賴于目標(biāo)顯示器動態(tài)范圍，contrast控制可能降低陰影或高光的對比度，但是contrast控制具有升高或降低中點(diǎn)附近的對比度的效果。

可以修改contrast和brightness控制以實(shí)現(xiàn)兩個目的。首先，它們可以在終端顯示器處進(jìn)行調(diào)整，以補(bǔ)償不同的觀看環(huán)境。這是通過pluge類型操作來完成的，其中用戶調(diào)整亮度和/或?qū)Ρ榷龋钡胶诎准?xì)節(jié)在圖像中主觀可見為止。這些參數(shù)的第二個用處是作為微調(diào)特定鏡頭(shot)的默認(rèn)映射以實(shí)現(xiàn)特定主觀印象的元數(shù)據(jù)的一部分。

給定上面的c1、c2和c3參數(shù)，在一實(shí)施例中，映射的強(qiáng)度可以被計算為：

實(shí)際上，計算色調(diào)映射的圖像(314)通常使用查找表來實(shí)現(xiàn)。

如圖3所示，顏色體積映射(115)包括飽和度映射函數(shù)(320)，其被用于基于強(qiáng)度的變化來調(diào)整色度值(p/t)(304)。隨著顏色的強(qiáng)度降低，它們的飽和度也降低，以維持它們的外觀或平衡。在一實(shí)施例中，飽和度映射(320)可以表示為

fsm(io)＝im-io+1.(8)

針對指定的源顯示器和目標(biāo)顯示器性能以及可選的任何用戶調(diào)整來計算色調(diào)映射和飽度和曲線。一旦它們被計算，它們可以被獨(dú)立地應(yīng)用于每個像素，以從源顏色體積映射到目標(biāo)顏色體積。過程的核心是首先將色調(diào)曲線應(yīng)用于輸入強(qiáng)度，然后通過飽和度曲線對色度通道中的每個色度通道進(jìn)行縮放。通過將相同的縮放應(yīng)用于兩個色度通道，保留了色相(hue)，其在ipt中由p和t之間的角度定義。因此，在一實(shí)施例中，

這通常對于落在目標(biāo)顯示器顏色體積內(nèi)的顏色產(chǎn)生良好的結(jié)果。然而，它沒有考慮目標(biāo)顯示器可能無法生成亮的飽和顏色的事實(shí)。在這種情況下，如本發(fā)明人所理解的，可能需要進(jìn)一步的色度調(diào)整。

在顏色體積映射之后，留在目標(biāo)顯示器顏色體積之外的任何顏色將被在rgb空間中被剪輯(clip)，這可能引入偽像。為了減少留在外部的顏色，一實(shí)施例提供了將顏色進(jìn)一步映射到目標(biāo)顯示器顏色體積內(nèi)的兩種手段。第一種手段是使亮的飽和顏色變暗，第二種手段是使高度飽和的顏色去飽和。然后，可以如下所示地修改等式(9)的顏色體積映射過程：

其中α和β是權(quán)重，權(quán)重通常通過元數(shù)據(jù)接收的。

在等式(10)中，首先計算像素飽和度s，并將其用作自適應(yīng)色域映射的掩模(mask)。這確保近中性顏色不受影響，而高度飽和的顏色受到最大的影響。顏色的強(qiáng)度根據(jù)其飽和度和強(qiáng)度二者而被調(diào)整一定量α。同樣，飽和度根據(jù)飽和度而被調(diào)整另一個量β。通過指定這兩個方向之間的權(quán)重，可以控制顏色體積映射策略，從而提高顏色精度并減少輸出圖像中的顏色偽像。最大的調(diào)整被應(yīng)用于亮的飽和顏色。在一實(shí)施例中，這些權(quán)重的典型值在5和15之間。在一實(shí)施例中，等式(10)還可以包括剪輯操作，使得(1-s*α)和(1-s*β)的值從不為負(fù)數(shù)或零。

在另一實(shí)施例中，等式(10)可以被推廣為

其中fts(s)和fss(s)表示s的非常通用的線性或非線性函數(shù)。例如，對于fts(s)＝(1-s*α)和fss(s)＝(1-s*β)，等式(10a)變?yōu)榈仁?10)。等式(10a)又可以在聯(lián)合映射函數(shù)方面被進(jìn)一步推廣為

等式(10)和(10a)相比于(10b)的廣義方法的優(yōu)點(diǎn)是映射被表示為可分離的等式，這簡化了處理要求。

細(xì)節(jié)保留

等式(4)的色調(diào)映射運(yùn)算通常被稱為全局色調(diào)映射運(yùn)算，這是因?yàn)橄嗤牡仁奖粦?yīng)用于整個圖像或幀。在一實(shí)施例中，全局色調(diào)映射可以跟隨有改進(jìn)局部對比度的細(xì)節(jié)保留運(yùn)算(125)。該步驟還恢復(fù)強(qiáng)度通道中的高頻細(xì)節(jié)、由于色調(diào)映射操作引起的丟失。這種局部色調(diào)映射運(yùn)算的示例在‘480專利和‘304申請中進(jìn)行了描述。圖4描繪了根據(jù)一實(shí)施例的細(xì)節(jié)保留的另一示例。給定輸入io(302)、im(314)和源元數(shù)據(jù)(104)，處理(125)根據(jù)以下步驟生成濾波的強(qiáng)度圖像imf(127)。

令wmse和wms表示可以從源元數(shù)據(jù)中提取的可調(diào)權(quán)重(例如，wms＝1，wmse＝4)。這些權(quán)重控制要應(yīng)用的細(xì)節(jié)保留的量。如圖4所示，令

d＝io-im，(11)

b＝f(d，h)，(12)

其中f(d,h)表示對圖像d應(yīng)用具有內(nèi)核h的濾波器。在一示例實(shí)施例中，h包括σ＝2的可分離的5×11的高斯濾波器；然而，也可以應(yīng)用替代的濾波器。

濾波器hx和hy是1-d邊緣檢測濾波器。在一實(shí)施例中，hx和hy的濾波器內(nèi)核分別對應(yīng)于[-101]和[-101]^t。因此，給定

在一些實(shí)施例中，鉗位函數(shù)(420)也可以被應(yīng)用于e以保證其值始終在0和1之間的范圍內(nèi)。例如，

e＝max(0，min(1，|ex|+|ey|)*wmse+(1-wms)))。

然后

imf＝io-b-e*(d-b)(14)

輸出顏色轉(zhuǎn)換

圖5描繪了將映射的edr信號vm(其包括im、pm、tm或imf、pm、tm分量)從感知量化顏色空間(例如，ipt-pq)轉(zhuǎn)化回期望的顏色空間(例如，rgb或ycbcr)的顏色轉(zhuǎn)換處理(135)的示例。該處理鏡像輸入顏色轉(zhuǎn)換器(110)中的處理步驟，這些處理步驟現(xiàn)在以相反的順序執(zhí)行。如圖5所示，顏色轉(zhuǎn)換可以包括以下步驟：

a)步驟(505)：使用3×3ipt到lms變換將映射的信號vm從ipt-pq空間轉(zhuǎn)換到lms-pq空間。

b)步驟(510)：將lms-pq信號(507)從lms-pq空間轉(zhuǎn)換到lms空間。該步驟使用表1的等式進(jìn)行計算。在一實(shí)施例中，可以使用三個1-dlut來執(zhí)行該步驟。

c)步驟(515)：將lms信號(512)轉(zhuǎn)換為目標(biāo)顯示器顏色(例如，rgb)(517)，這通?；谀繕?biāo)顯示器的配置文件使用3×3的矩陣來執(zhí)行。

d)步驟(520)：將顯示器的eotf(例如，伽馬或pq編碼)應(yīng)用于信號(517)以生成輸出信號(522)。

e)步驟(525)：如果需要，應(yīng)用額外的后處理(例如，顏色轉(zhuǎn)換和顏色子采樣)。

該步驟純粹是色度的，這意味著參數(shù)是從測量值或已知的顯示器規(guī)范中導(dǎo)出的，并且通常不需要調(diào)諧或主觀修改。在階段(520)之后，在目標(biāo)顯示器能力之外可能存在一些剩余的值。在這種情況下，推薦的做法是剪輯到顯示器能力；然而，也可以嘗試調(diào)整顏色體積映射權(quán)重(例如，α和β)以實(shí)現(xiàn)期望的輸出。

如本發(fā)明人所理解的，所提出的顯示管理流水線(100)提供了優(yōu)于現(xiàn)有解決方案的許多明顯的優(yōu)點(diǎn)，包括：

·自適應(yīng)色調(diào)映射

·自適應(yīng)色域映射

·由于可調(diào)的色度相關(guān)權(quán)重，輸出顏色精度更好

·計算更簡單，但改進(jìn)了細(xì)節(jié)保留

·基于目標(biāo)顯示觀看環(huán)境(諸如環(huán)境光特性或觀看者喜好)的自適應(yīng)調(diào)整(例如對于亮度和對比度)。

示例計算機(jī)系統(tǒng)實(shí)現(xiàn)

本發(fā)明的實(shí)施例可以利用計算機(jī)系統(tǒng)、以電子電路和部件配置的系統(tǒng)、諸如微控制器之類的集成電路(ic)設(shè)備、現(xiàn)場可編程門陣列(fpga)或其它可配置或可編程邏輯設(shè)備(pld)、離散時間或數(shù)字信號處理器(dsp)、專用ic(asic)和/或包括這樣的系統(tǒng)、設(shè)備或部件中的一個或多個的裝置來實(shí)現(xiàn)。計算機(jī)和/或ic可以操作、控制或執(zhí)行與諸如本文所描述的那些的具有增強(qiáng)的動態(tài)范圍的圖像的顯示和顯示管理相關(guān)的指令。計算機(jī)和/或ic可以計算與本文所述的顯示管理處理相關(guān)的各種參數(shù)或值中的任何一個。圖像和視頻實(shí)施例可以以硬件、軟件、固件及其各種組合來實(shí)現(xiàn)。

本發(fā)明的某些實(shí)現(xiàn)方式包括執(zhí)行軟件指令的計算機(jī)處理器，該軟件指令使處理器執(zhí)行本發(fā)明的方法。例如，顯示器、編碼器、機(jī)頂盒、代碼轉(zhuǎn)換器等中的一個或多個處理器可以通過在處理器可訪問的程序存儲器中執(zhí)行軟件指令來實(shí)現(xiàn)與如上所述的edr圖像的顯示管理相關(guān)的方法。本發(fā)明也可以以程序產(chǎn)品的形式提供。程序產(chǎn)品可以包括承載一組計算機(jī)可讀信號的任何非暫時性介質(zhì)，該組計算機(jī)可讀信號包括如下的指令：當(dāng)該指令被數(shù)據(jù)處理器執(zhí)行時，使數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法。根據(jù)本發(fā)明的程序產(chǎn)品可以是各種各樣的形式。程序產(chǎn)品可以包括例如物理介質(zhì)(諸如包括軟盤的磁數(shù)據(jù)存儲介質(zhì))、硬盤驅(qū)動器，包括cdrom、dvd在內(nèi)的光學(xué)數(shù)據(jù)存儲介質(zhì)、包括rom、閃存ram在內(nèi)的電子數(shù)據(jù)存儲介質(zhì)等等。程序產(chǎn)品上的計算機(jī)可讀信號可以可選地被壓縮或加密。

除非另有說明，否則，在上面提到部件(例如軟件模塊、處理器、組件、設(shè)備、電路等)的地方，提到該部件(包括提到“裝置”)應(yīng)被解釋為包括作為該部件的等同物的、執(zhí)行所描述的部件的功能的(例如，功能上等同的)任何部件，包括在結(jié)構(gòu)上不等同于所公開的結(jié)構(gòu)、執(zhí)行在本發(fā)明的所示出的示例實(shí)施例中的功能的部件。

等同物、擴(kuò)展、替代品和雜項

因此，描述了與edr圖像的有效顯示管理相關(guān)的示例實(shí)施例。在前面的描述中，已經(jīng)參考可以依實(shí)現(xiàn)方式而變化的許多具體細(xì)節(jié)描述了本發(fā)明的實(shí)施例。因此，本發(fā)明是什么以及申請人意圖作為本發(fā)明的唯一且排他的指示是發(fā)布權(quán)利要求的具體形式的、從本申請發(fā)布的權(quán)利要求書，包括任何后續(xù)補(bǔ)正。對于這些權(quán)利要求中包含的術(shù)語，本文中明確規(guī)定的任何定義應(yīng)適用于權(quán)利要求中使用的這些術(shù)語的含義。因此，權(quán)利要求中未明確敘述的任何限制、要素、性質(zhì)、特征、優(yōu)點(diǎn)或?qū)傩跃粦?yīng)以任何方式限制這種權(quán)利要求的范圍。因此，說明書和附圖應(yīng)被認(rèn)為是說明性的而不是限制性的。