改進不同顯示能力之間基于感知照度非線性的圖像數(shù)據(jù)交換的裝置和方法
【專利摘要】一種手持成像裝置具有數(shù)據(jù)接收器，其被配置為接收參考編碼圖像數(shù)據(jù)。所述數(shù)據(jù)包括被外部譯碼系統(tǒng)編碼的參考代碼值。所述參考代碼值表示參考灰度級，這些參考灰度級通過使用基于適于不同光水平的人類視覺對于空間頻率的感知非線性的參考灰階顯示函數(shù)而被選擇。所述成像裝置還具有數(shù)據(jù)轉(zhuǎn)換器，其被配置為訪問參考代碼值與該成像裝置的裝置特定代碼值之間的代碼映射。裝置特定代碼值被配置為生成特定于成像裝置的灰度級?；诖a映射，數(shù)據(jù)轉(zhuǎn)換器被配置為將參考編碼圖像數(shù)據(jù)轉(zhuǎn)碼為用裝置特定代碼值編碼的裝置特定圖像數(shù)據(jù)。
【專利說明】改進不同顯示能力之間基于感知照度非線性的圖像數(shù)據(jù)交
換的裝置和方法
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2011年12月6日提交的美國臨時專利申請N0.61/567,579 ;于2012年7月23日提交的美國臨時專利申請N0.61/674，503 ;以及于2012年9月20日提交的美國臨時專利申請N0.61/703，449的優(yōu)先權(quán)，這些申請的全部內(nèi)容都出于所有目的通過引用并入此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明總地涉及圖像數(shù)據(jù)。更特別地，本發(fā)明的實施例涉及不同顯示能力之間基于感知非線性的圖像數(shù)據(jù)交換。
【背景技術(shù)】
[0004]技術(shù)的發(fā)展使得現(xiàn)代顯示器設(shè)計可以呈現(xiàn)圖像和視頻內(nèi)容，與相同內(nèi)容呈現(xiàn)在落后的顯示器上相比，各種質(zhì)量特性得到顯著改進。例如，一些更現(xiàn)代的顯示器能夠以比常規(guī)或標準顯示器的標準動態(tài)范圍(SDR)高的動態(tài)范圍(DR)呈現(xiàn)內(nèi)容。
[0005]例如，一些現(xiàn)代的液晶顯示器(IXD)具有光單元(背光單元、側(cè)光單元等)，該光單元提供光場，在該光場中可以與有源LCD元件的液晶取向狀態(tài)的調(diào)制分開地對各個部分進行調(diào)制。該雙調(diào)制方法是可擴展的(例如，可擴展到N個調(diào)制層，其中，N包括大于2的整數(shù))，諸如可以通過顯示器的電光學(xué)構(gòu)造中的可控中間層(例如，可分別控制的LCD層的多個層)進行擴展。
[0006]相比之下，一些現(xiàn)有的顯示器具有比高動態(tài)范圍(HDR)明顯窄的動態(tài)范圍(DR)。使用典型的陰極射線管(CRT)、具有恒定熒光白色背光照明或等離子體屏幕技術(shù)的液晶顯示器(LCD)的移動裝置、計算機平板、游戲裝置、電視(TV)和計算機監(jiān)視器設(shè)備的DR呈現(xiàn)能力可能限于大約三個數(shù)量級。這樣的現(xiàn)有顯示器因此代表標準動態(tài)范圍(SDR)，相對于HDR,有時也被稱為“ ‘低’動態(tài)范圍”或“LDR”。
[0007]HDR照相機所捕捉的圖像可具有遠大于大多數(shù)(如果不是所有)顯示裝置的動態(tài)范圍的場景相關(guān)(scene-referred)HDR。場景相關(guān)HDR圖像可以包括大量數(shù)據(jù)，并且可以被轉(zhuǎn)換為便利于傳輸和存儲的后期制作格式(例如，具有8位RGB、YCbCr或深色選項的HDMI視頻信號；具有10位4:2:2采樣率的1.5Gbps SDI視頻信號；具有12位4:4:4或10位4:2:2采樣率的3Gbps SDI ;以及其他視頻或圖像格式)。后期制作圖像可以包括比場景相關(guān)HDR圖像的動態(tài)范圍小得多的動態(tài)范圍。此外，當(dāng)圖像被遞送到終端用戶的顯示裝置進行呈現(xiàn)時，沿途發(fā)生裝置特定和/或制造商特定的圖像變換，使得與原始的場景相關(guān)HDR圖像相比，在呈現(xiàn)圖像中引起大量視覺上明顯的錯誤。
[0008]在本部分中描述的方法是可從事的方法，但未必是以前已經(jīng)構(gòu)想或從事的方法。因此，除非另外指出，否則，不應(yīng)僅憑借包含于本部分中而認為在本部分中描述的方法中的任一種為現(xiàn)有技術(shù)。類似地，除非另外指出，否則，關(guān)于一種或更多種方法識別的問題不應(yīng)基于本部分而認為在任何現(xiàn)有技術(shù)中已被識別。
【專利附圖】

【附圖說明】
[0009]在附圖中以舉例的方式、而非限制的方式例示本發(fā)明，在附圖中，相似的標號表示類似的元件，其中:
[0010]圖1例示根據(jù)本發(fā)明的示例實施例的跨越多個光適應(yīng)水平的對比敏感度函數(shù)曲線的示例族群；
[0011]圖2例示根據(jù)本發(fā)明的示例實施例的示例積分路徑；
[0012]圖3例示根據(jù)本發(fā)明的示例實施例的示例灰階(grayscale)顯示函數(shù)；
[0013]圖4例示根據(jù)本發(fā)明的示例實施例的描繪Weber分數(shù)的曲線；
[0014]圖5例示根據(jù)本發(fā)明的示例實施例的與不同GSDF的裝置交換圖像數(shù)據(jù)的示例框架；
[0015]圖6例示根據(jù)本發(fā)明的示例實施例的示例轉(zhuǎn)換單元；
[0016]圖7例示根據(jù)本發(fā)明的示例實施例的示例SDR顯示器；
[0017]圖8A和圖8B例示根據(jù)本發(fā)明的示例實施例的示例處理流程；
[0018]圖9例示根據(jù)本發(fā)明的示例實施例的在其上可以實現(xiàn)如本文中所描述的計算機或計算裝置的示例硬件平臺；
[0019]圖1OA例示根據(jù)一些示例實施例的多個代碼空間中的以JND為單位的代碼錯誤的最大量，所述多個代碼空間中的每個代碼空間具有一個或多個不同位深中的不同的一個位深;
[0020]圖1OB至圖1OE例示根據(jù)一些示例實施例的代碼錯誤的分布；以及
[0021]圖11例示根據(jù)示例實施例的函數(shù)模型中的參數(shù)的值。
【具體實施方式】
[0022]本文中描述與不同能力的顯示器之間基于感知照度非線性的圖像數(shù)據(jù)交換相關(guān)的示例實施例。在以下的描述中，出于解釋的目的，為了使得能夠徹底理解本發(fā)明，闡述了大量的特定細節(jié)。但應(yīng)理解，可以在沒有這些特定細節(jié)的情況下實施本發(fā)明。在其它情況下，為了避免不必要地遮蔽、掩蓋或混淆本發(fā)明，不以詳盡的細節(jié)描述公知的結(jié)構(gòu)和裝置。
[0023]本文中根據(jù)下面的大綱來描述示例實施例:
[0024]1.總體概述
[0025]2.對比敏感度函數(shù)(CSF)模型
[0026]3.感知非線性
[0027]4.數(shù)字代碼值和灰度級(gray level)
[0028]5.模型參數(shù)
[0029]6.可變空間頻率
[0030]7.函數(shù)模型
[0031]8.基于參考GSDF交換圖像數(shù)據(jù)
[0032]9.轉(zhuǎn)換參考編碼圖像數(shù)據(jù)
[0033]10.示例處理流程[0034]11.實現(xiàn)機構(gòu)——硬件概述
[0035]12.枚舉示例實施例、等同、擴展、替代和其它
[0036]1.總體概述
[0037]本概述給出本發(fā)明的示例實施例的一些方面的基本描述。應(yīng)當(dāng)注意，本概述不是示例性實施例的各方面的詳盡或全面的概括。并且，應(yīng)當(dāng)注意，本概述不應(yīng)被理解為標識示例性實施例的任何特別重要的方面或要素，也不應(yīng)被理解為特別地將示例性實施例的任何范圍劃界，也不總體上將本發(fā)明劃界。本概述僅以簡要和簡化的格式給出與示例性實施例有關(guān)的一些概念，并且應(yīng)被理解為僅是以下給出的示例性實施例的更詳細的描述的概念性序言。
[0038]如果兩個照度值彼此相差不大，則人類視覺可能感知不到這兩個照度值之間的差異。相反，如果照度值相差不小于最小可覺差(JND)，則人類視覺僅感知到差異。由于人類視覺的感知非線性，各個JND的數(shù)量在光水平(light level)范圍上為不均勻的大小或比例，而是隨著不同的各個光水平而變化。另外，由于感知非線性，各個JND的數(shù)量在特定光水平處的空間頻率范圍上為不均勻的大小或比例，而是隨著低于截止空間頻率的不同空間頻率而變化。
[0039]通過用相等大小或線性縮放大小的照度量化步長被編碼的圖像數(shù)據(jù)與人類視覺的感知非線性不匹配。用通過在一個固定空間頻率上的照度量化步長被進行編碼的圖像數(shù)據(jù)與人類視覺的感知非線性也不匹配。根據(jù)這些技術(shù)，當(dāng)分配碼字來表示量化照度值時，太多的碼字可能分布在光水平范圍的特定區(qū)域(例如，明亮區(qū)域)中，而太少的碼字則可能分布在光水平范圍的不同區(qū)域(例如，黑暗區(qū)域)中。
[0040]在過于密集的區(qū)域中，大量碼字可能不能生成感知差異，并且因此實際上被浪費。在稀疏的區(qū)域中，兩個相鄰碼字可以生成比JND大得多的感知差異，并且可能生成輪廓畸變(也稱為條帶狀)視覺偽像。
[0041]根據(jù)如本文中所描述的技術(shù),可以使用對比敏感度函數(shù)(contrast sensitivityfunction, CSF)來確定寬范圍的光水平(例如，O至12，000cd/m2)上的JND。在示例實施例中，選擇在特定光水平的作為空間頻率的函數(shù)的峰值JND來表示在該特定光水平的人類感知量。峰值JND的選擇根據(jù)如下的人類視覺的行為:即當(dāng)具有接近的、但是不同的照度值的背景被觀看時人類視覺適應(yīng)于提高的水平的視覺感知性水平，這在視頻和圖像顯示視場中有時被稱為勾邊效應(yīng)(crispening effect)和/或Whittle的勾邊效應(yīng),并且在本文中可以像這樣進行描述。如本文中所使用的，術(shù)語“光適應(yīng)水平(light adaptation level)”可以用于表示這樣的光水平，在該光水平，在假定人類視覺適應(yīng)于該光水平的情況下，選擇/確定(例如，峰值)JND。如本文中所描述的峰值JND在不同光適應(yīng)水平隨空間頻率而變化。
[0042]如本文中所使用的，術(shù)語“空間頻率”可以是指圖像中的空間調(diào)制/變化的速率(其中，與相對于時間計算速率相對比，相對于空間距離或在空間距離上計算速率)。與可將空間頻率固定為特定值的常規(guī)方法相對比，如本文中所描述的空間頻率可以例如在一個范圍中或在一個范圍上變化。在一些實施例中，峰值JND可被限于特定空間頻率范圍(例如，0.1至5.0、0.01至8.0個周期/度、或者更小的或更大的范圍)內(nèi)。
[0043]參考灰階顯示函數(shù)(GSDF)可以基于CSF模型而產(chǎn)生。在一些實施例中，對于CSF模型假定非常廣的視場，以用于產(chǎn)生更好地支持娛樂顯示場的參考GSDF。GSDF是指參考數(shù)字代碼值(或參考碼字)集合、參考灰度級(或參考照度值)集合、以及這兩個集合之間的映射。在不例實施例中，每個參考數(shù)字代碼值對應(yīng)于如JND所表不的(例如,在某一光適應(yīng)水平的峰值JND)的人類感知量。在示例實施例中，相同數(shù)量的參考數(shù)字代碼值可以對應(yīng)于人類感知量。
[0044]可以通過從初始值開始累積JND來獲得GSDF。在示例實施例中，將中間碼字值(例如，對于12位代碼空間，2048)作為初始值給予參考數(shù)字代碼。參考數(shù)字代碼的初始值可以對應(yīng)于初始參考灰度級(例如，lOOcd/m2)。在參考數(shù)字代碼一個接一個地遞增時可以通過正累積JND (相加)來獲得對于參考數(shù)字代碼的其他值的其他參考灰度級，當(dāng)參考數(shù)字代碼一個接一個地遞減時，可以通過負累積JND (相減)來獲得對于參考數(shù)字代碼的其他值的其他參考灰度級。在示例實施例中，在計算GSDF中的參考值時，可以使用諸如對比度閾值的量值來代替JND。在計算GSDF中實際上所使用的這些量值可以被定義為無單位比率，并且可以與相應(yīng)的JND僅相差已知的或可確定的乘數(shù)、除法因子和/或偏差。
[0045]代碼空間可被選擇為包括GSDF中的所有參考數(shù)字代碼值。在一些實施例中，所有的參考數(shù)字代碼值都駐存在其中的代碼空間可以是下列代碼空間之一:10位代碼空間、11位代碼空間、12位代碼空間、13位代碼空間、14位代碼空間、15位代碼空間、或者更大的或更小的代碼空間。
[0046]盡管可以使用大的代碼空間(>15位)來托管所有的參考數(shù)字代碼值，但是在特定實施例中，使用最高效的代碼空間(例如，10位、12位等)來托管參考GSDF中所產(chǎn)生的所有參考數(shù)字代碼值。
[0047]可以使用參考GSDF來對圖像數(shù)據(jù)進行編碼，所述圖像數(shù)據(jù)例如由具有遠大于大多數(shù)(如果不是所有)顯示裝置的動態(tài)范圍的場景相關(guān)HDR的HDR照相機、演播室系統(tǒng)、或其他系統(tǒng)捕捉或產(chǎn)生?？梢杂枚喾N分發(fā)或發(fā)送方法(例如，具有8位RGB、YCbCr或深色選項的HDMI視頻信號；具有10位4:2:2采樣率的1.5Gps SDI視頻信號；具有12位4:4:4或10位4:2:2采樣率的3Gps SDI ;以及其他視頻或圖像格式)來將編碼圖像數(shù)據(jù)提供給下游裝直。
[0048]在一些實施例中，因為參考GSDF中的相鄰參考數(shù)字代碼值對應(yīng)于在JND內(nèi)的灰度級，所以人類視覺能夠區(qū)分的細節(jié)可以完全或基本上保留在基于參考GSDF被編碼的圖像數(shù)據(jù)中。完全支持參考GSDF的顯示器可以呈現(xiàn)不具有條帶狀或輪廓畸變偽像的圖像。
[0049]可以使用基于參考GSDF被編碼的圖像數(shù)據(jù)(或參考編碼圖像數(shù)據(jù))來支持可能不能完全支持參考GSDF中的所有參考照度值的多種能力較低的顯示器。因為參考編碼圖像數(shù)據(jù)包括所支持的照度范圍(其可以被設(shè)計為顯示器所支持的范圍的超集)中的所有感知細節(jié)，所以參考數(shù)字代碼值可被以如下方式最佳地且高效率地轉(zhuǎn)碼為顯示器特定數(shù)字代碼值，即盡可能多地保留特定顯示器能夠支持的細節(jié)并且引起盡可能少的視覺上明顯的錯誤。附加地和/或可選地，可以與從參考數(shù)字代碼值到顯示器特定數(shù)字代碼值的轉(zhuǎn)碼相結(jié)合地或者作為該轉(zhuǎn)碼的一部分，執(zhí)行去輪廓(decontour)和抖動(dither),以進一步改進圖像或視頻質(zhì)量。
[0050]如本文中所描述的技術(shù)是無關(guān)于顏色空間的。它們可以用于RGB顏色空間、YCbCr顏色空間或不同的顏色空間中。此外，可以將使用隨空間頻率變化的JND導(dǎo)出參考值(例如，參考數(shù)字代碼值和參考灰度級)的技術(shù)應(yīng)用于可以包括照度通道或者可以不包括照度通道的不同顏色空間(例如，RGB)中的除了照度通道之外的不同通道(例如，紅色、綠色和藍色通道之一)。例如，作為參考灰度級的代替，可以使用可應(yīng)用于藍色顏色通道的JND來導(dǎo)出參考藍色值。因此，在一些實施例中，可以用灰階來取代顏色。附加地和/或可選地，還可以使用不同的CSF模型來代替Barten的模型。所以，對于同一 CSF模型，可以使用不同的模型參數(shù)。
[0051]在一些實施例中，如本文中所描述的機構(gòu)形成媒體處理系統(tǒng)的一部分,所述媒體處理系統(tǒng)包括但不限于:手持裝置、游戲機、電視、膝上型計算機、上網(wǎng)本計算機、蜂窩無線電話、電子書閱讀器、銷售點終端、臺式計算機、計算機工作站、計算機亭、或各種其他類型的終端和媒體處理單元。
[0052]對于本文中所描述的優(yōu)選實施例以及總體原理和特征的各種修改對于本領(lǐng)域的技術(shù)人員將是清楚的。因此，本公開并非意圖局限于所示的實施例，而是要被給予與本文中所描述的原理和特征一致的最廣泛的范圍。
[0053]2.對比敏感度函數(shù)(CSF)模型
[0054]可以用對比敏感度函數(shù)(CSF)來最好地描述人類視覺對于所呈現(xiàn)的圖像中的空間結(jié)構(gòu)的敏感度，CSF將對比敏感度描述為空間頻率(或人類觀察者所感知的圖像中的空間調(diào)制/變化的速率)的函數(shù)。如本文中所使用的，對比敏感度S可以被認為是人類視覺神經(jīng)信號處理中的增益，而對比度閾值Ct可以從對比敏感度的倒數(shù)確定，例如:
[0055]對比敏感度=S = 1/CT 表達式(I) [0056]如本文中所使用的，術(shù)語“對比度閾值”可以是指人眼感知到對比度差異所必要的(相對)對比度的最低值(例如，最小可覺差)，或者與該最低值相關(guān)；在一些實施例中，還可以將對比度閾值描繪為照度值范圍上除以光適應(yīng)水平的最小可覺差的函數(shù)。
[0057]在一些實施例中，可以在實驗中直接測量對比度閾值，而不使用任何CSF模型。然而，在一些其他實施例中，可以基于CSF模型來確定對比度閾值。可以用若干個模型參數(shù)來構(gòu)建CSF模型，并且可以使用CSF模型來導(dǎo)出GSDF，該GSDF的灰度級中的量化步長取決于由照度值和空間頻率表征的光水平并且隨該光水平而變化。示例實施例可以基于各種CSF模型中的一個或多個來實現(xiàn)，諸如下列文獻中所描述的CSF模型:Peter G.J.Barten的Contrast Sensitivity of the Human Eye and its Effects on Image Quality(1999)(在下文中，Barten 的模型或 Barten 的 CSF 模型)、或 A.B.Watson, MIT Press (1933)的Digital Images and Human Vision 中的 Scott Daly,第 17 章(在下文中，Daly 的模型)。關(guān)于本發(fā)明的示例實施例，可以用實驗、從理論上、用CSF模型或它們的組合來導(dǎo)出用于產(chǎn)生參考灰階顯示函數(shù)(GSDF)的對比度閾值。
[0058]如文本中所使用的，GSDF可以是指多個數(shù)字代碼值(例如，1，2，3，…，N)到多個灰度級(L1, L2, L3，…，Ln)的映射，其中，如表1中所示，數(shù)字代碼值表示對比度閾值的索引值，灰度級對應(yīng)于對比度閾值。
[0059]表1
[0060]
【權(quán)利要求】
1.一種成像裝置，包括: 數(shù)據(jù)接收器，所述數(shù)據(jù)接收器被配置為接收包括參考代碼值的參考編碼圖像數(shù)據(jù)，所述參考編碼圖像數(shù)據(jù)被外部譯碼系統(tǒng)編碼，所述參考代碼值表示參考灰度級，所述參考灰度級通過使用基于適于不同光水平的人類視覺對于空間頻率的感知非線性的參考灰階顯示函數(shù)而選擇；和 數(shù)據(jù)轉(zhuǎn)換器，所述數(shù)據(jù)轉(zhuǎn)換器被配置為訪問參考代碼值與所述成像裝置的裝置特定代碼值之間的代碼映射，所述裝置特定代碼值被配置為生成被配置用于所述成像裝置的裝置特定灰度級，所述數(shù)據(jù)轉(zhuǎn)換器被配置為基于代碼映射來將參考編碼圖像數(shù)據(jù)轉(zhuǎn)碼為用裝置特定代碼值編碼的裝置特定圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的成像裝置，其中，所述成像裝置是標準動態(tài)范圍顯示裝置。
3.根據(jù)權(quán)利要求1所述的成像裝置，其中，所述成像裝置被配置為支持40度與25度之間的中間水平角度大小、以及不大于25度的窄水平角度大小之一。
4.根據(jù)權(quán)利要求1所述的成像裝置，其中，所述成像裝置被配置為支持1.5米與0.5米之間的中間觀看距離、以及不大于0.5米的短觀看距離之一。
5.一種方法，包括以下步驟: 接收用參考代碼值編碼的參考編碼圖像數(shù)據(jù)，所述參考代碼值表示參考灰度級集合； 訪問參考代碼值與裝置特定代碼值之間的代碼映射，所述裝置特定代碼值表示裝置特定灰度級集合；和 基于所述代碼映射，將參考編碼圖像數(shù)據(jù)轉(zhuǎn)碼為用裝置特定控制代碼編碼的裝置特定圖像數(shù)據(jù)； 其中，參考灰度級集合的連續(xù)參考灰度級之間的第一量化步長大小與適于第一光水平的人類視覺對于空間頻率的對比敏感度相關(guān)。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述第一量化步長大小與適于第一光水平的人類視覺對于空間頻率的峰值對比敏感度相關(guān)。
7.根據(jù)權(quán)利要求5所述的方法，其中，所述第一量化步長大小小于在第一光水平的最小可覺差閾值。
8.根據(jù)權(quán)利要求5所述的方法，其中，第二量化步長大小與適于第二光水平的人類視覺對于空間頻率的對比敏感度相關(guān)，所述第一量化步長大小和所述第二量化步長大小不同。
9.根據(jù)權(quán)利要求8所述的方法，其中，所述第二量化步長大小與適于第一光水平的人類視覺對于空間頻率的峰值對比敏感度相關(guān)。
10.根據(jù)權(quán)利要求8所述的方法，其中，所述第一光水平小于所述第二光水平，并且第一步長大小大于第二步長大小。
11.根據(jù)權(quán)利要求5所述的方法，其中，所述參考灰度級集合覆蓋上限的值在1000與15000尼特之間、包括1000和15000尼特的動態(tài)范圍。
【文檔編號】G06T5/00GK103988165SQ201280060408
【公開日】2014年8月13日 申請日期:2012年12月6日 優(yōu)先權(quán)日:2011年12月6日
【發(fā)明者】J·S·米勒, S·戴勒, M·尼扎瑪巴迪, R·阿特肯斯 申請人:杜比實驗室特許公司