本申請為2012年4月13日提交的國際申請?zhí)枮閜ct/us2012/033605、發(fā)明名稱為“多顏色通道多元回歸預(yù)測算子”的pct申請的分案申請，該pct申請進入中國國家階段日期為2013年10月11日，國家申請?zhí)枮?01280018070.9。

相關(guān)申請的交叉引用

本申請要求于2011年4月14日提交的美國臨時專利申請no.61/475,359的權(quán)益，其全部內(nèi)容通過引用結(jié)合于此。

本申請還涉及于2011年4月14日提交的共同未決的美國臨時專利申請no.61/475,372，其全部內(nèi)容通過引用結(jié)合于此。

本發(fā)明總體上涉及圖像。更具體地，本發(fā)明的實施例涉及高動態(tài)范圍圖像與標(biāo)準(zhǔn)動態(tài)范圍圖像之間的多顏色通道、多元回歸預(yù)測算子。

背景技術(shù)：

如本文中所使用的術(shù)語“動態(tài)范圍”(dr，dynamicrange)涉及人類視覺系統(tǒng)(hvs，humanpsychovisualsystem)對圖像中例如從最暗的暗部到最亮的亮部的強度(例如，亮度)范圍進行感知的能力。從這個意義上講，dr涉及“與場景相關(guān)”的強度。dr還可涉及顯示設(shè)備適當(dāng)?shù)鼗蚪频爻尸F(xiàn)特定寬度的強度范圍的能力。從這個意義上講，dr涉及“與顯示器相關(guān)”的強度。除非在本文的描述中的任何一點處明確地指出特定的意義具有特定含義，否則應(yīng)推斷該術(shù)語可以(例如，互換地)用在任意一種意義中。

如本文中所使用的術(shù)語高動態(tài)范圍(hdr，highdynamicrange)涉及跨越人類視覺系統(tǒng)(hvs)的某14-15個數(shù)量級的dr寬度。例如，基本正常的適應(yīng)良好的人(例如，在一個或多個統(tǒng)計學(xué)意義上、計量生物學(xué)意義上或眼科學(xué)意義上)具有跨越約15個數(shù)量級的強度范圍。適應(yīng)的人可感知少到只有極少數(shù)光子的微弱光源。然而，同樣的人可感知沙漠、海或雪中正午太陽的近乎刺痛的耀眼強度(或甚至看著太陽，然而只是短暫地看著，以防止傷害)。雖然這個跨度對“適應(yīng)的”人而言是可達到的，但例如那些人的hvs具有進行重置和調(diào)節(jié)的時間段。

相比之下，較之hdr，人類可同步感知強度范圍中的擴展寬度的dr可在一定程度上縮短。如在本文中所使用的術(shù)語“視覺動態(tài)范圍”或“可變動態(tài)范圍”(vdr，variabledynamicrange)可單獨地或互換地涉及可由hvs同時感知的dr。如本文中所使用的vdr可涉及跨越5-6個數(shù)量級的dr。因此，盡管與真實場景相關(guān)的hdr可能在一定程度上變窄，但vdr仍表示較寬的dr寬度。如本文中所使用的術(shù)語“同步動態(tài)范圍”可涉及vdr。

直至最近，顯示器具有了比hdr或vdr明顯更窄的dr。使用常規(guī)陰極射線管(crt，cathoderaytube)，帶有恒定的熒光白背光照明的液晶顯示器(lcd，liquidcrystaldisplay)或等離子屏幕技術(shù)的電視(tv)和計算機監(jiān)視裝置在它們的dr呈現(xiàn)能力上會限制于約三個數(shù)量級。因此這種傳統(tǒng)的顯示器特征是低動態(tài)范圍(ldr，lowdynamicrange)，對于vdr和hdr，還稱為標(biāo)準(zhǔn)動態(tài)范圍(sdr，standarddynamicrange)。

然而，它們的基礎(chǔ)技術(shù)中的進步允許更新式的顯示器設(shè)計，以便相對于呈現(xiàn)在不夠新式的顯示器上的圖像和視頻內(nèi)容，以在多種質(zhì)量特征上具有顯著改進的方式來呈現(xiàn)該內(nèi)容。例如，更新式的顯示設(shè)備可能能夠呈現(xiàn)高清晰度(hd，highdefinition)內(nèi)容和/或可根據(jù)多種顯示能力(諸如，圖像縮放器器(imagescaler))進行縮放的內(nèi)容。此外，某些更新式的顯示器能夠以比傳統(tǒng)顯示器的sdr更高的dr來呈現(xiàn)內(nèi)容。

例如，某些新式lcd顯示器具有包括發(fā)光二極管(led，lightemittingdiode)陣列的背光單元(blu，backlightunit)。blu陣列的led可與有源lcd元件的偏振態(tài)的調(diào)制分開地進行調(diào)制。這種雙調(diào)制方法是可(諸如)通過blu陣列與lcd屏幕元件之間的可控中間層來擴展的(例如，擴展成n調(diào)制層，其中n包括大于2的整數(shù))。其基于led陣列的blu和雙(或n)調(diào)制有效地增加了具有這種特征的lcd監(jiān)視器的與顯示器相關(guān)的dr。

關(guān)于傳統(tǒng)sdr顯示器，通常所稱的這種“hdr顯示器”(盡管實際上，它們的能力可能更近似vdr的范圍)和它們可能的dr擴展在顯示圖像、視頻內(nèi)容和其他視頻信息的能力上表現(xiàn)出顯著進步。這種hdr顯示器可以呈現(xiàn)的色域還可顯著地超出多數(shù)傳統(tǒng)顯示器的色域，甚至到能呈現(xiàn)寬色域(wcg，widecolorgamut)的程度。與場景相關(guān)的hdr或vdr和wcg圖像內(nèi)容，諸如可通過“下一代”電影和tv攝像機產(chǎn)生，現(xiàn)在可通過“hdr”顯示器(下文中稱為“hdr顯示器”)來更真實有效地顯示。

就可擴展視頻編碼和hdtv技術(shù)而言，擴展圖像dr通常涉及分叉方法。例如，通過新式hdr功能攝像機獲取的與場景相關(guān)的hdr內(nèi)容可用于產(chǎn)生內(nèi)容的sdr版本，該內(nèi)容的sdr版本可顯示在傳統(tǒng)sdr顯示器上。在一種方法中，根據(jù)所獲取的vdr版本產(chǎn)生sdr版本，可能涉及將全局色調(diào)映射算子(tmo，globaltonemappingoperator)應(yīng)用于在hdr內(nèi)容中的與強度(例如，亮度)相關(guān)的像素值。在第二種方法(如為了所有的目的通過引用結(jié)合在本文中的、于2011年8月23日提交的國際專利申請no.pct/us2011/048861中所描述的)中，產(chǎn)生sdr圖像可涉及將可逆算子(或預(yù)測算子)應(yīng)用在vdr數(shù)據(jù)上。為了保留帶寬或出于其他考慮，傳輸實際獲取的vdr內(nèi)容可能不是最好的方法。

因此，關(guān)于初始tmo的逆的逆色調(diào)映射算子(itmo，inversetonemappingoperator)或者關(guān)于初始預(yù)測算子的逆算子可應(yīng)用于所產(chǎn)生的sdr內(nèi)容版本，這允許預(yù)測vdr內(nèi)容的版本。所預(yù)測的vdr內(nèi)容版本可與初始獲取的hdr內(nèi)容相比較。例如，從初始vdr版本減去預(yù)測的vdr版本可產(chǎn)生殘余圖像。編碼器可將所產(chǎn)生的sdr內(nèi)容作為基層(bl，baselayer)發(fā)送，并且將所產(chǎn)生的sdr內(nèi)容版本、任意殘余圖像以及itmo或其他預(yù)測算子打包作為增強層(el，enhancementlayer)或作為元數(shù)據(jù)。

相比于將hdr內(nèi)容和sdr內(nèi)容這兩者直接發(fā)送進比特流所占用的帶寬，將el和元數(shù)據(jù)(具有其sdr內(nèi)容、殘余圖像和預(yù)測算子)發(fā)送進比特流中通常占用更少的帶寬。接收由編碼器發(fā)送的比特流的可兼容解碼器可對sdr進行解碼并且呈現(xiàn)在傳統(tǒng)顯示器上。然而，可兼容解碼器還可使用殘余圖像，itmo預(yù)測算子或元數(shù)據(jù)，以根據(jù)它們來計算hdr內(nèi)容的預(yù)定版本，以用在更多功能的顯示器上。本發(fā)明的目的是提供用于產(chǎn)生預(yù)測算子的新方法，該預(yù)測算子允許利用對應(yīng)的sdr數(shù)據(jù)對vdr數(shù)據(jù)進行有效的編碼、傳輸以及解碼。

在這一部分中描述的方法是能夠執(zhí)行的方法，但并不一定是以前所設(shè)想或執(zhí)行的方法。因此，除非另有指示，否則不應(yīng)認為在這一部分所描述的方法中的任何一種因包括在這一部分中而被限定為現(xiàn)有技術(shù)。類似地，關(guān)于一種或多種方法所確定的問題不應(yīng)認為已基于這部分在任何現(xiàn)有技術(shù)中確定，除非另有指示。

附圖說明

通過示例(但不是通過限制的方式)在附圖部分的圖中例示了本發(fā)明的實施例，附圖中相同的附圖標(biāo)記指示類似的元件，其中：

圖1描繪了根據(jù)本發(fā)明的實施例的vdr-sdr系統(tǒng)的示例數(shù)據(jù)流；

圖2描繪了根據(jù)本發(fā)明的實施例的示例vdr編碼系統(tǒng)；

圖3描繪了根據(jù)本發(fā)明的實施例的多變量多元回歸預(yù)測算子的輸入和輸出接口；

圖4描繪了根據(jù)本發(fā)明的實施例的示例多變量多元回歸預(yù)測處理；

圖5描繪了根據(jù)本發(fā)明的實施例的關(guān)于確定多變量多元回歸預(yù)測算子的模型的示例處理；

圖6描繪了帶有根據(jù)本發(fā)明的實施例進行操作的預(yù)測算子的示例圖像解碼器。

具體實施方式

在本文中描述基于多變量多元回歸建模的顏色間(inter-color)圖像預(yù)測。給定一對對應(yīng)的vdr和sdr圖像，即，表示相同場景但是在不同的動態(tài)范圍等級的圖像，這部分描述了允許編碼器根據(jù)多變量多元回歸(mmr，multivariatemulti-regression)預(yù)測算子和sdr圖像對vdr圖像進行近似的方法。在下面的描述中，為了解釋的目的，陳述了許多特定細節(jié)以提供對本發(fā)明的充分理解。然而，顯然的是，本發(fā)明無需這些特定細節(jié)仍可實現(xiàn)。在其他情形中，為了避免不必要的掩蓋、模糊或者混淆了本發(fā)明，沒有詳盡地描述已知的結(jié)構(gòu)和設(shè)備。

概述

本文中所描述的示范實施例涉及具有高動態(tài)范圍的編碼圖像。實施例創(chuàng)建了mmr預(yù)測算子，該mmr預(yù)測算子允許vdr圖像關(guān)于其對應(yīng)的sdr表示來進行表達。

示例vdr-sdr系統(tǒng)

圖1描繪了在根據(jù)本發(fā)明的實施例的vdr-sdr系統(tǒng)100中的示例數(shù)據(jù)流。利用hdr攝像機110獲取hdr圖像或視頻序列。在獲取之后，所獲取的圖像或視頻通過灌制處理(masteringprocess)來進行處理以創(chuàng)建目標(biāo)vdr圖像125。灌制處理可包含多個處理步驟，諸如：編輯，一次和二次顏色校正、顏色變換以及噪聲過濾。此處理的vdr輸出125表示關(guān)于所獲取的圖像將如何在目標(biāo)vdr顯示器上進行顯示的負責(zé)人的意圖。

灌制處理還可輸出對應(yīng)的sdr圖像145，其表示關(guān)于所獲取的圖像將如何在合法的sdr顯示器上進行顯示的負責(zé)人的意圖。sdr輸出145可直接從灌制電路120提供或者sdr輸出145可通過分開的vdr至sdr轉(zhuǎn)換器140來產(chǎn)生。

在本示例實施例中，vdr125和sdr145信號被輸入進編碼器130。編碼器130的目的是創(chuàng)建經(jīng)編碼的比特流，其中該經(jīng)編碼的比特流減少了傳輸vdr和sdr信號所需的帶寬并且還允許對應(yīng)的解碼器150進行解碼并且呈現(xiàn)sdr信號或者vdr信號。在示例實現(xiàn)方式中，編碼器130可以是分層編碼器，諸如通過mpeg-2和h.264編碼標(biāo)準(zhǔn)定義的那些編碼器中的一個，這將其輸出表示為基層、可選增強層以及元數(shù)據(jù)。如本文中所使用的術(shù)語“元數(shù)據(jù)”涉及作為經(jīng)編碼的比特流的一部分被傳輸并且?guī)椭獯a器呈現(xiàn)經(jīng)解碼的圖像的任何輔助信息。這種元數(shù)據(jù)可包括(但是不限于)如下這些數(shù)據(jù)：色空間或色域信息、動態(tài)范圍信息、色調(diào)映射信息或者mmr預(yù)測算子，諸如本文所描述的那些。

在接收器上，解碼器150使用所接收的經(jīng)編碼的比特流和元數(shù)據(jù)，以根據(jù)目標(biāo)顯示器的能力來呈現(xiàn)sdr圖像或者vdr圖像。例如，sdr顯示器可僅使用基層和元數(shù)據(jù)來呈現(xiàn)sdr圖像。相比之下，vdr顯示器可使用來自所有輸入層的信息和元數(shù)據(jù)來呈現(xiàn)vdr信號。

圖2更詳細地示出了包括本發(fā)明的方法的編碼器130的示例實現(xiàn)方式。在圖2中，sdr’表示增強的sdr信號。sdr視頻現(xiàn)在是8比特、4:2:0、iturec.709數(shù)據(jù)。sdr’可具有與sdr相同的色空間(原色和白點)，但是，對在全空間分辨率下的所有顏色成分(例如，4:4:4rgb)可使用高精度，比方說每個像素12比特。根據(jù)圖2，能夠利用一組正變換從sdr’信號容易地導(dǎo)出sdr，所述一組正變換可包括從比方說每個像素12比特到每個像素8比特的量化，比方說從rgb到y(tǒng)uv的顏色變換以及比方說從4:4:4到4:2:0的顏色子采樣。變換器210的sdr輸出施加于壓縮系統(tǒng)220。根據(jù)應(yīng)用，壓縮系統(tǒng)220可能是有損耗的(諸如h.264或mpeg-2)或者無損耗的。壓縮系統(tǒng)220的輸出可作為基層225傳輸。為了減小經(jīng)編碼的信號與經(jīng)解碼的信號之間的偏移，編碼器130在壓縮處理220之后緊接對應(yīng)的解壓縮處理230和對應(yīng)于正變換210的逆變換240，這并非罕見。因此，預(yù)測算子250可具有下列輸入：vdr輸入205，以及sdr’信號245(當(dāng)該信號將由對應(yīng)的解碼器接收時其對應(yīng)于sdr’信號)或輸入sdr’207。使用輸入的vdr和sdr’數(shù)據(jù)的預(yù)測算子250將創(chuàng)建信號257，信號257表示輸入vdr205的近似或估計。加法器260從初始的vdr205減去經(jīng)預(yù)測的vdr257以形成輸出殘余信號265。隨后(未示出)，殘余265也可由另一有損耗或無損耗的編碼器進行編碼并且可作為增強層傳輸至解碼器。

預(yù)測算子250還可提供在預(yù)測處理中使用的預(yù)測參數(shù)，作為元數(shù)據(jù)255。由于預(yù)測參數(shù)可在編碼處理期間例如逐幀地或者逐場景地變化，所以這些元數(shù)據(jù)可作為數(shù)據(jù)中還包括基層及增強層的一部分被傳輸至解碼器。

由于vdr205和sdr’207都表示相同的場景，但針對的是具有不同特征(諸如，動態(tài)范圍和色域)的不同顯示器，所以期望這兩個信號具有非常緊密的關(guān)聯(lián)性。在本發(fā)明的示例實施方式中，開發(fā)了新的多變量、多元回歸(mmr)預(yù)測算子250，其允許使用與vdr信號對應(yīng)的sdr’信號和多變量mmr算子來預(yù)測輸入vdr信號。

示例預(yù)測模型

圖3示出了根據(jù)本發(fā)明的示例實現(xiàn)方式的mmr預(yù)測算子300的輸入和輸出接口。根據(jù)圖3，預(yù)測算子330接收輸入向量v310和s320，它們分別表示vdr圖像數(shù)據(jù)和sdr圖像數(shù)據(jù)，并且預(yù)測算子330輸出向量340，其表示輸入v的預(yù)測值。

示例標(biāo)記法和命名法

sdr圖像320中的第i個像素的三個顏色成分標(biāo)記為：

si＝[si1si2si3]。(1)

vdr輸入310中的第i個像素的三個顏色成分標(biāo)記為：

vi＝[vi1vi2vi3]。(2)

經(jīng)預(yù)測的vdr340中的第i個像素的經(jīng)預(yù)測的三個顏色成分標(biāo)記為：

一個顏色成分中的像素總數(shù)標(biāo)記為p。

在等式(1-3)中，顏色像素可以是rgb、yuv、ycbcr、xyz或者任意其他顏色表示。盡管等式(1-3)針對每個圖像或視頻幀中的每個像素假定三個顏色表示，但還如后面所示，本文所描述的方法可容易地擴展至每個像素具有多于三個顏色成分的圖像和視頻表示，或者擴展至這樣的圖像表示，其中輸入中的一個可具有顏色表示數(shù)量與其他輸入不同的像素。

一階模型(mmr-1)

利用多變量多元回歸(mmr)模型，一階預(yù)測模型能夠表示為：

其中，是3×3矩陣并且n是1×3向量，定義為：

和n＝[n11n12n13]。(5)

應(yīng)當(dāng)注意，這是多顏色通道預(yù)測模型。在等式(4)的中，每個顏色成分表示為輸入中的所有顏色成分的線性組合。換言之，與其他的單個通道顏色預(yù)測算子(其中，針對每個輸出像素，每個顏色通道對其自身進行處理并且彼此獨立地進行處理)不同，本模型考慮了像素的所有顏色成分并且因此充分利用顏色間關(guān)聯(lián)性和冗余度。

通過使用基于單個矩陣的表示能夠?qū)⒌仁?4)簡化為：

其中，

和s′i＝[1si1si2si3](7)

通過將幀(或者輸入的其他合適片段或部分)的所有p個像素集合在一起，可以具有下面的矩陣表示：

其中，

和

表示輸入和經(jīng)預(yù)測的輸出數(shù)據(jù)，s’是p×4數(shù)據(jù)矩陣，是p×3矩陣，以及m⁽¹⁾是4×3矩陣。如本文中所使用的，m⁽¹⁾可互換地稱為多變量算子或預(yù)測矩陣。

基于等式(8)的這個線性系統(tǒng)，能夠?qū)⒋薽mr系統(tǒng)用公式表示為兩個不同的問題：(a)最小二乘問題，或者(b)總體最小二乘問題；兩個問題都能使用已知的數(shù)值方法求解。例如，使用最小二乘方法，用于求解m的問題可用公式表示為將殘余或預(yù)測均方誤差最小化，或者

其中v是使用對應(yīng)的vdr輸入數(shù)據(jù)形成的p×3矩陣。

給定了等式(8)和(10)，m⁽¹⁾的最佳解給出為

m⁽¹⁾＝(s′^ts′)^-1s′^tv，(11)

其中，s’^t表示s’的轉(zhuǎn)置矩陣，s’^ts’是4×4矩陣。

如果s’是滿列秩，例如，

rank(s′)＝4≤p，

則，還可利用多種替代的數(shù)值技術(shù)(包括svd、qr或者lu分解)來解出m⁽¹⁾。

二階模型(mmr-2)

等式(4)表示一階mmr預(yù)測模型。還可以考慮采用如接下來所描述的更高階預(yù)測。

二階預(yù)測mmr模型可表示為：

其中是3×3矩陣，

以及

等式(12)能夠通過使用單個預(yù)測矩陣來簡化，

其中，

并且

通過將所有p個像素集合在一起，可定義下面的矩陣表示：

其中，

能夠利用在前面的部分中描述的相同優(yōu)化和求解法來求解等式(14)。最小二乘問題的m⁽²⁾的最佳解是

其中，s^(2)ts⁽²⁾現(xiàn)在是7×7矩陣。

還能夠以類似的方式構(gòu)建三階或更高階的mmr模型。

具有交叉相乘的一階模型(mmr-1c)

在替代mmr模型中，能夠增強等式(4)的一階預(yù)測模型以包括每個像素的顏色成分之間的交叉相乘(cross-multiplication)，如下：

其中，是3×3矩陣并且n是1×3向量，兩者都如等式(5)中所定義的，并且

并且sci＝[si1·si2si1·si3si2·si3si1·si2·si3]。(21)

根據(jù)如之前一樣的方法，等式(20)的mmr-1c模型能夠通過利用單個預(yù)測矩陣mc簡化，如下：

其中，

并且

通過將所有p個像素集合在一起，可以導(dǎo)出簡化的矩陣表示，如下：

其中，

和

sc是p×(1+7)矩陣并且能夠利用前面描述的相同最小二乘解來求解。

具有交叉相乘的二階模型(mmr-2c)

一階mmr-1c能夠擴展至還包括二階數(shù)據(jù)。例如，

其中，

并且

并且等式(27)的其余分量與之前在等式(5-26)中定義的那些相同。

與前面一樣，等式(27)通過使用簡單預(yù)測矩陣mc⁽²⁾來簡化，

其中，

并且

通過將所有的p個像素集合在一起，可以具有簡化的矩陣表示

其中，

并且sc⁽²⁾是px(1+2*7)矩陣并且可以應(yīng)用如之前所描述的相同最小二乘解。

能夠以類似的方式構(gòu)建具有交叉相乘參數(shù)的三階或更高階模型。替代地，如在“chaper5.4.3of“digitalcolorimaginghandbook”,crcpress,2002,editedbygauravsharma”中所描述的，還能夠利用下列的公式描述mmr交叉相乘模型的k階表示。

并且

其中，k表示mmr預(yù)測算子的最高階。

基于空間擴展的mmr(mmr-c-s)

到目前為止所描述的所有mmr模型中，經(jīng)預(yù)測的像素的值僅取決于對應(yīng)的、通常配置的輸入值si。在基于mmr的預(yù)測的情況下，還可以通過考慮來自鄰近像素的數(shù)據(jù)而受益。此方法對應(yīng)到將空間域中的輸入的任意線性類型處理(諸如fir型濾波)集成進mmr模型。

如果在一個圖像中考慮所有八個可能的鄰近像素，則此方法可將每個顏色成分的多達八個多一階變量添加進該預(yù)測矩陣m中。然而，在實際中，通常僅添加與兩個水平鄰近像素和兩個垂直鄰近像素對應(yīng)的預(yù)測變量就足夠了，忽略對角鄰近像素。這將每個顏色成分的多達四個變量添加進預(yù)測矩陣中，即，所述四個變量與上邊、左邊、下邊以及右邊像素對應(yīng)。類似地，還能夠添加與鄰近的像素值的更高階數(shù)對應(yīng)的參數(shù)。

為了簡化這種mmr空間模型的復(fù)雜性和計算要求，可以考慮僅針對單個顏色成分，諸如亮度成分(如在亮度-色度表示中)或綠色成分(如在rgb表示中)，將空間擴展添加至傳統(tǒng)模型。例如，假定僅針對綠色的顏色成分添加基于空間的像素預(yù)測，則根據(jù)等式(34-36)，預(yù)測綠色輸出像素值的一般表示將是

具有空間擴展的一階模型(mmr-1-s)

如另一示例實現(xiàn)方式，可以再考慮等式(4)的一階mmr模型(mmr-1)，但是，現(xiàn)在被增強了，以包括在一個或更多個顏色成分中的空間擴展。例如，當(dāng)應(yīng)用于第一顏色成分中的每個像素的四個鄰近像素時，

其中，是3×3矩陣并且n是1×3向量，兩者與等式(5)中定義的一樣，

并且

其中，等式(39)中的m表示具有m列和n行的輸入幀中的列數(shù)，或者m×n＝p總像素。等式(39)能夠容易地擴展成將這些方法應(yīng)用于其他顏色成分和應(yīng)用于替代的鄰近像素構(gòu)造。

根據(jù)與之前相同的方法，等式(38)能夠容易地用公式表示為線性等式的系統(tǒng)

其可以如之前描述的一樣進行求解。

具有多于三個原色的vdr信號的應(yīng)用

所有所提出的mmr預(yù)測模型能夠容易地擴展至具有多于三個原色的信號空間。作為示例，可以考慮這樣的情況，其中sdr信號具有三個原色，比方說rgb，但是，vdr信號以具有六個原色的p6色空間來定義。在這種情況下，等式(1-3)能夠改寫為

si＝[si1si2si3]，(41)

vi＝[vi1vi2vi3vi4vi5vi6]，(42)

以及

如之前一樣，在一個顏色成分中的像素的數(shù)量表示為p?，F(xiàn)在考慮等式(4)的一階mmr預(yù)測模型(mmr-1)，

現(xiàn)在是3×6矩陣并且n是1×6向量，通過下式給出

以及n＝[n11n12n13n14n15n16]。(46)

等式(41)能夠使用單個預(yù)測矩陣m⁽¹⁾表示為：

其中，

以及s′i＝[1si1si2si3]。(48)

通過將所有p個像素集合在一起，這個預(yù)測問題能夠描述為

其中，

是p×6矩陣，是p×4矩陣，并且m⁽¹⁾是4×6矩陣。

更高階的mmr預(yù)測模型還能夠以類似的方式擴展并且經(jīng)由之前描述的方法能夠獲得預(yù)測矩陣的解。

多通道、多元回歸預(yù)測的示例處理

圖4示出了根據(jù)本發(fā)明的示例實現(xiàn)方式的多通道多元回歸預(yù)測的示例處理。

該處理開始于步驟410，其中，預(yù)測算子(諸如預(yù)測算子250)接收輸入的vdr和sdr信號。給定兩個輸入的情形下，在步驟420中預(yù)測算子決定選擇哪個mmr模型。所前面所描述的，預(yù)測算子能夠在多種mmr模型當(dāng)中進行選擇，這些模型包括(但不限于)：一階模型(mmr-1)、二階模型(mmr-2)、三階或更高階模型、具有交叉相乘的一階模型(mmr-1c)、具有交叉相乘的二階模型(mmr-2c)、具有交叉相乘的三階模型(mmr-3c)、具有交叉相乘的三階或更高階模型、或者添加有空間擴展的上述模型中的任何一種。

能夠使用考慮到多個準(zhǔn)則的多種方法來進行mmr模型的選擇，所述準(zhǔn)則包括：關(guān)于sdr和vdr輸入的現(xiàn)有知識、可獲得的計算和存儲器資源以及目標(biāo)編碼效率。圖5示出了基于殘余要比預(yù)定閾值低的要求的步驟420的示例實現(xiàn)方式。

如之前所描述的，如下形式的一組線性等式能夠表示任意mmr模型

其中，m是預(yù)測矩陣。

在步驟430，能夠使用多種數(shù)值方法來求解m。例如，在使v與其估計之間的殘余的均方值最小的約束下，

m＝(s^ts)^-1s^tv。(51)

最后，在步驟440，使用等式(50)，預(yù)測算子輸出和m。

圖5示出了在預(yù)測期間用于選擇mmr模型的示例處理420。在步驟510中預(yù)測算子250可以開始于初始mmr模型，諸如，已在之前的幀或場景中使用的mmr模型，例如，二階模型(mmr-2)，或最簡單的可能模型，諸如mmr-1。針對m進行求解之后，在步驟520中，預(yù)測算子計算輸入v與其預(yù)測的值之間的預(yù)測誤差。在步驟530中，如果預(yù)測誤差低于給定的閾值，則預(yù)測算子選擇現(xiàn)有的模型并且停止選擇處理(540)，否則，在步驟550，檢查是否使用更復(fù)雜的模型。例如，如果當(dāng)前模型是mmr-2，則預(yù)測算子可決定使用mmr-2-c或mmr-2-c-s。如前面所描述的，此決定可取決于多種準(zhǔn)則，包括預(yù)測誤差的值、處理功率要求以及目標(biāo)編碼效率。如果使用更復(fù)雜的模型切實可行，則在步驟560中選擇新模型并且處理返回步驟520。否則，預(yù)測算子將使用現(xiàn)有的模型(540)。

可根據(jù)需要以多種間隔來重復(fù)預(yù)測處理400，以在利用可用的計算資源的同時保持編碼效率。例如，當(dāng)對視頻信號進行編碼時，針對每一幀、一組幀或者每當(dāng)預(yù)測殘余超過特定閾值時，可基于每個預(yù)定義的視頻片段大小來重復(fù)處理400。

預(yù)測處理400還能夠使用所有可用的輸入像素或者這些像素的子采樣。在一個示例實現(xiàn)方式中，可以使用來自輸入數(shù)據(jù)的每第k個像素行和每第k個像素列的像素，其中k是等于或大于2的整數(shù)。在另一示例實現(xiàn)方式中，可以決定跳過處于特定裁剪閾值(例如，非常接近于0)以下的輸入像素或者處于特定飽和閾值(例如，對于n比特數(shù)據(jù)，非常接近于2ⁿ-1的像素值)以上的像素。在另一實現(xiàn)方式中，可使用這種子采樣和閾值化技術(shù)的結(jié)合，以減小像素采樣大小并且適應(yīng)特定實現(xiàn)方式的計算約束。

圖像解碼

可在圖像編碼器或在圖像解碼器上實現(xiàn)本發(fā)明的實施例。圖6示出了根據(jù)本發(fā)明的實施例的解碼器150的示例實現(xiàn)方式。解碼系統(tǒng)600接收經(jīng)編碼的比特流，該經(jīng)編碼的比特流可兼有基層690、可選的增強層(或殘余)665以及元數(shù)據(jù)645，它們在解壓縮630和多種逆變換640之后被提取。例如，在vdr-sdr系統(tǒng)中，基層690可表示經(jīng)編碼的信號的sdr表示，并且元數(shù)據(jù)645可包括與在編碼器預(yù)測算子250中使用的mmr預(yù)測模型和對應(yīng)的預(yù)測參數(shù)有關(guān)的信息。在一種示例實現(xiàn)方式中，當(dāng)編碼器使用根據(jù)本發(fā)明的方法的mmr預(yù)測算子時，元數(shù)據(jù)可包括所使用的模型的識別(例如，mmr-1、mmr-2、mmr-2c等)以及與具體模型相關(guān)聯(lián)的所有矩陣系數(shù)。給定基層690和從元數(shù)據(jù)645提取的顏色mmr相關(guān)的參數(shù)，則預(yù)測算子650能夠利用本文所描述的對應(yīng)等式中的任意等式來計算預(yù)測的680。例如，如果所識別的模型是mmr-2c，則能夠利用等式(32)計算680。如果不存在殘余，或者殘余可忽略，則預(yù)測的值680能夠作為最后的vdr圖像直接輸出。否則，在加法器660中，預(yù)測算子(680)的輸出添加至殘余665，以輸出vdr信號670。

示例計算機系統(tǒng)實現(xiàn)方式

可通過計算機系統(tǒng)、以電子電路和組件配置的系統(tǒng)、集成電路(ic，integratedcircuit)器件(諸如微控制器、現(xiàn)場可編程門陣列(fpga，fieldprogrammablegatearray)或另一可配置或可編程邏輯器件(pld，programmablelogicdevice))、離散時間或數(shù)字信號處理器(dsp，digitalsignalprocessor)、專用ic(asic，applicationspecificic)和/或包括一個或多個這樣的系統(tǒng)、器件或組件的裝置來實現(xiàn)本發(fā)明的實施例。計算機和/或ic可執(zhí)行、控制或運行與基于mmr的預(yù)測(諸如，如本文中所描述的那些)有關(guān)的指令。計算機和/或ic可計算與如本文所描述的mmr預(yù)測有關(guān)的多種參數(shù)或值中的任一個?？梢砸杂布?、軟件、固件以及它們的多種組合來實現(xiàn)圖像和視頻動態(tài)范圍擴展實施例。

本發(fā)明的特定實現(xiàn)方式包括計算機處理器，其運行軟件指令，該軟件指令使處理器執(zhí)行本發(fā)明的方法。例如，顯示器、編碼器、機頂盒、代碼轉(zhuǎn)換器等中的一個或多個處理器可通過運行處理器可訪問的程序存儲器中的軟件指令來實現(xiàn)如上所述的基于mmr的預(yù)測方法。本發(fā)明還以程序產(chǎn)品的形式提供。程序產(chǎn)品可包括任意介質(zhì)，所述任意介質(zhì)承載包括指令的一套計算機可讀信號，所述指令在通過數(shù)據(jù)處理器執(zhí)行時使數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法。根據(jù)本發(fā)明的程序產(chǎn)品可以是多種多樣的形式中的任意一種形式。程序產(chǎn)品可包括例如物理介質(zhì)，諸如包括軟盤、硬盤驅(qū)動器的磁性數(shù)據(jù)存儲介質(zhì)，包括cdrom、dvd的光數(shù)據(jù)存儲介質(zhì)，包括rom、閃存ram的電子數(shù)據(jù)存儲介質(zhì)，等。程序產(chǎn)品上的計算機可讀信號可選地可以進行壓縮或加密。

上面所指的組件(例如，軟件模塊、處理器、配件、器件、電路等)，除非另有指示，否則對該組件的引用(包括對“裝置”的引用)應(yīng)被解釋為包括作為那個組件的等同物的、執(zhí)行所描述的組件的功能(例如，功能上等同)的任意組件，包括結(jié)構(gòu)上不等同于執(zhí)行本發(fā)明的所例舉示例實施例中的功能的被公開結(jié)構(gòu)的組件。

等同、擴展、替代以及多樣化

因此描述了涉及在對vdr和sdr圖像進行編碼的過程中應(yīng)用mmr預(yù)測的示例實施例。在前述的說明中，已參考會因?qū)崿F(xiàn)方式不同而變化的很多具體細節(jié)來描述了本發(fā)明的實施例。因此，本發(fā)明的技術(shù)方案以及申請人認為發(fā)明所涉及的技術(shù)方案的唯一指示是一套權(quán)利要求，所述一套權(quán)利要求源于本申請、按照公布這樣的權(quán)利要求所遵循的特定形式、包括后續(xù)的修正。本文針對在這樣的權(quán)利要求中所包含的術(shù)語所給出的任何明確定義應(yīng)涵蓋如權(quán)利要求中所使用的這種術(shù)語的含義。因此，權(quán)利要求中沒有明確陳述的限制、元件、屬性、特征、優(yōu)點或標(biāo)志不應(yīng)以任何方式限制這種權(quán)利要求的范圍。因此說明書和附圖被看作是說明性的而沒有限制的意思。

第一組附記：

1.一種方法，包括：

接收第一圖像和第二圖像，其中，所述第二圖像具有與所述第一圖像不同的動態(tài)范圍；

從mmr模型的族中選擇多通道、多元回歸(mmr)預(yù)測模型；

求解所選擇的mmr模型的預(yù)測參數(shù)；

利用所述第二圖像和所述mmr模型的預(yù)測參數(shù)來計算表示所述第一圖像的預(yù)測值的輸出圖像；

輸出所述mmr模型的預(yù)測參數(shù)和所述輸出圖像。

2.根據(jù)附記1所述的方法，其中，所述第一圖像包括vdr圖像并且所述第二圖像包括sdr圖像。

3.根據(jù)附記1所述的方法，其中，所述mmr模型是一階mmr模型、二階mmr模型、三階mmr模型、具有交叉相乘的一階mmr模型、具有交叉相乘的二階mmr模型或者具有交叉相乘的三階mmr模型中的至少一個。

4.根據(jù)附記3所述的方法，其中，所述mmr模型中的任意一個進一步包括涉及相鄰像素的預(yù)測參數(shù)。

5.根據(jù)附記4所述的方法，其中，所考慮的相鄰像素包括左邊相鄰像素、右邊相鄰像素、上邊相鄰像素以及下邊相鄰像素。

6.根據(jù)附記2所述的方法，其中，在所述vdr圖像中的像素具有比所述sdr圖像中的像素更多的顏色成分。

7.根據(jù)附記1所述的方法，其中，求解所選擇的mmr模型的預(yù)測參數(shù)進一步包括應(yīng)用使所述第一圖像與所述輸出圖像之間的均方誤差最小化的數(shù)值方法。

8.根據(jù)附記1所述的方法，其中，從mmr模型的族中選擇mmr預(yù)測模型進一步包括迭代選擇處理，包括：

(a)選擇并應(yīng)用初始mmr模型；

(b)計算所述第一圖像與所述輸出圖像之間的殘余誤差；

(c)如果所述殘余誤差小于閾值并且無其他mmr模型可用則選擇現(xiàn)有mmr模型；否則，選擇與先前的模型不同的新mmr模型；并且返回步驟(b)。

9.一種圖像解碼方法，包括：

接收具有第一動態(tài)范圍的第一圖像；

接收元數(shù)據(jù)，其中，所述元數(shù)據(jù)定義mmr預(yù)測模型和所述mmr預(yù)測模型的對應(yīng)的預(yù)測參數(shù)；

將所述第一圖像和所述預(yù)測參數(shù)應(yīng)用到所述mmr預(yù)測模型，以計算表示第二圖像的預(yù)測值的輸出圖像，其中，所述第二圖像具有與所述第一圖像的動態(tài)范圍不同的動態(tài)范圍。

10.根據(jù)附記9所述的方法，其中，所述mmr模型是一階mmr模型、二階mmr模型、三階mmr模型、具有交叉相乘的一階mmr模型、具有交叉相乘的二階mmr模型或者具有交叉相乘的三階mmr模型中的至少一個。

11.根據(jù)附記10所述的方法，其中，所述mmr模型中的任意一個進一步包括涉及相鄰像素的預(yù)測參數(shù)。

12.根據(jù)附記9所述的方法，其中，所述第一圖像包括sdr圖像，并且所述第二圖像包括vdr圖像。

13.一種裝置，包括處理器并且配置成執(zhí)行附記1-12中所述的方法中的任意一種方法。

14.一種計算機可讀存儲介質(zhì)，存儲有用于執(zhí)行根據(jù)附記1-12中的任意一項所述的方法的計算機可執(zhí)行指令。

第二組附記：

1.一種方法，包括：

提供多種多通道、多元回歸(mmr)預(yù)測模型，每個mmr預(yù)測模型適于根據(jù)下列項來近似具有第一動態(tài)范圍的圖像，

具有第二動態(tài)范圍的圖像，以及

通過應(yīng)用顏色間圖像預(yù)測而獲得的所述各個mmr預(yù)測模型的預(yù)測參數(shù)；

接收第一圖像和第二圖像，其中，所述第二圖像具有與所述第一圖像不同的動態(tài)范圍；

從所述多種mmr模型中選擇多通道、多元回歸(mmr)預(yù)測模型；

確定所選擇的mmr模型的預(yù)測參數(shù)的值；

基于所述第二圖像和應(yīng)用于所選擇的mmr預(yù)測模型的預(yù)測參數(shù)的所確定值來計算對所述第一圖像進行近似的輸出圖像；

輸出所述預(yù)測參數(shù)的所確定的值和所計算的輸出圖像，其中，所述多種mmr模型包括根據(jù)如下公式的結(jié)合每個像素的顏色成分之間的交叉相乘的一階多通道、多元回歸預(yù)測模型，

其中，表示所述第一圖像的第i像素的所預(yù)測的三個顏色成分，

si＝[si1si2si3]表示所述第二圖像的第i像素的三個顏色成分，

根據(jù)下式，是3×3矩陣并且n是1×3向量

和n＝[n11n12n13]，

sci＝[si1·si2si1·si3si2·si3si1·si2·si3]，并且

其中，通過使所述第一圖像與所述輸出圖像之間的均方誤差最小化來在數(shù)值上獲得所述一階多通道、多元回歸預(yù)測模型的預(yù)測參數(shù)。

2.根據(jù)附記1所述的方法，其中，所述第一圖像包括vdr圖像并且所述第二圖像包括sdr圖像。

3.根據(jù)附記1所述的方法，其中，所選擇的mmr預(yù)測模型是一階mmr模型、二階mmr模型、三階mmr模型、具有交叉相乘的一階mmr模型、具有交叉相乘的二階mmr模型或者具有交叉相乘的三階mmr模型中的至少一個。

4.根據(jù)附記3所述的方法，其中，所述mmr模型中的任意一個進一步包括涉及相鄰像素的預(yù)測參數(shù)。

5.根據(jù)附記4所述的方法，其中，所述相鄰像素包括左邊相鄰像素、右邊相鄰像素、上邊相鄰像素以及下邊相鄰像素。

6.根據(jù)附記2所述的方法，其中，在所述vdr圖像中的像素具有比所述sdr圖像中的像素更多的顏色成分。

7.根據(jù)附記1所述的方法，其中，從所述多種mmr預(yù)測模型中選擇mmr預(yù)測模型進一步包括迭代選擇處理，包括：

(a)選擇并應(yīng)用初始mmr預(yù)測模型；

(b)計算所述第一圖像與所述輸出圖像之間的殘余誤差；

(c)如果所述殘余誤差小于誤差閾值并且無其他mmr預(yù)測模型能夠選擇，則選擇所述初始mmr模型；否則，從所述多種mmr預(yù)測模型中選擇新mmr預(yù)測模型，所述新mmr預(yù)測模型不同于之前選擇的mmr預(yù)測模型；并且返回步驟(b)。

8.一種圖像解碼方法，包括：

接收具有第一動態(tài)范圍的第一圖像；

接收元數(shù)據(jù)，其中，所述元數(shù)據(jù)包括

多元回歸(mmr)預(yù)測模型，所述多元回歸預(yù)測模型適于根據(jù)下列項來近似具有第二動態(tài)范圍的第二圖像，

所述第一圖像，以及

通過應(yīng)用顏色間圖像預(yù)測而獲得的所述mmr預(yù)測模型的預(yù)測參數(shù)，所述元數(shù)據(jù)進一步包括所述預(yù)測參數(shù)的先前確定值，以及

將所述第一圖像和所述預(yù)測參數(shù)的先前確定值應(yīng)用于所述mmr預(yù)測模型，以計算用于近似所述第二圖像的輸出圖像，其中，所述第二動態(tài)范圍不同于所述第一動態(tài)范圍，其中，所述mmr預(yù)測模型是根據(jù)如下公式的結(jié)合每個像素的顏色成分之間的交叉相乘的一階多通道、多元回歸預(yù)測模型，

其中，表示所述第一圖像的第i像素的所預(yù)測的三個顏色成分，

si＝[si1si2si3]表示所述第二圖像的第i像素的三個顏色成分，

根據(jù)下式，是3×3矩陣并且n是1×3向量

和n＝[n11n12n13]，

sci＝[si1·si2si1·si3si2·si3si1·si2·si3]，并且

9.根據(jù)附記8所述的方法，其中，將所述一階mmr預(yù)測模型擴展成具有像素交叉相乘的二階mmr預(yù)測模型或三階mmr預(yù)測模型。

10.根據(jù)附記8或9所述的方法，其中，所述mmr預(yù)測模型進一步包括涉及相鄰像素的預(yù)測參數(shù)。

11.根據(jù)附記8所述的方法，其中，所述第一圖像包括sdr圖像和所述第二圖像包括vdr圖像。

12.一種裝置，包括處理器并且配置成執(zhí)行附記1-11中所述的方法中的任意一種方法。

13.一種計算機可讀存儲介質(zhì)，存儲有用于執(zhí)行根據(jù)附記1-11中的任意一項所述的方法的計算機可執(zhí)行指令。

14.一種方法，包括：

提供多種多通道、多元回歸(mmr)預(yù)測模型，每個mmr預(yù)測模型適于根據(jù)下列項來近似具有第一動態(tài)范圍的圖像，

具有第二動態(tài)范圍的圖像，以及

通過應(yīng)用顏色間圖像預(yù)測而獲得的所述各個mmr預(yù)測模型的預(yù)測參數(shù)；

接收第一圖像和第二圖像，其中，所述第二圖像具有與所述第一圖像不同的動態(tài)范圍；

從所述多種mmr模型中選擇多通道、多元回歸(mmr)預(yù)測模型；

確定所選擇的mmr模型的預(yù)測參數(shù)的值；

基于所述第二圖像和應(yīng)用于所選擇的mmr預(yù)測模型的預(yù)測參數(shù)的所確定值來計算對所述第一圖像進行近似的輸出圖像；

輸出所述預(yù)測參數(shù)的所確定值和所計算的輸出圖像，其中，所述多種mmr模型包括根據(jù)如下公式的二階多通道、多元回歸預(yù)測，

其中，表示所述第一圖像的第i像素的所預(yù)測的三個顏色成分，

si＝[si1si2si3]表示所述第二圖像的第i像素的三個顏色成分，

根據(jù)下式，和是3×3矩陣并且n是1×3向量，

n＝[n11n12n13]，

以及

其中，通過使所述第一圖像與所述輸出圖像之間的均方誤差最小化來在數(shù)值上獲得所述二階多通道、多元回歸預(yù)測模型的預(yù)測參數(shù)。

15.根據(jù)附記14所述的方法，其中，所述mmr模型中的任意一個包括涉及相鄰像素的預(yù)測參數(shù)。

16.根據(jù)附記15所述的方法，其中，所述相鄰像素包括左邊相鄰像素、右邊相鄰像素、上邊相鄰像素以及下邊相鄰像素。

17.根據(jù)附記14所述的方法，其中，從所述多種mmr預(yù)測模型中選擇mmr預(yù)測模型進一步包括迭代選擇處理，包括：

(a)選擇并應(yīng)用初始mmr預(yù)測模型；

(b)計算所述第一圖像與所述輸出圖像之間的殘余誤差；

(c)如果所述殘余誤差小于誤差閾值并且無其他mmr模型能夠選擇則選擇初始mmr模型；否則，從所述多種mmr預(yù)測模型中選擇新mmr預(yù)測模型，所述新mmr預(yù)測模型不同于先前選擇的mmr預(yù)測模型；并且返回步驟(b)。

18.一種圖像解碼方法，包括：

接收具有第一動態(tài)范圍的第一圖像；

接收元數(shù)據(jù)，其中，所述元數(shù)據(jù)包括

多元回歸(mmr)預(yù)測模型，所述多元回歸預(yù)測模型適于根據(jù)下列項來近似具有第二動態(tài)范圍的第二圖像，

所述第一圖像，以及

通過應(yīng)用顏色間圖像預(yù)測而獲得的所述mmr預(yù)測模型的預(yù)測參數(shù)，所述元數(shù)據(jù)進一步包括所述預(yù)測參數(shù)的先前確定值；以及

將所述第一圖像和所述預(yù)測參數(shù)的先前確定值應(yīng)用于所述mmr預(yù)測模型，以計算用于近似所述第二圖像的輸出圖像，其中，所述第二動態(tài)范圍不同于所述第一動態(tài)范圍，其中，所述mmr預(yù)測模型是根據(jù)如下公式的二階多通道、多元回歸預(yù)測，

其中，表示所述第一圖像的第i像素的所預(yù)測的三個顏色成分，

si＝[si1si2si3]表示所述第二圖像的第i像素的三個顏色成分，

根據(jù)下式，和是3×3矩陣并且n是1×3向量，

n＝[n11n12n13]，

以及

其中，通過使所述第一圖像與所述輸出圖像之間的均方誤差最小化來在數(shù)值上獲得所述二階多通道、多元回歸預(yù)測模型的預(yù)測參數(shù)。

19.根據(jù)附記18所述的方法，其中，將所述二階mmr預(yù)測模型擴展成具有像素交叉相乘的二階mmr預(yù)測模型或三階mmr預(yù)測模型。

20.根據(jù)附記18或19所述的方法，其中，所述mmr預(yù)測模型進一步包括涉及相鄰像素的預(yù)測參數(shù)。

21.一種裝置，包括處理器并且配置成執(zhí)行附記14-17中所述的方法中的任意一種方法。

22.一種計算機可讀存儲介質(zhì)，存儲有用于執(zhí)行根據(jù)附記14-17中的任意一項所述的方法的計算機可執(zhí)行指令。