本公開涉及顏色映射領(lǐng)域。具體地,涉及一種用于估計(jì)圖像序列的第一顏色分級(jí)版本與所述圖像序列的第二顏色分級(jí)版本之間的顏色映射的方法。
背景技術(shù):
鑒于上述情況,本公開的各個(gè)方面涉及創(chuàng)建和維護(hù)計(jì)算機(jī)系統(tǒng)上的數(shù)據(jù)對(duì)象之間的語(yǔ)義關(guān)系。以下呈現(xiàn)本公開的簡(jiǎn)單概述以便提供對(duì)本公開的一些方面的基本理解。這種概述不是本公開的寬泛總覽。其不意圖標(biāo)明本公開的關(guān)鍵或重要元素。以下概述只是以簡(jiǎn)化形式呈現(xiàn)本公開的一些方面,作為稍后提供的更詳細(xì)描述的前言。
在下文中,圖像包含特定圖像/視頻格式中的一個(gè)或多個(gè)樣本陣列(像素值),所述特定圖像/視頻格式指定關(guān)于圖像(或視頻)的像素值的所有信息以及可以被顯示器和/或任何其它設(shè)備用于可視化和/或解碼圖像(或視頻)的所有信息。圖像包括具有第一樣本陣列的形狀的至少一個(gè)分量,通常是亮度(luma)分量,以及可能的具有至少一個(gè)其他樣本陣列的形狀的至少一種其它分量,通常是顏色分量。或者,等同地,同樣的信息也可以由顏色樣本陣列的集合來表示,例如傳統(tǒng)的三色rgb表示。
色域是某種完整的顏色集合。最常見的用途是指顏色集合,顏色集合可以在給定情況下,例如在給定的顏色空間內(nèi)或由某個(gè)輸出設(shè)備來精確表示。
顏色量由顏色空間和在所述顏色空間中表示的值的動(dòng)態(tài)范圍來定義。
例如,顏色量由rgbitu-r建議書bt.2020顏色空間來定義,并且在所述rgb顏色空間中表示的值屬于從0至4000尼特(坎德拉/平方米)的動(dòng)態(tài)范圍。顏色量的另一示例由rgbbt.2020顏色空間來定義,并且在所述rgb顏色空間中表示的值屬于從0至1000尼特的動(dòng)態(tài)范圍。
對(duì)圖像(或視頻)進(jìn)行顏色分級(jí)是改變/增強(qiáng)圖像(或視頻)的顏色的處理。通常,對(duì)圖像進(jìn)行顏色分級(jí)涉及改變顏色量(顏色空間和/或動(dòng)態(tài)范圍)或改變關(guān)于該圖像的色域。因此,相同圖像的兩種不同顏色分級(jí)版本是該圖像的用不同的顏色量(或色域)來表示其值的版本,或者該圖像的至少一種顏色已根據(jù)不同顏色分級(jí)而改變或增強(qiáng)的版本。這可能涉及用戶交互。
例如,在電影制作中,使用三色相機(jī)將圖像和視頻拍攝為由3個(gè)分量(紅綠藍(lán))組成的rgb顏色值。rgb顏色值取決于傳感器的三色特性(原色)。然后獲得拍攝圖像的第一個(gè)顏色分級(jí)版本,以獲得劇院渲染(使用特定的劇院分級(jí))。典型地,根據(jù)標(biāo)準(zhǔn)化yuv格式(例如,定義超高清晰度電視系統(tǒng)(uhdtv)的參數(shù)值的bt.2020)來表示拍攝圖像的第一顏色分級(jí)版本的值。
然后,色彩指導(dǎo)師(通常與攝影總監(jiān)一起)通過微調(diào)/調(diào)整(tweaking)某些顏色值來對(duì)拍攝圖像的第一顏色分級(jí)版本的顏色值進(jìn)行控制,以便灌輸藝術(shù)意圖。
還獲得了拍攝圖像的第二個(gè)顏色分級(jí)版本,以獲得家庭版渲染(使用特定的家庭、藍(lán)光光盤/dvd分級(jí))。典型地,根據(jù)標(biāo)準(zhǔn)化yuv格式,例如,定義了用于標(biāo)準(zhǔn)4∶3和寬屏幕16∶9寬高比的標(biāo)準(zhǔn)數(shù)字電視的錄音室編碼參數(shù)的itu-r建議書bt.601(rec.601)或定義了高清電視系統(tǒng)(hdtv)的參數(shù)值的itu-r建議書bt.709,來表示拍攝圖像的第二顏色分級(jí)版本的值。
獲得拍攝圖像的該第二顏色分級(jí)版本通常包括:拉伸拍攝圖像的第一顏色分級(jí)版本的顏色量(例如,由色彩指導(dǎo)師修改的rgbbt.20201000尼特),使得拍攝圖像的第二顏色分級(jí)版本屬于第二顏色量(例如,rgbbt.7091000尼特)。這是一個(gè)自動(dòng)化步驟,其使用通常由三維查找表(也稱為3dlut)來近似的默認(rèn)顏色映射函數(shù)(例如,rgbbt.2020格式到rgbbt.709的映射)。注意,所考慮的全部yuv格式的特征在于原色參數(shù),原色參數(shù)允許定義任何rgb到y(tǒng)uv以及yuv到rgb的顏色映射。
然后,色彩指導(dǎo)師(通常與攝影總監(jiān)一起)通過微調(diào)/調(diào)整(tweaking)某些顏色值來對(duì)拍攝圖像的第二顏色分級(jí)版本的顏色值進(jìn)行控制,以便在家庭版中灌輸藝術(shù)意圖。
已知明確地用信號(hào)將默認(rèn)顏色映射(例如yuv到rgb顏色映射)發(fā)送到顯示器,使得顯示器能夠應(yīng)用適當(dāng)?shù)哪J(rèn)顏色映射。此外,當(dāng)顏色映射使用根據(jù)圖像的第一顏色分級(jí)版本和第二顏色分級(jí)版本計(jì)算出的參數(shù)時(shí),已知這些參數(shù)也被用信號(hào)發(fā)送到顯示器,使得顯示器能夠使用適當(dāng)?shù)膮?shù)來應(yīng)用適當(dāng)?shù)哪J(rèn)顏色映射。
使用默認(rèn)顏色映射無法保留藝術(shù)家意圖,因?yàn)楫?dāng)對(duì)圖像的第一顏色分級(jí)版本應(yīng)用默認(rèn)顏色映射時(shí),可能無法保留圖像的第二個(gè)顏色分級(jí)版本中由色彩指導(dǎo)師指定的某些顏色。
例如,在色彩指導(dǎo)師針對(duì)給定分級(jí)進(jìn)行指定的情況下,應(yīng)保留諸如肉色或膚色、藍(lán)天或綠草色調(diào)等的記憶顏色。
估計(jì)同一圖像的兩個(gè)顏色分級(jí)版本之間的顏色映射意味著估計(jì)最佳地將圖像的第一顏色分級(jí)版本的顏色值映射到所述圖像的第二顏色分級(jí)版本的顏色值的顏色映射函數(shù)。
按照這個(gè)推理,由于圖像序列是一組時(shí)間連續(xù)的圖像,估計(jì)同一圖像序列的兩個(gè)顏色分級(jí)版本之間的顏色映射意味著針對(duì)圖像序列的每個(gè)圖像來估計(jì)顏色映射函數(shù),即,最佳地將圖像序列的第一顏色分級(jí)版本中在時(shí)間上位于確定時(shí)刻的圖像的顏色值映射到圖像序列的第二顏色分級(jí)版本中在時(shí)間上位于相同時(shí)刻的圖像的顏色值的顏色映射函數(shù)。
然而,這種方法是耗時(shí)的,需要很長(zhǎng)的計(jì)算時(shí)間。此外,噪聲或不代表圖像序列的顏色可能出現(xiàn)在圖像序列中,具有非常相似的圖像特征(例如,顏色分布、對(duì)象存在等)。這可能涉及隨時(shí)間變化的顏色映射決策的時(shí)間變化,其可能導(dǎo)致視覺閃爍(連續(xù)圖像的外觀的時(shí)間不穩(wěn)定性)。
因此,需要一種用于估計(jì)圖像序列的兩個(gè)不同顏色分級(jí)版本之間的顏色映射的方法,其減少這種計(jì)算成本和這種閃爍效應(yīng)。
根據(jù)以下結(jié)合附圖的對(duì)實(shí)施例的描述,本公開的具體性質(zhì)以及本公開的其它目的、優(yōu)點(diǎn)、特征和用途將變得顯而易見。
技術(shù)實(shí)現(xiàn)要素:
鑒于上述情況,本公開的各個(gè)方面涉及創(chuàng)建和維護(hù)計(jì)算機(jī)系統(tǒng)上的數(shù)據(jù)對(duì)象之間的語(yǔ)義關(guān)系。以下呈現(xiàn)本公開的簡(jiǎn)單概述以便提供對(duì)本公開的一些方面的基本理解。該發(fā)明內(nèi)容不是本公開的寬泛總覽。其不意圖標(biāo)明本公開的關(guān)鍵或重要元素。以下概述只是以簡(jiǎn)化形式呈現(xiàn)本公開的一些方面,作為稍后提供的更詳細(xì)描述的前言。
本公開對(duì)現(xiàn)有技術(shù)的一些缺陷進(jìn)行了彌補(bǔ),提出了一種用于處理圖像序列的方法,包括:估計(jì)所述圖像序列的以第一顏色量表示其值的第一顏色分級(jí)版本與所述圖像序列的以第二顏色量表示其值的第二顏色分級(jí)版本之間的顏色映射。所述方法的特征在于包括:
-通過組合所述圖像序列的第一顏色分級(jí)版本的至少兩個(gè)圖像來獲得第一復(fù)合圖像,使得所述第一復(fù)合圖像的內(nèi)容包括所述至少兩個(gè)圖像中的每個(gè)圖像的內(nèi)容的至少一部分,并且通過組合所述圖像序列的第二顏色分級(jí)版本的至少兩個(gè)圖像來獲得第二復(fù)合圖像,使得所述第二復(fù)合圖像的內(nèi)容包括所述至少兩個(gè)圖像中的每個(gè)圖像的內(nèi)容的至少一部分;以及
-通過估計(jì)將所述第一復(fù)合圖像的顏色值映射到所述第二復(fù)合圖像的顏色值的顏色映射函數(shù)來估計(jì)所述圖像序列的第一顏色分級(jí)版本和第二顏色分級(jí)版本之間的顏色映射。
所述方法允許獲得圖像序列的單個(gè)顏色映射,從而減少了針對(duì)所述圖像序列的每個(gè)圖像來估計(jì)顏色映射所需的計(jì)算時(shí)間,并且減少了視覺閃爍。
此外,由于所確定的時(shí)刻的數(shù)量控制用于獲得復(fù)合圖像的圖像的數(shù)量,所以復(fù)合圖像的尺寸可能不會(huì)太大。
根據(jù)實(shí)施例,確定時(shí)刻ti,以便圖像p1,ti和p2,ti屬于同一場(chǎng)景鏡頭。
根據(jù)一個(gè)實(shí)施例,所述時(shí)刻中的一些時(shí)刻是相同的。
根據(jù)實(shí)施例,第二顏色分級(jí)圖像在被組合之前被剪輯。
根據(jù)實(shí)施例,所述方法還包括:在獲得所述第一復(fù)合圖像和第二復(fù)合圖像之前,對(duì)所述圖像序列的第一顏色分級(jí)版本和第二顏色分級(jí)版本中位于所確定的時(shí)刻處的圖像進(jìn)行下采樣。
根據(jù)實(shí)施例,迭代地獲得所述顏色映射函數(shù)的估計(jì),直到達(dá)到標(biāo)準(zhǔn)為止。
根據(jù)實(shí)施例,所述顏色映射函數(shù)包括兩個(gè)顏色變換,其中在第k次迭代中通過以下方式獲得所述顏色映射函數(shù)的估計(jì):
a)通過將在第k-1次迭代估計(jì)的第一顏色變換應(yīng)用于第一顏色值集合來獲得第三顏色值集合;
b)通過將第二顏色值集合映射到第三顏色值集合來估計(jì)第三顏色變換;
c)通過將所述第三顏色變換應(yīng)用于第二顏色值集合來獲得第四顏色值集合;
d)通過將第一顏色值集合映射到所述第四顏色值集合來估計(jì)第一顏色變換;所述第一顏色變換用于更新第一顏色變換;
e)通過將所述第一顏色變換應(yīng)用于第一顏色值集合來獲得第五顏色值集合;以及
f)通過將第五顏色值集合映射到第二顏色值集合來估計(jì)第二顏色變換。
根據(jù)實(shí)施例,顏色映射函數(shù)通過三維查找表來近似。
根據(jù)實(shí)施例,所述顏色映射函數(shù)包括至少一個(gè)顏色變換,所述至少一個(gè)顏色變換通過一維分段線性函數(shù)來近似。
根據(jù)實(shí)施例,所述顏色映射函數(shù)包括至少一個(gè)顏色變換,所述至少一個(gè)顏色變換通過一維查找表來近似。
根據(jù)實(shí)施例,所述顏色映射函數(shù)包括至少一個(gè)顏色變換,所述至少一個(gè)顏色變換通過線性矩陣來近似。
根據(jù)本公開的其它方面,本公開涉及包括被配置用于實(shí)現(xiàn)上述方法的處理器的設(shè)備、包括程序代碼指令的計(jì)算機(jī)程序產(chǎn)品,當(dāng)在計(jì)算機(jī)上執(zhí)行該程序時(shí),所述程序代碼指令執(zhí)行上述方法的步驟,還涉及存儲(chǔ)有指令的處理器可讀介質(zhì),所述指令用于使處理器至少執(zhí)行上述方法的步驟,以及涉及攜帶程序代碼指令的非瞬態(tài)存儲(chǔ)介質(zhì),當(dāng)在計(jì)算設(shè)備上執(zhí)行所述程序時(shí),所述程序代碼指令執(zhí)行上述方法的步驟。
附圖說明
在附圖中,本公開的實(shí)施例由以下附圖說明:
圖1示意性地示出了根據(jù)本公開的具體和非限制性實(shí)施例的用于估計(jì)圖像序列的兩個(gè)顏色分級(jí)版本之間的顏色映射的方法的步驟的圖不;
圖2示意性地示出了用于迭代地獲得顏色映射函數(shù)的估計(jì)的步驟20的實(shí)施例;
圖3示意性地示出了顏色映射函數(shù)的示例;
圖4示意性地示出了用于估計(jì)包括兩個(gè)顏色變換的顏色映射函數(shù)的示例;
圖5示意性地示出了用于估計(jì)包括三個(gè)顏色變換的顏色映射函數(shù)的示例;
圖6示意性地示出了對(duì)顏色映射函數(shù)進(jìn)行近似的3dlut的示例;
圖7示意性地示出了包括通過一維分段線性函數(shù)和矩陣來近似的顏色變換的顏色映射函數(shù);
圖8示出了一維分段線性函數(shù)f的示例;
圖9示出了根據(jù)本公開實(shí)施例的設(shè)備的架構(gòu)的示例;
圖10示出了用于獲得復(fù)合圖像的不同組合方法;
圖11示出了用于獲得復(fù)合圖像的封裝方法的示例。
具體實(shí)施方式
下文將參照附圖更完全地對(duì)本公開進(jìn)行描述,圖中示出了本公開的實(shí)施例。然而,本公開可以按多種替代形式來體現(xiàn),并且不應(yīng)當(dāng)被解釋為受到本文闡述的實(shí)施例的限制。因此,盡管本公開可修改成各種變型和替代形式,但以示例方式在附圖中示出并在下文中詳細(xì)描述特定實(shí)施例。然而,應(yīng)當(dāng)理解的是,并不意圖將本公開限制為所公開的特定形式,相反,本公開涵蓋落入由權(quán)利要求定義的本公開的范圍內(nèi)的所有修改、等同物和備選形式。
本文中所使用的術(shù)語(yǔ)僅僅是為了描述具體實(shí)施例的目的,而不是意在限制本公開。如本文中使用的,單數(shù)形式“一”、“一個(gè)”和“所述”意在還包括復(fù)數(shù)形式,除非上下文明確地給出相反的指示。還應(yīng)理解,術(shù)語(yǔ)“包括”、“具有”和/或“包含”在本說明書中使用時(shí)表示存在所陳述的特征、整數(shù)、步驟、操作、元件和/或部件,但并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、部件和/或其組合。另外,當(dāng)提及元件“響應(yīng)”或“連接”到另一元件時(shí),它可以直接響應(yīng)或連接到該另一元件,或者可能存在中間元件。相比之下,當(dāng)提及元件“直接響應(yīng)”或“直接連接”到另一元件時(shí),則不存在中間元件。本文中使用的術(shù)語(yǔ)“和/或”包括相關(guān)列出項(xiàng)目中的一個(gè)或多個(gè)的任意和所有組合,并且可以縮寫為“/”。
應(yīng)當(dāng)理解,雖然術(shù)語(yǔ)“第一”、“第二”等可以在本文中用于描述各種元件,但是這些元件不應(yīng)該受這些術(shù)語(yǔ)的限制。這些術(shù)語(yǔ)僅用來將元素彼此區(qū)分。例如,在不脫離本公開的教導(dǎo)的情況下,第一元件可以稱為第二元件,并且類似地,第二元件可以稱為第一元件。
參考框圖或流程圖描述了一些實(shí)施例,流程圖或框圖中的每個(gè)框表示電路元件、模塊或包括用于實(shí)現(xiàn)指定邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令的一部分代碼。還應(yīng)當(dāng)注意,在其他實(shí)現(xiàn)方式中,框中標(biāo)注的功能可以不按所標(biāo)注的次序進(jìn)行。例如,連續(xù)示出的兩個(gè)框可能事實(shí)上是基本同時(shí)執(zhí)行的,或者框在某些時(shí)候會(huì)以相反的順序來執(zhí)行,這將取決于所涉及到的功能。
本文中對(duì)“一個(gè)實(shí)施例”或“實(shí)施例”的提及意味著結(jié)合實(shí)施例所描述的特定特征、結(jié)構(gòu)或特性可以包括在本公開的至少一個(gè)實(shí)現(xiàn)方式中。在說明書中各處出現(xiàn)的短語(yǔ)“在一個(gè)實(shí)施例中”或“根據(jù)實(shí)施例”不一定都指代相同的實(shí)施例,也不一定指代與其他實(shí)施例互斥的分離的或備選的實(shí)施例。
權(quán)利要求中出現(xiàn)的附圖標(biāo)記僅僅是說明性的,并且對(duì)權(quán)利要求的范圍沒有限制作用。
雖然沒有明確描述,但是本實(shí)施例和變型可以以任意組合或子組合來采用。
估計(jì)圖像序列的第一顏色分級(jí)版本和所述圖像序列的第二顏色分級(jí)版本之間的顏色映射可以是用于處理圖像序列的方法的步驟。
圖1示意性示出了根據(jù)本公開的具體且非限制性實(shí)施例的用于估計(jì)圖像序列的以第一顏色量表示其值的第一顏色分級(jí)版本e1與所述圖像序列的以第二顏色量表示其值的第二顏色分級(jí)版本e2之間的顏色映射cm的方法步驟的示意圖。
在步驟10中,模塊m0通過組合所述圖像序列的第一顏色分級(jí)版本e1中在時(shí)間上位于所確定的時(shí)刻ti處的至少兩個(gè)圖像p1,ti來獲得第一復(fù)合圖像c1,使得所述第一復(fù)合圖像的內(nèi)容包括所述至少兩個(gè)圖像中的每個(gè)圖像的內(nèi)容的至少一部分,并且通過組合所述圖像序列的第二顏色分級(jí)版本e2中在時(shí)間上位于所確定的相同時(shí)刻ti處的相同數(shù)量的圖像p2,ti來獲得第二復(fù)合圖像c2,使得所述第二復(fù)合圖像的內(nèi)容包括所述至少兩個(gè)圖像中的每個(gè)圖像的內(nèi)容的至少一部分。
根據(jù)一個(gè)實(shí)施例,確定時(shí)刻ti,使得圖像p1,ti和p2,ti屬于同一場(chǎng)景鏡頭。為此,例如,將鏡頭轉(zhuǎn)換檢測(cè)器應(yīng)用于圖像序列,以獲得包括至少一個(gè)圖像的至少一個(gè)場(chǎng)景鏡頭,并且從每個(gè)檢測(cè)到的場(chǎng)景鏡頭的圖像獲得第一(和第二)復(fù)合圖像。因此,根據(jù)每個(gè)第一和第二圖像估計(jì)顏色映射函數(shù)。
根據(jù)一個(gè)實(shí)施例,時(shí)刻ti中的一些是相同的。這允許增加圖像ti中的顏色樣本的權(quán)重。
根據(jù)圖10所示的實(shí)施例,通過任何拼接(http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=702214&tag=1)獲得復(fù)合圖像c1(相應(yīng)地c2),即復(fù)合圖像c1(相應(yīng)地c2)是從圖像p1,ti(相應(yīng)地p2,ti)獲得的全景圖像。
根據(jù)實(shí)施例,對(duì)圖像的子區(qū)域進(jìn)行組合。這允許去除例如黑色條紋或標(biāo)志的不期望的區(qū)域,或相反地強(qiáng)調(diào)對(duì)標(biāo)志的顏色的計(jì)算。
因此,所述第一復(fù)合圖像c1(相應(yīng)地c2)的內(nèi)容包括所述至少兩個(gè)圖像p1,ti(相應(yīng)地p2,ti)中的每個(gè)圖像的內(nèi)容的至少一部分。
根據(jù)一個(gè)實(shí)施例,第二顏色分級(jí)圖像在被組合之前被剪輯。這允許具有對(duì)不同動(dòng)態(tài)范圍值的視頻序列進(jìn)行顏色映射。
根據(jù)圖10所示,復(fù)合圖像c1(相應(yīng)地c2)是從圖像序列的第一顏色分級(jí)版本e1(相應(yīng)地第二顏色分級(jí)版本e2)中在時(shí)間上位于時(shí)刻t1和t2處的兩個(gè)圖像p1,t1(相應(yīng)地兩個(gè)圖像p1,t2)獲得的。
根據(jù)圖11所示的另一實(shí)施例,通過將圖像p1,ti(相應(yīng)地p2,ti)封裝在所述單個(gè)圖像c1(相應(yīng)地c2)中而獲得復(fù)合圖像c1(相應(yīng)地c2)。
因此,所述第一復(fù)合圖像c1(相應(yīng)地c2)的內(nèi)容包括所述至少兩個(gè)圖像p1,ti(相應(yīng)地p2,ti)中的每個(gè)圖像的內(nèi)容。
根據(jù)圖1上的步驟10的實(shí)施例,在獲得所述第一復(fù)合圖像c1和第二復(fù)合圖像c2之前,對(duì)所述圖像序列的第一顏色分級(jí)版本e1和第二顏色分級(jí)版本e2中位于所確定的時(shí)刻t1處的圖像p1,ti(相應(yīng)地p2,ti)進(jìn)行下采樣。
這允許降低復(fù)合圖像c1和c2的分辨率(列數(shù)和/或行數(shù)),并從而減少用于估計(jì)顏色映射的計(jì)算時(shí)間。此外,圖像的下采樣減小了圖像的噪聲,并從而提高了顏色映射函數(shù)的質(zhì)量。
在步驟20中,模塊m通過估計(jì)將所述第一復(fù)合圖像c1的顏色值映射到所述第二復(fù)合圖像c2的顏色值的顏色映射函數(shù)cmf來估計(jì)所述圖像序列的第一顏色分級(jí)版本和第二顏色分級(jí)版本之間的顏色映射cm。
顏色映射函數(shù)cmf被定義用于將在第一顏色體積(volume)中表示的顏色值映射到在第二顏色體積中表示的顏色值。
例如,僅第一和第二顏色體積的動(dòng)態(tài)范圍不同??梢岳缤ㄟ^使用rgbbt.2020顏色空間和0至4000尼特(坎德拉每平方米)之間的值的動(dòng)態(tài)范圍來定義第一顏色體積,并使用rgbbt.2020顏色空間和0到1000尼特之間(坎德拉每平方米)之間的值的動(dòng)態(tài)范圍來定義第二顏色體積。
根據(jù)另一示例,僅第一和第二顏色體積的色域不同。例如通過使用rgbbt.2020顏色空間和0至1000尼特(坎德拉每平方米)之間的值的動(dòng)態(tài)范圍來定義第一顏色體積,并使用rgbbt.709顏色空間和0到1000尼特之間(坎德拉每平方米)之間的值的動(dòng)態(tài)范圍來定義第二顏色體積。
根據(jù)另一示例,僅第一和第二顏色體積的顏色空間不同。例如通過使用rgbbt.2020顏色空間和0至1000尼特(坎德拉每平方米)之間的值的動(dòng)態(tài)范圍來定義第一顏色體積,并使用yuvbt.2020顏色空間和0到1000尼特之間(坎德拉每平方米)之間的值的動(dòng)態(tài)范圍來定義第二顏色體積。
本公開不限于顏色體積的這些示例,并且顯而易見的是,可以定義具有這些差異(色域、顏色空間、動(dòng)態(tài)范圍)中多于一個(gè)差異的第一和第二顏色體積。
根據(jù)本發(fā)明的一個(gè)實(shí)施例,如圖3所示,顏色映射函數(shù)cmf包括至少兩個(gè)顏色變換f1、f2、fq、...fq。
根據(jù)圖2所示的步驟20的實(shí)施例,在步驟100中,模塊m1獲得顏色映射函數(shù)cmf的第一估計(jì)cmf0,即根據(jù)圖3所示方法的實(shí)施例的每種顏色變換fq的第一估計(jì)
為了方便,在下文中,第一分量圖像c1的顏色值被稱為第一顏色值集合s1,并且第二分量圖像c2的顏色值被稱為第二顏色值集合s2。
根據(jù)實(shí)施例,每個(gè)顏色變換的第一估計(jì)值
根據(jù)另一示例,顏色變換的第一估計(jì)是將第一顏色體積的顏色空間轉(zhuǎn)換為第二顏色體積的顏色空間的顏色映射函數(shù)。這種顏色變換例如由標(biāo)準(zhǔn)smpterp177定義。
接下來,在步驟110中,在迭代k(k是整數(shù)值)中,模塊m2使用先前計(jì)算(迭代k-1)的每個(gè)顏色變換fq的估計(jì)
重復(fù)步驟110直至達(dá)到準(zhǔn)則為止。由此獲得了針對(duì)每個(gè)顏色變換fq的最終估計(jì)
例如,當(dāng)達(dá)到最大迭代次數(shù)k時(shí),或者當(dāng)通過向圖像的第一顏色分級(jí)版本e1應(yīng)用在兩次連續(xù)迭代期間計(jì)算的顏色映射函數(shù)cmf的估計(jì)cmfk-1和cmfk而獲得的圖像的第二顏色分級(jí)版本e2的兩個(gè)連續(xù)估計(jì)之間的歐幾里德距離小于預(yù)定閾值時(shí),達(dá)到準(zhǔn)則。
備選地,例如,當(dāng)通過向圖像的第一顏色分級(jí)版本e1和圖像的第二顏色分級(jí)版本e2應(yīng)用顏色變換函數(shù)cmf的估計(jì)cmfk而獲得的圖像的第二顏色分級(jí)版本e2的估計(jì)之間的歐幾里德距離小于預(yù)定閾值時(shí),達(dá)到準(zhǔn)則。
根據(jù)本公開的實(shí)施例,顏色映射函數(shù)cmf包括通過圖4所示的方法根據(jù)所述第一顏色值集合s1和第二顏色值集合s2估計(jì)的兩個(gè)顏色變換f1和f2。
估計(jì)兩個(gè)顏色變換f1和f2是迭代過程,對(duì)于每個(gè)迭代k,k是整數(shù),該迭代過程包括:
a)通過將在第k-1次迭代估計(jì)的第一顏色變換f1k-1應(yīng)用于第一顏色值集合s1來獲得第三顏色值集合s3;
b)通過將第二顏色值集合s2映射到第三顏色值集合s3來估計(jì)第三顏色變換f3k;
c)通過將所述第三顏色變換f3k應(yīng)用于第二顏色值集合s2來獲得第四顏色值集合s4;
d)通過將第一顏色值集合s1映射到所述第四顏色值集合s4來估計(jì)第一顏色變換f1k;所述第一顏色變換flk用于更新第一顏色變換f1k-1;
e)通過將所述第一顏色變換f1k應(yīng)用于第一顏色值集合s1來獲得第五顏色值集合s5;以及
f)通過將第五顏色值集合s5映射到第二顏色值集合s2來估計(jì)第二顏色變換f2k。
本公開不限于包括兩個(gè)顏色變換的顏色映射函數(shù)cmf,而是擴(kuò)展到包括兩個(gè)以上顏色變換的任何顏色映射。
為了說明的目的,圖5示出了當(dāng)它包括三個(gè)顏色變換f1、f21和f22時(shí)如何估計(jì)顏色映射函數(shù)cmf。對(duì)于每個(gè)迭代k(k是整數(shù)):
a)通過將在第(k-1)次迭代估計(jì)的第一顏色變換f1k-1應(yīng)用于第一顏色值集合s1來獲得第三顏色值集合s3;
b)通過將在第(k-1)次迭代估計(jì)的顏色變換f22k-1應(yīng)用于第三顏色值集合s3來獲得第四顏色值集合s4;
c)通過將第二顏色值集合s2映射到第四顏色值集合s4來估計(jì)第三顏色變換f3k;
d)通過將所述第三顏色變換f3k應(yīng)用于第二顏色值集合s2來獲得第五顏色值集合s5;
e)通過將第五顏色值集合s5映射到第三顏色值集合s3來估計(jì)第四顏色變換f4k;
f)通過將所述第四顏色變換f4k應(yīng)用于第五顏色值集合s5來獲得第六顏色值集合s6;
g)通過將第一顏色值集合s1映射到所述第六顏色值集合s6來估計(jì)第一顏色變換f1k;所述第一顏色變換f1k用于更新第一顏色變換f1k-1;
h)通過將所述第四顏色變換f1k應(yīng)用于第一顏色值集合s1來獲得第七顏色值集合s7;
i)通過將第七顏色值集合s7映射到所述第五顏色值集合s5來估計(jì)顏色變換f22k;所述第一顏色變換f22k用于更新顏色變換f22k-1;
j)通過將所述顏色變換f22k應(yīng)用于第七顏色值集合s7來獲得第八顏色值集合s8;以及
1)通過將所述第八顏色值集合s8映射到第二顏色值集合s2來估計(jì)顏色變換f21k。
最后一個(gè)步驟1)不是每次迭代強(qiáng)制執(zhí)行的。在最后一次迭代之后,該步驟至少執(zhí)行一次。
根據(jù)一個(gè)實(shí)施例,當(dāng)例如(用于停止或不停止迭代方法的)準(zhǔn)則需要每次迭代處顏色變換f21k的估計(jì)以便估計(jì)停止結(jié)合圖2描述的迭代方法的步驟的準(zhǔn)則時(shí),在每次迭代時(shí)執(zhí)行步驟1。
用于估計(jì)顏色映射函數(shù)cmf的原理可以根據(jù)圖4和圖5容易地?cái)U(kuò)展到包括任何數(shù)量的顏色變換的任何顏色映射函數(shù)。
根據(jù)該方法的實(shí)施例,顏色映射函數(shù)cmf通過三維查找表(3dlut)來近似。
這允許較少的比特用于表示顏色映射函數(shù)cmf,使編碼成本降低。
圖6示意性地示出了對(duì)具體顏色映射函數(shù)進(jìn)行近似的3dlut的示例。
3dlut將在第一顏色體積中表示的至少一個(gè)顏色值與在第二顏色體積(不同于第一顏色體積)中表示的顏色值相關(guān)聯(lián)。
3dlut允許將第一顏色體積劃分為由3dlut的頂點(diǎn)限定的區(qū)域的集合。示例性地,3dlut將顏色值的集合與第一顏色體積中的顏色值三元組相關(guān)聯(lián)。顏色值的集合可以是第二顏色體積中的顏色值三元組或表示用于將第一顏色體積中的顏色值轉(zhuǎn)換為第二顏色體積中的顏色值的顏色變換(例如,本地定義的顏色映射函數(shù)參數(shù))的顏色值的集合。
在圖6中,正方形3dlut被表示為n×n×n個(gè)頂點(diǎn)的格子。對(duì)于3dlut的每個(gè)頂點(diǎn)v(cl,c2,c3),需要存儲(chǔ)相應(yīng)的顏色值三元組(vc1,vc2,vc3)。與3dlut相關(guān)聯(lián)的數(shù)據(jù)量是nxnxnxk,其中k是用于存儲(chǔ)一個(gè)3dlut三元組值的比特?cái)?shù)。三元組值例如是(r,g,b)三元組、(y,u,v)三元組或(y,cb,cr)三元組等。
根據(jù)該方法的實(shí)施例,顏色映射函數(shù)cmf包括至少一個(gè)顏色變換,所述至少一個(gè)顏色變換通過一維分段線性函數(shù)來近似。
根據(jù)該方法的實(shí)施例,顏色映射函數(shù)cmf包括至少一個(gè)顏色變換,所述至少一個(gè)顏色變換通過一維查找表來近似。
該實(shí)施例是有利的,原因在于可以通過已經(jīng)在許多屏幕、顯示器和tv中實(shí)現(xiàn)的現(xiàn)有一維非線性映射函數(shù)的組合對(duì)顏色映射函數(shù)進(jìn)行近似。它們可以用于例如在顏色分級(jí)與顏色空間相關(guān)的情況下實(shí)現(xiàn)任何類型的顏色變換。
根據(jù)該方法的實(shí)施例,顏色映射函數(shù)cmf包括由矩陣表示的顏色變換。
根據(jù)如圖7所示的方法的非限制性實(shí)施例,顏色映射函數(shù)cmf包括由c個(gè)一維分段線性函數(shù)f1,j(j∈{1,...,c})近似的顏色變換f1、由c個(gè)一維分段線性函數(shù)f2,j(j∈{1,...,c})近似的第二顏色變換f21和線性矩陣m(可以被認(rèn)為是另一種顏色變換f22)。c是與圖像的分量數(shù)相等的整數(shù)。通常如圖7所示c=3。
然后如圖5所述估計(jì)顏色變換f1、f21和f22,其中第三顏色變換f3k也由c個(gè)一維分段線性函數(shù)f3,j(j∈{1,...,c})近似,并且第四顏色變換f4k是矩陣。
通過將屬于輸入的顏色值集合(這里為e1j)的顏色值的j分量映射到屬于輸出的顏色值集合(這里為e2j)的顏色值的j分量來估計(jì)每個(gè)一維分段線性函數(shù)f1,j、f2,j或f3,j。例如,相對(duì)于圖5,當(dāng)估計(jì)一維分段線性函數(shù)f1,j時(shí),輸入的顏色值集合是第一顏色值集合s1,并且輸出的顏色值集合是第六顏色值集合s6
本公開不限于用于通過將屬于輸入顏色值集合的顏色值的分量映射到屬于輸出顏色值集合的顏色值的分量來估計(jì)一維分段線性函數(shù)的具體方法。
例如,可以使用如關(guān)于圖8所述的cantoni等人的方法(“optimalcurvefittingwithpiecewiselinearfunctions,”ieeetransactionsoncomputers,vol.c-20,no1,1971年1月)。
圖8示出了一維分段線性函數(shù)f的示例。
一維分段線性函數(shù)f由區(qū)間[xi,xi+1]定義,并且在每個(gè)區(qū)間中是線性的。注意,我們?cè)谶@里考慮以下情況,為了簡(jiǎn)單區(qū)間具有相等的范圍(等于1),但是等效推理可以應(yīng)用于一般情況(不相等的范圍)。然后,認(rèn)為值xi是已知的。
對(duì)于具有橫軸s∈[xi;xi+1]的給定點(diǎn),由f表示的對(duì)應(yīng)圖像為y,例如:
y=f(s)=l(xi)+(l(xi+1)-l(xi))*(s-xi)
必須通過使用最小二乘法(lsm)找到l(xi)的最優(yōu)值,最小二乘法(lsm)使針對(duì)樣本值集合(so,yo)的二次誤差的總和err(xi)=(yo-f(so))2最小,其中針對(duì)每個(gè)區(qū)間[xi;xi+1](i=0,...t)so∈[xi;xi+1]是第一顏色值集合s1的顏色值,并且yo是第二顏色值集合s2的顏色值。t是固定整數(shù)值或要優(yōu)化的值。
最小二乘法(lsm)在于對(duì)err(xi)分別對(duì)于l(xi)(i=0,..t)的偏導(dǎo)數(shù)方程的集合等于零求解。
l(xi)的值確定兩個(gè)區(qū)間[xi-1;xi]和[xi;xi+1]上的函數(shù)f:
y=f(sm)=l(xi-1)+(l(xi)-l(xi-1))*(sm-xi+1)如果sm∈[xi-1;xi](4)
并且y=f(so)=l(xi)+(l(xi+1)-l(xi))*(so-xi)如果so∈[xi;xi+1](5)
一旦用式(1)和(2)給出的f(sm)和f(so)的表達(dá)式代入式(1-3)中,得到下式:
對(duì)其他區(qū)間應(yīng)用相同的推理,得到以下系統(tǒng):
本公開不限于用于通過將輸入顏色值集合映射到輸出顏色值集合來估計(jì)矩陣(m或第四顏色變換f4k)的具體方法。
例如,當(dāng)c等于3(每種顏色值三種顏色分量)時(shí),通過將輸入顏色值的集合
對(duì)于樣本的集合((x0,x1,x2),yi),計(jì)算二次誤差為erri=(yi-mi(x0,x1,x2))2,并且最小均方根方法在于對(duì)根據(jù)mi()對(duì)于gi,j(其中i=0、1、2且j=0、1、2)的偏導(dǎo)數(shù)建立的9個(gè)等式的系統(tǒng)求解。
在圖1-8和10-11上,模塊是功能單元,所述功能單元可以與或不與可區(qū)分的物理單元相關(guān)聯(lián)。例如,這些模塊或其中的一些可以被集成在唯一的組件或電路中,或者有助于軟件的功能。相反,一些模塊可能包括單獨(dú)的物理實(shí)體。符合本公開的裝置可以或者使用純硬件來實(shí)現(xiàn),例如使用專用硬件,諸如《applicationspecificintegratedcircuit》、《field-programmablegatearray》、《verylargescaleintegration》的簡(jiǎn)寫asic或fpga或vlsi,或來自嵌入在設(shè)備中的或來自硬件與軟件組件的混合物的若干集成電子元件。
圖9表示設(shè)備900的示例架構(gòu),設(shè)備900可被配置為實(shí)現(xiàn)結(jié)合圖1-8和10-11描述的方法。
設(shè)備900包括通過數(shù)據(jù)和地址總線901鏈接在一起的以下元件:
-微處理器902(或cpu),其例如是dsp(或數(shù)字信號(hào)處理器);
-rom(或只讀存儲(chǔ)器)903;
-ram(或隨機(jī)存取存儲(chǔ)器)904;
-i/o接口905,用于接收從應(yīng)用發(fā)送的數(shù)據(jù);以及
-電池906
根據(jù)一個(gè)變型,電源906在設(shè)備的外部。圖9的這些元件中的每一個(gè)是本領(lǐng)域技術(shù)人員所熟知的,因此不進(jìn)一步公開。在所提及的每個(gè)存儲(chǔ)器中,說明書中使用的詞語(yǔ)“寄存器”可以對(duì)應(yīng)于小容量的區(qū)域(一些比特)或非常大的區(qū)域(例如整個(gè)程序或大量的接收或解碼的數(shù)據(jù))。rom903包括至少程序和參數(shù)。根據(jù)本公開的方法的算法存儲(chǔ)在rom903中。當(dāng)接通時(shí),cpu920將程序上傳到ram中并執(zhí)行對(duì)應(yīng)的指令。
ram904在寄存器中包括由cpu902執(zhí)行并在設(shè)備900接通之后上傳的程序、寄存器中的輸入數(shù)據(jù)、寄存器中的方法的不同狀態(tài)的中間數(shù)據(jù)以及寄存器中的用于執(zhí)行方法的其它變量。
可以例如用方法或過程、裝置、軟件程序、數(shù)據(jù)流或信號(hào)來實(shí)現(xiàn)本文所描述的實(shí)施方式。雖然僅在單個(gè)實(shí)現(xiàn)形式的上下文中進(jìn)行討論(例如,僅作為方法或設(shè)備討論),所討論特征的實(shí)現(xiàn)還可以以其他形式來實(shí)現(xiàn)(如程序)。裝置可以實(shí)現(xiàn)為例如適合硬件、軟件和固件。所述方法可被實(shí)現(xiàn)于諸如處理器的裝置中,所述處理器一般地稱為處理設(shè)備,包括例如計(jì)算機(jī)、微處理器、集成電路或可編程邏輯器件。處理器還可以包括通信設(shè)備(例如計(jì)算機(jī)、蜂窩電話、便攜/個(gè)人數(shù)字助理(″pda″))以及促進(jìn)終端用戶之間的信息通信的其他設(shè)備。
根據(jù)用于估計(jì)圖像的第一顏色分級(jí)版本e1和其值以第二顏色體積表示的所述圖像的第二顏色分級(jí)版本e2之間的顏色映射的方法或裝置的具體實(shí)施例,圖像的第一顏色分級(jí)版本e1和/或第二顏色分級(jí)版本e2和/或第一復(fù)合圖像c1和/或第二復(fù)合圖像c2從源獲得。確定的時(shí)刻ti也可以從源獲得。例如,源屬于包括以下各項(xiàng)的集合:
-本地存儲(chǔ)器(903或904),例如視頻存儲(chǔ)器或ram(或隨機(jī)存取存儲(chǔ)器)、閃速存儲(chǔ)器、rom(或只讀存儲(chǔ)器)、硬盤;
-存儲(chǔ)器接口(905),例如與大容量存儲(chǔ)器、ram、閃存、rom、光盤或磁性支持的接口;
-通信接口(907),例如有線接口(例如,總線接口、廣域網(wǎng)接口、局域網(wǎng)接口)或無線接口(例如,ieee802.11接口或
-圖像捕捉電路(例如,傳感器,如ccd(電荷耦合器件)或cmos(互補(bǔ)金屬氧化物半導(dǎo)體))。
根據(jù)不同的實(shí)施例,設(shè)備900被配置為實(shí)現(xiàn)結(jié)合圖1-8和10-11描述的用于估計(jì)顏色映射的方法或設(shè)備,屬于包括以下各項(xiàng)的集合:
-移動(dòng)設(shè)備;
-通信設(shè)備;
-游戲設(shè)備;
-平板(或平板計(jì)算機(jī));
-膝上型計(jì)算機(jī);
-靜止圖像相機(jī);
-視頻相機(jī);
-編碼芯片;
-靜止圖像服務(wù)器;以及
-視頻服務(wù)器(例如,廣播服務(wù)器、視頻點(diǎn)播服務(wù)器或網(wǎng)絡(luò)服務(wù)器)。
-移動(dòng)設(shè)備;
-通信設(shè)備;
-游戲設(shè)備;
-機(jī)頂盒;
-電視機(jī);
-平板(或平板計(jì)算機(jī));
-膝上型計(jì)算機(jī);
-顯示器以及
-解碼芯片。
這里所述的多種處理和特征的實(shí)現(xiàn)方案可以實(shí)現(xiàn)為多種不同設(shè)備或應(yīng)用,具體地,例如,設(shè)備或應(yīng)用。這些設(shè)備的示例包括編碼器、解碼器、處理來自解碼器的輸出的后處理器、向編碼器提供輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、網(wǎng)絡(luò)服務(wù)器、機(jī)頂盒、筆記本電腦、個(gè)人電腦、手機(jī)、pda、以及用于處理圖像或視頻的任意其他設(shè)備或任何其他通信設(shè)備。應(yīng)當(dāng)清楚,設(shè)備可以是移動(dòng)的,甚至安裝在移動(dòng)交通工具中。
另外,這些方法可以由處理器執(zhí)行的指令來實(shí)現(xiàn),并且這樣的指令(和/或由實(shí)施方式產(chǎn)生的數(shù)據(jù)值)可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可采用計(jì)算機(jī)可讀程序產(chǎn)品的形式,所述計(jì)算機(jī)可讀程序產(chǎn)品包含在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中,并且其中包含有可由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可讀程序代碼。如本文使用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)被認(rèn)為是非瞬態(tài)存儲(chǔ)介質(zhì),其被提供有用于在其中存儲(chǔ)信息的內(nèi)在能力以及用于從中取回信息的內(nèi)在能力。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是但不限于例如電、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置或設(shè)備或前述系統(tǒng)、裝置或設(shè)備的任意合適組合。應(yīng)當(dāng)理解,盡管以下提供可應(yīng)用本原理的更特定的計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)的示例,但如本領(lǐng)域普通技術(shù)人員更容易理解的,僅以示例性而非窮盡地列出:便攜式計(jì)算機(jī)磁盤;硬盤;只讀存儲(chǔ)器(rom);可擦除可編程只讀存儲(chǔ)器(eprom或閃存);便攜式緊湊盤只讀存儲(chǔ)器(cd-rom);光存儲(chǔ)設(shè)備;磁存儲(chǔ)設(shè)備;或以上的任意合適組合。
指令可形成在處理器可讀介質(zhì)上有形包含的應(yīng)用程序。
指令可位于例如硬件、固件、軟件或其組合中。可以在例如操作系統(tǒng)、單獨(dú)應(yīng)用或兩者組合中發(fā)現(xiàn)指令。因此,處理器可以被特征化為例如配置用于執(zhí)行處理的設(shè)備和包括具有用于執(zhí)行處理的指令的處理器可讀介質(zhì)(諸如,存儲(chǔ)設(shè)備)的設(shè)備。此外,處理器可讀介質(zhì)可存儲(chǔ)通過實(shí)施方式所產(chǎn)生的數(shù)據(jù)值,作為對(duì)指令的添加或替代。
本領(lǐng)域技術(shù)人員應(yīng)清楚,實(shí)現(xiàn)方案可以產(chǎn)生被格式化為攜帶例如所存儲(chǔ)的或所傳輸?shù)男畔⒌亩喾N信號(hào)。信息可以包括例如執(zhí)行方法的指令,或通過描述的實(shí)施方式之一所產(chǎn)生的數(shù)據(jù)。例如,信號(hào)可以被格式化為將用于寫入或讀取所述實(shí)施例的語(yǔ)義的規(guī)則攜帶作為數(shù)據(jù),或?qū)⒂伤鰧?shí)施例寫入的真實(shí)語(yǔ)義值攜帶作為數(shù)據(jù)。這種信號(hào)可被格式化為例如電磁波(例如使用頻譜的射頻部分)或基帶信號(hào)。格式化可包括例如對(duì)數(shù)據(jù)流進(jìn)行編碼和用已編碼數(shù)據(jù)流調(diào)制載波。信號(hào)承載的信息可以是例如模擬或數(shù)字信息??梢酝ㄟ^公知的多種不同有線或無線鏈路來傳輸該信號(hào)。信號(hào)可存儲(chǔ)在處理器可讀介質(zhì)上。
已經(jīng)描述了多個(gè)實(shí)現(xiàn)。但是應(yīng)當(dāng)理解,可以做出各種修改。例如,可以合并、增補(bǔ)、修改或去除不同實(shí)現(xiàn)方案的要素,以便產(chǎn)生其它實(shí)現(xiàn)方案。附加地,本領(lǐng)域技術(shù)人員將理解的是,其他結(jié)構(gòu)或處理器可以替代那些公開的內(nèi)容,并且所得到的實(shí)施方式將用至少基本相同的方式來執(zhí)行至少基本相同的功能,以實(shí)現(xiàn)與所公開的實(shí)施方式基本相同的結(jié)果。因此,本申請(qǐng)還涵蓋這些和其它實(shí)現(xiàn)方案。