欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

用于編碼的方法、視頻處理器、用于解碼的方法、視頻解碼器與流程

文檔序號(hào):11456464閱讀:421來(lái)源:國(guó)知局
用于編碼的方法、視頻處理器、用于解碼的方法、視頻解碼器與流程

本發(fā)明涉及對(duì)視頻圖像、尤其是高動(dòng)態(tài)范圍圖像編碼,和將必要的編碼圖像信息傳達(dá)至接收側(cè)的相應(yīng)技術(shù)系統(tǒng)和方法,以及對(duì)編碼圖像解碼并且最終使得它們可用于顯示的解碼器。



背景技術(shù):

經(jīng)典的圖像/視頻技術(shù)(從像ntsc和pal那樣的模擬系統(tǒng)開(kāi)始,并且繼之以像mpeg1、mpeg2、mpeg4等等那樣的數(shù)字視頻編解碼器)利用了我們現(xiàn)在所稱(chēng)的低動(dòng)態(tài)范圍(ldr)或者標(biāo)準(zhǔn)動(dòng)態(tài)范圍(sdr)編碼?,F(xiàn)在廣泛地認(rèn)識(shí)到,為了給消費(fèi)者帶來(lái)更身臨其境的體驗(yàn),視頻技術(shù)中的下一步有必要是視頻信號(hào)的動(dòng)態(tài)范圍和峰值視亮度(brightness)的增強(qiáng)。研究和開(kāi)發(fā)已從若干單個(gè)或者若干組公司開(kāi)始,到達(dá)能夠處理所謂的高動(dòng)態(tài)范圍(hdr)場(chǎng)景的hdr圖像的下一代視頻編解碼器。這些發(fā)展在以下概念中找到其基礎(chǔ):ldr信號(hào)不能捕獲真實(shí)生活場(chǎng)景的動(dòng)態(tài)范圍,不能表示人類(lèi)視覺(jué)系統(tǒng)能夠看見(jiàn)的動(dòng)態(tài)范圍,并且因此不能將場(chǎng)景中的完整情緒體驗(yàn)傳遞給消費(fèi)者。通常,hdr被看作超高清(uhd)電視的必要特征,即具有3840x2160像素(“4k”)的顯示分辨率,但是,例如與hd分辨率視頻相結(jié)合,hdr本身也被看作令人信服的特征。

捕獲hdr圖像需要這樣的相機(jī),該相機(jī)可以捕獲至少高于11個(gè)光圈數(shù)(stop),但是優(yōu)選地高于16個(gè)光圈數(shù)的增大的動(dòng)態(tài)范圍。當(dāng)前的例如arri、red和sony的相機(jī)正達(dá)到大約14個(gè)光圈數(shù)。一些hdr相機(jī)使用慢速和快速曝光并且將這些結(jié)合到單一hdr圖像中,其他相機(jī)使用朝向不同靈敏度的兩個(gè)或更多傳感器分割的光束。

雖然在經(jīng)典成像中大量信息被丟棄(硬剪切,例如房間或汽車(chē)的外部視圖),當(dāng)前的成像系統(tǒng)可以捕獲所有那些信息,并且問(wèn)題于是在于對(duì)其做什么。此外,較高動(dòng)態(tài)范圍顯示器正在出現(xiàn),其具有比當(dāng)前典型的350尼特(或者用于分級(jí)參考監(jiān)視器的100尼特)更高的峰值視亮度。具有大約1000尼特的峰值視亮度的電視現(xiàn)在正進(jìn)入消費(fèi)市場(chǎng),并且sim2在其資產(chǎn)組合中具有5000尼特專(zhuān)業(yè)監(jiān)視器。

當(dāng)前正在開(kāi)發(fā)這樣的顯示單元,其能夠提供高視亮度水平以及圖像的暗部與圖像的亮部之間的非常高的對(duì)比度。為了完全利用這樣的顯示器的能力,視頻信息可以通過(guò)例如考慮較高視亮度和hdr對(duì)比度范圍提供適配的視頻信息而進(jìn)行增強(qiáng)。為了與hdr相區(qū)分,在本文中,傳統(tǒng)的視頻信息稱(chēng)為低動(dòng)態(tài)范圍[ldr]視頻。這樣,ldr視頻信息可以在hdr顯示模式下顯示在hdr顯示單元上以便提高對(duì)比度。然而,當(dāng)視頻信息本身以hdr視頻格式(例如為了更好的視覺(jué)效果或者為了改進(jìn)亮暗區(qū)域中的紋理的可見(jiàn)度同時(shí)避免視覺(jué)條帶而利用增強(qiáng)的動(dòng)態(tài)范圍)生成時(shí),實(shí)現(xiàn)了更引人注目的圖像。除了增強(qiáng)圖像數(shù)據(jù)的精度之外,電影導(dǎo)演們可以通過(guò)例如強(qiáng)調(diào)爆炸來(lái)局部地增強(qiáng)體驗(yàn)和/或提高亮暗場(chǎng)景/區(qū)域中的可見(jiàn)度。

標(biāo)準(zhǔn)開(kāi)發(fā)組織正在重新思考決定圖片質(zhì)量的各種不同的視頻格式參數(shù)。在這些參數(shù)之中有動(dòng)態(tài)范圍。動(dòng)態(tài)范圍隨著顯示器峰值視亮度的增大而變得更加重要。盡管大多數(shù)視頻內(nèi)容仍然針對(duì)100尼特(cd/m2)顯示器進(jìn)行分級(jí),但是現(xiàn)代商業(yè)顯示器的視亮度通常已經(jīng)高得多(典型地大約350尼特,但是高達(dá)比如600-800尼特)。具有大約4000尼特的視亮度的專(zhuān)業(yè)顯示器已經(jīng)可用。這些顯示器能夠提供逼真得多的觀看體驗(yàn)。

簡(jiǎn)而言之,hdr圖像正變得越來(lái)越重要。hdr圖像可以是利用用于對(duì)場(chǎng)景中的各個(gè)不同的捕獲對(duì)象的顏色紋理進(jìn)行高質(zhì)量編碼的足夠信息對(duì)hdr場(chǎng)景(其典型地可能包含非常亮和暗的區(qū))的紋理編碼的圖像,使得hdr場(chǎng)景的視覺(jué)上質(zhì)量好的再現(xiàn)可以在具有像例如5000尼特那樣的高峰值視亮度的hdr顯示器上完成。典型的hdr圖像包括亮彩色部分或者與平均光照相比受強(qiáng)光照的部分。特別是對(duì)于夜間場(chǎng)景而言,hdr變得越來(lái)越重要。

與其中太陽(yáng)和天空相同地照射每個(gè)點(diǎn)的白晝場(chǎng)景形成對(duì)照的是,在夜間,可能僅僅存在一些光源,其以二次方降低的方式照亮場(chǎng)景。這在光源周?chē)a(chǎn)生亮區(qū),并且在遠(yuǎn)處的角落產(chǎn)生暗區(qū)。一些部分幾乎從任何地方都得不到光,使得它非常暗。即,在夜間場(chǎng)景中,可能同時(shí)存在具有用于燈本身的高于10000尼特以及用于暗區(qū)的1尼特的小部分(例如0.001尼特)的區(qū)亮度(或者在由線(xiàn)性相機(jī)捕獲時(shí)的像素亮度)的部分,使得總的動(dòng)態(tài)范圍為1千萬(wàn)比1。這是最亮對(duì)最暗像素的理論范圍,有用的動(dòng)態(tài)范圍當(dāng)然可以更低,因?yàn)榭赡懿恍枰_地表示幾個(gè)小燈或者小的暗塊,但是在典型的hdr場(chǎng)景中,甚至感興趣的平常對(duì)象的有用動(dòng)態(tài)范圍都可能遠(yuǎn)高于10000:1(或者14個(gè)光圈數(shù))。將此映射到2000尼特峰值視亮度的顯示器意味著它應(yīng)當(dāng)“在理論上”(假設(shè)相對(duì)峰值白色,再現(xiàn)對(duì)于場(chǎng)景再現(xiàn)的視覺(jué)質(zhì)量是足夠的)具有例如0.2尼特的最?。梢?jiàn))黑色。

hdr視頻(或者甚至靜止圖像)編碼只是在近期才被研究。典型的信念是,或者需要轉(zhuǎn)向明顯更多的比特以便對(duì)高于場(chǎng)景對(duì)象的ldr范圍的視亮度編碼(例如直接編碼場(chǎng)景亮度的編碼),或者需要某種二層方法,其中例如除了對(duì)象反射率圖像之外,還存在光照增強(qiáng)圖像或者類(lèi)似的分解策略。例如在us8248486b1和wo2005/1040035中公布了一種二層hdr編碼方法。

wo2011/107905和wo2012/153224中公開(kāi)了一種更簡(jiǎn)單的單圖像方法。該方法基于參數(shù)編碼。除了簡(jiǎn)單地對(duì)適合于具有處于參考值(例如1500尼特)的峰值視亮度的顯示器的單一hdr圖像編碼之外,該方法也處理具有在那之外的其他峰值視亮度和動(dòng)態(tài)范圍的顯示器。由于也將存在例如500或者100尼特的顯示器,與其盲目地把如何通過(guò)自動(dòng)轉(zhuǎn)換將編碼的高動(dòng)態(tài)范圍圖像變成某種合理的圖像留給接收側(cè),不如對(duì)如何針對(duì)顯示器的特定屬性從編碼的hdr圖像開(kāi)始達(dá)到適當(dāng)?shù)膱D像的顏色處理函數(shù)進(jìn)行共同編碼。該過(guò)程于是導(dǎo)致針對(duì)該特定顯示器優(yōu)化的、內(nèi)容創(chuàng)建者可能同意的圖像。

“高動(dòng)態(tài)范圍”(hdr)圖像典型地是指從捕獲側(cè)捕獲的圖像,所述圖像:1)與老式ldr編碼(即10.000:1或者更大的對(duì)比度比率)相比具有高亮度對(duì)比度比率;以及2)具有不超過(guò)500、700或者典型地1000尼特的對(duì)象亮度。hdr編碼系統(tǒng)于是需要能夠?qū)υ搶拰?duì)比度比率和高對(duì)象亮度編碼。hdr重放系統(tǒng)典型地將重放1000尼特以上的高亮部分,以便生成某種比如點(diǎn)亮的燈或者陽(yáng)光明媚的外部的希望的外觀。

hdr圖像要在顯示器上顯示。就像已經(jīng)是當(dāng)前商業(yè)顯示器的情況那樣,未來(lái)的hdr顯示器根據(jù)技術(shù)、設(shè)計(jì)選擇、成本考慮、市場(chǎng)因素等等將具有不同的峰值視亮度水平。顯示器接收的視頻信號(hào)通常將針對(duì)特定參考顯示器進(jìn)行分級(jí),所述參考顯示器可能不與要在其上呈現(xiàn)視頻信號(hào)的顯示器的特性相應(yīng)。接收hdr信號(hào)的顯示器設(shè)法適配視頻信號(hào)以便匹配它自身的特性,所述特性包括峰值視亮度水平。如果接收器/顯示器沒(méi)有關(guān)于視頻信號(hào)的特性和/或所應(yīng)用的分級(jí)的知識(shí),那么所產(chǎn)生的圖片可能不符合藝術(shù)意圖或者可能看起來(lái)就糟糕。因此,動(dòng)態(tài)范圍適配參數(shù)/指令可以且優(yōu)選地與視頻一起被包括或者以其他方式傳達(dá)給顯示器以便提供用于針對(duì)在其上顯示信號(hào)的顯示器的峰值視亮度水平和其他特性?xún)?yōu)化圖片質(zhì)量的處理信息。適配參數(shù)可以工作于整個(gè)圖片區(qū)域,或者可以限制在圖片的某些區(qū)域。

可替換地,hdr顯示器例如在它知道用于進(jìn)來(lái)的信號(hào)的特性的情況下,例如在使用了標(biāo)準(zhǔn)的情況下本身可以適配進(jìn)來(lái)的hdr信號(hào)。

無(wú)論用什么方法,顯示器因此適配進(jìn)來(lái)的例如hdr信號(hào)。為了簡(jiǎn)單起見(jiàn),在本文提及hdr信號(hào),進(jìn)來(lái)的信號(hào)也可以是ldr信號(hào),該信號(hào)然后在hdr模式下顯示(注意,盡管該ldr信號(hào)本身適合于直接顯示在ldr顯示器上,但是它隱含地可以為hdr圖像外觀的一種編碼,因?yàn)樗梢酝ㄟ^(guò)共同編碼的函數(shù)以函數(shù)方式映射到hdr圖像的所有必要的像素顏色數(shù)據(jù))。更具體地,顯示器對(duì)進(jìn)來(lái)的信號(hào)執(zhí)行動(dòng)態(tài)范圍適配,以便在顯示它之前調(diào)節(jié)它以適應(yīng)其特性(例如峰值強(qiáng)度、黑色水平)。

顯示器應(yīng)用將進(jìn)來(lái)的hdr(或ldr)數(shù)據(jù)映射到hdr數(shù)據(jù)集合上的映射函數(shù),該hdr數(shù)據(jù)集合最(或者至少更好地或者至少這就是目的)適合顯示器的能力,所述能力諸如例如顯示器的黑色水平和峰值視亮度水平。這樣適配的hdr數(shù)據(jù)用于在顯示器上顯示圖像。

映射可以是:圖像的升級(jí),其中顯示的圖像的動(dòng)態(tài)范圍大于原始圖像的動(dòng)態(tài)范圍;以及圖像的降級(jí),其中動(dòng)態(tài)范圍小于原始圖像的動(dòng)態(tài)范圍。

動(dòng)態(tài)范圍適配(在下文中,這有時(shí)也將稱(chēng)為“增強(qiáng)”,但是當(dāng)執(zhí)行降級(jí)時(shí),圖像的動(dòng)態(tài)范圍縮小而不是增大)的效果通常對(duì)于非常明亮的對(duì)象而言最為明顯。

視頻信號(hào)可以以各種不同的方式(包括通過(guò)廣播、通過(guò)互聯(lián)網(wǎng)或者經(jīng)由打包的媒體)提供給家庭。它可以例如由機(jī)頂盒(stb)接收,或者經(jīng)由另一個(gè)視頻處理系統(tǒng)作為壓縮流接收。

機(jī)頂盒對(duì)視頻解碼并且隨后將它作為基帶視頻發(fā)送至電視機(jī)。在另一個(gè)示例中,編碼的視頻存儲(chǔ)在存儲(chǔ)介質(zhì)上,所述存儲(chǔ)介質(zhì)例如dvd/藍(lán)光光盤(pán)或者閃存驅(qū)動(dòng)器。在那種情況下,回放設(shè)備(媒體播放器mp)從介質(zhì)讀取內(nèi)容,對(duì)壓縮視頻解碼,并且將它發(fā)送至電視機(jī)。在這兩種情況下,單獨(dú)的盒(vps,視頻處理系統(tǒng))通過(guò)標(biāo)準(zhǔn)接口(例如hdmi、顯示端口或者無(wú)線(xiàn)視頻接口)與tv連接。

典型地,機(jī)頂盒(stb)和媒體播放器(mp)并不簡(jiǎn)單地傳送解碼的視頻,而是有時(shí)將視頻與一個(gè)或多個(gè)圖形層合并。例如,在藍(lán)光光盤(pán)(bd)的情況下,通常存在2個(gè)覆蓋層:用于字幕的呈現(xiàn)圖形(pg)以及例如用于菜單覆蓋物(overlay)的來(lái)自java引擎(bd-j)的圖形平面。在這些圖形平面之上,可以存在用于播放器的用戶(hù)接口的附加平面。

當(dāng)擴(kuò)展現(xiàn)有的視頻系統(tǒng)用于hdr時(shí),高級(jí)顯示設(shè)備中可用的高對(duì)比度比率用來(lái)實(shí)現(xiàn)生動(dòng)且逼真的視頻圖像。然而,已經(jīng)發(fā)現(xiàn),當(dāng)在這種hdr顯示模式下覆蓋圖形時(shí),可能出現(xiàn)若干問(wèn)題。例如,hdr視頻之上的(半透明)圖像覆蓋物可能出現(xiàn)的一個(gè)問(wèn)題是,hdr視頻中的一些場(chǎng)景可能異常的明亮。這將顯著地降低同時(shí)顯示的諸如字幕或菜單之類(lèi)的圖形的易辨認(rèn)性??赡艹霈F(xiàn)的另一個(gè)問(wèn)題是,字幕中的字符可能變得如此明亮,以至于它對(duì)于讀者而言變得惱人或者疲勞。再者,極端明亮的字幕或者菜單可能造成光暈效應(yīng)或者炫目,并且因此使視頻的感知質(zhì)量退化。

當(dāng)動(dòng)態(tài)范圍增大(從ldr或者低hdr到較高h(yuǎn)dr范圍)時(shí)以及當(dāng)它減?。◤膆dr到較低動(dòng)態(tài)范圍hdr或者ldr)時(shí),都可能出現(xiàn)問(wèn)題。動(dòng)態(tài)范圍適配可以基于與視頻一起發(fā)送的參數(shù)、基于tv中的圖像的分析、基于與視頻信號(hào)一起發(fā)送的信息、或者任何其他方法。動(dòng)態(tài)范圍適配適用于底層視頻,而不是包含圖形覆蓋物的區(qū)域。動(dòng)態(tài)范圍適配在某些情況下可能變化(例如當(dāng)場(chǎng)景正在變化時(shí)),而字幕或者菜單覆蓋物在該變化期間可以是固定的。這可能例如導(dǎo)致場(chǎng)景邊界處的圖形外觀的不希望的變化。

在us02140125696中,描述了一種解決方案,其中根據(jù)顯示模式調(diào)節(jié)覆蓋物。在將覆蓋物與視頻信號(hào)(其可以是ldr或者h(yuǎn)dr信號(hào))合并之前(或者合并時(shí)),根據(jù)顯示模式適配覆蓋物(或者適配所述合并)。

然而,這需要用于顯示模式以及用于hdr處理指令的輸入。此外,顯示器是不同的,并且全都具有其自身的特性。因此,覆蓋物的相同適配用于相同的顯示模式可能在不同的顯示器上給不出相同的結(jié)果。這將需要顯示器特性的知識(shí)。

因此,一種改進(jìn)的用于適配視頻的方法將是有利的,特別地,一種允許增加靈活性、改進(jìn)動(dòng)態(tài)范圍適配、提高感知圖像質(zhì)量、改進(jìn)覆蓋物和/或視頻圖像呈現(xiàn)(特別是在動(dòng)態(tài)范圍變化時(shí))和/或提高性能的方法將是有利的。



技術(shù)實(shí)現(xiàn)要素:

相應(yīng)地,本發(fā)明尋求單獨(dú)地或者以任意組合地優(yōu)選地減輕、緩解或者消除上面提到的缺點(diǎn)中的一個(gè)或多個(gè)。

依照本發(fā)明的一個(gè)方面,提供了一種用于對(duì)從超過(guò)一個(gè)源信號(hào)合并的hdr視頻信號(hào)解碼的裝置,該裝置包括:輸入端,用于接收hdr視頻信號(hào);讀取器,用于讀取像素的hdr視頻信號(hào)的一個(gè)或多個(gè)顏色分量的至少一個(gè)或多個(gè)最低有效比特并且從讀取的最低有效比特生成一個(gè)或多個(gè)值,該一個(gè)或多個(gè)值指示用于所述像素的合并屬性,該合并屬性指示用于該像素的hdr視頻信號(hào)中的一個(gè)或多個(gè)覆蓋信號(hào)與視頻圖像信號(hào)的合并的屬性;以及適配器,用于適配hdr視頻信號(hào),并且其中適配器被布置成根據(jù)所述一個(gè)或多個(gè)值適配像素值。

在許多實(shí)施例中,本發(fā)明可以提供改進(jìn)的性能。在許多系統(tǒng)中,它可以提供包括覆蓋物的圖像和視頻序列在具有不同動(dòng)態(tài)范圍的顯示器上的改進(jìn)的再現(xiàn)。

所述裝置可以是一種視頻解碼器,并且具體地可以包括在顯示器中,例如包括在電視或監(jiān)視器中。適配器可以被布置成根據(jù)所述一個(gè)或多個(gè)值對(duì)所述像素執(zhí)行動(dòng)態(tài)范圍適配。

所述超過(guò)一個(gè)源信號(hào)可以包括所述一個(gè)或多個(gè)覆蓋信號(hào)和視頻圖像信號(hào)(或者由所述一個(gè)或多個(gè)覆蓋信號(hào)和視頻圖像信號(hào)組成)。這些源信號(hào)可以是在編碼側(cè)結(jié)合到單一視頻信號(hào)(hdr視頻信號(hào))中的視頻信號(hào)。

依照本發(fā)明的一個(gè)可選的特征,所述裝置包括這樣的輸入端,該輸入端用于包括關(guān)于讀取哪些最低有效比特以及如何將它們轉(zhuǎn)換成所述一個(gè)或多個(gè)值的信息的信號(hào)。

在一些實(shí)施例中,所述裝置被布置成接收指示hdr視頻信號(hào)中的所述一個(gè)或多個(gè)值的編碼的數(shù)據(jù),并且讀取器被布置成響應(yīng)于指示所述編碼的數(shù)據(jù)而確定所述一個(gè)或多個(gè)值。

依照本發(fā)明的一個(gè)可選的特征,適配器被布置成對(duì)hdr視頻信號(hào)的圖像像素執(zhí)行動(dòng)態(tài)范圍適配。

依照本發(fā)明的一個(gè)可選的特征,適配器被布置成根據(jù)所述一個(gè)或多個(gè)值適配從hdr視頻信號(hào)的輸入動(dòng)態(tài)范圍到用于像素的輸出動(dòng)態(tài)范圍的映射。

依照本發(fā)明的一個(gè)可選的特征,所述一個(gè)或多個(gè)值指示相對(duì)于來(lái)自一個(gè)或多個(gè)覆蓋信號(hào)的百分率貢獻(xiàn)的來(lái)自視頻圖像信號(hào)的對(duì)所述像素的百分率貢獻(xiàn);并且適配器被布置成對(duì)于不同的百分率貢獻(xiàn)應(yīng)用不同的映射。

術(shù)語(yǔ)百分率可以指示來(lái)源于給定源的像素值的貢獻(xiàn)的百分比/比例/比率。

依照本發(fā)明的一個(gè)可選的特征,所述裝置包括:估計(jì)器,用于基于視頻圖像信號(hào)和一個(gè)或多個(gè)覆蓋信號(hào)對(duì)hdr視頻信號(hào)的像素的貢獻(xiàn)的估計(jì),將hdr視頻信號(hào)分割成多個(gè)估計(jì)的信號(hào);混合器,用于在所述適配之后重新混合所述多個(gè)估計(jì)的信號(hào),并且其中適配器被布置成單獨(dú)地適配所述多個(gè)估計(jì)的信號(hào)中的至少一個(gè)。

所述(多個(gè))貢獻(xiàn)可以由所述一個(gè)或多個(gè)值指示。所述適配可以對(duì)于估計(jì)的信號(hào)中的至少兩個(gè)是不同的。

依照本發(fā)明的一個(gè)可選的特征,所述合并屬性指示合并類(lèi)型。

合并類(lèi)型具體地可以指示像素的合并是否是來(lái)自可能的一組合并操作的合并,所述一組合并操作包括以下至少一個(gè):所述合并包括僅僅來(lái)自視頻圖像信號(hào)的貢獻(xiàn);所述合并包括僅僅來(lái)自一個(gè)覆蓋信號(hào)的貢獻(xiàn);所述合并包括既來(lái)自視頻圖像信號(hào)又來(lái)自至少一個(gè)覆蓋信號(hào)的貢獻(xiàn)。

依照本發(fā)明的一個(gè)可選的特征,用于像素的合并屬性指示用于所述像素的、視頻圖像信號(hào)和所述一個(gè)或多個(gè)覆蓋信號(hào)的合并量。

合并量可以反映相對(duì)于輸入視頻圖像信號(hào)權(quán)重的所述一個(gè)或多個(gè)覆蓋信號(hào)中的至少一個(gè)的權(quán)重。合并可以是加權(quán)求和。

依照本發(fā)明的一個(gè)可選的特征,適配器被布置成在適配之前,基于視頻圖像信號(hào)和所述一個(gè)或多個(gè)覆蓋信號(hào)中的至少一些對(duì)hdr視頻信號(hào)的像素值的貢獻(xiàn)的估計(jì)而將hdr視頻信號(hào)分割成超過(guò)一個(gè)估計(jì)的信號(hào),所述超過(guò)一個(gè)估計(jì)的信號(hào)估計(jì)視頻圖像信號(hào)和所述一個(gè)或多個(gè)覆蓋信號(hào)中的所述至少一些,其后對(duì)所述估計(jì)的信號(hào)中的至少一個(gè)進(jìn)行顏色變換以便適配其亮度,并且在適配之后重新混合所述超過(guò)一個(gè)估計(jì)信號(hào)。

依照本發(fā)明的一個(gè)可選的特征,所述合并屬性可以指示像素包括第一覆蓋內(nèi)容,該第一覆蓋內(nèi)容來(lái)源于包括局部生成的圖形內(nèi)容的覆蓋信號(hào)或者包括包含合并的覆蓋內(nèi)容的第二視頻圖像信號(hào)的覆蓋信號(hào)中的至少一個(gè)。

依照本發(fā)明的一個(gè)可選的特征,適配器被布置成適配對(duì)于其而言合并屬性指示像素包括第一覆蓋內(nèi)容的區(qū)內(nèi)的像素以便具有預(yù)定范圍內(nèi)的輸出亮度。

預(yù)定范圍可以例如對(duì)于顯示器而言為反映該顯示器的動(dòng)態(tài)的預(yù)設(shè)范圍。例如,該范圍可以具有峰值視亮度的比如10%的上限以及例如峰值視亮度的1%和1尼特中的較大者的下限??商鎿Q地或者此外,預(yù)定范圍可以由觀看者確定,等等。

依照本發(fā)明的一個(gè)方面,提供了一種對(duì)從超過(guò)一個(gè)源信號(hào)合并的hdr視頻信號(hào)解碼的方法,該方法包括:接收hdr視頻信號(hào);讀取像素的hdr視頻信號(hào)的一個(gè)或多個(gè)顏色分量的至少一個(gè)或多個(gè)最低有效比特并且從讀取的一個(gè)或多個(gè)最低有效比特生成一個(gè)或多個(gè)值,該一個(gè)或多個(gè)值指示用于所述像素的合并屬性,該合并屬性指示用于該像素的hdr視頻信號(hào)中的一個(gè)或多個(gè)覆蓋信號(hào)與視頻圖像信號(hào)的合并的屬性;以及根據(jù)所述一個(gè)或多個(gè)值適配像素值。

依照本發(fā)明的一個(gè)方面,提供了一種用于對(duì)視頻信號(hào)編碼的裝置,該裝置包括:合并器,用于將輸入hdr視頻圖像信號(hào)與一個(gè)或多個(gè)覆蓋信號(hào)合并以便形成合并的視頻信號(hào);處理器,用于生成一個(gè)或多個(gè)值,所述值對(duì)于合并的視頻信號(hào)中的像素指示合并屬性,該合并屬性指示用于該像素的合并的屬性;以及編碼器,用于為所述像素將所述一個(gè)或多個(gè)值編碼到合并的視頻信號(hào)中的像素的像素值的一個(gè)或多個(gè)顏色分量的一個(gè)或多個(gè)最低有效比特中。

依照本發(fā)明的一個(gè)可選的特征,圖像屬性指示用于所述像素的合并類(lèi)型以及輸入hdr視頻圖像信號(hào)和所述一個(gè)或多個(gè)覆蓋信號(hào)的合并量中的至少一個(gè)。

依照本發(fā)明的一個(gè)可選的特征,編碼器被布置成向合并的視頻信號(hào)提供信息信號(hào),該信息信號(hào)包括關(guān)于所述一個(gè)或多個(gè)最低有效比特中的所述一個(gè)或多個(gè)值的編碼的屬性的信息。

依照本發(fā)明的一個(gè)方面,提供了一種對(duì)視頻信號(hào)編碼的方法,該方法包括:將輸入hdr視頻圖像信號(hào)與一個(gè)或多個(gè)覆蓋信號(hào)合并以便形成合并的視頻信號(hào);生成一個(gè)或多個(gè)值,所述值對(duì)于合并的視頻信號(hào)中的像素指示合并屬性,該合并屬性指示用于該像素的合并的屬性;以及為所述像素將所述一個(gè)或多個(gè)值編碼到合并的視頻信號(hào)中的像素的像素值的一個(gè)或多個(gè)顏色分量的一個(gè)或多個(gè)最低有效比特中。

在一些實(shí)施例中,一種編碼方法可以包括:向視頻圖像信號(hào)添加一個(gè)或多個(gè)覆蓋信號(hào)以便形成合并的視頻信號(hào);生成一個(gè)或多個(gè)值,所述值在合并的視頻信號(hào)中為像素指示合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù);以及為所述像素將所述一個(gè)或多個(gè)值編碼到來(lái)自合并的視頻信號(hào)的一個(gè)或多個(gè)顏色分量的一個(gè)或多個(gè)最低有效比特中。

一種視頻處理器可以包括:合并器,用于合并視頻圖像信號(hào)和一個(gè)或多個(gè)覆蓋物(典型地為圖形信號(hào))以便形成合并的視頻信號(hào);以及圖像編碼器,用于生成或者接收指示用于像素的合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù)的一個(gè)或多個(gè)值并且用于為所述像素將所述一個(gè)或多個(gè)值編碼到來(lái)自合并的視頻信號(hào)的一個(gè)或多個(gè)顏色分量的一個(gè)或多個(gè)最低有效比特中。

指示合并類(lèi)型的值可以被認(rèn)為是指示合并的視頻信號(hào)中的像素由哪些信號(hào)組成的值。例如,它可以指示像素是否是純視頻、純覆蓋物、視頻和覆蓋物的混合或者可能地也指示什么類(lèi)型的覆蓋物存在于混合物中。在一些示例中,編碼到一個(gè)或多個(gè)lsb中的至少一個(gè)值指示像素的合并類(lèi)型。在許多實(shí)施例中,這樣的合并類(lèi)型信息足以指示像素的合并類(lèi)型,例如以便能夠區(qū)分純視頻像素和其他像素。在一些示例中,所述值中的至少一個(gè)指示合并類(lèi)型。

所述一個(gè)或多個(gè)合并參數(shù)可以提供關(guān)于信號(hào)的合并量的信息,例如,它可以指示各信號(hào)對(duì)用于該像素的合并信號(hào)的貢獻(xiàn)。合并量例如為混合合并類(lèi)型的像素指示它是否例如是視頻和覆蓋物的50%-50%混合物,或者覆蓋物和視頻的25%-75%混合物,等等。

在一些示例中,只有指示合并比率的合并參數(shù)可以使用。例如,如果使用了6個(gè)lsb,3個(gè)在第一顏色分量中并且3個(gè)在另一個(gè)顏色分量中,其中第一分量中的3個(gè)lsb指示混合進(jìn)來(lái)的視頻的百分比并且另一個(gè)分量中的另外3個(gè)lsb指示混合進(jìn)來(lái)的覆蓋物的量,那么這兩個(gè)三元組lsb的組合提供了關(guān)于類(lèi)型和合并量二者的信息。如果第一分量中的所述3個(gè)lsb全部為零,那么像素為純覆蓋物,如果第二分量中的所述3個(gè)lsb全部為零,那么像素為純視頻。如果第一和第二分量中的所述lsb均為非零,那么像素是混合類(lèi)型(視頻和覆蓋物的混合/合并)并且可以從所述lsb讀取合并量。

一種用于解碼的方法包括:接收視頻信號(hào);讀取顏色分量中的一個(gè)或多個(gè)的最低有效比特中的一個(gè)或多個(gè);從所述最低有效比特生成一個(gè)或多個(gè)值;以及使接收的視頻圖像信號(hào)在顯示之前經(jīng)受適配,其中所述適配取決于生成的一個(gè)或多個(gè)值。

視頻解碼器包括:輸入端,用于接收視頻信號(hào);讀取器,用于讀取像素的視頻信號(hào)的各顏色分量中的一個(gè)或多個(gè)的至少一個(gè)或多個(gè)最低有效比特,并且從讀取的最低有效比特生成一個(gè)或多個(gè)值;以及適配器,用于適配視頻,其中適配器被布置成根據(jù)生成的一個(gè)或多個(gè)值適配像素值。

在已知的方法和系統(tǒng)中,從其中視頻信號(hào)已經(jīng)與覆蓋物合并的諸如機(jī)頂盒或者藍(lán)光光盤(pán)播放器之類(lèi)的vps(視頻處理系統(tǒng))接收數(shù)據(jù)的顯示器沒(méi)有辦法將視頻信息(其優(yōu)選地應(yīng)當(dāng)經(jīng)過(guò)增強(qiáng)以便適合顯示器的能力)和諸如字幕之類(lèi)的覆蓋物區(qū)分,或者和作為原始視頻和覆蓋物的混合的信號(hào)區(qū)分,所述原始視頻和覆蓋物典型地應(yīng)當(dāng)進(jìn)行不同的處理。機(jī)頂盒和藍(lán)光光盤(pán)播放器是視頻處理系統(tǒng)的示例。

通常,vps是消費(fèi)側(cè)設(shè)備。所述方法不限于這樣的家用設(shè)備。vps可以是遠(yuǎn)程的(即非家用的)設(shè)備或系統(tǒng)。

例如,在點(diǎn)播tv的情況下,vps可以是進(jìn)行節(jié)目+字幕的某種混合的電視臺(tái)的盒,或者甚至可能是來(lái)自中間方(例如添加來(lái)自商業(yè)公司的令人感興趣的進(jìn)一步文本“購(gòu)買(mǎi)這款車(chē)”的有線(xiàn)臺(tái))的插入/記錄。同樣地,在“點(diǎn)播”tv的情況下,用戶(hù)可以例如選擇字幕語(yǔ)言,其中語(yǔ)言字幕不是在終端用戶(hù)(例如在家里)合并,而是在源處合并,即,發(fā)送至家庭用戶(hù)的信號(hào)是合并的信號(hào)。vps于是將是一種遠(yuǎn)程系統(tǒng)。該方法不受合并器的物理地點(diǎn)或者合并視頻和覆蓋物的算法的限制,重要的方面在于它們被合并了。再者,合并不一定必須發(fā)生在單個(gè)設(shè)備或者方法步驟中,例如,中間方在屏幕的一部分上添加令人感興趣的文本(“購(gòu)買(mǎi)這款車(chē)”),而電視臺(tái)在屏幕的另一部分提供字幕。在那種情況下,發(fā)生了兩個(gè)合并行為,或者等效地,執(zhí)行了分布式多步合并。

在已知的方法和設(shè)備中,不可能從來(lái)自例如機(jī)頂盒的視頻信號(hào)數(shù)據(jù)中發(fā)現(xiàn)像素是覆蓋物的部分還是原始視頻的部分,更不用說(shuō)像原始圖形顏色值、視頻像素顏色或者混合百分比那樣的混合的詳細(xì)方面如何。這通常對(duì)于觀看者而不是顯示器而言可能是顯而易見(jiàn)的。在現(xiàn)有技術(shù)us20140125696中,在合并之前適配覆蓋物,但是這需要vps中的輸入,其可能不是可用的。再者,vps可能不知道附接的顯示器的特性,或者可能甚至對(duì)于應(yīng)當(dāng)向視頻應(yīng)用什么顏色變換一無(wú)所知,并且因此缺乏必要的信息。

字幕和其他覆蓋物不形成原始hdr視頻的部分,并且通常不需增強(qiáng),或者至少不以與視頻本身相同的量增強(qiáng)。動(dòng)態(tài)范圍適配參數(shù)(以及在更一般意義上,通過(guò)無(wú)論什么功能操縱使視頻數(shù)據(jù)適應(yīng)顯示器的對(duì)于hdr視頻數(shù)據(jù)的任何操縱或改變)通常僅僅適用于底層視頻,而不適用于包含圖形覆蓋物的區(qū)域。動(dòng)態(tài)范圍適配參數(shù)在某些情況下(例如當(dāng)場(chǎng)景正在變化時(shí))可能變化,而字幕或者菜單覆蓋物在該變化期間可以是固定的。

在已知的方法和系統(tǒng)中,顯示器將(并且事實(shí)上不能以其他方式進(jìn)行)與像素是否形成覆蓋物的部分無(wú)關(guān)地處理接收的合并視頻的每一個(gè)像素。從解碼器側(cè)看,合并器和合并過(guò)程是一個(gè)黑盒。存在輸出,并且可能存在以及可能已經(jīng)存在一些合并的信號(hào),但是這是否已發(fā)生和如何發(fā)生是未知的并且不可能變?yōu)橐阎?/p>

這可能例如導(dǎo)致諸如字幕之類(lèi)的覆蓋物開(kāi)始與諸如亮燈之類(lèi)的視頻附近部分的動(dòng)態(tài)增強(qiáng)協(xié)調(diào)地進(jìn)行強(qiáng)度波動(dòng)。

在當(dāng)前的方法中,視頻信號(hào)的分量的一個(gè)或多個(gè)最低有效比特被使用,并且在一定意義上被犧牲(盡管在一些技術(shù)實(shí)現(xiàn)方式中,一些比特仍然可用于按像素對(duì)除了視頻像素顏色數(shù)據(jù)之外的另外的信息編碼),以便提供關(guān)于像素是否以及在許多示例中在什么量上由覆蓋物(例如字母或菜單)形成或者是該覆蓋物的部分和/或由原始視頻形成的信息。這允許接收所述方法或者當(dāng)前方法的設(shè)備生成的視頻信號(hào)的顯示器與不包括覆蓋物而是僅僅包括原始視頻的圖像的部分不同地處理例如作為原始視頻和覆蓋物的混合的圖像的部分或者覆蓋物。在解碼器側(cè),可以在逐像素的基礎(chǔ)上獲得關(guān)于合并器中發(fā)生的合并的洞察。

在一種低復(fù)雜度的布置中,一個(gè)分量的單個(gè)最低有效比特填充有指示值。

單個(gè)比特可以是0或1。這允許視頻在逐像素基礎(chǔ)上區(qū)分哪些像素屬于原始視頻以及哪些像素屬于覆蓋物或者視頻和覆蓋物的混合。在該簡(jiǎn)單布置中,可以緩解上面的例如字幕與燈共同波動(dòng)的問(wèn)題。顯示器被提供這樣的信息,該信息允許它將覆蓋物(例如字幕)與視頻區(qū)分并且在保持字幕例如固定的同時(shí)動(dòng)態(tài)地適配視頻的圖像再現(xiàn),或者以不同的方式使它們適應(yīng)視頻像素。

在一個(gè)簡(jiǎn)單實(shí)施例中,動(dòng)態(tài)范圍適配可以應(yīng)用到屬于原始視頻的像素,而沒(méi)有或者固定的動(dòng)態(tài)范圍適配應(yīng)用到屬于覆蓋物的像素。

顏色分量可以是例如信號(hào)的rgb分量之一,或者在信號(hào)處于yuv格式的情況下,是yuv分量之一,例如像素的亮度y。

在更詳細(xì)的實(shí)施例中,超過(guò)一個(gè)最后有效比特填充有指示值。

例如在使用3比特時(shí),這允許例如當(dāng)覆蓋物部分透明時(shí)區(qū)分超過(guò)一個(gè)狀態(tài)。例如,當(dāng)三個(gè)狀態(tài)成為可能(例如全視頻、全覆蓋物以及視頻和覆蓋物的混合)時(shí),可以識(shí)別變化的合并程度。動(dòng)態(tài)范圍適配可以例如應(yīng)用到作為全原始視頻的像素,沒(méi)有動(dòng)態(tài)范圍適配應(yīng)用到作為全覆蓋物的像素,并且根據(jù)視頻對(duì)覆蓋物的比率,變化程度的動(dòng)態(tài)范圍適配應(yīng)用到作為部分原始視頻、部分覆蓋物的像素。

最低有效比特的犧牲典型地對(duì)圖像具有很小的影響或者沒(méi)有影響。通常,根本沒(méi)有犧牲,因?yàn)閘sb不包括高度可見(jiàn)的圖像信息。

即使在一些情況下?tīng)奚畹陀行П忍乩碚撋峡赡茉谝欢ǔ潭壬辖档头浅>?xì)的細(xì)節(jié)的再現(xiàn),但是大多數(shù)視頻信號(hào)中(以及尤其是hdr信號(hào)中)使用的比特?cái)?shù)量通常對(duì)于圖像在這樣的細(xì)節(jié)中的再現(xiàn)是足夠的,使得最低有效比特的損失將不可見(jiàn)。

即使在會(huì)存在小的負(fù)面影響的情況下,能夠更好地再現(xiàn)覆蓋物的正面效果遠(yuǎn)遠(yuǎn)超過(guò)任何負(fù)面效果。

當(dāng)考慮原始視頻的比特深度時(shí),用來(lái)傳達(dá)視頻/覆蓋物信息的最低有效比特(lsb)可以選自各個(gè)不同的分量。

很多時(shí)候,接口上按像素用于至少一個(gè)顏色分量的比特?cái)?shù)量(例如16或12)多于原始視頻中的比特?cái)?shù)量(例如12或10)。在那種情況下,如果只需傳送很少的關(guān)于合并情形的信息,那么對(duì)視頻質(zhì)量可能根本沒(méi)有影響。在許多情況下,可以簡(jiǎn)單地使用接口通道的附加帶寬。

在許多實(shí)現(xiàn)方式中,在像素的所述3個(gè)或更多分量上劃分的不超過(guò)8比特填充有指示覆蓋物對(duì)像素值的貢獻(xiàn)的數(shù)據(jù)。犧牲超過(guò)8比特典型地不會(huì)大大改進(jìn)正面效果,然而開(kāi)始對(duì)圖像再現(xiàn)具有增大的負(fù)面效果,并且如上所述,如果合并的信號(hào)中使用的比特?cái)?shù)量多于原始視頻,那么根本無(wú)需犧牲比特。在一些實(shí)施例中,6或4個(gè)指示比特也可以傳送最有用的信息。在一些實(shí)施例中,合并的信號(hào)中使用的比特?cái)?shù)量可以超過(guò)視頻信號(hào)中的比特?cái)?shù)量。在下文中,首字母縮略詞lsb也將用于“最低有效比特”。

在一些實(shí)施例中,合并的視頻信號(hào)中指示合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù)的lsb的數(shù)量可以是例如根據(jù)合并類(lèi)型而可變的。

對(duì)于簡(jiǎn)單的合并類(lèi)型,例如“只有視頻”,需要更少的lsb將信息傳遞至解碼器。將更少的lsb用于合并類(lèi)型和合并參數(shù)信息為視頻像素顏色信息的傳遞提供了更多比特。

可以提供一種編碼長(zhǎng)度信號(hào),使得在解碼側(cè),編碼的長(zhǎng)度可以已知??勺冮L(zhǎng)度編碼可以通過(guò)合并類(lèi)型指示來(lái)提供。

可以在與提供關(guān)于合并量的信息(例如覆蓋物的透明度或者混合比例)的lsb相分離的lsb中提供關(guān)于指示合并屬性的數(shù)據(jù)的編碼的信息(例如,哪些成分被合并,其中“成分”可以是視頻以及一個(gè)或多個(gè)覆蓋物)。

這允許在關(guān)于合并的更詳細(xì)信息之前寫(xiě)入和讀取關(guān)于編碼的信息。這允許將更少的lsb用于信息傳遞,因此留下更多的比特用于其他信息,例如亮度信息。

在一些實(shí)施例中,例如以元數(shù)據(jù)或者標(biāo)志的形式向信號(hào)或者在信號(hào)中提供信息,所述信息指示哪種值編碼指示合并屬性。例如,它可以指示用于提供關(guān)于合并的信息的一個(gè)或多個(gè)lsb,所述信息諸如哪些信號(hào)被合并和或它們?nèi)绾伪缓喜⒁约八鼈兛梢匀绾伪蛔x取。

附圖說(shuō)明

依照本發(fā)明的方法和裝置的這些和其他方面根據(jù)下文描述的實(shí)現(xiàn)方式和實(shí)施例將是清楚明白的,并且將參照這些實(shí)現(xiàn)方式和實(shí)施例且參照附圖進(jìn)行闡述,附圖僅僅用作例示更一般構(gòu)思的非限制性特定圖示。

圖1圖示出視頻信號(hào)的合并的一個(gè)示例。

圖2圖示出依照本發(fā)明一些實(shí)施例的視頻處理系統(tǒng)的一個(gè)示例。

圖3圖示出依照本發(fā)明一些實(shí)施例的視頻處理系統(tǒng)的一個(gè)示例。

圖4-7圖示出依照本發(fā)明一些實(shí)施例的視頻處理系統(tǒng)中的編碼的一些實(shí)施例的示例。

圖8示意性地圖示出現(xiàn)有技術(shù)方法和系統(tǒng)的問(wèn)題。

圖9圖示出合并視頻和覆蓋物的示例。

圖10圖示出動(dòng)態(tài)范圍適配的一些示例。

圖11圖示出依照本發(fā)明一些實(shí)施例的系統(tǒng)的一個(gè)示例。

圖12圖示出動(dòng)態(tài)范圍適配的一些示例。

圖13圖示出本發(fā)明一些實(shí)施例的方面的示例。

圖14圖示出本發(fā)明一些實(shí)施例的方面的示例。

圖15和圖16示出了依照本發(fā)明一些實(shí)施例的在vps中編碼和在tv中解碼的組合的示例。

圖17圖示出包括依照本發(fā)明一些實(shí)施例的功能的顯示器。

圖18和圖19圖示出本發(fā)明一些實(shí)施例的方面的一個(gè)示例。

圖20和圖21圖示出生成合并操作的指示的一些示例。

圖22圖示出可能的動(dòng)態(tài)范圍映射的示例。

具體實(shí)施方式

在圖1中,圖示出與編碼側(cè)有關(guān)的本發(fā)明示例性實(shí)施例的方面的一個(gè)示例。

在視頻處理系統(tǒng)或者視頻處理器(vps)1中,用于原始視頻的輸入視頻圖像信號(hào)2在vps1的合并器5中與覆蓋物3和4合并,以便提供合并的視頻信號(hào)6,其包括原始視頻和覆蓋物的合并。合并器5向編碼器部分7提供信息。

輸入視頻圖像信號(hào)2在它提供hdr信號(hào)的表示這個(gè)意義上是一種hdr圖像信號(hào)。輸入視頻圖像信號(hào)2本身可以是意圖在hdr顯示器上呈現(xiàn)的圖像,即,顏色分級(jí)/色調(diào)映射可以適于直接在具有不小于典型地500(或者1000)尼特的最大視亮度的顯示器上再現(xiàn)。在其他實(shí)施例中,輸入視頻圖像信號(hào)2可以提供這樣的圖像表示,其意圖直接在ldr顯示器上顯示,即在具有低于(典型地)500尼特的最大視亮度的顯示器上顯示,但是其具有到意圖用于在hdr顯示器上顯示的hdr圖像的直接(已知)映射或者轉(zhuǎn)化。因此,輸入視頻圖像信號(hào)2可以是使用hdr-ldr映射從圖像的hdr圖像表示映射的ldr圖像表示。這樣的消息仍然是hdr圖像,因?yàn)樵糷dr圖像可以通過(guò)應(yīng)用逆映射而重新生成(其可以進(jìn)一步包括在hdr圖像中)。

類(lèi)似地,覆蓋物可以被提供作為hdr表示,或者可以是可以與hdr圖像信號(hào)的hdr或者ldr表示結(jié)合的ldr表示。

合并的視頻信號(hào)6類(lèi)似地為hdr圖像信號(hào),并且事實(shí)上輸入信號(hào)為(直接或間接的)hdr圖像信號(hào),覆蓋值與輸入值的簡(jiǎn)單合并將導(dǎo)致合并的視頻信號(hào)6與輸入視頻圖像信號(hào)2相應(yīng)。在圖1的示例中,原始輸入視頻圖像信號(hào)2與字幕信號(hào)3和/或菜單信號(hào)4(例如,用來(lái)控制操作的vps的菜單,諸如例如可以從中選擇源視頻或者改變聲音音量的菜單,或者來(lái)自bd盤(pán)的示出如何播放盤(pán)的可用選項(xiàng)的菜單,等等)合并。vps包括用于編碼合并的視頻信號(hào)6的編碼器7。關(guān)于用于像素的合并的合并信息(例如像素是視頻還是覆蓋物以及在什么程度上)由合并器5經(jīng)由合并信息信號(hào)mis提供給編碼器7。合并信息提供關(guān)于合并屬性的信息,該合并屬性指示用于該像素的將所述一個(gè)或多個(gè)覆蓋信號(hào)3、4添加到輸入視頻圖像信號(hào)2的屬性。合并屬性具體地可以指示合并的視頻信號(hào)6中的像素的源(即合并的視頻信號(hào)中的像素由哪些信號(hào)組成)和/或信號(hào)的合并量。合并信息可以例如是信號(hào)被合并這一事實(shí)的指示(例如“這個(gè)像素是視頻+字幕”)和/或用于合并的信號(hào)的不同分量的透明度數(shù)據(jù)(例如,它可以是合并的字幕具有比如50%或25%的透明度的指示)。

圖1示出了兩種可能類(lèi)型的覆蓋物,字幕3和/或菜單4在合并器5中與視頻合并。當(dāng)然,在其他實(shí)施例中可以使用其他類(lèi)型的覆蓋物,諸如例如pip(畫(huà)中畫(huà))、標(biāo)識(shí)(logo)或者廣告覆蓋物等等。此外或者可替換地,這樣的覆蓋物可以在合并器5中與視頻合并。技術(shù)人員將會(huì)理解,所描述的方法/裝置的實(shí)施例可以用在其中只有一種簡(jiǎn)單種類(lèi)的特殊像素(例如只有少數(shù)可能的不透明顏色的簡(jiǎn)單字幕)的各種不同的情景中,或者可以用在其中可能同時(shí)存在各種不同類(lèi)型的圖形或視頻混合的更復(fù)雜的系統(tǒng)中。在這樣的示例中,這些不同的類(lèi)型可以例如通過(guò)下文描述的情形表征代碼化(codification)來(lái)辨別。

在合并操作之后,在許多實(shí)施例中,各像素可以是若干合并類(lèi)型之一。例如,它可以是包括來(lái)自?xún)H僅一個(gè)源的貢獻(xiàn)的純類(lèi)型,例如,它可以是純視頻或者純覆蓋物(其中覆蓋物類(lèi)型也可能是重要的,即,不同類(lèi)型的覆蓋物可能導(dǎo)致不同的合并類(lèi)型)??商鎿Q地,各像素可以是混合或者合并的類(lèi)型,其中像素由來(lái)自超過(guò)一個(gè)源的貢獻(xiàn)(例如50%的視頻和50%的字幕)組成。權(quán)重可以例如通過(guò)與視頻合并的字幕的透明度確定。

圖2圖示出編碼器7執(zhí)行的編碼。編碼器7經(jīng)由信號(hào)mis被提供合并信息a’,其中合并信息指示反映合并器5中的合并的屬性的合并屬性。編碼器為(典型地)每個(gè)像素生成值a,該值為合并的視頻信號(hào)中的給定像素指示合并屬性,該合并屬性指示用于該像素的將一個(gè)或多個(gè)覆蓋信號(hào)3、4合并到輸入視頻圖像信號(hào)2的屬性。用于像素的值a具體地可以指示如從接收的信息a’所確定的用于該像素的合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù)。

在一些實(shí)施例中,合并器5可以直接將值a提供給編碼器7,在這種情況下,a’=a。在其他實(shí)施例中,編碼器7可以生成不同的值a以便從接收的值a’編碼。

在圖2的特定低復(fù)雜度示例中,合并的圖像的每個(gè)像素被指示為視頻或者是字幕或菜單。因此,每個(gè)像素被指示為兩種可能的合并類(lèi)型之一。

編碼器7利用它在合并器提供的信息的基礎(chǔ)上生成的或者它從合并器5直接接收的值a填充hdr信號(hào)的分量之一的最低有效比特中的一個(gè)(或多個(gè))。

在圖2的示例中,合并的視頻信號(hào)6是一個(gè)三色分量視頻信號(hào),并且像這樣地被編碼。具體地,它使用三色分量r、g和b,其在該特定示例中被指示為每一個(gè)具有12比特,即每個(gè)顏色分量值由12比特表示。在圖2中,所述填充具體地被描繪為在單獨(dú)的編碼器7中執(zhí)行,但是本領(lǐng)域技術(shù)人員將領(lǐng)會(huì)的是,這可以通過(guò)其他功能單元執(zhí)行,并且特別地編碼器可以形成合并器5的一部分,該合并器在一些實(shí)施例中可以同時(shí)執(zhí)行這兩個(gè)功能。

在該示例中,每個(gè)像素只能或者為視頻,或者它可以是字幕或菜單,因此對(duì)于值a使用簡(jiǎn)單的二進(jìn)制表示0或1就足夠了,其中0可以表示像素為純(未受影響的)視頻,并且1表示像素代表字幕或菜單(或者例如它表示任何特殊的圖形對(duì)象)。這可以由單個(gè)比特表示,并且因此對(duì)于該像素而言,所述值可以在lsb之一中提供。在該示例中,使用了藍(lán)色通道,因?yàn)槿祟?lèi)視覺(jué)對(duì)于該信息不那么敏感,并且因此在lsb中引入小錯(cuò)誤的感知影響被降低。在其他實(shí)施例中,可以使用其他顏色通道。例如,對(duì)于yuv編碼而言,我們可以例如經(jīng)必要的修改而使用u或v分量之一。

在例如圖2中所示的許多實(shí)施例中,存在一種用于確定關(guān)于合并的信息并且具體是用于找到值a的替代路線(xiàn)。代替合并器5直接向編碼器7提供具有合并信息a’的信號(hào)mis,比較器可以用于在合并之前將信號(hào)2、3和/或4中的一個(gè)或多個(gè)與合并的信號(hào)6相比較。因此,可以響應(yīng)于合并的視頻信號(hào)6與到合并器7的輸入信號(hào)中的一個(gè)或多個(gè)的比較來(lái)確定合并屬性。例如,如果對(duì)于一定像素,將輸入視頻圖像信號(hào)2與合并的視頻信號(hào)6相比較并且發(fā)現(xiàn)這兩個(gè)信號(hào)相同,那么可以假設(shè)所述像素為純視頻并且沒(méi)有發(fā)生輸入圖像信號(hào)與覆蓋物的合并。于是,可以將用于所述像素的a的值設(shè)置為例如0,指示“像素為純視頻”。如果輸入視頻信號(hào)2和合并的視頻信號(hào)6不同,那么發(fā)生了合并。于是,可以將用于所述像素的a的值設(shè)置為例如1,指示“像素為混合類(lèi)型”。這樣的比較方案提供了關(guān)于合并的信息,該信息不是直接來(lái)自合并器5,而是借助于合并之前和之后的信號(hào)的比較。這樣的比較可以在比較器中做出,該比較器可以是合并器5或者編碼器6的一部分或者與其耦合。也可以做出更復(fù)雜的比較。當(dāng)然,也可以使用這兩種可能性的任意組合。例如,合并器5可以在信號(hào)mis中提供粗糙指示(例如指示像素是否表示純視頻(即沒(méi)有來(lái)自覆蓋物的任何貢獻(xiàn)的輸入視頻圖像信號(hào)2)),并且如果該指示表明“不是純視頻”,那么在進(jìn)來(lái)的信號(hào)中的一個(gè)或多個(gè)與合并的信號(hào)之間執(zhí)行比較以便確定關(guān)于合并的更多細(xì)節(jié)。然后,在逐像素的基礎(chǔ)上將所確定的合并信息編碼到一個(gè)或多個(gè)lsb中。

在一個(gè)一定程度上更復(fù)雜的實(shí)施例中,也可以編碼覆蓋物類(lèi)型,例如,可以對(duì)覆蓋物是字幕還是菜單進(jìn)行編碼。在這樣的情況下,超過(guò)兩種合并類(lèi)型是可能的,并且超過(guò)一個(gè)lsb用于編碼合并類(lèi)型。因此,在這樣的示例中,值a可以采取超過(guò)兩個(gè)值,并且相應(yīng)地,它由超過(guò)單個(gè)的比特表示并且因此在多個(gè)lsb中傳送。圖3圖示出這樣的示例,其中在每個(gè)顏色分量中使用最低有效比特。這提供三個(gè)信息比特,它們可以用信號(hào)發(fā)送最大八種合并類(lèi)型(例如八種類(lèi)型的覆蓋物,一種類(lèi)型指示不存在覆蓋物)(2的3次方,因?yàn)樵谶@個(gè)僅僅用來(lái)闡明的示例中,我們使用了來(lái)自每個(gè)通道的最低比特以用于情形編碼)。技術(shù)人員可以由此理解,給定一方面視頻和圖形外觀的所需質(zhì)量以及另一方面用于典型的接收器顏色變換(和情形重構(gòu))功能的情形代碼化的希望的量,依照技術(shù)上系統(tǒng)所優(yōu)選的,我們可以如何使用來(lái)自第一顏色分量的n比特,來(lái)自第二顏色分量的m比特以及來(lái)自第三顏色分量的o比特。因此,不同顏色通道中使用的lsb的確切數(shù)量將取決于各實(shí)施例的優(yōu)選項(xiàng)和要求。

圖4-6示出了針對(duì)視頻信息的輸入流而被控制的視頻處理的另外的實(shí)施例。

圖4示出了一個(gè)實(shí)施例,其中僅僅提供了表示hdr圖像的ldr視頻數(shù)據(jù)。在該示例中,將ldr圖像數(shù)據(jù)43分級(jí)以便直接在ldr顯示器上顯示。例如,圖像數(shù)據(jù)的源可能已經(jīng)針對(duì)比如100尼特顯示器優(yōu)化了動(dòng)態(tài)范圍,并且因此如果圖像在ldr顯示器(具有最大100尼特的視亮度)上呈現(xiàn),那么它可以在沒(méi)有任何動(dòng)態(tài)范圍適配或者進(jìn)一步的顏色分級(jí)的情況下被直接再現(xiàn)。然而,該ldr圖像數(shù)據(jù)仍然提供了hdr圖像的表示,因?yàn)樵摂?shù)據(jù)允許通過(guò)應(yīng)用動(dòng)態(tài)范圍映射直接生成原始hdr圖像。因此,通過(guò)知道動(dòng)態(tài)范圍映射,接收端可以重新生成原始hdr圖像。

具體地,在發(fā)射或者源端,hdr圖像可能經(jīng)受顏色(具體地亮度)分級(jí)以便生成適合于在ldr顯示器上呈現(xiàn)或者針對(duì)該呈現(xiàn)優(yōu)化的輸出圖像。該分級(jí)可以提供一種動(dòng)態(tài)范圍映射或函數(shù),其具體地可以是一個(gè)齊次(homogeneous)一對(duì)一(可逆)函數(shù),例如直接將輸入亮度與輸出亮度相關(guān)。結(jié)果,生成可以直接在ldr顯示器上呈現(xiàn)的輸出圖像。然而,ldr圖像數(shù)據(jù)仍然表示hdr圖像,并且具體地提供hdr圖像的這樣的表示,可以通過(guò)應(yīng)用逆動(dòng)態(tài)范圍映射或函數(shù)從該表示生成原始hdr。因此,即使圖像由允許在ldr顯示器上直接呈現(xiàn)的圖像數(shù)據(jù)表示,它仍然提供hdr圖像的表示(例如,它可以被認(rèn)為是hdr圖像的特定編碼)。因此,與其中僅僅考慮ldr圖像并且其中接收的ldr圖像數(shù)據(jù)導(dǎo)出自(并且表示)ldr圖像的常規(guī)方法形成對(duì)照的是,該示例的ldr圖像數(shù)據(jù)實(shí)際上是hdr圖像的(ldr)表示。因此,在該示例中,接收的ldr圖像數(shù)據(jù)與原始hdr圖像相聯(lián)系或者與之關(guān)聯(lián)。具體地,在該示例中,用于hdr顯示器的hdr圖像可以通過(guò)增強(qiáng)ldr圖像以便提供hdr表示來(lái)導(dǎo)出。

圖4的視頻處理系統(tǒng)將在下文中被認(rèn)為是bd(藍(lán)光光盤(pán))播放器41,但是將領(lǐng)會(huì)的是,在其他實(shí)施例中,它可以是其他設(shè)備。bd播放器41接收視頻信息的輸入流,例如bd數(shù)據(jù)流42。該流包括ldr視頻數(shù)據(jù)43和用于生成圖形的圖形數(shù)據(jù)44(或者可替換地或附加地,圖形數(shù)據(jù)可能來(lái)自另一個(gè)地方,例如,它可能是在播放器本身中生成的圖形,或者通過(guò)諸如互聯(lián)網(wǎng)之類(lèi)的網(wǎng)絡(luò)連接接收的圖形,等等)兩者。

ldr視頻數(shù)據(jù)43(表示hdr圖像)在ldr解碼器ldr-dec45中進(jìn)行處理,提供解碼的信號(hào)46(例如依照mpeg或者用于存儲(chǔ)的類(lèi)似視頻編碼標(biāo)準(zhǔn)從dct變換數(shù)據(jù)導(dǎo)出的每像素的線(xiàn)性rgb顏色)。圖形數(shù)據(jù)44在圖形解碼器gr-dec47中進(jìn)行處理并且構(gòu)成覆蓋物48,該覆蓋物在覆蓋處理器ovr49中用來(lái)覆蓋視頻信號(hào)以便生成合并的圖像顯示信號(hào)50,例如hdmi信號(hào),即通過(guò)hdmi接口(或者任何其他視頻信號(hào)通信系統(tǒng))發(fā)送的信號(hào)。該覆蓋處理器將視頻與諸如字幕或菜單之類(lèi)的一個(gè)或多個(gè)覆蓋物合并,并且因此在本發(fā)明的框架內(nèi)也稱(chēng)為合并器。ovr例如對(duì)遙控器發(fā)送的信號(hào)做出反應(yīng),觀看者利用該遙控器可以選擇例如是否使用字幕,并且如果是,則用哪種語(yǔ)言,和或是否啟動(dòng)菜單,等等。hdmi信號(hào)50是合并的信號(hào),其將由顯示設(shè)備接收并且其導(dǎo)致圖像顯示在顯示設(shè)備的顯示器上,其中顯示器上顯示的圖像可以具有字幕和/或菜單部分。在編碼器51中,合并的信號(hào)的最低有效比特中的一個(gè)或多個(gè)被填充合并信息,例如具體是關(guān)于各像素是否和/或在什么程度上表示視頻或覆蓋物的信息。對(duì)應(yīng)lsb中的信息可以在解碼器側(cè)被讀取,并且因此告知解碼器例如合并的像素的合并類(lèi)型(例如像素的成分是什么,即哪些信號(hào)被合并,或者事實(shí)上,信號(hào)是否被合并)和/或例如合并參數(shù)(例如指示合并的信號(hào)之間的合并比率)。換言之,lsb中的信息可以是這樣的值,其指示什么被合并(例如合并類(lèi)型信息)和/或輸入信號(hào)如何被合并(例如,用于例如像素的合并量,所述像素是混合或者合并類(lèi)型的像素)。如上文所解釋的,這樣的信息可以基于合并器49提供的信息和/或通過(guò)比較合并之前和之后的信號(hào)而提供的信息。

圖5示出了通過(guò)圖形處理控制數(shù)據(jù)和顯示模式控制的針對(duì)視頻信息的輸入流的視頻處理的一個(gè)示例,該輸入流包括ldr和hdr視頻數(shù)據(jù)二者。系統(tǒng)類(lèi)似于圖4的系統(tǒng)。然而,一個(gè)附加的特征是,bd數(shù)據(jù)流42具有旨在直接呈現(xiàn)在ldr顯示器上的ldr視頻數(shù)據(jù)43以及表示附加hdr數(shù)據(jù)的hdr視頻數(shù)據(jù)52兩者。hdr視頻數(shù)據(jù)52可以例如通過(guò)直接提供動(dòng)態(tài)范圍映射或者逆動(dòng)態(tài)范圍映射函數(shù)來(lái)例如提供關(guān)于用來(lái)從原始hdr圖像生成ldr圖像數(shù)據(jù)的映射的信息。在其他實(shí)施例中,hdr數(shù)據(jù)可以直接提供原始hdr圖像的完整或者部分hdr表示或者原始hdr圖像的不同hdr表示(例如與不同的最大視亮度水平有關(guān))。事實(shí)上,在一些實(shí)施例中,輸入視頻圖像信號(hào)2由于hdr圖像數(shù)據(jù)的原因而可以被認(rèn)為是hdr視頻圖像信號(hào),其中l(wèi)dr圖像數(shù)據(jù)潛在地不是hdr圖像的表示。

在一些實(shí)施例中,hdr視頻數(shù)據(jù)52具體地可以定義例如僅僅顏色映射函數(shù)以便將盤(pán)上的ldr表示變換成hdr表示。然而,在其他實(shí)施例中,數(shù)據(jù)在雙圖像編碼系統(tǒng)中可以直接是hdr圖像,或者圖像的部分(例如僅僅針對(duì)ldr圖像的高視亮度區(qū)而提供,等等)。視頻處理系統(tǒng)包括用于解碼hdr信號(hào)的hdr解碼器hdr-dec54。在一些實(shí)施例中,可以例如根據(jù)將通過(guò)hdmi接口發(fā)送ldr還是hdr圖像而使用所述解碼器中的任一個(gè)或者二者??商鎿Q地,在一些實(shí)施例或者情景中,信號(hào)可以?xún)H僅包括hdr信號(hào)。

在圖4和圖5二者中,圖形數(shù)據(jù)(關(guān)于覆蓋物的信息)是進(jìn)來(lái)的信號(hào)的部分。將領(lǐng)會(huì)的是,在許多實(shí)施例中,圖形數(shù)據(jù)在vps內(nèi)生成是可能的。在該系統(tǒng)中,視頻信號(hào)和一個(gè)或多個(gè)覆蓋物被合并,并且這不限于以任何特定形式提供或者從任何特定源提供的圖形數(shù)據(jù)或覆蓋物。所述合并提供了這樣的信號(hào),其中視頻和所述一個(gè)或多個(gè)覆蓋物被合并,從而為至少一些像素提供合并的像素值。

合并的像素值本身并不直接提供關(guān)于什么被合并或者所述合并被如何執(zhí)行(即用于每個(gè)像素的合并量)的信息。

在一些實(shí)施例中,所述合并可以是用于每個(gè)像素的選擇合并。因此,對(duì)于每個(gè)像素,輸入信號(hào)之一的像素值、即輸入視頻數(shù)據(jù)或者覆蓋物之一的像素值被選擇用于每個(gè)像素。例如,對(duì)于字幕區(qū),合并器可以將輸出像素值選為字幕覆蓋物輸入的像素值。然而,在字幕區(qū)之外,合并器可以選擇輸入視頻圖像的像素值。因此,生成合并的圖像,其包括字幕區(qū)中的字幕覆蓋物像素值以及圖像其余部分中的圖像像素值。在其他實(shí)施例中,像素值可以例如通過(guò)組合來(lái)自所述覆蓋物中的一個(gè)或多個(gè)和輸入圖像的像素值來(lái)生成。例如,可以在輸入圖像的像素值與用于字幕覆蓋物的像素值之間進(jìn)行加權(quán)求和。用于字幕覆蓋物像素值的權(quán)重可以例如反映字幕的透明度水平。

將領(lǐng)會(huì)的是,覆蓋物信息不必被提供作為包括像素值集合的完整或部分圖像,而是可以以任何適當(dāng)?shù)男问教峁T如例如被提供作為字母集合,來(lái)自所述字母集合的像素值可以基于存儲(chǔ)的每個(gè)字母的圖形表示來(lái)確定。

從輸出來(lái)看,提供覆蓋物和視頻的合并的常規(guī)設(shè)備是黑盒設(shè)備,其提供輸出,但是不能根據(jù)輸出推斷設(shè)備內(nèi)部發(fā)生了什么。然而,在所描述的示例中,一個(gè)或多個(gè)最低有效比特由關(guān)于已經(jīng)執(zhí)行的合并的信息占用,并且因此它提供了一種提供對(duì)于在合并器中執(zhí)行的過(guò)程的洞察的低復(fù)雜度方式。換言之,從解碼器的角度來(lái)看,所述設(shè)備/合并器不再形成一種黑盒,相反地,提供了對(duì)于合并操作的洞察。

這允許解碼器側(cè)執(zhí)行更適應(yīng)合并的信號(hào)的實(shí)際合并特性(即在逐像素基礎(chǔ)上什么被合并和/或如何合并)的適配。特別地,它允許解碼器執(zhí)行可以針對(duì)各圖像對(duì)象的各特性、特別是性質(zhì)而優(yōu)化的動(dòng)態(tài)范圍適配。

圖6示出了另一個(gè)示例性實(shí)施例。該示例與關(guān)于圖4和圖5所描述的示例相應(yīng),但是具有進(jìn)一步的附加特征:bd信號(hào)42也包括用于hdr顯示器的關(guān)于如何動(dòng)態(tài)地適配信號(hào)50的信息55。因此,可以包括關(guān)于動(dòng)態(tài)范圍適配的特定信息。該信息可以例如為與視頻信號(hào)一起提供的元數(shù)據(jù)的形式,其中該元數(shù)據(jù)可以編碼例如用于改變例如ldr圖像的像素顏色的亮度的亮度增強(qiáng)函數(shù)。作為另一個(gè)示例,它可以編碼從hdr圖像映射到ldr圖像的動(dòng)態(tài)范圍映射。這樣的方法可以適合其中hdmi圖像為hdr圖像的情景,并且可以允許通過(guò)將hdmi圖像映射到適當(dāng)?shù)膌dr表示而將信號(hào)呈現(xiàn)在ldr顯示器上。視頻處理系統(tǒng)然后可以將該信息傳送至顯示器。

圖7圖示出又一個(gè)示例性實(shí)施例。在該示例中,視頻處理系統(tǒng)41進(jìn)一步生成信號(hào)56,該信號(hào)包括關(guān)于使用了哪些最低有效比特以及可以從這些比特獲得什么種類(lèi)的信息的信息。因此,在該示例中,提供了描述如何將合并信息編碼到合并的視頻信號(hào)中的數(shù)據(jù)。

可能有利的是例如在視頻(例如電影、商業(yè)廣告、youtube視頻等等)的開(kāi)始處傳送哪種編碼系統(tǒng)用于提供合并信息。于是,在各個(gè)不同的情景中,相同的例如三個(gè)lsb可以用來(lái)編碼不同的方面(例如,如果僅僅使用簡(jiǎn)單的字幕,那么可以傳送指示各像素是字幕還是圖像像素的簡(jiǎn)單混合方案。如果例如采用了菜單矩形中的復(fù)雜圖形,那么編碼可能反映了菜單背景等等的屬性。)。技術(shù)人員將理解,可以使用動(dòng)態(tài)方案。例如,在電影的開(kāi)始處,可以傳送用于bd盤(pán)菜單的代碼化/編碼方案,但是如果用戶(hù)在電影期間訪問(wèn)裝置菜單,那么可以傳送更適合于裝置菜單的不同的代碼化/編碼方案。對(duì)于給定的時(shí)間(或者例如直到提供了其他信息),可以使用該新的編碼方案。信號(hào)56也可以提供變化的信息,例如在一些專(zhuān)有視頻中,最低有效比特中的“1”可以表示“不透明字幕”,但是在所述視頻信號(hào)的開(kāi)始處(或者例如視頻的中途),信號(hào)56可以指示“合并類(lèi)型1”指示表示用于該視頻的別的東西,或者從視頻中的那一點(diǎn)開(kāi)始,它可以表示例如透明混合或者圖形的盒背景,等等。簡(jiǎn)而言之,信號(hào)56可以提供關(guān)于哪些比特用于提供合并信息和/或這些比特如何用于提供該合并信息的信息。具體地,它可以提供關(guān)于信息可以如何在時(shí)間上改變(例如從場(chǎng)景到場(chǎng)景或者從視頻到視頻)的信息。

現(xiàn)在,描述覆蓋物的使用的一個(gè)具體示例。

在該示例中,要添加到圖像的菜單是部分透明的,使得可以通過(guò)菜單部分地看見(jiàn)圖像(圖像通過(guò)菜單“照耀”)。依照一些支持這樣的菜單的實(shí)施例,編碼器7可以將表示菜單透明度或者菜單和視頻的混合的透明度的值a編碼到若干lsb中,并且在該具體示例中編碼到三個(gè)lsb中。于是,可以在編碼到這三個(gè)lsb中的值a中指示每像素的合并量。

其中使用了3比特的一個(gè)示例例如:

視頻圖形

000100%0%

00175%25%

01050%50%

01125%75%

1000%100%

101保留

110保留

111保留

其中術(shù)語(yǔ)“圖形”指的是覆蓋物,例如字幕、菜單等等。

這是實(shí)施例的一個(gè)示例,其中只有l(wèi)sb用來(lái)指示合并參數(shù),所述合并參數(shù)指示合并的程度或水平,其中具體地比特值000-100反映視頻和覆蓋物的混合物的量。

在迄今所描述的示例中,參照了r、g和b顏色分量。

然而,視頻信息也可以是其他格式,諸如例如yuv格式或者rgbe格式,或者其中使用了層或者其中使用了四種顏色的格式,等等。在這些不同的格式中,值的數(shù)字表示提供了這樣的分量,其中值用若干比特表達(dá),并且對(duì)于hdr而言,比特?cái)?shù)量典型地相對(duì)較大(典型地為12或者更多)。因此,值的二進(jìn)制表示包括若干比特,其(多個(gè))最低有效比特稱(chēng)為(多個(gè))lsb。

在許多實(shí)施例中,具有最低可見(jiàn)效果的lsb用于編碼合并信息。如先前所提到的,在許多實(shí)施例中,編碼可以不僅指示覆蓋物是否存在,而且指示哪種類(lèi)型的覆蓋物和/或例如覆蓋物的透明度。

lsb中哪些用于編碼可以是預(yù)定的并且可以例如是一種標(biāo)準(zhǔn)。在這種情況下,解碼器將知道合并數(shù)據(jù)如何被編碼,并且無(wú)需向視頻信號(hào)添加附加的信息。在一些實(shí)施例中,可以存在超過(guò)一種將合并信息編碼到lsb中的可能的方式,并且bd播放器/vps可以添加關(guān)于所應(yīng)用的編碼的信息。例如,可以包括元數(shù)據(jù)或者標(biāo)志,其詳細(xì)說(shuō)明哪些lsb用于編碼哪些信息。

在解碼側(cè),于是可以讀取該信息,并且可以相應(yīng)地解碼相關(guān)的lsb。

如果存在例如從簡(jiǎn)單到更復(fù)雜的若干編碼方法,并且編碼器具有例如從像素到像素、從幀到幀或者從場(chǎng)景到場(chǎng)景動(dòng)態(tài)地切換方法以便得到最好的可能結(jié)果的可能性,那么使用的方法類(lèi)型作為元數(shù)據(jù)或者標(biāo)志可以例如在各lsb中的一個(gè)或多個(gè)中被動(dòng)態(tài)地指示為某個(gè)值。一個(gè)選項(xiàng)是使用例如來(lái)自視頻頂行左側(cè)的像素的lsb。其感知影響很可能是可接受的,并且事實(shí)上在許多實(shí)施例中將是不顯著的。

圖8圖示出現(xiàn)有技術(shù)解碼器或者視頻顯示驅(qū)動(dòng)器可以如何處理合并的視頻信號(hào)的一個(gè)示例。合并的視頻信號(hào)可以是常規(guī)的合并的視頻信號(hào),或者可以是由如先前所描述的視頻處理系統(tǒng)提供的合并的視頻信號(hào)。因此,它可以是在lsb中包括合并信息的先前描述的合并的視頻信號(hào)6。在圖8的現(xiàn)有技術(shù)視頻解碼器處理器中,將簡(jiǎn)單地忽略該合并屬性信息。該示例也說(shuō)明了存在對(duì)于所描述的方法的后向兼容性。

在該示例中,合并的圖像6要在hdr顯示器上顯示,并且視頻編碼器包括用以修改動(dòng)態(tài)范圍以適合hdr顯示器的動(dòng)態(tài)范圍適配。然而,在該示例中,顯示器處的解碼器沒(méi)有用于讀取lsb的功能,并且它不能生成任何合并信息或者具體地生成值a。這可能導(dǎo)致以下情景。

hdr圖像是這樣的圖像,其利用用于場(chǎng)景中各個(gè)不同的捕獲對(duì)象的顏色紋理的高質(zhì)量編碼的足夠信息對(duì)hdr場(chǎng)景(其典型地可以包含非常亮和暗的區(qū))的紋理編碼,使得hdr場(chǎng)景的視覺(jué)上良好質(zhì)量的再現(xiàn)可以在具有像例如5000尼特那樣的高峰值視亮度的hdr顯示器上完成。典型的hdr圖像包括亮彩色部分或者與平均光照相比受強(qiáng)光照的部分。特別是對(duì)于夜間場(chǎng)景而言,hdr變得越來(lái)越重要。接收hdr信號(hào)的顯示器設(shè)法改進(jìn)視頻信號(hào)以便匹配它自身的特性,包括例如峰值視亮度水平。為了做到這點(diǎn),執(zhí)行動(dòng)態(tài)范圍適配。例如,如果顯示器的dr一定程度上低于編碼的hdr圖像的dr(即對(duì)于再現(xiàn)圖像最優(yōu)的相應(yīng)參考顯示器dr),那么所述處理可以對(duì)亮度非線(xiàn)性降級(jí),例如主要是降低最亮對(duì)象的亮度,同時(shí)保持較暗對(duì)象的亮度恒定,并且如果顯示器更亮(例如針對(duì)10000尼特峰值視亮度顯示器要優(yōu)化的5000尼特圖像),則情況相反。技術(shù)人員將理解,類(lèi)似地,可以從作為起始圖像的100尼特分級(jí)的輸入圖像計(jì)算例如用于3000尼特顯示器的hdr圖像。

如果接收器/顯示器沒(méi)有關(guān)于視頻信號(hào)的特性和/或所應(yīng)用的分級(jí)的知識(shí),那么所產(chǎn)生的圖片可能不符合藝術(shù)意圖或者可能看起來(lái)就糟糕。因此,優(yōu)選地,動(dòng)態(tài)范圍適配參數(shù)/指令(諸如例如經(jīng)由如圖7中所示的信號(hào)55)可以且優(yōu)選地與視頻一起被包括或者以其他方式傳達(dá)給顯示器以便提供用于針對(duì)在其上顯示信號(hào)的顯示器的峰值視亮度水平和其他特性?xún)?yōu)化圖片質(zhì)量的處理信息。動(dòng)態(tài)范圍適配參數(shù)/指令可以是靜態(tài)的,即對(duì)于整個(gè)節(jié)目有效,或者是動(dòng)態(tài)的,即從幀到幀或者(典型地)從場(chǎng)景到場(chǎng)景變化。適配參數(shù)可以工作于整個(gè)圖片區(qū)域,或者可以限制在圖片的某些區(qū)域。

無(wú)論用什么方法執(zhí)行動(dòng)態(tài)范圍適配,在現(xiàn)有技術(shù)方法和系統(tǒng)中,以相同的方式(即忽略一些像素為不同的類(lèi)型,比如與圖形的混合)對(duì)每個(gè)像素執(zhí)行動(dòng)態(tài)范圍適配。于是,適配僅僅對(duì)于一種類(lèi)型的像素有效,該像素類(lèi)型即典型地為只有視頻的像素。

在圖8中,該效果通過(guò)線(xiàn)條和文本的加粗來(lái)模擬。

當(dāng)然,這不是真實(shí)生活的表示,而是意在作為例示說(shuō)明。圖6在動(dòng)態(tài)范圍適配器71中經(jīng)受動(dòng)態(tài)范圍適配dra以便提供經(jīng)適配的圖像6a,并且該經(jīng)適配的圖像6a在hdr顯示設(shè)備的顯示器上顯示。本身,顯示經(jīng)適配的圖像沒(méi)有問(wèn)題,數(shù)據(jù)為標(biāo)準(zhǔn)數(shù)據(jù)的形式,并且可以被適配并且然后被顯示。在圖8中,信號(hào)分量的各lsb中的一個(gè)或多個(gè)填充有關(guān)于覆蓋物的信息。然而,圖8中的示例性解碼器假設(shè)為標(biāo)準(zhǔn)解碼器,不能讀取所述信息。

在圖8的示例中,直接使用接收的視頻數(shù)據(jù)而不考慮lsb中包含的合并信息(或者事實(shí)上視頻解碼器沒(méi)有編碼到lsb中的該信息的任何知識(shí))。最低有效比特典型地沒(méi)有意義或者意義不大,因此當(dāng)對(duì)此再現(xiàn)時(shí),顯示器往往提供“正常的圖像”。換言之,通過(guò)使用lsb傳送所述信息,由包括合并造成的降級(jí)或者錯(cuò)誤在許多實(shí)施例和情景中很可能是不顯著的。

例如,當(dāng)在具有每分量14比特且具有12比特的顏色分量視頻分辨率的hdmi接口上使用rgb444時(shí),對(duì)于每個(gè)像素而言通常存在六個(gè)比特(3x2)是“多余”或者未使用的比特。因此,因此,總共六個(gè)(即每分量14-12=2比特乘以3個(gè)分量)比特可用于合并信息信號(hào),這不會(huì)引入任何錯(cuò)誤或者對(duì)編碼的像素值具有任何影響。簡(jiǎn)而言之,在許多實(shí)施例中,可以在維持向后兼容的系統(tǒng)的同時(shí)實(shí)現(xiàn)所述編碼合并信息的方法。如果在接口中有比原始視頻所需的更多的比特可用,那么可以實(shí)現(xiàn)引入合并屬性數(shù)據(jù),而沒(méi)有任何負(fù)面效果,因?yàn)榉駝t的話(huà)可以利用未使用的比特。這可以提供后向兼容性,同時(shí)允許新解碼器利用附加的合并信息例如改進(jìn)例如字幕的再現(xiàn)(如后面將描述的)。

如上所述,覆蓋物(具體地字幕和/或菜單)將在圖9的現(xiàn)有技術(shù)方法中經(jīng)受與視頻圖像本身同樣的動(dòng)態(tài)范圍適配dra。因此,同樣地處理所有部分。在已知的方法和設(shè)備中,不存在這樣做的其他方式。在圖8中,這通過(guò)讓所有的線(xiàn)條和文本均勻地加粗來(lái)指示。

然而,字幕可能由于動(dòng)態(tài)范圍適配的原因而不同于觀看者習(xí)慣的字幕類(lèi)型。在實(shí)踐中,字幕往往經(jīng)常變得太亮和/或在像圖8的系統(tǒng)中那樣處理時(shí)可能在視亮度方面開(kāi)始振蕩。

圖9圖示出依照本發(fā)明一些實(shí)施例的用于處理合并的視頻信號(hào)的裝置的一個(gè)示例。該裝置具體地可以是顯示驅(qū)動(dòng)器、視頻解碼器或者事實(shí)上為顯示器。在下文中,該裝置將被描述為視頻解碼器,但是將領(lǐng)會(huì)的是,該裝置不限于僅僅對(duì)接收的圖像流解碼。相反地,該裝置也可以執(zhí)行動(dòng)態(tài)范圍適配,其具體地可以提供從輸入亮度范圍到輸出亮度范圍的適配。具體地,動(dòng)態(tài)范圍適配可以從與第一最大視亮度或者白色水平(例如以尼特為單位給出)相應(yīng)的動(dòng)態(tài)范圍到與第二最大視亮度或者白色水平(例如以尼特為單位給出)相應(yīng)的動(dòng)態(tài)范圍來(lái)適配接收的圖像。

動(dòng)態(tài)范圍適配可以例如從參考ldr動(dòng)態(tài)范圍的圖像數(shù)據(jù)到參考hdr動(dòng)態(tài)范圍的圖像數(shù)據(jù)。因此,動(dòng)態(tài)范圍適配可以從ldr范圍到hdr范圍。在其他實(shí)施例中,動(dòng)態(tài)范圍適配可以從hdr范圍到ldr范圍。在又其他的實(shí)施例中,動(dòng)態(tài)范圍適配可以例如從hdr范圍到另一個(gè)hdr范圍。在又其他的實(shí)施例中,動(dòng)態(tài)范圍適配可以例如從ldr范圍到另一個(gè)ldr范圍。

在該示例中,合并的視頻信號(hào)6由如先前所描述的視頻處理系統(tǒng)提供。因此,合并的視頻信號(hào)6包括用于至少一些像素的一個(gè)或多個(gè)顏色分量的lsb中的合并信息。因此,輸入端接收合并的hdr視頻信號(hào)。如先前所描述的,視頻信號(hào)是一種hdr視頻信號(hào),因?yàn)樗峁┝说讓觝dr圖像/視頻序列的表示。然而,實(shí)際的視頻數(shù)據(jù)可以參考ldr動(dòng)態(tài)范圍,并且具體地可以是通過(guò)從hdr圖像映射或者顏色分級(jí)而生成的ldr圖像。然而,通過(guò)應(yīng)用逆映射,可以生成原始的hdr圖像,并且因此接收的視頻信號(hào)內(nèi)在地為hdr圖像/視頻的表示。

所述系統(tǒng)進(jìn)一步包括讀取器72,其被布置成讀取用于給定像素的視頻信號(hào)的一個(gè)或多個(gè)顏色分量的至少一個(gè)或多個(gè)最低有效比特。接著,讀取器72被布置成從讀取的最低有效比特生成一個(gè)或多個(gè)值a,其中所述一個(gè)或多個(gè)值a指示用于給定像素的合并屬性。該合并屬性指示用于該像素的hdr視頻信號(hào)中的一個(gè)或多個(gè)覆蓋信號(hào)3、4與視頻圖像信號(hào)2的合并的屬性。具體地,用于給定像素的值a在編碼器中指示用于該像素的由合并器執(zhí)行的合并操作。

讀取器72耦合到適配器71,該適配器被布置成適配視頻并且具體地被布置成對(duì)視頻信號(hào)的圖像執(zhí)行動(dòng)態(tài)范圍適配。此外,適配器71被布置成根據(jù)生成的一個(gè)或多個(gè)值(a)適配像素值。因此,適配器71接收參考給定輸入動(dòng)態(tài)范圍(例如比如100尼特的ldr范圍)的像素值,并且生成參考不同的輸出動(dòng)態(tài)范圍(例如比如1000尼特的ldr范圍)的新像素值。然而,適配器71不向所有像素應(yīng)用相同的動(dòng)態(tài)范圍映射或函數(shù),而是根據(jù)接收的用于像素的合并屬性修改動(dòng)態(tài)范圍映射/函數(shù)。例如,可以將與應(yīng)用到(如由值a所指示的)字幕像素的映射不同的映射應(yīng)用到純視頻像素。

適配器71因此生成這樣的輸出信號(hào),其參考與接收的合并的視頻信號(hào)6不同的動(dòng)態(tài)范圍。該信號(hào)然后被饋送至適合再現(xiàn)該范圍的顯示器。例如,接收的ldr圖像可以被轉(zhuǎn)換為hdr圖像并且在hdr顯示器上再現(xiàn)。

然而,由于所述適配根據(jù)編碼器側(cè)執(zhí)行的合并而做出,因而可以執(zhí)行大大改進(jìn)的適配,導(dǎo)致被感知為質(zhì)量高得多的顯示圖像。例如,字幕的視亮度可以降低至更適當(dāng)?shù)乃蕉话ǖ讓訄D像的再現(xiàn),和/或可以降低圖形元素的閃爍。

在圖9的示例中,動(dòng)態(tài)范圍適配dra因此根據(jù)值a做出。在解碼器的讀取器72中讀取值a,并且將指示該值a(直接地或者在轉(zhuǎn)換成另一種形式之后)的信號(hào)73提供給動(dòng)態(tài)范圍適配器71,該適配器然后根據(jù)該值a適配像素值。在一些實(shí)施例中,可以向動(dòng)態(tài)范圍適配器71提供信號(hào)55(參見(jiàn)圖7),從而提供關(guān)于如何執(zhí)行動(dòng)態(tài)適配(即哪些亮度或顏色映射函數(shù)應(yīng)用到輸入圖像像素值以便獲得希望的動(dòng)態(tài)范圍的輸出圖像)的信息。可替換地,所述裝置(顯示器)可以使用它自身的方法進(jìn)行動(dòng)態(tài)范圍適配,即可以在沒(méi)有接收自外部源的任何特定適配信息(除了合并屬性值a之外)的情況下,在裝置中確定動(dòng)態(tài)范圍適配和對(duì)于值a的依賴(lài)性。

圖9的解碼器裝置可以被提供有信號(hào)56,該信號(hào)包括關(guān)于將合并屬性值編碼到顏色分量中的信息。具體地,信號(hào)56可以提供關(guān)于哪個(gè)比特包括什么信息的信息。在該特定示例中,信號(hào)56可以例如包括這樣的信息,該信息指示:“藍(lán)色顏色分量的最低有效比特用來(lái)編碼合并屬性信息,其中‘0’指示像素為視頻像素并且‘1’指示像素為覆蓋像素”。

適配器71可以被布置成響應(yīng)于這些值而執(zhí)行適配。具體地,在藍(lán)色顏色分量的lsb中具有值“1”的像素不經(jīng)受動(dòng)態(tài)范圍變化,或者至少不經(jīng)受與視頻信號(hào)相同的動(dòng)態(tài)范圍適配。結(jié)果,藍(lán)色通道的lsb中由“1”指示的像素不讓其亮度例如增強(qiáng)(或者它例如不同地被增強(qiáng))。在圖9中,這由屏幕上的圖像的作為視頻像素的那些部分指示,即在藍(lán)色分量的lsb中具有值“0”的像素具有加粗的線(xiàn)條,而在藍(lán)色分量的lsb中具有“1”的那些部分(在該示例中為字幕和菜單)具有更細(xì)的線(xiàn)條。菜單和字幕于是以未增強(qiáng)的方式顯示。這在許多實(shí)施例和情景中可以大大改進(jìn)感知的圖像質(zhì)量。

在系統(tǒng)中,讀取器72被布置成從顏色分量的lsb值生成信息。讀取器72因此讀取相關(guān)的lsb,可能地由信號(hào)56引導(dǎo),該信號(hào)向讀取器72指示讀取哪些lsb和/或如何解釋它們。讀取器72然后從所述lsb生成一個(gè)或多個(gè)合并屬性值a。這些值在適配器71中用來(lái)操控或者控制適配。

在許多情景中,所描述的方法可以提供改進(jìn)的性能,并且特別是改進(jìn)的用戶(hù)體驗(yàn)。該方法特別地可以提供組合的視頻(包括底層圖像以及覆蓋物二者)在要求執(zhí)行動(dòng)態(tài)范圍適配的顯示器上的改進(jìn)的再現(xiàn)。事實(shí)上,在許多實(shí)施例中,可以基于針對(duì)ldr顯示器優(yōu)化的輸入視頻實(shí)現(xiàn)來(lái)自hdr顯示器的圖像的大大改進(jìn)的再現(xiàn)。因此,對(duì)于其中動(dòng)態(tài)范圍適配用來(lái)增大動(dòng)態(tài)范圍的許多實(shí)施例,可以實(shí)現(xiàn)改進(jìn)的性能。類(lèi)似地,在許多實(shí)施例中,可以基于針對(duì)hdr顯示器優(yōu)化的輸入視頻實(shí)現(xiàn)來(lái)自ldr顯示器的圖像的大大改進(jìn)的再現(xiàn)。因此,對(duì)于其中動(dòng)態(tài)范圍適配用來(lái)減小動(dòng)態(tài)范圍的許多實(shí)施例,可以實(shí)現(xiàn)改進(jìn)的性能。

隨著具有不同的動(dòng)態(tài)范圍(并且具體是具有不同的最大視亮度水平)的顯示器的普及率的增加,對(duì)于動(dòng)態(tài)范圍適配的需求正變得日益廣泛且必要(動(dòng)態(tài)范圍適配經(jīng)常稱(chēng)為顏色分級(jí)或者色調(diào)映射,其中顏色分級(jí)/色調(diào)映射具體地可以是只有亮度被改變的亮度分級(jí))。然而,不同動(dòng)態(tài)范圍和最大視亮度水平(白點(diǎn))之間的適配內(nèi)在地是非常難于實(shí)現(xiàn)的事情。事實(shí)上,常規(guī)地,這樣的動(dòng)態(tài)范圍適配通過(guò)個(gè)人手動(dòng)地(或者在一些情況下半自動(dòng)地)執(zhí)行,針對(duì)給定顯示器白點(diǎn)優(yōu)化各個(gè)的圖像。例如,當(dāng)把電影從膠片轉(zhuǎn)換為電視時(shí),典型地需要大幅的動(dòng)態(tài)范圍縮小,并且因此執(zhí)行對(duì)典型地ldr動(dòng)態(tài)范圍的手動(dòng)顏色分級(jí)(例如在將運(yùn)動(dòng)圖片轉(zhuǎn)換為dvd時(shí))。甚至對(duì)于熟練的技術(shù)人員而言,這樣的動(dòng)態(tài)范圍適配也是非常困難的,并且優(yōu)化非常耗時(shí)。此外,該方法內(nèi)在地只允許對(duì)一個(gè)或者至少非常少的動(dòng)態(tài)范圍/白點(diǎn)進(jìn)行動(dòng)態(tài)范圍適配,其中每個(gè)單個(gè)的動(dòng)態(tài)范圍需要單獨(dú)的手動(dòng)創(chuàng)建。

由于使用中的動(dòng)態(tài)范圍的種類(lèi)大大增加,該方法就執(zhí)行這樣的顏色分級(jí)所需的資源而言以及就分發(fā)同一內(nèi)容的多個(gè)版本所需的資源而言不再可行或者至少不是所希望的。因此,在各個(gè)設(shè)備中執(zhí)行的本地和自動(dòng)化的顏色分級(jí)正變得越來(lái)越流行。例如,許多顯示器包括用于執(zhí)行自動(dòng)顏色分級(jí)/動(dòng)態(tài)范圍適配以便將接收的視頻信號(hào)修改為顯示器的特定動(dòng)態(tài)范圍/白點(diǎn)的功能。這對(duì)于hdr顯示器是特別重要的,這些hdr顯示器出于兼容性原因(包括后向兼容性)典型地包括用于使不同動(dòng)態(tài)范圍輸入信號(hào)適應(yīng)于與顯示器的白點(diǎn)相應(yīng)的特定動(dòng)態(tài)范圍的功能。具體地,大多數(shù)hdr顯示器包括ldr-hdr映射功能。

然而,針對(duì)不同的動(dòng)態(tài)范圍創(chuàng)建適當(dāng)?shù)膱D像的任務(wù)是非常困難的。

為了針對(duì)給定動(dòng)態(tài)范圍以適當(dāng)?shù)母袷奖硎緢D像,常常采用代碼分配函數(shù)或者電光傳遞函數(shù)(eotf)。這樣的代碼分配函數(shù)或者eotf提供(數(shù)字)值與相應(yīng)光輸出之間的映射,即用于給定圖像/范圍的代碼分配函數(shù)提供了從hdr線(xiàn)性亮度值到適當(dāng)?shù)牧炕鞫龋╨uma)代碼的映射。hdr線(xiàn)性亮度值經(jīng)常表示為例如浮點(diǎn)值,每個(gè)值具有相對(duì)較高數(shù)量的比特(例如16比特)。形成對(duì)照的是,量化的明度代碼典型地通過(guò)相對(duì)較低數(shù)量的比特(例如8比特)表示明度值,并且經(jīng)常表示為整數(shù)值。

應(yīng)當(dāng)注意的是,ldr與hdr之間的差異不僅僅是動(dòng)態(tài)范圍的大小。相反地,大多數(shù)場(chǎng)景中的強(qiáng)度的相對(duì)分布對(duì)于ldr和hdr表示也大為不同。

事實(shí)上,hdr圖像/視頻典型地具有與常規(guī)(ldr)圖像/視頻不同的強(qiáng)度分布。特別地,高動(dòng)態(tài)范圍圖像數(shù)據(jù)的峰值-平均亮度比率高得多。因此,常規(guī)上應(yīng)用的代碼分配曲線(xiàn)或者eotf往往對(duì)于hdr數(shù)據(jù)而言是次優(yōu)的。因此,如果使用從hdr亮度值到編碼的明度值的常規(guī)ldr映射,那么典型地發(fā)生顯著的圖像退化。例如,大多數(shù)圖像內(nèi)容只能由一些代碼值表示,因?yàn)榇罅看a被保留給增大的視亮度范圍,然而,該范圍典型地僅僅用于一些非常明亮的圖像對(duì)象。

意圖在例如100cd/m2峰值視亮度的參考監(jiān)視器上顯示的當(dāng)前標(biāo)準(zhǔn)動(dòng)態(tài)范圍視頻通常在當(dāng)前標(biāo)準(zhǔn)明度/亮度域中進(jìn)行編碼,這些域使用其log曲線(xiàn)或者代碼分配函數(shù)/eotf加以規(guī)定。其示例是用于srgb或者iturec.709對(duì)數(shù)數(shù)據(jù)的曲線(xiàn)。

hdr圖像/視頻典型地具有與當(dāng)前標(biāo)準(zhǔn)動(dòng)態(tài)范圍圖像不同的視亮度(例如在被定義為顯示器再現(xiàn)的亮度時(shí))分布。例如,盡管當(dāng)前的視頻內(nèi)容分布典型地在峰值視亮度的20%附近取峰值(這意味著明度代碼很好地散布在例如255個(gè)值的一半附近),但是hdr內(nèi)容可能經(jīng)常典型地在峰值視亮度的低得多的百分比(例如1%)附近取峰值(至少hdr圖像的較暗區(qū)的數(shù)據(jù)散布在代碼最大值的1/100處的代碼附近)。因此,大多數(shù)相關(guān)hdr內(nèi)容在使用當(dāng)前標(biāo)準(zhǔn)log曲線(xiàn)對(duì)其編碼時(shí)將被包含在8比特或者10比特視頻水平中的幾個(gè)水平中。這將在預(yù)覽圖像中導(dǎo)致嚴(yán)重且不可接受的量化偽像,因此防止調(diào)色師對(duì)hdr圖像進(jìn)行顏色分級(jí)/校正。

相應(yīng)地,如果常規(guī)代碼分配函數(shù)用于hdr圖像以便生成用于具有這樣的8比特或10比特輸入格式的現(xiàn)有顯示器的適當(dāng)代碼,那么將造成顯示的圖像的質(zhì)量大大降低,其中例如圖像中存在的大多數(shù)強(qiáng)度分布在僅僅幾個(gè)輸入水平上。

然而,代碼分配函數(shù)(其將在顯示再現(xiàn)時(shí)它們看起來(lái)如何的線(xiàn)性光亮度映射到實(shí)際技術(shù)代碼或者反過(guò)來(lái))常規(guī)地很大程度上基于ldr模型(比如伽馬2.2),但是僅僅針對(duì)大約100尼特或cd/m2(此后這兩個(gè)術(shù)語(yǔ)尼特和cd/m2都將被使用)的峰值視亮度的ldr顯示器是最優(yōu)的。如果這樣的方法用于hdr顯示器(例如具有5000尼特的峰值視亮度),那么就會(huì)有看到偽像的風(fēng)險(xiǎn),所述偽像諸如視頻的較暗部分中的條帶(例如暗藍(lán)色天空中的條帶,尤其是對(duì)于漸變而言)。

因此,為了最佳地支持hdr圖像,應(yīng)當(dāng)使用適當(dāng)?shù)拇a分配曲線(xiàn),使得足夠數(shù)量的量化水平被分配給最重要的視頻數(shù)據(jù)。

然而,找到適當(dāng)?shù)拇a分配函數(shù)不僅是關(guān)鍵的,而且也是困難的。事實(shí)上,在確定代碼分配函數(shù)時(shí)的一個(gè)挑戰(zhàn)在于如何在輸入亮度值與明度代碼之間最佳地映射。事實(shí)上,這是一個(gè)關(guān)鍵的問(wèn)題,因?yàn)檫x擇的映射對(duì)于造成的質(zhì)量具有很強(qiáng)的影響(例如由于量化誤差的原因)。此外,對(duì)于圖像質(zhì)量的影響可能取決于被編碼/解碼的圖像的特性和屬性以及用于再現(xiàn)圖像的裝備。

當(dāng)然,最簡(jiǎn)單的方法是簡(jiǎn)單地使用均勻量化。然而,這種方法在許多情景中往往導(dǎo)致次優(yōu)的性能。因此,開(kāi)發(fā)了其中應(yīng)用非均勻量化的代碼分配函數(shù)。這具體地可以通過(guò)將非線(xiàn)性函數(shù)(明度代碼映射/色調(diào)映射函數(shù))應(yīng)用到輸入亮度值,接著進(jìn)行線(xiàn)性量化來(lái)執(zhí)行。然而,如所提及的,已經(jīng)發(fā)現(xiàn),所定義的函數(shù)在許多情景中提供次優(yōu)的結(jié)果。例如,將代碼分配函數(shù)應(yīng)用到hdr圖像以便例如允許這些圖像由每個(gè)值具有相對(duì)較低數(shù)量的比特(典型地8比特)的ldr電路處理,往往導(dǎo)致hdr圖像的次優(yōu)轉(zhuǎn)換,并且具體地導(dǎo)致圖像值集中在幾個(gè)量化水平/代碼附近。

在某種意義上,動(dòng)態(tài)范圍適配可以被看作從與一個(gè)動(dòng)態(tài)范圍/最大視亮度關(guān)聯(lián)的一個(gè)代碼分配函數(shù)到與另一個(gè)動(dòng)態(tài)范圍/最大視亮度關(guān)聯(lián)的另一個(gè)代碼分配函數(shù)的轉(zhuǎn)換。表示動(dòng)態(tài)范圍適配之前和之后的圖像的代碼可以具有相同或者不同數(shù)量的比特。

這些問(wèn)題可以通過(guò)考慮一幅圖示出夜景的示例性圖像(參見(jiàn)圖10)的情景進(jìn)行說(shuō)明,該夜景包括靠近前面有一些明亮街燈1005的、平均照亮的房子1003的隱藏在陰影中的黑暗怪物1001。此外,可能存在平均灰色的或者昏暗的汽車(chē)1007。

圖10圖示出該圖像的三種表示。在左手側(cè),示出了場(chǎng)景在真實(shí)生活中的實(shí)際視亮度(以尼特為單位)(如由在本示例中可以捕獲高達(dá)5000尼特的視亮度的hdr相機(jī)所捕獲的,或者典型地它可以表示原始相機(jī)捕獲的5000尼特參考范圍主hdr分級(jí))。捕獲的數(shù)據(jù)典型地是在高分辨率下捕獲的,并且典型地被減少至相對(duì)較低數(shù)量的值。在該特定示例中,1024個(gè)明度代碼可用來(lái)表示高達(dá)5000尼特的范圍。然而,5000尼特到1024個(gè)明度代碼的簡(jiǎn)單線(xiàn)性映射是不合適的,因?yàn)檫@將導(dǎo)致非常少的值可用來(lái)在暗區(qū)域中提供區(qū)分,而不必要地大量的代碼將可用于亮區(qū)域。這將引入諸如暗區(qū)域中的條帶等等之類(lèi)的偽像。

替代地,使用一種非線(xiàn)性代碼分配函數(shù)1009(eotf),并且具體地使用在smpte2084中定義的oetf(其是一種log-gamma形函數(shù))。結(jié)果,更多的代碼被分配給暗區(qū)域,而更少的代碼被分配給亮區(qū)域。如所圖示的,這導(dǎo)致怪物1001與汽車(chē)1007之間的代碼值的距離大于房子1003和汽車(chē)1007之間的差異,盡管相反的情況對(duì)于真實(shí)場(chǎng)景中的視亮度成立(當(dāng)以尼特為單位測(cè)量時(shí))。類(lèi)似地,明亮街燈1005與房子1003之間的代碼差異被減小。smpte2084的oetf(此后稱(chēng)為smpte2084)針對(duì)1000尼特的動(dòng)態(tài)范圍(最大視亮度)而設(shè)計(jì),并且因此如果圖像在1000尼特顯示器上顯示,那么oetf2084可以用來(lái)直接對(duì)接收的明度值解碼。

然而,如果顯示器具有不同的動(dòng)態(tài)范圍,那么使用oetf2084解碼并且直接(線(xiàn)性地)將其縮放至顯示器的動(dòng)態(tài)范圍不可能提供適當(dāng)?shù)慕Y(jié)果。相反地,由于人類(lèi)感知關(guān)于視亮度水平不是線(xiàn)性的,這種方法將導(dǎo)致不希望的結(jié)果。例如,對(duì)于較高的動(dòng)態(tài)范圍(例如5000尼特),這將導(dǎo)致許多明亮(但是非超亮)的對(duì)象(諸如房子1003)被再現(xiàn)為非常(過(guò)于)明亮。類(lèi)似地,對(duì)于較低的動(dòng)態(tài)范圍(例如100尼特),這將導(dǎo)致許多明亮(但是非超亮)的對(duì)象(諸如房子1003)被再現(xiàn)為相當(dāng)(過(guò)于)黑暗。

在一些情景中,因此也可以提供(例如在藍(lán)光光盤(pán)上)和與不同動(dòng)態(tài)范圍關(guān)聯(lián)的eotf有關(guān)的數(shù)據(jù)。例如,圖10圖示出一種可替換的eotf,其在需要ldr圖像用于直接再現(xiàn)(即,在第三與第一軸之間的映射,即兩個(gè)連續(xù)映射的組合)時(shí)適合于hdr圖像編碼。如可以看到的,甚至更高數(shù)量的代碼被分配給暗值,而更少的代碼被提供用于亮值。該特定示例可以例如用來(lái)使用常規(guī)伽馬2.2eotf提供sdr分級(jí)外觀(即適合于ldr呈現(xiàn))。這樣的表示可以例如直接由老式ldr顯示器使用。

在一些系統(tǒng)中,提出了使用自適應(yīng)eotf,即,該eotf可以在時(shí)間上(在不同幀之間)和/或在空間上(在圖像的不同區(qū)域之間)變化。

因此,在一些情景中,可以使用一種空間上區(qū)分的方法,其中可以為圖像提供超過(guò)一個(gè)eotf。例如,可以將圖像劃分為幾個(gè)區(qū)(例如一個(gè)與暗區(qū)相應(yīng),并且一個(gè)與圖像的較亮區(qū)相應(yīng)),并且可以為每個(gè)區(qū)提供eotf。這可以允許針對(duì)圖像不同部分的不同特性?xún)?yōu)化eotf,并且它可以為一些圖像(例如包括非常暗和非常亮的區(qū)二者的圖像)提供改進(jìn)的再現(xiàn)。

例如,對(duì)于與包括怪物1001的暗區(qū)域相應(yīng)的區(qū),可以使用讓非常大數(shù)量的代碼分配給暗值的eotf。這可以局部地提高暗范圍中的分辨率,從而提供改進(jìn)的區(qū)分(例如允許怪物被看見(jiàn),盡管整個(gè)區(qū)是暗的)。同時(shí),可以為被識(shí)別為較明亮的區(qū)提供不同的eotf。例如,可以為汽車(chē)周?chē)妮^明亮區(qū)提供不同的eotf。用于例如包括汽車(chē)的較明亮區(qū)的該eotf可以讓較少的代碼分配給暗值,并且較多的代碼分配給中間范圍。再次地,這可以改進(jìn)區(qū)分并且減少條帶等等。使用該方法因此允許整體地改進(jìn)場(chǎng)景的表示(例如量化誤差減小)。類(lèi)似地,在一些情況下,可以在幀之間適配eotf,使得例如比起對(duì)于亮圖像而言對(duì)于暗圖像提供更高數(shù)量的代碼給暗范圍。

然而,典型地,每圖像/幀提供僅僅一個(gè)eotf,并且典型地,為一組圖像/幀提供僅僅一個(gè)eotf,并且事實(shí)上,經(jīng)常為視頻序列提供僅僅一個(gè)eotf。下面的描述將聚焦于為每幅圖像以及為一個(gè)圖像序列提供一個(gè)eotf。然而,當(dāng)使用自適應(yīng)eotf時(shí),可能出現(xiàn)覆蓋物的特定問(wèn)題,這將在稍后更詳細(xì)地加以描述。

將領(lǐng)會(huì)的是,合并的視頻信號(hào)6可以由與所描述的eotf之一相應(yīng)的明度代碼來(lái)表示。還應(yīng)當(dāng)注意的是,如果例如視頻圖像信號(hào)包括基于與sdr范圍相聯(lián)系的eotf的明度代碼,那么仍然可能從明度代碼重新創(chuàng)建原始hdr值,并且因此圖像仍然是hdr圖像的表示。

因此,如果顯示器接收依照與特定動(dòng)態(tài)范圍關(guān)聯(lián)的eotf的視頻信號(hào),那么在動(dòng)態(tài)范圍與該顯示器的動(dòng)態(tài)范圍不匹配的情況下,可能希望的是執(zhí)行動(dòng)態(tài)范圍轉(zhuǎn)換。然而,如提到的,這不僅僅是提供線(xiàn)性縮放的情況。相反地,為了反映人類(lèi)視覺(jué)系統(tǒng),動(dòng)態(tài)范圍適配典型地應(yīng)當(dāng)是非線(xiàn)性的(但是可能為分段線(xiàn)性)。例如,盡管動(dòng)態(tài)范圍顯著增大,暗水平典型地不應(yīng)當(dāng)在視亮度方面增大。換言之,在用于ldr顯示器的顏色分級(jí)中,通常不顯著地壓縮暗信號(hào)。然而,中級(jí)視亮度水平典型地應(yīng)當(dāng)在視亮度方面一定程度上得以增強(qiáng),但是典型地重要的是該增強(qiáng)不過(guò)于大,因?yàn)檫@可能產(chǎn)生具有太多明亮區(qū)域的人工外觀。然而,形成對(duì)照的是,應(yīng)當(dāng)非常大幅地增強(qiáng)非常明亮的對(duì)象,并且事實(shí)上對(duì)于最亮的對(duì)象(比如暗圖像中的車(chē)燈)而言,通常應(yīng)當(dāng)設(shè)置為最大水平。因此,典型地使用漸進(jìn)動(dòng)態(tài)范圍映射,其中附加的動(dòng)態(tài)范圍和增大的視亮度典型地主要用來(lái)增大用于較亮元素的視亮度水平。將領(lǐng)會(huì)的是,許多不同的動(dòng)態(tài)范圍映射是可能的。

圖12中圖示出一種動(dòng)態(tài)范圍映射的一個(gè)示例。在該示例中,為低于閾值的所有視亮度值提供直接線(xiàn)性映射,并且為高于閾值的所有視亮度值提供一種不同的線(xiàn)性映射。該方法可以導(dǎo)致對(duì)于暗的和中間視亮度水平的相對(duì)溫和的(或者沒(méi)有)增強(qiáng),而非常明亮的區(qū)域被增強(qiáng)得遠(yuǎn)遠(yuǎn)更多。這種效果既反映了真實(shí)世界中的典型視亮度狀況,又反映了人類(lèi)視覺(jué)系統(tǒng)的感知。

然而,這樣的動(dòng)態(tài)范圍映射僅僅提供對(duì)于理想分級(jí)的近似。一個(gè)問(wèn)題在于,曲線(xiàn)相對(duì)簡(jiǎn)單并且因此一般不能反映最優(yōu)的動(dòng)態(tài)范圍映射。另一個(gè)問(wèn)題在于,動(dòng)態(tài)范圍映射基于被顯示的圖像內(nèi)容的假設(shè),并且因此它是針對(duì)假設(shè)的真實(shí)生活場(chǎng)景的典型圖像而優(yōu)化的。然而,對(duì)于其他圖像或者其他內(nèi)容類(lèi)型,所述曲線(xiàn)可能提供經(jīng)常帶有顯著的退化的不太理想的性能。

事實(shí)上,本發(fā)明人認(rèn)識(shí)到,覆蓋數(shù)據(jù)經(jīng)常發(fā)生一個(gè)特定問(wèn)題。例如,通常,覆蓋圖形被顯示為從底層圖像突出的明亮圖像對(duì)象。然而,盡管圖像中的明亮對(duì)象應(yīng)當(dāng)非常大幅地增強(qiáng)(變得“超亮”),但是這樣的動(dòng)態(tài)范圍適配將導(dǎo)致覆蓋圖形變得令人不愉快并且有時(shí)甚至令人不舒適地明亮。因此,應(yīng)用相同的動(dòng)態(tài)范圍適配往往對(duì)于覆蓋圖形導(dǎo)致非常不希望的效果。

在許多實(shí)施例中,動(dòng)態(tài)范圍適配在顯示器處執(zhí)行。這可以允許動(dòng)態(tài)范圍適配適應(yīng)個(gè)別顯示器的特定特性,并且可以允許顯示器與各種各樣的源一起使用。在許多顯示器中,覆蓋圖形(例如顯示菜單)可以由顯示器生成,并且覆蓋接收的圖像。這些覆蓋物典型地以本地確定并且考慮到顯示器的動(dòng)態(tài)范圍的適當(dāng)視亮度進(jìn)行再現(xiàn)。

然而,如果覆蓋圖形例如通過(guò)機(jī)頂盒在顯示器外部引入,那么顯示器簡(jiǎn)單地接收包括原始圖像和所述圖形二者的圖像。顯示器然后執(zhí)行范圍適配,導(dǎo)致覆蓋圖形的令人不愉快的再現(xiàn)。例如,如果字幕由bd播放器添加,那么這些字幕經(jīng)常以令人不舒適的視亮度呈現(xiàn)在hdr顯示器上。

該問(wèn)題對(duì)于其中圖形與原始圖像混合(諸如例如其中使用了半透明字幕)的圖像而言特別成問(wèn)題。在這種情況下,半透明覆蓋物可能增大相應(yīng)像素的視亮度,例如導(dǎo)致該視亮度超過(guò)圖12的動(dòng)態(tài)范圍映射的閾值的視亮度。作為圖像和覆蓋物的組合的結(jié)果,可以相應(yīng)地提供高視亮度增強(qiáng)。除了典型地覆蓋物被感知為太亮之外,這還可能導(dǎo)致感知到底層圖像的失真。例如,對(duì)于具有覆蓋的字幕的臉的圖像,標(biāo)準(zhǔn)的動(dòng)態(tài)范圍適配可能不僅導(dǎo)致太亮的字幕,而且導(dǎo)致對(duì)于其中示出了字幕的區(qū)域,臉看起來(lái)比對(duì)于臉的其余部分更明亮。因此,造成不自然的外觀。

當(dāng)使用自適應(yīng)eotf時(shí),該問(wèn)題可能甚至進(jìn)一步加劇。例如,在一些情景中,對(duì)于暗區(qū)域,可以使用與針對(duì)亮區(qū)域不同的eotf。將固定動(dòng)態(tài)范圍適配應(yīng)用到這樣的情景(例如利用輸入明度值到輸出明度值的固定映射),接著是基于本地eotf的適配的值的解釋?zhuān)瑢?dǎo)致圖形覆蓋物的有效增強(qiáng)對(duì)于圖形的不同部分是不同的。例如,動(dòng)態(tài)范圍適配可以將723的明度值(例如與1000尼特范圍有關(guān))映射為比如617的值(例如與5000尼特范圍有關(guān))。然而,該值對(duì)于暗區(qū)域eotf而言可能被解釋為與比如110尼特相應(yīng),但是對(duì)于暗區(qū)域eotf而言,可能被解釋為與比如150尼特相應(yīng)。因此,如果圖形覆蓋物擴(kuò)展到暗區(qū)域和亮區(qū)域上方,那么圖形的亮度在顯示時(shí)實(shí)際上將變化,盡管這不是所意圖的。因此,將跨圖形覆蓋物發(fā)生波動(dòng)。

當(dāng)應(yīng)用在時(shí)間維度上自適應(yīng)的eotf時(shí),將發(fā)生相同的情況。在這樣的情景中,圖形的視亮度將在不同幀之間變化,導(dǎo)致生成例如脈動(dòng)的字幕。

這可以通過(guò)圖22的示例來(lái)說(shuō)明,圖22圖示出可能出現(xiàn)在不同的時(shí)間的兩個(gè)可能的eotf。在該示例中,命名為tm1的eotf可以是為第一幀提供的eotf,并且命名為tm2的eotf可以是為第二幀提供的eotf。這兩個(gè)eotf因此表示應(yīng)用到視頻序列的不同幀的兩個(gè)不同的動(dòng)態(tài)范圍映射。

在該示例中,tm2為在第一時(shí)刻用于接收的視頻像素亮度(或者明度)的動(dòng)態(tài)范圍映射(eotf,有時(shí)也稱(chēng)為色調(diào)映射)。該映射實(shí)際上打算用于底層視頻內(nèi)容(即,它被設(shè)計(jì)為在呈現(xiàn)視頻時(shí)提供希望的外觀)。然而,如果像素包括覆蓋物,那么這導(dǎo)致像素具有更明亮的亮度(1-alpha)*vid(x,y)+alpha*graph(x,y)(例如,因?yàn)橐恍┟髁廖谋净蛘卟藛晤伾c底層視頻混合)。盡管利用tm2的處理可能不增大該值高于周?chē)曨l像素的亮度太多,但是該動(dòng)態(tài)范圍映射至少規(guī)定圖形/覆蓋區(qū)不突然變得非常明亮。如果替代地使用tm1,那么覆蓋部分將變得非常明亮,因?yàn)閬?lái)自覆蓋物的附加貢獻(xiàn)將輸入亮度推到其中它被tm1非常積極地增強(qiáng)的水平。

因此,如果提供的動(dòng)態(tài)范圍映射(eotf)在時(shí)間上動(dòng)態(tài)地變化,那么覆蓋像素(例如字幕和菜單)的呈現(xiàn)將在不同的幀之間變化。這將被觀看者看作例如白色菜單文本在暗值與亮值之間振蕩,僅僅因?yàn)樗c視頻混合,但是這對(duì)于該區(qū)而言可能不是所希望的。替代地,當(dāng)前方法的一些實(shí)施例允許檢測(cè)這樣的像素,并且然后在有限的亮度lim_vid下再現(xiàn),例如對(duì)于圖形像素總是比接收的輸入亮度(1-alpha)*vid(x,y)+alpha*graph(x,y)亮20%;或者例如對(duì)于菜單中的文本亮50%,并且對(duì)于菜單矩形中的背景圖形像素亮10%。

因此,用以匹配特定顯示器的動(dòng)態(tài)范圍適配對(duì)于標(biāo)準(zhǔn)視頻而言非常具有挑戰(zhàn)性,但是對(duì)于包括圖形覆蓋物的合并的信號(hào)而言特別困難。事實(shí)上,其中在顯示器外部的單獨(dú)的設(shè)備處簡(jiǎn)單地添加圖形的常規(guī)方法往往導(dǎo)致引入大量的偽像,并且特別是往往對(duì)于圖形導(dǎo)致例如亮度失真和變動(dòng)。

wo2014/130213中提出,應(yīng)當(dāng)根據(jù)顯示器提供給外部設(shè)備的信息進(jìn)行圖形的覆蓋,即圖形與視頻的合并。因此,在wo2014/130213中提出的系統(tǒng)中,顯示器將與外部設(shè)備有關(guān)的數(shù)據(jù)傳送至外部設(shè)備,例如顯示器是ldr顯示器還是hdr顯示器。作為響應(yīng),外部設(shè)備在合并之前適配圖形覆蓋物的屬性,并且然后將合并的圖像提供給顯示器,該顯示器繼而顯示該圖像,如其顯示沒(méi)有任何圖形覆蓋物的圖像那樣。因此,在該方法中,顯示器以相同的方式簡(jiǎn)單地處理所有圖像,但是外部設(shè)備可以在合并之前基于接收自顯示器的顯示屬性數(shù)據(jù)適配圖形覆蓋物。

在圖1-7和圖9的系統(tǒng)中,采取了不同的方法。在這些示例中,可以在不考慮顯示器的特定特性的情況下執(zhí)行合并,即,外部設(shè)備可能沒(méi)有使用的特定顯示器的任何信息。合并之前沒(méi)有執(zhí)行各分量的適配。然而,外部設(shè)備將合并屬性信息提供給顯示器,該信息可以由顯示器用來(lái)執(zhí)行可自適應(yīng)動(dòng)態(tài)范圍適配以便利用顯示器的特定動(dòng)態(tài)范圍重新瞄準(zhǔn)要顯示的圖像。

因此,在當(dāng)前方法中,應(yīng)用了一種前饋結(jié)構(gòu),其中源外部設(shè)備(例如bd播放器)向顯示器提供附加的信息,該信息可以控制或者操控顯示器的動(dòng)態(tài)范圍適配。這與現(xiàn)有技術(shù)反饋方法形成對(duì)照,在該現(xiàn)有技術(shù)反饋方法中,使用了固定動(dòng)態(tài)范圍適配并且其中僅僅執(zhí)行在合并之前的并且基于上游饋送的信息的圖形覆蓋物的修改。

該方法提供了若干優(yōu)點(diǎn)。首先,在許多實(shí)施例中,它允許生成大大改進(jìn)的圖像,其中圖形覆蓋物和/或圖像的再現(xiàn)更精確地適應(yīng)特定顯示器。例如,可以使用直接反映個(gè)別的顯示器的屬性的eotf。事實(shí)上,在許多實(shí)施例中,動(dòng)態(tài)范圍適配可以分別針對(duì)圖像內(nèi)容和覆蓋內(nèi)容單獨(dú)地優(yōu)化。例如,對(duì)于被指定為視頻或圖像像素的像素,可以應(yīng)用視頻動(dòng)態(tài)范圍映射,其反映圖像內(nèi)容到特定動(dòng)態(tài)范圍(以及顯示器的其他特性)的優(yōu)化(以某種方式)的映射。對(duì)于被指定為覆蓋像素的像素,可以應(yīng)用圖形動(dòng)態(tài)范圍映射以便提供圖形覆蓋物的希望的再現(xiàn)。

因此,在許多實(shí)施例中,該方法可以允許分別對(duì)于視頻/圖像內(nèi)容和對(duì)于圖形覆蓋物單獨(dú)地優(yōu)化的動(dòng)態(tài)范圍適配。

該方法特別地可以允許控制動(dòng)態(tài)范圍適配以便保持顯示器,即,顯示器包括用于使輸入動(dòng)態(tài)范圍適應(yīng)顯示器的動(dòng)態(tài)范圍的功能。這可能是非常有利的,因?yàn)閯?dòng)態(tài)范圍映射以及事實(shí)上eotf可以針對(duì)顯示器的確切特性?xún)?yōu)化。它通??梢蕴峁?duì)于圖形覆蓋物、并且特別是對(duì)于其中存在來(lái)自視頻和圖形(具體是透明圖形)二者的貢獻(xiàn)的區(qū)域的更靈活的映射和控制。顯示器可以例如將圖形設(shè)置為預(yù)定視亮度(例如通過(guò)顯示器的用戶(hù)設(shè)置)。

再者,在許多情形下,改進(jìn)的資源可用于顯示器。例如,典型地,電視是相對(duì)高成本的物品,而例如許多bd播放器是非常低成本的物品。因此,電視經(jīng)常具有遠(yuǎn)遠(yuǎn)更多的計(jì)算資源,并且事實(shí)上可用于設(shè)計(jì)和開(kāi)發(fā)的財(cái)務(wù)資源可能遠(yuǎn)遠(yuǎn)更高。因此,電視的動(dòng)態(tài)范圍適配通??赡軆?yōu)于廉價(jià)的bd播放器的動(dòng)態(tài)范圍視頻。所描述的方法允許在進(jìn)一步的下游執(zhí)行動(dòng)態(tài)范圍適配,從該下游開(kāi)始執(zhí)行合并,而不是要求任何適配在合并之前。這允許這樣的改進(jìn)的動(dòng)態(tài)范圍適配也被用于包括覆蓋物的合并的圖像。

該方法因此允許下游動(dòng)態(tài)范圍適配適應(yīng)各個(gè)像素,并且具體地允許它適應(yīng)個(gè)別像素的特定合并屬性。事實(shí)上,在一些實(shí)施例中,可以在合并的下游實(shí)現(xiàn)圖像和圖形內(nèi)容的單獨(dú)地優(yōu)化的適配。

執(zhí)行的確切的動(dòng)態(tài)范圍適配和動(dòng)態(tài)范圍映射以及事實(shí)上對(duì)于合并屬性的依賴(lài)性可以根據(jù)個(gè)別實(shí)施例的優(yōu)選項(xiàng)和要求在不同實(shí)施例之間改變。

在下文中,將描述適配器71的一些可能的方法,并且特別地將描述根據(jù)合并屬性的有區(qū)分的動(dòng)態(tài)范圍映射的一些示例。然而,將領(lǐng)會(huì)的是,這些僅僅是示例性的并且在其他實(shí)施例中可以使用其他的方法。

在一些實(shí)施例中,由值a指示的合并屬性可以反映相應(yīng)的像素是否為圖像/視頻像素或者它是否為覆蓋圖形像素。因此,在該示例中,像素可以被認(rèn)為或者與底層圖像/視頻像素相應(yīng),或者它可以是覆蓋像素。在這樣的示例中,適配器71可以被布置成在像素被指示為視頻像素的情況下應(yīng)用第一動(dòng)態(tài)范圍映射,并且在像素被指示為覆蓋像素的情況下應(yīng)用不同的第二動(dòng)態(tài)范圍映射。

例如,第一動(dòng)態(tài)范圍映射可以通過(guò)對(duì)于高視亮度水平提供非常積極的增強(qiáng)來(lái)將進(jìn)來(lái)的ldr動(dòng)態(tài)范圍映射到hdr動(dòng)態(tài)范圍。例如,與圖12的映射相應(yīng)的映射可以用于第一動(dòng)態(tài)范圍映射。形成對(duì)照的是,第二動(dòng)態(tài)范圍映射可以是不向高視亮度水平提供任何附加的增強(qiáng)的簡(jiǎn)單線(xiàn)性函數(shù)。事實(shí)上,第二動(dòng)態(tài)范圍映射可以是簡(jiǎn)單的恒等映射,其導(dǎo)致覆蓋像素的視亮度不論呈現(xiàn)在ldr顯示器上還是hdr顯示器上都完全相同。因此,作為這種方法的結(jié)果,可以實(shí)現(xiàn)hdr場(chǎng)景表示,其中例如諸如街燈或者太陽(yáng)之類(lèi)的亮光源在非常高的hdr視亮度水平下被示出,而諸如字幕之類(lèi)的覆蓋物仍然在正常視亮度水平下被示出。

作為這種方法的一個(gè)特定示例,可以生成合并屬性,其例如可以指示像素為覆蓋像素。覆蓋物的源可以來(lái)自例如本地圖形發(fā)生器,諸如例如生成字幕或菜單的發(fā)生器??商鎿Q地,覆蓋物可以作為第二視頻圖像信號(hào)的部分而被接收,其中該信號(hào)可以包括覆蓋內(nèi)容,諸如例如圖形或字幕。

在這樣的情景中,適配器71可以被布置成適配對(duì)于其指示像素為覆蓋內(nèi)容的區(qū)內(nèi)的像素,使得亮度值被限制到給定的預(yù)定范圍。這可以確保不管顯示器視亮度能力如何,覆蓋物都在合理的視亮度范圍內(nèi)被呈現(xiàn)。

該預(yù)定范圍可以例如對(duì)于顯示器而言為反映該顯示器的動(dòng)態(tài)的預(yù)設(shè)范圍。例如,該范圍可以具有峰值視亮度的比如10%的上限以及例如峰值視亮度的1%和1尼特中的較大者的下限。可替換地或者此外,預(yù)定范圍可以由觀看者確定,等等。

將領(lǐng)會(huì)的是,該方法可以容易地?cái)U(kuò)展到超過(guò)兩個(gè)類(lèi)別,其中針對(duì)每個(gè)類(lèi)別選擇單獨(dú)的動(dòng)態(tài)范圍映射。例如,用于像素的值a可以指示該像素為視頻像素、字幕像素還是菜單像素,并且可以相應(yīng)地選擇三種可能的動(dòng)態(tài)范圍映射之一。在該示例中,圖形類(lèi)別因此進(jìn)一步被細(xì)分為指示特定圖形類(lèi)型的多個(gè)子類(lèi)別。

還將領(lǐng)會(huì)的是,該方法并不限于將給定像素硬分配到由值a指示的特定類(lèi)別中。例如,值a可以指示用于給定像素的、圖形相對(duì)于圖像的相對(duì)權(quán)重。適配器71于是可以在其低于比如50%的情況下選擇第一動(dòng)態(tài)范圍映射,并且在它高于比如50%的情況下選擇第二動(dòng)態(tài)范圍映射。

在許多實(shí)施例中,適配器71可以被布置成相對(duì)于用于其的值a指示像素屬于視頻/圖像信號(hào)的像素的視亮度值的增強(qiáng),降低用于其的值a指示像素屬于覆蓋物的像素的視亮度值的增強(qiáng)。該降低可以針對(duì)較高視亮度值,其具體地可以是高于閾值(例如,到適配器71的輸入信號(hào)的最大視亮度水平的50%、60%、70%或80%)的視亮度值。

在一些實(shí)施例中,適配器71可以被布置成將用于被指示為覆蓋像素的像素的視亮度水平限制為低于用于動(dòng)態(tài)范圍適配的輸出的最大可能視亮度水平的極限視亮度水平。具體地,動(dòng)態(tài)范圍適配可以執(zhí)行從輸入動(dòng)態(tài)范圍到輸出動(dòng)態(tài)范圍的動(dòng)態(tài)范圍映射。輸出動(dòng)態(tài)范圍可以具有最大可能視亮度水平。然而,對(duì)于屬于覆蓋物類(lèi)別(如值a所指示的)的像素而言,動(dòng)態(tài)范圍映射被限制到低于該最大水平的最大或極限視亮度水平。用于覆蓋像素的極限視亮度水平因此低于非覆蓋(視頻)像素,并且在許多實(shí)施例中可能不存在用于視頻像素的視亮度極限(除了輸出動(dòng)態(tài)范圍的最大值之外)。

在一些實(shí)施例中,相同的動(dòng)態(tài)范圍映射可以獨(dú)立于合并屬性(即獨(dú)立于值a)應(yīng)用到所有像素,直到給定的視亮度水平。然而,對(duì)于高于該視亮度水平的值,不同的動(dòng)態(tài)范圍映射可以應(yīng)用于合并屬性的不同值。作為一個(gè)特定示例,除了最大輸出視亮度水平限于用于覆蓋像素的最大值之外,相同的動(dòng)態(tài)范圍映射可以應(yīng)用于所有像素。

這樣的方法可以例如提供高效的映射,該映射提供令人愉快的結(jié)果,并且既允許對(duì)于hdr顯示器而言支持例如灰色圖形,同時(shí)又確保明亮圖形不變得太灰。

在一些實(shí)施例中,適配器71可以被布置成將基本上相同的視亮度水平分配給被指示為覆蓋像素的像素。例如,可以將正常的動(dòng)態(tài)范圍映射應(yīng)用到視頻像素,然而簡(jiǎn)單地給予圖形像素一預(yù)定值。這種方法可以導(dǎo)致非常令人愉快的結(jié)果,其中不僅實(shí)現(xiàn)了圖形的適當(dāng)(對(duì)于顯示器而言)呈現(xiàn),而且確保了該呈現(xiàn)是穩(wěn)定的。例如,這種方法對(duì)于所應(yīng)用的eotf中的自適應(yīng)變化不靈敏,并且將防止跨圖像或者幀之間的波動(dòng)。

圖11圖示出依照本發(fā)明一些示例性實(shí)施例的方法。

在步驟101中,接收合并的圖像數(shù)據(jù)(合并的視頻信號(hào)6)。然后,在步驟102中由讀取器72讀取各lsb中的一個(gè)或多個(gè)。然后,在步驟103中生成指示用于在編碼器側(cè)執(zhí)行的合并的合并屬性的值a。在步驟104中,根據(jù)生成的值a對(duì)圖像執(zhí)行動(dòng)態(tài)范圍適配。在步驟105中,顯示得到的圖像。

將領(lǐng)會(huì)的是,例如步驟102和103可以在單個(gè)步驟中執(zhí)行。還將領(lǐng)會(huì)的是,該方法可以包括另外的步驟,例如可以讀取元數(shù)據(jù)或標(biāo)志。作為一個(gè)示例,可以在輸入處讀取信號(hào)56,并且獲取的信息可以用來(lái)控制步驟102和/或103中的操作,例如,它可以控制要從顏色分量中提取哪些值a。它也可以控制步驟104中的操作,即步驟104中要如何執(zhí)行適配。例如,元數(shù)據(jù)可以包括指示哪些lsb包括哪些信息的信息。在一些實(shí)施例中,可以將生成的值a直接確定為用于相關(guān)最低有效比特的值。在其他實(shí)施例中,它可以是從適當(dāng)?shù)膌sb導(dǎo)出的值。

例如,可以存在使用兩個(gè)或三個(gè)lsb來(lái)指示覆蓋物的透明度的選擇。讀取器72可以讀取這樣的值,該值對(duì)于二比特指示而言處于從0到3(包括3)的范圍內(nèi),并且對(duì)于三比特指示器而言處于從0到7(包括7)的范圍內(nèi)。

根據(jù)例如信號(hào)56中的元數(shù)據(jù),接收系統(tǒng)于是可以確定使用了二比特還是三比特指示器,并且它可以將此用于生成例如透明度值(25%、37.5%,50%等等)。于是,可以在步驟104中使用該值a。

在許多實(shí)施例中,視頻信號(hào)可以包括例如指示如何對(duì)合并屬性編碼的特定元數(shù)據(jù)或標(biāo)志。

如果幀或場(chǎng)景(或者甚至電影)不包括任何覆蓋物,那么如果編碼器將這樣的信息添加到視頻信號(hào)可能是有用的。解碼器于是可以讀取該信息,并且基于此,它可以例如忽略接下來(lái)的幀、場(chǎng)景或電影,因?yàn)樗肋@不會(huì)包含任何覆蓋物。因此,解碼器“知道”,在下一幀、場(chǎng)景或電影中,它可以繞過(guò)讀取和生成步驟,并且直接轉(zhuǎn)到步驟105以執(zhí)行動(dòng)態(tài)適配。于是,它也可以使用信號(hào)的所有比特作為視頻信息,從而增強(qiáng)視頻質(zhì)量。

該方法的一個(gè)示例如下。

提供合并的視頻信號(hào)6,該信號(hào)如參照?qǐng)D4-7所描述的由編碼器51生成。在該示例中,“1”的值a用來(lái)指示像素為視頻像素,并且“0”的值用來(lái)指示像素為覆蓋像素。

解碼器接收合并的視頻信號(hào)6,并且讀取器72(參見(jiàn)圖9)讀取a的值。

如果對(duì)于像素而言a=0,那么該像素為視頻像素,并且在步驟104中執(zhí)行動(dòng)態(tài)適配。對(duì)于大多數(shù)像素而言,這將導(dǎo)致值的變化。

如果a=1,那么不執(zhí)行動(dòng)態(tài)范圍適配,并且不改變像素值。因此,可以在沒(méi)有動(dòng)態(tài)范圍適配產(chǎn)生變化的情況下再現(xiàn)所有圖形/覆蓋物。特別地,這可以導(dǎo)致例如白色覆蓋物不增強(qiáng)至hdr視亮度水平。

這是其中指示了像素的合并類(lèi)型的實(shí)施例的一個(gè)示例。在該示例中,使用了兩種合并類(lèi)型,并且因此一個(gè)二進(jìn)制值就足夠了:純視頻(a=0)和非純視頻(a=1)。

該方案的一種變型可以為:

純視頻由“0”的值a指示,菜單像素由“1”的值指示,并且字幕像素由“2”的值指示。

如果對(duì)于像素而言a=0,那么該像素為視頻,并且執(zhí)行動(dòng)態(tài)范圍適配,對(duì)于許多像素而言導(dǎo)致值的變化。

如果a=1,那么該像素為菜單像素,并且不改變像素值。

如果a=2,那么該像素為字幕像素,接收器可以采用表格,該表格指示哪個(gè)強(qiáng)度以及因而哪些分量值為字幕提供最佳的可見(jiàn)度。像素值由該值代替。

這是其中指示了像素的合并類(lèi)型或者類(lèi)別的實(shí)施例的另一示例。在該示例中,存在三種合并類(lèi)型:純視頻(a=0),菜單(a=1)和字幕(a=2)。

對(duì)于菜單像素而言,在一些實(shí)施例中也可以存在“最佳值”(例如由不同的表格提供),并且對(duì)于像素而言,進(jìn)來(lái)的信號(hào)分量值可以由這樣的值代替。

對(duì)于視頻和覆蓋物的混合物而言,例如使用從0到7的值,0為100%視頻,7為100%覆蓋物,結(jié)果例如介于針對(duì)兩個(gè)極端a=0(只有視頻)和a=7(只有覆蓋物)的結(jié)果之間。例如,對(duì)于具有介于0和7之間的關(guān)聯(lián)值a的像素值而言,可以確定以下結(jié)果:

亮度值(a)=亮度值(a=0)+(a/7*(亮度值(a=7)–亮度值(a=0))。

或者,簡(jiǎn)單地說(shuō),可以執(zhí)行兩個(gè)極端像素值之間的線(xiàn)性縮放。顯示器因此可以根據(jù)像素的透明度水平縮放動(dòng)態(tài)范圍修改的量。

在一些實(shí)施例中,例如在要更強(qiáng)調(diào)視頻或者覆蓋物的情況下,縮放可以是非線(xiàn)性的。例如,縮放可以是對(duì)數(shù)尺度。

在該示例中,適配取決于用于像素的值a,即在逐像素的基礎(chǔ)上。在更復(fù)雜的實(shí)施例中,解碼器可以分析所有值a或一組值a,或者值a在圖像或圖像的部分上的分布,并且(根據(jù)圖像中用于a的值的分析)為一些(或所有)像素修改動(dòng)態(tài)適配。

例如:如果圖像的部分為菜單,那么圖像整體上可以以ldr顯示。例如,盡管菜單矩形周?chē)囊曨l區(qū)域可以執(zhí)行原始意圖的增強(qiáng),但是顯示器可以以這樣的方式應(yīng)用變換,使得菜單停留在一些(ldr)亮度值附近,例如使得它不比亮度yx更亮并且可能不比yy更暗。即使這樣的相對(duì)簡(jiǎn)單的策略可能不總是計(jì)算混合顏色所需的確切值,但是它的確傾向于創(chuàng)建不那么胡亂地振蕩的更逼真的菜單顏色。存在各種不同的、電視可以以其計(jì)算顏色變換的方式,使得所有像素的最終結(jié)果處于邊界內(nèi),例如,它可以迭代地這樣做。

編碼器可以(在信號(hào)56中或者在單獨(dú)的信號(hào)中)提供關(guān)于例如場(chǎng)景或者鏡頭中的圖像的某種統(tǒng)計(jì)信息。在最簡(jiǎn)單的形式下,例如,它可以指示圖像中或者甚至整個(gè)視頻或電影中是否存在任何覆蓋物以及是否存在菜單部分(并且例如在統(tǒng)計(jì)上,關(guān)于菜單部分的一些參數(shù)可以傳送幫助這樣的部分的處理或者其顏色屬性的識(shí)別)。

圖12示意性地圖示出了一種示例性動(dòng)態(tài)范圍適配?!皠?dòng)態(tài)范圍適配”可以被認(rèn)為是一種用于任何類(lèi)型的動(dòng)態(tài)范圍適配顏色變換的簡(jiǎn)寫(xiě)形式,即,其中信號(hào)經(jīng)過(guò)顏色變換以便將其亮度從一個(gè)范圍(例如y尼特的最大視亮度水平)被適配到另一個(gè)范圍(例如x尼特的最大視亮度水平)。顏色變換不必(但是可以)包括色度變換或改變。

水平軸表示進(jìn)來(lái)的信號(hào)的亮度值,其可以例如針對(duì)具有2000尼特的最大視亮度水平的顯示器進(jìn)行分級(jí)。進(jìn)來(lái)的信號(hào)要在可以提供最大5000尼特的顯示器上顯示。進(jìn)來(lái)的信號(hào)在該示例中針對(duì)2000尼特的最大亮度值分級(jí),并且它必須被映射,即被適配到顯示器的較高動(dòng)態(tài)范圍。

這由圖12中的曲線(xiàn)圖示意性指示,該圖提供了作為用于進(jìn)來(lái)的信號(hào)的亮度值(il,進(jìn)來(lái)的亮度值)的函數(shù)的、用于顯示器的亮度值(ol,輸出亮度值)。這兩者之間的關(guān)系由線(xiàn)條110給出。使用圖12中圖示出的動(dòng)態(tài)范圍適配/映射將導(dǎo)致較暗部分(靠近刻度下端的亮度值)在所有顯示器上相同地再現(xiàn),如線(xiàn)條110的部分110a所圖示的,而亮燈(靠近刻度上端的亮度)被增強(qiáng),即亮度增大,如線(xiàn)條110的部分110b所圖示的。因此,部分110a的梯度具體地可以為1,而它對(duì)于部分110b而言較高。

顯示器的較高范圍用于增強(qiáng)明亮對(duì)象,例如燈。

該示例用于其中針對(duì)2000尼特分級(jí)的信號(hào)被“升級(jí)”到可以提供高達(dá)5000尼特亮度的顯示器的情形。

其他示例包括:

1.輸入用于5000尼特,輸出為100尼特(老式tv)或者大約1000尼特(早期hdrtv),以及

2.輸入用于100尼特,輸出大約1000尼特。

這不應(yīng)被解釋為限于該示例;當(dāng)顯示器具有不與進(jìn)來(lái)的信號(hào)針對(duì)其分級(jí)的亮度范圍相應(yīng)的亮度范圍時(shí),不管它是更大還是更小,都可以執(zhí)行動(dòng)態(tài)范圍適配,并且因此可以執(zhí)行升級(jí)(增大動(dòng)態(tài)范圍)以及降級(jí)(減小動(dòng)態(tài)范圍)。

圖13提供了動(dòng)態(tài)范圍映射的一個(gè)示例,其中值a對(duì)于視頻像素可以為0,并且對(duì)于字幕可以為1。讀取值r,如果a=0,則執(zhí)行動(dòng)態(tài)范圍適配(dra)。如果a=1,那么不執(zhí)行dra(無(wú)dra)。換言之,動(dòng)態(tài)范圍適配可以在a=0的情況下應(yīng)用修改視亮度值的動(dòng)態(tài)范圍映射,但是如果a=1,那么它將應(yīng)用一個(gè)直接的動(dòng)態(tài)范圍映射,其中不改變視亮度值。

作為另一個(gè)示例,圖形像素可以經(jīng)受固定動(dòng)態(tài)范圍映射(但是不像視頻那么多),而視頻像素經(jīng)受可變動(dòng)態(tài)范圍映射(從場(chǎng)景到場(chǎng)景而不同)。應(yīng)用到視頻像素的動(dòng)態(tài)范圍映射也可以更復(fù)雜,例如曲線(xiàn)可以更陡峭并且更復(fù)雜。

圖14提供了另一示例。在這種情況下,對(duì)于值a,三個(gè)值是可能的。

如果a=0,那么像素為視頻像素,并且執(zhí)行與適合于圖像的映射相應(yīng)的動(dòng)態(tài)范圍適配。這典型地導(dǎo)致具有值的改變的許多像素(執(zhí)行dra)。

如果a=1,那么該像素為菜單,并且像素值不改變(與無(wú)dra相應(yīng))。

如果a=2,則這指示像素為字幕像素。在這種情況下,顯示器具有提供關(guān)于強(qiáng)度以及因而分量值的信息的表格,這些分量值被認(rèn)為為字幕提供最佳的可見(jiàn)度。然后,基于表格查找(該表格提供被認(rèn)為最適合該顯示器上的字幕的固定值)將像素值設(shè)置為預(yù)定值。

因此,在該示例中,在圖像被顯示之前,圖像的像素經(jīng)受適配。適配參數(shù)(即如何執(zhí)行適配)取決于在最低有效比特中讀取的一個(gè)或多個(gè)值,即取決于如值a所指示的合并屬性。如果值為0,那么適配與a=1時(shí)和a=2時(shí)不同。

在上面的實(shí)施例中,相對(duì)較低數(shù)量的可能的值可以用于值a。該值一般可以被看作比特的任何組合,該組合用于傳達(dá)關(guān)于合并以及具體地關(guān)于像素是否和/或在什么程度上是或者包括覆蓋物的信息。這可以以各種不同的方式實(shí)現(xiàn)。例如,在上面的示例中,顏色分量之一(其將稱(chēng)為分量i)的兩個(gè)比特可以如下使用:

0=視頻

1=只有菜單

2=只有字幕

3=既有視頻又有字幕和/或菜單。

在該示例中,各lsb的一個(gè)或多個(gè)中的至少一個(gè)值可以指示覆蓋物類(lèi)型。

這再次可以是混合類(lèi)型指示的一個(gè)示例。

在該示例中,存在用于“純像素”的四個(gè)混合類(lèi)型指示,即a=0、1和2,以及一個(gè)用于混合類(lèi)型像素的類(lèi)型指示,即a=3(術(shù)語(yǔ)“純”指示貢獻(xiàn)來(lái)自各輸入信號(hào)中的僅僅一個(gè),即來(lái)自輸入圖像或者來(lái)自覆蓋信號(hào)之一;并且術(shù)語(yǔ)“混合”指示貢獻(xiàn)來(lái)自各信號(hào)中的至少兩個(gè))。

對(duì)于混合類(lèi)型的像素(當(dāng)在所提到的兩個(gè)lsb中a=3時(shí)),于是可以在例如用于其他兩個(gè)分量(為了簡(jiǎn)單起見(jiàn)表示為ii和iii)的各最低有效比特中的兩個(gè)中給出字幕和/或菜單的透明度。如果分量i的兩個(gè)最低有效比特具有值“3”,那么這指示像素不是純類(lèi)型像素,而是混合類(lèi)型像素。例如,它可以是50%視頻和50%字幕,使得字幕于是具有50%的透明度t(或者它可以例如是50%視頻和50%菜單)。讀取器56于是可以繼續(xù)讀取其他兩個(gè)分量ii和iii的兩個(gè)最低有效比特。對(duì)于所述其他分量中的第一個(gè),例如分量ii,讀取器56讀取兩個(gè)最低有效比特,并且確定值0。這指示例如混合物中不存在來(lái)自字幕的貢獻(xiàn)。它可以進(jìn)一步讀取另一個(gè)分量,在這種情況下為分量iii,并且可以例如確定值2存在于兩個(gè)最低有效比特中。這可能例如指示50%視頻和50%菜單的混合。如果替代地,像素為50%視頻和50%字幕,則讀取器56將讀取第一分量的兩個(gè)最低有效比特中的值2以及另一個(gè)分量中的值0。

這是其中提供了合并類(lèi)型信息以及合并參數(shù)二者的實(shí)施例的一個(gè)示例。

這是按示例給出的全部,存在更多可能的編碼方式。

一種稍微不同的方案是使用以下指示:

0=視頻

1=覆蓋物或者覆蓋物和視頻的混合。

在第一示例中,只有該信息被使用。

這個(gè)方案體現(xiàn)了通常在提供所述方法的高效使用的同時(shí)使用僅僅單個(gè)比特允許低復(fù)雜度實(shí)現(xiàn)方式的實(shí)施例。所做的唯一區(qū)別在于視頻和別的任何東西之間,不管這是覆蓋物還是覆蓋物和視頻的混合,并且與覆蓋物的性質(zhì)無(wú)關(guān),不論它是字幕、菜單、標(biāo)識(shí)、廣告等等。

在稍微更復(fù)雜的實(shí)施例中,在例如另一個(gè)分量的各最低有效比特中的兩個(gè)中給出覆蓋物的透明度。

這個(gè)方案體現(xiàn)了通常在提供所述方法的高效使用的同時(shí)使用最少數(shù)量的比特允許低復(fù)雜度實(shí)現(xiàn)方式的實(shí)施例。

本發(fā)明的上述和其他實(shí)施例可以使用可變長(zhǎng)度編碼方法來(lái)執(zhí)行。

當(dāng)合并已經(jīng)發(fā)生時(shí),該方法提供關(guān)于合并的信息,并且具體地它可以提供關(guān)于合并量的信息。

然而,當(dāng)沒(méi)有合并發(fā)生時(shí),并且特別是如果像素僅僅是視頻,那么可能重要的是提供關(guān)于像素值的盡可能多的信息,即犧牲盡可能少的比特。

在一些實(shí)施例中,指示像素類(lèi)型(即像素是否為視頻、覆蓋物、覆蓋物類(lèi)型和/或這些的混合)和/或合并參數(shù)(透明度參數(shù)或混合參數(shù))的分量的lsb數(shù)量可根據(jù)像素的合并類(lèi)型而變化。例如,當(dāng)像素只是視頻時(shí),lsb數(shù)量低于像素為混合物時(shí)的數(shù)量。

例如,在上面給出的兩個(gè)示例中,如果在分量i的兩個(gè)最低有效比特中指示為0,指示像素只是視頻,那么分量ii和iii的兩個(gè)最低有效比特不必包括混合參數(shù),因?yàn)椴淮嬖诨旌稀?/p>

這兩個(gè)最低有效比特可以用于提供像素亮度值的更多細(xì)節(jié),即它們可以用來(lái)提高值的分辨率。

因此,用于指示合并類(lèi)型和合并參數(shù)的值的lsb的數(shù)量可能地也可以根據(jù)合并類(lèi)型而改變。當(dāng)使用可變長(zhǎng)度編碼方法時(shí),在解碼器側(cè)必須知道使用了多少lsb。為此目的,可以向信號(hào)提供編碼長(zhǎng)度信號(hào)。存在各種不同的提供編碼長(zhǎng)度信號(hào)的方式。一種用于提供編碼長(zhǎng)度信號(hào)的簡(jiǎn)單方法可以是使用也指示合并類(lèi)型的值。在那種情況下,編碼長(zhǎng)度信號(hào)由合并類(lèi)型給出。如果信號(hào)為純信號(hào),因此為“純類(lèi)型”,那么無(wú)需關(guān)于合并量的信息。

對(duì)于諸如純視頻或者純字幕之類(lèi)的簡(jiǎn)單類(lèi)型的像素,附加的信息是不必要的。然而,對(duì)于合并類(lèi)型的像素,例如通過(guò)將字幕與視頻混合而形成的像素類(lèi)型,關(guān)于合并量(例如它是50%-50%混合物還是25%-75%混合物)的附加信息可能是有用的,并且可以編碼到一些lsb中。如果像素組成簡(jiǎn)單,即沒(méi)有發(fā)生合并,那么提供關(guān)于合并的所有信息所需的lsb的數(shù)量比更復(fù)雜的情形少。

在解碼器側(cè),解碼器讀取其中指示了像素合并類(lèi)型的lsb,并且然后根據(jù)所述lsb中的值而繼續(xù)。如果合并類(lèi)型指示像素為混合類(lèi)型,那么讀取指示合并參數(shù)的lsb。在讀取的信息的基礎(chǔ)上執(zhí)行動(dòng)態(tài)適配。如果合并類(lèi)型指示像素只是視頻,那么沒(méi)有指示合并參數(shù)的lsb,但是替代地,所述lsb將包括視頻信息(例如亮度值),并且解碼器將像這樣解釋它們。

同樣地,如果標(biāo)志指示幀僅僅包括視頻,那么在所述幀中不存在傳達(dá)關(guān)于合并類(lèi)型和合并參數(shù)的信息所需的lsb,并且用于所述幀中的所有像素的所有l(wèi)sb都可以用于傳達(dá)視頻信息。這是可變長(zhǎng)度編碼的一個(gè)非常極端的示例以及提供編碼長(zhǎng)度信號(hào)的一種低復(fù)雜度的方式。

可替換地或者此外,標(biāo)志可以指示在進(jìn)來(lái)的場(chǎng)景中,代替僅僅使用合并類(lèi)型指示的是,在某個(gè)顏色分量的3個(gè)lsb中也將提供關(guān)于合并量的進(jìn)一步(精細(xì)的)細(xì)節(jié)。這同樣意味著將可變長(zhǎng)度編碼信號(hào)提供給解碼側(cè)。

作為另一個(gè)示例,存在若干可能的可以在編碼側(cè)使用的代碼化方案,其使用不同數(shù)量的lsb。在信號(hào)56中,提供了這樣的信號(hào),其可以向解碼側(cè)發(fā)信號(hào)表示編碼器何時(shí)從使用一定數(shù)量的lsb將合并信息傳達(dá)給解碼側(cè)的一種代碼化方案切換到使用更小或更大數(shù)量的lsb的另一種代碼化方案。這樣的信號(hào)也可以構(gòu)成編碼長(zhǎng)度信號(hào)。

在一些實(shí)施例中,可以將合并指示(即所述一個(gè)或多個(gè)合并屬性的指示)插入到顏色分量值的一個(gè)或多個(gè)lsb中,例如插入到r、g或者b值中。在一些實(shí)施例中,這些值隨后可以使用無(wú)損編碼格式進(jìn)行編碼(或者不進(jìn)行編碼,而是直接以原始形式發(fā)射),并且因此在這樣的實(shí)施例中,可以假設(shè)接收的值直接與發(fā)射的值相應(yīng),即,解碼器可以假設(shè)接收的比特與發(fā)射的比特相同。在這樣的示例中,因此典型地假設(shè)合并數(shù)據(jù)在解碼器處是正確的并且因此可以直接使用。

在一些實(shí)施例中,顏色分量值可以使用有損編碼進(jìn)行編碼。在一些這樣的實(shí)施例中,仍然可以假設(shè)接收的指示合并屬性的lsb仍然正確,即接收的值可以直接用來(lái)確定值a,并且可以相應(yīng)地適配動(dòng)態(tài)范圍適配。這有時(shí)可能導(dǎo)致錯(cuò)誤,但是在許多實(shí)施例中,這可能是可接受的。

在其他實(shí)施例中,可以使用其他預(yù)防方法。例如,在一些實(shí)施例中,可以使用合并數(shù)據(jù)的糾錯(cuò)編碼。這可能需要附加的比特。作為直接代碼的一個(gè)示例,可以將指示像素為視頻還是覆蓋像素的比特拷貝到r、g和b值的lsb。解碼器可以解碼這三個(gè)比特,并且通過(guò)多數(shù)決策選擇解碼的比特。

作為另一個(gè)示例,在一些實(shí)施例中,可以應(yīng)用空間或時(shí)間濾波,接著是硬決策。例如,可以將空間濾波器應(yīng)用到接收的數(shù)據(jù)比特,并且可以通過(guò)將濾波的輸出值與閾值相比較來(lái)設(shè)計(jì)最終的比特值。這可以利用以下事實(shí):覆蓋物典型地被提供在塊中,并且各像素很少為圖形內(nèi)容,除非鄰域中相對(duì)較大數(shù)量的像素也是圖形內(nèi)容。該方法可以例如防止菜單或字幕內(nèi)的單個(gè)像素被錯(cuò)誤地檢測(cè)為不是覆蓋像素并且相應(yīng)地增強(qiáng)至高視亮度。因此,該方法可以降低字幕或菜單內(nèi)例如極端明亮的各像素(或者非常明亮的圖像對(duì)象內(nèi)的暗像素)的風(fēng)險(xiǎn)。

在一些實(shí)施例中,用于給定像素的動(dòng)態(tài)范圍適配可以取決于給定像素鄰域中的多個(gè)像素的(多個(gè))值a。這可以例如通過(guò)作為(相鄰像素的)多個(gè)值a的函數(shù)動(dòng)態(tài)范圍適配使用的動(dòng)態(tài)范圍映射來(lái)實(shí)現(xiàn),或者例如通過(guò)應(yīng)用如上所述的空間濾波器來(lái)實(shí)現(xiàn)。

在一些實(shí)施例中,動(dòng)態(tài)范圍適配可以被布置成限制相鄰像素之間的動(dòng)態(tài)范圍適配的差異。例如,代替根據(jù)像素被指定為視頻還是覆蓋像素而選擇第一還是第二動(dòng)態(tài)范圍映射的硬決策,可以將實(shí)際的動(dòng)態(tài)范圍映射確定為這兩個(gè)動(dòng)態(tài)范圍映射的加權(quán)組合,其中權(quán)重被限制到在相鄰像素之間僅僅變化給定的量。

在一些實(shí)施例中,適配器71可以被布置成確定用于多個(gè)像素的適當(dāng)?shù)膭?dòng)態(tài)范圍映射。例如,可以在4或16像素的組中應(yīng)用動(dòng)態(tài)范圍映射,其中選擇的動(dòng)態(tài)范圍映射取決于用于所有像素的合并屬性。例如,如果與覆蓋像素相比,塊內(nèi)更多像素被指示為視頻像素,那么應(yīng)用視頻動(dòng)態(tài)范圍映射,并且否則應(yīng)用覆蓋物動(dòng)態(tài)范圍映射。

在一些實(shí)施例中,在至少一些視頻編碼之后執(zhí)行包括指示合并屬性的比特。例如,在一些實(shí)施例中,首先執(zhí)行感知有損視頻編碼(例如基于空間頻率變換),接著是所產(chǎn)生的比特的無(wú)損編碼(例如使用游程長(zhǎng)度編碼)。在這樣的示例中,有損視頻編碼輸出的lsb可以由指示合并屬性的比特代替。這可以允許高效的編碼,而沒(méi)有該編碼向合并屬性信息比特引入錯(cuò)誤的風(fēng)險(xiǎn)。

在一些實(shí)施例中,各值a中的至少一個(gè)指示視頻與一個(gè)或多個(gè)覆蓋物的合并程度。

在一些實(shí)施例中,適配參數(shù),即在顯示之前如何適配圖像像素,取決于各顏色分量中的一個(gè)或多個(gè)顏色分量中的各lsb中的超過(guò)一個(gè)lsb中(諸如例如三個(gè)分量的所述兩個(gè)最低有效比特中)提供的超過(guò)一個(gè)參數(shù)。

在其中視頻可以與一個(gè)或多個(gè)覆蓋物合并的一個(gè)示例性視頻處理系統(tǒng)(此后稱(chēng)為vps)(諸如例如機(jī)頂盒或bd播放器或者便攜式計(jì)算機(jī)等等)中,將視頻/覆蓋像素指示(a)編碼到視頻信號(hào)中的各像素顏色分量中的一個(gè)或多個(gè)的各最低有效比特中的一個(gè)或多個(gè)中。視頻信號(hào)通過(guò)vps與顯示器之間的接口傳輸。顯示器將動(dòng)態(tài)范圍適配應(yīng)用到視頻信號(hào)的(多個(gè))圖像。該適配根據(jù)視頻/覆蓋像素指示(a)來(lái)執(zhí)行。

該方法可以用在各種不同的配置中并且使用各種不同的(顏色分量)格式,諸如例如(非限制性)rgb4:4:4,ycbcr4:4:4,ycbcr4:2:2,ycbcr4:2:0。

可用于每個(gè)顏色分量的比特?cái)?shù)量可以在不同實(shí)施例之間變化,例如每分量典型地可以存在10、12、16個(gè)比特。最常見(jiàn)地,10或12個(gè)比特用于視頻信號(hào),但是16比特可能有一些用途,盡管主要用于亮度值。8比特值在許多系統(tǒng)中也是可能的,但是典型地被認(rèn)為對(duì)于hdr而言太低(其更典型地用于老式裝備,例如用于8比特mpeg視頻)。

在一些實(shí)施例中,依照例如圖1-7之一的一個(gè)示例的裝置可以被布置成依照一定視頻信號(hào)格式傳送合并的視頻信號(hào)6。例如,該裝置可以通過(guò)hdmi電纜(即依照hdmi格式)傳送合并的視頻信號(hào)6。在一些這樣的實(shí)施例中,用來(lái)表示圖像的顏色分量值的比特?cái)?shù)量可以小于通過(guò)視頻信號(hào)格式分配給每個(gè)顏色分量的比特?cái)?shù)量。在這樣的情況下,可以將顏色分量值的比特分配給通過(guò)視頻格式分配給分量值的比特中的一些,并且指示所述一個(gè)或多個(gè)值(a)(其指示用于像素的合并屬性)的比特可以被提供(插入/嵌入)到通過(guò)視頻信號(hào)格式分配給顏色分量值但是未被顏色分量值使用的一些比特中。以這種方式,指示合并屬性的值的傳送可以在不影響實(shí)際圖像信息的情況下傳送。因此,不必引入退化或者偽像以便支持附加功能。

例如,如果源視頻具有10比特的比特深度,并且合并的視頻從vps傳輸至12比特模式的顯示器,那么每分量2個(gè)lsb可以用來(lái)傳達(dá)視頻/覆蓋物信息而不引入任何退化。如果像素配置為rgb或者ycbcr4:4:4,其中每分量12個(gè)比特,那么每像素6個(gè)比特可用。如果配置為ycbcr4:2:2,那么可以考慮cbcr值在2個(gè)像素之間共享,留下每像素4個(gè)比特用于視頻/覆蓋物指示器。

例如,如果ycbcr輸出像素使用每分量10個(gè)比特,那么cb或cbr分量(或者不太可能的y分量)的最低有效比特可以例如用來(lái)指示合并器輸入像素的t值(透明度值)中的至少一個(gè)具有不同于零的值。可替換地,該lsb可以用來(lái)指示這兩個(gè)t值低于某個(gè)閾值。

在另一個(gè)示例中,使用合并器的輸出的多個(gè)比特,例如,可以使用cb的lsb和cr的lsb或者所有三個(gè)分量的lsb。多個(gè)比特可以用來(lái)區(qū)分各個(gè)不同的合并水平。利用兩個(gè)比特,可以區(qū)分四個(gè)水平,例如,一個(gè)值(1)可以指示沒(méi)有合并,另一個(gè)值(2)可以指示75%視頻和25%覆蓋物,第三值(3)可以指示50%視頻、50%覆蓋物,并且第四值(4)可以指示100%覆蓋物。利用更多的比特,可以實(shí)現(xiàn)輸出水平中圖形覆蓋物的貢獻(xiàn)的更精確的指示。

典型地,在互連格式(hdmi、顯示端口等等)中每分量的比特?cái)?shù)量為8、10、12或16比特。如果視頻源用每分量10比特進(jìn)行編碼,那么因此有可能使用6(12比特輸出)或者甚至18比特(16比特輸出)來(lái)傳輸合并信息,諸如局部應(yīng)用于該像素的透明度水平。一個(gè)選項(xiàng)將是應(yīng)用12比特輸出模式,并且從cb和cr分量中的每一個(gè)僭?。╯teal)3個(gè)lsb比特并且從y分量僭取2比特。以這種方式,8比特將可用來(lái)傳輸合并水平。

代替ycbcr輸出模式的是,可以以類(lèi)似的方式使用rgb輸出模式。

在上面的示例中,假設(shè)(在一些實(shí)施例中)每個(gè)分量的空間分辨率相等。這稱(chēng)為ycbcr4:4:4或rgb4:4:4。然而,在許多情況下,應(yīng)用顏色分量的子采樣。在ycbcr4:2:2的情況下,僅在水平方向上按因子2對(duì)顏色分量進(jìn)行空間子采樣。在ycbcr4:2:0的情況下,在兩個(gè)方向上按因子2對(duì)顏色分量進(jìn)行空間子采樣。在一些實(shí)施例中,可能有益的是保持用于合并指示比特的完整分辨率。因此,對(duì)于用來(lái)指示合并信息的每個(gè)lsb,可以提供關(guān)于比特應(yīng)用到哪個(gè)像素位置的明確的分配。例如,在4:2:2情況下,cb分量的lsb可以涉及用于奇數(shù)像素的圖形覆蓋物,而cr分量的lsb可以涉及偶數(shù)像素。

降低所需比特?cái)?shù)量的另一個(gè)選項(xiàng)是在比視頻分辨率更低的分辨率下傳輸合并位圖(提供合并屬性的指示,即a值)。例如,如果視頻分辨率為1920x1080,那么合并位圖分辨率可以為例如960x540。例如,在4:2:0情況下,cb和cr分量的lsb可以用來(lái)指示用于適用于cb和cr分量的的像素位置的合并水平。因此,在一些實(shí)施例中,一個(gè)或多個(gè)a值可以應(yīng)用到多個(gè)像素,并且具體地可以應(yīng)用到一組或一個(gè)區(qū)域的像素。

可以在也用于動(dòng)態(tài)范圍適配數(shù)據(jù)的元數(shù)據(jù)通道中指示跨接口用信號(hào)發(fā)送使用了哪種合并指示比特配置。參照?qǐng)D7,這意味著信號(hào)55提供動(dòng)態(tài)范圍適配參數(shù)以及信號(hào)56提供關(guān)于哪些分量的哪些lsb用于指示合并屬性(通常,像素是否和/或在什么程度上是視頻和一個(gè)或多個(gè)覆蓋物的混合)的信息可以在相同的元數(shù)據(jù)通道中完成。

信號(hào)56也可以提供某種統(tǒng)計(jì)或者一般信息,諸如例如是否使用了任何字幕。

如上面所示出的,在顯示器中,合并屬性指示比特可以用來(lái)在每像素的基礎(chǔ)上決定是否以及可能地還有在什么程度上應(yīng)用動(dòng)態(tài)范圍適配。

如果每像素只有一個(gè)比特(指示像素為覆蓋像素或者視頻像素),那么意圖用于原始視頻的動(dòng)態(tài)范圍適配可以在完全(沒(méi)有覆蓋物)或有限(覆蓋物)之間切換。有限可以意味著根本沒(méi)有應(yīng)用適配,像在圖8的示例中那樣,或者僅在一定程度上應(yīng)用適配。如果存在指示例如每像素的合并水平值的多個(gè)比特,那么顯示器可以通過(guò)根據(jù)合并水平縮放適配量來(lái)應(yīng)用動(dòng)態(tài)范圍適配??s放可以與合并水平具有線(xiàn)性關(guān)系,或者可以應(yīng)用非線(xiàn)性函數(shù)來(lái)優(yōu)化感知的圖片質(zhì)量。

圖15和圖16示出了在vps中編碼和在tv中解碼的組合的實(shí)施例。

在圖15和圖16中,vps41接收進(jìn)來(lái)的信號(hào)42。垂直軸圖示出例如通過(guò)手動(dòng)顏色分級(jí)而針對(duì)其對(duì)信號(hào)分級(jí)(即已針對(duì)其對(duì)接收的視頻信號(hào)的圖像分級(jí))的峰值視亮度pb或者峰值亮度(白點(diǎn))。信號(hào)42在該示例中為針對(duì)100尼特的pb而被分級(jí)的ldr信號(hào),并且例如從針對(duì)5000尼特而被分級(jí)的原始hdr信號(hào)導(dǎo)出。因此,盡管為ldr優(yōu)化的圖像,它也表示hdr圖像并且因此為hdr圖像表示。與信號(hào)42一起,提供了信號(hào)55(像在圖6中那樣),其提供關(guān)于如何針對(duì)峰值視亮度將信號(hào)升級(jí)到較高值或者換言之如何將動(dòng)態(tài)范圍適配應(yīng)用到視頻信號(hào)42的圖像的信息。信號(hào)55由vps41傳送。在vps41中,產(chǎn)生合并的信號(hào)50,其中一個(gè)或多個(gè)顏色分量的一個(gè)或多個(gè)lsb包括關(guān)于合并屬性、并且具體地關(guān)于用于像素的類(lèi)型和合并參數(shù)的信息。此外,提供信號(hào)56,其提供關(guān)于向哪些lsb填充哪些合并信息(諸如用于合并的像素的類(lèi)型和合并參數(shù))的指令。因此,該信號(hào)提供關(guān)于合并屬性的編碼的信息。水平軸圖示出信號(hào)操縱中的各個(gè)不同的步驟以及這樣的步驟中使用的分量。

在tv141的輸入端處,接收信號(hào)50、55和56。tv141包括解碼器142和動(dòng)態(tài)范圍適配器143。解碼器經(jīng)由信號(hào)56被指示哪些分量的哪些lsb包括哪些信息,即它被告知合并屬性如何被編碼。解碼器對(duì)關(guān)于所述lsb的信息解碼,并且然后將該信息發(fā)送至動(dòng)態(tài)范圍適配器143,例如具體地告知?jiǎng)討B(tài)范圍適配器像素的類(lèi)型(即,它是視頻和/或覆蓋物還是混合物)以及當(dāng)合適時(shí),混合物是什么。

動(dòng)態(tài)范圍適配器143被提供來(lái)自信號(hào)55的信息,其使得適配器能夠升級(jí)進(jìn)來(lái)的ldr信號(hào)。來(lái)自解碼器142的合并類(lèi)型信息和或合并信息在動(dòng)態(tài)范圍適配器143中用來(lái)動(dòng)態(tài)地適配像素,其中作為一個(gè)示例,覆蓋像素保持在100尼特分級(jí)下,對(duì)于僅僅屬于視頻的像素,動(dòng)態(tài)范圍適配于5000尼特,而對(duì)于混合像素(即包括視頻和覆蓋物二者),動(dòng)態(tài)范圍適配于1500尼特。在圖15中,示意性地指示了動(dòng)態(tài)范圍適配,其中箭頭u用于升級(jí)。用于視頻信號(hào)的凈結(jié)果由字母v表示,用于覆蓋物的凈結(jié)果用o表示,用于混合物的凈結(jié)果用m表示,并且用于沒(méi)有用于執(zhí)行動(dòng)態(tài)范圍適配的手段的老式tv的凈結(jié)果用l表示。這樣生成的像素值被發(fā)送至顯示器144以供顯示。

圖16圖示出圖15的設(shè)置的一種變型。在圖16中,進(jìn)來(lái)的信號(hào)42為hdr信號(hào),其在該特定示例中針對(duì)1500尼特的最大視亮度被分級(jí)。信號(hào)55包括關(guān)于如何將該信號(hào)42分級(jí)(即執(zhí)行動(dòng)態(tài)范圍適配)至諸如例如5000尼特峰值視亮度之類(lèi)的更高峰值視亮度的信息。它也包括關(guān)于如何將信號(hào)分級(jí)至較低峰值視亮度(例如至100尼特的峰值視亮度)的信息。

相對(duì)于圖15的差異在于,在圖16的示例中,解碼器+動(dòng)態(tài)范圍適配器可以增大(升級(jí))以及減?。ń导?jí))用于像素的動(dòng)態(tài)范圍。出于這個(gè)原因,圖15的用于向上的箭頭u在圖16中表示為用于向上或向下的ud。

再者,為了提供直接可用于老式tv的信號(hào),vps(或者vps與老式tv之間的設(shè)備)提供在用以降低動(dòng)態(tài)范圍的動(dòng)態(tài)范圍適配之后從合并的信號(hào)導(dǎo)出的信號(hào)150。該降級(jí)由箭頭d表示。vps41將信號(hào)55中的信息用于輸出信號(hào)l的動(dòng)態(tài)范圍適配。該信號(hào)l然后被饋送至老式tv的輸入端以便在老式tv顯示器上顯示。

在其他示例中,進(jìn)來(lái)的信號(hào)也可以是例如針對(duì)最高可能峰值視亮度(例如5000尼特)被分級(jí)的信號(hào),在這種情況下,顯示器可以執(zhí)行動(dòng)態(tài)范圍適配以便將范圍降低至顯示器的特定峰值視亮度(低于5000尼特)。

圖17更詳細(xì)地示出了依照本發(fā)明一些實(shí)施例的諸如tv之類(lèi)的顯示設(shè)備的一個(gè)實(shí)施例。合并的信號(hào)50被提供給動(dòng)態(tài)范圍適配器143和讀取器142。讀取器142讀取一個(gè)或多個(gè)lsb并且基于所述lsb的內(nèi)容的讀取提供信號(hào)145。該信號(hào)包括值a,其指示合并屬性,諸如具體是用于像素的合并類(lèi)型和/或合并參數(shù)。這構(gòu)成由例如圖7的系統(tǒng)的vps41中的編碼器51置于信號(hào)50中的信息的解碼。

讀取器142可以被提供(像在該特定示例中那樣)信號(hào)56,其告知讀取器142哪些lsb包含哪些信息以及編碼是以哪種方式執(zhí)行的,或者換言之,它提供了解碼方案。因此,讀取器142可以被提供指示合并屬性如何被編碼到信號(hào)中的信號(hào)。

動(dòng)態(tài)范圍適配器因此接收合并的信號(hào)50以及提供關(guān)于諸如像素的合并類(lèi)型和/或合并參數(shù)之類(lèi)的合并屬性的信息的信號(hào)145。

在該實(shí)施例中,動(dòng)態(tài)范圍適配器143也被提供信號(hào)55,其指示用于動(dòng)態(tài)范圍適配的參數(shù),即它可以提供關(guān)于如何適配動(dòng)態(tài)范圍的信息。

來(lái)自信號(hào)50、55和56的信息用于動(dòng)態(tài)范圍適配。如果例如編碼格式或者動(dòng)態(tài)范圍適配方法事先已知,那么可以不利用信號(hào)55和/或56中的一個(gè)或多個(gè)。

例如,如果達(dá)成了規(guī)定哪些lsb包括哪些信息的標(biāo)準(zhǔn),那么不必生成、發(fā)送和接收信號(hào)56,因?yàn)樵诰幋a器和解碼器側(cè)都遵循已知的標(biāo)準(zhǔn)。

圖18和圖19圖示出本發(fā)明的另一實(shí)施例。

如上面的示例中所給出的基于提供的混合參數(shù)的線(xiàn)性或非線(xiàn)性插值是用于由視頻和諸如例如字幕之類(lèi)的圖形的混合物組成的進(jìn)來(lái)的像素的動(dòng)態(tài)范圍適配的一種可能性。

在另一個(gè)實(shí)施例中,使用了一種不同的方法。

如果已知像素由視頻以及諸如字幕之類(lèi)的圖形組成,那么已知提供了混合的信號(hào),但是并不毫無(wú)疑義地知曉合并的信號(hào)中用于不同顏色的像素值的哪個(gè)部分最初是視頻以及什么部分最初是字幕。

例如指示25%為字幕且75%為視頻的混合參數(shù)提供某種指導(dǎo),但是更精確的確定可能是有用的。

即使知道該百分比,覆蓋物的真實(shí)貢獻(xiàn)也可能在大約25%的容限內(nèi),并且此外,由于字幕的顏色和視頻的顏色未知,因而不知道視頻和字幕的貢獻(xiàn)在不同的顏色下是什么。

在一些實(shí)施例中,在解碼器中,對(duì)于其而言各最低比特中的一個(gè)或多個(gè)指示它們由視頻和一個(gè)或多個(gè)覆蓋物組成(并且因此形成“混合像素”)的像素,對(duì)在不同的顏色下圖形(諸如字幕)和視頻對(duì)像素值的貢獻(xiàn)進(jìn)行估計(jì)。

這例如通過(guò)分析一像素周?chē)南袼貋?lái)完成。

對(duì)于像素集合,即像素及其周?chē)南袼?,混合參?shù)已知,或者至少已知存在混合或者可能的混合。

未知的是對(duì)于不同的顏色而言貢獻(xiàn)是什么。

例如,視頻可能為紅色并且字幕可能為綠色。

覆蓋物與視頻之間的混合整體上可能對(duì)于像素而言為每個(gè)50%,但是各顏色中的混合比率可能與此大不相同(因?yàn)橐曨l和覆蓋物的色度對(duì)于像素而言可能非常不同)。

通過(guò)分析像素及其周?chē)南袼兀梢葬槍?duì)所述像素對(duì)圖形和視頻對(duì)信號(hào)的貢獻(xiàn)進(jìn)行估計(jì)。

可以在一些顏色分量的lsb中提供一些混合參數(shù),并且通常諸如字幕之類(lèi)的圖形典型地具有或多或少恒定的顏色和強(qiáng)度以及可能地均勻的尺寸和形狀。這可以允許估計(jì)各個(gè)貢獻(xiàn)。

因此,通過(guò)估計(jì)器使用進(jìn)來(lái)的混合參數(shù)以及像素和周?chē)袼氐姆治?,進(jìn)來(lái)的(例如ldr)混合的信號(hào)用來(lái)提供對(duì)進(jìn)來(lái)的信號(hào)的圖形貢獻(xiàn)的估計(jì)和視頻貢獻(xiàn)的估計(jì)。如果視頻信號(hào)用于白點(diǎn)并且字幕為綠色,那么通過(guò)將作為100%視頻的像素與作為50%視頻和50%字幕的相鄰像素相比較,可以通過(guò)比較所提到的像素值來(lái)估計(jì)字幕在各個(gè)不同的顏色分量中的貢獻(xiàn)。字幕通常具有或多或少恒定的顏色和強(qiáng)度并且通常具有或多或少標(biāo)準(zhǔn)的尺寸和形狀這一事實(shí)當(dāng)然可以用在所述分析中。在該分析中,例如比較用于所述像素和用于若干周?chē)袼氐臄?shù)據(jù)。在一些實(shí)施例中,單個(gè)相鄰像素可以用于該分析,但是在該分析中使用各周?chē)袼刂械某^(guò)一個(gè)周?chē)袼氐湫偷禺a(chǎn)生更佳的結(jié)果。

從信號(hào)中減去估計(jì)的字幕貢獻(xiàn)提供了對(duì)合并的信號(hào)的估計(jì)的視頻貢獻(xiàn),并且反之亦然。

對(duì)于這樣估計(jì)的信號(hào),動(dòng)態(tài)范圍適配然后可以單獨(dú)地應(yīng)用到各個(gè)估計(jì)的信號(hào)。

這可以例如是將完全動(dòng)態(tài)范圍適配應(yīng)用到估計(jì)的視頻信號(hào),并且將固定值或者不同的動(dòng)態(tài)范圍適配應(yīng)用到估計(jì)的覆蓋信號(hào)。

動(dòng)態(tài)范圍適配也可以使用如先前的示例中所描述的某種外推。

這樣的實(shí)施例的優(yōu)點(diǎn)在于,關(guān)于圖形和視頻對(duì)顏色信號(hào)的貢獻(xiàn)的更詳細(xì)的信息被確立,并且用來(lái)單獨(dú)地優(yōu)化各個(gè)特征。

這允許更佳地細(xì)調(diào)動(dòng)態(tài)范圍適配。

圖18圖示出這樣的實(shí)施例的一個(gè)示例。

將進(jìn)來(lái)的混合的ldr信號(hào)提供給圖18中的est所指示的估計(jì)器146。

該估計(jì)器也被讀取器142提供信息信號(hào)145,因此,它知道何處存在混合的像素,并且在實(shí)施例中也知道混合量的指示。估計(jì)器145知道何處存在混合的像素并且可以具有一些另外的一般信息。

估計(jì)器分析像素和周?chē)袼氐臄?shù)據(jù)以便提供圖形估計(jì)信號(hào)147和視頻估計(jì)信號(hào)148。例如,信號(hào)147是一個(gè)yuv_graph_estimate信號(hào),即單單給出進(jìn)來(lái)的ldr信號(hào)中的字幕貢獻(xiàn)的估計(jì)的yuv信號(hào)。

信號(hào)148是一個(gè)yuv_video_estimate信號(hào),即單單給出進(jìn)來(lái)的ldr信號(hào)中的視頻貢獻(xiàn)的估計(jì)的yuv信號(hào)。

在這些信號(hào)147和148上,執(zhí)行動(dòng)態(tài)范圍適配,其中該動(dòng)態(tài)范圍適配對(duì)于這兩個(gè)信號(hào)是不同的。這在圖18中通過(guò)數(shù)字143a和143b示意性地指示。信號(hào)55可以提供執(zhí)行動(dòng)態(tài)范圍適配的指令。信號(hào)147和148中的至少一個(gè)被適配,但是通常且優(yōu)選地二者都被適配。

經(jīng)適配的信號(hào)在混合器149(在圖18中由+號(hào)示意性地指示)中重新混合。估計(jì)的字幕信號(hào)147可以例如一定程度上比估計(jì)的視頻信號(hào)148增強(qiáng)得更少;在重新混合的信號(hào)中,字幕于是不那么明顯可見(jiàn)。

得到的用于顯示器144的信號(hào)可以例如為

t_2*yuv_graph_estimate信號(hào)+(1-t_2)*k*yuv_video_estimate

其中k為用于yuv_video_estimate的增強(qiáng)因子。

在該示例中,視頻估計(jì)信號(hào)被增強(qiáng),而覆蓋物估計(jì)信號(hào)維持在其ldr值處。然后,經(jīng)適配的信號(hào)利用重新混合參數(shù)t_2進(jìn)行重新混合。重新混合參數(shù)t_2可以由信號(hào)55提供。

在該實(shí)施例中,解碼器包括估計(jì)器,其基于像素及其周?chē)袼氐姆治龉烙?jì)覆蓋物和視頻在不同顏色中的貢獻(xiàn)。

在實(shí)施例中,相同的信息也可以在進(jìn)來(lái)的信號(hào)50本身的lsb中被提供。例如,一個(gè)分量中的一個(gè)lsb可以指示像素是視頻還是某種混合物,并且每個(gè)分量中的3個(gè)比特可以指示針對(duì)所述分量的、視頻對(duì)總的信號(hào)的貢獻(xiàn)。

然而,這需要使用相當(dāng)多的lsb,并且此外在許多實(shí)現(xiàn)方式中,它可能要求編碼器將合并之后的信號(hào)與合并之前的信號(hào)相比較。然而,這可以通過(guò)改進(jìn)的經(jīng)適配的圖像被生成而正當(dāng)化。

在該實(shí)施例中,讀取器142在信號(hào)145中提供關(guān)于對(duì)不同顏色的貢獻(xiàn)的信息,并且估計(jì)器146可以簡(jiǎn)單地直接使用提供的數(shù)據(jù)來(lái)分別生成視頻和覆蓋物的貢獻(xiàn)的估計(jì)。估計(jì)器在這種情況下可以不必使用像素和周?chē)袼氐臄?shù)據(jù)執(zhí)行分析,相反地,可以在信號(hào)145中供應(yīng)所有信息,其通過(guò)讀取器142從進(jìn)來(lái)的信號(hào)50的lsb中讀取。

得到的信號(hào)可能仍然是估計(jì)(或者至少具有一些量化誤差),因?yàn)榭捎玫谋忍財(cái)?shù)量?jī)?nèi)在地是有限的,并且因此離開(kāi)估計(jì)器的信號(hào)可以被認(rèn)為是原始合并的估計(jì)。

在一些實(shí)施例和應(yīng)用中,使用基于像素周邊的分析可能是優(yōu)選的,因?yàn)樾枰俚膌sb以用于提供合并信息并且通??梢垣@得更高的精確度。

圖19示出了圖18的顯示設(shè)備的細(xì)節(jié)。在該示例中,示出了解碼器,連同進(jìn)來(lái)的信號(hào)50、合并的信號(hào)55、關(guān)于動(dòng)態(tài)范圍適配的信息56、關(guān)于哪些lsb被使用和如何被使用的信息以及送出的信號(hào)。

在圖18的示例中,解碼器因此被布置成估計(jì)在編碼器處合并的原始覆蓋和視頻信號(hào)。然后,可以將動(dòng)態(tài)范圍適配單獨(dú)地應(yīng)用到這些估計(jì)的信號(hào),并且具體地,應(yīng)用到估計(jì)的視頻信號(hào)(圖像)的動(dòng)態(tài)范圍映射可以不同于應(yīng)用到估計(jì)的覆蓋信號(hào)的動(dòng)態(tài)范圍映射。在一些實(shí)施例中,可以估計(jì)多個(gè)覆蓋信號(hào),即,可能(假設(shè))執(zhí)行合并,其中多個(gè)輸入覆蓋信號(hào)結(jié)合到合并的視頻信號(hào)6中(與視頻信號(hào)一起)。在這樣的情景中,解碼器可以估計(jì)多個(gè)覆蓋信號(hào),并且可以執(zhí)行對(duì)不同覆蓋信號(hào)的不同動(dòng)態(tài)范圍適配。例如,對(duì)于白色覆蓋信號(hào),不應(yīng)用視亮度增強(qiáng),而將相對(duì)較小的視亮度增強(qiáng)應(yīng)用到例如綠色覆蓋物。可以將不同的且例如更積極的動(dòng)態(tài)范圍適配應(yīng)用到視頻信號(hào)。

在這樣的方法中,解碼器相應(yīng)地尋求逆轉(zhuǎn)由編碼器的合并器執(zhí)行的合并。事實(shí)上,解碼器尋求生成原始信號(hào)(即視頻和覆蓋信號(hào))的估計(jì)。如果這被實(shí)現(xiàn),那么然后可以應(yīng)用針對(duì)特定顯示器的單獨(dú)的內(nèi)容類(lèi)型為最優(yōu)的動(dòng)態(tài)范圍映射。在這樣的單獨(dú)的動(dòng)態(tài)范圍映射(優(yōu)化)之后,可以生成和呈現(xiàn)合并的動(dòng)態(tài)范圍適配的視頻信號(hào)。

實(shí)質(zhì)上,通過(guò)讀取各lsb中的一個(gè)或多個(gè)lsb中的信息,作為合并的像素的像素得以識(shí)別,并且例如合并/混合的程度得以確定。使用周?chē)袼刂锌捎玫男畔?,信?hào)的原始成分得以重構(gòu)(例如假設(shè)視頻的低頻特性或者使用更復(fù)雜的共同估計(jì)模型),或者更精確地說(shuō),這些成分被估計(jì)。知道什么被合并并且知道原始分級(jí)和顯示器的分級(jí),允許進(jìn)一步改進(jìn)的適配。

指示合并屬性的值a可以稱(chēng)為圖形指示器比特,其針對(duì)每個(gè)輸出像素被生成和傳輸。該比特可以嵌入到視頻輸出信號(hào)中。具體地,各明度比特中的最低比特(即最低有效比特)可用于此,因?yàn)樗鼘⒌湫偷嘏c這樣的亮度相應(yīng),這些亮度如此地暗以至于觀看者不會(huì)感知到這樣的圖形編碼噪聲。例如,比特值“1”可以是圖形,“0”可以是正常視頻(即在合并中,只有視頻)。

作為bd系統(tǒng)的一個(gè)特定示例,該方法可以在處于hdmv模式下時(shí)使用。在這種情況下,可以根據(jù)適用于該像素的α1和α2為每個(gè)像素生成圖形指示器比特ig。ig可以在α1和α2中的任何一個(gè)具有大于0.06的值的情況下設(shè)置為1b,否則,ig可以設(shè)置為0b。也參見(jiàn)圖20。

當(dāng)處于bd-j模式下時(shí),可以如圖21中所示那樣生成圖形指示器。在這種情況下,圖形指示器比特應(yīng)當(dāng)可以針對(duì)所有像素位置設(shè)置為1b,對(duì)于所述像素位置,在臨時(shí)視頻數(shù)據(jù)中設(shè)置背景平面像素。對(duì)于所有其他像素位置,除了在bd-j圖形情況下直接從像素?cái)?shù)據(jù)中提取α2之外,可以以其在hdmv模式下生成的相同方式生成圖形指示器比特。

在一些上面的示例中,使用了詞語(yǔ)tv,該詞代表包括顯示器的任何顯示設(shè)備;它可以是家庭計(jì)算機(jī)或者家庭視頻系統(tǒng)或者平板計(jì)算機(jī)或者任何便攜式顯示設(shè)備的屏幕。目前,hdr設(shè)備經(jīng)常在家里使用,但是這不應(yīng)當(dāng)被認(rèn)為是對(duì)于本發(fā)明的限制。hdr顯示器可以用在許多不同類(lèi)型的設(shè)備中。

術(shù)語(yǔ)“圖形”可以用來(lái)指示一般類(lèi)型的覆蓋物,例如字幕或菜單或者其他覆蓋物。

覆蓋物可以是在合并器中合并到圖像視頻信號(hào)的任何附加的信號(hào)。

術(shù)語(yǔ)“顏色”不應(yīng)當(dāng)解釋為僅僅是指色度值或?qū)傩?,而是也可以包括亮度,或者事?shí)上可以?xún)H僅是指亮度。例如,顏色分級(jí)可以?xún)H僅是其中不考慮色度的亮度分級(jí)。

術(shù)語(yǔ)顏色分級(jí)/色調(diào)映射/動(dòng)態(tài)范圍適配可以被認(rèn)為是等效的(事實(shí)上符合它們?cè)诒绢I(lǐng)域中的使用)。

本文中公開(kāi)的算法組件可以(全部地或者部分地)在實(shí)踐中實(shí)現(xiàn)為硬件(例如專(zhuān)用ic的部分)或者實(shí)現(xiàn)為運(yùn)行在特殊數(shù)字信號(hào)處理器或者通用處理器等等上的軟件。

技術(shù)人員根據(jù)我們的介紹應(yīng)當(dāng)可理解哪些組件可以是可選的改進(jìn)并且可以與其他組件組合地實(shí)現(xiàn),以及(可選的)方法步驟如何與裝置的各構(gòu)件相應(yīng)以及相反的情況。在本申請(qǐng)中,詞語(yǔ)“裝置”或者諸如“設(shè)備”之類(lèi)的類(lèi)似詞語(yǔ)在其最廣泛的意義上使用(即允許實(shí)現(xiàn)特定目的的一組構(gòu)件),并且因此可以例如為ic(的小部分)或者專(zhuān)用器具(諸如具有顯示器的器具)或者聯(lián)網(wǎng)的系統(tǒng)的部分等等。“布置”、“系統(tǒng)”或者類(lèi)似的詞語(yǔ)也意圖在最廣泛的意義上使用,因此它可以除了別的之外包括單個(gè)裝置、裝置的部分、協(xié)作裝置(的部分)的集合等等或者形成在單個(gè)裝置、裝置的部分、協(xié)作裝置(的部分)的集合等等中。

作為外延,當(dāng)前實(shí)施例的計(jì)算機(jī)程序產(chǎn)品版本應(yīng)當(dāng)被理解為涵蓋命令集合的任何物理實(shí)現(xiàn),這些命令在將命令輸入到處理器中的一系列加載步驟(其可以包括中間轉(zhuǎn)換步驟,諸如翻譯成中間語(yǔ)言和最終的處理器語(yǔ)言)之后使得通用或?qū)S锰幚砥髂軌驁?zhí)行發(fā)明的各特有功能中的任一個(gè)。特別地,計(jì)算機(jī)程序產(chǎn)品可以實(shí)現(xiàn)為諸如例如盤(pán)或磁帶之類(lèi)的載體上的數(shù)據(jù)、存儲(chǔ)器中存在的數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)連接(有線(xiàn)的或者無(wú)線(xiàn)的)傳播的數(shù)據(jù)、或者紙上的程序代碼。除了程序代碼之外,程序所需的特性數(shù)據(jù)也可以體現(xiàn)為計(jì)算機(jī)程序產(chǎn)品。應(yīng)當(dāng)清楚的是,計(jì)算機(jī)是指能夠進(jìn)行數(shù)據(jù)計(jì)算的任何設(shè)備,即,它也可以是例如移動(dòng)電話(huà)。再者,裝置權(quán)利要求可以覆蓋所述實(shí)施例的計(jì)算機(jī)實(shí)現(xiàn)的版本。

所述方法的操作所需的一些步驟可能已經(jīng)存在于處理器的功能中,而不是在計(jì)算機(jī)程序產(chǎn)品中描述,諸如數(shù)據(jù)輸入和輸出步驟。

基于前面的描述,將領(lǐng)會(huì)的是,以下方法可以由本說(shuō)明書(shū)支持。

可以提供一種用于對(duì)視頻信號(hào)編碼的方法,包括:向輸入視頻圖像信號(hào)(2)添加一個(gè)或多個(gè)覆蓋信號(hào)(3,4)以便形成合并的視頻信號(hào)(6,50);生成一個(gè)或多個(gè)值(a),所述值為合并的視頻信號(hào)中的像素指示合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù);以及為所述像素將所述一個(gè)或多個(gè)值(a)編碼到來(lái)自合并的視頻信號(hào)(6,50)的一個(gè)或多個(gè)顏色分量的一個(gè)或多個(gè)最低有效比特中。

可選地,對(duì)于這樣的方法,所述一個(gè)或多個(gè)值(a)中的至少一個(gè)指示所述像素的合并類(lèi)型。

可選地,所述一個(gè)或多個(gè)值中的至少一個(gè)提供合并參數(shù),該合并參數(shù)指示用于所述像素的、輸入視頻信號(hào)和一個(gè)或多個(gè)覆蓋信號(hào)的合并量。

可選地,單個(gè)最低有效比特用于指示像素是視頻、覆蓋信號(hào)還是視頻和一個(gè)或多個(gè)覆蓋信號(hào)的合并。

可選地,合并的視頻信號(hào)中指示合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù)的最低有效比特的數(shù)量是可變的,并且由編碼長(zhǎng)度信號(hào)指示。

可選地,向合并的視頻信號(hào)提供信息信號(hào)(56),其包括關(guān)于哪些最低有效比特用于在合并的視頻信號(hào)(50)中為所述像素指示合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù)和/或所述最低有效比特如何用來(lái)指示代碼化方法的信息。

可以提供一種用于對(duì)視頻信號(hào)編碼的視頻處理器,包括:合并器(5,51),用于合并輸入視頻圖像信號(hào)(2,46,48,54)和一個(gè)或多個(gè)覆蓋信號(hào)(3,4)以便形成合并的視頻信號(hào)(6,50);以及圖像編碼器(7,51),用于生成或者接收為合并的視頻信號(hào)中的像素指示合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù)的一個(gè)或多個(gè)值(a)并且用于為所述像素將所述一個(gè)或多個(gè)值(a)編碼到來(lái)自合并的視頻信號(hào)(6,50)的一個(gè)或多個(gè)顏色分量的一個(gè)或多個(gè)最低有效比特中。

可選地,對(duì)于這樣的視頻處理器,編碼器被布置用于利用指示用于所述像素的合并類(lèi)型的值編碼至少一個(gè)最低有效比特。

可選地,編碼器被布置用于編碼至少一個(gè)值,所述值提供指示視頻和一個(gè)或多個(gè)覆蓋物的合并量的合并參數(shù)。

可選地,編碼器被布置用于向合并的視頻信號(hào)提供信息信號(hào)(56),該信息信號(hào)具有關(guān)于哪些最低有效比特用于以及如何在合并的信號(hào)中為所述像素指示合并類(lèi)型和/或一個(gè)或多個(gè)合并參數(shù)的信息。

可選地,合并器(5)被布置用于向編碼器(7)提供合并信息信號(hào)(mis)。

視頻處理器可以包括在機(jī)頂盒或者bd播放器中。

可以提供一種用于對(duì)視頻信號(hào)解碼的方法,其中接收從超過(guò)一個(gè)信號(hào)合并的視頻信號(hào),對(duì)于像素讀取視頻信號(hào)的各顏色分量中的一個(gè)或多個(gè)的各最低有效比特中的一個(gè)或多個(gè),以及從所述最低有效比特生成一個(gè)或多個(gè)值(a),并且其中接收的視頻圖像信號(hào)的所述像素在顯示之前經(jīng)受適配,其中該適配取決于一個(gè)或多個(gè)生成的值(a)。

可選地,所述適配包括應(yīng)用動(dòng)態(tài)范圍適配顏色變換的步驟。

可選地,至少一個(gè)值a指示用于像素的合并類(lèi)型,并且顯示之前的適配取決于像素的合并類(lèi)型。

可選地,所述值(a)中的至少一個(gè)表示像素是視頻還是覆蓋物和/或視頻和覆蓋物的混合物。

可選地,所述值中的至少一個(gè)指示圖像視頻信號(hào)和一個(gè)或多個(gè)覆蓋信號(hào)的合并量,并且顯示之前的適配取決于合并量。

可選地,讀取單個(gè)最低有效比特以獲得所述值(a)。

可選地,在適配之前,基于視頻和覆蓋物對(duì)信號(hào)的像素值的貢獻(xiàn)的估計(jì),將視頻信號(hào)分割成超過(guò)一個(gè)估計(jì)的信號(hào),其在合并之前估計(jì)所述超過(guò)一個(gè)信號(hào),其后,對(duì)這些信號(hào)中的至少一個(gè)進(jìn)行顏色變換以便適配其亮度,并且重新混合經(jīng)適配的信號(hào)。

可選地,所述對(duì)于像素分割信號(hào)基于所述像素的數(shù)據(jù)以及被識(shí)別為非混合的視頻像素的若干周?chē)袼氐臄?shù)據(jù)的分析。

可以提供一種用于對(duì)從超過(guò)一個(gè)信號(hào)合并的視頻信號(hào)解碼的視頻解碼器,包括:輸入端,用于接收視頻信號(hào);讀取器(72),用于讀取像素的視頻信號(hào)的一個(gè)或多個(gè)顏色分量的至少一個(gè)或多個(gè)最低有效比特,并且從讀取的最低有效比特生成一個(gè)或多個(gè)值(a);以及適配器(71,143),用于適配視頻,并且其中適配器被布置用于根據(jù)生成的一個(gè)或多個(gè)值(a)適配像素值。

可選地,視頻解碼器包括用于信號(hào)(56)的輸入端,該信號(hào)具有關(guān)于讀取哪些最低有效比特以及如何將它們轉(zhuǎn)換成所述值(a)的信息。

可選地,適配器被布置用于對(duì)圖像像素執(zhí)行動(dòng)態(tài)范圍適配。

可選地,讀取器適于讀取單個(gè)最低有效比特以便獲得(a)。

可選地,所述系統(tǒng)包括:估計(jì)器(146),該估計(jì)器用于基于圖像視頻和覆蓋物對(duì)信號(hào)的像素值的貢獻(xiàn)的估計(jì),將接收的視頻信號(hào)分割成超過(guò)一個(gè)估計(jì)的信號(hào)(147,148),所述信號(hào)中的至少一個(gè)被適配;并且包括用于重新混合經(jīng)適配的信號(hào)的混合器(149)。

當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
扶沟县| 九龙县| 彰化市| 桃园市| 镇康县| 合山市| 无锡市| 昂仁县| 游戏| 阿图什市| 利川市| 奎屯市| 九龙坡区| 万源市| 双辽市| 扎兰屯市| 吉林市| 萨嘎县| 金塔县| 界首市| 游戏| 遵义县| 萨迦县| 外汇| 定兴县| 城步| 哈巴河县| 武定县| 炎陵县| 望奎县| 阿克苏市| 石首市| 石门县| 景宁| 抚宁县| 德清县| 兴义市| 连城县| 罗源县| 松滋市| 连云港市|