一種基于深度圖像渲染的立體混合最小可感知失真模型的制作方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于深度圖像渲染的立體混合最小可感知失真模型，通過(guò)深度掩蔽效應(yīng)和幾何失真效應(yīng)來(lái)調(diào)制最小可感知失真值。本發(fā)明先計(jì)算2D最小可感知失真的值，然后對(duì)圖像的深度掩蔽度和幾何失真進(jìn)行計(jì)算，對(duì)深度掩蔽度和幾何失真與立體混合最小可感知失真的指數(shù)關(guān)系建模，通過(guò)2D最小可感知失真值與指數(shù)關(guān)系相乘得到立體混合最小可感知失真的值。本發(fā)明通過(guò)新的立體混合最小可感知失真模型，彌補(bǔ)了以前的立體最小可感知失真模型忽視深度掩蔽效應(yīng)和幾何失真效應(yīng)等立體感知效應(yīng)的缺陷；進(jìn)一步利用新的立體混合最小可感知失真模型在立體視頻編碼中進(jìn)行殘差濾波，提高了立體視頻編碼效率。
【專(zhuān)利說(shuō)明】一種基于深度圖像渲染的立體混合最小可感知失真模型
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于立體圖像處理【技術(shù)領(lǐng)域】，涉及一種基于深度圖像渲染(DepthImage-basedRendering,DIBR)的視頻編碼技術(shù),尤其涉及一種基于深度圖像渲染的立體混合最小可感知失真(HybridJustNoticeableDistortion, HJND)模型。
【背景技術(shù)】
[0002]在立體電視與自由視點(diǎn)視頻中，立體感知為人們帶來(lái)了更有沉浸感、更舒適的視覺(jué)體驗(yàn)，同時(shí)也引入了大量的視頻數(shù)據(jù)，從而使目前的立體視頻編碼技術(shù)面臨著極大的挑戰(zhàn)。為了突破編碼效率的挑戰(zhàn)，基于深度圖的虛擬視點(diǎn)合成技術(shù)被提出，彩色解碼視頻與相應(yīng)深度視頻作為輸入，采用3Dwarping的方法合成出虛擬視點(diǎn)的彩色視頻，實(shí)現(xiàn)自由視點(diǎn)立體視頻顯示。
[0003]3Dwarping將二維圖像坐標(biāo)映射至三維世界坐標(biāo)系，其中，深度圖提供了相應(yīng)的幾何信息，然后將三維世界坐標(biāo)映射至需要進(jìn)行立體顯示的視點(diǎn)。隨后，立體感知效果由虛擬視點(diǎn)視頻與參考視點(diǎn)視頻(參考視點(diǎn)視頻解碼得到)合成得到。為了在保證立體感知效果的同時(shí)提高編碼效率，人眼感知已被嵌入至多視點(diǎn)彩色視頻加深度視頻(Mult1-viewVideopIusDepth, MVD)的編碼框架中。
[0004]在傳統(tǒng)的視頻編碼技術(shù)中，依靠客觀質(zhì)量來(lái)評(píng)價(jià)編碼效率及解碼視頻質(zhì)量，如PSNR值，而視頻的最終接收者為人眼，對(duì)于視頻編碼而言，僅評(píng)價(jià)客觀質(zhì)量的方式忽略了視頻中存在的視覺(jué)冗余。心理生理學(xué)家Itti提出的人眼顯著度模型構(gòu)建了人眼對(duì)一幅圖像中不同內(nèi)容的感興趣程度的差異。例如，新聞播報(bào)視頻中，人眼對(duì)主播更感興趣，而對(duì)背景區(qū)域不感興趣?；陲@著度模型，視頻編碼為視頻中的人眼感興趣區(qū)域分配更多碼率，而為不感興趣區(qū)域分配更少碼率，最終在不降低人眼主觀感受質(zhì)量的前提下，達(dá)到節(jié)省編碼碼率的目的。另外，心理學(xué)家研究表明，人眼無(wú)法察覺(jué)到圖像內(nèi)容的輕微變化，如為高清視頻或圖像加入高斯噪聲，噪聲量低于閾值時(shí)，人眼無(wú)法感知到高斯噪聲圖像與原始圖像的差異，該閾值即為最小可感知失真(JustNoticeableDistortion, JND)。
[0005]在傳統(tǒng)視頻編碼中，去除人眼無(wú)法感知的視覺(jué)冗余為有效的提高編碼效率的技術(shù)，研究表明，在同等主觀質(zhì)量條件下，利用JND指導(dǎo)去除殘差中的視覺(jué)冗余可節(jié)省編碼碼率。同樣，在立體視頻感知編碼中，立體視頻恰可感知失真效應(yīng)被眾多學(xué)者引入到了立體視頻編碼的框架中。人眼無(wú)法感知到殘差中小于3DJND閾值的部分，因此，小于3DJND閾值的殘差將不被編碼、傳輸至解碼端。通過(guò)減少所需傳輸?shù)臍埐盍?，?jié)省編碼碼率，從而提升立體視頻的編碼效率。
[0006]現(xiàn)有的立體視頻的JND模型均未考慮雙眼之間的競(jìng)爭(zhēng)或融合等視覺(jué)特性對(duì)掩蔽效應(yīng)的影響，僅針對(duì)立體視頻中的單個(gè)視點(diǎn)圖像有效，且只考慮了影響主觀感受質(zhì)量的某個(gè)因素，無(wú)法準(zhǔn)確反映人眼對(duì)立體視頻的失真感知情況，使其在應(yīng)用于編碼時(shí)仍有大量視覺(jué)冗余未被去除。因此，本發(fā)明將對(duì)立體感知中的立體JND模型進(jìn)行研究，解決前沿技術(shù)中還存在的問(wèn)題。
【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供了一種基于深度圖像渲染的立體混合最小可感知失真模型，來(lái)提聞立體視頻編碼效率。
[0008]本發(fā)明所采用的技術(shù)方案是:一種基于深度圖像渲染的立體混合最小可感知失真模型，其特征在于，包括以下步驟:
[0009]步驟1:計(jì)算輸入圖像的2D最小可感知失真值，其具體實(shí)現(xiàn)是通過(guò)對(duì)輸入圖像的亮度自適應(yīng)因子和紋理掩蔽因子的非線(xiàn)性相加，并減去亮度自適應(yīng)因子與紋理掩蔽因子之間的重疊效應(yīng)；
[0010]步驟2:計(jì)算輸入圖像的深度掩蔽度，其具體實(shí)現(xiàn)是通過(guò)對(duì)輸入圖像的歸一化深度強(qiáng)度對(duì)比和歸一化深度梯度對(duì)比線(xiàn)性相加后，與深度強(qiáng)度值相乘獲得最終的深度掩蔽度；
[0011]步驟3:計(jì)算輸入圖像的幾何失真，其具體實(shí)現(xiàn)是通過(guò)計(jì)算輸入圖像的立體圖像表面之間的豪斯道夫距離 而得到；
[0012]步驟4:計(jì)算輸入圖像的立體混合最小可感知失真值，其具體實(shí)現(xiàn)是將步驟2和步驟3中得到的深度掩蔽度和幾何失真與立體混合最小可感知失真值之間的指數(shù)關(guān)系，與步驟I得到的2D最小可感知失真值相乘得到立體混合最小可感知失真值。
[0013]作為優(yōu)選，步驟I中所述的計(jì)算輸入圖像的2D最小可感知失真值JND2d(x，y)，其計(jì)算公式為:
[0014]JND2d (X，y) = LA (x, y) +CM (x, y) -Clc (x, y).min {LA (x, y)，CM (x, y)}；
[0015]其中，(x，y)為輸入圖像的像素坐標(biāo)點(diǎn)值，JND2d(x, y)表示(x，y)位置上的2D最小可感知失真值，LA(x，y)為輸入圖像的亮度自適應(yīng)可見(jiàn)性閾值，CM(x，y)為輸入圖像的紋理掩蔽可見(jiàn)性閾值，Clt (x, y)表示自適應(yīng)亮度和紋理掩蔽的重疊效果，Clt (x, y) e [O, I],min {a, b}表示返回的a和b當(dāng)中的最小值。
[0016]作為優(yōu)選，步驟2中所述的計(jì)算輸入圖像的深度掩蔽度Sd(x，y)，其計(jì)算公式為:
[0017]
【權(quán)利要求】
1.一種基于深度圖像渲染的立體混合最小可感知失真模型，其特征在于，包括以下步驟:步驟1:計(jì)算輸入圖像的2D最小可感知失真值，其具體實(shí)現(xiàn)是通過(guò)對(duì)輸入圖像的亮度自適應(yīng)因子和紋理掩蔽因子的非線(xiàn)性相加，并減去亮度自適應(yīng)因子與紋理掩蔽因子之間的重疊效應(yīng)； 步驟2:計(jì)算輸入圖像的深度掩蔽度，其具體實(shí)現(xiàn)是通過(guò)對(duì)輸入圖像的歸一化深度強(qiáng)度對(duì)比和歸一化 深度梯度對(duì)比線(xiàn)性相加后，與深度強(qiáng)度值相乘獲得最終的深度掩蔽度； 步驟3:計(jì)算輸入圖像的幾何失真，其具體實(shí)現(xiàn)是通過(guò)計(jì)算輸入圖像的立體圖像表面之間的豪斯道夫距離而得到； 步驟4:計(jì)算輸入圖像的立體混合最小可感知失真值，其具體實(shí)現(xiàn)是將步驟2和步驟3中得到的深度掩蔽度和幾何失真與立體混合最小可感知失真值之間的指數(shù)關(guān)系，與步驟I得到的2D最小可感知失真值相乘得到立體混合最小可感知失真值。
2.根據(jù)權(quán)利要求1所述的基于深度圖像渲染的立體混合最小可感知失真模型，其特征在于:步驟I中所述的計(jì)算輸入圖像的2D最小可感知失真值JND2d (X，y)，其計(jì)算公式為:
JND2d (x, y) = LA (x, y) +CM (x, y) -Clc (x, y).min {LA (x, y)，CM(x, y)}； 其中，(x，y)為輸入圖像的像素坐標(biāo)點(diǎn)值，JND2d(x，y)表示(X，y)位置上的2D最小可感知失真值，LA(x, y)為輸入圖像的亮度自適應(yīng)因子，CM(x, y)為輸入圖像的紋理掩蔽因子，Clt (x, y)表示自適應(yīng)亮度和紋理掩蔽的重疊效果，CuXx, y) e [O, I], min {a, b}表示返回的a和b當(dāng)中的最小值。
3.根據(jù)權(quán)利要求1所述的基于深度圖像渲染的立體混合最小可感知失真模型，其特征在于:步驟2中所述的計(jì)算輸入圖像的深度掩蔽度Sd(x，y)，其計(jì)算公式為:
4.根據(jù)權(quán)利要求1所述的基于深度圖像渲染的立體混合最小可感知失真模型，其特征在于:步驟3中所述的計(jì)算輸入圖像的幾何失真G(x，y)，其計(jì)算公式為:
5.根據(jù)權(quán)利要求1所述的基于深度圖像渲染的立體混合最小可感知失真模型，其特征在于:步驟4中所述的計(jì)算輸入圖像的立體混合最小可感知失真值JNDh(x，y)，其計(jì)算公式為:

6.根據(jù)權(quán)利要求1所述的基于深度圖像渲染的立體混合最小可感知失真模型，其特征在于:所述的β為0.15。
7.根據(jù)權(quán)利要求1所述的基于深度圖像渲染的立體混合最小可感知失真模型，其特征在于:所述的λ為1.397。
【文檔編號(hào)】H04N13/00GK103957401SQ201410197694
【公開(kāi)日】2014年7月30日 申請(qǐng)日期:2014年5月12日 優(yōu)先權(quán)日:2014年5月12日
【發(fā)明者】胡瑞敏, 李志 , 向瑞, 胡文怡, 鐘睿, 蔡旭芬 申請(qǐng)人:武漢大學(xué)