本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，涉及一種融合視覺感知特性的碼率控制方法。

背景技術(shù)：

隨著多媒體業(yè)務(wù)的日益完善與廣泛應(yīng)用，視頻服務(wù)種類激增、高清視頻以及超高清視頻(4k×2k分辨率；8k×4k分辨率)逐漸普及，著眼于“更低碼率”和“更高畫質(zhì)”的高效視頻編碼標(biāo)準(zhǔn)HEVC(High Efficiency Video Coding,HEVC)應(yīng)運(yùn)而生。為了在信道帶寬和傳輸延時(shí)受限的情況下，保證視頻質(zhì)量，需要合理地分配編碼比特。因此，HEVC標(biāo)準(zhǔn)采用了基于R-λ模型的碼率控制技術(shù)，該技術(shù)被加入到HEVC測(cè)試模型HM15.0中。在HM15.0中，碼率控制分兩步進(jìn)行：①為各編碼單元分配目標(biāo)比特；②根據(jù)R-λ模型為各編碼單元確定量化參數(shù)。其中比特分配采用分層策略，依次為GOP(Group of Pictures,GOP)層、幀層、LCU(Large Coding Unit,LCU)層，其結(jié)構(gòu)示意圖見附圖2。各層均是根據(jù)所在層的剩余比特與圖像內(nèi)容特性，為編碼單元分配目標(biāo)比特。HM15.0中的比特分配方法雖然有效利用了比特資源，但忽略了人眼的視覺特性，對(duì)于一些人眼關(guān)注度較高的區(qū)域，比特分配并不理想。若能結(jié)合人眼視覺特性指導(dǎo)比特分配，則會(huì)大大提高視頻的主觀質(zhì)量。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種融合視覺感知特性的碼率控制方法，在保證碼率控制準(zhǔn)確性基本不變的前提下，提高視頻的主觀質(zhì)量，獲得更好的率失真性能，節(jié)省比特資源，緩解視頻編碼的重建圖像質(zhì)量與編碼資源占用之間的矛盾，提高HEVC的編碼性能。

本發(fā)明所采用的技術(shù)方案是，一種融合視覺感知特性的碼率控制方法，包括以下步驟：

第一步：進(jìn)行GOP層碼率控制初始化；

第二步：進(jìn)行幀層碼率控制初始化，判斷當(dāng)前幀f_n是否為I幀，若是，則編碼I幀，然后進(jìn)入第七步；若不是，則進(jìn)入第三步；

第三步：首先，根據(jù)當(dāng)前幀f_n的亮度分量和參考幀f_n-1的亮度分量，計(jì)算當(dāng)前幀中每個(gè)LCU的亮度均值其中，N為當(dāng)前編碼幀中LCU的個(gè)數(shù)，進(jìn)而計(jì)算當(dāng)前幀中每個(gè)LCU的亮度感知權(quán)重L_i(i＝0,1,2L N-1)：

其次，計(jì)算當(dāng)前幀中每個(gè)LCU的幀間亮度差D_i(i＝0,1,2ΛN-1)，進(jìn)而計(jì)算當(dāng)前幀中每個(gè)LCU的運(yùn)動(dòng)感知權(quán)重M_i(i＝0,1,2L N-1)：

$M_i=\frac{1.0}{1.0+\frac{D_s}{D_i}}$

其中，D_s為：

$D_s=\underset{i=1}{\overset{N}{\Σ}}{D}_i$

最后，計(jì)算當(dāng)前幀中每個(gè)LCU的比特分配權(quán)重ω_i(i＝0,1,2L N-1)：

ω_i＝L_i×M_i

并對(duì)ω_i做歸一化處理：

${\mathrm{\ω}}_i^{\′}=\frac{{\mathrm{\ω}}_i}{\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i}$

第四步：進(jìn)行LCU層碼率控制初始化；

第五步：為當(dāng)前LCU分配目標(biāo)比特，計(jì)算公式如下：

B_i＝R×ω′_i

其中，R為當(dāng)前編碼幀的目標(biāo)比特。

第六步：判斷當(dāng)前LCU是否為當(dāng)前編碼幀中的最后一個(gè)LCU，若是，則進(jìn)入第七步；若不是，則讀取下一個(gè)LCU，然后返回第四步；

第七步：判斷當(dāng)前編碼幀是否為GOP的最后一幀，若是，則結(jié)束；若不是，則讀取下一幀，然后返回第二步。

作為優(yōu)選，在所述第五步中，為了提高本發(fā)明方法的率失真性能，對(duì)當(dāng)前LCU的拉格朗日乘子λ_HM15.0進(jìn)行修正：

λ_new＝λ_HM15.0×K_λ

其中，K_λ定義為：

由于λ改變，不僅會(huì)影響率失真性能，還會(huì)引起量化參數(shù)(Quantization Parameter,QP)的變化，進(jìn)而影響碼率控制的準(zhǔn)確性。在HM15.0中的R-λ模型下：

QP_HM15.0＝4.2005lnλ_new+13.7122＝QP_{T arget}+4.2005lnK_λ

其中，QP_{T arget}為使當(dāng)前LCU的實(shí)際碼率達(dá)到目標(biāo)碼率所對(duì)應(yīng)的量化參數(shù)。

因此，為保證碼率控制的準(zhǔn)確性基本不變，對(duì)當(dāng)前LCU的量化參數(shù)進(jìn)行修正：

QP_new＝QP_{T arget}＝QP_HM15.0-4.2005ln K_λ。

本發(fā)明的有益效果是，在LCU層的碼率控制中融合了視覺感知特性，根據(jù)亮度和運(yùn)動(dòng)強(qiáng)度對(duì)人眼視覺感知的影響，指導(dǎo)LCU層的碼率分配，然后結(jié)合視覺敏感度，修正拉格朗日乘子λ和量化參數(shù)QP。與HM15.0碼率控制方法相比，本發(fā)明碼率控制方法的準(zhǔn)確性基本不變，視頻的主觀質(zhì)量與率失真性能均有提升，在傳輸相同質(zhì)量視頻的情況下，可以有效地節(jié)省編碼比特?cái)?shù)，提高HEVC編碼性能。

附圖說明

圖1是本發(fā)明的碼率控制方法流程圖；

圖2是GOP層、幀層、LCU層結(jié)構(gòu)示意圖；

圖3是背景亮度敏感閾值曲線示意圖；

圖4是運(yùn)動(dòng)強(qiáng)度與幀間亮度差的關(guān)系示意圖；

圖5是BlowingBubbles序列第32幀的圖像及局部放大圖，其中，圖5(1)為原始圖像，圖5(2)為本發(fā)明編碼48032bits,PSNR為36.9214的圖像，圖5(3)為HM15.0編碼49224bits,PSNR為36.9132的圖像，圖5(4)為原始圖像局部放大圖，圖5(5)為本發(fā)明編碼后的局部放大圖，圖5(6)為HM15.0編碼后的局部放大圖；

圖6是BasketballDrill序列第15幀的圖像及局部放大圖，其中，圖6(1)為原始圖像，圖6(2)為本發(fā)明編碼26448bits,PSNR為38.6716的圖像，圖6(3)為HM15.0編碼26880bits,PSNR為38.6613的圖像，圖6(4)為原始圖像局部放大圖，圖6(5)為本發(fā)明編碼后的局部放大圖，圖6(6)為HM15.0編碼后的局部放大圖；

圖7是FourPeople序列第6幀的圖像及局部放大圖，其中，圖7(1)為原始圖像，圖7(2)為本發(fā)明編碼1328bits,PSNR為39.4392的圖像，圖7(3)為HM15.0編碼1440bits,PSNR為39.4170的圖像，圖7(4)為原始圖像局部放大圖，圖7(5)為本發(fā)明編碼后的局部放大圖，圖7(6)為HM15.0編碼后的局部放大圖。

圖5～7均是QP＝25時(shí)，本發(fā)明方法與HM15.0方法編碼后重建圖像的對(duì)比結(jié)果。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明進(jìn)行詳細(xì)說明。

為了提高視頻的主觀質(zhì)量，本發(fā)明考慮亮度和運(yùn)動(dòng)強(qiáng)度對(duì)人眼視覺感知的影響，公開了一種融合視覺感知特性的HEVC碼率控制方法，流程如圖1所示，具體按照以下步驟進(jìn)行：

第一步：進(jìn)行GOP層碼率控制初始化。

第二步：進(jìn)行幀層碼率控制初始化，判斷當(dāng)前幀f_n是否為I幀，若是，則編碼I幀，然后進(jìn)入第七步；若不是，則進(jìn)入第三步。

第三步：首先，讀取當(dāng)前幀f_n亮度分量和參考幀f_n-1的亮度分量。N為當(dāng)前編碼幀中LCU的個(gè)數(shù)，Y_i(x,y)和Y_i′(x,y)分別為當(dāng)前幀和前一幀的第i(i＝0,1,2ΛN-1)個(gè)LCU在(x,y)位置處的亮度值。計(jì)算當(dāng)前幀中每個(gè)LCU的亮度均值

${\stackrel{\‾}{Y}}_i=\frac{\underset{y=0}{\overset{H-1}{\Σ}}\underset{x=0}{\overset{W-1}{\Σ}}{Y}_i(x,y)}{H\×W}---\left(1\right)$

其中，H和W分別表示當(dāng)前LCU的高度和寬度。

進(jìn)而計(jì)算當(dāng)前幀中每個(gè)LCU的亮度感知權(quán)重L_i(i＝0,1,2L N-1)：

其次，計(jì)算當(dāng)前幀中每個(gè)LCU的幀間亮度差D_i(i＝0,1,2ΛN-1)：

$D_i=\underset{y=0}{\overset{H-1}{\Σ}}\underset{x=0}{\overset{W-1}{\Σ}}|Y_i(x,y)-Y_i^{\′}(x,y)|---\left(3\right)$

其中，H和W分別表示當(dāng)前LCU的高度和寬度。

進(jìn)而計(jì)算當(dāng)前幀中每個(gè)LCU的運(yùn)動(dòng)感知權(quán)重M_i(i＝0,1,2ΛN-1)：

$M_i=\frac{1.0}{1.0+\frac{D_s}{D_i}}---\left(4\right)$

其中，D_s為：

$D_s=\underset{i=1}{\overset{N}{\Σ}}{D}_i---\left(5\right)$

最后，計(jì)算當(dāng)前幀中每個(gè)LCU的比特分配權(quán)重ω_i(i＝0,1,2L N-1)：

ω_i＝L_i×M_i (6)

并對(duì)ω_i做歸一化處理：

${\mathrm{\ω}}_i^{\′}=\frac{{\mathrm{\ω}}_i}{\underset{i=1}{\overset{N}{\Σ}}{\mathrm{\ω}}_i}---\left(7\right)$

第四步：進(jìn)行LCU層碼率控制初始化。

第五步：為當(dāng)前LCU分配目標(biāo)比特，計(jì)算公式如下：

B_i＝R×ω′_i (8)

其中，R為當(dāng)前編碼幀的目標(biāo)比特。

為了提高本發(fā)明方法的率失真性能，對(duì)當(dāng)前LCU的拉格朗日乘子λ_HM15.0進(jìn)行修正：

λ_new＝λ_HM15.0×K_λ (9)

其中，K_λ定義為：

由于λ改變，不僅會(huì)影響率失真性能，還會(huì)引起QP的變化，進(jìn)而影響碼率控制的準(zhǔn)確性。在HM15.0中的R-λ模型下：

QP_HM15.0＝4.2005lnλ_new+13.7122＝QP_{T arget}+4.2005lnK_λ (11)

其中，QP_{T arget}為使當(dāng)前LCU的實(shí)際碼率達(dá)到目標(biāo)碼率所對(duì)應(yīng)的量化參數(shù)。

因此，為保證碼率控制的準(zhǔn)確性基本不變，對(duì)當(dāng)前LCU的量化參數(shù)進(jìn)行修正：

QP_new＝QP_{T arget}＝QP_HM15.0-4.2005ln K_λ (12)

第六步：判斷當(dāng)前LCU是否為當(dāng)前編碼幀中的最后一個(gè)LCU，若是，進(jìn)入第七步；若不是，則讀取下一個(gè)LCU，然后返回第四步。

第七步：判斷當(dāng)前編碼幀是否為GOP的最后一幀，若是，則結(jié)束；若不是，則讀取下一幀，然后返回第二步。

本發(fā)明的原理如下：

已有研究表明，人眼對(duì)于亮度具有感知差異性。當(dāng)亮度較高或者較低時(shí)，人眼對(duì)亮度的感知度較低，但是在一定的亮度區(qū)域內(nèi)，人眼對(duì)亮度的感知度較高。在背景亮度敏感閾值曲線(如附圖3)中，縱坐標(biāo)表示人眼對(duì)亮度的感知門限值，其值越小，表示人眼的敏感度越高。本發(fā)明方法將人眼感知度較高的亮度范圍(75，125)的感知權(quán)重設(shè)置為1.0，據(jù)此計(jì)算每個(gè)LCU的亮度感知權(quán)重L_i(i＝0,1,2L N-1)(見式2)。

人眼往往對(duì)視頻序列中的運(yùn)動(dòng)區(qū)域關(guān)注程度更高，運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)強(qiáng)度可用該區(qū)域運(yùn)動(dòng)矢量的模來衡量。本發(fā)明方法用當(dāng)前LCU的運(yùn)動(dòng)矢量的模與當(dāng)前編碼幀中所有LCU運(yùn)動(dòng)矢量的模之和的比值來表示當(dāng)前LCU的運(yùn)動(dòng)強(qiáng)度F，定義單位運(yùn)動(dòng)矢量的模為64像素。令S表示LCU的幀間亮度差D_i(見式3)與當(dāng)前編碼幀的幀間亮度差D_s(見式5)的比值。經(jīng)實(shí)驗(yàn)證明，F(xiàn)和S之間存在對(duì)數(shù)函數(shù)關(guān)系，如附圖4所示：

F≈lnS

因此，可以用幀間亮度差來描述運(yùn)動(dòng)強(qiáng)度。幀間亮度差越大，運(yùn)動(dòng)強(qiáng)度越強(qiáng)，人眼的關(guān)注度則越高，視覺敏感度就越高。據(jù)此，計(jì)算每個(gè)LCU的運(yùn)動(dòng)感知權(quán)重M_i(i＝0,1,2ΛN-1)：

$M_i^{\′}=ln\frac{D_i}{D_s}$

對(duì)M′_i做對(duì)數(shù)歸一化操作：

$M_i=\frac{1}{1+e^{-M_i^{\′}}}=\frac{1}{1+\frac{D_s}{D_i}}$

綜上所述，人眼的視覺敏感度受亮度和運(yùn)動(dòng)影響，因此，可以由亮度與運(yùn)動(dòng)強(qiáng)度聯(lián)合指導(dǎo)LCU層的碼率分配。

本發(fā)明融合視覺感知的碼率控制方法與HEVC(HM15.0)中的碼率控制方法進(jìn)行比較，編碼性能統(tǒng)計(jì)結(jié)果見表1，編碼后視頻的主觀質(zhì)量對(duì)比圖見附圖5～7。

編碼環(huán)境配置為：

HEVC國(guó)際標(biāo)準(zhǔn)編碼算法版本HM15.0，

量化步長(zhǎng)QP：分別選取25，30，35，40；

編碼結(jié)構(gòu)GOP為IBBB；

LCU尺寸：64×64；

編碼長(zhǎng)度：50幀；

標(biāo)準(zhǔn)測(cè)試序列：選取3種不同分辨率下(416×240、832×480、1280×720)的6種國(guó)際標(biāo)準(zhǔn)測(cè)試序列(BQSquare,BlowingBubbles,BasketballDrill,PartyScene,FourPeople,KristenAndSara)；

編碼性能統(tǒng)計(jì)方法：采用國(guó)際通用標(biāo)準(zhǔn)BDBR(delta bitrate,BDBR)衡量編碼率失真性能，用E表示碼率控制的準(zhǔn)確性，E的計(jì)算公式如下：

$E=\frac{\left|{\mathrm{bits}}_{RC}-{\mathrm{bits}}_{T\arg et}\right|}{{\mathrm{bits}}_{T\arg et}}\×100\%$

其中，bits_RC為實(shí)際編碼碼率，bits_{T arget}為目標(biāo)碼率。

表1統(tǒng)計(jì)結(jié)果表明，本發(fā)明的碼率控制方法與HM15.0的碼率控制方法相比，碼率控制的準(zhǔn)確性降低了0.16％，但率失真性能與視頻的主觀質(zhì)量均有提升。針對(duì)多類型、不同分辨率的測(cè)試序列，在同等視頻重建圖像質(zhì)量下平均節(jié)省了0.4％的碼率，提高了HEVC的編碼性能，對(duì)于亮度變化均勻且運(yùn)動(dòng)對(duì)象較背景區(qū)域區(qū)分明顯的視頻序列，編碼性能的提高更加顯著。附圖5～7表明，在峰值信噪比(Peak Signal to Noise Ratio,PSNR)基本相同的情況下，經(jīng)本方法編碼后的視頻圖像更加接近原始圖像，具有更好的主觀質(zhì)量。以上實(shí)驗(yàn)統(tǒng)計(jì)數(shù)據(jù)證明了本發(fā)明提出的融合視覺感知特性的碼率控制方法的合理性和有效性。

表1本發(fā)明方法與HEVC(HM15.0)的編碼性能比較

注：為本發(fā)明與HM15.0在QP＝25，30，35，40編碼下E的均值的差。