專利名稱：基于視頻圖像分割技術(shù)的碼率控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及了一種基于視頻圖像分割技術(shù)的碼率控制方法，利用已有的視頻圖像分割技術(shù)，找出視頻中的運(yùn)動(dòng)對(duì)象，并獲得視頻紋理分割圖像。依據(jù)得到的兩種不同的視頻分割圖改進(jìn)碼率控制算法，使改進(jìn)后的碼率控制方法能按照視覺(jué)特征分配視頻編碼比特?cái)?shù)，提高視頻編碼質(zhì)量。

背景技術(shù)：
視頻編碼算法就是利用各種方法減小數(shù)據(jù)冗余，從而達(dá)到對(duì)數(shù)據(jù)的壓縮。在現(xiàn)有的視頻編解碼算法中，已有針對(duì)視頻時(shí)間相關(guān)性、空間相關(guān)性、時(shí)間統(tǒng)計(jì)特性的有效壓縮方法。如去除時(shí)間相關(guān)性冗余采用了運(yùn)動(dòng)估計(jì)，在編碼過(guò)程中只保存通過(guò)運(yùn)動(dòng)估計(jì)所得的圖像殘差值，大大減小了每幀圖像之間的冗余；而空間冗余的去除，則利用DCT變換，使每幀的圖像信息都集中在低頻部分，把包含相關(guān)性信息的高頻部分濾除；針對(duì)視頻中數(shù)據(jù)間的統(tǒng)計(jì)特性，則采用各種有效的熵編碼來(lái)進(jìn)行壓縮。
隨著視頻壓縮技術(shù)的不斷發(fā)展，研究人員越來(lái)越注重視覺(jué)感知在視頻編碼過(guò)程中的影響。由于視頻中運(yùn)動(dòng)目標(biāo)相較于背景吸引了更多的注意力，所以應(yīng)更多地保留目標(biāo)運(yùn)動(dòng)區(qū)域的信息量，減少背景區(qū)域的信息量。因此在編碼過(guò)程中以此為目標(biāo)，考慮比特?cái)?shù)的分配和碼率控制。
目前的H.264編碼算法中區(qū)域比特?cái)?shù)分配方法并未考慮人眼視覺(jué)特征。基于MAD的編碼器為了達(dá)到較高的PSNR增益為非重要的區(qū)域分配了過(guò)多的比特?cái)?shù)，但事實(shí)上編碼器為了增加PSNR所多分配比特?cái)?shù)并不一定能提高視頻圖像的感觀質(zhì)量。以上方法終究不能區(qū)分哪些區(qū)域是人眼關(guān)注度高的區(qū)域，并分配更多的比特?cái)?shù)；相反關(guān)注度低與關(guān)注度高的區(qū)域并未被區(qū)分對(duì)待，無(wú)法在有限比特?cái)?shù)的情況下提高主觀質(zhì)量。
鑒于此，本方法通過(guò)利用現(xiàn)有的視頻圖像分割方法，得到每一幀的運(yùn)動(dòng)對(duì)象分割圖和紋理分割圖，依據(jù)以上兩種分割圖像改進(jìn)碼率控制算法。將人眼的視覺(jué)特性加入了改進(jìn)后的碼率控制方法，使得在有限比特?cái)?shù)的情況下提高了視頻的主管質(zhì)量。


發(fā)明內(nèi)容
本發(fā)明的目的是針對(duì)已有技術(shù)存在的缺陷，提供了一種基于視頻圖像分割技術(shù)的碼率控制方法，本改進(jìn)的碼率控制方法能按照視覺(jué)特征分配視頻編碼比特?cái)?shù)，提高視頻主觀質(zhì)量。
如圖1所示，為了改進(jìn)JVT-G012碼率控制算法的不足，本發(fā)明提出了一種自適應(yīng)碼率控制方法。該方法基于現(xiàn)有的視頻圖像分割技術(shù)，對(duì)比特?cái)?shù)進(jìn)行了再分配并調(diào)整了量化參數(shù)。首先利用得到的運(yùn)動(dòng)對(duì)象分割圖計(jì)算運(yùn)動(dòng)復(fù)雜度系數(shù)，調(diào)整幀級(jí)(I幀/P幀)的碼率控制算法；然后在進(jìn)入宏塊級(jí)碼率控制算法后，利用運(yùn)動(dòng)對(duì)象分割圖和紋理分割圖計(jì)算宏塊的運(yùn)動(dòng)復(fù)雜度，調(diào)整宏塊的量化參數(shù)；最后利用運(yùn)動(dòng)模型檢測(cè)場(chǎng)景切換幀，并相應(yīng)地調(diào)整其量化參數(shù)。其關(guān)鍵步驟如下 第一，I幀量化參數(shù)的調(diào)整 利用現(xiàn)有的各種能夠提取出運(yùn)動(dòng)對(duì)象計(jì)算每一幀的運(yùn)動(dòng)復(fù)雜度，并相應(yīng)地調(diào)整I幀的初始量化參數(shù)。減小運(yùn)動(dòng)平緩I幀的編碼比特?cái)?shù)，增加后續(xù)運(yùn)動(dòng)復(fù)雜的P幀的編碼比特?cái)?shù)，提高視頻序列的整體觀看質(zhì)量。依據(jù)公式(1)調(diào)整I幀的量化參數(shù)，其中QPimg(i)為第i個(gè)GOP中I幀初始量化參數(shù)。xGOP(i)為第i個(gè)GOP中所有I幀和P幀的平均運(yùn)動(dòng)復(fù)雜度，xI(ni，1)和xP(ni，j)分別表示第i個(gè)GOP中I幀和第j個(gè)P幀的運(yùn)動(dòng)復(fù)雜度，他們分別由式(2)、(3)和(4)計(jì)算得到，其中K為每一個(gè)GOP的幀數(shù)；Nmotion(ni，j)為第i個(gè)GOP中第j幀運(yùn)動(dòng)對(duì)象所占像素點(diǎn)個(gè)數(shù)；Nall為每一幀圖像中像素點(diǎn)個(gè)數(shù)。其中α、β、γ為量化參數(shù)調(diào)節(jié)量。
第二，P幀比特?cái)?shù)的二次分配 依據(jù)現(xiàn)有的能夠提取出運(yùn)動(dòng)對(duì)象二次分配P幀比特?cái)?shù)。通過(guò)增加運(yùn)動(dòng)復(fù)雜圖像的目標(biāo)比特?cái)?shù)，改進(jìn)幀層的碼率控制效果。利用現(xiàn)有運(yùn)動(dòng)模型建立第i個(gè)GOP中第j幀的運(yùn)動(dòng)復(fù)雜度系數(shù)xp(ni，j)，見(jiàn)式(5)，其中Nmotion(ni，j)為第i個(gè)GOP第j幀中運(yùn)動(dòng)對(duì)象所占像素點(diǎn)的個(gè)數(shù)，Nall為一幀圖像中像素點(diǎn)總數(shù)。
完成P幀比特?cái)?shù)的第一次分配，獲到比特?cái)?shù)f(ni，j)后，利用式(5)得到的運(yùn)動(dòng)復(fù)雜度按式(6)對(duì)P幀進(jìn)行進(jìn)行二次分配，得到比特?cái)?shù)f(ni，j)*。經(jīng)過(guò)以上修改后P幀的比特分配算法充分考慮了視頻中運(yùn)動(dòng)復(fù)雜度，使算法更合理。
第三，宏塊量化參數(shù)的修正 碼率控制算法中，在初步確定了宏塊層的量化參數(shù)后，依據(jù)式(7)所得到宏塊的運(yùn)動(dòng)復(fù)雜度系數(shù)xmb(n，m)按式(8)和(9)調(diào)整量化參數(shù)。
式(7)中Nmv_region(n，m)為運(yùn)動(dòng)感分割圖中第(n，m)個(gè)宏塊中運(yùn)動(dòng)感知對(duì)象所占的像素點(diǎn)數(shù)；Nmb_all為宏塊中像素點(diǎn)的總數(shù)。上式由兩部分組成，左半部分反映了最終分割出的運(yùn)動(dòng)區(qū)域所占宏塊中像素點(diǎn)的比率；公式的右半部分揭示了當(dāng)前宏塊所在的運(yùn)動(dòng)區(qū)域離其中心的距離，Nregion(i)表示在運(yùn)動(dòng)分割圖中第i類紋理分割區(qū)域像素點(diǎn)的個(gè)數(shù)，其中i∈[1，M]；Nmv_region(i)表示分割出的運(yùn)動(dòng)對(duì)象所占第i類紋理分割圖像的分割區(qū)域像素點(diǎn)的個(gè)數(shù)。k列舉了在當(dāng)前宏塊中運(yùn)動(dòng)對(duì)象所包含紋理區(qū)域的類型，其中k≤M。
由于人眼的注意力集中在運(yùn)動(dòng)對(duì)象中心，所以依據(jù)式(7)得到的運(yùn)動(dòng)復(fù)雜度系數(shù)不僅考慮了宏塊的運(yùn)動(dòng)情況，同時(shí)還考慮了宏塊的位置。在獲得運(yùn)動(dòng)復(fù)雜度系數(shù)后，利用此系數(shù)調(diào)整宏塊的量化參數(shù)，見(jiàn)式(8)。
BasicUnitQP(n，m)＝BasicUnitQP(n，m)+ΔQP(n，m)(8) 其中ΔQP(n，m)定義如式(9) 式中α、β、γ、μ為量化參數(shù)調(diào)節(jié)系數(shù)，大小由具體實(shí)驗(yàn)確定，其取值范圍為μ＜0，α、β、γ＞0，且α＞β＞γ，|μ|≤γ。按式(10)進(jìn)一步修改量化參數(shù)，確保調(diào)整后的量化參數(shù)仍在取值范圍內(nèi) BasicUnitQP(n，m)＝min(max(BasicUnitQP(n，m)，18)，51)(10) 第四，場(chǎng)景切換幀的檢測(cè)與量化參數(shù)的調(diào)整 在場(chǎng)景切換時(shí)運(yùn)動(dòng)感知對(duì)象在位置和外形上都會(huì)發(fā)生巨大的變化。依據(jù)以上原理，利用每一幀所分割出運(yùn)動(dòng)對(duì)象的變化來(lái)檢測(cè)場(chǎng)景切換。當(dāng)前一幀運(yùn)動(dòng)對(duì)象和當(dāng)前幀運(yùn)動(dòng)對(duì)象在位置和形狀上有較大的變化，同時(shí)后一幀比特?cái)?shù)突然增大時(shí)，可依據(jù)式(11)中的參數(shù)η判定當(dāng)前幀為場(chǎng)景切換幀。
η＝α1·β1+α2·β2+α3·β3(11) 上式中的a1，a2，a3為式(12)、(13)和(14)所定義的三個(gè)判定因子β1，β2，β3的加權(quán)系數(shù)，其取值可由具體實(shí)驗(yàn)確定。式(12)、(13)和(14)中Numregion(j)為第j幀中運(yùn)動(dòng)對(duì)象所占紋理分割圖的區(qū)域類別數(shù)；Nmv(j)為運(yùn)動(dòng)對(duì)象分割部分所占第j幀中像素點(diǎn)的個(gè)數(shù)；Ncommon(j)為第j幀和其前一幀運(yùn)動(dòng)對(duì)象公共區(qū)域像素點(diǎn)的個(gè)數(shù)；B(j)是第j幀所分配到的比特?cái)?shù)。
由以上定義可以看出判定參數(shù)η綜合考慮了前后幀運(yùn)動(dòng)對(duì)象紋理、位置、形狀的變化。其中β1通過(guò)檢測(cè)前后幀運(yùn)動(dòng)對(duì)象紋理的變化，反映運(yùn)動(dòng)對(duì)象的變化；β2反映了運(yùn)動(dòng)對(duì)象位置和形狀上的變化；β3體現(xiàn)了前后幀所分配比特?cái)?shù)的變化，可見(jiàn)只有在當(dāng)前幀的比特?cái)?shù)大于其前一幀時(shí)，β3才會(huì)增大。得到判定參數(shù)后，依據(jù)公式(15)調(diào)整當(dāng)前幀的量化參數(shù)。其中ρ為閾值，b為量化參數(shù)調(diào)整量。
根據(jù)上述發(fā)明構(gòu)思，本發(fā)明采用的技術(shù)方案如下 一種基于視頻圖像分割技術(shù)的碼率控制方法，其特征在于具體步驟如下 (1)輸入視頻編碼幀； (2)利用視頻圖像分割方法得到運(yùn)動(dòng)對(duì)象分割圖和紋理圖像分割圖； (3)I幀碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象計(jì)算每一幀的運(yùn)動(dòng)復(fù)雜度，并相應(yīng)地調(diào)整I幀的初始量化參數(shù)； (4)P幀碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象二次分配P幀比特?cái)?shù)； (5)宏塊層碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象和紋理分割圖像計(jì)算運(yùn)動(dòng)復(fù)雜度，調(diào)整每幀中宏塊的量化參數(shù)，實(shí)現(xiàn)依據(jù)宏塊的不同性質(zhì)所進(jìn)行的編碼策略； (6)場(chǎng)景切換幀碼率控制算法調(diào)整利用所分割出的運(yùn)動(dòng)對(duì)象和紋理分割圖像判定場(chǎng)景切換，調(diào)整場(chǎng)景切換幀初始量化參數(shù)。
下面對(duì)各步驟作詳細(xì)說(shuō)明 (1)利用某種視頻圖像分割方法得到運(yùn)動(dòng)對(duì)象分割圖和紋理分割圖，其過(guò)程是 ①利用視頻圖像處理中的某種視頻運(yùn)動(dòng)對(duì)象分割技術(shù)獲得每一幀的運(yùn)動(dòng)對(duì)象，并用參數(shù)Mv(i，j)標(biāo)示當(dāng)前(i，j)像素點(diǎn)是否位于運(yùn)動(dòng)對(duì)象上。
②利用視頻圖像處理技術(shù)獲得視頻紋理圖像分割圖，將具有相同紋理的部分歸入同一區(qū)域。這些區(qū)域本身都是獨(dú)立、聯(lián)通、封閉的，所有區(qū)域的集合組成了一幀圖像。用參數(shù)M記錄所有紋理種類數(shù)，Region(i，j)表示每一個(gè)像素點(diǎn)(i，j)所在紋理區(qū)域的序號(hào)，其中Region(i，j)∈[1，M]。
(2)調(diào)整I幀的量化參數(shù)，其過(guò)程是 ①依據(jù)所分割出的運(yùn)動(dòng)對(duì)象，按照下式計(jì)算I幀的運(yùn)動(dòng)復(fù)雜度。
式中xI(ni，1)為所求的第i個(gè)GOP中I幀的運(yùn)動(dòng)復(fù)雜度系數(shù)；Nmotion(ni，1)為第i個(gè)GOP中I幀中分割出的運(yùn)動(dòng)對(duì)象所占像素點(diǎn)個(gè)數(shù)；Nall為每一幀圖像中像素點(diǎn)總數(shù)。
②依據(jù)所分割出的運(yùn)動(dòng)對(duì)象，計(jì)算P幀的運(yùn)動(dòng)復(fù)雜度 式中xP(ni，j)為所求的第i個(gè)GOP中第j個(gè)P幀的運(yùn)動(dòng)復(fù)雜度系數(shù)；Nmotion(ni，j)為第i個(gè)GOP中第j幀分割出的運(yùn)動(dòng)對(duì)象所占像素點(diǎn)個(gè)數(shù)；Nall為每一幀圖像像素點(diǎn)總數(shù)。
③按照以上兩步中得到的I幀和P幀的運(yùn)動(dòng)復(fù)雜度系數(shù)，計(jì)算一個(gè)GOP中每一幀的平均運(yùn)動(dòng)復(fù)雜度 式中xGOP(i)為第i個(gè)GOP中所有I幀和P幀的平均運(yùn)動(dòng)復(fù)雜度系數(shù)；xI(ni，1)和xP(ni，j)分別表示第i個(gè)GOP中I幀和第j個(gè)P幀的運(yùn)動(dòng)復(fù)雜度；K為每一個(gè)GOP的幀數(shù)。
④按照GOP中每一幀的運(yùn)動(dòng)復(fù)雜度系數(shù)，調(diào)整I幀量化參數(shù) 式中QPimg(i)為第i個(gè)GOP中I幀初始量化參數(shù)；α、β、γ為量化參數(shù)調(diào)節(jié)量；xGOP(i)和xI(ni，1)由公式(1)和(3)計(jì)算得到。
(3)重新分配P幀的目標(biāo)比特?cái)?shù)，其過(guò)程如下 ①利用運(yùn)動(dòng)模型計(jì)算第i個(gè)GOP中第j幀的運(yùn)動(dòng)復(fù)雜度系數(shù) 其中Nmotion(ni，j)為第i個(gè)GOP第j幀中運(yùn)動(dòng)對(duì)象所占像素點(diǎn)的個(gè)數(shù)，Nall為一幀圖像中像素點(diǎn)總數(shù)。
②完成P幀比特?cái)?shù)的第一次分配，獲到比特?cái)?shù)f(ni，j)后，利用得到的運(yùn)動(dòng)復(fù)雜度系數(shù)，對(duì)P幀進(jìn)行進(jìn)行二次分配 式中f(ni，j)是H.264編碼標(biāo)準(zhǔn)中P幀比特?cái)?shù)分配算法得到的目標(biāo)比特?cái)?shù)。
(4)調(diào)整宏塊的量化參數(shù)，其過(guò)程如下 ①依據(jù)所分割出的運(yùn)動(dòng)對(duì)象和紋理圖像，計(jì)算一幀中每一個(gè)宏塊的運(yùn)動(dòng)復(fù)雜度 式中Nmv_region(n，m)為運(yùn)動(dòng)模型所分割出的第(n，m)個(gè)宏塊中運(yùn)動(dòng)對(duì)象所占的像素點(diǎn)數(shù)；Nmb_all為宏塊中像素點(diǎn)的總數(shù)。式(7)由兩部分組成，左半部分反映了最終分割出的運(yùn)動(dòng)對(duì)象所占宏塊中像素點(diǎn)的比率；公式的右半部分揭示了當(dāng)前宏塊所在的運(yùn)動(dòng)區(qū)域離其中心的距離，Nregion(i)表示在運(yùn)動(dòng)對(duì)象中第i類紋理分割區(qū)域像素點(diǎn)的個(gè)數(shù)；Nmv_region(i)表示運(yùn)動(dòng)分割部分所占第i類紋理分割區(qū)域像素點(diǎn)的個(gè)數(shù)。k列舉了在當(dāng)前宏塊中運(yùn)動(dòng)區(qū)域所占紋理區(qū)域的類型，其中k≤M。
②依據(jù)步驟一所得到的宏塊運(yùn)動(dòng)復(fù)雜度系數(shù)，計(jì)算決定量化參數(shù)調(diào)整量 式中α、β、γ、μ為量化參數(shù)調(diào)節(jié)系數(shù)，大小由具體實(shí)驗(yàn)確定，其取值范圍為μ＜0，α、β、γ＞0，且α＞β＞γ，|μ|≤γ。xmb(n，m)為計(jì)算所得的每一個(gè)宏塊的運(yùn)動(dòng)復(fù)雜度系數(shù)。
③依據(jù)所得到的量化參數(shù)調(diào)整量，更新P幀的量化參數(shù) BasicUnitQP(n，m)＝BasicUnitQP(n，m)+ΔQP(n，m) 式中ΔQP(n，m)為公式(8)得到的量化參數(shù)調(diào)整量，n和m為當(dāng)前宏塊所占圖像中位置坐標(biāo)。
④為了防止調(diào)整后的量化參數(shù)BasicUnitQP(n，m)超出范圍，限定調(diào)整后P幀的量化參數(shù) BasicUnitQP(n，m)＝min(max(BasicUnitQP(n，m)，18)，51) 式中n和m表示當(dāng)前跳幀宏塊位置，即第(n，m)個(gè)宏塊。
(5)檢測(cè)場(chǎng)景切換幀，調(diào)整其量化參數(shù)的過(guò)程如下 ①依據(jù)運(yùn)動(dòng)分割圖，計(jì)算場(chǎng)景切換幀判定因子β1，β2，β3 式中Numregion(j)為第j幀中運(yùn)動(dòng)對(duì)象所占紋理分割圖的區(qū)域類型數(shù)；Nmv(j)為運(yùn)動(dòng)對(duì)象分割部分所占第j幀中像素點(diǎn)的個(gè)數(shù)；Ncommon(j)為第j幀和其前一幀運(yùn)動(dòng)對(duì)象公共區(qū)域像素點(diǎn)的個(gè)數(shù)；B(j)是第j幀所分配到的比特?cái)?shù)。
②依據(jù)計(jì)算得到的判定因子β1，β2，β3，計(jì)算場(chǎng)景切換幀判定參數(shù)η η＝α1·β1+α2·β2+α3·β3 式中a1，a2，a3為三個(gè)判定因子β1，β2，β3的加權(quán)系數(shù)，其取值可由具體實(shí)驗(yàn)確定。
③得到判定參數(shù)后，調(diào)整當(dāng)前幀的量化參數(shù) 式中ρ為閾值，b為量化參數(shù)調(diào)整量。
本發(fā)明與H.264的校驗(yàn)?zāi)Ｐ蚃M10.2版本上的碼率控制方法相比，具有如下的突出實(shí)質(zhì)性特點(diǎn)和顯著優(yōu)點(diǎn)本發(fā)明能夠?qū)⒎峙浣oGOP的比特?cái)?shù)在其幀間進(jìn)行合理的調(diào)整，能夠?qū)⒎峙浣o編碼幀的比特?cái)?shù)在人眼感興趣區(qū)域和非感興趣區(qū)域之間進(jìn)行合理的調(diào)整，在相同甚至更少的比特?cái)?shù)情況下獲得更佳的主觀視覺(jué)質(zhì)量。



圖1是本發(fā)明的基于視頻圖像分割技術(shù)的碼率控制方法流程框圖。
圖2是JM10.2校驗(yàn)?zāi)Ｐ秃透倪M(jìn)后的碼率控制算法I幀比特?cái)?shù)分布對(duì)比圖。
圖3是JM10.2校驗(yàn)?zāi)Ｐ秃透倪M(jìn)后的碼率控制算法輸入mother-daughter序列碼率為256kbps時(shí)P幀編碼比特?cái)?shù)對(duì)比。
圖4是JM10.2校驗(yàn)?zāi)Ｐ秃透倪M(jìn)后的碼率控制算法輸入foreman序列碼率為192kbps時(shí)P幀編碼比特?cái)?shù)對(duì)比。
圖5是低碼率情況下mother-daughter JM10.2校驗(yàn)?zāi)Ｐ?其中圖(a))與改進(jìn)后的碼率控制算法視頻(其中圖(b))質(zhì)量比較。
圖6是帶寬192Kbps，量化參數(shù)36，Silent JM10.2校驗(yàn)?zāi)Ｐ?其中圖(a))與改進(jìn)后的碼率控制算法視頻(其中圖(b))質(zhì)量比較。
圖7帶寬256Kbps，量化參數(shù)32，foreman序列JM10.2校驗(yàn)?zāi)Ｐ?其中圖(a))與改進(jìn)后的碼率控制算法視頻(其中圖(b))質(zhì)量比較。

具體實(shí)施例方式 本發(fā)明的優(yōu)選實(shí)施例結(jié)合附圖詳述如下 實(shí)施例一 本基于視頻圖像分割技術(shù)的碼率控制方法是按圖1所示程序框圖，在CPU為Athlon x22.0GHz、內(nèi)存1024M的PC測(cè)試平臺(tái)上編程實(shí)現(xiàn)，圖2是JM10.2校驗(yàn)?zāi)Ｐ团c本編碼算法中I幀所用比特?cái)?shù)對(duì)比；圖3和圖4JM10.2校驗(yàn)?zāi)Ｐ团c本編碼算法中P幀所用比特?cái)?shù)對(duì)比；圖5～7為JM10.2校驗(yàn)?zāi)Ｐ团c本編碼圖像的對(duì)比。
參見(jiàn)圖1，本基于視頻圖像分割技術(shù)的碼率控制方法，通過(guò)利用已有的視頻圖像分割方法，分割視頻中的運(yùn)動(dòng)對(duì)象和不同的紋理圖像。然后依此運(yùn)動(dòng)模型改進(jìn)幀層和宏塊層碼率控制算法。最后利用運(yùn)動(dòng)對(duì)象檢測(cè)場(chǎng)景切換幀，調(diào)整其量化參數(shù)。改進(jìn)后的碼率控制方法能按照視覺(jué)特征分配視頻編碼比特?cái)?shù)，利用相同甚至更少的比特?cái)?shù)獲得更佳的主觀視覺(jué)質(zhì)量。
其步驟是 (1)輸入視頻編碼幀； (2)利用某種視頻圖像分割方法得到運(yùn)動(dòng)對(duì)象分割圖和紋理分割圖； (3)I幀碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象計(jì)算每一幀的運(yùn)動(dòng)復(fù)雜度，并相應(yīng)地調(diào)整I幀的初始量化參數(shù)； (4)P幀碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象二次分配P幀比特?cái)?shù)； (5)宏塊層碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象和紋理分割圖像計(jì)算運(yùn)動(dòng)復(fù)雜度，調(diào)整每幀中宏塊的量化參數(shù)，實(shí)現(xiàn)依據(jù)宏塊的不同性質(zhì)所進(jìn)行的編碼策略； (6)場(chǎng)景切換幀碼率控制算法調(diào)整利用所分割出的運(yùn)動(dòng)對(duì)象和紋理分割圖像判定場(chǎng)景切換，調(diào)整場(chǎng)景切換幀初始量化參數(shù)； 實(shí)施例二 本實(shí)施例與實(shí)施例一基本相同，特別之處如下 上述步驟(2)的運(yùn)動(dòng)模型建立過(guò)程如下 ①利用視頻圖像處理中的某種視頻運(yùn)動(dòng)對(duì)象分割技術(shù)獲得每一幀的運(yùn)動(dòng)對(duì)象，并用參數(shù)Mv(i，j)標(biāo)示當(dāng)前(i，j)像素點(diǎn)是否位于運(yùn)動(dòng)對(duì)象上。
②利用視頻圖像處理技術(shù)獲得視頻紋理分割圖像，將具有相同紋理的部分歸入同一區(qū)域。這些區(qū)域本身都是獨(dú)立、聯(lián)通、封閉的，所有區(qū)域的集合組成了一幀圖像。用參數(shù)M記錄所有紋理種類數(shù)，Region(i，j)表示每一個(gè)像素點(diǎn)(i，j)所在紋理區(qū)域的序號(hào)，其中Region(i，j)∈[1，M]。
上述步驟(3)I幀碼率控制算法調(diào)整過(guò)程如下 ①依據(jù)所分割出的運(yùn)動(dòng)對(duì)象，按照公式(1)計(jì)算I幀的運(yùn)動(dòng)復(fù)雜度。式中xI(ni，1)為第i個(gè)GOP中I幀的運(yùn)動(dòng)復(fù)雜度系數(shù)；Nmotion(ni，1)為第i個(gè)GOP中I幀中分割出的運(yùn)動(dòng)對(duì)象所占像素點(diǎn)個(gè)數(shù)；Nall為每一幀圖像中像素點(diǎn)總數(shù)。
②依據(jù)所分割出的運(yùn)動(dòng)對(duì)象，按照公式(2)計(jì)算P幀的運(yùn)動(dòng)復(fù)雜度。式中xP(ni，j)為第i個(gè)GOP中第j個(gè)P幀的運(yùn)動(dòng)復(fù)雜度；Nmotion(ni，j)為第i個(gè)GOP中第j幀中分割出的運(yùn)動(dòng)對(duì)象所占像素點(diǎn)個(gè)數(shù)；Nall為每一幀圖像中像素點(diǎn)總數(shù)。
(2) ③按照以上兩步中得到的I幀和P幀的運(yùn)動(dòng)復(fù)雜度系數(shù)，按照公式(3)計(jì)算一個(gè)GOP中每一幀的平均運(yùn)動(dòng)復(fù)雜度。式中xGOP(i)為第i個(gè)GOP中所有I幀和P幀的平均運(yùn)動(dòng)復(fù)雜度；xI(ni，1)和xP(ni，j)分別表示第i個(gè)GOP中I幀和第j個(gè)P幀的運(yùn)動(dòng)復(fù)雜度；K為每一個(gè)GOP的幀數(shù)。
④按照GOP中每一幀的運(yùn)動(dòng)復(fù)雜度系數(shù)，按公式(4)調(diào)整I幀量化參數(shù)。式中QPimg(i)為第i個(gè)GOP中I幀初始量化參數(shù)；α、β、γ為量化參數(shù)調(diào)節(jié)量；xGOP(i)和XI(ni，1)由公式(1)和(3)計(jì)算得到。
上述步驟(4)的P幀碼率控制算法調(diào)整過(guò)程如下 ①我們利用運(yùn)動(dòng)模型計(jì)算第i個(gè)GOP中第j幀的運(yùn)動(dòng)復(fù)雜度系數(shù)xp(ni，j)，見(jiàn)式(5)，其中Nmotion(ni，j)為第i個(gè)GOP第j幀中分割出的運(yùn)動(dòng)對(duì)象所占像素點(diǎn)的個(gè)數(shù)，Nall為一幀圖像中像素點(diǎn)總數(shù)。
②完成P幀比特?cái)?shù)的第一次分配，獲到比特?cái)?shù)f(ni，j)后，利用式(5)得到的運(yùn)動(dòng)復(fù)雜度按式(6)對(duì)P幀進(jìn)行進(jìn)行二次分配，得到重分配比特?cái)?shù)f(ni，j)*。公式(6)中f(ni，j)是H.264編碼標(biāo)準(zhǔn)中P幀比特?cái)?shù)分配算法得到的目標(biāo)比特?cái)?shù)。
上述步驟(5)的宏塊層碼率控制算法調(diào)整過(guò)程如下 ①依據(jù)所分割出的運(yùn)動(dòng)對(duì)象，按照公式(7)計(jì)算一幀中每一個(gè)宏塊的運(yùn)動(dòng)復(fù)雜度系數(shù)。式中Nmv_region(n，m)為所分割出的第(n，m)個(gè)宏塊中運(yùn)動(dòng)對(duì)象所占的像素點(diǎn)數(shù)；Nmb_all為宏塊中像素點(diǎn)的總數(shù)。式(7)由兩部分組成，左半部分反映了最終分割出的運(yùn)動(dòng)對(duì)象所占宏塊中像素點(diǎn)的比率；公式的右半部分揭示了當(dāng)前宏塊所在的運(yùn)動(dòng)區(qū)域離其中心的距離，Nregion(i)表示在運(yùn)動(dòng)分割對(duì)象中第i類紋理分割區(qū)域像素點(diǎn)的個(gè)數(shù)；Nmv_region(i)表示運(yùn)動(dòng)分割部分所占第i類紋理分割區(qū)域像素點(diǎn)的個(gè)數(shù)，其中i∈[1，M]。k列舉了在當(dāng)前宏塊中運(yùn)動(dòng)對(duì)象所占紋理區(qū)域的類型。
②依據(jù)步驟一所得到的宏塊運(yùn)動(dòng)復(fù)雜度系數(shù)，按照公式(8)決定量化參數(shù)調(diào)整量。式中α、β、γ、μ為量化參數(shù)調(diào)節(jié)系數(shù)，大小由具體實(shí)驗(yàn)確定，其取值范圍為μ＜0，α、β、γ＞0，且α＞β＞γ，|μ|≤γ。xmb(n，m)為計(jì)算所得的每一個(gè)宏塊的運(yùn)動(dòng)復(fù)雜度系數(shù)。
③依據(jù)所得到的量化參數(shù)調(diào)整量，按照公式(9)更新P幀的量化參數(shù)。式中ΔQP(n，m)為公式(8)得到的量化參數(shù)調(diào)整量，n和m為當(dāng)前宏塊所占圖像中位置坐標(biāo)。
BasicUnitQP(n，m)＝BasicUnitQP(n，m)+ΔQP(n，m)(9) ④為了防止調(diào)整后的量化參數(shù)BasicUnitQP(n，m)超出范圍，按照公式(10)限定調(diào)整后P幀的量化參數(shù)。式中n和m表示當(dāng)前跳幀宏塊位置，即第(n，m)個(gè)宏塊。
BasicUnitQP(n，m)＝min(max(BasicUnitQP(n，m)，18)，51)(10) 上述步驟(6)場(chǎng)景切換幀的判定以及量化參數(shù)的調(diào)整過(guò)程如下 ①依據(jù)運(yùn)動(dòng)分割圖和紋理分割圖，按照公式(11)～(13)計(jì)算場(chǎng)景切換幀判定因子，可依據(jù)此系數(shù)判定當(dāng)前幀是否為場(chǎng)景切換幀。式中Numregion(j)為第j幀中運(yùn)動(dòng)對(duì)象所占紋理分割圖的區(qū)域類型數(shù)；Nmv(j)為運(yùn)動(dòng)對(duì)象分割部分所占第j幀中像素點(diǎn)的個(gè)數(shù)；Ncommon(j)為第j幀和其前一幀運(yùn)動(dòng)對(duì)象公共區(qū)域像素點(diǎn)的個(gè)數(shù)；B(j)是第j幀所分配到的比特?cái)?shù)。
②依據(jù)計(jì)算得到的判定因子β1，β2，β3，按照公式(14)計(jì)算場(chǎng)景切換幀判定參數(shù)η。式中a1，a2，a3為三個(gè)判定因子β1，β2，β3的加權(quán)系數(shù)，其取值可由具體實(shí)驗(yàn)確定。
η＝α1·β1+α2·β2+α3·β3(14) ③得到判定參數(shù)后，依據(jù)公式(15)調(diào)整當(dāng)前幀的量化參數(shù)。式中ρ為閾值，b為量化參數(shù)調(diào)整量。
以下給出輸入視頻格式為352×288的CIF時(shí)的實(shí)例，采用JM10.2版本的H.264編碼器對(duì)標(biāo)準(zhǔn)測(cè)試序列進(jìn)行編碼。H.264編碼器的配置如下Baseline Profile，IPPP，每15幀插入1個(gè)I幀，1個(gè)參考幀，帶寬設(shè)置為256k bps，幀率設(shè)置為30fps，初始量化參數(shù)設(shè)置為32。
采用典型的標(biāo)準(zhǔn)測(cè)試序列mother-daughter、Silent和foreman作為輸入視頻進(jìn)行測(cè)試，圖2是原編碼模型和基于運(yùn)動(dòng)復(fù)雜度編碼模型的碼率控制算法在帶寬為192kbps、初始量化參數(shù)為36時(shí)所得到的15個(gè)GOP中I幀的編碼比特?cái)?shù)分布圖。從這兩幅圖可以看出經(jīng)過(guò)調(diào)整后的I幀碼率控制算法所用編碼比特?cái)?shù)的均值小于原模型。圖3和圖4是在不同碼率下P幀在原編碼模型和基于運(yùn)動(dòng)復(fù)雜度編碼模型的碼率控制算法中P幀的編碼比特?cái)?shù)分布圖，從圖上可以看出經(jīng)調(diào)整后的P幀編碼比特?cái)?shù)分布較為平緩，而由未經(jīng)修改的碼率控制方法所得到的P幀編碼比特?cái)?shù)變化劇烈。數(shù)據(jù)上的劇烈變化反映在視頻圖像質(zhì)量上為模糊和清晰的圖像的交替出現(xiàn)，大大降低視頻序列的感官質(zhì)量。圖5～圖6分別為低碼率、中碼率和高碼率三種情況下JM10.2校驗(yàn)?zāi)Ｐ团c本發(fā)明的編碼圖像的對(duì)比圖，可以看出改進(jìn)后的碼率控制方法在視頻圖像質(zhì)量上有明顯的提高。
權(quán)利要求
1.基于視頻圖像分割技術(shù)的碼率控制方法，其特征在于具體步驟如下
(1)輸入視頻編碼幀；
(2)利用視頻圖像分割方法得到運(yùn)動(dòng)對(duì)象分割圖和紋理圖像分割(3)I幀碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象計(jì)算每一幀的運(yùn)動(dòng)復(fù)雜度，并相應(yīng)地調(diào)整I幀的初始量化參數(shù)；
(4)P幀碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象二次分配P幀比特?cái)?shù)；
(5)宏塊層碼率控制算法調(diào)整依據(jù)所分割出的運(yùn)動(dòng)對(duì)象和紋理分割圖像計(jì)算運(yùn)動(dòng)復(fù)雜度，調(diào)整每幀中宏塊的量化參數(shù)，實(shí)現(xiàn)依據(jù)宏塊的不同性質(zhì)所進(jìn)行的編碼策略；
(6)場(chǎng)景切換幀碼率控制算法調(diào)整利用所分割出的運(yùn)動(dòng)對(duì)象和紋理分割圖像判定場(chǎng)景切換，調(diào)整場(chǎng)景切換幀初始量化參數(shù)。
2.根據(jù)權(quán)利要求1所述的基于視頻圖像分割技術(shù)的碼率控制方法，其特征在于所述步驟2中
利用視頻圖像分割方法得到運(yùn)動(dòng)對(duì)象分割圖和紋理圖像分割圖的步驟如下
①利用視頻圖像處理中的任一種視頻運(yùn)動(dòng)對(duì)象分割技術(shù)獲得每一幀的運(yùn)動(dòng)對(duì)象，并用參數(shù)Mv(i，j)標(biāo)示當(dāng)前(i，j)像素點(diǎn)是否位于運(yùn)動(dòng)對(duì)象上；
②利用視頻圖像處理技術(shù)獲得視頻紋理圖像分割圖，將具有相同紋理的部分歸入同一區(qū)域；這些區(qū)域本身都是獨(dú)立、聯(lián)通、封閉的，所有區(qū)域的集合組成了一幀圖像；用參數(shù)M記錄所有紋理種類數(shù)，Region(i，j)表示每一個(gè)像素點(diǎn)(i，j)所在紋理區(qū)域的序號(hào)，其中Region(i，j)∈[1，M]。
3.根據(jù)權(quán)利要求1所述的基于視頻圖像分割技術(shù)的碼率控制方法，其特征在于所述步驟3中依據(jù)所分割出的運(yùn)動(dòng)對(duì)象計(jì)算每一幀的運(yùn)動(dòng)復(fù)雜度，并相應(yīng)地調(diào)整I幀的初始量化參數(shù)的步驟如下
①依據(jù)所分割出的運(yùn)動(dòng)對(duì)象，按照下列公式(1)計(jì)算I幀的運(yùn)動(dòng)復(fù)雜度；式中xI(ni，1)為第i個(gè)GOP中I幀的運(yùn)動(dòng)復(fù)雜度，Nmotion(ni，1)為第i個(gè)GOP中I幀中分割出的運(yùn)動(dòng)對(duì)象所占像素點(diǎn)個(gè)數(shù)，Nall為每一幀圖像中像素點(diǎn)總數(shù)，
②依據(jù)所分割出的運(yùn)動(dòng)對(duì)象，按照下列公式(2)計(jì)算P幀的運(yùn)動(dòng)復(fù)雜度；式中xP(ni，j)為第i個(gè)GOP中第j個(gè)P幀的運(yùn)動(dòng)復(fù)雜度，Nmotion(ni，j)為第i個(gè)GOP中第j幀中分割出的運(yùn)動(dòng)對(duì)象所占像素點(diǎn)個(gè)數(shù)，Nall為每一幀圖像中像素點(diǎn)總數(shù)，
③按照以上兩步中得到的I幀和P幀的運(yùn)動(dòng)復(fù)雜度系數(shù)，按照下列公式(3)計(jì)算一個(gè)GOP中每一幀的平均運(yùn)動(dòng)復(fù)雜度；式中xGOP(i)為第i個(gè)GOP中所有I幀和P幀的平均運(yùn)動(dòng)復(fù)雜度，xI(ni，1)和xP(ni，j)分別表示第i個(gè)GOP中I幀和第j個(gè)P幀的運(yùn)動(dòng)復(fù)雜度，K為每一個(gè)GOP的幀數(shù)，
④按照GOP中每一幀的評(píng)卷運(yùn)動(dòng)復(fù)雜度，按下列公式(4)調(diào)整I幀量化參數(shù)；式中QPimg(i)為第i個(gè)GOP中I幀初始量化參數(shù)，α、β、γ為量化參數(shù)調(diào)節(jié)量，xGOP(i)和xI(ni，1)由上列公式(1)和(3)計(jì)算得到，
4.根據(jù)權(quán)利要求1所述的基于視頻圖像分割技術(shù)的碼率控制方法，其特征在于所述步驟4中依據(jù)所分割出的運(yùn)動(dòng)對(duì)象二次分配P幀比特?cái)?shù)的步驟如下
①利用運(yùn)動(dòng)模型計(jì)算第i個(gè)GOP中第j幀的運(yùn)動(dòng)復(fù)雜度系數(shù)xp(ni，j)，按下列公式(5)計(jì)算；其中Nmotion(ni，j)為第i個(gè)GOP第j幀中運(yùn)動(dòng)對(duì)象所占像素點(diǎn)的個(gè)數(shù)，Nall為一幀圖像中像素點(diǎn)總數(shù)，
②完成P幀比特?cái)?shù)的第一次分配，獲到比特?cái)?shù)f(ni，j)后，利用上列公式(5)得到的運(yùn)動(dòng)復(fù)雜度，按下列公式(6)對(duì)P幀進(jìn)行進(jìn)行二次分配，得到重分配比特?cái)?shù)f(ni，j)*；下列公式(6)中f(ni，j)是H.264編碼標(biāo)準(zhǔn)中P幀比特?cái)?shù)分配算法得到的目標(biāo)比特?cái)?shù)。
5.根據(jù)權(quán)利要求1所述的基于視頻圖像分割技術(shù)的碼率控制方法，其特征在于所述步驟5中依據(jù)所分割出的運(yùn)動(dòng)對(duì)象和視頻紋理圖像計(jì)算運(yùn)動(dòng)復(fù)雜度，調(diào)整每幀中宏塊的量化參數(shù)通過(guò)下述步驟實(shí)現(xiàn)
①依據(jù)所分割出的運(yùn)動(dòng)對(duì)象，按照下列公式(7)計(jì)算一幀中每一個(gè)宏塊的運(yùn)動(dòng)復(fù)雜度。式中Nmv_region(n，m)為運(yùn)動(dòng)模型所分割出的第(n，m)個(gè)宏塊中運(yùn)動(dòng)感知對(duì)象所占的像素點(diǎn)數(shù)，Nmb_all為宏塊中像素點(diǎn)的總數(shù)；該下列公式(7)由兩部分組成左半部分反映了最終分割出的運(yùn)動(dòng)區(qū)域所占宏塊中像素點(diǎn)的比率；右半部分揭示了當(dāng)前宏塊所在的運(yùn)動(dòng)區(qū)域離其中心的距離；Nregion(i)表示在運(yùn)動(dòng)模型中第i類紋理區(qū)域像素點(diǎn)的個(gè)數(shù)，其中i∈[1，M]，Nmv_region(i)表示運(yùn)動(dòng)分割部分所占第i類紋理圖像分割區(qū)域像素點(diǎn)的個(gè)數(shù)，k列舉了在當(dāng)前宏塊中運(yùn)動(dòng)區(qū)域的類型，
②依據(jù)步驟一所得到的宏塊運(yùn)動(dòng)復(fù)雜度系數(shù)，按照下列公式(8)決定量化參數(shù)調(diào)整量；式中α、β、γ、μ為量化參數(shù)調(diào)節(jié)系數(shù)，大小由具體實(shí)驗(yàn)確定，其取值范圍為μ＜0，α、β、γ＞0，且α＞β＞γ，|μ|≤γ；xmb(n，m)為計(jì)算所得的每一個(gè)宏塊的運(yùn)動(dòng)復(fù)雜度系數(shù)，
③依據(jù)所得到的量化參數(shù)調(diào)整量，按照下列公式(9)更新P幀的量化參數(shù)；式中ΔQP(n，m)為公式(8)得到的量化參數(shù)調(diào)整量，n和m為當(dāng)前宏塊所占圖像中位置坐標(biāo)，
BasicUnitQP(n，m)＝BasicUnitQP(n，m)+ΔQP(n，m)；(9)
④為了防止調(diào)整后的量化參數(shù)BasicUnitQP(n，m)超出范圍，按照下列公式(10)限定調(diào)整后P幀的量化參數(shù)；式中n和m表示當(dāng)前跳幀宏塊位置，即第(n，m)個(gè)宏塊，
BasicUnitQP(n，m)＝min(max(BasicUnitQP(n，m)，18)，51)。(10)
6.根據(jù)權(quán)利要求1所述的基于視頻圖像分割技術(shù)的碼率控制方法，其特征在于所述步驟6中利用所分割出的運(yùn)動(dòng)對(duì)象和視頻紋理圖像來(lái)判定場(chǎng)景切換，調(diào)整場(chǎng)景切換幀初始量化參數(shù)通過(guò)以下步驟實(shí)現(xiàn)
①依據(jù)運(yùn)動(dòng)分割圖和紋理分割圖，按照下列公式(11)～(13)計(jì)算場(chǎng)景切換幀判定因子，依據(jù)此系數(shù)判定當(dāng)前幀是否為場(chǎng)景切換幀；式中Numregion(j)為第j幀中運(yùn)動(dòng)對(duì)象所占紋理分割圖像的區(qū)域類別數(shù)，Nmv(j)為運(yùn)動(dòng)對(duì)象部分所占第j幀中像素點(diǎn)的個(gè)數(shù)，Ncommon(j)為第j幀和其前一幀運(yùn)動(dòng)對(duì)象公共區(qū)域像素點(diǎn)的個(gè)數(shù)，B(j)是第j幀所分配到的比特?cái)?shù)，
②依據(jù)計(jì)算得到的判定因子β1，β2，β3，按照下列公式(14)計(jì)算場(chǎng)景切換幀判定參數(shù)η；式中a1，a2，a3為三個(gè)判定因子β1，β2，β3的加權(quán)系數(shù)，其取值由具體實(shí)驗(yàn)確定，
η＝a1·β1+a2·β2+a3·β3；(14)
③得到判定參數(shù)后，依據(jù)下列公式(15)調(diào)整當(dāng)前幀的量化參數(shù)；式中ρ為閾值，b為量化參數(shù)調(diào)整量，
全文摘要
本發(fā)明涉及一種基于視頻圖像分割技術(shù)的碼率控制方法。本方法基于現(xiàn)有的視頻圖像分割技術(shù)，對(duì)比特?cái)?shù)進(jìn)行了再分配并調(diào)整了量化參數(shù)。首先利用得到的運(yùn)動(dòng)對(duì)象分割圖計(jì)算運(yùn)動(dòng)復(fù)雜度系數(shù)，調(diào)整幀級(jí)(I幀/P幀)的碼率控制方法；然后在進(jìn)入宏塊級(jí)碼率控制算法后，利用運(yùn)動(dòng)對(duì)象分割圖和紋理分割圖計(jì)算宏塊的運(yùn)動(dòng)復(fù)雜度，調(diào)整宏塊的量化參數(shù)；最后利用運(yùn)動(dòng)模型檢測(cè)場(chǎng)景切換幀，并相應(yīng)地調(diào)整其量化參數(shù)。通過(guò)以上基于視頻圖像分割方法的碼率控制算法的調(diào)整，使得在低帶寬或高帶寬中的解碼圖像質(zhì)量都有了相應(yīng)的提高，減小了運(yùn)動(dòng)劇烈區(qū)域的失真度。
文檔編號(hào)H04N7/26GK101827267SQ20101015250
公開(kāi)日2010年9月8日 申請(qǐng)日期2010年4月20日 優(yōu)先權(quán)日2010年4月20日
發(fā)明者石旭利, 潘琤雯, 張兆揚(yáng), 魏小文 申請(qǐng)人:上海大學(xué)