一種基于hevc的音頻信息嵌入方法及提取和重構(gòu)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于HEVC的音頻信息嵌入方法及提取和重構(gòu)方法。
【背景技術(shù)】
[0002] 隨著數(shù)字多媒體通信與傳輸技術(shù)的發(fā)展，視頻會(huì)議、遠(yuǎn)程教學(xué)、視頻點(diǎn)播等多媒體 服務(wù)已經(jīng)廣泛應(yīng)用于我們生活的各個(gè)方面。然而由于網(wǎng)絡(luò)傳輸中的延遲、抖動(dòng)和網(wǎng)絡(luò)擁塞 等，以及發(fā)送端的發(fā)送速度與接收端的接收速度不匹配等問(wèn)題，導(dǎo)致多媒體出現(xiàn)不同步的 現(xiàn)象，而音視頻同步作為其中的一個(gè)關(guān)鍵性技術(shù)越來(lái)越多的受到人們的關(guān)注。為了解決音 視頻同步問(wèn)題，目前有兩類方法，一種是非嵌入式的音視頻同步方法，另一種是嵌入式的方 法。
[0003] 傳統(tǒng)的非嵌入式的音視頻同步方案有基于時(shí)間戳和同步標(biāo)記來(lái)實(shí)現(xiàn)的，即在解碼 端恢復(fù)出與編碼端一致的時(shí)鐘，將相同時(shí)間標(biāo)記的單元同時(shí)播放從而實(shí)現(xiàn)同步，然而該方 案對(duì)解碼器有較高要求，且對(duì)接收端緩沖區(qū)域的容量要求比較大，不能滿足多個(gè)發(fā)送端的 應(yīng)用需求；也有借助多線程和多路復(fù)用思想，只需在接收端把音視頻流分開(kāi)即可，但該方案 對(duì)復(fù)用后的音視頻流解碼會(huì)使得音視頻流的質(zhì)量嚴(yán)重下降；國(guó)際上，針對(duì)視頻會(huì)議和可視 電話等應(yīng)用中的唇同步問(wèn)題，相關(guān)學(xué)者提出了包括語(yǔ)音輔助視頻插補(bǔ)、交叉模式預(yù)測(cè)編碼 及同步視頻幀自動(dòng)生成等方法，但該類算法中人的嘴部定位較難，需要人參與，且算法復(fù)雜 度很高。
[0004] 上述提及的幾種非嵌入式的音視頻同步方案對(duì)解碼器要求較高，且算法復(fù)雜度較 高，針對(duì)這些問(wèn)題，近幾年有很多學(xué)者借鑒基于H. 264的信息隱藏和視頻水印的思想，將音 頻信息嵌入視頻中進(jìn)行同步編碼，在解碼端提取音頻編碼數(shù)據(jù)并重構(gòu)音頻，最終實(shí)現(xiàn)同步。 如通過(guò)修改變換域DCT系數(shù)實(shí)現(xiàn)音頻嵌入，但該方案沒(méi)有充分考慮嵌入開(kāi)銷和視頻比特率 的變化，視頻碼率失真較大。為了解決這個(gè)問(wèn)題，有提出在H. 264運(yùn)動(dòng)估計(jì)的過(guò)程中利用 1/4像素精度的運(yùn)動(dòng)搜索點(diǎn)與音頻信息之間的對(duì)應(yīng)關(guān)系，通過(guò)調(diào)整最優(yōu)匹配點(diǎn)將音頻信息 嵌入視頻中，從而降低對(duì)視頻質(zhì)量的影響，但是這種方案會(huì)引起幀間失真漂移；也有通過(guò)修 改CAVLC熵編碼高頻拖尾系數(shù)和非零系數(shù)將音頻嵌入其中，該方法可以保持碼率穩(wěn)定，但 仍會(huì)因誤差累計(jì)而造成視頻質(zhì)量下降，導(dǎo)致音頻信息無(wú)法正確提取。為避免對(duì)視頻質(zhì)量造 成較大影響，基于幀間預(yù)測(cè)模式嵌入音頻的算法被提出，但該算法嵌入數(shù)據(jù)容量較小，平均 每個(gè)宏塊只有2比特。為此，最近又提出一種可變尺寸塊嵌入音頻編碼數(shù)據(jù)的方法，平均每 個(gè)宏塊嵌入2. 67bit數(shù)據(jù)量，提升了嵌入容量，也保證了音頻數(shù)據(jù)準(zhǔn)確性。
[0005] 以上方法主要針對(duì)標(biāo)清視頻而言，但隨著人們對(duì)高清、超高清視頻需求的增加， H.264/AVC標(biāo)準(zhǔn)已無(wú)法得到滿意的壓縮性能，現(xiàn)有的這些方法對(duì)高清以及超高清視頻的音 視頻同步處理效果不佳。HEVC(英文全拼為：HighEfficiencyVideoCoding)是由國(guó)際信 息組織和移動(dòng)視頻專家組制定的新一代視頻壓縮編碼標(biāo)準(zhǔn)，旨在H. 264/AVC的基礎(chǔ)上提高 編碼效率，尤其在處理高清視頻時(shí)具有顯著優(yōu)勢(shì)，高效的壓縮性能和并行化處理能力，將使 其在高清、超高清等視頻應(yīng)用領(lǐng)域發(fā)揮重要作用，故基于ffiVC的音視頻同步方法的研究具 有理論價(jià)值和現(xiàn)實(shí)意義，而HEVC的音視頻同步方法中最主要的就是音頻信息的嵌入方法 及提取和重構(gòu)方法。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的第一個(gè)技術(shù)問(wèn)題是針對(duì)上述現(xiàn)有技術(shù)提供一種基于HEVC的音 頻fg息嵌入方法。
[0007] 本發(fā)明所要解決的第二個(gè)技術(shù)問(wèn)題是針對(duì)上述現(xiàn)有技術(shù)提供一種基于HEVC的音 頻f目息彳目息提取和重構(gòu)方法。
[0008] 本發(fā)明解決上述第一個(gè)技術(shù)問(wèn)題所采用的技術(shù)方案為：一種基于HEVC的音頻信 息嵌入方法，其特征在于：包括以下步驟：
[0009] 步驟1-1、將待嵌音頻信息進(jìn)行G. 729壓縮編碼，將壓縮編碼后的待嵌音頻信息轉(zhuǎn) 化為二進(jìn)制音頻數(shù)據(jù)流，用Ai^表示，其中1 <i<Len，i的初始值為l，Len表示二進(jìn)制音 頻數(shù)據(jù)流的長(zhǎng)度；
[0010] 步驟1-2、在編碼端，將待嵌音頻信息的原始HEVC視頻當(dāng)前待編碼幀定義為當(dāng)前 編碼幀，當(dāng)前編碼幀進(jìn)行幀內(nèi)預(yù)測(cè)時(shí)，將當(dāng)前編碼幀中正在處理的第m個(gè)預(yù)測(cè)單元定義為 當(dāng)前預(yù)測(cè)單元，其中1 <m<I，m的初始值為1，I表示當(dāng)前編碼幀幀內(nèi)預(yù)測(cè)時(shí)包含的預(yù)測(cè) 單元的總個(gè)數(shù)；
[0011] 步驟1-3、判斷當(dāng)前預(yù)測(cè)單元的尺寸是否為4X4,如果是，則執(zhí)行步驟1-4 ;否則， 對(duì)當(dāng)前預(yù)測(cè)單元不處理，然后令m=m+1，再執(zhí)行步驟1-11，其中m=m+1中的"="為賦值 符號(hào)；
[0012] 步驟1-4、利用拉格朗日率失真優(yōu)化函數(shù)計(jì)算出當(dāng)前4X4預(yù)測(cè)單元的最優(yōu)預(yù)測(cè)模 式，用Best_Mj表示，j= (0, 1，2~34)表示預(yù)測(cè)模式編號(hào)；
[0013] 步驟1-5、在幀內(nèi)預(yù)測(cè)模式相關(guān)性分析的基礎(chǔ)上，統(tǒng)計(jì)在最優(yōu)預(yù)測(cè)模式BesU^確 定的情況下，次優(yōu)預(yù)測(cè)模式的概率分布，次優(yōu)預(yù)測(cè)模式用Sub_opt_Mn(n= 0, 1，2,表 示，然后選取次優(yōu)預(yù)測(cè)模式出現(xiàn)概率在50%以上的四個(gè)模式，用Sub_opt_M。，Sut^opi^Mi， Sub_opt_M2，Sub_opt_M3表不，然后將Sub_opt_M。，Sut^opi^Mi，Sub_opt_M2，Sub_opt_M3與 當(dāng)前最優(yōu)預(yù)測(cè)模式Best_Mj構(gòu)成一個(gè)集合S(j= 0, 1，2,…34)，由于最優(yōu)預(yù)測(cè)模式Best_M」 有 35 種可選值，因此Sub_opt_M。，Sut^opi^Mi，Sub_opt_M2,Sub_opt_M3與當(dāng)前最優(yōu)預(yù)測(cè)模 式BesLMj構(gòu)成的集合也存在35個(gè)，根據(jù)集合的運(yùn)算規(guī)則，將這35個(gè)集合中的任意4個(gè)集 合之間進(jìn)行相與得到共同元素，如果任意4個(gè)集合之間進(jìn)行相與后得到的集合中的預(yù)測(cè)模 式達(dá)到4個(gè)時(shí)，就將此4個(gè)具有相近預(yù)測(cè)效果的預(yù)測(cè)模式Na(a= 0, 1，2, 3)劃分為一個(gè)預(yù)測(cè) 模式組Classb= {N。，tN2,N3}，最后根據(jù)預(yù)測(cè)模式相關(guān)性將35種幀內(nèi)預(yù)測(cè)模式分為11個(gè) 預(yù)測(cè)模式組，其中預(yù)測(cè)模式組用Classb= {N。，&，N2,N3}表示，b= 1，2, 3……11 ;N。，&，N2,N3 為預(yù)測(cè)模式組中4個(gè)預(yù)測(cè)效果相近的預(yù)測(cè)模式編號(hào)；
[0014] 步驟1-6、將步驟1-4中得到的最優(yōu)預(yù)測(cè)模式BesUlj，對(duì)照步驟1-5中得到的預(yù) 測(cè)模式組，確定該最優(yōu)預(yù)測(cè)模式BesH,所在的預(yù)測(cè)模式分組Classb= {N。，&，N2,N3}，即式 Best_MjGClassb={N〇,N1;N2,N3}；
[0015] 步驟1-7、依次讀取二進(jìn)制音頻數(shù)據(jù)流Ail;，其中1彡i彡L，L表示二進(jìn)制音頻數(shù) 據(jù)流長(zhǎng)度，讀取的規(guī)則為：首先讀取3比特音頻數(shù)據(jù)，然后根據(jù)讀取音頻信息的長(zhǎng)度標(biāo)志位 flag值的變換讀取2比特或3比特音頻數(shù)據(jù)，當(dāng)flag= 0時(shí)讀取2比特音頻數(shù)據(jù)用 示，當(dāng)flag= 1時(shí)讀取3比特音頻數(shù)據(jù)用％表示，當(dāng)最后剩下二進(jìn)制音頻數(shù)據(jù)長(zhǎng)度等于1 時(shí)，即音頻只剩下單比特?cái)?shù)據(jù)，將讀取位置向前移動(dòng)1位后停止讀取，然后輸出一個(gè)音頻讀 取結(jié)束標(biāo)志fin= 0并將其傳給解碼端；當(dāng)剩下音頻數(shù)據(jù)長(zhǎng)度Len= 0時(shí)，停止讀取二進(jìn)制 音頻數(shù)據(jù)，此時(shí)所有二進(jìn)制音頻數(shù)據(jù)讀取完畢；本步驟中提及的讀取音頻信息的長(zhǎng)度標(biāo)志 位flag值取值為0或1 ;當(dāng)所有二進(jìn)制音頻數(shù)據(jù)讀取完畢后，將讀取音頻信息的長(zhǎng)度標(biāo)志 位flag值順序發(fā)送給接收端；在后續(xù)對(duì)二進(jìn)制音頻數(shù)據(jù)進(jìn)行嵌入時(shí)，按照前述讀取順序， 一組一組依次嵌入；
[0016] 步驟1-8、建立待嵌音頻信息與預(yù)測(cè)模式之間的映射規(guī)則，進(jìn)而根據(jù)映射規(guī)則判斷 當(dāng)前待嵌音頻信息與最優(yōu)預(yù)測(cè)模式BesH,是否匹配，如果匹配則不對(duì)預(yù)測(cè)模式進(jìn)行修改， 然后利用最優(yōu)預(yù)測(cè)模式BesH,將當(dāng)前待嵌音頻信息嵌入進(jìn)當(dāng)前預(yù)測(cè)單元；否則，用預(yù)測(cè)模 式組Classb= {N。，&，N2,N3}中滿足映射規(guī)則的次優(yōu)預(yù)測(cè)模式替換當(dāng)前最優(yōu)預(yù)測(cè)模式Best_ M,，然后利用替代后的次優(yōu)預(yù)測(cè)模式將當(dāng)前待嵌音頻信息嵌入進(jìn)當(dāng)前預(yù)測(cè)單元；
[0017] 步驟1-9、按照步驟1-4到步驟1-8的方式，將待嵌音頻信息依次嵌入進(jìn)分割后包 含當(dāng)前4X4預(yù)測(cè)單元的一個(gè)8X8編碼單元中其余三個(gè)連續(xù)的4X4預(yù)測(cè)單元中；
[0018] 步驟1-10、判斷已經(jīng)嵌入過(guò)音頻信息的4個(gè)連續(xù)的4X4預(yù)測(cè)單元的率失真代價(jià)值 總和J(CU4)與包含該4個(gè)連續(xù)4X4塊的一個(gè)8X8編碼單元的率失真代價(jià)值J(CU3)進(jìn)行 比較，如果J(CU4)〈J(CU3)，則保留嵌入的四組音頻信息，否則不保留，在下一個(gè)分割成四個(gè) 連續(xù)的4X4預(yù)測(cè)單元的編碼單元內(nèi)重新嵌入前述四組音頻信息；
[0019] 步驟1-11、讀取下一個(gè)4X4預(yù)測(cè)單元，并將讀取的第m+1預(yù)測(cè)單元作為當(dāng)前預(yù)測(cè) 單元，然后返回步驟1-4繼續(xù)執(zhí)行，直至當(dāng)前編碼幀中的所有預(yù)測(cè)單元處理完畢；
[0020] 步驟1-12、將原始HEVC視頻的下一幀待編碼的幀作為當(dāng)前編碼幀，然后返回步驟 1-2繼續(xù)執(zhí)行，當(dāng)讀取到音頻數(shù)據(jù)結(jié)尾時(shí)，如果余下單比特?cái)?shù)據(jù)，則根據(jù)預(yù)測(cè)模式的奇偶對(duì) 應(yīng)關(guān)系進(jìn)行映射，當(dāng)結(jié)尾數(shù)據(jù)為〇時(shí)，預(yù)測(cè)模式為偶模式，則將結(jié)尾數(shù)據(jù)〇直接嵌入；預(yù)測(cè)模 式為奇模式，則選取預(yù)測(cè)模式組Classb中為偶的次優(yōu)預(yù)測(cè)模式替換，然后利用替代后的次 優(yōu)預(yù)測(cè)模式將結(jié)尾數(shù)據(jù)〇嵌入進(jìn)當(dāng)前編碼單元；當(dāng)結(jié)尾數(shù)據(jù)為1時(shí)，預(yù)測(cè)模式為奇模式，則 將結(jié)尾數(shù)據(jù)1直接嵌入，預(yù)測(cè)模式為