專利名稱：基于不等差錯(cuò)保護(hù)的實(shí)時(shí)視頻通信方法
基于不等差錯(cuò)保護(hù)的實(shí)時(shí)視頻通信方法
技術(shù)領(lǐng)域
本發(fā)明屬于無(wú)線視頻通信領(lǐng)域，尤其涉及一種在無(wú)線網(wǎng)絡(luò)環(huán)境下為防止誤碼傳播，根據(jù)視頻碼流數(shù)據(jù)的重要性進(jìn)行不等差錯(cuò)保護(hù)的實(shí)時(shí)視頻通信方法。
技術(shù)背景
無(wú)線通信網(wǎng)絡(luò)和互聯(lián)網(wǎng)的傳輸信道并不可靠，在視頻比特流的傳輸過(guò)程中，信道干擾、網(wǎng)絡(luò)擁塞等問(wèn)題將會(huì)導(dǎo)致隨機(jī)比特錯(cuò)誤、突發(fā)性差錯(cuò)及分組丟失誤碼等現(xiàn)象，造成所傳輸?shù)囊曨l數(shù)據(jù)信息丟失。針對(duì)低比特率視頻通信應(yīng)用的H. 264標(biāo)準(zhǔn)由于其運(yùn)動(dòng)補(bǔ)償機(jī)制的影響，預(yù)測(cè)編碼中的誤碼將在時(shí)間和空間上擴(kuò)散，任何當(dāng)前幀中的差錯(cuò)都將影響參照它的后續(xù)幀；變長(zhǎng)編碼序列中的誤碼，將空間擴(kuò)散而影響GOP內(nèi)很大區(qū)域，直到下一個(gè)同步點(diǎn)；該系列標(biāo)準(zhǔn)采用熵編碼方式以獲得高壓縮率，而熵編碼的最大缺陷是對(duì)誤碼十分敏感。 碼流在傳輸過(guò)程中即使出現(xiàn)少量誤碼，都可能導(dǎo)致視覺(jué)質(zhì)量嚴(yán)重惡化。因此，H. 264視頻流的魯棒性傳輸對(duì)于無(wú)線多媒體應(yīng)用十分重要。
由于底層網(wǎng)絡(luò)的不可靠，有損網(wǎng)絡(luò)中視頻傳輸?shù)目拐`碼技術(shù)研究已成為重要的需求。為滿足視頻通信的實(shí)時(shí)性,視頻傳輸中通常不采用自動(dòng)請(qǐng)求重傳(ARQ，Automatic Request Retransmission)的方式重傳接收錯(cuò)誤的數(shù)據(jù)，而采用前向糾錯(cuò)(FEC)技術(shù)來(lái)進(jìn)行分組保護(hù)。目前常用的前向糾錯(cuò)碼主要有RS (Reed Solomon)碼、LDPC (Low Density Erasure Code)碼和 LDGM 碼等。
采用前向糾錯(cuò)碼可以提高視頻傳輸?shù)男Ч?，但?duì)于實(shí)時(shí)視頻應(yīng)用來(lái)說(shuō)時(shí)延也是一個(gè)很重要的參數(shù)。在現(xiàn)有方法中，E. Baccaglini等采用RS碼進(jìn)行FEC保護(hù)，RS碼塊中的源數(shù)據(jù)分組包含整個(gè)GOP巾貞，因此引入一個(gè)GOP的時(shí)延。X. Yang等采用的方法中RS碼塊的源數(shù)據(jù)分組包含一個(gè)子GOP幀，因此時(shí)延取決于子GOP的長(zhǎng)度。N. Tomos等采用RS碼進(jìn)行幀級(jí)保護(hù)，因此沒(méi)有時(shí)延。然而，對(duì)于幀級(jí)的FEC保護(hù)，源數(shù)據(jù)分組較少，使得FEC碼性能降低。針對(duì)上述問(wèn)題，Jimin Xiao提出了一種實(shí)時(shí)FEC視頻傳輸?shù)男路椒?。該方法中采用RS碼保護(hù)多個(gè)視頻幀增強(qiáng)RS碼的性能，同時(shí)沒(méi)有引入時(shí)延。但該方法沒(méi)有考慮視頻分組的重要性等級(jí)，需進(jìn)一步改進(jìn)
發(fā)明內(nèi)容
技術(shù)問(wèn)題本發(fā)明通過(guò)研究不等差錯(cuò)保護(hù)和實(shí)時(shí)FEC的視頻傳輸方法，提出了一種基于LDGM-UEP的實(shí)時(shí)H. 264視頻傳輸抗誤碼方法。該方法在解碼器端沒(méi)有引入時(shí)延，但是有效的阻止了誤碼掩蓋失真擴(kuò)散到后續(xù)幀。
技術(shù)方案本發(fā)明 方法在發(fā)送端采用LDGM碼對(duì)包含多個(gè)幀的子GOP進(jìn)行不等差錯(cuò)保護(hù)。在接收端，視頻解碼器只需要子GOP中的某一幀的分組就可以解碼顯示該幀。由于解碼器無(wú)需等待子GOP中的所有分組都接收，解碼端無(wú)時(shí)延引入。接著，當(dāng)子GOP中的所有分組都接收完成后，LDGM譯碼器嘗試恢復(fù)丟失的分組。若LDGM譯碼器恢復(fù)出該子GOP中所有的丟失分組，則視頻解碼器對(duì)該子GOP中所有分組進(jìn)行重新解碼并更新參考幀，從而阻止誤碼掩蓋的失真擴(kuò)散到后續(xù)幀。
該方法包括進(jìn)程一發(fā)送端對(duì)輸入的視頻數(shù)據(jù)進(jìn)行信源編碼，得到重要等級(jí)不同的多個(gè)視頻碼流， 采用前向糾錯(cuò)FEC技術(shù)對(duì)各個(gè)視頻碼流構(gòu)成的分組進(jìn)行保護(hù)，提高視頻傳輸系統(tǒng)可靠性； 進(jìn)程二 接收端對(duì)收到的視頻碼流進(jìn)行實(shí)時(shí)解碼，主要包括采用誤碼掩蓋技術(shù)進(jìn)行誤碼恢復(fù)，并結(jié)合FEC技術(shù)阻止誤碼掩蓋失真擴(kuò)散到后續(xù)幀。
前向糾錯(cuò)FEC技術(shù)，對(duì)H. 264編碼器輸出的視頻碼流，在I幀和各子GOP幀結(jié)束后加入LDGM保護(hù)分組，對(duì)不同重要等級(jí)數(shù)據(jù)進(jìn)行不等差錯(cuò)保護(hù)UEP，給更重要的數(shù)據(jù)加更多的保護(hù)分組；對(duì)于LDGM編碼，源數(shù)據(jù)分組保持不變，校驗(yàn)分組直接附加在其后，從而無(wú)編碼時(shí)延。
接收端對(duì)收到的視頻碼流進(jìn)行實(shí)時(shí)解碼具體為接收端接收到視頻分組后，如果當(dāng)前收到的是I幀，則直接進(jìn)行LDGM譯碼然后信源解碼；如果當(dāng)前收到的是P幀，即使子 GOP中視頻分組未完全接收，視頻解碼器只需要子GOP中的某一幀的分組就可以直接信源解碼并顯示該幀；如果該幀有一些分組在傳輸過(guò)程中丟失，采用誤碼掩蓋技術(shù)進(jìn)行誤碼恢復(fù)；在這種情況下，解碼器并不需要等待整個(gè)子GOP中的所有分組都接收到后再開(kāi)始解碼， 所以，解碼端并無(wú)時(shí)延引入；接著，當(dāng)子GOP中的所有分組都接收完成后，LDGM譯碼器嘗試恢復(fù)丟失的分組；如果該子GOP中丟失的分組數(shù)小于編碼端加入的保護(hù)分組數(shù)，則LDGM譯碼器恢復(fù)出該子GOP中所有的丟失分組，此時(shí)視頻解碼器對(duì)該子GOP中所有分組進(jìn)行重新解碼并更新參考幀，從而阻止誤碼掩蓋的失真擴(kuò)散到后續(xù)幀。
基于LDGM-UEP的實(shí)時(shí)H. 264視頻傳輸抗誤碼方法為在發(fā)送端，本發(fā)明首先采用 H. 264編碼器進(jìn)行信源編碼，然后在I幀和各子GOP幀結(jié)束后加入LDGM保護(hù)分組對(duì)不同重要等級(jí)的A、B、C三類數(shù)據(jù)進(jìn)行不等差錯(cuò)保護(hù)。對(duì)于LDGM編碼，源數(shù)據(jù)分組保持不變，校驗(yàn)分組直接附加在其后，從而無(wú)編碼時(shí)延。在接收端，當(dāng)接收到視頻分組后，如果當(dāng)前收到的是I 幀，則直接進(jìn)行LDGM譯碼然后信源解碼。如果當(dāng)前收到的是P幀，即使子GOP中視頻分組未完全接收，視頻解碼器只需要子GOP中的某一幀的分組就可以直接信源解碼并顯示該幀。 如果該幀有一些分組在傳輸中丟失，可采用誤碼掩蓋技術(shù)進(jìn)行誤碼恢復(fù)。在這種情況下，解碼器并不需要等待整個(gè)子GOP中的所有分組都接收到后再開(kāi)始解碼，所以，解碼端并無(wú)時(shí)延引入。接著，當(dāng)子GOP中的所有分組都接收完成后，LDGM譯碼器嘗試恢復(fù)丟失的分組。如果該子GOP中丟失的分組小于N-K， 則LDGM譯碼器恢復(fù)出該子GOP中所有的丟失分組，此時(shí)視頻解碼器對(duì)該子GOP中所有分組進(jìn)行重新解碼并更新參考幀，從而阻止誤碼掩蓋的失真擴(kuò)散到后續(xù)幀。因此，本發(fā)明既考慮了視頻分組的重要性程度和實(shí)時(shí)視頻傳輸?shù)囊螅肿柚沽苏`碼掩蓋失真擴(kuò)散到后續(xù)幀， 從而提高了整個(gè)實(shí)時(shí)視頻傳輸系統(tǒng)的性能。
有益效果本發(fā)明方法既考慮了視頻分組的重要性又滿足了實(shí)時(shí)FEC視頻傳輸?shù)囊?，無(wú)解碼時(shí)延引入，又阻止了誤碼掩蓋失真擴(kuò)散到后續(xù)幀 ，從而提高了實(shí)時(shí)視頻傳輸?shù)闹饔^效果。


圖1是本發(fā)明子GOP FEC方法中LDGM保護(hù)分組示意圖2是本發(fā)明基于LDGM-UEP的實(shí)時(shí)H. 264視頻傳輸抗誤碼方法系統(tǒng)框具體實(shí)施例方式本方法主要包括三部分基于數(shù)據(jù)分割的不等差錯(cuò)保護(hù)，基于子GOP的FEC，基于LDGM-UEP的實(shí)時(shí)H. 264視頻傳輸。首先，發(fā)送端根據(jù)H. 264編碼器生成碼流的不同部分對(duì)視頻重建質(zhì)量的作用不同，對(duì)碼流結(jié)構(gòu)中不同部分的數(shù)據(jù)采用不同級(jí)別的差錯(cuò)保護(hù)機(jī)制。對(duì)于那些對(duì)視頻圖像的重建起到至關(guān)重要的數(shù)據(jù)采用較高保護(hù)級(jí)別的差錯(cuò)保護(hù)機(jī)制，即對(duì)H. 264編碼碼流中較重要的A類數(shù)據(jù)采用強(qiáng)保護(hù)，而對(duì)于那些對(duì)圖像的重建相對(duì)而言不是非常重要的數(shù)據(jù)，H. 264編碼碼流中的B和C類數(shù)據(jù)采用較低保護(hù)級(jí)別的信道編碼，從而實(shí)現(xiàn)不同等級(jí)數(shù)據(jù)的不等差錯(cuò)保護(hù)方案，以提高視頻傳輸系統(tǒng)可靠性。
·
另外，對(duì)于實(shí)時(shí)FEC視頻分組保護(hù)，通常的做法是進(jìn)行幀級(jí)的FEC編碼，即源數(shù)據(jù)分組來(lái)自相同的幀。一般來(lái)說(shuō)，I幀產(chǎn)生的碼流大于P幀，因此I幀可產(chǎn)生更多的源分組。在本發(fā)明的子GOP FEC方法中，對(duì)I幀采用幀級(jí)的LDGM碼保護(hù)，對(duì)于P幀則分配LDGM碼到子GOP級(jí)。圖1顯示了如何產(chǎn)生子GOP幀和如何在每個(gè)子GOP末尾分配LDGM保護(hù)分組。同時(shí)為滿足實(shí)時(shí)的要求，在信道編碼中源分組保持不變。因此，在接收端，視頻解碼器只需要一幀的分組就可以解碼顯示該幀。如果該幀的分組在傳輸過(guò)程中丟失，則采用常規(guī)誤碼掩蓋方法進(jìn)行誤碼恢復(fù)。最后，基于LDGM-UEP的實(shí)時(shí)H. 264視頻傳輸抗誤碼方法為在發(fā)送端，首先采用
H.264編碼器對(duì)視頻序列進(jìn)行信源編碼(采用FMO和數(shù)據(jù)分割DP模式)，然后在I幀和各子GOP幀結(jié)束后加入LDGM保護(hù)分組對(duì)不同重要等級(jí)的A、B、C三類數(shù)據(jù)進(jìn)行不等差錯(cuò)保護(hù)。對(duì)于LDGM編碼，源數(shù)據(jù)分組保持不變，校驗(yàn)分組直接附加在其后，從而無(wú)編碼時(shí)延。在接收端，當(dāng)接收到視頻分組后，若為I幀，則直接進(jìn)行LDGM譯碼然后信源解碼。若為P幀，如果子GOP中視頻分組未完全接收，則視頻解碼器只需要子GOP中的某一幀的分組就直接信源解碼并顯示該幀。若該幀出現(xiàn)誤碼，則不等待子GOP中所有的分組都接收而直接對(duì)該幀進(jìn)行誤碼掩蓋。因此，解碼器無(wú)等待時(shí)延。當(dāng)接收端接收到子GOP中后續(xù)的分組后，若丟失分組數(shù)小于況-Γ ,則LDGM譯碼器恢復(fù)出該子GOP中所有的分組，然后解碼器對(duì)該子GOP重新解碼，并更新參考幀。因此，該方法有效地防止了誤碼傳播，同時(shí)無(wú)時(shí)延引入。本發(fā)明的仿真結(jié)果
本發(fā)明在仿真中采用JM14. 2信源編解碼器，GOP的大小設(shè)置為30，即每30幀插入一個(gè)I幀。I幀單獨(dú)進(jìn)行FEC保護(hù)；Ρ1-Ρ4作為一個(gè)子GOP ;其余每5個(gè)P幀一個(gè)子GOP。Forman視頻序列的QPI=31, QPP=29 ；Coastguard視頻的QPI=30, QPP=30。所有的CIF視頻序列中貞率均為30幀/秒，參考幀個(gè)數(shù)S設(shè)定為1，F(xiàn)MO分為8個(gè)片，一個(gè)視頻包由一個(gè)完全的片組成，若傳輸過(guò)程發(fā)生差錯(cuò)則整個(gè)視頻包均丟失，仿真丟包模型為隨機(jī)丟包模型。在總碼率近似相等的情況下，分別進(jìn)行5%和10%丟包信道的視頻傳輸實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。其中EEP-子GOP FEC (基于子GOP的前向糾錯(cuò))方法為N. Thomos等人提出的，本發(fā)明方法為基于LDGM-UEP的實(shí)時(shí)H. 264視頻傳輸抗誤碼方法。 表I Forman和Coastguard視頻序列FEC保護(hù)后總碼率
權(quán)利要求
1.一種基于不等差錯(cuò)保護(hù)的H. 264實(shí)時(shí)視頻通信方法，其特征在于該方法包括 進(jìn)程一發(fā)送端對(duì)輸入的視頻數(shù)據(jù)進(jìn)行信源編碼，得到重要等級(jí)不同的多個(gè)視頻碼流，采用前向糾錯(cuò)FEC技術(shù)對(duì)各個(gè)視頻碼流構(gòu)成的分組進(jìn)行保護(hù)，提高視頻傳輸系統(tǒng)可靠性； 進(jìn)程二 接收端對(duì)收到的視頻碼流進(jìn)行實(shí)時(shí)解碼，主要包括采用誤碼掩蓋技術(shù)進(jìn)行誤碼恢復(fù)，并結(jié)合FEC技術(shù)阻止誤碼掩蓋失真擴(kuò)散到后續(xù)幀。
2.如權(quán)利要求1所述的基于不等差錯(cuò)保護(hù)的H.264實(shí)時(shí)視頻通信方法，其特征在于前向糾錯(cuò)FEC技術(shù)，對(duì)H. 264編碼器輸出的視頻碼流，在I幀和各子GOP幀結(jié)束后加入LDGM保護(hù)分組，對(duì)不同重要等級(jí)數(shù)據(jù)進(jìn)行不等差錯(cuò)保護(hù)UEP，給更重要的數(shù)據(jù)加更多的保護(hù)分組; 對(duì)于LDGM編碼，源數(shù)據(jù)分組保持不變，校驗(yàn)分組直接附加在其后，從而無(wú)編碼時(shí)延。
3.如權(quán)利要求1所述的基于不等差錯(cuò)保護(hù)的H.264實(shí)時(shí)視頻通信方法，其特征在于接收端對(duì)收到的視頻碼流進(jìn)行實(shí)時(shí)解碼具體為接收端接收到視頻分組后，如果當(dāng)前收到的是I幀，則直接進(jìn)行LDGM譯碼然后信源解碼；如果當(dāng)前收到的是P幀，即使子GOP中視頻分組未完全接收，視頻解碼器只需要子GOP中的某一幀的分組就可以直接信源解碼并顯示該幀；如果該幀有一些分組在傳輸過(guò)程中丟失，采用誤碼掩蓋技術(shù)進(jìn)行誤碼恢復(fù)；在這種情況下，解碼器并不需要等待整個(gè)子GOP中的所有分組都接收到后再開(kāi)始解碼，所以，解碼端并無(wú)時(shí)延引入；接著，當(dāng)子GOP中的所有分組都接收完成后，LDGM譯碼器嘗試恢復(fù)丟失的分組；如果該子GOP中丟失的分組數(shù)小于編碼端加入的保護(hù)分組數(shù)，則LDGM譯碼器恢復(fù)出該子GOP中所有的丟失分組，此時(shí)視頻解碼器對(duì)該子GOP中所有分組進(jìn)行重新解碼并更新參考幀，從而阻止誤碼掩蓋的失真擴(kuò)散到后續(xù)幀。
全文摘要
本發(fā)明針對(duì)如何改善實(shí)時(shí)H.264視頻傳輸中的抗誤碼效果，提高無(wú)線視頻傳輸?shù)馁|(zhì)量，提出了一種基于LDGM-UEP的實(shí)時(shí)H.264視頻傳輸抗誤碼方法。包括在發(fā)送端采用LDGM碼對(duì)包含多個(gè)幀的子GOP進(jìn)行基于數(shù)據(jù)分割的不等差錯(cuò)保護(hù)。在接收端，只需要子GOP中的某一幀的分組送到視頻解碼器就可以解碼顯示該幀。如果該幀有部分分組在傳輸中丟失，則采用誤碼掩蓋技術(shù)進(jìn)行誤碼恢復(fù)。由于解碼器無(wú)需等待子GOP中的所有分組都接收，解碼端并無(wú)時(shí)延引入。另外，當(dāng)接收端收到子GOP中的所有分組后，LDGM譯碼器嘗試恢復(fù)丟失的分組。若LDGM譯碼器恢復(fù)出該子GOP中所有的丟失分組，則視頻解碼器對(duì)該子GOP中所有分組進(jìn)行重新解碼并且更新響應(yīng)的參考幀，從而阻止誤碼掩蓋的失真擴(kuò)散到后續(xù)幀。
文檔編號(hào)H04N21/438GK103067719SQ20131003811
公開(kāi)日2013年4月24日 申請(qǐng)日期2013年1月31日 優(yōu)先權(quán)日2013年1月31日
發(fā)明者董育寧, 黃超, 陳海波 申請(qǐng)人:南京郵電大學(xué)