專利名稱：一種視頻序列的編碼、解碼方法及編碼、解碼系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及圖像信息傳輸和處理領域，具體涉及在進行視頻傳輸過程中的 阻止傳輸差錯擴散的方法。
背景技術：
通過Internet和無線移動網(wǎng)等主要通信網(wǎng)絡傳輸視頻時，現(xiàn)有的視頻壓縮 算法通常采用基于運動補償?shù)幕旌暇幋a框架來提高壓縮率。對于運動圖像專家 組標準(MPEG)視頻流，采用三種類型的幀幀內(nèi)編碼幀(以下簡稱I幀)、 前向預測編碼幀(以下簡稱P幀)和雙向預測編碼幀(以下簡稱B幀)。I幀 是一個全幀壓縮編碼幀，它將全幀圖像信息進行壓縮編碼及傳輸，解碼時僅用 I幀的數(shù)據(jù)就可重構完整圖像；P幀可以由I幀或前面的P幀進行預測，P幀屬 于前向預測的幀間編碼，壓縮比大于I幀；B幀以前面的I或P幀和后面的P 幀為參考幀進行預測，因此壓縮比最高。
然而在滿足帶寬限制條件下，需要克服傳輸差錯的影響。
如圖1所示為傳統(tǒng)的視頻編碼方式對傳輸差錯的處理方法。在圖1中，采 用幀內(nèi)編碼模式的圖像是可以獨立解碼的，其它的編碼圖像幀采取幀間編碼模 式。圖1中所示是一種典型的視頻編碼碼流結構，其中在t時刻和t+n時刻的 圖像幀是幀內(nèi)編碼模式，記為I，其它圖像幀都采取用前一幀作為參考幀的幀 間編碼模式，記為P。
當出現(xiàn)傳輸差錯時，例如在t+i時刻發(fā)生錯誤，則P(t+i)不能正確解碼。 由于后續(xù)的幀間編碼幀都是用前一幀作為參考圖像，因此錯誤解碼圖像會向后 擴散，直到t+n時刻的幀內(nèi)編碼圖像幀為止。在這種情況下，解碼錯誤的時間 間隔為n-i。
傳輸差錯引起視頻圖像不能正常解碼，而且錯誤圖像信息會在時域和空域 上擴散。為了降低視頻傳輸差錯及其差錯擴散的影響， 一種常用的方法是采用 幀內(nèi)編碼更新技術，但是幀內(nèi)編碼方式會大幅度降低編碼效率。
與幀內(nèi)編碼更新相比，參考幀選擇(Reference Picture Selection, RPS)具 有更高的編碼效率。其基本思想是編碼器通過反饋信道得到解碼器的丟失情 況，在編碼下一個幀間編碼幀時選用已被解碼器正確接收的較早的幀作為參考 幀。Hideaki Kimata禾口 Yoshiyuki Yashima在文獻"A study of key-frame reference picture selection method for error resilient multiple video objects distribution"中提 出了一種新的基于關鍵參考幀的無反饋關鍵參考幀選擇方法。即以幀內(nèi)編碼幀 (,I幀)作為關鍵參考幀，每個P幀均以I幀華為參考幀。這種方法雖然可以 有效地阻止差錯的擴散，但由于所有的P幀都參考I幀進行編碼，編碼效率降 低。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題在于提供了一種視頻碼流的編碼/解碼方法， 通過在編碼碼流中插入核心參考幀，不但可以有效地減少或者阻止視頻過程中 由于傳輸差錯引起的圖像質量下降，而且不會明顯降低視頻圖像的編碼效率。
1、 為了實現(xiàn)上述目的，本發(fā)明提供了一種視頻序列的編碼方法，用于
視頻傳輸?shù)牟铄e控制，包括
歩驟一，對視頻序列第一幀圖像采取幀內(nèi)編碼I幀方式進行編碼，并將該
幀解碼重建圖像復制到核心參考幀緩沖區(qū)；
步驟二，在視頻序列中第一幀圖像之后數(shù)個位置插入核心參考幀； 步驟三，對視頻序列中的非核心參考幀圖像按照標準的編碼方法進行編
碼；
步驟四，對視頻序列中的核心參考幀圖像以當前幀之前的I幀或者核心參 考幀作為參考幀進行編碼；或者核心參考幀就是幀內(nèi)編碼I幀，并將核心參考 幀圖像的解碼重建圖像復制到核心參考幀緩沖區(qū)。
其中，所述步驟一和步驟四中采取幀內(nèi)編碼I幀方式的圖像獨立解碼。 其中，所述步驟一和步驟四中，所述核心參考幀緩沖區(qū)用于存儲核心參考
幀圖像的參考幀數(shù)據(jù)及不用于存儲非核心參考幀圖像的參考幀數(shù)據(jù)。
其中，所述步驟二中插入核心參考幀包括每隔固定間隔插入核心參考幀，
或根據(jù)率失真優(yōu)化模型選擇核心參考幀，或根據(jù)反饋信道傳回的確認信息自適
應插入核心參考幀。
其中，所述步驟三中的所述圖像是I幀、P幀或B幀。
其中，所述步驟三中標準的編碼方法為幀間編碼方式或者幀內(nèi)編碼方式。 其中，所述幀間編碼方式是以當前幀之前或者當前幀之后的一幀作為參考 幀進行編碼。
其中，所述幀間編碼方式是以當前幀之前和/或者當前幀之后的多幀作為 參考幀進行.編碼。 ，
其中，其特征在于，所述參考幀是位于當前幀和當前幀之前的第N個核 心參考幀之間的圖像，包括當前幀之前的第N個核心參考幀，N為正整數(shù)。
其中，所述參考幀不能是當前幀之前己經(jīng)編碼的核心參考幀之前的核心參 考幀或非核心參考幀。
其中，所述步驟四中對核心參考幀圖像采取幀間編碼方式編碼是以當前幀 之前的I幀或者核心參考幀作為參考幀進行編碼。
其中，所述步驟四中對核心參考幀圖像采取幀間編碼方式編碼是以當前幀 之前的正確接收的I幀或者正確接收的核心參考幀作為參考幀進行編碼。
其中，所述正確接收的I幀或者正確接收的核心參考幀是編碼器已經(jīng)確認 收到解碼器正確解碼的I幀或者確認收到解碼器正確解碼的核心參考幀。
其中，所述步驟一中，無論編碼器是否己經(jīng)確認收到解碼器正確解碼的幀 內(nèi)編碼I幀，都將該幀解碼重建圖像復制到核心參考幀緩沖區(qū)。
其中，所述歩驟四中，無論編碼器是否確認收到解碼器正確解碼的核心參 考幀圖像，都將核心參考幀圖像的解碼重建圖像復制到核心參考幀緩沖區(qū)。
本發(fā)明還提供一種視頻傳輸?shù)牟铄e控制方法，所述方法包括 對視頻序列第一幀圖像采取幀內(nèi)編碼I幀方式進行編碼，并將該幀解碼重
建圖像復制到核心參考幀緩沖區(qū)；
在視頻序列中第一幀圖像之后數(shù)個位置插入核心參考幀； 對視頻序列中的非核心參考幀圖像按照標準的編碼方法進行編碼； 對視頻序列中的核心參考幀圖像采取幀間編碼方式編碼；或者采取幀內(nèi)編
碼I幀方式編碼。并將核心參考幀圖像的解碼重建圖像復制到核心參考幀緩沖
區(qū)；
接收編碼的視頻序列然后解碼并反饋解碼信息； 傳輸編碼的視頻序列以及反饋的解碼信息。
其中，所述采取幀內(nèi)編碼I幀方式的圖像獨立解碼。
其中，所述核心參考幀緩沖區(qū)用于存儲核心參考幀圖像的參考幀數(shù)據(jù)及不 用于存儲非核心參考幀圖像的參考幀數(shù)據(jù)。
其中，所述在視輝序列中第一幀圖像之后數(shù)個位置插入核心,考幀歩驟包 括在視頻序列中每隔固定間隔插入核心參考幀，或根據(jù)率失真優(yōu)化模型選擇核 心參考幀，或根據(jù)反饋信道傳回的確認信息選擇核心參考幀。
其中，所述標準的編碼方法為采取幀間編碼方式編碼或者幀內(nèi)編碼方式編碼。
其中，所述幀間編碼方式是以當前幀之前或者當前幀之后的一幀作為參考 幀進行編碼。
其中，所述幀間編碼方式是以當前幀之前和/或者當前幀之后的多幀作為 參考幀進行編碼。
其中，所述參考幀是位于當前幀和當前幀之前的第N個核心參考幀之間
的圖像，包括當前幀之前的第N個核心參考幀，N為正整數(shù)。
其中，所述參考幀不能是當前幀之前己經(jīng)編碼的核心參考幀之前的核心參 考幀或非核心參考幀。
其中，所述對視頻序列中的核心參考幀圖像采取幀間編碼方式編碼步驟中 是以當前幀之前的I幀或者核心參考幀作為參考幀進行編碼。
其中，所述對視頻序列中的核心參考幀圖像采取幀間編碼方式編碼步驟中 是以當前幀之前的正確接收的I幀或者正確接收的核心參考幀作為參考幀進行 編碼。
其中，所述正確接收的I幀或者正確接收的核心參考幀是編碼器確認收到 解碼器正確解碼的I幀或者確認收到解碼器正確解碼的核心參考幀。
其中，'所述將該幀解碼重建圖像復制到核心參考幀緩沖區(qū)是指，無論編碼 器是否確認收到解碼器正確解碼的I幀，都將解碼重建圖像復制到核心參考幀 緩沖區(qū)。
其中，所述將核心參考幀圖像的解碼重建圖像復制到核心參考幀緩沖區(qū)是指，無論編碼器是否確認收到解碼器正確解碼的核心參考幀，都將解碼重建圖 像復制到核心參考幀緩沖區(qū)。
其中，所述反饋解碼信息是通過解碼器的解碼過程得到圖像數(shù)據(jù)的狀態(tài)信 息，并將圖像數(shù)據(jù)的狀態(tài)信息反饋給編碼器。
其中，所述反饋解碼信息是通過檢測傳輸數(shù)據(jù)包的完整性得到圖像數(shù)據(jù)的 狀態(tài)信息，并將圖像數(shù)據(jù)的狀態(tài)信息反饋給編碼器。
本發(fā)明還提供一種視頻序歹l」的解碼方法，所述方法包括 ' 步驟一，對視頻序列第一幀圖像采取幀內(nèi)解碼方式進行解碼，并將該幀解 碼重建圖像復制到核心參考幀緩沖區(qū)；
步驟二，對視頻序列中的非核心參考幀圖像按照標準的解碼方法進行解
碼；
歩驟三，對視頻序列中的核心參考幀圖像按照幀間解碼方式進行解碼是以 當前幀之前的I幀或者核心參考幀作為參考幀進行解碼；或者核心參考幀圖像 按照幀內(nèi)解碼方式進行解碼，并將核心參考幀圖像的解碼重建圖像復制到核心 參考幀緩沖區(qū)。
其中，所述步驟一和步驟三中采取幀內(nèi)解碼方式的圖像獨立解碼。
其中，所述步驟一和步驟三中，所述核心參考幀緩沖區(qū)用于存儲核心參考
幀圖像的參考幀數(shù)據(jù)及不用于存儲非核心參考幀圖像的參考幀數(shù)據(jù)。 其中，所述步驟二中的所述圖像是I幀、P幀或B幀。 其中，所述步驟二中標準的解碼方法為幀間編碼方式或者幀內(nèi)解碼方式。 其中，所述幀間解碼方式是以當前幀之前或者當前幀之后的一幀作為參考
幀進行解碼。
其中，所述幀間解碼方式是以當前幀之前和/或當前幀之后的多幀作為參 考幀進行解碼。
其中，所述參考幀是位于當前幀和當前幀之前的第N個核心參考幀之間 的圖像，包括當前幀之前的第N個核心參考幀，N為正整數(shù)。 .
其中，所述參考幀不能是當前幀之前已經(jīng)解碼的核心參考幀之前的核心參 考幀或非核心參考幀。
其中，所述步驟三中對核心參考幀圖像采取幀間解碼方式解碼是以當前幀 之前的I幀或者核心參考幀作為參考幀進行解碼。
其中，所述步驟三中對核心參考幀圖像采取幀間解碼方式解碼是以當前幀 之前的正確的I幀或者正確的核心參考幀作為參考幀進行解碼。
其中，所述正確的I幀或者正確的核心參考幀是解碼器已經(jīng)正確解碼的I 幀或者解碼器已經(jīng)正確解碼的核心參考幀。
其中，所述步驟一中，所述將該幀解.碼重建圖像復制到核心參考幀緩沖區(qū) 是指，無論解碼器是否正確解碼該幀，都將該幀解碼重建圖像復制到核心參考 幀緩沖區(qū)。
其中，所述步驟三中，所述將核心參考幀圖像的解碼重建圖像復制到核心 參考幀緩沖區(qū)是指，無論解碼器是否正確解碼核心參考幀，都將核心參考幀圖 像的解碼重建圖像復制到核心參考幀緩沖區(qū)。
本發(fā)明還提供一種視頻傳輸?shù)牟铄e控制系統(tǒng)，包括
編碼器，用于對視頻序列第一幀圖像采取幀內(nèi)編碼方式進行編碼，在視頻 序列中第一幀圖像之后數(shù)個位置插入核心參考幀，對視頻序列中的非核心參考 幀圖像按照標準的編碼方法進行編碼，并對視頻序列中的核心參考幀圖像采取 幀間編碼方式編碼或者幀內(nèi)編碼方式編碼；
解碼器，用于接收編碼的視頻碼流然后解碼，并將解碼狀況反饋到編碼器； 信道，用于傳輸編碼器編碼的視頻序列以及反饋解碼器解碼的信息。
其中，所述信道包括
傳輸信道，用于傳輸編碼器編碼的視頻序列；
反饋信道，用于反饋解碼器解碼的信息。
其中，所述編碼器、解碼器和信道存在時間延遲。
本發(fā)明提出了一種通過插入核心參考幀，可以在不明顯降低視頻編碼效率 的條件下，實現(xiàn)視頻傳輸差錯控制的方法。與原有的在視頻序列中插入I幀或 者關鍵參考幀的方法相比，具有更高的編碼效率，而且能夠有效減小或者阻止
傳輸差錯在視頻序列上的擴散，從而提高視頻傳輸?shù)馁|量。


圖1所示為傳統(tǒng)的視頻編碼方式對傳輸差錯的處理方法； 圖2所示為核心參考幀方法對傳輸差錯的處理方法； 圖3所示為采取固定間隔插入核心參考幀的差錯控制方法； f 4所示為自適應核心參考幀間隔的差錯控，j方法。
具體實施例方式
為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實 施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅 僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
為了能夠在出現(xiàn)傳輸差錯時減少或者阻止錯誤解碼圖像的擴散，本發(fā)明提 出了一種在基于核心參考幀的編碼/解碼方法，可以在不明顯降低視頻編碼效 率的情況下，阻止錯誤的擴散。圖2所示為核心參考幀方法對傳輸差錯的處理 方法。
在進行視頻編碼的過程中，在某些特定位置插入核心參考幀，記為C，如 圖2中的雙線所示。
核心參考幀可以采取幀內(nèi)編碼(I幀)方式進行編碼，也可以采取幀間編 碼(P幀)方法進行編碼。
當采取幀內(nèi)編碼(I幀)方式時，核心參考幀的編碼方式與普通的I幀編 碼方法相同；
當采取幀間編碼(P幀)方式時，與普通的幀間編碼方法相比，不同之處 在于其參考幀是前面的I幀或者核心參考幀。而且在存在反饋信道條件下，編 碼端可以選擇解碼端正確接收的核心參考幀作為參考圖像進行幀間編碼。
在進行視頻解碼的過程中，解碼器根據(jù)接收到的圖像類型是否為核心參考 幀，采取不同的解碼過程。
步驟一，對視頻序列第一幀圖像采取幀內(nèi)解碼方式進行解碼。并將解碼重 建圖像保存；
步驟二，對視頻序列第一幀圖像之后的圖像進行解碼。
14 若接收的圖像為非核心參考幀，則視頻圖像數(shù)據(jù)的解碼過程與標準的視頻 解碼過程一樣，例如I幀、P幀和B幀。
若接收的圖像為核心參考幀，對視頻序列中的核心參考幀圖像以當前幀之 前的I幀或者核心參考幀作為參考幀進行解碼；或者核心參考幀就按照幀內(nèi)解 碼方式進行解碼。并將解碼重建圖像保存。
例如在圖2中，C (t+j)是以I (t)為參考幀，C (t+k)是以C (t+j)為
參考幀。當出得傳輸差錯時，例如在t+i時刻發(fā)生錯誤，則,p(t+i)不能正確解 碼。由于后續(xù)^I幀間編碼幀P (t+i+l)是以p(t+i)作為參考fe像，因此錯誤解 碼圖像會向后擴散。
在t+j時刻，由于核心參考幀C (t+j)是以I (t)作為參考幀，與P (t+i) 和P (t+i+l)沒有關系，因此核心參考幀C (t+j)可以正確解碼。對于t+j之
后的圖像幀，沒有發(fā)生傳輸差錯，圖像都能夠正確解碼。在這種情況下，解碼 錯誤的時間間隔為j-i。
圖3所示為根據(jù)本發(fā)明一示例性實施方式采取固定間隔插入核心參考幀 實現(xiàn)傳輸差錯控制的方法。
視頻編碼器對視頻序列進行實時編碼，得到編碼視頻碼流，如圖3中的上 半部分所示。然后將編碼視頻碼流傳送到視頻解碼器進行解碼，如圖3中的下 半部分所示。
由于編碼器或者信道傳輸過程中存在一定的時間延遲，視頻解碼器接收到 編碼視頻碼流的時刻與真實的視頻序列存在一定的時間差。同理，由于視頻解 碼器和或者反饋信道傳輸過程存在一定的時間延遲，視頻解碼器將當前圖像解 碼信息反饋至視頻編碼器也存在一定的時間延遲。在圖3中假設刻編碼器對視 頻序列進行編碼后，經(jīng)過信道傳輸，被解碼器接收并解碼，然后將解碼狀況反 饋至編碼器所需的時間在4個單位時間以內(nèi)。即t時刻編碼的圖像幀被解碼器 接收后，在t+4時刻之前編碼器可以得到解碼器的反饋信息。
解碼器端的核心參考幀的解碼狀態(tài)通過反饋信道傳送給編碼器，ACK表 示該圖像幀能夠正確解碼，NACK表示該圖像幀不能正確解碼。如圖3中I(t)、 C (t+4) 、 C (t+12) 、 C (t+16) 、 C (t+20)等能夠正確解碼的圖像幀通過 ACK反饋至編碼器，而不能正確解碼的C (t+8)通過NACK反饋至編碼器。
編碼過程如下
在t時刻，編碼器對視頻序列的第一幀用幀內(nèi)編碼方式編碼，記為I(t)， 并將I (t)保存到核心參考緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考 圖像。
在t+l至t+3時刻，編碼器對當前圖像采取以前一幀作為參考幀的幀間編 碼方式編碼，記為P (t+l) 、 P (t+2) 、 P (t+3)。
在t+4時刻，編碼器已經(jīng)接收到解碼器反饋的I (t)正確解碼ACK信息， 對當前圖像采取核心參,幀方式進行編碼，即以I (t)作為參考幀進f編碼， 記為C (t+4)，并將C (t+4)保存到核心參考緩沖區(qū)中，可以作i后面的 核心參考幀圖像的參考圖像。
在t+5至t+7時刻，編碼器對當前圖像采取以前一幀作為參考幀的幀間編 碼方式編碼，記為P (t+5) 、 P (t+6) 、 P (t+7)。為了實現(xiàn)錯誤恢復，P (t+5)、 P (t+6) 、 P (t+7)都不能以C (t+4)之前的非核心參考幀作為參考圖像進 行編碼。
在t+8時刻，編碼器已經(jīng)接收到解碼器反饋的C (t+4)正確解碼ACK 信息，對當前圖像采取核心參考幀方式進行編碼，即以C (t+4)作為參考幀 進行編碼，記為C (t+8，并將C (t+8)保存到核心參考緩沖區(qū)中，可以作 為后面的核心參考幀圖像的參考圖像)。
在t+9至t+11時刻，編碼器對當前圖像采取以前一幀作為參考幀的幀間 編碼方式編碼，記為P (t+9) 、 P (t+10) 、 P (t+11)。為了實現(xiàn)錯誤恢復， P (t+9) 、 P (t+10) 、 P (t+11)都不能以C (t+8)之前的非核心參考幀作 為參考圖像進行編碼。
在t+12時刻，編碼器沒有接收到解碼器反饋的C (t+8)正確解碼ACK 信息，但是按照固定間隔核心參考幀方法需要對當前圖像采取核心參考幀方式 進行編碼。所以即以前面正確接收的核心參考幀C (t+4)作為參考幀進行編 碼，記為C (t+12)，并將C (t+12)保存到核心參考緩沖區(qū)中，可以作為 后面的核心參考幀圖像的參考圖像。
后面時刻的編碼方法與前面類似，在此不再重復。
解碼過程如下
解碼器對接收的視頻序列的第一幀圖像I (t)用幀內(nèi)解碼方式解碼，并將 I (t)保存到核心參考緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考圖像。解碼器將I (t)正確解碼信息用ACK反饋至編碼器。
解碼器對接收的P (t+l) 、 P (t+2) 、 P (t+3)采取以前一幀作為參考幀 的幀間解碼方式解碼。
解碼器對接收的C (t+4)采取核心參考幀方式進行解碼，其參考幀是I (t)，并將C (t+4)保存到核心參考緩沖區(qū)中，可以作為后面的核心參考幀 圖像的參考圖像。解碼器將C (t+4)正確解碼信息用ACK反饋至編碼器。
解碼器對接收的P (t+5) 、 P ，(t+6) 、 P (t+7)采取以前一幀作為參考幀 的幀間解碼方式解碼。
解碼器對接收的C (t+8)采取核心參考幀方式進行解碼，并以C (t+4) 作為參考幀進行解碼。由于信道錯誤導致解碼器接收的C (t+8)有錯，因此 解碼器將C (t+8)的錯誤解碼信息NACK反饋至編碼器。雖然，C (t+8)不 能正確解碼，仍然將C (t+8)保存到核心參考緩沖區(qū)中。
解編碼器對接收的P (t+9) 、 P (t+10) 、 P (t+11)采取以前一幀作為參 考幀的幀間解碼方式解碼。
解碼器對接收的C (t+12)采取核心參考幀方式進行解碼，此時C (t+ 12)以前面正確接收的核心參考幀C (t+4)作為參考幀進行解碼，并將C (t + 12)保存到核心參考緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考圖像。 解碼器將C (t+12)正確解碼信息用ACK反饋至編碼器。
后面時刻的編碼方法與前面類似，在此不再重復。
圖4所示為根據(jù)本發(fā)明另一示例性實施方式的自適應插入核心參考幀實 現(xiàn)傳輸差錯控制的方法。即在丟包率較低時采取普通幀間編碼方法，在丟包率 較高時采取核心參考幀方法。
視頻編碼器對視頻序列迸行實時編碼，得到編碼視頻碼流，如圖4中的上 半部分所示。然后將編碼視頻碼流傳送到視頻解碼器進行解碼，如圖4中的下 半部分所示。
由于編碼器或者信道傳輸過程中存在一定的時間延遲，視頻解碼器接收到 編碼視頻碼流的時刻與真實的視頻序列存在一定的時間差。同理，由于視頻解 碼器和或者反饋信道傳輸過程存在一定的時間延遲，視頻解碼器將當前圖像解 碼信息反饋至視頻編碼器也存在一定的時間延遲。在圖4中假設刻編碼器對視 頻序列進行編碼后，經(jīng)過信道傳輸，被解碼器接收并解碼，然后將解碼狀況反 饋至編碼器所需的時間在2個單位時間以內(nèi)。即t時刻編碼的圖像幀被解碼器 接收后，在t+2時刻之前編碼器可以得到解碼器的反饋信息。
解碼器端的核心參考幀的解碼狀態(tài)通過反饋信道傳送給編碼器，ACK表
示該圖像幀能夠正確解碼，NACK表示該圖像幀不能正確解碼。如圖3中I(t)、 C (t+5) 、 C (t+10) 、 C (t+15)等能夠正確解碼的圖像幀通過ACK反饋至 ,編碼器，而不能正確解碼的P (t+6) 、 C (t，8)通過NACK反饋至編碼器。 編碼過程如下 '
在t時刻，編碼器對視頻序列的第一幀用幀內(nèi)編碼方式編碼，記為I(t)， 并將I (t)保存到核心參考緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考 圖像。
在t+l至t+4時亥i」，編碼器沒有收到任何NACK信息，對當前圖像采取以 前一幀作為參考幀的幀間編碼方式編碼，記為P (t+l) 、 P (t+2) 、 P (t+3)、 P (t+4)。
在t+5時刻，編碼器沒有接收到任何NACK信息，即表明丟包率很低， 對當前幀本應該采取以前一幀作為參考幀的幀間編碼方式編碼。但是由于很長 時間內(nèi)沒有指定核心參考幀，當前幀和正確核心參考幀的間隔逐漸變遠， 一旦 發(fā)生差錯，需要參考正確核心參考幀編碼，編碼效率將顯著降低。為了提高編 碼效率，如圖4所示，當每連續(xù)編碼5個普通幀后，不論當前幀參考那一幀編 碼，當前幀都指定為核心參考幀，記為C (t+5)，并將C (t+5)保存到核心 參考緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考圖像。
在t+6至t+7時刻，編碼器沒有收到任何NACK信息，對當前圖像采取以 前一幀作為參考幀的幀間編碼方式編碼，記為P (t+6) 、 P (t+7)。為了實現(xiàn) 錯誤恢復，P (t+6) 、 P (t+7)都不能以C (t+5)之前的非核心參考幀作為 參考圖像進行編碼。
在t+8時刻，編碼器接收到NACK信息，P (t+6)不能正確解碼。對當前 幀采取核心參考幀方法進行編碼，即以最近接收的正確核心參考幀C (t+5) 作為參考圖像進行幀間編碼，記為C (t+8)，并將C (t+8)保存到核心參考 緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考圖像。
在t+9時刻，編碼器沒有收到任何NACK信息，對當前圖像采取以前一 幀作為參考幀的幀間編碼方式編碼，記為P(t+9)。為了實現(xiàn)錯誤恢復，P(t+9) 不能以C (t+8)之前的非核心參考幀作為參考圖像進行編碼
在t+10時刻，編碼器接收到解碼器NACK信息，C (t+8)不能正確解 碼，對當前圖像采取核心參考幀方式進行編碼，即以前一個正確解碼的核心參 考幀C (t+5)作為參考幀進行編碼，記為C (t+10)，并將C (t+10)保存到 核心參考緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考圖像。
在t+.ll至t+14時亥lj，編碼器沒有收到任何NAC^信息，對當前圖像采取 以前一幀作為參考幀的幀間編碼方式編碼，記為P (t+l 1) 、 P (t+12) 、 P(t+13 )、 P (t+14)。為了實現(xiàn)錯誤恢復，P (t+11) 、 P (t+12) 、 P (t+13) 、 P (t+14) 都不能以C (t+10)之前的非核心參考幀作為參考圖像進行編碼
在t+15時刻，編碼器沒有接收到任何NACK信息，即表明丟包率很低， 對當前幀本應該采取以前一幀作為參考幀的幀間編碼方式編碼。但是為了提高 編碼效率，如圖4所示，當每連續(xù)編碼5個普通幀后，不論當前幀參考那一幀 編碼，當前幀都指定為核心參考幀，即以C (t+10)作為參考幀進行幀間編碼， 記為C (t+15)，并將C (t+15)保存到核心參考緩沖區(qū)中，可以作為后面的 核心參考幀圖像的參考圖像。
后續(xù)時刻的編碼方法與前面類似，在此不再重復。
解碼過程如下
解碼器對接收的視頻序列的第一幀圖像I (t)用幀內(nèi)解碼方式解碼，并將 I (t)保存到核心參考緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考圖像。 解碼器將I (t)正確解碼信息用ACK反饋至編碼器。
解碼器對接收的P (t+l) 、 P (t+2) 、 P (t+3) 、 P (t+4)采取以前一幀 作為參考幀的幀間解碼方式解碼。
解碼器對接收的C (t+5.)采取核心參考幀方式進行解碼，其參考幀是I (t)，并將C (t+5)保存到核心參考緩沖區(qū)中，可以作為后面的核心參考幀 圖像的參考圖像。解碼器將C (t+5)正確解碼信息用ACK反饋至編碼器。
解碼器對接收的P (t+6) 、 P (t+7)采取以前一幀作為參考幀的幀間解碼 方式解碼。
解碼器對接收的C (t+8)采取核心參考幀方式解碼，由于C (t+8)以接 收的正確核心參考幀或者I幀作為參考圖像，因此C (t+8)以C (t+5)為參
考圖像進行幀間解碼方式解碼。由于信道錯誤導致解碼器接收的C (t+8)有
錯，因此解碼器將C (t+8)的錯誤解碼信息NACK反饋至編碼器。雖然，C (t+8)不能正確解碼，仍然將C (t+8)保存到核心參考緩沖區(qū)中。
解碼器對接收的P (t+9)采取以前一幀作為參考幀的幀間解碼方式解碼。
解碼器對接收的C (t+10)采取核心參考幀方式進行解碼，即以前一個正 確解碼的核心參考幀C (t+5)作為參考幀按照幀間解碼方式進行解碼，并將C (t+10)保存到核今參考緩沖區(qū)中，可以作為后面的核心參考幀圖像的參考圖 l ,
解碼器對接收到的P (t+11) 、 P (t+12) 、 P (t+13) 、 P (t+14)采取以 前一幀作為參考幀的幀間解碼方式解碼。
解碼器對接收的C (t+15)采取核心參考幀方式解碼，以C (t+5)為參 考圖像進行幀間解碼方式解碼，并將C (t+15)保存到核心參考緩沖區(qū)中，可 以作為后面的核心參考幀圖像的參考圖像。
后續(xù)時刻的編碼方法與前面類似，在此不再重復。 .
當然，本發(fā)明還可有其他多種實施例，在不背離本發(fā)明精神及其實質的情 況下，熟悉本領域的技術人員當可根據(jù)本發(fā)明作出各種相應的改變和變形，但 這些相應的改變和變形都應屬于本發(fā)明所附的權利要求的保護范圍。
權利要求
1、一種視頻序列的編碼方法，其特征在于，包括步驟一，對視頻序列第一幀圖像采取幀內(nèi)編碼I幀方式進行編碼，并將該幀解碼重建圖像復制到核心參考幀緩沖區(qū)；步驟二，在視頻序列中第一幀圖像之后數(shù)個位置插入核心參考幀；步驟三，對視頻序列中的非核心參考幀圖像按照標準的編碼方法進行編碼；步驟四，對視頻序列中的核心參考幀圖像以當前幀之前的I幀或者核心參考幀作為參考幀進行編碼；或者核心參考幀就是幀內(nèi)編碼I幀，并將核心參考幀圖像的解碼重建圖像復制到核心參考幀緩沖區(qū)。
2、 根據(jù)權利要求1所述的視頻序列的編碼方法，其特征在于，所述步 驟一和步驟四中采取幀內(nèi)編碼I幀方式的圖像獨立解碼。
3、 根據(jù)權利要求1所述的視頻序列的編碼方法，其特征在于，所述步 驟一和步驟四中，所述核心參考幀緩沖區(qū)用于存儲核心參考幀圖像的參考幀數(shù) 據(jù)及不用于存儲非核心參考幀圖像的參考幀數(shù)據(jù)。
4、 根據(jù)權利要求1所述的視頻序列的編碼方法，其特征在于，所述步 驟二中插入核心參考幀包括每隔固定間隔插入核心參考幀，或根據(jù)率失真優(yōu)化 模型選擇核心參考幀，或根據(jù)反饋信道傳回的確認信息自適應插入核心參考 幀。
5、 根據(jù)權利要求1所述的視頻序列的編碼方法，其特征在于，所述步 驟三中的所述圖像是I幀、P幀或B幀。
6、 根據(jù)權利要求1所述的視頻序列的編碼方法，其特征在于，所述步 驟三中標準的編碼方法為幀間編碼方式或者幀內(nèi)編碼方式。
7、 根據(jù)權利要求6所述的視頻序列的編碼方法，其特征在于，所述幀 間編碼方式是以當前幀之前或者當前幀之后的一幀作為參考幀進行編碼。
8、 根據(jù)權利要求6所述的視頻序列的編碼方法，其特征在于，所述幀 間編碼方式是以當前幀之前和/或者當前幀之后的多幀作為參考幀進行編碼。
9、 根據(jù)權利要求7或權利要求8所述的視頻序列的編碼方法，其特征 在于，所述參考幀是位于當前幀和當前幀之前的第N個核心參考幀之間的圖像，包括當前幀之前的第N個核心參考幀，N為正整數(shù)。
10、 根據(jù)權利要求9所述的視頻序列的編碼方法，其特征在于，所述參 考幀不能是當前幀之前己經(jīng)編碼的核心參考幀之前的核心參考幀或非核心參 考幀。
11、 根據(jù)權利要求1所述的視頻序列的編碼方法，其特征在于，所述步 驟四中對核心參考幀圖像采取幀間編碼方式編碼是以當前幀之前的I幀或者核 心參考幀作為參考幀進行編碼。 ，
12、 根據(jù)權利要求1所述的視頻序列的編碼方法，其特征在于，所述步 驟四中對核心參考幀圖像采取幀間編碼方式編碼是以當前幀之前的正確接收 的I幀或者正確接收的核心參考幀作為參考幀進行編碼。
13、 根據(jù)權利要求12所述的視頻序列的編碼方法，其特征在于，所述正確接收的I幀或者正確接收的核心參考幀是編碼器已經(jīng)確認收到解碼器正確解 碼的I幀或者確認收到解碼器正確解碼的核心參考幀。
14、 根據(jù)權利要求l所述的視頻序列的編碼方法，其特征在于，所述步 驟一中，無論編碼器是否已經(jīng)確認收到解碼器正確解碼的幀內(nèi)編碼I幀，都將 該幀解碼重建圖像復制到核心參考幀緩沖區(qū)。
15、 根據(jù)權利要求l所述的視頻序列的編碼方法，其特征在于，所述步 驟四中，無論編碼器是否確認收到解碼器正確.解碼的核心參考幀圖像，都將核 心參考幀圖像的解碼重建圖像復制到核心參考幀緩沖區(qū)。
16、 一種視頻傳輸?shù)牟铄e控制方法，其特征在于，包括對視頻序列第一幀圖像采取幀內(nèi)編碼I幀方式進行編碼，并將該幀解碼重建圖像復制到核心參考幀緩沖區(qū)；在視頻序列中第一幀圖像之后數(shù)個位置插入核心參考幀；對視頻序列中的非核心參考幀圖像按照標準的編碼方法進行編碼； 對視頻序列中的核心參考幀圖像采取幀間編碼方式編碼；或者采取幀內(nèi)編碼I幀方式編碼。并將核心參考幀圖像的解碼重建圖像復制到核心參考幀緩沖區(qū)；接收編碼的視頻序列然后解碼并反饋解碼信息； 傳輸編碼的視頻序列以及反饋的解碼信息。
17、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所述采取幀內(nèi)編碼I幀方式的圖像獨立解碼。
18、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所 述核心參考幀緩沖區(qū)用于存儲核心參考幀圖像的參考幀數(shù)據(jù)及不用于存儲非 核心參考幀圖像的參考幀數(shù)據(jù)。
19、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所 述在視頻序列中第一幀圖像之后數(shù)個位置插入核心參考幀步驟包括在視頻序 列中每^固定間隔插入核心參考幀，或根據(jù)率失真,化模型選擇核心參考幀， 或根據(jù)反饋信道傳回的確認信息選擇核心參考幀。'
20、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所述標準的編碼方法為采取幀間編碼方式編碼或者幀內(nèi)編碼方式編碼。
21、 根據(jù)權利要求20所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所 述幀間編碼方式是以當前幀之前或者當前幀之后的一幀作為參考幀進行編碼。
22、 根據(jù)權利要求20所述的視頻序列的差錯控制方法，其特征在于，所 述幀間編碼方式是以當前幀之前和/或者當前幀之后的多幀作為參考幀進行編 碼。
23、 根據(jù)權利要求21或權利要求22所述的視頻序列的差錯控制方法， 其特征在于，所述參考幀是位于當前幀和當前幀之前的第N個核心參考幀之 間的圖像，包括當前幀之前的第N個核心參考幀，N為正整數(shù)。
24、 根據(jù)權利要求23所述的視頻序列的差錯控制方法，其特征在于，所 述參考幀不能是當前幀之前已經(jīng)編碼的核心參考幀之前的核心參考幀或非核 心參考幀。
25、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所 述對視頻序列中的核心參考幀屈像采取幀間編碼方式編碼步驟中是以當前幀 之前的I幀或者核心參考幀作為參考幀進行編碼。
26、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所 述對視頻序列中的核心參考幀圖像采取幀間編碼方式編碼步驟中是以當前幀 之前的正確接收的I幀或者正確接收的核心參考幀作為參考幀進行編碼。
27、 根據(jù)權利要求26所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所 述正確接收的I幀或者正確接收的核心參考幀是編碼器確認收到解碼器正確解 碼的I幀或者確認收到解碼器正確解碼的核心參考幀。
28、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所述將該幀解碼重建圖像復制到核心參考幀緩沖區(qū)是指，無論編碼器是否確認收到解碼器正確解碼的I幀，都將解碼重建圖像復制到核心參考幀緩沖區(qū)。
29、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所述將核心參考幀圖像的解碼重建圖像復制到核心參考幀緩沖區(qū)是指，無論編碼器是否確認收到解碼器正確解碼的核心參考幀，都將解碼重建圖像復制到核心參考幀緩沖區(qū)。
30、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，'其特征在于，所 述反饋解碼信息是通過解碼器的解碼過程得到圖像數(shù)據(jù)的狀態(tài)信息，并將圖像數(shù)據(jù)的狀態(tài)信息反饋給編碼器。
31、 根據(jù)權利要求16所述的視頻傳輸?shù)牟铄e控制方法，其特征在于，所 述反饋解碼信息是通過檢測傳輸數(shù)據(jù)包的完整性得到圖像數(shù)據(jù)的狀態(tài)信息，并 將圖像數(shù)據(jù)的狀態(tài)信息反饋給編碼器。
32、 一種視頻序列的解碼方法，其特征在于，包括步驟一，對視頻序列第一幀圖像采取幀內(nèi)解碼方式進行解碼，并將該幀解 碼重建圖像復制到核心參考幀緩沖區(qū)；步驟二，對視頻序列中的非核心參考幀圖像按照標準的解碼方法進行解碼；步驟三，對視頻序列中的核心參考幀圖像按照幀間解碼方式進行解碼是以 當前幀之前的I幀或者核心參考幀作為參考幀進行解碼；或者核心參考幀圖像 按照幀內(nèi)解碼方式進行解碼，并將核心參考幀圖像的解碼重建圖像復制到核心 參考幀緩沖區(qū)。
33、 根據(jù)權利要求32所述的視頻序列的解碼方法，其特征在于，所述步 驟一和步驟三中采取幀內(nèi)解碼方式的圖像獨立解碼。
34、 根據(jù)權利要求32所述的視頻序列的解碼方法，其特征在于，所述步 驟一和步驟三中，所述核心參考幀緩沖區(qū)用于存儲核心參考幀圖像的參考幀數(shù) 據(jù)及不用于存儲非核心參考幀圖像的參考幀數(shù)據(jù)。
35、 根據(jù)權利要求32所述的視頻序列的解碼方法，其特征在于，所述步 驟二中的所述圖像是I幀、P幀或B幀。
36、 根據(jù)權利要求32所述的視頻序列的解碼方法，其特征在于，所述步驟二中標準的解碼方法為幀間編碼方式或者幀內(nèi)解碼方式。
37、 根據(jù)權利要求36所述的視頻序列的解碼方法，其特征在于，所述幀 間解碼方式是以當前幀之前或者當前幀之后的一幀作為參考幀進行解碼。
38、 根據(jù)權利要求36所述的視頻序列的解碼方法，其特征在于，所述幀 間解碼方式是以當前幀之前和/或當前幀之后的多幀作為參考幀進行解碼。
39、 根據(jù)權利要求37或權利要求38所述的視頻序列的解碼方法，其特 征在于，所述參考幀是位f當前幀和當前幀之前的第N個核心參考幀^間的 圖像，包括當前幀之前的第N個核心參考幀，N為正整數(shù)。 '
40、 根據(jù)權利要求39所述的視頻序列的解碼方法，其特征在于，所述參 考幀不能是當前幀之前已經(jīng)解碼的核心參考幀之前的核心參考幀或非核心參 考幀。
41、 根據(jù)權利要求32所述的視頻序列的解碼方法，其特征在于，所述步 驟三中對核心參考幀圖像采取幀間解碼方式解碼是以當前幀之前的I幀或者核 心參考幀作為參考幀進行解碼。
42、 根據(jù)權利要求32所述的視頻序列的解碼方法，其特征在于，所述步 驟三中對核心參考幀圖像采取幀間解碼方式解碼是以當前幀之前的正確的I幀 或者正確的核心參考幀作為參考幀進行解碼。
43、 根據(jù)權利要求42所述的視頻序列的解碼方法，其特征在于，所述正 確的I幀或者正確的核心參考幀是解碼器已經(jīng)正確解碼的I幀或者解碼器已經(jīng) 正確解碼的核心參考幀。
44、 根據(jù)權利要求32所述的視頻序列的解碼方法，其特征在于，所述步 驟一中，所述將該幀解碼重建圖像復制到核心參考幀緩沖區(qū)是指，無論解碼器 是否正確解碼該幀，都將該幀解碼重建圖像復制到核心參考幀緩沖區(qū)。
45、 根據(jù)權利要求32所述的視頻序列的編碼方法，其特征在于，所述步 驟三中，所述將核心參考幀圖像的解碼重建圖像復制到核心參考幀緩沖區(qū)是 指，無論解碼器是否正確解碼核心參考幀，都將核心參考幀圖像的解碼重建圖 像復制到核心參考幀緩沖區(qū)。 .
46、 一種視頻傳輸?shù)牟铄e控制系統(tǒng)，其特征在于，包括編碼器，用于對視頻序列第一幀圖像釆取幀內(nèi)編碼方式進行編碼，在視頻 序列中第一幀圖像之后數(shù)個位置插入核心參考幀，對視頻序列中的非核心參考幀圖像按照標準的編碼方法進行編碼，并對視頻序列中的核心參考幀圖像采取 幀間編碼方式編碼或者幀內(nèi)編碼方式編碼；解碼器，用于接收編碼的視頻碼流然后解碼，并將解碼狀況反饋到編碼器;信道，用于傳輸編碼器編碼的視頻序列以及反饋解碼器解碼的信息。
47、 根據(jù)權利要求46所述的視頻傳輸?shù)牟铄e控制系統(tǒng)，其特征在于，所述信道包括傳輸信道，用于傳輸編碼器編^的視頻序列； 反饋信道，用于反饋解碼器解碼的信息。
48、 根據(jù)權利要求47所述的視頻傳輸?shù)牟铄e控制系統(tǒng)，其特征在于，所述編碼器、解碼器和信道存在時間延遲。
全文摘要
本發(fā)明提供了一種視頻序列的編碼/解碼方法，用于視頻傳輸?shù)牟铄e控制，包括步驟一，對視頻序列第一幀圖像采取幀內(nèi)編碼方式進行編碼；步驟二，在視頻序列中第一幀圖像之后數(shù)個位置插入核心參考幀；步驟三，對視頻序列中的非核心參考幀圖像按照標準的編碼方法進行編碼；步驟四，對視頻序列中的核心參考幀圖像以當前幀之前的I幀或者核心參考幀作為參考幀進行編碼；或者核心參考幀就是I幀。通過在編碼碼流中插入核心參考幀，不但可以有效地減少或者阻止視頻過程中由于傳輸差錯引起的圖像質量下降，而且不會明顯降低視頻圖像的編碼效率。
文檔編號H04N7/26GK101207813SQ200710125278
公開日2008年6月25日 申請日期2007年12月18日 優(yōu)先權日2007年12月18日
發(fā)明者睿 陳 申請人:中興通訊股份有限公司