專利名稱：基于視差/運動聯(lián)合估計的多視點容錯編碼框架的制作方法
技術領域：
本發(fā)明屬于視頻編碼和處理領域，具體涉及多視點視頻壓縮編碼 過程中差錯控制算法的研究。
背景技術：
傳統(tǒng)單視點視頻是由單個攝像機拍攝某一場景得到的視頻信號， 攝像機的拍攝角度在某一時刻是固定不變的。當前各種單視點編碼技 術的進步雖然提高了視頻圖像的質量和編碼效率，但仍然沒有在根本 上改變場景的平面描述形式。而多視點視頻則是由攝像機陣列從不同 角度拍攝同一場景得到的一組視頻信號，與單視點視頻相比，多視點 視頻能夠獲取場景的三維信息，從而更加生動地再現(xiàn)立體場景?？梢?預見，多視點視頻將在影視、醫(yī)療、遠程控制、虛擬現(xiàn)實等方面擁有
廣闊的應用前景。目前，多視點視頻編碼(Multiview Video Coding, MVC)已成為數(shù)字視頻技術中一個活躍的研究領域。
現(xiàn)有的基于視差/運動聯(lián)合估計的多視點編碼框架，主要以研究如 何提高編碼效率、同時提供可靈活訪問的多視點視頻流為主，如圖1 所示。此編碼框架結構將多個視點分為了一個基本視點和多個增強視 點?；疽朁c采用標準的層次B幀編碼方式，如圖1中的視點V0。 增強視點在關鍵幀(如t、 t+4、 t+8時刻)編碼中引入了視點間預測， 提高了多視點的編碼效率；非關鍵幀則使用標準的層次B幀編碼方式，如圖1中的視點VI、 V2。
雖然此編碼結構較好的利用了視點內和視點間的信息冗余，在多 視點編碼效率和視點的任意訪問間取的了平衡。但是關鍵幀編碼時的 視點間預測方式降低了多視點視頻流的傳輸魯棒性，在有損的網絡傳 輸環(huán)境中， 一旦關鍵幀出現(xiàn)傳輸差錯(尤其是基本視點的關鍵幀)， 差錯會通過視點間預測方式擴散到各個視點中，而從影響整個多視點 圖像質量。
鑒于現(xiàn)有技術的以上缺點，本發(fā)明的目的是提出一種基于視差/ 運動聯(lián)合估計的多視點容錯編碼框架，使之克服現(xiàn)有技術的以上缺 點，增強多視點視頻流的傳輸魯棒性，使其更好的適應于有損網絡環(huán) 境下的視頻傳輸。本發(fā)明的目的是通過以下的手段實現(xiàn)的。
基于視差/運動聯(lián)合估計的多視點容錯編碼框架，對一個以上視 點信息進行視頻流傳輸編碼，根據(jù)視點的重要程度選擇其中一個視點 編碼為基本視點，其余視點編碼為增強視點；各個視點以圖像組為單 位進行編碼，每個圖像組的最后一幀為關鍵幀，其余幀為非關鍵幀； 其特征在于，編碼框架中引入基于分布式視頻編碼的差錯控制幀，具 體編碼方法如下
(差錯控制幀，記為E幀；幀內編碼幀，記為I幀；預測編碼幀， 記為P幀)
對于基本視點編碼基本視點編碼
1) 基本視點視頻序列第1幀圖像編碼為I幀；
2) 基本視點的關鍵幀可以編碼為I幀、P幀或者E幀;首先判斷當前關鍵幀是否編碼為I幀,若非I幀，則判斷當前關鍵幀是否編
碼為E幀，若既不是I幀也不是E幀，則編碼為P幀;其中，I幀的 確定依據(jù)為幀內編碼周期，E幀的確定有多種方法，可以每隔固 定間隔插入差錯控制幀，也可以根據(jù)率失真優(yōu)化模型動態(tài)選擇差 錯控制幀；
3) 基本視點的關鍵幀若為E幀，則采用基于分布式視頻編碼理 論的幀內編碼方式,其邊信息是以前一關鍵幀重建圖像為參考進 行運動補償獲取的幀間預測圖像；
4) 基本視點的關鍵幀若為P幀，則以前一個關鍵參考幀的重建 圖像為參考，進行基于運動估計的幀間預測編碼；
5) 基本視點視頻序列中的非關鍵幀圖像按照標準層次B幀編碼 方法編碼；
對于增強視點編碼
1) 增強視點視頻序列第一幀圖像編碼為P幀，使用基本視點同 時刻重建圖像為參考，進行基于視差估計的視點間預測編碼；
2) 增強視點關鍵幀的編碼方式根據(jù)同時刻基本視點關鍵幀的編 碼方式來確定，若基本視點關鍵幀編碼為I幀或者P幀，則增強 視點關鍵幀編碼為P幀；如果基本視點關鍵幀編碼為E幀，則增 強視點關鍵幀也編碼為E幀；
3) 增強視點的關鍵幀若為E幀，則采用基于分布式視頻編碼理 論的幀內編碼方式編碼；其邊信息是以基本視點同時刻重建圖像 為參考進行視差補償獲取的視點間預測圖像4)增強視點的非關鍵幀圖像按照標準層次B幀編碼方式編碼。 所述具體的分布式視頻編碼方式有多種方法，可以采用基于SW 理論的無損編碼，也可以采用基于WZ理論的有損編碼。
采用本發(fā)明基于視差/運動聯(lián)合估計的多視點容錯編碼框架，通 過在基于視點合成的多視點視頻編碼框架中引入基于分布式視頻編 碼理論的差錯控制幀，比標準的幀內編碼具有更好的編碼效率；同時 抗差錯性能強，即使邊信息(與標準視頻編碼中的參考信息類似)出 現(xiàn)傳輸差錯，它仍然能夠正確解碼，從而增強了多視點視頻流的傳輸 魯棒性，充分利用分布式視頻編碼的傳輸魯棒性特性，減小視點間合 成預測引起的視點間差錯擴散對多視點視頻圖像質量的影響，增強多 視點視頻流的傳輸魯棒性，使其更好的適應于有損網絡環(huán)境下的視頻 傳輸。


如下
圖1是現(xiàn)有技術基于視差/運動聯(lián)合估計的多視點編碼框架圖。 圖2是本發(fā)明基于視差/運動聯(lián)合估計的多視點容錯編碼框架圖。 圖3是本發(fā)明差錯控制幀編碼示意圖。 圖4是本發(fā)明差錯控制幀解碼示意圖。
具體實施例方式
下面結合附圖和具體的實施方式對本發(fā)明作進一步的詳細說明。 圖1所示是現(xiàn)有的一種基于視差/運動聯(lián)合估計的多視點編碼框 架，其中，基本視點采用標準的層次B幀編碼方式編碼；增強視點 在關鍵幀編碼中引入了視點間預測編碼方式，例如t時刻視點Vl的關鍵幀編碼為P幀，記為Vl-P(t)，是以基本視點同時刻重建圖像V0-I(t)
為參考幀，進行基于視差估計的視點間預測編碼。增強視點的非關鍵
幀使用標準的層次B幀編碼方式編碼。
這種編碼框架，通過在關鍵幀中使用視點間預測編碼，提高了多 視點的編碼效率，同時可以將增強視點內的差錯擴散控制在一個GOP 單元中。但另一方面，由于增強視點的關鍵幀僅使用視點間預測，如 果某一關鍵幀出現(xiàn)傳輸差錯，差錯會擴散到以它為參考的后續(xù)增強視 點編碼幀中，從而降低多視點圖像質量。例如t時刻，基本視點V0-I(t) 傳輸出錯，那么差錯會擴散到以它為參考幀編碼的V0-P(t+4)中；以 V0-P(t+4)為參考幀編碼的Vl-P(t+4)和V2-P(t+4)中；同時差錯還會擴 散到V0-V2三個視點t+l到t+3時刻編碼的所有非關鍵幀中，使得t+l 到t+4時刻所有視頻圖像質量降低。同理差錯會繼續(xù)擴散到后續(xù)t+5 到t+7編碼幀，直到t+8時刻基本視點關鍵幀編碼為I幀，差錯擴散 才會停止。
圖2是本發(fā)明提出的基于視差/運動聯(lián)合估計的多視點容錯編碼 框架，它在保持多視點編碼效率和視點隨機切換性能的前提下，在關 鍵參考幀的編碼方式中引入了基于分布式視頻編碼理論的差錯控制 幀編碼方式，提供一種傳輸魯棒性強的多視點視頻流。
此編碼框架，在各個視點關鍵幀的編碼方法中增加了基于分布式 視頻編碼理論的差錯控制幀編碼方法。差錯控制幀借助分布式視頻編 碼理論自身的抗傳輸差錯性能，能有效阻止傳輸差錯在視點內和視點 間的擴散。例如t+4時刻，基本視點的關鍵幀編碼為差錯控制幀，記為V0-E(t+4)。 V0-E(t+4)采用基于分布式視頻編碼技術編碼，其解碼 邊信息是以前一關鍵幀重建圖像為參考進行運動補償獲取的幀間預 測圖像，即以VO-I(t)的重建圖像為參考進行運動補償獲取V0-E(t+4) 的解碼邊信息。根據(jù)分布式視頻編碼的抗差錯性能，即使VO-I(t)出現(xiàn) 傳輸差錯，V0-E(t+4)仍能正確解碼。同理，Vl-E(t+4)和V2-E(t+4) 也能正確解碼，從而避免了 VI和V2視點t+l到t+3時刻所有非關鍵 幀受到傳輸差錯的影響
圖3是本發(fā)明提出的基于視差/運動聯(lián)合估計的多視點容錯編碼 框架中差錯控制幀的編碼示意圖。差錯控制幀采用基于分布式視頻編 碼理論的幀內編碼方式編碼，包括兩個步驟首先，由差錯控制幀原 始圖像和參考圖像進行運動/視差補償?shù)玫降膸g預測圖像，將此幀 間預測圖像做為差錯控制幀的邊信息；然后，結合邊信息和傳輸信道 參數(shù)對差錯控制幀原始圖像采用分布式視頻編碼理論編碼，得到編碼 后的差錯控制幀視頻流。
圖4是本發(fā)明提出的基于視差/運動聯(lián)合估計的多視點容錯編碼 框架中差錯控制幀的解碼示意圖，包括兩個步驟首先，由差錯控制 幀視頻流中的運動/視差向量和參考圖像進行運動/視差補償?shù)玫降膸?間預測圖像，將此幀間預測圖像做為差錯控制幀的邊信息；然后，結 合邊信息對差錯控制幀視頻流采用分布式視頻編碼理論解碼，得到解 碼后的差錯控制幀圖像。根據(jù)分布式視頻編碼的傳輸魯棒性特征，即 使參考圖像存在傳輸差錯，差錯控制幀仍能被正確解碼。實施例
采用圖2所示基于視差/運動聯(lián)合估計的多視點容錯編碼框架， 編碼框架可以適用與多個視點，現(xiàn)以3個視點為例，記為V0-V2。 3 個視點分為一個基本視點(VO)， 2個增強視點(V1、 V2)。本實施例假 定，GOP大小為4，每個關鍵幀均使用差錯控制幀方式編碼、每隔8 幀固定使用一個I幀。 假定在t時刻為第l幀
1) 基本視點第1幀圖像使用幀內編碼方式編碼，記為V0-I(t);
2) 增強視點VI第1幀采用視點間預測編碼，即以V0-I(t)的重建圖 像為參考，進行基于視差估計的視點間預測編碼，記為V1-P(t);
3) 增強視點V2第1幀編碼方式與Vl-P(t)編碼方式類似，但它使用 Vl-P(t)的重建圖像為參考，進行視點間預測編碼，記為V2-P(t)。 t+4時刻
1) 基本視點待編碼幀是關鍵幀，使用基于分布式視頻編碼的差錯控 制幀編碼方式編碼，記為V0-E(t+4)。其解碼邊信息是以V0-I(t) 的重建圖像為參考進行運動補償獲取的幀間預測圖像；
2) 增強視點VI待編碼幀是關鍵幀，使用基于分布式視頻編碼的差 錯控制幀編碼方式編碼，記為Vl-E(t+4)。其解碼邊信息是以 V0-E(t+4)的重建圖像為參考進行視差補償獲取的視點間預測圖 像；
3) 增強視點V2待編碼幀編碼方式與Vl-E(t+4)類似，其解碼邊信息 是以Vl-E(t+4)的重建圖像為參考進行視差補償獲取的視點間預測圖像，記為V2-E(t十4)。 t+2時刻
1) 基本視點待編碼幀是非關鍵幀，使用層次B幀的編碼方式編碼， 即以V0-I(t)和V0-E(t+4)的重建圖像為參考幀，使用雙向幀間預測 技術編碼，記為V0-B(t+2);
2) 增強視點VI待編碼幀是非關鍵幀，使用層次B幀的編碼方式編 碼，即以Vl-P(t)和Vl-E(t+4)的重建圖像為參考幀，使用雙向幀 間預測技術編碼，記為Vl-B(t+2);
3) 增強視點V2待編碼幀編碼方式與Vl-B(t+2)類似，以V2-P(t)和 V2-E(t+4)的重建圖像為參考幀，使用雙向幀間預測技術編碼，記 為V2-B(t+2)。
t+l時刻
1) 基本視點待編碼幀是非關鍵幀，使用層次B幀的編碼方式編碼， 即以VO-I(t)和V0-B(t+2)的重建圖像為參考幀，使用雙向幀間預測 技術編碼，記為V0-B(t+1);
2) 增強視點VI待編碼幀是非關鍵幀，使用層次B幀的編碼方式編 碼，即以Vl-P(t)和Vl-B(t+2)的重建圖像為參考幀，使用雙向幀 間預測技術編碼，記為Vl-B(t+1);
3) 增強視點V2待編碼幀編碼方式與Vl-B(t+1)類似，以V2-P(t)和 V2-B(t+2)的重建圖像為參考幀，使用雙向幀間預測技術編碼，記 為V2-B(t+1)。
t+3時刻1) 基本視點待編碼幀是非關鍵幀，使用層次B幀的編碼方式編碼， 即以V0-B(t+2)和V0-E(t+4)的重建圖像為參考幀，使用雙向幀間 預測技術編碼，記為V0-B(t+3);
2) 增強視點VI待編碼幀是非關鍵幀，使用層次B幀的編碼方式編 碼，即以Vl-B(t+2)和Vl-E(t+4)的重建圖像為參考幀，使用雙向 幀間預測技術編碼，記為Vl-B(t+3);
3) 增強視點V2待編碼幀編碼方式與Vl-B(t+3)類似，以V2-B(t+2) 和V2-E(t+4)的重建圖像為參考幀，使用雙向幀間預測技術編碼， 記為V2-B(t+3)。
t+8時刻與t時刻編碼方式相同。 t+6時刻與t+2時刻編碼方式相同。 t+5時刻與t+l時刻編碼方式相同。 t+7時刻與t+3時刻編碼方式相同。
權利要求
1、基于視差/運動聯(lián)合估計的多視點容錯編碼框架，對一個以上視點信息進行視頻流傳輸編碼，根據(jù)視點的重要程度選擇其中一個視點編碼為基本視點，其余視點編碼為增強視點；各個視點以圖像組為單位進行編碼，每個圖像組的最后一幀為關鍵幀，其余幀為非關鍵幀；其特征在于，編碼框架中引入基于分布式視頻編碼的差錯控制幀，具體編碼方法如下具體編碼方法如下對于基本視點編碼基本視點編碼1)基本視點視頻序列第1幀圖像編碼為I幀；2)基本視點的關鍵幀可以編碼為I幀、P幀或者E幀；首先判斷當前關鍵幀是否編碼為I幀，若非I幀，則判斷當前關鍵幀是否編碼為E幀，若既不是I幀也不是E幀，則編碼為P幀；其中，I幀的確定依據(jù)為幀內編碼周期，E幀的確定有多種方法，可以每隔固定間隔插入差錯控制幀，也可以根據(jù)率失真優(yōu)化模型動態(tài)選擇差錯控制幀；3)基本視點的關鍵幀若為E幀，則采用基于分布式視頻編碼理論的幀內編碼方式，其邊信息是以前一關鍵幀重建圖像為參考進行運動補償獲取的幀間預測圖像；4)基本視點的關鍵幀若為P幀，則以前一個關鍵參考幀的重建圖像為參考，進行基于運動估計的幀間預測編碼；5)基本視點視頻序列中的非關鍵幀圖像按照標準層次B幀編碼方法編碼；對于增強視點編碼1)增強視點視頻序列第一幀圖像編碼為P幀，使用基本視點同時刻重建圖像為參考，進行基于視差估計的視點間預測編碼；2)增強視點關鍵幀的編碼方式根據(jù)同時刻基本視點關鍵幀的編碼方式來確定，若基本視點關鍵幀編碼為I幀或者P幀，則增強視點關鍵幀編碼為P幀；如果基本視點關鍵幀編碼為E幀，則增強視點關鍵幀也編碼為E幀；3)增強視點的關鍵幀若為E幀，則采用基于分布式視頻編碼理論的幀內編碼方式編碼；其邊信息是以基本視點同時刻重建圖像為參考進行視差補償獲取的視點間預測圖像；4)增強視點的非關鍵幀圖像按照標準層次B幀編碼方式編碼。
2、根據(jù)權利要求1所述之基于視差/運動聯(lián)合估計的多視點容錯編碼 框架，其特征在于，待編碼幀若為E幀，采用基于分布式視頻編碼的 幀內編碼方式,即采用以下兩步，1) 基本視點差錯控制幀，由差錯控制幀原始圖像和參考圖像進行 運動補償?shù)玫綆g預測圖像，將此幀間預測圖像做為差錯控制 幀的邊信息；增強視點差錯控制幀，由差錯控制幀原始圖像和 參考圖像進行視差補償?shù)玫綆g預測圖像，將此幀間預測圖像 做為差錯控制幀的邊信息；2) 結合邊信息和傳輸信道參數(shù)對差錯控制幀原始圖像采用分布 式視頻編碼理論編碼，得到編碼后的差錯控制幀視頻流。
3、根據(jù)權利要求1所述之基于視差/運動聯(lián)合估計的多視點容錯編碼 框架，其特征在于，所述分布式視頻編碼方式在具體實施時有多種方 法，包括采用基于SW理論的無損編碼和采用基于WZ理論的有損編 碼。
全文摘要
本發(fā)明公開了一種基于視差/運動聯(lián)合估計的多視點容錯編碼框架，對一個以上視點信息進行視頻流傳輸編碼，各個視點以圖像組為單位進行編碼，每個圖像組的最后一幀為關鍵幀，其余幀為非關鍵幀。編碼框架中引入基于分布式視頻編碼的差錯控制幀。本發(fā)明方法比標準的幀內編碼具有更好的編碼效率，抗差錯性能強，即使邊信息出現(xiàn)傳輸差錯，仍然能夠正確解碼，從而增強了多視點視頻流的傳輸魯棒性。
文檔編號H04N7/64GK101568038SQ200910059508
公開日2009年10月28日 申請日期2009年6月4日 優(yōu)先權日2009年6月4日
發(fā)明者旭 夏, 蕾 張, 強 彭, 策 朱 申請人:西南交通大學