專利名稱：一種基于分布式編碼技術的多視點視頻傳輸差錯控制方法
技術領域：
本發(fā)明屬于視頻編碼和處理領域，具體涉及多視點視頻壓縮編碼過程中差錯控制算法的研究。
背景技術：
多視點視頻壓縮在3DTV、自由視點電視和視頻監(jiān)控等領域具有廣泛的應用。多視點視頻序列是多個攝像機從不同角度拍攝同一場景得到的一組視頻信號。相對單視點視頻序列而言，由于視點數量的増加，多視點視頻序列需要更大的存儲空間和更高效的傳輸效率。多視點視頻編碼(Multiview video coding,MVC)作為H. 264/AVC標準的擴展，采用分級B幀預測結構，分別利用運動估計和視差估計來消除時域和視點間的冗余性。為了減少編碼的復雜度,本發(fā)明采用Heinrich-Hertz-Institute(HHI)提出的一種簡化的MVC預測結構(稱為KS_IPP多視點編碼框架)，如圖I所示。該編碼框架與標準的多視點預測框架相比，在編碼性能上略有下降，但是復雜度大大降低。編碼結構中包含視點的個數為8，G0P的長度為8。在每個圖像組(Group of Picture,GOP)中，Vn表示不同的視點，Tn表示連續(xù)的時間點，關鍵幀為圖中有陰影的各幀。視點內時域方向采用分級的B幀的編碼結構，而視點間在關鍵幀則采用傳統(tǒng)的IPPP結構進行預測。該編碼結構相對于多視點聯級編碼(Simulcast Video Coding)而言,雖然取得較高的編碼效率,但是傳輸過程更容易受到差錯的擴散影響。在多視點視頻傳輸過程中，如果非關鍵幀發(fā)生丟包錯誤，錯誤將在視點內部沿著預測方向進行擴散；如果在關鍵幀發(fā)生錯誤，差錯將在時域和相鄰視點方向進行擴散，進而造成解碼圖像質量嚴重下降。顯然，關鍵幀出錯對解碼圖像的質量的影響將比非關鍵幀出錯帶來的影響大。近年來，分布式視頻編碼受到研究者的廣泛關注。分布式視頻編碼(Wyner-Ziv)WZ編碼采用獨立編碼、聯合解碼的策略，有效的將編碼端的計算復雜度轉移至解碼端，很好的滿足了編碼資源有限、解碼資源豐富的視頻應用環(huán)境的需求。由于WZ編碼對視頻幀進行獨立編碼，僅考慮WZ編碼幀與邊信息之間的相關性統(tǒng)計，只要在解碼端使用符合相關性的邊信息就可以正確解碼。因此信道出錯不會影響其它圖像幀的恢復，具有較強的抗差錯性。另外，WZ編碼的編碼器以信道編碼技術為基礎。這樣，WZ編碼不僅能夠通過校驗數據糾正源信息與邊信息之間的誤差，還可以糾正信道傳輸導致的校驗位出錯。因此，WZ視頻編碼具有較好的傳輸魯棒性，將其應用于差錯信道上的多視點視頻數據傳輸已經成為可能。但是在単獨的分布式視頻編碼中，由于難于準確的估計各獨立編碼信源間的統(tǒng)計相關性，WZ編碼的性能仍低于傳統(tǒng)的預測視頻編碼技木。

發(fā)明內容
鑒于現有技術的以上不足，本發(fā)明的目的在于提出一種結合分布式編碼來保護多視點視頻關鍵幀的傳輸差錯控制方法，使之能有效地減小傳輸差錯在視點間和視點內的擴散，保護多視點視頻解碼重建圖像的質量。
本發(fā)明的目的通過如下手段來實現。—種基于分布式編碼技術的多視點視頻傳輸差錯控制方法，用于減小傳輸差錯在視點間和視點內的擴散，保護多視點視頻解碼重建圖像的質量，其特征在于，先進行多視點視頻各視點關鍵幀的傳輸失真度建模，然后再根據關鍵幀的失真度來估計所需要糾正傳輸錯誤的WZ碼率，最后通過率失真代價進行自適應選擇WZ幀的差錯保護；在編碼端，一方面對各視點進行基于運動和視差補償的預測編碼，生成的多視點碼流作為主碼流在信道上傳輸；另一方面關鍵幀根據估計的傳輸失真度和WZ碼率計算率失真代價從而自適應選擇是否需要WZ幀的保護，對需要WZ保護的視點關鍵幀的重建幀再進行WZ幀的編碼，生成的WZ比特流作為輔助碼流進行傳輸；在解碼端，把受到WZ幀保護的關鍵幀的差錯掩蓋幀作為WZ解碼的邊信息，通過對邊信息的糾錯完成WZ的解碼，包括以下的手段A.編碼端A. I關鍵幀的傳輸失真度估計
多視點視頻關鍵幀傳輸失真度模型dc{v,nJ) = E{(X[n-Xirn)2)=(1-P)dcref ，rref 7 f) + p{decr (v,n, /) + dcec(vec ,rcc,k))表示某個視點的關鍵幀的某個像素在編碼端和解碼端重建值的均方差的期望，其中尤.,,表示視點V中第n幀第i個像素的原始值，用分別表示該像素在多視點編碼端和解碼端的重建值；傳輸失真主要包括三個方面，分別為dec^(V，n，i)表示編碼關鍵幀與掩蓋幀像素在編碼端重建值之間的失真，dc_ref(vref, rref, j)表示不出錯情況下由參考幀像素帶來的信道擴散失真，dc ec(vec, rec, k)表示出錯情況下由掩蓋幀像素帶來的信道擴散失真，其中當前編碼的關鍵幀是由前一個視點的關鍵幀通過視差預測補償得到，即參考幀和掩蓋幀就是前一個視點的關鍵幀；某個關鍵幀的總的傳輸失真度便是某一幀所有像素的失真度之和；其中P表示信道的丟包率；A.2WZ編碼碼率估計根據關鍵幀估計的失真度和估計的已解碼比特平面，利用源信息和邊信息的相關噪聲模型在WZ編碼端進行碼率估計，預測關鍵幀中某個像素的比特平面尤丨1正確解碼所需要的最小碼率為R(/C ) =) = -P'::1" X iog(p； )-(1-Pi,) X Iogd - /；；,)其中表示在二進制對稱信道下源信息比特平面;^,已知的情況下邊信
息的比特平面尤i的條件熵，用P[ L表示源信息比特平面和邊信息比特平面尤’二之間的
交叉轉移概率，而源信息和邊信息的差值在像素域是符合拉普拉斯分布的；A. 3自適應選擇WZ幀差錯保護通過比較關鍵幀加入WZ幀保護和沒有加入WZ幀保護所需要的率失真代價，自適應的選擇是否需要WZ幀差錯保護。如果關鍵幀加入了 WZ幀的保護，此時的率失真代價為人 = A + Dl +D;r +D= + Myjl其中Al表示當前視點的關鍵幀信源失真，D表示關鍵幀的已有的傳輸失真；代表示當前視點關鍵幀擴散到下一個視點的關鍵幀的潛在的擴散失真；同樣，Al表示當前視點關鍵幀在時域方向擴散到視點內的潛在擴散失真；Rv, n表示為多視點編碼視點關鍵幀需要的碼率；如果關鍵幀未加入WZ幀的保護，此時的率失真代價為a+MOKJ
其中^<〖為估計的輔助的WZ保護的碼率；估計得到Jv,n和之后,如果& > JZ，那么某個視點關鍵幀將采用WZ幀進行差錯保護，否則將不采用WZ幀額外進行差錯保護；B.解碼端多視點視頻碼流首先進行視點內和視點間的差錯掩蓋解碼，然后把某個受到WZ幀保護的關鍵幀的差錯掩蓋幀作為WZ解碼器的邊信息，經過對邊信息的糾錯完成WZ解碼，這時邊信息的解碼圖像質量得到恢復；在WZ的解碼端，估計過少校驗位將通過反饋信道再次向編碼端請求，最終完成WZ的完全解碼。采用本發(fā)明的方法，在KS_IPP多視點編碼框架下，多視點視頻的關鍵幀將自適應的采取WZ幀編碼進行差錯保護。在編碼端，采用WZ幀保護的視點關鍵幀除了進行多視點編碼之外，還采用WZ幀進行編碼產生輔助碼流，在解碼端對應的經過差錯掩蓋的多視點解碼幀作為WZ幀解碼的邊信息。WZ解碼過程中通過對邊信息的糾錯可以提高受到WZ保護的多視點關鍵幀的重建圖像質量，這樣傳輸差錯擴散在此被抑制了，進而提高了整個視頻序列的解碼質量。由于在WZ解碼端，WZ保護下的視點關鍵幀的差錯掩蓋幀作為分布式解碼的邊信息，而WZ的碼率主要是取決于源信息和邊信息之間的統(tǒng)計相關性。因此在這里，WZ碼率大小就是糾正關鍵幀錯誤所需要的比特數，也就是取決于關鍵幀的傳輸失真。所以本發(fā)明首先建立了基于視差補償預測的關鍵幀傳輸失真度模型。傳輸失真不僅包含關鍵幀本身出錯帶來的失真，還包含相鄰視點關鍵幀帶來的擴散失真。在多視點編碼端傳輸失真度估計的基礎上，根據已經解碼的比特平面和相關噪聲模型進行碼率估計，保證WZ幀正確解碼所需要傳輸的最小碼率。估計的WZ碼率可以衡量需要傳送附加碼流的多少。根據估計的失真度和WZ碼率，可以計算額外加入WZ保護之后的率失真代價，把這個率失真代價與在差錯信道下視點關鍵幀的率失真代價進行比較，然后視點關鍵幀自適應的選擇是否需要額外加入WZ幀進行差錯保護。采用本發(fā)明方法，通過增加少量的輔助碼流能夠有效地減小傳輸差錯在視點間的擴散，增強多視點視頻流的傳輸魯棒性，使其更好的適應于有損網絡環(huán)境下的視頻傳輸。


如下圖I多視點視頻編碼的KS_IPP預測結構示意2本發(fā)明方法的基于分布式的多視點視頻編碼的差錯控制示意3加入WZ幀保護的多視點視頻編碼的容錯框架示意圖。
具體實施例方式本發(fā)明的具體實施過程詳述如下。圖I是本發(fā)明采用的一種簡化的KS_IPP預測結構。這種MVC編碼結構在編碼效率和復雜度之間取的了平衡，具有很強的實用性。除了各視點的關鍵幀采用了視點間預測夕卜，其余幀均在視點內時域方向采用分級B幀的預測結構。圖2是基于分布式的多視點視頻編碼差錯控制流程圖。為了防止編解碼端重建緩存的漂移，輸入WZ編碼器的源信息為某個視點關鍵幀的重建幀，生成的WZ比特流作為輔助碼流進行傳輸。在本發(fā)明中，首先需要在像素域估計多視點碼流傳輸所帶來的傳輸失真，傳輸失真是針對某個特定的丟包率和視點間的掩蓋策略進行估計的；然后在WZ編碼中利用 已解碼的高位比特平面和源信息與邊信息的差值概率模型來估計低位比特平面的碼率。在估計關鍵幀的失真度和WZ碼率之后，8個視點的關鍵幀根據率失真代價進行自適應選擇是否需要額外加入WZ幀進行差錯保護。在解碼端，把經過受到WZ保護的視點關鍵幀的掩蓋幀作為WZ幀解碼的邊信息，通過對邊信息進行糾錯，使得關鍵幀圖像質量得到了較好的恢復，從而阻止了差錯在視點間和視點內的擴散，較好的提高了多視點碼流的抗差錯性能。圖3是加入WZ幀的多視點視頻編碼的容錯框架，在KS_IPP編碼框架下，各個視點的關鍵幀根據率失真代價自適應的選擇是否需要額外加入WZ幀進行差錯保護。圖中表示視點3和視點7的關鍵幀根據率失真代價選擇了 WZ幀編碼產生輔助碼流進行傳輸差錯的保護。再對本發(fā)明的實施方法作下詳述A.編碼端根據圖2所示的基于分布式的多視點編碼差錯控制流程圖，在編碼端，一方面對各視點進行基于運動和視差補償的預測編碼，生成的多視點碼流作為主碼流在信道上傳輸；另一方面關鍵幀根據估計的傳輸失真度和WZ碼率計算率失真代價從而自適應選擇是否需要WZ幀的保護，對需要WZ保護的視點關鍵幀的重建幀再進行WZ幀的編碼，生成的WZ比特流作為輔助碼流進行傳輸。本發(fā)明首先進行多視點視頻各視點關鍵幀的失真度建模，然后再根據關鍵幀的失真度來估計所需要糾正傳輸錯誤的WZ碼率，最后通過率失真代價進行自適應選擇WZ幀的差錯保護。A. I關鍵幀的傳輸失真度估計I表示視點V中第n幀第i個像素的原始值，用尤和 分別表示該像素在多視
點編碼端和解碼端的重建值。假設像素i的參考像素為視點Vref中第rref幀的像素j，預測
殘差在編碼端的重建值為I。如果像素i在傳輸過程中發(fā)生丟失，在解
碼端通過某種錯誤掩蓋算法用視點中第匕。幀的第k個像素進行掩蓋。如果出錯的是經過WZ幀保護的關鍵幀，那么還需把經過差錯掩蓋之后多視點解碼像素作為邊信息進行WZ幀的解碼。假設視頻傳輸過程中丟包率為P，則dc{v,nJ) = E{{rvn-rvn)2} (I)=(1-P)dc ref (vref, rref, j) + p(dec , (v, ’/) + dc ec(vec，rec,k))其中cU Jv，n，i)表示表示編碼像素的重建值和掩蓋像素重建值的失真，這個失真可以在編碼端計算得到。d。(vMf，rMf，j)表示參考像素為視點Vm中第rMf幀的像素j帶來的擴散失真，dc ec(vec, rec, k)表示掩蓋像素為視點中第幀的像素k帶來的擴散失真。從公式(I)可以看出，即使當前編碼像素不出錯，也可能會由于參考圖像出錯而帶來差錯。已經編碼像素的傳輸失真保存在緩沖隊列中，供后續(xù)的像素失真度計算使用。其它各幀像素的擴散失真通過已經編碼的參考幀和掩蓋幀的像素擴散失真遞推求得。由于在關鍵幀采用視差補償預測去除視點之間的相關性，并且當前編碼的視點的關鍵巾貞參考如一個視點的關鍵巾貞，所以傳輸失真可以被估計為dc(v, n, i) = (1-p) dc ref (v-1, n, j)+p(dec r(v, n, i)+dc ec(vec, rec, k)) (2)雖然當前希望當前編碼關鍵幀的像素i盡可能多地采用視差補償預測，但仍然會存在預測效果不佳而采用幀內編碼的情況。如果當前編碼關鍵幀的像素采用幀內編碼，因為幀內編碼像素空域方向的擴散失真很小，基本可以忽略不計，又由于沒有參考像素的擴散失真，則傳輸失真可以被估計為dc (v, n, i) = p (dec r (v, n, i)+dc ec (vec, rec, k)) (3)如果當前編碼的關鍵幀加入了 WZ幀進行保護，那么WZ幀的碼率將用來糾正當前視點V第n幀像素i的傳輸錯誤，此時的WZ碼率大小將會取決于像素i的傳輸失真。所以下面即對加入WZ幀進行保護的輔助碼率進行估計。A. 2WZ編碼碼率估計在WZ編解碼系統(tǒng)中，在WZ編碼端源信息尤; 是已知的，而在WZ解碼端經過錯誤掩蓋的重建值作為分布式解碼的邊信息也是已知的。如果已經解碼源信息的比特為{I=—1，……,t +1丨,此時對應的邊信息為這=—1，……，N表示比特平面的總數，其中t G
。各個比特平面碼率估計的關鍵是求解源信息±=和邊信息足&之間的交叉轉移概率。分別設I和u為當前待解碼系數i量化之后的分段區(qū)間的上限和下限，則下面對尤)'>是否為0還是I的條件概率進行估計，從而實現WZ正確解碼所需要最小的碼率估計。用表示和叉二之間的交叉轉移概率，則可以得到
權利要求
1.一種基于分布式編碼技術的多視點視頻傳輸差錯控制方法，用于減小傳輸差錯在視點間和視點內的擴散，保護多視點視頻解碼重建圖像的質量，其特征在于，先進行多視點視頻各視點關鍵幀的傳輸失真度建模，然后再根據關鍵幀的失真度來估計所需要糾正傳輸錯誤的WZ碼率，最后通過率失真代價進行自適應選擇WZ幀的差錯保護；在編碼端，一方面對各視點進行基于運動和視差補償的預測編碼，生成的多視點碼流作為主碼流在信道上傳輸；另一方面關鍵幀根據估計的傳輸失真度和WZ碼率計算率失真代價從而自適應選擇是否需要WZ幀的保護，對需要WZ保護的視點關鍵幀的重建幀再進行WZ幀的編碼，生成的WZ比特流作為輔助碼流進行傳輸；在解碼端，把受到WZ幀保護的關鍵幀的差錯掩蓋幀作為WZ解碼的邊信息，通過對邊信息的糾錯完成WZ解碼，包括以下的手段 A.編碼端 A. I關鍵幀的傳輸失真度估計 多視點視頻關鍵幀傳輸失真度模型 d^nJ) = E{(X%n-X,n)2} = (1-P)dc_ref (v,,f，rrqf J) + p(decr (ν,η, ) + d，rec，り) 表示某個視點關鍵幀的某個像素在編碼端和解碼端重建值的均方差的期望，其中A表示視點V中第η幀第i個像素的原始值，用無' 和尤% 分別表示該像素在多視點編碼端和解碼端的重建值；傳輸失真主要包括三個方面，分別為cU^(v，n, i)表示編碼關鍵幀與掩蓋幀像素在編碼端重建值之間的失真，dc_ref(vref, rref, j)表示不出錯情況下由參考幀像素帶來的信道擴散失真，表示出錯情況下由掩蓋幀像素帶來的信道擴散失真，其中當前編碼的關鍵幀是由前一個視點的關鍵幀通過視差預測補償得到，即參考幀和掩蓋幀就是前ー個視點的關鍵幀；某個關鍵幀的總的傳輸失真度便是某ー幀所有像素的失真度之和；其中P表示信道的丟包率； A. 2WZ編碼碼率估計 根據關鍵幀估計的失真度和估計的已解碼比特平面，利用源信息和邊信息的相關噪聲模型在WZ編碼端進行碼率估計，預測關鍵幀中某個像素的比特平面正確解碼所需要的最小碼率為RiiC} ニ"(ね I 之:) = -p^> log(め)-(I - O log(l - it,) 其中孖表示在ニ進制對稱信道下源信息比特平面已知的情況下邊信息的比特平面的條件熵，用表示源信息比特平面和邊信息比特平面之間的交叉轉移概率，而源信息和邊信息的差值在像素域是符合拉普拉斯分布的； A.3自適應選擇WZ幀差錯保護 通過比較關鍵幀加入WZ幀保護和沒有加入WZ幀保護所需要的率失真代價，自適應的選擇是否需要WZ幀差錯保護； 如果關鍵幀加入了 WZ幀的保護，此時的率失真代價為 ‘ ニ K, + D；n +AKi + + 其中Al1表示當前視點的關鍵幀信源失真D表示關鍵幀的已有的傳輸失真ぬ:f表示當前視點關鍵幀擴散到下一個視點的關鍵幀的潛在的擴散失真；同樣，代^: 表示當前視點關鍵幀在時域方向擴散到視點內的潛在擴散失真；Rv,n表示為多視點編碼視點關鍵幀需要的碼率； 如果關鍵幀未加入WZ幀的保護，此時的率失真代價為 / =/):X+KJ 其中足=為估計的輔助的WZ保護的碼率； 估計得到Jv,η和·C之后,如果ん> JZ，那么某個視點關鍵幀將采用wz幀進行差錯保護，否則將不采用WZ幀額外進行差錯保護； B.解碼端 多視點視頻碼流首先進行視點內和視點間的差錯掩蓋解碼，然后把某個受到WZ幀保護的關鍵幀的差錯掩蓋幀作為WZ解碼器的邊信息，經過對邊信息的糾錯完成WZ解碼，這時邊信息的解碼圖像質量得到恢復； 在WZ的解碼端，估計過少校驗位將通過反饋信道再次向編碼端請求，最終完成WZ的完全解碼。
全文摘要
本發(fā)明公開了一種基于分布式編碼技術的多視點視頻傳輸差錯控制方法，用于減小傳輸差錯在視點間和視點內的擴散，保護多視點視頻解碼重建圖像的質量。本發(fā)明先進行多視點視頻各視點關鍵幀的傳輸失真度建模，然后再根據關鍵幀的失真度來估計所需要糾正傳輸錯誤的WZ碼率，最后通過率失真代價進行自適應選擇WZ幀的差錯保護。采用本發(fā)明方法，通過增加少量的輔助碼流能夠有效地減小傳輸差錯在視點間的擴散，增強多視點視頻流的傳輸魯棒性，使其更好的適應于有損網絡環(huán)境下的視頻傳輸。
文檔編號H04N13/00GK102740081SQ20121020701
公開日2012年10月17日 申請日期2012年6月21日 優(yōu)先權日2012年6月21日
發(fā)明者劉祥凱, 彭強, 王瓊華, 高攀 申請人:西南交通大學