專利名稱：一種立體視頻整幀丟失錯誤隱藏方法
技術領域：
本發(fā)明涉及一種視頻錯誤隱藏方法，尤其是涉及一種立體視頻整幀丟失錯誤隱藏方法。
背景技術：
隨著多媒體與網(wǎng)絡技術的快速發(fā)展，視頻技術正向立體化、數(shù)字化、網(wǎng)絡化、高清晰度方向發(fā)展。與傳統(tǒng)媒體相比，立體視頻的突出優(yōu)勢在于它能夠為大眾創(chuàng)造更加直觀真實的場景感受，提供更多樣化全方位的媒體交互功能。因而，人們對立體視頻系統(tǒng)開發(fā)與應用的需求也越來越迫切，如在數(shù)字立體電視、遠程教育、遠程工業(yè)控制、三維視頻會議系統(tǒng)、 虛擬現(xiàn)實系統(tǒng)、遠程醫(yī)療、遙控機器人、自動導航、消費電子等諸多領域。立體視頻壓縮通常是利用視差估計與補償、運動估計與補償、離散余弦變換、塊量化以及變長編碼來最大限度地降低立體視頻信號在空間、時間、視點間 的冗余，達到高效壓縮。另一方面，高效壓縮編碼可能會降低視頻傳輸中的容錯能力。由于網(wǎng)絡阻塞和信道擾動，立體視頻碼流的傳輸不可避免地出現(xiàn)數(shù)據(jù)包丟失或部分比特出錯，從而導致客戶端解碼出錯并直接影響立體圖像質量。這種情況在低碼率視頻流傳輸尤為明顯?，F(xiàn)有的立體視頻錯誤隱藏算法主要集中在部分宏塊丟失的情況，當解碼幀中宏塊部分丟失時，除時域相關性和視點間相關性可以用于錯誤隱藏外，還可以利用同一圖像幀中丟失宏塊周邊正常解碼重建宏塊的信息對丟失宏塊進行預測，并通過宏塊邊界匹配尋找與周圍宏塊紋理邊緣匹配最佳的預測宏塊，以達到較好的錯誤隱藏效果。然而，當發(fā)生圖像幀整幀丟失時，則不具備這樣的條件，即整幀丟失時可用于錯誤恢復的信息少于部分宏塊丟失時可用的信息，因而面向整幀丟失的錯誤隱藏算法在一定程度上有別于部分宏塊丟失的錯誤隱藏算法。就立體視頻信號而言，其不同區(qū)域的時域相關性和視點間相關性的強弱是不同的。通常，運動區(qū)域特別是運動劇烈的區(qū)域其視點間相關性強于時域相關性，而靜止區(qū)域的時域相關性則強于視點間相關性。而現(xiàn)有的立體視頻整幀丟失錯誤隱藏方法并不能很好的考慮不同區(qū)域的時域相關性和視點間相關性的強弱，從而導致預測不準，影響受損塊的恢復質量。因此，研究立體視頻整幀丟失的錯誤隱藏技術十分必要。

發(fā)明內容
本發(fā)明所要解決的技術問題是提供一種能夠有效提高立體視頻中的丟失幀的主觀質量和客觀質量的立體視頻整幀丟失錯誤隱藏方法。本發(fā)明解決上述技術問題所采用的技術方案為一種立體視頻整幀丟失錯誤隱藏方法，其特征在于包括以下步驟①假設立體視頻中t時刻的右視點圖像幀為丟失幀；②利用正確解碼的t_l時刻的左視點圖像幀和t時刻的左視點圖像巾貞，估計立體視頻中t時刻的左視點圖像幀中的靜止區(qū)域與運動區(qū)域；利用正確解碼的t-2時刻的右視點圖像幀和t-Ι時刻的右視點圖像幀，估計立體視頻中t-Ι時刻的右視點圖像幀中的靜止區(qū)域與運動區(qū)域；具體過程為②-I、將t時刻的左視點圖像幀分割成多個互不重疊的尺寸大小為M1XN1的圖像 ±夾，并將分割得到的尺寸大小為M1XN1的圖像塊定義為第一圖像塊，I < M1 < W，I < N1 < H， W表示立體視頻中的圖像幀的寬度，H表示立體視頻中的圖像幀的高度；②_2、將t時刻的左視點圖像幀中當前正在處理的以坐標位置為(X1, Y1)的像素點為中心的第一圖像塊定義為當前第一圖像塊，其中，O ^ X1 ^ ff-M/2,0 ^ Y1 ^ H-K/2 ；②-3、在t_l時刻的左視點圖像幀中以與當前第一圖像塊中坐標位置為(X1, Yi)的像素點對應坐標位置的像素點為搜索中心，且以[-Δ X1, Δ X1]為水平方向搜索范圍及[-Ay1, Ay1]為垂直方向搜索范圍進行搜索，得到每次搜索對應的像素點的平均絕對誤差，將在水平方向搜索范圍[_ΛΧι，AxJ和垂直方向搜索范圍[-Ay1, Ay1]內偏移坐標位置為Q1, J1)的像素點的平均絕對誤差記
權利要求
1.一種立體視頻整幀丟失錯誤隱藏方法，其特征在于包括以下步驟①假設立體視頻中t時刻的右視點圖像幀為丟失幀；②利用正確解碼的t-i時刻的左視點圖像幀和t時刻的左視點圖像幀，估計立體視頻中t時刻的左視點圖像幀中的靜止區(qū)域與運動區(qū)域；利用正確解碼的t-2時刻的右視點圖像幀和t-Ι時刻的右視點圖像幀，估計立體視頻中t-Ι時刻的右視點圖像幀中的靜止區(qū)域與運動區(qū)域；具體過程為②-I、將t時刻的左視點圖像幀分割成多個互不重疊的尺寸大小為M1XN1的圖像塊， 并將分割得到的尺寸大小為M1XN1的圖像塊定義為第一圖像塊，I < M1 < W, I < N1 < H, W 表示立體視頻中的圖像幀的寬度，H表示立體視頻中的圖像幀的高度；②-2、將t時刻的左視點圖像幀中當前正在處理的以坐標位置為(Xl，Y1)的像素點為中心的第一圖像塊定義為當前第一圖像塊，其中，O ^ X1 ^ ff-M/2,0 ^ Y1 ^ H-K/2 ；②-3、在t-Ι時刻的左視點圖像幀中以與當前第一圖像塊中坐標位置為(X1, Y1)的像素點對應坐標位置的像素點為搜索中心，且以[_ Λ X1, Δ X1]為水平方向搜索范圍及[-Ay1, AyJ為垂直方向搜索范圍進行搜索，得到每次搜索對應的像素點的平均絕對誤差，將在水平方向搜索范圍[_ Λ X1, Λ X1]和垂直方向搜索范圍[-Ay1, AyJ內偏移坐標位置為(i1; J1)的像素點的平均絕對誤差記為
2.根據(jù)權利要求I所述的一種立體視頻整幀丟失錯誤隱藏方法，其特征在于所述的步驟②中 M1 = N1 = 8，Δ X1 = 16，Δ Y1 = O, Δ X2 = 16，Ay2 = O。
3.根據(jù)權利要求I或2所述的一種立體視頻整幀丟失錯誤隱藏方法，其特征在于所述的步驟③中λ I = 5, Bp = 8。
4.根據(jù)權利要求3所述的一種立體視頻整幀丟失錯誤隱藏方法，其特征在于所述的步驟④中M = N = 32。
5.根據(jù)權利要求4所述的一種立體視頻整幀丟失錯誤隱藏方法，其特征在于所述的步驟⑤中Mp = 16。
6.根據(jù)權利要求5所述的一種立體視頻整幀丟失錯誤隱藏方法，其特征在于所述的步驟⑤-2中采用時域幀拷貝的方法恢復當前宏塊的亮度信息和色度信息的過程為直接將 t-i時刻的右視點圖像幀中與當前宏塊位置對應的宏塊的亮度信息和色度信息作為當前宏塊的亮度信息和色度信息；采用視差補償預測方法恢復當前宏塊的亮度信息和色度信息的過程為將t-i時刻的右視點圖像幀中與當前宏塊位置對應的宏塊的視差矢量作為當前宏塊的視差矢量，并按照視差矢量將t時刻的左視點圖像幀中與當前宏塊位置對應的宏塊的亮度信息和色度信息作為當前宏塊的亮度信息和色度信息，其中，視差補償預測的水平方向搜索范圍為[_Λχ3， Λ X3]，且垂直方向搜索范圍為[-Ay3, Ay3]；采用時域運動補償預測方法恢復當前宏塊的亮度信息和色度信息的過程為利用 t-i時刻的右視點圖像幀中與當前宏塊位置對應的宏塊的運動矢量作為當前宏塊的運動矢量來恢復當前宏塊的亮度信息和色度信息，其中，運動補償預測的水平方向搜索范圍為 [-Δχ4, Λ χ4]，且垂直方向搜索范圍為[-Ay4, AyJ。
7.根據(jù)權利要求6所述的一種立體視頻整幀丟失錯誤隱藏方法，其特征在于所述的 Δ X3 = 48, Δ y3 = 2, Δ x4 = 16, Ay4 = 16。
全文摘要
本發(fā)明公開了一種立體視頻整幀丟失錯誤隱藏方法，其從立體視頻序列的編碼特點及視頻序列時域、視點間視頻圖像信息區(qū)域特征的相似性考慮，假設右視點某一時刻幀丟失，利用左右視點圖像靜止區(qū)域與運動區(qū)域以及同一視點相鄰時刻圖像靜止區(qū)域與運動區(qū)域的相似性，通過左右視點已經(jīng)正確解碼的圖像幀估計丟失幀中的靜止區(qū)域與運動區(qū)域，然后利用視點間的全局視差將丟失幀中的運動區(qū)域劃分為遮擋邊界區(qū)域和非遮擋邊界區(qū)域，并對遮擋邊界區(qū)域和非遮擋邊界區(qū)域分別采用運動補償預測和視差補償預測恢復丟失的信息，而對于靜止區(qū)域則直接采用幀拷貝的方法恢復丟失的信息，本發(fā)明方法對于右視點整幀丟失的情況可以有效提高立體視頻圖像的主觀質量和客觀質量。
文檔編號H04N13/00GK102595145SQ20121006556
公開日2012年7月18日 申請日期2012年3月13日 優(yōu)先權日2012年3月13日
發(fā)明者孫越, 彭宗舉, 李福翠, 蔣剛毅, 邵楓, 郁梅 申請人:寧波大學