一種基于無速率調(diào)制的立體視頻傳輸方法
【專利摘要】本發(fā)明屬于視頻傳輸【技術(shù)領(lǐng)域】，涉及一種立體視頻的傳輸方法，具體涉及一種基于無速率調(diào)制的立體視頻傳輸方法。本發(fā)明基于無速率調(diào)制方式固有的不等差錯保護機制，通過無速率的產(chǎn)生調(diào)制符號以傳遞信息并完成前向糾錯。該方法能夠保證經(jīng)過H.264MVC壓縮后的立體視頻數(shù)據(jù)的可靠傳輸。本方法適用于所有無線與有線的通信環(huán)境，壓縮后的立體視頻數(shù)據(jù)流能以單播、多播以及廣播形式進行可靠傳輸。
【專利說明】一種基于無速率調(diào)制的立體視頻傳輸方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻傳輸【技術(shù)領(lǐng)域】，涉及一種立體視頻的傳輸方法，具體涉及一種基 于無速率調(diào)制的立體視頻傳輸方法。

【背景技術(shù)】
[0002] 隨著人們對數(shù)字視頻要求的日益提高，普通的視頻圖像已無法滿足人們的需求， 立體視頻技術(shù)以其增加景物深度信息、增強視覺現(xiàn)實感及逼真感的特點，越來越受到人們 的歡迎。立體視頻技術(shù)也成為未來多媒體技術(shù)的重要發(fā)展方向之一。此外，立體視頻技術(shù) 在工業(yè)控制、遠程醫(yī)療會診及手術(shù)、遠程教育、視頻會議、數(shù)字電視等各領(lǐng)域都有著極其廣 闊的應(yīng)用前景。與單通道視頻相比，立體視頻一般有兩個視頻通道，數(shù)據(jù)量要遠遠大于單通 道視頻，所以對立體視頻的高效壓縮尤為重要。
[0003] 現(xiàn)在廣泛應(yīng)用的H. 264數(shù)字視頻壓縮格式是國際電信聯(lián)盟ITU-T的視頻編碼專家 組（VCEG)與國際標準化組織（ISO)活動圖像編碼專家組（MPEG)的聯(lián)合視頻組（JVT)聯(lián)合 開發(fā)的一個數(shù)字視頻編碼標準，其主要目標是，與其它現(xiàn)有視頻編碼標準相比，在相同帶寬 下提供更加優(yōu)秀的圖像質(zhì)量?；赼 264的多視點視頻編碼MVC則利用H. 264高級編碼的 壓縮算法，針對多視點視頻的特點更改部分H. 264編碼器的框架，以達到壓縮多視點視頻 的目的。
[0004] 立體視頻編解碼技術(shù)的逐漸成熟與網(wǎng)絡(luò)技術(shù)的高速發(fā)展，正使得立體視頻的傳輸 成為可能。由于對視頻的壓縮過程中采用了預(yù)測編碼和可變長編碼VLC等技術(shù)，壓縮后的 視頻流對傳輸?shù)腻e誤特別敏感。信道傳輸過程中引入的隨機錯誤、網(wǎng)絡(luò)擁塞引起的數(shù)據(jù)丟 失以及多徑效應(yīng)導(dǎo)致的突發(fā)錯誤等都有可能使傳輸?shù)囊曨l流產(chǎn)生差錯和損失，最終導(dǎo)致視 頻質(zhì)量的急劇下降。
[0005] 目前，已有的立體視頻傳輸方法中基于擴展窗噴泉碼的立體視頻傳輸方法被認為 是可用方法，其基本原理是利用噴泉碼的前向糾錯能力以及擴展窗噴泉碼的不等差錯保護 機制，融合聯(lián)合信源信道編碼技術(shù)，根據(jù)數(shù)據(jù)的重要性進行不等差錯的保護，使重要數(shù)據(jù)得 到更好的保護，從而提高傳輸?shù)目煽啃浴Ｆ淙秉c是擴展窗噴泉碼方案中兩個窗的最優(yōu)度分 布函數(shù)以及最優(yōu)窗口選擇概率不易得到。
[0006] 無速率調(diào)制（RCM)是采用相對固定的編碼速率，根據(jù)信道條件自適應(yīng)的連續(xù)調(diào)整 星座距離，使經(jīng)過信道后調(diào)制符號的錯誤情況適應(yīng)信道編碼的糾錯能力。此外，無速率特性 (RCM)也能很方便的實現(xiàn)無需反饋的平滑的速率自適應(yīng)。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是提供一種基于無速率調(diào)制的立體視頻傳輸方法，該方法能夠自適 應(yīng)不同的信道狀態(tài)，并在保證立體視頻傳輸質(zhì)量的前提下降低傳輸時延的傳輸方法。
[0008] 本發(fā)明基于無速率調(diào)制方式固有的不等差錯保護機制，通過無速率的產(chǎn)生調(diào)制符 號以傳遞信息并完成前向糾錯。該系統(tǒng)能夠保證經(jīng)過a 264MVC壓縮后的立體視頻數(shù)據(jù)的 可靠傳輸。本系統(tǒng)適用于所有無線與有線的通信環(huán)境，壓縮后的立體視頻數(shù)據(jù)流能以單播、 多播以及廣播形式進行可靠傳輸。
[0009] 本發(fā)明的目的是通過下述技術(shù)方案實現(xiàn)的。
[0010] 本發(fā)明的一種基于無速率調(diào)制的立體視頻傳輸方法，其特征在于：其包括如下步 驟：
[0011] 步驟一、對原始立體視頻數(shù)據(jù)進行視頻壓縮，得到壓縮立體視頻數(shù)據(jù)。
[0012] 所述對原始立體視頻數(shù)據(jù)進行視頻壓縮的算法包括：H. 264MVC視頻壓縮算法、 MPEG-I壓縮算法、MPEG-2壓縮算法和MPEG-4壓縮算法。
[0013] 步驟二、發(fā)送端讀取步驟一得到的壓縮立體視頻數(shù)據(jù)。
[0014] 步驟三、在步驟二操作基礎(chǔ)上，發(fā)送端對壓縮立體視頻數(shù)據(jù)進行判斷，如果是頭信 息或運動信息或視差矢量預(yù)測信息，則將其判斷為BL(Base Layer，基本層）層數(shù)據(jù)；其它 數(shù)據(jù)判斷為EL (Enhanced Layer，增強層）層數(shù)據(jù)。
[0015] 步驟四、在步驟三操作基礎(chǔ)上，發(fā)送端對BL層和EL層的數(shù)據(jù)分別進行高碼率的 LDPC (Low Density Parity Code，低密度奇偶校驗碼）編碼，得到編碼后BL層數(shù)據(jù)和編碼 后EL層數(shù)據(jù)。
[0016] 步驟五、此步驟可與步驟一同步操作：確定編碼后BL層數(shù)據(jù)的權(quán)重集合（用符號 八表示），3 =丨"|，-?1，％，-《2，_-，^!1，_?" 1};以及編碼后￡1層數(shù)據(jù)的權(quán)重集合（用符號8 表示），S =的，-A A，_卜…。其中，Ii1和n2分別表示權(quán)重集合A和權(quán)重集合B的 元素對的個數(shù)；ai，a2,…，'4 A，…，均為1到1〇之間的整數(shù)。
[0017] 優(yōu)選的，步驟五中所述權(quán)重集合的選取方法為采用凸優(yōu)化算法在星座圖固定的情 況下尋找最優(yōu)的權(quán)重集合。
[0018] 步驟六、在步驟四和步驟五操作基礎(chǔ)上，發(fā)送端根據(jù)編碼后BL層數(shù)據(jù)和編碼后EL 層數(shù)據(jù)，以帶權(quán)重的比特到符號（bit-to-symbol)映射方式進行映射，得到調(diào)制符號。具體 操作步驟為：
[0019] 步驟6. 1 :從編碼后BL層數(shù)據(jù)中隨機選擇N1個比特（bit)，構(gòu)成BL層數(shù)據(jù)集合（用 符號C表示），C = {cpC2\ 從編碼后EL層數(shù)據(jù)中隨機選擇N2個比特，構(gòu)成EL層數(shù) 據(jù)集合（用付號D表不），乃―Wi，4，…，以況2 / ;;其中，N1 = 2 X Ii1，N2 = 2 X n2 ; C1，C2，…，cA'' 分別表示從編碼后BL層數(shù)據(jù)中隨機選擇的第i個比特的值，1彡i彡N1 名，…，C分別 表示從編碼后EL層數(shù)據(jù)中隨機選擇的第j個比特的值，1彡j彡N2。
[0020] 步驟6. 2 :將權(quán)重集合A中的N1個元素依次賦予步驟6. 1挑選出的N1個 比特的編碼后BL層數(shù)據(jù)作為權(quán)重，并加權(quán)求和，Sw =C1 xt7| + c '(-a ) + c?爺《 +^(-?2) + '" + 4_一氣+%\(-?,,)，5%表示乩層的加權(quán)和；將權(quán)重集合8中的隊個 元素依次賦予步驟6. 1挑選出的N2個比特的編碼后EL層數(shù)據(jù)作為權(quán)重，并加權(quán)求和， S- (I^ X /?, + t/-, X (-/?j) + t/-> X /?-, + X (-/?-,) + *** + t/ ^ _j X + t/ y X )，Se1j 表不 EL 層 的加權(quán)和。
[0021] 步驟6. 3 :將BL層的加權(quán)和S%與EL層的加權(quán)和Sa相加即得到一個調(diào)制符號（用 符號S1表不）。
[0022] 步驟6. 4:重復(fù)步驟6. 1至6. 3的操作，得到另外一個調(diào)制符號（用符號S2表示）。
[0023] 步驟七、將步驟六得到的調(diào)制符號S1和S2對應(yīng)到星座圖上的一個星座點，其中S 1為星座點的橫坐標，S2為星座點的縱坐標。
[0024] 步驟八、將步驟七得到的星座點傳輸?shù)浇邮斩耍邮斩私y(tǒng)計接收到的星座點個數(shù) (用符號M表示）；接收端判斷M > m是否成立，如成立，則執(zhí)行步驟九的操作；否則，重復(fù)步 驟六至步驟八的操作。m的值由人為預(yù)先設(shè)定值，m為正整數(shù)。
[0025] 優(yōu)選的，m的值取EL層的數(shù)據(jù)比特數(shù)。
[0026] 步驟九、在步驟八操作的基礎(chǔ)上，接收端進行星座圖解映射，并根據(jù)解映射的結(jié)果 完成LDPC解碼，還原得到重構(gòu)BL層數(shù)據(jù)和重構(gòu)EL層數(shù)據(jù)。
[0027] 步驟十、在步驟九操作的基礎(chǔ)上，對重構(gòu)BL層數(shù)據(jù)和重構(gòu)EL層數(shù)據(jù)進行碼流重 組，然后進行視頻解壓縮，得到重構(gòu)立體視頻數(shù)據(jù)。
[0028] 步驟十中視頻解壓縮與步驟一中視頻壓縮使用互逆的壓縮/解壓縮方法。
[0029] 步驟十一、根據(jù)步驟十得到的重構(gòu)立體視頻數(shù)據(jù)完成立體視頻顯示。
[0030] 經(jīng)過上述步驟的操作，即可完成立體視頻的傳輸。
[0031] 有意效果
[0032] 本發(fā)明提出的基于無速率調(diào)制的立體視頻傳輸方法與已有技術(shù)相比較具有如下 優(yōu)點：
[0033] ①能夠根據(jù)數(shù)據(jù)的重要性不同進行不等差錯保護，使重要性更高的數(shù)據(jù)得到更多 的保護，從而提高了數(shù)據(jù)傳輸?shù)目煽啃浴?br> [0034] ②由于無速率調(diào)制模式下可以源源不斷地產(chǎn)生調(diào)制符號，沒有TCP的網(wǎng)絡(luò)時延影 響吞吐量，非常適合在互聯(lián)網(wǎng)、無線網(wǎng)以及移動網(wǎng)上提供立體視頻傳輸。
[0035] ③由于本發(fā)明不需要反饋，用戶數(shù)量的增長對發(fā)送方來說沒有任何影響，發(fā)送方 可以服務(wù)任意數(shù)量的用戶，從而增加客戶數(shù)量，提高經(jīng)濟效益。

【專利附圖】

【附圖說明】
[0036] 圖1為本發(fā)明【具體實施方式】中基于無速率調(diào)制的立體視頻傳輸方法的整體框圖。
[0037] 圖2為本發(fā)明【具體實施方式】中不同權(quán)重方案下BL層數(shù)據(jù)及EL層數(shù)據(jù)誤比特率對 比圖。

【具體實施方式】
[0038] 下面結(jié)合附圖與【具體實施方式】對本發(fā)明作進一步說明。
[0039] 實施例1 :
[0040] 采用本發(fā)明提出的基于無速率調(diào)制的立體視頻傳輸方法，對一段MP4視頻作為原 始立體視頻數(shù)據(jù)進行傳輸，其具體操作步驟為：
[0041] 步驟一、對原始立體視頻數(shù)據(jù)采用H. 264MVC算法進行視頻壓縮，得到壓縮立體視 頻數(shù)據(jù)。
[0042] 步驟二、發(fā)送端讀取步驟一得到的壓縮立體視頻數(shù)據(jù)。
[0043] 步驟三、在步驟二操作基礎(chǔ)上，發(fā)送端對壓縮立體視頻數(shù)據(jù)進行判斷，如果是頭信 息或運動信息或視差矢量預(yù)測信息，則將其判斷為BL層數(shù)據(jù)；其它數(shù)據(jù)判斷為EL層數(shù)據(jù)。
[0044] 步驟四、在步驟三操作基礎(chǔ)上，發(fā)送端對BL層和EL層的數(shù)據(jù)分別進行高碼率的 LDPC編碼，得到編碼后BL層數(shù)據(jù)和編碼后EL層數(shù)據(jù)。
[0045] 步驟五、此步驟可與步驟一同步操作：采用隨機方法確定編碼后BL層數(shù)據(jù)的權(quán)重 集合A，A = {3，-3};以及編碼后EL層數(shù)據(jù)的權(quán)重集合B，B = {2，-2, 1，-1}。其中，Ii1 = 1 和 n2 = 2。
[0046] 步驟六、在步驟四和步驟五操作基礎(chǔ)上，發(fā)送端根據(jù)編碼后BL層數(shù)據(jù)和編碼后EL 層數(shù)據(jù)，以帶權(quán)重的比特到符號（bit-to-symbol)映射方式進行映射，得到調(diào)制符號。
[0047] 具體操作步驟為：
[0048] 步驟6. 1 :從編碼后BL層數(shù)據(jù)中隨機選擇N1個比特（bit)，構(gòu)成BL層數(shù)據(jù)集合 c，C= C2，…，cA| i ;從編碼后EL層數(shù)據(jù)中隨機選擇N2個比特，構(gòu)成EL層數(shù)據(jù)集合D， D =從"/2,…，t/、};其中，N1 = 2, N2 = 4。
[0049] 步驟6. 2 :將權(quán)重集合A中的N1個元素依次賦予步驟6. 1挑選出的N1個 比特的編碼后BL層數(shù)據(jù)作為權(quán)重，并加權(quán)求和，S51 =C', X + + C1 '(-<2芩a 將權(quán)重集合B中的N2個元素依次賦 予步驟6. 1挑選出的N2個比特的編碼后EL層數(shù)據(jù)作為權(quán)重，并加權(quán)求和， Sel = Cli Xbi+ d2 X (-6,) + <:/. xh2+ d4 x (-b2) -{-----x(_夂。
[0050] 步驟6. 3 :將BL層的加權(quán)和S%與EL層的加權(quán)和Sa相加即得到一個調(diào)制符號Sp
[0051] 步驟6. 4 :重復(fù)步驟6. 1至6. 3的操作，得到另外一個調(diào)制符號S2。
[0052] 步驟七、將步驟六得到的調(diào)制符號S1和S2對應(yīng)到星座圖上的一個星座點，其中S 1為星座點的橫坐標，S2為星座點的縱坐標。
[0053] 步驟八、將步驟七得到的星座點傳輸?shù)浇邮斩?，接收端統(tǒng)計接收到的星座點個數(shù) M ;接收端判斷M彡m是否成立，m = 2500 ;如成立，則執(zhí)行步驟九的操作；否則，重復(fù)步驟六 至步驟八的操作。
[0054] 步驟九、在步驟八操作的基礎(chǔ)上，接收端進行星座圖解映射，并根據(jù)解映射的結(jié)果 完成LDPC解碼，還原得到重構(gòu)BL層數(shù)據(jù)和重構(gòu)EL層數(shù)據(jù)。
[0055] 步驟十、在步驟九操作的基礎(chǔ)上，對重構(gòu)BL層數(shù)據(jù)和重構(gòu)EL層數(shù)據(jù)進行碼流重 組，然后采用a 264MVC解碼器進行視頻解壓縮，得到重構(gòu)立體視頻數(shù)據(jù)。
[0056] 步驟十一、根據(jù)步驟十得到的重構(gòu)立體視頻數(shù)據(jù)完成立體視頻顯示。
[0057] 實施例2 :
[0058] 為了更好的重構(gòu)立體視頻，采用本發(fā)明提出的基于無速率調(diào)制的立體視頻傳輸方 法，對實施例1中的原始立體視頻數(shù)據(jù)進行傳輸，其步驟與實施例1的區(qū)別僅在于：實施例 2中的步驟五中所述權(quán)重集合的選取方法為采用凸優(yōu)化算法在星座圖固定的情況下尋找最 優(yōu)的權(quán)重集合，確定的編碼后BL層數(shù)據(jù)的權(quán)重集合A，A= {4,-4};以及編碼后EL層數(shù)據(jù) 的權(quán)重集合 B, B = {1，-1，1，-1}。其中，Ii1 = 2 和 n2 = 4。
[0059] 對應(yīng)實施例1中的權(quán)重方案和實施例2中的權(quán)重方案下BL層數(shù)據(jù)及EL層數(shù)據(jù)誤 比特率對比圖如圖2所示。圖2中橫坐標是信噪比（單位：分貝），縱坐標是誤比特率。
[0060] 實施例1中調(diào)制符號的取值范圍為-6到6之間的整數(shù)，取得各整數(shù)的頻次可根據(jù) 各權(quán)重值置0或置1統(tǒng)計得到，所有可能情況總數(shù)為64種，則各整數(shù)的取值概率依次為{ 1/64, 2/64, 3/64, 6/64, 7/64, 8/64, 10/64, 8/64, 7/64, 6/64, 3/64, 2/64, 1/64}，平均能量為

【權(quán)利要求】
1. 一種基于無速率調(diào)制的立體視頻傳輸方法，其特征在于：其包括如下步驟： 步驟一、對原始立體視頻數(shù)據(jù)進行視頻壓縮，得到壓縮立體視頻數(shù)據(jù)； 步驟二、發(fā)送端讀取步驟一得到的壓縮立體視頻數(shù)據(jù)； 步驟三、在步驟二操作基礎(chǔ)上，發(fā)送端對壓縮立體視頻數(shù)據(jù)進行判斷，如果是頭信息或 運動信息或視差矢量預(yù)測信息，則將其判斷為BL層數(shù)據(jù)；其它數(shù)據(jù)判斷為EL層數(shù)據(jù)； 步驟四、在步驟三操作基礎(chǔ)上，發(fā)送端對BL層和EL層的數(shù)據(jù)分別進行高碼率的LDPC 編碼，得到編碼后BL層數(shù)據(jù)和編碼后EL層數(shù)據(jù)； 步驟五、此步驟可與步驟一同步操作：確定編碼后BL層數(shù)據(jù)的權(quán)重集 合A，Zi =丨巧，-βι，α2，_α2;以及編碼后el層數(shù)據(jù)的權(quán)重集合B， 5=冶-/V…Λ:其中，Ii1和η2分別表示權(quán)重集合A和權(quán)重集合B的元素對 的個數(shù)；％，七，…，A，…，\均為1到10之間的整數(shù)； 步驟六、在步驟四和步驟五操作基礎(chǔ)上，發(fā)送端根據(jù)編碼后BL層數(shù)據(jù)和編碼后EL層數(shù) 據(jù)，以帶權(quán)重的比特到符號映射方式進行映射，得到調(diào)制符號；具體操作步驟為： 步驟6. 1 :從編碼后BL層數(shù)據(jù)中隨機選擇N1個比特，構(gòu)成BL層數(shù)據(jù)集合C， Γ=丨cpc2，···,c、、」；從編碼后EL層數(shù)據(jù)中隨機選擇N2個比特，構(gòu)成EL層數(shù)據(jù)集合D， D = W1WwZyJ ;其中，Ni = 2Xni，N2 = 2Xn2 ^2，"、氣分別表示從編碼后乩層數(shù) 據(jù)中隨機選擇的第i個比特的值，1彡i彡N1 ;冬名，…，<:分別表示從編碼后EL層數(shù)據(jù)中 隨機選擇的第j個比特的值，1彡j彡N2 ; 步驟6. 2 :將權(quán)重集合A中的N1個元素依次賦予步驟6. 1挑選出的N1個比 特的編碼后BL層數(shù)據(jù)作為權(quán)重，并加權(quán)求和，=C1 XW1+ c 2x(-a) + c·料 +c4 χ(-七)+ ···+^^ Xiini+cVix(-?^，s%表示BL層的加權(quán)和；將權(quán)重集合B中的N2個 元素依次賦予步驟6. 1挑選出的N2個比特的編碼后EL層數(shù)據(jù)作為權(quán)重，并加權(quán)求和，
_ _ _ _，S el 表不 EL 層 的加權(quán)和； 步驟6. 3 :將BL層的加權(quán)和S%與EL層的加權(quán)和Sa相加即得到一個調(diào)制符號S1 ; 步驟6. 4 :重復(fù)步驟6. 1至6. 3的操作，得到另外一個調(diào)制符號S2 ; 步驟七、將步驟六得到的調(diào)制符號S1和S2對應(yīng)到星座圖上的一個星座點，其中S1為星 座點的橫坐標，S2為星座點的縱坐標； 步驟八、將步驟七得到的星座點傳輸?shù)浇邮斩耍邮斩私y(tǒng)計接收到的星座點個數(shù)M ;接 收端判斷M > m是否成立，如成立，則執(zhí)行步驟九的操作；否則，重復(fù)步驟六至步驟八的操 作；m的值由人為預(yù)先設(shè)定值，m為正整數(shù)； 步驟九、在步驟八操作的基礎(chǔ)上，接收端進行星座圖解映射，并根據(jù)解映射的結(jié)果完成 LDPC解碼，還原得到重構(gòu)BL層數(shù)據(jù)和重構(gòu)EL層數(shù)據(jù)； 步驟十、在步驟九操作的基礎(chǔ)上，對重構(gòu)BL層數(shù)據(jù)和重構(gòu)EL層數(shù)據(jù)進行碼流重組，然 后進行視頻解壓縮，得到重構(gòu)立體視頻數(shù)據(jù)； 步驟十一、根據(jù)步驟十得到的重構(gòu)立體視頻數(shù)據(jù)完成立體視頻顯示； 經(jīng)過上述步驟的操作，即可完成立體視頻的傳輸。
2. 如權(quán)利要求1所述的一種基于無速率調(diào)制的立體視頻傳輸方法，其特征在于：步驟 一中所述對原始立體視頻數(shù)據(jù)進行視頻壓縮的算法包括：H. 264MVC視頻壓縮算法、MPEG-I 壓縮算法、MPEG-2壓縮算法和MPEG-4壓縮算法。
3. 如權(quán)利要求1或2所述的一種基于無速率調(diào)制的立體視頻傳輸方法，其特征在于： 優(yōu)選的，步驟五中所述權(quán)重集合的選取方法為采用凸優(yōu)化算法在星座圖固定的情況下尋找 最優(yōu)的權(quán)重集合。
4. 如權(quán)利要求1或2所述的一種基于無速率調(diào)制的立體視頻傳輸方法，其特征在于：m 的值為EL層的數(shù)據(jù)比特數(shù)。
5. 如權(quán)利要求1或2所述的一種基于無速率調(diào)制的立體視頻傳輸方法，其特征在于： 步驟十中視頻解壓縮與步驟一中視頻壓縮使用互逆的壓縮/解壓縮方法。
【文檔編號】H04N19/597GK104394401SQ201410776489
【公開日】2015年3月4日 申請日期:2014年12月15日 優(yōu)先權(quán)日:2014年12月15日
【發(fā)明者】邢成文, 上官成林, 賈岱, 費澤松, 曹聰哲, 何靜, 王晶, 匡鏡明 申請人:北京理工大學(xué)