一種立體視頻幀重要性評(píng)估方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種立體視頻技術(shù)，尤其是涉及一種立體視頻幀重要性評(píng)估方法，其 可應(yīng)用于立體視頻編解碼系統(tǒng)和指導(dǎo)立體視頻網(wǎng)絡(luò)傳輸。
【背景技術(shù)】
[0002] 隨著信息化的迅速發(fā)展，數(shù)字信息已成為人類認(rèn)知世界的重要途徑。圖像視頻信 息因具有內(nèi)容豐富、視覺(jué)直觀性很強(qiáng)等特點(diǎn)，已成為日常生活中傳輸信息的重要手段。立 體技術(shù)是一種新興發(fā)展技術(shù)，可廣泛應(yīng)用于各行各業(yè)，如在遠(yuǎn)程醫(yī)療、遠(yuǎn)程自動(dòng)控制、立體 視頻會(huì)議、模擬現(xiàn)實(shí)環(huán)境、網(wǎng)上購(gòu)物、工業(yè)電子等領(lǐng)域都有很強(qiáng)的發(fā)展前景。多視點(diǎn)視頻系 統(tǒng)是指含有從多個(gè)觀看方向捕獲同一場(chǎng)景的多視點(diǎn)視頻序列，用戶可以根據(jù)當(dāng)前的位置， 切換不同的視點(diǎn)觀看視頻，使人有身臨其境的感覺(jué)。立體視頻是由兩個(gè)平行攝像機(jī)從不同 視角對(duì)同一場(chǎng)景進(jìn)行拍攝的，數(shù)據(jù)量是傳統(tǒng)單視點(diǎn)視頻的數(shù)據(jù)量的2倍，采集的數(shù)據(jù)經(jīng)過(guò) 抽樣、量化、編碼以后在異構(gòu)網(wǎng)絡(luò)中進(jìn)行傳輸。目前新興的IPv6的傳輸網(wǎng)絡(luò)和信道不能完 全滿足立體視頻的傳輸要求，不能保證視頻信息的可靠傳輸，而對(duì)于異構(gòu)的現(xiàn)實(shí)網(wǎng)絡(luò)視頻 通信系統(tǒng)，最關(guān)心的是終端視頻是否能夠提供感知質(zhì)量保證的視頻服務(wù)。由于視頻不同區(qū) 域?qū)K端視頻質(zhì)量的貢獻(xiàn)度不同，因此，可以采取策略，保證貢獻(xiàn)度高的視頻信息的有效傳 輸。QoS(QualityofService)和QoE(QualityofExperience)是評(píng)價(jià)接收端視頻質(zhì)量的 兩個(gè)重要指標(biāo)，如何根據(jù)異構(gòu)網(wǎng)絡(luò)的狀況，建立視頻傳輸失真模型，區(qū)分不同幀的重要性權(quán) 重，區(qū)別對(duì)待重要等級(jí)不同幀信息，提高解碼端視頻的感知質(zhì)量具有重要意義。
[0003] 在立體視頻編碼過(guò)程中，通常以G0P(圖像組）為單位進(jìn)行編碼。在立體視頻中，各 幀的重要性是不相同的，幀的重要性區(qū)分最簡(jiǎn)單的方法是按編碼位置來(lái)劃分的，在一個(gè)G0P 中，將I幀的重要性設(shè)為最高、P幀次之、B幀的重要性最低，這樣當(dāng)網(wǎng)絡(luò)擁塞時(shí)可以丟掉部 分重要性低的B幀，從而保證立體視頻的實(shí)時(shí)傳輸，某些傳輸協(xié)議中也將I幀和P幀的重要 性的比重設(shè)置為固定值。然而，只按編碼位置進(jìn)行幀重要性區(qū)分，忽略了圖像內(nèi)容的影響， 雖然簡(jiǎn)單，但不準(zhǔn)確，無(wú)法保證終端視頻的質(zhì)量。
[0004] 另外一種是利用視頻流媒體傳輸失真模型確定每幀重要性，最常見(jiàn)的方法是在發(fā) 送端建立視頻流傳輸失真模型的思想，考慮編碼模式、錯(cuò)誤傳播等能表征內(nèi)容的因數(shù)，推導(dǎo) 出不同情況下，通過(guò)視頻特性參數(shù)和網(wǎng)絡(luò)傳輸質(zhì)量遞歸估算出每幀視頻終端表現(xiàn)質(zhì)量?；?于遞歸的幀重要性區(qū)分方法，可以預(yù)測(cè)多視點(diǎn)視頻中任何視點(diǎn)幀帶來(lái)的錯(cuò)誤傳播，在隨機(jī) 丟包的情況下，準(zhǔn)確的估計(jì)出各幀的失真值，但這種方法計(jì)算量很大，不利于立體視頻的實(shí) 時(shí)傳輸。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種立體視頻幀重要性評(píng)估方法，其能夠有效 地區(qū)分不同幀的重要等級(jí)，指導(dǎo)網(wǎng)絡(luò)中的不等保護(hù)傳輸策略，從而提高終端視頻的感知質(zhì) 量。
[0006] 本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為：一種立體視頻幀重要性評(píng)估方 法，其特征在于包括以下步驟 ：
[0007] ①在立體視頻編碼過(guò)程中以圖像組為單位進(jìn)行編碼，將立體視頻中當(dāng)前待處理的 圖像組定義為當(dāng)前圖像組；
[0008] ②計(jì)算當(dāng)前圖像組中的每幀右視點(diǎn)圖像中編碼模式為幀間編碼的每個(gè)宏塊的運(yùn) 動(dòng)矢量和視差矢量，將當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀間編碼的第u個(gè) 宏塊的運(yùn)動(dòng)矢量和視差矢量對(duì)應(yīng)記為MVk，u和DVk;u，
【主權(quán)項(xiàng)】
1. 一種立體視頻幀重要性評(píng)估方法，其特征在于包括以下步驟： ① 在立體視頻編碼過(guò)程中以圖像組為單位進(jìn)行編碼，將立體視頻中當(dāng)前待處理的圖像 組定義為當(dāng)前圖像組； ② 計(jì)算當(dāng)前圖像組中的每幀右視點(diǎn)圖像中編碼模式為幀間編碼的每個(gè)宏塊的運(yùn)動(dòng)矢 量和視差矢量，將當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀間編碼的第U個(gè)宏塊 的運(yùn)動(dòng)矢量和視差矢量對(duì)應(yīng)記為MVk，u和DVtu，
兵屮，k的忉妬但刃i,i$k$ 衣不a刖囹諑組屮鈄甘的兌評(píng)囹諑的忍啊雙， u的初始值為1，1彡u彡表示當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀間 編碼的宏塊的數(shù)目，1#表示當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀間編碼的 第u個(gè)宏塊采用運(yùn)動(dòng)矢量編碼時(shí)包含的子塊的數(shù)目，1彡v彡N"part，Nd_^示當(dāng)前圖像組 中的第k幀右視點(diǎn)圖像中編碼模式為幀間編碼的第u個(gè)宏塊采用視差矢量編碼時(shí)包含的子 塊的數(shù)目，1彡v'彡Ndvpart，Lv，x和Lv，y對(duì)應(yīng)表示當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼 模式為幀間編碼的第u個(gè)宏塊采用運(yùn)動(dòng)矢量編碼時(shí)第v個(gè)子塊的寬和高，MVv，x和MVv，y對(duì) 應(yīng)表示當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀間編碼的第u個(gè)宏塊采用運(yùn)動(dòng)矢 量編碼時(shí)第v個(gè)子塊采用視點(diǎn)內(nèi)預(yù)測(cè)編碼的運(yùn)動(dòng)矢量的X方向分量和Y方向分量，LV，，JP Lv，，y對(duì)應(yīng)表示當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀間編碼的第u個(gè)宏塊采用 視差矢量編碼時(shí)第v'個(gè)子塊的寬和高，DVv，，JPDVv，，y對(duì)應(yīng)表示當(dāng)前圖像組中的第k幀右視 點(diǎn)圖像中編碼模式為幀間編碼的第u個(gè)宏塊采用視差矢量編碼時(shí)第V'個(gè)子塊采用視點(diǎn)間 預(yù)測(cè)編碼的視差矢量的X方向分量和Y方向分量，子塊的大小為16X16或16X8或8X16 或 8X8 ; 并計(jì)算當(dāng)前圖像組中的每幀左視點(diǎn)圖像中編碼模式為幀間編碼的每個(gè)宏塊的運(yùn)動(dòng)矢 量，將當(dāng)前圖像組中的第k幀左視點(diǎn)圖像中編碼模式為幀間編碼的第u'個(gè)宏塊的運(yùn)動(dòng)矢 量記為MV' k，u，
其中，u'的初始值為1， 1 <u' <U'm，^_表示當(dāng)前圖像組中的第k幀左視點(diǎn)圖像中編碼模式為幀間編碼的宏塊 的數(shù)目，Npart表示當(dāng)前圖像組中的第k幀左視點(diǎn)圖像中采用幀間編碼的第u'個(gè)宏塊中包含 的子塊的數(shù)目，Kh<Npart，L'h，dPL'h，y對(duì)應(yīng)表示當(dāng)前圖像組中的第k幀左視點(diǎn)圖像中編 碼模式為幀間編碼的第11'個(gè)宏塊采用運(yùn)動(dòng)矢量編碼時(shí)第11個(gè)子塊的寬和高，1^\ !￡和驟'1" 對(duì)應(yīng)表示當(dāng)前圖像組中的第k幀左視點(diǎn)圖像中編碼模式為幀間編碼的第u'個(gè)宏塊采用運(yùn) 動(dòng)矢量編碼時(shí)第h個(gè)子塊采用視點(diǎn)內(nèi)預(yù)測(cè)編碼的運(yùn)動(dòng)矢量的X方向分量和Y方向分量； ③ 計(jì)算當(dāng)前圖像組中的每幀右視點(diǎn)圖像的錯(cuò)誤隱藏失真，將 當(dāng)前圖像組中的第k幀右視點(diǎn)圖像的錯(cuò)誤隱藏失真記為，
表示當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀間編碼且采用運(yùn)動(dòng)矢量編碼的宏 塊的數(shù)目，1彡i彡N"intOT，NdvintOT表示當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀 間編碼且采用視差矢量編碼的宏塊的數(shù)目，1 <i'示當(dāng)前圖像組中的第k 幀右視點(diǎn)圖像中編碼模式為幀間編碼且采用運(yùn)動(dòng)矢量編碼的第i個(gè)宏塊的運(yùn)動(dòng)矢量，DVti， 表示當(dāng)前圖像組中的第k幀右視點(diǎn)圖像中編碼模式為幀間編碼且采用視差矢量編碼的第 i'個(gè)宏塊的視差矢量，N