一種合成視點(diǎn)主觀失真估計(jì)方法
【專利摘要】本發(fā)明提供了一種合成視點(diǎn)主觀失真估計(jì)方法。具體方法為：計(jì)算深度圖像失真對(duì)合成視點(diǎn)的失真影響時(shí)，以像素點(diǎn)的空間結(jié)構(gòu)相關(guān)性為基礎(chǔ)，結(jié)合人眼的感知融合特性進(jìn)行主觀失真度估計(jì)?？稍诹Ⅲw/多視點(diǎn)視頻編碼中更準(zhǔn)確地估計(jì)合成視點(diǎn)的主觀失真度；將其用于各個(gè)關(guān)鍵編碼環(huán)節(jié)的率失真優(yōu)化編碼，可有效提高立體/多視點(diǎn)視頻編碼性能。
【專利說(shuō)明】一種合成視點(diǎn)主觀失真估計(jì)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種合成視點(diǎn)主觀失真估計(jì)方法，特別是涉及一種適用于三維視頻【技術(shù)領(lǐng)域】的立體/多視點(diǎn)視頻編碼和圖像主觀失真估計(jì)中的合成視點(diǎn)主觀失真估計(jì)方法。
【背景技術(shù)】
[0002]立體/多視點(diǎn)視頻由攝像機(jī)陣列從不同角度拍攝同一場(chǎng)景得到一組視頻信號(hào)，與單視點(diǎn)視頻相比能獲取場(chǎng)景的三維信息，從而更加生動(dòng)地再現(xiàn)三維場(chǎng)景。近年來(lái)三維立體顯示的迅速發(fā)展，特別是不需佩戴眼鏡就能觀看到逼真立體影像的裸視光柵三維立體顯示器的出現(xiàn)，使人類的三維顯示夢(mèng)想成為現(xiàn)實(shí)?？梢灶A(yù)見(jiàn)，立體/多視點(diǎn)視頻將在影視、醫(yī)療、遠(yuǎn)程控制、虛擬現(xiàn)實(shí)等方面擁有廣闊的應(yīng)用前景。然而與傳統(tǒng)二維視頻數(shù)據(jù)相比，具有立體感的圖像/視頻由于包含了場(chǎng)景的深度信息，其數(shù)據(jù)量會(huì)隨著視點(diǎn)數(shù)目的增多而急劇增力口。因此，為了滿足立體/多視點(diǎn)視頻存儲(chǔ)和傳輸?shù)膽?yīng)用需求，高效的立體/多視點(diǎn)視頻壓縮編碼技術(shù)的研究就顯得尤為重要。
[0003]現(xiàn)有的立體/多視點(diǎn)視頻編碼主要是利用視點(diǎn)間的相關(guān)性來(lái)提高視頻壓縮率，最常用編碼方案包括:“基于視差/運(yùn)動(dòng)聯(lián)合估計(jì)的立體/多視點(diǎn)視頻編碼”和“基于視點(diǎn)合成預(yù)測(cè)的立體/多視點(diǎn)視頻編碼”。其中“基于視點(diǎn)合成預(yù)測(cè)的立體/多視點(diǎn)視頻編碼”利用深度圖等場(chǎng)景幾何信息來(lái)生成視點(diǎn)圖像，與“基于視差/運(yùn)動(dòng)聯(lián)合估計(jì)的立體/多視點(diǎn)視頻編碼”相比，可以更有效地利用視點(diǎn)間相關(guān)性提高立體/多視點(diǎn)視頻編碼性能，同時(shí)更好地滿足視點(diǎn)間隨機(jī)訪問(wèn)與自由視點(diǎn)應(yīng)用，具有很好的實(shí)際應(yīng)用前景。因此，基于視點(diǎn)合成預(yù)測(cè)的立體/多視點(diǎn)視頻編碼成為目前視頻編碼的研究熱點(diǎn)。
[0004]在視頻編碼中，率失真優(yōu)化是其核心，它貫穿于視頻編碼的各個(gè)關(guān)鍵環(huán)節(jié)。而失真度估計(jì)是率失真優(yōu)化實(shí)現(xiàn)的基礎(chǔ)。不同于傳統(tǒng)的視頻編碼方案，在基于視點(diǎn)合成預(yù)測(cè)的立體/多視點(diǎn)視頻編碼過(guò)程中，除了需要估計(jì)紋理圖像和深度圖像本身的編碼失真外，還需要進(jìn)一步估計(jì)合成視點(diǎn)的圖像質(zhì)量，以獲得最佳的立體/多視點(diǎn)視頻編碼性能。對(duì)此，國(guó)內(nèi)外學(xué)者們圍繞合成視點(diǎn)失真估計(jì)展開(kāi)了越來(lái)越多的研究，其研究成果在一定程度上促進(jìn)了立體/多視點(diǎn)視頻技術(shù)的發(fā)展。
[0005]根據(jù)人類視覺(jué)系統(tǒng)(Human Visual System, HVS)的研究發(fā)現(xiàn)，HVS對(duì)視頻場(chǎng)景中的空間結(jié)構(gòu)失真有較高的視覺(jué)敏感度。因此，采用傳統(tǒng)方法估計(jì)的合成視點(diǎn)失真，難與人眼感知的圖像質(zhì)量相一致。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問(wèn)題是提供一種人眼感知的圖像質(zhì)量相一致合成視點(diǎn)。
[0007]本發(fā)明采用的技術(shù)方案如下:一種合成視點(diǎn)主觀失真估計(jì)方法，具體方法為:計(jì)算深度圖像失真對(duì)合成視點(diǎn)的失真影響時(shí)，以像素點(diǎn)的空間結(jié)構(gòu)相關(guān)性為基礎(chǔ)，結(jié)合人眼的感知融合特性進(jìn)行主觀失真度估計(jì)。
[0008]作為優(yōu)選，具體方法步驟為:步驟一、利用深度圖像的空間結(jié)構(gòu)信息，計(jì)算合成視點(diǎn)的空間結(jié)構(gòu)相似度；步驟二、利用人眼對(duì)紋理圖像的視覺(jué)感知特性，修正合成視點(diǎn)的空間結(jié)構(gòu)相似度；步驟三、融合空間和紋理結(jié)構(gòu)相似度，實(shí)現(xiàn)合成視點(diǎn)的主觀失真估計(jì)。
[0009]作為優(yōu)選，所述步驟一的具體方法步驟為:1、根據(jù)參考視點(diǎn)和合成視點(diǎn)的相機(jī)內(nèi)部參數(shù)和外部參數(shù)，計(jì)算在不同深度值條件下，從參考視點(diǎn)到合成視點(diǎn)的空間投影變化矩陣；2、計(jì)算參考視點(diǎn)深度圖像失真前后，其各像素點(diǎn)或編碼塊投影變換到合成視點(diǎn)深度圖像中水平和垂直方向的坐標(biāo)；3、根據(jù)步驟2計(jì)算得到的投影變換坐標(biāo)，依次計(jì)算參考視點(diǎn)深度圖像各像素點(diǎn)或編碼塊在水平和垂直方向投影變換坐標(biāo)的空間結(jié)構(gòu)相似度。
[0010]作為優(yōu)選，所述步驟二的具體方法步驟為:A、根據(jù)參考視點(diǎn)失真的紋理圖像，依次計(jì)算參考視點(diǎn)各像素點(diǎn)或編碼塊在水平和垂直方向的紋理復(fù)雜度；B、修正合成視點(diǎn)的空間結(jié)構(gòu)相似度。
[0011]作為優(yōu)選，所述步驟三的具體方法步驟為:a、采用紋理圖像的結(jié)構(gòu)相似度模型，計(jì)算參考視點(diǎn)紋理圖像失真前后各像素點(diǎn)或編碼塊的結(jié)構(gòu)相似度；b、融合所述所述步驟B中計(jì)算得到的空間結(jié)構(gòu)相似度和所述步驟a中計(jì)算得到的紋理結(jié)構(gòu)相似度，估計(jì)合成視點(diǎn)的主觀失真。
[0012]作為優(yōu)選，所述步驟I的具體方法步驟為:1_1、根據(jù)參考視點(diǎn)的內(nèi)部參數(shù)、外部參數(shù)和深度值，計(jì)算參考視點(diǎn)圖像坐標(biāo)對(duì)應(yīng)的世界坐標(biāo)；1-2、根據(jù)合成視點(diǎn)的內(nèi)部參數(shù)和外部參數(shù)，計(jì)算合成視點(diǎn)世界坐標(biāo)對(duì)應(yīng)的圖像坐標(biāo)和深度值；1-3、根據(jù)參考視點(diǎn)圖像坐標(biāo)和對(duì)應(yīng)的合成視點(diǎn)圖像坐標(biāo)，計(jì)算深度值條件下的3X3空間投影變化矩陣。
[0013]作為優(yōu)選，所述步驟2的具體方法步驟為:2_1、根據(jù)參考視點(diǎn)原始的深度圖像和空間投影變化矩陣，依次對(duì)參考視點(diǎn)各像素點(diǎn)或編碼塊進(jìn)行空間投影變化到合成視點(diǎn)，記錄各像素點(diǎn)或編碼塊投影變換后水平和垂直方向的坐標(biāo)；2-2、根據(jù)參考視點(diǎn)失真深度圖像和空間投影變化矩陣，依次對(duì)參考視點(diǎn)各像素點(diǎn)或編碼塊進(jìn)行空間投影變化到合成視點(diǎn)，記錄各像素和編碼塊投影變換后水平和垂直方向的坐標(biāo)。
[0014]作為優(yōu)選，所述步驟B的具體方法步驟為:B-1、根據(jù)步驟A計(jì)算得到的紋理復(fù)雜度，結(jié)合人眼視覺(jué)感知特性，計(jì)算人眼對(duì)其空間結(jié)構(gòu)失真的敏感閾值；B-2、使用敏感閾值對(duì)所述步驟3中計(jì)算得到的空間結(jié)構(gòu)相似度進(jìn)行感知修正。
[0015]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:鑒于大部分立體/多視點(diǎn)視頻的最終消費(fèi)者是“人眼”，將合成視點(diǎn)空間結(jié)構(gòu)特征和人眼視覺(jué)感知特性相結(jié)合，實(shí)現(xiàn)一種新的以空間投影結(jié)構(gòu)相似度為依據(jù)的合成視點(diǎn)失真估計(jì)方法，可在立體/多視點(diǎn)視頻編碼中更準(zhǔn)確地估計(jì)合成視點(diǎn)的主觀失真度；將其用于各個(gè)關(guān)鍵編碼環(huán)節(jié)的率失真優(yōu)化編碼，可有效提高立體/多視點(diǎn)視頻編碼性能。
【具體實(shí)施方式】
[0016]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0017]本說(shuō)明書(shū)(包括任何附加權(quán)利要求和摘要)中公開(kāi)的任一特征，除非特別敘述，均可被其他等效或者具有類似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類似特征中的一個(gè)例子而已。[0018]根據(jù)率失真優(yōu)化選擇待編碼的參考視點(diǎn)，其率失真優(yōu)化中失真度的計(jì)算采用本發(fā)明提出的基于空間結(jié)構(gòu)相似度的合成視點(diǎn)主觀失真估計(jì)方法。本具體實(shí)施例以視點(diǎn)O和視點(diǎn)4為多視點(diǎn)視頻序列待編碼的參考視點(diǎn)；視點(diǎn)2為多視點(diǎn)視頻序列用于失真估計(jì)的合成視點(diǎn)。
[0019]一種合成視點(diǎn)主觀失真估計(jì)方法，具體方法為:計(jì)算深度圖像失真對(duì)合成視點(diǎn)的失真影響時(shí)，以像素點(diǎn)的空間結(jié)構(gòu)相關(guān)性為基礎(chǔ)，結(jié)合人眼的感知融合特性進(jìn)行主觀失真度估計(jì)。
[0020]具體方法步驟為:步驟一、利用深度圖像的空間結(jié)構(gòu)信息，計(jì)算合成視點(diǎn)的空間結(jié)構(gòu)相似度；步驟二、利用人眼對(duì)紋理圖像的視覺(jué)感知特性，修正合成視點(diǎn)的空間結(jié)構(gòu)相似度；步驟三、融合空間和紋理結(jié)構(gòu)相似度，實(shí)現(xiàn)合成視點(diǎn)的主觀失真估計(jì)。
[0021]所述步驟一的具體方法步驟為:
[0022]1、計(jì)算3X3空間投影變化矩陣:根據(jù)參考視點(diǎn)和合成視點(diǎn)的相機(jī)內(nèi)部參數(shù)和外部參數(shù)，計(jì)算在不同深度值ζ條件下，從參考視點(diǎn)到合成視點(diǎn)的空間投影變化矩陣H(Z)。
[0023]具體方法步驟為:
[0024]1-1、根據(jù)參考視點(diǎn)的內(nèi)部參數(shù)A3x3,外部參數(shù)R3Xu、t3X1-和深度值z(mì)，計(jì)算參考視點(diǎn)圖像坐標(biāo)(Up Vr)對(duì)應(yīng)的世界坐標(biāo)對(duì)應(yīng)的世界坐標(biāo)(Xw, Yw, Zw)
【權(quán)利要求】
1.一種合成視點(diǎn)主觀失真估計(jì)方法，具體方法為:計(jì)算深度圖像失真對(duì)合成視點(diǎn)的失真影響時(shí)，以像素點(diǎn)的空間結(jié)構(gòu)相關(guān)性為基礎(chǔ)，結(jié)合人眼的感知融合特性進(jìn)行主觀失真度估計(jì)。
2.根據(jù)權(quán)利要求1所述的合成視點(diǎn)主觀失真估計(jì)方法，具體方法步驟為:步驟一、利用深度圖像的空間結(jié)構(gòu)信息，計(jì)算合成視點(diǎn)的空間結(jié)構(gòu)相似度；步驟二、利用人眼對(duì)紋理圖像的視覺(jué)感知特性，修正合成視點(diǎn)的空間結(jié)構(gòu)相似度；步驟三、融合空間和紋理結(jié)構(gòu)相似度，實(shí)現(xiàn)合成視點(diǎn)的主觀失真估計(jì)。
3.根據(jù)權(quán)利要求2所述的合成視點(diǎn)主觀失真估計(jì)方法，所述步驟一的具體方法步驟為:1、根據(jù)參考視點(diǎn)和合成視點(diǎn)的相機(jī)內(nèi)部參數(shù)和外部參數(shù)，計(jì)算在不同深度值條件下，從參考視點(diǎn)到合成視點(diǎn)的空間投影變化矩陣；2、計(jì)算參考視點(diǎn)深度圖像失真前后，其各像素點(diǎn)或編碼塊投影變換到合成視點(diǎn)深度圖像中水平和垂直方向的坐標(biāo)；3、根據(jù)步驟2計(jì)算得到的投影變換坐標(biāo)，依次計(jì)算參考視點(diǎn)深度圖像各像素點(diǎn)或編碼塊在水平和垂直方向投影變換坐標(biāo)的空間結(jié)構(gòu)相似度。
4.根據(jù)權(quán)利要求3所述的合成視點(diǎn)主觀失真估計(jì)方法，所述步驟二的具體方法步驟為:A、根據(jù)參考視點(diǎn)失真的紋理圖像，依次計(jì)算參考視點(diǎn)各像素點(diǎn)或編碼塊在水平和垂直方向的紋理復(fù)雜度；B、修正合成視點(diǎn)的空間結(jié)構(gòu)相似度。
5.根據(jù)權(quán)利要求4所述的合成視點(diǎn)主觀失真估計(jì)方法，所述步驟三的具體方法步驟為:a、采用紋理圖像的結(jié)構(gòu)相似度模型，計(jì)算參考視點(diǎn)紋理圖像失真前后各像素點(diǎn)或編碼塊的結(jié)構(gòu)相似度；b、融合所述步驟B中計(jì)算得到的空間結(jié)構(gòu)相似度和所述步驟a中計(jì)算得到的紋理結(jié)構(gòu)相似度，估計(jì)合成視點(diǎn)的主觀失真。
6.根據(jù)權(quán)利要求3所述的合成視點(diǎn)主觀失真估計(jì)方法，所述步驟I的具體方法步驟為:1-1、根據(jù)參考視點(diǎn)的內(nèi)部參數(shù)、外部參數(shù)和深度值，計(jì)算參考視點(diǎn)圖像坐標(biāo)對(duì)應(yīng)的世界坐標(biāo)；1-2、根據(jù)合成視點(diǎn)的內(nèi)部參數(shù)和外部參數(shù),計(jì)算合成視點(diǎn)世界坐標(biāo)對(duì)應(yīng)的圖像坐標(biāo)和深度值；1-3、根據(jù)參考視點(diǎn)圖像坐標(biāo)和對(duì)應(yīng)的合成視點(diǎn)圖像坐標(biāo)，計(jì)算深度值條件下的3X3空間投影變化矩陣。
7.根據(jù)權(quán)利要求3所述的合成視點(diǎn)主觀失真估計(jì)方法，所述步驟2的具體方法步驟為:2-1、根據(jù)參考視點(diǎn)原始的深度圖像和空間投影變化矩陣，依次對(duì)參考視點(diǎn)各像素點(diǎn)或編碼塊進(jìn)行空間投影變化到合成視點(diǎn)，記錄各像素點(diǎn)或編碼塊投影變換后水平和垂直方向的坐標(biāo)；2-2、根據(jù)參考視點(diǎn)失真深度圖像和空間投影變化矩陣，依次對(duì)參考視點(diǎn)各像素點(diǎn)或編碼塊進(jìn)行空間投影變化到合成視點(diǎn)，記錄各像素和編碼塊投影變換后水平和垂直方向的坐標(biāo)。
8.根據(jù)權(quán)利要求4所述的合成視點(diǎn)主觀失真估計(jì)方法，所述步驟B的具體方法步驟為:B-1、根據(jù)步驟A計(jì)算得到的紋理復(fù)雜度，結(jié)合人眼視覺(jué)感知特性，計(jì)算人眼對(duì)其空間結(jié)構(gòu)失真的敏感閾值；B-2、使用敏感閾值對(duì)所述步驟3中計(jì)算得到的空間結(jié)構(gòu)相似度進(jìn)行感知修正。
【文檔編號(hào)】H04N19/147GK103702120SQ201310686917
【公開(kāi)日】2014年4月2日 申請(qǐng)日期:2013年12月11日 優(yōu)先權(quán)日:2013年12月11日
【發(fā)明者】張蕾, 劉思遠(yuǎn), 陳乾友, 熊榮東 申請(qǐng)人:四川九洲電器集團(tuán)有限責(zé)任公司