本發(fā)明涉及一種視頻質(zhì)量預(yù)測技術(shù)，尤其是涉及一種虛擬視點(diǎn)視頻質(zhì)量預(yù)測方法。

背景技術(shù)：

自由視點(diǎn)視頻(fvv，freeviewpointvideo)系統(tǒng)是在3d視頻系統(tǒng)基礎(chǔ)上的進(jìn)一步發(fā)展，其可以使用戶獲得更好的視覺體驗(yàn)效果，感受到真切的深度感和沉浸感，是新一代多媒體視頻系統(tǒng)的發(fā)展方向。由于受到成本與傳輸帶寬的限制，因此不可能在每一個(gè)視點(diǎn)上都放置一臺相機(jī)。多視點(diǎn)視頻加深度(mvd，multi-viewvideoplusdepth)能夠克服相機(jī)獲取真實(shí)視點(diǎn)能力的限制，滿足用戶自由選擇觀看視角，其已成為自由視點(diǎn)視頻系統(tǒng)中場景的主流表示格式。在自由視點(diǎn)視頻系統(tǒng)中，使用基于深度的虛擬視點(diǎn)繪制(dibr，depthimagebasedrending)技術(shù)可以生成任意位置的虛擬視點(diǎn)視頻，達(dá)到自由觀看效果。

虛擬視點(diǎn)視頻數(shù)據(jù)來源于解碼端，因此，在解碼端，深度視頻和彩色視頻的質(zhì)量及虛擬視點(diǎn)繪制算法的性能會影響虛擬視點(diǎn)視頻的質(zhì)量，從而會影響人類視覺體驗(yàn)效果。若能提前預(yù)測所繪制的虛擬視點(diǎn)視頻的質(zhì)量，則可以根據(jù)虛擬視點(diǎn)視頻的質(zhì)量反饋指導(dǎo)深度視頻編碼、碼率分配和虛擬視點(diǎn)繪制過程等，因此虛擬視點(diǎn)視頻質(zhì)量的預(yù)測具有重要意義。

在基于多視點(diǎn)視頻加深度的自由視點(diǎn)視頻系統(tǒng)中，虛擬視點(diǎn)視頻由解碼端的彩色視頻和與之相對應(yīng)的深度視頻繪制產(chǎn)生。在深度視頻壓縮失真的條件下，虛擬視點(diǎn)視頻質(zhì)量影響的重要因素為：一個(gè)是深度視頻的失真幅度；另一個(gè)就是虛擬視點(diǎn)繪制過程中的三維變換過程，兩部分相互聯(lián)系。對于第一個(gè)重要因素，深度值決定虛擬視點(diǎn)視頻中的每幀圖像中的像素位置的偏移量，深度失真的大小決定了像素偏移失真的程度。對于第二個(gè)重要因素，當(dāng)相機(jī)水平平行放置時(shí)，三維變化過程其實(shí)為視差補(bǔ)償?shù)倪^程，通過公式可以將深度值轉(zhuǎn)化為視差值，其中，dp表示視差值，b表示相機(jī)間的基線距離，f表示相機(jī)的焦距，znear為最近實(shí)際景深，zfar為最遠(yuǎn)實(shí)際景深，v表示深度值；通過上式變換得到的視差值一般為小數(shù)，這就表明經(jīng)過投影后參考視點(diǎn)中的像素點(diǎn)被投影到半像素位置，因此需再經(jīng)過像素插值，將半像素位置的像素點(diǎn)插值到整像素位置，如：假設(shè)通過三維變換以后，參考視點(diǎn)中坐標(biāo)位置為xi處的像素點(diǎn)投影到虛擬視點(diǎn)圖像空間中坐標(biāo)位置為xi'處，它們之間的視差為dpi，則它們之間有如下等式關(guān)系：h(xi)＝xi'，xi'＝xi-dpi，其中，h()為三維變換函數(shù)。

深度視頻失真會導(dǎo)致繪制的虛擬視點(diǎn)視頻產(chǎn)生失真，若要計(jì)算由失真深度視頻和原始彩色視頻繪制的虛擬視點(diǎn)視頻的質(zhì)量，則需要通過下面步驟：首先，通過原始深度視頻和原始彩色視頻繪制虛擬視點(diǎn)視頻；然后，通過失真深度視頻和原始彩色視頻繪制虛擬視點(diǎn)視頻；最后，將原始深度視頻和原始彩色視頻繪制的虛擬視點(diǎn)視頻作為參考虛擬視點(diǎn)視頻，將失真深度視頻和原始彩色視頻繪制的虛擬視點(diǎn)視頻作為失真虛擬視點(diǎn)視頻，以參考虛擬視點(diǎn)視頻為基準(zhǔn)，求出失真虛擬視點(diǎn)視頻的質(zhì)量。

通過上述過程，可以準(zhǔn)確地求出失真深度視頻所繪制的虛擬視點(diǎn)視頻的質(zhì)量，但是上述過程較為繁復(fù)，且需要進(jìn)行兩次虛擬視點(diǎn)繪制，復(fù)雜度較高。為了有效地預(yù)測出虛擬視點(diǎn)視頻的質(zhì)量，分析虛擬視點(diǎn)質(zhì)量影響機(jī)制，眾多研究學(xué)者展開了研究。已有的虛擬視點(diǎn)視頻質(zhì)量預(yù)測算法通過建立自回歸模型，預(yù)測失真虛擬視點(diǎn)視頻的質(zhì)量，具體過程如下：首先，將原始深度視頻和失真深度視頻作差，求出失真深度視頻對應(yīng)的視差偏移失真；然后，將原始彩色視頻中的每幀彩色圖像分為互不重疊的圖像塊，將每幀彩色圖像中的任一個(gè)圖像塊記為x，x中包含有n個(gè)像素點(diǎn)，其中，64≤n≤1024，這里取n＝256；接著，根據(jù)像素點(diǎn)視差偏移求出x對應(yīng)的偏移塊，記為x'，將x'中的第n個(gè)像素點(diǎn)的像素值記為xn'，其中，1≤n≤n，xn表示x中的第n個(gè)像素點(diǎn)的像素值，δpn表示x中的第n個(gè)像素點(diǎn)對應(yīng)的像素位置偏移失真，表示x中的第n+δpn個(gè)像素點(diǎn)的像素值，若偏移失真后像素位置超出邊界，則用圖像邊界處像素代替；再計(jì)算x和x'的相關(guān)系數(shù)，記為ρ，其中，cov(x,x')表示計(jì)算x中的所有像素點(diǎn)的像素值與x'中的所有像素點(diǎn)的像素值之間的協(xié)方差，σx表示x中的所有像素點(diǎn)的像素值的方差，σx'表示x'中的所有像素點(diǎn)的像素值的方差；之后，計(jì)算x'的誤差平方和，記為sse，利用自回歸模型可以將x和x'的相關(guān)系數(shù)ρ近似為ρn表示x中僅第n個(gè)像素點(diǎn)偏移時(shí)求得的x和x'的相關(guān)系數(shù)，符號“||”為取絕對值符號，因此sse可近似寫為最后，根據(jù)所有偏移塊的誤差平方和，預(yù)測出失真虛擬視點(diǎn)視頻中的每幀虛擬視點(diǎn)圖像的峰值信噪比(psnr，peaksignaltonoiseratio)值。由于該方法沒有考慮對象邊界遮擋對虛擬視點(diǎn)視頻質(zhì)量的影響，因此，預(yù)測出的虛擬視點(diǎn)視頻的psnr值與原始psnr值相關(guān)性較弱。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種時(shí)間復(fù)雜度低的虛擬視點(diǎn)視頻質(zhì)量預(yù)測方法，其充分考慮了虛擬視點(diǎn)繪制質(zhì)量的各影響因子，使得在深度視頻存在壓縮失真條件下，能夠有效地預(yù)測出虛擬視點(diǎn)視頻質(zhì)量。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種虛擬視點(diǎn)視頻質(zhì)量預(yù)測方法，其特征在于包括以下步驟：

①將原始彩色視頻記為ico，將與ico對應(yīng)的原始深度視頻記為ivo；使用htm平臺，并采用設(shè)定的編碼量化參數(shù)對ivo進(jìn)行壓縮，得到設(shè)定的編碼量化參數(shù)下的失真深度視頻，記為ivd；將ico中的第m幀彩色圖像記為將ivo中的第m幀深度圖像記為將ivd中的第m幀失真深度圖像記為其中，設(shè)定的編碼量化參數(shù)的取值范圍為[0，51]，ico中的每幀彩色圖像的寬度、ivo中的每幀深度圖像的寬度、ivd中的每幀失真深度圖像的寬度均為w，ico中的每幀彩色圖像的高度、ivo中的每幀深度圖像的高度、ivd中的每幀失真深度圖像的高度均為h，1≤m≤m，m表示ico中包含的彩色圖像的總幀數(shù)，亦表示ivo中包含的深度圖像的總幀數(shù)，亦表示ivd中包含的失真深度圖像的總幀數(shù)；

②利用sobel算子，獲取ico中的每幀彩色圖像的梯度圖像，將的梯度圖像記為同樣，利用sobel算子，獲取ivo中的每幀深度圖像的梯度圖像，將的梯度圖像記為其中，和的寬度均為w，和的高度均為h；

③計(jì)算ivo中的每幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像，將與的深度差值圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，的寬度為w，的高度為h，1≤x≤w,1≤y≤h；

④獲取ivo中的每幀深度圖像的視差圖像，將的視差圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為然后對ivo中的每幀深度圖像的視差圖像中的所有像素點(diǎn)的像素值進(jìn)行四舍五入運(yùn)算，得到ivo中的每幀深度圖像的整型視差圖像，將的整型視差圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，和的寬度均為w，和的高度均為h；

同樣，獲取ivd中的每幀失真深度圖像的視差圖像，將的視差圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為然后對ivd中的每幀失真深度圖像的視差圖像中的所有像素點(diǎn)的像素值進(jìn)行四舍五入運(yùn)算，得到ivd中的每幀失真深度圖像的整型視差圖像，將的整型視差圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，和的寬度均為w，和的高度均為h；

⑤根據(jù)ivd中的每幀失真深度圖像的整型視差圖像，對ico中的每幀彩色圖像進(jìn)行投影，獲取ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像，令表示對應(yīng)的失真虛擬視點(diǎn)圖像，將中的每個(gè)像素點(diǎn)的像素值初始化為0，將中坐標(biāo)位置為(x',y)的像素點(diǎn)的像素值記為且滿足1≤x'≤w時(shí)其中，的寬度為w，的高度為h，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；

⑥獲取ivd中的每幀失真深度圖像對應(yīng)的掩模圖像，將對應(yīng)的掩模圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，的寬度為w，的高度為h，符號為向下取整運(yùn)算符號，符號為向上取整運(yùn)算符號；

⑦根據(jù)ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像，及ivd中的每幀失真深度圖像對應(yīng)的掩模圖像，獲取ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像中的每個(gè)像素點(diǎn)的虛擬視點(diǎn)失真大小，將中坐標(biāo)位置為(x,y)的像素點(diǎn)的虛擬視點(diǎn)失真大小記為然后對ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像中的每個(gè)像素點(diǎn)的虛擬視點(diǎn)失真大小進(jìn)行平方運(yùn)算，得到ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像的標(biāo)簽圖像，將的標(biāo)簽圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，的寬度為w，的高度為h，表示中坐標(biāo)位置為(x”,y)的像素點(diǎn)的像素值，且滿足1≤x"≤w，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；

⑧將ico中的每幀彩色圖像、ivo中的每幀深度圖像、ico中的每幀彩色圖像的梯度圖像、ivo中的每幀深度圖像的梯度圖像、ivo中的每幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像、ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像的標(biāo)簽圖像分別劃分為u×v個(gè)互不重疊的分割塊；然后計(jì)算ico中的每幀彩色圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值和方差，計(jì)算ivo中的每幀深度圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值和方差，計(jì)算ico中的每幀彩色圖像的梯度圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值，計(jì)算ivo中的每幀深度圖像的梯度圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值，計(jì)算ivo中的每幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值，計(jì)算中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值；其中，如果w能被n整除，則如果w不能被n整除，則如果h能被n整除，則如果h不能被n整除，則n的取值為8或16或32或64；

⑨將ico中的第1幀彩色圖像中的各個(gè)分割塊對應(yīng)的均值和方差、ivo中的第1幀深度圖像中的各個(gè)分割塊對應(yīng)的均值和方差、ico中的第1幀彩色圖像的梯度圖像中的各個(gè)分割塊對應(yīng)的均值、ivo中的第1幀深度圖像的梯度圖像中的各個(gè)分割塊對應(yīng)的均值、ivo中的第1幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像中的各個(gè)分割塊對應(yīng)的均值作為訓(xùn)練特征，將中的各個(gè)分割塊對應(yīng)的均值作為訓(xùn)練標(biāo)簽，將訓(xùn)練特征和訓(xùn)練標(biāo)簽組合成訓(xùn)練樣本；然后使用svm對訓(xùn)練樣本進(jìn)行訓(xùn)練，得到svm回歸模型，描述為：其中，f()為函數(shù)表示形式，ch為訓(xùn)練特征，f(ch)為訓(xùn)練標(biāo)簽，w為f()的權(quán)重矢量，w^t為w的轉(zhuǎn)置，b為偏置項(xiàng)，為核函數(shù)；

⑩將ico中的第m'幀彩色圖像中的各個(gè)分割塊對應(yīng)的均值和方差、ivo中的第m'幀深度圖像中的各個(gè)分割塊對應(yīng)的均值和方差、ico中的第m'幀彩色圖像的梯度圖像中的各個(gè)分割塊對應(yīng)的均值、ivo中的第m'幀深度圖像的梯度圖像中的各個(gè)分割塊對應(yīng)的均值、ivo中的第m'幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像中的各個(gè)分割塊對應(yīng)的均值作為測試特征；然后利用svm回歸模型對測試特征進(jìn)行測試，得到u×v個(gè)輸出值，u×v個(gè)輸出值一一對應(yīng)為ivd中的第m'幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像的標(biāo)簽圖像中的每個(gè)分割塊對應(yīng)的測試均值；接著計(jì)算ivd中的第m'幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像的psnr值，記為最后計(jì)算由所有失真虛擬視點(diǎn)圖像構(gòu)成的失真虛擬視點(diǎn)視頻的質(zhì)量值，記為q，其中，2≤m'≤m，表示中坐標(biāo)位置為(u,v)的分割塊對應(yīng)的測試均值。

所述的步驟③中其中，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值即深度值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值即深度值，符號“||”為取絕對值符號。

所述的步驟④中其中，b表示相機(jī)間的基線距離，f表示相機(jī)的焦距，znear為最近實(shí)際景深，zfar為最遠(yuǎn)實(shí)際景深，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值即深度值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值即深度值。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

1)本發(fā)明方法充分考慮了繪制過程中深度失真引入的繪制失真，失真深度視頻中的每幀失真深度圖像對應(yīng)的掩膜圖像表示出了不滿足失真容限的區(qū)域，根據(jù)不滿足失真容限區(qū)域可以獲取此區(qū)域深度失真引入的虛擬視點(diǎn)失真的大小，從而可以得到準(zhǔn)確的訓(xùn)練標(biāo)簽，同時(shí)避免了計(jì)算所有像素點(diǎn)，僅需計(jì)算少量的不滿足失真容限區(qū)域的像素點(diǎn)即可，節(jié)省了時(shí)間。

2)本發(fā)明方法充分考慮了虛擬視點(diǎn)視頻質(zhì)量的各種影響因子，通過分析得到各種影響因子對虛擬視點(diǎn)視頻質(zhì)量影響，來建立合理有效的訓(xùn)練特征和測試特征，用于虛擬視點(diǎn)視頻質(zhì)量預(yù)測模型的訓(xùn)練和虛擬視點(diǎn)視頻質(zhì)量的預(yù)測，在訓(xùn)練和測試的過程中，選取的特征并非越多越好，而是與訓(xùn)練標(biāo)簽相關(guān)性越強(qiáng)越好，分析和測試結(jié)果表明，本發(fā)明方法選取的訓(xùn)練特征合理有效，與訓(xùn)練標(biāo)簽具有較強(qiáng)的相關(guān)性。

3)本發(fā)明方法利用支持向量機(jī)回歸模型，可以有效的模擬虛擬視點(diǎn)失真和各影響因子之間的隱函數(shù)關(guān)系，可以避免主觀設(shè)計(jì)函數(shù)和模型不準(zhǔn)的影響，減小預(yù)測誤差。

4)通過實(shí)驗(yàn)結(jié)果可以看出，本發(fā)明方法可以有效地預(yù)測虛擬視點(diǎn)視頻的質(zhì)量，而且每幀用的時(shí)間遠(yuǎn)遠(yuǎn)小于現(xiàn)有的算法，預(yù)測結(jié)果也更為精確，訓(xùn)練的函數(shù)關(guān)系方便移植，可以用于指導(dǎo)深度視頻編碼。

附圖說明

圖1為本發(fā)明方法的總體實(shí)現(xiàn)框圖；

圖2a為“balloons”彩色視頻序列第3視點(diǎn)第1幀原始彩色圖像；

圖2b為“balloons”深度視頻序列第3視點(diǎn)第1幀原始深度圖像；

圖2c為圖2b所示的原始深度圖經(jīng)壓縮后得到的失真深度圖像(編碼量化參數(shù)為40)；

圖2d為圖2b所示的原始深度圖像與圖2c所示的失真深度圖像的深度差值圖像；

圖2e為圖2c所示的失真深度圖像對應(yīng)的掩模圖像；

圖2f為圖2c所示的失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像中的所有像素點(diǎn)的虛擬視點(diǎn)失真大小構(gòu)成的圖像。

具體實(shí)施方式

以下結(jié)合附圖實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)描述。

本發(fā)明提出的一種虛擬視點(diǎn)視頻質(zhì)量預(yù)測方法，其總體實(shí)現(xiàn)框圖如圖1所示，其包括以下步驟：

①將原始彩色視頻記為ico，將與ico對應(yīng)的原始深度視頻記為ivo；使用htm平臺，并采用設(shè)定的編碼量化參數(shù)對ivo進(jìn)行壓縮，得到設(shè)定的編碼量化參數(shù)下的失真深度視頻，記為ivd；將ico中的第m幀彩色圖像記為將ivo中的第m幀深度圖像記為將ivd中的第m幀失真深度圖像記為其中，設(shè)定的編碼量化參數(shù)的取值范圍為[0，51]，在本實(shí)施例中設(shè)定的編碼量化參數(shù)如可取25、30、35或40，ico中的每幀彩色圖像的寬度、ivo中的每幀深度圖像的寬度、ivd中的每幀失真深度圖像的寬度均為w，ico中的每幀彩色圖像的高度、ivo中的每幀深度圖像的高度、ivd中的每幀失真深度圖像的高度均為h，在本實(shí)施例中取w＝1024且h＝768，1≤m≤m，m表示ico中包含的彩色圖像的總幀數(shù)，亦表示ivo中包含的深度圖像的總幀數(shù)，亦表示ivd中包含的失真深度圖像的總幀數(shù)。

圖2a給出了“balloons”彩色視頻序列第3視點(diǎn)第1幀原始彩色圖像；圖2b給出了“balloons”深度視頻序列第3視點(diǎn)第1幀原始深度圖像；圖2c給出了圖2b所示的原始深度圖經(jīng)壓縮后得到的失真深度圖像(編碼量化參數(shù)為40)。

②利用sobel算子，獲取ico中的每幀彩色圖像的梯度圖像，將的梯度圖像記為同樣，利用sobel算子，獲取ivo中的每幀深度圖像的梯度圖像，將的梯度圖像記為其中，和的寬度均為w，和的高度均為h。

③計(jì)算ivo中的每幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像，將與的深度差值圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，的寬度為w，的高度為h，1≤x≤w,1≤y≤h。

在此具體實(shí)施例中，步驟③中其中，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值即深度值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值即深度值，符號“||”為取絕對值符號。

圖2d給出了圖2b所示的原始深度圖像與圖2c所示的失真深度圖像的深度差值圖像。

④獲取ivo中的每幀深度圖像的視差圖像，將的視差圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為然后對ivo中的每幀深度圖像的視差圖像中的所有像素點(diǎn)的像素值進(jìn)行四舍五入運(yùn)算，得到ivo中的每幀深度圖像的整型視差圖像，將的整型視差圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，和的寬度均為w，和的高度均為h。

同樣，獲取ivd中的每幀失真深度圖像的視差圖像，將的視差圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為然后對ivd中的每幀失真深度圖像的視差圖像中的所有像素點(diǎn)的像素值進(jìn)行四舍五入運(yùn)算，得到ivd中的每幀失真深度圖像的整型視差圖像，將的整型視差圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，和的寬度均為w，和的高度均為h。

在此具體實(shí)施例中，步驟④中其中，b表示相機(jī)間的基線距離，f表示相機(jī)的焦距，znear為最近實(shí)際景深，zfar為最遠(yuǎn)實(shí)際景深，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值即深度值，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值即深度值。

⑤根據(jù)ivd中的每幀失真深度圖像的整型視差圖像，對ico中的每幀彩色圖像進(jìn)行投影，獲取ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像，令表示對應(yīng)的失真虛擬視點(diǎn)圖像，將中的每個(gè)像素點(diǎn)的像素值初始化為0，將中坐標(biāo)位置為(x',y)的像素點(diǎn)的像素值記為且滿足1≤x'≤w時(shí)其中，的寬度為w，的高度為h，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；且x'<1或x'>w時(shí)則丟棄中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值

⑥獲取ivd中的每幀失真深度圖像對應(yīng)的掩模圖像，將對應(yīng)的掩模圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，的寬度為w，的高度為h，符號為向下取整運(yùn)算符號，符號為向上取整運(yùn)算符號。

圖2e給出了圖2c所示的失真深度圖像對應(yīng)的掩模圖像。

⑦根據(jù)ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像，及ivd中的每幀失真深度圖像對應(yīng)的掩模圖像，獲取ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像中的每個(gè)像素點(diǎn)的虛擬視點(diǎn)失真大小，將中坐標(biāo)位置為(x,y)的像素點(diǎn)的虛擬視點(diǎn)失真大小記為然后對ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像中的每個(gè)像素點(diǎn)的虛擬視點(diǎn)失真大小進(jìn)行平方運(yùn)算，得到ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像的標(biāo)簽圖像，將的標(biāo)簽圖像記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，的寬度為w，的高度為h，表示中坐標(biāo)位置為(x”,y)的像素點(diǎn)的像素值，且滿足1≤x"≤w，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。

圖2f給出了圖2c所示的失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像中的所有像素點(diǎn)的虛擬視點(diǎn)失真大小構(gòu)成的圖像。

⑧將ico中的每幀彩色圖像、ivo中的每幀深度圖像、ico中的每幀彩色圖像的梯度圖像、ivo中的每幀深度圖像的梯度圖像、ivo中的每幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像、ivd中的每幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像的標(biāo)簽圖像分別劃分為u×v個(gè)互不重疊的分割塊；然后計(jì)算ico中的每幀彩色圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值和方差，計(jì)算ivo中的每幀深度圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值和方差，計(jì)算ico中的每幀彩色圖像的梯度圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值，計(jì)算ivo中的每幀深度圖像的梯度圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值，計(jì)算ivo中的每幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值，計(jì)算中的每個(gè)分割塊中的所有像素點(diǎn)的像素值的均值；其中，如果w能被n整除，則如果w不能被n整除，則如果h能被n整除，則如果h不能被n整除，則n的取值為8或16或32或64，在本實(shí)施例中取n＝64，當(dāng)w能被n整除且h也能被n整除時(shí)，每個(gè)分割塊的尺寸大小為n×n；當(dāng)w能被n整除而h不能被n整除時(shí)，除最后一行分割塊外的所有分割塊的尺寸大小為n×n；當(dāng)w不能被n整除而h能被n整除時(shí)，除最后一列分割塊外的所有分割塊的尺寸大小為n×n；當(dāng)w不能被n整除且h也不能被n整除時(shí)，除最后一行和最后一列分割塊外的所有分割塊的尺寸大小為n×n，即當(dāng)圖像不能整數(shù)分割時(shí)將邊界剩余部分也作為一個(gè)分割塊。

⑨將ico中的第1幀彩色圖像中的各個(gè)分割塊對應(yīng)的均值和方差、ivo中的第1幀深度圖像中的各個(gè)分割塊對應(yīng)的均值和方差、ico中的第1幀彩色圖像的梯度圖像中的各個(gè)分割塊對應(yīng)的均值、ivo中的第1幀深度圖像的梯度圖像中的各個(gè)分割塊對應(yīng)的均值、ivo中的第1幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像中的各個(gè)分割塊對應(yīng)的均值作為訓(xùn)練特征，將中的各個(gè)分割塊對應(yīng)的均值作為訓(xùn)練標(biāo)簽，將訓(xùn)練特征和訓(xùn)練標(biāo)簽組合成訓(xùn)練樣本；然后使用svm對訓(xùn)練樣本進(jìn)行訓(xùn)練，得到svm回歸模型，描述為：其中，f()為函數(shù)表示形式，ch為訓(xùn)練特征，f(ch)為訓(xùn)練標(biāo)簽，w為f()的權(quán)重矢量，w^t為w的轉(zhuǎn)置，b為偏置項(xiàng)，為核函數(shù)，在本實(shí)施例中采用徑向基核。

⑩將ico中的第m'幀彩色圖像中的各個(gè)分割塊對應(yīng)的均值和方差、ivo中的第m'幀深度圖像中的各個(gè)分割塊對應(yīng)的均值和方差、ico中的第m'幀彩色圖像的梯度圖像中的各個(gè)分割塊對應(yīng)的均值、ivo中的第m'幀深度圖像的梯度圖像中的各個(gè)分割塊對應(yīng)的均值、ivo中的第m'幀深度圖像與ivd中對應(yīng)的失真深度圖像的深度差值圖像中的各個(gè)分割塊對應(yīng)的均值作為測試特征；然后利用svm回歸模型對測試特征進(jìn)行測試，得到u×v個(gè)輸出值，u×v個(gè)輸出值一一對應(yīng)為ivd中的第m'幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像的標(biāo)簽圖像中的每個(gè)分割塊對應(yīng)的測試均值；接著計(jì)算ivd中的第m'幀失真深度圖像對應(yīng)的失真虛擬視點(diǎn)圖像的psnr值，記為最后計(jì)算由所有失真虛擬視點(diǎn)圖像構(gòu)成的失真虛擬視點(diǎn)視頻的質(zhì)量值，記為q，其中，2≤m'≤m，表示中坐標(biāo)位置為(u,v)的分割塊對應(yīng)的測試均值。

為了驗(yàn)證本發(fā)明方法的性能，本發(fā)明采用如下測試序列驗(yàn)證本發(fā)明方法的性能：nagoya提供的balloons序列、kendo序列；etri/mpegkoreaforum提供的lovebird1序列；gist提供的newspaper序列；hhi提供的altmoabit序列、bookarrival序列、doorflowers序列和leavelaptop序列。表1給出了上述測試序列的詳細(xì)信息，表1中視點(diǎn)8,10→9表示第9視點(diǎn)是由第8視點(diǎn)和第10視點(diǎn)兩視點(diǎn)繪制得到。為了模擬壓縮失真，分別使用htm平臺對上述測試序列的深度視頻進(jìn)行壓縮，深度編碼單元的最大分割深度為0，編碼量化參數(shù)(qp)分別選為25、30、35和40。

表1測試序列詳細(xì)信息

為了驗(yàn)證本發(fā)明方法的性能，分別比較了預(yù)測結(jié)果一致性、準(zhǔn)確性和預(yù)測速度。

表2給出了分別利用本發(fā)明方法和背景技術(shù)中的虛擬視點(diǎn)視頻質(zhì)量預(yù)測算法，對采用25、30、35和40四個(gè)不同編碼量化參數(shù)壓縮后的失真深度視頻估計(jì)得到的失真虛擬視點(diǎn)視頻的質(zhì)量值(psnr值)，原始未壓縮的深度圖繪制的虛擬視點(diǎn)圖像作為參考圖像。從表2中可以看出，利用本發(fā)明方法得到的失真虛擬視點(diǎn)視頻的psnr值與原始psnr值較為接近，且增長幅度較為一致。

表2分別利用本發(fā)明方法和背景技術(shù)中的虛擬視點(diǎn)視頻質(zhì)量預(yù)測算法，對采用25、30、35和40四個(gè)不同編碼量化參數(shù)壓縮后的失真深度視頻估計(jì)得到的失真虛擬視點(diǎn)視頻的質(zhì)量值(psnr值)

表3給出了本發(fā)明方法和背景技術(shù)中的虛擬視點(diǎn)視頻質(zhì)量預(yù)測算法的均方根誤差、斯皮爾曼相關(guān)系數(shù)和皮爾遜相關(guān)系數(shù)。從表3中可以看出，本發(fā)明方法的斯皮爾曼相關(guān)系數(shù)和皮爾遜相關(guān)系數(shù)分別為0.8865和0.8659，而背景技術(shù)中的虛擬視點(diǎn)視頻質(zhì)量預(yù)測算法的斯皮爾曼相關(guān)系數(shù)和皮爾遜相關(guān)系數(shù)為0.8032和0.8549，都低于本發(fā)明方法，說明本發(fā)明方法預(yù)測的psnr和原始psnr的相關(guān)性強(qiáng)。本發(fā)明方法的均方根誤差為0.7097，而背景技術(shù)中的虛擬視點(diǎn)視頻質(zhì)量預(yù)測算法的均方根誤差為0.7264，誤差比本發(fā)明方法大，可以看出本發(fā)明方法預(yù)測的psnr值和原始psnr誤差較小，更加準(zhǔn)確。同時(shí)本發(fā)明方法預(yù)測psnr時(shí)所用的時(shí)間遠(yuǎn)遠(yuǎn)小于背景技術(shù)中的虛擬視點(diǎn)視頻質(zhì)量預(yù)測算法，時(shí)間復(fù)雜度低。

表3本發(fā)明方法和背景技術(shù)中的虛擬視點(diǎn)視頻質(zhì)量預(yù)測算法的均方根誤差、斯皮爾曼相關(guān)系數(shù)和皮爾遜相關(guān)系數(shù)