本發(fā)明涉及一種圖像質(zhì)量評(píng)價(jià)方法，尤其是涉及一種結(jié)合JND(Just-noticeable-distortion，恰可察覺(jué)失真)模型的交叉驗(yàn)證深度圖質(zhì)量評(píng)價(jià)方法。
背景技術(shù)：
：近年來(lái)，視頻技術(shù)迅速發(fā)展，出現(xiàn)了許多新的應(yīng)用，如3D視頻和自由視點(diǎn)視頻(FVV，F(xiàn)reeViewpointVideo)。與傳統(tǒng)的二維視頻相比，3D視頻提供了深度信息，帶來(lái)了更逼真的視覺(jué)體驗(yàn)。深度圖在許多3D視頻應(yīng)用中起著基本作用，例如，深度圖可以用于通過(guò)在可用視點(diǎn)處內(nèi)插或外推圖像來(lái)生成任意新視點(diǎn)圖像；此外，高質(zhì)量的深度圖為解決計(jì)算機(jī)視覺(jué)中的具有挑戰(zhàn)性的問(wèn)題提供了幫助。許多3D視頻應(yīng)用的性能受益于準(zhǔn)確和高質(zhì)量的深度圖的估計(jì)或采集，可以通過(guò)匹配經(jīng)校正的彩色圖像或使用深度相機(jī)來(lái)獲得深度圖。在立體匹配技術(shù)中，由于受遮擋和大面積均勻區(qū)域的影響，因此常常會(huì)產(chǎn)生不準(zhǔn)確的深度圖，雖然立體匹配算法的固有困難可以使用深度相機(jī)來(lái)解決，但是不可避免的傳感器噪聲問(wèn)題依然存在，影響了深度的精度和對(duì)象的形態(tài)。3D視頻技術(shù)的一個(gè)主要發(fā)展方向是基于彩色加深度的自由視點(diǎn)視頻系統(tǒng)，該系統(tǒng)的基本框架包括采集、預(yù)處理、編碼、傳輸、解碼、虛擬視點(diǎn)圖像繪制和顯示等環(huán)節(jié)。基于彩色加深度的自由視點(diǎn)視頻系統(tǒng)能讓用戶自由地選擇任意位置的視點(diǎn)進(jìn)行觀看，增強(qiáng)了人機(jī)交互性。實(shí)現(xiàn)自由視點(diǎn)視頻系統(tǒng)的一項(xiàng)關(guān)鍵技術(shù)就是虛擬視點(diǎn)生成技術(shù)，它的主要用途是克服相機(jī)獲取真實(shí)視點(diǎn)能力的限制，產(chǎn)生任意位置的虛擬視點(diǎn)。影響虛擬視點(diǎn)質(zhì)量的因素主要有兩個(gè)：一是深度圖和對(duì)應(yīng)彩色圖像的質(zhì)量；二是虛擬視點(diǎn)繪制算法。目前，基于深度圖的繪制(DIBR，DepthImageBasedRendering)技術(shù)是業(yè)界應(yīng)用最為廣泛的一種虛擬視點(diǎn)生成技術(shù)。在基于深度圖的繪制技術(shù)中，深度信息是生成高質(zhì)量的虛擬視點(diǎn)的關(guān)鍵，深度信息錯(cuò)誤將導(dǎo)致視差錯(cuò)誤，造成虛擬視點(diǎn)中像素位置的偏移和對(duì)象扭曲，影響用戶感知。深度信息代表的是對(duì)應(yīng)場(chǎng)景到相機(jī)成像平面的距離信息，它將實(shí)際距離值量化到[0，255]。由于深度相機(jī)價(jià)格昂貴，因此目前用于測(cè)試的深度圖大多通過(guò)深度估計(jì)軟件得到。為了推廣應(yīng)用和降低成本，用于虛擬視點(diǎn)繪制的深度信息不適合在接收端通過(guò)深度估計(jì)產(chǎn)生，需要在發(fā)送端采集或者估計(jì)，然后編碼傳送給接收端。因此，深度圖獲取算法的限制和深度圖編碼會(huì)導(dǎo)致深度估計(jì)不準(zhǔn)和深度壓縮失真?；谏疃葓D的繪制技術(shù)的核心思想為利用深度信息和相機(jī)參數(shù)將參考圖像中的像素投影到目標(biāo)虛擬視點(diǎn)，一般可以分為兩步，首先將原參考視點(diǎn)中的像素利用其深度信息重投影到它們對(duì)應(yīng)的三維空間位置；然后根據(jù)虛擬視點(diǎn)的位置(如相機(jī)平移、旋轉(zhuǎn)參數(shù)等)將這些三維空間點(diǎn)再投影到虛擬相機(jī)平面進(jìn)行成像得到虛擬視點(diǎn)中的像素。虛擬視點(diǎn)繪制時(shí)，需要將深度轉(zhuǎn)化為視差，通過(guò)視差可求得參考像素點(diǎn)在虛擬視點(diǎn)中的位置，深度值決定了參考視點(diǎn)中的像素的偏移距離。若相鄰像素的深度值變化劇烈，則會(huì)在兩像素之間產(chǎn)生空洞，深度值變化越尖銳，則產(chǎn)生的空洞越大。由于前背景交界處深度值變化較大，因此空洞的產(chǎn)生一般位于前背景交界處。當(dāng)參考圖像中被前景對(duì)象遮擋的背景區(qū)域在虛擬圖像中可見時(shí)，虛擬圖像中將出現(xiàn)空洞，而當(dāng)參考圖像中未被前景對(duì)象遮擋的背景區(qū)域在虛擬圖像中不可見時(shí)，則發(fā)生遮擋。虛擬視點(diǎn)失真大多為虛擬視點(diǎn)中像素位置偏移和對(duì)象扭曲，檢測(cè)出的失真區(qū)域并非都可以很好地被人眼所察覺(jué)。圖像由邊緣、紋理及平坦區(qū)域三部分構(gòu)成，不同區(qū)域不同幅度的失真對(duì)人眼視覺(jué)效果的影響不盡相同，紋理復(fù)雜度較高或紋理特征相似的區(qū)域往往可以容忍更多的失真，而邊緣附近的變化則最能引起人眼的視覺(jué)感知。視覺(jué)生理、心理等方面的研究發(fā)現(xiàn)人類視覺(jué)系統(tǒng)特性和掩蔽效應(yīng)對(duì)圖像處理起著非常重要的作用，當(dāng)圖像失真小于某一范圍時(shí)，人眼不能夠感覺(jué)到此種影響，基于此人們提出了恰可察覺(jué)失真(JND，Just-noticeable-distortion)模型。常見的掩蔽效應(yīng)包括：1)亮度掩蔽特性，人眼對(duì)被觀測(cè)物體的絕對(duì)亮度判斷力差，而對(duì)亮度的相對(duì)差異判斷力較強(qiáng)，對(duì)高亮區(qū)所附加的噪聲其敏感性較大；2)紋理掩蔽特性，人類視覺(jué)系統(tǒng)對(duì)圖像平滑區(qū)域的敏感性遠(yuǎn)遠(yuǎn)高于紋理區(qū)域，紋理復(fù)雜度較高的區(qū)域往往可以容忍更多的失真。由于深度圖的廣泛使用，深度圖的質(zhì)量評(píng)估變得至關(guān)重要，能促進(jìn)許多實(shí)際應(yīng)用。例如，在自由視點(diǎn)視頻系統(tǒng)中，檢測(cè)深度失真能幫助進(jìn)行深度增強(qiáng)，通過(guò)深度增強(qiáng)，可以進(jìn)一步提高虛擬視點(diǎn)的質(zhì)量，使觀眾可以享受更好的觀看體驗(yàn)。深度圖的質(zhì)量評(píng)估的一個(gè)簡(jiǎn)單方法是將待測(cè)試的深度圖與無(wú)失真參考深度圖進(jìn)行比較，該方法對(duì)應(yīng)于全參考深度質(zhì)量度量，其可以精確地測(cè)量深度圖的精度，然而，在大多數(shù)實(shí)際應(yīng)用中，由于深度圖的誤差不可避免，無(wú)失真的參考深度圖通常無(wú)法獲得，因此用無(wú)參考評(píng)價(jià)方法評(píng)估深度圖更合理。Xiang等人提出的無(wú)參考深度圖質(zhì)量評(píng)估方案通過(guò)匹配彩色圖像和深度圖的邊緣來(lái)檢測(cè)誤差，計(jì)算壞點(diǎn)率來(lái)評(píng)價(jià)深度圖的質(zhì)量，與繪制得到的虛擬圖像的質(zhì)量有較好的一致性，但是該方案只考慮了邊緣附近的錯(cuò)誤，忽略了其他平滑區(qū)域，所檢測(cè)出來(lái)的只是部分誤差像素，且場(chǎng)景的不同屬性和誤差分布對(duì)該方案的性能影響較大。深度圖并不直接用于觀看，而是作為輔助信息用于繪制虛擬視點(diǎn)，因此需要從應(yīng)用的角度出發(fā)來(lái)評(píng)價(jià)深度圖的質(zhì)量。技術(shù)實(shí)現(xiàn)要素：本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種結(jié)合JND模型的交叉驗(yàn)證深度圖質(zhì)量評(píng)價(jià)方法，其不需要無(wú)失真參考深度圖，且能夠有效地提高評(píng)價(jià)結(jié)果與繪制得到的虛擬視點(diǎn)的質(zhì)量之間的一致性。本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為：一種結(jié)合JND模型的交叉驗(yàn)證深度圖質(zhì)量評(píng)價(jià)方法，其特征在于包括以下步驟：①將待評(píng)價(jià)的深度圖記為Dtar，將Dtar對(duì)應(yīng)的彩色圖記為Τtar，將除Dtar和Τtar所在視點(diǎn)外的另一個(gè)已知視點(diǎn)定義為輔助視點(diǎn)，將輔助視點(diǎn)上的彩色圖記為Tref；然后通過(guò)將Dtar中的所有像素點(diǎn)的像素值轉(zhuǎn)化為視差值，將Τtar中的所有像素點(diǎn)經(jīng)3D-Warping映射到Tref中；其中，Dtar、Τtar和Tref的垂直方向上的像素點(diǎn)的總個(gè)數(shù)為M，Dtar、Τtar和Tref的水平方向上的像素點(diǎn)的總個(gè)數(shù)為N；②令Etar表示尺寸大小與Dtar的尺寸大小相同的差值圖，將Etar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為Etar(x,y)，當(dāng)輔助視點(diǎn)在Dtar和Τtar所在視點(diǎn)的左邊時(shí)，判斷y+dtar,p(x,y)是否大于N，如果是，則令Etar(x,y)＝0，否則，滿足u＝x、v＝y(tǒng)+dtar,p(x,y)，Etar(x,y)＝|Ιtar(x,y)-Ιref(u,v)|；當(dāng)輔助視點(diǎn)在Dtar和Τtar所在視點(diǎn)的右邊時(shí)，判斷y-dtar,p(x,y)是否小于1，如果是，則令Etar(x,y)＝0，否則，滿足u＝x、v＝y(tǒng)-dtar,p(x,y)，Etar(x,y)＝|Ιtar(x,y)-Ιref(u,v)|；其中，1≤x≤M,1≤y≤N，1≤u≤M,1≤v≤N，dtar,p(x,y)表示Dtar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值轉(zhuǎn)化得到的視差值，符號(hào)“||”為取絕對(duì)值符號(hào)，Ιtar(x,y)表示Τtar中坐標(biāo)位置為(x,y)的像素點(diǎn)的亮度分量，Ιref(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的亮度分量；③令C表示尺寸大小與Dtar的尺寸大小相同的遮擋掩膜圖像，將C中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為C(x,y)，將C中的每個(gè)像素點(diǎn)的像素值初始化為0，將Τtar中經(jīng)3D-Warping映射到Tref中坐標(biāo)位置為(u,v)處的像素點(diǎn)的總個(gè)數(shù)記為N(u,v)；當(dāng)N(u,v)＝1時(shí)，令C(x,y)＝0；當(dāng)N(u,v)>1時(shí)，其中，N(u,v)的值為0或?yàn)?或大于1，Dtar(x,y)表示Dtar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，max()為取最大值函數(shù)，1≤x(u,v),i≤M,1≤y(u,v),i≤N，(x(u,v),i,y(u,v),i)表示Τtar中經(jīng)3D-Warping映射到Tref中坐標(biāo)位置為(u,v)處的N(u,v)個(gè)像素點(diǎn)中的第i個(gè)像素點(diǎn)在Τtar中的坐標(biāo)位置，Dtar(x(u,v),i,y(u,v),i)表示Dtar中坐標(biāo)位置為(x(u,v),i,y(u,v),i)的像素點(diǎn)的像素值；④利用C去除Etar中被遮擋的像素點(diǎn)，得到去遮擋后的差值圖，記為E'tar，將E'tar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為E'tar(x,y)，E'tar(x,y)＝Etar(x,y)×(1-C(x,y))；⑤計(jì)算Tref中的每個(gè)像素點(diǎn)的紋理判斷因子，將Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的紋理判斷因子記為z(u,v)，其中，1≤u≤M,1≤v≤N，zh(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的水平方向的紋理判斷因子，zh(u,v)的值為1或0，zh(u,v)＝1表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)為水平方向的紋理像素點(diǎn)，zh(u,v)＝0表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)為水平方向的非紋理像素點(diǎn)，zv(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的垂直方向的紋理判斷因子，zv(u,v)的值為1或0，zv(u,v)＝1表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)為垂直方向的紋理像素點(diǎn)，zv(u,v)＝0表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)為垂直方向的非紋理像素點(diǎn)；⑥令T表示尺寸大小與Tref的尺寸大小相同的區(qū)域標(biāo)記圖，將T中坐標(biāo)位置為(u,v)的像素點(diǎn)的像素值記為T(u,v)，將T中的每個(gè)像素點(diǎn)的像素值初始化為0；利用Canny算子檢測(cè)出Tref中的邊緣區(qū)域，假設(shè)Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于邊緣區(qū)域，則令T(u,v)＝1；假設(shè)Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的紋理判斷因子z(u,v)＝1，則當(dāng)T(u,v)＝0時(shí)確定Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于紋理區(qū)域，并重新令T(u,v)＝2；其中，T(u,v)的值為0或1或2，T(u,v)＝0代表Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于平坦區(qū)域，T(u,v)＝1代表Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于邊緣區(qū)域，T(u,v)＝2代表Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于紋理區(qū)域；⑦引入基于亮度掩蔽和紋理掩蔽效應(yīng)的JND模型，利用JND模型，并根據(jù)Tref中的每個(gè)像素點(diǎn)所屬區(qū)域，計(jì)算Tref中的每個(gè)像素點(diǎn)的誤差可視閾值，將Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的誤差可視閾值記為Th(u,v)，其中，max()為取最大值函數(shù)，min()為取最小值函數(shù)，bg(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的平均背景亮度，mg(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的周圍亮度的最大平均加權(quán)，LA(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的亮度掩蔽效應(yīng)，f(bg(u,v),mg(u,v))＝mg(u,v)×α(bg(u,v))+β(bg(u,v))，α(bg(u,v))＝bg(u,v)×0.0001+0.115，β(bg(u,v))＝0.5-bg(u,v)×0.01；⑧令E表示尺寸大小與Dtar的尺寸大小相同的深度誤差圖，將E中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為E(x,y)，當(dāng)E'tar(x,y)＝0時(shí)，E(x,y)＝0；當(dāng)E'tar(x,y)≠0時(shí)，其中，V(x,y)＝(u,v)表示一個(gè)映射過(guò)程，(x,y)為Τtar中的像素點(diǎn)的坐標(biāo)位置，(u,v)為Tref中的像素點(diǎn)的坐標(biāo)位置，當(dāng)Tref所在視點(diǎn)在Τtar所在視點(diǎn)的左邊時(shí)，滿足u＝x、v＝y(tǒng)+dtar,p(x,y)；當(dāng)Tref所在視點(diǎn)在Τtar所在視點(diǎn)的右邊時(shí)，滿足u＝x、v＝y(tǒng)-dtar,p(x,y)；⑨統(tǒng)計(jì)E中像素值為1的像素點(diǎn)的總個(gè)數(shù)，記為numE；然后計(jì)算Dtar中的錯(cuò)誤像素點(diǎn)的比率作為Dtar的質(zhì)量評(píng)價(jià)值，記為EPR，所述的步驟①中將Dtar中的所有像素點(diǎn)的像素值轉(zhuǎn)化為視差值的具體過(guò)程為：對(duì)于Dtar中坐標(biāo)位置為(x,y)的像素點(diǎn)，將其像素值轉(zhuǎn)化得到的視差值記為dtar,p(x,y)，其中，1≤x≤M,1≤y≤N，b表示相機(jī)間的基線距離，f表示相機(jī)的焦距，Znear為最近實(shí)際景深，Zfar為最遠(yuǎn)實(shí)際景深，Dtar(x,y)表示Dtar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。所述的步驟⑤中zh(u,v)和zv(u,v)的獲取過(guò)程為：⑤_1、計(jì)算Tref中的每個(gè)像素點(diǎn)沿水平方向的差分信號(hào)，將Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)沿水平方向的差分信號(hào)記為dh(u,v)，其中，Iref(u,v+1)表示Tref中坐標(biāo)位置為(u,v+1)的像素點(diǎn)的亮度分量；⑤_2、計(jì)算Tref中的每個(gè)像素點(diǎn)沿水平方向的差分信號(hào)的特征符號(hào)，將dh(u,v)的特征符號(hào)記為symdh(u,v)，⑤_3、計(jì)算zh(u,v)，其中，dhsym(u,v)為中間變量，symdh(u,v+1)表示Tref中坐標(biāo)位置為(u,v+1)的像素點(diǎn)沿水平方向的差分信號(hào)的特征符號(hào)；⑤_4、計(jì)算Tref中的每個(gè)像素點(diǎn)沿垂直方向的差分信號(hào)，將Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)沿垂直方向的差分信號(hào)記為dv(u,v)，其中，Iref(u+1,v)表示Tref中坐標(biāo)位置為(u+1,v)的像素點(diǎn)的亮度分量；⑤_5、計(jì)算Tref中的每個(gè)像素點(diǎn)沿垂直方向的差分信號(hào)的特征符號(hào)，將dv(u,v)的特征符號(hào)記為symdv(u,v)，⑤_6、計(jì)算zv(u,v)，其中，dvsym(u,v)為中間變量，symdv(u+1,v)表示Tref中坐標(biāo)位置為(u+1,v)的像素點(diǎn)沿垂直方向的差分信號(hào)的特征符號(hào)。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：1)本發(fā)明方法充分考慮了深度圖在虛擬視點(diǎn)繪制中的作用，深度圖并不用于直接觀看，而是提供像素位置偏移信息，因此用深度失真造成的虛擬視點(diǎn)失真來(lái)標(biāo)記深度失真區(qū)域更合理。2)本發(fā)明方法深入探索了深度圖失真對(duì)虛擬視點(diǎn)質(zhì)量的影響，深度失真會(huì)造成利用該深度信息繪制得到的虛擬視點(diǎn)中像素位置的偏移和對(duì)象扭曲，對(duì)應(yīng)像素的亮度值錯(cuò)誤，一般深度失真越嚴(yán)重，虛擬視點(diǎn)像素的亮度值誤差越大，從而可以將虛擬視點(diǎn)像素的亮度誤差值作為對(duì)應(yīng)深度像素的誤差標(biāo)記，得到差值圖。3)本發(fā)明方法充分考慮了虛擬視點(diǎn)繪制時(shí)邊界像素的遮擋情況，彩色圖像中的像素點(diǎn)經(jīng)3D-Warping映射到輔助視點(diǎn)上后，物體邊界附近離成像平面較近的像素點(diǎn)可能會(huì)擋住離成像平面較遠(yuǎn)的像素點(diǎn)，由于被遮擋的像素點(diǎn)的失真對(duì)最終虛擬視點(diǎn)的質(zhì)量沒(méi)有影響，因此可以將這些被遮擋的像素點(diǎn)標(biāo)記出來(lái)得到遮擋掩膜，在差值圖中去除被遮擋像素的誤差標(biāo)記，可使得深度圖質(zhì)量評(píng)價(jià)結(jié)果與虛擬視點(diǎn)質(zhì)量客觀結(jié)果更加一致。4)本發(fā)明方法充分考慮了人眼視覺(jué)特性，將輔助視點(diǎn)上的彩色圖像劃分為邊緣、紋理和平坦區(qū)域三個(gè)部分，利用基于亮度掩蔽和紋理掩蔽效應(yīng)的JND模型得到不同部分各像素點(diǎn)的誤差可視閾值，在去遮擋后的差值圖中將映射后小于對(duì)應(yīng)誤差可視閾值的誤差標(biāo)記去除，得到最終的深度誤差圖，使深度圖質(zhì)量評(píng)價(jià)結(jié)果更加符合人眼特性。附圖說(shuō)明圖1為本發(fā)明方法的總體實(shí)現(xiàn)框圖；圖2為交叉驗(yàn)證過(guò)程的示意圖；圖3為遮擋示意圖；圖4a為Cones序列第2視點(diǎn)由AdaptBP方法估計(jì)得到的深度圖；圖4b為圖4a所示的深度圖對(duì)應(yīng)的彩色圖；圖4c為Cones序列第3視點(diǎn)的彩色圖；圖4d為經(jīng)過(guò)交叉驗(yàn)證后得到的圖4a所示的深度圖的差值圖；圖5a為利用圖4a所示的深度圖中的像素點(diǎn)的像素值映射到Cones序列第3視點(diǎn)得到的遮擋掩膜圖像；圖5b為圖4a所示的深度圖對(duì)應(yīng)的去遮擋后的差值圖；圖5c為圖4a所示的深度圖對(duì)應(yīng)的深度誤差圖。具體實(shí)施方式以下結(jié)合附圖實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。本發(fā)明提出的一種結(jié)合JND模型的交叉驗(yàn)證深度圖質(zhì)量評(píng)價(jià)方法，其總體實(shí)現(xiàn)框圖如圖1所示，其包括以下步驟：①將待評(píng)價(jià)的深度圖記為Dtar，將Dtar對(duì)應(yīng)的彩色圖記為Τtar，將除Dtar和Τtar所在視點(diǎn)外的另一個(gè)已知視點(diǎn)定義為輔助視點(diǎn)，將輔助視點(diǎn)上的彩色圖記為Tref；然后通過(guò)將Dtar中的所有像素點(diǎn)的像素值轉(zhuǎn)化為視差值，將Τtar中的所有像素點(diǎn)經(jīng)3D-Warping映射到Tref中；其中，Dtar、Τtar和Tref的垂直方向上的像素點(diǎn)的總個(gè)數(shù)為M，Dtar、Τtar和Tref的水平方向上的像素點(diǎn)的總個(gè)數(shù)為N。在此具體實(shí)施例中，步驟①中將Dtar中的所有像素點(diǎn)的像素值轉(zhuǎn)化為視差值的具體過(guò)程為：對(duì)于Dtar中坐標(biāo)位置為(x,y)的像素點(diǎn)，將其像素值轉(zhuǎn)化得到的視差值記為dtar,p(x,y)，其中，1≤x≤M,1≤y≤N，b表示相機(jī)間的基線距離，f表示相機(jī)的焦距，Znear為最近實(shí)際景深，Zfar為最遠(yuǎn)實(shí)際景深，Dtar(x,y)表示Dtar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。②令Etar表示尺寸大小與Dtar的尺寸大小相同的差值圖，將Etar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為Etar(x,y)，當(dāng)輔助視點(diǎn)在Dtar和Τtar所在視點(diǎn)的左邊時(shí)，判斷y+dtar,p(x,y)是否大于N，如果是，則令Etar(x,y)＝0，否則，滿足u＝x、v＝y(tǒng)+dtar,p(x,y)，Etar(x,y)＝|Ιtar(x,y)-Ιref(u,v)|；當(dāng)輔助視點(diǎn)在Dtar和Τtar所在視點(diǎn)的右邊時(shí)，判斷y-dtar,p(x,y)是否小于1，如果是，則令Etar(x,y)＝0，否則，滿足u＝x、v＝y(tǒng)-dtar,p(x,y)，Etar(x,y)＝|Ιtar(x,y)-Ιref(u,v)|；其中，1≤x≤M,1≤y≤N，1≤u≤M,1≤v≤N，dtar,p(x,y)表示Dtar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值轉(zhuǎn)化得到的視差值，符號(hào)“||”為取絕對(duì)值符號(hào)，Ιtar(x,y)表示Τtar中坐標(biāo)位置為(x,y)的像素點(diǎn)的亮度分量，Ιref(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的亮度分量。步驟①中將Τtar中的所有像素點(diǎn)經(jīng)3D-Warping映射到Tref中的過(guò)程和步驟②的過(guò)程為交叉驗(yàn)證過(guò)程，圖2給出了交叉驗(yàn)證過(guò)程的示意圖，其中，Tl、Tr、Dl、Dr對(duì)應(yīng)表示左視點(diǎn)彩色圖、右視點(diǎn)彩色圖、左視點(diǎn)深度圖和右視點(diǎn)深度圖。當(dāng)要得到左視點(diǎn)深度圖對(duì)應(yīng)的差值圖時(shí)，將右視點(diǎn)彩色圖作為輔助信息進(jìn)行交叉驗(yàn)證。Tl中坐標(biāo)位置為(xl,yl)的像素點(diǎn)對(duì)應(yīng)的亮度值為Ιl1，利用Dl中的深度信息，經(jīng)過(guò)3D-Warping過(guò)程映射到右視點(diǎn)彩色圖Tr上，若超出圖像范圍，則Ld中坐標(biāo)位置為(xl,yl)的像素點(diǎn)賦值為0，若映射到右視點(diǎn)彩色圖Tr中坐標(biāo)位置為(xlr,yl)的像素點(diǎn)處，對(duì)應(yīng)的亮度值為Ιr1，則將兩個(gè)像素點(diǎn)的亮度值的差值|Ιl1-Ιr1|賦給Ld中坐標(biāo)位置為(xl,yl)的像素點(diǎn)，Ld即為左視點(diǎn)深度圖對(duì)應(yīng)的差值圖。同理,要得到右視點(diǎn)深度圖對(duì)應(yīng)的差值圖時(shí)，將左視點(diǎn)彩色圖Tl作為輔助信息進(jìn)行交叉驗(yàn)證，即可得到右視點(diǎn)深度圖對(duì)應(yīng)的差值圖Rd。用Cones序列第2視點(diǎn)由AdaptBP方法估計(jì)得到的深度圖作為待評(píng)價(jià)的深度圖，如圖4a所示；圖4b為圖4a所示深度圖對(duì)應(yīng)的彩色圖；用Cones序列第3視點(diǎn)的彩色圖作為輔助視點(diǎn)上的彩色圖，如圖4c所示；經(jīng)交叉驗(yàn)證后得到的差值圖如圖4d所示。③令C表示尺寸大小與Dtar的尺寸大小相同的遮擋掩膜圖像，將C中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為C(x,y)，將C中的每個(gè)像素點(diǎn)的像素值初始化為0，將Τtar中經(jīng)3D-Warping映射到Tref中坐標(biāo)位置為(u,v)處的像素點(diǎn)的總個(gè)數(shù)記為N(u,v)；當(dāng)N(u,v)＝1時(shí)，令C(x,y)＝0；當(dāng)N(u,v)>1時(shí)，其中，N(u,v)的值為0或?yàn)?或大于1，Dtar(x,y)表示Dtar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，max()為取最大值函數(shù)，1≤x(u,v),i≤M,1≤y(u,v),i≤N，(x(u,v),i,y(u,v),i)表示Τtar中經(jīng)3D-Warping映射到Tref中坐標(biāo)位置為(u,v)處的N(u,v)個(gè)像素點(diǎn)中的第i個(gè)像素點(diǎn)在Τtar中的坐標(biāo)位置，Dtar(x(u,v),i,y(u,v),i)表示Dtar中坐標(biāo)位置為(x(u,v),i,y(u,v),i)的像素點(diǎn)的像素值。圖3給出了遮擋示意圖，左參考視點(diǎn)前景邊界點(diǎn)、背景邊界點(diǎn)從左至右分別表示為右參考視點(diǎn)前景邊界點(diǎn)、背景邊界點(diǎn)從左至右分別表示為在3D-Warping過(guò)程中，左參考視點(diǎn)中的邊界點(diǎn)分別映射到由它繪制的虛擬視點(diǎn)中的同理，右參考視點(diǎn)中的邊界點(diǎn)分別映射到由它繪制的虛擬視點(diǎn)中的在左參考虛擬視圖中，從到這一部分，既有左參考圖像中的前景像素點(diǎn)映射過(guò)來(lái)，也有背景像素點(diǎn)映射過(guò)來(lái)。同樣的，在右參考虛擬視圖中，從到這一部分，既有右參考圖像中的前景像素點(diǎn)映射過(guò)來(lái)，也有背景像素點(diǎn)映射過(guò)來(lái)。這些部分發(fā)生了前景像素點(diǎn)對(duì)背景像素點(diǎn)的遮擋，在進(jìn)行交叉驗(yàn)證后得到的差值圖里，被遮擋的背景像素點(diǎn)也會(huì)被標(biāo)記出來(lái)，但這并不是由于深度值錯(cuò)誤導(dǎo)致的，所以需要將這部分背景像素點(diǎn)去除。經(jīng)過(guò)3D-Warping后，對(duì)于映射到同一位置的像素點(diǎn)，比較其深度值大小，保留深度值最大的像素點(diǎn)，其余像素點(diǎn)標(biāo)記出來(lái)得到遮擋掩膜圖像。用圖4a所示的深度圖作為待評(píng)價(jià)的深度圖，圖4c所示的彩色圖作為輔助視點(diǎn)上的彩色圖，得到的遮擋掩膜圖像如圖5a所示。④利用C去除Etar中被遮擋的像素點(diǎn)，得到去遮擋后的差值圖，記為E'tar，將E'tar中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為E'tar(x,y)，E'tar(x,y)＝Etar(x,y)×(1-C(x,y))。圖5b為在圖4d所示的差值圖中去除圖5a所示的遮擋掩膜圖像中被遮擋的像素點(diǎn)后得到的差值圖。⑤計(jì)算Tref中的每個(gè)像素點(diǎn)的紋理判斷因子，將Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的紋理判斷因子記為z(u,v)，其中，1≤u≤M,1≤v≤N，zh(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的水平方向的紋理判斷因子，zh(u,v)的值為1或0，zh(u,v)＝1表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)為水平方向的紋理像素點(diǎn)，zh(u,v)＝0表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)為水平方向的非紋理像素點(diǎn)，zv(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的垂直方向的紋理判斷因子，zv(u,v)的值為1或0，zv(u,v)＝1表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)為垂直方向的紋理像素點(diǎn)，zv(u,v)＝0表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)為垂直方向的非紋理像素點(diǎn)。在此具體實(shí)施例中，步驟⑤中zh(u,v)和zv(u,v)的獲取過(guò)程為：⑤_1、計(jì)算Tref中的每個(gè)像素點(diǎn)沿水平方向的差分信號(hào)，將Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)沿水平方向的差分信號(hào)記為dh(u,v)，其中，Iref(u,v+1)表示Tref中坐標(biāo)位置為(u,v+1)的像素點(diǎn)的亮度分量。⑤_2、計(jì)算Tref中的每個(gè)像素點(diǎn)沿水平方向的差分信號(hào)的特征符號(hào)，將dh(u,v)的特征符號(hào)記為symdh(u,v)，⑤_3、計(jì)算zh(u,v)，其中，dhsym(u,v)為中間變量，symdh(u,v+1)表示Tref中坐標(biāo)位置為(u,v+1)的像素點(diǎn)沿水平方向的差分信號(hào)的特征符號(hào)。⑤_4、計(jì)算Tref中的每個(gè)像素點(diǎn)沿垂直方向的差分信號(hào)，將Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)沿垂直方向的差分信號(hào)記為dv(u,v)，其中，Iref(u+1,v)表示Tref中坐標(biāo)位置為(u+1,v)的像素點(diǎn)的亮度分量。⑤_5、計(jì)算Tref中的每個(gè)像素點(diǎn)沿垂直方向的差分信號(hào)的特征符號(hào)，將dv(u,v)的特征符號(hào)記為symdv(u,v)，⑤_6、計(jì)算zv(u,v)，其中，dvsym(u,v)為中間變量，symdv(u+1,v)表示Tref中坐標(biāo)位置為(u+1,v)的像素點(diǎn)沿垂直方向的差分信號(hào)的特征符號(hào)。⑥令T表示尺寸大小與Tref的尺寸大小相同的區(qū)域標(biāo)記圖，將T中坐標(biāo)位置為(u,v)的像素點(diǎn)的像素值記為T(u,v)，將T中的每個(gè)像素點(diǎn)的像素值初始化為0；利用Canny算子檢測(cè)出Tref中的邊緣區(qū)域，假設(shè)Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于邊緣區(qū)域，則令T(u,v)＝1；假設(shè)Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的紋理判斷因子z(u,v)＝1，則當(dāng)T(u,v)＝0時(shí)確定Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于紋理區(qū)域，并重新令T(u,v)＝2；其中，T(u,v)的值為0或1或2，T(u,v)＝0代表Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于平坦區(qū)域，T(u,v)＝1代表Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于邊緣區(qū)域，T(u,v)＝2代表Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)屬于紋理區(qū)域。⑦引入基于亮度掩蔽和紋理掩蔽效應(yīng)的JND模型，利用JND模型，并根據(jù)Tref中的每個(gè)像素點(diǎn)所屬區(qū)域，計(jì)算Tref中的每個(gè)像素點(diǎn)的誤差可視閾值，將Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的誤差可視閾值記為Th(u,v)，其中，max()為取最大值函數(shù)，min()為取最小值函數(shù)，bg(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的平均背景亮度，bg(u,v)由加權(quán)的低通算子計(jì)算得到，mg(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的周圍亮度的最大平均加權(quán)，LA(u,v)表示Tref中坐標(biāo)位置為(u,v)的像素點(diǎn)的亮度掩蔽效應(yīng)，f(bg(u,v),mg(u,v))＝mg(u,v)×α(bg(u,v))+β(bg(u,v))，α(bg(u,v))＝bg(u,v)×0.0001+0.115，β(bg(u,v))＝0.5-bg(u,v)×0.01。⑧令E表示尺寸大小與Dtar的尺寸大小相同的深度誤差圖，將E中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為E(x,y)，當(dāng)E'tar(x,y)＝0時(shí)，E(x,y)＝0；當(dāng)E'tar(x,y)≠0時(shí)，其中，V(x,y)＝(u,v)表示一個(gè)映射過(guò)程，(x,y)為Τtar中的像素點(diǎn)的坐標(biāo)位置，(u,v)為Tref中的像素點(diǎn)的坐標(biāo)位置，當(dāng)Tref所在視點(diǎn)在Τtar所在視點(diǎn)的左邊時(shí)，滿足u＝x、v＝y(tǒng)+dtar,p(x,y)；當(dāng)Tref所在視點(diǎn)在Τtar所在視點(diǎn)的右邊時(shí)，滿足u＝x、v＝y(tǒng)-dtar,p(x,y)。圖5c為在圖5b中去除小于相應(yīng)誤差可視閾值的像素點(diǎn)后得到的圖4a的深度誤差圖。⑨統(tǒng)計(jì)E中像素值為1的像素點(diǎn)的總個(gè)數(shù)，記為numE；然后計(jì)算Dtar中的錯(cuò)誤像素點(diǎn)的比率作為Dtar的質(zhì)量評(píng)價(jià)值，記為EPR，為了測(cè)試本發(fā)明方法的性能，對(duì)采用Middlebury數(shù)據(jù)庫(kù)提供的多種不同算法估計(jì)得到的深度圖進(jìn)行測(cè)試，選用了四個(gè)場(chǎng)景：“Tsukuba”、“Venus”、“Teddy”和“Cones”，對(duì)于每個(gè)場(chǎng)景，使用了第2視點(diǎn)九種不同的立體匹配算法估計(jì)得到的深度圖，共36幅深度圖構(gòu)成評(píng)價(jià)數(shù)據(jù)庫(kù)。這九種不同的立體匹配算法分別為：AdaptBP、WarpMat、P-LinearS、VSW、BPcompressed、Layered、SNCC、ReliabilityDP和Infection。表1給出了評(píng)價(jià)數(shù)據(jù)庫(kù)中“Tsukuba”、“Venus”、“Teddy”和“Cones”的全參考客觀質(zhì)量評(píng)價(jià)指標(biāo)PBMP(PercentageofBadMatchingPixels)的值，PBMP是用估計(jì)深度圖與無(wú)失真參考深度圖作比較來(lái)計(jì)算誤差的，如果某個(gè)像素點(diǎn)的視差誤差大于一個(gè)像素寬度，就被視為錯(cuò)誤像素點(diǎn)。由于使用了無(wú)失真深度圖作參考，因此PBMP是一種準(zhǔn)確而可靠的全參考指標(biāo)。表1評(píng)價(jià)數(shù)據(jù)庫(kù)中不同深度圖的PBMP(％)的值方法TsukubaVenusTeddyConesAdaptBP1.370.217.067.92WarpMat1.350.249.308.47P-LinearS1.670.8912.008.44VSW1.880.8113.38.85BPcompressed3.631.8913.99.85Layered1.871.8514.314.70SNCC6.081.7311.109.02ReliabilityDP3.393.4816.9019.90Infection9.545.5325.1021.30表2給出了本發(fā)明方法得到的評(píng)價(jià)數(shù)據(jù)庫(kù)中的“Tsukuba”、“Venus”、“Teddy”和“Cones”的質(zhì)量評(píng)價(jià)值。表3給出了本發(fā)明方法的評(píng)價(jià)結(jié)果與全參考指標(biāo)PBMP的相關(guān)系數(shù)，相關(guān)系數(shù)衡量了兩者的一致性程度，皮爾遜系數(shù)和線性回歸系數(shù)的值都是越接近1越好。由表3可知：本發(fā)明方法求得的結(jié)果與PBMP有很好的一致性，說(shuō)明本發(fā)明方法能準(zhǔn)確檢測(cè)深度誤差和評(píng)價(jià)深度圖的質(zhì)量。表2評(píng)價(jià)數(shù)據(jù)庫(kù)中不同深度圖的質(zhì)量評(píng)價(jià)值EPR(％)表3質(zhì)量評(píng)價(jià)值EPR與PBMP之間的相關(guān)性TsukubaVenusTeddyCones皮爾遜系數(shù)0.940.900.840.97線性回歸系數(shù)0.890.800.710.93表4給出了本發(fā)明方法的評(píng)價(jià)結(jié)果與虛擬視點(diǎn)質(zhì)量的相關(guān)系數(shù)，虛擬視點(diǎn)質(zhì)量用客觀評(píng)價(jià)指標(biāo)均方誤差MSE來(lái)衡量。因?yàn)樘摂M視點(diǎn)合成是基于深度圖進(jìn)行的，深度質(zhì)量越差將導(dǎo)致虛擬視圖中出現(xiàn)更多的錯(cuò)誤，這表明MSE應(yīng)該隨著質(zhì)量評(píng)價(jià)值EPR的增大而增大，用MSE和質(zhì)量評(píng)價(jià)值EPR的線性回歸系數(shù)表示度量的準(zhǔn)確度。在“Tsukuba”、“Venus”、“Teddy”和“Cones”中，質(zhì)量評(píng)價(jià)值EPR與MSE的線性回歸系數(shù)均超過(guò)0.75。特別地，在“Tsukuba”中線性回歸系數(shù)超過(guò)了0.92。這表明，質(zhì)量評(píng)價(jià)值EPR與虛擬視點(diǎn)的質(zhì)量有很好的一致性。表4質(zhì)量評(píng)價(jià)值EPR與虛擬視點(diǎn)質(zhì)量之間的相關(guān)性TsukubaVenusTeddyCones線性回歸系數(shù)0.930.760.840.91當(dāng)前第1頁(yè)1 2 3