專(zhuān)利名稱(chēng)：一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像質(zhì)量評(píng)價(jià)方法，尤其是涉及一種基于失真圖的立體圖像質(zhì)量 客觀評(píng)價(jià)方法。
背景技術(shù)：
隨著圖像編碼技術(shù)和立體顯示技術(shù)的迅速發(fā)展，立體圖像技術(shù)受到了越來(lái)越廣泛 的關(guān)注與應(yīng)用，已成為當(dāng)前的一個(gè)研究熱點(diǎn)。立體圖像技術(shù)利用人眼的雙目視差原理，雙目 各自獨(dú)立地接收來(lái)自同一場(chǎng)景的左右視點(diǎn)圖像，通過(guò)大腦融合形成雙目視差，從而欣賞到 具有深度感和逼真感的立體圖像。由于受到采集系統(tǒng)、存儲(chǔ)壓縮及傳輸設(shè)備的影響，立體圖 像會(huì)不可避免地引入一系列的失真，而與單通道圖像相比，立體圖像需要同時(shí)保證兩個(gè)通 道的圖像質(zhì)量，因此對(duì)立體圖像進(jìn)行質(zhì)量評(píng)價(jià)具有非常重要的意義。然而，目前缺乏有效的 客觀評(píng)價(jià)方法對(duì)立體圖像質(zhì)量進(jìn)行評(píng)價(jià)。因此，建立有效的立體圖像質(zhì)量客觀評(píng)價(jià)模型具 有十分重要的意義。
目前，通常是直接將平面圖像質(zhì)量評(píng)價(jià)方法直接應(yīng)用于評(píng)價(jià)立體圖像質(zhì)量，然而， 對(duì)立體圖像的左右視點(diǎn)圖像進(jìn)行融合產(chǎn)生立體感的過(guò)程并不是簡(jiǎn)單的左右視點(diǎn)圖像疊加 的過(guò)程，還難以用簡(jiǎn)單的數(shù)學(xué)方法來(lái)表示，并且人眼對(duì)不同區(qū)域的失真敏感度是不一樣的， 因此，如何在立體圖像質(zhì)量評(píng)價(jià)過(guò)程中有效地對(duì)雙目立體融合進(jìn)行模擬，如何提取有效的 失真圖信息對(duì)評(píng)價(jià)結(jié)果進(jìn)行融合，使得客觀評(píng)價(jià)結(jié)果更加感覺(jué)符合人類(lèi)視覺(jué)系統(tǒng)，都是在 對(duì)立體圖像進(jìn)行客觀質(zhì)量評(píng)價(jià)過(guò)程中需要研究解決的問(wèn)題。發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種能夠有效提高客觀評(píng)價(jià)結(jié)果與主觀感知 的相關(guān)性的基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法。
本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為一種基于失真圖的立體圖像質(zhì)量 客觀評(píng)價(jià)方法，其特征在于它的處理過(guò)程為首先，根據(jù)原始的無(wú)失真的立體圖像的左視點(diǎn) 圖像和右視點(diǎn)圖像中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響 應(yīng)，及原始的無(wú)失真的立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像之間的視差圖像，獲得原始的 無(wú)失真的立體圖像的獨(dú)眼圖；根據(jù)待評(píng)價(jià)的失真的立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像中 的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)，及原始的無(wú)失真的 立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像之間的視差圖像，獲得待評(píng)價(jià)的失真的立體圖像的獨(dú) 眼圖；其次，分別計(jì)算兩個(gè)獨(dú)眼圖之間的結(jié)構(gòu)失真圖和可視失真圖；然后，根據(jù)結(jié)構(gòu)失真圖 和可視失真圖，對(duì)待評(píng)價(jià)的失真的立體圖像的獨(dú)眼圖中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值進(jìn) 行融合，得到待評(píng)價(jià)的失真的立體圖像的圖像質(zhì)量客觀評(píng)價(jià)預(yù)測(cè)值；最后，按照上述處理過(guò) 程獲取多幅不同失真類(lèi)型不同失真程度的失真的立體圖像的圖像質(zhì)量客觀評(píng)價(jià)預(yù)測(cè)值。
它具體包括以下步驟
①令Sots為原始的無(wú)失真的立體圖像，令Sdis為待評(píng)價(jià)的失真的立體圖像，將Sots的左視點(diǎn)圖像記為ILots (X，y)}，將SOTg的右視點(diǎn)圖像記為{R g (X，y)}，將Sdis的左視點(diǎn)圖像記為ILdis(X，y)},將Sdis的右視點(diǎn)圖像記為{Rdis(x, y)},其中，此處(x, y)表示左視點(diǎn)圖像和右視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)位直，l^x^W, l^y^H, W表不左視點(diǎn)圖像和右視點(diǎn)圖像的寬度，H表不左視點(diǎn)圖像和右視點(diǎn)圖像的聞度，LOTg(x，y)表不{Lorg (x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，ROTg(x，y)表示{ROTg(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值，Ldis(x，y)表示ILdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，Rdis(x，y)表示 {Rdis(x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；
②計(jì)算{LOTg(x，y)}、{Rorg(x, y)} > {Ldis (x, y)} > {Rdis(x, y)}中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)；然后獲取{LOTg(x，y)}、{Rorg(x, y)}, {Ldis(x，y)}、{Rdis(x，y)}中的每個(gè)像素點(diǎn)的振幅；再根據(jù){LOTg(x，y)}和{ROTg(x，y)}中的每個(gè)像素點(diǎn)的振幅及{LOTg(x，y)}與{ROTg(x，y)}之間的視差圖像中的每個(gè)像素點(diǎn)的像素值， 計(jì)算SOTg的獨(dú)眼圖，記為{CMOTg(x，y)}，并根據(jù)ILdis(x，y)}和{Rdis(x，y)}中的每個(gè)像素點(diǎn)的振幅及{LOTg(x，y)}與{ROTg(x，y)}之間的視差圖像中的每個(gè)像素點(diǎn)的像素值，計(jì)算Sdis的獨(dú)眼圖，記為{CMdis(x, y)},其中，CMots(X，y)表示{CMOTg(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值，CMdis(x，y)表示ICMdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；
③計(jì)算Sots的獨(dú)眼圖{CMOTg(X，y)}與Sdis的獨(dú)眼

圖1CMdis (x, y)}之間的結(jié)構(gòu)失真圖，記為{Dapp· (X，y)},其中,Dappear (X，y)表示{Dapp· (x, y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值；
④計(jì)算Sots的獨(dú)眼圖{CMOTg(X，y)}與Sdis的獨(dú)眼圖{CMdis (x，y)}之間的可視失真圖，記為{Dd_t(x，y)},其中,Ddetot (X，y)表示{Ddrtec;t (x, y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值；
⑤根據(jù)(Dappear (X，y)}和(Ddetect (x, y)},對(duì) Sdis 的獨(dú)眼圖(CMdis (x, y)}中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值進(jìn)行融合，得到Sdis的圖像質(zhì)量客觀評(píng)價(jià)預(yù)測(cè)值，記為Q，
權(quán)利要求
1.一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于它的處理過(guò)程為首先，根據(jù)原始的無(wú)失真的立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)，及原始的無(wú)失真的立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像之間的視差圖像，獲得原始的無(wú)失真的立體圖像的獨(dú)眼圖；根據(jù)待評(píng)價(jià)的失真的立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)，及原始的無(wú)失真的立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像之間的視差圖像，獲得待評(píng)價(jià)的失真的立體圖像的獨(dú)眼圖；其次，分別計(jì)算兩個(gè)獨(dú)眼圖之間的結(jié)構(gòu)失真圖和可視失真圖；然后，根據(jù)結(jié)構(gòu)失真圖和可視失真圖，對(duì)待評(píng)價(jià)的失真的立體圖像的獨(dú)眼圖中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值進(jìn)行融合，得到待評(píng)價(jià)的失真的立體圖像的圖像質(zhì)量客觀評(píng)價(jià)預(yù)測(cè)值；最后，按照上述處理過(guò)程獲取多幅不同失真類(lèi)型不同失真程度的失真的立體圖像的圖像質(zhì)量客觀評(píng)價(jià)預(yù)測(cè)值。
2.根據(jù)權(quán)利要求1所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于它具體包括以下步驟①令Sots為原始的無(wú)失真的立體圖像，令Sdis為待評(píng)價(jià)的失真的立體圖像，將Sots的左視點(diǎn)圖像記為{LOTg(x, y)}，將SOTg的右視點(diǎn)圖像記為{ROTg(x, y)}，將Sdis的左視點(diǎn)圖像記為{Ldis (χ, y)},將Sdis的右視點(diǎn)圖像記為{Rdis (χ, y)}，其中，此處(x, y)表不左視點(diǎn)圖像和右視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)位直，l^x^W, l^y^H, W表不左視點(diǎn)圖像和右視點(diǎn)圖像的寬度，H表不左視點(diǎn)圖像和右視點(diǎn)圖像的聞度，LOTg(x，y)表不{Lorg (x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，Rorg(x, y)表示{ROTg(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值，Ldis(x，y)表示ILdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，Rdis(x，y)表示{Rdis(x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；②計(jì)算{LOTg(x，y)}、{Rorg(x,y)} > {Ldis(x，y)}、{Rdis(x, y)}中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)；然后獲取{LOTg(x，y)}、{Rorg(x, y)},{Ldis(x，y)}、{Rdis(x，y)}中的每個(gè)像素點(diǎn)的振幅；再根據(jù){LOTg(x，y)}和{ROTg(x，y)}中的每個(gè)像素點(diǎn)的振幅及{LOTg(x，y)}與{ROTg(x，y)}之間的視差圖像中的每個(gè)像素點(diǎn)的像素值，計(jì)算SOTg的獨(dú)眼圖，記為{CMOTg(x，y)}，并根據(jù)ILdis(x，y)}和{Rdis(x，y)}中的每個(gè)像素點(diǎn)的振幅及{LOTg(x，y)}與{ROTg(x，y)}之間的視差圖像中的每個(gè)像素點(diǎn)的像素值，計(jì)算Sdis的獨(dú)眼圖，記為{CMdis(x, y)},其中，CMots(χ, y)表示{CMOTg(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值，CMdis(x，y)表示ICMdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；③計(jì)算SOTg的獨(dú)眼圖{CMOTg(x，y)}與Sdis的獨(dú)眼圖1CMdis(x，y)}之間的結(jié)構(gòu)失真圖，記為{Dapp_(x，y)}，其中，Dapp_(x，y)表示{Dapp_(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；④計(jì)算SOTg的獨(dú)眼圖{CMOTg(x，y)}與Sdis的獨(dú)眼圖{CMdis(x，y)}之間的可視失真圖，記為{Ddrtert(x，y)}，其中，Ddetert (x，y)表示{Ddetec;t (x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；⑤根據(jù){Dapp·(χ, y)}和{Ddete;c;t (x, y)},對(duì) Sdis 的獨(dú)眼圖{CMdis (x, y)}中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值進(jìn)行融合，得到Sdis的圖像質(zhì)量客觀評(píng)價(jià)預(yù)測(cè)值，記為Q，
3.根據(jù)權(quán)利要求2所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟②的具體過(guò)程為 ②-1、采用Iog-Garbor濾波器對(duì){LOTg(x，y)}進(jìn)行濾波處理,得到{LOTg(x，y)}中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)，將{LOTg(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)記為將{LOTg(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)在不同尺度和方向的奇對(duì)稱(chēng)頻率響應(yīng)記為，其中，a表示濾波所采用的濾波器的尺度因子，I < a <4，0表示濾波所采用的濾波器的方向因子，I ^ 9 ^ 4 ； ②-2、根據(jù){LOTg(x，y)}中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)，計(jì)算{LOTg(x，y)}中的每個(gè)像素點(diǎn)的振幅，將{LOTg(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的振幅記為(
4.根據(jù)權(quán)利要求2或3所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟③的具體過(guò)程為 ③-1、采用Iog-Garbor濾波器對(duì){CMOTg(x, y)}進(jìn)行濾波處理,得到{CMOTg(x, y)}中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)，將ICMots(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)記為，將{CMorg(x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)在不同尺度和方向的奇對(duì)稱(chēng)頻率響應(yīng)記為o=(x，jO，其中，a表示濾波所采用的濾波器的尺度因子，I < a <4，0表示濾波所采用的濾波器的方向因子，I ^ 9 ^ 4 ； ③-2、根據(jù){CMOTg (x，y)}中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱(chēng)頻率響應(yīng)和奇對(duì)稱(chēng)頻率響應(yīng)，計(jì)算{CMOTg(x，y)}中的每個(gè)像素點(diǎn)在不同尺度和方向的振幅，將(CMorg (X，y)}中坐標(biāo)位置為(X，y)的像素點(diǎn)在不同尺度和方向的振幅記為GE:gd(x,y)，
5.根據(jù)權(quán)利要求4所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟③-4中鄰域窗口 N(x，y)的大小為4X4。
6.根據(jù)權(quán)利要求5所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟③-5中當(dāng)Q =1時(shí)，取《 0=0. 5 ;當(dāng)0 =2時(shí)，取to 0=0. 75 ;當(dāng)0 =3時(shí)，取w 0=1.5 ;當(dāng) 0=4 時(shí)，取 o 0=6 ;取 P =0.6、A=O. 05, Y =0.02。
7.根據(jù)權(quán)利要求6所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟④的具體過(guò)程為 ④-1、計(jì)算{CMOTg(X，y)}與ICMdis (X，y)}之間的殘差圖像，記為{CMOT (x, y)},將{CMerr (x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值記為CMem (x, y), CMerr (x, y) =CMorg(x, y)-CMdis (x, y)； ④-2、采用對(duì)比度敏感度函數(shù)對(duì){CMOTg (x，y)}進(jìn)行濾波處理，得到{CMOTg (x，y)}經(jīng)濾波后的融合圖像，記為{FIOTg(x, y)},其中，F(xiàn)IOTg(x，y)表示{FIOTg(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值； ④-3、采用對(duì)比度敏感度函數(shù)對(duì)ICMot (x，y)}進(jìn)行濾波處理，得到{CMe (x，y)}經(jīng)濾波后的融合圖像，記為{FIOT(x，y)}，其中，F(xiàn)Iem(x，y)表示{FIOT(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值；④-4、計(jì)算{FIOTg(x，y)}中的每個(gè)像素點(diǎn)的均值和標(biāo)準(zhǔn)差，將{FIOTg(x，y)}中坐標(biāo)位置為(X，y)的像素點(diǎn)的均值和標(biāo)準(zhǔn)差分別記為Zlm(U)和元,“UO，
8.根據(jù)權(quán)利要求7所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟④-4中鄰域窗口 N’ (x, y)的大小為4X4 ;所述的步驟④_5中取8 =-5 ;所述的步驟④-6 中取 P !=0. 467，P 2=0. 130。
9.根據(jù)權(quán)利要求8所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟⑤中Qimage(x，y)的值為{CMOTg(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)與ICMdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)之間的結(jié)構(gòu)相似度。
10.根據(jù)權(quán)利要求9所述的一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟⑤中取t=0. 0505，u =3. 0255。
全文摘要
本發(fā)明公開(kāi)了一種基于失真圖的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其首先分別計(jì)算原始的無(wú)失真的立體圖像的獨(dú)眼圖和待評(píng)價(jià)的失真的立體圖像的獨(dú)眼圖，然后分別計(jì)算兩個(gè)獨(dú)眼圖之間的結(jié)構(gòu)失真圖和可視失真圖，并對(duì)待評(píng)價(jià)的失真的立體圖像的獨(dú)眼圖中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值進(jìn)行融合，得到待評(píng)價(jià)的失真的立體圖像的圖像質(zhì)量客觀評(píng)價(jià)預(yù)測(cè)值，優(yōu)點(diǎn)在于所獲得的獨(dú)眼圖能夠很好地對(duì)雙目立體融合過(guò)程進(jìn)行模擬，并且采用結(jié)構(gòu)失真圖和可視失真圖進(jìn)行融合，能有效地提高客觀評(píng)價(jià)結(jié)果與主觀感知的相關(guān)性。
文檔編號(hào)G06T5/50GK102999912SQ20121049323
公開(kāi)日2013年3月27日 申請(qǐng)日期2012年11月27日 優(yōu)先權(quán)日2012年11月27日
發(fā)明者邵楓, 段芬芳, 蔣剛毅, 郁梅, 李福翠 申請(qǐng)人:寧波大學(xué)