專利名稱：基于hvs的ssim與特征匹配立體圖像質量評價方法
技術領域：
本發(fā)明涉及圖像質量評價、3D圖像處理，具體是基于HVS的SSIM與特征匹配立體圖像質量評價方法。
背景技術：
Pieter提出3DTV主觀質量評價方法，指出應該從圖像質量、圖像深度、立體感舒適程度、立體感是否存在、立體感是否自然、立體感是否符合視覺經(jīng)驗等方面進行評價；I^trizio提出了一種立體圖像主觀質量評價方法，被測者佩戴立體眼鏡，使用France Telecom R&D (法國電信)的SEOVQ(視頻質量的主觀評估和優(yōu)化)人機交互界面進行主觀評測，并用平均差異分數(shù)(DM0Q表示評價結果。主觀評價方法耗時、耗力，而且具有一定的不穩(wěn)定因素；Patrizio等又提出將多個二維圖像評價指標SSIM(結構相似度指標)、 UQI (Universal Quality Index傳統(tǒng)的質量指標)、RRIQA(減少參考圖像的質量評價)用于對立體圖像的評價，在分別評價了左、右圖像質量的基礎上，用加權求和的方法給出評價結果。這種方法有借鑒價值，但是未考慮相應的立體視覺機理；Alexandre提出了一種基于視差的立體圖像客觀質量評價方法，分別計算出平面圖像質量失真和視差失真，然后再將二者加權，視差失真通過原圖像對和測試圖像對深度圖的相關系數(shù)計算得出，平面圖像質量失真利用平面圖像評價方法分別計算左圖像與右圖像間的失真指標，再求出平均值，但是， 在Alexandre的方法中用原圖像對和測試圖像對深度圖的相關系數(shù)表征立體信息特征，只能從整幅圖的角度給出一個總體認識，不能明顯的反映出局部視差失真給圖像質量評價帶來的影響；寧波大學提出了一種基于相似度的立體右圖像質量評價方法，該方法將視差用于右圖像的質量評價中，其實質只評價了單視點圖像質量，并非真正意義上的立體圖像質量評價。

發(fā)明內容
為克服現(xiàn)有技術的不足，提供一種基于HVS的SSIM與特征匹配立體圖像質量評價方法，用來說明所生成立體圖像的逼真度和立體感、壓縮算法對立體圖像的損傷程度、傳輸過程引入的噪聲對立體圖像質量干擾的程度、以及立體圖像顯示的自然感等，以作為衡量立體圖像處理效果的手段和標準，本發(fā)明采取的技術方案是，基于HVS的SSIM與特征匹配立體圖像質量評價方法，包括如下步驟(1)用結構失真法比較原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度，提出結構失真度指標；(2)將測試圖像左右視圖的平均感知亮度的比值作為一個質量評價指標，來衡量左右視圖感知亮度的差異，即提取亮度對比度指標；(3)根據(jù)小波分解模擬人眼帶通特性原理，計算測試圖像左右視圖與原圖像左右視圖在各頻帶的誤差，并對其線性求和，然后進行信噪比評估，得出人眼視覺信噪比評價指標；
(4)用測試圖像左右視圖匹配點個數(shù)和原圖像左右視圖匹配點各數(shù)的比值反映立體圖像的立體感；(5)對上述所有的指標進行合理的加權，得出一個總的評價指標，從整體上反映立體圖像的質量?，F(xiàn)在，對上述方法做進一步的敘述，具體為用L表示圖像絕對亮度，AL表示圖像相對亮度，Δ S表示亮度感覺的增量值，則可以用相對亮度的增量來度量亮度感覺的增量，如式(1)所示
ΛΟ 廠 ΔΙAS = K-
L(1)K為常數(shù)，對式(1)積分，得到感覺亮度SS = KlnL+K0 = K' lgL+K0 (2)其中，K' = KlnlOjtl為常數(shù)，依照公式(2)對灰度圖像的每個像素的亮度值進行變換，得到感知亮度。所述將測試圖像左右視圖的平均感知亮度的比值作為一個質量評價指標具體為， 用結構相似度法SSIM(struCtural similarity)分別提取原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度，并進行比較首先分別計算原始圖像X和測試圖像Y的平均感知亮度Uj^PUy，MXN為圖像大小， Xij> Yij為原始圖像X和測試圖像Y每個像素經(jīng)過式( 處理的感知亮度；其次計算原始圖像X和測試圖像Y的標準差^和。y，以及兩者之間的協(xié)方差Oxy ；再次，根據(jù)(3) (5) 分別計算亮度比較函數(shù)1 (χ，y)、對比度比較函數(shù)c (χ，y)、結構相似性比較函數(shù)s (χ，y)
權利要求
1.一種基于HVS的SSIM與特征匹配立體圖像質量評價方法，其特征是，包括如下步驟，(1)用結構失真法比較原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度，提出結構失真度指標；(2)將測試圖像左右視圖的平均感知亮度的比值作為一個質量評價指標，來衡量左右視圖感知亮度的差異，即提取亮度對比度指標；(3)根據(jù)小波分解模擬人眼帶通特性原理，計算測試圖像左右視圖與原圖像左右視圖在各頻帶的誤差，并對其線性求和，然后進行信噪比評估，得出人眼視覺信噪比評價指標；(4)用測試圖像左右視圖匹配點個數(shù)和原圖像左右視圖匹配點各數(shù)的比值反映立體圖像的立體感；(5)對上述所有的指標進行合理的加權，得出一個總的評價指標，從整體上反映立體圖像的質量。
2.如權利要求1所述的方法，其特征是，所述方法在所述各步驟前還包括一個預處理步驟，具體為用L表示圖像絕對亮度，AL表示圖像相對亮度，AS表示亮度感覺的增量值，則可以用相對亮度的增量來度量亮度感覺的增量，如式(1)所示M = AL (1) K為常數(shù)，對式(1)積分，得到感覺亮度S S = KlnL+K0 = K' lgL+K0(2)其中，K' = KlnlO, Ktl為常數(shù)，依照公式( 對灰度圖像的每個像素的亮度值進行變換，得到感知亮度。
3.如權利要求1所述的方法，其特征是，所述將測試圖像左右視圖的平均感知亮度的比值作為一個質量評價指標具體為，用結構相似度法SSIM(strUCtUral similarity)分別提取原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度，并進行比較首先分別計算原始圖像X和測試圖像Y的平均感知亮度Ux和uy，MXN為圖像大小， XiJ> Yij為原始圖像X和測試圖像Y每個像素經(jīng)過式(2)處理的感知亮度；其次計算原始圖像X和測試圖像Y的標準差％和Qy，以及兩者之間的協(xié)方差oxy;再次，根據(jù)(3) (5)分別計算亮度比較函數(shù)l(x，y)、對比度比較函數(shù)c(x，y)、結構相似性比較函數(shù)s(x， y)2uvu” + C1l(x,y)=(C1 = (K1L)2)(3)+u +C1σ , σ , + Cc(x,y)= _2Χ y 2 (C2 = (K2L)2)(4)s^y)=砂丄二明+Q(5)CpCyC3分別是取值較小的常數(shù)，最后，根據(jù)式(6)計算結構失真度S1 S1= [l(X，y)]a[C(X，y)e[s(X，y)]Y (6) 令 α = β = γ=1，將每個評價指標取值都限定在
之間，因為l(x，y) ( l,c(x,y) ( l，s(x，y) ( 1， 故&彡1，所以將式(5-6)變換為
4.如權利要求1所述的方法，其特征是，所述將測試圖左、右視圖的平均感知亮度的比值作為一個質量評價指標，來衡量左右視圖感知亮度的差異，指標為
5.如權利要求1所述的方法，其特征是，所述得出人眼視覺信噪比評價指標步驟是， 采用小波分解模擬人眼帶通特性，并用經(jīng)驗對比度靈敏度函數(shù)CSF(Contrast Sensitivity Function)曲線加權不同頻帶小波系數(shù)，模擬人眼的對比度敏感度特性，計算方法以左視圖為例，給出標準視圖和測試視圖在每個加權頻帶的誤差計算公式(10)
6.如權利要求1所述的方法，其特征是，所述用測試圖像左右視圖匹配點個數(shù)和原圖像左右視圖匹配點各數(shù)的比值反映立體圖像的立體感，具體為提取標準圖像匹配點個數(shù) 0標_像和測試圖像的匹配點個數(shù)0測試_，并用匹配點個數(shù)比P作為一個評價指標，公式如 (15)，表征圖像質量以及立體感覺的好壞，
7.如權利要求1所述的方法，其特征是，所述對上述所有的指標進行合理的加權，得出一個總的評價指標具體為
8.如權利要求1所述的方法，其特征是，所述方法是在計算機中執(zhí)行下列步驟分別讀入標準圖像對和測試圖像對4幅圖像，再將其經(jīng)過人眼視覺系統(tǒng)模型處理后，計算反映立體圖像質量的結構失真度量指標、亮度比較指標、人眼視覺信噪比指標、匹配點個數(shù)比指標、綜合評價值等各項指標值，保存為文本文件，用客觀數(shù)值反映測試立體圖像的質量好壞，并且可以在界面上直觀顯示各項指標的質量優(yōu)良狀況，6個評價指標，依次為左視圖結構失真度量指標MrucL、右視圖結構失真度量指標StrucR、左右測試視圖亮度對比度指標LumaLR、左視圖人眼視覺信噪比指標HVSL、右視圖人眼視覺信噪比指標HVSR、匹配點個數(shù)比指標Match ；在設計的評價軟件系統(tǒng)的界面中，“Final Result”表示6個指標加權求和后總的評價指標，它用來表示測試立體圖像總體質量，可用于與MOS進行相關性比較，用“Excellent”、 “G00d”、“i^ir”、“P00r”、“Bad”表示五級標度評價質量等級，與其對應的Mhow Result”用 5種表情顯示質量。“0penSL”、“0penSR”、“0penTL”、“0penTR”表示加載圖像，分別表示打開原左視圖、打開原右視圖、打開測試左視圖、打開測試右視圖?！癙lay”開始運行計算指標值， “Mve”保存指標到一個.txt文件，用于數(shù)據(jù)處理和分析?！昂臅r”顯示計算一次所消耗的時間，“Succeed”表示計算結束，和“Succeed”對應的狀態(tài)機state machine還有“^Testing...，， 表示使用測試功能，測試程序是否能正常運行、“Computer…”表示程序正在計算。
全文摘要
本發(fā)明涉及圖像質量評價。為說明所生成立體圖像的逼真度和立體感、壓縮算法對立體圖像的損傷程度、傳輸過程引入的噪聲對立體圖像質量干擾的程度、以及立體圖像顯示的自然感等，本發(fā)明采取的技術方案是，基于HVS的SSIM與特征匹配立體圖像質量評價方法，包括如下步驟(1)用結構失真法比較原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度；(2)提取亮度對比度指標；(3)根據(jù)小波分解模擬人眼帶通特性原理，得出人眼視覺信噪比評價指標；(4)用測試圖像左右視圖匹配點個數(shù)和原圖像匹配點個數(shù)的比值反映立體圖像的立體感；(5)對上述所有的指標進行合理的加權，得出一個總的評價指標。本發(fā)明主要應用于圖像質量評價。
文檔編號H04N17/00GK102170581SQ201110115808
公開日2011年8月31日 申請日期2011年5月5日 優(yōu)先權日2011年5月5日
發(fā)明者侯春萍, 衛(wèi)津津, 李素梅, 趙瑞超 申請人:天津大學