本發(fā)明屬于圖像處理領域，涉及一種基于多尺度雙目融合和局部特征提取的立體圖像質量客觀評價方法。

背景技術：

立體(stereoscopic/3d)圖像是指通過對人的左右眼輸入不同的視覺信號，使人腦的視覺皮層圖像中物體的深度信息的技術。隨著3d顯示技術近年來的蓬勃發(fā)展，在工程中和人們的實際生活中，產生了對高質量立體圖像和視頻的廣泛需求。但是，立體圖像在獲取、壓縮、傳輸、存儲和重建等各個環(huán)節(jié)中會引入失真。因此，定量評價立體圖像的質量就成為評測和監(jiān)控立體圖像處理系統(tǒng)的性能的重要手段，而且，立體圖像質量評價(stereoscopicimagequalityassessment,siqa)可以為立體圖像處理系統(tǒng)的設計提供必要的反饋和指導。

立體圖像質量評價技術，是指以人類視覺系統(tǒng)(humanvisualsystem,hvs)對圖像質量的感知為基準，對圖像的質量好壞進行定量的判斷和評測。siqa可以分為主觀評價方法和客觀評價方法。由于主觀評價方法是通過人工對圖像的質量進行打分評測，非常費力耗時，而且受主觀因素影響比較大，重復性差，所以無法嵌入到實時的圖像視頻處理系統(tǒng)中，也難以作為定性分析圖像質量的手段。因此，研究便捷高效的客觀評價方法具有更強的應用價值和理論意義。立體圖像質量的客觀評價是通過建立數學模型實現自動地對圖像質量進行評價。相比之下，客觀評價方法具有高效、可重復性強和魯棒性好等特點。

立體圖像客觀質量評價方法的設計需要考慮至少兩個方面的因素。一方面，需要從圖像中提取與質量感知相關的特征，如結構信息、紋理信息等；另一方面，需要考慮由雙眼視覺信號的差異所引起的雙目競爭、視覺疲勞等可能影響hvs對圖像質量感知的因素。

技術實現要素：

本發(fā)明主要包括：基于左右視差圖和gabor濾波器實現的左右視圖圖像融合技術、基于局部二值模式的局部紋理特征提取技術和基于支持向量機的機器學習技術等來實現對立體圖像質量的數學建模，進而提出一種針對立體圖像的客觀的質量評價方法。

本發(fā)明采取的技術方案是：

首先，讀取大量帶有參考圖像信息和主觀質量評價結果的立體圖像。隨后，對每一張圖像，使用多尺度圖像融合技術對圖像的左右視圖進行融合，并用局部二值模式對融合后的圖像進行特征提取。進而，對該測試圖像的參考圖像也進行同樣的操作，對從測試圖像及其參考圖像中提取到的特征進行相關性度量。最后，對每張圖像，將每一個尺度上得到的度量結果和圖像的主觀質量評價結果形成映射，對讀取的所有圖像，使用支持向量機訓練出一個回歸函數。

本發(fā)明解決其技術問題所采用的技術方案如下：

步驟(1).讀取大量立體圖像以備之后的回歸函數訓練。每一幅立體圖像由一個左視圖和一個右視圖組成。對每一幅立體圖像，同時需要它的參考圖像(即該立體圖像的對應未失真立體圖像)和它的主觀質量評價結果(以一個數字表示)。

步驟(2).對步驟(1)中讀取的每一幅立體圖像及其參考圖像，都進行步驟(3)到步驟(7)的操作。

步驟(3).對該立體圖像或參考圖像的左視圖中的每一個點，找到其右視圖上的對應點，這一過程基于二者的灰度圖。設左右視圖的灰度圖分別為il和ir，都是尺寸為m×n的矩陣，行、列坐標的起點都在左上角，則同一個物體在右視圖上出現的位置的列坐標小于在左視圖上的列坐標。即il(x,y)在右視圖上的對應點為ir(x,y-d)，其中x、y分別代表行、列坐標，d為相對偏移量，且d>0。對所有符合d>0條件的候選對應點，取其中與左視圖中點各自的鄰域的絕對誤差和(sumofabsolutedifference,sad)最小的點。sad定義為

其中，l和r分別代表左右視圖上的一個點，li和ri分別表示l和r的鄰域中的各點的灰度值，n表示所選取的鄰域包含的像素點數目。

步驟(4).求出該立體圖像或參考圖像的視差信息。以左視圖為基準，視差信息可以以一個與左視圖的灰度圖尺寸一致，仍為m×n的矩陣d來表示，d中的每個元素d(x,y)，表示左視圖上坐標(x,y)的點il(x,y)在右視圖上的對應點ir(x,y-d)的相對偏移量d。

步驟(5).對立體圖像或參考圖像的左右視圖，分別進行多尺度的gabor濾波。gabor濾波器是正弦波和高斯核函數的乘積，二維直角坐標系上的gabor濾波器定義為

其中，r1＝xcosθ+ysinθ，r2＝-xsinθ+ycosθ；σx和σy是分別是標準高斯核在x和y方向上的寬度；ζx和ζy決定了正弦波的頻率(濾波器的尺度)，θ定義了濾波器的方向。

由于gabor響應是復數，對每個像素點上的gabor響應取模從而使其實數化。對每一個尺度，取多個方向的響應的均值。這樣，左右視圖在各尺度上的濾波結果分別表示為lgi和rgi，它們都是尺寸仍為m×n的矩陣。

步驟(6).將左右視圖進行融合，在每一個尺度上都得到一個合成圖像fi，用于之后的質量評價。使用一個線性模型進行融合，

其中d和lgi/rgi分別從步驟(4)和(5)中得到。

步驟(7).對步驟(6)中得到的合成圖像使用局部二值模式(localbinarypattern,lbp)進行紋理特征提取。選取一個包含k個像素的鄰域，則lbp將每一個像素點轉化成一個k-1位的二進制碼，編碼依據為

其中，gc為被編碼的點的像素值，gp為它的鄰域中除了該被編碼點外的其余k-1個點的像素值。

步驟(8).經過以上步驟，每一幅立體圖像及其參考圖像最終都形成了若干個二進制碼矩陣，具體的矩陣數量由選取的尺度數量決定。每一個這樣的矩陣都可以用一個有2^k-1個元素的直方圖來表示它的分布。這兩個矩陣的相似性通過它們各自的分布的直方圖相交來衡量。設碼的分布為ti和ri，直方圖相交定義為

其中，和分別指尺度i上測試立體圖像和參考圖像經過上述處理，lbp碼為j的個數。兩個分布越相似，該值越接近1；否則更接近0。

步驟(9).每一幅被測試的立體圖像會得到與步驟(5)中選取的gabor濾波器尺度相同數量的similarity值。設選取了m尺度的gabor濾波器，則該圖像的客觀質量得分qo由這m個輸入通過一個回歸函數得到，即

qo＝fregression(similarity1,similarity2,...,similaritym)(6)

采用支持向量機通過訓練得到回歸函數fregression。訓練過程采用的樣本即步驟(1)中讀取的數據，訓練樣本的輸入是讀取的立體圖像經過步驟(2)到(8)之后得到的m個similarity值，輸出是步驟(1)中讀取的主觀質量評價結果。得到訓練結果(即回歸函數fregression)后，一個完整的立體圖像客觀評價方法即已實現。

本發(fā)明的有益效果：

本發(fā)明利用多尺度圖像融合技術對立體圖像的左右視圖進行融合，并通過局部二值模式方法提取融合后的圖像的結構和紋理特征，進而計算從測試圖像和參考圖像中提取到的特征的相關性，以相關性為輸入、圖像的主觀評價結果為輸出，利用支持向量機訓練得到從特征到客觀質量分數的映射，實現了對立體圖像質量的客觀評價。實驗結果表明，基于本發(fā)明所提出的方法的對立體圖像質量的客觀評價，與人類視覺系統(tǒng)的主觀判定有很高的一致性，對圖像和視頻處理系統(tǒng)可以起到很好的評價和監(jiān)督作用。

具體實施方式

下面結合附圖對本發(fā)明方法作進一步說明。

如圖1所示，基于多尺度雙目融合、局部二值模式和支持向量機的立體圖像質量客觀評價方法，其具體實施步驟如下：

步驟(1).讀入美國德州大學奧斯汀分校圖像與視頻工程實驗室(laboratoryforimageandvideoengineering,live)設計的3d圖像質量評價數據庫中的所有失真圖像作為待測試圖像，同時讀取每幅圖像對應的未失真圖像(參考圖像)和以差異平均意見得分(differentialmeanopinionscore,dmos)度量的主觀質量評價分數。本實施例使用計算機軟件matlab編寫程序讀取數據以及進行以下操作。

步驟(2).對步驟(1)中讀取的每一幅立體圖像及其參考圖像，都進行步驟(3)到步驟(7)的操作。

步驟(3).對該立體圖像或參考圖像的左視圖中的每一個點，找到其右視圖上的對應點，這一過程基于二者的灰度圖。設左右視圖的灰度圖分別為il和ir，都是尺寸為m×n的矩陣，行、列坐標的起點都在左上角，則同一個物體在右視圖上出現的位置的列坐標小于在左視圖上的列坐標。即il(x,y)在右視圖上的對應點為ir(x,y-d)，其中x、y分別代表行、列坐標，且d>0。對所有符合d>0條件的候選對應點，在本實施例中，取其中與左視圖中點各自的5×5方形鄰域的絕對誤差和(sumofabsolutedifference,sad)最小的點。sad定義為

其中l(wèi)和r分別代表左右視圖上的一個點，li和ri分別表示l和r的5×5鄰域中的各點的灰度值。

步驟(4).求出該立體圖像或參考圖像為基準的視差信息。以左視圖為基準，視差信息可以以一個與左視圖的灰度圖尺寸一致，仍為m×n的矩陣d來表示，d中的每個元素，d(x,y)，表示左視圖上坐標(x,y)的點il(x,y)在右視圖上的對應點ir(x,y-d)的相對偏移量d。

步驟(5).對立體圖像或參考圖像的左右視圖，分別進行5個尺度的gabor濾波。gabor濾波器是正弦波和高斯核函數的乘積，二維直角坐標系上的gabor濾波器定義為

其中，r1＝xcosθ+ysinθ，r2＝-xsinθ+ycosθ；σx和σy是分別是標準高斯核在x和y方向上的寬度，取σx²＝σy²＝2π²；ζx和ζy決定了正弦波的頻率(濾波器的尺度)，θ定義了濾波器的方向。本實施例采用5個尺度、4個方向的gabor濾波，取ζx＝ζy＝{2.4,2.8,3.2,3.6,4}，θ＝{0°,45°,90°,135°}。

由于gabor響應是復數，對每個像素點上的gabor響應取模從而使其實數化。對每一個尺度，取四個方向的響應的均值。這樣，左右視圖在各尺度上的濾波結果分別表示為lgi和rgi(i＝1,2,…,5)，它們都是尺寸仍為m×n的矩陣。

步驟(6).將左右視圖進行融合，在每一個尺度上都得到一個合成圖像fi，用于之后的質量評價。使用一個線性模型進行融合，

其中，d和lgi/rgi分別從步驟(4)和(5)中得到。

步驟(7).對步驟(6)中得到的合成圖像使用局部二值模式(localbinarypattern,lbp)進行紋理特征提取。本實施例在3×3的方形鄰域中提取lbp特征，將每一個像素點都轉化成一個8位二進制碼，編碼依據為

其中，gc為被編碼的點的像素值，gp為它的3×3鄰域中的其余8個點的像素值。

步驟(8).經過以上步驟，每一幅立體圖像及其參考圖像最終都形成了5個二進制碼矩陣。本實施例中，由于lbp在3×3的方形鄰域中進行特征提取得到以8位二進制數表示的局部特征，每一個這樣的矩陣都可以用一個有256個元素的直方圖來表示它的分布。這兩個矩陣的相似性通過它們各自的分布的直方圖相交來衡量。設碼的分布為ti和ri(i＝1,2,…,5)，直方圖相交定義為

其中，和分別指尺度i上測試立體圖像和參考圖像經過上述處理，lbp碼為j的個數。兩個分布越相似，該值越接近1；否則更接近0。

步驟(9).本實施例中，由于在步驟(5)選取了5個尺度的gabor濾波器，每一幅被測試的立體圖像會得到5個similarity值，該圖像的客觀質量得分qo由這5個輸入通過一個回歸函數得到，即

qo＝fregression(similarity1,similarity2,similarity3,similarity4,similarity5)(6)

采用支持向量機通過訓練得到回歸函數fregression。本實施例的訓練過程采用的樣本即步驟(1)中讀取的數據，訓練樣本的輸入是讀取的立體圖像經過步驟(2)到(8)之后得到的五個similarity值，輸出是步驟(1)中讀取的dmos值。得到訓練結果(即回歸函數fregression)后，一個完整的立體圖像客觀評價方法即已實現。

對于一張待評價的圖像，輸入該立體圖形及其參考圖像，經過步驟(2)到(8)之后得到五個similarity值，輸入similarity值即可得到該圖像的客觀質量得分。

按本實施例中，對支持向量機的使用通過在matlab中調用libsvm工具箱實現。為了測試本方法的性能，隨機選擇數據庫中80％的圖像用作訓練，用剩下的圖像進行測試，以測試圖像的dmos值和客觀質量得分二者之間的相關性作為評價標準。本實施例的測試結果顯示二者的相關系數達到0.8以上，表明本發(fā)明實現了較高的立體圖像客觀質量評價準確性。