本發(fā)明涉及一種人臉圖像質(zhì)量增強方法,特別涉及一種基于局部約束雙核范數(shù)正則的多姿態(tài)人臉圖像質(zhì)量增強方法,屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù):
隨著信息技術(shù)的進步與發(fā)展,人們對視覺信息的處理要求越來越高,尤其人臉圖像。它廣泛應用于各個領(lǐng)域,如:人臉識別、人臉視頻圖像傳輸、遙感圖像、放大數(shù)碼相機的人臉照片、軍事等。但在其應用過程中,大部分人臉圖像質(zhì)量較差,因此相關(guān)學者提出人臉圖像超質(zhì)量增強方法。人臉圖像質(zhì)量增強主要是對那些模糊、有噪、頻譜混疊的低分辨率人臉圖像進行信號處理,進而得到清晰的高分辨率人臉圖像。其中圖像的質(zhì)量主要取決于在單位面積像素的數(shù)目,即圖像的分辨率,因此通過這個方法,我們可以合成在圖像退化過程中丟失的高頻人臉特征細節(jié),從而提高圖像的質(zhì)量。基于樣本學習的人臉圖像質(zhì)量增強算法是利用訓練樣本學習重構(gòu)權(quán)重系數(shù),從而得到圖像的先驗信息,進一步合成超分辨圖像。
目前基于樣本學習的人臉圖像質(zhì)量增強方法可以分為兩類:基于全局的方法和基于局部的方法。
基于全局的方法可以保留整個人臉圖像的結(jié)構(gòu),但是忽視了除主成份以外的人臉特征細節(jié)。因此,研究者提出了基于局部的方法。基于局部圖像塊的人臉圖像質(zhì)量增強算法是將整個人臉進行分塊,以人臉的局部特征為輸入進行合成,這樣有利于合成更多的高頻特征細節(jié)信息,從而提高整個人臉圖像分辨率。依據(jù)重構(gòu)誤差分布描述的模型的不同,基于局部的圖像超分辨率方法可分為:l2范數(shù)、l1或l0范數(shù)、核范數(shù)。
之前的這些誤差模型是在理想的假設(shè)環(huán)境下進行的,因此取得了比較滿意的實驗結(jié)果。但在實際應用中,我們可能得到的低分辨率圖像是多姿態(tài)的。這時在合成高分辨率人臉圖像的過程中,輸入人臉圖像矩陣與利用訓練樣本合成的人臉圖像矩陣并不對應,從而導致重構(gòu)誤差增大。
技術(shù)實現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問題是提供一種基于局部約束雙核范數(shù)正則的多姿態(tài)人臉圖像質(zhì)量增強方法,針對現(xiàn)有的人臉圖像合成算法的不足,解決了之前方法所忽視的多姿態(tài)問題,滿足實際應用對人臉圖像合成的要求。
本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案:
本發(fā)明提供一種基于局部約束雙核范數(shù)正則的多姿態(tài)人臉圖像質(zhì)量增強方法,包括以下具體步驟:
步驟1,以圖像中每個像素位置為中心,獲取低質(zhì)量測試圖像和低質(zhì)量訓練樣本圖像各個像素位置的圖像塊;
步驟2,對低質(zhì)量測試圖像中的每個圖像塊,運用局部約束雙核范數(shù)正則回歸方法獲得其在低質(zhì)量訓練樣本圖像中對應位置上的圖像塊集合的線性表示;
步驟3,在保持表示系數(shù)不變的情況下,用高質(zhì)量訓練樣本圖像塊替換低質(zhì)量訓練樣本圖像塊,從而獲得低質(zhì)量測試圖像塊對應的高質(zhì)量測試圖像塊;
步驟4,對步驟3中高質(zhì)量測試圖像塊進行串聯(lián)和整合,從而獲得高質(zhì)量的測試圖像。
作為本發(fā)明的進一步優(yōu)化方案,步驟2中對低質(zhì)量測試圖像中的每個圖像塊,運用局部約束雙核范數(shù)正則回歸方法獲得其在低質(zhì)量訓練樣本圖像中對應位置上的圖像塊集合的線性表示,具體為:
y=x1a1+x2a2+…+xnan+e
其中,y是低質(zhì)量測試圖像塊;ai是第i個低質(zhì)量像素訓練樣本圖像中對應位置的圖像塊,i={1,2,…,n},n是訓練樣本圖像個數(shù);xi是表示系數(shù)向量x中的第i個元素值;e是表示殘差項;
表示系數(shù)向量x根據(jù)以下模型求解得到:
其中,||·||*表示矩陣的核范數(shù),即矩陣的所有奇異值的和;m表示行矯正矩陣;y表示低質(zhì)量測試圖像塊矩陣;a(x)=x1a1+x2a2+…+xnan表示從空間
作為本發(fā)明的進一步優(yōu)化方案,根據(jù)模型
2.1)更新模型
其拉格朗日函數(shù)表示為:
其中,y1、y2均為拉格朗日乘子,μ為第三正則化參數(shù);
2.2)采用交替方向乘子法admm對步驟2.1)中的模型進行求解,得到表示系數(shù)向量x。
作為本發(fā)明的進一步優(yōu)化方案,采用交替方向乘子法admm對上述步驟2.1)中的模型進行求解,具體為:
<a>固定x、e、s,更新m,具體為:
其中,mk+1為第k+1步更新后m的值,ek、xk、y1k別為第k步更新后e、x、y1的值;
使uσvt為
mk+1=vut;
<b>固定m、e、s,更新x,具體為:
其中,xk+1為第k+1步更新后x的值,sk、y2k分別為第k步更新后s、y2的值;
xk+1的最優(yōu)解為:
xk+1=(g+diag(g1))\g2
其中,
<c>固定x、m、e,更新s,具體為:
通過奇異值閾值化求解最優(yōu)的sk+1:
其中,sk+1為第k+1步更新后s的值;
<d>固定x、m、s,更新e,具體為:
通過奇異值閾值化求解最優(yōu)的ek+1,:
其中,ek+1為第k+1步更新后e的值;
<e>更新拉格朗日乘子:
y1k+1=y(tǒng)1k+μ(mk+1y-a(xk+1)-ek+1)
其中,y1k+1、y2k+1分別為第k+1步更新后的y1、y2的值;
<f>若達到最大迭代次數(shù)或以下終止條件,則輸出xk+1作為x;否則,返回到步驟<a>:
||hdiag(x)-s||∞≤εand||my-a(x)-e||∞≤ε。
其中,||·||∞為矩陣的∞范數(shù),ε為預設(shè)的容錯值。
作為本發(fā)明的進一步優(yōu)化方案,步驟2中對低質(zhì)量測試圖像中的每個圖像塊,運用局部約束雙核范數(shù)正則回歸方法獲得其在低質(zhì)量訓練樣本圖像中對應位置上的圖像塊集合的線性表示,具體為:
y=x1a1+x2a2+…+xnan+e
其中,y是低質(zhì)量測試圖像塊;ai是第i個低質(zhì)量像素訓練樣本圖像中對應位置的圖像塊,i={1,2,…,n},n是訓練樣本圖像個數(shù);xi是表示系數(shù)向量x中的第i個元素值;e是表示殘差項;
表示系數(shù)向量x根據(jù)以下模型求解得到:
其中,||·||*表示矩陣的核范數(shù),即矩陣的所有奇異值的和;r表示列旋轉(zhuǎn)矩陣;y表示低質(zhì)量測試圖像塊矩陣;a(x)=x1a1+x2a2+…+xnan表示從空間
作為本發(fā)明的進一步優(yōu)化方案,根據(jù)模型
2.1)更新模型
其拉格朗日函數(shù):
其中,y1、y2均為拉格朗日乘子,μ為第三正則化參數(shù);
2.2)采用交替方向乘子法admm對步驟2.1)中的模型進行求解,得到表示系數(shù)向量x。
作為本發(fā)明的進一步優(yōu)化方案,采用交替方向乘子法admm對上述步驟2.1)中的模型進行求解,具體為:
<a>固定x、e、s,更新r,具體為:
其中,rk+1為第k+1步更新后r的值,ek、xk、y1k分別為第k步更新后e、x、y1的值;
使uσvt為
rk+1=vut
<b>固定r、e、s,更新x,具體為:
其中,xk+1為第k+1步更新后x的值,sk、y2k分別為第k步更新后s、y2的值;
xk+1的最優(yōu)解為:
xk+1=(g+diag(g1))\g2
其中,
<c>固定x、m、e,更新s,具體為:
通過奇異值閾值化求解最優(yōu)的sk+1:
其中,sk+1為第k+1步更新后s的值;;
<d>固定x、r、s,更新e,具體為:
通過奇異值閾值化求解最優(yōu)ek+1的:
其中,ek+1為第k+1步更新后e的值;
<e>更新拉格朗日乘子,具體為:
y1k+1=y(tǒng)1k+μ(yrk+1-a(xk+1)-ek+1)
其中,y1k+1、y2k+1分別為第k+1步更新后的y1、y2的值;
<f>若達到最大迭代次數(shù)或以下終止條件,則輸出xk+1作為x;否則,返回到步驟<a>:
||hdiag(x)-s||∞≤εand||yr-a(x)-e||∞≤ε
其中,||·∞為矩陣的∞范數(shù),ε為預設(shè)的容錯值。
作為本發(fā)明的進一步優(yōu)化方案,步驟2中對低質(zhì)量測試圖像中的每個圖像塊,運用局部約束雙核范數(shù)正則回歸方法獲得其在低質(zhì)量訓練樣本圖像中對應位置上的圖像塊集合的線性表示,具體為:
y=x1a1+x2a2+…+xnan+e
其中,y是低質(zhì)量測試圖像塊;ai是第i個低質(zhì)量像素訓練樣本圖像中對應位置的圖像塊,i={1,2,…,n},n是訓練樣本圖像個數(shù);xi是表示系數(shù)向量x中的第i個元素值;e是表示殘差項;
表示系數(shù)向量x根據(jù)以下模型求解得到:
其中,||·||*表示矩陣的核范數(shù),即矩陣的所有奇異值的和;m表示行矯正矩陣;y表示低質(zhì)量測試圖像塊矩陣;r表示列旋轉(zhuǎn)矩陣;a(x)=x1a1+x2a2+…+xnan表示從空間
作為本發(fā)明的進一步優(yōu)化方案,根據(jù)模型
2.1)更新模型
s.t.e=myr-a(x),s=hdiag(x),mtm=i,rtr=i
其拉格朗日函數(shù)表示為:
其中,y1、y2均為拉格朗日乘子,μ為第三正則化參數(shù);
2.2)采用交替方向乘子法admm對2.1)中的模型進行求解,得到表示系數(shù)向量x。
作為本發(fā)明的進一步優(yōu)化方案,采用交替方向乘子法admm對上述步驟2.1)中的模型進行求解,具體為:
<a>固定x、e、s、r,更新m,具體為:
其中,mk+1為第k+1步更新后m的值,rk、ek、xk、y1k分別為第k步更新后r、e、x、y1的值;
使u1σ1v1t為
mk+1=v1u1t;
<b>固定x、e、s、m,更新r,具體為:
其中,rk+1為r第k+1步更新后的值;
使u2σ2v2t為
rk+1=v2u2t;
<c>固定m、r、e、s,更新x,具體為:
其中,xk+1為第k+1步更新后x的值,y2k為第k步更新后y2的值;
xk+1的最優(yōu)解為:
xk+1=(g+diag(g1))\g2
其中,
<d>固定x、m、r、e,更新s,具體為:
通過奇異值閾值化求解最優(yōu)的sk+1:
其中,sk+1為第k+1步更新后s的值;;
<e>固定x、m、r、s,更新e,具體為:
通過奇異值閾值化求解最優(yōu)解ek+1:
其中,ek+1為第k+1步更新后e的值;
<f>更新拉格朗日乘子,具體為:
yk+1=y(tǒng)k+μ(mk+1yrk+1-a(xk+1)-ek+1)
其中,y1k+1、y2k+1分別為第k+1步更新后的y1、y2的值;
<g>若達到最大迭代次數(shù)或以下終止條件,輸出xk+1作為x;否則,返回到步驟<a>:
||hdiag(x)-s||∞≤εand||myr-a(x)-e||∞≤ε
其中,||·||∞為矩陣的∞范數(shù),ε為預設(shè)的容錯值。
本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比,具有以下技術(shù)效果:本發(fā)明提出的方法更能適應實際環(huán)境中的人臉圖像合成,這是因為現(xiàn)有的方法的提出都是基于理想的假設(shè)條件下的。但在實際環(huán)境中,如監(jiān)控視頻獲得人臉圖像往往是多姿態(tài)的,如果按照之前的方法實驗結(jié)果可能較差,而我們所提出地方法相對能夠合成更多細節(jié)的高分辨率人臉圖像。
附圖說明
圖1是本發(fā)明的流程圖。
具體實施方式
下面結(jié)合附圖和具體實施例對本發(fā)明的技術(shù)方案做進一步的詳細說明:
本發(fā)明提供一種基于局部約束雙核范數(shù)正則的多姿態(tài)人臉圖像質(zhì)量增強方法,具體流程如圖1所示。
(一)以圖像中每個像素位置為中心,獲取低質(zhì)量測試圖像和低質(zhì)量訓練樣本圖像各個像素位置的圖像塊。
(二)對低質(zhì)量測試圖像中的每個圖像塊,運用局部約束雙核范數(shù)正則回歸方法獲得其在低質(zhì)量訓練樣本圖像中對應位置上的圖像塊集合的線性表示。
對于待合成的低質(zhì)量測試圖像塊y,首先進行模為1的歸一化操作,然后用低質(zhì)量訓練樣本圖像中對應位置上的圖像塊對其進行線性表示:
y=x1a1+x2a2+…+xnan+e
其中,ai是第i個低質(zhì)量像素訓練樣本圖像中對應位置的圖像塊,i={1,2,…,n},n是訓練樣本圖像個數(shù);xi是表示系數(shù)向量x中的第i個元素值;e是表示殘差項。
為了簡易起見,定義從空間
其中,表示系數(shù)向量x的求解方法有以下三種:
(1)基于行矯正的核范數(shù)正則化稀疏編碼的多姿態(tài)人臉圖像超分辨率算法,對低質(zhì)量輸入人臉圖像塊(即低質(zhì)量測試圖像塊)按行重新排序的核范數(shù)正則化系數(shù)譯碼函數(shù):
其中,||·||*表示矩陣的核范數(shù)(即矩陣的所有奇異值的和);m為行矯正矩陣;y表示低質(zhì)量測試圖像塊矩陣,α為第一正則化參數(shù),h=[vec(a1),...,vec(an)],vec(·)表示矩陣的向量化操作,β為第二正則化參數(shù),d=(d1,d2,…,dn)表示低質(zhì)量測試圖像塊與低質(zhì)量訓練樣本圖像塊之間的歐幾里德距離矩陣。
以上模型可以進一步表示為:
其拉格朗日函數(shù)表示為:
其中,y1、y2均為拉格朗日乘子,μ為第三正則化參數(shù)。
采用交替方向乘子法admm對該模型進行求解,具體過程如下:
<a>固定x、e、s,更新m:
其中,ek、xk、y1k別為第k步更新后e、x、y1的值,mk+1為第k+1步更新后m的值。
使uσvt為
mk+1=vut;
<b>固定m、e、s的值,更新x:
其中,xk+1為第k+1步更新后x的值,mk+1為第k+1步更新后m的值,ek、sk、y1k、y2k分別為第k步更新后e、s、y1、y2的值;
xk+1的最優(yōu)解為:
xk+1=(g+diag(g1))\g2
其中,
<c>固定x、m、e,更新s:
可以通過奇異值閾值化求解最優(yōu)的sk+1,其中,sk+1為第k+1步更新后s的值,xk+1為第k+1步更新后x的值,y2k為第k步更新后y2的值;
<d>固定x、m、s,更新e:
可以通過奇異值閾值化求解最優(yōu)解ek+1,其中,ek+1為第k+1步更新后e的值,mk+1、xk+1分別為第k+1步更新后m、x的值,y1k為第k步更新后y1的值;
<e>更新拉格朗日乘子:
y1k+1=y(tǒng)1k+μ(mk+1y-a(xk+1)-ek+1)
其中,y1k+1、y2k+1分別為第k+1步更新后的y1、y2的值;
<f>若達到最大迭代次數(shù)或以下終止條件,輸出xk+1作為x;否則,返回到步驟<a>:
||hdiag(x)-s||∞≤εand||my-a(x)-e||∞≤ε
其中,||·||∞為矩陣的∞范數(shù),ε為預設(shè)的容錯值。
(2)、基于列矯正的核范數(shù)正則化稀疏編碼的多姿態(tài)人臉圖像超分辨率算法,對低質(zhì)量輸入人臉圖像塊(即低質(zhì)量測試圖像塊)按列重新排序的核范數(shù)正則化系數(shù)譯碼函數(shù):
其中,r為一個列旋轉(zhuǎn)矩陣,它主要是對低質(zhì)量輸入圖像塊按列進行重新排序。
以上模型可以進一步表示為:
其拉格朗日函數(shù):
其中,y1、y2均為拉格朗日乘子,μ為第三正則化參數(shù)。
采用交替方向乘子法admm對該模型進行求解,具體過程如下:
<a>固定x、e、s,更新r:
其中,ek、xk、y1k分別為第k步更新后e、x、y1的值,rk+1為第k+1步更新后r的值;
使uσvt為
rk+1=vut;
<b>固定r、e、s,更新x:
其中,xk+1為第k+1步更新后x的值,rk+1為第k+1步更新后r的值,ek、sk、y1k、y2k分別為第k步更新后e、s、y1、y2的值;
x的最優(yōu)解為:
xk+1=(g+diag(g1))\g2
其中,
<c>固定x、m、e,更新s:
可以通過奇異值閾值化求解最優(yōu)的sk+1,其中,sk+1為第k+1步更新后s的值,xk+1為第k+1步更新后x的值,y2k為第k步更新后y2的值;
<d>固定x、r、s,更新e:
可以通過奇異值閾值化求解最優(yōu)解ek+1,其中,ek+1為第k+1步更新后e的值,rk+1、xk+1分別為第k+1步更新后r、x的值,y1k為第k步更新后y1的值;
<e>更新拉格朗日乘子:
y1k+1=y(tǒng)1k+μ(yrk+1-a(xk+1)-ek+1)
其中,y1k+1、y2k+1分別為第k+1步更新后的y1、y2的值;
<f>若達到最大迭代次數(shù)或以下終止條件,輸出xk+1作為x;否則,返回到步驟<a>:
||hdiag(x)-s||∞≤εand||yr-a(x)-e||∞≤ε
其中,||·||∞為矩陣的∞范數(shù),ε為預設(shè)的容錯值。
(3)、基于行和列同時矯正的核范數(shù)正則化稀疏譯碼的多姿態(tài)人臉圖像超分辨率算法,對低質(zhì)量測試圖像塊按行和列同時進行重新排序的核范數(shù)正則化稀疏譯碼函數(shù)為:
其中,m、r均為旋轉(zhuǎn)矩陣,m表示行矯正矩陣,r表示列旋轉(zhuǎn)矩陣,它們主要是對低質(zhì)量輸入圖像塊先按行進行重新排序,再按列進行重新排序。
以上模型可以進一步表示為
s.t.e=myr-a(x),s=hdiag(x),mtm=i,rtr=i
其拉格朗日函數(shù):
其中,y1、y2均為拉格朗日乘子,μ為第三正則化參數(shù)。
采用交替方向乘子法admm對該模型進行求解,具體過程如下:
<a>固定x、e、s、r,更新m:
其中,rk、ek、xk、y1k分別為第k步更新后r、e、x、y1的值,mk+1為第k+1步更新后m的值;
使u1σ1v1t為
mk+1=v1u1t
<b>固定x、e、s、m,更新r:
其中,ek、xk、y1k分別為第k步更新后e、x、y1的值,mk+1、rk+1分別為m、r第k+1步更新后的值。
使u2σ2v2t為
rk+1=v2u2t
<c>固定m、r、e、s,更新x:
x的最優(yōu)解為:
xk+1=(g+diag(g1))\g2
其中,
<d>固定x、m、r、e,更新s:
可以通過奇異值閾值化求解最優(yōu)的sk+1,其中,sk+1為第k+1步更新后s的值,xk+1為第k+1步更新后x的值,y2k為第k步更新后y2的值;
<e>固定x、m、r、s,更新e:
可以通過奇異值閾值化求解最優(yōu)解ek+1,其中,ek+1為第k+1步更新后e的值,mk+1、rk+1、xk+1分別為第k+1步更新后m、r、x的值,y1k為第k步更新后y1的值;
<f>更新拉格朗日乘子:
yk+1=y(tǒng)k+μ(mk+1yrk+1-a(xk+1)-ek+1)
其中,y1k+1、y2k+1分別為第k+1步更新后的y1、y2的值;
<g>若達到最大迭代次數(shù)或以下終止條件,輸出xk+1作為x;否則,返回到步驟<a>:
||hdiag(x)-s||∞≤εand||myr-a(x)-e||∞≤ε
其中,||·||∞為矩陣的∞范數(shù),ε為預設(shè)的容錯值。
(三)、利用求得的最優(yōu)表示系數(shù)向量x和相應的高質(zhì)量訓練樣本合成高質(zhì)量人臉圖像塊y,y=ah(x)=x1a1h+x2a2h+…+xnanh,a1h,a2h,…,anh為高質(zhì)量訓練樣本圖像塊。
(四)、按位置集中所合成的高質(zhì)量人臉圖像塊,對于重合部分取平均值,得到最終合成的高質(zhì)量人臉圖像。
以上所述,僅為本發(fā)明中的具體實施方式,但本發(fā)明的保護范圍并不局限于此,任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi),可理解想到的變換或替換,都應涵蓋在本發(fā)明的包含范圍之內(nèi),因此,本發(fā)明的保護范圍應該以權(quán)利要求書的保護范圍為準。