一種基于hr-lle權(quán)值約束的人臉圖像超分辨率復(fù)原方法
【專利摘要】本發(fā)明屬于數(shù)字圖像處理領(lǐng)域，特別涉及一種基于HR‐LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法。首先求出大量HR人臉樣本和殘差HR人臉相對于其近鄰樣本的平均重建權(quán)值約束；在重建過程中，分別利用全局和局部平均重建權(quán)值約束對傳統(tǒng)的基于LLE的人臉超分辨率重建權(quán)值求解方法進行權(quán)值約束。重建算法分為全局重建和局部細節(jié)補償兩個部分。這里全局重建的目的是復(fù)原標準人臉應(yīng)具備的基本特征；局部細節(jié)補償?shù)哪康氖侵亟ㄈ四槇D像應(yīng)該具有區(qū)分其他人臉的個性特征。該方法在估計目標HR圖像的基于LLE的重建權(quán)值時，加入了HR-LLE權(quán)值約束，使權(quán)值在l2范數(shù)上更接近真實的HR圖像重建權(quán)值。該方法可以取得較好的圖像復(fù)原結(jié)果。
【專利說明】 一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字圖像處理領(lǐng)域，特別涉及一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法。
【背景技術(shù)】
[0002]近年來，人臉檢測和識別等技術(shù)在視頻監(jiān)控、移動終端和網(wǎng)絡(luò)檢索等多媒體應(yīng)用中發(fā)揮著越來越重要的作用。人臉圖像的質(zhì)量對這些多媒體應(yīng)用的性能具有很大的影響。然而，由于受到圖像采集設(shè)備和采集環(huán)境的影響，特別是在無法控制的自然環(huán)境下，獲取到的人臉圖像通常質(zhì)量較差，難以直接應(yīng)用于后續(xù)的檢測和識別。人臉圖像采集后采用超分辨率復(fù)原(Super Resolution, SR)技術(shù)提高人臉圖像質(zhì)量顯得尤為重要。
[0003]現(xiàn)有的人臉超分辨率復(fù)原技術(shù)可以分為兩類:基于重建的方法和基于學習的方法。近年來，基于學習的方法成為研究的熱點。其主要思想是通過學習方法建立低分辨率和高分辨率圖像之間的映射關(guān)系，由機器學習獲取的先驗信息取代基于重建方法中的人為定義的約束條件。隨著流形學習理論的發(fā)展，研究者提出了一系列基于流形假設(shè)的人臉圖像超分辨率復(fù)原算法。局部線性嵌入(Locally Linear Embedding, LLE)是流形學習中具有代表性的一種非線性降維方法，近年來被很多研究者用來進行圖像的超分辨率復(fù)原，取得了一定的成績?；贚LE的人臉超分辨率復(fù)原算法都是建立在流形假設(shè)的基礎(chǔ)上，即高分辨率(High Resolution, HR)圖像(或圖像塊)和相應(yīng)的低分辨率(Low Resolution, LR)圖像(或圖像塊)具有相似的局部幾何結(jié)構(gòu)。具體在LLE中，則表現(xiàn)為LR和HR空間中對應(yīng)的像素點或圖像塊通過其周圍像素點或塊進行線性表示時，權(quán)值矢量相等。這種假設(shè)應(yīng)用于圖像超分辨率復(fù)原中，首先建立大量成對的LR-HR學習樣本庫；然后對于待重建的LR圖像，利用樣本庫中的LR樣本進行線性表示，獲得LR權(quán)值系數(shù)。重建過程采用LR權(quán)值系數(shù)直接代替HR權(quán)值系數(shù)，與樣本庫中對應(yīng)的HR圖像線性組合來預(yù)測HR圖像。然而，由于LR到HR空間的映射是一對多的映射關(guān)系，因此這種映射存在非等距性。直接用LR空間的權(quán)值取代HR空間權(quán)值將引入誤差。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于，通過一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法，將低分辨率圖像重建為分辨率較高的圖像。這里的高分辨率是指空間分辨率放大4倍或4倍以上。本發(fā)明主要針對的是人臉圖像。
[0005]本發(fā)明是采用以下技術(shù)手段實現(xiàn)的:
[0006]首先求出大量HR人臉樣本和殘差HR人臉相對于其近鄰樣本的平均重建權(quán)值約束；在重建過程中，分別利用全局和局部平均重建權(quán)值約束對傳統(tǒng)的基于LLE的人臉超分辨率重建權(quán)值求解方法進行權(quán)值約束。整體流程圖如附圖1所示。重建算法分為全局重建和局部細節(jié)補償兩個部分。這里全局重建的目的是復(fù)原標準人臉應(yīng)具備的基本特征；局部細節(jié)補償?shù)哪康氖侵亟ㄈ四槇D像應(yīng)該具有區(qū)分其他人臉的個性特征；[0007]該方法具體包括以下步驟:
[0008](一)全局HR-LLE權(quán)值約束重建
[0009](I)全局平均重建權(quán)值約束
[0010]首先建立成對的HR人臉樣本圖像庫和LR人臉樣本圖像庫；利用歐式距離作為衡量標準依次找出每個LR人臉樣本的K1個最近鄰LR人臉樣本和與其相對應(yīng)的K1個HR人臉樣本圖像；利用傳統(tǒng)的基于LLE的權(quán)值求解方法計算出LR人臉樣本相對于其K1個LR最近鄰樣本的重建權(quán)值；利用傳統(tǒng)的基于LLE的權(quán)值求解方法得出HR人臉樣本相對于K1個HR最近鄰樣本的重建權(quán)值，權(quán)值結(jié)果如圖2所示；LR權(quán)值和HR權(quán)值之間存在著差別，這種差別表現(xiàn)在權(quán)值系數(shù)的整體起伏趨勢一致，但是方差不同；對LR樣本和HR樣本的重建權(quán)值求I2范數(shù)，結(jié)果如附圖3所示。HR樣本的重建權(quán)值的I2范數(shù)是在一個很小的范圍內(nèi)上下浮動，取大量HR樣本重建權(quán)值的I2范數(shù)的平均值作為全局平均重建權(quán)值約束Wg。
[0011](2)全局重建
[0012]輸入LR人臉圖像，利用歐式距離在LR人臉樣本庫中找出K1Alr最近鄰樣本。利用本發(fā)明提出的基于HR-LLE的重建權(quán)值最優(yōu)化方法得出輸入LR人臉圖像相對于其K1個LR最近鄰樣本的重建權(quán)值；找出K1個LR最近鄰樣本相對應(yīng)的HR樣本；利用重建權(quán)值和K1個HR樣本進行線性組合得到全局重建的人臉圖像。
[0013](二)局部細節(jié)補償
[0014]( I)局部平均重建權(quán)值約束
[0015]首先，建立HR殘差人臉樣本庫和相應(yīng)的LR殘差人臉樣本庫；由樣本中的LR圖像利用全局HR-LLE權(quán)值約束算法生成一組初始放大的HR圖像；計算樣本庫中HR圖像與這些初始放大HR圖像之間的殘差，得到一組HR殘差樣本庫；然后對初始放大的HR人臉樣本圖像進行下采樣，計算下采樣后的子圖像與LR人臉樣本圖像之間的殘差，得到一組LR殘差人臉樣本圖像。
[0016]由于局部細節(jié)補償時是分塊進行的，所以在求取局部平均重建權(quán)值約束的時候也采用分塊的方法。與全局平均重建權(quán)值約束的求解方法相似，HR殘差樣本圖像塊的重建權(quán)值的I2范數(shù)也是在一個很小的范圍內(nèi)上下浮動，因此取大量HR殘差樣本塊重建權(quán)值的I2范數(shù)的平均值作為局部平均重建權(quán)值約束Wp
[0017](2)局部細節(jié)補償
[0018]對全局重建的人臉圖像進行下采樣處理；將下采樣圖像與輸入LR人臉圖像進行做差得到LR殘差人臉圖像；對LR殘差人臉圖像進行分塊處理；利用歐氏距離在LR殘差人臉樣本庫中依次找出每個LR殘差圖像塊的K2個最近鄰LR殘差樣本圖像塊；找出這K2個最近鄰LR殘差樣本圖像塊相對應(yīng)的HR殘差樣本塊；利用本發(fā)明提出的基于HR-LLE的重建權(quán)值最優(yōu)化方法得出輸入LR殘差人臉圖像塊相對于K2個LR最近鄰殘差樣本塊的重建權(quán)值；利用該重建權(quán)值和K2個HR殘差樣本塊的線性組合得到重建的HR殘差圖像塊。
[0019]依次重建HR殘差圖像塊,最終重建出整幅HR殘差人臉圖像；將該HR殘差人臉圖像和初始放大人臉圖像相加，得到最終的輸出放大人臉圖像。
[0020]本發(fā)明有益的技術(shù)效果是:提出了一種基于HR-LLE權(quán)值約束的HR圖像重建權(quán)值預(yù)測方法。該方法在估計目標HR圖像的基于LLE的重建權(quán)值時，加入了 HR-LLE權(quán)值約束，使權(quán)值在I2范數(shù)上更接近真實的HR圖像重建權(quán)值。在此基礎(chǔ)上，提出了一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法。相對于傳統(tǒng)圖像重建方法，該方法可以取得較好的圖像復(fù)原結(jié)果。
[0021]本發(fā)明的特點:
[0022](I)提出了一種基于HR-LLE權(quán)值約束的目標HR圖像重建權(quán)值預(yù)測方法。該方法在估計目標HR圖像的基于LLE的重建權(quán)值時，加入了 HR-LLE權(quán)值約束，使權(quán)值在I2范數(shù)上更接近真實HR權(quán)值。
[0023](2)提出了一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法。該方法分別從全局特征、局部特征兩方面進行約束，重建高分辨率人臉圖像。實驗表明，本文方法可取得較好的高分辨率人臉圖像重建結(jié)果。
【專利附圖】

【附圖說明】:
[0024]圖1、本發(fā)明方法整體框圖
[0025]圖2、HR人臉圖像重建權(quán)值和4倍下采樣LR人臉圖像的重建權(quán)值對比圖
[0026]圖3、人臉圖像重建權(quán)值I2范數(shù)和4倍下采樣LR人臉的權(quán)值I2范數(shù)對比
[0027]圖4、輸入低分辨率人臉圖像
[0028]圖5、初步放大人臉圖像
[0029]圖6、最終放大輸 出人臉圖像
[0030]圖7、本發(fā)明方法與傳統(tǒng)插值放大結(jié)果比較
【具體實施方式】:
[0031 ] 以下結(jié)合說明書附圖，對本發(fā)明的實施實例加以說明。
[0032](一)全局HR-LLE權(quán)值約束重建
[0033]( I)全局平均重建權(quán)值約束
[0034]首先，需要建立兩個人臉圖像樣本庫，即成對的HR人臉圖像樣本庫和相應(yīng)的LR人臉圖像樣本庫。該發(fā)明中選擇CAS-PEAL人臉圖像庫和自建的二代身份證圖像庫進行了實驗；共選擇了 1470幅正面人臉圖像，均歸一化為140X160像素大小作為樣本庫中的HR人臉樣本；4倍下采樣HR人臉樣本，生成相應(yīng)的LR人臉樣本。
[0035]利用傳統(tǒng)的基于LLE的權(quán)值求解方法計算出每個LR人臉樣本相對于其K1最近鄰樣本的重建權(quán)值，如公式(I)所示。
[0036]
【權(quán)利要求】
1.一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法，其特征在于包括如下步驟: (一)全局HR-LLE權(quán)值約束重建 (1)全局平均重建權(quán)值約束 首先，需要建立兩個人臉圖像樣本庫，即成對的HR人臉圖像樣本庫和相應(yīng)的LR人臉圖像樣本庫； 利用基于LLE的權(quán)值求解方法計算出每個LR人臉樣本相對于其K1最近鄰樣本的重建權(quán)值，如公式(I)所示；
【文檔編號】G06T5/00GK103971332SQ201410099532
【公開日】2014年8月6日 申請日期:2014年3月17日 優(yōu)先權(quán)日:2014年3月17日
【發(fā)明者】李曉光, 魏振利, 卓力 申請人:北京工業(yè)大學