專利名稱：一種位置塊非線性映射的人臉圖像超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)，具體涉及一種位置塊非線性映射的人臉圖像超分辨率
重建方法。
背景技術(shù)：
圖像超分辨率(Super Resolution, SR)是指從一幅或一系列低分辨率圖像(Low Resolution, LR)中得到一幅高分辨率(High Resolution, HR)圖像的過程。近年來，視頻監(jiān)控已經(jīng)在銀行、機(jī)場等重要場所得到了廣泛的應(yīng)用。但在許多情況下，監(jiān)控設(shè)備得到的人臉圖像分辨率太低，以致于無法直接進(jìn)行識別，因此人臉圖像超分辨率問題的研究具有現(xiàn)實(shí)的意義。一般自然圖像的超分辨率算法，可以給人臉圖像超分辨率算法很多啟示。但人臉圖像是一類特殊的圖像，有其特定的全局結(jié)構(gòu)。因此將不考率全局結(jié)構(gòu)信息的一般自然圖像超分辨率算法推廣到人臉圖像超分辨率問題有一定的局限性，重建的效果還有進(jìn)一步提高的空間。Liu等首次提出了人臉超分辨率的兩步法，即將人臉超分辨率問題分解為人臉全局信息與局部細(xì)節(jié)信息的重建兩部分，將全局信息與局部細(xì)節(jié)相加得到最終的高分辨率人臉圖像。兩步法是一個(gè)很好的框架，眾多人臉超分辨率的方法都基于此框架對人臉全局信息的表示，主要思路是用人臉圖像的特定約束來描述全局特征，實(shí)現(xiàn)上大多都通過建立高低分辨率圖像全局特征之間的關(guān)系來重建全局信息；對于細(xì)節(jié)紋理特征的表示，主要思路是建立樣本的圖像塊與訓(xùn)練集圖像塊之間的鄰域關(guān)系，并采用各種局部模型來描述紋理特征。兩步法通過建立高低分辨率人臉全局特征關(guān)系和細(xì)節(jié)補(bǔ)償相結(jié)合，重建恢復(fù)效果有一定的提高，但建立高低分辨率人臉全局特征之間的關(guān)系時(shí)常常在重建結(jié)果中引入偽影，降低了重建的性能，與此同時(shí)兩步法引入了額外的計(jì)算量，重建效率上也有一定下降。 基于此，Ma等提出了一種基于位置塊重構(gòu)的人臉超分辨率算法，用圖像塊的位置信息表征人臉的全局結(jié)構(gòu)，用圖像塊的內(nèi)容表征細(xì)節(jié)信息。然而Ma在恢復(fù)細(xì)節(jié)信息時(shí)采用的最小二乘法只考慮了高低分辨率位置塊間的線性相關(guān)分量，而忽略了非線性相關(guān)分量，為了提高超分辨率重建的性能，需要尋找更好的方法來解決此處存在的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種位置塊非線性映射的人臉圖像超分辨率重建方法，以解決現(xiàn)有技術(shù)中存在的上述問題。為了達(dá)到上述目的，本發(fā)明采取的技術(shù)方案是1)首先，將高低分辨率人臉圖像分割成高低分辨率位置塊圖像；2)其次，利用徑向基函數(shù)超分辨率重建對應(yīng)位置塊的高分辨率圖像。在訓(xùn)練階段， 利用徑向基函數(shù)由訓(xùn)練圖像為每一個(gè)位置的高低分辨率位置塊訓(xùn)練一個(gè)非線性映射，用于表示每一個(gè)位置的高低分辨率位置塊之間的非線性關(guān)系，在測試階段，利用每一個(gè)位置訓(xùn)練得到的非線性關(guān)系從測試低分辨率位置塊估計(jì)出對應(yīng)的高分辨率位置塊；3)最后，按照各個(gè)位置塊的位置信息將估計(jì)得到的高分辨率位置塊圖像拼接成對應(yīng)的高分辨率重建圖像。所述步驟1)包含以下步驟1)將低分辨率人臉圖像采用雙線性插值，使得插值后的低分辨率人臉圖像分辨率大小與高分辨率圖像分辨率大小一致。2)采用p*p大小的窗口分別對高低分辨率圖像進(jìn)行分塊，采用有重疊的分塊方式，上下左右相鄰位置塊之間有重疊的部分，相鄰塊之間重疊像素為η。其中P為一個(gè)整數(shù)， 取值范圍為2 16，η為一個(gè)整數(shù)且0彡η彡ρ/2。將高低分辨率圖像中相同平面位置的圖像塊稱為對應(yīng)的相同位置的高低分辨率位置塊。所述步驟2、利用徑向基函數(shù)超分辨率重建對應(yīng)位置塊的高分辨率圖像，其具體過程如下分別用IHq =[IHq1...,IHqm]和ILq=[ILq1,...,ILqm]表示第9個(gè)位置的高低分辨率訓(xùn)練
位置塊，巧和砧分別表示第q個(gè)位置第一個(gè)訓(xùn)練樣本的高低分辨率位置塊圖像，其中《和砧均為位置塊圖像灰度值展開成的列向量，上標(biāo)H和L分別表示高分辨率和低分辨率，第一個(gè)下標(biāo)q表示按照前述的位置塊分割方法分割出的第q個(gè)位置，第二個(gè)下標(biāo)1 m表示第 1 m個(gè)訓(xùn)練樣本，用^和《分別表示位于位置q的雙線性插值后的測試低分辨率位置塊和
待求的高分辨率位置塊，則利用徑向基函數(shù)求得<，計(jì)算式為
權(quán)利要求
1.一種位置塊非線性映射的人臉圖像超分辨率重建方法，其特征在于包含以下步驟1)首先，將高低分辨率人臉圖像分割成高低分辨率位置塊圖像；2)其次，利用徑向基函數(shù)超分辨率重建對應(yīng)位置塊的高分辨率圖像。在訓(xùn)練階段，利用徑向基函數(shù)由訓(xùn)練圖像為每一個(gè)位置的高低分辨率位置塊訓(xùn)練一個(gè)非線性映射，用于表示每一個(gè)位置的高低分辨率位置塊之間的非線性關(guān)系，在測試階段，利用每一個(gè)位置訓(xùn)練得到的非線性關(guān)系從測試低分辨率位置塊估計(jì)出對應(yīng)的高分辨率位置塊；3)最后，按照各個(gè)位置塊的位置信息將估計(jì)得到的高分辨率位置塊圖像拼接成對應(yīng)的高分辨率重建圖像。
2.根據(jù)權(quán)利要求1所述的位置塊非線性映射的人臉圖像超分辨率重建方法，其特征在于所述步驟1)包含以下步驟1)將低分辨率人臉圖像采用雙線性插值，使得插值后的低分辨率人臉圖像分辨率大小與高分辨率圖像分辨率大小一致。2)采用p*p大小的窗口分別對高低分辨率圖像進(jìn)行分塊，采用有重疊的分塊方式，上下左右相鄰位置塊之間有重疊的部分，相鄰塊之間重疊像素為η。其中ρ為一個(gè)整數(shù)，取值范圍為2 16，η為一個(gè)整數(shù)且0彡η彡ρ/2。將高低分辨率圖像中相同平面位置的圖像塊稱為對應(yīng)的相同位置的高低分辨率位置塊。
3.根據(jù)權(quán)利要求1所述的位置塊非線性映射的人臉圖像超分辨率重建方法，其特征在于所述步驟幻利用徑向基函數(shù)超分辨率重建對應(yīng)位置塊的高分辨率圖像，其具體過程如下分別用/f = [g,...,Zfm]和^ = [^i,表示第q個(gè)位置的高低分辨率訓(xùn)練位置塊，巧和々分別表示第q個(gè)位置第一個(gè)訓(xùn)練樣本的高低分辨率位置塊圖像，其中巧和々均為位置塊圖像灰度值展開成的列向量，上標(biāo)H和L分別表示高分辨率和低分辨率，第一個(gè)下標(biāo) q表示按照前述的位置塊分割方法分割出的第q個(gè)位置，第二個(gè)下標(biāo)1 m表示第1 m個(gè)訓(xùn)練樣本，用g和《分別表示位于位置q的雙線性插值后的測試低分辨率位置塊和待求的高分辨率位置塊，則利用徑向基函數(shù)求得巧，計(jì)算式為其中T表示矩陣的轉(zhuǎn)置運(yùn)算，識為采用的多維二次曲面徑向基函數(shù)，具體的計(jì)算表達(dá)式為
4.根據(jù)權(quán)利要求1所述的位置塊非線性映射的人臉圖像超分辨率重建方法，其特征在于所述步驟；3)將高分辨率位置塊圖像拼接成對應(yīng)的高分辨率重建圖像，當(dāng)遇到重疊像素時(shí)取各個(gè)高分辨率位置塊該像素灰度值的均值為重疊像素最終的灰度值。
全文摘要
一種位置塊非線性映射的人臉圖像超分辨率重建方法，從粗略對齊的人臉圖像的結(jié)構(gòu)信息和細(xì)節(jié)信息出發(fā)，首先將訓(xùn)練和測試高低分辨率人臉圖像分割成帶重疊區(qū)域的對應(yīng)高低分辨率位置塊圖像，然后在每個(gè)對應(yīng)的位置上利用由訓(xùn)練數(shù)據(jù)學(xué)習(xí)到的高低分辨率位置塊圖像之間的非線性映射關(guān)系重建出測試低分辨率位置塊圖像對應(yīng)的超分辨率位置塊圖像，最后將超分辨率位置塊圖像拼接起來獲得最終的超分辨率人臉圖像。在標(biāo)準(zhǔn)數(shù)據(jù)庫上的實(shí)驗(yàn)表明，本發(fā)明提出的方法有較好的視覺效果和較高的客觀評價(jià)質(zhì)量。
文檔編號G06T5/00GK102306374SQ201110252310
公開日2012年1月4日 申請日期2011年8月30日 優(yōu)先權(quán)日2011年8月30日
發(fā)明者曾嘯, 黃華 申請人:西安交通大學(xué)