專利名稱：基于支撐向量回歸的人臉偽畫像\偽照片合成方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及一種采用模式識別與計算機視覺技 術(shù)的人臉畫像-照片的合成方法，可用于刑偵領(lǐng)域中的人臉畫像-照片識別和娛樂領(lǐng)域中 的畫像或照片生成。
背景技術(shù)：
目前在刑偵和娛樂領(lǐng)域中，對任意一張人臉照片生成一張偽畫像或者對任意一張 人臉畫像生成一張偽照片通?；谌N方法基于局部線性的人臉畫像合成方法，基于嵌 入式隱馬爾科夫模型的人臉畫像合成方法和基于稀疏表示的人臉畫像-照片合成方法。Liu 等人在文獻(xiàn)"Q. S. Liu and X. 0. Tang, A nonlinear approach for face sketch synthesis and recognition, in Proc. IEEE Int.Conference on Computer Vision, San Diego, CA, pp. 1005-1010，20_26Jun. 2005. ”中提出了一種局部線性來近似非 線性的方法來生成偽畫像。該方法是對于任意一張照片，首先對其進(jìn)行分塊，對于分塊后的 任意一個小塊，用局部線性嵌入方法得到其最相似的K個照片塊和這K個照片塊的擬合系 數(shù)，然后在訓(xùn)練數(shù)據(jù)庫中尋找與這K個照片塊對應(yīng)的畫像塊，將照片塊擬合得到的系數(shù)與 畫像塊進(jìn)行組合，最后得到最終的偽畫像。由于該方法采用了分塊K近鄰技術(shù)，而且最后分 塊重疊的部分要進(jìn)行平均，從而導(dǎo)致細(xì)節(jié)信息丟失進(jìn)而降低了人臉畫像-照片識別率。Gao 等人在文獻(xiàn)"Gao，X.，Zhong, J.，Tao, T. and Li，X·，Local face sketch synthesis learning，Neurocomputing, vol. 71，no. 10-12，pp. 1921-1930，Jun. 2008.，，中 提出利用利用嵌入式隱馬爾科夫模型來生成偽畫像。該方法首先對訓(xùn)練庫中的照片和畫像 進(jìn)行分塊，然后用嵌入式隱馬爾科夫模型對相應(yīng)的照片塊和畫像塊進(jìn)行建模，任意給一張 照片，同樣進(jìn)行分塊，對于任意的一個塊，用選擇性集成的思想，選擇部分塊生成的模型進(jìn) 行偽畫像的生成并進(jìn)行融合從而得到最終的偽畫像。由于該方法采用了選擇性集成技術(shù)， 生成的偽畫像要進(jìn)行加權(quán)平均，導(dǎo)致細(xì)節(jié)信息丟失進(jìn)而降低了畫像-照片識別率，另外該 方法的算法復(fù)雜度太高。高新波等人在申請?zhí)?01010289330.9申請日2010-09-24公開號101958000A
的專利申請文件中公開的“基于稀疏表示的畫像-照片生成方法”對偽畫像和偽照片的細(xì) 節(jié)信息進(jìn)行了增強。該方法首先用局部線性合成方法或嵌入式隱馬爾科夫模型的方法生 成偽畫像或偽照片的初始估計，然后用基于稀疏表示的方法合成偽畫像或偽照片的細(xì)節(jié)信 息，最后將初始估計和細(xì)節(jié)信息進(jìn)行融合。但是該專利申請的方法對于樣本數(shù)較少的小樣 本問題不適用。綜上所述，現(xiàn)有的畫像-照片合成算法都存在細(xì)節(jié)信息丟失而引起的模糊問題。 同時用現(xiàn)有的方法合成的偽照片和偽畫像進(jìn)行畫像-照片檢索時由于細(xì)節(jié)信息丟失導(dǎo)致 畫像-照片識別率較低。另外已有的增強細(xì)節(jié)的方法所用的樣本數(shù)比較大，使得對于樣本 數(shù)較少的小樣本問題不適用。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述已有技術(shù)的不足，提出一種基于支撐向量回歸的人臉 畫像-照片的合成方法，可為刑偵領(lǐng)域或娛樂領(lǐng)域提供清晰的偽畫像和偽照片。本發(fā)明實現(xiàn)的具體步驟如下(1)劃分?jǐn)?shù)據(jù)庫樣本集將待處理的人臉照片\畫像集分別劃分為照片\畫像訓(xùn) 練集和照片\畫像測試集；(2)在照片\畫像測試集中任取一張照片\畫像；(3)生成偽畫像\偽照片初始估計對所取的照片\畫像，用嵌入式方法生成對應(yīng) 的偽畫像\偽照片初始估計；(4)生成一組訓(xùn)練人臉照片\畫像塊集4a)將訓(xùn)練照片集和訓(xùn)練畫像集中的照片和畫像分成方形照片塊和畫像塊，生成 照片\畫像塊集；4b)對照片\畫像塊集中的每一個塊，分別求水平方向和垂直方向的一階導(dǎo)數(shù)和 二階導(dǎo)數(shù)，并將導(dǎo)數(shù)值作為列向量；4c)用C均值聚類算法對照片\畫像塊生成的列向量進(jìn)行聚類，得到一組訓(xùn)練人臉 照片\畫像塊集，為每一組照片\畫像塊集設(shè)定相應(yīng)的序號類標(biāo)；4d)將對應(yīng)于照片\畫像塊集相同類標(biāo)的畫像\照片塊分在同一個集中，生成一組 訓(xùn)練人臉畫像\照片塊集；(5)生成一組支撐向量回歸模型5a)對于步驟4c)的一組訓(xùn)練人臉照片\畫像塊集，將每個塊的所有像素值減去塊 中心像素值后排成一行，所有塊的所有行排成一列作為支撐向量回歸模型的輸入；5b)對于步驟4c)的一組訓(xùn)練人臉畫像\照片塊集，將每個塊的中心像素值減去其 塊內(nèi)所有像素的平均值得到的值排成一列作為支撐向量回歸模型的輸出；5c)在步驟fe)中照片\畫像塊集生成的輸入和對應(yīng)的步驟恥)中畫像\照片塊 集生成的輸出之間訓(xùn)練生成一組支撐向量回歸模型；(6)生成任取照片\畫像對應(yīng)偽畫像\偽照片的高頻6a)將步驟(2)照片\畫像測試集所取的照片\畫像分成方形小塊；6b)對步驟如)中生成的每個訓(xùn)練照片\畫像塊集計算平均值；6c)對步驟6a)中的每個小塊，計算其與步驟6b)中每個照片\畫像塊集平均值之 間的歐式距離，得到距離最近的照片\畫像塊集，按照步驟5c)取出該照片\畫像塊集對應(yīng) 的支撐向量回歸模型；6d)將步驟6a)中每個小塊的塊內(nèi)所有像素值減去塊中心像素值后排成一行作為 輸入，通過步驟6c)中的支撐向量回歸模型獲得輸出值，將其輸出值作為小塊的偽畫像\偽 照片高頻，將所有小塊的偽畫像\偽照片高頻組合得到最終偽畫像\偽照片高頻；(7)生成最終的偽畫像\偽照片將步驟(3)中生成的偽畫像\偽照片初始估計 和步驟(6)中生成的偽畫像\偽照片高頻相加得到最終的偽畫像\偽照片。與現(xiàn)有技術(shù)相比，本發(fā)明有以下優(yōu)點(1)本發(fā)明采用了初始估計和高頻信息相加的方法使得生成的偽畫像\偽照片更 加清晰；
(2)本發(fā)明在合成高頻信息時采用分塊聚類合成高頻信息的方法使得最終生成的 偽畫像\偽照片在進(jìn)行檢索時識別率更高；(3)本發(fā)明采用支撐向量回歸的方法合成高頻信息使得解決小樣本問題時同樣適
I=I O本發(fā)明的技術(shù)過程和效果可結(jié)合以下附圖詳細(xì)說明。


圖1為本發(fā)明流程圖；圖2為本發(fā)明在CUHK student數(shù)據(jù)庫上生成的偽畫像的效果圖；圖3為本發(fā)明在CUHK student數(shù)據(jù)庫上生成的偽照片的效果圖。
具體實施例方式參照圖1，本發(fā)明具體實施方式
如下步驟1，劃分?jǐn)?shù)據(jù)庫樣本集。將待處理的CUHK student數(shù)據(jù)庫中的人臉照片\畫像集分別劃分為照片\畫像 訓(xùn)練集U = {Up I Up e Rn}和照片\畫像測試集G = {Uq I Uq e R"}，使得數(shù)據(jù)庫樣本集中訓(xùn)練 集和測試集的比例為40 % 60 %。其中，仏表示照片\畫像訓(xùn)練集中的第ρ張照片\畫像，ρ = 1,2,... ,M,M= 100，M是訓(xùn)練樣本集的個數(shù)，Rn表示η維實數(shù)空間，Uq表示照片\畫像測試集中的第q張照片\畫像，q= 1,... ,N, N = 88, N是測試樣本集的個數(shù)，步驟2，任取一張照片\畫像。為了生成偽畫像\偽照片初始估計和偽畫像\偽照 片高頻，需要在步驟(1)獲得的照片\畫像測試集G中任取一張照片\畫像。步驟3，初始估計。對照片\畫像測試集0任取的照片\畫像，用嵌入式方法生成其對應(yīng)的偽畫像\偽 照片初始估計Ltl，嵌入式方法可采用局部線性嵌入(LLE)方法或者嵌入式隱馬爾科夫模型 (E-HMM)方法。步驟4，生成照片塊集和畫像塊集。4a)分塊。將在步驟1獲得的訓(xùn)練照片\畫像集U中的照片\畫像按方形分成照片塊和畫像 塊。重疊部分大小是方形塊大小的3/4。本發(fā)明實施例采用的分塊方法是，對訓(xùn)練照片集和 訓(xùn)練畫像集中的64X64的照片和畫像，首先將四周邊緣都擴張3個像素，64X64的照片和 畫像變成70 X 70，塊大小取為7 X 7，重疊部分為5 X 5，從而每張照片和畫像可分為IOM個 方塊，人臉照片塊集和人臉畫像塊集的方塊數(shù)都為10M00 ；4b)對訓(xùn)練照片\畫像集U中的每一個塊，在水平方向上和垂直方向上各取一階 導(dǎo)數(shù)和二階導(dǎo)數(shù)，一階導(dǎo)數(shù)和二階導(dǎo)數(shù)的線性提取算子分別為f\= [-1,0,1]和&= [1， 0,-2,0,1],然后，再將四個導(dǎo)數(shù)值排成一列作為列向量；
4c)用C均值聚類算法對列向量進(jìn)行聚類，通過實驗聚類類數(shù)一般取10 100，本 發(fā)明的實施例中聚類類數(shù)采用25，即獲得25組訓(xùn)練人臉照片\畫像塊集，再將每一組照片 \畫像塊集設(shè)定相應(yīng)的序號類標(biāo)；4d)根據(jù)照片\畫像塊集序號類標(biāo)，對于步驟如)中生成的畫像\照片塊，尋找其 對應(yīng)照片\畫像塊所屬的訓(xùn)練人臉照片\畫像塊集的類標(biāo)，將屬于同一類標(biāo)的畫像\照片 塊分成一組，生成了 25組訓(xùn)練人臉畫像\照片塊集。步驟5，生成一組支撐向量回歸模型。5a)對于步驟4c)獲得的25組訓(xùn)練人臉照片\畫像塊集，將每個塊的所有像素值 減去塊中心像素值后排成一行，所有塊的所有行排成一列作為支撐向量回歸模型的輸入；5b)對于步驟4c)獲得的25組訓(xùn)練人臉畫像\照片塊集，將每個塊的中心像素值 減去其塊內(nèi)所有像素的平均值得到的值排成一列作為支撐向量回歸模型的輸出；5c)在步驟fe)中照片\畫像塊集生成的輸入和對應(yīng)的步驟恥)中畫像\照片塊 集生成的輸出之間訓(xùn)練生成25組支撐向量回歸模型。支撐向量回歸模型的實現(xiàn)采用臺灣 大學(xué)林智仁的LIBSVM工具包。步驟6，生成偽畫像\偽照片高頻。6a)將步驟2照片\畫像測試集中所取的一張照片\畫像U:分成方形小塊，對于 64X64的照片\畫像，重疊部分比方形塊少一個像素。本發(fā)明實施例采用的分塊方法是，首 先將四周邊緣都擴張3個像素，這樣64X64的照片\畫像就變成70X70的照片\畫像，然 后取塊大小取為7 X 7，重疊部分為6 X 6，測試照片\畫像U:的塊數(shù)為4096 ；6b)對步驟如)中生成的每個訓(xùn)練照片\畫像塊集計算平均值；6c)對步驟6a)中的每個小塊，計算其與步驟6b)中每個照片\畫像塊集平均值之 間的歐式距離，得到距離最近的照片\畫像塊集，取出該照片\畫像塊集在步驟5c)中對應(yīng) 的支撐向量回歸模型；6d)將步驟6a)中每個小塊的塊內(nèi)所有像素值減去塊中心像素值后排成一行作為 輸入，通過步驟6c)中的支撐向量回歸模型獲得輸出值，將其輸出值作為小塊的偽畫像\偽 照片高頻，將所有小塊的偽畫像\偽照片高頻組合得到最終偽畫像\偽照片高頻。步驟7，生成最終的偽畫像\偽照片。將步驟3中生成的偽畫像\偽照片初始估計Ltl和步驟6中生成的偽畫像\偽照 片高頻H,相加得到最終的偽畫像\偽照片。本發(fā)明的效果可以通過以下仿真實驗進(jìn)一步說明。1.實驗條件計算機配置環(huán)境為Pentinum(R) 1. 73Ghz,內(nèi)存1G，系統(tǒng)windows XP，仿真軟件采 用MATLAB R2007a。數(shù)據(jù)庫采用香港中文大學(xué)CUHK student數(shù)據(jù)庫。SVR實現(xiàn)采用臺灣大 學(xué)林智仁的 MTTLAB 工具包 “http://www. csie. ntu. edu. tw/ cjlin/libsvm/”。2.實驗內(nèi)容本發(fā)明共有3組實驗實驗1 在CUHK student數(shù)據(jù)庫上合成偽畫像。實驗2 在CUHK student數(shù)據(jù)庫上合成偽照片。實驗3 本發(fā)明方法在實驗1和實驗2合成的偽畫像和偽照片上，運用基于稀疏表示的人臉識別方法進(jìn)行人臉照片-畫像識別的實驗。3.實驗結(jié)果和分析3. 1偽畫像的合成把LLE作為初始估計然后用支撐向量回歸(SVR)合成高頻合成的方法記 作SVR-LLE，把E-HMM作為初始估計然后用支撐向量回歸(SVR)合成高頻的方法記作 SVR-E-HMM。對于本發(fā)明的支撐向量回歸方法，輸入為測試數(shù)據(jù)集中的一張照片，圖2顯示 了在CUHKstudent數(shù)據(jù)庫上偽畫像的輸出結(jié)果。在圖2中，圖2(a)為CUHK student數(shù)據(jù) 庫的原始照片，圖2(b)為原始畫像，圖2 (c)為用LLE生成的偽畫像，圖2(d)為用E-HMM生 成的偽畫像，圖2(e)為用SVR-LLE生成的偽畫像，圖2 (f)為用SVR-E-HMM生成的偽畫像； 從圖2可以看出，由本發(fā)明生成的(e)和(f)分別比現(xiàn)有方法生成的(c)和(d)更加清晰， 可以用于娛樂中用照片生成畫像。3. 2偽照片的合成把LLE作為初始估計然后用支撐向量回歸(SVR)合成高頻合成的方法記 作SVR-LLE，把E-HMM作為初始估計然后用支撐向量回歸(SVR)合成高頻的方法記作 SVR-E-HMM。對于本發(fā)明的支撐向量回歸方法，輸入為測試數(shù)據(jù)集中的一張畫像，圖4顯示 了在CUHKstudent數(shù)據(jù)庫上偽畫像的輸出結(jié)果。在圖3中，圖3(a)為CUHK student數(shù)據(jù) 庫的原始照片，圖3(b)為原始畫像，圖3(c)為用LLE生成的偽照片，圖3(d)為用E-HMM生 成的偽照片，圖3(e)為用SVR-LLE生成的偽照片，圖3 (f)為用SVR-E-HMM生成的偽照片； 從圖3可以看出，由本發(fā)明生成的(e)和(f)分別比原來方法(c)和(d)更加清晰，可以用 于娛樂中用畫像生成照片。3. 3基于稀疏表示的人臉照片-畫像識別人臉識別主要用在公安機關(guān)進(jìn)行嫌疑犯檢索。任給一張嫌疑犯的畫像，對這張畫 像從公安機關(guān)的照片數(shù)據(jù)庫中進(jìn)行檢索。一種方法是基于偽畫像的方法，從照片到畫像的 方法生成照片數(shù)據(jù)庫中所有照片對應(yīng)的偽畫像，這樣就可以對這嫌疑犯的畫像從偽畫像數(shù) 據(jù)庫中進(jìn)行檢索，這個系統(tǒng)稱為基于偽畫像的人臉檢索系統(tǒng)；另一種方法是基于偽照片的 方法，從畫像到照片的方法生成嫌疑犯畫像對應(yīng)的偽照片，這樣就可以對嫌疑犯的偽照片 從照片數(shù)據(jù)庫中進(jìn)行檢索，這個系統(tǒng)稱為基于偽照片的人臉檢索系統(tǒng)。對于在CUHKstudent 數(shù)據(jù)庫上進(jìn)行的實驗，在生成偽畫像和偽照片時，188人中的88人作為訓(xùn)練，100人測試來 生成對應(yīng)的偽畫像或者偽照片。在用基于偽畫像的人臉檢索系統(tǒng)進(jìn)行識別時，100張偽畫像 做訓(xùn)練，100張畫像做測試；在用基于偽照片的人臉檢索系統(tǒng)機型識別時，100張照片做訓(xùn) 練，100張偽照片做測試。表1顯示了基于偽畫像的人臉檢索系統(tǒng)和基于偽照片的人臉檢索 系統(tǒng)在CUHK student數(shù)據(jù)庫上的檢索結(jié)果。從表1可以看出，本發(fā)明的基于支撐向量回歸 的畫像-照片合成方法SVR-LLE比傳統(tǒng)方法LLE的識別率高。表1.在CUHK student數(shù)據(jù)庫上用基于偽畫像\偽照片的人臉檢索系統(tǒng)的識別率
權(quán)利要求
1.一種基于支撐向量回歸的人臉偽畫像\偽照片合成方法，包括如下步驟(1)劃分?jǐn)?shù)據(jù)庫樣本集將待處理的人臉照片\畫像集分別劃分為照片\畫像訓(xùn)練集 和照片\畫像測試集；(2)在照片\畫像測試集中任取一張照片\畫像；(3)生成偽畫像\偽照片初始估計對所取的照片\畫像，用嵌入式方法生成對應(yīng)的偽 畫像\偽照片初始估計；(4)生成一組訓(xùn)練人臉照片\畫像塊集4a)將訓(xùn)練照片集和訓(xùn)練畫像集中的照片和畫像分成方形照片塊和畫像塊，生成照片 \畫像塊集；4b)對照片\畫像塊集中的每一個塊，分別求水平方向和垂直方向的一階導(dǎo)數(shù)和二階 導(dǎo)數(shù)，并將導(dǎo)數(shù)值作為列向量；4c)用C均值聚類算法對照片\畫像塊生成的列向量進(jìn)行聚類，得到一組訓(xùn)練人臉照片 \畫像塊集，為每一組照片\畫像塊集設(shè)定相應(yīng)的序號類標(biāo)；4d)將對應(yīng)于照片\畫像塊集相同類標(biāo)的畫像\照片塊分在同一個集中，生成一組訓(xùn)練 人臉畫像\照片塊集；(5)生成一組支撐向量回歸模型5a)對于步驟4c)的一組訓(xùn)練人臉照片\畫像塊集，將每個塊的所有像素值減去塊中心 像素值后排成一行，所有塊的所有行排成一列作為支撐向量回歸模型的輸入；5b)對于步驟4c)的一組訓(xùn)練人臉畫像\照片塊集，將每個塊的中心像素值減去其塊內(nèi) 所有像素的平均值得到的值排成一列作為支撐向量回歸模型的輸出；5c)在步驟5a)中照片\畫像塊集生成的輸入和對應(yīng)的步驟恥)中畫像\照片塊集生 成的輸出之間訓(xùn)練生成一組支撐向量回歸模型；(6)生成任取照片\畫像對應(yīng)偽畫像\偽照片的高頻6a)將步驟(2)照片\畫像測試集所取的照片\畫像分成方形小塊；6b)對步驟如)中生成的每個訓(xùn)練照片\畫像塊集計算平均值；6c)對步驟6a)中的每個小塊，計算其與步驟6b)中每個照片\畫像塊集平均值之間的 歐式距離，得到距離最近的照片\畫像塊集，按照步驟5c)取出該照片\畫像塊集對應(yīng)的支 撐向量回歸模型；6d)將步驟6a)中每個小塊的塊內(nèi)所有像素值減去塊中心像素值后排成一行作為輸 入，通過步驟6c)中的支撐向量回歸模型獲得輸出值，將其輸出值作為小塊的偽畫像\偽照 片高頻，將所有小塊的偽畫像\偽照片高頻組合得到最終偽畫像\偽照片高頻；(7)生成最終的偽畫像\偽照片將步驟(3)中生成的偽畫像\偽照片初始估計和步 驟(6)中生成的偽畫像\偽照片高頻相加得到最終的偽畫像\偽照片。
2.根據(jù)權(quán)利要求1所述的基于支撐向量回歸的人臉偽畫像\偽照片合成方法，其特征 在于所述步驟(1)劃分人臉照片\畫像集時，數(shù)據(jù)庫樣本集中訓(xùn)練集和測試集的比例范圍 為 2/5 3/5。
3.根據(jù)權(quán)利要求1所述的基于支撐向量回歸的人臉偽畫像\偽照片合成方法，其特征 在于所述步驟C3)采用的嵌入式方法為局部線性嵌入方法。
4.根據(jù)權(quán)利要求1所述的基于支撐向量回歸的人臉偽畫像\偽照片合成方法，其特征在于所述步驟C3)采用的嵌入式方法為嵌入式隱馬爾科夫模型方法。
5.根據(jù)權(quán)利要求1所述的基于支撐向量回歸的人臉偽畫像\偽照片合成方法，其特征 在于所述步驟如)中的分成方形小塊中，重疊部分大小是方形塊大小的3/4。
6.根據(jù)權(quán)利要求1所述的基于支撐向量回歸的人臉偽畫像\偽照片合成方法，其特征 在于所述步驟4b)中的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)的線性提取算子分別為= [-1,0,1]和f2=[1,0, -2,0,Ilo
7.根據(jù)權(quán)利要求1所述的基于支撐向量回歸的人臉偽畫像\偽照片合成方法，其特征 在于所述步驟4c)中的聚類類數(shù)的取值范圍為10 100。
8.根據(jù)權(quán)利要求1所述的基于支撐向量回歸的人臉偽畫像\偽照片合成方法，其特征 在于所述步驟6a)中的分成方形小塊，重疊部分比方形塊少一個像素。
全文摘要
本發(fā)明公開了一種基于支撐向量回歸的人臉偽畫像\偽照片合成方法。其步驟為(1)劃分?jǐn)?shù)據(jù)庫樣本集；(2)在照片\畫像測試集中任取一張照片\畫像；(3)生成任取照片\畫像對應(yīng)偽畫像\偽照片初始估計；(4)生成訓(xùn)練人臉照片\畫像塊集；(5)在訓(xùn)練人臉照片\畫像塊集和訓(xùn)練人臉畫像\照片塊集之間生成支撐向量回歸模型；(6)生成任取照片\畫像對應(yīng)偽畫像\偽照片高頻；(7)生成最終的偽畫像\偽照片。本發(fā)明將初始估計和高頻細(xì)節(jié)結(jié)合生成偽畫像\偽照片，使生成的偽畫像\偽照片更加清晰，提高了用偽畫像\偽照片檢索時的識別率。本發(fā)明采用基于支撐向量回歸的方法，在小樣本問題上也可使用。
文檔編號G06T11/00GK102110303SQ20111005817
公開日2011年6月29日 申請日期2011年3月10日 優(yōu)先權(quán)日2011年3月10日
發(fā)明者張杰偉, 張銘津, 李潔, 王楠楠, 田春娜, 鄧成, 韓冠, 高亞欣, 高新波 申請人:西安電子科技大學(xué)