專利名稱：人臉部件特征和Gabor人臉特征融合的人臉識別方法及其裝置的制作方法
技術領域：
本發(fā)明屬于圖像處理、計算機視覺、模式識別技術領域，特別涉及人臉識別方法。
技術背景生物特征識別技術是身份識別的有效技術，近來發(fā)展最快的是人臉識別技術以及與人 臉識別技術相融合的生物特征識別技術。因此，本發(fā)明涉及人臉圖像采集和識別算法，具 有重要的應用價值。目前已有的人臉識別方法主要是對整個人臉進行識別的，而在諸多的識別方法中，主 要采用主分量分析(PCA— Principal Component Analysis)、彈性匹配、神經(jīng)網(wǎng)絡、幾何 特征等方法。同時，人臉識別的難點還在于-(1) 表情引起的人臉塑性變形(2) 姿態(tài)引起的人臉多樣性(3) 年齡引起的人臉變化(4) 發(fā)型、胡須、眼鏡、化裝等因素引起的人臉模式的多重性(5) 光照的角度、強度以及傳感器特性等因素引起的人臉圖像的差異性 諸多的因素使得人臉識別成為一項棘手而富挑戰(zhàn)性的課題，也因此在近年成為科研的熱點?；谌四槻考鞣至糠治龅亩嗄Ｊ饺四樧R別方法對人臉進行部件提取，再對人臉部件進行主分量分析及多模式識別，以達到高的識別率。1) 首先采用模板匹配和投影直方圖的方法對人臉圖像定位，確定出人臉粗定位區(qū)、左 右眼球、鼻尖、嘴、下頜頂點的基本位置，然后從整個人臉中提取出裸臉、眉毛+眼睛、 眼睛、鼻尖、嘴五種人臉部件；2) 對從訓練集人臉中提取出來的裸臉、眉毛+眼睛、眼睛、鼻尖、嘴五種人臉部件， 利用主分量分析方法中的特征臉方法，分別形成特征裸臉、特征(眼睛+眉毛)、特征眼睛、 特征鼻子、特征嘴巴；3) 對已知人的人臉圖像提取出的裸臉、眉毛+眼睛、眼睛、鼻尖、嘴五種人臉部件， 利用主分量分析方法中的投影特征值分析方法，提取已知人臉的裸臉、眼睛+眉毛、眼睛、 鼻子、嘴五種人臉部件的投影特征值；4) 對待識別人的人臉圖像提取出的裸臉、眉毛+眼睛、眼睛、鼻尖、嘴五種人臉部件，利用主分量分析方法中的特征投影值分析方法，提取待識別人臉的裸臉、眼睛+眉毛、眼 睛、鼻子、嘴巴的投影特征值；5)分別計算己知人臉部件圖像的投影特征值和待識別人臉對應部件圖像的投影特征 值之間的相似度；對裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴的相似度融合得到多模式的全 局人臉識別方法，單個裸臉、眼睛+眉毛、眼睛、鼻子、嘴的相似度識別，或裸臉、眼睛+ 眉毛、眼睛、鼻子、嘴相互之間的組合識別就是多模式的局部人臉識別方法。 與本發(fā)明的相關技術說明如下Gabor方法Gabor小波是將Gabor基函數(shù)經(jīng)過移位、旋轉和比例變換以后得到的一組相似的Gabor 函數(shù)，能夠在保持空間關系的同時描述出圖像中的頻率結構，并能在空間域給出結果。在 人臉識別的應用中，由于Gabor小波多分辨率、多方向地反映圖像局部特性，所以對于光 照的反應不敏感，和使用全局灰度特征進行識別相比較，對光照具有更好的適應性。二維Gabor函數(shù)相當于一個被復正弦函數(shù)調(diào)制的二維高斯函數(shù)，在頻域上則是二維高 斯函數(shù)在兩個頻率軸上都發(fā)生了平移后的結果，是一個二維帶通濾波器。由于每個Gabor 濾波器相當于一個帶通濾波器，為了提取人臉圖像在多個方向多個尺度上的特征，通常會 采用多個在不同尺度不同方向上的Gabor濾波器組成濾波器組。進行濾波時，將輸入圖像 依次與濾波器組的各個濾波器巻積，并取其幅值作為輸出，，-即輸入圖像的Gabor圖像。加權和規(guī)則對于不同的特征，識別性別都不盡相同，加權和規(guī)則就是對不同的特征采用不同的權 值進行融合。每個特征的權值是由該特征本身的特性(可分性，識別率等)所決定的，不 同的融合特征對應不同的融合權值。對識別性能好的特征賦予較大的權值，而識別性能差 的特征賦予較小的權值。發(fā)明內(nèi)容本發(fā)明的目的是為了提高人臉圖像的采集質(zhì)量和提高人臉識別算法的適應性，提出一 種人臉部件特征和Gabor人臉特征融合的人臉識別方法及其裝置，該裝置提升了人臉圖像 采集的質(zhì)量，該方法具有更高的人臉識別率。本發(fā)明提出的人臉部件特征和Gabor人臉特征融合的人臉識別方法，其特征在于，由 基于Gabor方法的特征裸臉的提取、基于Gabor方法的圖像投影特征向量的提取，以及基 于Gabor方法與基于人臉部件主分量分析的多模式人臉識別方法融合的人臉識別三部分組 成；所述基于Gabor方法的特征裸臉的提取，包括以下步驟ll)對預先采集得到的訓練集的每一個人的人臉圖像進行五尺度八方向Gabor濾波， 得到對應的人臉Gabor圖像；12W寸該人臉的Gabor圖像均勻分塊，取每塊中所有象素點的平均值作為該塊的特征 象素點，所有特征象素點組合成Gabor特征圖像，實現(xiàn)Gabor圖像的降維；13)對訓練集中所有人臉圖像采用所述步驟11L 12)中的方法提取人臉Gabor特征圖 像，利用基于主分量分析方法中的特征臉方法，形成Gabor特征裸臉； 所述基于Gabor方法的圖像投影特征向量的提取，包括以下步驟-21) 由數(shù)據(jù)的采集得到的已知人的人臉圖像提取出的己知人臉的Gabor特征圖像，對 已知人臉的Gabor特征圖像，利用基于主分量分析方法中的投影特征向量分析方法，提取 所述已知人臉的Gabor特征圖像的投影特征向量；22) 對待識別人的人臉圖像采用步驟11)、 12)提取出待識別人的Gabor特征圖像，對 待識別人的Gabor特征圖像，利用基于主分量分析方法中的特征投影向量分析方法，提取 待識別人臉的Gabor特征圖像的投影特征向量；所述基于Gabor方法與基于人臉部件主分量分析的多模式人臉識別的方法融合的人臉 識別，包括以下步驟31) 分別計算出待識別的人臉和已知人臉的部件圖像的相似度R，各部件圖像相似度分 別為裸臉圖像R1、眼睛+眉毛圖像R2、眼睛圖像R3、鼻子圖像R4、嘴巴圖像R5;32) 計算步驟21)中的已知人臉的Gabor特征圖像的投影特征向量和步驟22)中的待 識別人臉的裸臉Gabor圖像的投影特征向量之間的相似度R6;33) 將相似度R1、 R2、 R3、 R4、 R5、 R6按照加權和規(guī)則進行融合，得到待識別的人臉 和已知人臉的綜合相似度R0，以.，RO作為人臉識別的人臉相似度；34) 比較步驟33)得到的相似度RO與預先設定的閾值T的大小，如果R0^T，則判斷 待識別人和已知人是同一個人；如果R(XT，則判斷待識別人和已知人不是同一個人；由 采集與顯示裝置顯示出判斷結果。本發(fā)明提出的一種用于人臉識別的人臉圖像和數(shù)據(jù)的采集與顯示裝置。 包括一個長方形機箱，機箱上安裝有一個液晶顯示器和兩臺攝像機，液晶顯示器安裝在機箱前面板的中間部位， 一臺攝像機安裝在液晶顯示器的上方中間的位置，另一臺攝像安裝在液晶顯示器的下方中間的位置；包括四個長形的燈具，安裝在長方形機箱前面板的四周；包括一個固定采集個人身份的數(shù)據(jù)采集裝置的傾斜支架，使被識別人在人臉圖像釆集 時處于正視攝像機的姿態(tài)。本裝置主要的作用是盡可能采集到好的人臉圖像，并能與待識別人進行人機交互，營 造一個好的應用環(huán)境。設置兩臺攝像機的目的是為了適應不同身高的要求。設置液晶顯示 器的目的是方便人機配合。首先，待識別人通過液晶顯示器上顯示的圖像可以知道自己的 人臉圖像是否更好、自己被計算機識別的結果。同時也為了吸引人的眼球，使待識別人能 正視攝像機，以采集到好的人臉圖像。該裝置設置四個燈具，進行補光，以克服外界光照 的影響。將采集個人身份的數(shù)據(jù)采集裝置擺放在被識別人的胸前，使被識別人在人臉圖像 采集時處于正視攝像機的姿態(tài)，以獲得被識別人的正面人臉圖像。本發(fā)明的特點及效果本發(fā)明的特點是軟硬件結合，采用人臉圖像和數(shù)據(jù)的采集與顯示裝置，提升了人臉圖 像采集的質(zhì)量；對人臉圖像進行Gabor濾波并降維，然后對Gabor特征圖像進行主分量分 析及與基于人臉部件主分量分析的多模式人臉識別方法融合的人臉識別方法，具有更高的 人臉識別率。圖1為本發(fā)明實施例的人臉圖像和數(shù)據(jù)的采集與顯示裝置。
具體實施方式
本發(fā)明提出的人臉部件特征和Gabor人臉特征融合的人臉識別方法及其裝置結合附圖 及實施例詳細說明如下本發(fā)明的實施例是用于二代證實名身份認證系統(tǒng)。該系統(tǒng)包括采集個人身份的數(shù)據(jù)采 集裝置、本發(fā)明的人臉圖像和數(shù)據(jù)的采集與顯示裝置及裝有本發(fā)明方法的計算機。其中， 采集個人身份的數(shù)據(jù)采集裝置采用二代身份證驗證機具，由此獲得被識別人所持二代證的 身份證號和人臉圖像。人臉圖像和數(shù)據(jù)的采集與顯示裝置如圖1所示，包括一個長方形機 箱，該機'箱正面板1的中間部位裝有液晶顯示屏2，液晶顯示屏選用8吋的液晶顯示屏； 攝像機3安裝在液晶顯示屏上方的中間位置，另一臺攝像機4安裝在液晶顯示屏下方的中 間位置，攝像機采用Watec公司W(wǎng)AT-902DM黑白攝像機；四個長形的燈具5-8安裝在該機 箱面板四周，燈具采用5W的日光燈；還包括一個固定采集個人身份的數(shù)據(jù)采集裝置9的 傾斜支架IO，該傾斜支架用以使被識別人在人臉圖像采集時處于正視攝像機的姿態(tài)，傾斜 支架和垂直支架11的長度可調(diào)；整個人臉圖像和數(shù)據(jù)的采集與顯示裝置固定在底座12上。本實施例中采用的人臉部件特征和Gabor人臉特征融合的人臉識別方法，由基于Gabor 方法的特征裸臉的提取、基于Gabor方法的圖像投影特征向量的提取，以及基于Gabor方 法與基于人臉部件主分量分析的多模式人臉識別的方法融合的人臉識別三部分組成；所述 基于Gabor方法的特征裸臉的提取，包括以下步驟ll)采用Gabor濾波器組對預先采集得到的訓練集的每一個人的人臉圖像進行五尺度 八方向Gabor濾波，得到對應的人臉Gabor圖像； Gabor濾波器的定義如式(l):其中，z=(x，y)為對應點坐標，波矢量定義為、v=、e' ，其中、=^ /"并且 《，v和/z分別定義了 Gabor濾波器的尺度和方向。取n=8， ve{0,1,2,3,4}， /ie(0,1,…，7) , o" = 2;r， A,-;r/2以及;i-N^得到五尺度八方向的Gabor濾波器組。


將人臉圖像I(z)與Gabor濾波器進行巻積，取巻積結果的幅值部分，得到對應的人臉 Gabor圖像4^(z)。(9^(z)^/(z"w(力 (2) = ^/R叫,"z))2 + Im(C^②)2 (3)12) 對該人臉的Gabor圖像4^(z)均勻分塊，每塊大小為3X3，取每塊中所有象素點 的平均值作為該塊的特征象素點，所有特征象素點組合成Gabor特征圖像，實現(xiàn)Gabor圖 像的降維；13) 對訓練集中所有人臉圖像采用所述步驟11)、 12)中的方法提取人臉Gabor特征圖 像，利用基于主分量分析方法中的特征臉方法，形成Gabor特征裸臉；具體的做法是用nXN矩陣J表示訓練集中所有人臉Gabor特征圖像的矢量集，n為人臉Gabor特征 圖像的像素數(shù)，N (N 〉 1000)為訓練集人臉總數(shù)，貝廿C = +#% = A) (4)(4) 式中^ =(xu,x2i,— ,x tf, ^^(1，2，…，iV)表示一個人臉Gabor特征圖像矢量， 義r表示矩陣/的轉置。 .''在計算矩陣C的特征向量和特征值時，由于計算X^'的維數(shù)很大(W維)，而采用奇 異值分解，改為計算義7^，這樣可以間接獲得C的特征向量和特征值，而X^X的維數(shù)降為ivn佳，；o^與;r義的特征值是一樣的，而它們之間的特征向量的關系滿足下式1 乂A=TXA (5)(5) 式中^為x^"的特征向量，A為^^z的特征向量；^既是x^r的特征值，同時 也是xT"的特征值。通過計算^T^的特征值a和特征向量a，而得到;q^的特征向量";t。按照^數(shù)值按從大到小進行排序，取出前D (D〈<N)個最大的特征值并保留與之相對應的D個特征向量^就形成Gabor特征裸臉。所述基于Gabor方法的圖像投影特征向量的提取，包括以下步驟 21)由數(shù)據(jù)的采集得到的已知人的人臉圖像采用所述步驟11)、 12)中的方法提取出的已知人臉的Gabor特征圖像，對已知人臉的Gabor特征圖像，釆用下面(6)式的運算即基于主分量分析方法中的投影特征向量分析方法，提取所述已知人臉的Gabor特征圖像的投影特征向量及B = l/:x《"1,2,…,Z) (6)(6) 式中( 為已知人臉圖像的Gabor特征圖像矢量，Wi為從訓練集人臉中得到的Gabor 特征臉。22)對待識別人的人臉圖像采用步驟11)、 12)提取出待識別人的Gabor特征圖像，對 待識別人的Gabor特征圖像，采用下面(7)式的運算即基于主分量分析方法中的投影特 征向量分析方法，提取待識別人臉的Gabor特征圖像的投影特征向量A(7)式中p為待識別人臉圖像的Gabor特征圖像矢量，Wi為從訓練集人臉中得到的 Gabor特征臉。所述基于Gabor方法與基于人臉部件主分量分析的多模式人臉識別的方法融合的人臉 識別，包括以下步驟31) 分別計算出待識別的人臉和己知人臉的部件圖像的相似度R，各部件圖像相似度分 別為裸臉圖像R1、眼睛+眉毛圖像R2、眼睛圖像R3、鼻子圖像R4、嘴巴圖像R5;32) 采用(8)式的運算計算步驟21)中的已知人臉的Gabor特征圖像的投影特征向量B 和步驟22)中的待識別人臉的裸臉Gabor圖像的投影特征向量A之間的相似度R6;33) 將相似度R1、 R2、 R3、 R4、 R5、 R6按照加權和規(guī)則進行融合，其融合系數(shù)分別取 作24 : 15 : 7.5 : 6 : 9 : 41，得到待識別的人臉和已知人臉的綜合相似度R0，以R0 作為人臉識別的人臉相似度；34) 選取錯誤接收率為0. 1%時對應的相似度值為預設閾值1\本實施例的T-87，比較 步驟33)得到的相似度R0與閾值T的大小，如果R0》T，則判斷待識別人和已知人是同 一個人；如果R0<T,則判斷待識別人和已知人不是同一個人；由采集與顯示裝置顯示出 判斷結果。基于人臉識別的二代證實名身份認證系統(tǒng)用￥0++語言編程。所達到的識別率為當錯 誤接受率為0. 1%時，正確識別率為77. 8%。
權利要求
1、一種人臉部件特征和Gabor人臉特征融合的人臉識別方法，其特征在于，由基于Gabor方法的特征裸臉的提取、基于Gabor方法的圖像投影特征向量的提取，以及基于Gabor方法與基于人臉部件主分量分析的多模式人臉識別方法融合的人臉識別三部分組成；所述基于Gabor方法的特征裸臉的提取，包括以下步驟11)對預先采集得到的訓練集的每一個人的人臉圖像進行五尺度八方向Gabor濾波，得到對應的人臉Gabor圖像；12)對該人臉的Gabor圖像均勻分塊，取每塊中所有象素點的平均值作為該塊的特征象素點，所有特征象素點組合成Gabor特征圖像，實現(xiàn)Gabor圖像的降維；13)對訓練集中所有人臉圖像采用所述步驟11)、12)中的方法提取人臉Gabor特征圖像，利用基于主分量分析方法中的特征臉方法，形成Gabor特征裸臉；所述基于Gabor方法的圖像投影特征向量的提取，包括以下步驟21)由數(shù)據(jù)采集得到的已知人的人臉圖像提取出的已知人臉的Gabor特征圖像，對已知人臉的Gabor特征圖像，利用基于主分量分析方法中的投影特征向量分析方法，提取所述已知人臉的Gabor特征圖像的投影特征向量；22)對待識別人的人臉圖像采用步驟11)、12)提取出待識別人的Gabor特征圖像，對待識別人的Gabor特征圖像，利用基于主分量分析方法中的特征投影向量分析方法，提取待識別人臉的Gabor特征圖像的投影特征向量；所述基于Gabor方法與基于人臉部件主分量分析的多模式人臉識別的方法融合的人臉識別，包括以下步驟31)分別計算出待識別的人臉和已知人臉的部件圖像的相似度R，各部件圖像相似度分別為裸臉圖像R1、眼睛+眉毛圖像R2、眼睛圖像R3、鼻子圖像R4、嘴巴圖像R5；32)計算步驟21)中的已知人臉的Gabor特征圖像的投影特征向量和步驟22)中的待識別人臉的裸臉Gabor圖像的投影特征向量之間的相似度R6；33)將相似度R1、R2、R3、R4、R5、R6按照加權和規(guī)則進行融合，得到待識別的人臉和已知人臉的綜合相似度R0，以R0作為人臉識別的人臉相似度；34)比較步驟33)得到的相似度R0與預先設定的閾值T的大小，如果R0≥T，則判斷待識別人和已知人是同一個人；如果R0＜T，則判斷待識別人和已知人不是同一個人；由采集與顯示裝置顯示出判斷結果，該閾值T為錯誤接收率為0.1％時對應的相似度值。
2、 一種用于如權利要求1所述方法的人臉圖像和數(shù)據(jù)的采集與顯示裝置，其特征在 于，該裝置包括 一個長方形機箱，該機箱上安裝有一個液晶顯示屏和兩臺攝像機，該液 晶顯示屏安裝在機箱前面板的中間部位，所述一臺攝像機安裝在液晶顯示屏上方的中間位 置，另一臺攝像機安裝在液晶顯示屏下方的中間位置；還包括安裝在該機箱前面板四周的 四個長形的燈具， 一個固定采集個人身份的數(shù)據(jù)采集裝置的傾斜支架，該傾斜支架用以使 被識別人在人臉圖像采集時處于正視攝像機的姿態(tài)。
全文摘要
本發(fā)明涉及人臉部件特征和Gabor人臉特征融合的人臉識別方法及其裝置，屬于圖像處理、計算機視覺、模式識別技術領域，該方法由基于Gabor方法的特征裸臉的提取、基于Gabor方法的圖像投影特征向量的提取，以及基于Gabor方法與基于人臉部件主分量分析的多模式人臉識別方法融合的人臉識別三部分組成；該裝置包括一個長方形機箱，該機箱上安裝有一個液晶顯示屏和兩臺攝像機，還包括安裝在該機箱前面板四周的四個長形的燈具，一個固定采集個人身份的數(shù)據(jù)采集裝置的傾斜支架，本發(fā)明的裝置提升了人臉圖像采集的質(zhì)量，該方法具有更高的人臉識別率。
文檔編號G06K9/00GK101276421SQ20081010440
公開日2008年10月1日 申請日期2008年4月18日 優(yōu)先權日2008年4月18日
發(fā)明者李匆聰, 燕 相, 蘇光大 申請人:清華大學