專利名稱：基于人臉識別和手形識別的雙模態(tài)生物認證系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識別技術(shù)領(lǐng)域，主要是一種基于人臉識別和手形識別的雙模態(tài)生物認證系統(tǒng)。
每種生物識別技術(shù)都有其固有的缺陷如人的指紋圖像約有4％是劣質(zhì)的，加上指紋特征易受噪聲影響，所以實際采集到的指紋圖像有一部分難以被正確識別；虹膜特征易受眼疾影響，大眾難以接受虹膜圖像的采集，并且采集設(shè)備較昂貴；語音特征也容易受到被識別者身體狀況和環(huán)境的影響；簽字靜態(tài)特征易被模仿、動態(tài)特征不穩(wěn)定且難以提?。蝗四樧R別因技術(shù)本身條件復雜，現(xiàn)在尚未達到實用水平；手形特征唯一性較差?，F(xiàn)有的生物認證系統(tǒng)絕大多數(shù)是基于單一生物識別技術(shù)，也就相應地具有上述各種缺陷，從而大大地影響了系統(tǒng)的實用性。
同時采用兩種或兩種以上生物特征進行身份認證，可以提高認證準確性，并且減小系統(tǒng)被欺騙的可能。現(xiàn)有的多模態(tài)生物認證系統(tǒng)較少，國際上主要有BioID(人臉、語音和唇動)、FaceKey(人臉、指紋)等，但是由于采用了抗噪性差的指紋或語音特征，對使用環(huán)境條件要求較高，從而限制了它們的廣泛應用。
在進行多模生物特征識別時，常用的理論方法有加權(quán)平均、貝葉斯方法、模糊積分、D-S證據(jù)法，以及神經(jīng)網(wǎng)絡(luò)方法。這些融合方法中有的依賴于各種先驗概率分布及條件概率分布，或者依賴于信度函數(shù)及模糊集隸屬度。前者只有在樣本數(shù)目足夠多的條件下才能得到較為準確的估計，而后兩者在實際應用中也不易得到，往往根據(jù)歷史數(shù)據(jù)或經(jīng)驗來確定；而基于神經(jīng)網(wǎng)絡(luò)的方法也遇到了如何確定網(wǎng)絡(luò)結(jié)構(gòu)、過學習、欠學習和陷入局部極小點等問題。
本發(fā)明的技術(shù)方案如下系統(tǒng)采集到人臉和手形圖像后，經(jīng)過圖像預處理技術(shù)和模式識別技術(shù)分別得到人臉和手形兩個匹配結(jié)果，利用標準歸一化方法將這兩個匹配結(jié)果歸一化到同一范圍，再利用統(tǒng)計學習理論中的支持向量機方法把得到的兩個匹配結(jié)果進行決策融合，并作出判斷，得出最后認證結(jié)果。
本發(fā)明的技術(shù)方案細節(jié)如下所述的人臉識別為系統(tǒng)采集到正面人臉圖像后，通過區(qū)域增長法分割出人臉，再利用邊緣檢測、Hough變換、模板匹配和方差投影技術(shù)可以快速有效地提取出人臉面部器官眼睛、鼻子和嘴巴特征，基于人臉的這些幾何特征，提取具有尺寸、旋轉(zhuǎn)和位移不變性的特征向量，用此特征向量和數(shù)據(jù)庫中存儲的已知人臉特征向量作比較，來決定最佳匹配，從而得到匹配結(jié)果。
所述的手形識別為系統(tǒng)采集到手形圖像后，首先應用自適應閾值分割得到手形的二值圖像，然后通過輪廓跟蹤算法將手形表示為歐氏平面內(nèi)的有序點集。然后提取每個手指的圖像，再應用基于確定性退火技術(shù)的點匹配方法，分別對相應的兩個手指進行匹配，最后綜合五個手指的匹配結(jié)果得到整個手形的參數(shù)，最后，應用由支持向量機算法設(shè)計的分類器對匹配參數(shù)進行判決分類，得出手形匹配結(jié)果。
多模信息的融合可以在原始數(shù)據(jù)層、特征抽取層和分類決策層實現(xiàn)，本發(fā)明選擇在決策層實現(xiàn)。具體決策融合過程為利用標準歸一化方法，將得到的人臉和手形兩個匹配結(jié)果歸一化到同一范圍，再利用統(tǒng)計學習理論中的支持向量機方法進行融合、判斷，給出最后結(jié)果。
本發(fā)明的基于人臉識別和手形識別的雙模態(tài)生物認證系統(tǒng)裝置如下嵌入式微控制器(MCU)芯片、DSP芯片、FlashROM、同步動態(tài)RAM(SDRAM)、LCD顯示器、功能按鍵鍵盤和兩個攝像頭。
本發(fā)明的優(yōu)點如下(1)手形和人臉兩種生物特征抗噪性好，采集設(shè)備簡單，采用人臉和手形雙模態(tài)生物特征進行身份認證，提高了認證的準確性，降低了對使用環(huán)境的要求，而對使用環(huán)境條件要求高正是已有的基于生物識別技術(shù)的身份認證系統(tǒng)不能廣泛應用的主要原因之一；(2)本發(fā)明的手形識別算法增加了采集手形圖像的自由度，并且識別結(jié)果有較高的準確率和魯棒性，人臉識別算法對正面人臉圖像識別具有較高的準確率和魯棒性；(3)本發(fā)明的人臉和手形識別的雙模態(tài)生物認證系統(tǒng)裝置基于嵌入式芯片系統(tǒng)實現(xiàn)，體積小，功耗低，便于室內(nèi)外靈活安放。
下面結(jié)合附圖對本發(fā)明具體實施過程作進一步描述。
如圖4所示，嵌入式微控制器MCU完成系統(tǒng)控制和運算功能，融合決策應用程序和用戶人臉和手形特征模板庫存儲在ROM中，圖像預處理應用程序固化在DSP芯片中，首先，用戶按鍵激活系統(tǒng)后，系統(tǒng)自動開始初始化裝載硬件驅(qū)動程序和應用程序，然后檢測是否采集到人臉和手形圖像。采集成功后，即開始圖像預處理和模式識別工作，詳細如下第一步，人臉識別如圖2所示用戶雙眼正視攝像頭，由攝像頭采集用戶的正面人臉圖像后，利用直方圖變換和中值濾波方法解決光照不均勻問題，通過區(qū)域增長法分割出人臉，再利用邊緣檢測、Hough變換、模板匹配和方差投影技術(shù)快速有效地提取出人臉面步器官眼睛、鼻子和嘴巴特征，基于人臉的這些幾何特征，提取具有尺寸、旋轉(zhuǎn)和位移不變性的特征向量，用此特征向量和數(shù)據(jù)庫中存儲的已知人臉特征向量作比較，來決定最佳匹配，從而得到匹配結(jié)果。
第二步，手形識別如圖3所示將手放在采集裝置的固定平板上，五指自然張開，由攝像頭采集圖像，系統(tǒng)采集到手形圖像后，首先應用自適應閾值分割得到手形的二值圖像，然后通過輪廓跟蹤算法將手形表示為歐氏平面內(nèi)的有序點集，手形圖像的匹配轉(zhuǎn)化為手形特征點集?？紤]到兩個點集然后提取每個手指的圖像，再應用基于確定性退火技術(shù)的點匹配方法，分別對相應的兩個手指進行匹配，最后綜合五個手指的匹配結(jié)果得到整個手形的匹配參數(shù)，最后，應用由支持向量機算法設(shè)計的分類器對匹配參數(shù)進行判決分類。
具體過程如下通過對手形圖像的處理，將手形表示為歐氏平面上一系列有序點組成的點集，手形圖像的匹配轉(zhuǎn)化為手形特征點集之間的點匹配問題?？紤]到兩個點集之間一對一的雙向約束，由兩個點集之間的匹配矩陣和映射參數(shù)表征的凸化的自由能函數(shù)，通過最小化該自由能函數(shù)，獲得最優(yōu)的匹配矩陣和映射參數(shù)。在求解過程中將匹配矩陣模糊化，將其估計嵌入到確定性退火技術(shù)的框架中，通過退火溫度來控制匹配矩陣的模糊度。
1.特征點匹配的自由能函數(shù)設(shè){Xi｝和{Yj｝為兩個2D點集，i＝1，2，...，N1，j＝1，2，...，N2，N1和N2分別是兩個點集的點數(shù)。點匹配問題的要求是兩個點集之間是一一對應的，而且其中一個點集中的某些點可能在另一點集中沒有對應點。為滿足上述匹配要求，定義一個匹配矩陣{Mij｝ 且∀j,Σi=1N1Mij≤1,∀i,Σj=1N2Mij≤1,Mij∈{0,1}---(1)]]>兩個點集之間的點匹配問題可看作為求解下面自由能函數(shù)的極小狀態(tài)E(M,θ,t,s)=Σi=1N1Σj=1N2Mij(||Xi-t-sR(θ)Yj||2-α)+γ(logs)2---(2)]]>其中，t為平移變量，s為縮放變量，R(θ)為旋轉(zhuǎn)矩陣，γ為一調(diào)整參數(shù)，用來控制縮放比例，α為匹配誤差的閾值，當‖Xi-t-sR(θ)Yj‖2＞α時，對于Yj，Xi被認為是出格點，α可根據(jù)不同的匹配要求確定。
這樣點匹配問題就轉(zhuǎn)化為聯(lián)合求解匹配矩陣和映射參數(shù)的優(yōu)化問題。由于匹配矩陣為二值矩陣，在求解過程中很容易陷入局部極小，因此放松對匹配矩陣的約束，將其轉(zhuǎn)化為連續(xù)實數(shù)矩陣，即Mij∈{0，1｝→Mij∈
，允許部分匹配的存在，這樣的匹配矩陣稱為模糊匹配矩陣。匹配矩陣的模糊度是由退火溫度來控制的，隨著退火溫度的降低，{Mij｝的模糊度逐漸減小，逐漸接近二值矩陣，當溫度足夠低時，就會得到最終的二值匹配矩陣。
應用線性規(guī)劃方法，引入一松弛變量，將(1)式的不等式約束轉(zhuǎn)化為等式約束，同時使點匹配算法能夠魯棒性地處理出格點∀j,Σi=1N1Mij≤1→Σi=1N1+1Mij=1,∀i,Σj=1N2Mij≤1→Σj=1N2+1Mij=1--(3)]]>在確定性退火技術(shù)中，要求當溫度足夠高時，能夠很容易求出自由能函數(shù)的全局極小點，因此按照優(yōu)化理論，應使自由能函數(shù)凸化。為此在(2)式中引入一阻尼項f(M)=TΣi=1N1+1Σj=1N+12MijlogMij---(4)]]>這種熵形式的阻尼項有兩個作用(i)在高退火溫度下，使自由能函數(shù)凸化，由退火溫度T控制凸度；(ii)保證匹配矩陣的所有元素非負。
確定性退火技術(shù)是一種啟發(fā)式的連續(xù)跟蹤過程，它并不能保證從高退火溫度下的全局極小一定會跟蹤到低退火溫度下的全局極小。因此為避免陷入局部極小，保證隨著退火溫度T→0，匹配矩陣Mij最終收斂于二值矩陣，需要在自由能函數(shù)中加入一項g(M)=-KΣi=1N1+1Σj=1N2+1Mij2---(5)]]>K為一常數(shù)，通常由試驗確定。
考慮到式(3)、式(4)和式(5)后，得到完整的點匹配自由能函數(shù)為E(M,θ,t,s)=Σi=1N1Σj=1N2Mij||Xi-t-sR(θ)Yj||2+γ(logs)2-αΣi=1N1Σj=1N2Mij+Σi=1N1μi(Σj=1N2+1Mij-1)]]>+Σj=1N2vj(Σi=1N1+1Mij-1)TΣi=1N1+1Σj=1N2+1MijlogMij-KΣi=1N1+1Σj=1N2+1Mij2]]>(6)其中，μi和vj為Lagrange乘子。
2.點匹配算法的實現(xiàn)通過最小化自由能函數(shù)(6)，可以得到匹配矩陣和點集之間的映射參數(shù)，點匹配算法描述如下初始化t＝
T，θ＝0，s＝1，T＝T0，Mij＝1+εij，εij為一小的正隨機變量，λij＝MijBegin ADo A until T≤TfinalBegin BDo B until M收斂or迭代次數(shù)＞I0Pij←-(||Xi-t-sR(θ)Yj||2-α+μi+vj-Kλij)]]>Mij←exp(Pij/T-1)]]>λij←Mij]]>共軛梯度法修正μi和vj修正點集映射參數(shù)修正θ由∂E/∂θ=0]]>修正t由∂E/∂t=0,]]>Newton法修正sEnd BT←T.r，γ←γ·r，r為退火速率End A3.匹配參數(shù)定義平均匹配誤差(MME)和匹配率(MR)為MME=ss(A,B)n---(7)]]>MR=thenumberofmatchingpointsmin{N1,N2}×100%---(8)]]>其中，ss(A,B)=Σi=1n[(xiA-xiB)2+(yiA-yiB)2],]]>n為兩個點集A、B中相匹配的點數(shù)，x、y為匹配點的橫、縱坐標。
4.支持向量機(SVM)分類器采用下面4種核函數(shù)(1)線性核函數(shù)K(xi，x)＝(xi·x)(2)多項式核函數(shù)K(xi，x)＝[γ*(xi·x)+c0]d；(3)徑向基核函數(shù)K(xi，x)＝exp{-γ*|xi-x|2}；(4)Sigmoid核函數(shù)K(xi，x)＝tanh(γ*(xi·x)+c0)。其中d為多項式的階數(shù)，r，c0為系數(shù)，它們可通過試驗確定適當?shù)闹?，本文取d＝5，r＝0.5，c0＝1。
SVM分類器的分類函數(shù)為f(x)=sgn(w·x+b)=sgn(Σi=1lyiαiK(xi,x)+b)---(12)]]>其中，αi=argmaxα(Σiαi-12Σi,jαiαjyiyjK(xi,xj)),]]>采用改進的SMO算法來求解SVM分類器。
第三步，將人臉識別和手形識別結(jié)果進行決策融合判斷如

圖1所示利用標準歸一化方法，將前面兩部分的匹配結(jié)果歸一化到同一范圍，再利用統(tǒng)計學習理論方法，把兩個結(jié)果數(shù)值組合成一個新的判決向量，先對樣本向量進行訓練得出支持向量，再用支持向量機的方法對兩種匹配結(jié)果進行融合、判斷，得出最后結(jié)果。
具體如下(一)訓練設(shè)已取得k個決策樣本值以及實際的決策值{(z1，y1)，(z2，y2)，Λ，(zk，yk)｝其中，zi=zi1zi2]]>表示對于第i個訓練樣本輸入，人臉和手形兩個識別模塊分別作出的決策矢量，yi＝±1表示判決結(jié)果，yi＝+1表示判斷正確，yi＝-1表示判斷錯誤。訓練過程即在約束條件Σi=1kαi1=Σi=1kαi2,0≤αij≤C,]]>j＝1，2；i＝1，2，Λ，k下對 極大化下列函數(shù)θ(α1,α2)=-12Σi,j=1k(αi1-αi2)(αj1-αj2)K(zi,zj)+Σj=1k(αi1-αi2)yi-Σi=1k(αi1+αi2)ϵ]]>通過求解上述優(yōu)化問題，則可求得參數(shù)w,αij,j=1,2;i=1,2,Λ,k,b.]]>(二)判決融合后的決策為f(z)=Σi=1k(αi1-αi2)K(z,zi)+b]]>其中，可取K(z，zi)＝[(z·zi)+1]3。對于新輸入的決策向量z，如果上式計算結(jié)果大于預設(shè)閾值，則表示該用戶為合法用戶，否則拒絕。
由圖5，雙模態(tài)身份認證系統(tǒng)程序流程如下“開始”后，“用戶輸入個人身份號碼(PIN)”，如果PIN不存在，則“計數(shù)”，若“M＞3”否，返回“輸入個人身份號碼”，若“M＞3”成立，則“程序終止”。如果PIN存在，一路進入“分別調(diào)出相應的人臉和手形模板并放在內(nèi)存中”，由系統(tǒng)自動根據(jù)PIN查出相應模板，并將該模板調(diào)到內(nèi)存(SDRAM)中；另一路至“捕捉人臉和手形圖像”，判斷“成功否”，若不成功，則返回“捕捉人臉和手形圖像”；若成功，進入“對手形和人臉圖像預處理、提取特征形成模板、模板匹配”中，分別進行人臉識別和手形識別，得到兩個匹配結(jié)果，然后進入“將兩個匹配結(jié)果進行決策融合、判斷”；判斷“成功否”，若“成功”，則“認證成功”，用戶是合法身份，進入“程序終止”。
若“不成功”，進入“計數(shù)N”，判斷“N＞3否”，若不成立，則返回“捕捉人臉和手形圖象”；若成立，則“認證失敗”，進入“程序終止”。
權(quán)利要求
1.一種基于人臉識別和手形識別的雙模態(tài)生物認證系統(tǒng)，其特征是系統(tǒng)采集到人臉和手形圖像后，經(jīng)過圖像預處理技術(shù)和模式識別技術(shù)分別得到人臉和手形兩個匹配結(jié)果，利用標準歸一化方法將這兩個匹配結(jié)果歸一化到同一范圍，再利用統(tǒng)計學習理論中的支持向量機方法把得到的兩個匹配結(jié)果進行決策融合，并作出判斷，得出最后認證結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于人臉識別和手形識別的雙模態(tài)生物認證系統(tǒng)，其特征在于手形識別應用自適應閾值分割得到手形的二值圖像，然后通過輪廓跟蹤算法將手形表示為歐氏平面內(nèi)的有序點集；然后提取每個手指的圖像，再應用基于確定性退火技術(shù)的點匹配方法，分別對相應的兩個手指進行匹配，最后綜合五個手指的匹配結(jié)果得到整個手形的參數(shù)，最后，應用由支持向量機算法設(shè)計的分類器對匹配參數(shù)進行判決分類。
全文摘要
基于人臉識別和手形識別的雙模態(tài)生物認證系統(tǒng)，該系統(tǒng)采集到人臉和手形圖像后，經(jīng)過圖像預處理技術(shù)和模式識別技術(shù)分別得到人臉和手形兩個匹配結(jié)果，利用標準歸一化方法將這兩個匹配結(jié)果歸一化到同一范圍，再利用統(tǒng)計學習理論中的支持向量機方法把得到的兩個匹配結(jié)果進行決策融合，并作出判斷，得出最后認證結(jié)果。其手形識別算法增加了采集手形圖像的自由度，并且識別結(jié)果有較高的準確性和魯棒性。該系統(tǒng)的優(yōu)點認證的準確性高、抗噪性好，系統(tǒng)裝置體積小、功耗低，便于靈活安放。
文檔編號G06F7/16GK1457015SQ0311951
公開日2003年11月19日 申請日期2003年3月7日 優(yōu)先權(quán)日2003年3月7日
發(fā)明者裘正定, 謝紀剛, 梁滿貴 申請人:北方交通大學