專(zhuān)利名稱(chēng)：一種眼睛定位圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識(shí)別和計(jì)算機(jī)視覺(jué)領(lǐng)域的一種生物特征識(shí)別方法，具體為非控條件下的魯棒精確人眼定位技術(shù)。
背景技術(shù)：
人臉識(shí)別作為一種新的生物認(rèn)證方法，由于其在公共安全、信息安全、金融等領(lǐng)域具有潛在的廣泛的應(yīng)用前景，而倍受關(guān)注。 一個(gè)完整的人臉圖像信息處理系統(tǒng)，由以下幾個(gè)關(guān)鍵模塊組成人臉圖像獲取，人臉特征點(diǎn)定位，人臉規(guī)整化，人臉特征提取和特征匹配識(shí)別。
規(guī)整化的人臉是人臉識(shí)別算法執(zhí)行的重要條件，可以大大提高人臉識(shí)別的可靠性。但是，人臉檢測(cè)只能得到人臉的大致區(qū)域和尺寸大小，所以人臉檢測(cè)器所檢測(cè)出的人臉不適合直接用于人臉識(shí)別。
人眼是人面部的關(guān)鍵特征，根據(jù)兩只眼睛的位置可以準(zhǔn)確估計(jì)人臉的尺寸和位置，從而可以依據(jù)雙眼的位置進(jìn)行人臉圖像的規(guī)整化，規(guī)整化后的標(biāo)準(zhǔn)人臉便于后續(xù)工作的進(jìn)行。
在本發(fā)明之前，有多種人眼定位方法，主要分為三類(lèi)基于模板的方法、基于特征的方法、基于外^見(jiàn)的方法。
基于模板和特征的這兩種方法，通常都是利用人眼的幾何特征或其它有助于人眼定位的相關(guān)典型特征，進(jìn)行人眼定位。該類(lèi)方法對(duì)圖像的分辨率、光照和清晰度要求很高。而在復(fù)雜環(huán)境中這些條件很難滿(mǎn)足，因此無(wú)法實(shí)現(xiàn)真實(shí)環(huán)境中的精確人眼定位。
第三種基于外觀(guān)的方法，可以利用完備的統(tǒng)計(jì)技術(shù)來(lái)分析人眼的外觀(guān)特征，相對(duì)于前兩種方法有很大優(yōu)勢(shì)。但是在復(fù)雜環(huán)境下，人眼表現(xiàn)形式變化豐富，很難提取有判別力的外觀(guān)特征來(lái)區(qū)分人眼，因此僅依賴(lài)外觀(guān)特征也很難實(shí)現(xiàn)復(fù)雜環(huán)境下的精確人眼定位。
另外，圖模型(Pictorial Model)結(jié)合對(duì)象的外觀(guān)特征和對(duì)象的空間結(jié)構(gòu)特征進(jìn)行對(duì)象檢測(cè)，因此可以利用更多的信息來(lái)檢測(cè)對(duì)象。但是該模型中，簡(jiǎn)單的高斯分布外觀(guān)模型不足以刻畫(huà)人眼復(fù)雜變化的模式，同時(shí)基于特征間相對(duì)位置分布的結(jié)構(gòu)模型對(duì)旋轉(zhuǎn)、尺度縮放和平移變換不魯棒，因此很難實(shí)現(xiàn)復(fù)雜環(huán)境下的人眼精確定位。
綜上，現(xiàn)實(shí)環(huán)境中，人眼的外觀(guān)表現(xiàn)形式復(fù)雜，僅依據(jù)外觀(guān)特征或結(jié)合簡(jiǎn)單的空間結(jié)構(gòu)模型不易實(shí)現(xiàn)精確人眼定位。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述缺陷，設(shè)計(jì)、研制一種眼睛定位圖像處理方法。本發(fā)明的技術(shù)方案是
一種眼睛定位圖像處理方法，其主要技術(shù)步驟包括
(1) 攝像頭捕獲人臉圖像；
(2) 人臉檢測(cè)器對(duì)人臉圖^^測(cè)，截取出人臉；
(3) 對(duì)兩只眼睛和鼻子這三個(gè)構(gòu)件分別建立概率支持向量^L外觀(guān);漠型；
(4 )對(duì)選取的用來(lái)描述眼睛和鼻子之間的空間信息的三類(lèi)空間結(jié)構(gòu)度量參數(shù)
分別建立高斯分布模型，重定義三個(gè)邊長(zhǎng)為^ ^^，6蘭Z^，e3纟丄23 ，則最終的結(jié)構(gòu)相似度函數(shù)可以表示成如下公式
'—=1 'V=1,W Q,4=l i
其中，q， ^和^分別表示對(duì)三種類(lèi)型的結(jié)構(gòu)約束變量建立的高斯分布模
型，對(duì)模型參數(shù)的估計(jì)通過(guò)最大似然估計(jì)方法從訓(xùn)練樣本上獲得；(5)建立增強(qiáng)圖模型根據(jù)最大化后驗(yàn)概率估計(jì)原則，在所有的候選點(diǎn)中，依據(jù)如下的目標(biāo)優(yōu)化函數(shù)選取同時(shí)最大化外觀(guān)特征相似度和結(jié)構(gòu)相似度的候選點(diǎn)作為目標(biāo)的最佳位置，
丄* =argr^in(S(_logO (z, 1/i,w,))) + E(e！ +e2 +e3)) B
其中^(z'"，"')表示在圖像中的位置A處，依據(jù)建立的概率支持向量機(jī)外觀(guān)
模型，根據(jù)其呈現(xiàn)的外觀(guān)特征"'而判定是人眼212或鼻子23的可能性大小，從而定位眼睛。
本發(fā)明的優(yōu)點(diǎn)和效果在于，增強(qiáng)圖模型同時(shí)從眼睛的外觀(guān)特征和眼睛與鼻子的空間分布結(jié)構(gòu)特征入手，建立判別能力較強(qiáng)的外觀(guān)模型來(lái)應(yīng)對(duì)人眼特征的豐富變化，同時(shí)建立了能夠?qū)ΤＲ?jiàn)的圖像旋轉(zhuǎn)、尺度放縮和平移等變換較魯棒的空間結(jié)構(gòu)模型。最后通過(guò)最大化外觀(guān)特征相似度和結(jié)構(gòu)相似度來(lái)判定最佳的眼睛位置，可以綜合多種信息實(shí)現(xiàn)復(fù)雜環(huán)境變化下精確的人眼定位效果。另外，通過(guò)人臉圖像預(yù)處理工作，可以排除大量背景區(qū)域信息的干擾，減少人眼的尺度變化，降低復(fù)雜光照對(duì)人眼定位性能的影響，提高人眼定位的準(zhǔn)確度。
本發(fā)明的人眼定位方法可以做到非控真實(shí)環(huán)境下的精確人眼定位，基本上能夠滿(mǎn)足現(xiàn)實(shí)環(huán)境中的人眼定位的需要。本發(fā)明中所設(shè)計(jì)的增強(qiáng)圖模型可以擴(kuò)展成包含更多面部特征的復(fù)雜模型，從而進(jìn)一步提高人眼定位的魯棒性和精確度。


圖1——本發(fā)明基于增強(qiáng)圖模型的魯棒精確人眼定位算法流程圖。圖2 — _本發(fā)明中依據(jù)鼻子和兩只眼睛構(gòu)成的三角形結(jié)構(gòu)約束關(guān)系模型示意圖。
圖3—_本發(fā)明中使用的光照預(yù)處理方法的效果圖。圖4——本發(fā)明中非控真實(shí)環(huán)境人臉數(shù)據(jù)庫(kù)LFW上取得的數(shù)據(jù)示意圖。具體實(shí)施方法
技術(shù)領(lǐng)域：
本發(fā)明提出了一種基于增強(qiáng)圖模型的精確人眼定位方法，該方法可以分作兩個(gè)階段模型訓(xùn)練和模型測(cè)試。
在模型訓(xùn)練階段，首先選取兩只人眼和鼻子作為增強(qiáng)圖模型的三個(gè)關(guān)鍵構(gòu)件。然后在訓(xùn)練樣本上，依據(jù)每一個(gè)構(gòu)件的外觀(guān)特征，分別建立概率支持向量機(jī)外觀(guān)模型。接著，基于鼻子和兩只眼睛所構(gòu)成的三角形結(jié)構(gòu)約束關(guān)系，分別選取邊長(zhǎng)、邊長(zhǎng)比例和內(nèi)角余弦值作為空間結(jié)構(gòu)度量參數(shù)，具體形式如下面公式所示。其中，第一個(gè)公式表示構(gòu)件i和構(gòu)件j之間的距離，可以反映局部結(jié)構(gòu)特征。另外兩個(gè)公式分別表示邊長(zhǎng)比例和內(nèi)角余弦值，可以反映全局結(jié)構(gòu)特征。<formula>formula see original document page 5</formula>
最后，對(duì)這些度量參數(shù)分別建立高斯分布模型，由此建立了基于全局約束和局部
約束相結(jié)合的空間結(jié)構(gòu)模型。如圖2所示，其中q、 e2、 ^分別表示右眼與左眼、
右眼與鼻子、左眼與鼻子之間的距離，a表示右眼與左眼連線(xiàn)和右眼與鼻子連線(xiàn)之間的內(nèi)角夾角。
在模型測(cè)試階段，首先利用所建立的外觀(guān)模型判定人眼和鼻子出現(xiàn)在每個(gè)位置的可能性大小。然后，對(duì)于人眼和鼻子所有可能出現(xiàn)的位置的三元組組合，判定其結(jié)構(gòu)相似度。最后，遵照外觀(guān)特征相似度最大化和結(jié)構(gòu)相似度同時(shí)最大化的匹配原則，判定構(gòu)件的最佳位置。同時(shí)可以對(duì)定位結(jié)果的可信度^f故出判斷，并預(yù)測(cè)遮擋情況下人眼的可能位置。
基于本發(fā)明提出的增強(qiáng)圖模型的人眼定位算法的流程，如圖l所示。
其中，前兩步是人臉圖像預(yù)處理。首先通過(guò)人臉檢測(cè)器確定人臉的大致位置和尺寸，然后扭4企測(cè)出的人臉歸一化到統(tǒng)一的尺寸，最后進(jìn)行光照預(yù)處理。訓(xùn)練和測(cè)試過(guò)程中使用相同的人臉圖像預(yù)處理方法。
接著，根據(jù)已經(jīng)建立的增強(qiáng)圖模型，進(jìn)行人眼和鼻子的區(qū)域分割，提取一批候選點(diǎn)，再根據(jù)結(jié)構(gòu)模型驗(yàn)證結(jié)構(gòu)相似度，選取外觀(guān)特征相似度和結(jié)構(gòu)相似度都最大化的候選點(diǎn)作為人眼的最佳位置。
最后，把定位出的人眼位置映射到原圖中，從而可以依據(jù)定位出的人眼位置進(jìn)行人臉圖像的規(guī)整化，為人臉識(shí)別算法提供標(biāo)準(zhǔn)的人臉圖像。
具體實(shí)施例
第一步
使用人臉檢測(cè)器進(jìn)行人臉檢測(cè)，獲得從攝像頭捕獲的人臉圖像的大致位置和尺寸，并截取出人臉，然后尺度歸一化到IOO像素x IOO像素的大小。最后可以通過(guò)D0G (Difference of Gaussian)濾波進(jìn)行光照預(yù)處理，對(duì)光照補(bǔ)償，在盡量消除異常光照影響的同時(shí)保留大量的細(xì)節(jié)紋理特征，效果如圖3所示。
第二步'-
候選點(diǎn)篩選。對(duì)兩只人眼和鼻子這三個(gè)構(gòu)件，分別建立概率支持向量機(jī)外觀(guān)模型。其中涉及到幾個(gè)關(guān)鍵問(wèn)題1)人眼和鼻子圖像塊大小的選取。對(duì)人眼和鼻子這三個(gè)構(gòu)件，在固定的人臉圖像尺寸下，塊的大小對(duì)定位性能的影響很大。本發(fā)明中使用窮舉驗(yàn)證的方法在訓(xùn)練樣本上優(yōu)化選取人眼和鼻子塊的最佳大小，即把訓(xùn)練樣本分成兩部分， 一部分用于訓(xùn)練模型，對(duì)于所有可能的塊大小，分別訓(xùn)練出 一個(gè)外觀(guān)模型，然后在另 一部分樣本上測(cè)試不同塊大小設(shè)置下訓(xùn)練的模型的性能，選取性能最優(yōu)的塊大小。2)收集具有代表性的正反例訓(xùn)練樣本。正例樣本可以根據(jù)已知的眼睛和鼻子的坐標(biāo)，直接在訓(xùn)練人臉圖像上截取指定大小的圖像塊，反例樣本可以在目標(biāo)坐標(biāo)周?chē)?一定區(qū)域內(nèi)隨機(jī)截取，也可以使用自舉法(Bootstrap)來(lái)搜集具有代表性的反例樣本來(lái)提高模型的性能，即用當(dāng)前訓(xùn)練出的外觀(guān)模型在訓(xùn)練樣本上收集被誤判為正例的反例樣本，如此更新反例訓(xùn)練樣本重新訓(xùn)練外觀(guān)模型。3)模型復(fù)雜度。為了滿(mǎn)足實(shí)時(shí)應(yīng)用的需要，對(duì)訓(xùn)練出的支持向量機(jī)外觀(guān)模型進(jìn)行支持向量約簡(jiǎn)，即在盡量保持最優(yōu)分類(lèi)面不變的前提下，合并相似度較大的支持向量來(lái)減少支持向量的個(gè)數(shù)，從而達(dá)到降低模型復(fù)雜的目的。4)支持向量機(jī)的概率化判定輸出。通過(guò)對(duì)標(biāo)準(zhǔn)支持向量機(jī)的輸出擬合一個(gè)Sigmoid函數(shù)，來(lái)獲取概率形式的類(lèi)別判定輸出。第三步
對(duì)選取的三類(lèi)空間結(jié)構(gòu)度量參數(shù)分別建立高斯分布模型，為了表述的方便，重定義三個(gè)邊長(zhǎng)為
ei = ^，^2蘭L^,e3 4i23 ，則最終的結(jié)構(gòu)相似度函數(shù)可以表示成如下公式
3 3 3
l '，W" '，_/，"1 眾
公式A中，^和a分別表示對(duì)三種類(lèi)型的結(jié)構(gòu)約束變量建立的高斯分
布模型。其中模型參數(shù)的估計(jì)(取對(duì)數(shù)后表示成求和的形式)，通過(guò)最大似然估計(jì)方法從訓(xùn)練樣本上獲得。第四步
結(jié)構(gòu)模型驗(yàn)證。在本發(fā)明設(shè)計(jì)的增強(qiáng)圖模型中，根據(jù)最大化后驗(yàn)概率估計(jì)原則，在所有的候選點(diǎn)中，依據(jù)如下的目標(biāo)優(yōu)化函數(shù)選取同時(shí)最大化外觀(guān)特征相似度和結(jié)構(gòu)相似度的候選點(diǎn)作為目標(biāo)的最佳位置。
丄* = arg min(S (— log(/ (zp | /;, w,))) + + e2 + e3》 B
公式B中，p(、l/,.,iO表示在圖像中的位置z'處，依據(jù)建立的概率支持向量
機(jī)外觀(guān)模型，根據(jù)其呈現(xiàn)的外觀(guān)特征"'而判定為眼睛212或鼻子23的可能性大小。
最后，驗(yàn)證人眼定位的可靠性，如果總的外觀(guān)相似度和結(jié)構(gòu)相似度很小，則可以判定為遮擋情況，同時(shí)依據(jù)其它相鄰構(gòu)件的檢測(cè)情況依據(jù)事先建立的空間結(jié)構(gòu)分布模型，做出大致位置的預(yù)測(cè)。比如，鼻子很少發(fā)生被遮擋的情況，且外觀(guān)特征較穩(wěn)定，常常可以被正確檢測(cè)到。所以可以根據(jù)鼻子的可靠定位結(jié)果來(lái)推測(cè)被遮擋人眼的大致位置。如果僅有一個(gè)眼睛被遮擋，則還可以同時(shí)根據(jù)另一個(gè)眼睛和鼻子的位置對(duì)被遮擋的眼睛^L出較可靠的位置預(yù)測(cè)。實(shí)驗(yàn)結(jié)果
最后，在真實(shí)環(huán)境人臉數(shù)據(jù)集LFW (Labeled Face in the Wild)上，驗(yàn)證了算法的有效性。圖4所示統(tǒng)計(jì)了在橫軸和縱軸方向上右眼定位準(zhǔn)確度的均值和方差。可以看出在兩個(gè)方向上的定位誤差的均值都小于1,而且保持在較低的方差下，表明了本發(fā)明提出的增強(qiáng)圖模型實(shí)現(xiàn)了非控復(fù)雜環(huán)境下的魯棒精確的人眼定位，能夠滿(mǎn)足現(xiàn)實(shí)應(yīng)用的需要。
權(quán)利要求
1. 一種眼睛定位圖像處理方法，其步驟包括(1)攝像頭捕獲人臉圖像；(2)人臉檢測(cè)器對(duì)人臉圖像檢測(cè)，截取出人臉；(3)對(duì)兩只眼睛和鼻子這三個(gè)構(gòu)件分別建立概率支持向量機(jī)外觀(guān)模型；(4)對(duì)選取的用來(lái)描述眼睛和鼻子之間的空間信息的三類(lèi)空間結(jié)構(gòu)度量參數(shù)分別建立高斯分布模型，重定義三個(gè)邊長(zhǎng)為則最終的結(jié)構(gòu)相似度函數(shù)可以表示成如下公式其中，和分別表示對(duì)三種類(lèi)型的結(jié)構(gòu)約束變量建立的高斯分布模型，對(duì)模型參數(shù)的估計(jì)通過(guò)最大似然估計(jì)方法從訓(xùn)練樣本上獲得；(5)建立增強(qiáng)圖模型根據(jù)最大化后驗(yàn)概率估計(jì)原則，在所有的候選點(diǎn)中，依據(jù)如下的目標(biāo)優(yōu)化函數(shù)選取同時(shí)最大化外觀(guān)特征相似度和結(jié)構(gòu)相似度的候選點(diǎn)作為目標(biāo)的最佳位置，其中p(zi|li，ui)表示在圖像中的位置li處，依據(jù)建立的概率支持向量機(jī)外觀(guān)模型，根據(jù)其呈現(xiàn)的外觀(guān)特征ui而判定是人眼z1，2或鼻子z3的可能性大小，從而定位眼睛。
2. 根據(jù)權(quán)利要求1所述的一種眼睛定位圖像處理方法，其特征在于在步驟(2 )中，對(duì)截取的人臉圖像通過(guò)DOG濾波。
3. 根據(jù)權(quán)利要求1所述的一種眼睛定位圖像處理方法，其特征在于在步驟(3)得到的概率支持向量機(jī)外觀(guān)模型在訓(xùn)練樣本上進(jìn)行窮舉驗(yàn)證，優(yōu)化選取眼睛和鼻子塊的大小，并在確定最優(yōu)塊大小之后，在所有訓(xùn)練樣本上收集具有代表性的正反例樣本，來(lái)優(yōu)化外觀(guān)模型。
全文摘要
本發(fā)明涉及一種眼睛定位圖像處理方法。本發(fā)明技術(shù)方案是捕獲人臉圖像；并檢測(cè)，對(duì)兩只眼睛和鼻子這三個(gè)構(gòu)件分別建立概率支持向量機(jī)外觀(guān)模型，對(duì)三者之間空間結(jié)構(gòu)度量參數(shù)分別建立高斯分布模型，重定義三個(gè)邊長(zhǎng)并建立高斯分布模型，建立增強(qiáng)圖模型，選取最大化外觀(guān)特征相似度和結(jié)構(gòu)相似度的候選點(diǎn)作為目標(biāo)的最佳位置，依據(jù)建立的概率支持向量機(jī)外觀(guān)模型，根據(jù)其呈現(xiàn)的外觀(guān)特征u_i而判定是人眼z_1，2或鼻子z₃的可能性大小，從而定位眼睛。解決了以往存在的對(duì)圖像分辨率、光照和清晰度要求高，在現(xiàn)實(shí)復(fù)雜環(huán)境下難以實(shí)現(xiàn)人眼精確定位的缺陷。本發(fā)明從眼睛外觀(guān)特征和眼睛與鼻子的空間分布結(jié)構(gòu)特征入手，建立較魯棒空間結(jié)構(gòu)模型。提高了人眼定位的準(zhǔn)確度。
文檔編號(hào)G06K9/00GK101533466SQ20091002933
公開(kāi)日2009年9月16日 申請(qǐng)日期2009年4月9日 優(yōu)先權(quán)日2009年4月9日
發(fā)明者宋鳳義, 翼 李, 譚曉陽(yáng) 申請(qǐng)人:南京壹進(jìn)制信息技術(shù)有限公司