專利名稱：用于視線追蹤系統(tǒng)的眼部特征參數(shù)檢測方法
技術(shù)領(lǐng)域：
用于視線追蹤系統(tǒng)的眼部特征參數(shù)檢測方法，屬于人機(jī)交互領(lǐng)域，特別涉及人機(jī)
交互系統(tǒng)中生物特征檢測。
背景技術(shù)：
視線追蹤是利用機(jī)械、電子、光學(xué)等各種檢測手段獲取受試者當(dāng)前"注視方向"的 技術(shù)。按照系統(tǒng)構(gòu)成和采用的檢測方法可以粗略劃分為侵入式和非侵入式兩種。在人機(jī) 交互和疾病診斷兩個(gè)領(lǐng)域有著廣泛的應(yīng)用，如助殘，虛擬現(xiàn)實(shí)，認(rèn)知障礙診斷，車輛輔助駕 駛，人因分析等。用于診斷的視線追蹤系統(tǒng)可以采用侵入式以達(dá)到更高的精度。用于交互 的視線追蹤系統(tǒng)除了對精度，魯棒性，實(shí)時(shí)性的要求以外，需要最大程度的減少或消除對使 用者的干擾。隨著數(shù)字化技術(shù)、計(jì)算機(jī)視覺、人工智能技術(shù)的迅速發(fā)展，基于數(shù)字視頻分析 (VideoOculogr即hic， V0G)的非侵入式視線追蹤技術(shù)成為當(dāng)前熱點(diǎn)研究方向。
視線追蹤技術(shù)利用眼球轉(zhuǎn)動時(shí)相對位置不變的某些眼部結(jié)構(gòu)和特征作為參照，在 位置變化特征和這些不變特征之間提取視線(line of sight/point of regard,L0S/P0R) 變化參數(shù)，然后通過幾何模型或映射模型獲取視線方向。因此，基于V0G的視線追蹤技術(shù)分 為視線特征參數(shù)提取和視線估計(jì)模型建立兩個(gè)組成部分。隨著系統(tǒng)硬件和提取的圖像特征 不同，基于V0G的視線追蹤方法可分為如下幾類 (a)瞳孑L _角膜反射法(The Pupil Center Cornea Reflection Technique, PCCR):采用紅外光源產(chǎn)生角膜反射(角膜反射)，通過計(jì)算瞳孔中心與角膜反射之間的向
量來估計(jì)視線方向。視線估計(jì)模型可以采用非線性多項(xiàng)式模型，也可以采用幾何模型。 (b)角膜反射矩陣法(Cross-Ratios Method):多紅外光源在角膜上產(chǎn)生多個(gè)角 膜反射形成角膜反射矩陣。通過計(jì)算角膜反射與瞳孔中心的位置特征估計(jì)視線方向，視線 估計(jì)模型使用投影平面不變的交比(Cross-Ratios)值。 (c)橢圓法線方向法("One-Circle"Algorithm):通過記錄高分辨率眼睛圖像， 計(jì)算虹膜邊界圈的法線方向估計(jì)視線方向。在可見光下追蹤高分辨率的眼睛圖像并通過基 本的投影幾何關(guān)系計(jì)算橢圓虹膜圈的法線方向并視其為視線方向。 人眼特征提取是視線追蹤的必要過程和前提，特征提取的質(zhì)量直接關(guān)系到視線估 計(jì)的精度。根據(jù)上述視線追蹤方法的不同，提取的特征分為以下幾類(a)瞳孔中心與角膜 反射的向量；(b)角膜反射矩陣；(c)虹膜的橢圓邊界。 V0G系統(tǒng)普遍使用瞳孔_角膜反射方法。該方法提取瞳孔中心到角膜反射向量 作為視線估計(jì)依據(jù)。為了提高系統(tǒng)的精確性與穩(wěn)定性，瞳孔-角膜反射方法一般采用亮暗 瞳差分方案，便于在整幅臉部圖像中快速捕捉眼睛和在局部眼睛圖像中精細(xì)準(zhǔn)確的分割瞳 孔。亮暗瞳差分方案一般過程如下設(shè)置與攝像機(jī)鏡頭同軸的內(nèi)外環(huán)近紅外(IR)光源分別 產(chǎn)生"亮瞳""暗瞳"現(xiàn)象，如圖l所示?？刂乒庠唇惶媪涟?，產(chǎn)生亮瞳(圖2)和暗瞳(圖 3)隔幀交替出現(xiàn)的視頻序列。利用相鄰亮暗瞳圖像的差分使瞳孔信息相對突出，消除背景 影響。亮暗瞳差分方案一般采用閾值法分割瞳孔。

發(fā)明內(nèi)容
瞳孔及中心與角膜反射定位是該類視線特征提取的共性問題，影響最終視線估計(jì) 精度的原因主要有以下幾點(diǎn)(a)角膜反射造成瞳孔輪廓改變，造成瞳孔定位誤差。(b)瞳 孔運(yùn)動造成差分圖像瞳孔區(qū)域不全，造成運(yùn)動瞳孔定位誤差。(c)角膜反射形狀的不規(guī)則和 邊界的不確定性造成角膜反射中心定位誤差。(d)由于頭部的隨機(jī)運(yùn)動，亮暗瞳圖像差分 后，圖像還殘留其它面部信息，這是造成閾值分割法瞳孔定位錯誤的主要原因。(e)作為頭 動補(bǔ)償?shù)钠渌卣鲄?shù)產(chǎn)生的誤差。 本發(fā)明的視線追蹤系統(tǒng)采用單攝像機(jī)單光源，通過瞳孔-角膜反射方法獲取視線
方向，立足于開發(fā)一種具有普適應(yīng)用價(jià)值的低成本視線追蹤系統(tǒng)。瞳孔及角膜反射中心定 位是本發(fā)明視線追蹤系統(tǒng)實(shí)現(xiàn)的必要步驟，本文的視線追蹤系統(tǒng)，便于在整幅臉部圖像中 快速捕捉眼睛和在眼部為滿足上述要求，并針對影響特征提取精度的主要原因，本發(fā)明提 出一種基于多通道圖像的特征參數(shù)提取方法。在追求高精度亞像素特征參數(shù)提取及魯棒 性方面進(jìn)行了研究，本發(fā)明提出的檢測方法優(yōu)于通常采用的閾值分割方法，實(shí)驗(yàn)結(jié)果及系 統(tǒng)實(shí)際應(yīng)用證明了本發(fā)明方法的有效性。該方法整個(gè)流程如圖4所示。(l)判斷亮瞳和暗 瞳圖像，亮瞳圖像(圖5)與暗瞳圖像(圖6)做差得到差分圖像(圖7) ;(2)對所得差分 圖像做濾波，其中包括基于規(guī)則濾波和連通區(qū)域分析、形狀大小濾波；(3)對眼睛區(qū)域定位 校驗(yàn)，如果正確，求質(zhì)心定位普爾欽斑中心，并對瞳孔邊緣做濾波，消除角膜反射對瞳孔邊 緣輪廓的影響，橢圓擬合定位瞳孔中心，得到亞象素的中心坐標(biāo)；不正確，則調(diào)整閾值再次 進(jìn)行濾波；(4)特征向量校驗(yàn)，如果不滿足條件則返回，不進(jìn)行下面的處理；如果滿足條件 則根據(jù)實(shí)際檢測結(jié)果去調(diào)整下次檢測的閾值；(5)人臉定位，根據(jù)雙眼位置確定人臉位置； (6)特征參數(shù)提取，在相鄰兩幀中提取特征參數(shù)。 上面步驟中，所說的求質(zhì)心定位普爾欽斑中心，是通過以下兩種方法來減小普爾 欽斑中心的估計(jì)誤差(a)采用多個(gè)閾值分別分割出多個(gè)角膜反射區(qū)域，對各個(gè)區(qū)域分別 求質(zhì)心后的平均結(jié)果作為普爾欽斑中心。(b)分割出多個(gè)角膜反射區(qū)域后，不在二值圖像中 而在暗瞳圖像中求質(zhì)心，因?yàn)槠諣枤J斑中心是角膜反射區(qū)域中最亮的部分，越往邊界亮度 越低，這樣可以減小模糊的邊界區(qū)域?qū)|(zhì)心結(jié)果的影響。 上面步驟中，所說的對瞳孔邊緣做濾波消除角膜反射對瞳孔邊緣輪廓的影B向，是 利用基于徑向距離的瞳孔邊緣濾波算法，基本方法是以普爾欽斑中心為圓心，在每一個(gè)半 徑方向上，遠(yuǎn)端邊緣點(diǎn)為瞳孔形成的邊緣，近端邊緣為普爾欽斑形成的邊緣，過濾掉普爾欽 斑形成的邊緣后的瞳孔邊緣。包括三種情況(l)瞳孔與角膜反射相交情況瞳孔邊緣濾波 (圖9，10) ;(2)瞳孔與角膜反射包含情況瞳孔邊緣濾波(圖11,12) ;(3)瞳孔與角膜反射 相離情況瞳孔邊緣濾波(圖13， 14)。 本發(fā)明利用亮瞳現(xiàn)象建立了一種基于多通道圖像的特征參數(shù)提取方法。該方法的 主要特征為 1)角膜反射是造成瞳孔輪廓改變的主要因素，是影響瞳孔中心定位精度的主要因 素之一。針對角膜反射對瞳孔邊緣的影響，提出一種基于徑向距離的瞳孔邊緣專用濾波算 法(RDPEF算法)，提高了瞳孔定位的精度。 2)瞳孔運(yùn)動造成差分圖像瞳孔區(qū)域不全是造成運(yùn)動瞳孔定位誤差的主要因素，通過迭代擴(kuò)展的方式還原運(yùn)動瞳孔區(qū)域，提高了運(yùn)動瞳孔定位的精度。 3)角膜反射區(qū)域形狀的不規(guī)則和邊界的不確定性是造成角膜反射區(qū)域定位誤差 的主要因素，通過多閾值分割角膜反射的模糊區(qū)域，減小了模糊的邊界區(qū)域?qū)|(zhì)心結(jié)果的 影響。 4)頭部的隨機(jī)運(yùn)動是造成閾值分割法瞳孔定位錯誤的主要原因，利用瞳孔的歷史 信息，t+l時(shí)刻首先在t時(shí)刻瞳孔位置的附近進(jìn)行特征參數(shù)提取，提高了瞳孔定位魯棒性。
5)建立了一個(gè)多特征參數(shù)提取的流程，提取人眼特征的多個(gè)參數(shù)。
因?yàn)楸景l(fā)明方法除了有上述特征之外，與現(xiàn)有技術(shù)相比，本發(fā)明還具有如下優(yōu)點(diǎn) 本發(fā)明方法綜合考慮現(xiàn)有的各種方法和技術(shù)，利用雙閾值法進(jìn)行濾波能提高瞳孔定位的魯 棒性，利用最小二乘非迭代橢圓擬合算法可以得到可以得到亞象素的中心坐標(biāo)。本發(fā)明還 提供一種基于徑向距離的瞳孔邊緣專用濾波算法(RDPEF算法)，能更好的定位瞳孔；并且 通過迭代擴(kuò)展的方式還原運(yùn)動瞳孔區(qū)域，提高了運(yùn)動瞳孔定位的精度；通過多閾值分割角 膜反射的模糊區(qū)域，減小了模糊的邊界區(qū)域?qū)|(zhì)心結(jié)果的影響。本發(fā)明可用在人機(jī)交互的 視線追蹤等很多方面。


圖1亮瞳和暗瞳的產(chǎn)生原理圖2亮瞳圖3暗瞳圖4特征參數(shù)提取框架圖5亮瞳圖像圖6暗瞳圖像圖7差分圖像圖8濾波后的瞳孔區(qū)域圖9邊緣濾波-一 瞳孔與角膜反射相交情況瞳孔邊緣濾波示意10邊緣濾波-一 瞳孔與角膜反射相交情況瞳孔邊緣濾波11邊緣濾波-一 瞳孔與角膜反射包含情況瞳孔邊緣濾波示意12邊緣濾波-一 瞳孔與角膜反射包含情況瞳孔邊緣濾波13邊緣濾波-一 瞳孔與角膜反射相離情況瞳孔邊緣濾波示意14邊緣濾波-一 瞳孔與角膜反射相離情況瞳孔邊緣濾波15人眼特征提取過程一瞳孔邊緣圖16人眼特征提取過程-一 角膜反射輪廓圖17人眼特征提取過程-一 瞳孔邊緣(濾波后)圖18人眼特征提取過程-一 擬合得到的瞳孔橢圓圖19人眼特征提取過程-一 瞳孔中心與角膜反射中心圖20人眼特征提取過程 一-檢測結(jié)果圖21人臉區(qū)域示意22人臉區(qū)域圖像
具體實(shí)施例方式
本發(fā)明是一種視線追蹤系統(tǒng)眼部特征參數(shù)檢測方法結(jié)合附圖及例詳細(xì)說明如 下 本發(fā)明針對角膜反射對瞳孔邊緣輪廓的影響，提出一種基于徑向距離的瞳孔邊緣 專用濾波算法(RDPEF算法)，提高了瞳孔定位的精度。針對瞳孔運(yùn)動造成的差分圖像瞳孔 區(qū)域不全，通過迭代擴(kuò)展的方式還原運(yùn)動瞳孔區(qū)域，提高了運(yùn)動瞳孔定位的精度。針對角 膜反射區(qū)域形狀的不規(guī)則和邊界的不確定性，通過多個(gè)閾值多次分割的方式計(jì)算質(zhì)心，減 小了模糊的邊界區(qū)域?qū)|(zhì)心結(jié)果的影響。針對頭部隨機(jī)運(yùn)動造成的閾值分割法瞳孔定位錯 誤，利用瞳孔的歷史信息，t+1時(shí)刻首先在t時(shí)刻瞳孔位置的附近進(jìn)行特征參數(shù)提取，提高 了瞳孔定位魯棒性；建立了一個(gè)多特征參數(shù)提取的流程，提取人眼特征的多個(gè)參數(shù)。
本發(fā)明建立的一種新的基于多通道圖像的亞像素瞳孔定位算法 一一 基于徑向距 離的瞳孔邊緣專用濾波算法(RDPEF算法)，其方法是以普爾欽斑中心為圓心，在每一個(gè)半 徑方向上，遠(yuǎn)端邊緣點(diǎn)為瞳孔形成的邊緣，近端邊緣為普爾欽斑形成的邊緣，過濾掉普爾欽 斑形成的邊緣后的眼睛區(qū)域邊緣。本算法對瞳孔位置定位準(zhǔn)確，滿足視線估計(jì)對特征參數(shù) 的要求。 本發(fā)明以提取瞳孔中心到普爾欽斑的向量作為視線估計(jì)的依據(jù)，提出一種滿足要 求的特征參數(shù)提取方法，下面將詳細(xì)介紹該方法的整個(gè)流程(如圖4)。
(1)判斷亮瞳和暗瞳圖像 獲取相鄰兩幀圖像后要判斷哪幀是亮瞳哪幀是暗瞳，準(zhǔn)確穩(wěn)定的區(qū)分亮瞳和暗瞳 圖像是整個(gè)參數(shù)提取過程正常運(yùn)行的前提。本發(fā)明對50位使用者進(jìn)行了特征檢測。提出 下面的判別準(zhǔn)則 mapA = {p^. > thresl A grad2> thres2 A p". G PD
(Pijlpdij G mapB A pdij《thres4 A (pbi廠pdij) > thres5) 其中，PB為亮瞳圖像，PD為暗瞳圖像，PB-PD為差分圖像，thresl為角膜反射灰度 閾值，thres2為角膜反射梯度閾值，滿足灰度和梯度條件的像素作為可能的角膜反射像素 點(diǎn)，這樣可以大大縮小搜索范圍，m即A即為暗瞳圖像中可能的角膜反射區(qū)域，也就是普爾欽 斑區(qū)域。thres3為距離閾值，僅在可能的角膜反射區(qū)域附近搜索瞳孔，m即B為暗瞳圖像中 可能的瞳孔區(qū)域。 pdij為暗瞳圖像中的像素點(diǎn)，為亮瞳圖像中的像素點(diǎn)，thres4為暗瞳灰度閾 值，thres5為差分圖像瞳孔灰度閾值，m即C為初步判定的瞳孔區(qū)域，m即C為設(shè)第一幀圖像 為亮瞳圖像，第二幀圖像為暗瞳圖像后計(jì)算所得的瞳孔區(qū)域，m即C'為設(shè)第二幀圖像為亮 瞳圖像，第一幀圖像為暗瞳圖像后計(jì)算所得的瞳孔區(qū)域。如果lm即Cl >> lm即C' |，那么 判定第一幀圖像為亮瞳圖像，第二幀圖像為暗瞳圖像，如果lm即C' I >> lm即Cl，那么判 m即C
定第二幀圖像為亮瞳圖像，第一幀圖像為暗瞳圖像，其他情況判定為圖像中沒有眼睛，需要 重新獲取圖像，而不進(jìn)行下面的處理。
(2)基于規(guī)則濾波 判斷亮瞳和暗瞳圖像后，要根據(jù)亮瞳圖像、暗瞳圖像、差分圖像三幅圖像中瞳孔和 普爾欽斑的先驗(yàn)知識對差分圖像做濾波。采用常用的雙閾值法進(jìn)行濾波.算法如下
mapD = {p^. G PB-PD A pd^. G mapB A pd^.《thres5 A (pbij-bdij) > thres6)
mapE = {p^. G PB-PD A pd^. G mapB A pd^.《thres7 (pbij-pdij) > thres8)
=附fl/ " U ( & e OTflpE a (3&e wopZ) a ||; '). — />兩|| S Arw9)} thres5為暗瞳灰度的嚴(yán)閾值，thres6為差分瞳孔灰度的嚴(yán)閾值，m即D為差分圖像 中判定的瞳孔區(qū)域，thres7為暗瞳灰度的寬閾值，thres8為差分瞳孔灰度的寬閾值，m即E 為差分圖像中可能的瞳孔區(qū)域.容易知道，w叩"G附邵￡ ，滿足嚴(yán)閾值的瞳孔區(qū)域m即D 判斷為瞳孔區(qū)域，滿足寬閾值的瞳孔區(qū)域m即E中與m即D鄰近的像素也判斷為瞳孔區(qū)域， thres9為距離閾值。m即F為規(guī)則濾波后的差分圖像。
(3)連通區(qū)域分析、形狀大小濾波 基于規(guī)則濾波已經(jīng)過濾了多數(shù)的干擾點(diǎn)，連通性分析以后進(jìn)行形狀大小濾波就可
以達(dá)到定位瞳孔的要求，避免了 SVM的訓(xùn)練過程和識別誤差.濾波規(guī)則如下 B1DB = (blobilarea(blobi)《thres10 A area(blob》> thresl 1 A width(blobi)《thresl2 A width(blobi) > thresl3 A height (blobi)《thresl4 A height (blobi) > thresl5 A ration (blobi)《thresl6 A ration (blobi) > thresl7 area (blobi)為團(tuán)塊blobi的面積，thres10為團(tuán)塊面積的上閾值，thresl 1為團(tuán)塊 面積的下閾值，width (blobi)為團(tuán)塊blobi的寬度，thres12為團(tuán)塊寬度的上閾值，thresl3 為團(tuán)塊寬度的下閾值，height (blobi)為團(tuán)塊blobi的高度，thresl4為團(tuán)塊高度的上閾值， thresl5為團(tuán)塊高度的下閾值，ratio (blobi)為團(tuán)塊blobi的寬高比，thresl6為團(tuán)塊寬高 比的上閾值，thresl7為團(tuán)塊寬高比的下閾值，面積，寬度，高度，寬高比滿足公式條件的團(tuán) 塊判斷為瞳孔。BL0B(圖8)為濾波后的瞳孔區(qū)域。
(4)眼睛區(qū)域定位校驗(yàn) 搜索眼睛區(qū)域，校驗(yàn)眼睛區(qū)域的合理性。校驗(yàn)規(guī)則如下 I BLOB I = 2 I |blobL_blobK II > thresl8 I |blobL_blobK| I《thresl9 lBLOBl = 2是團(tuán)塊集合中團(tuán)塊的數(shù)量，即瞳孔的數(shù)量，此條件滿足則判斷左右瞳 孔的距離II blobf blobK ||是否滿足條件。thresl8為瞳孔距離下閾值，thresl9為瞳孔距 離上閾值。其中上閾值和下閾值是根據(jù)實(shí)驗(yàn)得出來的數(shù)值。如果不滿足條件則調(diào)整閾值再 次進(jìn)行濾波，滿足瞳孔條件區(qū)域過少時(shí)放寬濾波條件，滿足瞳孔條件區(qū)域過多時(shí)嚴(yán)格濾波 條件，當(dāng)重復(fù)濾波次數(shù)大于3時(shí)，則返回，不進(jìn)行下面的處理。
(5)瞳孔運(yùn)動補(bǔ)償 檢測差分圖像眼睛區(qū)域的邊緣。首先要消除瞳孔運(yùn)動對差分圖像瞳孔區(qū)域的影響，瞳孔運(yùn)動造成亮暗瞳圖像瞳孔區(qū)域不完全重合，以至差分圖像瞳孔區(qū)域不完全是造成 運(yùn)動瞳孔定位誤差的主要因素，本步驟通過迭代擴(kuò)展的方式還原運(yùn)動瞳孔區(qū)域，規(guī)則如 下 m即G = BLOB do until mapG convergence 對步驟4得到的瞳孔區(qū)域BLOB進(jìn)行擴(kuò)展，在與BLOB邊界相鄰的像素中，迭代搜索 暗瞳像素灰度pdij小于暗瞳灰度閾值thres20的像素并將其加入擴(kuò)展后的瞳孔區(qū)域m即G， 直至mapG收斂. 對m即G進(jìn)行二值圖像邊緣檢測，邊緣檢測規(guī)則方法如下
/nop// = Iea (卜'-p|《1 a |_/ -爿S1 a pw g wzapG)}對于m即G中的像素Pij，如果在其相鄰的像素中存在Ppq不屬于m即G，則P".為邊緣 像素，m即H(圖15)為邊緣檢測的結(jié)果。
(6)眼睛區(qū)域附近搜索普爾欽斑 在暗瞳圖像中，在眼睛區(qū)域附近基于灰度搜索普爾欽斑。規(guī)則如下
w一 = I戶~》// rej21 a (3 ea - & | S //^22)} 在暗瞳圖像中，僅在瞳孔區(qū)域m即G附近搜索角膜反射，在m即G附近小于距離閾值 thres22的像素集合中，搜索滿足灰度pl^大于角膜反射灰度閾值thres21條件的像素作 為初步判定的角膜反射區(qū)域m即I。由于外部光源有時(shí)會在瞳孔附近產(chǎn)生其它一些亮斑，還 需要對m即I進(jìn)行連通性分析，排除干擾，找到真正的角膜反射，規(guī)則如下
BLOB, = (blobilarea(blobi)《thres23 A area(blobi) > thres24 A
ration (blobi)《thres25 A ration (blobi) > thres26area(blob》為團(tuán)塊blobi的面積，thres23為團(tuán)塊面積的上閾值，thres24為團(tuán)
塊面積的下閾值，ratio(blob》為團(tuán)塊blobi的寬高比，thres25為團(tuán)塊寬高比的上閾值，
thres26為團(tuán)塊寬高比的下閾值，面積，寬高比滿足上述公式條件的團(tuán)塊判斷為角膜反射。
普爾欽斑BL0Bpur如圖16所示。 (7)求質(zhì)心定位普爾欽斑中心 通過以下兩種方法來減小普爾欽斑中心的估計(jì)誤差(a)采用多個(gè)閾值分別分割 出多個(gè)普爾欽斑區(qū)域，對各個(gè)區(qū)域分別求質(zhì)心后的平均結(jié)果作為普爾欽斑中心。(b)分割出 多個(gè)普爾欽斑區(qū)域后，不在二值圖像中而在暗瞳圖像中求質(zhì)心，因?yàn)槠諣枤J斑中心是普爾 欽斑區(qū)域中最亮的部分，越往邊界亮度越低，這樣可以減小模糊的邊界區(qū)域?qū)|(zhì)心結(jié)果的 影響。具體方法如下 首先，采用多個(gè)閾值分別分割出多個(gè)普爾欽斑區(qū)域
歸—S編,2 G…G歸戸《

然后，對各個(gè)區(qū)域分別求質(zhì)心，將各個(gè)區(qū)域質(zhì)心的平均值作為普爾欽斑中心
e歸
"1
1 20所示<

(i。k， j。k)分別為區(qū)域blobpurk的質(zhì)心，(i。， j。)為最后估計(jì)的普爾欽斑質(zhì)心，如圖
(8)邊緣濾波
普爾欽斑是造成瞳孔輪廓改變的主要因素，是影響瞳孔中心定位精度的主要因素
之一。本發(fā)明采用一種簡單快速的凸殼檢測算法，其時(shí)間復(fù)雜度為llogN。
mapj = convex hull(mapH)
m即J是m即H的凸殼。 在此基礎(chǔ)上，本發(fā)明提出一種基于徑向距離的瞳孔邊緣專用濾波算法(RDPEF算 法)，規(guī)則如下 if. m即J n blobpurK - W
J'一A —《一義
.4
卜k else mapK = mapH 戶"是上個(gè)步驟求得的普爾欽斑中心，以普爾欽斑中心為圓心，在每一個(gè)半徑方 向上，遠(yuǎn)端邊緣點(diǎn)為瞳孔形成的邊緣，近端邊緣為普爾欽斑形成的邊緣，過濾掉普爾欽斑形 成的邊緣后的眼睛區(qū)域邊緣如圖17所示。
(9)橢圓擬合定位瞳孔中心 本發(fā)明采用通用的最小二乘非迭代橢圓擬合算法。他可以使噪聲邊緣更少，也可 以得到亞象素的中心坐標(biāo)。擬合得到的瞳孔橢圓如圖18所示，瞳孔中心如圖19所示.視 線特征向量Lt如下 丄，=(Ax，A_y， 其中(Ax， Ay)-;^-;^為瞳孔中心到普爾欽斑的向量G
比，9為瞳孔橢圓長軸與垂直方向的角度，(i。， j。)為普爾欽斑在圖像中的位置 (10)特征向量校驗(yàn) 瞳孔中心到普爾欽斑中心向量合理性校驗(yàn)，基本規(guī)則如下
二為瞳孔橢圓長短軸的
P ',、P "
9

征向i 際檢效
2麵j28
判斷特征向量長度是否滿足條件，thres27為特征向量長度下閾值，thres28為特 長度上閾值.如果不滿足條件則返回，不進(jìn)行下面的處理，如果滿足條件則根據(jù)實(shí) 結(jié)果去調(diào)整下次檢測的閾值，最后的檢測結(jié)果如圖20所示。 (11)人臉定位
本文根據(jù)雙眼位置確定人臉位置，左眼坐標(biāo)記為M(&， h)，右眼坐標(biāo)記為N(&， yK)，兩眼之間距離記為2L，人臉位置記為Fu (Xl， y》FKT (x2， y2) FKB (x3， y3) RB (x4， y4)，如圖21 ， 22所示。 (12)設(shè)定優(yōu)先搜索區(qū)域 本文在t-1時(shí)刻成功進(jìn)行特征參數(shù)提取后，t時(shí)刻首先在t-1時(shí)刻瞳孔位置附近 進(jìn)行特征參數(shù)提取，如果不成功則加大搜索范圍.搜索過程如下
戶zclPart,= < 尸i'c2Part,=
e 5薦w 、
八lk/一/^l卜決^^3v 、e膨^
if Feature extraction ==tme break else
Amyl 3 = ^z尸esl 3x2 end
ww"/ ■PiclPart,==and 戶ic2Part, == i^'c2, Piclt，Pic2t是t時(shí)刻相鄰兩幀的圖像，在t-l時(shí)刻成功進(jìn)行特征參數(shù)提取后，t時(shí) 刻首先在t-1時(shí)刻瞳孔位置BL0Bt—工附近距離小于搜索距離閾值thresl3的范圍內(nèi)進(jìn)行特 征提取，即首先在相鄰兩幀圖像的局部搜索圖像PiclPartt， Pic2Partt中進(jìn)行特征提取，引 入設(shè)定優(yōu)先搜索區(qū)域步驟，可以減少平均特征參數(shù)提取的時(shí)間。
權(quán)利要求
用于視線追蹤系統(tǒng)中的眼部特征參數(shù)檢測方法，其特征在于1)對輸入相鄰兩幀亮暗瞳圖像進(jìn)行差分；2)對差分圖像做基本濾波；3)搜索眼睛區(qū)域，校驗(yàn)眼睛區(qū)域的合理性，如果滿足合理性，求質(zhì)心定位普爾欽斑中心，并對瞳孔邊緣做邊緣濾波，消除角膜反射對瞳孔邊緣輪廓的影響，橢圓擬合定位瞳孔中心；不滿足合理性，則調(diào)整濾波閾值再次進(jìn)行基本濾波，重新執(zhí)行步驟2)；4)提取眼部特征參數(shù)，得到瞳孔到角膜反射的向量，如果向量長度滿足閾值范圍，則視為檢測成功，就用特征參數(shù)進(jìn)行視線的計(jì)算，來進(jìn)行人臉定位；否則返回差分圖像，重新進(jìn)行基本濾波，重新執(zhí)行步驟2)。
2. 如權(quán)利要求1所述的檢測方法，其特征在于所述的對輸入相鄰兩幀圖像進(jìn)行差分 是指通過控制光源，交替亮暗，產(chǎn)生亮瞳和暗瞳圖像，對這相鄰的兩幀亮暗瞳圖像做差分。
3. 如權(quán)利要求1所述的檢測方法，其特征在于所述的對所得差分圖像做濾波包括基 于規(guī)則濾波和連通區(qū)域分析、形狀大小濾波。
4. 如權(quán)利要求1所述的檢測方法，其特征在于所述的校驗(yàn)眼睛區(qū)域合理性的條件為 (a) lBLOBl = 2， (b) I |blobL-blobK| | > thres9" (c) | |blobL_blobK| |《thres92，其中條件 (a)是指團(tuán)塊集合中團(tuán)塊的數(shù)量為2，條件(b)和(c)是指左右瞳孔距離I |blobfblobK| 在瞳孔距離下閾值thres^與瞳孔距離上閾值thres^之間；所述的校驗(yàn)眼睛區(qū)域合理性要 同時(shí)滿足(a)、 (b)、 (c)三個(gè)條件。
5. 如權(quán)利要求1所述的檢測方法，其特征在于所述的求質(zhì)心定位普爾欽斑中心，是通 過兩種方法來減小普爾欽斑中心的估計(jì)誤差一、采用多個(gè)閾值分別分割出多個(gè)角膜反射 區(qū)域，對各個(gè)區(qū)域分別求質(zhì)心后的平均結(jié)果作為普爾欽斑中心；二、分割出多個(gè)角膜反射區(qū) 域后，在暗瞳圖像中求質(zhì)心。
6. 如權(quán)利要求1所述的檢測方法，其特征在于所述的對瞳孔邊緣做濾波利用基于徑 向距離的瞳孔邊緣濾波算法，以普爾欽斑中心為圓心，在每一個(gè)半徑方向上，遠(yuǎn)端邊緣點(diǎn)為 瞳孔形成的邊緣，近端邊緣為普爾欽斑形成的邊緣，過濾掉普爾欽斑形成的邊緣后的瞳孔 邊緣。
7. 如權(quán)利要求1或6所述的檢測方法，其特征在于所述的對瞳孔邊緣做濾波包括三 種情況瞳孔與角膜反射相交情況瞳孔邊緣濾波，瞳孔與角膜反射包含情況瞳孔邊緣濾波，瞳孔與角膜反射相離情況瞳孔邊緣濾波。
8. 如權(quán)利要求1所述的檢測方法，其特征在于所述的橢圓擬合定位瞳孔中心用的是 最小二乘非迭代橢圓擬合算法。
9. 如權(quán)利要求1所述的檢測方法，其特征在于所述的瞳孔到角膜反射的向量為其中(Ajc， Ay)=p. . _p..為瞳孔中心到角膜反射的向量，，為瞳孔橢圓長短軸<formula>formula see original document page 2</formula>的比，e為瞳孔橢圓長軸與垂直方向的角度，(i。， j。)為角膜反射在圖像中的位置。
10. 如權(quán)利要求i所述的檢測方法，其特征在于所述的人臉定位是是通過提取的特征 參數(shù)，用特征參數(shù)進(jìn)行視線的計(jì)算，通過視線方向和瞳孔坐標(biāo)來標(biāo)記人臉。
全文摘要
用于視線追蹤系統(tǒng)的眼部特征參數(shù)檢測方法，屬于人機(jī)交互領(lǐng)域，特別涉及人機(jī)交互系統(tǒng)中生物特征檢測。此方法主要用來提高瞳孔定位的精度。針對瞳孔運(yùn)動造成的差分圖像瞳孔區(qū)域不全，通過迭代擴(kuò)展的方式還原瞳孔區(qū)域，提高了瞳孔定位的精度。針對角膜反射區(qū)域邊界的不確定性，通過多次分割的方式計(jì)算質(zhì)心，減小了模糊的邊界區(qū)域?qū)|(zhì)心結(jié)果的影響。針對頭部隨機(jī)運(yùn)動造成的閾值分割法瞳孔定位錯誤，利用瞳孔的歷史信息，在上一時(shí)刻瞳孔附近進(jìn)行特征提取，提高了瞳孔定位魯棒性。建立了一個(gè)多特征參數(shù)提取的流程。實(shí)驗(yàn)結(jié)果驗(yàn)證了本發(fā)明方法的有效性。在人機(jī)交互和疾病診斷兩個(gè)領(lǐng)域有著廣泛的應(yīng)用，如助殘，虛擬現(xiàn)實(shí)，認(rèn)知障礙診斷，人因分析等。
文檔編號G06F3/01GK101788848SQ20091009312
公開日2010年7月28日 申請日期2009年9月29日 優(yōu)先權(quán)日2009年9月29日
發(fā)明者張瓊, 張闖, 張鵬翼, 王志良, 王翠娟, 遲健男, 陳曉 申請人:北京科技大學(xué)