本申請案主張2014年2月25日申請且標題為“眼紋注視跟蹤(Eyeprint Gaze Tracking)”的第61/944,438號美國臨時專利申請案的優(yōu)先權(quán)及權(quán)益，所述美國臨時專利申請案以全文引用的方式并入本文中。

背景技術(shù)：

本發(fā)明大體上涉及圖像分析，且更特定來說，涉及用于實時眼睛注視跟蹤的系統(tǒng)及方法。

眼睛跟蹤是指識別眼睛的注視或移動的過程。近來，眼睛跟蹤技術(shù)的可得性已導(dǎo)致其在各種領(lǐng)域中的使用激增，例如，用戶接口控制、網(wǎng)頁設(shè)計、廣告宣傳、汽車工程及許多其它領(lǐng)域。鑒于眼睛跟蹤技術(shù)的當(dāng)前及潛在用途的數(shù)目，眼睛跟蹤技術(shù)的準確度及效率的改進對保證眼睛跟蹤功能性可易于并入到各種類型的裝置(例如，可穿戴式及其它移動裝置)中是關(guān)鍵的。

技術(shù)實現(xiàn)要素：

描述用于基于眼白區(qū)域上的可見脈管的位置進行眼睛注視跟蹤的系統(tǒng)及方法。用于跟蹤的數(shù)字圖像可來源于作為可穿戴式計算裝置或其它裝置(例如，智能電話或膝上型計算機)的部分的圖像傳感器硬件。

一方面，一種計算機實施的方法包括：接收至少一只眼睛的多個圖像；針對接收到的所述至少一只眼睛的每一圖像，識別與所述至少一只眼睛的脈管相關(guān)聯(lián)的多個穩(wěn)定脈管點；及基于所述接收到的所述至少一只眼睛的圖像中的所識別的穩(wěn)定脈管點確定所述至少一只眼睛的注視角。此方面的其它實施例包含對應(yīng)系統(tǒng)及計算機程序。

在一個實施方案中，所述方法進一步包含：提取所述所識別的穩(wěn)定脈管點周圍的多個特征描述符；及基于所述特征描述符及所識別的穩(wěn)定脈管點創(chuàng)建多個模板。所述方法可進一步包含：通過將所述模板中的一或多者與一或多個注冊模板匹配以確定注視角來確定所述注視角。

在另一實施方案中，所述方法進一步包含：基于所述接收到的所述眼睛的圖像中的一或多者，識別一或多個穩(wěn)定的眼周錨點。確定所述注視角可包含：隨著時間跟蹤所述所識別的穩(wěn)定脈管點中的一或多者；及基于所述所識別的穩(wěn)定脈管點中的一或多者相對于所述穩(wěn)定的眼周錨點中的一或多者的位移確定所述注視角。特定的穩(wěn)定的眼周錨點可包含眼角及/或眼球外部的其它標志物(例如，鼻梁)。

在另外實施方案中，所述方法包含：增強接收到的眼睛的特定圖像中的眼白部分的對比度；及/或從接收到的眼睛的特定圖像中的眼白部分移除噪聲(例如，眼睫毛)。所述方法可進一步包含：基于接收到的眼睛的特定圖像，確定眼睛虹膜的近似位置。

在附圖及下文描述中陳述本說明書中描述的標的物的一或多個實施方案的細節(jié)。將從描述、圖式及權(quán)利要求書明白標的物的其它特征、方面及優(yōu)點。

附圖說明

在圖式中，相似的元件符號大體上是指貫穿不同視圖的相似部件。此外，圖式不一定是按比例的，而是通常將重點放在說明實施方案的原理上。在以下描述中，參考附圖描述各種實施方案，其中：

圖1是描繪根據(jù)實施方案的用于眼睛注視跟蹤的系統(tǒng)的實例架構(gòu)的圖。

圖2到4是描繪根據(jù)各種實施方案的用于眼睛注視跟蹤的實例方法的流程圖。

圖5到6分別是描繪測量的左眼及右眼的注視角的圖。

圖7描繪對眼睛的圖像執(zhí)行的圖像處理技術(shù)的實例結(jié)果。

具體實施方式

可使用眼白中的可見脈管的區(qū)別性特征跟蹤眼睛的移動及/或確定眼睛注視(即，方向點)。舉例來說，可通過多個時間實例獲得個別人的眼白的圖像，且分析所述圖像以識別所關(guān)注的脈管點及其它眼睛特征?？墒褂眠@些特征隨著時間的移動或變化以確定個別人在特定的時間點所看向的位置。

可見脈管對應(yīng)于眼白中所見的脈管。眼白具有數(shù)個層。鞏膜是眼睛中含有膠原蛋白及彈性纖維的大部分不透明纖維狀保護層。鞏膜由結(jié)膜覆蓋，結(jié)膜具有特別大量的延伸通過其及越過其的血管及靜脈。鞏膜外層由球結(jié)膜覆蓋，球結(jié)膜是透明薄膜，其與眼瞼介接，或在眼瞼打開時與環(huán)境介接。血管(一般來說，脈管)中的一些，尤其是球結(jié)膜及鞏膜外層中的血管，是可見的，且可在眼睛的圖像中被檢測到。

圖1說明用于眼睛注視跟蹤的定位系統(tǒng)的一個實施方案。用戶裝置100包含圖像傳感器130、處理器140、存儲器150、眼睛跟蹤組件160，及系統(tǒng)總線，所述系統(tǒng)總線將包含存儲器150的各種系統(tǒng)組件耦合到處理器140。眼睛跟蹤組件160可包含硬件及/或軟件模塊，其對由圖像傳感器130捕獲的圖像執(zhí)行操作。舉例來說，眼睛跟蹤組件160可處理及分析眼睛圖像以識別脈管點、提取所關(guān)注點周圍的特征描述符、基于脈管點及特征創(chuàng)建模板，及隨著時間基于模板確定眼睛的移動。由眼睛跟蹤組件160提供的功能性可包含用于下文進一步描述的注視跟蹤的各種方法。

使用與用戶裝置100相關(guān)聯(lián)的圖像傳感器130(例如，攝像機)捕獲用戶眼睛的圖像。用戶裝置100可包含(例如)可穿戴式裝置及/或移動裝置。用戶裝置100的實例可包含(但不限于)智能電話、智能手表、智能眼鏡、平板計算機、膝上型計算機、游戲裝置、掌上計算機、便攜式計算機、電視機、個人數(shù)字助理、無線裝置、工作站或操作為通用計算機或可執(zhí)行本文中描述的功能性的專用硬件裝置的其它計算裝置。

通過說明，攝像機可為數(shù)字攝像機、三維(3D)攝像機或光場傳感器。在一些實施方案中，攝像機可為具有眼鏡形狀因子的可穿戴式裝置中的面向內(nèi)的模塊，且所述攝像機可用于捕獲眼白的圖像。在一些實施方案中，可穿戴式裝置上的各個位置處的多個攝像機可一起使用以捕獲兩只眼睛的眼白?？梢造o止模式或視頻模式捕獲圖像。當(dāng)用戶看向左或右時，此可將較大的眼白區(qū)域暴露到虹膜的右側(cè)或左側(cè)以用于捕獲數(shù)據(jù)，而當(dāng)用戶向前看向攝像機時，此可將兩個較小的眼白片段提供到每只眼睛中的虹膜的左側(cè)及右側(cè)。在一些實施方案中，修剪所獲取的圖像以獲得一或多只眼睛的RGB圖像。因此，如本文中使用，“圖像”或“捕獲的圖像”也都可指經(jīng)修剪的眼睛的RGB圖像。

非常適于基于眼睛的圖像識別特征的技術(shù)可在以下專利案中找到：2013年2月5日發(fā)布且標題為“用于生物認證的紋理特征(Texture Feature for Biometric Authentication)”的第8,369,595號美國專利案；及2014年5月9日申請且標題為“生物認證的特征提取及匹配(Feature Extraction and Matching for Biometric Authentication)”的第14/274,385號美國專利申請案，所述美國專利案以全文引用的方式并入本文中。舉例來說，圖像銳化技術(shù)可有助于有效的特征檢測。脈管點檢測(VPD)技術(shù)可檢測來自眼睛的可見脈管的所關(guān)注的點，且擴展的多半徑局部二值模式的模式直方圖(PH-EMR-LBP)、增強的多半徑局部二值模式(EMR-LBP)、增強的多半徑中心對稱局部二值模式(EMR-CS-LBP)，及/或擴展的多半徑中心對稱局部二值模式的模式直方圖(PH-EMR-CS-LBP)可有效提供脈管的所關(guān)注點周圍的圖像的部分的特征描述?？梢娒}管被圍封于鞏膜掩模中，其可為包含眼白且從眼睛圖像排除眼白周圍的圖像部分的二值圖像掩模。匹配技術(shù)可通過使用異常值檢測改進基于距離或相關(guān)性的匹配的效率及/或精確度。并入的參考文獻中描述的技術(shù)還允許創(chuàng)建、更新及匹配從參考圖像導(dǎo)出的模板(其包含(例如)通常用于生物認證的注冊及驗證模板)。特定模板可包含一些關(guān)注點(例如，脈管點)以及對應(yīng)特征描述符。

本文中描述的系統(tǒng)的實施方案可使用適當(dāng)?shù)挠布蜍浖?；舉例來說，系統(tǒng)可執(zhí)行于能夠運行例如Microsoft操作系統(tǒng)、Apple OS操作系統(tǒng)、Apple平臺、Google Android^TM平臺、操作系統(tǒng)及操作系統(tǒng)的其它變體及類似者的操作系統(tǒng)的硬件上。系統(tǒng)可包含存儲于存儲器150中且執(zhí)行于處理器140上的多個軟件處理模塊。通過說明，程序模塊可呈一或多種適合的編程語言的形式，將所述編程語言轉(zhuǎn)換成機器語言或目標代碼以允許處理器執(zhí)行指令。軟件可呈以適合的編程語言或框架實施的獨立應(yīng)用程序的形式。

另外或替代地，可在云中或經(jīng)由軟件即服務(wù)遠程執(zhí)行一些或全部功能性。舉例來說，可將某些功能(例如，圖像處理、模板創(chuàng)建、模板匹配等等)執(zhí)行于一或多個遠程服務(wù)器或與用戶裝置100通信的其它裝置上。遠程功能性可執(zhí)行于具有足夠的存儲器、數(shù)據(jù)存儲裝置及處理能力且運行服務(wù)器類操作系統(tǒng)(例如，及族操作系統(tǒng))的服務(wù)器類計算機上。舉例來說，服務(wù)器與用戶裝置之間的通信可通過媒體(例如，標準電話線、LAN或WAN鏈路(例如，T1、T3、56kb、X.25)、寬帶連接(ISDN、幀中繼、ATM)、無線鏈路(802.11(Wi-Fi)、藍牙、GSM、CDMA等等))發(fā)生。預(yù)期其它通信媒體。網(wǎng)絡(luò)可載送TCP/IP協(xié)議通信及由網(wǎng)頁瀏覽器做出的HTTP/HTTPS請求，且可通過此類TCP/IP網(wǎng)絡(luò)傳達用戶裝置與服務(wù)器之間的連接。預(yù)期其它通信協(xié)議。

本文中描述的技術(shù)的方法步驟可由一或多個可編程處理器執(zhí)行，所述一或多個可編程處理器執(zhí)行一或多個計算機程序以通過對輸入數(shù)據(jù)進行操作及產(chǎn)生輸出來執(zhí)行功能。也可由專用邏輯電路(例如，F(xiàn)PGA(現(xiàn)場可編程門陣列)或ASIC(專用集成電路))執(zhí)行方法步驟，且可將模塊實施為專用邏輯電路。模塊可能是指計算機程序的部分及/或?qū)嵤┠欠N功能性的處理器/特殊電路。

適于執(zhí)行計算機程序的處理器包含(通過實例)通用及專用微處理器兩者。一般來說，處理器將從只讀存儲器或隨機存取存儲器或兩者接收指令及數(shù)據(jù)。計算機的必要元件是用于執(zhí)行指令的處理器及用于存儲指令及數(shù)據(jù)的一或多個存儲器裝置。適于體現(xiàn)計算機程序指令及數(shù)據(jù)的信息載體包含全部形式的非易失性存儲器，其包含(通過實例)半導(dǎo)體存儲器裝置，例如，EPROM、EEPROM，及快閃存儲器裝置；磁盤，例如，內(nèi)部硬盤或可換磁盤；磁光盤；及CD-ROM及DVD-ROM盤。一或多個存儲器可存儲指令，所述指令在由處理器執(zhí)行時形成本文中描述的模塊及其它組件且執(zhí)行與所述組件相關(guān)聯(lián)的功能性。處理器及存儲器可由專用邏輯電路增補或被并入專用邏輯電路中。

也可將系統(tǒng)實施于分布式計算環(huán)境中，其中由通過通信網(wǎng)絡(luò)鏈接的遠程處理裝置執(zhí)行任務(wù)。在分布式計算環(huán)境中，程序模塊可定位于包含存儲器存儲裝置的本地及遠程計算機存儲媒體兩者中。也可取決于裝置的容量及所需數(shù)據(jù)處理能力的量，使用除本文中描述的系統(tǒng)硬件及軟件外的其它類型的系統(tǒng)硬件及軟件。也可將系統(tǒng)實施于執(zhí)行例如上文提出的虛擬化操作系統(tǒng)的虛擬化操作系統(tǒng)的一或多個虛擬機上，且所述虛擬機操作于具有例如本文中描述的硬件的硬件的一或多個計算機上。

還應(yīng)注意，可提供系統(tǒng)及方法的實施方案作為體現(xiàn)于一或多個制品上或中的一或多個計算機可讀程序。程序指令可編碼在人工產(chǎn)生的傳播信號(例如，機器產(chǎn)生的電信號、光學(xué)信號、或電磁信號)，所述信號經(jīng)產(chǎn)生以對信息進行編碼以用于發(fā)射到適合的接收器設(shè)備以用于由數(shù)據(jù)處理設(shè)備執(zhí)行。計算機存儲媒體可為或可包含于計算機可讀存儲裝置、計算機可讀存儲襯底、隨機或串行存取存儲器陣列或裝置、或其中一或多者的組合。此外，雖然計算機存儲媒體并非傳播信號，但計算機存儲媒體可為編碼于人工產(chǎn)生的傳播信號中的計算程序指令的源或目的地。計算機存儲媒體也可為或可包含于一或多個單獨的物理組件或媒體(例如，多個CD、磁盤或其它存儲裝置)。

圖2描繪用于眼睛注視跟蹤的方法的一個實施方案。在步驟202中，眼睛跟蹤組件160接收眼睛的圖像?？蓮?例如)用戶裝置100的圖像傳感器130接收圖像。圖像可為彩色或灰度。在步驟206中，眼睛跟蹤組件160執(zhí)行計算機視覺算法以檢測一或多個穩(wěn)定的眼周錨點(例如，下眼瞼上的點、眼角、鼻梁等等)以配準圖像。舉例來說，可使用模板相關(guān)或眼形檢測方法實現(xiàn)眼角的檢測。可執(zhí)行圖像處理算法以增強圖像中眼白部分的對比度(步驟210)，及使用(例如)預(yù)定義的加博(Gabor)濾波器從眼白部分移除噪聲元素(例如，眼睫毛)(步驟214)。

在步驟218中，眼睛跟蹤組件160計算圖像中包含虹膜的眼白部分的垂直投影。垂直投影是強度像素在灰度或彩色圖像中利用鞏膜及虹膜掩模中的區(qū)域的列平均。掩?？蔀榕懦龍D像的虹膜結(jié)構(gòu)瞳孔區(qū)域及其它部分的二值掩模。圖像區(qū)域在鞏膜及虹膜掩模中的投影導(dǎo)致具有基于鞏膜掩模寬度的長度的單維向量。假設(shè)信號的長度為N。在一個實施方案中，使用滑動窗技術(shù)，其中窗大小等于單維向量的長度的1/10，以計算垂直投影的平均值(M＝m1、m2、m3、…、mN)。所得信號保持高于某一閾值，且抑制信號中的平均值的剩余部分?？蓪㈤撝涤嬎銥殚撝担阶畲笾?M)＝范圍(M)。在閾值化之后估價的留存平均值中的峰值提供虹膜邊緣邊界的近似位置及其它信息，例如虹膜的長軸及短軸。

也可將虹膜周圍的邊緣邊界及虹膜本身的中心用作額外輔助點，(例如)以在充足VPD點不可用時增強注視角檢測?？蓮难壑軜酥疚?例如眼角或眼瞼下或鼻梁上的其它穩(wěn)定的結(jié)構(gòu)(例如，皮膚紋理))獲得眼外參考點。在一個實施方案中，可配準來自所關(guān)注的用戶眼周區(qū)域的圖像模板，且將其存儲為錨點模板。在注視跟蹤期間，這些模板可經(jīng)匹配以準確地恢復(fù)那些眼外參考點的位置，以便獲得不考慮頭部移動的注視信息。接著，可使用各種方法以識別鎖存于可見脈管上的脈管關(guān)注點(步驟224)及確定跟蹤注視(步驟226)。舉例來說，為了識別穩(wěn)定且可靠的脈管點，可使用例如脈管點檢測(VPD)的關(guān)注點檢測器或來自加速分段測試的特征(FAST)。

圖3描繪在步驟226中確定注視的一個實施方案。眼睛跟蹤組件160提取檢測到的關(guān)注點周圍的一或多個特征描述符(步驟302)。在一個實例中，使用的特征描述符是PH-EMR-LBP及/或PH-EMR-CS-LBP。在考慮眼白上的脈管的可見度不一致且預(yù)期環(huán)境及傳感器噪聲的情況下使用這些描述符。在步驟306中，針對每一注視，創(chuàng)建一或多個模板，其中每一模板包含關(guān)注點位置及對應(yīng)局部特征。在注冊過程中，要求用戶在視覺提示的輔助下以各種角度注視。在一個實例中，這些視覺提示被投影在可穿戴式裝置的透鏡上。在每一注視處，可見眼白區(qū)域改變，從而導(dǎo)致可見脈管的不同圖案。歸因于可見脈管的信息的改變，模板或大量模板伴隨每一注視。接著，可使所創(chuàng)建的模板與先前提出的眼周參考點的模板一起與對應(yīng)的驗證模板匹配以確定注視角(步驟310)。

圖4描繪在步驟226中確定注視的另一實施方案。眼睛跟蹤組件160隨著時間跟蹤使用關(guān)注點檢測器識別的穩(wěn)定的脈管點(步驟402)。可實時地或定期(在測量之間具有延遲)連續(xù)跟蹤脈管點。在步驟406中，基于多個點(光流)相對于穩(wěn)定的眼周點的位移確定注視。舉例來說，可基于眼角(錨點)與一或多個穩(wěn)定的脈管點之間的相對距離及角的測量來跟蹤眼睛注視，如上文提及。

可使用各種技術(shù)測量眼角。在一個實施方案中，可使用擬合到由加博(Gabor)內(nèi)核過濾的預(yù)處理的圖像上的上眼瞼及下眼瞼的拋物線的交叉點估計中間眥及側(cè)眥(內(nèi)眼角及外眼角)的近似位置。在另一實施方案中，可使用以下技術(shù)改進從前述過程計算出的內(nèi)角及外角的位置。在注冊用戶時，找出眥的(多尺度)模板(例如，使用局部二值模式(LBP)、定向LBP(OLBP)、PH-EMR-CS-LBP、或PH-EMR-LBP)。使用來自注冊的眥模板通過經(jīng)由多尺度滑動相關(guān)將其匹配到其注冊模板而調(diào)整驗證眥位點來精細調(diào)整從拋物線擬合導(dǎo)出的錨點的位置。可以與錨點類似的方式使用其它穩(wěn)定的位置，例如，邊緣邊界、虹膜中心、鼻子、皮膚上的紋理等等。在其它實施方案中，可使用例如光流的方法實時跟蹤這些錨點。

在一個實施方案中，可使用來自(使用(例如)FAST、VPD等等獲得的)經(jīng)識別的脈管點周圍的局部描述符(例如，PH-EMR-LBP、PH-EMR-CS-LBP、加速穩(wěn)健特征(SURF)、LBP及定向梯度直方圖(HoG))的信息識別較強的脈管點。在另一實施方案中，替代邊緣邊界附近的單個穩(wěn)定點，可使用來自所關(guān)注區(qū)域的多個穩(wěn)定點基于從一或多個錨點的位移及角確定注視。

實例實施方案

校準及數(shù)據(jù)收集

在一個實施方案中，為了校準系統(tǒng)，將目標定位成與眼睛的視線以5度間隔。要求對象使用一只眼睛看向目標同時閉上另一只眼。據(jù)觀測，左眼的運動范圍是-45度到+30度(參見圖5)，且右眼的運動范圍是-30度到+45度(參見圖6)。

使用來自iPhone 5S的處在每秒120幀(fps)的視頻模式中的后置攝像頭收集數(shù)據(jù)(然而，應(yīng)注意，也可使用在不同fps下的視頻模式中具有各種分辨率的視頻攝像機)。從全幀手動地修剪眼睛區(qū)域。替代地，可訓(xùn)練使用Haar或似Haar濾波器的眼睛修剪方法以自動檢測眼睛區(qū)域。使用基于橢圓估計的分段算法提取眼白(所關(guān)注區(qū)域(ROI))。如圖7中所展示，檢測到眼睫毛且使用基于加博(Gabor)的濾波方法從提取的ROI移除眼睫毛。甚至在直方圖剪裁之前使用加博(Gabor)濾波器消除ROI中的噪聲像素(眼睫毛)。可使用在具有可調(diào)整的波長及x及y方向上的分散度的各種定向下的一組復(fù)雜的加博(Gabor)濾波器檢測ROI中的線狀結(jié)構(gòu)及曲線狀結(jié)構(gòu)。此外，可將檢測到的像素分組到直方圖及超出經(jīng)修剪的某一閾值的值中。

關(guān)注點檢測及特征提取

可使用各種點檢測算法識別凸點，其潛在地識別為ROI內(nèi)的脈管點鄰域。一個實例是VPD算法，其是可識別ROI中的脈管結(jié)構(gòu)及穩(wěn)定的脈管點的圖像解析算法。SURF算法是另一點檢測算法，其可用于使用海塞(Hessian)矩陣的行列式識別關(guān)注點。FAST算法是另一關(guān)注點尋找器，如果預(yù)定義的像素鄰域中的某一數(shù)目個連續(xù)像素比中心點亮或暗，那么尋找器將像素標記為“角”點。Harris及Stephens(HS)算法是通過將較小窗放置于其上且在不同方向上移動窗、計算局部鄰域中的自動相關(guān)來找出關(guān)注點的另一角檢測算法?；谇笆鲟徲蜃詣酉嚓P(guān)矩陣的特征值，將關(guān)注點指派為角。

在使用例如上文描述的那些點檢測算法的一或多個點檢測算法識別關(guān)注點之后，從每一候選點周圍的ROI位置獲得一組局部圖像描述符?？墒褂枚喾N算法產(chǎn)生這些局部圖像分塊描述符。HoG是一種此類算法，其計算定向梯度直方圖。SURF根據(jù)尺度不變特征變換(SIFT)描述符建立，但具有比使用哈爾(Haar)小波及積分圖像更好的計算效率。局部二值模式(LBP)及定向局部二值模式(DLBP)是兩種其它二值圖像特征提取器。在一個實施方案中，將LBP直方圖(HLBP)及DLBP直方圖(HDLBP)用作下文進一步詳細描述的特征提取器算法?？墒褂闷渌卣髅枋龇惴ɑ虼祟愃惴ǖ慕M合以在ROI的關(guān)注點周圍產(chǎn)生圖像描述符。

可如下計算關(guān)注點周圍的LBP描述符。假定當(dāng)前關(guān)注點在像素位置(x0,y0)處。比較中心點的中間8個鄰域(x0,y0),{(xi,yi)},i＝1,2,...,8的強度值與中心點的強度值，且將結(jié)果(0或1)存儲于K_i中。最終，給定(x0,y0)的LBP8(8位碼)為

$LBP8=\underset{i}{\Σ}{K}_i*2^{i-1}$

在一個實施方案中，可針對LBP8的外方中的像素重復(fù)相同過程，從而針對給定的相同關(guān)注點創(chuàng)建16位(兩字節(jié))LBP16碼。因此，針對每一關(guān)注點，產(chǎn)生總共三個字節(jié)的LBP碼。針對(x0,y0)的5x5像素鄰域重復(fù)過程，從而在給定中心點周圍產(chǎn)生總共5x5＝25次的以上LBP8(一個字節(jié))+LBP16(兩字節(jié))計算的重復(fù)，從而針對例如(x0,y0)的每一關(guān)注點產(chǎn)生3x25＝75字節(jié)二值描述符。

如上文提及，DLBP類似于LBP，然而，每一成對像素比較的參考點是所關(guān)注中心點的8或16個鄰域中的斜對角的像素，而非中心點的強度值，從而導(dǎo)致與LBP特征相比的一半位數(shù)。LBP及DLBP描述符兩者都是二進制數(shù)。

如上文提及，使用圍繞關(guān)注點定義的某一大小(以像素計)的鄰域計算HoG。將那個鄰域劃分成預(yù)定義數(shù)目個子區(qū)域，在所述子區(qū)域內(nèi)創(chuàng)建某些角的邊緣定向的直方圖，且將其統(tǒng)一用作那個關(guān)注點的局部描述符。這些基于直方圖的描述符是實數(shù)向量。在一個實施方案中，大小為4x4像素的鄰域平鋪成具有分選成6個(各自30度間隔開)的定向直方圖的2x2子區(qū)域，且將其用作特征描述符。在一個實施方案中，可將平鋪成具有分選成6個頻格(各自30度間隔開)的定向直方圖的3x3子區(qū)域的大小為4x4像素的鄰域用作特征描述符。

如上文提及，使用關(guān)注點周圍的某一大小(以像素計)的鄰域計算HLBP描述符，其類似于HoG。將那個鄰域劃分成預(yù)定義數(shù)目個子區(qū)域，在所述子區(qū)域內(nèi)，按上述那樣創(chuàng)建LBP碼。然后，為了創(chuàng)建直方圖，產(chǎn)生每一位位置出現(xiàn)的計數(shù)。這些LBP碼直方圖的級聯(lián)創(chuàng)建HLBP特征。這些描述符是實數(shù)向量。大小為mxm(m＝4、5、…、11)像素的鄰域平鋪成nxn(n＝2、3、…、7)個重疊子區(qū)域(平鋪塊)，其中每一LBP位位置的出現(xiàn)直方圖用作特征描述符。

在一個實施方案中，大小為9x9像素的鄰域(已產(chǎn)生其LBP8及LBP16碼)平鋪成十六個3x3子區(qū)域，各自具有一個像素重疊。將LBP8及LBP16的每一子區(qū)域的字符串轉(zhuǎn)換成無符號的長度為9的8位數(shù)字。將這些無符號8位數(shù)字轉(zhuǎn)換成無符號的16位數(shù)字字符串，且計算每一位位置的另外出現(xiàn)直方圖(遞送長度為16位的向量)。最終，每一子區(qū)域?qū)⒕哂衼碜訪BP8及LBP16的經(jīng)級聯(lián)以使用16個子區(qū)域遞送512的最終HLBP長度的長度為16的兩個向量。

使用關(guān)注點周圍的某一大小(以像素計)的鄰域計算PH-EMR-LBP描述符。針對鄰域中的每一像素，跨多個半徑(例如，在3x3及5x5塊中)計算LBP，且將其級聯(lián)以獲得單個特征(EMR-LBP)。將定義的鄰域進一步劃分成重疊的子區(qū)域。計算每一位位置在子區(qū)域內(nèi)的出現(xiàn)次數(shù)以產(chǎn)生直方圖。將這些EMP-LBP碼直方圖跨越全部子區(qū)域的級聯(lián)定義為PH-EMR-LBP特征。

在關(guān)注點周圍的固定鄰域中計算PH-EMR-CS-LBP。最初，在此實施方案中，每一成對像素比較的參考點包含所關(guān)注點的中心的8像素或16像素鄰域中的斜對角像素，而非中心點的強度值，從而導(dǎo)致與EMR-LBP特征(EMR-CS-LBP)相比的一半位數(shù)。然后，將定義的鄰域劃分成預(yù)定義數(shù)目個重疊子區(qū)域。產(chǎn)生每一位位置在子區(qū)域內(nèi)的出現(xiàn)計數(shù)。這些EMR-CS-LBP碼直方圖的級聯(lián)可提供PH-EMR-CS-LBP特征。

在一些實施方案中，可從如上文描述的單個特征描述符算法或多個不同特征描述符算法導(dǎo)出關(guān)注點周圍的圖像分塊的特征描述符。在其它實施方案中，可在多個圖像尺度下導(dǎo)出候選點周圍的特征描述符(多尺度特征提取)。舉例來說，可使用三級高斯圖像金字塔檢測關(guān)注點及其對應(yīng)的局部圖像描述符。

模板匹配

模板匹配是找出用戶的(一或多個)保存注冊模板與(一或多個)驗證模板之間的相似性的過程。如果驗證模板與注冊模板的相似性(表達為匹配分值)超過閾值，那么驗證成功；否則，驗證失敗。計算二值描述符(快速視網(wǎng)膜關(guān)鍵點(FREAK)、DLBP、LBP)的漢明(Hamming)距離(越小越好)，以便找出注冊模板與驗證模板之間的最匹配的點對。對于實數(shù)值的描述符向量，可比較注冊模板的SURF、HoG、PH-EMR-LBP，及/或PH-EMR-CS-LBP描述符之間的歐幾里德(Euclidean)距離、曼哈頓(Manhattan)距離、相關(guān)距離、或馬氏(Mahalanobis)距離與驗證模板相應(yīng)的SURF、HoG、PH-EMR-LBP，及/或PH-EMR-CS-LBP描述符，以確定其是否滿足給定閾值。預(yù)期其它距離測量。接著，可基于與針對部分或全部注視方向存儲的模板的所獲得的最高匹配分值確定注視。

本文中運用的術(shù)語及表達式用作描述的術(shù)語及表達式且不具限制性，且在使用此類術(shù)語及表達式時，不希望排除所展示及描述的特征或其部分的任何等效物。另外，在已在本發(fā)明中描述某些實施方案的情況下，所屬領(lǐng)域的一般技術(shù)人員應(yīng)明白，可在不背離本發(fā)明的精神及范圍的情況下，使用并入本文中揭示的概念的其它實施方案?？梢愿鞣N組合及排列布置各種實施方案的特征及功能，且認為所述全部者均在揭示的發(fā)明的范圍內(nèi)。因此，應(yīng)在所有方面將描述的實施方案視為說明性且非限制性的。本文中描述的配置、材料及尺寸也希望為說明性的且完全不具限制性。類似地，盡管出于解釋目的已提供物理解釋，但不希望由任何特定理論或機構(gòu)界定，或根據(jù)其限制權(quán)利要求書。