本發(fā)明涉及圖像處理與模式識別領(lǐng)域，更具體地，涉及一種虹膜圖像透視校正方法、裝置和移動終端。

背景技術(shù)：

隨著智能移動終端及網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，人們對信息尤其是個人信息的安全性和穩(wěn)定性要求不斷提高，利用人本身固有的獨特生理特征或行為特征進(jìn)行身份認(rèn)證的應(yīng)用越來越廣泛。其中，除了指紋識別、人臉識別等技術(shù)外，另外一項更具安全性的虹膜識別技術(shù)也日益受到人們的青睞。而且，隨著科技的不斷進(jìn)步，虹膜識別系統(tǒng)逐漸應(yīng)用到手機、平板和筆記本等小巧、輕薄、易攜帶的電子設(shè)備中。

通常，當(dāng)用戶使用手機進(jìn)行虹膜識別時，為了看到在顯示屏幕上呈現(xiàn)的眼睛圖像，需要使眼睛與手機之間產(chǎn)生一個角度。這個角度使得虹膜圖像的輪廓從圓形變?yōu)闄E圓形。由于眼皮的遮擋，虹膜圖像的輪廓通常是不完整的圓或橢圓。現(xiàn)有虹膜識別算法能夠可靠高效地檢測不完整的圓形，但不能可靠高效地檢測不完整的橢圓形。

目前的對虹膜圖像進(jìn)行透視校正的方法有基于特征點檢測的自動畸變修正，該方法需要確定特征點的位置信息或者有參考圖像。即，對比在參考圖像中檢測到的一組特征點與在當(dāng)前圖像中檢測到的另一組特征點，估計照相機與目標(biāo)之間的旋轉(zhuǎn)和平移，然后對當(dāng)前圖像進(jìn)行變換，得到與參考圖像中一致的特征點位置。顯然，這種方法要求在圖像中容易檢測到足夠多和足夠穩(wěn)定的特征點，且對外界光照條件和干擾也比較敏感。對于不同的人的臉部 區(qū)域，難以可靠地得到固定位置的特征點，并且計算量較大，不適用于移動終端虹膜應(yīng)用的實時性要求。

因此，需要提出了一種自動修正這種變形失真的快速近似方法，得到一個圓形失真較小的虹膜圖像，降低后續(xù)處理的難度。

技術(shù)實現(xiàn)要素：

為此，本發(fā)明提供一種虹膜圖像透視校正方法、裝置和移動終端，以力圖解決或者至少緩解上面存在的至少一個問題。

根據(jù)本發(fā)明的一個方面，一種虹膜圖像透視校正方法，適于在移動終端中執(zhí)行，該方法包括：獲取待識別用戶的原始虹膜圖像；計算原始虹膜圖像中每一點的三維空間坐標(biāo)p_s＇；根據(jù)人眼虹膜及其原始虹膜圖像的位置信息計算獲取原始虹膜圖像時人眼的視線方向與水平方向的夾角θ；根據(jù)角度θ構(gòu)建虹膜圖像透視校正的變換矩陣；根據(jù)變換矩陣對原始虹膜圖像的三維空間坐標(biāo)p_s＇進(jìn)行坐標(biāo)變換，得到校正后的虹膜圖像的三維空間坐標(biāo)p_s。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，還包括：根據(jù)角度θ構(gòu)建所述相機鏡頭和原世界坐標(biāo)系的旋轉(zhuǎn)矩陣R和R＇，其中設(shè)原世界坐標(biāo)系的原點為入射光軸與人眼虹膜所在平面的交點，且有兩個坐標(biāo)軸分別位于重力和水平方向。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，其中，C是經(jīng)過系數(shù)調(diào)整的相機矩陣，適于將圖像中的像素單位轉(zhuǎn)換為長度單位；c和c＇分別是相機的鏡頭中心相對于原世界坐標(biāo)系和原世界坐標(biāo)系繞非重力和水平方向的軸旋轉(zhuǎn)θ角后的新坐標(biāo)系的坐標(biāo)。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，其中，是原始虹膜圖像中每一點的深度信息，適于根據(jù)旋轉(zhuǎn)角度θ和物距u計算得到。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，R是單位矩陣，

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，角度θ的計算公式為：

其中，u是物距，v是像距，h是圖像傳感器中紅外成像區(qū)域的中心點到所述圖像傳感器中心點的距離，H是所述人眼虹膜的中心點到所述入射光軸的距離，a是所述移動終端的屏幕中圖像顯示區(qū)域到所述圖像傳感器中心點的距離。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩陣轉(zhuǎn)置，c和c＇適于通過夾角θ、物距u和人眼虹膜的中心點與入射光軸的距離H計算得到。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，c_x＝c_y＝0，c_z＝-u，c_x′＝0，

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，相機矩陣 包括兩個坐標(biāo)軸方向的焦距(f_x，f_y)和光心坐標(biāo)(c_x，c_y)。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正方法中，還包括：根據(jù)眼睛定位算法從成像區(qū)域中確定人眼位置，并將其位置坐標(biāo)從像素單位換算為長度單位；以及將校正后的虹膜圖像坐標(biāo)中的長度單位換算為像素單位，并重新映射虹膜圖像。

根據(jù)本發(fā)明的另一個方面，提供了一種虹膜圖像透視校正裝置，適于駐留在移動終端中，該裝置包括：圖像獲取單元，適于獲取待識別用戶的原始虹膜圖像；坐標(biāo)計算單元，適于計算原始虹膜圖像中每一點的三維空間坐標(biāo)p_s＇；角度計算單元，適于根據(jù)人眼虹膜及其原始虹膜圖像的位置信息計算獲取原始虹膜圖像時人眼的視線方向與水平方向的夾角θ；矩陣構(gòu)建單元，適于根據(jù)角度θ構(gòu)建虹膜圖像透視校正的變換矩陣；坐標(biāo)變換單元，適于根據(jù)變 換矩陣對原始虹膜圖像的三維空間坐標(biāo)p_s＇進(jìn)行坐標(biāo)變換，得到校正后的虹膜圖像的三維空間坐標(biāo)p_s。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，矩陣構(gòu)建單元還適于根據(jù)角度θ構(gòu)建相機鏡頭和原世界坐標(biāo)系的旋轉(zhuǎn)矩陣R和R＇，其中設(shè)原世界坐標(biāo)系的原點為入射光軸與人眼虹膜所在平面的交點，且有兩個坐標(biāo)軸分別位于重力和水平方向。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，其中，C是經(jīng)過系數(shù)調(diào)整的相機矩陣，適于將圖像中的像素單位轉(zhuǎn)換為長度單位；c和c＇分別是相機的鏡頭中心相對于原世界坐標(biāo)系和原世界坐標(biāo)系繞非重力和水平方向的軸旋轉(zhuǎn)θ角后的新坐標(biāo)系的坐標(biāo)。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，其中，是原始虹膜圖像中每一點的深度信息，適于根據(jù)旋轉(zhuǎn)角度θ和物距u計算得到。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，R是單位矩陣，

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，角度θ的計算公式為：

其中，u是物距，v是像距，h是圖像傳感器中紅外成像區(qū)域的中心點到所述圖像傳感器中心點的距離，H是所述人眼虹膜的中心點到所述入射光軸的距離，a是所述移動終端的屏幕中圖像顯示區(qū)域到所述圖像傳感器中心點的距離。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩陣轉(zhuǎn)置，c和c＇適于通過夾角θ、物距u和人眼虹膜的中心點與入射光軸的距離H計算得到。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，相機矩陣 包括兩個坐標(biāo)軸方向的焦距(f_x，f_y)和光心坐標(biāo)(c_x，c_y)。

可選地，在根據(jù)本發(fā)明的虹膜圖像透視校正裝置中，還包括單位換算單元，適于根據(jù)眼睛定位算法從成像區(qū)域中確定人眼位置，并將其位置坐標(biāo)從像素單位換算為長度單位；以及適于將校正后的虹膜圖像坐標(biāo)中的長度單位換算為像素單位，并重新映射虹膜圖像。

根據(jù)本發(fā)明的又一個方面，提供了一種移動終端，包括如上所述的虹膜圖像透視校正裝置。

可選地，在根據(jù)本發(fā)明的移動終端中，還包括與所述虹膜圖像透視校正裝置相耦接的復(fù)合成像系統(tǒng)，該復(fù)合成像系統(tǒng)包括：鏡頭組件，包括固定焦距的光學(xué)透鏡；濾光片組件，包括允許可見光波段的光通過的可見光帶通濾光片和允許近紅外光波段通過的近紅外光帶通區(qū)域；以及圖像傳感器，包括可見光成像區(qū)域、近紅外光成像區(qū)域以及這兩個區(qū)域之間的過渡區(qū)域，其中，可見光成像區(qū)域在可見光成像模式下對通過可見光帶通濾光片的可見光進(jìn)行成像，以及近紅外光成像區(qū)域在近紅外光成像模式下對通過近紅外光帶通濾光片的近紅外光進(jìn)行成像。

根據(jù)本發(fā)明的技術(shù)方案，將虹膜識別時人眼視線相對于移動終端的旋轉(zhuǎn)或移動終端相對于人眼視線的旋轉(zhuǎn)，統(tǒng)一等價為人眼視線從水平方向旋轉(zhuǎn)θ角，世界坐標(biāo)系中重力方向的軸也旋轉(zhuǎn)θ角。本方案根據(jù)人眼虹膜的顯示位置、成像位置及視線角度的關(guān)系，計算出移動終端在進(jìn)行虹膜識別時的傾斜角度，并通過計算傾斜角度構(gòu)建虹膜圖像透視校正的變換矩陣。根據(jù)變換矩陣將人眼虹膜在旋轉(zhuǎn)的坐標(biāo)系下進(jìn)行逆透視投影，再在未旋轉(zhuǎn)的坐標(biāo)系下進(jìn)行透視投影，即可解決因虹膜識別時人眼的視線方向與移動終端的屏幕不垂直所導(dǎo)致的虹膜圖像變形的問題。即通過估計人眼與成像設(shè)備的角度，實現(xiàn)失真圖像的快速校正變換，將橢圓形的虹膜圖像修正為更接近圓形，便于后續(xù)的識別處理，提高虹膜識別的精準(zhǔn)度。

附圖說明

為了實現(xiàn)上述以及相關(guān)目的，本文結(jié)合下面的描述和附圖來描述某些說明性方面，這些方面指示了可以實踐本文所公開的原理的各種方式，并且所有方面及其等效方面旨在落入所要求保護(hù)的主題的范圍內(nèi)。通過結(jié)合附圖閱讀下面的詳細(xì)描述，本公開的上述以及其它目的、特征和優(yōu)勢將變得更加明顯。遍及本公開，相同的附圖標(biāo)記通常指代相同的部件或元素。

圖1示出了根據(jù)本發(fā)明一個實施例的移動終端100的結(jié)構(gòu)框圖；

圖2示出了根據(jù)本發(fā)明一個實施例的移動終端100的復(fù)合成像系統(tǒng)200的結(jié)構(gòu)框圖；

圖3示出了使用移動終端采集自拍圖像和虹膜識別圖像的示意圖；

圖4示出了根據(jù)本發(fā)明一個實施例的人眼虹膜在不同視線角度下的成像位置和顯示位置的示意圖；

圖5示出了根據(jù)本發(fā)明一個實施例的虹膜圖像透視校正方法500的流程圖；

圖6A和6B分別示出了根據(jù)本發(fā)明一個實施例的進(jìn)行透視校正前后的圖像示意圖；

圖7示出了根據(jù)本發(fā)明一個實施例的虹膜圖像透視校正裝置700的結(jié)構(gòu)框圖。

具體實施方式

下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

圖1為根據(jù)本發(fā)明的一個實施方式的移動終端100構(gòu)造示意圖。如圖1 所述，移動終端100包括：存儲器接口102、一個或多個數(shù)據(jù)處理器、圖像處理器和/或中央處理單元104，以及外圍接口106。存儲器接口102、一個或多個處理器104和/或外圍接口106既可以是分立元件，也可以集成在一個或多個集成電路中。在移動終端100中，各種元件可以通過一條或多條通信總線或信號線來耦合。傳感器、設(shè)備和子系統(tǒng)可以耦合到外圍接口106，以便幫助實現(xiàn)多種功能。例如，運動傳感器110、光傳感器112和距離傳感器114可以耦合到外圍接口106，以方便定向、照明和測距等功能。其他傳感器116同樣可以與外圍接口106相連，例如定位系統(tǒng)(例如GPS接收機)、溫度傳感器、生物測定傳感器或其他感測設(shè)備，由此可以幫助實施相關(guān)的功能。

相機子系統(tǒng)120和光學(xué)傳感器122可以用于方便諸如記錄照片和視頻剪輯的相機功能的實現(xiàn)，其中所述相機子系統(tǒng)和光學(xué)傳感器例如可以是電荷耦合器件(CCD)或互補金屬氧化物半導(dǎo)體(CMOS)光學(xué)傳感器?？梢酝ㄟ^一個或多個無線通信子系統(tǒng)124來幫助實現(xiàn)通信功能，其中無線通信子系統(tǒng)可以包括射頻接收機和發(fā)射機和/或光(例如紅外)接收機和發(fā)射機。無線通信子系統(tǒng)124的特定設(shè)計和實施方式可以取決于移動終端100所支持的一個或多個通信網(wǎng)絡(luò)。例如，移動終端100可以包括被設(shè)計成支持GSM網(wǎng)絡(luò)、GPRS網(wǎng)絡(luò)、EDGE網(wǎng)絡(luò)、Wi-Fi或WiMax網(wǎng)絡(luò)以及BlueboothTM網(wǎng)絡(luò)的通信子系統(tǒng)124。音頻子系統(tǒng)126可以與揚聲器128以及麥克風(fēng)130相耦合，以便幫助實施啟用語音的功能，例如語音識別、語音復(fù)制、數(shù)字記錄和電話功能。

I/O子系統(tǒng)140可以包括觸摸屏控制器142和/或一個或多個其他輸入控制器144。觸摸屏控制器142可以耦合到觸摸屏146。舉例來說，該觸摸屏146和觸摸屏控制器142可以使用多種觸摸感測技術(shù)中的任何一種來檢測與之進(jìn)行的接觸和移動或是暫停，其中感測技術(shù)包括但不局限于電容性、電阻性、紅外和表面聲波技術(shù)。一個或多個其他輸入控制器144可以耦合到其他輸入/控制設(shè)備148，例如一個或多個按鈕、搖桿開關(guān)、拇指旋輪、紅外端口、USB端口、和/或指示筆之類的指點設(shè)備。所述一個或多個按鈕(未顯示)可以包括用于控制揚聲器128和/或麥克風(fēng)130音量的向上/向下按鈕。

存儲器接口102可以與存儲器150相耦合。該存儲器150可以包括高速 隨機存取存儲器和/或非易失性存儲器，例如一個或多個磁盤存儲設(shè)備，一個或多個光學(xué)存儲設(shè)備，和/或閃存存儲器(例如NAND，NOR)。存儲器150可以存儲操作系統(tǒng)152，例如Android、IOS或是Windows Phone之類的操作系統(tǒng)。該操作系統(tǒng)152可以包括用于處理基本系統(tǒng)服務(wù)以及執(zhí)行依賴于硬件的任務(wù)的指令。存儲器150還可以存儲應(yīng)用154。這些應(yīng)用在操作時，會從存儲器150加載到處理器104上，并在已經(jīng)由處理器104運行的操作系統(tǒng)之上運行，并利用操作系統(tǒng)以及底層硬件提供的接口實現(xiàn)各種用戶期望的功能，如即時通信、網(wǎng)頁瀏覽、圖片管理等。應(yīng)用可以是獨立于操作系統(tǒng)提供的，也可以是操作系統(tǒng)自帶的。另外，應(yīng)用154被安裝到移動終端100中時，也可以向操作系統(tǒng)添加驅(qū)動模塊。

在上述各種應(yīng)用154中，其中的一種應(yīng)用為與本發(fā)明相關(guān)的虹膜圖像透視校正裝置700。在一些實施例中，移動終端100被配置為執(zhí)行根據(jù)本發(fā)明的虹膜圖像透視校正方法400。

在利用移動終端進(jìn)行虹膜識別時，通常需要單獨的近紅外攝像頭進(jìn)行虹膜成像，不能夠與現(xiàn)有的可見光成像(光譜頻率在380-760nm)的攝像頭進(jìn)行復(fù)用(比如智能手機現(xiàn)有的前置彩色攝像頭)，無疑增加了移動終端的結(jié)構(gòu)復(fù)雜度。而利用移動終端單攝像頭進(jìn)行近紅外光和可見光雙波段的復(fù)合成像技術(shù)可有效解決上述問題。圖2示出了根據(jù)本發(fā)明一個實施例的移動終端100的復(fù)合成像系統(tǒng)200的結(jié)構(gòu)框圖。如圖2所示，該復(fù)合成像系統(tǒng)包括：該復(fù)合成像系統(tǒng)200包括依次沿著入射光路布置的鏡頭組件230、濾光片組件220和圖像傳感器210。其中，濾光片組件220包括可見光帶通濾光片221和近紅外光帶通濾光片222(圖中示出為用反斜線填充)，圖像傳感器210包括用于近紅外光成像的區(qū)域A(圖中示出為用反斜線填充)、用于可見光成像的區(qū)域B以及在A、B區(qū)域之間的過渡區(qū)域C(示出為用橫線填充)。

全光譜光線入射穿過鏡頭組件230并到達(dá)濾光片組件220，其中可見光帶通濾光片221允許可見光(例如，波長為380-760nm)通過，而近紅外光帶通濾光片222允許近紅外光(例如，波長為780-880nm)通過?？梢姽鈳V光片221和近紅外光帶通濾光片222可以通過鍍膜來實現(xiàn)。通過可見光帶通濾 光片221的可見光基本在圖像傳感器的區(qū)域B成像，而通過近紅外光帶通濾光片222的近紅外光基本在圖像傳感器的區(qū)域A成像。利用圖像處理軟件可以分別將圖像傳感器的區(qū)域B和A的成像區(qū)分開來，其中區(qū)域B的成像對應(yīng)于正常的可見光成像，例如用戶使用諸如手機等移動終端進(jìn)行日常自拍時的成像，而區(qū)域A的成像對應(yīng)于近紅外模式下的成像，例如用戶在使用手機進(jìn)行虹膜識別時的成像。這樣，可以便捷地實現(xiàn)可見光和近紅外光成像之間的切換，而不需要配備運動部件來切換濾光片，大幅度提高了穩(wěn)定性。

圖3示出了使用移動終端采集自拍圖像和虹膜識別圖像的示意圖。如圖3所示，用戶在自拍時，移動終端的屏幕與臉部平行，可以觀察到全屏幕的自拍預(yù)覽畫面(如左下角圖示)。而進(jìn)行虹膜識別時，用戶將移動終端傾斜一個角度θ，以便觀察到位于屏幕上部的虹膜識別預(yù)覽畫面(如右下角圖示)。

另外，也可以保持移動終端的屏幕不變，人臉的視線方向從自拍時的水平方向旋轉(zhuǎn)θ角。因為這兩種虹膜識別情況，移動終端和人眼視線的相對關(guān)系實際是一樣的，所以本發(fā)明中將這兩種情況都統(tǒng)一為后一種，即為圖4中所示的人眼虹膜在不同視線角度下的成像位置和顯示位置，以便進(jìn)行計算。當(dāng)人眼視線不垂直于顯示屏幕時，虹膜識別畫面會產(chǎn)生形變，影響虹膜識別的算法，為此本文提出了一種通過估計移動終端的傾斜角度來進(jìn)行虹膜圖像透視校正的方法。

如圖4所示，將虹膜看作一個圓面，定義其所在的平面為物平面。忽略眼球半徑對虹膜景深的影響，用眼球球心的位置表示虹膜的位置。為了使人眼虹膜在圖像傳感器的紅外光區(qū)域成像，需保證眼球位于紅外光區(qū)域的視場角范圍內(nèi)。為了使虹膜圖像清晰，需保證眼球位于景深范圍內(nèi)。

采用右手坐標(biāo)系，設(shè)世界坐標(biāo)系以物平面與光軸的交點為原點，x軸正向從紙面背面指向正面，y軸正向向下，z軸正向向右。照相機坐標(biāo)系以移動終端的相機鏡頭中心為原點，x軸正向從紙面背面指向正面，y軸正向向下，z軸正向向右。傳感器坐標(biāo)系以圖像傳感器的中心為原點，x軸正向從紙面背面指向正面，y軸正向向下，z軸正向向右。坐標(biāo)系旋轉(zhuǎn)用xyz歐拉角表示，即先繞x軸旋轉(zhuǎn)，再繞新的y軸旋轉(zhuǎn)，再繞新的z軸旋轉(zhuǎn)。旋轉(zhuǎn)角度的正方向 按右手準(zhǔn)則定義，即逆著坐標(biāo)軸看去的逆時針方向為正角度。

根據(jù)以上描述可知，物平面、像平面和圖像顯示平面分別是世界坐標(biāo)系、相機坐標(biāo)系和傳感器坐標(biāo)系的XY平面。當(dāng)物平面與像平面平行時，虹膜圖像的輪廓為圓形。但因為在實際的虹膜識別操作中，物平面與像平面并不平行，導(dǎo)致最終獲得的虹膜圖像的輪廓為橢圓形。

圖4中人眼的初始視線方向為水平方向，用向量LOS0所示；虹膜識別時，用戶為了觀察到移動終端的屏幕上方所顯示的虹膜圖像，將視線方向調(diào)整為LOS1，即物平面以過眼球中心的x方向為旋轉(zhuǎn)軸順時針旋轉(zhuǎn)θ角。本發(fā)明在旋轉(zhuǎn)過程中，保證眼球的景深和成像位置不變。相應(yīng)地，原世界坐標(biāo)系的Y軸也沿X軸順時針旋轉(zhuǎn)了θ角。其中設(shè)虹膜識別時的視線方向LOS1與原世界坐標(biāo)系的Y軸之間的夾角為α，與旋轉(zhuǎn)過的世界坐標(biāo)系的Y軸之間的夾角為β，可知，β＝π-θ-α。

應(yīng)當(dāng)理解，若保持人眼視線方向不變，將移動終端沿背離人眼方向旋轉(zhuǎn)θ角，則在這種情況下世界坐標(biāo)系未變，但相機坐標(biāo)系和傳感器坐標(biāo)系的XY平面繞X軸旋轉(zhuǎn)了θ角。但因為在右手準(zhǔn)則下，照相機坐標(biāo)系相對于世界坐標(biāo)系旋轉(zhuǎn)了θ角，相當(dāng)于世界坐標(biāo)系相對于照相機坐標(biāo)系旋轉(zhuǎn)了-θ。所以可以等價為保持相機坐標(biāo)系和傳感器坐標(biāo)系不變，世界坐標(biāo)系的XY平面繞X軸旋轉(zhuǎn)-θ角。這種情況仍然可以采用圖4中所示的虹膜位置、成像位置、顯示位置和世界坐標(biāo)系的位置表示。

如圖4所示，設(shè)物距為u，像距為v，圖像傳感器中紅外成像區(qū)域的中心點到圖像傳感器中心點的距離為h。根據(jù)小孔成像原理，H＝h·u/v。另設(shè)人眼虹膜的中心點到入射光軸的距離為H，移動終端的屏幕中圖像顯示區(qū)域到圖像傳感器中心點的距離為a，人眼虹膜中心與相機鏡頭中心的距離為d。在進(jìn)行距離計算時，可以根據(jù)眼睛定位算法從成像區(qū)域中確定人眼位置，并將其位置坐標(biāo)從像素單位換算為長度單位。

根據(jù)以上參數(shù)，可以計算得到人眼視線LOS0與視線LOS1之間的變化角度為：

$\mathrm{\θ}=arctan\frac{a+H}{v+u}=arctan\frac{a+h\·u/v}{v+u}$

另外，還可以得到虹膜成像光線LOS1與原世界坐標(biāo)系中Y軸的夾角為α＝arctan(u/H)，以及虹膜成像光線LOS1與旋轉(zhuǎn)后的世界坐標(biāo)系中Y軸的夾角β＝π-θ-α＝π-θ-arctan(u/H)。

根據(jù)以上描述，照相機旋轉(zhuǎn)角度為θ_x＝0，θ_y＝0，θ_z＝0，根據(jù)照相機旋轉(zhuǎn)角度可構(gòu)造旋轉(zhuǎn)矩陣R。由于沒有旋轉(zhuǎn)，R是單位矩陣。

而虹膜識別時照相機旋轉(zhuǎn)角度為θ_x'＝θ，θ_y'＝0，θ_z'＝0，根據(jù)照相機旋轉(zhuǎn)角度可構(gòu)造旋轉(zhuǎn)矩陣

另外，照相機中心O_c在原世界坐標(biāo)系的坐標(biāo)為c_x＝0，c_y＝0，c_z＝-u，表示為向量c＝[c_x,c_y,c_z]^T，其中，T是矩陣轉(zhuǎn)置。虹膜識別時照相機中心O_c在旋轉(zhuǎn)后的世界坐標(biāo)系的坐標(biāo)為c'_x＝0，c'_y＝H+dcosβ，c'_z＝-dsinβ，表示為向量c'＝[c_x',c_y',c_z']^T。

對于相機鏡頭，已知其焦距為f，標(biāo)定后的照相機矩陣為C。為描述簡潔，照相機矩陣是經(jīng)過系數(shù)調(diào)整的，使變換后的像素單位變?yōu)殚L度單位。

根據(jù)一個實施例，可以取其中包括了兩個方向的焦距(f_x，f_y)和光心坐標(biāo)(c_x，c_y)。在進(jìn)行單位轉(zhuǎn)換需要乘以單位轉(zhuǎn)換系數(shù)，實際操作時還需考慮若干非線性失真。

應(yīng)當(dāng)理解，虹膜坐標(biāo)與其圖像坐標(biāo)是透視投影的關(guān)系。已知空間一點p_w＝[x_w,y_w,z_w]^T在照相機坐標(biāo)系下的坐標(biāo)p_c＝[x_c,y_c,z_c]^T為p_c＝R·(p_w-c)，在傳感器坐標(biāo)系下的坐標(biāo)為p_s＝C·p_c，對深度進(jìn)行歸一化后的形式為即在虹膜圖像上將丟失該點的深度信息

因此，已知現(xiàn)有的變形后的虹膜圖像，即可根據(jù)空間一點在世界坐標(biāo)系、相機坐標(biāo)系和傳感器坐標(biāo)系下的對應(yīng)關(guān)系推理出未變形的虹膜圖像坐標(biāo)。具體地，可以根據(jù)原始虹膜圖像先在旋轉(zhuǎn)的坐標(biāo)系下逆透視投影，再在未旋轉(zhuǎn) 的坐標(biāo)系下透視投影，即可校正圖像變形。

其中，在根據(jù)旋轉(zhuǎn)的坐標(biāo)系逆透視投影過程，先獲取當(dāng)前變形圖像的三維空間坐標(biāo)p_s＇。將虹膜區(qū)域看作平面，利用根據(jù)旋轉(zhuǎn)角度θ和物距u，可以估計虹膜區(qū)域每一點的深度信息生成帶有深度信息的傳感器坐標(biāo)系下的坐標(biāo)之后，即可根據(jù)傳感器坐標(biāo)系與相機坐標(biāo)系的變化關(guān)系恢復(fù)人眼虹膜在照相機坐標(biāo)系下的坐標(biāo)p_c'＝C^-1p_s'。繼而根據(jù)相機坐標(biāo)系與世界坐標(biāo)系的變換關(guān)系求得人眼虹膜在原世界坐標(biāo)系下的坐標(biāo)p_w＝(R')^-1p_c'+c'。

之后，在未旋轉(zhuǎn)的坐標(biāo)系下進(jìn)行透視投影過程，即根據(jù)原世界坐標(biāo)系下的坐標(biāo)p_w推出在相機坐標(biāo)系下的坐標(biāo)p_c＝R(p_w-c)，繼而推出在傳感器下的坐標(biāo)，得到校正后的虹膜圖像的三維空間坐標(biāo)p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]。

圖5示出了根據(jù)本發(fā)明一個實施例的虹膜圖像透視校正方法500的流程圖。如圖5所示，該方法始于步驟S510。

隨后，在步驟S510中，采集待識別的人臉虹膜圖像。對于采集到的虹膜圖像通常會進(jìn)行一些預(yù)處理，以提高其精度及清晰度，如進(jìn)行歸一化處理或降噪處理等。

隨后，在步驟S520中，計算原始虹膜圖像中每一點的三維空間坐標(biāo)p_s＇。具體地，其中，是原始虹膜圖像中每一點的深度信息，適于根據(jù)旋轉(zhuǎn)角度θ和物距u計算得到。其中，可以根據(jù)眼睛定位算法從成像區(qū)域中確定人眼位置，并將其位置坐標(biāo)從像素單位換算為長度單位，以便坐標(biāo)計算。

隨后，在步驟S530中，根據(jù)人眼虹膜及其原始虹膜圖像的位置信息計算獲取原始虹膜圖像時人眼的視線方向與水平方向的夾角θ。具體地，

$\mathrm{\θ}=arctan\frac{a+H}{v+u}=arctan\frac{a+h\·u/v}{v+u}$

隨后，在步驟S540中，根據(jù)角度θ構(gòu)建虹膜圖像透視校正的變換矩陣。其中，還包括根據(jù)所述角度θ構(gòu)建相機鏡頭和原世界坐標(biāo)系的旋轉(zhuǎn)矩陣R和R＇，設(shè)原世界坐標(biāo)系的原點為入射光軸與人眼虹膜所在平面的交點，且有兩個坐標(biāo)軸分別位于重力和水平方向。

具體地，R是單位矩陣，

隨后，在步驟S550中，根據(jù)所述變換矩陣對原始虹膜圖像的三維空間坐標(biāo)p_s＇進(jìn)行坐標(biāo)變換，得到校正后的虹膜圖像的三維空間坐標(biāo)p_s。具體地，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，其中，C是經(jīng)過系數(shù)調(diào)整的相機矩陣，適于將圖像中的像素單位轉(zhuǎn)換為長度單位；c和c＇分別是相機的鏡頭中心相對于原世界坐標(biāo)系和旋轉(zhuǎn)過的世界坐標(biāo)系坐標(biāo)。

其中，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩陣轉(zhuǎn)置，c和c＇適于通過夾角θ、物距u和人眼虹膜的中心點與入射光軸的距離H計算得到。

根據(jù)圖4中的計算，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

${c_y}^{\′}=H+\sqrt{u^2+H^2}cos(\mathrm{\π}-\mathrm{\θ}-arcta\frac{u}{H})$

${c_z}^{\′}=-\sqrt{u^2+H^2}sin(\mathrm{\π}-\mathrm{\θ}-arctan\frac{u}{H})$

最后，將坐標(biāo)中的長度單位換算為像素單位，并重新映射虹膜圖像，即可將虹膜輪廓從橢圓形校正為圓形。圖6A和6B分別示出了根據(jù)本發(fā)明一個實施例的進(jìn)行透視校正前后的圖像示意圖。可以看出，在透視校正前，圖像為橢圓形，而進(jìn)行透視校正后，圖像變?yōu)閳A形，明顯利于后續(xù)的識別過程。

圖7示出了根據(jù)本發(fā)明一個實施例的虹膜圖像透視校正裝置700的結(jié)構(gòu)框圖。如圖7所示，該裝置包括：圖像獲取單元710、坐標(biāo)計算單元720、角度計算單元730、矩陣構(gòu)建單元740和坐標(biāo)變換單元750。

圖像獲取單元710適于獲取待識別用戶的原始虹膜圖像。

坐標(biāo)計算單元720適于計算原始虹膜圖像中每一點的三維空間坐標(biāo)p_s＇。

角度計算單元730適于根據(jù)所述人眼虹膜及其原始虹膜圖像的位置信息計算獲取原始虹膜圖像時人眼的視線方向與水平方向的夾角θ。

矩陣構(gòu)建單元740適于根據(jù)所述旋轉(zhuǎn)角度θ構(gòu)建所述虹膜圖像透視校正的變換矩陣。其中，還包括根據(jù)旋轉(zhuǎn)角度θ構(gòu)建相機鏡頭和原世界坐標(biāo)系的旋轉(zhuǎn)矩陣R和R＇。

坐標(biāo)變換單元，適于根據(jù)所述變換矩陣以及原始虹膜圖像的三維空間坐標(biāo)p_s＇對所述原始虹膜圖像進(jìn)行坐標(biāo)變換，得到校正后的虹膜圖像的三維空間坐標(biāo)p_s。

根據(jù)一個實施例，還可以包括單位換算單元，適于根據(jù)眼睛定位算法從成像區(qū)域中確定人眼位置，并將其位置坐標(biāo)從像素單位換算為長度單位；以及將所述校正后的虹膜圖像坐標(biāo)中的長度單位換算為像素單位，并重新映射虹膜圖像。

根據(jù)本發(fā)明的虹膜圖像透視校正裝置700，其具體細(xì)節(jié)，尤其是每個參數(shù)的計算過程，已在基于圖1-圖6的描述中詳細(xì)公開，在此不再贅述。

由此可見，本發(fā)明通過定位紅外圖像中的虹膜區(qū)域，確定人眼虹膜在圖像傳感器器的成像位置、在移動終端屏幕上的顯示位置，并結(jié)合自身的人眼虹膜位置，估計出獲取虹膜圖像時移動終端與人眼視線方向的夾角，這一夾角可能由人眼視線方向變化造成，也可能因移動終端旋轉(zhuǎn)造成。進(jìn)一步地，可確認(rèn)圖像傳感器與人眼虹膜之間的角度，并根據(jù)該角度建立虹膜圖像透視變換的變換矩陣。根據(jù)該變換矩陣對原始失真虹膜圖像進(jìn)行變換，即先在旋轉(zhuǎn)的坐標(biāo)系下逆透視投影，再在未旋轉(zhuǎn)的坐標(biāo)系下透視投影，即可校正圖像變形，得到近似無失真的虹膜圖像。根據(jù)本發(fā)明的方案，可以有效消除人眼視線不垂直于屏幕時所造成的成像變形的問題，將橢圓形的虹膜圖像校正為近似圓形，方便后續(xù)的虹膜識別過程，從而提高虹膜識別的準(zhǔn)確度。

A8、如A7所述的方法，其中，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

${c_y}^{\′}=H+\sqrt{u^2+H^2}cos(\mathrm{\π}-\mathrm{\θ}-arctan\frac{u}{H})$

${c_z}^{\′}=-\sqrt{u^2+H^2}sin(\mathrm{\π}-\mathrm{\θ}-arctan\frac{u}{H})$

A9、如A3所述的方法，其中，所述相機矩陣包括兩個坐標(biāo)軸方向的焦距(f_x，f_y)和光心坐標(biāo)(c_x，c_y)。

A10、如A1所述的方法，還包括：根據(jù)眼睛定位算法從成像區(qū)域中確定人眼位置，并將其位置坐標(biāo)從像素單位換算為長度單位；以及將所述校正后 的虹膜圖像坐標(biāo)中的長度單位換算為像素單位，并重新映射虹膜圖像。

B12、如B11所述的裝置，所述矩陣構(gòu)建單元還適于根據(jù)所述角度θ構(gòu)建所述相機鏡頭和原世界坐標(biāo)系的旋轉(zhuǎn)矩陣R和R＇，其中設(shè)原世界坐標(biāo)系的原點為入射光軸與人眼虹膜所在平面的交點，且有兩個坐標(biāo)軸分別位于重力和水平方向。

B13、如B12所述的裝置，p_s＝CR[(R＇)^-1C^-1p_s＇+c＇-c]，其中，C是經(jīng)過系數(shù)調(diào)整的相機矩陣，適于將圖像中的像素單位轉(zhuǎn)換為長度單位；c和c＇分別是相機的鏡頭中心相對于原世界坐標(biāo)系和原世界坐標(biāo)系繞非重力和水平方向的軸旋轉(zhuǎn)θ角后的新坐標(biāo)系的坐標(biāo)。

B14、如B11所述的裝置，其中，是原始虹膜圖像中每一點的深度信息，適于根據(jù)旋轉(zhuǎn)角度θ和物距u計算得到。

B15、如B12所述的裝置，其中，

R是單位矩陣，

B16、如B11所述的裝置，所述角度θ的計算公式為：

$\mathrm{\θ}=arctan\frac{a+H}{v+u}=arctan\frac{a+h\·u/v}{v+u},$

其中，u是物距，v是像距，h是圖像傳感器中紅外成像區(qū)域的中心點到所述圖像傳感器中心點的距離，H是所述人眼虹膜的中心點到所述入射光軸的距離，a是所述移動終端的屏幕中圖像顯示區(qū)域到所述圖像傳感器中心點的距離。

B17、如B13所述的裝置，c＝[c_x,c_y,c_z]^T，c＇＝[c_x＇,c_y＇,c_z＇]^T，其中，T是矩陣轉(zhuǎn)置，c和c＇適于通過夾角θ、物距u和人眼虹膜的中心點與入射光軸的距離H計算得到。

B18、如B17所述的方法，其中，c_x＝c_y＝0，c_z＝-u，c_x＇＝0，

${c_y}^{\′}=H+\sqrt{u^2+H^2}cos(\mathrm{\π}-\mathrm{\θ}-arctan\frac{u}{H})$

${c_z}^{\′}=-\sqrt{u^2+H^2}sin(\mathrm{\π}-\mathrm{\θ}-arctan\frac{u}{H})$

B19、如B13所述的裝置，其中，所述相機矩陣包括兩個坐標(biāo)軸方向的焦距(f_x，f_y)和光心坐標(biāo)(c_x，c_y)。

B20、如B11所述的裝置，還包括：單位換算單元，適于根據(jù)眼睛定位算法從成像區(qū)域中確定人眼位置，并將其位置坐標(biāo)從像素單位換算為長度單位；以及將所述校正后的虹膜圖像坐標(biāo)中的長度單位換算為像素單位，并重新映射虹膜圖像。

應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循具體實施方式的權(quán)利要求書由此明確地并入該具體實施方式，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。

本領(lǐng)域那些技術(shù)人員應(yīng)當(dāng)理解在本文所公開的示例中的設(shè)備的模塊或單元或組件可以布置在如該實施例中所描述的設(shè)備中，或者可替換地可以定位在與該示例中的設(shè)備不同的一個或多個設(shè)備中。前述示例中的模塊可以組合為一個模塊或者此外可以分成多個子模塊。

本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中?？梢园褜嵤├械哪K或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相 似目的的替代特征來代替。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實施例的任意之一都可以以任意的組合方式來使用。

此外，所述實施例中的一些在此被描述成可以由計算機系統(tǒng)的處理器或者由執(zhí)行所述功能的其它裝置實施的方法或方法元素的組合。因此，具有用于實施所述方法或方法元素的必要指令的處理器形成用于實施該方法或方法元素的裝置。此外，裝置實施例的在此所述的元素是如下裝置的例子：該裝置用于實施由為了實施該發(fā)明的目的的元素所執(zhí)行的功能。

如在此所使用的那樣，除非另行規(guī)定，使用序數(shù)詞“第一”、“第二”、“第三”等等來描述普通對象僅僅表示涉及類似對象的不同實例，并且并不意圖暗示這樣被描述的對象必須具有時間上、空間上、排序方面或者以任意其它方式的給定順序。

盡管根據(jù)有限數(shù)量的實施例描述了本發(fā)明，但是受益于上面的描述，本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員明白，在由此描述的本發(fā)明的范圍內(nèi)，可以設(shè)想其它實施例。此外，應(yīng)當(dāng)注意，本說明書中使用的語言主要是為了可讀性和教導(dǎo)的目的而選擇的，而不是為了解釋或者限定本發(fā)明的主題而選擇的。因此，在不偏離所附權(quán)利要求書的范圍和精神的情況下，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。對于本發(fā)明的范圍，對本發(fā)明所做的公開是說明性的，而非限制性的，本發(fā)明的范圍由所附權(quán)利要求書限定。