本發(fā)明屬于智能識(shí)別認(rèn)證技術(shù)領(lǐng)域，具體涉及一種用于移動(dòng)終端的多模態(tài)生物特征識(shí)別模組及方法。

背景技術(shù)：

現(xiàn)有的移動(dòng)終端上的身份認(rèn)證大多還是采用密碼等方式完成，雖然目前也有利用生物特征進(jìn)行認(rèn)證的方式出現(xiàn)，但現(xiàn)在方法還存在受限設(shè)備、生物特征模態(tài)單一的應(yīng)用局限。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明目的在于解決上述的技術(shù)問(wèn)題而提供一種用于移動(dòng)終端的多模態(tài)生物特征識(shí)別模組及方法，旨為移動(dòng)終端上的安全登陸、安全支付等需要進(jìn)行身份認(rèn)證的應(yīng)用提供一種更安全可靠的解決方案。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種用于移動(dòng)終端的多模態(tài)生物特征識(shí)別模組，包括：

混合光源單元，包括成像所需的多種光源，用于根據(jù)不同成像方式的需要提供相適應(yīng)的成像光源；

多元成像單元，包括多種成像模塊，用于以多種成像方式為識(shí)別認(rèn)證提供目標(biāo)對(duì)象的相應(yīng)的生物特征圖像；

協(xié)處理器單元，用于對(duì)多元成像單元形成的圖像進(jìn)行預(yù)處理，對(duì)預(yù)處理后圖像按預(yù)設(shè)規(guī)則進(jìn)行圖像質(zhì)量評(píng)價(jià)；或?qū)Ψ弦蟮膱D像與移動(dòng)終端采集的生物特征圖像進(jìn)行圖像融合、特征提取與編碼、識(shí)別；

傳輸單元，用于負(fù)責(zé)多模態(tài)生物特征識(shí)別模組與移動(dòng)終端的連接與數(shù)據(jù)交互，通過(guò)所述移動(dòng)終端為所述模組供電；或是將所述模組的數(shù)據(jù)傳輸至遠(yuǎn)端服務(wù)器；由所述移動(dòng)終端或遠(yuǎn)端服務(wù)器對(duì)符合要求的圖像與移動(dòng)終端采集的生物特征圖像進(jìn)行圖像融合、特征提取與編碼、識(shí)別；

機(jī)械單元，用于實(shí)現(xiàn)所述模組與移動(dòng)終端連接并可使所述模組在移動(dòng)終端上進(jìn)行不同位置切換，以及所述模組的單元模塊的連接；

邏輯控制單元，負(fù)責(zé)對(duì)所述混合光源單元、多元成像單元、協(xié)處理器單元、傳輸單元以及機(jī)械單元的控制調(diào)度，當(dāng)所述協(xié)處理器單元的圖像質(zhì)量評(píng)論不符合要求時(shí)，控制所述混合光源單元和\或多元成像單元調(diào)節(jié)參數(shù),或通過(guò)所述移動(dòng)終端發(fā)出配合指令后重新采集生物特征圖像。

所述混合光源單元包括有用于進(jìn)行深度成像的脈沖光、調(diào)制光、結(jié)構(gòu)光、半導(dǎo)體激光的一種或幾種，以及用于進(jìn)行高分辨成像的多光譜光源。

所述多光譜光源發(fā)射可見(jiàn)光和近紅外光，波長(zhǎng)范圍為400-900nm。

所述多元成像單元的成像方式包括光場(chǎng)成像、深度成像、高分辨成像的一種或幾種。

所述光場(chǎng)成像為采用微透鏡陣列形式的光場(chǎng)成像；所述深度成像為TOF成像、結(jié)構(gòu)光成像、立體視覺(jué)成像、激光掃描成像的任一種；所述高分辨成像為采用濾光片形式的多光譜成像，其中，所述濾光片位于傳感器前端可采用陣列形式或轉(zhuǎn)輪形式進(jìn)行切換。

所述協(xié)處理器單元的處理器可采用FPGA、ARM、DSP或RISC的一種或幾種。

所述機(jī)械單元包括所述模組與移動(dòng)終端的安裝連接切換裝置以及所述模組的所述混合光源單元、多元成像單元、協(xié)處理器單元、傳輸單元間的機(jī)械組合連接裝置。

所述模組采用藍(lán)牙、wifi、u盤模式、無(wú)線usb的一種或幾種與所述移動(dòng)終端進(jìn)行數(shù)據(jù)交互。

所述移動(dòng)終端包括智能手機(jī)、平板電腦、智能手表、智能眼鏡、車載系統(tǒng)中的一種；所述多模態(tài)生物特征包括虹膜、人臉、掌紋、指紋、掌靜脈、心跳的一種或幾種。

本發(fā)明的目的還在于提供一種用于移動(dòng)終端的多模態(tài)生物特征識(shí)別方法，包括以下步驟：

步驟1、邏輯控制單元控制混合光源單元發(fā)射成像所需光源；

步驟2、多元成像單元對(duì)目標(biāo)對(duì)象的多模態(tài)生物特征進(jìn)行圖像采集；

步驟3、協(xié)處理器單元對(duì)采集的圖像預(yù)處理，對(duì)預(yù)處理后圖像按預(yù)設(shè)規(guī)則進(jìn)行圖像質(zhì)量評(píng)介，判斷圖像質(zhì)量是否滿足要求，是則進(jìn)行下一步操作，否則通過(guò)邏輯控制單元對(duì)光源和成像單元調(diào)節(jié)，或控制移動(dòng)終端發(fā)出配合指令信號(hào)，返回步驟1；

步驟4、選擇由協(xié)處理器單元將質(zhì)量滿足要求的圖像與移動(dòng)終端獲取的圖像進(jìn)行多源圖像融合、特征提取與編碼、識(shí)別；或選擇通過(guò)傳輸單元發(fā)送給移動(dòng)終端或遠(yuǎn)端服務(wù)器，在移動(dòng)終端平臺(tái)上或遠(yuǎn)端服務(wù)器上將該質(zhì)量滿足要求的圖像與移動(dòng)終端獲取的圖像進(jìn)行多源圖像融合、特征提取與編碼、識(shí)別；

步驟5、識(shí)別結(jié)果在移動(dòng)終端上進(jìn)行顯示，完成識(shí)別過(guò)程。

本發(fā)明多模態(tài)生物特征識(shí)別模組可以直接外置于多種移動(dòng)終端上，并利用多模態(tài)生物特征在身份認(rèn)證上更安全魯棒的優(yōu)勢(shì)，滿足移動(dòng)終端上的身份認(rèn)證需求，對(duì)促進(jìn)更為便捷、智能、可靠的移動(dòng)終端身份認(rèn)證應(yīng)用推廣具有重要的現(xiàn)實(shí)意義。

附圖說(shuō)明

圖1所示為本發(fā)明實(shí)施例提供的用于移動(dòng)終端的多模態(tài)生物特征識(shí)別模組的結(jié)構(gòu)示意圖；

圖2所示為本發(fā)明實(shí)施例提供的用于移動(dòng)終端的多模態(tài)生物特征識(shí)別模組的識(shí)別方法的流程圖。

具體實(shí)施方式

下面，結(jié)合實(shí)例對(duì)本發(fā)明實(shí)質(zhì)性特點(diǎn)和優(yōu)勢(shì)作進(jìn)一步的說(shuō)明，但本發(fā)明并不局限于所列的實(shí)施例。

請(qǐng)參閱圖1所示，一種用于移動(dòng)終端的多模態(tài)生物特征識(shí)別模組，包括：

混合光源單元，包括成像所需的多種光源，用于根據(jù)不同成像方式的需要提供相適應(yīng)的成像光源；

多元成像單元，包括多種成像模塊，用于以多種成像方式為識(shí)別認(rèn)證提供目標(biāo)對(duì)象的相應(yīng)的生物特征圖像；

協(xié)處理器單元，用于對(duì)多元成像單元形成的圖像進(jìn)行預(yù)處理，對(duì)預(yù)處理后圖像按預(yù)設(shè)規(guī)則進(jìn)行圖像質(zhì)量評(píng)價(jià)；或?qū)Ψ弦蟮膱D像與移動(dòng)終端采集的生物特征圖像進(jìn)行圖像融合、特征提取與編碼、識(shí)別；

傳輸單元，用于負(fù)責(zé)多模態(tài)生物特征識(shí)別模組與移動(dòng)終端的連接與數(shù)據(jù)交互，通過(guò)所述移動(dòng)終端為所述模組供電；或是將所述模組的數(shù)據(jù)傳輸至遠(yuǎn)端服務(wù)器；由所述移動(dòng)終端或遠(yuǎn)端服務(wù)器對(duì)符合要求的圖像與移動(dòng)終端采集的生物特征圖像進(jìn)行圖像融合、特征提取與編碼、識(shí)別；

機(jī)械單元，用于實(shí)現(xiàn)所述模組與移動(dòng)終端連接并可使所述模組在移動(dòng)終端上進(jìn)行不同位置切換，以及所述模組的單元模塊的連接；

邏輯控制單元，負(fù)責(zé)對(duì)所述混合光源單元、多元成像單元、協(xié)處理器單元、傳輸單元以及機(jī)械單元的控制調(diào)度，當(dāng)所述協(xié)處理器單元的圖像質(zhì)量評(píng)論不符合要求時(shí)，控制所述混合光源單元和\或多元成像單元調(diào)節(jié)參數(shù),或通過(guò)所述移動(dòng)終端發(fā)出配合指令后重新采集生物特征圖像。

需要說(shuō)明的是，本發(fā)明傳輸單元既可以將該模組采集的源圖像或處理后的圖像發(fā)送給移動(dòng)終端，也可以將移動(dòng)終端采集到的數(shù)據(jù)發(fā)送給模組，實(shí)現(xiàn)移動(dòng)終端與模組之間數(shù)據(jù)的傳輸，從而在移動(dòng)終端上或模組上實(shí)現(xiàn)對(duì)移動(dòng)終端采集的圖像與模組采集的圖像進(jìn)行整合處理識(shí)別，從而完成識(shí)別過(guò)程，如果識(shí)別通過(guò)，移動(dòng)終端會(huì)在屏幕上顯示識(shí)別通過(guò)的結(jié)果，比如可以打開移動(dòng)終端，或者打開移動(dòng)終端某一應(yīng)用等；否則，識(shí)別不通過(guò)，不能繼續(xù)在移動(dòng)終端上進(jìn)行其它操作。

所述移動(dòng)終端采集的生物特征圖像可以由移動(dòng)終端自帶的攝像模塊對(duì)目標(biāo)對(duì)象的圖像進(jìn)行采集，并與模組采集的對(duì)應(yīng)的圖像進(jìn)行融合處理，以實(shí)現(xiàn)認(rèn)證識(shí)別的有效性，解決了單一圖像認(rèn)識(shí)的缺陷，保證了識(shí)別認(rèn)證的準(zhǔn)確性，同時(shí)通過(guò)選擇多種生物模態(tài)方式，即通過(guò)多種途徑完成識(shí)別，為用戶使用提供了多種認(rèn)證識(shí)別方式，增強(qiáng)了用戶的使用體驗(yàn)。

本發(fā)明中，所述邏輯控制單元通過(guò)移動(dòng)終端發(fā)出配合指令信號(hào)是指向移動(dòng)終端發(fā)出控制指令，通過(guò)移動(dòng)終端的顯示屏或者麥克風(fēng)發(fā)出文字或語(yǔ)音提示，讓用戶調(diào)整姿態(tài)。

本發(fā)明中，所述混合光源單元和\或多元成像單元調(diào)節(jié)參數(shù)是指調(diào)整混 合光源單元的光源的強(qiáng)度等參數(shù)，多元成像單元的分辨率、曝光系數(shù)、白平衡等成像參數(shù)。

為多種成像方式需要提供相應(yīng)的所需要的光源，所述混合光源單元包括有用于進(jìn)行深度成像的脈沖光、調(diào)制光、結(jié)構(gòu)光、半導(dǎo)體激光的一種或幾種，以及用于進(jìn)行高分辨成像的多光譜光源等多種光源，具體使用時(shí)，可以根據(jù)成像方式的不同選擇相應(yīng)的光源開啟為成像提供適應(yīng)的光源。

具體實(shí)現(xiàn)上，所述多光譜光源可以是發(fā)射可見(jiàn)光和近紅外光，它們的波長(zhǎng)范圍可以為400-900nm，或者其它范圍。

為了實(shí)現(xiàn)模組的多種成像，提升模組的廣泛適用性，其中，所述多元成像單元的成像方式包括光場(chǎng)成像、深度成像、高分辨成像的一種或幾種，并可以實(shí)現(xiàn)三維成像。具體在使用時(shí)，如果所需驗(yàn)證識(shí)別的生物特征為某一種模態(tài)，則根據(jù)該模態(tài)性質(zhì)選擇某一種或幾種成像方式(如光場(chǎng)成像、深度成像、高分辨成像)；如果所需驗(yàn)證識(shí)別的生物特征為某幾種模態(tài)，則根據(jù)這幾種模態(tài)的性質(zhì)分別選擇合適的一種或幾種成像方式進(jìn)行成像，從而實(shí)現(xiàn)模組的多種成像。對(duì)應(yīng)的在光源開啟上，如果進(jìn)行深度成像，就開啟深度成像光源；多光譜成像，就根據(jù)成像目標(biāo)開啟所需波段的多光譜光源；目標(biāo)一般都在光源正前方，而且距離較近，可以保證照在目標(biāo)對(duì)象上。

具體實(shí)現(xiàn)上，所述光場(chǎng)成像可以是采用微透鏡陣列形式的光場(chǎng)成像；所述深度成像可以為TOF成像、結(jié)構(gòu)光成像、立體視覺(jué)成像、激光掃描成像的任一種；所述高分辨成像可以采用濾光片形式的多光譜成像，其中，所述濾光片位于傳感器前端可采用陣列形式或轉(zhuǎn)輪形式進(jìn)行切換。

具體實(shí)現(xiàn)上，所述協(xié)處理器單元的處理器可采用FPGA、ARM、DSP或RISC的一種或幾種。

其中，所述機(jī)械單元包括所述模組與移動(dòng)終端的安裝連接切換裝置以及所述模組的所述混合光源單元、多元成像單元、協(xié)處理器單元、傳輸單元間的機(jī)械組合連接裝置，通過(guò)安裝連接切換裝置如支架，可以實(shí)現(xiàn)模組與移動(dòng)終端之間的位置、方位或角度的切換調(diào)節(jié)，保證圖像采集的調(diào)節(jié)需要，其中所述混合光源單元、多元成像單元、協(xié)處理器單元、傳輸單元通過(guò)機(jī)械組合連接裝置在一起形成模組整體。

需要說(shuō)明的是，所述模組可以采用藍(lán)牙、wifi、u盤模式、無(wú)線usb的一種或幾種與所述移動(dòng)終端進(jìn)行數(shù)據(jù)交互，也可以采用其它方式與移動(dòng)終端進(jìn)行數(shù)據(jù)交互，如NFC、紅外傳送等無(wú)線傳輸技術(shù)或有線傳輸數(shù)據(jù)。

需要說(shuō)明的是，本發(fā)明中，所述移動(dòng)終端可以是智能手機(jī)、平板電腦、智能手表、智能眼鏡、車載系統(tǒng)中的一種；所述多模態(tài)生物特征包括虹膜、人臉、掌紋、指紋、掌靜脈、心跳的一種或幾種，具體不限。

需要說(shuō)明的是，本發(fā)明多模態(tài)生物特征識(shí)別模組可以直接外置于多種移動(dòng)終端上使用，與移動(dòng)終端連接，通過(guò)模組本身或移動(dòng)終端，或通過(guò)無(wú)端服務(wù)器三種方式擇一進(jìn)行采集圖像的識(shí)別處理，利用多模態(tài)生物特征在身份認(rèn)證上更安全魯棒的優(yōu)勢(shì)，滿足移動(dòng)終端上的身份認(rèn)證需求。

請(qǐng)參閱圖2所示，本發(fā)明還于提供一種用于移動(dòng)終端的多模態(tài)生物特征識(shí)別方法，采用前述的用于移動(dòng)終端的多模態(tài)生物特征識(shí)別模組實(shí)現(xiàn)，具體實(shí)現(xiàn)上包括以下步驟：

步驟1、邏輯控制單元控制混合光源單元發(fā)射成像所需光源；

步驟2、多元成像單元對(duì)目標(biāo)對(duì)象的多模態(tài)生物特征進(jìn)行圖像采集；

步驟3、協(xié)處理器單元對(duì)采集的圖像預(yù)處理，對(duì)預(yù)處理后圖像按預(yù)設(shè)規(guī)則進(jìn)行圖像質(zhì)量評(píng)介，判斷圖像質(zhì)量是否滿足要求，是則進(jìn)行下一步操作，否則通過(guò)邏輯控制單元對(duì)光源和成像單元調(diào)節(jié)，或控制移動(dòng)終端發(fā)出配合指令信號(hào)，返回步驟1；

步驟4、選擇由協(xié)處理器單元將質(zhì)量滿足要求的圖像與移動(dòng)終端獲取的圖像進(jìn)行多源圖像融合、特征提取與編碼、識(shí)別；或選擇通過(guò)傳輸單元發(fā)送給移動(dòng)終端或遠(yuǎn)端服務(wù)器，在移動(dòng)終端平臺(tái)上或遠(yuǎn)端服務(wù)器上將該質(zhì)量滿足要求的圖像與移動(dòng)終端獲取的圖像進(jìn)行多源圖像融合、特征提取與編碼、識(shí)別；

步驟5、識(shí)別結(jié)果在移動(dòng)終端上進(jìn)行顯示，完成識(shí)別過(guò)程。

可以看出，本發(fā)明多模態(tài)生物特征識(shí)別模組通過(guò)直接外置于相應(yīng)的移動(dòng)終端上，與移動(dòng)終端連接，通過(guò)模組本身或移動(dòng)終端，或通過(guò)無(wú)端服務(wù)器三種方式擇一進(jìn)行采集圖像的識(shí)別處理，并利用多模態(tài)生物特征在身份認(rèn)證上更安全魯棒的優(yōu)勢(shì)，滿足移動(dòng)終端上的身份認(rèn)證需求，解決了現(xiàn)有認(rèn)識(shí)方式 單一，無(wú)法滿足多模態(tài)生物特征識(shí)別的要求，無(wú)法滿足用戶的使用要求的問(wèn)題，對(duì)促進(jìn)更為便捷、智能、可靠的移動(dòng)終端身份認(rèn)證應(yīng)用推廣具有重要的現(xiàn)實(shí)意義。

盡管這里參照本發(fā)明多個(gè)解釋性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是，應(yīng)該理解，本領(lǐng)域技術(shù)人員可以設(shè)計(jì)出很多其他的修改和實(shí)施方式，這些修改和實(shí)施方式將落在本申請(qǐng)公開的原則范圍和精神之內(nèi)。

更具體地說(shuō)，在本申請(qǐng)公開、附圖和權(quán)利要求的范圍內(nèi)，可以對(duì)主題組合布局的組成部件和/或布局進(jìn)行多種變型和改進(jìn)。除了對(duì)組成部件和/或布局進(jìn)行的變型和改進(jìn)外，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，其他的用途也將是明顯的。