本發(fā)明屬于智能識(shí)別技術(shù)領(lǐng)域，具體涉及一種用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)及方法。

背景技術(shù)：

現(xiàn)有生物特征識(shí)別系統(tǒng)已經(jīng)成熟，在識(shí)別結(jié)果上表現(xiàn)也較為滿意。但隨著現(xiàn)代社會(huì)對(duì)更為便利和安全的用戶身份認(rèn)證技術(shù)的緊迫需要，現(xiàn)有的生物特征識(shí)別產(chǎn)品尚存在一些不足，例如生物模態(tài)較為單一、圖像種類(lèi)單一、人機(jī)交互性不足、設(shè)備移動(dòng)性和擴(kuò)展性不足等。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于解決上述的技術(shù)問(wèn)題而提供一種用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)及方法，可以應(yīng)用于現(xiàn)有移動(dòng)設(shè)備上，與移動(dòng)設(shè)備協(xié)同工作或者單獨(dú)工作。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)，包括：

主動(dòng)光源模塊，包含多個(gè)主動(dòng)光源，用于根據(jù)中央控制模塊的指令打開(kāi)相應(yīng)主動(dòng)光源為圖像采集提供所需要的光；

圖像采集模塊，包含多個(gè)成像單元，用于根據(jù)所述中央控制模塊的指令控制相應(yīng)成像單元采集目標(biāo)對(duì)象的多模態(tài)生物特征圖像；

數(shù)據(jù)處理模塊，用于對(duì)圖像采集模塊采集的多模態(tài)生物特征圖像進(jìn)行穩(wěn)像、多源圖像融合處理，對(duì)形成的圖像質(zhì)量評(píng)價(jià)，然后將評(píng)價(jià)處理結(jié)果反饋至所述中央控制模塊；

所述中央控制模塊，與所述主動(dòng)光源模塊、圖像采集模塊連接，用于控制所述圖像采集模塊通過(guò)傳輸模塊將待識(shí)別圖像傳送到所述數(shù)據(jù)處理模塊，接收所述數(shù)據(jù)處理模塊的評(píng)價(jià)反饋信息，當(dāng)所述數(shù)據(jù)處理模塊的評(píng)價(jià)反饋信 息為圖像不合格時(shí)，對(duì)光源參數(shù)、成像參數(shù)或移動(dòng)平臺(tái)調(diào)節(jié)，或通過(guò)人機(jī)交互模塊與目標(biāo)對(duì)象交互，提示目標(biāo)對(duì)象作相應(yīng)動(dòng)作配合圖像采集，然后重新采集目標(biāo)對(duì)象的多模態(tài)生物特征圖像，直至形成合格的待識(shí)別圖像；當(dāng)所述數(shù)據(jù)處理模塊的評(píng)價(jià)反饋信息為圖像合格時(shí)，控制將所述數(shù)據(jù)處理模塊處理形成的合格的待識(shí)別圖像通過(guò)所述傳輸模塊傳送至數(shù)據(jù)計(jì)算模塊識(shí)別；

所述數(shù)據(jù)計(jì)算模塊，用于自所述數(shù)據(jù)處理模塊接收合格的待識(shí)別圖像，對(duì)待識(shí)別圖像的多模態(tài)生物特征進(jìn)行特征提取、編碼、匹配及識(shí)別，將識(shí)別處理結(jié)果信息通過(guò)所述傳輸模塊反饋至所述中央控制模塊，由所述人機(jī)交互模塊輸出識(shí)別結(jié)果。

所述數(shù)據(jù)處理模塊和\或數(shù)據(jù)計(jì)算模塊設(shè)置于云端服務(wù)器或設(shè)置于本地，所述中央控制模塊、主動(dòng)光源模塊、圖像采集模塊、人機(jī)交互模塊設(shè)置于本地。

所述數(shù)據(jù)計(jì)算模塊包括設(shè)置在云端的帶計(jì)算功能的存儲(chǔ)服務(wù)器，或者遠(yuǎn)程的模板或特征數(shù)據(jù)庫(kù)。

所述用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)還包括有：

存儲(chǔ)模塊，用于對(duì)所述圖像采集模塊和數(shù)據(jù)處理模塊的數(shù)據(jù)進(jìn)行存儲(chǔ)，配合實(shí)現(xiàn)所述傳輸模塊與中央控制模塊的功能；

供電模塊，用于為所述主動(dòng)光源模塊、圖像采集模塊、中央控制模塊、人機(jī)交互模塊以及傳輸模塊，或?yàn)樵O(shè)在本地的數(shù)據(jù)處理模塊、數(shù)據(jù)計(jì)算模塊提提供工作電壓。

所述存儲(chǔ)模塊包括本地的存儲(chǔ)芯片、SD/CF卡、SAN、云存儲(chǔ)服務(wù)器的一種或幾種。

所述人機(jī)交互模塊通過(guò)語(yǔ)音、圖像、視頻、信號(hào)燈、投影、三維顯示、激光顯示中一種或幾種方式實(shí)現(xiàn)與用戶的交流互動(dòng)。

所述光源包含近紅外光源、可見(jiàn)光源、深度成像所需要的照明光、結(jié)構(gòu)光、脈沖光、半導(dǎo)體激光。

所述圖像采集模塊包括高分辨成像單元、深度成像單元、高動(dòng)態(tài)成像單元、光場(chǎng)成像單元；所述高分辨成像單元包括可見(jiàn)光成像單元和近紅外成像單元；深度成像單元包括為激光掃描深度成像單元、結(jié)構(gòu)光深度成像單元、 TOF深度成像單元、光場(chǎng)深度成像單元。

所述圖像采集模塊通過(guò)感興趣區(qū)域硬件挖窗形式實(shí)現(xiàn)將圖像傳輸至所述數(shù)據(jù)處理模塊。

本發(fā)明的目的還在于提供一種用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別方法，采用所述用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)進(jìn)行多模態(tài)生物特征識(shí)別，包括以下步驟：

1)中央控制模塊控制主動(dòng)光源模塊發(fā)射圖像采集所需要的光；

2)中央控制模塊控制圖像采集模塊采集目標(biāo)對(duì)象的多模態(tài)生物特征圖像；

3)中央控制模塊控制圖像采集模塊將采集的多模態(tài)生物特征圖像通過(guò)傳輸模塊傳送到數(shù)據(jù)處理模塊，由數(shù)據(jù)處理模塊進(jìn)行穩(wěn)像處理、多源圖像融合，對(duì)形成的圖像質(zhì)量評(píng)價(jià)，并將評(píng)價(jià)處理結(jié)果發(fā)送給所述中央控制模塊；

4)所述中央控制模塊根據(jù)步驟3)的質(zhì)量評(píng)價(jià)處理結(jié)果判斷圖像是否合格，是則通過(guò)傳輸模塊將多模態(tài)生物特征圖像發(fā)送給數(shù)據(jù)計(jì)算模塊；否則調(diào)整主動(dòng)光源模塊或圖像采集模塊的參數(shù)或調(diào)節(jié)移動(dòng)平臺(tái)，或通過(guò)人機(jī)交互模塊對(duì)目標(biāo)對(duì)象做出提示配合圖像采集，之后返回步驟1)開(kāi)始新一輪圖像采集過(guò)程；

5)數(shù)據(jù)計(jì)算模塊接收自所述數(shù)據(jù)處理模塊傳送來(lái)的多模態(tài)生物特征圖像并識(shí)別，并將識(shí)別處理結(jié)果通過(guò)所述傳輸模塊反饋給所述中央控制模塊，所述中央控制模塊根據(jù)識(shí)別結(jié)果控制人機(jī)交互模塊進(jìn)行識(shí)別結(jié)果顯示。

本發(fā)明通過(guò)多種成像模式組合完成多種模態(tài)生物特征識(shí)別，可適應(yīng)更為嚴(yán)格的身份認(rèn)證需求，并且通過(guò)與移動(dòng)平臺(tái)集成，更擴(kuò)展了系統(tǒng)的應(yīng)用范圍，提高了系統(tǒng)應(yīng)用的便捷性。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例提供的用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)原理示意圖；

圖2為本發(fā)明實(shí)施例提供的圖像成像單元的示意圖；

圖3為本發(fā)明實(shí)施例提供的一種用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系 統(tǒng)的識(shí)別方法的流程圖。

具體實(shí)施方式

下面，結(jié)合實(shí)例對(duì)本發(fā)明的實(shí)質(zhì)性特點(diǎn)和優(yōu)勢(shì)作進(jìn)一步的說(shuō)明，但本發(fā)明并不局限于所列的實(shí)施例。

參見(jiàn)圖1所示，一種用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)，包括：

主動(dòng)光源模塊，包含多個(gè)主動(dòng)光源，用于根據(jù)中央控制模塊的指令打開(kāi)相應(yīng)主動(dòng)光源為圖像采集提供所需要的光；

圖像采集模塊，包含多個(gè)成像單元，用于根據(jù)所述中央控制模塊的指令控制相應(yīng)成像單元采集目標(biāo)對(duì)象的多模態(tài)生物特征圖像；

數(shù)據(jù)處理模塊，用于對(duì)圖像采集模塊采集的多模態(tài)生物特征圖像進(jìn)行穩(wěn)像、多源圖像融合處理，對(duì)形成的圖像質(zhì)量評(píng)價(jià)，然后將評(píng)價(jià)處理結(jié)果反饋至所述中央控制模塊；

所述中央控制模塊，與所述主動(dòng)光源模塊、圖像采集模塊連接，用于控制所述圖像采集模塊通過(guò)傳輸模塊將待識(shí)別圖像傳送到所述數(shù)據(jù)處理模塊，接收所述數(shù)據(jù)處理模塊的評(píng)價(jià)反饋信息，當(dāng)所述數(shù)據(jù)處理模塊的評(píng)價(jià)反饋信息為圖像不合格時(shí)，對(duì)光源參數(shù)、成像參數(shù)或移動(dòng)平臺(tái)調(diào)節(jié)，或通過(guò)人機(jī)交互模塊與目標(biāo)對(duì)象交互，提示目標(biāo)對(duì)象作相應(yīng)動(dòng)作配合圖像采集，然后重新采集目標(biāo)對(duì)象的多模態(tài)生物特征圖像，直至形成合格的待識(shí)別圖像；當(dāng)所述數(shù)據(jù)處理模塊的評(píng)價(jià)反饋信息為圖像合格時(shí)，控制將所述數(shù)據(jù)處理模塊處理形成的合格的待識(shí)別圖像通過(guò)所述傳輸模塊傳送至數(shù)據(jù)計(jì)算模塊識(shí)別；

所述數(shù)據(jù)計(jì)算模塊，用于自所述數(shù)據(jù)處理模塊接收合格的待識(shí)別圖像，對(duì)待識(shí)別圖像的多模態(tài)生物特征進(jìn)行特征提取、編碼、匹配及識(shí)別，將識(shí)別處理結(jié)果信息通過(guò)所述傳輸模塊反饋至所述中央控制模塊，由所述人機(jī)交互模塊輸出識(shí)別結(jié)果。

需要說(shuō)明的是，本發(fā)明實(shí)施例中，所述數(shù)據(jù)處理模塊與數(shù)據(jù)計(jì)算模塊設(shè)置于云端服務(wù)器，所述中央控制模塊、主動(dòng)光源模塊、圖像采集模塊、人機(jī)交互模塊設(shè)置于本地。所述中央控制模塊控制圖像采集模塊采集圖像通過(guò)所述傳輸模塊，如網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)處理模塊處理，數(shù)據(jù)處理模塊處理完成后， 如圖像合格則直接傳輸?shù)綌?shù)據(jù)計(jì)算模塊進(jìn)行識(shí)別處理，如果數(shù)據(jù)處理模塊處理完成后圖像不合格，不符合要求，則反饋至中央控制模塊，由中央控制模塊生成反饋控制信號(hào)傳輸?shù)街鲃?dòng)光源模塊、圖像采集模塊，控制光源模塊調(diào)節(jié)光源參數(shù)或圖像采集模塊的圖像采集參數(shù)，或通過(guò)人機(jī)交互模塊與目標(biāo)對(duì)象，如用戶進(jìn)行人機(jī)交互，提示用戶調(diào)整所在位置等，配合圖像采集，或是控制對(duì)移動(dòng)平臺(tái)進(jìn)行相應(yīng)調(diào)節(jié)，以實(shí)現(xiàn)最終采集到符合要求的圖像，以上幾種調(diào)節(jié)方式根據(jù)數(shù)據(jù)處理模塊的反饋結(jié)果的具體情況，決定采用一種或幾種方式來(lái)調(diào)節(jié)。

所述數(shù)據(jù)處理模塊在接收至圖像采集模塊發(fā)送來(lái)的圖像時(shí)，可以通過(guò)多種圖像處理方式對(duì)圖像進(jìn)行處理，如深度成像、三維成像、多源圖像融合、移動(dòng)平臺(tái)下的穩(wěn)像方法，具體不同的圖像對(duì)象選擇適用不同的處理方式，以并對(duì)圖像質(zhì)量評(píng)價(jià)，并將處理結(jié)果傳輸給中央控制模塊，由所述中央控制模塊決定是否傳送到圖像計(jì)算模塊識(shí)別，或調(diào)節(jié)光源模塊、圖像采集模塊或移動(dòng)平臺(tái)或?qū)δ繕?biāo)對(duì)象通過(guò)人機(jī)交互模塊提示后進(jìn)行圖像的重新采集再處理。

需要說(shuō)明的是，本發(fā)明中，所述生物特征可以是人體虹膜、人臉、掌紋、指紋等多模態(tài)生物特征，在具體對(duì)這些生物特征進(jìn)行圖像采集時(shí)，可以是利用相應(yīng)的多個(gè)成像單元的一種或幾種組合來(lái)進(jìn)行多模態(tài)生物特征圖像的采集，并根據(jù)不同模態(tài)特征圖像的采集需要，控制相應(yīng)的主動(dòng)光源模塊的主動(dòng)光源提供相應(yīng)的圖像采集所需要的光或光照。

本發(fā)明實(shí)施例中，所述數(shù)據(jù)處理模塊與數(shù)據(jù)計(jì)算模塊可以是設(shè)置于云端服務(wù)器，數(shù)據(jù)處理模塊與數(shù)據(jù)計(jì)算模塊的處理過(guò)程在云端服務(wù)器進(jìn)行，所述中央控制模塊、主動(dòng)光源模塊、圖像采集模塊、人機(jī)交互模塊設(shè)置于本地，它們之間通過(guò)相應(yīng)的傳輸模塊實(shí)現(xiàn)數(shù)據(jù)或信號(hào)的傳輸。另外，本發(fā)明中，所述數(shù)據(jù)處理模塊與數(shù)據(jù)計(jì)算模塊也可以是與所述中央控制模塊、主動(dòng)光源模塊、圖像采集模塊、人機(jī)交互模塊一樣全部設(shè)置于本地，所有識(shí)別過(guò)程全部在本地完成，還可以是所述數(shù)據(jù)處理模塊與所述中央控制模塊、主動(dòng)光源模塊、圖像采集模塊、人機(jī)交互模塊一樣全部設(shè)置于本地，只有所述數(shù)據(jù)計(jì)算模塊可以是云端服務(wù)器進(jìn)行識(shí)別處理，具體架構(gòu)不限。

所述傳輸模塊負(fù)責(zé)系統(tǒng)中各模塊單元間的數(shù)據(jù)傳輸以及與云端等遠(yuǎn)程 服務(wù)器進(jìn)行數(shù)據(jù)通信和網(wǎng)絡(luò)傳輸，實(shí)現(xiàn)系統(tǒng)內(nèi)各模塊間的數(shù)據(jù)或信號(hào)或指令的傳送，保證系統(tǒng)內(nèi)各模塊間通信暢通。

具體實(shí)現(xiàn)上，所述數(shù)據(jù)計(jì)算模塊包括設(shè)置在云端的帶計(jì)算功能的存儲(chǔ)服務(wù)器，或者遠(yuǎn)程的模板或特征數(shù)據(jù)庫(kù)。

進(jìn)一步的，本發(fā)明中，所述用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)還包括有：

存儲(chǔ)模塊，用于對(duì)所述圖像采集模塊和數(shù)據(jù)處理模塊的數(shù)據(jù)進(jìn)行存儲(chǔ)，配合實(shí)現(xiàn)所述傳輸模塊與中央控制模塊的功能；

供電模塊，用于為系統(tǒng)內(nèi)各模塊供電，包括為所述主動(dòng)光源模塊、圖像采集模塊、中央控制模塊、人機(jī)交互模塊以及傳輸模塊，或設(shè)置于本地的數(shù)據(jù)處理模塊、數(shù)據(jù)計(jì)算模塊提供工作電壓。

具體的，所述存儲(chǔ)模塊可以是包括本地的存儲(chǔ)芯片、SD/CF卡、SAN、云存儲(chǔ)服務(wù)器的一種或幾種。

為了實(shí)現(xiàn)更加全面的人機(jī)交互，本發(fā)明中，所述人機(jī)交互模塊可以是通過(guò)語(yǔ)音、圖像、視頻、信號(hào)燈、投影、三維顯示、激光顯示中一種或幾種方式實(shí)現(xiàn)與用戶的交流互動(dòng)，例如通過(guò)語(yǔ)音提示用戶調(diào)整姿態(tài)，通過(guò)圖像顯示識(shí)別結(jié)果提示用戶進(jìn)行動(dòng)作等等。

為了實(shí)現(xiàn)對(duì)不同模態(tài)生物特征圖像的采集，本發(fā)明中所述光源可以是包含近紅外光源、可見(jiàn)光源、深度成像所需要的照明光、結(jié)構(gòu)光、脈沖光、半導(dǎo)體激光等多種分別適應(yīng)用于不同模態(tài)生物特征圖像的采集所要的光源，這樣以可以根據(jù)采集不同的模態(tài)生物特征圖像選擇相應(yīng)的光源進(jìn)行光照。

參見(jiàn)圖2所示，其中，所述圖像采集模塊可以包括高分辨成像單元、深度成像單元、高動(dòng)態(tài)成像單元、光場(chǎng)成像單元；所述高分辨成像單元進(jìn)一步的可以包括可見(jiàn)光成像單元和近紅外成像單元；所述深度成像單元包括可以為激光掃描深度成像單元、結(jié)構(gòu)光深度成像單元、TOF深度成像單元、光場(chǎng)深度成像單元。

本發(fā)明通過(guò)圖像采集模塊包括多種成像單元，可以提供多種不同的成像方式，實(shí)現(xiàn)對(duì)不同模態(tài)生物特征均可進(jìn)行圖像的采集并識(shí)別處理，擴(kuò)展了系統(tǒng)的使用范圍，提高了系統(tǒng)的廣泛適用性能。

進(jìn)一步的，為了實(shí)現(xiàn)圖像數(shù)據(jù)的高速傳輸，本發(fā)明中，所述圖像采集模塊可以選擇通過(guò)感興趣區(qū)域硬件挖窗形式實(shí)現(xiàn)將采集的圖像傳輸至所述數(shù)據(jù)處理模塊進(jìn)行處理，這樣大大提高了圖像傳輸速度，提高了傳輸效率。

需要說(shuō)明的是，本發(fā)明系統(tǒng)中可用于手機(jī)、平板電腦、車(chē)載系統(tǒng)、運(yùn)動(dòng)裝備、穿戴設(shè)備、機(jī)器人等移動(dòng)平臺(tái)中的任意一種。

本發(fā)明的目的還在于提供一種用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別方法，采用所述用于移動(dòng)平臺(tái)的多模態(tài)生物特征識(shí)別系統(tǒng)進(jìn)行多模態(tài)生物特征識(shí)別，包括以下步驟：

1)中央控制模塊控制主動(dòng)光源模塊發(fā)射圖像采集所需要的光；

2)中央控制模塊控制圖像采集模塊采集目標(biāo)對(duì)象的多模態(tài)生物特征圖像；

3)中央控制模塊控制圖像采集模塊將采集的多模態(tài)生物特征圖像通過(guò)傳輸模塊傳送到數(shù)據(jù)處理模塊，由數(shù)據(jù)處理模塊進(jìn)行穩(wěn)像處理、多源圖像融合，對(duì)形成的圖像質(zhì)量評(píng)價(jià)，并將評(píng)價(jià)處理結(jié)果發(fā)送給所述中央控制模塊；

4)所述中央控制模塊根據(jù)步驟3)的質(zhì)量評(píng)價(jià)處理結(jié)果判斷圖像是否合格，是則通過(guò)傳輸模塊將多模態(tài)生物特征圖像發(fā)送給數(shù)據(jù)計(jì)算模塊；否則調(diào)整主動(dòng)光源模塊或圖像采集模塊的參數(shù)或調(diào)節(jié)移動(dòng)平臺(tái)，或通過(guò)人機(jī)交互模塊對(duì)目標(biāo)對(duì)象做出提示配合圖像采集，之后返回步驟1)開(kāi)始新一輪圖像采集過(guò)程；

5)數(shù)據(jù)計(jì)算模塊接收自所述數(shù)據(jù)處理模塊傳送來(lái)的多模態(tài)生物特征圖像并識(shí)別，并將識(shí)別處理結(jié)果通過(guò)所述傳輸模塊反饋給所述中央控制模塊，所述中央控制模塊根據(jù)識(shí)別結(jié)果控制人機(jī)交互模塊進(jìn)行識(shí)別結(jié)果顯示。

從以上分析，可以看出，本發(fā)明通過(guò)多種成像模式組合完成多種模態(tài)生物特征識(shí)別，可適應(yīng)更為嚴(yán)格的身份認(rèn)證需求，并且通過(guò)與移動(dòng)平臺(tái)集成，更擴(kuò)展了系統(tǒng)的應(yīng)用范圍，提高了系統(tǒng)應(yīng)用的便捷性。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。