基于多模態(tài)非接觸身份特征的識別方法
【專利摘要】本發(fā)明公開了一種基于多模態(tài)非接觸身份特征的識別方法，包括如下步驟：對于當前待注冊用戶，獲取其S幅人臉圖像、S幅步態(tài)圖像及N幅人耳圖像；提取S幅人臉圖像、S幅步態(tài)圖像及N幅人耳圖像的特征，得到人臉圖像特征矩陣、步態(tài)圖像特征矩陣及人耳圖像特征矩陣；步驟3、進行圖像特征矩陣融合，得到融合矩陣；實時識別。本發(fā)明提出了一種基于層次結構的人臉、步態(tài)、人耳圖像融合識別方法。本發(fā)明提出的方法對人臉識別、步態(tài)識別和人耳識別進行了有效的融合。
【專利說明】
基于多模態(tài)非接觸身份特征的識別方法
技術領域
[0001] 本發(fā)明設及一種基于層次結構的人臉、步態(tài)和人耳圖像融合的多模態(tài)非接觸個人 身份識別方法，屬于模式識別、數(shù)字圖像處理等領域。
【背景技術】
[0002] 生物特征識別技術是利用人的生理和行為特征進行身份鑒別，單模態(tài)生物特征識 別技術在研究和商業(yè)領域都已經取得了豐富的成果。但是，單模態(tài)的生物特征識別技術無 論是從算法的識別精度和產品的易用程度上，都無法滿足大規(guī)模應用的需求。多模態(tài)的生 物特征融合技術不僅能提高系統(tǒng)的識別精度，而且擴展了系統(tǒng)的應用領域，是當前生物特 征識別技術發(fā)展的一大趨勢。
[0003] 人臉識別、步態(tài)識別和人耳識別是近幾年最具有發(fā)展?jié)摿Φ纳锾卣髯R別技術。 人臉識別W其使用方便、特征點明顯受到廣大研究人員的青睞。但是，由于光照、姿態(tài)、裝飾 等不同因素，使得人臉識別精度難W滿足安全性能的要求。步態(tài)識別在遠距離非接觸式識 別領域有著非常顯著的優(yōu)勢。但是，由于著裝的變化、情緒的波動都會影響所提取的步態(tài)信 息，使步態(tài)識別的精度受到很大限制。人耳識別技術W人耳獨特的生理特征結構W及不受 外界環(huán)境刺激和內屯、活動對生物特征體影響的特點，逐漸受到了同領域研究人員的廣泛關 注。但是，由于人耳信息容易受到光照、遮擋等因素的影響，使得人耳識別技術的識別精度 達不到可靠的條件。目前，國內外人臉、步態(tài)和人耳Ξ者進行融合的方法并不多見，大多數(shù) 多模態(tài)身份識別技術都是將兩種生物特征進行融合，然后進行身份鑒別。融合的方法可W 分為特征級融合和分數(shù)級融合，特征級融合是指將采集到的圖像分別進行特征提取，然后 將提取到的特征融合在一起，作為統(tǒng)一的特征，進行身份鑒別。分數(shù)級融合是指分別利用各 自的識別方法，得到各自的識別結果，然后采用不同的分數(shù)級融合方法進行融合得到最終 的相似度分數(shù)，進行身份鑒別。
[0004] 由于我國人口眾多、人員流動性大，多模態(tài)身份識別系統(tǒng)具有廣闊的應用前景。它 對國±安全、公共安全、金融安全和網絡安全都有重要的意義。但是，現(xiàn)有的生物特征識別 需要用戶的高度配合，給用戶的使用帶來很多不便，在某些應用場景，例如機場通關等，需 要快速及時地對用戶進行識別，繁瑣的用戶配合將嚴重降低系統(tǒng)效率。特別地，某些安全領 域采用被動生物特征識別技術，需要在用戶不知情或者不配合的情況下進行識別。
[0005] 相對于指紋識別、掌紋識別、簽名識別和虹膜識別等，人臉識別和人耳識別是近距 離識別最可靠的技術，步態(tài)識別是遠距離識別最可靠的技術。人臉識別、步態(tài)識別和人耳識 別都屬于非接觸式生物特征識別技術，將運Ξ種生物模態(tài)進行融合具有廣闊的應用前景， 不僅解決了被動生物特征識別難題，也提高了識別的精度和效率。但是，現(xiàn)有的多模態(tài)融合 的方法主要的關注點在于識別算法性能的提高，難W滿足實際應用中復雜場景的實時性要 求。
[0006] 中國專利201310122161.3公開了一種基于人臉均值和方差能量圖的多姿態(tài)人臉 識別方法。所述方法包括:1)檢測人臉區(qū)域對人臉區(qū)域圖像做尺寸歸一化;2)構建狹義人臉 均值能量圖和廣義人臉均值能量圖；3)構建狹義人臉方差能量圖和廣義人臉方差能量圖； 4)將獲得的特征進行融合，獲得最終的特征向量;5)由基于歐氏距離的最近鄰分類器進行 分類識別。運種生物特征識別技術對于大角度姿態(tài)變化的人臉識別具有很大的優(yōu)勢，但是 識別效率有待進一步提高，無法滿足實際應用場景中實時性的要求。
[0007]中國專利200910070174.4公開了一種基于融合特征的步態(tài)信息處理與身份識別 方法。所述方法包括:1)輸入視頻序列，通過目標檢測分割出視頻圖像中人體目標的輪廓信 息；2)將邊界中屯、距、Radon變換同時用于步態(tài)特征參數(shù)提取，再對得到的特征參數(shù)進行相 應的后處理;3)選用支持向量機作為分類器進行分類識別，并對識別效果給予評價。運種方 法可W更為有效的提取反映運動人體行走特征的有效信息，提高識別準確率。
[000引中國專利201510112185.X公開了一種基于人臉特征和掌紋特征融合的身份識別 方法。所述方法包括：1)在一副圖像中采集同一個人的人臉和掌紋，并建庫；2)分別對圖像 中的人臉和掌紋區(qū)域進行檢測、分割，獲取目標區(qū)域;3)通過人臉識別算法和掌紋識別算 法，分別計算認證圖像和數(shù)據(jù)庫中每一幅圖像的人臉特征和掌紋特種的卡方距離;4)采用 多模態(tài)特征融合算法對兩種特征距離進行融合，實現(xiàn)人的身份識別。運種方法對人臉特征 和掌紋特征進行融合，二者信息互為補充，有效提高了身份識別的正確率。
[0009] 綜上所述，現(xiàn)有的生物特征識別技術不能滿足實際系統(tǒng)和應用場景的需求，如何 充分的將人臉識別、步態(tài)識別和人耳識別進行有效的融合W滿足實際應用系統(tǒng)實時性和 識別精度的要求是一個亟待解決的問題。

【發(fā)明內容】

[0010] 本發(fā)明要解決的技術問題是：綜合人臉識別、步態(tài)識別和人耳識別的特點，將人 臉、步態(tài)和人耳融合。
[0011] 為了解決上述技術問題，本發(fā)明的技術方案是提供了一種基于多模態(tài)非接觸身份 特征的識別方法，包括如下步驟：
[0012] 步驟1、對于當前待注冊用戶，獲取其S幅人臉圖像、S幅步態(tài)圖像及N幅人耳圖像；
[0013] 步驟2、提取S幅人臉圖像、S幅步態(tài)圖像及N幅人耳圖像的特征，得到人臉圖像特征 矩陣FmxS、步態(tài)圖像特征矩陣GnXs及人耳圖像特征矩陣曲XN，則有：
[0014]
，式中，每幅人臉圖像有多個特征點，將運 些特征點每兩個連成一條線段后去除冗余線段，得到Μ條有效線段，ys(m)表示第S幅人臉圖 像中歸一化后的第m條有效線段的長度，s = l，2,…，S，m=l，2,…，M;
[0015]
，式中，每幅步態(tài)圖像W其高度分為多級，記 錄每一級的像素點作為向量的元素，去除冗余信息后，得到N維向量，xs(n)表示第S幅步態(tài) 圖像對應的腺隹向量中歸一化后的第η個元素所含的像素數(shù)，η = 1，2，…，N;
[0016]
式中，每幅人耳圖像有多個特征點，運些 特征點的連線去除冗余線段后得到Η條有效線段，Zn化)表示第η幅人耳圖像中歸一化后的 第h條有效線段的長度，h = l，2,…，Η;
[0017]步驟3、將人臉圖像特征矩陣Fmxs、步態(tài)圖像特征矩陣Gnxs及人耳圖像特征矩陣Bhxs 進行融合，得到融合矩陣Amxh，則有:Amxh = Fmxs X GnxsT X Βηχ/，當前待注冊用戶的注冊信息 包含該融合矩陣Αμχη的特征向量及當前待注冊用戶的個人信息，將該注冊信息保存至訓練 數(shù)據(jù)庫，當前待注冊用戶變?yōu)橐炎杂脩簦?br>[0018] 步驟4、重復步驟1至步驟3,直至將所有待注冊用戶的注冊信息均保存至訓練數(shù)據(jù) 庫，即訓練數(shù)據(jù)庫中保存有所有已注冊用戶的注冊信息；
[0019] 步驟5、實時獲取待識別用戶的圖像視頻集，判斷該圖像視頻集是否包含人臉圖 像、步態(tài)圖像及人耳圖像，若是，則分別提取人臉圖像、步態(tài)圖像及人耳圖像的特征后進行 融合，得到融合后的特征向量，將融合后的特征向量與訓練數(shù)據(jù)庫中各已注冊用戶的注冊 信息進行比對，若匹配，則獲得待識別用戶的個人信息。
[0020] 優(yōu)選地，所述人臉圖像特征矩陣Fmxs的計算步驟包括：
[0021] 步驟2A.1、在每幅人臉圖像中提取多個特征點，將所有特征點每兩點連成一條線 段，運用PCA去除冗余的線段后得到Μ條有效線段；
[0022] 步驟2Α. 2、計算當前人臉圖像中每條有效線段的長度，其中，第m條有效線段的長 度為；
，(xi，yi)和U，yj)分別是第m條有效線段兩端的兩 個特征點的坐標；
[0023] 步驟2A.3、得到當前人臉圖像中所有有效線段的長度的最大值Ymax，將當前人臉圖 像中的每條有效線段的長度均除WYmax，得到第S幅人臉圖像中歸一化后的第m條有效線段 的長度ys(m);
[0024] 步驟2A.4、重復步驟2A.1至步驟2A.3,直至得到S幅人臉圖像的所有有效線段的歸 一化后的長度，則得到所述人臉圖像特征矩陣Fmxs。
[0025] 優(yōu)選地，所述步態(tài)圖像特征矩陣Gnxs的計算步驟包括：
[0026] 步驟2B.1、將每幅步態(tài)圖像轉化為高度為A的B/W圖像，W其高度分為A級，記錄每 一級的像素點作為向量的元素，運用PCA去除得到的向量中的冗余信息，得到腺隹向量；
[0027] 步驟2B. 2、計算當前步態(tài)圖像對應的N維向量中每個元素所含的像素數(shù)，則有第η 個元素所含的像素數(shù)為x(n);
[002引步驟2B.3、得到當前步態(tài)圖像中所有像素數(shù)的最大值Xmax，將當前人臉圖像中的每 個元素所含的像素數(shù)均除WXmax，得到第S幅步態(tài)圖像對應的N維向量中歸一化后的第η個元 素所含的像素數(shù)xs(n);
[00巧]步驟2B. 4、重復步驟2B. 1至步驟2B. 3，直至得到S幅步態(tài)圖像對應的N維向量中歸 一化后的所有元素所含的像素數(shù)，則得到所述步態(tài)圖像特征矩陣Gnxs。
[0030] 優(yōu)選地，所述人耳圖像特征矩陣Bhxs的計算步驟包括：
[0031] 步驟2C.1、提取當前人耳圖像中的人耳輪廓，并定位耳輪腳和耳垂角，基于耳輪腳 和耳垂角連線的中點建立極坐標，把與人耳輪廓的交點作為特征點，將所有特征點每兩點 連成一條線段，運用PCA去除冗余的線段后得到Η條有效線段；
[0032] 步驟2C. 2、計算當前人耳圖像中每條有效線段的長度，其中，第h條有效線段的長 度關
（X/，y/ )和(X/，y/ )分別是第h條有效線段兩端 的兩個特征點的坐標；
[0033] 步驟2C.3、得到當前人耳圖像中所有有效線段的長度的最大值Zmax，將當前人耳圖 像中的每條有效線段的長度均除WZmax，得到第η幅人耳圖像中歸一化后的第h條有效線段 的長度Zn化）；
[0034] 步驟2C. 4、重復步驟2C. 1至步驟2C. 3，直至得到N幅人耳圖像的所有有效線段的歸 一化后的長度，則得到所述人耳圖像特征矩陣Bhxs。
[0035] 優(yōu)選地，在所述步驟2C.1中，用基于圖像分割的口限處理方法提取所述人耳輪廓。
[0036] 優(yōu)選地，在所述步驟2C. 1中，用凸包來定位所述耳輪腳和所述耳垂角。
[0037] 本發(fā)明提出了一種基于層次結構的人臉、步態(tài)、人耳圖像融合識別方法。本發(fā)明提 出的方法對人臉識別、步態(tài)識別和人耳識別進行了有效的融合，其主要優(yōu)點如下：
[0038] 1、本發(fā)明融合人臉、步態(tài)和人耳Ξ種生物特征信息進行身份鑒別，系統(tǒng)識別精度 局。
[0039] 2、本發(fā)明采用基于層次結構的融合策略，增加了基于人臉、步態(tài)和人耳融合身份 識別系統(tǒng)的易用性。
[0040] 3、本發(fā)明即可W用于遠距離身份認證，也可W用于近距離身份認證。通過遠距離 識別和檢索步態(tài)信息，能夠盡快確定用戶身份，通過近距離識別和檢索人臉和人耳信息，進 一步確定用戶身份，然后通過步態(tài)、人臉和人耳Ξ者的融合，對用戶身份進行最終確認。
[0041] 4、本發(fā)明具有擴展性和兼容性，所有的單模態(tài)的人臉識別算法、步態(tài)識別算法、人 耳識別算法，W及特征級融合和分數(shù)級融合方法都可W集成到本方法中。
[0042] 5、得益于W上的優(yōu)點，本發(fā)明使得基于人臉、步態(tài)和人耳識別融合方法的大規(guī)模 應用成為可能?；诒痉椒ǖ娜四槨⒉綉B(tài)和人耳融合的生物特征識別系統(tǒng)可用于安全場景 監(jiān)控、Π 禁、考勤等領域。
【附圖說明】
[0043] 圖1基于層次結構的人臉、步態(tài)和人耳圖像融合識別方法的流程圖；
[0044] 圖2人臉特征點分布圖；
[0045] 圖3步態(tài)識別的預處理圖；
[0046] 圖4人耳識別的預處理效果圖。
【具體實施方式】
[0047] 為使本發(fā)明更明顯易懂，茲W優(yōu)選實施例，并配合附圖作詳細說明如下。
[0048] -個典型的生物特征識別系統(tǒng)包括注冊和識別兩個環(huán)節(jié)。注冊環(huán)節(jié)是將合法用戶 的生物特征數(shù)據(jù)通過注冊算法保存到系統(tǒng)數(shù)據(jù)庫中。識別環(huán)節(jié)是通過識別算法判斷待識別 的用戶是否為數(shù)據(jù)庫中注冊的用戶。本發(fā)明所提出一種基于多模態(tài)非接觸身份特征的識別 方法的流程圖如圖1所示，包括注冊環(huán)節(jié)和識別環(huán)節(jié)：
[0049] 注冊環(huán)節(jié):采用特征提取方法，對待注冊用戶的人臉圖像、步態(tài)圖像和人耳圖像提 取人臉特征、步態(tài)特征和人耳特征，得到人臉識別特征、步態(tài)識別特征和人耳識別特征的注 冊信息，將得到的注冊信息進行融合，得到一個融合的注冊信息并保存到注冊數(shù)據(jù)庫，主要 包括W下步驟：
[0050] 步驟1:對某個待注冊用戶的S幅人臉圖像、S幅步態(tài)圖像及N幅人耳圖像進行特征 提取，得到人臉圖像特征矩陣FmXs、步態(tài)圖像特征矩陣GnXs及人耳圖像特征矩陣曲XN。
[0051] 步驟2:將得到的人臉圖像特征矩陣Fmxs、步態(tài)圖像特征矩陣Gnxs及人耳圖像特征 矩陣Βηχ規(guī)行融合處理，得到融合矩陣Amxh，再計算該融合矩陣Amxh的特征向量，則當前待注 冊用戶的注冊信息包含該特征向量W及當前待注冊用戶的個人信息，將個人信息保存至訓 練數(shù)據(jù)庫中，則當前待注冊用戶變?yōu)橐炎杂脩簟?br>[0052] 重復步驟1及步驟2,直至將所有待注冊用戶的注冊信息均錄入訓練數(shù)據(jù)庫中，即 訓練數(shù)據(jù)庫保存有所有已注冊用戶的注冊信息。
[0053] 識別環(huán)節(jié):通過層次結構進行人臉、步態(tài)和人耳圖像融合識別。第一級：判斷待識 別的圖像視頻集是否為人臉圖像、步態(tài)圖像、人耳圖像。在運里，要求待識別的圖像視頻集 至少是人臉圖像、步態(tài)圖像、人耳圖像其中的一種，否則，識別失效。第二級:對獲取的圖像 進行特征提取，獲得特征向量，處理特征向量得到融合的特征向量。第Ξ級:基于訓練數(shù)據(jù) 庫對融合的特征向量進行分類判別，得到個人身份信息。
[0054] 根據(jù)注冊數(shù)據(jù)庫的信息，對待識別的用戶進行人臉、步態(tài)和人耳融合識別，主要包 括W下步驟：
[0055] 步驟1:判別待識別的圖像視頻集。通過判斷待識別的圖像視頻集中是否包含人臉 圖像信息、步態(tài)圖像信息和人耳圖像信息Ξ者中至少一種信息。如果待識別的圖像視頻集 不包含人臉圖像信息、步態(tài)圖像信息和人耳圖像信息中的任何一種信息，那么判別失效。
[0056] 步驟2:如果待注冊用戶的信息中只包含人臉、步態(tài)、人耳運Ξ種特征中的任意一 種特征，那么運種識別方法就是單模態(tài)識別，只需要提取一組特征，得到一個特征向量，基 于訓練數(shù)據(jù)庫對所得到的特征向量進行分類判別，得到個人身份信息。
[0057] 如果待注冊用戶的信息中包含人臉、步態(tài)、人耳運Ξ種特征中的任意兩種特征，那 么需要分別提取兩組特征，得到兩個特征向量，對得到的兩個特征向量進行融合，得到融合 后的一個特征向量，基于訓練數(shù)據(jù)庫對融合的特征向量進行分類判別，得到個人身份信息。
[0058] 如果待注冊用戶的信息中包含人臉、步態(tài)、人耳運Ξ種特征，那么運種識別方法就 是多模態(tài)識別，需要分別對Ξ組圖像進行特征提取，分別得到Ξ個特征向量，將Ξ個特征向 量進行融合，得到一個融合的特征向量，基于訓練數(shù)據(jù)庫對所得到的融合特征向量進行分 類判別，得到個人身份信息。
[0059] 下面對本發(fā)明設及的關鍵步驟進行逐一說明。本發(fā)明所述方法中各個步驟的具體 形式如下所述：
[0060] 無論是注冊或者識別過程，從原始的圖像視頻信息到個人身份信息的確認都需要 經過特征提取及特征融合，下面分別說明人臉識別、步態(tài)識別和人耳識別特征提取和融合 過程實施的具體步驟。
[0061] 1、人臉識別過程
[0062] 首先，在一幅人臉圖像中，提取20個特征點，具體見表1和圖2。
[0063]
[0064] 表 1
[0065] 將運20個特征點每兩個點連成一條線段，可W得到190條線段。運用PCA處理得到 的190條線段，去除冗余線段W后，得到Μ條有效線段，用y(m)表示第m條有效線段的長度，m =1，2, ···，]?，那么，對于一幅人臉圖像而言，有向量Y=[y(l)，y(2)，一,7(1)]，最后對向量Y 做歸一化處理，具體步驟如下：
[0066] S1:計算連接兩個特征點（xi，yi)、（xj，yj)的第m條有效線段長度y(m)，
[0067] S2：d = d+l〇
[006引 S3:重復步驟S1和步驟S2，直到d=M。
[0069 ] S4 :找到向量Y中的最大值，記為Ymax。
[0070] S5:將向量Y中的每個元素都除WYmax進行歸一化處理，則得到第S幅人臉圖像中歸 一化后的第m條有效線段的長度ys(m)，s = l，2,…，S。
[0071] S6:重復步驟S1至步驟S5,直至得到S幅人臉圖像的所有有效線段的歸一化后的長 度，則得到人臉圖像特征矩陣Fmxs，有：
[0072]
[0073] 2、步態(tài)識別過程
[0074] 首先，是步態(tài)圖像的預處理，把圖像轉化為100X80的B/W圖像，如圖3所示。W圖像 的高度分為100級（1% ,2%，-400%的B\W圖像高度），記錄每一級的像素點作為向量的元 素。運用PCA處理得到的向量，去除冗余信息W后得到N維向量，x(n)表示N維向量中第η個元 素所含的像素數(shù)，η = 1，2，···，Ν，那么對于Ν維向量有向量Χ，Χ=[χ(1)，χ(2)，···，χ(Ν)]，最后 對向量X做歸一化處理，具體步驟如下：
[0075] S1:計算向量X中第η個元素所含的像素數(shù)χ(η)。
[0076] S2：n = n+l〇
[0077] S3:重復步驟SI和步驟S2，直到n = N。
[007引 S4 :找到向量X中的最大值，記為Xmax。
[0079] S5:將向量X中的每個元素都除WXmax進行歸一化處理，則得到第S幅步態(tài)圖像對應 的腺隹向量中歸一化后的第η個元素所含的像素數(shù)xs(n)。
[0080] S6:重復步驟S1至步驟S5,直至得到S幅步態(tài)圖像所對應的N維向量的所有元素的 歸一化后的像素數(shù)，則得到步態(tài)圖像特征矩陣Gnxs，有：
[0081]
[0082] 3、人耳識別過程
[0083] 首先，進行人耳圖像的預處理，在一幅人耳圖像中用基于圖像分割的口限處理方 法提取人耳輪廓。其次，用凸包(convex hull)來定位耳輪腳和耳垂角。最后基于耳輪腳和 耳垂角連線的中點建立極坐標，把與人耳輪廓的交點作為特征點，如圖4所示。將運些特征 點之間兩兩相連連成線段，運用PCA處理得到的線段，去除冗余線段W后，得到Η條有效線 段，用Ζ化)表示第h條有效線段的長度，那么有向量Z，Z=[zα)，z(2)，…，z化)]，最后對向 量Z做歸一化處理，具體步驟如下：
[0084] S1:計算連接特征點U/，yi^ )和U/，y/ )的第h條有效線段的長度z(h)，
[0085] S2：h = h+l〇
[0086] S3:重復步驟1和步驟2，直到h = H。
[0087] S4:找到所有有效線段的長度中的最大值，記為Zmax。
[0088] S5:將向量Z中的每個元素都除WZmax進行歸一化處理，得到第η幅人耳圖像中歸一 化后的第h條有效線段的長度Ζη化）。
[0089] S6:重復步驟S1至步驟S5,直至得到Ν幅人耳圖像的所有有效線段的歸一化后的長 度，則得到人耳圖像特征矩陣Bhxs，有：
[0090]
[0091] 4、特征融和
[0092] 將人臉圖像特征矩陣Fmxs、步態(tài)圖像特征矩陣Gnxs及人耳圖像特征矩陣Bhxs進行融 合，得到融合矩陣 Amxh，則有:Amxh=FmxsXGnxsTxBhxnT。
[0093] 特征矩降
λι，λ2，···，λΜ即為特征向量。
[0094] 5、判別方法
[0095] 在本發(fā)明中，特征融合方法的性能可W通過不同的分類器進行評價。常見的分類 方法有包括神經網絡、K近鄰法，最近鄰法、支持向量機。本發(fā)明選擇K近鄰法作為最終的分 類判別方法。
[0096] 實施案列1(步態(tài)+人耳）
[0097] 在一些劫匪搶劫的場景，可能臉會蒙住，但是步態(tài)和耳朵信息我們可W提取到。憑 借到我們提取到的信息，就可W判斷犯罪嫌疑人的身份。
[0098] 實施案列2(人臉+人耳+步態(tài)）
[0099] 在識別對象很遠時，我們可W先通過步態(tài)去排除一些信息，當對象很近時我們可 W提取對象的臉部信息和耳朵信息，在進行特征融合，運樣我們就可W更好的識別?，F(xiàn)在機 場，銀行，都有很多攝像頭，可能第一個攝像頭可能獲取步態(tài)信息，第二個攝像頭可能捕獲 到臉部信息，后面的可W捕獲到耳朵信息。我們通過綜合運些信息可W更好的識別對象。
[0100] W上所述，僅為本發(fā)明中的【具體實施方式】，但本發(fā)明的保護范圍不局限于此，任何 熟悉該技術的人在本發(fā)明所掲露的技術范圍內，可理解想到的是變換或者替換，都應涵蓋 在本發(fā)明的包含范圍之內，因此，本發(fā)明的保護范圍應該W權利要求書的保護范圍為準。
【主權項】
1. 一種基于多模態(tài)非接觸身份特征的識別方法，包括如下步驟： 步驟1、對于當前待注冊用戶，獲取其S幅人臉圖像、S幅步態(tài)圖像及N幅人耳圖像； 步驟2、提取S幅人臉圖像、S幅步態(tài)圖像及N幅人耳圖像的特征，得到人臉圖像特征矩陣 Fmxs、步態(tài)圖像特征矩陣Gnxs及人耳圖像特征矩陣Βηχν，則有：，式中，每幅人臉圖像有多個特征點，將這些特 征點每兩個連成一條線段后去除冗余線段，得到Μ條有效線段，ys(m)表示第s幅人臉圖像中 歸一化后的第m條有效線段的長度，s = l，2,…，S，m=l，2,…，M;:式中，每幅步態(tài)圖像以其尚度分為多級，記錄每 一級的像素點作為向量的元素，去除冗余信息后，得到N維向量，Xs(n)表示第s幅步態(tài)圖像 對應的N維向量中歸一化后的第η個元素所含的像素數(shù)，η = 1，2，…，N;，式中，每幅人耳圖像有多個特征點，這些特征點 的連線去除冗余線段后得到Η條有效線段，zn(h)表示第η幅人耳圖像中歸一化后的第h條有 效線段的長度，h = l，2,…，H; 步驟3、將人臉圖像特征矩陣Fmxs、步態(tài)圖像特征矩陣Gnxs及人耳圖像特征矩陣―通行 融合，得到融合矩陣Amxh，則有:Amxh = Fmxs XGNXST X BHXNT，當前待注冊用戶的注冊信息包含 該融合矩陣Amxh的特征向量及當前待注冊用戶的個人信息，將該注冊信息保存至訓練數(shù)據(jù) 庫，當前待注冊用戶變?yōu)橐炎杂脩簦? 步驟4、重復步驟1至步驟3,直至將所有待注冊用戶的注冊信息均保存至訓練數(shù)據(jù)庫， 即訓練數(shù)據(jù)庫中保存有所有已注冊用戶的注冊信息； 步驟5、實時獲取待識別用戶的圖像視頻集，判斷該圖像視頻集是否包含人臉圖像、步 態(tài)圖像及人耳圖像，若是，則分別提取人臉圖像、步態(tài)圖像及人耳圖像的特征后進行融合， 得到融合后的特征向量，將融合后的特征向量與訓練數(shù)據(jù)庫中各已注冊用戶的注冊信息進 行比對，若匹配，則獲得待識別用戶的個人信息。2. 如權利要求1所述的一種基于多模態(tài)非接觸身份特征的識別方法，其特征在于，所述 人臉圖像特征矩陣Fmxs的計算步驟包括： 步驟2A.1、在每幅人臉圖像中提取多個特征點，將所有特征點每兩點連成一條線段，運 用PCA去除冗余的線段后得到Μ條有效線段； 步驟2Α. 2、計算當前人臉圖像中每條有效線段的長度，其中，第m條有效線段的長度為和(Xp^)分別是第m條有效線段兩端的兩個特 征點的坐標； 步驟2A.3、得到當前人臉圖像中所有有效線段的長度的最大值Ymax，將當前人臉圖像中 的每條有效線段的長度均除以Ymax，得到第s幅人臉圖像中歸一化后的第m條有效線段的長 度ys(m); 步驟2A.4、重復步驟2A.1至步驟2A. 3,直至得到S幅人臉圖像的所有有效線段的歸一化 后的長度，則得到所述人臉圖像特征矩陣Fmxs。3. 如權利要求1所述的一種基于多模態(tài)非接觸身份特征的識別方法，其特征在于，所述 步態(tài)圖像特征矩陣Gnxs的計算步驟包括： 步驟2B.1、將每幅步態(tài)圖像轉化為高度為A的B/W圖像，以其高度分為A級，記錄每一級 的像素點作為向量的元素，運用PCA去除得到的向量中的冗余信息，得到N維向量； 步驟2B. 2、計算當前步態(tài)圖像對應的N維向量中每個元素所含的像素數(shù)，則有第η個元 素所含的像素數(shù)為x(n); 步驟2B.3、得到當前步態(tài)圖像中所有像素數(shù)的最大值Xmax，將當前人臉圖像中的每個元 素所含的像素數(shù)均除以Xmax，得到第s幅步態(tài)圖像對應的N維向量中歸一化后的第η個元素所 含的像素數(shù)x s(n); 步驟2B. 4、重復步驟2B. 1至步驟2B. 3，直至得到S幅步態(tài)圖像對應的N維向量中歸一化 后的所有元素所含的像素數(shù)，則得到所述步態(tài)圖像特征矩陣Gnxs。4. 如權利要求1所述的一種基于多模態(tài)非接觸身份特征的識別方法，其特征在于，所述 人耳圖像特征矩陣Bhxs的計算步驟包括： 步驟2C.1、提取當前人耳圖像中的人耳輪廓，并定位耳輪腳和耳垂角，基于耳輪腳和耳 垂角連線的中點建立極坐標，把與人耳輪廓的交點作為特征點，將所有特征點每兩點連成 一條線段，運用PCA去除冗余的線段后得到Η條有效線段； 步驟2C. 2、計算當前人耳圖像中每條有效線段的長度，其中，第h條有效線段的長度為ζ (h)，Kx/，y/ )和(x/，y/ )分別是第h條有效線段兩端的兩 個特征點的坐標； 步驟2C.3、得到當前人耳圖像中所有有效線段的長度的最大值Zmax，將當前人耳圖像中 的每條有效線段的長度均除以Zmax，得到第η幅人耳圖像中歸一化后的第h條有效線段的長 度Zn(h); 步驟2C.4、重復步驟2C.1至步驟2C. 3,直至得到N幅人耳圖像的所有有效線段的歸一化 后的長度，則得到所述人耳圖像特征矩陣Bhxs。5. 如權利要求5所述的一種基于多模態(tài)非接觸身份特征的識別方法，其特征在于，在所 述步驟2C. 1中，用基于圖像分割的門限處理方法提取所述人耳輪廓。6. 如權利要求5所述的一種基于多模態(tài)非接觸身份特征的識別方法，其特征在于，在所 述步驟2C. 1中，用凸包來定位所述耳輪腳和所述耳垂角。
【文檔編號】G06K9/00GK105825176SQ201610140823
【公開日】2016年8月3日
【申請日】2016年3月11日
【發(fā)明人】郝礦榮, 趙軍, 毛祎蒙, 丁永生
【申請人】東華大學