基于極成像的立體-高光譜人臉識(shí)別方法
【專利摘要】本發(fā)明提出了一種基于極成像的立體?高光譜人臉識(shí)別的方法，用于解決現(xiàn)有多光譜人臉識(shí)別方法中存在的識(shí)別結(jié)果穩(wěn)定性差和識(shí)別效率低的技術(shù)問題，包括如下步驟，1、利用極光譜系統(tǒng)采集人臉信息；2、根據(jù)人臉信息中的二維極圖像對(duì)人臉進(jìn)行立體重構(gòu)；3、對(duì)二維人臉進(jìn)行區(qū)域塊劃分，并根據(jù)該劃分結(jié)果對(duì)立體人臉和人臉光譜信息進(jìn)行區(qū)域塊劃分；4、提取區(qū)域塊的綜合特征向量；5、分別對(duì)多個(gè)人臉和待識(shí)別人臉采用步驟1到步驟4得到樣本庫數(shù)據(jù)和待識(shí)別人臉數(shù)據(jù)；6、訓(xùn)練樣本庫數(shù)據(jù)得到分類器；7、將待識(shí)別人臉數(shù)據(jù)輸入到分類器中，并識(shí)別人臉。本發(fā)明具有穩(wěn)定性好和識(shí)別效率高特點(diǎn)，可用于金融交易、安全防務(wù)、通關(guān)安檢等的身份鑒定。
【專利說明】
基于極成像的立體-高光譜人臉識(shí)別方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于生物特征識(shí)別技術(shù)領(lǐng)域，涉及一種人臉識(shí)別方法，具體涉及一種基于極成像的立體-高光譜人臉識(shí)別方法，可用于金融交易、安全防務(wù)、通關(guān)安檢等的身份鑒定。
【背景技術(shù)】
[0002]世界上居住著67億相貌各異、膚色不同的人類，人臉作為一項(xiàng)重要的生物特征，在人與人之間的交流中具有重要地位。當(dāng)今社會(huì)中，人臉已經(jīng)成為一種重要的用于身份鑒定的特征。人臉識(shí)別系統(tǒng)按功能可以分為三種:面向安防類、管理監(jiān)督類和多媒體娛樂類，對(duì)識(shí)別準(zhǔn)確率的要求也依次降低。據(jù)報(bào)道，在美國每年有上億美元的政府福利資金被非法冒領(lǐng)，另外，因?yàn)槿鄙偻晟频纳矸葑R(shí)別系統(tǒng)，也出現(xiàn)了包括恐怖襲擊威脅的多種社會(huì)安全問題。近年來發(fā)生的連續(xù)恐怖襲擊的悲劇，在加強(qiáng)安保措施的同時(shí)對(duì)各國的邊境檢查、入境審察能力也敲響了警鐘。因此，研究面向安防類的更加精確、高效的人臉識(shí)別技術(shù)具有明確的、緊迫的研究意義。
[0003]人臉識(shí)別過程一般被描述為，給定一個(gè)靜態(tài)或者動(dòng)態(tài)的人臉圖像，利用已有的人臉數(shù)據(jù)庫來確定圖像中的一個(gè)或者多個(gè)人的身份。其主要解決三個(gè)任務(wù):身份認(rèn)證、身份識(shí)另IJ、監(jiān)控。身份認(rèn)證是判斷圖像中的人臉是否是他所聲明的身份，只需要將輸入的人臉圖像與數(shù)據(jù)庫中所存儲(chǔ)的該身份的模板圖像相比對(duì)，是一對(duì)一的比較;身份識(shí)別是利用人臉數(shù)據(jù)庫來確定圖像中人臉的身份，需要將輸入的人臉圖像與庫中所有的身份模板圖像進(jìn)行比對(duì)并給出相似度，來判別輸入人臉是庫中的哪個(gè)身份(相似度最高)，是一對(duì)多的比較。監(jiān)視是指在監(jiān)控范圍內(nèi)發(fā)現(xiàn)人臉并跟蹤和分割出來，并判斷該人臉是否在監(jiān)控列表上，如果是的話，再進(jìn)一步確認(rèn)他們的身份。
[0004]人臉識(shí)別的基本流程主要包括數(shù)據(jù)采集、人臉檢測、人臉配準(zhǔn)、人臉特征提取以及人臉識(shí)別等過程。使用圖像傳感器如CCD或CMOS等獲取人臉圖像或視頻，通過預(yù)處理提高圖像質(zhì)量，然后進(jìn)行人臉檢測、姿態(tài)估計(jì)和特征點(diǎn)定位，即從圖像中分割出感興趣的人臉區(qū)域，對(duì)人臉區(qū)域進(jìn)行配準(zhǔn)和歸一化，再對(duì)歸一化后的人臉圖像進(jìn)行特征提取，輸入到分類器中與人臉庫中模板圖像特征向量進(jìn)行匹配計(jì)算，最后輸出識(shí)別結(jié)果。
[0005]人臉識(shí)別從描述人臉的方法上可以分為兩大類:基于幾何特征人臉表示方法和基于紋理的人臉表示方法?；谌四槑缀谓Y(jié)構(gòu)的識(shí)別方法利用人臉在結(jié)構(gòu)組成上的特征信息，從人臉二維圖像求取邊緣和輪廓作為特征，進(jìn)而利用特征比對(duì)的方式判斷特征之間的相似度。本質(zhì)上，從二維圖片中提取的信息是丟失了真實(shí)三維人臉深度維信息后的子集，而且人臉的外形特征并不穩(wěn)定，容易受光照和表情變化的影響，因此基于二維人臉圖像的幾何結(jié)構(gòu)識(shí)別方法穩(wěn)定性不高，在大面積的陰影影響下甚至?xí)?。從而，近兩年來基于三維或深度幾何特征的人臉識(shí)別方法被提出，通過激光掃描、立體成像等技術(shù)獲得帶有深度信息的人臉三維模型，并從模型中提取有效的特征，例如使用前額曲率、鼻子高度等信息組成描述三維人臉的特征向量，進(jìn)而通過模板匹配的方法進(jìn)行識(shí)別?？臻g多維度信息的引入成功的解決了人臉特征受光照變化的影響，使識(shí)別準(zhǔn)確率達(dá)到了90 %以上。
[0006]另一方面，國內(nèi)外的研究學(xué)者們還開展了大量的基于紋理信息的人臉識(shí)別方法研究。此類方法從人臉的光譜維信息出發(fā)，利用光譜在人臉表面分布的規(guī)律性和固定性作為人臉的特征描述，進(jìn)而利用模式識(shí)別的方法完成人臉識(shí)別。作用于人臉的光分為主動(dòng)和被動(dòng)光源，光源光譜的波段范圍也從可見光擴(kuò)展到近紅外，光譜的分辨率范圍從多色、多光譜再到高光譜。依托于統(tǒng)計(jì)模式識(shí)別的理論和技術(shù)的發(fā)展，涌現(xiàn)出大量的基于紋理信息的人臉識(shí)別算法。二十世紀(jì)九十年代被提出的“特征臉(Eignface)”是具有代表性的識(shí)別方法。至今“特征臉”方法仍舊是人臉識(shí)別領(lǐng)域中用來評(píng)測新算法的基準(zhǔn)算法之一，被應(yīng)用于各個(gè)光譜波段的人臉識(shí)別。隨著機(jī)器學(xué)習(xí)技術(shù)的興起與快速發(fā)展，神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等方法被應(yīng)用到人臉檢測中并獲得了很大的成功，尤其是最近兩年來隨著高性能計(jì)算機(jī)硬件的推廣，人工智能技術(shù)有了重大的突破，利用機(jī)器學(xué)習(xí)對(duì)大規(guī)模樣本訓(xùn)練后獲得良好的分類器，進(jìn)而對(duì)人臉圖像或視頻進(jìn)行檢測和識(shí)別。雖然，“機(jī)器學(xué)習(xí)”的應(yīng)用發(fā)展的如火如荼，但是在處理人臉檢測與識(shí)別問題上還是存在明顯不足的:需要大量的有監(jiān)督訓(xùn)練數(shù)據(jù)作為支撐，以提高系統(tǒng)的泛化能力；目前已有的人臉數(shù)據(jù)庫中具有完整標(biāo)簽信息的很少，限制了大部分監(jiān)督學(xué)習(xí)算法;模型訓(xùn)練時(shí)間和資源消耗很大，如要調(diào)整訓(xùn)練策略和參數(shù)，需要很長的周期。
[0007]目前，研究者所使用的人臉識(shí)別方法從空間上已經(jīng)由低維向高維空間發(fā)展，從光譜上已經(jīng)由單色灰度圖像向?qū)挷ǘ文酥粮?多)光譜發(fā)展。一方面，通過激光掃描、立體成像等技術(shù)獲得帶有深度信息的人臉三維模型，并從模型中提取有效的幾何特征，空間維度信息的引入解決了人臉特征受光照和表情變化的影響。另一方面，利用波光片或分光棱鏡的光學(xué)手段獲得人臉的光譜信息，并從獲得的人臉光譜信息中提取人臉局部的光譜特征，光譜維度信息的擴(kuò)展解決了人臉識(shí)別受陰影和部分遮擋因素的影響。例如，中國專利申請(qǐng)，授權(quán)公告號(hào)為CN102831400 B，名稱為“一種多光譜人臉識(shí)別方法及其系統(tǒng)”的發(fā)明專利，該發(fā)明包括光譜成像系統(tǒng)、彩色相機(jī)、人臉識(shí)別模塊、數(shù)據(jù)存儲(chǔ)模塊、中心控制模塊和光譜儀，多光譜成像系統(tǒng)將拍攝的人臉圖像數(shù)據(jù)輸出至人臉識(shí)別模塊，人臉識(shí)別模塊根據(jù)數(shù)據(jù)存儲(chǔ)模塊中的標(biāo)準(zhǔn)人臉數(shù)據(jù)庫的信息進(jìn)行識(shí)別，然后將識(shí)別的結(jié)果進(jìn)行輸出，中心控制模塊控制多光譜成像系統(tǒng)的圖像攝取和人臉識(shí)別模塊的識(shí)別。該發(fā)明雖然能夠在識(shí)別過程中提供明顯的類間距離，但是仍存在兩處不足一是由于使用多光譜成像系統(tǒng)采集人臉圖像數(shù)據(jù)，無法獲得人臉的立體結(jié)構(gòu)信息，使識(shí)別結(jié)果容易受到光照變化、涂覆與遮擋的影響，導(dǎo)致識(shí)別結(jié)果穩(wěn)定性差，另外該發(fā)明由于在截取人臉區(qū)域樣本時(shí)需要手動(dòng)操作，降低了人臉識(shí)別的效率。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)存在的缺陷，提出了一種基于極成像的立體-高光譜人臉識(shí)別方法，用于解決現(xiàn)有多光譜人臉識(shí)別方法中存在的識(shí)別結(jié)果穩(wěn)定性差和識(shí)別效率低的技術(shù)問題。
[0009]為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案，包括如下步驟:
[0010]步驟I，利用極光譜系統(tǒng)采集人臉數(shù)據(jù)，得到人臉在各光譜波段的二維極圖像以及該二維極圖像上像素點(diǎn)對(duì)應(yīng)的光譜信息；
[0011]步驟2，從得到的人臉的二維極圖像中篩選出質(zhì)量最高的多個(gè)光譜波段對(duì)應(yīng)的極圖像，對(duì)篩選出的多個(gè)極圖像進(jìn)行融合，并對(duì)融合后的極圖像進(jìn)行仿射變換，得到人臉三個(gè)不同視點(diǎn)的圖像；
[0012]步驟3，利用多視點(diǎn)立體匹配方法，對(duì)得到人臉三個(gè)不同視點(diǎn)的圖像進(jìn)行立體重構(gòu)，得到人臉的三維結(jié)構(gòu)；
[0013]步驟4，對(duì)所述融合后的極圖像中的完整二維人臉進(jìn)行劃分，得到人臉帶有不同分類標(biāo)簽的二維局部區(qū)域塊；
[0014]步驟5，根據(jù)得到的人臉帶有不同分類標(biāo)簽的二維局部區(qū)域塊，對(duì)所述人臉的三維結(jié)構(gòu)和所述二維極圖像上像素點(diǎn)對(duì)應(yīng)的光譜信息進(jìn)行局部區(qū)域塊劃分，得到包含三維結(jié)構(gòu)和光譜信息的帶有分類標(biāo)簽的多個(gè)局部區(qū)域塊；
[0015]步驟6，對(duì)得到的多個(gè)局部區(qū)域塊中的每個(gè)局部區(qū)域塊，計(jì)算三維結(jié)構(gòu)的特征向量，同時(shí)提取光譜信息的特征向量，并對(duì)這兩個(gè)特征向量進(jìn)行合并，得到人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量；
[0016]步驟7，對(duì)多個(gè)樣本人臉采用步驟I到步驟6，得到包含多個(gè)樣本人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量的人臉樣本庫；
[0017]步驟8，將得到的人臉樣本庫數(shù)據(jù)輸入到線性支持向量機(jī)模型中進(jìn)行訓(xùn)練，得到針對(duì)不同目標(biāo)類型的分類器；
[0018]步驟9，對(duì)待識(shí)別人臉采用步驟I到步驟6，得到待識(shí)別人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量；
[0019]步驟10，將得到的待識(shí)別人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量，輸入到所述的分類器中進(jìn)行分類，得到待識(shí)別人臉多個(gè)局部區(qū)域塊所屬的目標(biāo)類型，并根據(jù)待識(shí)別人臉的多個(gè)局部區(qū)域塊是否屬于同一目標(biāo)類型，判斷該人臉是否與樣本庫相符。
[0020]本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn):
[0021]1、本發(fā)明由于在采集人臉數(shù)據(jù)時(shí)利用了極光譜系統(tǒng)，并根據(jù)得到二維極圖像對(duì)人臉進(jìn)行三維重構(gòu)，能夠?qū)崿F(xiàn)人臉特征中三維結(jié)構(gòu)和光譜信息的同時(shí)獲取，與現(xiàn)有技術(shù)中利用多光譜成像系統(tǒng)采集人臉數(shù)據(jù)，并獲取人臉的二維幾何特征和光譜信息相比，識(shí)別結(jié)果不受光照變化、涂覆與遮擋的影響，有更高的穩(wěn)定性。
[0022]2、本發(fā)明由于在對(duì)完整二維人臉進(jìn)行劃分時(shí)，不需要人工參與，與現(xiàn)有技術(shù)采用的手動(dòng)截取人臉區(qū)域樣本的方法相比，提高了人臉識(shí)別的效率。
【附圖說明】
[0023]圖1為本發(fā)明的流程框圖；
[0024]圖2為本發(fā)明中的極光譜系統(tǒng)對(duì)人臉數(shù)據(jù)采集示意圖；
[0025]圖3為極成像多視點(diǎn)成像原理圖；
[0026]圖4為本發(fā)明中人臉多個(gè)局部區(qū)域塊示意圖。
【具體實(shí)施方式】
[0027]以下結(jié)合附圖和具體實(shí)施例，對(duì)本發(fā)明作進(jìn)一步描述。
[0028]參照?qǐng)D1，基于極成像的立體-高光譜人臉識(shí)別方法，包括如下步驟:
[0029]步驟I，利用極光譜系統(tǒng)采集人臉數(shù)據(jù)，如圖2所示，得到人臉在各光譜波段的二維極圖像以及該二維極圖像上像素點(diǎn)對(duì)應(yīng)的光譜信息，采集各光譜波段的人臉數(shù)據(jù)可以更全面的反映人臉特征，使識(shí)別結(jié)果更加準(zhǔn)確；
[0030]步驟2，從獲取的人臉的二維極圖像中篩選出質(zhì)量最高的多個(gè)光譜波段對(duì)應(yīng)的極圖像，對(duì)篩選出的質(zhì)量最高的多個(gè)極圖像進(jìn)行融合，并對(duì)融合后的極圖像進(jìn)行仿射變換，在仿射變換時(shí)提取融合后極圖像中的徑向線(極線)，并水平堆放成一個(gè)新的圖像，根據(jù)圖3所示的極成像多視點(diǎn)成像原理將新圖像沿水平方向按比例分為三份，分別對(duì)應(yīng)高光譜成像儀的三個(gè)視點(diǎn)，從而得到人臉三個(gè)不同視點(diǎn)的圖像；
[0031]篩選出質(zhì)量最高的多個(gè)光譜波段對(duì)應(yīng)的極圖像按照如下步驟實(shí)現(xiàn):
[0032]步驟2a，利用峰值信噪比函數(shù)(Peak Signal-to-Noise Rat1，PSNR)和基于結(jié)構(gòu)相似度的評(píng)價(jià)函數(shù)(Structural Similarity Image Measurement，SSIM)，對(duì)人臉各光譜波段的極圖像進(jìn)行質(zhì)量評(píng)估，得到人臉各光譜波段極圖像的峰值信噪比和基于結(jié)構(gòu)相似度的評(píng)分，峰值信噪比函數(shù)可以高效的獲得高光譜圖像中噪聲較少的波段，而基于結(jié)構(gòu)相似度的評(píng)價(jià)函數(shù)從圖像的亮度、對(duì)比度和結(jié)構(gòu)三個(gè)要素評(píng)價(jià)高光譜圖像的內(nèi)容質(zhì)量，融合質(zhì)量較高波段的目的在于獲得特征點(diǎn)明顯的單幅二維圖像，為后面深度重構(gòu)提供充足的特征點(diǎn)用于立體匹配；
[0033]步驟2b，對(duì)得到的人臉各光譜波段極圖像的峰值信噪比和基于結(jié)構(gòu)相似度的評(píng)分進(jìn)行量化并線性疊加，得到各光譜波段極圖像的質(zhì)量得分，并從各光譜波段極圖像中篩選出至少兩個(gè)質(zhì)量得分高的光譜波段對(duì)應(yīng)的極圖像，本發(fā)明篩選出三個(gè)極圖像，若篩選出過多的圖像會(huì)達(dá)不到高質(zhì)量的效果，篩選太少的圖像則會(huì)使融合圖像太過單一化，不能完整的描述人臉數(shù)據(jù)；
[0034]步驟3，利用多視點(diǎn)立體匹配方法，使用GPU并行算法對(duì)得到的人臉三個(gè)不同視點(diǎn)的圖像進(jìn)行立體重構(gòu)，得到二維人臉中像素點(diǎn)對(duì)應(yīng)的深度信息，即得到人臉的三維結(jié)構(gòu)；
[0035]步驟4，由于人臉二維極圖像的圓形中心區(qū)域是人臉通過高光譜成像儀的真實(shí)視點(diǎn)成的像，該區(qū)域圖像可以準(zhǔn)確顯示二維人臉，通過劃分該區(qū)域的完整二維人臉圖像，可以為后面劃分人臉三維結(jié)構(gòu)和光譜信息提供更為準(zhǔn)確的劃分依據(jù)，所以對(duì)所述融合后的二維極圖像中的完整二維人臉進(jìn)行劃分，得到人臉帶有不同分類標(biāo)簽的二維局部區(qū)域塊；
[0036]劃分完整二維人臉的按照如下步驟實(shí)現(xiàn):
[0037]步驟4a，將得到的人臉融合后極圖像中的包含完整人臉的圓形圖像分割出來，得到完整的二維人臉圖像；
[0038]步驟4b，對(duì)得到的完整的二維人臉圖像進(jìn)行銳化處理，并檢測銳化處理后二維人臉圖像的邊緣點(diǎn)，得到二維人臉圖像邊緣點(diǎn)；
[0039]步驟4c，對(duì)得到的二維人臉圖像邊緣點(diǎn)進(jìn)行聚類，得到二維人臉圖像中多個(gè)包含邊緣點(diǎn)的類別，這里的聚類是通過人臉上不同器官的差異來劃分類別的，由于人臉上眼睛、鼻子、嘴唇等器官對(duì)光譜反射率的明顯差異，所以很容易通過人臉圖像來劃分區(qū)域塊，本發(fā)明中將人臉分為9個(gè)類別；
[0040]步驟4d，分別計(jì)算得到的二維人臉圖像中多個(gè)包含邊緣點(diǎn)的類別的中心點(diǎn)位置，并根據(jù)各類別中心點(diǎn)的位置確定其分類標(biāo)簽和區(qū)域大小，例如，對(duì)于一個(gè)類別中心點(diǎn)在最左邊的類別，本發(fā)明給予這個(gè)類別眼睛標(biāo)簽，并設(shè)定它的類別區(qū)域形狀為長方形，大小為正常人眼睛的平均長和寬，得到人臉帶有不同分類標(biāo)簽的二維局部區(qū)域塊；
[0041]步驟5，根據(jù)得到的人臉帶有不同分類標(biāo)簽的二維局部區(qū)域塊，對(duì)所述人臉的三維結(jié)構(gòu)(二維圖像結(jié)合深度信息組成人臉立體信息)和所述二維極圖像上像素點(diǎn)對(duì)應(yīng)的光譜信息進(jìn)行局部區(qū)域塊劃分，該光譜信息在劃分時(shí)只對(duì)人臉極圖像中心圓形區(qū)域的完整人臉進(jìn)行劃分，得到包含三維結(jié)構(gòu)和光譜信息的帶有分類標(biāo)簽的多個(gè)局部區(qū)域塊，如圖4所示；
[0042]步驟6，在得到的人臉的多個(gè)局部區(qū)域塊中，利用局部區(qū)域的平均高度和梯度組成三維結(jié)構(gòu)的特征向量，同時(shí)使用基于GPU的HySime算法快速提取每一區(qū)域塊的光譜維子空間，獲得光譜信息的特征向量，并對(duì)每個(gè)局部區(qū)域塊的兩個(gè)特征向量進(jìn)行合并，得到人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量；
[0043]步驟7，對(duì)多個(gè)樣本人臉采用步驟I到步驟6，得到包含多個(gè)樣本人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量的人臉樣本庫；
[0044]步驟8，人臉三維結(jié)構(gòu)和光譜信息的局部綜合特征向量的數(shù)據(jù)量大，人工分類區(qū)域塊費(fèi)時(shí)、費(fèi)力、不現(xiàn)實(shí)，本發(fā)明采用線性支持向量機(jī)模型，將人臉樣本庫中有分類標(biāo)簽的局部綜合特征數(shù)據(jù)，輸入到線性支持向量機(jī)模型中進(jìn)行訓(xùn)練，支持向量機(jī)本質(zhì)上是一種二分類模型，即在兩種類別特征空間中找到最優(yōu)的分割超平面，而一般的應(yīng)用中目標(biāo)場景分割的局部特征往往多于兩種，因此需要采用支持向量機(jī)的“一對(duì)一”模式進(jìn)行多次分類處理，得到針對(duì)不同的目標(biāo)類型的分類器，該分類器判定帶有分類標(biāo)簽的局部綜合特征向量的目標(biāo)類型，即可以判定輸入的眼睛或鼻子等區(qū)域塊屬于樣本庫中的哪一個(gè)人臉；
[0045]步驟9，對(duì)待識(shí)別人臉采用步驟I到步驟6，得到待識(shí)別人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量；
[0046]步驟10，將得到的待識(shí)別人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量，輸入到所述的分類器中進(jìn)行分類，得到待識(shí)別人臉多個(gè)局部區(qū)域塊所屬的目標(biāo)類型，如果多個(gè)局部區(qū)域塊都分類為同一個(gè)目標(biāo)類型，則待識(shí)別人臉識(shí)別為該目標(biāo)類型，否則待識(shí)別人臉與樣本庫不符，即不屬于樣本庫。
[0047]參照?qǐng)D2，本發(fā)明采用的系統(tǒng)由高光譜成像儀、圓臺(tái)內(nèi)反射鏡、掃描轉(zhuǎn)臺(tái)、同步支架與夾具組成。高光譜成像儀光譜成像范圍從400nm到100nm，涵蓋了可見光-近紅外波段，由于金屬銀在可見光-近紅外的光譜區(qū)間內(nèi)保持著相當(dāng)高的反射率(r>0.96)，利于成像光譜儀通過內(nèi)反射鏡的徑向光譜采集，因此選用銀(Ag)作為圓臺(tái)反射鏡內(nèi)壁的鍍膜材料。由于高光譜成像儀掃描線的空間分辨率為1632像素，光譜平均最小分辨率為0.64nm，即具有936個(gè)光譜帶，如此高的空間和光譜分辨率要求掃描過程支架的穩(wěn)定性良好，考慮到本發(fā)明要將成像儀和內(nèi)反射鏡整合在一起組成“極光譜”采集系統(tǒng)，需要改造已有掃描轉(zhuǎn)臺(tái)，通過加工同步支架和夾具來控制內(nèi)反射鏡的位置，并改造步進(jìn)電機(jī)的控制方式使高光譜成像儀和內(nèi)反射鏡的掃描過程保持同步。將高光譜成像儀與內(nèi)反射鏡級(jí)聯(lián)后，需要利用激光對(duì)成像光路進(jìn)行校準(zhǔn)和測試。并根據(jù)極成像的成像原理，確定整個(gè)“極光譜”成像系統(tǒng)的視場角和有效作用距離。
[0048]極光譜系統(tǒng)中圓臺(tái)內(nèi)反射鏡與高光譜成像儀之間存在一定的位置關(guān)系，圖中Hf表內(nèi)反射鏡左側(cè)端口半徑，Θ代表成像儀透鏡中心對(duì)內(nèi)反射鏡左側(cè)端口的張角的一半，β代表內(nèi)反射鏡鏡筒切平面與水平面夾角，由于要保證人臉在內(nèi)反射鏡中只進(jìn)行一次成像，所以鏡筒水平長度I滿足一定的條件，I須滿足l = 2r 008(β)008(θ-2β)080(θ-3β)ο
[0049]參照?qǐng)D3，光經(jīng)過截頂圓錐內(nèi)反射鏡后，在高光譜成像儀中形成多視點(diǎn)圖像，根據(jù)預(yù)先設(shè)計(jì)好的反射鏡的長度、張角以及前后半徑限制一定范圍內(nèi)的光只經(jīng)過一次反射即可到達(dá)成像焦平面，從而完成“一物點(diǎn)多視點(diǎn)”的成像，在作用距離內(nèi)的空間被劃分成三目區(qū)、雙目區(qū)和其他盲區(qū)。人臉的位置處于三目區(qū)之內(nèi)，該三目區(qū)是指人臉上任意一點(diǎn)會(huì)同時(shí)在徑向上三個(gè)視點(diǎn)成像，這三個(gè)視點(diǎn)即圖中的A、B、C三點(diǎn)，點(diǎn)B是高光譜成像儀成像透鏡的光心，點(diǎn)A和點(diǎn)C分別是點(diǎn)B在徑向方向上關(guān)于內(nèi)反射鏡成的像。圖中點(diǎn)P是目標(biāo)場景空間中處在極成像系統(tǒng)的三目區(qū)中的一點(diǎn)，經(jīng)過內(nèi)反射鏡后，在成像光譜儀的焦平面上分別形成A、B、C三個(gè)視點(diǎn)的像，B點(diǎn)投影于極圖像的中心圓形區(qū)域中，A和C點(diǎn)投影于極圖像的外圍圓環(huán)區(qū)域中。
[0050]參照?qǐng)D4，人臉被劃分為眉毛、眼睛、鼻子、嘴唇等多個(gè)局部區(qū)域塊，每個(gè)局部區(qū)域塊中都包含有三維結(jié)構(gòu)(二維圖像結(jié)合深度信息)和光譜信息(光譜維數(shù)據(jù))，其中光譜信息包含完整人臉中每一個(gè)點(diǎn)對(duì)各個(gè)光譜波段的反射率。
【主權(quán)項(xiàng)】
1.一種基于極成像的立體-高光譜人臉識(shí)別方法，其特征在于，包括如下步驟: (1)利用極光譜系統(tǒng)采集人臉數(shù)據(jù)，得到人臉在各光譜波段的二維極圖像以及該二維極圖像上像素點(diǎn)對(duì)應(yīng)的光譜信息； (2)從得到的人臉的二維極圖像中篩選出質(zhì)量最高的多個(gè)光譜波段對(duì)應(yīng)的極圖像，對(duì)篩選出的多個(gè)極圖像進(jìn)行融合，并對(duì)融合后的極圖像進(jìn)行仿射變換，得到人臉三個(gè)不同視點(diǎn)的圖像； (3)利用多視點(diǎn)立體匹配方法，對(duì)得到人臉三個(gè)不同視點(diǎn)的圖像進(jìn)行立體重構(gòu)，得到人臉的三維結(jié)構(gòu)； (4)對(duì)所述融合后的極圖像中的完整二維人臉進(jìn)行劃分，得到人臉帶有不同分類標(biāo)簽的二維局部區(qū)域塊； (5)根據(jù)得到的人臉帶有不同分類標(biāo)簽的二維局部區(qū)域塊，對(duì)所述人臉的三維結(jié)構(gòu)和所述二維極圖像上像素點(diǎn)對(duì)應(yīng)的光譜信息進(jìn)行局部區(qū)域塊劃分，得到包含三維結(jié)構(gòu)和光譜信息的帶有分類標(biāo)簽的多個(gè)局部區(qū)域塊； (6)對(duì)得到的多個(gè)局部區(qū)域塊中的每個(gè)局部區(qū)域塊，計(jì)算三維結(jié)構(gòu)的特征向量，同時(shí)提取光譜信息的特征向量，并對(duì)這兩個(gè)特征向量進(jìn)行合并，得到人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量； (7)對(duì)多個(gè)樣本人臉采用步驟(I)到步驟(6)，得到包含多個(gè)樣本人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量的人臉樣本庫； (8)將得到的人臉樣本庫數(shù)據(jù)輸入到線性支持向量機(jī)模型中進(jìn)行訓(xùn)練，得到針對(duì)不同目標(biāo)類型的分類器； (9)對(duì)待識(shí)別人臉采用步驟(I)到步驟(6)，得到待識(shí)別人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量； (10)將得到的待識(shí)別人臉的多個(gè)帶有分類標(biāo)簽的局部綜合特征向量，輸入到所述的分類器中進(jìn)行分類，得到待識(shí)別人臉多個(gè)局部區(qū)域塊所屬的目標(biāo)類型，并根據(jù)待識(shí)別人臉的多個(gè)局部區(qū)域塊是否屬于同一目標(biāo)類型，判斷該人臉是否與樣本庫相符。2.根據(jù)權(quán)利要求1所述的基于極成像的立體-高光譜人臉識(shí)別方法，其特征在于:步驟(2)所述的篩選出質(zhì)量最高的多個(gè)光譜波段對(duì)應(yīng)的極圖像，按照如下步驟實(shí)現(xiàn): (2a)利用峰值信噪比函數(shù)和基于結(jié)構(gòu)相似度的評(píng)價(jià)函數(shù)，對(duì)人臉各光譜波段的極圖像進(jìn)行質(zhì)量評(píng)估，得到人臉各光譜波段極圖像的峰值信噪比和基于結(jié)構(gòu)相似度的評(píng)分； (2b)對(duì)得到的人臉各光譜波段極圖像的峰值信噪比和基于結(jié)構(gòu)相似度的評(píng)分進(jìn)行量化并線性疊加，得到各光譜波段極圖像的質(zhì)量得分，并從中篩選出質(zhì)量得分最高的多個(gè)光譜波段對(duì)應(yīng)的極圖像。3.根據(jù)權(quán)利要求1所述的基于極成像的立體-高光譜人臉識(shí)別方法，其特征在于:步驟(4)所述的劃分，按照如下步驟實(shí)現(xiàn): (4a)將得到的人臉融合后極圖像中的包含完整人臉的圓形圖像分割出來，得到完整的二維人臉圖像； (4b)對(duì)得到的完整的二維人臉圖像進(jìn)行銳化處理，并檢測銳化處理后二維人臉圖像的邊緣點(diǎn)，得到二維人臉圖像邊緣點(diǎn)； (4c)對(duì)得到的二維人臉圖像邊緣點(diǎn)進(jìn)行聚類，得到二維人臉圖像中多個(gè)包含邊緣點(diǎn)的類別； (4d)分別計(jì)算得到的二維人臉圖像中多個(gè)包含邊緣點(diǎn)的類別的中心點(diǎn)位置，并根據(jù)各類別中心點(diǎn)的位置確定其分類標(biāo)簽和區(qū)域大小，得到人臉帶有不同分類標(biāo)簽的二維局部區(qū)域塊。
【文檔編號(hào)】G06K9/00GK105956515SQ201610247977
【公開日】2016年9月21日
【申請(qǐng)日】2016年4月20日
【發(fā)明人】吳鑫, 張建奇, 劉鵬飛, 楊琛
【申請(qǐng)人】西安電子科技大學(xué)