基于三維點(diǎn)云的三維人臉識(shí)別裝置及方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)一種基于三維點(diǎn)云的三維人臉識(shí)別裝置及方法，所述裝置包括：對(duì)于三維點(diǎn)云特征區(qū)域進(jìn)行定位的特征區(qū)域檢測(cè)單元；將三維點(diǎn)云進(jìn)行歸一化映射到深度圖像空間的深度圖像映射單元；利用不同尺度和方向的蓋博濾波器對(duì)三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計(jì)算的蓋博響應(yīng)計(jì)算單元；用于儲(chǔ)存訓(xùn)練獲得的三維人臉數(shù)據(jù)的視覺(jué)詞典的儲(chǔ)存單元；以及對(duì)于每個(gè)像素獲得的蓋博響應(yīng)向量，與視覺(jué)詞典進(jìn)行直方圖映射的直方圖映射計(jì)算單元。本發(fā)明通過(guò)先提取三維人臉區(qū)域的特征區(qū)域進(jìn)行定位和配準(zhǔn)，然后根據(jù)深度信息將點(diǎn)云數(shù)據(jù)映射成深度圖像，然后按照訓(xùn)練好的三維人臉視覺(jué)詞典進(jìn)行三維數(shù)據(jù)的視覺(jué)詞典直方圖向量，最后利用分類(lèi)器實(shí)現(xiàn)識(shí)別，識(shí)別精度高。
【專(zhuān)利說(shuō)明】基于三維點(diǎn)云的三維人臉識(shí)別裝置及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人臉識(shí)別【技術(shù)領(lǐng)域】，尤其是指基于三維點(diǎn)云的三維人臉識(shí)別裝置及方 法。

【背景技術(shù)】
[0002] 三維人臉識(shí)別相對(duì)于二維人臉識(shí)別，有著其對(duì)光照魯棒、受姿態(tài)以及表情等因素 影響較小等優(yōu)點(diǎn)，因此，在三維數(shù)據(jù)采集技術(shù)飛速發(fā)展以及三維數(shù)據(jù)的質(zhì)量和精度大大提 升之后，很多研究者都將研究重點(diǎn)投入到該領(lǐng)域中。
[0003] 其中，2010年12月29日公開(kāi)的201010256907. 6號(hào)中國(guó)發(fā)明專(zhuān)利申請(qǐng)?zhí)岢隽瞬捎?三維彎曲不變量的相關(guān)特征用來(lái)進(jìn)行人臉特性描述的方法，該方法通過(guò)編碼三維人臉表面 相鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；對(duì)所述彎曲不變量的相關(guān) 特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分，并運(yùn)用K最近鄰分類(lèi)方法對(duì)三維人臉 進(jìn)行識(shí)別。但是由于提取變量相關(guān)特征時(shí)需要復(fù)雜的計(jì)算量，因此在效率上限制了該方法 的進(jìn)一步應(yīng)用。
[0004] 而2011年5月4日公開(kāi)的200910197378. 4號(hào)中國(guó)發(fā)明專(zhuān)利申請(qǐng)則提出了一種全 自動(dòng)三維人臉檢測(cè)和姿勢(shì)糾正的方法，該方法通過(guò)對(duì)人臉三維曲面進(jìn)行多尺度的矩分析， 提出了臉部區(qū)域特征來(lái)粗糙地檢測(cè)人臉曲面，及提出鼻尖區(qū)域特征來(lái)準(zhǔn)確地定位鼻尖的位 置，然后進(jìn)一步精確地分割出完整的人臉曲面，根據(jù)人臉曲面的距離信息提出鼻根區(qū)域特 征來(lái)檢測(cè)鼻根的位置后，建立了一個(gè)人臉坐標(biāo)系，并據(jù)此自動(dòng)地進(jìn)行人臉姿勢(shì)的糾正應(yīng)用。 該方法目的在于對(duì)三維人臉數(shù)據(jù)的姿態(tài)進(jìn)行估計(jì)，屬于三維人臉識(shí)別系統(tǒng)的數(shù)據(jù)預(yù)處理階 段。
[0005] 三維人臉識(shí)別是三維人臉領(lǐng)域中許多應(yīng)用的基礎(chǔ)性工作，該領(lǐng)域的初始工作大部 分是利用三維數(shù)據(jù)的信息：如曲率、深度等數(shù)據(jù)對(duì)人臉進(jìn)行描述，但是由于三維數(shù)據(jù)的采集 中有很多數(shù)據(jù)的噪點(diǎn)，因此曲率等特征數(shù)據(jù)由于其本身對(duì)于噪音的敏感特性，使得其作為 三維人臉的特征描述向量在識(shí)別結(jié)果上精度不高。在將三維數(shù)據(jù)映射到深度圖數(shù)據(jù)后，很 多二維人臉的表象特征開(kāi)始應(yīng)用到該領(lǐng)域，如主成分分析（PCA)以及蓋博（Gabor)濾波器 特征；但是這些特征也有各自的缺點(diǎn)：（1)對(duì)于PCA特征，由于其隸屬于全局的表象特征，因 此對(duì)于三維數(shù)據(jù)的細(xì)節(jié)紋理描述能力不足；（2)對(duì)于蓋博濾波器特征，由于三維數(shù)據(jù)的噪 音問(wèn)題，導(dǎo)致其對(duì)于三維人臉數(shù)據(jù)的描述能力依賴(lài)于獲取的三維人臉數(shù)據(jù)的質(zhì)量。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問(wèn)題在于，提供一種基于三維點(diǎn)云的三維人臉識(shí)別裝置， 以提升對(duì)三維人臉數(shù)據(jù)的描述和識(shí)別能力及精度。
[0007] 本發(fā)明進(jìn)一步所要解決的技術(shù)問(wèn)題在于，提供一種基于三維點(diǎn)云的三維人臉識(shí)別 方法，以提升對(duì)三維人臉數(shù)據(jù)的描述和識(shí)別能力及精度。
[0008] 為解決上述技術(shù)問(wèn)題，本發(fā)明提供如下技術(shù)方案：一種基于三維點(diǎn)云的三維人臉 識(shí)別裝置，其包括： 對(duì)于三維點(diǎn)云特征區(qū)域進(jìn)行定位的特征區(qū)域檢測(cè)單元； 將三維點(diǎn)云進(jìn)行歸一化映射到深度圖像空間的深度圖像映射單元； 用于選擇三維人臉數(shù)據(jù)魯棒區(qū)域的魯棒選擇單元； 存儲(chǔ)有不同尺度和方向的蓋博濾波器系數(shù)的第一存儲(chǔ)單元； 利用不同尺度和方向的蓋博濾波器系數(shù)對(duì)三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng) 計(jì)算的蓋博響應(yīng)計(jì)算單元； 用于儲(chǔ)存訓(xùn)練獲得的三維人臉數(shù)據(jù)的視覺(jué)詞典的第二儲(chǔ)存單元；以及 對(duì)于每個(gè)像素獲得的蓋博響應(yīng)向量，與視覺(jué)詞典進(jìn)行直方圖映射的直方圖映射計(jì)算單 J Li 〇
[0009] 進(jìn)一步地，所述特征區(qū)域檢測(cè)單元包括： 針對(duì)三維點(diǎn)云特征區(qū)域的各項(xiàng)特性并提取點(diǎn)云數(shù)據(jù)的各種特征的特征提取模塊；以及 針對(duì)特征提取模塊提取的特征數(shù)據(jù)進(jìn)行數(shù)據(jù)點(diǎn)的分類(lèi)計(jì)算，以判斷其是否屬于特征區(qū) 域的分類(lèi)器模塊，所述分類(lèi)器模塊是支持向量機(jī)或阿德布斯特（Adaboost)分類(lèi)器。
[0010] 進(jìn)一步地，所述深度圖像映射單元包括： 按照深度信息將原始三維點(diǎn)云映射為深度圖像的映射模塊；以及 利用濾波器對(duì)獲取的深度圖像的空洞或者噪點(diǎn)信息進(jìn)行去噪的去噪模塊。
[0011] 另一方面，本發(fā)明還提供一種基于三維點(diǎn)云的三維人臉識(shí)別方法，包括如下步 驟： 特征區(qū)域檢測(cè)步驟，對(duì)于三維點(diǎn)云特征區(qū)域進(jìn)行定位，作為配準(zhǔn)的基準(zhǔn)數(shù)據(jù)，然后對(duì)輸 入點(diǎn)云數(shù)據(jù)與基礎(chǔ)人臉數(shù)據(jù)進(jìn)行配準(zhǔn)； 深度圖像映射步驟，將三維點(diǎn)云進(jìn)行歸一化映射到深度圖像空間； 提取表情魯棒區(qū)域步驟，從所映射的深度圖像中提取出表情魯棒區(qū)域； 蓋博響應(yīng)計(jì)算步驟，利用不同尺度和方向的蓋博濾波器對(duì)三維人臉數(shù)據(jù)進(jìn)行不同尺度 和方向的響應(yīng)計(jì)算；以及 直方圖映射計(jì)算步驟，對(duì)于每個(gè)像素獲得的蓋博響應(yīng)向量，與預(yù)存于儲(chǔ)存單元中的視 覺(jué)詞典進(jìn)行直方圖映射，從而得到視覺(jué)詞典直方圖； 識(shí)別步驟，將輸入數(shù)據(jù)的視覺(jué)詞典特征向量與數(shù)據(jù)庫(kù)中存儲(chǔ)的特征向量利用最近鄰分 類(lèi)器進(jìn)行分類(lèi)，從而實(shí)現(xiàn)三維人臉識(shí)別。
[0012] 進(jìn)一步地，所述特征區(qū)域檢測(cè)步驟，選擇鼻尖區(qū)域作為特征區(qū)域進(jìn)行定位，所述三 維點(diǎn)云特征區(qū)域的各項(xiàng)特性包括數(shù)據(jù)深度、數(shù)據(jù)密度以及更進(jìn)一步計(jì)算數(shù)據(jù)的三維曲率等 內(nèi)在信息，而提取的點(diǎn)云數(shù)據(jù)的特征包括：高斯曲率、平均曲率、法向量以及數(shù)據(jù)深度值。
[0013] 進(jìn)一步地，對(duì)鼻尖區(qū)域進(jìn)行定位主要包括如下步驟： 步驟1，確定域平均負(fù)有效能量密度的閾值，定義為thr ; 步驟2,利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)，所 述一定深度范圍是指最大z值往后一個(gè)范圍（20mm，適用于姿態(tài)不大的數(shù)據(jù)）的z值域； 步驟3,按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平 均負(fù)有效能量密度，選擇其中密度值最大的連通域，對(duì)于每一個(gè)數(shù)據(jù)點(diǎn)P，NP表示該 點(diǎn)的法線向量，Pi表示它的臨近點(diǎn)，則每一個(gè)臨近點(diǎn)的有效能量di的計(jì)算公式為

【權(quán)利要求】
1. 一種基于三維點(diǎn)云的三維人臉識(shí)別裝置，其特征在于，其包括： 對(duì)于三維點(diǎn)云特征區(qū)域進(jìn)行定位的特征區(qū)域檢測(cè)單元； 將三維點(diǎn)云進(jìn)行歸一化映射到深度圖像空間的深度圖像映射單元； 用于選擇三維人臉數(shù)據(jù)魯棒區(qū)域的魯棒選擇單元； 存儲(chǔ)有不同尺度和方向的蓋博濾波器系數(shù)的第一存儲(chǔ)單元； 利用不同尺度和方向的蓋博濾波器系數(shù)對(duì)三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng) 計(jì)算的蓋博響應(yīng)計(jì)算單元； 用于儲(chǔ)存訓(xùn)練獲得的三維人臉數(shù)據(jù)的視覺(jué)詞典的第二儲(chǔ)存單元；以及 對(duì)于每個(gè)像素獲得的蓋博響應(yīng)向量，與視覺(jué)詞典進(jìn)行直方圖映射的直方圖映射計(jì)算單 J Li 〇
2. 如權(quán)利要求1所述的基于三維點(diǎn)云的三維人臉識(shí)別裝置，其特征在于，所述特征區(qū) 域檢測(cè)單元包括： 針對(duì)三維點(diǎn)云特征區(qū)域的各項(xiàng)特性并提取點(diǎn)云數(shù)據(jù)的各種特征的特征提取模塊；以及 針對(duì)特征提取模塊提取的特征數(shù)據(jù)進(jìn)行數(shù)據(jù)點(diǎn)的分類(lèi)計(jì)算，以判斷其是否屬于特征區(qū) 域的分類(lèi)器模塊，所述分類(lèi)器模塊是支持向量機(jī)或阿德布斯特分類(lèi)器。
3. 如權(quán)利要求1所述的基于三維點(diǎn)云的三維人臉識(shí)別裝置，其特征在于，所述深度圖 像映射單元包括： 按照深度信息將原始三維點(diǎn)云映射為深度圖像的映射模塊；以及 利用濾波器對(duì)獲取的深度圖像的空洞或者噪點(diǎn)信息進(jìn)行去噪的去噪模塊。
4. 一種基于三維點(diǎn)云的三維人臉識(shí)別方法，其特征在于，包括如下步驟： 特征區(qū)域檢測(cè)步驟，對(duì)于三維點(diǎn)云特征區(qū)域進(jìn)行定位，作為配準(zhǔn)的基準(zhǔn)數(shù)據(jù)，然后對(duì)輸 入點(diǎn)云數(shù)據(jù)與基礎(chǔ)人臉數(shù)據(jù)進(jìn)行配準(zhǔn)； 深度圖像映射步驟，將三維點(diǎn)云進(jìn)行歸一化映射到深度圖像空間； 提取表情魯棒區(qū)域步驟，從所映射的深度圖像中提取出表情魯棒區(qū)域； 蓋博響應(yīng)計(jì)算步驟，利用不同尺度和方向的蓋博濾波器對(duì)三維人臉數(shù)據(jù)進(jìn)行不同尺度 和方向的響應(yīng)計(jì)算；以及 直方圖映射計(jì)算步驟，對(duì)于每個(gè)像素獲得的蓋博響應(yīng)向量，與預(yù)存于儲(chǔ)存單元中的視 覺(jué)詞典進(jìn)行直方圖映射，從而得到視覺(jué)詞典直方圖； 識(shí)別步驟，將輸入數(shù)據(jù)的視覺(jué)詞典特征向量與數(shù)據(jù)庫(kù)中存儲(chǔ)的特征向量利用最近鄰分 類(lèi)器進(jìn)行分類(lèi)，從而實(shí)現(xiàn)三維人臉識(shí)別。
5. 如權(quán)利要求4所述的基于三維點(diǎn)云的三維人臉識(shí)別方法，其特征在于，所述特征區(qū) 域檢測(cè)步驟，選擇鼻尖區(qū)域作為特征區(qū)域進(jìn)行定位，所述三維點(diǎn)云特征區(qū)域的各項(xiàng)特性包 括數(shù)據(jù)深度、數(shù)據(jù)密度以及更進(jìn)一步計(jì)算數(shù)據(jù)的三維曲率等內(nèi)在信息，而提取的點(diǎn)云數(shù)據(jù) 的特征包括：高斯曲率、平均曲率、法向量以及數(shù)據(jù)深度值。
6. 如權(quán)利要求5所述的基于三維點(diǎn)云的三維人臉識(shí)別方法，其特征在于，對(duì)鼻尖區(qū)域 進(jìn)行定位主要包括如下步驟： 步驟1，確定域平均負(fù)有效能量密度的閾值，定義為thr ; 步驟2,利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)，所 述一定深度范圍是指最大z值往后一個(gè)范圍（20mm，適用于姿態(tài)不大的數(shù)據(jù)）的z值域； 步驟3,按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平 均負(fù)有效能量密度，選擇其中密度值最大的連通域，對(duì)于每一個(gè)數(shù)據(jù)點(diǎn)P，NP表示該 點(diǎn)的法線向量，Pi表示它的臨近點(diǎn)，則每一個(gè)臨近點(diǎn)的有效能量di的計(jì)算公式為 ,f, !/'. {'·, \r ?： !\ ； 步驟4,當(dāng)該區(qū)域的閾值大于預(yù)定義的thr時(shí)，則確定該區(qū)域即為鼻尖區(qū)域，否則回到 第1步循環(huán)進(jìn)行。
7. 如權(quán)利要求5所述的基于三維點(diǎn)云的三維人臉識(shí)別方法，其特征在于，所述深度圖 像映射步驟中，以空間信息的（x，y)作為映射的參考空間位置，空間信息的z值作為映射對(duì) 應(yīng)數(shù)據(jù)值，構(gòu)建從三維點(diǎn)云到深度圖像的映射。
8. 如權(quán)利要求5所述的基于三維點(diǎn)云的三維人臉識(shí)別裝置，其特征在于，所述蓋博響 應(yīng)計(jì)算步驟中，由蓋博響應(yīng)計(jì)算單元利用已儲(chǔ)存好的不同尺度不同方向的蓋博濾波器系 數(shù)，對(duì)于三維人臉深度圖像進(jìn)行常規(guī)的卷積運(yùn)算，對(duì)于每個(gè)深度圖像像素獲取得到其對(duì)應(yīng) 的蓋博濾波響應(yīng)向量。
9. 如權(quán)利要求5所述的基于三維點(diǎn)云的三維人臉識(shí)別裝置，其特征在于，所述視覺(jué)詞 典是儲(chǔ)存一個(gè)mx η的數(shù)據(jù)矩陣的蓋博響應(yīng)向量組，其中，η為蓋博響應(yīng)向量的維數(shù)，m為獲 取的聚類(lèi)中心的個(gè)數(shù)。
10. 如權(quán)利要求5所述的基于三維點(diǎn)云的三維人臉識(shí)別裝置，其特征在于，所述直方圖 映射計(jì)算步驟中，由直方圖映射計(jì)算單元通過(guò)計(jì)算每個(gè)像素蓋博響應(yīng)后的向量與其距離最 近的視覺(jué)詞匯，構(gòu)建基于視覺(jué)詞典的直方圖描述，所述視覺(jué)詞典的儲(chǔ)存單元中的聚類(lèi)中心 為m個(gè)，則得到的對(duì)于三維人臉數(shù)據(jù)的直方圖描述向量為m維。
【文檔編號(hào)】G06K9/62GK104298995SQ201410189508
【公開(kāi)日】2015年1月21日 申請(qǐng)日期:2014年5月6日 優(yōu)先權(quán)日:2014年5月6日
【發(fā)明者】夏春秋 申請(qǐng)人:深圳市唯特視科技有限公司