基于三維點云的三維人臉性別分類裝置及方法
【專利摘要】本發(fā)明公開一種基于三維點云的三維人臉性別分類裝置及方法，所述裝置包括：對三維點云特征區(qū)域進(jìn)行定位的特征區(qū)域檢測單元；將檢測定位的三維點云歸一化映射到深度圖像空間的深度圖像映射單元；對映射后的深度圖像進(jìn)行LBP特征計算的LBP特征計算單元；以及對LBP特征計算獲得的LBP直方圖特征進(jìn)行性別分類的分類器計算單元。所述方法包括：特征區(qū)域檢測步驟、深度圖像映射步驟、LBP特征計算步驟以及分類步驟。本專利利用LBP直方圖特征準(zhǔn)確描述了三維深度人臉圖像的特性，并利用性別SVM分類器在LBP直方圖特征上實現(xiàn)了準(zhǔn)確分類，分類精度高。本發(fā)明可作為三維人臉性別分類應(yīng)用的解決方案或者作為三維人臉性別分類的粗分類步驟來提升系統(tǒng)精度。
【專利說明】基于三維點云的三維人臉性別分類裝置及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人臉識別【技術(shù)領(lǐng)域】，尤其是指基于三維點云的三維人臉性別分類裝置及方法。
【背景技術(shù)】
[0002]三維人臉識別相對于二維人臉識別，有著其對光照魯棒、受姿態(tài)以及表情等因素影響較小等優(yōu)點，因此，在三維數(shù)據(jù)采集技術(shù)飛速發(fā)展以及三維數(shù)據(jù)的質(zhì)量和精度大大提升之后，很多研究者都將研究重點投入到該領(lǐng)域中。
[0003]其中，2010年12月29日公開的201010256907.6號中國發(fā)明專利申請?zhí)岢隽瞬捎萌S彎曲不變量的相關(guān)特征用來進(jìn)行人臉特性描述的方法，該方法通過編碼三維人臉表面相鄰節(jié)點的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；對所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分，并運用K最近鄰分類方法對三維人臉進(jìn)行識別。但是由于提取變量相關(guān)特征時需要復(fù)雜的計算量，因此在效率上限制了該方法的進(jìn)一步應(yīng)用。
[0004]而2011年5月4日公開的200910197378.4號中國發(fā)明專利申請則提出了一種全自動三維人臉檢測和姿勢糾正的方法，該方法通過對人臉三維曲面進(jìn)行多尺度的矩分析，提出了臉部區(qū)域特征來粗糙地檢測人臉曲面，及提出鼻尖區(qū)域特征來準(zhǔn)確地定位鼻尖的位置，然后進(jìn)一步精確地分割出完整的人臉曲面，根據(jù)人臉曲面的距離信息提出鼻根區(qū)域特征來檢測鼻根的位置后，建立了一個人臉坐標(biāo)系，并據(jù)此自動地進(jìn)行人臉姿勢的糾正應(yīng)用。該方法目的在于對三維人臉數(shù)據(jù)的姿態(tài)進(jìn)行估計，屬于三維人臉識別系統(tǒng)的數(shù)據(jù)預(yù)處理階段。
[0005]三維人臉識別作為三維人臉領(lǐng)域中許多應(yīng)用的基礎(chǔ)性工作，準(zhǔn)確的性別分類不僅可以有效地獲取人臉數(shù)據(jù)中的人臉特性，獲取更多的人臉語義理解信息，同時還可以作為三維人臉識別的一個粗分類步驟，提升識別系統(tǒng)的精度。性別分類的難點在于如何準(zhǔn)確的描述人臉數(shù)據(jù)的性別特性以及如何在特征空間的基礎(chǔ)上實現(xiàn)準(zhǔn)確的分類。然而，上述兩項現(xiàn)有技術(shù)均未涉及對人臉進(jìn)行性別分類識別的技術(shù)手段，相應(yīng)在識別系統(tǒng)的精度上也存在不足而有待改進(jìn)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問題在于，提供一種基于三維點云的三維人臉性別分類裝置，以提升對三維人臉數(shù)據(jù)的識別和分類的精度。
[0007]本發(fā)明進(jìn)一步所要解決的技術(shù)問題在于，提供一種基于三維點云的三維人臉性別分類方法，以提升對三維人臉數(shù)據(jù)的識別和分類的精度。
[0008]為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案:一種基于三維點云的三維人臉性別分類裝置，其包括:
對三維點云特征區(qū)域進(jìn)行定位的特征區(qū)域檢測單元； 將檢測定位的三維點云歸一化映射到深度圖像空間的深度圖像映射單元；
對映射后的深度圖像進(jìn)行LBP特征計算的LBP特征計算單元；以及 對LBP特征計算獲得的LBP直方圖特征進(jìn)行性別分類的分類器計算單元。
[0009]進(jìn)一步地，所述特征區(qū)域檢測單元包括:
針對三維點云特征區(qū)域的特性，提取點云數(shù)據(jù)的相應(yīng)特征的特征提取模塊；
用于存儲特征區(qū)域SVM分類器參數(shù)的特征區(qū)域SVM分類器參數(shù)存儲模塊；以及對特征提取模塊提取的相應(yīng)特征進(jìn)行數(shù)據(jù)點的分類計算，判斷其是否屬于特征區(qū)域的分類器模塊，所述分類器模塊為支持向量機或阿德布斯特分類器。
[0010]進(jìn)一步地，所述深度圖像映射單元包括:
按照深度信息將原始三維點云映射為深度圖像的映射模塊；以及 利用濾波器對獲取的深度圖像的空洞或者噪點信息進(jìn)行去噪的去噪模塊。
[0011]進(jìn)一步地，所述分類器計算單元包括:
用于存儲利用訓(xùn)練集中的三維人臉數(shù)據(jù)進(jìn)行訓(xùn)練獲取的性別SVM分類參數(shù)的性別SVM分類器參數(shù)存儲模塊；以及
在LBP特征計算獲得的LBP直方圖特征基礎(chǔ)上，利用性別SVM分類參數(shù)進(jìn)行計算，實現(xiàn)性別分類的分類器計算模塊。
[0012]另一方面，本發(fā)明還提供一種基于三維點云的三維人臉性別分類方法，包括如下步驟:
特征區(qū)域檢測步驟，對于三維點云特征區(qū)域進(jìn)行定位，作為配準(zhǔn)的基準(zhǔn)數(shù)據(jù)，然后對輸入點云數(shù)據(jù)與基礎(chǔ)人臉數(shù)據(jù)進(jìn)行配準(zhǔn)；
深度圖像映射步驟，然后利用數(shù)據(jù)的三維坐標(biāo)值，將檢測定位的三維點云歸一化映射到深度圖像空間；
LBP特征計算步驟，對映射后的深度圖像進(jìn)行LBP特征計算以獲得的LBP直方圖特征；
以及
分類步驟，對所獲得的LBP直方圖特征進(jìn)行性別分類計算，從而實現(xiàn)三維人臉性別分類。
[0013]進(jìn)一步地，特征區(qū)域檢測步驟中，以鼻尖區(qū)域作為特征區(qū)域進(jìn)行定位，針對三維點云特征區(qū)域的數(shù)據(jù)深度、數(shù)據(jù)密度以及更進(jìn)一步計算數(shù)據(jù)的三維曲率，來提取點云數(shù)據(jù)的相應(yīng)特征。
[0014]進(jìn)一步地，對鼻尖區(qū)域進(jìn)行定位的主要步驟如下:
步驟1，確定域平均負(fù)有效能量密度的閾值，定義為thr ；
步驟2，利用數(shù)據(jù)的深度信息，提取在最大z值往后20mm范圍內(nèi)的z值域內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)；
步驟3，計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息；
步驟4，按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負(fù)有效能量密度，選擇其中密度值最大的連通域；
步驟5，當(dāng)該區(qū)域的閾值大于預(yù)定義的thr時，則確定并定位該區(qū)域為鼻尖區(qū)域，否則回到步驟I循環(huán)繼續(xù)。
[0015]進(jìn)一步地，所述深度圖像映射步驟中，映射模塊按照空間信息的(x，y)作為映射的參考空間位置，空間信息的Z值作為映射對應(yīng)數(shù)據(jù)值，構(gòu)建從三維點云到深度圖像的映射。
[0016]進(jìn)一步地，所述LBP特征計算步驟中，LBP特征計算單元利用ULBP儲存LBP的映射表，對于三維人臉深度圖像LBP特征運算，對于每個深度圖像像素獲取得到其對應(yīng)的LBP紋理特征直方圖向量。
[0017]進(jìn)一步地，分類步驟，對所獲得的LBP直方圖特征，利用性別SVM分類器參數(shù)進(jìn)行性別分類計算，從而實現(xiàn)三維人臉性別分類。
[0018]采用上述技術(shù)方案后，本發(fā)明至少具有如下有益效果:本專利利用LBP直方圖特征，準(zhǔn)確地描述了三維深度人臉圖像的特性，然后利用性別SVM分類器在LBP直方圖特征上實現(xiàn)了準(zhǔn)確分類，分類精度高。本發(fā)明可作為三維人臉性別分類應(yīng)用的一種解決方案，也可作為三維人臉性別分類的一個粗分類步驟以提升系統(tǒng)精度。
【專利附圖】

【附圖說明】
[0019]圖1是本發(fā)明基于三維點云的三維人臉性別分類裝置的系統(tǒng)原理框圖。
[0020]圖2是本發(fā)明基于三維點云的三維人臉性別分類方法的流程圖。
[0021]圖3是本發(fā)明基于三維點云的三維人臉性別分類方法的鼻尖定位過程示意圖。
[0022]圖4是本發(fā)明基于三維點云的三維人臉性別分類方法的不同姿態(tài)的三維人臉配準(zhǔn)示意圖。
[0023]圖5是本發(fā)明基于三維點云的三維人臉性別分類方法的三維人臉數(shù)據(jù)噪音的示意圖。
[0024]圖6是本發(fā)明基于三維點云的三維人臉性別分類方法的三維點云映射到深度圖像的不意圖。
[0025]圖7是本發(fā)明基于三維點云的三維人臉性別分類方法的LBP特征示意圖。
[0026]圖8是本發(fā)明基于三維點云的三維人臉性別分類方法的SVM分類器原理示意圖。
[0027]圖9是本發(fā)明基于三維點云的三維人臉性別分類方法的三維人臉性別分類結(jié)果的示意圖。
【具體實施方式】
[0028]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進(jìn)一步詳細(xì)說明。
[0029]如圖1所示，本發(fā)明提供一種基于三維點云的三維人臉性別分類裝置，其包括:
對三維點云特征區(qū)域進(jìn)行定位的特征區(qū)域檢測單元；
將檢測定位的三維點云歸一化映射到深度圖像空間的深度圖像映射單元；
對映射后的深度圖像進(jìn)行LBP特征計算的LBP特征計算單元；以及 對LBP特征計算獲得的LBP直方圖特征進(jìn)行性別分類的分類器計算單元。
[0030]其中，所述特征區(qū)域檢測單元包括:
針對三維點云特征區(qū)域的特性，提取點云數(shù)據(jù)的相應(yīng)特征的特征提取模塊；
用于存儲特征區(qū)域SVM分類器參數(shù)的特征區(qū)域SVM分類器參數(shù)存儲模塊；以及對特征提取模塊提取的相應(yīng)特征進(jìn)行數(shù)據(jù)點的分類計算，判斷其是否屬于特征區(qū)域的分類器模塊，所述分類器模塊優(yōu)選采用支持向量機或阿德布斯特(Adaboost)分類器。[0031]而所述深度圖像映射單元進(jìn)一步包括:
按照深度信息將原始三維點云映射為深度圖像的映射模塊；以及 利用濾波器對獲取的深度圖像的空洞或者噪點信息進(jìn)行去噪的去噪模塊。
[0032]所述分類器計算單元包括:
用于存儲利用訓(xùn)練集中的三維人臉數(shù)據(jù)進(jìn)行訓(xùn)練獲取的性別SVM分類參數(shù)的性別SVM分類器參數(shù)存儲模塊；以及
在LBP特征計算獲得的LBP直方圖特征基礎(chǔ)上，利用性別SVM分類參數(shù)進(jìn)行計算，實現(xiàn)性別分類的分類器計算模塊。
[0033]另一方面，如圖2所示，本發(fā)明還提供一種基于三維點云的三維人臉性別分類方法，包括如下步驟:
特征區(qū)域檢測步驟，對于三維點云特征區(qū)域進(jìn)行定位，作為配準(zhǔn)的基準(zhǔn)數(shù)據(jù)，然后對輸入點云數(shù)據(jù)與基礎(chǔ)人臉數(shù)據(jù)進(jìn)行配準(zhǔn)；
深度圖像映射步驟，然后利用數(shù)據(jù)的三維坐標(biāo)值，將檢測定位的三維點云歸一化映射到深度圖像空間；
LBP特征計算步驟，對映射后的深度圖像進(jìn)行LBP特征計算以獲得的LBP直方圖特征；
以及
分類步驟，對所獲得的LBP直方圖特征進(jìn)行性別分類計算，從而實現(xiàn)三維人臉性別分類。
[0034]進(jìn)一步地，特征區(qū)域檢測步驟中，由于鼻尖區(qū)域具有空點密度大，曲率明顯等特性，通常是以鼻尖區(qū)域作為特征區(qū)域進(jìn)行定位，針對三維點云特征區(qū)域的數(shù)據(jù)深度、數(shù)據(jù)密度以及更進(jìn)一步計算數(shù)據(jù)的三維曲率，來提取點云數(shù)據(jù)的相應(yīng)特征。
[0035]而結(jié)合圖3所示，對鼻尖區(qū)域進(jìn)行定位的主要步驟如下:
步驟1，確定域平均負(fù)有效能量密度的閾值，定義為thr ；
步驟2，利用數(shù)據(jù)的深度信息，提取在最大z值往后20mm范圍內(nèi)的z值域內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)；
步驟3，計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息；
步驟4，按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負(fù)有效能量密度，選擇其中密度值最大的連通域；
步驟5，當(dāng)該區(qū)域的閾值大于預(yù)定義的thr時，則確定并定位該區(qū)域為鼻尖區(qū)域，否則回到步驟I循環(huán)繼續(xù)。
[0036]在所述深度圖像映射步驟中，映射模塊按照空間信息的(X，y)作為映射的參考空間位置，空間信息的z值作為映射對應(yīng)數(shù)據(jù)值，構(gòu)建從三維點云到深度圖像的映射。對于不同姿態(tài)的三維數(shù)據(jù)，得到配準(zhǔn)的參考區(qū)域后，按照ICP算法進(jìn)行數(shù)據(jù)的配準(zhǔn)，配準(zhǔn)前后的對比如圖4所示。ICP算法是一個本領(lǐng)域中較常用的求最小均方誤差的最優(yōu)化算法，假設(shè)已經(jīng)得到匹配數(shù)據(jù)集合對P和Q，則該算法主要步驟如下:
1、計算3*3的矩陣

",.1/:::工刺;,其中N是數(shù)據(jù)集合的容量。

I I
[0037]2、做H矩陣的SVD分解
【權(quán)利要求】
1.一種基于三維點云的三維人臉性別分類裝置，其特征在于，其包括: 對三維點云特征區(qū)域進(jìn)行定位的特征區(qū)域檢測單元； 將檢測定位的三維點云歸一化映射到深度圖像空間的深度圖像映射單元； 對映射后的深度圖像進(jìn)行LBP特征計算的LBP特征計算單元；以及 對LBP特征計算獲得的LBP直方圖特征進(jìn)行性別分類的分類器計算單元。
2.如權(quán)利要求1所述的基于三維點云的三維人臉性別分類裝置，其特征在于，所述特征區(qū)域檢測單元包括: 針對三維點云特征區(qū)域的特性，提取點云數(shù)據(jù)的相應(yīng)特征的特征提取模塊； 用于存儲特征區(qū)域SVM分類器參數(shù)的特征區(qū)域SVM分類器參數(shù)存儲模塊；以及對特征提取模塊提取的相應(yīng)特征進(jìn)行數(shù)據(jù)點的分類計算，判斷其是否屬于特征區(qū)域的分類器模塊，所述分類器模塊為支持向量機或阿德布斯特分類器。
3.如權(quán)利要求1所述的基于三維點云的三維人臉性別分類裝置，其特征在于，所述深度圖像映射單元包括: 按照深度信息將原始三維點云映射為深度圖像的映射模塊；以及 利用濾波器對獲取的深度圖像的空洞或者噪點信息進(jìn)行去噪的去噪模塊。
4.如權(quán)利要求1所 述的基于三維點云的三維人臉性別分類裝置，其特征在于，所述分類器計算單元包括: 用于存儲利用訓(xùn)練集中的三維人臉數(shù)據(jù)進(jìn)行訓(xùn)練獲取的性別SVM分類參數(shù)的性別SVM分類器參數(shù)存儲模塊；以及 在LBP特征計算獲得的LBP直方圖特征基礎(chǔ)上，利用性別SVM分類參數(shù)進(jìn)行計算，實現(xiàn)性別分類的分類器計算模塊。
5.一種基于三維點云的三維人臉性別分類方法，其特征在于，包括如下步驟: 特征區(qū)域檢測步驟，對于三維點云特征區(qū)域進(jìn)行定位，作為配準(zhǔn)的基準(zhǔn)數(shù)據(jù)，然后對輸入點云數(shù)據(jù)與基礎(chǔ)人臉數(shù)據(jù)進(jìn)行配準(zhǔn)； 深度圖像映射步驟，然后利用數(shù)據(jù)的三維坐標(biāo)值，將檢測定位的三維點云歸一化映射到深度圖像空間； LBP特征計算步驟，對映射后的深度圖像進(jìn)行LBP特征計算以獲得的LBP直方圖特征；以及 分類步驟，對所獲得的LBP直方圖特征進(jìn)行性別分類計算，從而實現(xiàn)三維人臉性別分類。
6.如權(quán)利要求5所述的基于三維點云的三維人臉性別分類方法，其特征在于，特征區(qū)域檢測步驟中，以鼻尖區(qū)域作為特征區(qū)域進(jìn)行定位，針對三維點云特征區(qū)域的數(shù)據(jù)深度、數(shù)據(jù)密度以及更進(jìn)一步計算數(shù)據(jù)的三維曲率，來提取點云數(shù)據(jù)的相應(yīng)特征。
7.如權(quán)利要求6所述的基于三維點云的三維人臉性別分類方法，其特征在于，對鼻尖區(qū)域進(jìn)行定位的主要步驟如下: 步驟1，確定域平均負(fù)有效能量密度的閾值，定義為thr ； 步驟2，利用數(shù)據(jù)的深度信息，提取在最大z值往后20mm范圍內(nèi)的z值域內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)； 步驟3，計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息；步驟4，按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負(fù)有效能量密度，選擇其中密度值最大的連通域； 步驟5，當(dāng)該區(qū)域的閾值大于預(yù)定義的thr時，則確定并定位該區(qū)域為鼻尖區(qū)域，否則回到步驟I循環(huán)繼續(xù)。
8.如權(quán)利要求5所述的基于三維點云的三維人臉性別分類方法，其特征在于，所述深度圖像映射步驟中，映射模塊按照空間信息的(X，y)作為映射的參考空間位置，空間信息的z值作為映射對應(yīng)數(shù)據(jù)值，構(gòu)建從三維點云到深度圖像的映射。
9.如權(quán)利要求5所述的基于三維點云的三維人臉性別分類方法，其特征在于，所述LBP特征計算步驟中，LBP特征計算單元利用ULBP儲存LBP的映射表，對于三維人臉深度圖像LBP特征運算，對于每個深度圖像像素獲取得到其對應(yīng)的LBP紋理特征直方圖向量。
10.如權(quán)利要求5所述的基于三維點云的三維人臉性別分類方法，其特征在于，分類步驟，對所獲得的LBP直方圖特征，利用性別SVM分類器參數(shù)進(jìn)行性別分類計算，從而實現(xiàn)三維人臉性 別分類。
【文檔編號】G06K9/62GK103996052SQ201410198309
【公開日】2014年8月20日 申請日期:2014年5月12日 優(yōu)先權(quán)日:2014年5月12日
【發(fā)明者】夏春秋 申請人:深圳市唯特視科技有限公司