三維人臉圖像特征提取方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人臉圖像處理技術(shù)，特別是涉及一種H維人臉圖像特征提取方法和系 統(tǒng)。
【背景技術(shù)】
[0002] 人臉識別和情感分析是生物特征識別系統(tǒng)中的兩個(gè)重要分支，在遠(yuǎn)程通信、醫(yī)療 救援和智能監(jiān)控中具有廣泛的應(yīng)用。傳統(tǒng)技術(shù)中，H維人臉圖像特征提取通常僅僅是單獨(dú) 滿足于人臉識別或者情感分析。例如，對于H維人臉識別，傳統(tǒng)技術(shù)中有將一張人臉分為一 組區(qū)域，通過單獨(dú)選配不同的區(qū)域，進(jìn)行結(jié)果的融合來提高識別性能，也有使用人臉對稱來 克服大姿態(tài)變換，提出了一種自動(dòng)界標(biāo)探測器來估計(jì)姿態(tài)和檢測遮擋區(qū)域。但該些方法更 多的是關(guān)注人臉識別上而不是人臉表情描述上。對于人臉表情的描述，傳統(tǒng)技術(shù)有使用人 臉動(dòng)作編碼系統(tǒng)來作為一個(gè)人臉表情表示用于人臉表情分析中，但該方法關(guān)也的是人臉表 情的描述，不能辨別不同的個(gè)體。
[0003] 然而，越來越多的實(shí)踐要求不再單獨(dú)滿足于人臉識別或情感分析，而是需要同時(shí) 區(qū)分個(gè)體和表情，即要同時(shí)滿足于人臉識別和情感分析。

【發(fā)明內(nèi)容】

[0004] 基于此，有必要針對上述技術(shù)問題，提供一種能同時(shí)滿足人臉識別和情感分析的 H維人臉圖像特征提取方法和系統(tǒng)。
[0005] -種H維人臉圖像特征提取方法，所述方法包括：
[0006] 人臉區(qū)域分割，得到一組人臉區(qū)域；
[0007] 將每個(gè)人臉區(qū)域投射到對應(yīng)的區(qū)域邊界球；
[0008] 根據(jù)所述區(qū)域邊界球獲取對應(yīng)的人臉區(qū)域的表示，記為所述人臉區(qū)域的區(qū)域邊界 球描述子；
[0009] 對每個(gè)人臉區(qū)域計(jì)算所述人臉區(qū)域的區(qū)域邊界球描述子的權(quán)重；
[0010] 根據(jù)所述人臉區(qū)域的表示和對應(yīng)的所述權(quán)重獲取H維人臉圖像的特征。
[0011] 一種H維人臉圖像特征提取系統(tǒng)，所述系統(tǒng)包括：
[0012] 區(qū)域分割模塊，用于進(jìn)行人臉區(qū)域分割，得到一組人臉區(qū)域；
[0013] 投射模塊，用于將每個(gè)人臉區(qū)域投射到對應(yīng)的區(qū)域邊界球；
[0014] 人臉區(qū)域表示模塊，用于根據(jù)所述區(qū)域邊界球獲取對應(yīng)的人臉區(qū)域的表示，記為 所述人臉區(qū)域的區(qū)域邊界球描述子；
[0015] 權(quán)重計(jì)算模塊，用于對每個(gè)人臉區(qū)域計(jì)算所述人臉區(qū)域的區(qū)域邊界球描述子的權(quán) 重；
[0016] 特征提取模塊，用于根據(jù)所述人臉區(qū)域的表示和對應(yīng)的所述權(quán)重獲取H維人臉圖 像的特征。
[0017] 上述H維人臉圖像特征提取方法和系統(tǒng)，通過將每個(gè)人臉區(qū)域投射到對應(yīng)的區(qū)域 邊界球，根據(jù)區(qū)域邊界球獲取對應(yīng)的人臉區(qū)域的表示，記為人臉區(qū)域的區(qū)域邊界球描述子， 該區(qū)域邊界球描述子能有效反映不同人臉區(qū)域的表面區(qū)域形狀特征，并結(jié)合每個(gè)人臉區(qū)域 的區(qū)域邊界球描述子的權(quán)重進(jìn)行特征提取，使得人臉區(qū)域的區(qū)域邊界球描述子能夠基于人 臉的辨別力和表情的描述力進(jìn)行加權(quán)，從而使得提取的H維人臉圖像的特征能夠同時(shí)滿足 于人臉識別和情感分析。
【附圖說明】
[0018] 圖1為一個(gè)實(shí)施例中H維人臉圖像特征提取方法的流程示意圖；
[0019] 圖2為一個(gè)實(shí)施例中人臉區(qū)域分割示意圖；
[0020] 圖3為一個(gè)實(shí)施例中對原始H維人臉點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理的示意圖；
[0021] 圖4為一個(gè)實(shí)施例中人臉表面的區(qū)域邊界球表示的示意圖；
[0022] 圖5為一個(gè)實(shí)施例中H維人臉圖像特征提取系統(tǒng)的結(jié)構(gòu)框圖；
[0023] 圖6為一個(gè)實(shí)施例中區(qū)域分割模塊的結(jié)構(gòu)框圖；
[0024] 圖7為另一個(gè)實(shí)施例中H維人臉圖像特征提取系統(tǒng)的結(jié)構(gòu)框圖；
[00巧]圖8為一個(gè)實(shí)施例中預(yù)處理模塊的結(jié)構(gòu)框圖；
[0026] 圖9為一個(gè)實(shí)施例中歸一化處理模塊的結(jié)構(gòu)框圖；
[0027] 圖10為一個(gè)實(shí)施例中圖像對齊模塊的結(jié)構(gòu)框圖；
[0028] 圖11為一個(gè)實(shí)施例中權(quán)重計(jì)算模塊的結(jié)構(gòu)框圖；
[0029] 圖12為再一個(gè)實(shí)施例中H維人臉圖像特征提取系統(tǒng)的結(jié)構(gòu)框圖；
[0030] 圖13為一個(gè)實(shí)施例中用于H維人臉識別和表情分析的框架圖；
[0031] 圖14為在不同測試集中的在FRGC3D人臉數(shù)據(jù)上的R0C曲線的示意圖；
[0032] 圖15為比較十個(gè)特征的描述能力的示意圖；
[0033] 圖16為比較不同特征下的識別率的示意圖；
[0034] 圖17為比較特征6和特征10在不同表情中的識別率的示意圖。
【具體實(shí)施方式】
[0035] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，W下結(jié)合附圖及實(shí)施例，對 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用W解釋本發(fā)明，并 不用于限定本發(fā)明。
[0036] 如圖1所示，在一個(gè)實(shí)施例中，提供了一種H維人臉圖像特征提取方法，該方法包 括：
[0037] 步驟102,人臉區(qū)域分割，得到一組人臉區(qū)域。
[0038] 本實(shí)施例中，可獲取經(jīng)過了預(yù)處理后的H維人臉圖像，經(jīng)過了預(yù)處理后的H維人 臉圖像與參考人臉模型對齊。然后，可利用從參考人臉模型中提取的形狀帶，來對輸入的H 維人臉圖像進(jìn)行區(qū)域分割。
[0039] 步驟104,將每個(gè)人臉區(qū)域投射到對應(yīng)的區(qū)域邊界球。
[0040] 本實(shí)施例中，對于H維人臉圖像中的每個(gè)人臉區(qū)域，使用區(qū)域邊界球描述子作為 人臉區(qū)域上的點(diǎn)云數(shù)據(jù)的相對位置的投影，成像為區(qū)域邊界球，區(qū)域邊界球的球也則為對 應(yīng)的人臉區(qū)域的質(zhì)也點(diǎn)。也就是，在步驟104中，對每個(gè)人臉區(qū)域做投影，不同的人臉區(qū)域 會(huì)成像為不同的區(qū)域邊界球，并且，成像得到的區(qū)域邊界球的球也為對應(yīng)的人臉區(qū)域的質(zhì) 也點(diǎn)，確定了區(qū)域邊界球后，則可W使用該區(qū)域邊界球上的點(diǎn)的值來表示人臉區(qū)域。區(qū)域邊 界球描述子（regionalboundingsphericaldescriptor,簡稱RBSR)也就是區(qū)域邊界球上 的點(diǎn)的值所構(gòu)成的、用來表示對應(yīng)人臉區(qū)域的描述因子，意思是采用區(qū)域邊界球該種表示 方式來描述人臉區(qū)域。本發(fā)明實(shí)施例中，采用區(qū)域邊界球描述子來表示人臉區(qū)域。
[0041] 步驟106,根據(jù)區(qū)域邊界球獲取對應(yīng)的人臉區(qū)域的表示，記為人臉區(qū)域的區(qū)域邊界 球描述子。
[0042] 人臉區(qū)域可使用人臉區(qū)域上的點(diǎn)的值所組成的向量進(jìn)行表示，也就是人臉區(qū)域的 區(qū)域邊界球描述子為人臉區(qū)域上的點(diǎn)的值所組成的向量，對人臉區(qū)域上的點(diǎn)進(jìn)行定義即可 得到人臉區(qū)域的區(qū)域邊界球描述子。本實(shí)施例中，可定義人臉區(qū)域上的點(diǎn)的值為人臉區(qū)域 對應(yīng)的區(qū)域邊界球上的點(diǎn)的值，而區(qū)域邊界球上的點(diǎn)的值為人臉區(qū)域上的點(diǎn)與人臉區(qū)域的 質(zhì)也點(diǎn)之間的距離和對應(yīng)的區(qū)域邊界球的半徑的比值。
[0043] 步驟108,對每個(gè)人臉區(qū)域計(jì)算人臉區(qū)域的區(qū)域邊界球描述子的權(quán)重。
[0044] 由于每個(gè)人臉區(qū)域的表面特征都不一樣，因此需要根據(jù)不同的人臉區(qū)域?qū)^(qū)域邊 界球描述子進(jìn)行加權(quán)。交互信息可W有效的反映人臉的辨別力和表情描述力，人臉的辨別 力可用于區(qū)分不同的人臉，即人臉識別，人臉的表情描述力則可用于區(qū)分人臉的不同表情， 即情感分析。本實(shí)施例中，可獲取人臉區(qū)域的區(qū)域邊界球描述子與人臉區(qū)域之間的交互信 息，W及不同人臉區(qū)域的區(qū)域邊界球描述子之間的交互信息，由于該些信息能反映人臉的 辨別力和表情描述，因此，結(jié)合該些交互信息，并獲取預(yù)先提供給每個(gè)人臉區(qū)域的標(biāo)注信 息，能夠計(jì)算得到人臉區(qū)域的區(qū)域邊界球描述子的權(quán)重。
[0045] 步驟110,根據(jù)人臉區(qū)域的表示和對應(yīng)的區(qū)域邊界球描述子的權(quán)重獲取H維人臉 圖像的特征。
[0046] H維人臉圖像的特征是由所有人臉區(qū)域的表示組成的，由于人臉區(qū)域可使用區(qū)域 邊界球描述子來表示，且不同的人臉區(qū)域的區(qū)域邊界球描述子具有不同的權(quán)重，因此，本實(shí) 施例中，提取的H維人臉圖像的特征可W是所有人臉區(qū)域的區(qū)域邊界球描述子進(jìn)行加權(quán)后 的總和。
[0047] 本實(shí)施例中，通過將每個(gè)人臉區(qū)域投射到對應(yīng)的區(qū)域邊界球，根據(jù)區(qū)域邊界球獲 取對應(yīng)的人臉區(qū)域的表示，記為人臉區(qū)域的區(qū)域邊界球描述子，該區(qū)域邊界球描述子能有 效反映不同人臉區(qū)域的表面區(qū)域形狀特征，并結(jié)合每個(gè)人臉區(qū)域的區(qū)域邊界球描述子的權(quán) 重進(jìn)行特征提取，使得人臉區(qū)域的區(qū)域邊界球描述子能夠基于人臉的辨別力和表情的描述 力進(jìn)行加權(quán)，從而能夠同時(shí)滿足于人臉識別和情感分析。
[0048] 在一個(gè)實(shí)施例中，進(jìn)行H維人臉區(qū)域分割后得到的一組人臉區(qū)域包括鼻子、左眼、 右眼、左臉頰、右臉頰、前額和嘴己走個(gè)區(qū)域。下面詳細(xì)描述如何分割出該走個(gè)區(qū)域。
[0049] 結(jié)合圖2所示，獲取到的H維人臉圖像可優(yōu)選為經(jīng)過了預(yù)處理后的H維人臉圖 像，預(yù)處理可W將原始的H維人臉圖像去除掉一些非人臉區(qū)域，并將H維人臉圖像上的主 要器官位置對齊后，將H維人臉圖像與參考人臉模型進(jìn)行對齊。經(jīng)過了預(yù)處理的人臉圖像 不僅能夠提高人臉區(qū)域分割的精確度，也能節(jié)省計(jì)算成本。
[0050] 具體的，人臉區(qū)域分割的過程包括：獲取與參考人臉模型對齊后的H維人臉圖像； 獲取從參考人臉模型中提取的不同人臉區(qū)域的形狀帶，從H維人臉圖像中分割出鼻子區(qū) 域、左眼區(qū)域、右眼區(qū)域、嘴己區(qū)域；w及根據(jù)分割出的鼻子區(qū)域、左眼區(qū)域、眼睛區(qū)域和嘴 己區(qū)域分割出H維人臉圖像中的前額區(qū)域、左臉頰區(qū)域和右臉頰區(qū)域。
[0051] 進(jìn)一步的，人臉區(qū)域分割的過程包括：
[0052] (1)獲取與參考人臉模型對齊后的H維人臉圖像。
[0053] (2)檢測出H維人臉圖像上的鼻尖點(diǎn)，獲取從參考人臉模型中提取的鼻子區(qū)域的 形狀帶，根據(jù)鼻尖點(diǎn)和提取的鼻子區(qū)域的形狀帶分割出H維人臉圖像中的鼻子區(qū)域。
[0054] 本發(fā)明實(shí)施例中的參考人臉模型，可選取一幅正面無表情變化的H維人臉圖像。 本實(shí)施例中，可首先檢測H維人臉圖像上的人臉中也側(cè)影線即面部對稱軸，然后在該面部 對稱軸上搜索鼻尖點(diǎn)。由于面部主要器官區(qū)域如眼窩、外眼角和鼻尖的幾何形狀索引特征 顯示出一定的聚焦性，便于與周圍區(qū)域分開，可W結(jié)合人臉表面形狀的先驗(yàn)信息和形狀索 引值進(jìn)行面部關(guān)鍵點(diǎn)定位。為了提取面部對稱軸，可采用基于表面曲率的形狀索引值作為 對稱描述符，它對旋轉(zhuǎn)和平移具有不變性。對于H維人臉表面上的每個(gè)點(diǎn)，給定最大曲率值 ki和最小曲率值k,，可W計(jì)算表面點(diǎn)Pi的形狀索引值為：
[00巧]
(1)
[0056] 左/右外側(cè)鼻基點(diǎn)可使用形狀索引值檢測到，鼻子邊界處馬鞍狀幾何區(qū)域具有形 狀索引值近似0. 375的特性，因此可W根據(jù)表面點(diǎn)的形狀索引值提取出類似馬鞍狀的鼻子 邊界線。搜索到鼻尖點(diǎn)后，即可根據(jù)從參考人臉模型中提取的鼻子區(qū)域的形狀帶來確定H 維人臉圖像上的鼻子的邊界輪廓，從而分割出H維人臉圖像中的鼻子區(qū)域。形狀帶是模型 目標(biāo)對象（即參考人臉模型）在輪廓內(nèi)的特定帶寬數(shù)據(jù)。采用形狀索引值提取鼻子邊界線， 易于提取較低的鼻子邊界輪廓，沿著鼻子邊界線最左和最右的鼻子邊界點(diǎn)分別作為最左和 最右像素。
[0057] (3)分別檢測出H維人臉圖像上的左眼和右眼的內(nèi)眼角位置，獲取從參考人臉模 型中提取的眼睛區(qū)域的形狀帶，根據(jù)內(nèi)眼角位置和提取出的眼睛區(qū)域的形狀帶分割出H維 人臉圖像中的左眼區(qū)域和右眼區(qū)域。
[0058] 由于左/右內(nèi)眼角位置的點(diǎn)位于鼻子W上區(qū)域，且具有似圓錐的形狀結(jié)構(gòu)，其特 點(diǎn)是該位置的高斯曲率值近似為零。可使用一個(gè)3*3的搜索窗口在人臉區(qū)域上進(jìn)行搜索， 比如，在鼻尖W上區(qū)域進(jìn)行搜索。當(dāng)搜索到鼻尖W上區(qū)域且高斯曲率值近似為零的區(qū)域，貝U 為內(nèi)眼角位置。獲取到兩個(gè)內(nèi)眼角位置后，則可結(jié)合從參考人臉模型中提取的眼睛區(qū)域的 形狀帶來確定左眼區(qū)域和右眼區(qū)域。
[0059] (4)獲取從