一種自適應(yīng)的人臉低層特征選擇方法及人臉屬性識(shí)別方法
【專利摘要】本發(fā)明公開(kāi)了一種自適應(yīng)的人臉低層特征選擇方法及人臉屬性識(shí)別方法。本方法為：1）根據(jù)待檢測(cè)的屬性，選取一屬性標(biāo)注的人臉圖像樣本數(shù)據(jù)庫(kù)；2）對(duì)每一樣本進(jìn)行底層特征提取，即根據(jù)待檢測(cè)屬性對(duì)人臉圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，確定目標(biāo)窗口；用多個(gè)矩形區(qū)域覆蓋該目標(biāo)窗口；用多種低層的描述子分別對(duì)每一矩形區(qū)域內(nèi)進(jìn)行特征提取，得到該樣本的基礎(chǔ)特征庫(kù)；用自適應(yīng)的提升方法選擇基礎(chǔ)特征，將所選基礎(chǔ)特征組合成長(zhǎng)特征作為該樣本的底層特征；3）對(duì)所有樣本的底層特征進(jìn)行訓(xùn)練，生成一支持向量機(jī)的人臉屬性識(shí)別模型；4）對(duì)任一待屬性識(shí)別的人臉圖像，提取其底層特征，利用該人臉屬性識(shí)別模型得到其人臉屬性信息。本發(fā)明大大提高了屬性識(shí)別的準(zhǔn)確性。
【專利說(shuō)明】一種自適應(yīng)的人臉低層特征選擇方法及人臉屬性識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理及人臉識(shí)別【技術(shù)領(lǐng)域】，涉及圖像特征提取和特征選擇，具體涉及一種一種自適應(yīng)的人臉低層特征選擇方法及人臉屬性識(shí)別方法，可應(yīng)用于人臉/ 一般物體屬性識(shí)別分析。
【背景技術(shù)】
[0002]目前人臉識(shí)別檢測(cè)技術(shù)在各領(lǐng)域得到廣泛應(yīng)用，成為當(dāng)前的一項(xiàng)研究熱點(diǎn)，比如申請(qǐng)?zhí)?01210313721.9、名稱“人臉識(shí)別方法”的專利文獻(xiàn)，申請(qǐng)?zhí)?01210310643.7、名稱“一種人臉識(shí)別方法及其系統(tǒng)”的專利文獻(xiàn)。
[0003]人臉表征(face representation),即從原始自然圖像中提取可供計(jì)算機(jī)運(yùn)算分析的特征向量或特征圖，是人臉識(shí)別系統(tǒng)中最重要的一環(huán)。比如申請(qǐng)?zhí)?01310115471.2、名稱“一種人臉自動(dòng)標(biāo)注方法及系統(tǒng)”首先從截取的視頻中檢測(cè)出人臉，獲取人臉圖片集合，然后過(guò)濾出人臉圖片集合，同時(shí)，獲取相鄰幀圖片的HSV顏色直方圖差值，采用空間顏色直方圖的鏡頭邊緣檢測(cè)算法進(jìn)行鏡頭分割，對(duì)來(lái)自相鄰幀的人臉，檢測(cè)第一幀的目標(biāo)區(qū)域內(nèi)角點(diǎn)，并使用局部匹配的方法將這些角點(diǎn)遞延給下一幀，并進(jìn)行相應(yīng)的更新，并統(tǒng)計(jì)匹配個(gè)數(shù)，依據(jù)匹配個(gè)數(shù)的閾值，依此進(jìn)行下去獲取人臉序列。然后通過(guò)唇動(dòng)檢測(cè)模塊根據(jù)人臉序列中說(shuō)話人的唇動(dòng)檢測(cè)出說(shuō)話人和未說(shuō)話人，將說(shuō)話人、說(shuō)話內(nèi)容及說(shuō)話時(shí)間三者融合進(jìn)行標(biāo)注；最后，讀入每個(gè)序列上的人臉，逐個(gè)定位，再根據(jù)定位結(jié)果進(jìn)行仿射變換，并提取變換后特征點(diǎn)附近固定大小圓形區(qū)域內(nèi)的像素灰度值，作為該人臉特征。申請(qǐng)?zhí)?01110390185.8的專利文獻(xiàn)公開(kāi)了一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，再進(jìn)行如下處理:(I)預(yù)處理；(2)對(duì)經(jīng)過(guò)預(yù)處理的圖像進(jìn)行低層特征提取，獲得空間顯著圖和頻域顯著圖；(3)對(duì)經(jīng)過(guò)預(yù)處理的圖像進(jìn)行高層語(yǔ)義特征提取，獲得人臉顯著圖；(4)對(duì)步驟(2)和步驟(3)獲得的空間顯著圖、頻域顯著圖和人臉顯著圖進(jìn)行中心聚集化操作，獲得綜合顯著圖；(5)根據(jù)綜合顯著圖對(duì)待處理的源圖像進(jìn)行分割處理，提取出顯著區(qū)域。
[0004]人臉表征算法的好壞，直接決定了生成的人臉特征的描述性、區(qū)分性及有效性，進(jìn)而將影響到最終人臉識(shí)別系統(tǒng)的性能?，F(xiàn)有的低層特征選擇主要通過(guò)特征降維或抽取稀疏角點(diǎn)處的特征實(shí)現(xiàn)。特征降維，比如PCA(Principal Component Analysis),對(duì)圖像的對(duì)齊和歸一化有嚴(yán)格要求；如果圖像有旋轉(zhuǎn)變換，PCA甚至可以完全失效。在圖像中，有描述性的區(qū)域往往在梯度較大的角點(diǎn)處出現(xiàn)，抽取稀疏角點(diǎn)處的特征理論上可以實(shí)現(xiàn)圖像表征的效果。但這一方法對(duì)角點(diǎn)判斷的準(zhǔn)確性要求很高，故人臉表情、朝向、光照的變化會(huì)影響特征的描述能力。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對(duì)上述問(wèn)題，提出了一種基于提升方法的自適應(yīng)的人臉低層特征選擇方法及人臉屬性識(shí)別方法，可對(duì)不同的應(yīng)用場(chǎng)景自適應(yīng)的學(xué)習(xí)出有效的特征，用于特征空間中的人臉表示。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
[0007]—種基于提升方法的自適應(yīng)的人臉低層特征選擇方法，其步驟包括:
[0008]I)確定分析的目標(biāo)窗口并對(duì)人臉圖像進(jìn)行預(yù)處理；
[0009]2)根據(jù)應(yīng)用場(chǎng)景的不同，用密集的不同大小并且相互重疊的矩形區(qū)域覆蓋圖像區(qū)域；
[0010]3)用多種低層的描述子表示每個(gè)矩形區(qū)域內(nèi)的圖像，構(gòu)建特征庫(kù)；
[0011]4)對(duì)單個(gè)特征訓(xùn)練基礎(chǔ)分類器，基于自適應(yīng)的提升方法進(jìn)行基礎(chǔ)特征的選擇；
[0012]5)組合選取的基礎(chǔ)特征，并訓(xùn)練最終的特征分類器，進(jìn)而的得到人臉低層特征的選擇結(jié)果。
[0013]進(jìn)一步地，步驟I)首先針對(duì)不同的應(yīng)用場(chǎng)景構(gòu)建不同的學(xué)習(xí)數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)庫(kù)的樣本進(jìn)行物體檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)，以確定分析的目標(biāo)窗口。
[0014]進(jìn)一步地，步驟I)所述預(yù)處理包括對(duì)圖像進(jìn)行增強(qiáng)、放縮等處理。
[0015]進(jìn)一步地，步驟3)所述多種低層的描述子包括HOG，ULBP，Gabor，SIFT等；任意一個(gè)區(qū)域被一個(gè)描述子表示成一個(gè)基礎(chǔ)特征，每個(gè)樣本所有的基礎(chǔ)特征總長(zhǎng)可能達(dá)到數(shù)十萬(wàn)維。
[0016]進(jìn)一步地，步驟4)所述用自適應(yīng)的提升方法選擇基礎(chǔ)特征，每一級(jí)的提升選出一個(gè)基礎(chǔ)特征；每一級(jí)過(guò)程如下:
[0017]隨機(jī)抽取一部分未選擇的基礎(chǔ)特征；
[0018]隨機(jī)抽取一部分樣本，每個(gè)樣本被抽到的概率和樣本的權(quán)值相關(guān)；
[0019]在抽取的樣本上訓(xùn)練基礎(chǔ)分類器；
[0020]比較基礎(chǔ)分類器的分類效率，選擇效率最高的分類器，它對(duì)應(yīng)的基礎(chǔ)特征被選出；
[0021]根據(jù)選出的分類器的分類結(jié)果更新所有樣本的權(quán)值:增加被錯(cuò)誤分類的樣本的權(quán)值，降低被正確分類的樣本的權(quán)值；
[0022]進(jìn)一步地，步驟5)連接選出的基礎(chǔ)特征連接，組合成長(zhǎng)特征；根據(jù)不同的應(yīng)用場(chǎng)景、樣本類型(定類變量、定序變量，定距變量)選擇不同策略訓(xùn)練分類器(一對(duì)一、一對(duì)多、樹(shù)型分類器、OHRank)。
[0023]一種人臉屬性識(shí)別方法，其步驟為:
[0024]I)根據(jù)待檢測(cè)的屬性，選取一屬性標(biāo)注的人臉圖像樣本數(shù)據(jù)庫(kù)；
[0025]2)對(duì)于每一樣本進(jìn)行底層特征提取，即
[0026]21)根據(jù)待檢測(cè)屬性對(duì)人臉圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，確定底層特征提取的目標(biāo)窗Π ；
[0027]22)用多個(gè)不同大小、不同位置的相互重疊的矩形區(qū)域覆蓋該目標(biāo)窗口 ；
[0028]23)用多種低層的描述子分別對(duì)每一矩形區(qū)域內(nèi)的圖像進(jìn)行特征提取，將每一描述子對(duì)每一矩形區(qū)域提取的特征記錄為一基礎(chǔ)特征，得到該樣本的基礎(chǔ)特征庫(kù)；
[0029]24)用自適應(yīng)的提升方法選擇該基礎(chǔ)特征，每一級(jí)的提升選出一個(gè)基礎(chǔ)特征；
[0030]25)將所選的基礎(chǔ)特征組合成長(zhǎng)特征，作為該樣本的底層特征；
[0031]3)利用機(jī)器學(xué)習(xí)算法對(duì)所有樣本的所述底層特征進(jìn)行訓(xùn)練，生成一支持向量機(jī)的人臉屬性識(shí)別模型；
[0032]4)對(duì)任意一張待屬性識(shí)別的人臉圖像，提取其所述底層特征，利用該人臉屬性識(shí)別模型得到其人臉屬性信息。
[0033]與現(xiàn)有技術(shù)相比，本發(fā)明的積極之處在于:
[0034]I)本發(fā)明提出一種有效的特征選擇方法，從數(shù)十萬(wàn)甚至百萬(wàn)的底層弱特征中經(jīng)過(guò)層層迭代篩選，選取其中最有分辨力的組成最終的分類器。更重要的是，該發(fā)明將經(jīng)典算法Adaboost算法用在特征選擇的過(guò)程中，通過(guò)調(diào)節(jié)那些被錯(cuò)誤分類的樣本的權(quán)重，使得后一步迭代選擇的特征更加聚焦在這些錯(cuò)誤的樣本上，即后一步迭代選出的特征實(shí)際上是對(duì)前面已選特征的補(bǔ)充。因此，最終選出的特征之間的互補(bǔ)性非常強(qiáng)，帶來(lái)了非常穩(wěn)定的分類效果;
[0035]2)本發(fā)明在特征選擇上非常的靈活，可以根據(jù)用戶不同的實(shí)際需求選擇不同長(zhǎng)度的特征。例如用戶如果不考慮計(jì)算資源受限而更關(guān)心準(zhǔn)確度，即可選擇一個(gè)長(zhǎng)的而分辨能力更強(qiáng)的特征；而如果用戶需要對(duì)計(jì)算時(shí)間有嚴(yán)格要求，如在手機(jī)等移動(dòng)設(shè)備上運(yùn)算，則可以根據(jù)其設(shè)備的實(shí)際計(jì)算能力選擇較短的特征。也就是說(shuō)，本發(fā)明非常方便在時(shí)間復(fù)雜度和計(jì)算精度上根據(jù)實(shí)際情況做出權(quán)衡。
【專利附圖】

【附圖說(shuō)明】
[0036]圖1是本發(fā)明方法的步驟流程圖。
[0037]圖2是本發(fā)明方法中自適應(yīng)特征選擇的流程圖。
【具體實(shí)施方式】
[0038]下面通過(guò)具體實(shí)施例和附圖，對(duì)本發(fā)明做進(jìn)一步說(shuō)明。
[0039]本發(fā)明的基于提升方法的自適應(yīng)的低層特征選擇方法，用于特征空間中的人臉表示，該方法的具體流程如圖1所示，包含以下步驟:
[0040]a.針對(duì)不同的應(yīng)用場(chǎng)景構(gòu)建不同的學(xué)習(xí)數(shù)據(jù)庫(kù)。
[0041]b.對(duì)數(shù)據(jù)庫(kù)的已屬性標(biāo)注樣本進(jìn)行物體檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)，確定分析的目標(biāo)窗口(即底層特征提取區(qū)域)；對(duì)圖像進(jìn)行增強(qiáng)、放縮等預(yù)處理。
[0042]c.根據(jù)應(yīng)用場(chǎng)景的不同，確定合適的采樣方法，即用不同大小、不同位置的密集的相互重疊的矩形區(qū)域覆蓋目標(biāo)窗口。
[0043]d.用多種低層的描述子(比如HOG，ULBP, Gabor, SIFT)描述每個(gè)矩形區(qū)域內(nèi)的圖像，構(gòu)建特征庫(kù)；任意一個(gè)區(qū)域被一個(gè)描述子表示成一個(gè)基礎(chǔ)特征，每個(gè)樣本所有的基礎(chǔ)特征總長(zhǎng)可能達(dá)到數(shù)十萬(wàn)維。
[0044]e.用自適應(yīng)的提升方法選擇基礎(chǔ)特征，每一級(jí)的提升選出一個(gè)基礎(chǔ)特征；圖2是進(jìn)行自適應(yīng)特征選擇的流程圖，每一級(jí)過(guò)程如下:
[0045]隨機(jī)抽取一部分未選擇的基礎(chǔ)特征；
[0046]隨機(jī)抽取一部分樣本，每個(gè)樣本被抽到的概率和樣本的權(quán)值相關(guān)；
[0047]在抽取的樣本上訓(xùn)練基礎(chǔ)分類器；
[0048]比較基礎(chǔ)分類器的分類效率，選擇效率最高的分類器，它對(duì)應(yīng)的基礎(chǔ)特征被選出；[0049]根據(jù)選出的分類器的分類結(jié)果更新所有樣本的權(quán)值:增加被錯(cuò)誤分類的樣本的權(quán)值，降低被正確分類的樣本的權(quán)值；
[0050]f.連接選出的基礎(chǔ)特征，組合成長(zhǎng)特征；基于所提取的特征，對(duì)已標(biāo)注樣本進(jìn)行訓(xùn)練，生成一支持向量機(jī)的人臉屬性識(shí)別模型；用根據(jù)不通的應(yīng)用場(chǎng)景、樣本類型(定類變量、定序變量，定距變量)選擇不同策略訓(xùn)練分類器(一對(duì)一、一對(duì)多、樹(shù)型分類器、OHRank)。
[0051]g.對(duì)任意一張待屬性識(shí)別的人臉圖像，提取其人臉底層特征利用該人臉屬性識(shí)別模型得到其人臉屬性信息。
[0052]提取出人臉屬性信息后可以根據(jù)人臉屬性信息對(duì)人臉進(jìn)行分類，比如不同年齡段、不同性別、不同種族等；本發(fā)明在保持判別速效果的情況下實(shí)降低了特征維度，提升了分類效率，對(duì)光照不均勻、部分遮擋有很好的魯棒性。
[0053]本發(fā)明可應(yīng)用于人臉/ 一般物體的屬性分析，下面以基于人臉的年齡分析為例對(duì)本發(fā)明做進(jìn)一步闡述:
[0054]步驟Sll:首先把年齡分為O~6、6~18、18~40、40~60、>60五檔；搜集各個(gè)年齡段的人物圖片，構(gòu)建年齡數(shù)據(jù)庫(kù)；盡量使每一類的數(shù)據(jù)分布均勻，覆蓋不同性別、種族。
[0055]步驟S12:對(duì)數(shù)據(jù)庫(kù)的圖片進(jìn)行人臉檢測(cè)、特征點(diǎn)檢測(cè)；根據(jù)臉上5個(gè)特征點(diǎn)(左右眼角、鼻尖、左右嘴角)的位置，將人臉矯正到標(biāo)準(zhǔn)大小的Χ*Y的矩形區(qū)域R。對(duì)R內(nèi)的圖像進(jìn)行增強(qiáng)，具體步驟如下:
[0056]步驟S121:Gama 矯正，VQUt=AVinY, A=1, Y =0.2;
[0057]步驟S122:對(duì)比度均衡；
[0058]步驟S122:用不同通帶的 DOG (Difference of Gaussian)算子濾波，
【權(quán)利要求】
1.一種自適應(yīng)的人臉低層特征選擇方法，其步驟為: 1)根據(jù)所選屬性對(duì)人臉圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，確定底層特征提取的目標(biāo)窗口； 2)用多個(gè)不同大小、不同位置的相互重疊的矩形區(qū)域覆蓋該目標(biāo)窗口； 3)用多種低層的描述子分別對(duì)每一矩形區(qū)域內(nèi)的圖像進(jìn)行特征提取，將每一描述子對(duì)每一矩形區(qū)域提取的特征記錄為一基礎(chǔ)特征，得到該人臉圖像的基礎(chǔ)特征庫(kù)； 4)用自適應(yīng)的提升方法選擇該基礎(chǔ)特征，每一級(jí)的提升選出一個(gè)基礎(chǔ)特征； 5)將所選的基礎(chǔ)特征組合成長(zhǎng)特征，作為該人臉圖像所選屬性的底層特征。
2.如權(quán)利要求1所述的方法，其特征在于所述用自適應(yīng)的提升方法選擇該基礎(chǔ)特征的方法為: 21)每次從所述基礎(chǔ)特征庫(kù)中隨機(jī)抽取一未選擇過(guò)的基礎(chǔ)特征； 22)將一已屬性標(biāo)注樣本數(shù)據(jù)集合A和所抽取的基礎(chǔ)特征作為輸入，利用機(jī)器學(xué)習(xí)算法訓(xùn)練一基礎(chǔ)分類器； 23)利用該基礎(chǔ)分類器對(duì)另一已屬性標(biāo)注樣本數(shù)據(jù)集合B進(jìn)行分類； 24)重復(fù)步驟21)~23)，選擇分類效率最高的基礎(chǔ)分類器對(duì)應(yīng)的基礎(chǔ)特征作為當(dāng)前級(jí)提升所選出的基礎(chǔ)特征；并且根據(jù)所選出的基礎(chǔ)分類器的分類結(jié)果更新所有樣本的權(quán)值:增加被錯(cuò)誤分類的樣本的權(quán)值，降低被正確分類的樣本的權(quán)值。
3.如權(quán)利要求2所述的方法·，其特征在于所述樣本數(shù)據(jù)集合A和所述樣本數(shù)據(jù)集合B抽取自同一樣本數(shù)據(jù)庫(kù)；自適應(yīng)提升方法的每一級(jí)中，所述樣本數(shù)據(jù)集合A中樣本被抽到的概率和樣本的權(quán)值相關(guān)。
4.如權(quán)利要求1或2或3所述的方法，其特征在于所述多種低層的描述子包括HOG，ULBP, Gabor 和 SIFT。
5.如權(quán)利要求1所述的方法，其特征在于所述屬性包括年齡屬性、性別屬性、種族屬性。
6.一種人臉屬性識(shí)別方法，其步驟為: 1)根據(jù)待檢測(cè)的屬性，選取一屬性標(biāo)注的人臉圖像樣本數(shù)據(jù)庫(kù)； 2)對(duì)于每一樣本進(jìn)行底層特征提取，即 21)根據(jù)待檢測(cè)屬性對(duì)人臉圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，確定底層特征提取的目標(biāo)窗口； 22)用多個(gè)不同大小、不同位置的相互重疊的矩形區(qū)域覆蓋該目標(biāo)窗口； 23)用多種低層的描述子分別對(duì)每一矩形區(qū)域內(nèi)的圖像進(jìn)行特征提取，將每一描述子對(duì)每一矩形區(qū)域提取的特征記錄為一基礎(chǔ)特征，得到該樣本的基礎(chǔ)特征庫(kù)； 24)用自適應(yīng)的提升方法選擇該基礎(chǔ)特征，每一級(jí)的提升選出一個(gè)基礎(chǔ)特征； 25)將所選的基礎(chǔ)特征組合成長(zhǎng)特征，作為該樣本的底層特征； 3)利用機(jī)器學(xué)習(xí)算法對(duì)所有樣本的所述底層特征進(jìn)行訓(xùn)練，生成一支持向量機(jī)的人臉屬性識(shí)別模型； 4)對(duì)任意一張待屬性識(shí)別的人臉圖像，提取其所述底層特征，利用該人臉屬性識(shí)別模型得到其人臉屬性信息。
7.如權(quán)利要求6所述的方法，其特征在于其特征在于所述用自適應(yīng)的提升方法選擇該基礎(chǔ)特征的方法為: 71)每次從所述基礎(chǔ)特征庫(kù)中隨機(jī)抽取一未選擇過(guò)的基礎(chǔ)特征；72)將一已屬性標(biāo)注樣本數(shù)據(jù)集合A和所抽取的基礎(chǔ)特征作為輸入，利用機(jī)器學(xué)習(xí)算法訓(xùn)練一基礎(chǔ)分類器； 73)利用該基礎(chǔ)分類器對(duì)另一已屬性標(biāo)注樣本數(shù)據(jù)集合B進(jìn)行分類； 74)重復(fù)步驟71)~73)，選擇分類效率最高的基礎(chǔ)分類器對(duì)應(yīng)的基礎(chǔ)特征作為當(dāng)前級(jí)提升所選出的基礎(chǔ)特征；并且根據(jù)所選出的基礎(chǔ)分類器的分類結(jié)果更新所有樣本的權(quán)值:增加被錯(cuò)誤分類的樣本的權(quán)值，降低被正確分類的樣本的權(quán)值。
8.如權(quán)利要求7所述的方法，其特征在于所述樣本數(shù)據(jù)集合A和所述樣本數(shù)據(jù)集合B抽取自同一樣本數(shù)據(jù)庫(kù)；自適應(yīng)提升方法的每一級(jí)中，所述樣本數(shù)據(jù)集合A中樣本被抽到的概率和樣本的權(quán)值相關(guān)。
9.如權(quán)利要求6或7或8所述的方法，其特征在于所述多種低層的描述子包括HOG，ULBP, Gabor 和 SIFT。
10.如權(quán)利要求6所述的方法，其特征在于所述屬性包括年齡屬性、性別屬性、種族屬性。`
【文檔編號(hào)】G06K9/46GK103824090SQ201410053332
【公開(kāi)日】2014年5月28日 申請(qǐng)日期:2014年2月17日 優(yōu)先權(quán)日:2014年2月17日
【發(fā)明者】印奇, 曹志敏, 姜宇寧, 杜儒成 申請(qǐng)人:北京曠視科技有限公司