基于定性空間關(guān)系的卡通人物的臉部特征提取方法
【專利摘要】本發(fā)明公開(kāi)了一種基于定性空間關(guān)系的卡通人物的臉部特征提取方法，步驟1：讀取卡通人物的臉部圖像；步驟2：對(duì)邊緣的提取、匹配處理以及確定鏡像對(duì)稱軸；步驟3：確定各邊緣特征元素之間的“里/外”、“上/下”和“對(duì)稱”定性空間關(guān)系；步驟4：對(duì)邊緣特征元素進(jìn)行篩選；步驟5：迭代式約束優(yōu)化：即基于卡通臉的定性空間關(guān)系模型確定每個(gè)通過(guò)篩選的邊緣特征元素在臉部五官中的類屬性；將被檢測(cè)到的臉部五官的元素?cái)?shù)目作為附加約束條件進(jìn)行迭代；步驟6：獲得最優(yōu)約束優(yōu)化解；步驟7：根據(jù)最優(yōu)解中標(biāo)識(shí)為臉部五官的邊緣特征元素確定臉部五官的位置和形狀。該基于定性空間關(guān)系的卡通人物的臉部特征提取方法具有提取效率高和準(zhǔn)確性高等優(yōu)點(diǎn)。
【專利說(shuō)明】基于定性空間關(guān)系的卡通人物的臉部特征提取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于定性空間關(guān)系的卡通人物的臉部特征提取方法，屬于人工智能和計(jì)算機(jī)視覺(jué)【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]隨著動(dòng)漫和數(shù)字娛樂(lè)業(yè)的蓬勃發(fā)展，卡通圖像被大量生產(chǎn)出來(lái)。僅2012年一年我國(guó)就審批備案動(dòng)畫(huà)片536部433780分鐘，在百度上可被搜索的卡通圖片達(dá)到77，400，000張?！笆濉眹?guó)家動(dòng)漫產(chǎn)業(yè)發(fā)展規(guī)劃提出:建設(shè)國(guó)家動(dòng)漫公共素材庫(kù)，以完善共享機(jī)制并降低企業(yè)創(chuàng)作成本。而從海量素材中實(shí)現(xiàn)有效的檢索和共享，要對(duì)海量的卡通圖像進(jìn)行精準(zhǔn)檢索，需要計(jì)算機(jī)能夠辨識(shí)卡通尤其是其臉部特征。因?yàn)槟樖强ㄍń巧闹匾M成部分，通過(guò)臉部特征可以推斷出角色的表情和身份，進(jìn)而為用戶提供豐富的檢索選項(xiàng)。本發(fā)明提出了正面卡通臉部的特征提取方法，為實(shí)現(xiàn)卡通圖像的智能分析和檢索奠定基礎(chǔ)。
[0003]現(xiàn)有的人臉特征提取方法大多基于對(duì)五官形狀和表觀(appearance)的統(tǒng)計(jì)建模，其中具有代表性的方法是主動(dòng)形狀模型(ASMs)、主動(dòng)表觀模型(AAMs)和它們的各種改進(jìn)。這類方法要求目標(biāo)形狀和表觀可以用線性統(tǒng)計(jì)模型表征，即變化不劇烈，否則其統(tǒng)計(jì)分布的方差會(huì)很大，進(jìn)而模型對(duì)樣本的表征精度就會(huì)降低。而這個(gè)要求通常是很難滿足的，因?yàn)椴煌藨B(tài)、表情和個(gè)體的五官形狀和表觀可能差異很大。針對(duì)該問(wèn)題可以將整體上難以統(tǒng)計(jì)表征的人臉?lè)纸鉃椴煌砬橄碌奈骞?，并建立?duì)應(yīng)的局部ASMs模型。采用基于分而治之的策略，把對(duì)形狀和表觀的統(tǒng)計(jì)表征分解到單一表情和姿態(tài)層面，進(jìn)而保證模型的表征精度。但這類方法需為每個(gè)卡通角色的形狀和表觀建立單獨(dú)的統(tǒng)計(jì)模型，若用于處理成千上萬(wàn)的卡通角色，單是樣本的采集標(biāo)記和模型訓(xùn)練的任務(wù)量就超出了可控的范圍。
[0004]除了形狀和表觀，還可以用臉部特征之間的位置關(guān)系來(lái)表征人臉?？梢杂民R氏距離來(lái)表征人臉特征之間的相對(duì)位置關(guān)系；還可以用更具結(jié)構(gòu)化的馬爾科夫隨機(jī)場(chǎng)來(lái)表征。但這些方法都是定量的。定量的方法對(duì)于人臉圖像和素描是合適的，因?yàn)槠渲械娜四樚卣鞣植挤仙韺W(xué)規(guī)律，用線性高斯模型就能比較準(zhǔn)確的表征。但卡通臉部中的特征分布可能是極端夸張的，在符合人臉大致拓?fù)浣Y(jié)構(gòu)的前提下可以不受生理學(xué)的限制，特征之間的相對(duì)距離和角度可以隨意變化，因此其定量統(tǒng)計(jì)的分布方差大，模型的表征精度低。
[0005]因此，有必要設(shè)計(jì)一種新型的卡通人物的臉部特征提取方法。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于定性空間關(guān)系的卡通人物的臉部特征提取方法，該基于定性空間關(guān)系的卡通人物的臉部特征提取方法具有提取效率高和準(zhǔn)確性性高等優(yōu)點(diǎn)。
[0007]發(fā)明的技術(shù)解決方案如下:
[0008]一種基于定性空間關(guān)系的卡通人物的臉部特征提取方法，包括以下步驟:
[0009]步驟1:讀取卡通人物的臉部圖像；[0010]步驟2:對(duì)邊緣的提取、匹配處理以及確定鏡像對(duì)稱軸:
[0011]提取該臉部圖像中的邊緣，并將提取出的邊緣對(duì)應(yīng)的多個(gè)像素?cái)M合成線段；從所述的線段中，以線段作為邊緣特征元素通過(guò)匹配操作識(shí)別出具有鏡像對(duì)稱關(guān)系的線段，并確定鏡像對(duì)稱軸；
[0012]步驟3:將線段聚合成序列，確定各邊緣特征元素之間的“里/外”、“上/下”和“對(duì)稱”定性空間關(guān)系，所述的邊緣特征元素是指經(jīng)過(guò)聚合的線段序列；
[0013]步驟4:基于定性空間關(guān)系顯著性對(duì)邊緣特征元素進(jìn)行篩選；【選出定性空間關(guān)系顯著的邊緣序列，這些邊緣序列位于臉部五官的概率較大】
[0014]步驟5:迭代式約束優(yōu)化:
[0015]即基于卡通臉的定性空間關(guān)系模型確定每個(gè)通過(guò)篩選的邊緣特征元素在臉部五官中的類屬性；【用通俗的話來(lái)講，即確定每一個(gè)邊緣特征元素分屬于臉部五官中的哪一個(gè)。】；
[0016]臉部五官包括以下元素:眉毛、眼睛、鼻子、嘴巴和臉輪廓；
[0017]卡通臉的定性空間關(guān)系模型用于描述臉部五官各元素之間的里/外、上/下和對(duì)稱關(guān)系；將被檢測(cè)到的臉部五官的元素?cái)?shù)目作為附加約束條件進(jìn)行迭代，實(shí)現(xiàn)約束優(yōu)化；
[0018]如果獲得約束優(yōu)化解，則進(jìn)入下一步驟，否則繼續(xù)約束優(yōu)化；
[0019]步驟6:獲得最優(yōu)約束優(yōu)化解:
[0020]若約束優(yōu)化解為多`個(gè)，則將每個(gè)解中標(biāo)識(shí)為臉部五官的特征元素按對(duì)應(yīng)五官的出現(xiàn)概率加權(quán)求和，選擇該值最大的解作為最優(yōu)約束優(yōu)化解，臉部五官的出現(xiàn)概率根據(jù)樣本卡通圖像統(tǒng)計(jì)獲得；
[0021 ] 若約束優(yōu)化解為一個(gè),則該約束優(yōu)化解為最優(yōu)約束優(yōu)化解；
[0022]步驟7:根據(jù)最優(yōu)解中標(biāo)識(shí)為臉部五官的邊緣特征元素確定臉部五官的位置和形狀，完成卡通人物的臉部特征提取。
[0023]【根據(jù)最優(yōu)解中標(biāo)識(shí)為臉部五官的邊緣特征元素獲得臉部五官的位置和形狀。比如所有被檢測(cè)為屬于嘴巴的線段序列，其所有端點(diǎn)可組成一個(gè)凸包，該凸包所在的位置即為嘴巴的位置，凸包的大小即為嘴巴的大小，凸包的輪廓即為嘴巴的輪廓。】
[0024]2.根據(jù)權(quán)利要求1所述的基于定性空間關(guān)系的卡通人物的臉部特征提取方法，其特征在于，步驟2中:
[0025]用canny算子提取臉部圖像中的邊緣；
[0026]將邊緣像素?cái)M合成線段的方法是:任選一個(gè)尚未擬合過(guò)的邊緣像素Ptl，且該像素的八連通鄰域內(nèi)應(yīng)只有一個(gè)邊緣像素，尋找其八連通相鄰的邊緣像素P1，記錄二者連線的斜率k1;尋找與P1相鄰的下一個(gè)邊緣像素p2，計(jì)算P1與p2的斜率k2，如果Ik2-1c1I ^0.6,則認(rèn)為Po、Pi與P2共線；重復(fù)這個(gè)過(guò)程直到第i個(gè)相鄰邊緣像素，其對(duì)應(yīng)的斜率h與Ic1之差的絕對(duì)值大于0.6，則完成一條線段的擬合，該線段的兩端點(diǎn)為Ptl和Pm ；
[0027]所述的匹配處理的過(guò)程為:對(duì)于由邊緣像素?cái)M合而形成的線段，計(jì)算每條線段的長(zhǎng)度和斜率，找到與某一條線段呈鏡像對(duì)稱的線段:對(duì)任意線段j，計(jì)算與其呈完美鏡像對(duì)稱的線段j’的長(zhǎng)度和斜率，線段j’是虛擬的線段；如果存在一個(gè)實(shí)際的線段i，其屬性向量與j’的歐式距離小于3，則認(rèn)為線段j與線段i是鏡像對(duì)稱的；[0028]歐式距離
【權(quán)利要求】
1.一種基于定性空間關(guān)系的卡通人物的臉部特征提取方法，其特征在于，包括以下步驟: 步驟1:讀取卡通人物的臉部圖像； 步驟2:對(duì)邊緣的提取、匹配處理以及確定鏡像對(duì)稱軸: 提取該臉部圖像中的邊緣，并將提取出的邊緣對(duì)應(yīng)的多個(gè)像素?cái)M合成線段； 從所述的線段中，以線段作為邊緣特征元素通過(guò)匹配操作識(shí)別出具有鏡像對(duì)稱關(guān)系的線段，并確定鏡像對(duì)稱軸； 步驟3:將線段聚合成序列，確定各邊緣特征元素之間的“里/外”、“上/下”和“對(duì)稱”定性空間關(guān)系，所述的邊緣特征元素是指經(jīng)過(guò)聚合的線段序列； 步驟4:基于定性空間關(guān)系顯著性對(duì)邊緣特征元素進(jìn)行篩選； 步驟5:迭代式約束優(yōu)化: 即基于卡通臉的定性空間關(guān)系模型確定每個(gè)通過(guò)篩選的邊緣特征元素在臉部五官中的類屬性； 臉部五官包括以下元素:眉毛、眼睛、鼻子、嘴巴和臉輪廓； 卡通臉的定性空間關(guān)系模型用于描述臉部五官各元素之間的里/外、上/下和對(duì)稱關(guān)系；將被檢測(cè)到的臉部五官的元素?cái)?shù)目作為附加約束條件進(jìn)行迭代，實(shí)現(xiàn)約束優(yōu)化； 如果獲得約束優(yōu)化解，則進(jìn)入下一步驟，否則繼續(xù)約束優(yōu)化； 步驟6:獲得最優(yōu)約束優(yōu)化解: 若約束優(yōu)化解為多個(gè)，則將每個(gè)解中標(biāo)識(shí)為臉部五官的特征元素按對(duì)應(yīng)五官的出現(xiàn)概率加權(quán)求和，選擇該值最大的解作為最優(yōu)約束優(yōu)化解，臉部五官的出現(xiàn)概率根據(jù)樣本卡通圖像統(tǒng)計(jì)獲得； 若約束優(yōu)化解為一個(gè)，則該約束優(yōu)化解為最優(yōu)約束優(yōu)化解； 步驟7:根據(jù)最優(yōu)解中標(biāo)識(shí)為臉部五官的邊緣特征元素確定臉部五官的位置和形狀，完成卡通人物的臉部特征提取。
2.根據(jù)權(quán)利要求1所述的基于定性空間關(guān)系的卡通人物的臉部特征提取方法，其特征在于，步驟2中: 用canny算子提取臉部圖像中的邊緣； 將邊緣像素?cái)M合成線段的方法是:任選一個(gè)尚未擬合過(guò)的邊緣像素Po，且該像素的八連通鄰域內(nèi)應(yīng)只有一個(gè)邊緣像素，尋找其八連通相鄰的邊緣像素P1，記錄二者連線的斜率k1;尋找與P1相鄰的下一個(gè)邊緣像素P2，計(jì)算P1與P2的斜率k2，如果Ik2-1c1I <0.6，則認(rèn)為Po、Pi與P2共線；重復(fù)這個(gè)過(guò)程直到第i個(gè)相鄰邊緣像素，其對(duì)應(yīng)的斜率h與Ic1之差的絕對(duì)值大于0.6，則完成一條線段的擬合，該線段的兩端點(diǎn)為Ptl和Pm ； 所述的匹配處理的過(guò)程為:對(duì)于由邊緣像素?cái)M合而形成的線段，計(jì)算每條線段的長(zhǎng)度和斜率，找到與某一條線段呈鏡像對(duì)稱的線段:對(duì)任意線段j，計(jì)算與其呈完美鏡像對(duì)稱的線段j’的長(zhǎng)度和斜率，線段j’是虛擬的線段；如果存在一個(gè)實(shí)際的線段i，其屬性向量與j’的歐式距離小于3，則認(rèn)為線段j與線段i是鏡像對(duì)稱的；歐式距離d = / 土 (vlt—v22)2，







V 1-1其中Vl和v2分別指邊緣特征元素i和邊緣特征元素j’所對(duì)應(yīng)的屬性向量；確定鏡像對(duì)稱軸的方法為:寫(xiě)出每一對(duì)呈鏡像對(duì)稱的邊緣特征元素所對(duì)應(yīng)的對(duì)稱軸的直線方程，然后在直線方程的參數(shù)空間里進(jìn)行霍夫變換，最后得到最顯著的直線方程參數(shù)，其對(duì)應(yīng)的直線即為圖像中的鏡像對(duì)稱軸。
3.根據(jù)權(quán)利要求1所述的基于定性空間關(guān)系的卡通人物的臉部特征提取方法，其特征在于，在步驟3中，首先將上一步擬合得到的邊緣線段聚合成線段序列，所謂線段序列是指首尾相連接的線段集合； 對(duì)任意兩個(gè)線段序列，根據(jù)一個(gè)線段序列的端點(diǎn)與另一個(gè)線段序列的凸包來(lái)計(jì)算定性空間關(guān)系: 對(duì)于線段序列a和b，如果a的所有端點(diǎn)都位于b的凸包之內(nèi)，則a和b的“里/外”關(guān)系為I ;若a的所有端點(diǎn)都位于b的凸包之外，則“里/外”關(guān)系為-1 ;若上述兩個(gè)條件都不滿足，則“里/外”關(guān)系為O ; 線段序列a和b中若有80%的線段是呈鏡像對(duì)稱的，則認(rèn)為a和b是呈鏡像對(duì)稱的；即a和b的鏡像對(duì)稱關(guān)系為1，否則為0 ; 若a的所有端點(diǎn)都位于b的凸包之上，則“上/下”關(guān)系為I ;若a的所有端點(diǎn)都位于b的凸包之下，則“上/下”關(guān)系為-1 ;若上述兩個(gè)條件都不滿足，則“上/下”關(guān)系為O。
4.根據(jù)權(quán)利要求1所述的基于定性空間關(guān)系的卡通人物的臉部特征提取方法，其特征在于，步驟4中， 以線段序列為節(jié)點(diǎn)，以確定關(guān)系為邊，所謂確定關(guān)系是值非0的定性空間關(guān)系；構(gòu)建三個(gè)圖，分別對(duì)應(yīng)“里/外”、“上/下`”和“鏡像對(duì)稱性”三組定性空間關(guān)系； 計(jì)算i節(jié)點(diǎn)的定性空間關(guān)系顯著性胃1 = _io - +德_ ? rfi + ?謂* <，其中Wi為節(jié)點(diǎn)i的顯著性值，《ud和分別為“里/外”、“上/下”和“鏡像對(duì)稱性”的顯著性權(quán)重；<、<,,和< 分別為節(jié)點(diǎn)i在上述三個(gè)圖中的度，度是指與該節(jié)點(diǎn)相關(guān)聯(lián)的邊的條數(shù)； 按照所有節(jié)點(diǎn)的定性空間關(guān)系顯著性排序，取定性空間關(guān)系顯著性最大的60%的節(jié)點(diǎn)進(jìn)行后續(xù)計(jì)算，將其它節(jié)點(diǎn)刪除。
5.根據(jù)權(quán)利要求1所述的基于定性空間關(guān)系的卡通人物的臉部特征提取方法，其特征在于，步驟5中， 卡通臉的定性空間關(guān)系模型采用任意兩個(gè)卡通臉部五官特征之間的定性空間關(guān)系的集合來(lái)表示，依據(jù)經(jīng)驗(yàn)，“里/外”關(guān)系的集合如表1: 表1:
6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的基于定性空間關(guān)系的卡通人物的臉部特征提取方法，其特征在于，在步驟5中，在第I輪迭代時(shí)，令被檢測(cè)到的臉部五官數(shù)目等于M作為附加約束條件，其中M為定性關(guān)系模型中的臉部五官總數(shù)，如果通過(guò)約束優(yōu)化找到解，則停止進(jìn)行后續(xù)的約束優(yōu)化，否則刪除該附加約束條件；將臉部五官數(shù)目等于M-1作為新的附加約束條件，進(jìn)行下一輪約束優(yōu)化；每輪約束優(yōu)化時(shí)附加約束條件中的檢測(cè)到的臉部五官數(shù)目都比上一輪數(shù)目小1 ;如果經(jīng)過(guò)(M-N+1)輪這樣的約束優(yōu)化后還是沒(méi)有找到解，則約束優(yōu)化失敗，即沒(méi)有找到任何卡通臉；其中N指在檢測(cè)到的卡通臉中最少要包含的五官數(shù)目。
【文檔編號(hào)】G06K9/00GK103559488SQ201310574638
【公開(kāi)日】2014年2月5日 申請(qǐng)日期:2013年11月13日 優(yōu)先權(quán)日:2013年11月13日
【發(fā)明者】王磊, 鄒北驥, 蔡汪洋, 陳再良, 廖勝輝 申請(qǐng)人:中南大學(xué)