本發(fā)明屬于圖像處理的技術(shù)領(lǐng)域，尤其涉及一種用于人臉圖像的個(gè)性化預(yù)處理方法、系統(tǒng)及其終端。

背景技術(shù)：

隨著安全入口控制和金融貿(mào)易方面應(yīng)用需要的快速增長(zhǎng)，生物統(tǒng)計(jì)識(shí)別技術(shù)得到了新的重視，而人臉識(shí)別是所有的生物識(shí)別方法中應(yīng)用最廣泛的技術(shù)之一。隨著技術(shù)不斷演進(jìn)，人臉識(shí)別技術(shù)已大量使用在公安、金融、網(wǎng)絡(luò)安全、物業(yè)管理以及考勤等各個(gè)領(lǐng)域。

近幾年，基于實(shí)時(shí)視頻的識(shí)別方式是人臉識(shí)別技術(shù)的主要發(fā)展方向之一。由于實(shí)時(shí)視頻中人臉區(qū)域總是不斷變化的，即基于實(shí)時(shí)視頻的人臉識(shí)別對(duì)于光照與姿態(tài)的要求略低，而對(duì)于人臉區(qū)域的識(shí)別精確度要求較高，因此，姿態(tài)容錯(cuò)率高、但精確度不夠的基于人臉照片的識(shí)別方式則無(wú)法滿足實(shí)時(shí)視頻的識(shí)別需要。而且，與人臉照片不同，實(shí)時(shí)視頻中包含大量冗余信息，直接對(duì)視頻進(jìn)行人臉識(shí)別容易耗費(fèi)大量不必要的資源開銷。

綜上可見，現(xiàn)有的人臉識(shí)別技術(shù)存在識(shí)別精確度低、無(wú)法在識(shí)別前進(jìn)行個(gè)性化處理的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種用于人臉圖像的個(gè)性化預(yù)處理方法，旨在解決現(xiàn)有技術(shù)中識(shí)別精確度低、無(wú)法在識(shí)別前進(jìn)行個(gè)性化處理的技術(shù)問(wèn)題。

本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種用于人臉圖像的個(gè)性化預(yù)處理方法，包括如下具體步驟：

分析人臉灰度圖像，識(shí)別并提取所述人臉灰度圖像的關(guān)鍵點(diǎn)；

根據(jù)所述人臉灰度圖像的關(guān)鍵點(diǎn)，建立人臉個(gè)性化特征模型；

利用所述人臉個(gè)性化特征模型對(duì)所述人臉灰度圖像進(jìn)行邊緣填充，得到人臉區(qū)域圖像；

根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，將所述人臉區(qū)域圖像歸一化處理，并對(duì)所述人臉區(qū)域圖像進(jìn)行個(gè)性化對(duì)齊。

本發(fā)明實(shí)施例還提供一種用于人臉圖像的個(gè)性化預(yù)處理系統(tǒng)，包括：

關(guān)鍵點(diǎn)識(shí)別單元，用于分析人臉灰度圖像，識(shí)別并提取所述人臉灰度圖像的關(guān)鍵點(diǎn)；

特征模型單元，用于根據(jù)所述人臉灰度圖像的關(guān)鍵點(diǎn)，建立人臉個(gè)性化特征模型；

填充單元，用于利用所述人臉個(gè)性化特征模型對(duì)所述人臉灰度圖像進(jìn)行邊緣填充，得到人臉區(qū)域圖像；以及

調(diào)整單元，用于根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，將所述人臉區(qū)域圖像歸一化處理，并對(duì)所述人臉區(qū)域圖像進(jìn)行個(gè)性化對(duì)齊調(diào)整。

本發(fā)明實(shí)施例還提供一種用于人臉圖像的個(gè)性化預(yù)處理終端，包括如上所述的預(yù)處理系統(tǒng)，所述預(yù)處理系統(tǒng)用于處理所述預(yù)處理終端中的人臉灰度圖像。

本發(fā)明公開的用于人臉區(qū)域的預(yù)處理方法，采用提取人臉關(guān)鍵點(diǎn)的方式，簡(jiǎn)單、快速地得出人臉圖像的個(gè)性化特征，并將關(guān)鍵點(diǎn)通過(guò)數(shù)學(xué)模型轉(zhuǎn)化為個(gè)性化的灰度值，使得不同的人臉圖像被填充的灰度值都不同，有效地增強(qiáng)了人臉灰度圖像中的個(gè)性化特征，從而大大提高歸一化過(guò)程的精確性、以及后續(xù)人臉識(shí)別的準(zhǔn)確度，而且，還采用個(gè)性化對(duì)齊方式，使得處理后的人臉灰度圖像層次清晰、人臉位于圖像正中央，尤其適合于實(shí)時(shí)視頻中人臉圖像的預(yù)處理過(guò)程。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例提供的一種用于人臉圖像的個(gè)性化預(yù)處理方法的一種工作環(huán)境圖；

圖2是本發(fā)明的實(shí)施例提供的一種用于人臉圖像的個(gè)性化預(yù)處理方法的流程圖；

圖3是本發(fā)明實(shí)施例提供的利用所述人臉個(gè)性化特征模型對(duì)所述人臉灰度圖像進(jìn)行邊緣填充，得到人臉區(qū)域圖像的流程圖；

圖4是本發(fā)明實(shí)施例提供的根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，將所述人臉區(qū)域圖像歸一化處理，并對(duì)所述人臉區(qū)域圖像進(jìn)行個(gè)性化對(duì)齊的流程圖；

圖5是本發(fā)明實(shí)施例提供的所述的根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，移動(dòng)所述人臉區(qū)域，使得所述人臉區(qū)域的中心點(diǎn)與所述人臉區(qū)域圖像的中心點(diǎn)重合的流程圖；

圖6是本發(fā)明實(shí)施例提供的根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，移動(dòng)所述人臉區(qū)域，使得所述人臉區(qū)域的中心點(diǎn)與所述人臉區(qū)域圖像的中心點(diǎn)重合的另一種流程圖；

圖7是本發(fā)明實(shí)施例提供的一種用于人臉圖像的個(gè)性化預(yù)處理方法在實(shí)際運(yùn)用時(shí)的流程圖；

圖8是本發(fā)明實(shí)施例提供的一種用于人臉圖像的個(gè)性化預(yù)處理系統(tǒng)的結(jié)構(gòu)圖；

圖9是本發(fā)明實(shí)施例提供的填充單元的結(jié)構(gòu)圖；

圖10是本發(fā)明實(shí)施例提供的調(diào)整單元的結(jié)構(gòu)圖；

圖11是本發(fā)明實(shí)施例提供的位置調(diào)整模塊的結(jié)構(gòu)圖；

圖12是本發(fā)明實(shí)施例提供的位置調(diào)整模塊的另一種結(jié)構(gòu)圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明實(shí)施例根據(jù)人臉區(qū)域圖像的顯著性特征，采用人臉個(gè)性化特征模型，在圖像灰度化處理時(shí)填充個(gè)性化灰度值，使得每張灰度圖像都有別于其他人臉的灰度圖像，從而大大提高關(guān)鍵點(diǎn)定位的精確性、以及后續(xù)人臉識(shí)別的準(zhǔn)確度，實(shí)現(xiàn)高精度的實(shí)時(shí)視頻的人臉識(shí)別。

圖1示出了本發(fā)明實(shí)施例提供的一種用于人臉圖像的個(gè)性化預(yù)處理方法的一種工作環(huán)境。

預(yù)處理裝置通過(guò)服務(wù)器連接攝像頭，以獲取視頻流中包含人臉區(qū)域的數(shù)據(jù)，隨后對(duì)其預(yù)處理，接著將處理好的圖像數(shù)據(jù)傳輸?shù)阶R(shí)別裝置中進(jìn)行人臉識(shí)別。

此時(shí)，預(yù)處理方法適用于除去人臉區(qū)域圖像的多余信息、突出人臉等預(yù)備過(guò)程，以待識(shí)別裝置對(duì)視頻流進(jìn)行人臉識(shí)別。

實(shí)施例1：

圖2示出了本發(fā)明的實(shí)施例提供的一種用于人臉圖像的個(gè)性化預(yù)處理方法的流程，詳述如下：

在步驟s201中，分析人臉灰度圖像，識(shí)別并提取所述人臉灰度圖像的關(guān)鍵點(diǎn)。

本發(fā)明的實(shí)施例針對(duì)包含已轉(zhuǎn)換的人臉灰度圖像，并在圖像識(shí)別之前對(duì)人臉區(qū)域進(jìn)行預(yù)處理。也就是說(shuō)，本發(fā)明實(shí)施例在實(shí)際運(yùn)用時(shí)，輸入的數(shù)據(jù)流應(yīng)當(dāng)是灰度圖。

其中，所述關(guān)鍵點(diǎn)包括眼睛、鼻子、嘴部和下巴四個(gè)區(qū)域的邊緣輪廓的68個(gè)關(guān)鍵點(diǎn)。本發(fā)明的實(shí)施例采用dlib數(shù)據(jù)庫(kù)，對(duì)人臉的68個(gè)關(guān)鍵點(diǎn)進(jìn)行檢測(cè)以及定位。

當(dāng)然，用戶可以采用asm(activeshapemodel)算法等其他的關(guān)鍵點(diǎn)檢測(cè)方式，或者關(guān)鍵點(diǎn)數(shù)量也可以適當(dāng)調(diào)整，只要所述關(guān)鍵點(diǎn)定位過(guò)程是基于裁剪后的人臉區(qū)域框圖，就在本發(fā)明的保護(hù)范圍內(nèi)。

人臉識(shí)別技術(shù)關(guān)鍵之處在于找出圖像中的人臉有別于其他人的地方，從而加以區(qū)分、并識(shí)別身份，因此，本發(fā)明的實(shí)施例通過(guò)關(guān)鍵點(diǎn)識(shí)別的方法，能夠簡(jiǎn)單、快速地找出圖像的區(qū)別特征，大大方便后續(xù)的人臉識(shí)別過(guò)程。

此時(shí)，由于實(shí)時(shí)視頻中人臉的姿態(tài)總是不斷變化的，因此，很容易出現(xiàn)所述人臉區(qū)域框圖的人臉區(qū)域不全或者被遮擋，從而導(dǎo)致在進(jìn)行關(guān)鍵點(diǎn)定位時(shí)，部分關(guān)鍵點(diǎn)缺失的情況，此時(shí)，用戶可以選擇將關(guān)鍵點(diǎn)不全的人臉灰度圖像放棄，甚至可以終止該人臉灰度圖像的預(yù)處理過(guò)程，轉(zhuǎn)至下一幀不受遮擋的圖像。

在步驟s202中，根據(jù)所述人臉灰度圖像的關(guān)鍵點(diǎn)，建立人臉個(gè)性化特征模型。

其中，所述人臉個(gè)性化特征模型為：

ratioi＝λwi/hi，

其中，λ為經(jīng)過(guò)訓(xùn)練學(xué)習(xí)得到的灰度調(diào)整系數(shù)，在本發(fā)明的實(shí)施例中，所述λ的取值范圍為0.75≤λ≤1.25。

同時(shí)，ratioi為第i張人臉灰度圖像的特征比例，wi為該灰度圖像在水平方向上各個(gè)關(guān)鍵點(diǎn)之間的距離或者寬度，hi為該灰度圖像在鉛直方向上各個(gè)關(guān)鍵點(diǎn)之間的距離或者高度。

在本發(fā)明的實(shí)施例中，所述人臉個(gè)性化特征模型用于將步驟s201中的關(guān)鍵點(diǎn)轉(zhuǎn)化為可以量化的ratioi，使得人臉區(qū)域圖像中個(gè)性化的特征更加清楚，從而提高人臉識(shí)別的準(zhǔn)確度。

在本發(fā)明實(shí)施例實(shí)際運(yùn)用時(shí)，wi一般選用眼角間距、或者嘴部寬度，而hi則采用眼角至鼻子、嘴部、或者下頜的距離，即各個(gè)顯著性區(qū)域之間的距離。當(dāng)然，如果這些部位的識(shí)別度不足以成為顯著性特征，也可以采用嘴部、或者鼻子這種一個(gè)顯著性區(qū)域上的寬度和高度，或者取各個(gè)顯著性區(qū)域內(nèi)部的特征比例的平均值作為整個(gè)人臉區(qū)域圖像的特征比例。

在步驟s203中，利用所述人臉個(gè)性化特征模型對(duì)所述人臉灰度圖像進(jìn)行邊緣填充，得到人臉區(qū)域圖像。

為了進(jìn)一步強(qiáng)化人臉區(qū)域圖像的顯著性特征，本發(fā)明的實(shí)施例采用邊緣填充的方式，將所述特征比例以灰度的形式填充至人臉區(qū)域的外圍，使得與人臉信息無(wú)關(guān)的背景統(tǒng)統(tǒng)除去，從而使得人臉更為突出，提高后續(xù)關(guān)鍵點(diǎn)定位的精確度。

在步驟s204中，根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，將所述人臉區(qū)域圖像歸一化處理，并對(duì)所述人臉區(qū)域圖像進(jìn)行個(gè)性化對(duì)齊。

本發(fā)明的實(shí)施例針對(duì)現(xiàn)有技術(shù)的人臉識(shí)別準(zhǔn)確率低、無(wú)法在識(shí)別前進(jìn)行個(gè)性化處理的技術(shù)問(wèn)題，采用提取人臉關(guān)鍵點(diǎn)的方式，簡(jiǎn)單、快速地得出人臉圖像的個(gè)性化特征，并將關(guān)鍵點(diǎn)通過(guò)數(shù)學(xué)模型轉(zhuǎn)化為個(gè)性化的灰度值，使得不同的人臉圖像被填充的灰度值都不同，而且，還采用個(gè)性化對(duì)齊方式，有效地增強(qiáng)了人臉灰度圖像中的個(gè)性化特征，從而大大提高歸一化過(guò)程的精確性、以及后續(xù)人臉識(shí)別的準(zhǔn)確度，同時(shí)，處理后的人臉灰度圖像層次清晰，尤其適合于實(shí)時(shí)視頻中人臉圖像的預(yù)處理過(guò)程。

當(dāng)然，本發(fā)明實(shí)施例的預(yù)處理方法并不僅僅限于實(shí)時(shí)視頻流中圖像的預(yù)處理，事實(shí)上只要是人臉圖像的識(shí)別技術(shù)，用戶都可以使用本發(fā)明以提高識(shí)別準(zhǔn)確度、并增強(qiáng)人臉圖像中的個(gè)性化特征。

實(shí)施例2：

圖3示出了本發(fā)明實(shí)施例提供的利用所述人臉個(gè)性化特征模型對(duì)所述人臉灰度圖像進(jìn)行邊緣填充，得到人臉區(qū)域圖像的流程，詳述如下：

在步驟s301中，根據(jù)所述人臉灰度圖像中的關(guān)鍵點(diǎn)，提取人臉的邊緣輪廓，并將所述人臉灰度圖像分為人臉區(qū)域和非人臉區(qū)域。

在步驟s302中，根據(jù)所述人臉個(gè)性化特征模型中的特征比例，按照如下公式對(duì)所述人臉灰度圖像中非人臉區(qū)域進(jìn)行填充，得到人臉區(qū)域圖像：

其中，gi為第i張人臉灰度圖像在進(jìn)行灰度填充時(shí)的填充值，為第i張人臉灰度圖像的平均灰度值。

本發(fā)明的實(shí)施例針對(duì)現(xiàn)有灰度填充時(shí)特征不明顯的技術(shù)問(wèn)題，將用于表述人臉特征的特征比例作為灰度填充的因子，實(shí)現(xiàn)個(gè)性化灰度填充方式，使得不同人臉的灰度圖的填充值均不一致，從而有效地增強(qiáng)了人臉區(qū)域圖像的區(qū)別特征，提高后續(xù)人臉識(shí)別的準(zhǔn)確性。

實(shí)施例3：

圖4示出了本發(fā)明實(shí)施例提供的根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，將所述人臉區(qū)域圖像歸一化處理，并對(duì)所述人臉區(qū)域圖像進(jìn)行個(gè)性化對(duì)齊的流程，詳述如下：

在步驟s401中，識(shí)別并獲取所述人臉區(qū)域圖像中人臉區(qū)域的瞳孔位置，對(duì)人臉區(qū)域圖像進(jìn)行仿射變換，使得左眼瞳孔和右眼瞳孔之間的距離為常數(shù)d。

由于實(shí)時(shí)視頻流中人臉遠(yuǎn)近和姿態(tài)的不穩(wěn)定性，本發(fā)明的實(shí)施例首先對(duì)所述人臉區(qū)域圖像進(jìn)行歸一化調(diào)整，從而使得人臉圖像形狀均衡，并呈現(xiàn)較優(yōu)的姿態(tài)，方便人臉識(shí)別時(shí)對(duì)臉部特征的學(xué)習(xí)。

此時(shí)，d既可以通過(guò)訓(xùn)練學(xué)習(xí)得出，又可以為使用者事先設(shè)定的固定值，甚至還可以是與所述人臉區(qū)域圖像的寬度成正比的值。

在步驟s402中，根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，移動(dòng)所述人臉區(qū)域，使得所述人臉區(qū)域的中心點(diǎn)與所述人臉區(qū)域圖像的中心點(diǎn)重合。

其中，若所述人臉區(qū)域圖像未進(jìn)行大小上的調(diào)整，那么該人臉區(qū)域圖像的關(guān)鍵點(diǎn)與步驟s301中的人臉灰度圖像的關(guān)鍵點(diǎn)一致，即步驟s402中的人臉區(qū)域與步驟s301中的人臉區(qū)域也相同；若所述人臉區(qū)域圖像進(jìn)行了大小上的調(diào)整，則步驟s402中的人臉區(qū)域?yàn)樾碌年P(guān)鍵點(diǎn)所確定的。

本發(fā)明的實(shí)施例針對(duì)實(shí)時(shí)視頻的人臉區(qū)域圖像，不僅采用標(biāo)準(zhǔn)的歸一化方式，而且還根據(jù)人臉區(qū)域的個(gè)性化特征，對(duì)所述人臉區(qū)域進(jìn)行對(duì)齊處理，有效地增強(qiáng)了所述人臉區(qū)域圖像的個(gè)性化特征，從而使得后續(xù)人臉識(shí)別的準(zhǔn)確度更高。

實(shí)施例4：

圖5示出了本發(fā)明實(shí)施例提供的所述的根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，移動(dòng)所述人臉區(qū)域，使得所述人臉區(qū)域的中心點(diǎn)與所述人臉區(qū)域圖像的中心點(diǎn)重合的流程，詳述如下：

在步驟s501中，在所述人臉區(qū)域圖像上作一鉛直線段記為pi，其長(zhǎng)度為所述人臉區(qū)域圖像在鉛直方向上的高度，在所述人臉區(qū)域上作另一條鉛直線段記為p′i，其長(zhǎng)度為所述人臉區(qū)域中眉峰關(guān)鍵點(diǎn)與下頜底端關(guān)鍵點(diǎn)之間在鉛直方向上的高度。

在本發(fā)明的實(shí)施例中，pi用于表示人臉區(qū)域圖像的高度，p′i用于表示人臉區(qū)域的整體高度。

在步驟s502中，分別取pi和p′i的中點(diǎn)，并在鉛直方向上調(diào)整所述人臉區(qū)域，使得p′i的中點(diǎn)與pi的中點(diǎn)在同一水平線上。

為了進(jìn)一步提高人臉識(shí)別的準(zhǔn)確度，本發(fā)明的實(shí)施例對(duì)人臉區(qū)域圖像進(jìn)行更細(xì)致的調(diào)整，使得人臉區(qū)域?qū)⑻幱谌四槄^(qū)域圖像的正中央，同時(shí)，還將調(diào)整過(guò)程分為鉛直移動(dòng)和水平移動(dòng)，從而簡(jiǎn)化了調(diào)整過(guò)程。

實(shí)施例5：

圖6示出了本發(fā)明實(shí)施例提供的根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，移動(dòng)所述人臉區(qū)域，使得所述人臉區(qū)域的中心點(diǎn)與所述人臉區(qū)域圖像的中心點(diǎn)重合的另一種流程，詳述如下：

在步驟s601中，在所述人臉區(qū)域圖像上作一水平線段記為qi，其長(zhǎng)度為所述人臉區(qū)域圖像在鉛直方向上的高度，在所述人臉區(qū)域上作另一條水平線段記為q′i，其長(zhǎng)度為左臉關(guān)鍵點(diǎn)與右臉關(guān)鍵點(diǎn)之間在水平方向上的寬度。

在本發(fā)明的實(shí)施例中，qi用于表示人臉區(qū)域圖像的寬度，q′i用于表示人臉區(qū)域的整體寬度。

在步驟s602中，分別取qi和q′i的中點(diǎn)，并在水平方向上調(diào)整所述人臉區(qū)域，使得q′i的中點(diǎn)與qi的中點(diǎn)在同一鉛直線上。

在本發(fā)明的實(shí)施例中，鉛直移動(dòng)和水平移動(dòng)的步驟不一定同時(shí)發(fā)生，可能只使用鉛直移動(dòng)就能夠?qū)⑷四槄^(qū)域移至圖像中心。

實(shí)施例6：

圖7示出了本發(fā)明實(shí)施例提供的一種用于人臉圖像的個(gè)性化預(yù)處理方法在實(shí)際運(yùn)用時(shí)的流程，詳述如下：

在步驟s701中，分析人臉灰度圖像，識(shí)別并提取所述人臉灰度圖像的關(guān)鍵點(diǎn)。

在步驟s702中，根據(jù)所述人臉灰度圖像的關(guān)鍵點(diǎn)，建立人臉個(gè)性化特征模型。

在步驟s703中，根據(jù)所述人臉灰度圖像中的關(guān)鍵點(diǎn)，提取人臉的邊緣輪廓，并將所述人臉灰度圖像分為人臉區(qū)域和非人臉區(qū)域。

在步驟s704中，根據(jù)所述人臉個(gè)性化特征模型中的特征比例，按照如下公式對(duì)所述人臉灰度圖像中非人臉區(qū)域進(jìn)行填充，得到人臉區(qū)域圖像：

其中，gi為第i張人臉灰度圖像在進(jìn)行灰度填充時(shí)的填充值，為第i張人臉灰度圖像的平均灰度值。

在步驟s705中，識(shí)別并獲取所述人臉區(qū)域圖像中人臉區(qū)域的瞳孔位置，對(duì)人臉區(qū)域圖像進(jìn)行仿射變換，使得左眼瞳孔和右眼瞳孔之間的距離為常數(shù)d。

在步驟s706中，在所述人臉區(qū)域圖像上作一鉛直線段記為pi，其長(zhǎng)度為所述人臉區(qū)域圖像在鉛直方向上的高度，在所述人臉區(qū)域上作另一條鉛直線段記為p′i，其長(zhǎng)度為所述人臉區(qū)域中眉峰關(guān)鍵點(diǎn)與下頜底端關(guān)鍵點(diǎn)之間在鉛直方向上的高度。

在步驟s707中，分別取pi和p′i的中點(diǎn)，并在鉛直方向上調(diào)整所述人臉區(qū)域，使得p′i的中點(diǎn)與pi的中點(diǎn)在同一水平線上。

在步驟s708中，在所述人臉區(qū)域圖像上作一水平線段記為qi，其長(zhǎng)度為所述人臉區(qū)域圖像在鉛直方向上的高度，在所述人臉區(qū)域上作另一條水平線段記為q′i，其長(zhǎng)度為左臉關(guān)鍵點(diǎn)與右臉關(guān)鍵點(diǎn)之間在水平方向上的寬度。

在步驟s709中，分別取qi和q′i的中點(diǎn)，并在水平方向上調(diào)整所述人臉區(qū)域，使得q′i的中點(diǎn)與qi的中點(diǎn)在同一鉛直線上。

本發(fā)明實(shí)施例采用提取人臉關(guān)鍵點(diǎn)的方式，簡(jiǎn)單、快速地得出人臉圖像的個(gè)性化特征，并使得每張灰度圖像都有別于其他人臉的灰度圖像，從而大大提高關(guān)鍵點(diǎn)定位的精確性、以及后續(xù)人臉識(shí)別的準(zhǔn)確度，而且，處理后的人臉灰度圖像層次清晰、人臉位于圖像正中央，方便后續(xù)的識(shí)別過(guò)程。

本領(lǐng)域普通技術(shù)人員可以理解，實(shí)現(xiàn)上述方法實(shí)施例中的全部或者部分步驟是可以通過(guò)程序和相關(guān)的硬件來(lái)完成的，所述的程序可以存儲(chǔ)于一個(gè)計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)中，所述的存儲(chǔ)介質(zhì)，如rom/ram、磁盤、光盤、閃盤等。

實(shí)施例7：

圖8示出了本發(fā)明實(shí)施例提供的一種用于人臉圖像的個(gè)性化預(yù)處理系統(tǒng)的結(jié)構(gòu)，為了便于說(shuō)明，僅示出與本發(fā)明實(shí)施例相關(guān)的部分。

在本發(fā)明實(shí)施例中，所述用于人臉圖像的個(gè)性化預(yù)處理系統(tǒng)包括關(guān)鍵點(diǎn)識(shí)別單元801、特征模型單元802、填充單元803以及調(diào)整單元804，其中：

關(guān)鍵點(diǎn)識(shí)別單元801，用于分析人臉灰度圖像，識(shí)別并提取所述人臉灰度圖像的關(guān)鍵點(diǎn)。

本發(fā)明的實(shí)施例針對(duì)包含已轉(zhuǎn)換的人臉灰度圖像，并在圖像識(shí)別之前對(duì)人臉區(qū)域進(jìn)行預(yù)處理。也就是說(shuō)，本發(fā)明實(shí)施例在實(shí)際運(yùn)用時(shí)，輸入的數(shù)據(jù)流應(yīng)當(dāng)是灰度圖。

其中，所述關(guān)鍵點(diǎn)包括眼睛、鼻子、嘴部和下巴四個(gè)區(qū)域的邊緣輪廓的68個(gè)關(guān)鍵點(diǎn)。本發(fā)明的實(shí)施例采用dlib數(shù)據(jù)庫(kù)，對(duì)人臉的68個(gè)關(guān)鍵點(diǎn)進(jìn)行檢測(cè)以及定位。

當(dāng)然，用戶可以采用asm(activeshapemodel)算法等其他的關(guān)鍵點(diǎn)檢測(cè)方式，或者關(guān)鍵點(diǎn)數(shù)量也可以適當(dāng)調(diào)整，只要所述關(guān)鍵點(diǎn)定位過(guò)程是基于裁剪后的人臉區(qū)域框圖，就在本發(fā)明的保護(hù)范圍內(nèi)。

人臉識(shí)別技術(shù)關(guān)鍵之處在于找出圖像中的人臉有別于其他人的地方，從而加以區(qū)分、并識(shí)別身份，因此，本發(fā)明的實(shí)施例通過(guò)關(guān)鍵點(diǎn)識(shí)別的方法，能夠簡(jiǎn)單、快速地找出圖像的區(qū)別特征，大大方便后續(xù)的人臉識(shí)別過(guò)程。

此時(shí)，由于實(shí)時(shí)視頻中人臉的姿態(tài)總是不斷變化的，因此，很容易出現(xiàn)所述人臉區(qū)域框圖的人臉區(qū)域不全或者被遮擋，從而導(dǎo)致在進(jìn)行關(guān)鍵點(diǎn)定位時(shí)，部分關(guān)鍵點(diǎn)缺失的情況，此時(shí)，用戶可以選擇將關(guān)鍵點(diǎn)不全的人臉灰度圖像放棄，甚至可以終止該人臉灰度圖像的預(yù)處理過(guò)程，轉(zhuǎn)至下一幀不受遮擋的圖像。

特征模型單元802，用于根據(jù)所述人臉灰度圖像的關(guān)鍵點(diǎn)，建立人臉個(gè)性化特征模型。

其中，所述人臉個(gè)性化特征模型為：

ratioi＝λwi/hi，

其中，λ為經(jīng)過(guò)訓(xùn)練學(xué)習(xí)得到的灰度調(diào)整系數(shù)，在本發(fā)明的實(shí)施例中，所述λ的取值范圍為0.75≤λ≤1.25。

同時(shí)，ratioi為第i張人臉灰度圖像的特征比例，wi為該灰度圖像在水平方向上各個(gè)關(guān)鍵點(diǎn)之間的距離或者寬度，hi為該灰度圖像在鉛直方向上各個(gè)關(guān)鍵點(diǎn)之間的距離或者高度。

在本發(fā)明的實(shí)施例中，所述人臉個(gè)性化特征模型用于將步驟s201中的關(guān)鍵點(diǎn)轉(zhuǎn)化為可以量化的ratioi，使得人臉區(qū)域圖像中個(gè)性化的特征更加清楚，從而提高人臉識(shí)別的準(zhǔn)確度。

在本發(fā)明實(shí)施例實(shí)際運(yùn)用時(shí)，wi一般選用眼角間距、或者嘴部寬度，而hi則采用眼角至鼻子、嘴部、或者下頜的距離，即各個(gè)顯著性區(qū)域之間的距離。當(dāng)然，如果這些部位的識(shí)別度不足以成為顯著性特征，也可以采用嘴部、或者鼻子這種一個(gè)顯著性區(qū)域上的寬度和高度，或者取各個(gè)顯著性區(qū)域內(nèi)部的特征比例的平均值作為整個(gè)人臉區(qū)域圖像的特征比例。

填充單元803，用于利用所述人臉個(gè)性化特征模型對(duì)所述人臉灰度圖像進(jìn)行邊緣填充，得到人臉區(qū)域圖像。

為了進(jìn)一步強(qiáng)化人臉區(qū)域圖像的顯著性特征，本發(fā)明的實(shí)施例采用邊緣填充的方式，將所述特征比例以灰度的形式填充至人臉區(qū)域的外圍，使得與人臉信息無(wú)關(guān)的背景統(tǒng)統(tǒng)除去，從而使得人臉更為突出，提高后續(xù)關(guān)鍵點(diǎn)定位的精確度。

調(diào)整單元804，用于根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，將所述人臉區(qū)域圖像歸一化處理，并對(duì)所述人臉區(qū)域圖像進(jìn)行個(gè)性化對(duì)齊。

本發(fā)明的實(shí)施例針對(duì)現(xiàn)有技術(shù)的人臉識(shí)別準(zhǔn)確率低、無(wú)法在識(shí)別前進(jìn)行個(gè)性化處理的技術(shù)問(wèn)題，采用提取人臉關(guān)鍵點(diǎn)的方式，簡(jiǎn)單、快速地得出人臉圖像的個(gè)性化特征，并將關(guān)鍵點(diǎn)通過(guò)數(shù)學(xué)模型轉(zhuǎn)化為個(gè)性化的灰度值，使得不同的人臉圖像被填充的灰度值都不同，而且，還采用個(gè)性化對(duì)齊方式，有效地增強(qiáng)了人臉灰度圖像中的個(gè)性化特征，從而大大提高歸一化過(guò)程的精確性、以及后續(xù)人臉識(shí)別的準(zhǔn)確度，同時(shí)，處理后的人臉灰度圖像層次清晰，尤其適合于實(shí)時(shí)視頻中人臉圖像的預(yù)處理過(guò)程。

當(dāng)然，本發(fā)明實(shí)施例的預(yù)處理方法并不僅僅限于實(shí)時(shí)視頻流中圖像的預(yù)處理，事實(shí)上只要是人臉圖像的識(shí)別技術(shù)，用戶都可以使用本發(fā)明以提高識(shí)別準(zhǔn)確度、并增強(qiáng)人臉圖像中的個(gè)性化特征。

實(shí)施例8：

圖9示出了本發(fā)明實(shí)施例提供的填充單元803的結(jié)構(gòu)，為了便于說(shuō)明，僅示出與本發(fā)明實(shí)施例相關(guān)的部分，其中：

邊緣提取模塊901，用于根據(jù)所述人臉灰度圖像中的關(guān)鍵點(diǎn)，提取人臉的邊緣輪廓，并將所述人臉灰度圖像分為人臉區(qū)域和非人臉區(qū)域。

灰度填充單元902，用于根據(jù)所述人臉個(gè)性化特征模型中的特征比例，按照如下公式對(duì)所述人臉灰度圖像中非人臉區(qū)域進(jìn)行填充，得到人臉區(qū)域圖像：

其中，gi為第i張人臉灰度圖像在進(jìn)行灰度填充時(shí)的填充值，為第i張人臉灰度圖像的平均灰度值。

本發(fā)明的實(shí)施例針對(duì)現(xiàn)有灰度填充時(shí)特征不明顯的技術(shù)問(wèn)題，將用于表述人臉特征的特征比例作為灰度填充的因子，實(shí)現(xiàn)個(gè)性化灰度填充方式，使得不同人臉的灰度圖的填充值均不一致，從而有效地增強(qiáng)了人臉區(qū)域圖像的區(qū)別特征，提高后續(xù)人臉識(shí)別的準(zhǔn)確性。

實(shí)施例9：

圖10示出了本發(fā)明實(shí)施例提供的調(diào)整單元804的結(jié)構(gòu)，為了便于說(shuō)明，僅示出與本發(fā)明實(shí)施例相關(guān)的部分，其中：

大小調(diào)整模塊1001，用于識(shí)別并獲取所述人臉區(qū)域圖像中人臉區(qū)域的瞳孔位置，對(duì)人臉區(qū)域圖像進(jìn)行仿射變換，使得左眼瞳孔和右眼瞳孔之間的距離為常數(shù)d。

由于實(shí)時(shí)視頻流中人臉遠(yuǎn)近和姿態(tài)的不穩(wěn)定性，本發(fā)明的實(shí)施例首先對(duì)所述人臉區(qū)域圖像進(jìn)行歸一化調(diào)整，從而使得人臉圖像形狀均衡，并呈現(xiàn)較優(yōu)的姿態(tài)，方便人臉識(shí)別時(shí)對(duì)臉部特征的學(xué)習(xí)。

此時(shí)，d既可以通過(guò)訓(xùn)練學(xué)習(xí)得出，又可以為使用者事先設(shè)定的固定值，甚至還可以是與所述人臉區(qū)域圖像的寬度成正比的值。

位置調(diào)整模塊1002，用于根據(jù)所述人臉區(qū)域圖像的關(guān)鍵點(diǎn)，移動(dòng)所述人臉區(qū)域，使得所述人臉區(qū)域的中心點(diǎn)與所述人臉區(qū)域圖像的中心點(diǎn)重合。

其中，若所述人臉區(qū)域圖像未進(jìn)行大小上的調(diào)整，那么該人臉區(qū)域圖像的關(guān)鍵點(diǎn)與人臉灰度圖像的關(guān)鍵點(diǎn)一致，即人臉區(qū)域也相同；若所述人臉區(qū)域圖像進(jìn)行了大小上的調(diào)整，則人臉區(qū)域?yàn)樾碌年P(guān)鍵點(diǎn)所確定的。

本發(fā)明的實(shí)施例針對(duì)實(shí)時(shí)視頻的人臉區(qū)域圖像，不僅采用標(biāo)準(zhǔn)的歸一化方式，而且還根據(jù)人臉區(qū)域的個(gè)性化特征，對(duì)所述人臉區(qū)域進(jìn)行對(duì)齊處理，有效地增強(qiáng)了所述人臉區(qū)域圖像的個(gè)性化特征，從而使得后續(xù)人臉識(shí)別的準(zhǔn)確度更高。

實(shí)施例10：

圖11示出了本發(fā)明實(shí)施例提供的位置調(diào)整模塊1002的結(jié)構(gòu)，為了便于說(shuō)明，僅示出與本發(fā)明實(shí)施例相關(guān)的部分，其中：

鉛直線段子模塊1101，用于在所述人臉區(qū)域圖像上作一鉛直線段記為pi，其長(zhǎng)度為所述人臉區(qū)域圖像在鉛直方向上的高度，在所述人臉區(qū)域上作另一條鉛直線段記為p′i，其長(zhǎng)度為所述人臉區(qū)域中眉峰關(guān)鍵點(diǎn)與下頜底端關(guān)鍵點(diǎn)之間在鉛直方向上的高度。

在本發(fā)明的實(shí)施例中，pi用于表示人臉區(qū)域圖像的高度，p′i用于表示人臉區(qū)域的整體高度。

鉛直調(diào)整子模塊1102，用于分別取pi和p′i的中點(diǎn)，并在鉛直方向上調(diào)整所述人臉區(qū)域，使得p′i的中點(diǎn)與pi的中點(diǎn)在同一水平線上。

為了進(jìn)一步提高人臉識(shí)別的準(zhǔn)確度，本發(fā)明的實(shí)施例對(duì)人臉區(qū)域圖像進(jìn)行更細(xì)致的調(diào)整，使得人臉區(qū)域?qū)⑻幱谌四槄^(qū)域圖像的正中央，同時(shí)，還將調(diào)整過(guò)程分為鉛直移動(dòng)和水平移動(dòng)，從而簡(jiǎn)化了調(diào)整過(guò)程。

實(shí)施例11：

圖12示出了本發(fā)明實(shí)施例提供的位置調(diào)整模塊1002的另一種結(jié)構(gòu)，為了便于說(shuō)明，僅示出與本發(fā)明實(shí)施例相關(guān)的部分，其中：

水平線段子模塊1201，用于在所述人臉區(qū)域圖像上作一水平線段記為qi，其長(zhǎng)度為所述人臉區(qū)域圖像在鉛直方向上的高度，在所述人臉區(qū)域上作另一條水平線段記為q′i，其長(zhǎng)度為左臉關(guān)鍵點(diǎn)與右臉關(guān)鍵點(diǎn)之間在水平方向上的寬度。

在本發(fā)明的實(shí)施例中，qi用于表示人臉區(qū)域圖像的寬度，q′i用于表示人臉區(qū)域的整體寬度。

水平調(diào)整子模塊1202，用于分別取qi和q′i的中點(diǎn)，并在水平方向上調(diào)整所述人臉區(qū)域，使得q′i的中點(diǎn)與qi的中點(diǎn)在同一鉛直線上。

在本發(fā)明的實(shí)施例中，鉛直移動(dòng)和水平移動(dòng)的步驟不一定同時(shí)發(fā)生，可能只使用鉛直移動(dòng)就能夠?qū)⑷四槄^(qū)域移至圖像中心。

實(shí)施例12：

本發(fā)明實(shí)施例提供一種用于人臉圖像的個(gè)性化預(yù)處理終端，包括預(yù)處理系統(tǒng)，所述預(yù)處理系統(tǒng)用于處理所述預(yù)處理終端中的人臉灰度圖像。

其中，所述預(yù)處理終端包括手機(jī)、平板電腦或個(gè)人電腦。

本發(fā)明實(shí)施例是上述實(shí)施例的實(shí)際運(yùn)用，此時(shí)的預(yù)處理終端為一體機(jī)，即預(yù)處理系統(tǒng)與預(yù)處理終端安裝在一起。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所述模塊、單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如，多個(gè)單元或逐漸可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。而且，在本發(fā)明各個(gè)實(shí)施例中的各功能單元、模塊可以集成在一個(gè)處理單元中，也可以是各個(gè)單元、模塊單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元、模塊集成在一個(gè)單元中。

所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)、服務(wù)器、或者網(wǎng)絡(luò)設(shè)備等)自行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分不再。而前述的存儲(chǔ)介質(zhì)包括：u盤、移動(dòng)硬盤、只讀存儲(chǔ)器(rom，read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。