人臉活體判斷方法以及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種身份認(rèn)證技術(shù)領(lǐng)域，尤其涉及一種人臉活體判斷方法以及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉識(shí)別技術(shù)是一種有效的身份認(rèn)證技術(shù)，但是隨著人臉識(shí)別技術(shù)的廣泛使用， 出現(xiàn)了各種方法冒充人臉以通過(guò)身份認(rèn)證，這種使用非真實(shí)的欺騙人臉進(jìn)行身份認(rèn)證的方 式被稱為"人臉攻擊"。常見的人臉攻擊形式包括以照片、視頻播放或3D模型進(jìn)行的欺騙性 識(shí)別以通過(guò)身份認(rèn)證。其中照片和視頻播放是最常見的攻擊方式，人們可以從移動(dòng)設(shè)備或 者監(jiān)控?cái)z像頭中輕易地獲取合法用戶的相關(guān)資料。而且隨著現(xiàn)代技術(shù)的發(fā)展，3D人臉的合 成和模型的獲取不再是一件難以實(shí)現(xiàn)的事，例如，ThatsMyFace.com的服務(wù)可以通過(guò)上傳一 張正面和一張側(cè)面照片實(shí)現(xiàn)3D人臉的重構(gòu)和3D模型的訂制。因此出于信息安全的考慮， 在人臉識(shí)別系統(tǒng)中加入活體檢測(cè)的功能受到越來(lái)越多的關(guān)注。
[0003] 人們對(duì)常見的人臉攻擊方式進(jìn)行分析，認(rèn)為和真實(shí)人臉相比，照片人臉是平面的， 并存在二次獲取帶來(lái)的質(zhì)量損失、模糊等問(wèn)題；視頻人臉具有LCD反光等現(xiàn)象；3D模型人臉 運(yùn)動(dòng)是剛性運(yùn)動(dòng)等。這些都是目前人臉攻擊方式存在的弱點(diǎn)，因此，與這些弱點(diǎn)相對(duì)應(yīng)，當(dāng) 前人臉識(shí)別中的活體檢測(cè)方法主要分為三類：基于運(yùn)動(dòng)的方法、基于紋理的方法以及融合 二者的方法。
[0004] 基于運(yùn)動(dòng)的方法主要是分析圖像幀序列的運(yùn)動(dòng)趨勢(shì)，比如通過(guò)光流法估計(jì)出人臉 不同區(qū)域的運(yùn)動(dòng)趨勢(shì)來(lái)區(qū)分真實(shí)人臉和照片攻擊，或者采用光流法通過(guò)估計(jì)物體的剛體運(yùn) 動(dòng)來(lái)判斷是否活體等各種方法。除了無(wú)意識(shí)的頭部運(yùn)動(dòng)，合法用戶的其他生物行為也被用 來(lái)判斷是否活體，比如眨眼行為?；诩y理的方法則基于欺騙人臉在二次獲取的過(guò)程中會(huì) 帶來(lái)質(zhì)量下降、模糊等微紋理的變化，通過(guò)找出單幀真實(shí)人臉和欺騙人臉的顯著性區(qū)分特 征進(jìn)行活體判斷。
[0005] 但是，雖然上述兩種方法能夠在一定程度上抵御人臉攻擊，但是仍然存在很多問(wèn) 題，比如基于運(yùn)動(dòng)的方法能夠抵御照片攻擊，對(duì)扭曲的照片和視頻攻擊基本無(wú)效?；诩y理 的方法能夠有效地學(xué)習(xí)真實(shí)人臉和欺騙人臉的判別模型，然而卻丟失了圖像幀之間的相關(guān) 信息。
[0006] 此外，目前還存在基于多模和多頻譜的活體檢測(cè)方法?；诙嗄５幕铙w檢測(cè)是將 人臉和其他生物特征，如姿態(tài)、語(yǔ)音、指紋和手形等結(jié)合起來(lái)進(jìn)行身份認(rèn)證。一般來(lái)說(shuō)，基于 多模的生物認(rèn)證系統(tǒng)比基于單一特征的認(rèn)證系統(tǒng)抵抗攻擊的能力強(qiáng)。基于多頻譜的活體檢 測(cè)方法是利用在近紅外下真實(shí)人臉和欺騙人臉的反射率不同來(lái)進(jìn)行區(qū)分。雖然這兩類方法 取得了較好的活體檢測(cè)性能，但是此類方法需要額外的設(shè)備，甚至在基于多模的活體檢測(cè) 系統(tǒng)中需要用戶的配合，加重了用戶的負(fù)擔(dān)。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明鑒于以上問(wèn)題，提供了一種人臉活體判斷方法，用于在人臉識(shí)別中區(qū)分真 實(shí)人臉和欺騙人臉，其既不需要額外的設(shè)備也不需要用戶配合的人臉活體判斷方法，可以 有效區(qū)分真實(shí)人臉和欺騙人臉。
[0008] 本發(fā)明的一個(gè)方面提供一種人臉活體判斷方法，用于在人臉識(shí)別中區(qū)分真實(shí)人臉 和欺騙人臉，其包括：獲取一定數(shù)量的人臉圖像的步驟；獲取每個(gè)人臉圖像的眼睛圖像以 及該眼睛圖像的特征的步驟；根據(jù)獲取的眼睛圖像的特征以及視線估計(jì)模型進(jìn)行視線預(yù)測(cè) 獲得對(duì)應(yīng)數(shù)量視線位置的步驟；根據(jù)視線詞典對(duì)所述對(duì)應(yīng)數(shù)量視線位置進(jìn)行量化，建立視 線直方圖的步驟；和根據(jù)視線直方圖獲得信息熵并進(jìn)行活體判斷的步驟，其中如果熵值大 于〇,則判定為真實(shí)人臉，否則判定為欺騙人臉。
[0009] 本發(fā)明提供的人臉活體判斷方法是一種既不需要額外的設(shè)備也不需要用戶配合 的人臉活體判斷方法，并且由于視線行為的不確定性、很難被他人通過(guò)攝像頭等獲取的特 性，可以有效區(qū)分真實(shí)人臉和欺騙人臉。
[0010] 本發(fā)明的另一個(gè)方面提供一種活體判斷系統(tǒng)，其包括：圖像采集單元，其用于采 集一定數(shù)量的人臉圖像；特征提取單元，其用于獲取每個(gè)人臉圖像的眼睛圖像以及該眼睛 圖像的特征；視線估計(jì)單元，其根據(jù)獲取的眼睛圖像的特征以及視線估計(jì)模型進(jìn)行視線預(yù) 測(cè)獲得對(duì)應(yīng)數(shù)量視線位置；視線統(tǒng)計(jì)單元，其根據(jù)視線詞典對(duì)所述對(duì)應(yīng)數(shù)量視線位置進(jìn)行 量化，建立視線直方圖，和活體判斷單元，其根據(jù)視線直方圖獲得信息熵并進(jìn)行活體，其中 如果熵值大于〇,則判定為真實(shí)人臉，否則判定為欺騙人臉。
[0011] 本發(fā)明提供的活體判斷系統(tǒng)，利用視線行為的不確定性、難被他人通過(guò)攝像頭等 獲取的特性，可以有效區(qū)分真實(shí)人臉和欺騙人臉。
【附圖說(shuō)明】
[0012] 圖1是本發(fā)明一實(shí)施方式的視線估計(jì)模型建立方法流程圖；
[0013] 圖2是本發(fā)明一實(shí)施方式用于建立視線估計(jì)模型的數(shù)據(jù)采集系統(tǒng)；
[0014] 圖3是本發(fā)明一實(shí)施方式獲取眼睛圖像及特征的示意圖；
[0015] 圖4是本發(fā)明一實(shí)施方式獲取眼睛圖像及特征的方法流程圖；
[0016] 圖5是本發(fā)明一實(shí)施方式的人臉活體判斷方法流程圖；
[0017] 圖6是本發(fā)明一實(shí)施方式視線詞典構(gòu)建示意圖；
[0018] 圖7是本發(fā)明一實(shí)施方式的人臉活體判斷系統(tǒng)的結(jié)構(gòu)示意圖；
[0019] 圖8是圖7所示人臉活體判斷系統(tǒng)的特征提取單元的詳細(xì)結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0020] 為使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖和具體實(shí)施方 式對(duì)本發(fā)明提供的人臉活體判斷方法和系統(tǒng)進(jìn)行詳細(xì)描述。在這些附圖中，對(duì)于相同或者 相當(dāng)?shù)臉?gòu)成要素，標(biāo)注相同標(biāo)號(hào)。以下僅為本發(fā)明的人臉活體判斷方法和系統(tǒng)的最佳實(shí)施 方式，本發(fā)明并不僅限于下述結(jié)構(gòu)。
[0021] 本發(fā)明的人臉活體判斷方法及系統(tǒng)，用于在人臉識(shí)別中區(qū)分真實(shí)人臉和欺騙人 臉。由于注意力轉(zhuǎn)移過(guò)程具有不確定性，視線行為是一種難以被他人通過(guò)監(jiān)控?cái)z像頭等設(shè) 備獲取的生物信息，同時(shí)，和欺騙人臉相比，真實(shí)人臉的視線運(yùn)動(dòng)具有更大的不確定性，因 此本發(fā)明將視線引入活體判斷問(wèn)題中可以有效區(qū)分真實(shí)人臉和欺騙人臉。本發(fā)明的人臉活 體判斷方法及系統(tǒng)基本思想是獲取眼睛圖像以及特征，并根據(jù)眼睛圖像特征及視線估計(jì)模 型進(jìn)行視線估計(jì)，然后對(duì)預(yù)測(cè)的視線進(jìn)行量化和統(tǒng)計(jì)，進(jìn)而進(jìn)行活體判斷，即，判斷被識(shí)別 對(duì)象是真實(shí)人臉還是欺騙人臉。
[0022] 為此，本發(fā)明首先需要建立合適的視線估計(jì)模型，利用該模型可以很好地檢測(cè)到 視線變化。現(xiàn)有的視線估計(jì)模型主要為：基于外觀的方法和基于特征的方法，基于特征的方 法需要提取眼睛的局部特征（例如虹膜輪廓、瞳孔和亮斑等），并建立特征與視點(diǎn)之間的映 射關(guān)系。然而，基于此類方法一般需要高清攝像頭甚至需要多個(gè)光源或多個(gè)攝像頭?；?外觀的方法首先定位出眼睛區(qū)域，然后直接建立眼睛圖像與屏幕中視點(diǎn)坐標(biāo)的映射關(guān)系， 充分利用了眼睛視線的信息。考慮到本發(fā)明提出的人臉活體判斷方法在自然光環(huán)境下并且 不依賴額外的設(shè)備或者光源的條件下進(jìn)行的（實(shí)際上，只有一個(gè)分辨率為640X480像素的 USB攝像頭），因此本實(shí)施方式選擇基于外觀的方法對(duì)視線方向進(jìn)行建模。此外，考慮到真 實(shí)人臉和欺騙人臉存在微紋理的區(qū)別，本發(fā)明首先對(duì)眼睛圖像提取局部紋理特征，然后通 過(guò)回歸模型建立局部紋理特征向量和視點(diǎn)之間的映射關(guān)系。在本實(shí)施方式中，視線估計(jì)模 型的建立主要通過(guò)讓用戶依次注視計(jì)算機(jī)屏幕中的9個(gè)視點(diǎn)，由此獲得9個(gè)視線方向的用 戶正面圖像數(shù)據(jù)，通過(guò)回歸模型建立用戶眼睛圖像特征和計(jì)算機(jī)屏幕中視點(diǎn)的映射關(guān)系。 下面結(jié)合圖1~圖4來(lái)說(shuō)明本發(fā)明視線估計(jì)模型的建立和求解。
[0023] 圖1是本發(fā)明一實(shí)施方式的視線估計(jì)模型建立方法流程圖；圖2是本發(fā)明一實(shí)施 方式用于建立視線估計(jì)模型的數(shù)據(jù)采集系統(tǒng)。如圖1所示，該視線估計(jì)模型的建立方法包 括：步驟S1，數(shù)據(jù)采集；步驟S2,提取眼睛圖像及特征；步驟S3,模型建立和求解。
[0024] 為了建立視線估計(jì)的統(tǒng)計(jì)模型，首先進(jìn)行相關(guān)數(shù)據(jù)的采集，本實(shí)施方式的數(shù)據(jù)采 集系統(tǒng)如圖2中（a)所示，其由1個(gè)19寸大?。ǚ直媛蕿?440X900像素）的液晶顯示器 和1個(gè)分辨率為640X480像素的USB攝像頭構(gòu)成。在液晶顯示器上有9個(gè)固定點(diǎn)，稱為視 點(diǎn)，視點(diǎn)的具體位置見圖2中（b)所示，每一個(gè)視點(diǎn)的坐標(biāo)是以像素為單位，圖2中（b)中 1、2、3….9表示視點(diǎn)的標(biāo)號(hào)，標(biāo)號(hào)右下方、右上方或者左下方括號(hào)內(nèi)的值是對(duì)應(yīng)視點(diǎn)在計(jì)算 機(jī)屏幕中的位置，比如第一個(gè)視點(diǎn)的位置為（88,83)。
[0025] 在步驟S1中，采集對(duì)象坐在距離計(jì)算機(jī)屏幕大約50cm-6〇Cm的地方，并且盡量保 持頭部的固定。在數(shù)據(jù)采集的過(guò)程中，首先要求采集對(duì)象在保持頭部固定的前提下目光注 視第1個(gè)視點(diǎn)（88,83)并保持該視線方向，保存在此期間攝像頭捕捉到的采集對(duì)象的正面 圖像，達(dá)到30幀后停止圖像的保存；然后引導(dǎo)采集對(duì)象的視線轉(zhuǎn)向第2個(gè)視點(diǎn)（552,83)， 同樣保存用戶正面圖像30幀；繼續(xù)下去，直到9個(gè)視點(diǎn)下的270幀圖像采集完畢為止。以 相同的方式，本文采集50個(gè)樣本注視9個(gè)視點(diǎn)的圖像，共13500張用戶正面圖像，人工去除 閉眼的圖像，剩余12698張有效圖像。