一種基于eeg和計算機(jī)視覺的人臉圖片檢索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人臉圖片檢索技術(shù)領(lǐng)域，具體涉及一種基于EEG和計算機(jī)視覺的人臉圖片檢索方法。
【背景技術(shù)】
[0002]人臉檢索，是指在一個大圖片庫中，以人臉本身為內(nèi)容對象，檢索含有目標(biāo)人臉的圖片。人臉檢索系統(tǒng)廣泛地應(yīng)用于社交網(wǎng)絡(luò)、行政執(zhí)法、金融等領(lǐng)域，具有很高的應(yīng)用價值，很多研宄者投身于人臉檢索方法的研宄。
[0003]目前，由于計算機(jī)計算速度快、存儲容量大、吞吐量大，計算機(jī)視覺是實現(xiàn)人臉檢索系統(tǒng)的主要方法，并已取得一定的成果。但是計算機(jī)視覺容易受到表情、光照、遮擋等變化的影響，所以基于計算機(jī)視覺的人臉識別系統(tǒng)在遇到表情、光照、遮擋變化大的人臉圖片時，檢索效果不太理想。
[0004]人具有很強(qiáng)的認(rèn)知能力，對目標(biāo)人臉識別具有魯棒性，不受光照、遮擋等變化的影響，而且人腦在目標(biāo)圖片刺激后幾百毫秒內(nèi)會產(chǎn)生事件相關(guān)電位ERP (Event-RelatedPotential，ERP)。事件相關(guān)電位(參考文獻(xiàn):Steven J.Luck，事件相關(guān)電位基礎(chǔ)，華東師范大學(xué)出版社，2009年)是一種與心理認(rèn)知和記憶相關(guān)的腦電電位，反應(yīng)了人類認(rèn)知過程中大腦的狀態(tài)?？梢酝ㄟ^這種與特異性時間相關(guān)的電活動分析人是否看到他們感興趣的目標(biāo)人臉。
[0005]已有研宄者提出用人強(qiáng)大的認(rèn)知能力實現(xiàn)人臉識別系統(tǒng)。Cai等人在2013年實現(xiàn)了一個基于單次ERP分析的快速人臉圖片識別系統(tǒng)，將目標(biāo)人臉(即目標(biāo)人臉圖片)和非目標(biāo)人臉(即非目標(biāo)人臉圖片)快速隨機(jī)地呈現(xiàn)給用戶，同時記錄用戶的EEG信號，通過分析一些特殊的ERP波形成分(如N200、P300)來判斷目標(biāo)和非目標(biāo)人臉。
[0006]該方法能夠有效地檢索出目標(biāo)人臉。但是當(dāng)圖庫很大時，人需要看很多圖片，由于受到人的情緒、人腦的抗疲勞能力、以及人腦處理速度和吞吐量等因素的影響，導(dǎo)致在圖庫很大的情況下，該方法不能得到有效應(yīng)用。
[0007]已有研宄者提出將人強(qiáng)大的認(rèn)知能力和計算機(jī)的快速計算能力結(jié)合，來實現(xiàn)目標(biāo)圖片檢索系統(tǒng)。P.Sajda等人在2011年實現(xiàn)了一個結(jié)合EEG和計算機(jī)視覺的大類圖片(如老虎、大象的圖片)檢索閉環(huán)系統(tǒng)，系統(tǒng)先在被試面前快速呈現(xiàn)圖片，同時記錄被試的EEG信號，解碼EEG信號判斷目標(biāo)圖片，計算機(jī)視覺根據(jù)人腦檢索到的目標(biāo)圖片在大圖庫中快速檢索更多可能的目標(biāo)圖片，再呈現(xiàn)給被試看，如此循環(huán)，直到解碼EEG信號得到的目標(biāo)圖片之間的相似度達(dá)到預(yù)設(shè)標(biāo)準(zhǔn)。
[0008]以上的研宄事實說明，人對人臉的識別具有魯棒性，且具有不受光照、遮擋影響等優(yōu)點，而計算機(jī)計算速度快、存儲容量大、吞吐量大，以及結(jié)合人強(qiáng)大的認(rèn)知能力和計算機(jī)視覺實現(xiàn)目標(biāo)圖片檢索的可行性。但是還未見到利用人強(qiáng)大的認(rèn)知能力和計算機(jī)視覺對人臉圖片進(jìn)行檢索的報道。因此，可以實現(xiàn)基于EEG和計算機(jī)視覺的人臉圖片檢索閉環(huán)系統(tǒng)，以實現(xiàn)人臉檢索的功能。

【發(fā)明內(nèi)容】

[0009]針對現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種基于EEG和計算機(jī)視覺的人臉圖片檢索方法。
[0010]一種基于EEG和計算機(jī)視覺的人臉圖片檢索方法，通過迭代法進(jìn)行搜索，每次迭代時執(zhí)行如下步驟:
[0011](I)向用戶呈現(xiàn)目標(biāo)人臉圖片后繼續(xù)向用戶呈現(xiàn)人臉圖片序列，并記錄用戶的腦電信號;
[0012](2)對步驟(I)采集的腦電信號依次進(jìn)行預(yù)處理、特征提取和解碼，根據(jù)各人臉圖片的解碼結(jié)果選擇若干候選人臉圖片；
[0013](3)利用計算機(jī)視覺計算各個所述候選人臉圖片與目標(biāo)人臉圖片的相似度，并利用計算機(jī)視覺根據(jù)所述的解碼結(jié)果和相似度從候選人臉圖片中確定若干人臉圖片作為目標(biāo)樣本集；
[0014](4)利用計算機(jī)視覺計算人臉圖片庫中各人臉圖片與目標(biāo)樣本集的平均相似度，并根據(jù)平均相似度從人臉圖片庫中選擇若干人臉圖片作為下一輪迭代要呈現(xiàn)的人臉圖片序列；
[0015]直至當(dāng)前輪與前一輪迭代得到的候選人臉圖片中不相同的張數(shù)達(dá)到預(yù)設(shè)的閾值時停止，并從最后一次迭代得到的人臉圖片序列中選擇若干個作為最終檢索結(jié)果。
[0016]為了確保首次迭代過程中呈現(xiàn)的人臉圖片序列含有目標(biāo)人臉，作為優(yōu)選，通過如下方法選擇首次迭代時所呈現(xiàn)的人臉圖片序列:
[0017]向用戶呈現(xiàn)一張待檢索人臉的樣本圖片作為目標(biāo)人臉，利用計算機(jī)視覺基于人臉相似度從人臉圖庫中檢索出若干與目標(biāo)人臉相近的人臉圖片，作為首輪迭代要呈現(xiàn)的人臉圖片序列。
[0018]本發(fā)明中利用計算機(jī)視覺從人臉圖庫中選出與目標(biāo)人臉相似度最高的160張人臉圖片作為首輪迭代要呈現(xiàn)的人臉圖片序列。
[0019]本發(fā)明中根據(jù)最后一次迭代時形成的人臉圖片序列中各個人臉圖片與目標(biāo)樣本集的平均相似度選擇平均相似度最高的前若干個作為最終檢索結(jié)果。
[0020]作為優(yōu)選，迭代停止后，從最后一次迭代形成的人臉圖片序列中選擇與目標(biāo)樣本集相似度最高的前50?100張作為最終檢索結(jié)果。
[0021]本發(fā)明基于EEG和計算機(jī)視覺的人臉圖片檢索方法利用循環(huán)迭代進(jìn)行迭代，每次迭代時是利用人強(qiáng)大的認(rèn)知能力，通過用戶看到不同人臉圖片產(chǎn)生的腦電信號，進(jìn)行目標(biāo)人臉的精細(xì)檢索，得到候選人臉圖片；然后利用計算機(jī)的快速計算能力，通過計算機(jī)視覺從候選圖片中篩選出目標(biāo)樣本集，并利用目標(biāo)樣本集從人臉圖庫中快速檢索出與人腦檢索出的圖片相似度大的圖片作為下一輪迭代要呈現(xiàn)的人臉圖片序列。如此通過一輪人的精細(xì)檢索，一輪計算機(jī)的快速檢索，既保證了檢索精度也保證了檢索效率。
[0022]本發(fā)明中用戶要檢索的目標(biāo)人臉是一個人在不同年齡段、不同姿勢、不同背景下的圖片，不是目標(biāo)人臉的同一張圖片。
[0023]在本發(fā)明的人臉檢索過程中，要求用戶有良好的視力或矯正后的視力，以及在使用過程中有良好的視角，因此，在使用過程中，用戶需坐在距離顯示器I米左右的位置。
[0024]在本發(fā)明的人臉檢索過程中，需要用戶集中注意力，因此，在呈現(xiàn)人臉圖片之前，設(shè)置一個倒計時器，使用戶集中注意力，準(zhǔn)備好檢索目標(biāo)人臉，在呈現(xiàn)人臉圖片過程中，要求用戶看到目標(biāo)人臉時單擊一下鼠標(biāo)。
[0025]為了得到更好的人臉檢索效果，作為優(yōu)選，所述步驟(I)中向用戶呈現(xiàn)人臉圖片序列時每張人臉圖片的呈現(xiàn)時間為500ms，每兩張圖片之間有500ms的灰屏?xí)r間，每輪呈現(xiàn)160張人臉圖片。
[0026]作為優(yōu)選，所述步驟(2)中對腦電信號進(jìn)行預(yù)處理，預(yù)處理步驟包括:
[0027](2-1)對腦電信號進(jìn)行濾波、放大和采樣；
[0028](2-2)對經(jīng)過步驟(2-1)處理后的腦電信號依次進(jìn)行去基線漂移、去眼電和去高頻成分。
[0029]本發(fā)明中使用眼電信號相關(guān)消減算法去除腦電信號中的眼電偽跡，使用帶通濾波器濾波去除高頻成本。
[0030]經(jīng)去基線漂移、去眼電和去高頻成分的腦電信號，具有更高的信噪比，從而提高人臉檢索的準(zhǔn)確性。
[0031]作為優(yōu)選，所述步驟(2)中對預(yù)處理后的腦電信號進(jìn)行特征提取的具體方法如下:
[0032]使用降采樣因子為10的滑動平均降采樣方法進(jìn)行降采樣，根據(jù)步驟(I)所呈現(xiàn)的每一張人臉圖片刺激出現(xiàn)的時刻，將各通道腦電信號劃分為對應(yīng)于每一張人臉圖片的數(shù)據(jù)段，將各通道對應(yīng)于同一張人臉圖片的數(shù)據(jù)段首尾相連，作為相應(yīng)人臉圖片的特征向量。
[0033]作為優(yōu)選，所述步驟(2)中解碼的具體過程為:利用模式識別算法SVM，通過第一分類器對各個人臉圖片的特征向量進(jìn)行分類打分，得到的分類打分結(jié)果即為解碼結(jié)果。
[0034]相應(yīng)的，所述步驟(2)中根據(jù)分類打分結(jié)果選擇打分最高的若干候選人臉圖片。
[0035]作為優(yōu)選，本發(fā)明中將分?jǐn)?shù)(SVM的決策值)最高的20張圖片作為若干候選人臉圖片。
[003