專利名稱：一種基于多分辨lbp的人臉檢索方法
技術(shù)領(lǐng)域：
本發(fā)明是針對(duì)現(xiàn)有人臉識(shí)別與檢索系統(tǒng)中計(jì)算復(fù)雜度高以及人臉視覺(jué)區(qū)域判別 能力不足等問(wèn)題提出的，具體涉及一種基于多分辨LBP (local binarypattern,局部二值模 式)的人臉檢索方法。
背景技術(shù)：
人臉檢索是信息檢索與信息安全領(lǐng)域中的一個(gè)重要內(nèi)容。利用人臉信息進(jìn)行檢索 也是網(wǎng)絡(luò)圖像視頻媒體分析和分類(lèi)的一個(gè)重要環(huán)節(jié)。在機(jī)場(chǎng)，海關(guān)等重要的場(chǎng)所檢查到得 人臉進(jìn)行身份確認(rèn)是確定是否非法入境以及和罪犯追蹤的重要依據(jù)。以人臉識(shí)別為例，在中國(guó)專利ZL01136577. 3中公開(kāi)了一種基于部件主分量分析 的多模式人臉識(shí)別方法。在中國(guó)專利ZL200810104401. 6中所公開(kāi)的人臉部件特征和Gabor 人臉特征融合的人臉識(shí)別方法及其裝置?，F(xiàn)有的專利及文獻(xiàn)中大都采用基于部件分析的人 臉融合方法進(jìn)行人臉識(shí)別。通常情況下在特征描述中采用Gabor變換的多尺度特征，這種 特征描述方法維數(shù)很高，但是對(duì)于存在大量人臉數(shù)據(jù)的人臉庫(kù)而言，現(xiàn)有的人臉識(shí)別方法 采用基于特征匹配和特征融合的方法來(lái)進(jìn)行。這是一一匹配的方法，其處理的速度受到嚴(yán) 重影響，因此本發(fā)明中提出采用基于多分辨分析與視覺(jué)詞匯索引的方法進(jìn)行快速的人臉檢 索。有效地提升人臉識(shí)別方法的速度和性能。

發(fā)明內(nèi)容
本發(fā)明是針對(duì)人臉識(shí)別方法采用基于特征匹配方法在處理海量人臉數(shù)據(jù)庫(kù)中的 不足而提出的一種基于多分辨LBP的人臉檢索方法。為達(dá)到以上目的，本發(fā)明是采用如下技術(shù)方案予以實(shí)現(xiàn)的一種基于多分辨LBP的人臉檢索方法，其特征在于，包括下述步驟對(duì)輸入的人臉 圖像10執(zhí)行基于多分類(lèi)器融合的人臉檢測(cè)單元20，進(jìn)行圖像中人臉區(qū)域的檢測(cè)，并用矩 形框標(biāo)出人臉在圖像中的位置；然后執(zhí)行人臉圖像中關(guān)鍵部位的檢測(cè)單元30，對(duì)人臉中的 兩只眼睛的中心，鼻尖以及左右嘴角5個(gè)關(guān)鍵部位進(jìn)行定位；接下來(lái)執(zhí)行人臉圖像形狀歸 一化處理單元40，按照左右眼角或者眼睛中心的位置，對(duì)輸入的圖像進(jìn)行形狀歸一化處理； 接下來(lái)執(zhí)行關(guān)鍵部位局部區(qū)域采樣圖像單元50，以所述的5個(gè)關(guān)鍵部位為中心劃分成具有 一定交疊的柵格，設(shè)每個(gè)局部區(qū)域劃分的柵格數(shù)目為P*Q，假定兩個(gè)眼睛中心的距離為L(zhǎng)， 鼻尖到眼睛中心垂直距離為T(mén)，那么在柵格劃分中的柵格的高度記為GH，寬度記為GW，分別 由如下公式計(jì)算得出GH = 2T/Q ；Gff = L/P ；接下來(lái)執(zhí)行多分辨LBP特征描述單元60，分別 對(duì)5個(gè)關(guān)鍵部位的局部區(qū)域的每個(gè)柵格進(jìn)行多分辨的LBP特征提??；接下來(lái)執(zhí)行視覺(jué)詞匯 生成與索引建立單元70 ；最后執(zhí)行基于TF-IDF的相似性度量單元80 ；最終在檢索結(jié)果顯 示單元90中顯示檢索結(jié)果。上述方案中，所述的多分辨LBP特征描述單元60包括下述步驟對(duì)輸入圖像61， 一次執(zhí)行如下3個(gè)步驟多級(jí)圖像濾波與低分辨圖像生成步驟62，低分辨圖像的空間金字塔采樣步驟63，以及多分辨的LBP特征描述步驟64。所述的視覺(jué)詞匯生成與索引建立單元70包括下述步驟首先對(duì)于訓(xùn)練的人臉圖 像71，從現(xiàn)有的圖像庫(kù)中選取10000幅圖像作為訓(xùn)練集；然后執(zhí)行人臉中關(guān)鍵部位的手動(dòng) 標(biāo)定步驟72，對(duì)所選取的人臉圖像分別標(biāo)注其中的關(guān)鍵部位，關(guān)建部位包括2個(gè)眼睛的中 心位置，一個(gè)鼻尖和2個(gè)嘴角的位置；然后根據(jù)標(biāo)注的人臉中的關(guān)鍵部位，對(duì)所選取的訓(xùn)練 圖像執(zhí)行人臉圖像形狀歸一化處理步驟73 ；接下來(lái)執(zhí)行關(guān)鍵部位局部區(qū)域采樣圖像步驟 74 ；然后執(zhí)行多分辨LBP特征描述步驟75，提取多分辨的LBP特征；最后執(zhí)行基于K均值聚 類(lèi)的聚類(lèi)中心生成步驟76，對(duì)所選取的圖像中的局部區(qū)域的局部圖像塊所對(duì)應(yīng)的LBP特征 進(jìn)行聚類(lèi)中心生成，在聚類(lèi)中心生成中，聚類(lèi)中心的數(shù)目K設(shè)置為10萬(wàn)個(gè)。本發(fā)明所提供的基于多分辨LBP的人臉檢索方法與現(xiàn)有的人臉識(shí)別方法相比，其 有益效果表現(xiàn)在，特征描述中采用多分辨分析的LBP描述方法，該方法的優(yōu)點(diǎn)是特征即具 有抵抗圖像在發(fā)生尺度變化時(shí)的魯棒性，有有效地降低了算法處理的時(shí)間復(fù)雜度。另外通 對(duì)關(guān)鍵位所在的局部區(qū)域劃分成具有交疊的網(wǎng)格，這種方法有效地凸顯了主要區(qū)域在人臉 檢索和識(shí)別中的權(quán)重。有效地削弱了非重要區(qū)域在人臉檢索性能的影響。另外基于視覺(jué)詞 匯的檢索方法，相對(duì)于現(xiàn)有的基于特征匹配方法而言，能夠有效地降低匹配中的算法復(fù)雜 度。
以下結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。

圖1為本發(fā)明中基于多分辨LBP的人臉檢索方法的總體步驟示意圖。圖2示例地給出了圖1中關(guān)鍵步驟結(jié)果示意照片。首先對(duì)輸入圖像邊，經(jīng)過(guò)基于 多分類(lèi)器融合的人臉檢測(cè)單元之后得出的檢測(cè)結(jié)果為照片巡；為了后續(xù)處理的魯棒性，在 照片巡的基礎(chǔ)上進(jìn)行擴(kuò)展得到顯示結(jié)果的照片巡i ；在檢測(cè)結(jié)果照片巡中，人臉圖像中關(guān) 鍵部位用黒色圓點(diǎn)標(biāo)記出來(lái)，其中分別為兩個(gè)眼睛的中心，鼻尖，和兩個(gè)嘴角共5個(gè)關(guān)鍵位 置；以照片迎中的5個(gè)關(guān)鍵點(diǎn)為中心，劃分P*Q的網(wǎng)格，照片迎中顯示了 P = 5，Q = 7的 情況。對(duì)于照片迎所劃分的網(wǎng)格所對(duì)應(yīng)的局部圖像如照片Mi所示；照片Mi中每個(gè)網(wǎng)格 所對(duì)應(yīng)的局部區(qū)域如照片_所示；■中的每個(gè)局部區(qū)域經(jīng)過(guò)多分辨的LBP特征描述之 后，進(jìn)行量化所得出的相應(yīng)的索引如照片巡所示。圖3為圖1中多分辨LBP特征執(zhí)行單元的具體流程。圖4為圖像在金字塔采樣級(jí)數(shù)為3的情況下所對(duì)應(yīng)的形式。圖像在x-，y_方向上 的下采樣率分別為Rx = Ry = 2。其中，圖4(a)為原始圖像，圖4(b)為對(duì)圖4(a)作下采樣 圖像，圖4(c)為對(duì)圖4(b)作下采樣圖像，圖4(d)為對(duì)圖4(c)作下采樣圖像。圖5為圖1中訓(xùn)練人臉圖像庫(kù)視覺(jué)詞匯生成與索引建立執(zhí)行單元的具體流程。
具體實(shí)施例方式圖1給出了本發(fā)明中基于多分辨LBP的人臉檢索方法總體實(shí)施步驟結(jié)構(gòu)框圖。包 含輸入的人臉圖像單元10，對(duì)輸入的人臉圖像執(zhí)行基于多分類(lèi)器融合的人臉檢測(cè)單元20 ； 然后執(zhí)行人臉圖像中關(guān)鍵部位的檢測(cè)單元30 ；接下來(lái)執(zhí)行人臉圖像形狀歸一化處理單元 40 ；接下來(lái)執(zhí)行關(guān)鍵部位局部區(qū)域采樣圖像單元50 ；接下來(lái)執(zhí)行多分辨LBP特征描述單元60 ；接下來(lái)執(zhí)行視覺(jué)詞匯生成與索引建立單元70 ；最后執(zhí)行基于TF-IDF的相似性度量單元 80 ；最終的檢索結(jié)果在單元90中進(jìn)行顯示。本發(fā)明執(zhí)行步驟20中對(duì)于輸入的人臉圖像進(jìn)行基于多分類(lèi)器融合的人臉檢測(cè)方 法采用公知的方法(P. viola and Μ. Jones, "Rapid Object Detection usinga boosted cascade of simple features，”in Proc. CVPR 2001)進(jìn)行圖像中人臉區(qū)域的檢測(cè)，并用矩 形框標(biāo)出人臉在圖像中的位置。圖2中示例地給出了一幅輸入的人臉圖像邊，經(jīng)過(guò)多分類(lèi) 器融合的方法檢測(cè)之后得出的人臉區(qū)域圖像為照片迎。在照片迎的基礎(chǔ)上進(jìn)行擴(kuò)展得到 顯示結(jié)果照片m。在圖1的人臉圖像中關(guān)鍵部位的檢測(cè)單元30中，實(shí)現(xiàn)對(duì)人臉中的兩只眼睛的中 心，鼻尖以及左右嘴角5個(gè)關(guān)鍵部位進(jìn)行定位。其中關(guān)鍵部位的定位方法采用現(xiàn)有公開(kāi)文 獻(xiàn)中的方法(L. Iang, R.Xiao, F. Wen, and J. Sun, "facealignment via component based discriminative search”，in Proc. ECCV 2008)。圖2中示例顯示了 5個(gè)關(guān)鍵部位的檢測(cè) 結(jié)果照片巡。在眼睛定位的基礎(chǔ)上，圖1中所示的人臉圖像形狀歸一化處理單元40按照左右眼 角(或者中心)的位置，對(duì)輸入的圖像進(jìn)行形狀歸一化處理。這形狀歸一化處理的方法可 以將人臉進(jìn)行對(duì)齊，并且進(jìn)行尺度和旋轉(zhuǎn)的消除。在圖1中的關(guān)鍵部位局部區(qū)域采樣圖像單元50中，以5個(gè)關(guān)鍵部位為中心劃分成 具有一定交疊的柵格。將設(shè)每個(gè)局部區(qū)域劃分的網(wǎng)格數(shù)目為P*Q。假定兩個(gè)眼睛中心的距 離為L(zhǎng)，鼻尖到眼睛中心垂直距離為T(mén)，那么在柵格劃分中的柵格的高度(記為GH)和寬度 (記為GW)分別由如下公式計(jì)算得出GH = 2T/QGff = L/P在圖2的照片迎中直觀顯示了 P = 7 ;Q = 5的劃分形式向的5個(gè)關(guān)鍵部位局部 區(qū)域的柵格在原圖上的對(duì)應(yīng)關(guān)系。相應(yīng)的5個(gè)局部區(qū)域的柵格形式如圖2中的照片Mi所 示，其中每個(gè)柵格中的局部圖像塊在照片■中直觀地予以顯示。在圖1中的多分辨的LBP特征提取單元60中，分別對(duì)5個(gè)關(guān)鍵部位的局部區(qū)域的 每個(gè)柵格，進(jìn)行多分辨的LBP特征提取?；镜腖BP特征提取的方法可參照文獻(xiàn)(T. Ojala, M. Pietikainen, and Μ. Maenpaa. Multiresolutiongray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24，2002，pp. 971-987.)。本發(fā)明中的多分辨 LBP特征描述方法如圖3所示。其中包括對(duì)輸入圖像61，一次執(zhí)行如下3個(gè)步驟多級(jí)圖像 濾波與低分辨圖像生成步驟62，低分辨圖像的空間金字塔采樣步驟63，以及多分辨的LBP 特征描述步驟64。設(shè)f(x，y)表示原始輸入圖像，G1(Xj)表示濾波和采樣的級(jí)數(shù)為1時(shí)的 金字塔圖像。G1 (x, y)與f (X，y)具有如下關(guān)系
'G,(x,y) = f(x,yX / = 1s
G1 (χ, >0 = Σ Σ K、m, n)Gii (Rxx+m, Ryy+nll>l
、m η其中Rx與Ry分別表示在χ-與y_方向上的空間金字塔圖像的采樣率。Rx = Ry =1是表示不采樣(也即濾波后的圖像與原始圖像大小相同)，當(dāng)Rx = Ry = 2時(shí)，采樣后的圖像大小是上一級(jí)圖像大小的1/4。本發(fā)明中的采樣率的選取自由度很大，但推薦采用 Rx = Ry = 2的采樣形式。κ (m,n)表示濾波器的核函數(shù)。當(dāng)其為高斯核時(shí)，κ (x,y)具有 如下的表達(dá)形式
… 1 「1P2 /Tφ,γ) = --exp -- —+ —
2;τσχ Lay J _其中σ χ與σ y分別表示高斯濾波器在χ-與y_方向上的標(biāo)準(zhǔn)差。本發(fā)明中濾波 器的選擇可以是多種形式的，可以是高斯核函數(shù)，也可以采用區(qū)域加權(quán)的濾波器，也可以采 用小波變換的核函數(shù)。雖然本發(fā)明中核函數(shù)的選取自由度很大，但是我們推薦采用小波變 換核，并且選取小波基為“DB2” (關(guān)于小波核函數(shù)在本領(lǐng)域內(nèi)是公知的，在此不作累述)。圖4中直觀地顯示了，采樣級(jí)數(shù)為3時(shí)所得出的采樣圖像圖。雖然采樣的級(jí)別數(shù) 可以任意設(shè)定，本發(fā)明中推薦采樣級(jí)別數(shù)為5。在多分辨的LBP特征描述步驟64中，執(zhí)行對(duì) 步驟63中所得出的不同分辨率的圖像用LBP特征進(jìn)行描述。本發(fā)明在LBP特征描述中采 用鄰域?yàn)? (ρ = 8)，半徑為l(r= 1)的LBP特征。關(guān)于LBP特征描述在公開(kāi)發(fā)表的論文中 有詳細(xì)的描述，并且在本領(lǐng)域內(nèi)是公知的，在此不作累述。在LBP特征描述中，可以采用原 始的 LBP 特征，uniform LBP 以及 Uniform-Rotation Invariant LBP，在 ρ = 8，r = 1 時(shí) 其維數(shù)分別是256，59和10。在級(jí)數(shù)L = 5時(shí)，其相應(yīng)的LBP的特征維數(shù)為256 = 1280, 59*5 = 295，和 5*10 = 50。在圖1中的視覺(jué)詞匯生成與索引建立單元70中，實(shí)現(xiàn)對(duì)輸入圖像中每個(gè)局部塊對(duì) 應(yīng)的多分辨LBP特征用訓(xùn)練樣本圖像的聚類(lèi)中心(也成為視覺(jué)詞匯或者視覺(jué)碼書(shū))進(jìn)行量 化，并獲得其相應(yīng)的索引號(hào)。視覺(jué)詞匯生成方法是采用在量化中采用K-means方法(K均值 聚類(lèi)方法)。具體而言其中包括如圖5所示的6個(gè)步驟。首先對(duì)于訓(xùn)練的人臉圖像71，我們從現(xiàn)有的圖像庫(kù)中選取10000幅圖像作為訓(xùn)練 集。然后執(zhí)行人臉中關(guān)鍵部位的手動(dòng)標(biāo)定步驟72，對(duì)所選取的人臉圖像分別標(biāo)注其中的關(guān) 鍵部位。該關(guān)建部位包括2個(gè)眼睛的中心位置，一個(gè)鼻尖和2個(gè)嘴角的位置。然后根據(jù)標(biāo)注 的人臉中的關(guān)鍵部位，對(duì)所選取的訓(xùn)練圖像執(zhí)行人臉圖像形狀歸一化處理步驟73。接下來(lái) 執(zhí)行關(guān)鍵部位局部區(qū)域采樣圖像步驟74。其中采樣的步驟和方法與圖1中所示的單元50 相同。然后執(zhí)行多分辨LBP特征描述步驟75，提取多分辨的LBP特征。最后執(zhí)行基于K均 值聚類(lèi)的聚類(lèi)中心生成步驟76，對(duì)所選取的圖像中的局部區(qū)域的局部圖像塊所對(duì)應(yīng)的LBP 特征進(jìn)行聚類(lèi)中心生成。在聚類(lèi)中心生成中，聚類(lèi)中心的數(shù)目K設(shè)置為10萬(wàn)個(gè)。假設(shè)K個(gè)聚類(lèi)中心為Ck(k = 1，. . .，K)，當(dāng)前塊所對(duì)應(yīng)的特征為F，其相應(yīng)的視覺(jué) 碼書(shū)的標(biāo)號(hào)確定方法如下
τdK0 = argmin C -F ；k = i，...，K
k其中，取d = 2(表示歐氏距離)。在圖1中的基于TF-IDF的相似性度量單元80中，執(zhí)行基于TF-IDF的相似性對(duì)量。 其中的TF-IDF方法在本領(lǐng)域內(nèi)是一種公知的方法。在該方法中是將如圖1所示的5個(gè)關(guān) 鍵部位中每個(gè)柵格(共5*5*7 = 175)所對(duì)應(yīng)的視覺(jué)詞匯作為查詢項(xiàng)，然后度量一個(gè)給定的 人臉圖像與人臉庫(kù)中每個(gè)圖像相似性。
在圖1中的檢索結(jié)果顯示單元90中，按照相似度由大到小的順序?qū)Y(jié)果進(jìn)行排序。
權(quán)利要求
1.一種基于多分辨LBP的人臉檢索方法，其特征在于，包括下述步驟對(duì)輸入的人臉圖 像(10)執(zhí)行基于多分類(lèi)器融合的人臉檢測(cè)單元(20)，進(jìn)行圖像中人臉區(qū)域的檢測(cè)，并用矩 形框標(biāo)出人臉在圖像中的位置；然后執(zhí)行人臉圖像中關(guān)鍵部位的檢測(cè)單元(30)，對(duì)人臉中 的兩只眼睛的中心，鼻尖以及左右嘴角5個(gè)關(guān)鍵部位進(jìn)行定位；接下來(lái)執(zhí)行人臉圖像形狀 歸一化處理單元(40)，按照左右眼角或者眼睛中心的位置，對(duì)輸入的圖像進(jìn)行形狀歸一化 處理；接下來(lái)執(zhí)行關(guān)鍵部位局部區(qū)域采樣圖像單元(50)，以所述的5個(gè)關(guān)鍵部位為中心劃 分成具有一定交疊的柵格，設(shè)每個(gè)局部區(qū)域劃分的柵格數(shù)目為P*Q，假定兩個(gè)眼睛中心的距 離為L(zhǎng)，鼻尖到眼睛中心垂直距離為T(mén)，那么在柵格劃分中的柵格的高度記為GH，寬度記為 GW，分別由如下公式計(jì)算得出GH = 2T/Q ；Gff = L/P ；接下來(lái)執(zhí)行多分辨LBP特征描述單元 (60)，分別對(duì)5個(gè)關(guān)鍵部位的局部區(qū)域的每個(gè)柵格進(jìn)行多分辨的LBP特征提??；接下來(lái)執(zhí)行 視覺(jué)詞匯生成與索引建立單元(70)；最后執(zhí)行基于TF-IDF的相似性度量單元(80)；最終 在檢索結(jié)果顯示單元(90)中顯示檢索結(jié)果。
2.如權(quán)利要求1所述的基于多分辨LBP的人臉檢索方法，其特征在于，所述的多分辨 LBP特征描述單元(60)包括下述步驟對(duì)輸入圖像(61)，一次執(zhí)行如下3個(gè)步驟多級(jí)圖像 濾波與低分辨圖像生成步驟(62)，低分辨圖像的空間金字塔采樣步驟(6 ，以及多分辨的 LBP特征描述步驟(64)。
3.如權(quán)利要求1所述的基于多分辨LBP的人臉檢索方法，其特征在于，所述的視覺(jué)詞匯 生成與索引建立單元(70)包括下述步驟首先對(duì)于訓(xùn)練的人臉圖像(71)，從現(xiàn)有的圖像庫(kù) 中選取10000幅圖像作為訓(xùn)練集；然后執(zhí)行人臉中關(guān)鍵部位的手動(dòng)標(biāo)定步驟(72)，對(duì)所選 取的人臉圖像分別標(biāo)注其中的關(guān)鍵部位，關(guān)建部位包括2個(gè)眼睛的中心位置，一個(gè)鼻尖和2 個(gè)嘴角的位置；然后根據(jù)標(biāo)注的人臉中的關(guān)鍵部位，對(duì)所選取的訓(xùn)練圖像執(zhí)行人臉圖像形 狀歸一化處理步驟(7 ；接下來(lái)執(zhí)行關(guān)鍵部位局部區(qū)域采樣圖像步驟(74)；然后執(zhí)行多分 辨LBP特征描述步驟(7 ，提取多分辨的LBP特征；最后執(zhí)行基于K均值聚類(lèi)的聚類(lèi)中心 生成步驟(76)，對(duì)所選取的圖像中的局部區(qū)域的局部圖像塊所對(duì)應(yīng)的LBP特征進(jìn)行聚類(lèi)中 心生成。
全文摘要
本發(fā)明公開(kāi)了一種基于多分辨LBP的人臉檢索方法，其特征是，包括如下執(zhí)行步驟首先對(duì)輸入的人臉的圖像10執(zhí)行基于多分類(lèi)器融合的人臉檢測(cè)單元20；然后執(zhí)行人臉圖像中關(guān)鍵部位的檢測(cè)單元30；接下來(lái)執(zhí)行人臉圖像形狀歸一化處理單元40；接下來(lái)執(zhí)行關(guān)鍵部位局部區(qū)域采樣圖像單元50；接下來(lái)執(zhí)行多分辨LBP特征描述單元60；接下來(lái)執(zhí)行視覺(jué)詞匯生成與索引建立單元70；最后執(zhí)行基于TF-IDF的相似性度量單元80；最終的檢索結(jié)果在單元90中進(jìn)行顯示。
文檔編號(hào)G06K9/00GK102136062SQ20111005498
公開(kāi)日2011年7月27日 申請(qǐng)日期2011年3月8日 優(yōu)先權(quán)日2011年3月8日
發(fā)明者汪歡, 錢(qián)學(xué)明 申請(qǐng)人:西安交通大學(xué)