專利名稱：人臉檢測(cè)方法和人臉檢測(cè)設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種人臉檢測(cè)方法和人臉檢測(cè)設(shè)備。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)特別是模式識(shí)別技術(shù)的發(fā)展，人臉檢測(cè)作為ー個(gè)技術(shù)方向出現(xiàn)在人們的視野。人臉檢測(cè)技術(shù)可以作為圖像處理和視頻分析領(lǐng)域中多種應(yīng)用項(xiàng)目的基礎(chǔ)性エ作，比如人臉識(shí)別、人臉圖像檢索以及駕駛員疲勞狀態(tài)檢測(cè)等等。在人臉檢測(cè)技術(shù)的外圍技術(shù)中，例如，專利文件1(US 6415053B1)提出了計(jì)算并存儲(chǔ)代表方向的梯度信息的技木。在該專利中，采用許多方向性模板，以提升邊緣區(qū)域的提取精確度。應(yīng)當(dāng)指出，該專利的目的在于定位圖像中的邊緣區(qū)域，并不能直接用于人臉檢測(cè)?，F(xiàn)在，關(guān)于人臉檢測(cè)技木本身也已經(jīng)取得了一定成就，例如，專利文件2(US7171025B2)提出了一種可以選擇來自圖像或者視頻內(nèi)容中的人臉的檢測(cè)模塊。該檢測(cè)模塊采用了由粗到精的策略。在粗糙層級(jí)中，一些候選點(diǎn)通過顏色模型而被選擇。在精細(xì)層級(jí)中，采用人臉檢測(cè)器來從具有膚色的圖像點(diǎn)中選擇人臉位置。該發(fā)明的主要局限在干，由于該專利技術(shù)的實(shí)施依賴于顏色模型，而顏色模型對(duì)于光照并不魯棒，因此嚴(yán)重限制了其性倉^:。傳統(tǒng)的人臉檢測(cè)手段的設(shè)計(jì)思路雖然是要使人臉檢測(cè)器同時(shí)保證檢測(cè)性能、檢測(cè)速度和低誤檢率，然而這樣的設(shè)計(jì)思路造成人臉檢測(cè)器的訓(xùn)練過程困難、復(fù)雜，在各種性能方面實(shí)際上難以面面俱到 。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中存在的上述問題而做出本發(fā)明。根據(jù)本發(fā)明實(shí)施例的ー個(gè)方面，提出了ー種人臉檢測(cè)方法，包括導(dǎo)入步驟，導(dǎo)入待處理圖像；子圖像提取步驟，利用不同尺度的窗ロ分別遍歷待處理圖像，提取窗口中的待處理圖像的部分，作為子圖像；預(yù)處理步驟，針對(duì)所述子圖像，利用水平Sobel模板計(jì)算得到該子圖像的Sobel圖像,如果該Sobel圖像中預(yù)定區(qū)域的Sobel響應(yīng)值之和相對(duì)于該子圖像的總Sobel響應(yīng)值之比小于預(yù)定比例閾值，則排除該子圖像；檢測(cè)步驟，針對(duì)通過預(yù)處理步驟的子圖像，利用Adaboost級(jí)聯(lián)分類器排除非人臉子圖像，獲得候選人臉子圖像；驗(yàn)證步驟，針對(duì)所述候選人臉子圖像，利用基于Haar-Sobel特征建立的Adaboost分類器,對(duì)候選人臉子圖像進(jìn)行驗(yàn)證，排除非人臉子圖像，其余作為人臉子圖像。根據(jù)本發(fā)明實(shí)施例的另ー個(gè)方面，提出了ー種人臉檢測(cè)設(shè)備，包括導(dǎo)入裝置，導(dǎo)入待處理圖像；子圖像提取裝置，利用不同尺度的窗ロ分別遍歷待處理圖像，提取窗口中的待處理圖像的部分，作為子圖像；預(yù)處理裝置，針對(duì)所述子圖像，利用水平Sobel模板計(jì)算得到該子圖像的Sobel圖像,如果該Sobel圖像中預(yù)定區(qū)域的Sobel響應(yīng)值之和相對(duì)于該子圖像的總Sobel響應(yīng)值之比小于預(yù)定比例閾值，則排除該子圖像；檢測(cè)裝置，針對(duì)通過預(yù)處理裝置的子圖像，利用Adaboost級(jí)聯(lián)分類器排除非人臉子圖像，獲得候選人臉子圖像；驗(yàn)證裝置，針對(duì)所述候選人臉子圖像，利用基于Haar-Sobel特征建立的Adaboost分類器，對(duì)候選人臉子圖像進(jìn)行驗(yàn)證，排除非人臉子圖像，其余作為人臉子圖像。本發(fā)明的實(shí)施例的人臉檢測(cè)手段在設(shè)計(jì)中采用了“分而治之”的策略。按照本發(fā)明的實(shí)施例，在傳統(tǒng)人臉檢測(cè)器的基礎(chǔ)上另外引入用于預(yù)處理和驗(yàn)證的功能模塊，從而本發(fā)明實(shí)施例的人臉檢測(cè)手段可以分為3個(gè)功能模塊，分別用于實(shí)現(xiàn)數(shù)據(jù)預(yù)處理、人臉檢測(cè)和人臉驗(yàn)證。在數(shù)據(jù)預(yù)處理模塊中，可以采用Sobel特征來直接拒絕ー些明顯非人臉的子窗ロ，此功能模塊可以避免大量的子窗ロ掃描，從而節(jié)省隨后的檢測(cè)時(shí)間。在人臉檢測(cè)模塊中，可以采用基于Haar特征的級(jí)聯(lián)分類器來選擇候選人臉子圖像。在人臉驗(yàn)證模塊中，可以采用基于Haar-Sobel特征的Adaboost分類器來拒絕ー些復(fù)雜的非人臉子圖像,從而提升整體檢測(cè)性能。在本發(fā)明實(shí)施例中，將傳統(tǒng)的人臉檢測(cè)器替代為包括傳統(tǒng)檢測(cè)在內(nèi)的三個(gè)功能模塊，使得傳統(tǒng)檢測(cè)器的性能擴(kuò)展為三個(gè)性能，從而每個(gè)功能模塊的設(shè)計(jì)難度大大降低。更重要的是，這些功能模塊在設(shè)計(jì)時(shí)可以互為補(bǔ)充，從而使得可以更容易地同時(shí)保證人臉檢測(cè)整體的檢測(cè)性能、檢測(cè)速度和低誤檢率。通過閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述，將更好地理解本發(fā)明的以上和其他目標(biāo)、特征、優(yōu)點(diǎn)和技術(shù)及エ業(yè)重要性。


圖1示出按照本發(fā)明實(shí)施例的人臉檢測(cè)方法的總體流程圖。圖2示例性地示出利用不同尺度的窗ロ分別遍歷待處理圖像的示意圖。圖3包括圖3A至圖3H，示出了ー些被預(yù)處理步驟排除的子圖像示例。圖4示出本發(fā)明實(shí)施例中可以采用的Adaboost級(jí)聯(lián)分類器的結(jié)構(gòu)示意圖。圖5包括圖5A至圖5C，示出可以用于本發(fā)明實(shí)施例所采用的級(jí)聯(lián)檢測(cè)器的Haar特征的示例，其中，圖5A示出線性Haar特征示例，圖5B示出邊緣Haar特征示例，圖5C示出中心環(huán)繞Haar特征示例。圖6包括圖6A和圖6B,圖6A示意性地示出積分Sobel圖像，圖6B示意性地示出利用圖6A所示的積分Sobel圖像而得到相應(yīng)的Sobel圖像區(qū)域的像素值之和的過程。圖7示例性地示出可以用于人臉驗(yàn)證的Haar-Sobel特征模板的示意圖。圖8包括圖8A和圖8B，示意性地示出對(duì)人臉子圖像進(jìn)行后處理的過程，其中，圖8A示出將經(jīng)過驗(yàn)證的人臉子圖像放置在原始待處理圖像中的情況，圖SB示出對(duì)人臉子圖像進(jìn)行后處理之后在原始待處理圖像中的情況。圖9示出按照本發(fā)明實(shí)施例的人臉檢測(cè)設(shè)備的總體框圖。圖10是示出按照本發(fā)明實(shí)施例的人臉檢測(cè)系統(tǒng)的總體框圖。圖11示出采用驗(yàn)證過程對(duì)整體人臉檢測(cè)性能的改進(jìn)示例。圖12包括圖12A至圖12F，示出采用按照本發(fā)明實(shí)施例的驗(yàn)證手段前后對(duì)待處理圖像進(jìn)行人臉檢測(cè)的結(jié)果對(duì)比。
具體實(shí)施方式
下面結(jié)合附圖描述本發(fā)明實(shí)施例。圖1示出按照本發(fā)明實(shí)施例的人臉檢測(cè)方法的總體流程圖。如圖1所示，本發(fā)明實(shí)施例的人臉檢測(cè)方法SlO包括導(dǎo)入步驟S100，可以導(dǎo)入待處理圖像；子圖像提取步驟S200，可以利用不同尺度的窗ロ分別遍歷待處理圖像，提取窗口中的待處理圖像的部分，作為子圖像；預(yù)處理步驟S300，可以針對(duì)所述子圖像，利用水平Sobel模板計(jì)算得到該子圖像的Sobel圖像,如果該Sobel圖像中預(yù)定區(qū)域的Sobel響應(yīng)值之和相對(duì)于該子圖像的總Sobel響應(yīng)值之比小于預(yù)定比例閾值，則排除該子圖像；檢測(cè)步驟S400，可以針對(duì)通過預(yù)處理步驟的子圖像，利用Adaboost級(jí)聯(lián)分類器排除非人臉子圖像，獲得候選人臉子圖像；驗(yàn)證步驟S500,可以針對(duì)所述候選人臉子圖像,利用基于Haar-Sobel特征建立的Adaboost分類器，對(duì)候選人臉子圖像進(jìn)行驗(yàn)證，排除非人臉子圖像，其余作為人臉子圖像。本發(fā)明實(shí)施例所處理的圖像可以通過各種已知輸入技術(shù)來輸入，諸如從各種存儲(chǔ)設(shè)備讀入、從網(wǎng)絡(luò)獲取、或利用掃描儀掃描得到等等，輸入的圖像可以以任意公知手段導(dǎo)入本發(fā)明實(shí)施例的人臉檢測(cè)手段的處理過程，經(jīng)過處理所得到的結(jié)果可以通過任意公知導(dǎo)出手段來導(dǎo)出，并以任意手段向外部輸出，諸如存儲(chǔ)到各種存儲(chǔ)設(shè)備、經(jīng)由網(wǎng)絡(luò)輸出、或利用打印機(jī)打印出等等。在經(jīng)過導(dǎo)入步驟SlOO導(dǎo)入待處理圖像之后，待處理圖像進(jìn)入子圖像提取步驟S200的處理。 圖2示例性地示出利用不同尺度的窗ロ分別遍歷待處理圖像的示意圖。如圖2所示，窗ロ在某種預(yù)定義尺度下，按照預(yù)定步長在X方向和Y方向上遍歷該圖像，窗ロ在毎次所在的位置均限定了ー個(gè)圖像范圍，可以將每次窗ロ范圍內(nèi)的圖像部分作為ー個(gè)子圖像。某種尺度的窗ロ遍歷整幅圖像之后，可以按照預(yù)定義的尺度變化比率改變窗ロ尺度(放大或縮小)，以同樣方式再次遍歷整幅圖像。從而，經(jīng)過子圖像提取步驟S200的處理，可以從待處理圖像中得到各個(gè)位置各個(gè)尺度的子圖像，以用于此后過程的處理。然后，針對(duì)在子圖像提取步驟S200提取的每幅子圖像，由預(yù)處理步驟S300對(duì)其進(jìn)行預(yù)處理，排除明顯不符合人臉圖像標(biāo)準(zhǔn)的子圖像。首先，將水平Sobel模板施加于子圖像，得到該子圖像的Sobel圖像。水平Sobel模板也可以稱為水平方向Sobel算子模板，在本發(fā)明實(shí)施例中例如可以采用3*3的模板，例
+1 +2 +1如可以是0 0 0 ,代表圖像紋理的水平梯度信息。
-—I —2 —1-當(dāng)施加該水平Sobel模板到子圖像時(shí)，將該模板與子圖像進(jìn)行相關(guān)性計(jì)算，計(jì)算后得到該子圖像的Sobel圖像，或稱為Sobel子圖像。通過對(duì)大量人臉樣本圖像的研究發(fā)現(xiàn)，在由其得到的Sobel圖像中，某些特定位置相對(duì)于其他位置具有明顯更高的響應(yīng)能量，此特性可以用來粗略排除非人臉圖像。上述的特定位置可以預(yù)定為預(yù)定區(qū)域，所述預(yù)定區(qū)域例如可以是在假設(shè)子圖像為人臉子圖像的情況下的人眼位置的區(qū)域。經(jīng)過對(duì)大量樣本圖像的定量分析，可以得到所述預(yù)定區(qū)域?yàn)樽訄D像中上部4%至40%的帶狀區(qū)域,也就是例如在子圖像高度為IOOmm的情況下,從頂部起4mm至40mm的區(qū)域。對(duì)于未知的子圖像，可以通過以下公式(I)計(jì)算該預(yù)定區(qū)域的Sobel響應(yīng)值之和相對(duì)于該子圖像的總Sobel響應(yīng)值之比。
. sum block gradientRatio =-=-=-
sum image _ gradient其中，sum_block_gradient是在Sobel圖像中位于預(yù)定區(qū)域的像素的Sobel響應(yīng)值之和，sum_image_gradient是該子圖像的全部像素的Sobel響應(yīng)值之和，即總Sobel響應(yīng)值，Ratio是二者比值。根據(jù)對(duì)大量樣本圖像的分析，如果是人臉子圖像，則該比值Ratio通常大于50%，因此，在此可以將比例閾值預(yù)先設(shè)定為50%。如果該比值Ratio小于50% (或小于等于50% )，則該子圖像認(rèn)為明顯不是人臉，因此可以在此階段直接排除。在此預(yù)處理步驟S300，還可以進(jìn)ー步考慮在計(jì)算得到Sobel子圖像之后對(duì)其進(jìn)行積分計(jì)算，得到積分Sobel圖像，在該積分Sobel圖像中的每個(gè)像素值由其相應(yīng)的Sobel子圖像中位置的左上部分所有像素響應(yīng)值的和得到。公式(I)中的sum_block_gradient和sum_image_gradient可以由該積分Sobel圖像簡單得到，例如，sum_block_gradient可以由其右下點(diǎn)處像素值(積分值)減右上點(diǎn)處像素值(積分值)得到，子圖像的右下角點(diǎn)的像素值即為sum_image_gradient。對(duì)Sobel圖像進(jìn)行積分處理得到其積分Sobel圖像的技術(shù)還將在后文中描述。通過預(yù)處理步驟S300的排除，可以直接拒絕大量的掃描得到的子窗ロ圖像，顯著提升整體檢測(cè)速度。圖3包括圖3A至圖3 H，示出了ー些被預(yù)處理步驟排除的子圖像示例。其中，圖3F明顯包括人臉，但是可能由于子圖像過大，人臉比例過小而被排除，有可能由比圖3F所示子圖像尺度小的恰好包含人臉的窗ロ所得的子圖像可以通過預(yù)處理步驟S300。ー些具有復(fù)雜紋理的子圖像也可以排除，可以減輕此后處理過程的負(fù)擔(dān)。然后，在檢測(cè)步驟S400，可以采用傳統(tǒng)的人臉檢測(cè)手段來排除非人臉圖像，例如可以利用Adaboost級(jí)聯(lián)分類器，逐級(jí)排除所處理的圖像。圖4示出本發(fā)明實(shí)施例中可以采用的Adaboost級(jí)聯(lián)分類器的結(jié)構(gòu)示意圖。如圖4所示，例如，級(jí)聯(lián)檢測(cè)器由多級(jí)檢測(cè)單元構(gòu)成，其中I到n各個(gè)級(jí)的檢測(cè)單元構(gòu)成級(jí)聯(lián)結(jié)構(gòu)，進(jìn)入的子圖像從第I級(jí)的檢測(cè)單元開始，逐步判斷是否是人臉子圖像，如果在某級(jí)的檢測(cè)單元被判斷為非，則該子圖像歸于非人臉ー類，直接排除而不代入此后的處理，在子圖像經(jīng)過所有級(jí)別的檢測(cè)單元都判斷為是關(guān)于人臉的子圖像之后，歸為人臉ー類，該子圖像作為候選人臉子圖像。從I到n各個(gè)級(jí)別的檢測(cè)單元可以利用Adaboost算法進(jìn)行訓(xùn)練，該人臉檢測(cè)器也可由其它類型的檢測(cè)器構(gòu)成，如支持向量機(jī)檢測(cè)器(或者稱分類器)或者神經(jīng)網(wǎng)絡(luò)檢測(cè)器(或者稱分類器)。在檢測(cè)步驟S300中,Adaboost級(jí)聯(lián)分類器的各級(jí)可以利用不同的Haar特征來判斷子圖像是否是非人臉子圖像。每個(gè)級(jí)的檢測(cè)單元按照其所處位置的不同而具有不同的特征復(fù)雜度。在前端的檢測(cè)單元所采用的Haar特征可以相對(duì)簡單，包含的基于Haar特征的弱分類器數(shù)目比較少；在后端的檢測(cè)單元所采用的Haar特征可以相對(duì)復(fù)雜，包含的基于Haar特征的弱分類器數(shù)目比較多。圖5包括圖5A至圖5C，示出可以用于本發(fā)明實(shí)施例所采用的級(jí)聯(lián)檢測(cè)器的Haar特征的示例，其中，圖5A示出線性Haar特征示例，圖5B示出邊緣Haar特征示例，圖5C示出中心環(huán)繞Haar特征示例，Haar特征可以在水平和傾斜兩種方向。可以采用的Haar特征不限于圖5所示，本領(lǐng)域技術(shù)人員可以理解，其它Haar特征模板例如圖5所示的模板的各種組合也可以應(yīng)用于本發(fā)明的實(shí)施例。Haar特征表示局部紋理的對(duì)比信息。在Adaboost級(jí)聯(lián)分類器中所采用的Haar特征可以是在訓(xùn)練過程挑選之后的模板，在檢測(cè)之前所需要用的Haar特征模板已經(jīng)確定，所選擇的Haar特征模板可以預(yù)先存儲(chǔ)在檢測(cè)單元中。在傳統(tǒng)的人臉檢測(cè)處理中，通過Adaboost級(jí)聯(lián)分類器而得到的子圖像可以認(rèn)為是人臉子圖像，可以直接按照其所在位置而回到原始的待處理圖像，來進(jìn)行諸如聚類之類的后處理。根據(jù)本發(fā)明實(shí)施例，還可以進(jìn)ー步采用驗(yàn)證步驟S500，在經(jīng)過檢測(cè)的候選人臉子圖像之中進(jìn)ー步排除非人臉圖像，提高最終結(jié)果的精確性。在驗(yàn)證步驟S500中可以采用Adaboost分類器來對(duì)候選人臉子圖像進(jìn)行進(jìn)一歩的排除，通過Adaboost分類器的人臉子圖像可以回到原始的待處理圖像來進(jìn)行進(jìn)一歩的后處理。Adaboost分類器采用Adaboost算法,可以基于Haar-Sobel特征來建立,能夠精細(xì)地驗(yàn)證已經(jīng)通過人臉檢測(cè)器的候選人臉子圖像。在此可以不必采用級(jí)聯(lián)分類器，而是可以選擇采用例如單級(jí)分類器。在驗(yàn)證步驟S500中所采用的Haar-Sobel特征可以是在訓(xùn)練過程中確定的模板，也就是，在驗(yàn)證處理之前，Haar-Sobel特征模板已經(jīng)確定,所確定的Haar-Sobel特征存儲(chǔ)在Adaboost分類器中。用于人臉驗(yàn)證的分類器也屬于Adaboost分類器的類型，可以由ー些弱分類器組成，每個(gè)弱分類器是一個(gè)基于對(duì)應(yīng)的Haar-Sobel特征建立的分段線性函數(shù)，每個(gè)弱分類器的權(quán)重通過Adaboost算法訓(xùn)練獲得。按照本發(fā)明的實(shí)施例，可以通過針對(duì)樣本人臉圖像，利用水平Sobel模板計(jì)算得到樣本人臉Sobel圖像,對(duì)樣本人臉Sobel圖像應(yīng)用Haar特征,來獲得所述Haar-Sobel特征。例如，可以對(duì)樣本人臉Sobel圖像進(jìn)行積分處理得到樣本人臉積分Sobel圖像，針對(duì)樣本人臉積分Sobel圖像，對(duì)與該樣本人臉積分Sobel圖像對(duì)應(yīng)的樣本人臉Sobel圖像上的Haar特征進(jìn)行計(jì)算，來獲得所述Haar-Sobel特征。具體地，可以收集足夠數(shù)量的樣本人臉圖像，以類似于前述預(yù)處理步驟S300中的方式，將水平Sobel模板施加于樣本人臉圖像，得到樣本人臉圖像的Sobel圖像，也可以稱為樣本人臉Sobel圖像。然后，可以通過以下的公式(2)來對(duì)樣本人臉圖像的Sobel圖像計(jì)算其相應(yīng)的積分Sobel圖像。圖6包括圖6A和圖6B,圖6A示意性地示出積分Sobel圖像，圖6B示意性地示出利用圖6A所示的積分Sobel圖像而得到相應(yīng)的Sobel圖像區(qū)域的像素值之和的過程。設(shè)Sobel圖像為SI，積分Sobel圖像為SSI，則如圖6A所示，積分Sobel圖像SSI中任一點(diǎn)SSI(x，y)的像素值為其對(duì)應(yīng)的Sobel圖像中左上角為(0，0)右下角為(x，y)的矩形框中的所有像素值之和。從而，如圖6B所示，在得到積分Sobel圖像之后，Sobel圖像中任意位置的矩形框(例如圖6B中角點(diǎn)為S1、S2、S3、S4的矩形框)中的像素值之和可以通過以下公式(3)快速計(jì)算得到，其中，Sobel圖像中各像素的像素值也即該像素的Sobel響應(yīng)值。SIsquare = SSI (SI) -SSI (S2) -SSI (S3) +SSI (S4) (3)其中，SIsqume是如圖 6 所示角點(diǎn)為 S1、S2、S3、S4 的矩形框，SSI (SI)、SSI (S2)、SSI (S3),SSI (S4)分別為相應(yīng)積分Sobel圖像SSI中S1、S2、S3、S4點(diǎn)的像素值，其中，積分Sobel圖像中各像素的像素值也即該像素處的Sobel積分值。在得到樣本人臉積分Sobel圖像后，對(duì)與該樣本人臉積分Sobel圖像對(duì)應(yīng)的樣本人臉Sobel圖像上的Haar特征進(jìn)行計(jì)算，得到所需的Haar-Sobel特征模板。圖7示例性地示出可以用于人臉驗(yàn)證的Haar-Sobel特征模板的示意圖，其代表的是相鄰Sobel梯度的局部對(duì)比信息，可以利用積分Sobel圖像快速計(jì)算得到。如圖7所示，選擇線性、邊緣、中心環(huán)繞三種紋理類型的Haar-Sobel特征模板，具有水平和傾斜兩種方向。基于Haar-Sobel特征模板建立Adaboost分類器,來在候選人臉子圖像中進(jìn)ー步地排除非人臉圖像，獲得人臉子圖像。經(jīng)過驗(yàn)證步驟S500進(jìn)ー步排除之后的人臉子圖像可以作為最終結(jié)果輸出，也可以進(jìn)ー步進(jìn)行后處理，在人臉子圖像按照其所在位置放置到原待處理圖像中之后，進(jìn)ー步地排除及聚類，改善輸出效果。例如，按照本發(fā)明實(shí)施例的人臉檢測(cè)方法還可以進(jìn)ー步包括決策步驟，可以根據(jù)待處理圖像中人臉子圖像的密度，排除密度低于預(yù)定密度閾值的位置處的人臉子圖像。還可以進(jìn)一歩包括聚類步驟，可以針對(duì)經(jīng)過決策步驟的待處理圖像，將同一位置重疊的人臉子圖像聚類為待處理圖像的人臉區(qū)域。圖8包括圖8A和圖8B，示意性地示出對(duì)人臉子圖像進(jìn)行后處理的過程，其中，圖8A示出將經(jīng)過驗(yàn)證的人臉子圖像放置在原始待處理圖像中的情況，圖SB示出對(duì)人臉子圖像進(jìn)行后處理之后在原始待處理圖像中的情況。在后處理過程中，首先根據(jù)待處理圖像中人臉子圖像的密度，排除密度低于預(yù)定密度閾值的位置處的人臉子圖像?？梢灶A(yù)定義最小重疊子圖像數(shù)量，可以稱為子圖像的密度閾值，用來過濾掉一部分人臉子圖像。如果預(yù)定義的最小重疊子圖像數(shù)量為N，則排除位置相重疊的人臉子圖像數(shù)量小于N的人臉子圖像，即如果人臉子圖像的密度低于密度閾值，則該位置處的人臉子圖像都排除。圖8A中的虛線框代表人臉子圖像，假定預(yù)定義的最小重疊子圖像數(shù)量為2，則排除未與任何其它人臉子圖像有任何重疊的人臉子圖像，從而進(jìn)一步增加人臉檢測(cè)的整體準(zhǔn)確程度。然后，依照剰余的各個(gè)人臉子圖像的位置以及重疊程度對(duì)這些候選子窗ロ進(jìn)行聚類，圖8B中的實(shí)線框代表多個(gè)位置相重疊的人臉子圖像聚類得到的人臉區(qū)域?？梢詫?dǎo)出圖8B所示的結(jié)果，即帶有最終確定的人臉區(qū)域的待處理圖像。在此，本發(fā)明實(shí)施例對(duì)該待處理圖像的處理可以認(rèn)為結(jié)束，然而，為了與處理過程中所用的已知的樣本圖像相區(qū)別，在此仍然稱為“待處理圖像”。上述的后處理過程也可以合并為ー個(gè)聚類過程，聚類過程中發(fā)現(xiàn)聚類數(shù)目(同一位置處重疊的子圖像數(shù)目)小于密度閾值的所聚類的子圖像均排除，由未排除的得到聚類結(jié)果。可以根據(jù)人臉子圖像之間的重合程度來判斷是否要合并，如果某一子圖像和另一子圖像大小相差不大，重合程度大于某個(gè)經(jīng)驗(yàn)閾值，則該兩子窗ロ可以認(rèn)為應(yīng)合并，否則認(rèn)為不應(yīng)合并。對(duì)于判斷應(yīng)合并的子圖像，可以通過本領(lǐng)域熟知的任何ー種手段來實(shí)現(xiàn)聚類。例如，如圖8A所示，得到兩個(gè)聚類，其中有I個(gè)人臉子圖像的聚類可以排除，而由有4個(gè)人臉子圖像的聚類得到如圖SB所示的聚類結(jié)果，即最終確定的待處理圖像中的人臉區(qū)域。圖SB所示的示意圖像可以作為最終處理結(jié)果而導(dǎo)出。圖9示出按照本發(fā)明實(shí)施例的人臉檢測(cè)設(shè)備的總體框圖。按照本發(fā)明實(shí)施例的人臉檢測(cè)設(shè)備10可以用來實(shí)施上述人臉檢測(cè)方法S10，如圖9所示，人臉檢測(cè)設(shè)備10可以包括導(dǎo)入裝置100，可以用來實(shí)施上述導(dǎo)入步驟S100，以導(dǎo)入待處理圖像；子圖像提取裝置200，可以用來實(shí)施上述子圖像提取步驟S200，以利用不同尺度的窗ロ分別遍歷待處理圖像，提取窗口中的待處理圖像的部分，作為子圖像；預(yù)處理裝置300，可以用來實(shí)施上述預(yù)處理步驟S300，以針對(duì)所述子圖像，利用水平Sobel模板計(jì)算得到該子圖像的Sobel圖像，如果該Sobel圖像中預(yù)定區(qū)域的Sobel響應(yīng)值之和相對(duì)于該子圖像的總Sobel響應(yīng)值之比小于預(yù)定比例閾值，則排除該子圖像；檢測(cè)裝置400，可以用來實(shí)施上述檢測(cè)步驟S400，以針對(duì)通過預(yù)處理裝置300的子圖像，利用Adaboost級(jí)聯(lián)分類器排除非人臉子圖像，獲得候選人臉子圖像；驗(yàn)證裝置500，可以用來實(shí)施上述驗(yàn)證步驟S500，以針對(duì)所述候選人臉子圖像，利用基于Haar-Sobel特征建立的Adaboost分類器,對(duì)候選人臉子圖像進(jìn)行驗(yàn)證,排除非人臉子圖像，其余作為人臉子圖像。其中，可以通過針對(duì)樣本人臉圖像，利用水平Sobel模板計(jì)算得到樣本人臉Sobel圖像，對(duì)樣本人臉Sobel圖像應(yīng)用Haar特征,來獲得所述Haar-Sobel特征。其中，可以對(duì)樣本人臉Sobel圖像進(jìn)行積分處理得到樣本人臉積分Sobel圖像，針對(duì)樣本人臉積分Sobel圖像，對(duì)與該樣本人臉積分Sobel圖像對(duì)應(yīng)的樣本人臉Sobel圖像上的Haar特征進(jìn)行計(jì)算,來獲得所述Haar-Sobel特征。按照本發(fā)明實(shí)施例的人臉檢測(cè)設(shè)備還可以包括決策裝置，可以用來實(shí)施上述決策步驟，以根據(jù)待處理圖像中人臉子圖像的密度，排除密度低于預(yù)定密度閾值的位置處的人臉子圖像。按照本發(fā)明實(shí)施例的人臉檢測(cè)設(shè)備還可以包括聚類裝置，可以用來實(shí)施上述聚類步驟，以針對(duì)通過決策裝置的待處理圖像，將同一位置重疊的人臉子圖像聚類為待處理圖像的人臉區(qū)域。其中，所述預(yù)處理裝置300所針對(duì)的所述預(yù)定區(qū)域?yàn)樵诩僭O(shè)子圖像為人臉子圖像的情況下的人眼位置的區(qū)域。其中，所述檢測(cè)裝置400所利用的所述Adaboost級(jí)聯(lián)分類器的各級(jí)利用不同的Haar特征來判斷子圖像是否是非人臉子圖像。其中，所述預(yù)處理裝置300所采用的所述預(yù)定比例閾值為50%。其中，所述預(yù)處理裝置300所針對(duì)的所述預(yù)定區(qū)域?yàn)樽訄D像中上部4%至40%的帯狀區(qū)域。本發(fā)明還可以實(shí)施為ー種人臉檢測(cè)系統(tǒng)。圖10是示出按照本發(fā)明實(shí)施例的人臉檢測(cè)系統(tǒng)1000的總體框圖。如圖10所示，人臉檢測(cè)系統(tǒng)1000可以包括輸入設(shè)備1100，用于從外部輸入將要檢測(cè)處理的圖像，例如可以包括鍵盤、鼠標(biāo)器、掃描儀、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等；處理設(shè)備1200，用于實(shí)施上述的按照本發(fā)明實(shí)施例的人臉檢測(cè)方法，或者實(shí)施為上述的按照本發(fā)明實(shí)施例的人臉檢測(cè)設(shè)備，例如可以包括計(jì)算機(jī)的中央處理器或其它的具有處理能力的芯片等等；輸出設(shè)備1300，用于向外部輸出實(shí)施上述人臉檢測(cè)過程所得的結(jié)果，例如可以包括顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等；以及存儲(chǔ)設(shè)備1400，用于以易失或非易失的方式存儲(chǔ)上述人臉檢測(cè)處理過程所涉及的圖像、所得的結(jié)果、命令、中間數(shù)據(jù)等等，例如可以包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、硬盤、或半導(dǎo)體存儲(chǔ)器等等的各種易失或非易失性存儲(chǔ)器。圖11示出采用驗(yàn)證過程對(duì)整體人臉檢測(cè)性能的改進(jìn)示例。在一個(gè)示例性的實(shí)驗(yàn)中，利用100張樣本圖像，其中包含202個(gè)人臉。在未采用按照本發(fā)明實(shí)施例的驗(yàn)證過程的情況下，將非人臉誤檢為人臉33個(gè)，檢測(cè)出人臉區(qū)域172，即漏檢30個(gè)，經(jīng)過選取特征的調(diào)整，在非人臉誤檢數(shù)下降5個(gè)，即誤檢28個(gè)(如圖11中柱PN所示)的情況下，檢測(cè)出人臉區(qū)域132個(gè)，檢測(cè)率為66%，即漏檢數(shù)増加40個(gè)(如圖11中柱PH所示)。在采用按照本發(fā)明實(shí)施例的驗(yàn)證過程的情況下，如果起初非人臉誤檢為人臉33個(gè)，檢測(cè)出人臉區(qū)域172，即漏檢30個(gè)，經(jīng)過選取特征的調(diào)整，在非人臉誤檢數(shù)下降5個(gè)，即誤檢28個(gè)(如圖11中柱AN所示)的情況下，仍然檢測(cè)出人臉區(qū)域154個(gè)，檢測(cè)率為77%，即漏檢數(shù)増加18個(gè)(如圖11中柱AH所示)。因此，在上述對(duì)比實(shí)驗(yàn)中，在使用驗(yàn)證手段之后，從檢測(cè)率的角度看，在相同的誤檢率情況下，沒有驗(yàn)證手段時(shí)檢測(cè)率為66%，采用驗(yàn)證手段時(shí)檢測(cè)率為77%，在加入驗(yàn)證手段后整體檢測(cè)性能得到了明顯的提升。圖12包括圖12A至圖12F，示出采用按照本發(fā)明實(shí)施例的驗(yàn)證手段前后對(duì)待處理圖像進(jìn)行人臉檢測(cè)的結(jié)果對(duì)比。圖12A、圖12C、圖12E分別示出沒有采用驗(yàn)證手段的情況下的人臉檢測(cè)的結(jié)果，圖12B、圖12D、圖12F分別示出采用驗(yàn)證手段的情況下的人臉檢測(cè)的結(jié)果。圖12B、圖12D、圖12F與圖12A、圖12C、圖12E分別基于相同的圖像，通過實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，在加入驗(yàn)證手段后，在由Haar特征所構(gòu)建的人臉檢測(cè)器中很難被拒絕的紋理，諸如手、鮮花和文字等等的一些子圖像，在加入驗(yàn)證手段后都被拒絕了。在本發(fā)明實(shí)施例中，采用分而治之的策略來解決人臉檢測(cè)問題。采用的特征可以包括各種能夠滿足實(shí)時(shí)性能要求的局部紋理描述子，諸如Haar特征、Sobel特征、及Haar-Sobel特征等等。傳統(tǒng)的人臉檢測(cè)器被擴(kuò)展為3個(gè)模塊，即，數(shù)據(jù)預(yù)處理、人臉檢測(cè)和人臉驗(yàn)證。在數(shù)據(jù)預(yù)處理中，采用Sobel特征來直接拒絕ー些非人臉的子圖像，從而可以避免大量的子圖像檢測(cè)過程，節(jié)約檢測(cè)時(shí)間。在人臉檢測(cè)模塊中，采用Haar特征的級(jí)聯(lián)分類器來選擇候選人臉子圖像。在人臉驗(yàn)證模塊中，采用Haar-Sobel特征聯(lián)合Adaboost分類器的方式來拒絕ー些復(fù)雜非人臉子圖像，以提升整體檢測(cè)性能。通過這樣的策略，由于不同的模塊針對(duì)不同的子功能，因此每個(gè)模塊的設(shè)計(jì)難度也就大大降低了。更進(jìn)一歩，因?yàn)椴煌K在設(shè)計(jì)時(shí)可以互為補(bǔ)充，從而使得可以更容易地同時(shí)保證檢測(cè)性能、檢測(cè)速度和低誤檢率。在說明書中說明的一系列操作能夠通過硬件、軟件、或者硬件與軟件的組合來執(zhí)行。當(dāng)由軟件執(zhí)行該一系列操作時(shí)，可以把其中的計(jì)算機(jī)程序安裝到內(nèi)置于專用硬件的計(jì)算機(jī)中的存儲(chǔ)器中，使得計(jì)算機(jī)執(zhí)行該計(jì)算機(jī)程序?；蛘撸梢园延?jì)算機(jī)程序安裝到能夠執(zhí)行各種類型的處理的通用計(jì)算機(jī)中，使得計(jì)算機(jī)執(zhí)行該計(jì)算機(jī)程序。例如，可以把計(jì)算機(jī)程序預(yù)先存儲(chǔ)到作為記錄介質(zhì)的硬盤或者R0M(只讀存儲(chǔ)器)中。或者，可以臨時(shí)或者永久地存儲(chǔ)(記錄)計(jì)算機(jī)程序到可移動(dòng)記錄介質(zhì)中，諸如軟盤、⑶-ROM (光盤只讀存儲(chǔ)器)、MO (磁光)盤、DVD (數(shù)字多功能盤)、磁盤、或半導(dǎo)體存儲(chǔ)器。可以把這樣的可移動(dòng)記錄介質(zhì)作為封裝軟件提供。本發(fā)明已經(jīng)參考具體實(shí)施例進(jìn)行了詳細(xì)說明。然而，很明顯，在不背離本發(fā)明的精神的情況下，本領(lǐng)域技術(shù)人員能夠?qū)?shí)施例執(zhí)行更改和替換。換句話說，本發(fā)明用說明的形式公開，而不是被限制地解釋。要判斷本發(fā)明的要_，應(yīng)該考慮所附的權(quán)利要求。
權(quán)利要求
1.一種人臉檢測(cè)方法，包括 導(dǎo)入步驟，導(dǎo)入待處理圖像； 子圖像提取步驟，利用不同尺度的窗口分別遍歷待處理圖像，提取窗口中的待處理圖像的部分，作為子圖像； 預(yù)處理步驟，針對(duì)所述子圖像，利用水平Sobel模板計(jì)算得到該子圖像的Sobel圖像，如果該Sobel圖像中預(yù)定區(qū)域的Sobel響應(yīng)值之和相對(duì)于該子圖像的總Sobel響應(yīng)值之比小于預(yù)定比例閾值，則排除該子圖像； 檢測(cè)步驟，針對(duì)通過預(yù)處理步驟的子圖像，利用Adaboost級(jí)聯(lián)分類器排除非人臉子圖像，獲得候選人臉子圖像； 驗(yàn)證步驟，針對(duì)所述候選人臉子圖像，利用基于Haar-Sobel特征建立的Adaboost分類器，對(duì)候選人臉子圖像進(jìn)行驗(yàn)證，排除非人臉子圖像，其余作為人臉子圖像。
2.按照權(quán)利要求1所述的人臉檢測(cè)方法，其中，通過針對(duì)樣本人臉圖像，利用水平Sobel模板計(jì)算得到樣本人臉Sobel圖像，對(duì)樣本人臉Sobel圖像應(yīng)用Haar特征，來獲得所述 Haar-Sobel 特征。
3.按照權(quán)利要求2所述的人臉檢測(cè)方法，其中，對(duì)樣本人臉Sobel圖像進(jìn)行積分處理得到樣本人臉積分Sobel圖像，針對(duì)樣本人臉積分Sobel圖像，對(duì)與該樣本人臉積分Sobel圖像對(duì)應(yīng)的樣本人臉Sobel圖像上的Haar特征進(jìn)行計(jì)算,來獲得所述Haar-Sobel特征。
4.按照權(quán)利要求1所述的人臉檢測(cè)方法，還包括決策步驟，根據(jù)待處理圖像中人臉子圖像的密度，排除密度低于預(yù)定密度閾值的位置處的人臉子圖像。
5.按照權(quán)利要求4所述的人臉檢測(cè)方法，還包括聚類步驟，針對(duì)經(jīng)過決策步驟的待處理圖像，將同一位置重疊的人臉子圖像聚類為待處理圖像的人臉區(qū)域。
6.按照權(quán)利要求1所述的人臉檢測(cè)方法，其中，在所述預(yù)處理步驟中，所述預(yù)定區(qū)域?yàn)樵诩僭O(shè)子圖像為人臉子圖像的情況下的人眼位置的區(qū)域。
7.按照權(quán)利要求1所述的人臉檢測(cè)方法，其中，在所述檢測(cè)步驟中，所述Adaboost級(jí)聯(lián)分類器的各級(jí)利用不同的Haar特征來判斷子圖像是否是非人臉子圖像。
8.按照權(quán)利要求1所述的人臉檢測(cè)方法，其中，在所述預(yù)處理步驟中，所述預(yù)定比例閾值為50%。
9.按照權(quán)利要求1所述的人臉檢測(cè)方法，其中，在所述預(yù)處理步驟中，所述預(yù)定區(qū)域?yàn)樽訄D像中上部4%至40%的帶狀區(qū)域。
10.一種人臉檢測(cè)設(shè)備，包括 導(dǎo)入裝置，導(dǎo)入待處理圖像； 子圖像提取裝置，利用不同尺度的窗口分別遍歷待處理圖像，提取窗口中的待處理圖像的部分，作為子圖像； 預(yù)處理裝置，針對(duì)所述子圖像，利用水平Sobel模板計(jì)算得到該子圖像的Sobel圖像，如果該Sobel圖像中預(yù)定區(qū)域的Sobel響應(yīng)值之和相對(duì)于該子圖像的總Sobel響應(yīng)值之比小于預(yù)定比例閾值，則排除該子圖像； 檢測(cè)裝置，針對(duì)通過預(yù)處理裝置的子圖像，利用Adaboost級(jí)聯(lián)分類器排除非人臉子圖像，獲得候選人臉子圖像； 驗(yàn)證裝置，針對(duì)所述候選人臉子圖像，利用基于Haar-Sobel特征建立的Adaboost分類器，對(duì)候選 人臉子圖像進(jìn)行驗(yàn)證，排除非人臉子圖像，其余作為人臉子圖像。
全文摘要
本發(fā)明提供一種人臉檢測(cè)方法，包括導(dǎo)入步驟，導(dǎo)入待處理圖像；子圖像提取步驟，利用不同尺度的窗口分別遍歷待處理圖像，提取窗口中的待處理圖像的部分，作為子圖像；預(yù)處理步驟，針對(duì)所述子圖像，利用水平Sobel模板計(jì)算得到該子圖像的Sobel圖像，如果該Sobel圖像中預(yù)定區(qū)域的Sobel響應(yīng)值之和相對(duì)于該子圖像的總Sobel響應(yīng)值之比小于預(yù)定比例閾值，則排除該子圖像；檢測(cè)步驟，針對(duì)通過預(yù)處理步驟的子圖像，利用Adaboost級(jí)聯(lián)分類器排除非人臉子圖像，獲得候選人臉子圖像；驗(yàn)證步驟，針對(duì)所述候選人臉子圖像，利用基于Haar-Sobel特征建立的Adaboost分類器，對(duì)候選人臉子圖像進(jìn)行驗(yàn)證，排除非人臉子圖像，其余作為人臉子圖像。本發(fā)明還相應(yīng)地提供一種人臉檢測(cè)設(shè)備。
文檔編號(hào)G06K9/00GK103049733SQ20111030576
公開日2013年4月17日 申請(qǐng)日期2011年10月11日 優(yōu)先權(quán)日2011年10月11日
發(fā)明者鐘誠, 劉殿超, 劉童, 師忠超, 王剛 申請(qǐng)人:株式會(huì)社理光