專利名稱：面部檢測裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種檢測圖像數(shù)據(jù)中所包含的人體面部區(qū)域的面部檢測裝置，特別是 一種低耗電且高效率地檢測該面部區(qū)域的面部檢測裝置。
背景技術(shù)：
現(xiàn)有技術(shù)中，已有諸如檢測用數(shù)字相機(jī)等拍攝到的圖像數(shù)據(jù)中所包含的面部區(qū)域 的技術(shù)。一般來說，在檢測圖像數(shù)據(jù)中所包含的面部區(qū)域時，通過對預(yù)先準(zhǔn)備好的面部模板 (templet)進(jìn)行匹配(matching)處理，來檢測該圖像數(shù)據(jù)中所包含的面部。進(jìn)一步，在作為面部檢測處理對象的圖像數(shù)據(jù)中存在多個大小不同的面部的情況 下，通過逐次變更該圖像數(shù)據(jù)或預(yù)先準(zhǔn)備好的面部模板的分辨率，來檢測圖像數(shù)據(jù)中所包 含的多個大小不同的面部的方法也得到提案(例如，專利文獻(xiàn)1)。圖10是表示一般的面部檢測裝置中的面部檢測處理的概念圖。在圖10中，面部 檢測裝置對分辨率為QVGA(Quarter Video Graphics Array，四分之一視頻圖形陣列)分辨 率的輸入圖像90進(jìn)行面部檢測處理。為了檢測輸入圖像90中所包含的多個大小不同的面 部，而相應(yīng)于預(yù)先設(shè)定好的分辨率，對該輸入圖像90分別生成具有不同分辨率的圖像。在 此，分別生成對應(yīng)于不同的分辨率的圖像時，如下面的數(shù)式1所示那樣，將輸入圖像90逐次 縮小20%，來生成對應(yīng)于各分辨率的圖像91、92、93…。(1/1·25)η· · ·(數(shù)式 1)在此，η是表示輸入圖像90的縮小次數(shù)的分辨率ID，分辨率ID越大則輸入圖像 90的縮小率就越大。由于輸入圖像90的分辨率為QVGA分辨率(橫320像素X縱240像 素)，所以分辨率ID = 0的圖像91與分辨率為QVGA分辨率的圖像一樣。另外，在分辨率 ID = 1的情況下，成為分辨率為QVGA分辨率的1. 25分之1、即相對QVGA分辨率圖像而言 縮小率為80%的圖像92(橫256像素X縱192像素)。同樣，在分辨率ID = 2的情況下， 成為相對QVGA分辨率圖像而言縮小率為64%的圖像93(橫205像素X縱IM像素)。圖11是表示分辨率與相應(yīng)于分辨率而生成的圖像的像素數(shù)之間的關(guān)系的圖。圖 11中，示出了在分別生成對應(yīng)于不同的分辨率的圖像時，基于上述數(shù)式1而將QVGA分辨率 圖像逐次縮小了 20%的情況下，分辨率ID與相應(yīng)于分辨率而生成的圖像的縱像素數(shù)及橫 像素數(shù)之間的關(guān)系。在此，例如，在用橫20像素X縱20像素的面部模板進(jìn)行匹配處理的情況下，如圖 11所示那樣，從分辨率ID = 0開始逐次縮小20%，則可生成對應(yīng)于分辨率ID = 11為止的 分辨率的圖像。由于最小的分辨率(分辨率ID= 11)為橫四像素X縱23像素，所以若進(jìn) 一步縮小圖像，則與橫20像素X縱20像素的面部模板無法匹配。因而，分辨率ID為0 11。如此，該分辨率ID的次數(shù)是根據(jù)預(yù)先準(zhǔn)備好的面部模板的尺寸而決定的。在上述現(xiàn)有技術(shù)的例中，通過將輸入圖像90按規(guī)定的縮小率逐次縮小，來分別生 成相對輸入圖像90具有不同分辨率的圖像91、92、93…。然后，按照從縮小率最大的圖像 (分辨率ID = 11)至縮小率小的圖像(分辨率ID = 0)的順序，依次選擇作為面部檢測處理對象的圖像，并從分別被選擇出的圖像中切取出一部分圖像與預(yù)先準(zhǔn)備好的面部模板匹 配。即，通過按照從尺寸最小的圖像至尺寸大的圖像的順序逐次進(jìn)行面部檢測處理，來從輸 入圖像90中所包含的最大的面部開始依次檢測多個大小不同的面部。另外，近年還出現(xiàn)了能夠進(jìn)行高速攝影的攝像機(jī)系統(tǒng)。該攝像機(jī)系統(tǒng)能夠在1秒 間進(jìn)行300幀以上的攝影，所以能捕捉到?jīng)Q定性的瞬間。對于用該攝像機(jī)系統(tǒng)拍攝到的圖 像，若要高精度地進(jìn)行面部檢測，最好是對以每秒300幀拍攝到的圖像數(shù)據(jù)的全幀進(jìn)行上 述說明過的面部檢測處理。然而，面部檢測處理所需的處理量會與適用于面部檢測處理的 幀數(shù)成比例地增加。然而，近年對消費(fèi)型電子產(chǎn)品的低耗電化的要求越來越強(qiáng)。一般而言，由于設(shè)備的 處理量與功率消耗量成比例，所以在維持面部檢測的精度的同時減少面部檢測處理所需要 的處理量是十分重要的。有關(guān)試圖在維持幀圖像中的對象物的檢測精度的同時減少每個幀圖像的運(yùn)算量 并縮短處理時間的方法，例如，已在專利文獻(xiàn)2中得到提案。在專利文獻(xiàn)2中，是通過相應(yīng) 于檢測對象物的大小及車速而理論性地推導(dǎo)出有效的幀頻并限定檢測范圍，來省去無用的 處理的。即，利用了看上去較遠(yuǎn)的小被攝體即使在近處看其大小也不會大幅改變這一性質(zhì)。 也就是說，在檢測小被攝體時，即使減少檢測對象的幀頻，也能維持檢測精度。另外，有關(guān)根據(jù)作為特定的識別對象的面部已被識別的情況來改變識別條件的方 法，例如，已在專利文獻(xiàn)3中得到提案。在專利文獻(xiàn)3中，若作為特定的識別對象的面部已 被識別出，則通過在此時間點(diǎn)改變識別條件，能夠不使面部識別的識別精度降低而高速進(jìn) 行下一回之后的識別處理?，F(xiàn)有專利文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1日本特開2006-301847號公報(圖8、圖9)專利文獻(xiàn)2日本特開2007-13774號公報專利文獻(xiàn)3日本特開2009-075999號公報發(fā)明的概要發(fā)明要解決的問題然而，專利文獻(xiàn)2所公開的構(gòu)成是以攝影者以某個固定速度接近被攝體為前提 的，因而，不能應(yīng)用于采用了數(shù)字式靜止相機(jī)、動畫(movie)等的一般的攝影場面(scene)。 也就是說，要維持面部檢測的精度的話，必須對所拍攝到的圖像數(shù)據(jù)的全幀進(jìn)行面部檢測 處理，因而，無法減少面部檢測處理所需要的處理量。此外，專利文獻(xiàn)3所公開的構(gòu)成是以在不使面部識別精度降低的范圍內(nèi)實現(xiàn)面部 識別處理的高速化為主題的，然而，在使用高于預(yù)想的高幀頻進(jìn)行面部識別的情況下，有可 能無法實現(xiàn)面部識別處理的高速化。也就是說，沒有考慮到面部識別精度與面部識別速度 互逆這一特性，因而，不具備通過有效利用該特性來為確保面部識別處理的高速化而控制 面部識別精度這樣的構(gòu)成。

發(fā)明內(nèi)容
故而，本發(fā)明的目的在于，提供一種無論是什么攝影場面和幀頻，都能夠在維持面部檢測精度的同時，減少面部檢測處理所需要的處理量，從而低耗電且高效率地檢測圖像 數(shù)據(jù)中所包含的面部區(qū)域的面部檢測裝置。用于解決問題的手段為了達(dá)到上述目的，本發(fā)明的面部檢測裝置是檢測輸入圖像中所包含的面部的面 部檢測裝置，該面部檢測裝置包括面部檢測部，根據(jù)規(guī)定的幀頻和每1幀所對應(yīng)的面部檢 測處理量，來檢測輸入圖像中所包含的面部；及精度變更部，在面部檢測部未檢測到面部的 情況下，使幀頻減少，以變更面部檢測部檢測面部的精度。較佳的是，精度變更部的特征在于在面部檢測部已檢測出面部的情況下，使每1 幀所對應(yīng)的面部檢測處理量減少，以變更面部檢測部檢測面部的精度。并且，較佳的是，本發(fā)明的面部檢測裝置的特征在于還具備存儲部，在面部檢測 部已檢測到面部的情況下，由精度變更部變更的面部檢測部檢測面部的精度作為精度變更 履歷被存儲在存儲部，在面部檢測部未檢測到面部的情況下，精度變更部根據(jù)存儲部中存 儲的精度變更履歷，來變更面部檢測部檢測面部的精度。并且，較佳的是，精度變更部的特征在于在面部檢測部未檢測到面部的情況下， 精度變更部根據(jù)存儲部中存儲的精度變更履歷，將面部檢測部檢測面部的精度變更為面部 檢測部檢測到面部時的時間點(diǎn)附近的精度。另外，較佳的是，精度變更部的特征在于在面部檢測部未檢測到面部的情況下， 使幀頻減少，并使每1幀所對應(yīng)的面部檢測處理量增加；在面部檢測部已檢測到面部的情 況下，使每1幀所對應(yīng)的面部檢測處理量減少，并使幀頻增加。并且，較佳的是，精度變更部的特征在于對面部檢測部檢測面部的精度進(jìn)行變 更，以使面部檢測部的整個面部檢測處理量維持為一定量。另外，較佳的是，具有以下特征在面部檢測部未檢測到面部的情況下，作為面部 檢測部的面部檢測處理對象的幀，是從輸入圖像的全幀之中按一定間隔選擇出的幀。另外，較佳的是，具有以下特征在面部檢測部未檢測到面部的情況下，作為面部 檢測部的面部檢測處理對象的幀，是從輸入圖像的全幀之中選擇出的為特定的圖片類別的 幀。并且，較佳的是，具有以下特征在面部檢測部未檢測到面部的情況下，作為面部 檢測部的面部檢測處理對象的幀，是相應(yīng)于預(yù)先設(shè)定的優(yōu)先度而選擇出的幀。另外，較佳的是，具有以下特征在面部檢測部已檢測到面部的情況下，在作為面 部檢測部的面部檢測處理對象的幀中，限定作為面部檢測處理對象的面部檢測范圍。或者，具有以下特征在面部檢測部已檢測到面部的情況下，在作為面部檢測部的 面部檢測處理對象的幀中，限定作為面部檢測處理對象的面部的大小?；蛘撸哂幸韵绿卣髟诿娌繖z測部已檢測到面部的情況下，在作為面部檢測部的 面部檢測處理對象的幀中，限定作為面部檢測處理對象的面部的朝向。并且，較佳的是，具有以下特征在面部檢測部已檢測到面部的情況下，在作為面 部檢測部的面部檢測處理對象的幀中，相應(yīng)于預(yù)先設(shè)定好的優(yōu)先度來限定面部檢測處理對 象。為了達(dá)到上述目的，本發(fā)明的面部檢測方法是用于檢測輸入圖像中所包含的面部 的面部檢測裝置所執(zhí)行的面部檢測方法，該面部檢測方法執(zhí)行根據(jù)規(guī)定的幀頻和每1幀所對應(yīng)的面部檢測處理量，來檢測輸入圖像中所包含的面部的面部檢測步驟；及在面部檢 測步驟中未檢測到面部的情況下，使幀頻減少，以變更面部檢測步驟的檢測面部的精度的 精度變更步驟。為了達(dá)到上述目的，本發(fā)明的面部檢測裝置所采用的集成電路是檢測輸入圖像中 所包含的面部的面部檢測裝置所采用的集成電路，該集成電路包括面部檢測部，根據(jù)規(guī) 定的幀頻和每1幀所對應(yīng)的面部檢測處理量，來檢測輸入圖像中所包含的面部；及精度變 更部，在面部檢測部未檢測到面部的情況下，使幀頻減少，以變更面部檢測部檢測面部的精度。上述的面部檢測裝置及面部檢測裝置所采用的集成電路所執(zhí)行的一系列的面部 檢測方法也可以通過用于使計算機(jī)執(zhí)行其處理步驟的計算機(jī)程序的形式來提供。該程序也 可以以計算機(jī)可讀的形式被存儲于存儲媒體中而被導(dǎo)入計算機(jī)。發(fā)明效果如上所述那樣，根據(jù)本發(fā)明，能夠?qū)崿F(xiàn)無論是什么攝影場面和幀頻，都 能夠在維持面部檢測精度的同時，減少面部檢測處理所需的處理量，從而低耗電且高效率 地檢測圖像數(shù)據(jù)中所包含的面部區(qū)域的面部檢測裝置。


圖1是表示本發(fā)明的一個實施方式所涉及的面部檢測裝置100的圖。圖2是表示本發(fā)明的一個實施方式所涉及的面部檢測方法200的圖。圖3是表示面部檢測處理步驟S220的詳細(xì)內(nèi)容的圖。圖4是表示幀頻逐次變化的情形的圖。圖5是表示有關(guān)限定面部檢測范圍的方法的圖。圖6是表示面部檢測處理的精度變更履歷的圖。圖7A是表示在時間軸方向上對處理進(jìn)行篩選的方法被采用的情況下的面部檢測 處理量的減少率與優(yōu)先度的圖。圖7B是表示在空間軸方向上對處理進(jìn)行篩選的方法被采用的情況下的面部檢測 處理量的減少率與優(yōu)先度的圖。圖8是表示數(shù)字式靜止相機(jī)800的圖。圖9是表示適于裝載到圖8所示的數(shù)字式靜止相機(jī)中的集成電路900的圖。圖10是表示一般的面部檢測裝置中的面部檢測處理的概念圖。圖11是表示分辨率和相應(yīng)于該分辨率而生成的圖像的像素數(shù)之間的關(guān)系的圖。
具體實施例方式(第一實施方式)以下，參照附圖，對本發(fā)明的一個實施方式進(jìn)行說明。圖1是表示本發(fā)明的一個實 施方式所涉及的面部檢測裝置100的圖。圖1中，面部檢測裝置100包括面部檢測部110、 精度變更部120及存儲部130。其中，面部檢測部110包括圖像輸入部111、分辨率設(shè)定部 112、面部匹配處理部113及后處理部114。圖2是表示本發(fā)明的一個實施方式所涉及的面部檢測方法200的圖。圖2中，面 部檢測方法200包括初始化步驟S210、面部檢測處理步驟S220、面部檢測判斷步驟S230、面部檢測范圍限定步驟S240、幀頻判斷步驟S250及面部檢測范圍限定解除步驟S260。在此，為了簡化說明，假定所拍攝的圖像是以每秒300幀拍攝的，并且，圖1所示的 面部檢測裝置100具有以30fps的幀頻來處理分辨率為QVGA分辨率(橫320像素X縱 240像素)的輸入圖像9O的能力。首先，在初始化步驟S210中，面部檢測部110將決定幀頻的參數(shù)N的初始值設(shè)定 成 “1”。在面部檢測處理步驟S220中，面部檢測部110以基準(zhǔn)幀頻(本實施方式中是 30fps)的N倍的幀頻來進(jìn)行面部檢測處理。首先，在N= 1的情況下，對于以每秒300幀拍 攝到的圖像數(shù)據(jù)中的10分之1，即30幀進(jìn)行面部檢測處理。也就是說，按10幀中1幀的比 例來進(jìn)行面部檢測處理。圖3是表示面部檢測處理步驟S220的詳細(xì)內(nèi)容的圖。圖3中，面部檢測處理步 驟S220包含圖像輸入步驟S221、分辨率設(shè)定步驟S222、面部檢測步驟S223、結(jié)束判斷步驟 S2M及后處理步驟S225。另外，在本實施方式中，無法預(yù)先判斷輸入圖像90中包含的面部 有多大、在哪個位置。因此，有關(guān)每1幀所對應(yīng)的面部檢測處理量，最開始是按照預(yù)先設(shè)定 好的規(guī)定的面部檢測處理量來進(jìn)行面部檢測處理。在圖像輸入步驟S221中，圖像輸入部111讀入作為面部檢測處理對象的輸入圖像 90。在分辨率設(shè)定步驟S222中，分辨率設(shè)定部112對于被讀入的輸入圖像90，相應(yīng) 于預(yù)先設(shè)定好的分辨率來分別生成分辨率不同的圖像。具體而言，分辨率設(shè)定部112如圖 10及圖11所示那樣，對于分辨率為QVGA分辨率的輸入圖像90，將該輸入圖像90逐級縮 小20%，以生成對應(yīng)于各分辨率的圖像91、92、93…。另外，在本實施方式中，分辨率設(shè)定部 112按照分辨率小的圖像(分辨率ID = 11)先于分辨率大的圖像(分辨率ID = 0)的順 序，依次生成作為面部檢測處理對象的圖像。在面部檢測步驟S223中，面部匹配處理部113對于在分辨率設(shè)定步驟S222中由 分辨率設(shè)定部112生成的作為面部檢測處理對象的圖像匹配預(yù)先準(zhǔn)備好的面部模板。具體 而言，將面部匹配處理部113按照分辨率小的圖像(分辨率ID= 11)先于分辨率大的圖像 (分辨率ID = O)的順序而依次生成了的作為面部檢測處理對象的圖像的一部分切取出來， 使其與預(yù)先準(zhǔn)備好的面部模板匹配。另外，在本實施方式中，如對上述圖11進(jìn)行過說明那 樣，采用橫20像素X縱20像素的面部模板。其中，預(yù)先準(zhǔn)備的面部模板例如是正面、面朝左、面朝右、傾左、傾右、面朝下、面朝 上等的面部。此外，有關(guān)正面以外的面部朝向，也可以定義更詳細(xì)的面部傾斜角度。此外，預(yù)先準(zhǔn)備的面部模板可以是一種，也可以是多種；用于匹配的面部模板可以 是一種，也可以是多種。并且，面部匹配處理部113對如上所述的作為面部檢測處理對象的圖像匹配了預(yù) 先準(zhǔn)備好的面部模板之后，其結(jié)果為若該圖像中包含有好像是面部的部分，則取得表示所 檢測到的面部的坐標(biāo)及面部的朝向等信息。所要取得的表示面部的坐標(biāo)的信息，例如可以 是與面部模板匹配了的面部區(qū)域(橫20像素X縱20像素)的左上端的坐標(biāo)，也可以是中 心坐標(biāo)。所要取得的表示面部的朝向的信息是指，匹配了的面部模板中所包含的表示面部 朝向的信息。
在結(jié)束判斷步驟S224中，面部檢測部110判斷在分辨率設(shè)定步驟S222中由分辨 率設(shè)定部112依次生成了的作為面部檢測處理對象的圖像是否是最終的圖像。在此，若作 為面部檢測處理對象的圖像不是分辨率為最大的圖像(分辨率ID = 0)(結(jié)束判斷步驟 S224的“否”)，則重復(fù)執(zhí)行分辨率設(shè)定步驟S222、面部檢測處理步驟S223及結(jié)束判斷步驟 S224。相反，若作為面部檢測處理對象的圖像是分辨率為最大的圖像(分辨率ID = 0)(結(jié) 束判斷步驟S2M的“是”)，則進(jìn)入后處理步驟S225。另外，在本實施方式中，面部匹配處理部113是按照分辨率小的圖像(分辨率ID =11)先于分辨率大的圖像(分辨率ID = 0)的順序來匹配預(yù)先準(zhǔn)備好的面部模板，然而， 并不局限于該順序。例如，面部匹配處理部113也可以按照分辨率大的圖像(分辨率ID = 0)先于分辨率小的圖像(分辨率ID= 11)的順序來匹配預(yù)先準(zhǔn)備好的面部模板。在此情 況下，在結(jié)束判斷步驟S2M中，面部檢測部110判斷作為面部檢測處理對象的圖像是否是 分辨率為最小的圖像(分辨率ID= 11)。此外，對于作為面部檢測處理對象的圖像，也可以 任意設(shè)定檢測開始的分辨率ID及檢測結(jié)束的分辨率ID。例如，將依次作為面部檢測處理對 象的圖像設(shè)定成分辨率ID = 3 8的圖像，來匹配預(yù)先準(zhǔn)備好的面部模板。最后，在后處理步驟S225中，后處理部114將在面部檢測步驟S223中由面部匹配 處理部113檢測到的好像是面部的部分統(tǒng)合起來，輸出最終的面部檢測結(jié)果。具體而言，在 多個好像是面部的部分集中于附近區(qū)域的情況下，后處理部114將該多個好像是面部的部 分統(tǒng)合起來作為最終檢測到的面部。另外，作為最終檢測到的面部的信息是，表示面部匹配處理部113所檢測并統(tǒng)合 的多個好像是面部的部分的坐標(biāo)和面部大小的平均值、以及面部匹配處理部113所檢測并 統(tǒng)合的多個好像是面部的部分中包含最多的面部朝向的信息。另一方面，有關(guān)由面部匹配處理部113檢測到的好像是面部的部分，若該部分的 附近區(qū)域中未集中有多個好像是面部的部分，該部分是被獨(dú)立地檢測到的話，也可以不將 該被檢測到的好像是面部的部分判定為面部。到此為止，由于無法預(yù)先判定輸入圖像90中的哪個位置包含有多大的面部，因 而，對于輸入圖像90，在按照分辨率小的圖像(分辨率ID= 11)先于分辨率大的圖像(分 辨率ID = 0)的順序而依次生成的作為面部檢測處理對象的圖像的全范圍中，匹配預(yù)先準(zhǔn) 備好的面部模板。其次，在面部檢測判斷步驟S230中，精度變更部120判斷在上述面部檢測處理步 驟S220中，面部是否被檢測到。以下，說明檢測到面部的情況下(面部檢測判斷步驟S230 的“是”)所進(jìn)行的處理。在面部檢測范圍限定步驟S240中，精度變更部120對面部檢測范圍進(jìn)行限定，并 使參數(shù)N遞增(即，N = N+1)以增加幀頻。具體而言，精度變更部120對于N = 1 (初始值)，使N = 2，從而使幀頻從30fps 變?yōu)?0fps。圖4是表示幀頻逐級變化的情形的圖。圖4中，斜線部分所示的幀是作為使面 部檢測處理動作的對象的幀。在面部檢測范圍限定步驟S240中，精度變更部120通過將參 數(shù)N從“1”變更為“2”，來使幀頻從30fps變?yōu)?0fps。也就是說，原本是按照10幀中1幀 的比例使面部檢測處理動作的，變成了按照5幀中1幀的比例來使面部檢測處理動作。同時，精度變更部120通過將面部檢測范圍限定為2分之1，來使每1幀所對應(yīng)的面部檢測處理量減少到2分之1。圖5是表示有關(guān)限定面部檢測范圍的方法的圖。在面部 檢測處理步驟S220中，若面部檢測部110所檢測到的面部的位置P位于畫面500的上部區(qū) 域，則將面部檢測范圍限定于畫面500中的上部區(qū)域501(圖5(a))。此外，在將面部檢測 范圍限定到2分之1的情況下，例如，也可以將面部檢測范圍限定于畫面500中的左部區(qū)域 502(圖5(b))。此外，只要是相當(dāng)于畫面500中的2分之1的區(qū)域，也可以將位于畫面500 的中央付近的矩形或圓形區(qū)域(未圖示)作為面部檢測范圍。在此，面部檢測范圍的限定 范圍，必須包含面部檢測部110所檢測到的面部的位置P，但該位置P的信息可根據(jù)在面部 檢測處理步驟S220中所獲取的表示面部的坐標(biāo)的信息來求得。此外，在跨越整個畫面500 而分散地檢測到面部的情況下，將所檢測到的面部中較大的面部被包含的區(qū)域優(yōu)先作為面 部檢測范圍的限定范圍。如此，在面部檢測處理步驟S220中，若檢測到面部(面部檢測判斷步驟S230的 “是”)，則在面部檢測范圍限定步驟S240中，對于面部檢測處理的條件，精度變更部120將 幀頻增加到2倍，同時將面部檢測范圍限定到2分之1。然后，返回面部檢測處理步驟S220， 在該新的條件下，面部檢測部110執(zhí)行圖3所示的面部檢測處理步驟S220。在N = 2及將面部檢測范圍限定到2分之1的條件下，在面部檢測處理步驟S220 中，若再次檢測到面部(面部檢測判斷步驟S230的“是”)，則在面部檢測范圍限定步驟S240 中，精度變更部120使N = 3而使幀頻為90fps，從而將面部檢測范圍限定到3分之1。具體 而言，精度變更部120如圖4所示那樣，將幀頻從60fps變更為90fps，同時，如圖5所示那 樣，將面部檢測范圍限定于畫面500中的上部區(qū)域503 (圖5 (c))或左部區(qū)域504 (圖5 (d))。 然后，返回面部檢測處理步驟S220，并在新的條件下，面部檢測部110執(zhí)行圖3所示的面部 檢測處理步驟S220。此外，精度變更部120若使N = 4而使幀頻為120fps，則如圖5所示 那樣，將面部檢測范圍限定于畫面500中的左上部區(qū)域505 (圖5 (e))。另外，如此，在面部 檢測處理步驟S220中檢測到面部(面部檢測判斷步驟S230的“是”)，則在面部檢測范圍 限定步驟S240中，精度變更部120使參數(shù)N遞增，并以N = 10為上限。N的上限取決于輸 入幀頻，在此，與輸入幀頻相同的N= 10為上限。若以該條件檢測到面部(面部檢測判斷 步驟S230的“是”)，則不是使參數(shù)N遞增，而是返回面部檢測處理步驟S220 (未圖示)。另一方面，對未檢測到面部的情況下(面部檢測判斷步驟S230的“否”)的處理進(jìn) 行說明。在幀頻判斷步驟S250中，精度變更部120參照參數(shù)N的現(xiàn)在的值，來判斷是否為 N> 1。若非N> 1(幀頻判斷步驟S250的“否”)，則返回面部檢測處理步驟S220，在現(xiàn)在 的面部檢測處理的條件下，面部檢測部110執(zhí)行圖3所示的面部檢測處理步驟S220。具體 而言，面部檢測部110在初始狀態(tài)(N = 1)即幀頻=30fps，對于輸入圖像90，在按照分辨 率小的圖像(分辨率ID = 11)先于分辨率大的圖像(分辨率ID = 0)的順序而依次生成 了的作為面部檢測處理對象的圖像的全范圍中，匹配預(yù)先準(zhǔn)備好的面部模板。若N> 1(幀頻判斷步驟S250的“是”)，則進(jìn)入面部檢測范圍限定解除步驟S260。在面部檢測范圍限定解除步驟S260中，精度變更部120解除面部檢測范圍的限 定，并使參數(shù)N遞減(N = N-I)以減小幀頻。具體而言，例如，在N = 2的情況下，精度變更部120通過將參數(shù)N從“2”變更到 “1”，而將幀頻從60fps變更到30fps。也就是說，如圖4所示那樣，原本是按照5幀中1幀的比例來使面部檢測處理動作的，變成按照10幀中1幀的比例來使面部檢測處理動作。并且，精度變更部120解除面部檢測范圍被限定為2分之1的限定。如圖5所示 那樣，例如，若面部檢測范圍被限定于畫面500中的上部區(qū)域501(圖5(a))，則將該面部檢 測范圍變更為全范圍。如此，在面部檢測處理步驟S220中，若未檢測到面部(面部檢測判斷步驟S230 的“否”)，則在面部檢測范圍限定解除步驟S260中，對于面部檢測處理的條件，精度變更部 120使幀頻為2分之1，并解除面部檢測范圍被限定到2分之1的限定。然后，返回面部檢 測處理步驟S220，在該新的條件(上次的面部檢測處理的條件)下，面部檢測部110執(zhí)行圖 3所示面部檢測處理步驟S220。另外，在面部檢測處理步驟S220中，若未檢測到面部，則如上所述那樣，在上次的 面部檢測處理的條件下，面部檢測部Iio執(zhí)行圖3所示面部檢測處理步驟S220。因而，面部 檢測裝置100將面部檢測處理的條件的變化不斷保存到存儲部130中。圖6是表示面部檢測處理的精度變更履歷的圖。圖6中，存儲部130將面部檢測 處理的條件的變化作為精度變更履歷來保存。例如，執(zhí)行了第7次面部檢測處理之后，若其 結(jié)果為未檢測到面部(面部檢測判斷步驟S230的“否”)，則精度變更部120變更上一次面 部檢測處理的條件，即，第6次面部檢測處理的面部檢測處理條件。然后，面部檢測部110 在被精度變更部120變更后的第6次面部檢測處理的面部檢測處理條件下，執(zhí)行第8次面 部檢測處理。如上所述那樣，在面部檢測處理步驟S220中，若檢測到面部(面部檢測判斷步驟 S230的“是”)，則由于所檢測到的面部的位置、大小不會急劇變化，所以即使限定面部檢測 范圍，也不會產(chǎn)生較大的影響，另一方面，可以通過增加幀頻來提高面部的檢測精度(面部 檢測范圍限定步驟S240)。相反，若在面部檢測處理步驟S220中未檢測到面部(面部檢測判斷步驟S230 的“否”)，則可通過擴(kuò)大面部檢測范圍來提高面部的檢測精度(面部檢測范圍限定步驟 S260)。在此，由于是通過擴(kuò)大面部檢測范圍來增加面部檢測處理量，所以幀頻相應(yīng)地被減 小。也就是說，如果遺失了面部，則難于進(jìn)行其后的預(yù)測，所以對于每一幀要消費(fèi)足夠的處 理時間來進(jìn)行面部檢測處理，以盡快擺脫不能檢測到面部的狀態(tài)。換言之，在檢測到面部的情況下，將每1幀所對應(yīng)的面部檢測處理量減少，以在空 間軸方向上對處理進(jìn)行篩選；相反，在未檢測到面部的情況下，減小幀頻以在時間軸方向上 對處理進(jìn)行篩選，從而，在使面部檢測裝置100的面部檢測處理量保持一定的同時，實現(xiàn)高 精度的面部檢測。如上所述，根據(jù)本發(fā)明的一個實施方式所涉及的面部檢測裝置100及面部檢測方 法200，無論是什么攝影場面和幀頻，都能夠通過保持面部檢測精度的同時減少面部檢測處 理所需要的處理量，來低耗電且高效率地檢測圖像數(shù)據(jù)中所包含的面部區(qū)域。另外，作為在時間軸方向上對處理進(jìn)行篩選的方法，有單純地使面部檢測的幀頻 變慢的方法。如在本實施方式中說明過那樣，不是在全部幀中進(jìn)行面部檢測處理，而是例如 使原本是按5幀中1幀的比例使面部檢測處理動作的變?yōu)榘?0幀中1幀的比例來使面部 檢測處理動作即可。這樣，便可減少面部檢測處理量。這種方法在被攝體為靜止的狀態(tài)下 較為有効。
另外，作為在時間軸方向上對處理進(jìn)行篩選的方法，也可以用圖片類別來限定。具 體而言，通過數(shù)字相機(jī)等拍攝到的圖像數(shù)據(jù)被壓縮保存的情況較多，而壓縮時通常要指定 圖片類別，如I圖片、P圖片及B圖片。在此情況下，如果只將I圖片作為面部檢測處理對 象，則可大幅減少面部檢測處理整體的處理量。在此，面部檢測處理對象不限于I圖片，也 可以是P圖片、B圖片或它們的組合。圖7A是表示采用在時間軸方向上對處理進(jìn)行篩選的方法時面部檢測處理量的減 少率和優(yōu)先度的圖。圖7A中，預(yù)先設(shè)定了面部檢測處理量的減少率和優(yōu)先度。例如，在原 來采用2倍幀頻的變成了采用1倍幀頻的情況下，采用“優(yōu)先度” =1的“一定間隔限定”， 如在本實施方式中說明過那樣，只要將原來是按5幀中1幀的比例使面部檢測處理動作的 變成按10幀中1幀的比例來使面部檢測處理動作即可。此外，也可以基于所期的幀頻、預(yù) 先算出的面部檢測處理量的減少率，來組合例如“一定間隔限定”和“圖片類別限定(I圖 片)”，從而在時間軸方向上對處理進(jìn)行篩選。另外，在本實施方式中，作為在空間軸方向上對處理進(jìn)行篩選的方法，如圖5所示 那樣，對面部檢測范圍進(jìn)行了限定，但并不局限于此。例如，也可以限定所檢測的面部的朝 向。具體而言，在通過對作為面部檢測處理對象的圖像匹配正面、面朝左及面朝右的面部模 板而進(jìn)行了面部檢測處理的情況下，只要變更為只匹配正面的面部模板，則可減少面部檢 測處理量。這種方法在被攝體的面部的朝向在某種程度上被限定的情況下較為有効。此外，作為在空間軸方向上對處理進(jìn)行篩選的方法，也可以限定所要檢測的面部 的大小。具體而言，在圖10及圖11所示的例子中，通過將輸入圖像90按規(guī)定的縮小率逐 級縮小，生成了相對于輸入圖像90分別具有不同分辨率的圖像91、92、93…。然后，按照縮 小率為最大的圖像(分辨率ID = 11)先于縮小率為較小的圖像(分辨率ID = 0)的順序， 依次選擇作為面部檢測處理對象的圖像，并對各圖像切取出圖像的一部分來匹配預(yù)先準(zhǔn)備 好的面部模板。然而，也可以不生成具有12個等級的不同分辨率的圖像，而是例如限定為 分辨率ID = 6以上，而只生成具有6個等級的不同分辨率的圖像，來作為面部檢測處理對 象。這種方法在被攝體的面部的大小在某種程度上被限定的情況下較為有効。另外，有關(guān)所要檢測的面部的大小，若能將面部檢測處理對象限定于大的面部，而 將小的面部除外，也就是說，將縮小率小的圖像(例如，分辨率ID = 0和1)從面部檢測處 理對象中排除，則面部檢測處理整體的處理量便可大幅減少。圖7B是表示采用在空間軸方向上對處理進(jìn)行篩選的方法時面部檢測處理量的減 少率和優(yōu)先度的圖。圖7B中，面部檢測處理量的減少率和優(yōu)先度被預(yù)先設(shè)定。例如，可以 設(shè)定為在幀頻為2倍的情況下，通過用“優(yōu)先度” =1的“區(qū)域限定(上下)”，將面部檢測 范圍限定于畫面500中的上部區(qū)域501(圖5(a))，來在空間軸方向上對處理進(jìn)行篩選。此 外，可以設(shè)定為在幀頻為3倍的情況下，用“優(yōu)先度” =2的“面部朝向限定(正面)”，對 作為面部檢測處理對象的圖像只匹配正面的面部模板。進(jìn)一步，若幀頻增大，也可以根據(jù)面 部檢測處理量的減少率，組合例如“區(qū)域限定(上下)”和“面部朝向限定(正面)”，來使面 部檢測處理量保持為一定。另外，在本實施方式中，使用橫20像素X縱20像素的面部模板，如圖10及圖11 所示那樣，對于分辨率為QVGA分辨率的輸入圖像90，將該輸入圖像90逐級縮小20%，來生 成對應(yīng)于各分辨率的圖像91、92、93···，但并不局限于此。例如，也可以將輸入圖像90逐級
12擴(kuò)大20%來進(jìn)行面部檢測處理。另外，在本實施方式中，是使面部模板的大小為一定，而縮小作為匹配對象的圖 像，相反，也可以使作為匹配對象的圖像的大小為一定，而縮小(或擴(kuò)大)面部模板。圖8是表示數(shù)字式靜止相機(jī)800的圖。圖9是表示面向圖8所示的數(shù)字式靜止相 機(jī)的集成電路900的圖。圖9中，面向數(shù)字式靜止相機(jī)的集成電路900包括，I/O (Input/ Output，輸入 / 輸出)控制器電路 901、CPU (Central Processing Unit，中央處理器)902、 LCD (Liquid CrystalDisplay，液晶顯示)輸出電路903、存儲器接口電路904、面部檢測電 路905及精度變更電路906。并且，面向數(shù)字式靜止相機(jī)的集成電路900與外部DRAM910相 連接。在此，I/O控制器電路901控制USB (Universal Serial Bus，通用串行總線)、 SD (Secure Digital，安全數(shù)字)卡等外部I/O。CPU902控制整個集成電路900。LCD輸出 電路903控制對LCD面板的輸出。存儲器接口電路904控制與外部DRAM910之間的輸入和 輸出。面部檢測電路905及精度變更電路906對輸入圖像進(jìn)行光量補(bǔ)正、擴(kuò)大/縮小，并一 邊變更面部檢測處理的條件一邊檢測面部。從外部攝像機(jī)輸入的圖像經(jīng)由面部檢測電路905而被存儲于外部DRAM910。在此 情況下，分辨率被轉(zhuǎn)換成面部檢測電路905能夠處理的分辨率。面部檢測電路905讀入存 儲于外部DRAM910的面部檢測用的圖像數(shù)據(jù)，并將檢測結(jié)果通知給CPU902。作為面部檢測的輸入的QVGA的分辨率圖像被保存在外部DRAM910中。面部檢測 電路905相應(yīng)于預(yù)先設(shè)定好的分辨率而分別生成分辨率不同的縮小(擴(kuò)大)圖像。所生成 的縮小(擴(kuò)大)圖像可以被存儲于外部DRAM910，也可以由面部檢測電路905或者精度變更 電路906的內(nèi)部存儲器(未圖示)保存。并且，面部檢測電路905及精度變更電路906如 圖2及圖3所示那樣執(zhí)行面部檢測處理。另外，面部檢測處理的分辨率的確定及所檢測到 的面部坐標(biāo)的核對等需要調(diào)整的部分由CPU902來執(zhí)行為佳。另外，以上說明過的各個構(gòu)成可以通過集成電路的LSI (Large Scalehtegration，大規(guī)模集成電路)來實現(xiàn)。這些構(gòu)成可通過單個芯片來實現(xiàn)，也可以將 其一部分或者全部包含在單個芯片中來實現(xiàn)。在此稱為LSI，但根據(jù)集成度的不同，也可稱 為ICantegrated Circuit，集成電路)、系統(tǒng)LSI、超大規(guī)模LSI、特大規(guī)模LSI。另外，實現(xiàn) 集成電路的方法不局限于LSI，也可以用專用電路或通用處理器來實現(xiàn)集成電路。另外，也 可以利用在LSI制成之后能夠編程的FPGA (Field Programmable feiteArray，元件可編程邏 輯閘陣列)、能夠重新進(jìn)行LSI內(nèi)部的電路單元的連接及/或設(shè)定的可重構(gòu)處理器?；蛘撸?上述這些功能塊的運(yùn)算也可以由例如DSP(Digital Signal Processing，數(shù)字信號處理)、 CPU等來執(zhí)行。并且，也可以通過將這些處理步驟作為程序記錄在記錄媒體中執(zhí)行來處理。進(jìn)一步，假如由于半導(dǎo)體技術(shù)的進(jìn)步或派生出別的技術(shù)而出現(xiàn)取代LSI的集成電 路技術(shù)，當(dāng)然，也可以利用該技術(shù)來進(jìn)行功能塊的集成化。也可以利用生物技術(shù)等。工業(yè)實用性本發(fā)明所涉及的面部檢測裝置作為一種對于數(shù)字式靜止相機(jī)、數(shù)字式攝像機(jī)及監(jiān) 視相機(jī)等構(gòu)成部件不同的設(shè)備而言，能夠在高幀率時得到所期望的檢測結(jié)果的技術(shù)，特別 是能夠低耗電且高速地得到所期望的檢測結(jié)果的技術(shù)等，能夠發(fā)揮積極的效果。附圖標(biāo)記 說明
90 輸入圖像91、92、93相應(yīng)于各分辨率的圖像100 面部檢測裝置110 面部 檢測部
111 圖像輸入部112 分辨率設(shè)定部113 面部匹配處理部114 后處理部120 精度變更部130 存儲部200 面部檢測方法500 畫面 501,503上部區(qū)域502,504左部區(qū)域505 左上部區(qū)域800數(shù)字式靜止相機(jī)900 面向數(shù)字式靜止相機(jī)的集成電路 901 I/0控制器電路902 CPU(Central Processing Unit:中央處理器)903LCD輸出電路904存儲器接口電路905面部檢測電路906 精度變更電路910 外部DRAM(動態(tài)隨機(jī)存儲器)S210 初始化步驟S220面部檢測處理步驟S221 圖像輸入步驟S222 分辨率設(shè)定步驟S223面部檢測步驟S224 結(jié)束判斷步驟S225后處理步驟S230面部檢測判斷步驟S240 面部檢測范圍限定步驟S250 幀頻判斷步驟
S260 面部檢測范圍限定解除步驟
輸入圖像 相應(yīng)于各分辨率的圖像 面部檢測裝置 面部檢測部 圖像輸入部 分辨率設(shè)定部 面部匹配處理部 后處理部 精度變更部 存儲部
面部檢測方法 畫面
上部區(qū)域 左部區(qū)域 左上部區(qū)域 數(shù)字式靜止相機(jī)
面向數(shù)字式靜止相機(jī)的集成電路 I/O控制器電路
CPU (Central Processing Unit:中央處理器) LCD輸出電路 存儲器接口電路 面部檢測電路 精度變更電路
外部DRAM (動態(tài)隨機(jī)存儲器)
初始化步驟
面部檢測處理步驟
圖像輸入步驟
分辨率設(shè)定步驟
面部檢測步驟
結(jié)束判斷步驟
后處理步驟
面部檢測判斷步驟
權(quán)利要求
1.一種面部檢測裝置，檢測輸入圖像中所包含的面部，該面部檢測裝置包括面部檢測部，根據(jù)規(guī)定的幀頻和每1幀所對應(yīng)的面部檢測處理量，來檢測所述輸入圖 像中所包含的面部；及精度變更部，在所述面部檢測部未檢測到面部的情況下，使所述幀頻減少，以變更所述 面部檢測部檢測面部的精度。
2.如權(quán)利要求1所述的面部檢測裝置，其特征在于在所述面部檢測部已檢測出面部的情況下，所述精度變更部使所述每1幀所對應(yīng)的面 部檢測處理量減少，以變更所述面部檢測部檢測面部的精度。
3.如權(quán)利要求1所述的面部檢測裝置，其特征在于該面部檢測裝置還具備存儲部，在所述面部檢測部已檢測到面部的情況下，由所述精度變更部變更的所述面部檢測部 檢測面部的精度作為精度變更履歷被存儲在所述存儲部，在所述面部檢測部未檢測到面部的情況下，所述精度變更部根據(jù)所述存儲部中存儲的 精度變更履歷，來變更所述面部檢測部檢測面部的精度。
4.如權(quán)利要求3所述的面部檢測裝置，其特征在于在所述面部檢測部未檢測到面部的情況下，所述精度變更部根據(jù)所述存儲部中存儲的 精度變更履歷，將所述面部檢測部檢測面部的精度變更為所述面部檢測部檢測到面部時的 時間點(diǎn)附近的精度。
5.如權(quán)利要求1所述的面部檢測裝置，其特征在于所述精度變更部在所述面部檢測部未檢測到面部的情況下，使所述幀頻減少，并使所述每1幀所對應(yīng) 的面部檢測處理量增加；在所述面部檢測部已檢測到面部的情況下，使所述每1幀所對應(yīng)的面部檢測處理量減 少，并使所述幀頻增加。
6.如權(quán)利要求5所述的面部檢測裝置，其特征在于所述精度變更部對所述面部檢測部檢測面部的精度進(jìn)行變更，以使所述面部檢測部的 整個面部檢測處理量維持為一定量。
7.如權(quán)利要求1所述的面部檢測裝置，其特征在于在所述面部檢測部未檢測到面部的情況下，作為所述面部檢測部的面部檢測處理對象 的幀，是從所述輸入圖像的全幀之中按一定間隔選擇出的幀。
8.如權(quán)利要求1所述的面部檢測裝置，其特征在于在所述面部檢測部未檢測到面部的情況下，作為所述面部檢測部的面部檢測處理對象 的幀，是從所述輸入圖像的全幀之中選擇出的為特定的圖片類別的幀。
9.如權(quán)利要求1所述的面部檢測裝置，其特征在于在所述面部檢測部未檢測到面部的情況下，作為所述面部檢測部的面部檢測處理對象 的幀，是相應(yīng)于預(yù)先設(shè)定的優(yōu)先度而選擇出的幀。
10.如權(quán)利要求2所述的面部檢測裝置，其特征在于在所述面部檢測部已檢測到面部的情況下，在作為所述面部檢測部的面部檢測處理對 象的幀中，限定作為面部檢測處理對象的面部檢測范圍。
11.如權(quán)利要求2所述的面部檢測裝置，其特征在于在所述面部檢測部已檢測到面部的情況下，在作為所述面部檢測部的面部檢測處理對 象的幀中，限定作為面部檢測處理對象的面部的大小。
12.如權(quán)利要求2所述的面部檢測裝置，其特征在于在所述面部檢測部已檢測到面部的情況下，在作為所述面部檢測部的面部檢測處理對 象的幀中，限定作為面部檢測處理對象的面部的朝向。
13.如權(quán)利要求2所述的面部檢測裝置，其特征在于在所述面部檢測部已檢測到面部的情況下，相應(yīng)于預(yù)先設(shè)定的優(yōu)先度，在作為所述面 部檢測部的面部檢測處理對象的幀中，限定面部檢測處理對象。
14.一種面部檢測方法，是用于檢測輸入圖像中所包含的面部的面部檢測裝置所執(zhí)行 的面部檢測方法，該面部檢測方法執(zhí)行根據(jù)規(guī)定的幀頻和每1幀所對應(yīng)的面部檢測處理量，來檢測所述輸入圖像中所包含的 面部的面部檢測步驟；及在所述面部檢測步驟中未檢測到面部的情況下，使所述幀頻減少，以變更所述面部檢 測步驟的檢測面部的精度的精度變更步驟。
15.一種集成電路，是檢測輸入圖像中所包含的面部的面部檢測裝置所采用的集成電路，所述集成電路包括面部檢測部，根據(jù)規(guī)定的幀頻和每1幀所對應(yīng)的面部檢測處理量，來檢測所述輸入圖 像中所包含的面部；及精度變更部，在所述面部檢測部未檢測到面部的情況下，使所述幀頻減少，以變更所述 面部檢測部檢測面部的精度。
全文摘要
本發(fā)明的面部檢測裝置是一種檢測輸入圖像中所包含的面部的面部檢測裝置，該面部檢測裝置包括面部檢測部，根據(jù)規(guī)定的幀頻和每1幀所對應(yīng)的面部檢測處理量來檢測輸入圖像中所包含的面部；及精度變更部，在面部檢測部未能檢測到面部的情況下，使幀頻減少，以變更面部檢測部檢測面部的精度。
文檔編號G06T1/00GK102150181SQ20098013567
公開日2011年8月10日 申請日期2009年12月1日 優(yōu)先權(quán)日2008年12月5日
發(fā)明者井上昭彥 申請人:松下電器產(chǎn)業(yè)株式會社