專利名稱:追蹤裝置、追蹤方法、攝像裝置以及攝像方法
技術(shù)領(lǐng)域:
本發(fā)明涉及追蹤人物等被攝體的追蹤裝置、追蹤方法、追蹤被攝體進(jìn)行拍攝的攝像裝置以及攝像方法。
背景技術(shù):
關(guān)于追蹤人物等被攝體的技術(shù),作為使用用于追蹤被攝體的至少兩個(gè)區(qū)域來追蹤被攝體的技術(shù),例如有日本特開2009 - 268086號(hào)公報(bào)。在該日本特開2009 — 268086號(hào)公報(bào)中,在拍攝被攝體取得的圖像數(shù)據(jù)上具有用于追蹤被攝體的第I區(qū)域和第2區(qū)域,始終以第I區(qū)域?yàn)榛鶞?zhǔn)區(qū)域進(jìn)行被攝體的追蹤,將第2區(qū)域獨(dú)立于第I區(qū)域來進(jìn)行被攝體的追蹤。該日本特開2009 - 268086號(hào)公報(bào)公開了如下技術(shù)例如相互獨(dú)立地在第I區(qū)域執(zhí)行面部區(qū)域的檢測(cè)和在第2區(qū)域執(zhí)行追蹤區(qū)域的移動(dòng),根據(jù)面部區(qū)域的檢測(cè)、和追蹤區(qū)域在圖像數(shù)據(jù)內(nèi)的位置的至少一方,估計(jì)并設(shè)定面部區(qū)域的位置,即使在不能直接檢測(cè)到面部區(qū)域的情況下,也根據(jù)與面部區(qū)域獨(dú)立移動(dòng)的追蹤區(qū)域的位置,估計(jì)并設(shè)定面部區(qū)域的位置。該日本特開2009 - 268086號(hào)公報(bào)公開了如下技術(shù)在以前的多個(gè)圖像數(shù)據(jù)中,判斷為第I區(qū)域和第2區(qū)域?qū)?yīng)的情況下,確定第I區(qū)域和第2區(qū)域的位置關(guān)系。但是,在上述日本特開2009-268086號(hào)公報(bào)I中,在以前的多個(gè)圖像數(shù)據(jù)中,判斷為第I區(qū)域和第2區(qū)域?qū)?yīng)的情況下,確定第I區(qū)域和第2區(qū)域的位置關(guān)系。因此,在不能直接檢測(cè)到面部區(qū)域的情況下,第I區(qū)域和第2區(qū)域無法對(duì)應(yīng),難以根據(jù)與面部區(qū)域獨(dú)立移動(dòng)的追蹤區(qū)域的位置來估計(jì)面部區(qū)域的位置。并且,在存在多個(gè)被攝體時(shí),在確定第I區(qū)域和第2區(qū)域的位置關(guān)系的情況下,只要在同一被攝體中進(jìn)行第I區(qū)域和第2區(qū)域的對(duì)應(yīng)即可,但是當(dāng)在目標(biāo)被攝體和該被攝體之外的另一被攝體上分別進(jìn)行第I區(qū)域和第2區(qū)域的對(duì)應(yīng)時(shí),可能會(huì)估計(jì)目標(biāo)被攝體之外的另一被攝體的面部區(qū)域的位置,從而可能難以進(jìn)行目標(biāo)被攝體的追蹤。另一方面,公知有在拍攝運(yùn)動(dòng)物體時(shí)或拍攝動(dòng)態(tài)圖像時(shí),為了追隨特定的被攝體而進(jìn)行自動(dòng)對(duì)焦控制(AF)或自動(dòng)曝光控制(AE)的技術(shù)。為了追隨這種特定的被攝體,采用了追蹤處理。在追蹤處理中,有利用亮度信息的處理、利用顏色信息的處理、利用面部檢測(cè)的處理等各種處理。在專利文獻(xiàn)I中,公開有根據(jù)從攝像單元輸出的攝像信號(hào),進(jìn)行對(duì)被攝體像的追蹤動(dòng)作的自動(dòng)追蹤裝置。在日本特許第2605004號(hào)公報(bào)所公開的自動(dòng)追蹤裝置中,關(guān)于預(yù)先設(shè)定的追蹤視野提取表示被攝體的特征的參數(shù)(例如被攝體和背景的顏色等),根據(jù)該提取出的特征和新提取出的被攝體的特征,檢測(cè)被攝體是否移動(dòng),在被攝體移動(dòng)的情況下,檢測(cè)其移動(dòng)方向或移動(dòng)位置。并且,使追蹤框追蹤被攝體的移動(dòng)而移動(dòng)。但是,在僅使用了 I種追蹤處理的情況下,如果追蹤處理失敗,則之后可能就不能進(jìn)行正確的追蹤處理。此外,在使用了例如面部檢測(cè)的追蹤處理的情況下,當(dāng)在正在追蹤畫面內(nèi)的某個(gè)面部的過程中沒有檢測(cè)到該面部時(shí),可能會(huì)改換為畫面內(nèi)的另一個(gè)面部進(jìn)行追蹤。在發(fā)生了這種改換的情況下,追蹤框也移動(dòng)到該另一面部。此時(shí),用戶需要進(jìn)行追蹤對(duì)象的重新設(shè)定。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能夠可靠地進(jìn)行被攝體的追蹤的追蹤裝置、追蹤方法、攝像裝置以及攝像方法。根據(jù)本發(fā)明的方面的追蹤裝置,其包括 面部檢測(cè)部,其從拍攝被攝體而得到的圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部;面部對(duì)應(yīng)區(qū)域檢測(cè)部,其檢測(cè)所述圖像數(shù)據(jù)中的與所述面部對(duì)應(yīng)的區(qū)域;面部追蹤部,其根據(jù)通過所述面部檢測(cè)部檢測(cè)到的結(jié)果、或通過所述面部對(duì)應(yīng)區(qū)域檢測(cè)部檢測(cè)到的結(jié)果追蹤所述面部;周邊部位追蹤部,其將相對(duì)于所述面部具有預(yù)先設(shè)定的位置關(guān)系的所述被檢體的一部分作為所述面部以外的部位來進(jìn)行追蹤;以及追蹤切換部,其在所述面部追蹤部不能進(jìn)行所述面部的追蹤的情況下,切換為所述周邊部位追蹤部對(duì)所述面部以外的部位的追蹤。根據(jù)本發(fā)明的方面的追蹤方法,其包括由面部檢測(cè)部從拍攝被攝體而得到的圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部;由面部對(duì)應(yīng)區(qū)域檢測(cè)部檢測(cè)所述圖像數(shù)據(jù)中的與所述面部對(duì)應(yīng)的區(qū)域;由面部追蹤部根據(jù)由所述面部檢測(cè)部檢測(cè)到的結(jié)果、或由所述面部對(duì)應(yīng)區(qū)域檢測(cè)部檢測(cè)到的結(jié)果來追蹤所述面部;由周邊部位追蹤部追蹤相對(duì)于所述面部具有預(yù)先設(shè)定的位置關(guān)系的所述被檢體的一部分作為所述面部以外的部位;以及在不能進(jìn)行所述面部追蹤部對(duì)所述面部的追蹤的情況下,切換為所述周邊部位追蹤部對(duì)所述面部以外的部位的追蹤。根據(jù)本發(fā)明的方面的攝像裝置,其包括攝像部,其拍攝被攝體并輸出圖像數(shù)據(jù);面部檢測(cè)部,其從所述圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部;面部追蹤部,其根據(jù)所述圖像數(shù)據(jù)追蹤所述圖像數(shù)據(jù)中的所述被攝體的面部;周邊部位追蹤部,其根據(jù)所述圖像數(shù)據(jù)追蹤所述圖像數(shù)據(jù)中的所述被攝體的面部周邊部;顯示部,其顯示基于所述圖像數(shù)據(jù)的圖像;以及控制部,其在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)或所述面部追蹤部對(duì)所述面部的追蹤有效的情況下,對(duì)顯示在所述顯示部上的所述圖像重疊表示所述面部的位置的顯示框,并且在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)和所述面部追蹤部對(duì)所述面部的追蹤無效的情況下,對(duì)顯示在所述顯示部上的圖像重疊表示所述面部周邊部的位置的顯示框。根據(jù)本發(fā)明的方面的攝像方法,其包括由攝像部拍攝被攝體并輸出圖像數(shù)據(jù);由面部檢測(cè)部從由所述攝像部輸出的所述圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部;由周邊部位追蹤部追蹤從所述攝像部輸出的所述圖像數(shù)據(jù)中的所述被攝體的面部周邊部;由顯示部顯示基于所述圖像數(shù)據(jù)的圖像;以及通過控制部在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)有效的期間,對(duì)顯示在所述顯示部上的所述圖像重疊表示所述面部的位置的顯示框,在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)變?yōu)闊o效時(shí),對(duì)顯示在所述顯示部上的圖像重疊表示所述面部周邊部的位置的顯示框。
本發(fā)明的其他目標(biāo)和優(yōu)點(diǎn)將在以下的說明中闡述,部分的目標(biāo)和優(yōu)點(diǎn)將通過說明變得清楚,或者可以通過本發(fā)明的實(shí)踐而得知??梢酝ㄟ^以下特別指出的手段和組合實(shí)現(xiàn)和獲得本發(fā)明的目標(biāo)和優(yōu)點(diǎn)。
被并入且構(gòu)成說明書的一部分的附圖例示了本發(fā)明的實(shí)施例,并與以下給出的一般說明和給下給出的實(shí)施例的詳細(xì)說明一起用于解釋本發(fā)明的原理。圖I是示出本發(fā)明的具有追蹤裝置的攝像裝置的一個(gè)實(shí)施方式的結(jié)構(gòu)框圖。圖2A是示出用于該裝置中的面部檢測(cè)電路的面部檢測(cè)的面部器官的圖。圖2B是示出由該裝置中的面部檢測(cè)電路使用面部器官檢測(cè)到面部時(shí)的圖。圖3A是示出該裝置中的面部追蹤電路使用亮度信息進(jìn)行面部追蹤時(shí)的基準(zhǔn)圖像數(shù)據(jù)的圖。圖3B是示出與該裝置中的面部追蹤電路使用亮度信息進(jìn)行面部追蹤時(shí)的基準(zhǔn)圖像數(shù)據(jù)對(duì)應(yīng)的區(qū)域搜索的圖。圖4A是示出該裝置中的面部追蹤電路使用顏色信息進(jìn)行面部追蹤時(shí)所指定的區(qū)域的圖。圖4B是用于說明該裝置中的面部追蹤電路使用顏色信息進(jìn)行面部追蹤時(shí)的搜索的圖。圖5是示出該裝置中的對(duì)于被檢體的面部檢測(cè)位置、面部追蹤位置和周邊部追蹤位置的圖。圖6是示出該裝置中的針對(duì)面部的正臉設(shè)定的面部追蹤框的圖。圖7是示出該裝置中的針對(duì)面部的側(cè)臉設(shè)定的面部追蹤框的圖。圖8是示出用于通過該裝置中的周邊部位追蹤電路追蹤胸部的胸部追蹤框的圖。圖9是該裝置中的攝影動(dòng)作流程圖。圖10是該裝置中的追蹤處理流程圖。圖11是該裝置中的追蹤處理流程圖。圖12是該裝置中的周邊位置估計(jì)處理流程圖。圖13是該裝置中的各部分追蹤處理流程圖。圖14是該裝置中的面部候選追蹤位置計(jì)算處理和周邊部候選追蹤位置計(jì)算處理流程圖。圖15是該裝置中的追蹤位置更新判斷處理流程圖。圖16A示出該裝置中的基于追蹤位置更新判斷處理的面部檢測(cè)的圖。圖16B示出該裝置中的基于追蹤位置更新判斷處理的面部的追蹤結(jié)果的圖。圖16C是用于說明通過該裝置中的追蹤位置更新判斷處理檢測(cè)到的面部是橫向時(shí)的追蹤的圖。圖16D是用于說明通過該裝置中的追蹤位置更新判斷處理檢測(cè)到的面部朝向背面的情況下等時(shí)的追蹤的圖。圖17A示出該裝置中的在面部位置處顯示的顯示框的顯示例的圖。圖17B示出該裝置中的在面部周邊部顯示的顯示框的顯示例的圖。
圖17C示出該裝置中的包含面部和面部周邊部的顯示框的顯示例的圖。
具體實(shí)施例方式以下,參照附圖來說明本發(fā)明的一個(gè)實(shí)施方式。圖I示出作為具有追蹤裝置的攝像裝置的一例的結(jié)構(gòu)框圖。攝像裝置100包含攝影光學(xué)系統(tǒng)102、調(diào)焦機(jī)構(gòu)104、光圈106、光圈驅(qū)動(dòng)機(jī)構(gòu)108、快門110、快門驅(qū)動(dòng)機(jī)構(gòu)112、攝像元件(攝像部)114、攝像元件接口(IF)電路116、RAM 118、顯示元件120、顯示元件驅(qū)動(dòng)電路122、觸摸面板124、觸摸面板驅(qū)動(dòng)電路126、記錄介質(zhì)128、系統(tǒng)控制器(控制部)130、操作部 132 和 ROM 134。系統(tǒng)控制器130搭載作為計(jì)算機(jī)的CPU 1301。攝影光學(xué)系統(tǒng)102將來自被攝體的光束F會(huì)聚到攝像元件114的受光面上。攝影 光學(xué)系統(tǒng)102包含對(duì)焦鏡頭等多個(gè)鏡頭。調(diào)焦機(jī)構(gòu)104包含電動(dòng)機(jī)及其驅(qū)動(dòng)電路等,依照CPU 1301的控制在攝影光學(xué)系統(tǒng)102內(nèi)的對(duì)焦鏡頭的光軸方向(圖示的點(diǎn)劃線方向)上驅(qū)動(dòng)該對(duì)焦鏡頭。光圈106構(gòu)成為開閉自如,調(diào)整經(jīng)由攝影光學(xué)系統(tǒng)102入射到攝像元件114的光束F的量。光圈驅(qū)動(dòng)機(jī)構(gòu)108包含用于驅(qū)動(dòng)光圈106的驅(qū)動(dòng)機(jī)構(gòu),依照CPU 1301的控制驅(qū)動(dòng)光圈106??扉T110通過將攝像元件114的受光面設(shè)為遮光狀態(tài)或曝光狀態(tài)來調(diào)整攝像元件114的曝光時(shí)間??扉T驅(qū)動(dòng)機(jī)構(gòu)112包含用于驅(qū)動(dòng)快門110的驅(qū)動(dòng)機(jī)構(gòu),依照CPU 1301的控制驅(qū)動(dòng)快門110。攝像元件114包含受光面,該受光面對(duì)經(jīng)由攝影光學(xué)系統(tǒng)102會(huì)聚的來自例如人物等被攝體及其背景的光束F進(jìn)行成像。攝像元件114的受光面通過呈二維狀地配置多個(gè)像素來構(gòu)成。在攝像元件114的受光面的光入射側(cè)設(shè)置有濾色器。攝像元件114將與在受光面成像的光束F對(duì)應(yīng)的像(被攝體像)轉(zhuǎn)換為與其光量對(duì)應(yīng)的電信號(hào)(以下稱作圖像信號(hào))。攝像元件114公知為CCD方式或CMOS方式等各種結(jié)構(gòu)的攝像元件。濾色器的顏色配置公知為拜爾排列等各種排列。本實(shí)施方式的攝像元件114的結(jié)構(gòu)不限于特定的結(jié)構(gòu),可使用各種結(jié)構(gòu)的攝像元件。攝像元件IF電路116依照CPU 1301的控制驅(qū)動(dòng)攝像元件114。攝像元件IF電路116依照CPU 1301的控制讀出由攝像元件114得到的圖像信號(hào),并針對(duì)所讀出的圖像信號(hào)實(shí)施⑶S (相關(guān)雙采樣)處理和AGC (自動(dòng)增益控制)處理等模擬處理。攝像元件IF電路116將進(jìn)行模擬處理后的圖像信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)(以下稱作圖像數(shù)據(jù))。RAM 118例如具有SDRAM。在RAM 118中,分別形成有工作區(qū)、評(píng)價(jià)圖像區(qū)、參考圖像區(qū)、追蹤位置日志區(qū)、追蹤顏色區(qū)域日志區(qū)作為存儲(chǔ)區(qū)。工作區(qū)對(duì)包含由攝像元件IF電路116得到的圖像數(shù)據(jù)等的各數(shù)據(jù),例如在攝像裝置100的各部分中產(chǎn)生的各數(shù)據(jù)進(jìn)行臨時(shí)存儲(chǔ)。評(píng)價(jià)圖像區(qū)對(duì)評(píng)價(jià)圖像數(shù)據(jù)進(jìn)行臨時(shí)存儲(chǔ)。評(píng)價(jià)圖像數(shù)據(jù)是包含追蹤處理中的追蹤對(duì)象的被攝體的幀圖像數(shù)據(jù)。在追蹤處理中,進(jìn)行處理以對(duì)追蹤對(duì)象進(jìn)行追蹤。參考圖像區(qū)對(duì)參考圖像數(shù)據(jù)進(jìn)行臨時(shí)存儲(chǔ)。參考圖像數(shù)據(jù)是在追蹤處理中作為追蹤對(duì)象的搜索對(duì)象的幀圖像數(shù)據(jù)。在追蹤處理中,在參考圖像數(shù)據(jù)中進(jìn)行搜索。
追蹤位置日志區(qū)對(duì)追蹤位置日志進(jìn)行臨時(shí)存儲(chǔ)。追蹤位置日志是對(duì)作為追蹤處理的結(jié)果得到的追蹤位置進(jìn)行了記錄的日志。在本實(shí)施方式中,一并使用多個(gè)追蹤處理對(duì)追蹤對(duì)象進(jìn)行追蹤。因此,在追蹤位置日志中,個(gè)別地記錄例如過去10個(gè)幀的通過各個(gè)追蹤處理得到的追蹤位置。在追蹤位置日志中,還記錄由后述的優(yōu)先追蹤位置判定處理采用的最終的追蹤位置。追蹤顏色區(qū)域日志區(qū)對(duì)追蹤顏色區(qū)域日志進(jìn)行臨時(shí)存儲(chǔ)。追蹤顏色區(qū)域日志是對(duì)通過追蹤處理得到的追蹤顏色區(qū)域進(jìn)行了記錄的日志。在本實(shí)施方式中,個(gè)別地記錄例如過去10個(gè)幀的追蹤顏色區(qū)域。顯示元件120例如具有液晶顯示器(IXD)。顯示元件120對(duì)實(shí)時(shí)取景用的圖像和記錄在記錄介質(zhì)128中的圖像等各種圖像進(jìn)行顯示。顯示元件驅(qū)動(dòng)電路122根據(jù)從系統(tǒng)控制器130的CPU 1301輸入的圖像數(shù)據(jù)驅(qū)動(dòng)顯示元件120,并在顯示元件120上顯示圖像。觸摸面板124 —體形成在顯示元件120的顯示畫面上。觸摸面板124檢測(cè)用戶的手指等在顯示畫面上的接觸位置等。 觸摸面板驅(qū)動(dòng)電路126對(duì)觸摸面板124進(jìn)行驅(qū)動(dòng),并且將來自觸摸面板124的接觸檢測(cè)信號(hào)輸出到CPU 1301。CPU 1301根據(jù)接觸檢測(cè)信號(hào),檢測(cè)用戶在顯示畫面上的接觸操作,并執(zhí)行與該接觸操作對(duì)應(yīng)的處理。記錄介質(zhì)128例如具有存儲(chǔ)卡。記錄介質(zhì)128記錄通過攝影動(dòng)作得到的圖像文件。圖像文件通過對(duì)圖像數(shù)據(jù)賦予預(yù)定的文件頭來構(gòu)成。在文件頭中,記錄表示攝影條件的數(shù)據(jù)和表示追蹤位置的數(shù)據(jù)等作為標(biāo)簽數(shù)據(jù)。系統(tǒng)控制器130控制攝像裝置100的動(dòng)作。系統(tǒng)控制器130包含CPU 1301、AF控制電路1302、AE控制電路1303、圖像處理電路1304、面部檢測(cè)電路(面部檢測(cè)部)1305、顏色信息檢測(cè)電路(面部對(duì)應(yīng)區(qū)域檢測(cè)部、顏色信息檢測(cè)部)1306、面部追蹤電路(面部追蹤部)1307、周邊部位追蹤電路(周邊部位追蹤部)1308、追蹤切換電路(追蹤切換部)1309、存儲(chǔ)器控制電路1310和面部朝向判定電路1311。CPU 1301對(duì)調(diào)焦機(jī)構(gòu)104、光圈驅(qū)動(dòng)機(jī)構(gòu)108、快門驅(qū)動(dòng)機(jī)構(gòu)112、顯示元件驅(qū)動(dòng)電路122、觸摸面板驅(qū)動(dòng)電路126等的系統(tǒng)控制器130的外部的各功能塊和系統(tǒng)控制器130內(nèi)部的各電路的動(dòng)作進(jìn)行控制。AF控制電路1302控制對(duì)比度AF處理。具體而言,AF控制電路1302提取由攝像元件IF電路116得到的圖像數(shù)據(jù)的高頻分量,并對(duì)該提取出的高頻分量進(jìn)行累加,取得AF用的對(duì)焦評(píng)價(jià)值。CPU 1301—邊依照所取得的對(duì)焦評(píng)價(jià)值評(píng)價(jià)圖像數(shù)據(jù)的對(duì)比度,一邊控制調(diào)焦機(jī)構(gòu)104來將對(duì)焦鏡頭設(shè)為對(duì)焦?fàn)顟B(tài)。AE控制電路1303控制AE動(dòng)作。具體而言,AE控制電路1303使用由攝像元件IF電路116得到的圖像數(shù)據(jù)計(jì)算被攝體亮度。CPU 1301依照計(jì)算出的被攝體亮度,計(jì)算曝光時(shí)的光圈106的開口量(光圈值)、快門110的開放時(shí)間(快門速度值)、攝像元件感光度和ISO感光度等。圖像處理電路1304進(jìn)行針對(duì)由攝像元件IF電路116得到的圖像數(shù)據(jù)的各種圖像處理。圖像處理例如包含顏色校正處理、伽馬(Y)校正處理、壓縮處理等。圖像處理電路1304還實(shí)施針對(duì)壓縮的圖像數(shù)據(jù)的解壓縮處理。面部檢測(cè)電路1305從例如拍攝了人物等被攝體的圖像數(shù)據(jù)中檢測(cè)被攝體的面部。面部檢測(cè)電路1305求出由各幀得到的圖像數(shù)據(jù)和圖2A所示的各面部器官402、404、406的相關(guān)量。面部器官402是與人物的鼻部周邊的陰影的圖案對(duì)應(yīng)的圖像數(shù)據(jù)。面部器官404是與人物的眼部周邊的陰影的圖案對(duì)應(yīng)的圖像數(shù)據(jù)。面部器官406是與人物的口部周邊的陰影的圖案對(duì)應(yīng)的圖像數(shù)據(jù)。圖像數(shù)據(jù)與各面部器官402、404、406的相關(guān)量在變?yōu)閳D2B所示的表示人物面部的預(yù)定配置時(shí)最大。此時(shí),在包含各面部器官402、404、406的區(qū)域408中存在人物面部。各面部器官402、404、406可以根據(jù)預(yù)先設(shè)定的檢索面部的尺寸來改變尺寸。圖2B將面部區(qū)域設(shè)為了矩形區(qū)域,但是也可以設(shè)為圓形區(qū)域。顏色信息檢測(cè)電路1306檢測(cè)圖像數(shù)據(jù)中的與通過面部檢測(cè)電路1305檢測(cè)出的面部對(duì)應(yīng)的例如膚色等的顏色信息的區(qū)域。顏色信息檢測(cè)電路1306檢測(cè)圖像數(shù)據(jù)中的與被檢體中的面部以外的周邊部位對(duì)應(yīng)的例如膚色等的顏色信息的區(qū)域。通過周邊部位追蹤電路1308檢測(cè)被檢體中的面部以外的周邊部位。面部追蹤電路1307根據(jù)通過面部檢測(cè)電路1305檢測(cè)出的面部的亮度信息(第I亮度追蹤部)、或通過顏色信息檢測(cè)電路1306檢測(cè)出的與面部對(duì)應(yīng)的例如膚色的顏色信息的區(qū)域來追蹤面部(第I顏色追蹤部)。面部追蹤電路1307在顏色信息檢測(cè)電路1306檢測(cè) 膚色的顏色信息的區(qū)域之前,使面部檢測(cè)電路1305對(duì)面部的檢測(cè)優(yōu)先來追蹤面部。對(duì)面部的追蹤進(jìn)行說明。面部追蹤電路1307使用圖像數(shù)據(jù)的亮度信息進(jìn)行追蹤處理。使用了亮度信息的追蹤處理例如在圖3A所示的(N — I)幀中設(shè)定了作為追蹤對(duì)象的被攝體的情況下,將(N — I)幀的圖像數(shù)據(jù)作為評(píng)價(jià)圖像數(shù)據(jù)存儲(chǔ)到RAM 118的評(píng)價(jià)圖像區(qū)中。將包含評(píng)價(jià)圖像數(shù)據(jù)的追蹤對(duì)象的預(yù)定范圍202的圖像數(shù)據(jù)設(shè)定為基準(zhǔn)圖像數(shù)據(jù)。之后,在追蹤處理中,在圖3B所示的作為N幀的參考圖像數(shù)據(jù)中搜索與基準(zhǔn)圖像數(shù)據(jù)202對(duì)應(yīng)的部分。將N幀的追蹤處理作為例子示出,面部追蹤電路1307將N幀的圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)存儲(chǔ)到RAM 118的參考圖像區(qū)中。面部追蹤電路1307通過求出參考圖像數(shù)據(jù)中的預(yù)定搜索范圍204的圖像數(shù)據(jù)與基準(zhǔn)圖像數(shù)據(jù)202的相關(guān)量,搜索參考圖像數(shù)據(jù)的與基準(zhǔn)圖像數(shù)據(jù)202對(duì)應(yīng)的部分。例如根據(jù)基準(zhǔn)圖像數(shù)據(jù)與參考圖像數(shù)據(jù)的差分絕對(duì)值和來判定相關(guān)量。差分絕對(duì)值和是按照每個(gè)像素求出亮度差的絕對(duì)值并進(jìn)行了累加后的值。例如,在求出了圖3B所示的參考圖像數(shù)據(jù)的區(qū)域206的參考圖像數(shù)據(jù)與基準(zhǔn)圖像數(shù)據(jù)202的差分絕對(duì)值和時(shí),參考圖像數(shù)據(jù)的區(qū)域206與基準(zhǔn)圖像數(shù)據(jù)202是明顯不同的圖像數(shù)據(jù),差分絕對(duì)值和較大。與此相對(duì),在求出了參考圖像數(shù)據(jù)的區(qū)域208與基準(zhǔn)圖像數(shù)據(jù)202的差分絕對(duì)值和時(shí),差分絕對(duì)值和較小。由此隨著與基準(zhǔn)圖像數(shù)據(jù)202的相關(guān)量變大,差分絕對(duì)值和變小。在使用了亮度信息的追蹤處理中,根據(jù)參考圖像數(shù)據(jù)搜索相關(guān)量最大,即差分絕對(duì)值和最小的區(qū)域。在圖2B所示的例子中,搜索區(qū)域208作為與基準(zhǔn)圖像數(shù)據(jù)202對(duì)應(yīng)的部分。在追蹤位置日志區(qū)中,記錄區(qū)域208中一致度最高的位置作為追蹤位置。在存在多個(gè)這種一致度高的位置的情況下,例如將接近區(qū)域208中心的位置設(shè)為追蹤位置。在下次的追蹤處理時(shí),期望將該追蹤位置設(shè)為追蹤處理的開始位置。由此,能夠減少追蹤處理花費(fèi)的時(shí)間。面部追蹤電路1307使用圖像數(shù)據(jù)的膚色的顏色信息進(jìn)行追蹤處理。使用了膚色的顏色信息的追蹤處理搜索在評(píng)價(jià)圖像數(shù)據(jù)內(nèi)可判定為與設(shè)定的顏色為相同顏色的區(qū)域作為追蹤顏色區(qū)域。如圖4A所示,面部追蹤電路1307在(N — I)幀中指定了被攝體的某個(gè)位置302的情況下,取得評(píng)價(jià)圖像數(shù)據(jù)中的位置302的顏色信息。面部追蹤電路1307將位置302作為追蹤處理的開始位置,搜索具有與位置302相同的顏色信息的區(qū)域。具體而言,面部追蹤電路1307以位置302為開始位置朝向周邊依次取得膚色的顏色信息。面部追蹤電路1307在可判定為所取得的顏色信息與位置302的顏色信息相同的情況下,將其包含在區(qū)域中。面部追蹤電路1307在不能判定為所取得的顏色信息與位置302的顏色信息相同的情況下,不將其包含在區(qū)域中。在這樣搜索到追蹤顏色區(qū)域時(shí),例如在圖4A所示的單色的被攝體的情況下,與被攝體內(nèi)接的矩形區(qū)域304成為追蹤顏色區(qū)域。記錄在追蹤位置日志區(qū)中的追蹤位置例如設(shè)為追蹤顏色區(qū)域304的重心位置(在圖4A的例子中與位置302相同)。在下次的追蹤處理 中,將該追蹤位置設(shè)為追蹤處理的開始位置。如果將N幀的追蹤處理示為例子,面部追蹤電路1307在存儲(chǔ)了圖4B所示的參考圖像數(shù)據(jù)的N幀的圖像數(shù)據(jù)的預(yù)定的搜索范圍中,將(N — I)幀的追蹤位置302作為追蹤處理的開始位置,從追蹤位置302的周邊起,依次搜索可判定為與追蹤顏色區(qū)域304的顏色為相同顏色的區(qū)域作為追蹤顏色區(qū)域。在圖4B所示的例子中,區(qū)域306成為追蹤顏色區(qū)域。在該圖所示的例子中,將重心位置308作為追蹤位置,將追蹤位置308記錄到追蹤位置日志區(qū)中。在追蹤顏色區(qū)域日志區(qū)中,記錄表示追蹤顏色區(qū)域306的范圍的信息,例如四個(gè)角部的位置。周邊部位追蹤電路1308追蹤被檢體中的面部以外的周邊部位。周邊部位追蹤電路1308與上述面部追蹤電路1307同樣,使用圖像數(shù)據(jù)的亮度信息(第2亮度追蹤部)和膚色的顏色信息進(jìn)行周邊部位的追蹤處理(第2顏色追蹤部)。周邊部位追蹤電路1308從面部追蹤具有預(yù)先設(shè)定的位置關(guān)系的例如被檢體的軀體部,具體而言追蹤存在于軀體部的胸部作為面部以外的部位。面部與胸部的位置關(guān)系被設(shè)定為如下的關(guān)系在圖像數(shù)據(jù)上設(shè)與被檢體的面部隔開預(yù)先設(shè)定的距離的下方,即設(shè)人物的面部的下方為頸部、胸部、腹部、腳部時(shí),與被檢體的面部隔開預(yù)先設(shè)定的距離的下方位置為胸部。周邊部位追蹤電路1308追蹤的周邊部位不限于被檢體的面部,例如也可以是頸部、胸部、腹部、腳部。圖5示出針對(duì)被檢體的面部檢測(cè)位置A、面部追蹤位置B和周邊部追蹤位置C。面部檢測(cè)位置A示出由面部檢測(cè)電路1305檢測(cè)到的面部,例如與圖2所示的矩形的區(qū)域408對(duì)應(yīng)。面部追蹤位置B示出用于根據(jù)由顏色信息檢測(cè)電路1306檢測(cè)到的與面部對(duì)應(yīng)的膚色的顏色信息的區(qū)域來追蹤面部的位置,例如與圖4A、4B所示的追蹤顏色區(qū)域304的重心位置302或308對(duì)應(yīng)。如上所述,將面部追蹤位置B記錄到追蹤位置日志區(qū)中。周邊部追蹤位置C示出由周邊部位追蹤電路1308追蹤的被檢體中的面部以外的周邊部位,例如胸部。該周邊部追蹤位置C例如利用矩形的框示出被檢體中的胸部。該周邊部追蹤位置C不限于矩形的框,也可以是圓形的框。面部追蹤電路1307在根據(jù)通過面部檢測(cè)電路1305檢測(cè)到的面部、或通過顏色信息檢測(cè)電路1306檢測(cè)到的與面部對(duì)應(yīng)的膚色的顏色信息的區(qū)域來追蹤面部時(shí),例如圖6或圖7所示,將矩形的面部追蹤框Dl顯示在例如作為IXD的顯示元件120上。圖6示出針對(duì)面部的正臉設(shè)定的面部追蹤框D1。圖7示出針對(duì)面部的側(cè)臉設(shè)定的面部追蹤框D1。面部追蹤框Dl不限于矩形的框,也可以是圓形的框。面部不論是正臉還是側(cè)臉都被作為面部追
足示O周邊部位追蹤電路1308在追蹤例如胸部作為被檢體中的面部以外的周邊部位時(shí),例如圖8所示,將矩形的胸部追蹤框D2顯示在例如作為IXD的顯示元件120上。胸部追蹤框D2不限于矩形的框,也可以是圓形的框。追蹤切換電路1309在不能進(jìn)行面部追蹤電路1307對(duì)面部的追蹤的情況下,例如圖6或圖7所示,將基于面部追蹤框Dl的顯示的面部追蹤切換為周邊部位追蹤電路1308對(duì)面部以外部位的追蹤。具體而言,追蹤切換電路1309從基于面部追蹤框Dl的顯示的面部追蹤切換為例如圖8所示的胸部的追蹤,如該圖所示,在例如作為L(zhǎng)CD的顯示元件120上,在胸部上顯示矩形的胸部追蹤框D2。當(dāng)追蹤切換電路1309根據(jù)面部以外的部位,例如根據(jù)胸部的位置而估計(jì)出面部·的位置處檢測(cè)到面部或與面部對(duì)應(yīng)的膚色的顏色信息時(shí),從圖8所示的周邊部位追蹤電路1308對(duì)胸部的追蹤(胸部追蹤框D2的顯示)返回到圖6或圖7所示的面部追蹤電路1307對(duì)面部的追蹤(面部追蹤框Dl的顯示)。面部與胸部的位置關(guān)系被設(shè)定為在圖像數(shù)據(jù)上胸部處于與被檢體的面部隔開預(yù)先設(shè)定的距離的下方位置處的關(guān)系。即在設(shè)人物的面部的下方有頸部、胸部、腹部、腳部時(shí),可估計(jì)出在與被檢體的胸部隔開預(yù)先設(shè)定的距離的上方存在面部。追蹤切換電路1309預(yù)先存儲(chǔ)與面部對(duì)應(yīng)的膚色的顏色信息,在被估計(jì)為面部的位置處的顏色信息與預(yù)先存儲(chǔ)的顏色信息一致時(shí),作為檢測(cè)到與面部對(duì)應(yīng)的膚色的顏色信息而返回到面部追蹤電路1307對(duì)面部的追蹤。追蹤切換電路1309至少在不能由面部檢測(cè)電路1305檢測(cè)到面部、且不能由顏色信息檢測(cè)電路1306檢測(cè)到膚色的顏色信息的區(qū)域的情況下,判定為不能進(jìn)行面部追蹤電路1307對(duì)面部的追蹤。追蹤切換電路1309如果在圖像數(shù)據(jù)中不能檢測(cè)到面部,不能根據(jù)膚色的顏色信息的區(qū)域追蹤面部而該追蹤的性能惡化,則判定為不能進(jìn)行面部追蹤電路1307對(duì)面部的
追蹤O存儲(chǔ)器控制電路1310是進(jìn)行用于由CPU 1301等對(duì)RAM 118、記錄介質(zhì)128、ROM134進(jìn)行存取的控制的接口。操作部132包含由用戶進(jìn)行操作的各種操作部件。操作部132例如包含釋放按鈕、動(dòng)態(tài)圖像按鈕、模式轉(zhuǎn)盤、選擇鍵、電源按鈕等。釋放按鈕包含第一釋放開關(guān)和第二釋放開關(guān)。第一釋放開關(guān)是在用戶半按下釋放按鈕時(shí)接通的開關(guān)。第一釋放開關(guān)接通,由此進(jìn)行AF處理等攝影準(zhǔn)備動(dòng)作。第二釋放開關(guān)是在用戶全按下釋放按鈕時(shí)接通的開關(guān)。第二釋放開關(guān)接通,由此進(jìn)行靜態(tài)圖像攝影用的曝光動(dòng)作。動(dòng)態(tài)圖像按鈕是用于指示動(dòng)態(tài)圖像攝影的開始或結(jié)束的操作部件。在由用戶按下了動(dòng)態(tài)圖像按鈕時(shí),開始動(dòng)態(tài)圖像攝影處理。當(dāng)在動(dòng)態(tài)圖像攝影處理的執(zhí)行中按下動(dòng)態(tài)圖像按鈕時(shí),結(jié)束動(dòng)態(tài)圖像攝影處理。模式轉(zhuǎn)盤是用于選擇攝像裝置的攝影設(shè)定的操作部件。在本實(shí)施方式中,模式轉(zhuǎn)盤例如可選擇靜態(tài)圖像攝影模式和動(dòng)態(tài)圖像攝影模式作為攝像裝置的攝影設(shè)定。靜態(tài)圖像攝影模式是用于拍攝靜態(tài)圖像的攝影設(shè)定。動(dòng)態(tài)圖像攝影模式是用于拍攝動(dòng)態(tài)圖像的攝影設(shè)定。選擇鍵是用于進(jìn)行例如菜單畫面上的項(xiàng)目的選擇和確定的操作部件。在由用戶操作了選擇鍵時(shí),進(jìn)行菜單畫面上的項(xiàng)目的選擇和確定。電源按鈕是用于對(duì)攝像裝置的電源進(jìn)行接通或斷開的操作部件。在由用戶操作了電源按鈕時(shí),該裝置100起動(dòng)從而成為可動(dòng)作的狀態(tài)。當(dāng)在起動(dòng)攝像裝置的期間內(nèi)操作了電源按鈕時(shí),該裝置100成為節(jié)電待機(jī)狀態(tài)。ROM 134是存儲(chǔ)用于由CPU 1301執(zhí)行各種處理的程序代碼的存儲(chǔ)介質(zhì)。程序代碼包含追蹤被攝體的追蹤程序。追蹤程序使作為計(jì)算機(jī)的CPU 1301實(shí)現(xiàn)以下功能面部檢測(cè)功能,從拍攝被攝體而得到的圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部;面部對(duì)應(yīng)區(qū)域檢測(cè)功能,檢測(cè)所述圖像數(shù)據(jù)中的與所述面部對(duì)應(yīng)的區(qū)域;面部追蹤功能,根據(jù)通過所述面部檢測(cè)部檢測(cè)到的結(jié)果、或通過所述面部對(duì)應(yīng)區(qū)域檢測(cè)部檢測(cè)到的結(jié)果追蹤所述面部;周邊部位追 蹤功能,追蹤相對(duì)于所述面部具有預(yù)先設(shè)定的位置關(guān)系的所述被檢體的一部分作為所述面部以外的部位;以及追蹤切換功能,在不能進(jìn)行所述面部追蹤部對(duì)所述面部的追蹤的情況下,切換為所述周邊部位追蹤部對(duì)所述面部以外的部位的追蹤。當(dāng)在根據(jù)所述面部以外的周邊部位的位置而估計(jì)為所述面部的位置處檢測(cè)到所述面部、或檢測(cè)到與所述面部對(duì)應(yīng)的區(qū)域的所述顏色信息時(shí),所述追蹤切換功能返回到利用所述面部追蹤功能的所述面部的追蹤。如圖2B所示,面部朝向判定電路1311根據(jù)區(qū)域408內(nèi)的面部器官402、404、406的配置等,判定由面部檢測(cè)電路1305檢測(cè)到的面部的朝向。例如,在面部器官402、404、406集中于區(qū)域408的左右任意一邊的情況下,判定為面部朝向?yàn)閭?cè)面。ROM 134存儲(chǔ)了攝影光學(xué)系統(tǒng)102、光圈106和攝像元件114等的動(dòng)作所需的控制參數(shù),以及圖像處理電路1304中的圖像處理所需的控制參數(shù)等各種控制參數(shù)。R0M134還存儲(chǔ)了在面部檢測(cè)電路1305的面部檢測(cè)中使用的面部器官的數(shù)據(jù)和用于顯示追蹤框的數(shù)據(jù)
坐寸ο接著,參照?qǐng)D9所示的攝影動(dòng)作流程圖說明如上那樣構(gòu)成的該裝置的動(dòng)作。CPU 1301從ROM 134讀入所需的程序代碼來控制該裝置100的動(dòng)作。CPU 1301在步驟SlOO中判定當(dāng)前的該裝置100的攝影設(shè)定是否為靜態(tài)圖像攝影模式。通過模式轉(zhuǎn)盤進(jìn)行攝影設(shè)定。在判定結(jié)果為攝影設(shè)定是靜態(tài)圖像攝影模式時(shí),CPU 1301在步驟S102中開始實(shí)時(shí)取景動(dòng)作。作為實(shí)時(shí)取景動(dòng)作,CPU 1301在控制快門驅(qū)動(dòng)機(jī)構(gòu)112開放快門110后,控制攝像元件IF電路116而開始攝像元件114的攝像。之后,CPU 1301將作為攝像元件114的攝像結(jié)果而存儲(chǔ)在RAM 118的工作區(qū)中的圖像數(shù)據(jù)輸入到圖像處理電路1304并實(shí)施實(shí)時(shí)取景顯示用的圖像處理。接著,CPU 1301將進(jìn)行了實(shí)時(shí)取景顯示用的圖像處理的圖像數(shù)據(jù)輸入到顯示元件驅(qū)動(dòng)電路122,并在顯示元件120上顯示圖像。通過重復(fù)執(zhí)行這種顯示動(dòng)作,對(duì)被攝體的圖像進(jìn)行動(dòng)態(tài)圖像顯示。用戶可通過該動(dòng)態(tài)圖像顯示觀察被攝體。CPU 1301在步驟S104中判定第一釋放開關(guān)是否接通。CPU 1301繼續(xù)進(jìn)行實(shí)時(shí)取景動(dòng)作,直到判定結(jié)果為第一釋放開關(guān)接通。
在第一釋放開關(guān)接通時(shí),CPU 1301在步驟S106中,進(jìn)行釋放AF處理。在釋放AF中,利用掃描驅(qū)動(dòng)來驅(qū)動(dòng)對(duì)焦鏡頭到對(duì)焦位置。在掃描驅(qū)動(dòng)中,CPU 1301控制調(diào)焦機(jī)構(gòu)104在預(yù)定的掃描范圍內(nèi)朝一個(gè)方向驅(qū)動(dòng)對(duì)焦鏡頭,同時(shí)對(duì)由AF控制電路1302依次計(jì)算的對(duì)焦評(píng)價(jià)值進(jìn)行評(píng)價(jià)。CPU 1301在對(duì)焦評(píng)價(jià)值的評(píng)價(jià)結(jié)果為對(duì)比度最大的鏡頭位置處,停止對(duì)焦鏡頭的驅(qū)動(dòng)。在AF前的對(duì)焦鏡頭的位置與對(duì)焦位置的差較大的情況下進(jìn)行這種掃描驅(qū)動(dòng)。 CPU 1301在步驟S108中,控制顯示元件驅(qū)動(dòng)電路122而在顯示元件120上顯示追蹤框。追蹤框顯示在顯示元件120的畫面上的追蹤對(duì)象的位置處。例如,可以將通過釋放AF進(jìn)行對(duì)焦后的被攝體為追蹤對(duì)象,在該被攝體上顯示追蹤框。在通過面部檢測(cè)電路1305檢測(cè)到人物面部的情況下,可以例如圖6或圖7所示,在面部上顯示追蹤框D1。在通過觸摸面板124指定了顯示在顯示元件120的畫面上的被攝體的情況下,也可以在該被攝體上顯示追蹤框。由此,在本實(shí)施方式中,CPU 1301、AF控制電路1302、面部檢測(cè)電路1305、觸摸面板124等作為追蹤對(duì)象設(shè)定部的一例發(fā)揮功能。CPU 1301在步驟SllO中進(jìn)行追蹤被攝體的追蹤處理。該追蹤處理將后述。CPU 1301在步驟S112中,進(jìn)行AF處理以對(duì)焦到追蹤位置的被攝體,并且進(jìn)行AE處理以使得追蹤位置的被攝體的曝光適當(dāng)。在追蹤處理后的AF處理中,通過掃描驅(qū)動(dòng)或擺動(dòng)驅(qū)動(dòng)將對(duì)焦鏡頭驅(qū)動(dòng)到對(duì)焦位置。在擺動(dòng)驅(qū)動(dòng)中,CPU 1301判定在驅(qū)動(dòng)了對(duì)焦鏡頭時(shí)由AF控制電路1302計(jì)算出的對(duì)焦評(píng)價(jià)值是否相對(duì)于上次鏡頭位置處的對(duì)焦評(píng)價(jià)值增加。CPU 1301在對(duì)焦評(píng)價(jià)值增加的情況下,在與上次相同的方向上對(duì)對(duì)焦鏡頭進(jìn)行微小驅(qū)動(dòng),在對(duì)焦評(píng)價(jià)值減小的情況下,在與上次相反的方向上對(duì)對(duì)焦鏡頭進(jìn)行微小驅(qū)動(dòng)。通過高速重復(fù)這種動(dòng)作來將對(duì)焦鏡頭緩慢驅(qū)動(dòng)到對(duì)焦位置。在AE處理中,CPU 1301計(jì)算將由AE控制電路1303計(jì)算出的追蹤位置的被攝體亮度設(shè)為預(yù)先設(shè)定的適當(dāng)量(適當(dāng)曝光量)的正式曝光時(shí)的光圈106的開口量(光圈值)、快門110的開放時(shí)間(快門速度值)。CPU 1301在步驟S114中判定第二釋放開關(guān)是否接通。在判定為第二釋放開關(guān)未接通時(shí),CPU 1301執(zhí)行步驟SllO的追蹤處理以后的處理。在靜態(tài)圖像攝影模式時(shí),繼續(xù)進(jìn)行追蹤處理直到第二釋放開關(guān)接通。在第二釋放開關(guān)接通時(shí),CPU 1301在步驟SI 16中,控制顯示元件驅(qū)動(dòng)電路122而不顯示追蹤框Dl。CPU 1301在步驟S118中,進(jìn)行將靜態(tài)圖像數(shù)據(jù)記錄到記錄介質(zhì)128中的處理。此時(shí),CPU 1301控制快門驅(qū)動(dòng)機(jī)構(gòu)112來關(guān)閉快門110。之后,CPU 1301控制光圈驅(qū)動(dòng)機(jī)構(gòu)108來將光圈106縮小到之前計(jì)算出的光圈值。接著,CPU 1301控制快門驅(qū)動(dòng)機(jī)構(gòu)112,使快門110開放之前計(jì)算出的開放時(shí)間,同時(shí)進(jìn)行利用攝像元件114的攝像(曝光)。之后,CPU1301在圖像處理電路1304中對(duì)經(jīng)由攝像元件114得到的靜態(tài)圖像數(shù)據(jù)進(jìn)行處理。接著,CPU 1301對(duì)在圖像處理電路1304中處理后的靜態(tài)圖像數(shù)據(jù)賦予文件頭來生成靜態(tài)圖像文件,并將所生成的靜態(tài)圖像文件記錄到記錄介質(zhì)128中。CPU 1301在步驟S120中,將表示作為上述步驟SllO的追蹤處理的結(jié)果得到的追蹤位置的數(shù)據(jù)補(bǔ)寫到之前記錄在記錄介質(zhì)128中的靜態(tài)圖像文件中。之后,CPU1301結(jié)束依照?qǐng)D9所示的示出攝影動(dòng)作的流程圖的動(dòng)作。另一方面,在上述步驟SlOO中判定為攝影設(shè)定是動(dòng)態(tài)圖像攝影模式時(shí),CPU 1301在步驟S122中開始實(shí)時(shí)取景動(dòng)作。在判定為作為動(dòng)態(tài)圖像攝影打開的指示的動(dòng)態(tài)圖像按鈕接通時(shí),CPU 1301在步驟S126中控制顯示元件驅(qū)動(dòng)電路122,在顯示元件120上例如圖6或圖7所示,在面部上顯示追蹤框Dl。CPU 1301在步驟S128中,向面部檢測(cè)電路1305、面部追蹤電路1307和周邊部位追蹤電路1308指示追蹤處理的開始。追蹤處理將后述。CPU 1301在步驟S130中,向AF控制電路1302指示AF處理以對(duì)焦到追蹤位置的被攝體,并且向AE控制電路1303指示AE處理以使得追蹤位置的 被攝體的曝光適當(dāng)。在AF處理中,通過擺動(dòng)驅(qū)動(dòng)將攝影光學(xué)系統(tǒng)102的對(duì)焦鏡頭驅(qū)動(dòng)到對(duì)焦位置。CPU 1301在步驟S132中,進(jìn)行將動(dòng)態(tài)圖像數(shù)據(jù)記錄到記錄介質(zhì)128中的處理。此時(shí),CPU 1301控制光圈驅(qū)動(dòng)機(jī)構(gòu)108,將光圈106縮小到在AE處理中計(jì)算出的光圈值。接著,CPU 1301使攝像元件114在與AE處理中計(jì)算出的快門速度值對(duì)應(yīng)的時(shí)間內(nèi)執(zhí)行攝像(曝光)。在曝光結(jié)束后,CPU 1301生成動(dòng)態(tài)圖像文件并記錄到記錄介質(zhì)128中。CPU 1301在圖像處理電路1304中對(duì)經(jīng)由攝像元件114得到的動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行處理,并將在圖像處理電路1304中處理后的動(dòng)態(tài)圖像數(shù)據(jù)記錄到動(dòng)態(tài)圖像文件中。CPU 1301在步驟S134中,將表示作為上述步驟S128的追蹤處理的結(jié)果得到的追蹤位置的數(shù)據(jù)記錄到之前記錄在記錄介質(zhì)128中的動(dòng)態(tài)圖像文件中。CPU 1301在步驟S136中判定動(dòng)態(tài)圖像按鈕是否斷開。在判定結(jié)果為動(dòng)態(tài)圖像按鈕未斷開時(shí),CPU 1301執(zhí)行步驟S128的追蹤處理以后的處理。在動(dòng)態(tài)圖像攝影模式時(shí),繼續(xù)進(jìn)行追蹤處理和動(dòng)態(tài)圖像數(shù)據(jù)的記錄,直到動(dòng)態(tài)圖像按鈕斷開為止。在判定為動(dòng)態(tài)圖像按鈕斷開時(shí),CPU 1301在步驟S138中,控制顯示元件驅(qū)動(dòng)電路122而不顯示追蹤框D1。之后,CPU 1301結(jié)束依照?qǐng)D9所示的示出攝影動(dòng)作的流程圖的動(dòng)作。接著,依照?qǐng)D10所示的追蹤處理流程圖對(duì)本實(shí)施方式的追蹤處理進(jìn)行說明。CPU 1301在步驟S200中,控制攝像元件IF電路116來執(zhí)行利用攝像元件114的攝像。CPU 1301在步驟S201中,通過攝像元件114的攝像,將在攝像元件IF電路116中得到的圖像數(shù)據(jù)取入到RAM 118中。CPU 1301將在初次的追蹤處理中得到的圖像數(shù)據(jù)設(shè)為評(píng)價(jià)圖像數(shù)據(jù),并將該圖像數(shù)據(jù)取入到RAM 118的評(píng)價(jià)圖像區(qū)中。CPU 1301將從第2次開始的以后的追蹤處理中得到的圖像數(shù)據(jù)設(shè)為參考圖像數(shù)據(jù),并將從第2次開始的以后的追蹤處理中得到的圖像數(shù)據(jù)分別取入到RAM 118的參考圖像區(qū)中。CPU 1301在步驟S202中,通過面部檢測(cè)電路1305從例如拍攝了人物等被攝體的圖像數(shù)據(jù)中檢測(cè)被攝體的面部。如參照上述圖2A、圖2B說明的那樣,面部檢測(cè)電路1305求出由各幀得到的圖像數(shù)據(jù)和各面部器官402、404、406的相關(guān)量。面部檢測(cè)電路1305利用相關(guān)量在成為表示人物面部的預(yù)定配置時(shí)為最大的情況來檢測(cè)人物面部存在的區(qū)域。CPU 1301在步驟S203中,通過周邊部位追蹤電路1308將被檢體中的面部以外的周邊部位,例如與由面部檢測(cè)電路1305檢測(cè)到的面部隔開預(yù)先設(shè)定的距離的下方的胸部設(shè)定為周邊部位。CPU 1301在步驟S204中,通過面部追蹤電路1307使用圖像數(shù)據(jù)的亮度信息進(jìn)行面部的追蹤處理,并且通過周邊部位追蹤電路1308使用圖像數(shù)據(jù)的亮度信息進(jìn)行胸部的追蹤處理。與參照上述圖3A、圖3B說明的同樣,使用了亮度信息的追蹤處理針對(duì)面部和胸部,在(N — I)幀中設(shè)定了作為追蹤對(duì)象的被攝體的情況下,將該(N — I)幀的圖像數(shù)據(jù)作為評(píng)價(jià)圖像數(shù)據(jù)存儲(chǔ)到RAM 118的評(píng)價(jià)圖像區(qū)中。將包含評(píng)價(jià)圖像數(shù)據(jù)的追蹤對(duì)象的預(yù)定范圍202的圖像數(shù)據(jù)設(shè)定為基準(zhǔn)圖像數(shù)據(jù)。之后,在追蹤處理中,在圖3B所示的N幀的參考圖像數(shù)據(jù)中搜索與基準(zhǔn)圖像數(shù)據(jù)202對(duì)應(yīng)的部分。在初次的追蹤處理中,是僅取得了評(píng)價(jià)圖像數(shù)據(jù)的狀態(tài),因此省略步驟S204以后的處理。在以后的說明中,設(shè)為取得了評(píng)價(jià)圖像數(shù)據(jù)和參考圖像數(shù)據(jù)兩方的情況來繼續(xù)說明。CPU 1301在步驟S205中,將作為使用了亮度信息的面部和胸部的各追蹤處理的 結(jié)果得到的各追蹤位置分別存儲(chǔ)到RAM 118的追蹤日志區(qū)中。CPU 1301在步驟S206中,通過面部追蹤電路1307使用圖像數(shù)據(jù)的顏色信息進(jìn)行面部的追蹤處理,并且通過周邊部位追蹤電路1308使用圖像數(shù)據(jù)的顏色信息進(jìn)行胸部的追蹤處理。使用了顏色信息的追蹤處理針對(duì)面部和胸部,搜索可判定為與在評(píng)價(jià)圖像數(shù)據(jù)內(nèi)設(shè)定的顏色為相同顏色的區(qū)域作為追蹤顏色區(qū)域。如上述圖4A所示,面部追蹤電路1307在(N — I)幀中指定了存在被攝體的位置302的情況下,取得評(píng)價(jià)圖像數(shù)據(jù)中的位置302的顏色信息,并將該位置302作為追蹤處理的開始位置,搜索具有與位置302相同的顏色信息的區(qū)域。CPU 1301在步驟S207中,將作為使用了顏色信息的追蹤處理的結(jié)果得到的面部和胸部的各追蹤位置存儲(chǔ)到RAM 118的追蹤日志區(qū)中。CPU 1301將作為使用了顏色信息的追蹤處理的結(jié)果得到的追蹤顏色區(qū)域存儲(chǔ)到RAM 118的追蹤顏色區(qū)域日志區(qū)中。CPU 1301在步驟S208中,通過追蹤切換電路1309判定是否能夠進(jìn)行面部的追蹤。具體而言,追蹤切換電路1309判定是否在圖像數(shù)據(jù)中不能檢測(cè)到面部,不能根據(jù)膚色的顏色信息的區(qū)域追蹤面部而該追蹤的性能惡化。在圖像數(shù)據(jù)中檢測(cè)到面部,或者能夠根據(jù)膚色的顏色信息的區(qū)域追蹤面部時(shí),判斷為可用面部進(jìn)行追蹤。根據(jù)在所述圖像數(shù)據(jù)中是否存在被存儲(chǔ)為追蹤對(duì)象的膚色信息來判定是否可以進(jìn)行基于膚色的顏色信息的區(qū)域的追蹤。在圖像數(shù)據(jù)中不能檢測(cè)到面部,并且不能根據(jù)膚色的顏色信息的區(qū)域追蹤面部時(shí),判斷為不能用面部進(jìn)行追蹤。如果判定結(jié)果為在圖像數(shù)據(jù)中存在面部的數(shù)據(jù),并且能夠根據(jù)膚色的顏色信息的區(qū)域追蹤面部,則CPU 1301在步驟S209中,進(jìn)行優(yōu)先追蹤位置判定處理。優(yōu)先追蹤位置判定處理是用于判定在面部的追蹤中,采用使用了亮度信息的追蹤處理的結(jié)果和使用了顏色信息的追蹤處理的結(jié)果中的哪一個(gè)的處理。此處,如上所述能夠使用亮度信息和顏色信息分別進(jìn)行面部的追蹤,因此優(yōu)先追蹤位置判定處理例如使使用了顏色信息的追蹤處理的結(jié)果優(yōu)先。CPU 1301在步驟S210中,判斷被采用為優(yōu)先追蹤位置判定處理的結(jié)果的追蹤位置的可靠性。在采用使用了亮度信息的追蹤處理的結(jié)果的情況下,例如根據(jù)參考圖像數(shù)據(jù)的對(duì)比度來判斷可靠性。具體而言,在參考圖像數(shù)據(jù)中的追蹤對(duì)象的區(qū)域的相鄰像素之間的差分和在預(yù)定值以下的情況下,判斷為有可靠性。在采用使用了顏色信息的追蹤處理的結(jié)果的情況下,例如根據(jù)參考圖像數(shù)據(jù)的顏色飽和度來判斷可靠性。具體而言,在參考圖像數(shù)據(jù)的追蹤位置的顏色飽和度在預(yù)定值以上的情況下,判斷為有可靠性。用于判定這些可靠性的閾值能夠根據(jù)仿真結(jié)果或?qū)嶒?yàn)數(shù)據(jù)適當(dāng)設(shè)定。CPU 1301在步驟S211中,將參考圖像數(shù)據(jù)的最終的追蹤位置記錄到RAM 118的追蹤日志區(qū)中。在下次的追蹤處理中,在使用亮度信息的追蹤處理和使用顏色信息的追蹤處理兩方中,都將該最終的追蹤位置設(shè)為追蹤處理的開始位置。但是,在步驟S216的可靠性判斷中判斷為沒有可靠性的情況下,也可以不記錄追蹤位置。CPU 1301在步驟S212中控制顯示元件驅(qū)動(dòng)電路122,例如圖6或圖7所示,將面部追蹤框Dl的顯示位置更新為與在步驟S2M中存儲(chǔ)的追蹤位置對(duì)應(yīng)的位置。
另一方面,如果上述步驟S208中的判定結(jié)果為在圖像數(shù)據(jù)中沒有面部的數(shù)據(jù),不能根據(jù)膚色的顏色信息的區(qū)域追蹤面部而該追蹤的性能惡化,則CPU 1301判定為不能進(jìn)行面部的追蹤。CPU 1301轉(zhuǎn)移到步驟S213,通過追蹤切換電路1309從面部的追蹤切換為周邊部位中的由周邊部位追蹤電路1308進(jìn)行的追蹤。周邊部位是指CPU 1301根據(jù)面部檢測(cè)結(jié)果和預(yù)先取得的統(tǒng)計(jì)數(shù)據(jù)估計(jì)出的位置。具體而言,將面部的位置作為基準(zhǔn),將與該基準(zhǔn)的位置隔開根據(jù)統(tǒng)計(jì)數(shù)據(jù)得到的距離的下方位置設(shè)為面部周邊部的位置。此處,存儲(chǔ)在ROM 134中的統(tǒng)計(jì)數(shù)據(jù)為用某個(gè)固定的距離測(cè)量的面部的位置到面部周邊部的位置的統(tǒng)計(jì)數(shù)據(jù)。因此,在攝像裝置到追蹤對(duì)象的距離與得到統(tǒng)計(jì)數(shù)據(jù)時(shí)的距離不同的情況下,根據(jù)該距離差校正面部周邊部的位置。例如根據(jù)面部的尺寸(面部在畫面上所占的尺寸比例)計(jì)算攝像裝置到追蹤對(duì)象的距離。根據(jù)該距離校正統(tǒng)計(jì)數(shù)據(jù)的值來計(jì)算實(shí)際的圖像數(shù)據(jù)上的面部周邊部的位置。周邊部位追蹤電路1308使用圖像數(shù)據(jù)的亮度信息和顏色信息進(jìn)行周邊部位的追蹤處理。CPU 1301在步驟S214中進(jìn)行優(yōu)先追蹤位置判定處理。優(yōu)先追蹤位置判定處理是用于判定在周邊部位的追蹤中,采用使用了亮度信息的追蹤處理的結(jié)果和使用了顏色信息的追蹤處理的結(jié)果中的哪一個(gè)的處理。具體而言,根據(jù)依據(jù)亮度信息和顏色信息計(jì)算出的追蹤位置的位置關(guān)系、和依據(jù)亮度信息和顏色信息計(jì)算出的追蹤位置處的顏色信息來判定優(yōu)先追蹤位置。CPU 1301在步驟S215中,判斷采用為優(yōu)先追蹤位置判定處理的結(jié)果的追蹤位置的可靠性。CPU 1301在采用使用了亮度信息的追蹤處理的結(jié)果的情況下,例如根據(jù)參考圖像數(shù)據(jù)的對(duì)比度判斷可靠性。具體而言,CPU 1301在參考圖像數(shù)據(jù)中的追蹤對(duì)象的區(qū)域的相鄰像素之間的差分和在預(yù)定值以下的情況下,判斷為有可靠性。CPU 1301在步驟S211中,將參考圖像數(shù)據(jù)的最終的追蹤位置存儲(chǔ)到RAM 118的追蹤日志區(qū)中。在下次的追蹤處理中,在使用亮度信息的追蹤處理中,將該最終的追蹤位置設(shè)為追蹤處理的開始位置。但是,在步驟S216的可靠性判斷中判斷為沒有可靠性的情況下,也可以不記錄追蹤位置。
CPU 1301在步驟S212中控制顯示元件驅(qū)動(dòng)電路122,例如圖6或圖8所示,將胸部追蹤框D2的顯示位置更新為與在步驟S211中存儲(chǔ)的追蹤位置對(duì)應(yīng)的位置。CPU 1301執(zhí)行上述步驟S201 S207,在步驟S208中,通過追蹤切換電路1309判定是否能夠進(jìn)行面部的追蹤。即,CPU 1301判定是否在根據(jù)面部以外的部位、例如胸部的位置而估計(jì)為面部的位置處檢測(cè)到面部,或檢測(cè)到與面部對(duì)應(yīng)的膚色的顏色信息。如果判定結(jié)果為沒有在根據(jù)例如胸部的位置而估計(jì)為面部的位置處檢測(cè)到面部,或沒有檢測(cè)到與面部對(duì)應(yīng)的膚色的顏色信息,則CPU 1301轉(zhuǎn)移到上述步驟S213,通過追蹤切換電路1309繼續(xù)進(jìn)行胸部的追蹤。如上所述,周邊部位追蹤電路1308使用圖像數(shù)據(jù)的亮度信息和顏色信息進(jìn)行胸部的追蹤處理。另一方面,當(dāng)判定結(jié)果為在根據(jù)胸部的位置而估計(jì)為面部的位置處檢測(cè)到面部,或檢測(cè)到與面部對(duì)應(yīng)的膚色的顏色信息時(shí),則CPU 1301從周邊部位追蹤電路1308對(duì)胸部 的追蹤返回到面部追蹤電路1307對(duì)面部的追蹤。追蹤切換電路1309預(yù)先存儲(chǔ)與面部對(duì)應(yīng)的膚色的顏色信息,在估計(jì)為面部的位置處的顏色信息與預(yù)先存儲(chǔ)的顏色信息一致時(shí),設(shè)為檢測(cè)到與面部對(duì)應(yīng)的膚色的顏色信息。CPU 1301執(zhí)行上述步驟S209 S211,在步驟S212中,從圖8所示的周邊部位追蹤電路1308對(duì)胸部的追蹤(胸部追蹤框D2的顯示)返回到圖6或圖7所示的面部追蹤電路1307對(duì)面部的追蹤(面部追蹤框Dl的顯示)。之后,CPU 1301結(jié)束依照?qǐng)D10所示的追蹤處理流程圖的追蹤處理。由此根據(jù)上述追蹤處理,在不能用被攝體的面部繼續(xù)追蹤時(shí),切換為作為面部以外的周邊部位,例如胸部的追蹤來進(jìn)行被檢體的追蹤。由此,在使用例如面部和至少胸部這兩個(gè)區(qū)域進(jìn)行被檢體的追蹤的情況下,即使例如使用面部作為基準(zhǔn)區(qū)域的追蹤結(jié)果不良,也能夠切換為胸部等的區(qū)域作為基準(zhǔn)區(qū)域,并使用該胸部等的區(qū)域可靠地進(jìn)行被檢體的追
足示O在將胸部等的區(qū)域作為基準(zhǔn)區(qū)域進(jìn)行被檢體的追蹤的狀態(tài)下,當(dāng)在根據(jù)該胸部的位置而估計(jì)為面部的位置處檢測(cè)到面部或檢測(cè)到與面部對(duì)應(yīng)的顏色信息時(shí),可再次進(jìn)行使用面部的追蹤。從面部的追蹤向例如胸部的追蹤的切換以在圖像數(shù)據(jù)中沒有面部的數(shù)據(jù)、不能根據(jù)膚色的顏色信息的區(qū)域追蹤面部而該追蹤的性能惡化的情況為條件,因此能夠在變?yōu)橥耆荒苓M(jìn)行面部的追蹤的狀態(tài)的時(shí)刻切換為對(duì)胸部的追隨。從胸部的追蹤返回到面部的追蹤以在根據(jù)胸部的位置而估計(jì)為面部的位置處檢測(cè)到面部,或檢測(cè)到與面部對(duì)應(yīng)的膚色的顏色信息為條件,因此能夠在變?yōu)榭赏耆M(jìn)行面部追蹤的狀態(tài)的時(shí)刻返回到對(duì)面部的追隨。面部與胸部被設(shè)定為在圖像數(shù)據(jù)上胸部處于與被檢體的面部隔開預(yù)先設(shè)定的距離的下方處的關(guān)系,并且設(shè)定為在與胸部隔開預(yù)先設(shè)定的距離的上方存在面部,因此例如即使不能進(jìn)行面部的追蹤,也能夠可靠地切換為同一人物的胸部的追蹤,不會(huì)切換到其他人物的胸部的追蹤。同樣,在從胸部的追蹤返回到面部的追蹤的情況下,也能夠可靠地切換為同一人物的面部的追蹤,不會(huì)切換到其他人物的面部的追蹤。由此,即使追蹤的對(duì)象部位切換,也能夠始終持續(xù)進(jìn)行同一人物的追蹤。上述第I實(shí)施方式對(duì)面部的追蹤和胸部的追蹤進(jìn)行了切換,但是不限于此,也可以設(shè)面部的追蹤為主要的追蹤,追加例如頸部的追蹤、腹部的追蹤、腳部的追蹤、臂部的追蹤中的任意一個(gè)作為周邊部位的追蹤。接著,依照?qǐng)D11所示的追蹤處理流程圖說明如上那樣構(gòu)成的該裝置的另一追蹤處理。本追蹤一并使用多個(gè)追蹤處理進(jìn)打追蹤對(duì)象的追蹤。CPU 1301在步驟S300中,控制攝像元件IF電路116來執(zhí)行利用攝像元件114的攝像。CPU 1301在步驟S302中,通過攝像元件114的攝像,將在攝像元件IF電路116中得到的圖像數(shù)據(jù)取入到RAM 118中。在初次的追蹤處理中得到的圖像數(shù)據(jù)為評(píng)價(jià)圖像數(shù)據(jù),因此CPU 1301將在初次的追蹤處理中得到的圖像數(shù)據(jù)取入到RAM118的評(píng)價(jià)圖像區(qū)中,因此將從第2次起的以后的追蹤處理中得到的圖像數(shù)據(jù)設(shè)為參考圖像數(shù)據(jù)。CPU 1301將從第2次起的以后的追蹤處理中得到的圖像數(shù)據(jù)取入到RAM 118的參考圖像區(qū)中?!っ娌孔粉欕娐?307在步驟S304中,與上述同樣地進(jìn)行使用面部檢測(cè)的追蹤處理。面部檢測(cè)處理在初次的追蹤處理中,從評(píng)價(jià)圖像數(shù)據(jù)中檢測(cè)面部。在從第2次起的以后的追蹤處理中,從參考圖像數(shù)據(jù)中檢測(cè)面部。面部朝向判定電路1311在步驟S306中,判定在上述步驟S304中檢測(cè)到的面部的朝向。在上述S304中沒有檢測(cè)到面部的情況下,省略步驟S306和接下來的步驟S308的處理。CPU 1301在步驟S308中,根據(jù)由面部檢測(cè)電路1305檢測(cè)到的面部的位置估計(jì)面部周邊部的位置。面部周邊部是追蹤對(duì)象的被攝體的面部以外的部分(軀體、手腳等)。在以下的說明中,作為面部周邊部的例子,估計(jì)追蹤對(duì)象的胸部的位置。面部追蹤電路1307在步驟S310中進(jìn)行追蹤對(duì)象的面部和面部周邊部的追蹤。CPU1301在步驟S312中進(jìn)行追蹤位置更新判斷處理。該追蹤位置更新判斷處理是判斷采用通過多個(gè)追蹤處理得到的候選追蹤位置中的哪一個(gè)追蹤位置作為下一個(gè)幀中的追蹤位置的處理。CPU 1301在步驟S314中,判斷采用為追蹤位置更新判斷處理的結(jié)果的追蹤位置的可靠性。在采用了使用面部檢測(cè)的追蹤處理的追蹤結(jié)果的情況下,CPU 1301根據(jù)過去的多個(gè)幀的面部檢測(cè)的結(jié)果判斷可靠性。具體而言在過去的多個(gè)幀中都檢測(cè)到面部的情況下判斷為有可靠性。在采用了使用亮度信息的追蹤處理的結(jié)果的情況下,例如根據(jù)參考圖像數(shù)據(jù)的對(duì)比度來判斷可靠性。具體而言,在參考圖像數(shù)據(jù)中的追蹤對(duì)象的區(qū)域的相鄰像素之間的差分和在預(yù)定值以下的情況下,判斷為有可靠性。在采用了使用顏色信息的追蹤處理的結(jié)果的情況下,例如根據(jù)參考圖像數(shù)據(jù)的顏色飽和度來判斷可靠性。具體而言,在參考圖像數(shù)據(jù)的追蹤位置的顏色飽和度在預(yù)定值以上的情況下,判斷為有可靠性。用于判定這些的可靠性的閾值可適當(dāng)設(shè)定。CPU 1301在步驟S316中,將最終的追蹤位置存儲(chǔ)到RAM 118的追蹤日志區(qū)中。在本實(shí)施方式中,進(jìn)行面部的追蹤處理和面部周邊部的追蹤處理兩方,因此能夠得到面部和面部周邊部?jī)煞降淖粉櫸恢?。將其中的任意一個(gè)設(shè)為用于AF控制和AE控制的追蹤位置。例如,在上述步驟S314中的可靠性的判斷結(jié)果為面部的追蹤位置的檢測(cè)結(jié)果有效的情況下,即面部檢測(cè)電路1305中的面部檢測(cè)的可靠性或各部分追蹤處理中的面部追蹤的可靠性中的任意一個(gè)有效的情況下,CPU 1301采用面部的追蹤位置。在上述步驟S314中的可靠性判斷的結(jié)果為面部的追蹤位置的檢測(cè)結(jié)果無效的情況下,即面部檢測(cè)電路1305中的面部檢測(cè)的可靠性和各部分追蹤處理中的面部追蹤的可靠性中的任意一個(gè)均不存在的情況下,CPU 1301采用面部周邊部的追蹤位置。但是,在RAM118中存儲(chǔ)面部和面部周邊部?jī)煞降淖粉櫸恢?。在判斷為兩方的追蹤位置均沒有可靠性的情況下,也可以不記錄追蹤位置。CPU 1301在步驟S318中控制顯示元件驅(qū)動(dòng)電路122,將追蹤框的顯示位置更新為與在上述步驟S316中存儲(chǔ)的追蹤位置對(duì)應(yīng)的位置。之后,CPU 1301結(jié)束圖11所示的追蹤處理。接著,參照?qǐng)D12所示的周邊位置估計(jì)處理流程圖說明周邊位置估計(jì)處理。周邊位置估計(jì)處理根據(jù)在面部檢測(cè)處理中檢測(cè)到的面部的位置估計(jì)追蹤對(duì)象的 面部周邊部(胸部)的位置。CPU 1301在步驟S400中,取得由面部檢測(cè)電路1305檢測(cè)到的面部的位置(例如面部區(qū)域的重心位置)的信息。CPU 1301在步驟S402中,取得由面部檢測(cè)電路1305檢測(cè)到的面部的尺寸(例如面部區(qū)域的尺寸)的信息。CPU 1301在步驟S404中,從ROM 134取得表示從面部的位置到面部周邊部(胸部)的位置的距離的統(tǒng)計(jì)數(shù)據(jù)。CPU 1301在步驟S406中,根據(jù)所取得的統(tǒng)計(jì)數(shù)據(jù)計(jì)算圖像數(shù)據(jù)上的面部周邊部的位置。具體而言,CPU 1301將面部的位置作為基準(zhǔn),將與該基準(zhǔn)的位置隔開根據(jù)統(tǒng)計(jì)數(shù)據(jù)得到的距離的下方位置設(shè)為面部周邊部的位置。存儲(chǔ)在ROM 134中的統(tǒng)計(jì)數(shù)據(jù)為用某個(gè)固定的距離測(cè)量的從面部的位置到面部周邊部的位置的統(tǒng)計(jì)數(shù)據(jù)。因此,在從攝像裝置到追蹤對(duì)象的距離與得到統(tǒng)計(jì)數(shù)據(jù)時(shí)的距離不同的情況下,CPU 1301根據(jù)不同的距離差校正面部周邊部的位置。CPU 1301例如根據(jù)面部的尺寸(面部在畫面上所占的尺寸比例)計(jì)算從攝像裝置到追蹤對(duì)象的距離。CPU 1301根據(jù)該計(jì)算出的距離校正統(tǒng)計(jì)數(shù)據(jù)的值來計(jì)算實(shí)際的圖像數(shù)據(jù)上的面部周邊部的位置。在計(jì)算出面部周邊部的位置后,CPU 1301結(jié)束圖12所示的周邊位置估計(jì)處理。在上述圖12所示的周邊位置估計(jì)處理的例子中,為了簡(jiǎn)化說明,將面部的位置下方的位置設(shè)為了面部周邊部的位置。此時(shí),在作為追蹤對(duì)象的人物直立時(shí)能夠得到正確的結(jié)果,但是在例如作為追蹤對(duì)象的人物躺臥時(shí)等不能得到正確的結(jié)果。與此相對(duì),可以分別檢測(cè)面部的各器官(眼睛、鼻子、嘴巴等),通過判別各器官相對(duì)于畫面在哪個(gè)方向上排列,來判別作為追蹤對(duì)象的人物是直立的還是躺著的,依照該判別結(jié)果計(jì)算面部周邊部的位置。例如,在眼睛、鼻子、嘴巴從畫面的左向右排列的情況下,估計(jì)為面部周邊部相對(duì)于面部的位置處于右方的位置。在上述圖12所示的周邊位置估計(jì)處理的例子中,根據(jù)由面部檢測(cè)電路1305檢測(cè)到的面部的位置估計(jì)面部周邊部的位置。與此相對(duì),也可以根據(jù)在后述的各部分追蹤處理中得到的面部的追蹤位置來估計(jì)面部周邊部的位置。接著,依照?qǐng)D13所示的各部分追蹤處理流程圖對(duì)本各部分追蹤處理進(jìn)行說明。各部分追蹤處理在面部檢測(cè)處理以外的追蹤處理中,對(duì)追蹤對(duì)象的面部和面部周邊部進(jìn)行追蹤。面部追蹤電路1307在步驟S500中,進(jìn)行使用作為第I特征信息的顏色信息的面部的追蹤處理。具體而言,面部追蹤電路1307在參考圖像數(shù)據(jù)中追蹤具有與在評(píng)價(jià)圖像數(shù)據(jù)中設(shè)定的面部的顏色信息相同的顏色信息的追蹤顏色區(qū)域。CPU 1301將作為使用顏色信息的追蹤處理的結(jié)果而得到的面部的追蹤位置存儲(chǔ)到RAM 118的追蹤日志區(qū)中。CPU 1301將作為使用顏色信息的追蹤處理的結(jié)果而得到的面部的追蹤顏色區(qū)域存儲(chǔ)到RAM 118的追蹤顏色區(qū)域日志區(qū)中。在初次的各部分追蹤處理中,是僅取得評(píng)價(jià)圖像數(shù)據(jù)的狀態(tài),因此省略步驟S500以后的處理。在以后的說明中,作為取得了評(píng)價(jià)圖像數(shù)據(jù)和參考圖像數(shù)據(jù)兩方的情況繼續(xù)進(jìn)行說明。面部追蹤電路1307在步驟S502中,進(jìn)行使用作為第2特征信息的亮度信息的面部的追蹤處理。具體而言,面部追蹤電路1307在參考圖像數(shù)據(jù)中追蹤具有與在評(píng)價(jià)圖像數(shù)據(jù)中設(shè)定的面部相同的圖案的區(qū)域。CPU 1301將作為使用亮度信息的追蹤處理的結(jié)果而得 到的面部的追蹤位置存儲(chǔ)到RAM 118的追蹤日志區(qū)中。CPU 1301在步驟S504中,將面部追蹤電路1307的追蹤結(jié)果和面部追蹤電路1307的追蹤結(jié)果中的任意一個(gè)設(shè)為各部分追蹤處理的最終的面部的追蹤位置(面部候選追蹤位置)。面部追蹤電路1307在步驟S506中進(jìn)行使用顏色信息的面部周邊部的追蹤處理。具體而言,面部追蹤電路1307在參考圖像數(shù)據(jù)中追蹤具有與在評(píng)價(jià)圖像數(shù)據(jù)中設(shè)定的面部周邊部(例如胸部)的顏色信息(例如衣服的顏色信息)相同的顏色信息的追蹤顏色區(qū)域。CPU 1301將作為使用顏色信息的追蹤處理的結(jié)果得到的面部周邊部的追蹤位置存儲(chǔ)到RAM 118的追蹤日志區(qū)中。CPU 1301將作為使用顏色信息的追蹤處理的結(jié)果得到的面部周邊部的追蹤顏色區(qū)域存儲(chǔ)到RAM 118的追蹤顏色區(qū)域日志區(qū)中。面部追蹤電路1307在步驟S508中進(jìn)行使用亮度信息的面部周邊部的追蹤處理。具體而言,面部追蹤電路1307在參考圖像數(shù)據(jù)中追蹤具有與在評(píng)價(jià)圖像數(shù)據(jù)中設(shè)定的面部周邊部相同的圖案的區(qū)域。CPU 1301將作為使用亮度信息的追蹤處理的結(jié)果得到的面部周邊部的追蹤位置存儲(chǔ)到RAM 118的追蹤日志區(qū)中。CPU 1301在步驟S510中,將面部追蹤電路1307的追蹤結(jié)果和面部追蹤電路1307的追蹤結(jié)果中的任意一個(gè)設(shè)為各部分追蹤處理的最終的面部周邊部的追蹤位置(周邊部候選追蹤位置)。在周邊部候選追蹤位置計(jì)算處理后,CPU 1301結(jié)束圖13所示的各部分追蹤處理。接著,參照?qǐng)D14所示的面部候選追蹤位置計(jì)算處理和周邊部候選追蹤位置計(jì)算處理流程圖對(duì)面部候選追蹤位置計(jì)算處理和周邊部候選追蹤位置計(jì)算處理進(jìn)行說明。面部候選追蹤位置計(jì)算處理和周邊部候選追蹤位置計(jì)算處理的不同僅在于在各個(gè)處理中使用的追蹤位置是面部還是面部周邊部。因此,在圖14中,集中說明這些處理。在圖14的處理中,對(duì)應(yīng)于根據(jù)顏色信息得到的追蹤位置中的顏色信息與根據(jù)亮度信息得到的追蹤位置中的顏色信息的比較結(jié)果、以及根據(jù)顏色信息得到的追蹤位置與根據(jù)亮度信息得到的追蹤位置的位置關(guān)系確定最終的候選追蹤位置。顏色信息檢測(cè)電路1306在步驟S600中,取得根據(jù)參考圖像數(shù)據(jù)中的亮度信息得到的追蹤位置的顏色信息。實(shí)際上是取得包含該追蹤位置的微小區(qū)域的顏色信息。CPU 1301在步驟S602中,判斷根據(jù)顏色信息得到的追蹤位置的顏色信息(追蹤顏色區(qū)域的顏色信息)和根據(jù)亮度信息得到的追蹤位置的顏色信息是否一致。一致是指根據(jù)亮度信息得到的追蹤位置的顏色信息處于以根據(jù)顏色信息得到的追蹤位置的顏色信息為基準(zhǔn)預(yù)先設(shè)定的任意范圍內(nèi)。在根據(jù)顏色信息得到的追蹤位置的顏色信息和根據(jù)亮度信息得到的追蹤位置的顏色信息一致的情況下,CPU 1301在步驟S604中判定追蹤顏色區(qū)域是否包含根據(jù)亮度信息得到的追蹤位置。在判定為追蹤顏色區(qū)域不包含根據(jù)亮度信息得到的追蹤位置時(shí),CPU 1301在步驟S606中采用根據(jù)亮度信息得到的追蹤位置作為最終的候選追蹤位置。之后,CPU1301結(jié)束圖14所示的面部候選追蹤位置計(jì)算處理和周邊部候選追蹤位置計(jì) 算處理。在上述步驟S602中,在根據(jù)顏色信息得到的追蹤位置的顏色信息和根據(jù)亮度信息得到的追蹤位置的顏色信息不一致的情況下,或者在上述步驟S604中判定為追蹤顏色區(qū)域包含根據(jù)亮度信息得到的追蹤位置的情況下,CPU 1301在步驟S608中,采用根據(jù)顏色信息得到的追蹤位置作為最終的候選追蹤位置。之后,CPU 1301結(jié)束圖14所示的面部候選追蹤位置計(jì)算處理和周邊部候選追蹤位置計(jì)算處理。如圖14所示,通過確定最終的候選追蹤位置,能夠針對(duì)運(yùn)動(dòng)劇烈的追蹤對(duì)象,利用使用顏色信息的追蹤處理進(jìn)行追蹤。在包含多個(gè)相同顏色被攝體的場(chǎng)景中,能夠通過使用亮度信息的追蹤處理進(jìn)行追蹤。由此,即使在面部檢測(cè)失敗的情況下也能夠繼續(xù)對(duì)追蹤對(duì)象進(jìn)彳了追蹤。上述圖13所示的各部分追蹤處理組合了亮度信息和顏色信息來進(jìn)行追蹤處理,但是也可以組合基于特征量檢測(cè)的追蹤處理等其他的追蹤處理。接著,參照?qǐng)D15所示的追蹤位置更新判斷處理流程圖說明追蹤位置更新判斷處理。追蹤位置更新判斷處理根據(jù)追蹤對(duì)象的面部朝向來判斷最終的追蹤位置。面部檢測(cè)電路1305在步驟S700中,判定是否檢測(cè)到面部。在判定為檢測(cè)到面部時(shí),面部朝向判定電路1311在步驟S702中判定面部的朝向。面部朝向判定電路1311判定面部朝向的判定結(jié)果是否為例如面部的朝向?yàn)檎娉?。在判定為面部的朝向?yàn)檎娉驎r(shí),CPU 1301在步驟S704中,將由面部檢測(cè)電路1305檢測(cè)到的面部的位置(例如圖2B所示的區(qū)域408的重心位置)設(shè)為最終的面部的追蹤位置。在下一個(gè)幀中,CPU 1301將最終的面部的追蹤位置作為追蹤處理的開始位置,進(jìn)行面部檢測(cè)處理、使用顏色信息的面部的追蹤處理、和使用亮度信息的面部的追蹤處理。CPU 1301在步驟S706中,將通過周邊位置估計(jì)處理計(jì)算出的面部周邊部的位置設(shè)為最終的面部周邊部的追蹤位置。在下一個(gè)幀中,CPU 1301將最終的面部周邊部的追蹤位置作為追蹤處理的開始位置,進(jìn)行使用顏色信息的面部周邊部的追蹤處理、和使用亮度信息的面部周邊部的追蹤處理。顏色信息檢測(cè)電路1306在步驟S708中,取得在周邊位置估計(jì)處理中計(jì)算出的面部周邊部的位置的顏色信息。
CPU 1301將在下一個(gè)幀的使用顏色信息的面部周邊部的追蹤處理中應(yīng)追蹤的顏色信息更新為新取得的面部周邊部的位置的顏色信息。之后,CPU 1301結(jié)束圖15所示的追蹤位置更新判斷處理。圖16A和圖16B示出與上述步驟S704 步驟S708對(duì)應(yīng)的場(chǎng)景的一例。在檢測(cè)到面部的情況下,如圖16A所示得到包含面部的區(qū)域Al。區(qū)域Al的重心位置為面部的位置。與面部隔開預(yù)定距離的下方位置El為面部周邊部的位置。與此相對(duì),各部分追蹤處理獨(dú)立于面部檢測(cè)處理進(jìn)行。例如,在圖16B中,位置Fl為面部的候選追蹤位置,位置Gl為面部周邊部的候選追蹤位置。如圖16B所示,在面部朝向正面的情況下,可認(rèn)為面部的檢測(cè)精度和面部周邊部的估計(jì)精度均為高精度。因此,在本實(shí)施方式中,在得到了圖16B所示的追蹤結(jié)果的情況下,下一個(gè)幀的面部追蹤電路1307的面部的追蹤處理的開始位置設(shè)為通過面部追蹤電路 1305檢測(cè)到的面部的位置Al,以替代位置Fl。由此在下一個(gè)幀中也容易追蹤相同的面部。同樣,下一個(gè)幀的面部追蹤電路1307和1306的面部周邊部的追蹤處理的開始位置設(shè)為在周邊位置估計(jì)處理中估計(jì)出的面部周邊部的位置E1,以替代位置G1。由此在下一個(gè)幀中也容易追蹤相同的面部周邊部。人物大多穿著衣服,衣服大多形成有各種花樣。因此,尤其在使用顏色信息的追蹤處理中,期望依照最接近的面部周邊部的位置的顏色信息進(jìn)行追蹤處理。因此,CPU 1301在步驟S708中,將追蹤對(duì)象的顏色信息更新為位置El的顏色信息。當(dāng)上述步驟S702中判定為面部的朝向不是正面朝向時(shí),CPU 1301在步驟S710中,將由面部檢測(cè)電路1305檢測(cè)到的面部的位置設(shè)為最終的面部的追蹤位置。CPU 1301在步驟S712中,將在各部分追蹤處理中得到的面部周邊部的候選追蹤位置設(shè)為最終的面部周邊部的追蹤位置。CPU 1301在步驟S714中,不更新在使用顏色信息的追蹤處理中應(yīng)追蹤的顏色信息,而直接使用過去的顏色信息。之后,CPU 1301結(jié)束圖15所示的追蹤位置更新判斷處理。圖16C示出與上述步驟S710 步驟S714對(duì)應(yīng)的場(chǎng)景的例子。在檢測(cè)到面部的情況下,如圖16C所示得到包含面部的區(qū)域A2。區(qū)域A2的重心位置為面部的位置。與面部隔開預(yù)定距離的下方位置E2為面部周邊部的位置。與此相對(duì),各部分追蹤處理獨(dú)立于面部檢測(cè)處理進(jìn)行。例如,如圖16C所示,位置Cl為面部的候選追蹤位置,位置Gl為面部周邊部的候選追蹤位置。在如圖16C所示那樣能夠檢測(cè)到面部、并且面部不朝向正面的情況下,換言之面部朝向?yàn)閭?cè)面的情況下,能夠在一定程度上保障面部的檢測(cè)精度,但是面部周邊部的檢測(cè)精度不能保障其估計(jì)精度。這是因?yàn)閷⒚娌恐苓叢亢?jiǎn)單地估計(jì)為與面部隔開預(yù)定距離的位置。在本實(shí)施方式中,在得到了圖16C所示的追蹤結(jié)果的情況下,下一個(gè)幀的面部追蹤電路1307的面部追蹤處理的開始位置設(shè)為通過面部追蹤電路1305檢測(cè)到的面部的位置A2,以替代位置Fl。另一方面,將下一個(gè)幀的面部追蹤電路1307的面部周邊部追蹤處理的開始位置設(shè)為在此次的各部分追蹤處理中得到的面部周邊部的位置G1。由此,在下一個(gè)幀中也能夠高精度地追蹤面部周邊部。在面部的朝向?yàn)閭?cè)面朝向的情況下,不能保障面部周邊部的估計(jì)精度,因此不更新追蹤對(duì)象的顏色信息。在上述步驟S700中判定為沒有通過面部檢測(cè)電路1305檢測(cè)到面部的情況下,CPU1301在步驟S716中,將在各部分追蹤處理中得到的面部周邊部的候選追蹤位置設(shè)為最終的面部的追蹤位置。CPU 1301在步驟S718中,將通過各部分 追蹤處理得到的面部周邊部的候選追蹤位置設(shè)為最終的面部周邊部的追蹤位置。CPU 1301在步驟S720中,不更新在使用顏色信息的追蹤處理中應(yīng)追蹤的顏色信息,而直接使用過去的顏色信息。之后,CPU 1301結(jié)束圖15所示的追蹤位置更新判斷處理。圖16D示出與上述步驟S716 S720對(duì)應(yīng)的場(chǎng)景的例子。由于不能檢測(cè)到面部,因此追蹤處理的結(jié)果只能依據(jù)各部分追蹤處理得到。例如,如圖16D所示,位置F2為面部的候選追蹤位置,位置G2為面部周邊部的候選追蹤位置。在如圖16D所示那樣面部朝向背面、或者面部發(fā)生較大幅度移動(dòng)而不能檢測(cè)到面部的情況下,將下一個(gè)幀的面部追蹤電路1307的面部追蹤處理的開始位置設(shè)為在此次的各部分追蹤處理中得到的面部的位置F2。將下一個(gè)幀的面部追蹤電路1307的面部周邊部追蹤處理的開始位置設(shè)為在此次的各部分追蹤處理中得到的面部周邊部的位置G2。由此,在下一個(gè)幀中也能夠高精度地追蹤面部和面部周邊部。在不能檢測(cè)到面部的情況下不更新追蹤對(duì)象的顏色信息。接著,對(duì)追蹤框的顯示進(jìn)行說明。如在上述步驟S216中說明的那樣,在本實(shí)施方式中,進(jìn)行面部的追蹤處理和面部周邊部的追蹤位置兩方,因此能夠得到面部和面部周邊部?jī)煞降淖粉櫸恢?。本?shí)施方式將面部和面部周邊部的追蹤位置中的任意一個(gè)設(shè)為用于AF控制和AE控制的追蹤位置。追蹤框的顯示是對(duì)最終采用的追蹤框進(jìn)行顯示。例如,在采用了面部的追蹤位置的情況下,如圖17A所示,在追蹤對(duì)象的面部的位置上顯示追蹤框H1。在采用了面部周邊部的追蹤位置的情況下,如圖17B所示,在追蹤對(duì)象的面部周邊部的位置上顯示追蹤框廷2。通過如圖17A和圖17B那樣顯示追蹤框,用戶能夠容易地視覺辨認(rèn)成為當(dāng)前的AF控制和AE控制的對(duì)象的部分。不論采用了面部的追蹤位置和面部周邊部的追蹤位置中的哪一個(gè),都可以如圖17C所示那樣顯示包含追蹤對(duì)象的面部和面部周邊部?jī)煞降淖粉櫩騂3。通過這樣顯示追蹤框,用戶能夠容易地識(shí)別成為當(dāng)前的追蹤對(duì)象的被攝體自身。也可以直接顯示利用圖16A 圖16D示出的面部區(qū)域和追蹤候選位置。此時(shí),例如圖16B和圖16C所示,表示通過面部檢測(cè)電路1305得到的面部區(qū)域的追蹤框的尺寸比表示通過面部追蹤電路1307得到的追蹤位置的追蹤框的尺寸大。也可以使表示通過面部追蹤電路1307得到的追蹤位置的追蹤框的尺寸與表示通過面部追蹤電路1307得到的追蹤位置的追蹤框的尺寸分別不同。能夠通過使尺寸不同來區(qū)分追蹤框。也可以使表示通過面部檢測(cè)電路1305得到的面部區(qū)域的追蹤框的顯示顏色、表示由面部追蹤電路1307得到的追蹤位置的追蹤框的顯示顏色、和表示由面部追蹤電路1307得到的追蹤位置的追蹤框的顯示顏色分別不同。還能夠通過使顏色不同來區(qū)分追蹤框。由此根據(jù)上述追蹤處理,能夠通過組合面部檢測(cè)電路1305和面部追蹤電路1307來進(jìn)行追蹤處理,來持續(xù)追蹤用戶期望的特定的追蹤對(duì)象。根據(jù)追蹤處理的結(jié)果在面部和面部周邊部之間切換追蹤框的顯示位置,因此用戶能夠容易地視覺辨認(rèn)出進(jìn)行了適當(dāng)?shù)淖粉櫶幚怼8鶕?jù)上述追蹤處理,在各部分追蹤處理中進(jìn)行使用亮度信息的追蹤處理和使用顏色信息的追蹤處理。這是為了進(jìn)一步提高追蹤處理的性能。與此相對(duì),雖然追蹤處理的性能降低,但可以在各部分追蹤處理中僅進(jìn)行使用亮度信息的追蹤處理和使用顏色信息的追蹤處理中的任意一個(gè)。通過面部檢測(cè)電路1305進(jìn)行了面部的追蹤,因此省略使用面部追蹤電路1307的面部的追蹤。根據(jù)以上實(shí)施方式說明了本發(fā)明,但本發(fā)明不限于上述實(shí)施方式,當(dāng)然可以在本發(fā)明宗旨的范圍內(nèi)進(jìn)行各種變形和應(yīng)用。此外,在上述動(dòng)作的說明中,為了方便,使用“首先”、“接著”等說明動(dòng)作,但不是指必須按該順序?qū)嵤﹦?dòng)作。本領(lǐng)域技術(shù)人員將容易地想起其他優(yōu)點(diǎn)和變形例。因此,本發(fā)明的更廣的方面不限于這里給出和描述的具體細(xì)節(jié)和代表性實(shí)施例。因此,可以在不脫離如用所附權(quán)利要求 及它們的等同例定義的一般發(fā)明概念的精神或范圍的情況下進(jìn)行各種變形。
權(quán)利要求
1.一種追蹤裝置,其包括 面部檢測(cè)部,其從拍攝被攝體而得到的圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部; 面部對(duì)應(yīng)區(qū)域檢測(cè)部,其檢測(cè)所述圖像數(shù)據(jù)中的與所述面部對(duì)應(yīng)的區(qū)域; 面部追蹤部,其根據(jù)通過所述面部檢測(cè)部檢測(cè)到的結(jié)果、或通過所述面部對(duì)應(yīng)區(qū)域檢測(cè)部檢測(cè)到的結(jié)果追蹤所述面部; 周邊部位追蹤部,其將相對(duì)于所述面部具有預(yù)先設(shè)定的位置關(guān)系的所述被檢體的一部分作為所述面部以外的部位來進(jìn)行追蹤;以及 追蹤切換部,其在所述面部追蹤部不能進(jìn)行所述面部的追蹤的情況下,切換為所述周邊部位追蹤部對(duì)所述面部以外的部位的追蹤。
2.根據(jù)權(quán)利要求I所述的追蹤裝置,其中, 所述面部對(duì)應(yīng)區(qū)域檢測(cè)部包含顏色信息檢測(cè)部,該顏色信息檢測(cè)部檢測(cè)所述圖像數(shù)據(jù)中的與所述面部對(duì)應(yīng)的區(qū)域的顏色信息, 當(dāng)將根據(jù)所述面部以外的部位的位置而估計(jì)出的位置的區(qū)域檢測(cè)為所述面部,或檢測(cè)到與所述面部對(duì)應(yīng)的所述顏色信息時(shí),所述追蹤切換部從所述周邊部位追蹤部的追蹤返回到所述面部追蹤部對(duì)所述面部的追蹤。
3.根據(jù)權(quán)利要求2所述的追蹤裝置,其中, 所述追蹤切換部預(yù)先存儲(chǔ)與所述面部對(duì)應(yīng)的顏色信息,在被估計(jì)為所述面部的所述區(qū)域的顏色信息與所述預(yù)先存儲(chǔ)的所述顏色信息一致時(shí),作為檢測(cè)到與所述面部對(duì)應(yīng)的所述顏色信息而返回到所述面部追蹤部對(duì)所述面部的追蹤。
4.根據(jù)權(quán)利要求2所述的追蹤裝置,其中, 所述面部追蹤部使所述面部檢測(cè)部進(jìn)行的所述面部的檢測(cè)比所述顏色信息檢測(cè)部進(jìn)行的所述顏色信息的檢測(cè)優(yōu)先。
5.根據(jù)權(quán)利要求2所述的追蹤裝置,其中, 所述追蹤切換部至少在所述面部檢測(cè)部不能檢測(cè)出所述面部、且所述顏色信息檢測(cè)部不能檢測(cè)出所述顏色信息的情況下,判定為不能進(jìn)行所述面部追蹤部對(duì)所述面部的追蹤。
6.根據(jù)權(quán)利要求5所述的追蹤裝置,其中, 如果在所述圖像數(shù)據(jù)中沒有所述面部的數(shù)據(jù)、且不能根據(jù)所述顏色信息的區(qū)域追蹤所述面部,則所述追蹤切換部判定為不能進(jìn)行所述面部追蹤部對(duì)所述面部的追蹤。
7.根據(jù)權(quán)利要求2所述的追蹤裝置,其中, 所述顏色信息檢測(cè)部檢測(cè)膚色作為所述顏色信息。
8.一種追蹤方法,其包括 由面部檢測(cè)部從拍攝被攝體而得到的圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部; 由面部對(duì)應(yīng)區(qū)域檢測(cè)部檢測(cè)所述圖像數(shù)據(jù)中的與所述面部對(duì)應(yīng)的區(qū)域; 由面部追蹤部根據(jù)由所述面部檢測(cè)部檢測(cè)到的結(jié)果、或由所述面部對(duì)應(yīng)區(qū)域檢測(cè)部檢測(cè)到的結(jié)果來追蹤所述面部; 由周邊部位追蹤部追蹤相對(duì)于所述面部具有預(yù)先設(shè)定的位置關(guān)系的所述被檢體的一部分作為所述面部以外的部位;以及 在不能進(jìn)行所述面部追蹤部對(duì)所述面部的追蹤的情況下,切換為所述周邊部位追蹤部對(duì)所述面部以外的部位的追蹤。
9.根據(jù)權(quán)利要求8所述的追蹤方法,其中, 所述追蹤的切換在根據(jù)所述面部的周邊部位而估計(jì)為所述面部的區(qū)域中檢測(cè)到所述面部、或檢測(cè)到與所述面部對(duì)應(yīng)的區(qū)域的顏色信息時(shí),返回到所述面部追蹤部對(duì)所述面部的追蹤。
10.一種攝像裝置,其具有 攝像部,其拍攝被攝體并輸出圖像數(shù)據(jù); 面部檢測(cè)部,其從所述圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部; 面部追蹤部,其根據(jù)所述圖像數(shù)據(jù)追蹤所述圖像數(shù)據(jù)中的所述被攝體的面部; 周邊部位追蹤部,其根據(jù)所述圖像數(shù)據(jù)追蹤所述圖像數(shù)據(jù)中的所述被攝體的面部周邊部; 顯示部,其顯示基于所述圖像數(shù)據(jù)的圖像;以及 控制部,其在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)或所述面部追蹤部對(duì)所述面部的追蹤有效的情況下,對(duì)顯示在所述顯示部上的所述圖像重疊表示所述面部的位置的顯示框,并且在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)和所述面部追蹤部對(duì)所述面部的追蹤無效的情況下,對(duì)顯示在所述顯示部上的圖像重疊表示所述面部周邊部的位置的顯示框。
11.根據(jù)權(quán)利要求10所述的攝像裝置,其中, 當(dāng)從所述面部檢測(cè)部對(duì)所述面部的檢測(cè)或所述面部追蹤部對(duì)所述面部的追蹤有效的第I狀態(tài)變化為所述面部檢測(cè)部對(duì)所述面部的檢測(cè)和所述面部追蹤部對(duì)所述面部的追蹤無效的第2狀態(tài)時(shí),所述控制部停止重疊在所述顯示部上的表示所述面部的位置的所述顯示框的重疊。
12.根據(jù)權(quán)利要求11所述的攝像裝置,其中, 所述控制部在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)和所述面部追蹤部對(duì)所述面部的追蹤有效的情況下,對(duì)顯示在所述顯示部上的圖像重疊表示由所述面部檢測(cè)部檢測(cè)到的所述面部的位置的第I顯示框。
13.根據(jù)權(quán)利要求11所述的攝像裝置,其中, 所述控制部在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)和所述面部追蹤部對(duì)所述面部的追蹤有效的情況下,對(duì)顯示在所述顯示部上的圖像重疊表示由所述面部檢測(cè)部檢測(cè)到的所述面部的位置的所述第I顯示框和表示由所述面部追蹤部追蹤到的所述面部的位置的第2顯示框。
14.根據(jù)權(quán)利要求11所述的攝像裝置,其中, 所述控制部在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)無效、且所述面部追蹤部對(duì)所述面部的追蹤動(dòng)作有效的情況下,對(duì)顯示在所述顯示部上的圖像重疊表示由所述面部追蹤部追蹤到的所述面部的位置的第2顯示框。
15.根據(jù)權(quán)利要求10所述的攝像裝置,其中, 所述周邊部位追蹤部根據(jù)由所述面部檢測(cè)部檢測(cè)到的所述面部的位置或由所述面部追蹤部追蹤到的所述面部的位置,將所述被攝體的胸部的位置估計(jì)為所述面部周邊部的位置來進(jìn)行所述面部的追蹤。
16.根據(jù)權(quán)利要求10所述的攝像裝置,其中, 所述面部追蹤部包含第I顏色追蹤部,其檢測(cè)所述圖像數(shù)據(jù)的顏色信息來追蹤所述被攝體的所述面部;以及第I亮度追蹤部,其檢測(cè)所述圖像數(shù)據(jù)的亮度信息來追蹤所述被攝體的所述面部, 所述周邊部位追蹤部包含第2顏色追蹤部,其檢測(cè)所述圖像數(shù)據(jù)的所述顏色信息來追蹤所述被攝體的所述面部周邊部;以及第2亮度追蹤部,其檢測(cè)所述圖像數(shù)據(jù)的所述亮度信息來追蹤所述被攝體的所述面部周邊部。
17.根據(jù)權(quán)利要求10所述的攝像裝置,其中, 所述控制部以表示所述面部的位置的顯示框和表示所述面部周邊部的位置的顯示框的各自尺寸或各自顏色不同的方式進(jìn)行顯示。
18.根據(jù)權(quán)利要求10所述的攝像裝置,其中, 所述控制部對(duì)顯示在所述顯示部上的圖像重疊包含所述面部和所述面部周邊部的顯示框。
19.一種攝像方法,其包括 由攝像部拍攝被攝體并輸出圖像數(shù)據(jù); 由面部檢測(cè)部從由所述攝像部輸出的所述圖像數(shù)據(jù)中檢測(cè)所述被攝體的面部; 由周邊部位追蹤部追蹤從所述攝像部輸出的所述圖像數(shù)據(jù)中的所述被攝體的面部周邊部; 由顯示部顯示基于所述圖像數(shù)據(jù)的圖像;以及 通過控制部在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)有效的期間,對(duì)顯示在所述顯示部上的所述圖像重疊表示所述面部的位置的顯示框,在所述面部檢測(cè)部對(duì)所述面部的檢測(cè)變?yōu)闊o效時(shí),對(duì)顯示在所述顯示部上的圖像重疊表示所述面部周邊部的位置的顯示框。
20.根據(jù)權(quán)利要求19所述的攝像方法,其中, 在從所述面部檢測(cè)部對(duì)所述面部的檢測(cè)有效的狀態(tài)變化為所述面部檢測(cè)部對(duì)所述面部的檢測(cè)無效的狀態(tài)時(shí),通過所述控制部停止重疊在所述顯示部上的表示所述面部的位置的所述顯示框的重疊。
21.根據(jù)權(quán)利要求19所述的攝像方法,其中, 由所述周邊部位追蹤部根據(jù)由所述面部檢測(cè)部檢測(cè)到的面部的位置,將所述被攝體的胸部的位置估計(jì)為所述面部周邊部的位置來進(jìn)行所述追蹤。
22.根據(jù)權(quán)利要求19所述的攝像方法,其中, 由所述周邊部位追蹤部檢測(cè)所述圖像數(shù)據(jù)的顏色信息來追蹤所述被攝體的面部,并檢測(cè)所述圖像數(shù)據(jù)的亮度信息來追蹤所述被攝體的面部。
23.根據(jù)權(quán)利要求19所述的攝像方法,其中, 由所述控制部將表示所述面部的位置的顯示框的尺寸和表示所述面部周邊部的位置的顯示框的尺寸設(shè)為不同的尺寸。
24.根據(jù)權(quán)利要求19所述的攝像方法,其中, 由所述控制部將表示所述面部的位置的顯示框的顏色和表示所述面部周邊部的位置的顯示框的顏色設(shè)為不同的顏色。
25.根據(jù)權(quán)利要求19所述的攝像方法,其中, 所述控制部對(duì)顯示在所述顯示部上的圖像重疊包含所述面部和所述面部周邊部的顯示框。
全文摘要
本發(fā)明提供一種追蹤裝置、追蹤方法、攝像裝置以及攝像方法。追蹤裝置包括面部對(duì)應(yīng)區(qū)域檢測(cè)部、面部追蹤部、周邊部位追蹤部和追蹤切換部。所述面部追蹤部根據(jù)由面部檢測(cè)部檢測(cè)到的被攝體的面部、或由所述面部對(duì)應(yīng)區(qū)域檢測(cè)部檢測(cè)到的與所述面部對(duì)應(yīng)的區(qū)域追蹤所述面部。所述周邊部位追蹤部追蹤相對(duì)于所述面部具有預(yù)先設(shè)定的位置關(guān)系的所述面部以外的部位。所述追蹤切換部在所述面部追蹤部不能進(jìn)行所述追蹤的情況下,切換為所述周邊部位追蹤部的所述追蹤。
文檔編號(hào)H04N5/232GK102857690SQ20121022498
公開日2013年1月2日 申請(qǐng)日期2012年6月29日 優(yōu)先權(quán)日2011年6月29日
發(fā)明者米山尚 申請(qǐng)人:奧林巴斯映像株式會(huì)社