專利名稱：電子攝像機(jī)和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及追蹤圖像中的物體，將追蹤結(jié)果提示在顯示器上的電子攝像機(jī)及其方 法。
背景技術(shù)：
近年來，作為AF(自動(dòng)對(duì)焦；Auto-Focus) *AE(自動(dòng)曝光；Auto Exposure) 逆光 修正功能的對(duì)位手段，在電子攝像機(jī)中搭載有臉檢測功能。通過使用臉檢測功能，能夠使焦 點(diǎn)自動(dòng)地合焦在被攝體上，因此，作為用戶的攝影輔助而成為有效的手段。作為檢測臉的圖像處理裝置和方法，已提出了下述方法，學(xué)習(xí)臉和除臉以外的部 分(以下稱作非臉)的圖案，使用已輸入了該學(xué)習(xí)到的參數(shù)的識(shí)別器來識(shí)別臉與非臉(例 如，參照專利文獻(xiàn)1)。圖1是示出專利文獻(xiàn)1的圖像處理裝置的圖。圖2是示出部分圖像的切出的一例 的圖。部分圖像切出部900從輸入的圖像1001中切出部分圖像1000。通過使多個(gè)尺寸的 窗以圖像的左上為起點(diǎn)，一邊向右側(cè)或下側(cè)挪動(dòng)適當(dāng)?shù)南笏?例如1個(gè)象素)一邊依次進(jìn) 行掃描，直到圖像的右下為止，來切出部分圖像1000(圖2)。再有，所述“切出”是指僅讀取 對(duì)應(yīng)部分的圖像數(shù)據(jù)。特征量評(píng)價(jià)部1 (901)由多個(gè)識(shí)別器的組合構(gòu)成。識(shí)別器在利用使用boosting方 法學(xué)習(xí)到的參數(shù)所指定的位置，根據(jù)后述的矩形特征(以下稱作鄰接差分濾波器)計(jì)算特 征量。然后，若上述識(shí)別器的輸出值的加權(quán)線性和低于基于學(xué)習(xí)計(jì)算出的閾值，則特征量評(píng) 價(jià)部1(901)識(shí)別為非臉，結(jié)束上述部分圖像的識(shí)別處理。另一方面，若在閾值以上，就識(shí)別 為臉，處理向下一個(gè)特征量評(píng)價(jià)部2(902)轉(zhuǎn)移。特征量評(píng)價(jià)部2(902)使用與在特征量評(píng) 價(jià)部1(901)中使用的學(xué)習(xí)參數(shù)不同的參數(shù)進(jìn)行評(píng)價(jià)。這樣，使用多個(gè)特征量評(píng)價(jià)部計(jì)算評(píng) 價(jià)值，根據(jù)計(jì)算出的評(píng)價(jià)值的值辨別臉與非臉。圖3(a)、(b)、(c)、(d)示出了鄰接差分濾波器，圖3(e)是對(duì)圖像適用了鄰接差分 濾波器(b)時(shí)的例子。鄰接差分濾波器用鄰接的白色矩形和黑色矩形表示，輸出白色矩形 內(nèi)的象素平均值與黑色矩形內(nèi)的象素平均值的差。臉器官的特征是，根據(jù)從鄰接差分濾波 器輸出的象素平均值的差較大的情況而被確定，這意味著象眼睛和嘴這樣地在鄰接間區(qū)域 的象素值的差較大的區(qū)域中輸出高的特征量。例如，圖3(e)根據(jù)位于額位置上的黑色矩形 的象素的總和與位于眉位置上的白色矩形的象素的總和之差計(jì)算特征量。由于該特征量 是鄰接的區(qū)域間的差，因此，在圖像內(nèi)的局部特征(例如線成分)上強(qiáng)烈反應(yīng)，在眼睛、眉、 嘴等臉器官上輸出特征的值。再有，鄰接差分濾波器一般稱作Haar-like特征(Haar-like feature)0但是，僅在臉檢測中，若不是看得見臉(眼睛、鼻子、嘴)的范圍內(nèi)就不能檢測，并 且不能追蹤寵物等的除臉以外的物體。因此，有下述方法，用戶預(yù)先再現(xiàn)登記物體的信息， 通過追蹤該物體，即使是除臉以外的物體，也自動(dòng)地對(duì)焦。作為以往使用的物體追蹤方法，有僅對(duì)臉檢測結(jié)果位置的附近區(qū)域進(jìn)行再次臉檢
6測的臉追蹤方法、使用基于相關(guān)運(yùn)算的前一幀附近搜索的模板匹配、以高速化為目的的基 于積極搜索的方法、使用基于概率分布的統(tǒng)計(jì)信息加入動(dòng)態(tài)預(yù)測進(jìn)行搜索的基于粒子過濾 器(particle filter)或縮聚(Condensation)的方法。這些都是預(yù)先使用某些方法登記想進(jìn)行追蹤的物體的初始特征量(顏色或亮度 的色直方圖或者模板圖像本身、形狀 輪廓信息等)。通過使用該登記特征量，在圖像中搜 索與登記特征量類似的地方來進(jìn)行物體追蹤。在這些方法中，預(yù)先制成初始特征量，取該特 征量與根據(jù)圖像的各位置所提取的特征量之間的匹配。但是，利用一般的影片進(jìn)行攝影的對(duì)象少數(shù)情況下能長時(shí)間看見臉等，多數(shù)情況 下都是圖像上的樣子變化很大。在以往的方法中存在對(duì)于圖像上樣子變化大的這樣的對(duì)象 馬上就會(huì)丟失目標(biāo)的問題。為了解決該問題，例如在專利文獻(xiàn)2中使用了逐次更新模板的方法。根據(jù)該方法， 即使在追蹤對(duì)象的樣子變化的情況下，也按照該變化更新模板。因此，能追蹤樣子變化的物 體。專利文獻(xiàn)1 美國專利申請公開第2002/0102024號(hào)公報(bào)專利文獻(xiàn)2 日本特開2002-157599號(hào)公報(bào)發(fā)明所要解決的問題但是，在專利文獻(xiàn)2的方法中，按照每個(gè)幀更新模板，但并不能說總是能夠使用僅 包含對(duì)象物體的區(qū)域來更新模板。存在由于在進(jìn)行更新的區(qū)域中混入非追蹤對(duì)象區(qū)域而使 之后的追蹤失敗的問題。使用圖5具體地說明。例如，假設(shè)將圖5(a)的正確區(qū)域定為200。這時(shí)，在下一 幀的圖5(b)中，由于帽子的顏色的邊界類似，因此在201的位置上匹配。在該位置中，由于 201的左側(cè)包含背景，因此，在下一幀以后的追蹤中，也加入了背景的特征，對(duì)頭部追蹤給予 壞影響。但是，若能夠與202匹配，就能夠根據(jù)頭部全體而得到特征，能夠在下一幀以后也 穩(wěn)定地追蹤頭部。

發(fā)明內(nèi)容
本發(fā)明鑒于上述現(xiàn)有問題，通過使用能穩(wěn)定地檢測對(duì)象物的位置的特征決定更新 區(qū)域，來消除存在對(duì)象物的區(qū)域的追蹤錯(cuò)誤。此外，通過在追蹤結(jié)果從正確位置的偏離變大 的情況下修正成正確的位置，來實(shí)現(xiàn)穩(wěn)定的追蹤處理。用于解決問題的手段為了解決上述問題，本發(fā)明的電子攝像機(jī)具有在連續(xù)攝影的圖像的各幀內(nèi)確定成 為跟蹤對(duì)象的對(duì)象物所映入的對(duì)象區(qū)域并進(jìn)行顯示的功能，具有追蹤處理部，使用定量地 表示上述對(duì)象物的特征的預(yù)先登記的第一特征量，在幀內(nèi)的預(yù)先設(shè)定的范圍內(nèi)進(jìn)行搜索， 對(duì)作為上述搜索結(jié)果所得到的區(qū)域內(nèi)的圖像，計(jì)算表示與上述對(duì)象物的圖像之間的一致度 的第一評(píng)價(jià)值，根據(jù)計(jì)算出的上述第一評(píng)價(jià)值，確定被推定為存在上述對(duì)象物的圖像的目 標(biāo)區(qū)域；更新區(qū)域計(jì)算部，使用與上述第一特征量不同的、定量地表示上述對(duì)象物的特征的 第二特征量，在上述幀內(nèi)的預(yù)先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū) 域內(nèi)的圖像，計(jì)算表示與上述對(duì)象物的圖像之間的一致度的第二評(píng)價(jià)值，根據(jù)計(jì)算出的上 述第二評(píng)價(jià)值，在上述幀內(nèi)確定用于更新上述第一特征量的更新區(qū)域；更新判斷部，通過調(diào)查在上述追蹤處理部中計(jì)算出的上述第一評(píng)價(jià)值和在上述更新區(qū)域計(jì)算部中計(jì)算出的上 述第二評(píng)價(jià)值中的至少一個(gè)是否滿足預(yù)先設(shè)定的條件，來判斷是否更新上述第一特征量； 登記特征量更新部，在由上述更新判斷部判斷為更新上述第一特征量的情況下，用在上述 更新區(qū)域內(nèi)提取的新的第一特征量更新上述第一特征量；以及追蹤結(jié)果描繪部，在由上述 更新判斷部判斷為不更新上述第一特征量的情況下，將在上述追蹤處理部中確定的上述目 標(biāo)區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述目標(biāo)區(qū)域的信息，在由上述更新判斷部判斷 為更新上述第一特征量的情況下，將在上述更新區(qū)域計(jì)算部中確定的上述更新區(qū)域確定為 上述對(duì)象區(qū)域，并描繪有關(guān)上述更新區(qū)域的信息，上述追蹤處理部在預(yù)先登記的上述第一 特征量被更新的情況下，使用更新后的第一特征量確定新的幀內(nèi)的新目標(biāo)區(qū)域。這樣，在電子攝像機(jī)中，在跟蹤物體時(shí)，能利用追蹤物體的特征以外的其他特征或 位置進(jìn)行物體的定位。然后，能進(jìn)行是時(shí)常進(jìn)行更新還是在一定條件下進(jìn)行更新的判斷，具 有減少了使用錯(cuò)誤地方的更新的效果。此外，也可以是，上述追蹤處理部使用對(duì)象物的顏色信息作為上述第一特征量，來 確定被推定為存在上述對(duì)象物的圖像的目標(biāo)區(qū)域，上述更新區(qū)域計(jì)算部使用對(duì)象物的形狀 信息作為上述第二特征量，來確定上述更新區(qū)域。這樣，即使是對(duì)象物體的樣子產(chǎn)生變化的情況下也能進(jìn)行穩(wěn)定的跟蹤。另外，也可以是，上述更新判斷部在上述更新區(qū)域計(jì)算部中計(jì)算出的上述第二評(píng) 價(jià)值大于在上述追蹤處理部中計(jì)算出的上述第一評(píng)價(jià)值時(shí)，或者，在上述更新區(qū)域計(jì)算部 中計(jì)算出的上述第二評(píng)價(jià)值大于預(yù)先設(shè)定的第一閾值時(shí)，判斷為更新上述第一特征量。這樣，由于在更新區(qū)域探測結(jié)果的評(píng)價(jià)值超過追蹤結(jié)果的評(píng)價(jià)值時(shí)，或者在更新 區(qū)域探測結(jié)果大于第一閾值的情況下，更新第一特征量，因此，不需要每次都進(jìn)行更新，能 夠削減處理量。此外，也可以是，上述對(duì)象物的圖像的每個(gè)象素的平均彩度越高，上述更新判斷部 對(duì)上述第一閾值設(shè)定越大的值，上述對(duì)象的平均彩度越低，上述更新判斷部對(duì)上述第一閾 值設(shè)定越小的值，上述更新判斷部在上述更新區(qū)域計(jì)算部中計(jì)算出的上述第二評(píng)價(jià)值大于 在上述追蹤處理部中計(jì)算出的上述第一評(píng)價(jià)值時(shí)，或者，在上述更新區(qū)域計(jì)算部中計(jì)算出 的上述第二評(píng)價(jià)值大于預(yù)先設(shè)定的第一閾值時(shí)，判斷為更新上述第一特征量，上述追蹤處 理部使用對(duì)象物的顏色信息作為上述第一特征量，來確定被推定為存在上述對(duì)象物的圖像 的目標(biāo)區(qū)域，上述更新區(qū)域計(jì)算部使用對(duì)象物的形狀信息作為上述第二特征量，來確定上 述更新區(qū)域。這樣，追蹤的容易度根據(jù)追蹤對(duì)象物的彩度值而改變。即，彩度高是指顏色鮮明， 表示更正確地進(jìn)行基于第一特征量的追蹤。因此，通過在彩度高時(shí)較大地設(shè)定第一閾值，在 彩度低時(shí)較小地設(shè)定第一閾值，能夠決定是否應(yīng)該頻繁地更新第一特征量。從而，能根據(jù)對(duì) 象物靈活地設(shè)定閾值，能夠提高追蹤精度。此外，也可以是，上述更新判斷部還在上述追蹤處理部中確定的上述目標(biāo)區(qū)域與 在上述更新區(qū)域計(jì)算部中確定的上述更新區(qū)域之間的距離成為預(yù)先設(shè)定的第二閾值以上 時(shí)，判斷為進(jìn)行更新。這樣，能夠在追蹤處理部的追蹤處理結(jié)果和更新區(qū)域計(jì)算部的更新區(qū)域探測結(jié)果 的位置有很大偏移的情況下，更新第一特征量，因此，即使在追蹤失敗了的情況下，也能使
8用更新后的第一特征量恢復(fù)追蹤處理，追蹤性能穩(wěn)定。此外，也可以是，上述電子攝像機(jī)還具有判斷是否不能繼續(xù)上述對(duì)象物的追蹤的 結(jié)束判斷部，上述結(jié)束判斷部在上述第一評(píng)價(jià)值和上述第二評(píng)價(jià)值雙方都小于預(yù)先設(shè)定的 第三閾值時(shí)，判斷為不能繼續(xù)上述對(duì)象的追蹤。這樣，能夠在對(duì)象物的追蹤成為不能繼續(xù)的情況下自動(dòng)地結(jié)束追蹤處理，因此，能 夠不浪費(fèi)用戶的時(shí)間地終止處理。此外，也可以是，上述追蹤結(jié)果描繪部在判斷為不能繼續(xù)上述對(duì)象的追蹤時(shí)，結(jié)束 目標(biāo)區(qū)域和更新區(qū)域的描繪。這樣，由于不顯示多余的跟蹤處理結(jié)果，因此，不使用戶感到不適。另外，也可以是，上述追蹤結(jié)果描繪部在判斷為不能繼續(xù)上述對(duì)象的追蹤時(shí)，描繪 對(duì)用戶提示不能追蹤的圖像。這樣，能夠讓用戶知道跟蹤已經(jīng)結(jié)束了，因此，用戶能夠轉(zhuǎn)為是否再次進(jìn)行跟蹤的 行動(dòng)。此外，也可以是，上述追蹤結(jié)果描繪部在判斷為不能繼續(xù)上述對(duì)象的追蹤時(shí)，描繪 對(duì)用戶催促再次設(shè)定初始位置的圖像。這樣，能夠催促用戶進(jìn)行初始設(shè)定，因此，即使是不熟練的使用者，也能夠容易地 理解到應(yīng)該再次設(shè)定。另外，也可以是，上述追蹤結(jié)果描繪部在判斷為不能繼續(xù)上述對(duì)象的追蹤時(shí)，通過 新的臉檢測進(jìn)行初始位置設(shè)定。這樣，在將人物作為對(duì)象的情況下，能夠自動(dòng)地對(duì)臉的部分重新設(shè)定初始位置。此外，也可以是，上述電子攝像機(jī)還具有臉檢測電路，在各幀內(nèi)的圖像內(nèi)檢測臉； 和臉朝向識(shí)別電路，識(shí)別由上述臉檢測電路檢測到的臉的朝向，在由上述臉朝向識(shí)別電路 識(shí)別為作為上述對(duì)象物的臉朝向側(cè)面時(shí)，在上述更新區(qū)域計(jì)算部中計(jì)算出作為朝向正側(cè)面 的臉的區(qū)域的更新基準(zhǔn)區(qū)域之后，上述更新區(qū)域計(jì)算部根據(jù)臉部分與頭發(fā)部分的預(yù)先指定 的位置關(guān)系，計(jì)算上述更新基準(zhǔn)區(qū)域內(nèi)的上述更新區(qū)域。這樣就能預(yù)先進(jìn)行各種各樣的位置關(guān)系中的更新，從而追蹤精度提高，該各種各 樣的位置關(guān)系中的更新包括按照更新區(qū)域探測結(jié)果改變應(yīng)該更新的地方；或者例如按照 臉檢測的結(jié)果的臉朝向改變應(yīng)該更新的地方；或者按照臉檢測的尺寸，使用更大的尺寸進(jìn) 行更新；或者利用包括衣服這樣的形式進(jìn)行更新等。這樣，由于能跟蹤臉，因此，能進(jìn)行與臉認(rèn)證等的結(jié)合。此外，這樣，在例如如圓形狀這樣地即使旋轉(zhuǎn)外觀也不改變的情況下，能夠穩(wěn)定地 跟蹤跟蹤物體。此外，也可以是，上述電子攝像機(jī)還具有攝像機(jī)控制部，該攝像機(jī)控制部根據(jù)在上 述追蹤處理部中確定的目標(biāo)區(qū)域和在上述更新區(qū)域計(jì)算部中確定的上述更新區(qū)域中的某 個(gè)，變更用于調(diào)整上述電子攝像機(jī)的動(dòng)作的攝像機(jī)參數(shù)。這樣，由于能控制攝像機(jī)參數(shù)，因此，能夠進(jìn)行與對(duì)象相應(yīng)的攝像機(jī)參數(shù)設(shè)定。也可以是，上述攝像機(jī)控制部根據(jù)上述攝像機(jī)參數(shù)控制上述電子攝像機(jī)的殼體和 云臺(tái)的至少一方的動(dòng)作，進(jìn)行控制，使被確定的上述對(duì)象物的全體或一部分配合幀內(nèi)的規(guī) 定位置和尺寸。
這樣，通過控制攝像機(jī)，就能向?qū)ο笪锏倪m合位置控制攝像機(jī)。也可以是，上述電子攝像機(jī)還具有目標(biāo)區(qū)域初始設(shè)定部，該目標(biāo)區(qū)域初始設(shè)定部 根據(jù)來自用戶的輸入，或者使用預(yù)先設(shè)定的方法來決定上述目標(biāo)區(qū)域的初始位置。這樣就能設(shè)定目標(biāo)區(qū)域的初始位置，能夠決定跟蹤的初始位置。也可以是，上述目標(biāo)區(qū)域初始設(shè)定部將人物或臉的某一方的檢測位置決定為初始 位置。這樣，能夠?qū)⑷宋锘蚰樜恢米鳛槌跏嘉恢?，能夠自?dòng)地進(jìn)行人物跟蹤的初始設(shè)定。也可以是，上述目標(biāo)區(qū)域初始設(shè)定部將由AF自動(dòng)對(duì)焦功能合焦的地方?jīng)Q定為初 始位置。這樣就能將由AF功能合焦的區(qū)域作為初始設(shè)定來進(jìn)行跟蹤，與AF功能的聯(lián)動(dòng)變 得容易。再有，本發(fā)明不僅能夠?qū)崿F(xiàn)為裝置，還能夠?qū)崿F(xiàn)為以構(gòu)成該裝置的處理手段為步 驟的方法，或者實(shí)現(xiàn)為讓計(jì)算機(jī)執(zhí)行這些步驟的程序，或者實(shí)現(xiàn)為記錄了該程序的計(jì)算機(jī) 可讀CD-ROM等記錄介質(zhì)，或者實(shí)現(xiàn)為示出該程序的信息、數(shù)據(jù)或信號(hào)。然后，這些程序、信 息、數(shù)據(jù)和信號(hào)也可以經(jīng)由因特網(wǎng)等通信網(wǎng)絡(luò)進(jìn)行通信。發(fā)明效果根據(jù)本發(fā)明，由于即使在對(duì)象物體的樣子變化了的情況下也能夠進(jìn)行對(duì)象追蹤， 因此，即使在物體朝向后面這樣的情況下也能夠追蹤，能繼續(xù)顯示框，進(jìn)行利用AE、AF和攝 像機(jī)控制的成幀功能和自動(dòng)攝影。


圖1是現(xiàn)有的臉檢測處理的流程圖。圖2是現(xiàn)有的根據(jù)圖像的臉檢測處理的說明圖。圖3(a) (e)是現(xiàn)有的鄰接差分濾波器的說明圖。圖4是本發(fā)明的實(shí)施方式1、2中的圖像處理裝置的方框圖。圖5(a) (b)是現(xiàn)有方法中的失敗跟蹤的例子的說明圖。圖6(a) (b)是色直方圖搜索的說明圖。圖7(a) (b)是色直方圖的類似度計(jì)算的說明圖。圖8(a) (b)是側(cè)臉的參考圖像區(qū)域的說明圖。圖9是實(shí)施方式1的流程圖。圖10(a) (C)是跟蹤特征量與更新區(qū)域探測結(jié)果的關(guān)系圖。圖11是實(shí)施方式2的流程圖。符號(hào)說明100圖像處理裝置(電子攝像機(jī))101透鏡102快門103攝像元件104 AD 變換器105定時(shí)發(fā)生電路
146臉檢測電路
147臉朝向識(shí)別電路
148圖像顯示部
149曝光控制部
200幀(a)中的跟蹤結(jié)果
201幀(b)中的跟蹤結(jié)果
202幀(b)中的正確位置
301搜索區(qū)域
302追蹤窗
303追蹤窗區(qū)域的色直方圖
401參考圖像的色直方圖
402輸入圖像的色直方圖
501臉檢測區(qū)域
502參考區(qū)域
S601輸入圖像步驟
S602臉檢測步驟
S603臉朝向識(shí)別步驟
S604初始登記特征提取步驟
S605追蹤處理步驟
S606臉檢測步驟
S607臉檢測判斷步驟
S608初始登記特征更新步驟
S609跟蹤框顯示部·攝像機(jī)控制步驟
S610追蹤評(píng)價(jià)值比較步驟
S611追蹤結(jié)束步驟
S612初始登記特征量更新步驟
S801輸入圖像步驟
S802臉檢測步驟
S803初始登記特征提取步驟
S804追蹤處理步驟
S805圓檢測步驟
S806追蹤結(jié)束判斷步驟
S807特征量更新判斷步驟
S808特征量更新步驟
S809跟蹤框顯示部·攝像機(jī)控制步驟
S810追蹤結(jié)束步驟
900部分圖像切出部
901特征量評(píng)價(jià)部1
902特征量評(píng)價(jià)部2
903 特征量評(píng)價(jià)部31000 部分圖像1001 輸入圖像
具體實(shí)施例方式(實(shí)施方式1)在本實(shí)施方式1中，對(duì)通過并用利用了臉檢測和顏色信息的追蹤，還能夠進(jìn)行僅 在臉檢測中不能進(jìn)行的朝向后面的頭部的追蹤的圖像處理裝置進(jìn)行敘述。即，實(shí)施方式1 的圖像處理裝置(電子攝像機(jī))使用現(xiàn)有的臉檢測和臉朝向識(shí)別，確定會(huì)存在成為跟蹤攝 影對(duì)象的對(duì)象物的目標(biāo)區(qū)域。然后，每次對(duì)每個(gè)幀確定目標(biāo)區(qū)域時(shí)，都提取對(duì)象物的顏色的 特征量進(jìn)行更新。在無法進(jìn)行臉檢測的情況下，使用更新后的對(duì)象物的顏色特征確定目標(biāo) 區(qū)域，更新顏色的登記特征量。圖4是示出本發(fā)明的實(shí)施方式1的電子攝像機(jī)的結(jié)構(gòu)的圖。在圖4中，100是電子 攝像機(jī)。101是透鏡，102是具有光圈功能的快門，103是將光學(xué)像變換成電信號(hào)的攝像元 件，104是將攝像元件103的模擬信號(hào)輸出變換成數(shù)字信號(hào)的AD變換器(Analog Digital Converter)。定時(shí)發(fā)生電路105向攝像元件103、AD變換器104、DA變換器(Digital Analog Converter) 106供給時(shí)鐘信號(hào)和控制信號(hào)。由存儲(chǔ)器控制電路107和系統(tǒng)控制電路108控 制定時(shí)發(fā)生電路105。圖像處理電路109對(duì)來自AD變換器104的數(shù)據(jù)或來自存儲(chǔ)器控制電路107的數(shù) 據(jù)進(jìn)行規(guī)定的圖像插補(bǔ)處理和顏色變換處理。此外，在圖像處理電路109中，使用攝像到的圖像數(shù)據(jù)進(jìn)行規(guī)定的運(yùn)算處理，系統(tǒng) 控制電路108根據(jù)得到的運(yùn)算結(jié)果，對(duì)曝光控制部149和測距控制部114進(jìn)行控制。存儲(chǔ)器控制電路107控制AD變換器104、定時(shí)發(fā)生電路105、圖像處理電路109、圖 像顯示存儲(chǔ)器110、DA變換器106、存儲(chǔ)器111和調(diào)整尺寸電路112。將AD變換器104的數(shù)據(jù)經(jīng)由圖像處理電路109和存儲(chǔ)器控制電路107，或者將AD 變換器104直接經(jīng)由存儲(chǔ)器控制電路107寫入到圖像顯示存儲(chǔ)器110或存儲(chǔ)器111中。110是圖像顯示存儲(chǔ)器，106是DA變換器，148是由TFT (Thin Film Transistor 薄膜晶體管)-IXD(Liquid Crystal Display 液晶顯示器)等構(gòu)成的圖像顯示部，被寫入 到圖像顯示存儲(chǔ)器110中的顯示用的圖像數(shù)據(jù)經(jīng)由DA變換器106后，由圖像顯示部148進(jìn) 行顯不。調(diào)整尺寸電路112根據(jù)攝影到的動(dòng)態(tài)圖像的幀圖像，生成作為低分辨率圖像的調(diào) 整尺寸圖像。在要使用與攝像元件103的象素?cái)?shù)不同的象素?cái)?shù)(尺寸)向記錄介質(zhì)中記錄 圖像數(shù)據(jù)的情況下利用調(diào)整尺寸電路112。此夕卜，圖像顯示部148因?yàn)橄笏財(cái)?shù)與攝像元件103相比相當(dāng)小，因此，也用于生成 在圖像顯示部148中進(jìn)行顯示時(shí)的顯示用圖像。構(gòu)成為根據(jù)用途，從規(guī)定的多個(gè)分辨率中 選擇調(diào)整尺寸圖像的分辨率。調(diào)整尺寸電路112讀入存儲(chǔ)器111中所保存的圖像進(jìn)行調(diào)整 尺寸處理，將結(jié)束了處理的數(shù)據(jù)寫入到存儲(chǔ)器111中。曝光控制部149控制具有光圈功能的快門102，通過與閃光燈113聯(lián)動(dòng)還具有閃光燈調(diào)光功能。測距控制部114控制透鏡101的聚焦?？s放控制部115控制透鏡101的變焦距。 屏障控制部116控制作為屏障的保護(hù)部117的動(dòng)作。閃光燈113還具有AF輔助光的投光功能和閃光燈調(diào)光功能。系統(tǒng)控制電路108控制整個(gè)圖像處理裝置(電子攝像機(jī))100，存儲(chǔ)器118記錄系 統(tǒng)控制電路108的動(dòng)作用的常量、變量、程序等。顯示部119是按照系統(tǒng)控制電路108中的程序的執(zhí)行，使用文字、圖像、聲音等顯 示動(dòng)作狀態(tài)或信息等的液晶顯示裝置、揚(yáng)聲器等的顯示部等。顯示部119在圖像處理裝 置100的操作部附近的容易視覺辨認(rèn)的裝置上設(shè)置在單個(gè)或多個(gè)地方上，例如，由LCD或 LED (Light Emitting Diode 發(fā)光二極管)、發(fā)聲元件等的組合構(gòu)成。非易失性存儲(chǔ)器120是能電氣性地證明·記錄的存儲(chǔ)器，例如使用EEPROM等。模式轉(zhuǎn)盤121能夠切換設(shè)定自動(dòng)攝影模式、攝影模式、全景攝影模式、未加工模式 等的各功能模式。快門開關(guān)123通過快門開關(guān)SW1，在未圖示的快門按鈕的操作途中變?yōu)椤伴_”，指示 AF處理、AE處理、AWB(Auto White Balance 自動(dòng)白平衡)處理等的動(dòng)作開始?？扉T開關(guān)123通過快門開關(guān)SW2，在未圖示的快門按鈕的操作完了時(shí)變?yōu)椤伴_”， 指示一系列處理的動(dòng)作開始，該一系列處理是，將從攝像元件103讀取的信號(hào)經(jīng)由AD變換 器104和存儲(chǔ)器控制電路107，向存儲(chǔ)器111中寫入圖像數(shù)據(jù)的曝光處理；在圖像處理電路 109和存儲(chǔ)器控制電路107中的使用運(yùn)算的顯像處理；從存儲(chǔ)器111中讀取圖像數(shù)據(jù)，在記 錄部124中寫入圖像數(shù)據(jù)的記錄處理。電源控制部125由電池檢測電路、DC-DC變換器、切換通電的塊的開關(guān)電路等構(gòu) 成，進(jìn)行有無安裝電池、電池的種類及電池殘量的檢測，根據(jù)檢測結(jié)果和系統(tǒng)控制電路108 的指示控制DC-DC變換器，在必要的期間向包括記錄介質(zhì)在內(nèi)的各部分供給必要的電壓。電源部128是由連接器127、堿性電池或鋰電池等的一次電池或NiCd電池或NiMH 電池、Li電池等的二次電池及AC適配器等126構(gòu)成的電源。接口 129和130是與存儲(chǔ)卡和硬盤等記錄介質(zhì)之間的接口，連接器131和132進(jìn) 行存儲(chǔ)卡和硬盤等記錄介質(zhì)與主體的連接。保護(hù)部117是通過覆蓋包括圖像處理裝置(電 子攝像機(jī))100的透鏡101在內(nèi)的攝像部來防止攝像部的污染和破損的屏障(Barrier)。光學(xué)取景器133沒有使用圖像顯示部148的電子取景器功能，而僅使用光學(xué)取景 器就能進(jìn)行攝影。通信部134 具有 RS232C 或 USB (Universal Serial Bus 通用串行總線)、 IEEE1394、調(diào)制解調(diào)器、LAN和無線通信等的各種通信功能。天線135是利用通信部134將圖像處理裝置(電子攝像機(jī))100與其他機(jī)器連接 的連接器或無線通信情況下的天線。初始特征量提取部136從存儲(chǔ)器111中保存的圖像數(shù)據(jù)中提取初始特征量并寫入 到存儲(chǔ)器111中。提取初始特征量的坐標(biāo)可以由用戶利用觸摸屏進(jìn)行指定，或者根據(jù)通過 按下臉檢測位置或快門開關(guān)SWl而設(shè)定的AF區(qū)域等進(jìn)行自動(dòng)設(shè)定。追蹤處理部137從存儲(chǔ)器111中讀入登記特征量進(jìn)行追蹤處理，在存儲(chǔ)器111中 寫入追蹤結(jié)果(坐標(biāo)數(shù)據(jù)、評(píng)價(jià)值)。再有，評(píng)價(jià)值是表示登記特征量與目標(biāo)區(qū)域的特征量之間的類似度的值，以下，以評(píng)價(jià)值越大越準(zhǔn)確、即一致度越高的情況為例進(jìn)行說明。追蹤開頭幀指定電路138判斷是否是圖像數(shù)據(jù)中的、在追蹤中進(jìn)行的開頭幀，在 存儲(chǔ)器111中寫入判斷結(jié)果。更新區(qū)域探測電路139進(jìn)行更新區(qū)域的探測，在存儲(chǔ)器111中寫入更新區(qū)域探測 結(jié)果(坐標(biāo)數(shù)據(jù)、評(píng)價(jià)值)。再有，關(guān)于更新區(qū)域，評(píng)價(jià)值也是表示登記特征量與更新區(qū)域 的特征量之間的類似度的值，以下，以評(píng)價(jià)值越大越準(zhǔn)確、即一致度越高的情況為例進(jìn)行說 明。更新判斷電路140判斷是否對(duì)存儲(chǔ)器111中所保存的登記特征量進(jìn)行更新，將判 斷結(jié)果寫入到存儲(chǔ)器111中。結(jié)束判斷電路141將是否結(jié)束追蹤的判斷結(jié)果寫入到存儲(chǔ)器111中。位置修正電路142根據(jù)預(yù)先保持在存儲(chǔ)器111中的更新區(qū)域探測結(jié)果與追蹤結(jié)果 的位置關(guān)系信息DB，對(duì)存儲(chǔ)器111中所保存的追蹤結(jié)果進(jìn)行修正。登記特征量更新電路143在追蹤結(jié)果和更新區(qū)域探測結(jié)果處于后述的關(guān)系時(shí)，使 用更新區(qū)域探測結(jié)果的位置特征來更新存儲(chǔ)器111中所記錄的登記特征量。追蹤結(jié)果描繪電路144為了使IXD顯示已寫入到存儲(chǔ)器111中的追蹤結(jié)果，對(duì)已 寫入在圖像顯示存儲(chǔ)器110中的顯示用的圖像數(shù)據(jù)實(shí)施用于了解已追蹤到追蹤結(jié)果的位 置的信息、例如追蹤框、馬賽克化、文字、顯示顏色的變更、模糊化等的處理。追蹤結(jié)果描繪電路144為了使IXD顯示已寫入到存儲(chǔ)器111中的追蹤結(jié)果，對(duì)已 寫入在圖像顯示存儲(chǔ)器110中的顯示用的圖像數(shù)據(jù)實(shí)施用于了解已追蹤到追蹤結(jié)果的位 置或者更新區(qū)域探測結(jié)果的位置的信息、例如追蹤框、馬賽克化、文字、顯示顏色的變更、模 糊化等的處理。攝像機(jī)控制電路145根據(jù)已寫入到存儲(chǔ)器111中的追蹤結(jié)果的位置和尺寸對(duì)攝像 機(jī)進(jìn)行控制，使得對(duì)象物體成為圖像的一定位置 尺寸(例如，使臉成為中央或者進(jìn)行縮放 以顯示全身等)。臉檢測電路146從圖像進(jìn)行臉檢測，在存儲(chǔ)器111中寫入臉檢測結(jié)果(位置、尺 寸、評(píng)價(jià)值)。臉朝向識(shí)別電路147識(shí)別由臉檢測電路146檢測到的臉是朝向上下左右的哪個(gè)方 向，將識(shí)別結(jié)果寫入到存儲(chǔ)器111中。在不具有這些136、137、138、139、140、141、142、143、144的某個(gè)電路的情況下，在 系統(tǒng)控制電路108中，也可以利用軟件處理，使用后述的流程進(jìn)行追蹤和更新處理。以下，使用圖6和圖7說明圖像處理裝置100的動(dòng)作。系統(tǒng)控制電路108執(zhí)行由曝光處理和顯像處理構(gòu)成的攝影處理，所述曝光處理是 經(jīng)由攝像元件103、AD變換器104、圖像處理電路109、存儲(chǔ)器控制電路107，向存儲(chǔ)器111中 寫入攝影到的圖像數(shù)據(jù)，所述顯像處理是使用存儲(chǔ)器控制電路107以及根據(jù)需要使用圖像 處理電路109，讀取已寫入在存儲(chǔ)器111中的圖像數(shù)據(jù)后進(jìn)行各種處理。若結(jié)束了攝影處理，則系統(tǒng)控制電路108對(duì)已寫入到存儲(chǔ)器111中的圖像數(shù)據(jù)，使 用調(diào)整尺寸電路112生成用于在圖像顯示部148中顯示攝影圖像的顯示用圖像。系統(tǒng)控制 電路108同樣地用調(diào)整尺寸電路112將圖像調(diào)整尺寸成應(yīng)該輸入到臉檢測電路中的圖像尺 寸(QVGA(Quarter Video Graphics Array)等)，將臉檢測用圖像保存在存儲(chǔ)器111中。
15
系統(tǒng)控制電路108對(duì)于存儲(chǔ)器111中所保存的臉檢測用圖像數(shù)據(jù)，利用臉檢測電 路146，使用現(xiàn)有技術(shù)執(zhí)行臉檢測處理，并將處理結(jié)果保存在存儲(chǔ)器111中。此外，系統(tǒng)控制電路108通過臉朝向識(shí)別電路147，利用現(xiàn)有技術(shù)執(zhí)行臉朝向識(shí)別 處理，并將處理結(jié)果保存在存儲(chǔ)器111中。在由臉檢測電路146檢測到了臉的情況下，初始特征量提取部136參照存儲(chǔ)器111 中所保存的臉檢測和臉朝向識(shí)別處理結(jié)果進(jìn)行登記特征量的提取，向存儲(chǔ)器111中寫入登 記特征量。例如，初始特征量提取部136根據(jù)存儲(chǔ)器111中所保存的臉檢測結(jié)果和臉朝向 信息，提取臉的色直方圖作為顏色的特征量，并登記在存儲(chǔ)器111中。然后，追蹤處理部137 使用由初始特征量提取部136登記在存儲(chǔ)器111中的特征量進(jìn)行追蹤處理。在此，使用圖6對(duì)使用色直方圖的登記特征量的提取和追蹤處理進(jìn)行說明。如圖6(a)所示，假設(shè)從圖像檢測到正面臉。這時(shí)制成該區(qū)域(參考區(qū)域)的色 直方圖。具體地說，在直方圖的橫軸上，從參考區(qū)域得到的各象素的HSV(Hue Saturation Value 色飽和度值)色空間的H的值(最大360)被分配在劃分成20個(gè)的區(qū)域中。然后， 分配在各個(gè)分區(qū)中的個(gè)數(shù)成為度數(shù)。設(shè)定各象素的Hi，由Hi*18/360能夠計(jì)算進(jìn)入到了哪 個(gè)區(qū)域。然后，通過將各分區(qū)的度數(shù)除以參考區(qū)域的象素?cái)?shù)來歸一化為度數(shù)的總和等于1。 然后，如圖6(b)所示，從檢測區(qū)域開始以一定范圍擴(kuò)展后的區(qū)域301成為搜索區(qū)域，一邊改 變追蹤窗302的尺寸 位置一邊進(jìn)行搜索。追蹤處理部137 —邊搜索一邊制成追蹤窗區(qū)域 的色直方圖303。接著，根據(jù)參考區(qū)域的色直方圖與追蹤窗區(qū)域的色直方圖計(jì)算類似值。使用圖7 說明類似度的計(jì)算方法。圖7 (a)是參考圖像，從此計(jì)算出的色直方圖是401。此外，圖7 (b) 是輸入圖像，402中示出搜索窗的色直方圖。這樣，利用各個(gè)色直方圖的重疊程度來計(jì)算出 類似度即評(píng)價(jià)值。利用(數(shù)學(xué)式1)進(jìn)行類似度計(jì)算。[數(shù)學(xué)式1]
dimS Jil = ^ Min (Rif Ii)
/ = 1在此，Ri是參考區(qū)域的色直方圖中的第i個(gè)分區(qū)的度數(shù)，在此，Ii是追蹤窗區(qū)域的 色直方圖中的第i個(gè)分區(qū)的度數(shù)。在此，i取0至20的值。在本例中，使用20這個(gè)值進(jìn)行說明，但只要是1以上的 值，可以是任意值。再有，該值根據(jù)對(duì)象的復(fù)雜度而變更。在包含多個(gè)顏色的情況下，通過 增大該值，用細(xì)小的分區(qū)看差別，能夠提高精度。另一方面，對(duì)于顏色數(shù)量少的物體，通過減 小該值，以較大的分區(qū)看差別，能夠使用很少的存儲(chǔ)器進(jìn)行追蹤。再有，作為參考區(qū)域的指定方法，設(shè)為臉檢測位置，但這也可以是用戶使用觸摸屏 或指示器等進(jìn)行指定，也可以使用聲音信息等進(jìn)行指定。此外，關(guān)于根據(jù)色直方圖的匹配進(jìn) 行了說明，但也可以求取切出的圖像間的模板的差異。此外，通過作為預(yù)處理而對(duì)這些模板 進(jìn)行色直方圖修正，能夠難以受到亮度的影響。作為求取差異的方法，也可以是使最小平方 距離成為最小的方法或者利用歸一化相關(guān)的方法等，只要是一般的求距離的方法，可以采 用任意方法。此外，作為搜索方法，對(duì)簡單地掃描區(qū)域的方法進(jìn)行了敘述，但也可以是粒子 過濾器等基于概率分布的搜索方法。
下面，對(duì)與臉朝向相應(yīng)的登記特征量的提取方法進(jìn)行說明。在正面臉的情況下，通 過登記臉整體，能進(jìn)行穩(wěn)定的追蹤。但是，在臉從正面朝向了側(cè)面的情況下，在以后的幀中 有朝向后面的可能性，因此，對(duì)特征量的登記位置進(jìn)行研究。如圖8(a)所示，在側(cè)臉的情況 下，在臉檢測區(qū)域501內(nèi)包含膚色信息和發(fā)色信息兩者。在此，如圖8(b)所示，通過將臉檢 測區(qū)域內(nèi)的后頭部區(qū)域20%左右設(shè)為參考區(qū)域502，若由臉檢測處理取得發(fā)色信息，則在 對(duì)象朝向了后面的情況下，也能夠根據(jù)發(fā)色信息進(jìn)行使用顏色的追蹤。再有，通過按照容易 朝向正面的情況和容易朝向后面的情況等來變更該比例，就能夠使追蹤穩(wěn)定。再有，在本例中，以頭發(fā)進(jìn)行了說明，但在穿戴有帽子和衣服等顏色變動(dòng)少的衣物 的情況下，本方法也有效地起作用。此外，在檢測到臉并且與追蹤結(jié)果具有一定距離的情況下，更新區(qū)域探測電路139 設(shè)置進(jìn)行更新判斷的標(biāo)志，并寫入到存儲(chǔ)器111中。然后，利用位置修正電路142修正臉檢 測位置。根據(jù)該臉檢測位置提取登記特征量，利用登記特征量更新電路143更新登記特征 量并寫入到存儲(chǔ)器111中。登記特征量的提取與上述方法同樣地進(jìn)行。通過這樣地按照朝向來變更登記特征量的提取區(qū)域，即使在從側(cè)臉朝向了后面的 情況下，也能夠通過使用頭發(fā)或帽子來按照朝向的變化登記適當(dāng)?shù)念伾卣?，因此，即使?對(duì)象朝向了后面的情況下，也能進(jìn)行穩(wěn)定的追蹤。此外，即使在追蹤處理失敗了的情況下， 通過在位置修正電路142中根據(jù)臉檢測結(jié)果來修正位置，并更新存儲(chǔ)器111的追蹤結(jié)果，也 能進(jìn)行穩(wěn)定的臉的追蹤。此外，臉檢測存在僅檢測臉內(nèi)部的情況。于是，通過使檢測結(jié)果坐標(biāo)成為常數(shù)倍以 包含頭部，就能進(jìn)行穩(wěn)定的追蹤。此外，在保持有朝向了后面的信息，而從朝后恢復(fù)到朝前時(shí)，通過變更特征量的提 取區(qū)域，就能進(jìn)行更穩(wěn)定的追蹤。以下具體地說明。在朝向了后面時(shí)接著又朝向了側(cè)面的 情況下，朝向正面的可能性較高。于是，通過不是將參考區(qū)域502，而是將臉檢測區(qū)域501的 臉側(cè)區(qū)域作為特征量提取區(qū)域，即使接著出現(xiàn)了臉時(shí)也能夠?qū)?yīng)。從而，能夠在從朝后轉(zhuǎn)變 為側(cè)面、正面時(shí)利用膚色信息，因此，從后面向正面的恢復(fù)穩(wěn)定。由于在朝向了后面的情況下也能夠進(jìn)行追蹤，因此，即使在朝后狀態(tài)的情況下，也 當(dāng)然能夠通過追蹤結(jié)果描繪電路進(jìn)行追蹤框的顯示或使追蹤結(jié)果位置模糊化等的UI (User Interface 用戶界面)控制，而且通過進(jìn)行AE -AF等的控制或用攝像機(jī)控制電路145進(jìn)行 攝像機(jī)的控制，能進(jìn)行自動(dòng)成幀·自動(dòng)攝影。在由程序執(zhí)行了以上的處理的情況下，成為圖9所示的步驟。攝影輸入圖像，對(duì)攝 影到的輸入數(shù)據(jù)(S601)進(jìn)行臉檢測處理(S602)。再有，臉檢測使用現(xiàn)有的方法。接著，對(duì) 臉檢測出的結(jié)果進(jìn)行臉朝向識(shí)別處理(S603)。該臉朝向識(shí)別也使用現(xiàn)有的方法。然后，從 臉檢測位置中提取顏色的初始登記特征(S604)。另外，在下一幀中，使用顏色特征進(jìn)行確定 目標(biāo)區(qū)域的追蹤處理(S605)，之后進(jìn)行臉檢測處理(S606)。如果完成臉檢測(S607)，則根 據(jù)臉朝向識(shí)別結(jié)果，將作為追蹤結(jié)果的目標(biāo)區(qū)域置換成臉檢測位置。在沒完成臉檢測的情 況下，使用顏色的特征量進(jìn)行追蹤處理，計(jì)算出與顏色的特征量有關(guān)的追蹤評(píng)價(jià)值。若追蹤 結(jié)果的評(píng)價(jià)值也是閾值以下，則結(jié)束追蹤處理(S611)。此外，若根據(jù)顏色特征量的追蹤結(jié)果 的評(píng)價(jià)值高于閾值，就從目標(biāo)區(qū)域內(nèi)的初始位置中提取使用色直方圖表示的顏色特征，在更新了初始登記特征量之后(S612)，將控制轉(zhuǎn)移向跟蹤框的顯示和攝像機(jī)控制(S609)。然 后，在完成臉檢測的情況下，根據(jù)臉朝向檢測的結(jié)果，選擇更新初始登記特征量的地方并更 新初始登記特征量(S608)。然后進(jìn)行更新后的追蹤結(jié)果位置即目標(biāo)區(qū)域的LCD顯示和攝像 機(jī)控制。在(S609)之后，返回到追蹤處理(S605)反復(fù)進(jìn)行處理。(實(shí)施方式2)在實(shí)施方式2中，敘述利用了象圓形狀信息這樣地在旋轉(zhuǎn)中不變的信息和顏色信 息的追蹤、頭部(不僅朝向正面的臉，也包含看不見臉的朝后的情況)的追蹤都能進(jìn)行的電 子攝像機(jī)。即，在實(shí)施方式2中，取代臉檢測信息而使用圓形狀的信息來決定用于更新顏色 特征的更新區(qū)域的位置。實(shí)施方式2的結(jié)構(gòu)與圖4的結(jié)構(gòu)相同，因此，對(duì)動(dòng)作相同的結(jié)構(gòu)要素省略說明。在實(shí)施方式2中，追蹤處理也與實(shí)施方式1同樣地使用色直方圖匹配來計(jì)算類似 度即評(píng)價(jià)值并進(jìn)行追蹤。在實(shí)施方式2中也使用與實(shí)施方式1同樣的方法，利用臉檢測信息和來自用戶的 指示(觸摸屏和指示器等)決定對(duì)象物的初始位置，登記初始特征量。頭部的樣子不變的信息之一是“頭部是圓”。于是，在本實(shí)施方式2中示出由更新 區(qū)域探測電路139利用形狀信息進(jìn)行更新區(qū)域的探測的例子。除此以外，只要是對(duì)于物體 的樣子不變的特征，可以使用任意特征。關(guān)于頭部圓形狀的檢測方法進(jìn)行敘述。在存儲(chǔ)器111中所保存的追蹤結(jié)果的附近 進(jìn)行邊緣檢測。邊緣檢測使用索貝爾算子(Sobel operator)等?；蛘?，有根據(jù)幀間差分利 用差分點(diǎn)的方法。對(duì)于在此得到的點(diǎn)群(特征點(diǎn)群)實(shí)施霍夫變換，求出圓的半徑和中心。 圓的半徑和中心的求法例如可以利用文獻(xiàn)"HeadFinder 7 > — A間差分& ^一 ^ tc L· t 人物追跡、馬場6”(非專利文獻(xiàn)1)中記載的方法來求得。關(guān)于上述文獻(xiàn)中描述的方法簡 單地說明?？梢允褂?數(shù)學(xué)式2)，利用中心坐標(biāo)a、b和半徑r的常量來決定圓。[數(shù)學(xué)式2](x-a)2+(y-b)2 = r2將它適用于霍夫變換，求得的未知數(shù)為3個(gè)，因此表決空間(voting space)成為 三維的。由于該計(jì)算量龐大，因此實(shí)時(shí)動(dòng)作困難。于是，將尺寸限定在某個(gè)一定的半徑r的 范圍內(nèi)。之后，通過使用具有寬度的多個(gè)半徑內(nèi)所包含的特征點(diǎn)群進(jìn)行表決，來求出半徑參 數(shù)a、b。從而推定頭部的圓形狀。這時(shí)，在圓上包含有幾個(gè)特征點(diǎn)群就成為表示圓形狀的 擬合程度的評(píng)價(jià)值。將該圓形狀的位置、半徑信息和評(píng)價(jià)值寫入到存儲(chǔ)器111中。在此，著眼點(diǎn)在于，頭部評(píng)價(jià)值較低，但相對(duì)于朝向變化能夠穩(wěn)定地檢測，而顏色 信息若朝向改變則評(píng)價(jià)值降低。以下敘述在由于樣子變化而評(píng)價(jià)值通過顏色信息降低的情 況下，使用頭部圓形狀的檢測位置進(jìn)行位置修正，通過修正登記特征量，相對(duì)于樣子的變化 變得穩(wěn)定的追蹤方法。更新判斷電路140從存儲(chǔ)器111中讀入基于顏色的追蹤結(jié)果的評(píng)價(jià)值和更新區(qū)域 探測結(jié)果的評(píng)價(jià)值，在追蹤結(jié)果的評(píng)價(jià)值降低并低于閾值thl時(shí)，進(jìn)行更新的判斷，在存儲(chǔ) 器111中寫入判斷結(jié)果。圖10中示出這時(shí)的評(píng)價(jià)值與時(shí)間軸的關(guān)系。圖10(a)在更新區(qū)域探測結(jié)果的評(píng)價(jià)值超過了追蹤結(jié)果的評(píng)價(jià)值時(shí)進(jìn)行更新。在圖10(a)、(b)和(C)中，實(shí)線表示追蹤結(jié)果的評(píng)價(jià)值，虛線表示更新區(qū)域探測結(jié)果的評(píng)價(jià)值。[數(shù)學(xué)式3]追蹤結(jié)果評(píng)價(jià)值< 更新區(qū)域探測結(jié)果評(píng)價(jià)值該情況下，在是因?yàn)閷?duì)象物體的樣子變化且評(píng)價(jià)值降低而產(chǎn)生的現(xiàn)象并且引起追 蹤失敗時(shí)，能夠進(jìn)行更新從而恢復(fù)。圖10(b)是更新區(qū)域探測結(jié)果的評(píng)價(jià)值變得大于閾值thl的情況下進(jìn)行更新的 圖。[數(shù)學(xué)式4]thl <更新區(qū)域探測結(jié)果評(píng)價(jià)值該情況是保證了更新區(qū)域探測結(jié)果中的穩(wěn)定性時(shí)。該情況下，在更新區(qū)域探測結(jié) 果的位置修正追蹤結(jié)果的位置。從而，在能夠使用更新區(qū)域探測結(jié)果充分地進(jìn)行追蹤的情 況下，利用圖10(b)的方式，能夠在不是這樣的物體中順利地選擇出是哪個(gè)，因此能構(gòu)筑穩(wěn) 定的系統(tǒng)。另外，關(guān)于更新的定時(shí)進(jìn)行說明。顏色評(píng)價(jià)值的變化根據(jù)登記的顏色或?qū)ο笪锏?顏色的復(fù)雜度而不同。例如，在平均彩度高的情況下，根據(jù)顏色的追蹤的評(píng)價(jià)值就高，評(píng)價(jià) 值具有與樣子變化一起慢慢降低的趨勢。因此，在平均彩度高的物體中，能降低圓形檢測的頻率，從而關(guān)系到整體處理量的 削減。此外，在平均彩度低的情況下，利用色直方圖的追蹤困難，具有評(píng)價(jià)值急劇降低的趨 勢。因此，在平均彩度低的情況下，通過頻繁地進(jìn)行圓檢測，就能進(jìn)行穩(wěn)定的追蹤。再有，在 平均彩度低的情況下，也可以將由圓檢測所確定的更新區(qū)域設(shè)定為目標(biāo)區(qū)域。此外，在上述中，關(guān)于根據(jù)評(píng)價(jià)值的關(guān)系進(jìn)行更新的方法進(jìn)行了敘述，但也有使用 基于顏色的追蹤結(jié)果位置即目標(biāo)區(qū)域與圓檢測的結(jié)果位置即更新區(qū)域之間的距離關(guān)系進(jìn) 行更新的方法。例如，在假設(shè)檢測到的圓半徑的2倍范圍內(nèi)為容許范圍時(shí)，通過在顏色的追 蹤結(jié)果位置(追蹤框的重心)離開了該范圍時(shí)對(duì)圓檢測的位置進(jìn)行更新，能進(jìn)行穩(wěn)定的追 蹤。再有，不限于圓的倍數(shù)，也可以使用歐幾里德距離等任意的距離。這是因?yàn)?，該情況下， 即使設(shè)基于顏色特征的追蹤的評(píng)價(jià)值和基于圓檢測的評(píng)價(jià)值都高，基于顏色特征的追蹤不 是對(duì)象物而是誤追蹤的可能性也高。位置修正電路142將追蹤結(jié)果的目標(biāo)區(qū)域的坐標(biāo)和尺寸置換成更新區(qū)域探測結(jié) 果的坐標(biāo)和尺寸，保存在存儲(chǔ)器111中。這時(shí)，由于更新區(qū)域探測結(jié)果保存有圓的中心和半 徑，因此，將從中心減去半徑的值作為左上坐標(biāo)，將半徑的2倍作為矩形框的高度，以得到 矩形框的左上坐標(biāo)、高度和寬度。此外，如圖10(c)所示，在追蹤結(jié)束判斷電路141中，在追蹤結(jié)果的評(píng)價(jià)值和更新 區(qū)域探測結(jié)果的評(píng)價(jià)值低于閾值th2時(shí)，將結(jié)束追蹤的判斷結(jié)果保存在存儲(chǔ)器111中。之后，實(shí)施臉檢測，由初始特征量提取部136進(jìn)行自動(dòng)恢復(fù)，或者向用戶通知追蹤 處理已結(jié)束，并再次指定追蹤物體位置，通過使用這樣的方法，就能進(jìn)行再追蹤。根據(jù)以上敘述，即使在朝向了后面的情況下也能夠追蹤，即使在這樣的狀態(tài)下，也 當(dāng)然能夠通過追蹤結(jié)果描繪電路進(jìn)行追蹤框的顯示或使追蹤結(jié)果位置模糊化等的UI控 制，而且通過進(jìn)行AE · AF等的控制或用攝像機(jī)控制電路145進(jìn)行攝像機(jī)的控制，能進(jìn)行自動(dòng)成幀·自動(dòng)攝影。在用程序執(zhí)行了以上的處理的情況下，成為如圖11所示的步驟。對(duì)攝影到的輸入 數(shù)據(jù)(S801)進(jìn)行臉檢測(S802)。對(duì)臉檢測出的結(jié)果提取初始登記特征(S803)。在下一幀 中，使用在步驟S803中登記的顏色特征進(jìn)行追蹤處理(S804)，確定目標(biāo)區(qū)域。之后，使用作 為形狀特征的圓進(jìn)行圓檢測，進(jìn)行更新區(qū)域的確定(S805)。根據(jù)基于顏色特征的追蹤處理的評(píng)價(jià)值和使用了作為形狀特征的圓的圓檢測的 評(píng)價(jià)值，判斷是否結(jié)束追蹤處理(S806)。在步驟806中，在基于顏色特征量的追蹤處理的評(píng) 價(jià)值和基于圓檢測的評(píng)價(jià)值都低于閾值th2時(shí)，判斷為結(jié)束追蹤。在判斷為結(jié)束追蹤處理 的情況下，結(jié)束追蹤處理，結(jié)束追蹤框的顯示，或者利用警報(bào)等向用戶提示處理結(jié)束。之后， 也可以在顯示器中記載催促用戶再次進(jìn)行初始位置設(shè)定的顯示，或通過臉檢測進(jìn)行初始位 置設(shè)定，并進(jìn)行自動(dòng)恢復(fù)(S810)。在不結(jié)束的情況下，如圖10(b)所示，使用閾值thl，即， 而在基于圓檢測的評(píng)價(jià)值超過了閾值thl時(shí)，更新顏色特征，而與基于顏色特征的追蹤處 理的評(píng)價(jià)值無關(guān)，或者，如圖10(a)所示，在基于圓檢測的更新區(qū)域探測結(jié)果的評(píng)價(jià)值超過 了使用了顏色特征的追蹤特征的評(píng)價(jià)值時(shí)，判斷為進(jìn)行顏色特征的特征量的更新(S807)。 在判斷為進(jìn)行特征量的更新的情況下，使用更新區(qū)域探測結(jié)果的位置 特征量，對(duì)跟蹤結(jié)果 的位置·特征量進(jìn)行更新(S808)。然后，進(jìn)行更新后的追蹤結(jié)果位置的LCD顯示和攝像機(jī) 控制(S809)。之后，返回到步驟S804的追蹤處理，反復(fù)進(jìn)行步驟S804 S810的處理。關(guān)于該追蹤處理方法和類似度計(jì)算方法，不限于色直方圖匹配方法，可以是基于 最小平方距離的方法或者基于歸一化相關(guān)的方法等。此外，作為搜索方法，也可以不是簡單 的掃描，而是基于粒子過濾器的方法等。此外，在本實(shí)施方式中，將顏色特征作為跟蹤特征，將形狀特征作為更新區(qū)域探測 特征，但在如非剛體且顏色變化少的物體這樣的對(duì)顏色的變化穩(wěn)定而形狀不穩(wěn)定的情況 下，也可以將顏色特征作為更新區(qū)域探測結(jié)果特征，將形狀特征作為跟蹤特征。再有，在本 實(shí)施方式中，利用了臉檢測位置作為初始位置，但也可以利用AF的位置作為初始位置。再有，將方框圖(圖4等)的各功能塊典型地實(shí)現(xiàn)為作為集成電路的LSI。也可以 將它們個(gè)別地單芯片化，也可以包含其中一部分或全部地單芯片化。例如，也可以將存儲(chǔ)器 以外的功能塊單芯片化。 在此，設(shè)定為LSI，但有時(shí)也根據(jù)集成度的不同而稱作IC、系統(tǒng)LSI、超大LSI、超級(jí) LSI。此外，電路集成化的方法不限于LSI，也可以用專用電路或通用處理器來實(shí)現(xiàn)。也 可以利用在制造LSI后可編程的FPGA (Field Programmable Gate Array 現(xiàn)場可編程門陣 列)和可重構(gòu)LSI內(nèi)部的電路單元的連接或設(shè)定的可重構(gòu)處理器。另外，若出現(xiàn)了利用半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)替換LSI的集成電路化 技術(shù)，當(dāng)然也可以使用該技術(shù)進(jìn)行功能塊的集成化。也可能適用生物技術(shù)等。此外，也可以不使各功能塊中的、保存成為編碼或解碼的對(duì)象的數(shù)據(jù)的單元單芯 片化，而是成為另外的結(jié)構(gòu)。工業(yè)上的可利用性本發(fā)明涉及的電子攝像機(jī)和圖像處理方法具有物體的樣子變化的對(duì)象的追蹤功 能，在利用追蹤功能實(shí)現(xiàn)的最佳拍照攝影功能和AE · AF等攝像機(jī)控制、圖像的成幀中十分有用。此外，在追蹤攝影人物等對(duì)象物的監(jiān)視攝像機(jī)中十分有用。
權(quán)利要求
一種電子攝像機(jī)，具有在連續(xù)攝影的圖像的各幀內(nèi)確定成為跟蹤對(duì)象的對(duì)象物所映入的對(duì)象區(qū)域并進(jìn)行顯示的功能，具有追蹤處理部，使用定量地表示上述對(duì)象物的特征的預(yù)先登記的第一特征量，在幀內(nèi)的預(yù)先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū)域內(nèi)的圖像，計(jì)算表示與上述對(duì)象物的圖像之間的一致度的第一評(píng)價(jià)值，根據(jù)計(jì)算出的上述第一評(píng)價(jià)值，確定被推定為存在上述對(duì)象物的圖像的目標(biāo)區(qū)域；更新區(qū)域計(jì)算部，使用與上述第一特征量不同的、定量地表示上述對(duì)象物的特征的第二特征量，在上述幀內(nèi)的預(yù)先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū)域內(nèi)的圖像，計(jì)算表示與上述對(duì)象物的圖像之間的一致度的第二評(píng)價(jià)值，根據(jù)計(jì)算出的上述第二評(píng)價(jià)值，在上述幀內(nèi)確定用于更新上述第一特征量的更新區(qū)域；更新判斷部，通過調(diào)查在上述追蹤處理部中計(jì)算出的上述第一評(píng)價(jià)值和在上述更新區(qū)域計(jì)算部中計(jì)算出的上述第二評(píng)價(jià)值中的至少一個(gè)是否滿足預(yù)先設(shè)定的條件，來判斷是否更新上述第一特征量；登記特征量更新部，在由上述更新判斷部判斷為更新上述第一特征量的情況下，用在上述更新區(qū)域內(nèi)提取的新的第一特征量更新上述第一特征量；以及追蹤結(jié)果描繪部，在由上述更新判斷部判斷為不更新上述第一特征量的情況下，將在上述追蹤處理部中確定的上述目標(biāo)區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述目標(biāo)區(qū)域的信息，在由上述更新判斷部判斷為更新上述第一特征量的情況下，將在上述更新區(qū)域計(jì)算部中確定的上述更新區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述更新區(qū)域的信息，上述追蹤處理部在預(yù)先登記的上述第一特征量被更新的情況下，使用更新后的第一特征量確定新的幀內(nèi)的新目標(biāo)區(qū)域。
2.根據(jù)權(quán)利要求1所述的電子攝像機(jī)，上述追蹤處理部使用對(duì)象物的顏色信息作為上述第一特征量，來確定被推定為存在上 述對(duì)象物的圖像的目標(biāo)區(qū)域，上述更新區(qū)域計(jì)算部使用對(duì)象物的形狀信息作為上述第二特征量，來確定上述更新區(qū)域。
3.根據(jù)權(quán)利要求1所述的電子攝像機(jī)，上述更新判斷部在上述更新區(qū)域計(jì)算部中計(jì)算出的上述第二評(píng)價(jià)值大于在上述追蹤 處理部中計(jì)算出的上述第一評(píng)價(jià)值時(shí)，或者，在上述更新區(qū)域計(jì)算部中計(jì)算出的上述第二 評(píng)價(jià)值大于預(yù)先設(shè)定的第一閾值時(shí)，判斷為更新上述第一特征量。
4.根據(jù)權(quán)利要求3所述的電子攝像機(jī)，上述對(duì)象物的圖像的每個(gè)象素的平均彩度越高，上述更新判斷部對(duì)上述第一閾值設(shè)定 越大的值，上述對(duì)象的平均彩度越低，上述更新判斷部對(duì)上述第一閾值設(shè)定越小的值。
5.根據(jù)權(quán)利要求1所述的電子攝像機(jī)，上述更新判斷部還在上述追蹤處理部中確定的上述目標(biāo)區(qū)域與在上述更新區(qū)域計(jì)算 部中確定的上述更新區(qū)域之間的距離成為預(yù)先設(shè)定的第二閾值以上時(shí)，判斷為進(jìn)行更新。
6.根據(jù)權(quán)利要求1所述的電子攝像機(jī)，上述電子攝像機(jī)還具有判斷是否不能繼續(xù)上述對(duì)象物的追蹤的結(jié)束判斷部， 上述結(jié)束判斷部在上述第一評(píng)價(jià)值和上述第二評(píng)價(jià)值雙方都小于預(yù)先設(shè)定的第三閾值時(shí)，判斷為不能繼續(xù)上述對(duì)象的追蹤。
7.根據(jù)權(quán)利要求6所述的電子攝像機(jī)，上述追蹤結(jié)果描繪部在判斷為不能繼續(xù)上述對(duì)象的追蹤時(shí)，結(jié)束目標(biāo)區(qū)域和更新區(qū)域 的描繪。
8.根據(jù)權(quán)利要求6所述的電子攝像機(jī)，上述追蹤結(jié)果描繪部在判斷為不能繼續(xù)上述對(duì)象的追蹤時(shí)，描繪對(duì)用戶提示不能追蹤 的圖像。
9.根據(jù)權(quán)利要求6所述的電子攝像機(jī)，上述追蹤結(jié)果描繪部在判斷為不能繼續(xù)上述對(duì)象的追蹤時(shí)，描繪對(duì)用戶催促再次設(shè)定 初始位置的圖像。
10.根據(jù)權(quán)利要求6所述的電子攝像機(jī)，上述追蹤結(jié)果描繪部在判斷為不能繼續(xù)上述對(duì)象的追蹤時(shí)，通過新的臉檢測進(jìn)行初始 位置設(shè)定。
11.根據(jù)權(quán)利要求1所述的電子攝像機(jī)，上述電子攝像機(jī)還具有臉檢測電路，在各幀內(nèi)的圖像內(nèi)檢測臉；以及臉朝向識(shí)別電路，識(shí)別由上述臉檢測電路檢測到的臉的朝向，在由上述臉朝向識(shí)別電路識(shí)別為作為上述對(duì)象物的臉朝向側(cè)面時(shí)，在上述更新區(qū)域計(jì) 算部中計(jì)算出作為朝向正側(cè)面的臉的區(qū)域的更新基準(zhǔn)區(qū)域之后，上述更新區(qū)域計(jì)算部根據(jù) 臉部分與頭發(fā)部分的預(yù)先指定的位置關(guān)系，計(jì)算上述更新基準(zhǔn)區(qū)域內(nèi)的上述更新區(qū)域。
12.根據(jù)權(quán)利要求1所述的電子攝像機(jī)，上述電子攝像機(jī)還具有攝像機(jī)控制部，該攝像機(jī)控制部根據(jù)在上述追蹤處理部中確定 的目標(biāo)區(qū)域和在上述更新區(qū)域計(jì)算部中確定的上述更新區(qū)域中的某個(gè)，變更用于調(diào)整上述 電子攝像機(jī)的動(dòng)作的攝像機(jī)參數(shù)。
13.根據(jù)權(quán)利要求12所述的電子攝像機(jī)，上述攝像機(jī)控制部根據(jù)上述攝像機(jī)參數(shù)控制上述電子攝像機(jī)的殼體和云臺(tái)的至少一 方的動(dòng)作，進(jìn)行控制，使被確定的上述對(duì)象物的全體或一部分配合幀內(nèi)的規(guī)定位置和尺寸。
14.根據(jù)權(quán)利要求1所述的電子攝像機(jī)，上述電子攝像機(jī)還具有目標(biāo)區(qū)域初始設(shè)定部，該目標(biāo)區(qū)域初始設(shè)定部根據(jù)來自用戶的 輸入，或者使用預(yù)先設(shè)定的方法來決定上述目標(biāo)區(qū)域的初始位置。
15.根據(jù)權(quán)利要求14所述的電子攝像機(jī)，上述目標(biāo)區(qū)域初始設(shè)定部將人物或臉的某一方的檢測位置決定為初始位置。
16.根據(jù)權(quán)利要求14所述的電子攝像機(jī)，上述目標(biāo)區(qū)域初始設(shè)定部將由AF自動(dòng)對(duì)焦功能合焦的地方?jīng)Q定為初始位置。
17.一種電子攝像機(jī)中的圖像處理方法，該電子攝像機(jī)具有在連續(xù)攝影的圖像的各幀 內(nèi)確定成為跟蹤對(duì)象的對(duì)象物所映入的對(duì)象區(qū)域并進(jìn)行顯示的功能，上述圖像處理方法包 括追蹤處理部使用定量地表示上述對(duì)象物的特征的預(yù)先登記的第一特征量，在幀內(nèi)的預(yù) 先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū)域內(nèi)的圖像，計(jì)算表示與上述對(duì)象物的圖像之間的一致度的第一評(píng)價(jià)值，根據(jù)計(jì)算出的上述第一評(píng)價(jià)值，確定被推定為 存在上述對(duì)象物的圖像的目標(biāo)區(qū)域，更新區(qū)域計(jì)算部使用與上述第一特征量不同的、定量地表示上述對(duì)象物的特征的第二 特征量，在上述幀內(nèi)的預(yù)先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū)域內(nèi) 的圖像，計(jì)算表示與上述對(duì)象物的圖像之間的一致度的第二評(píng)價(jià)值，根據(jù)計(jì)算出的上述第 二評(píng)價(jià)值，在上述幀內(nèi)確定用于更新上述第一特征量的更新區(qū)域，更新判斷部通過調(diào)查在上述追蹤處理部中計(jì)算出的上述第一評(píng)價(jià)值和在上述更新區(qū) 域計(jì)算部中計(jì)算出的上述第二評(píng)價(jià)值中的至少一個(gè)是否滿足預(yù)先設(shè)定的條件，來判斷是否 更新上述第一特征量，登記特征量更新部在由上述更新判斷部判斷為更新上述第一特征量的情況下，用在上 述更新區(qū)域內(nèi)提取的新的第一特征量更新上述第一特征量，追蹤結(jié)果描繪部在由上述更新判斷部判斷為不更新上述第一特征量的情況下，將在上 述追蹤處理部中確定的上述目標(biāo)區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述目標(biāo)區(qū)域的信 息，在由上述更新判斷部判斷為更新上述第一特征量的情況下，將在上述更新區(qū)域計(jì)算部 中確定的上述更新區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述更新區(qū)域的信息，上述追蹤處理部在預(yù)先登記的上述第一特征量被更新的情況下，使用更新后的第一特 征量確定新的幀內(nèi)的新目標(biāo)區(qū)域。
18.一種集成電路，具有在連續(xù)攝影的圖像的各幀內(nèi)確定成為跟蹤對(duì)象的對(duì)象物所映 入的對(duì)象區(qū)域并進(jìn)行顯示的功能，具有追蹤處理部，使用定量地表示上述對(duì)象物的特征的預(yù)先登記的第一特征量，在幀內(nèi)的 預(yù)先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū)域內(nèi)的圖像，計(jì)算表示與上 述對(duì)象物的圖像之間的一致度的第一評(píng)價(jià)值，根據(jù)計(jì)算出的上述第一評(píng)價(jià)值，確定被推定 為存在上述對(duì)象物的圖像的目標(biāo)區(qū)域；更新區(qū)域計(jì)算部，使用與上述第一特征量不同的、定量地表示上述對(duì)象物的特征的第 二特征量，在上述幀內(nèi)的預(yù)先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū)域 內(nèi)的圖像，計(jì)算表示與上述對(duì)象物的圖像之間的一致度的第二評(píng)價(jià)值，根據(jù)計(jì)算出的上述 第二評(píng)價(jià)值，在上述幀內(nèi)確定用于更新上述第一特征量的更新區(qū)域；更新判斷部，通過調(diào)查在上述追蹤處理部中計(jì)算出的上述第一評(píng)價(jià)值和在上述更新區(qū) 域計(jì)算部中計(jì)算出的上述第二評(píng)價(jià)值中的至少一個(gè)是否滿足預(yù)先設(shè)定的條件，來判斷是否 更新上述第一特征量；登記特征量更新部，在由上述更新判斷部判斷為更新上述第一特征量的情況下，用在 上述更新區(qū)域內(nèi)提取的新的第一特征量更新上述第一特征量；以及追蹤結(jié)果描繪部，在由上述更新判斷部判斷為不更新上述第一特征量的情況下，將在 上述追蹤處理部中確定的上述目標(biāo)區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述目標(biāo)區(qū)域的 信息，在由上述更新判斷部判斷為更新上述第一特征量的情況下，將在上述更新區(qū)域計(jì)算 部中確定的上述更新區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述更新區(qū)域的信息，上述追蹤處理部在預(yù)先登記的上述第一特征量被更新的情況下，使用更新后的第一特 征量確定新的幀內(nèi)的新目標(biāo)區(qū)域。
19.一種計(jì)算機(jī)可讀記錄介質(zhì)，記錄有圖像處理程序，該圖像處理程序具有在連續(xù)攝影的圖像的各幀內(nèi)確定成為跟蹤對(duì)象的對(duì)象物所映入的對(duì)象區(qū)域并進(jìn)行顯示的功能，上述計(jì) 算機(jī)可讀記錄介質(zhì)記錄有下述程序追蹤處理部使用定量地表示上述對(duì)象物的特征的預(yù)先登記的第一特征量，在幀內(nèi)的預(yù) 先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū)域內(nèi)的圖像，計(jì)算表示與上述 對(duì)象物的圖像之間的一致度的第一評(píng)價(jià)值，根據(jù)計(jì)算出的上述第一評(píng)價(jià)值，確定被推定為 存在上述對(duì)象物的圖像的目標(biāo)區(qū)域；更新區(qū)域計(jì)算部使用與上述第一特征量不同的、定量地表示上述對(duì)象物的特征的第二 特征量，在上述幀內(nèi)的預(yù)先設(shè)定的范圍內(nèi)進(jìn)行搜索，對(duì)作為上述搜索結(jié)果所得到的區(qū)域內(nèi) 的圖像，計(jì)算表示與上述對(duì)象物的圖像之間的一致度的第二評(píng)價(jià)值，根據(jù)計(jì)算出的上述第 二評(píng)價(jià)值，在上述幀內(nèi)確定用于更新上述第一特征量的更新區(qū)域；更新判斷部通過調(diào)查在上述追蹤處理部中計(jì)算出的上述第一評(píng)價(jià)值和在上述更新區(qū) 域計(jì)算部中計(jì)算出的上述第二評(píng)價(jià)值中的至少一個(gè)是否滿足預(yù)先設(shè)定的條件，來判斷是否 更新上述第一特征量；登記特征量更新部在由上述更新判斷部判斷為更新上述第一特征量的情況下，用在上 述更新區(qū)域內(nèi)提取的新的第一特征量更新上述第一特征量；追蹤結(jié)果描繪部在由上述更新判斷部判斷為不更新上述第一特征量的情況下，將在上 述追蹤處理部中確定的上述目標(biāo)區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述目標(biāo)區(qū)域的信 息，在由上述更新判斷部判斷為更新上述第一特征量的情況下，將在上述更新區(qū)域計(jì)算部 中確定的上述更新區(qū)域確定為上述對(duì)象區(qū)域，并描繪有關(guān)上述更新區(qū)域的信息；上述追蹤處理部在預(yù)先登記的上述第一特征量被更新的情況下，使用更新后的第一特 征量確定新的幀內(nèi)的新目標(biāo)區(qū)域。
全文摘要
本發(fā)明提供一種即使物體的樣子變化的情況下也能夠進(jìn)行精度高的追蹤處理的電子攝像機(jī)和圖像處理方法。具有追蹤處理部(137)，使用追蹤對(duì)象物的顏色特征量搜索幀內(nèi)，對(duì)搜索結(jié)果的圖像計(jì)算表示與對(duì)象物之間的一致度的第一評(píng)價(jià)值，根據(jù)第一評(píng)價(jià)值，確定被推定為存在對(duì)象物的圖像的目標(biāo)區(qū)域；更新區(qū)域探測電路(139)，使用追蹤對(duì)象物的形狀特征量搜索幀內(nèi)，對(duì)搜索結(jié)果的圖像計(jì)算表示與對(duì)象物的圖像之間的一致度的第二評(píng)價(jià)值，根據(jù)第二評(píng)價(jià)值，確定用于更新第一特征量的更新區(qū)域；更新判斷電路(140)，根據(jù)第一評(píng)價(jià)值或第二評(píng)價(jià)值是否滿足規(guī)定條件，判斷是否更新第一特征量；以及追蹤結(jié)果描繪電路(144)，在判斷為不更新的情況下，描繪目標(biāo)區(qū)域的外框，在判斷為進(jìn)行更新的情況下，描繪更新區(qū)域的外框。
文檔編號(hào)G03B15/00GK101939980SQ200980104490
公開日2011年1月5日 申請日期2009年2月6日 優(yōu)先權(quán)日2008年2月6日
發(fā)明者今川和幸, 小倉康伸, 物部祐亮, 石井育規(guī) 申請人:松下電器產(chǎn)業(yè)株式會(huì)社