專利名稱：圖像處理設(shè)備、圖像處理方法、程序以及電子器件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法、程序以及電子器件。更特別地，例如，本 發(fā)明涉及當(dāng)從拍攝圖像中檢測對象時，適合使用的圖像處理設(shè)備、圖像處理方法、程序以及 電子器件。
背景技術(shù)：
一段時間以來，例如，存在從捕獲一個或多個人臉的拍攝圖像中檢測臉部的檢測 設(shè)備(例如，見日本未審查的專利申請公布第2005-157679和2005-284487號)。在這樣的 檢測設(shè)備中，例如，以多個比例(即，放大系數(shù))縮小或放大拍攝圖像。然后，從得到的多個 縮放圖像中的每個圖像中剪裁預(yù)定尺寸的窗口圖像。隨后，檢測設(shè)備確定在剪裁窗口圖像中是否顯示了臉部。如果確定在特定窗口圖 像中顯示了臉部，那么把在該窗口圖像中顯示的臉部檢測作為在拍攝圖像中存在的臉部。

發(fā)明內(nèi)容
同時，在現(xiàn)有技術(shù)的檢測設(shè)備中，縮放圖像的整個圖像區(qū)域被設(shè)置作為將用于臉 部檢測的檢測區(qū)域，并且隨后從這些檢測區(qū)域中剪裁窗口圖像。為此，從拍攝圖像中檢測一 個或多個臉部占用了大量時間。根據(jù)這樣的情況而設(shè)計的本發(fā)明的實施例使得實現(xiàn)了從拍攝圖像中對諸如人臉 的特征的更快檢測。根據(jù)本發(fā)明的第一實施例的圖像處理設(shè)備被配置成從通過成像獲取的拍攝圖像 中檢測被設(shè)置作為檢測目標(biāo)的一個或多個對象。該圖像處理設(shè)備包括生成裝置，其用于生 成用來檢測一個或多個對象的圖像金字塔，其中，通過使用比例來縮小或放大拍攝圖像以 生成圖像金字塔，該比例是根據(jù)從進(jìn)行成像的成像單元到要檢測的一個或多個對象的距離 來預(yù)先設(shè)置的；確定裝置，其用于從圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢測一個 或多個對象的一個或多個檢測區(qū)域；以及對象檢測裝置，其用于從一個或多個檢測區(qū)域中 檢測一個或多個對象?？商孢x地，以上圖像處理設(shè)備可被實現(xiàn)為使得計算機起圖像處理設(shè) 備和它所包括的部件作用的程序。圖像處理設(shè)備還可配備有估計裝置，其用于估計成像單元的方位。在這種情況下， 確定裝置可基于所估計的成像單元的方位，確定一個或多個檢測區(qū)域。圖像處理設(shè)備還可配備有獲取裝置，其用于基于對象檢測結(jié)果，獲取關(guān)于一個或 多個對象的詳細(xì)信息。在估計出成像單元的方位被固定在特定方向上的情況下，確定裝置 可基于所獲取的詳細(xì)信息，確定一個或多個檢測區(qū)域。由獲取裝置獲取的詳細(xì)信息可至少包括表示拍攝圖像中一個或多個對象的位置 的位置信息?；谶@樣的位置信息，確定裝置可確定一個或多個檢測區(qū)域是拍攝圖像中的、 其中存在對象的概率等于或大于預(yù)定門限值的區(qū)域。圖像處理設(shè)備還可配備有運動體檢測裝置，其用于檢測表示拍攝圖像中運動體的運動體區(qū)域。在這種情況下，確定裝置可確定一個或多個檢測區(qū)域是所檢測到的運動體區(qū) 域。運動體檢測裝置可設(shè)置運動體門限值，其用來從構(gòu)成拍攝圖像的區(qū)域當(dāng)中檢測運 動體區(qū)域。對于包含由對象檢測裝置檢測到的一個或多個對象的對象鄰近區(qū)域和對于除了 對象鄰近區(qū)域之外的所有區(qū)域，可設(shè)置不同的運動體門限值。在運動體檢測裝置基于相鄰幀中拍攝圖像之間的絕對差是否等于或大于用于檢 測運動體區(qū)域的運動體門限值來檢測運動體區(qū)域的情況下，運動體檢測裝置可根據(jù)拍攝圖 像之間的成像時刻的差來修改運動體門限值。圖像處理設(shè)備還可配備有背景更新裝置，其用于針對構(gòu)成拍攝圖像的區(qū)域進(jìn)行背 景更新處理。在運動體檢測裝置基于拍攝圖像與僅有背景的、其中未捕獲一個或多個對象 的背景圖像之間的絕對差來檢測運動體區(qū)域的情況下，對于與拍攝圖像中背景部分對應(yīng)的 區(qū)域和對于與除了拍攝圖像中背景之外的所有部分對應(yīng)的區(qū)域，背景更新處理可以是不同 的。圖像處理設(shè)備還可配備有輸出裝置，其用于輸出表示由運動體檢測裝置檢測到的 運動體區(qū)域的運動體區(qū)域信息，其中，輸出裝置在由對象檢測裝置檢測到一個或多個對象 之前輸出運動體區(qū)域信息。圖像處理設(shè)備還可配備有距離計算裝置，其用于計算到由成像單元成像的成像 目標(biāo)的距離；以及映射生成裝置，其用于基于所計算出的距離來生成深度映射，其中，深度 映射表示到拍攝圖像中各成像目標(biāo)的距離。在這種情況下，確定裝置可基于深度映射，確定 一個或多個檢測區(qū)域。確定裝置可根據(jù)比例來將圖像金字塔細(xì)分成多個區(qū)域，并且確定一個或多個檢測 區(qū)域是來自多個區(qū)域當(dāng)中的一個區(qū)域。對象檢測裝置可在來自一個或多個檢測區(qū)域當(dāng)中的部分區(qū)域中檢測一個或多個 對象?？苫谠谖恢蒙舷嗖瞀莻€像素(其中η> 1)的各部分區(qū)域中是否存在對象來做出 檢測。生成裝置可通過以各自不同的比例來縮小或放大拍攝圖像以生成包含多個金字 塔圖像的圖像金字塔。對象檢測裝置可從用于圖像金字塔中各金字塔圖像的一個或多個檢 測區(qū)域中檢測一個或多個對象，其中，按從最接近成像單元的對象開始的順序來檢測一個 或多個對象。在已經(jīng)檢測到了預(yù)定數(shù)目的對象的情況下，對象檢測裝置可終止對一個或多個對 象的檢測。對象檢測裝置可從一個或多個檢測區(qū)域中檢測一個或多個對象，其中，已經(jīng)從一 個或多個檢測區(qū)域中移除了包含已經(jīng)檢測到的對象的區(qū)域。在檢測到在拍攝圖像中存在的、還沒有由對象檢測裝置檢測到的對象的情況下， 對象檢測裝置可基于表示從特定方向觀看到的對象的第一模板圖像，從一個或多個檢測區(qū) 域中檢測對象?？紤]在第一拍攝圖像中存在的、并且已經(jīng)由對象檢測裝置檢測到的對象。如果將 在與第一拍攝圖像不同的另一個拍攝圖像中檢測該對象，那么基于在第一拍攝圖像中已經(jīng) 檢測到的對象所存在的位置，確定裝置可另外確定用來對另一個拍攝圖像中的對象進(jìn)行檢測的另一個圖像金字塔中的一個或多個檢測區(qū)域。對象檢測裝置可基于分別表示從多個方 向觀看到的對象的多個第二模板圖像，從另一個圖像金字塔中的一個或多個檢測區(qū)域中檢 測對象。在圖像處理設(shè)備中執(zhí)行根據(jù)本發(fā)明的另一實施例的圖像處理方法，該圖像處理設(shè) 備被配置成從通過成像獲取的拍攝圖像中檢測被設(shè)置作為檢測目標(biāo)的一個或多個對象。圖 像處理設(shè)備包括生成裝置；確定裝置；以及對象檢測裝置。該方法包括如下步驟使得生 成裝置生成用于檢測一個或多個對象的圖像金字塔，其中，通過使用比例來縮小或放大拍 攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成像的成像單元到要檢測的一個或多個對 象的距離來預(yù)先設(shè)置的；使得確定裝置從圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢測 一個或多個對象的一個或多個檢測區(qū)域；以及使得對象檢測裝置從一個或多個檢測區(qū)域中 檢測一個或多個對象。根據(jù)類似于上述實施例的本發(fā)明的實施例，生成用來檢測一個或多個對象的圖像 金字塔。通過使用比例來縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成 像的成像單元到要檢測的一個或多個對象的距離來預(yù)先設(shè)置的。從圖像金字塔中的整個圖 像區(qū)域當(dāng)中，確定用于檢測一個或多個對象的一個或多個檢測區(qū)域。然后，從一個或多個檢 測區(qū)域中檢測一個或多個對象。根據(jù)本發(fā)明的另一實施例的電子器件被配置成從通過成像獲取的拍攝圖像中檢 測被設(shè)置作為檢測目標(biāo)的一個或多個對象，并且進(jìn)行基于檢測結(jié)果的處理。電子器件包括 生成裝置，其用于生成用來檢測一個或多個對象的圖像金字塔，其中，通過使用比例來縮小 或放大拍攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成像的成像單元到要檢測的一個 或多個對象的距離來預(yù)先設(shè)置的；確定裝置，其用于從圖像金字塔中的整個圖像區(qū)域當(dāng)中 確定用于檢測一個或多個對象的一個或多個檢測區(qū)域；以及對象檢測裝置，其用于從一個 或多個檢測區(qū)域中檢測一個或多個對象。根據(jù)類似于上述實施例的本發(fā)明的實施例，生成用來檢測一個或多個對象的圖像 金字塔。通過使用比例來縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成 像的成像單元到要檢測的一個或多個對象的距離來預(yù)先設(shè)置的。從圖像金字塔中的整個圖 像區(qū)域當(dāng)中，確定用于檢測一個或多個對象的一個或多個檢測區(qū)域。然后，從一個或多個檢 測區(qū)域中檢測一個或多個對象，并且進(jìn)行基于檢測結(jié)果的處理。因此，根據(jù)本發(fā)明的實施例，有可能更快地并且利用更少計算來從拍攝圖像中檢 測人臉或其它對象。


圖IA和IB是用于說明本發(fā)明的實施例的概述的圖；圖2是示出了根據(jù)第一實施例的圖像處理設(shè)備的示例性配置的框圖；圖3是用于說明用于生成圖像金字塔的生成處理的第一個圖；圖4是用于說明用于生成圖像金字塔的生成處理的第二個圖；圖5A和5B是用于說明用于確定檢測區(qū)域的第一確定處理的一個示例的圖；圖6A和6B示出了臉部檢測模板的示例；圖7A和7B是用于說明臉部檢測處理的圖8是用于說明第一對象檢測處理的流程圖；圖9是用于說明用于確定檢測區(qū)域的第二確定處理的一個示例的圖；圖10是示出了根據(jù)第二實施例的圖像處理設(shè)備的示例性配置的框圖；圖IlA到IlC是用于說明背景差分處理的圖；圖12是用于說明背景更新處理的圖；圖13是用于說明用于確定檢測區(qū)域的第三確定處理的一個示例的圖；圖14是用于說明第二對象檢測處理的流程圖；圖15示出了如何根據(jù)幀速率來改變在幀間差分處理中使用的運動體門限值的一 個示例；圖16是示出了根據(jù)第三實施例的圖像處理設(shè)備的示例性配置的框圖；圖17是用于說明用于確定檢測區(qū)域的第四確定處理的一個示例的圖；圖18是用于說明第三對象檢測處理的流程圖；圖19是用于說明如何一旦檢測到了預(yù)定數(shù)目的對象則結(jié)束處理的圖；圖20是用于說明如何在排除其中存在先前檢測到的對象的檢測區(qū)域的同時進(jìn)行 對象檢測的圖；圖21A到21D是用于說明如何從檢測區(qū)域提取要與模板比較的比較區(qū)域的圖；圖22是示出了根據(jù)第四實施例的顯示控制設(shè)備的示例性配置的框圖；圖23示出了如何在針對對象的狀態(tài)的分析結(jié)果之前輸出運動體區(qū)域信息的一個 示例；并且圖24是示出了計算機的示例性配置的框圖。
具體實施例方式在下文中，將描述用于執(zhí)行本發(fā)明的實施例(在下文中，被稱為實施例)。將如下 進(jìn)行描述。1.實施例的概述2.第一實施例(根據(jù)攝影機方位確定檢測區(qū)域的示例)3.第二實施例(根據(jù)拍攝圖像中的運動體確定檢測區(qū)域的示例)4.第三實施例(根據(jù)到對象的距離確定檢測區(qū)域的示例)5.修改6.第四實施例(包括檢測對象的圖像處理器的顯示控制設(shè)備的示例)1.實施例的概述現(xiàn)在將參照圖IA和IB描述實施例的概述。在這里描述的實施例中，進(jìn)行對象檢測處理，其中，從由多個拍攝圖像構(gòu)成的運動 圖像中檢測被設(shè)置作為檢測目標(biāo)的一個或多個對象，諸如人臉。換句話說，在這里描述的實施例中，進(jìn)行全掃描以檢測在拍攝圖像中出現(xiàn)的所有 對象。以構(gòu)成運動圖像的拍攝圖像的每若干幀(或者場)一幀的頻率進(jìn)行全掃描。另外，在這里描述的實施例中，在全掃描之后進(jìn)行部分掃描。部分掃描檢測由全掃 描檢測到的一個或多個對象。此外，部分掃描從與進(jìn)行全掃描的拍攝圖像不同的其它拍攝 圖像中檢測一個或多個對象。
9
更具體地，圖IA示出了例如從構(gòu)成先前記錄的運動圖像的拍攝圖像中檢測一個 或多個對象的情況。如圖IA中所示，每五幀進(jìn)行一次用于在拍攝圖像中檢測所有對象的全 掃描。另外，還進(jìn)行用于檢測由全掃描檢測到的一個或多個對象的部分掃描。部分掃描從 與全掃描幀前面的兩幀和隨后的兩幀對應(yīng)的拍攝圖像中檢測一個或多個對象。圖IB示出了例如從從攝影機順次輸入而未被記錄的拍攝圖像中檢測一個或多個 對象的另一情況。如圖IB中所示，每五幀進(jìn)行一次用于在拍攝圖像中檢測所有對象的全掃 描。另外，還進(jìn)行用于檢測由全掃描檢測到的一個或多個對象的部分掃描。部分掃描從與 全掃描幀隨后的四幀對應(yīng)的每個拍攝圖像中檢測一個或多個對象。在下文中，針對從通過攝影機成像獲取的拍攝圖像中相繼地檢測對象的情況，描 述第一到第三實施例。然而，應(yīng)該明白的是，針對從先前記錄的運動圖像中檢測對象的情 況，第一到第三實施例也可借助于類似處理來檢測對象。然而，由于這樣的處理與用于從通 過攝影機成像獲取的拍攝圖像中檢測對象的情況的處理類似，因此在下文中省略對這樣的 處理的進(jìn)一步描述。2.第一實施例圖像處理設(shè)備1的示例性配置圖2示出了根據(jù)第一實施例的圖像處理設(shè)備1的示例性配置。圖像處理設(shè)備1配備有攝影機21、圖像金字塔生成器22、加速度傳感器23、攝影 機位置估計器24、檢測區(qū)域確定單元25、對象檢測器26、字典存儲單元27、詳細(xì)信息獲取器 28、狀態(tài)分析器29以及控制器30。攝影機21進(jìn)行成像，并且將作為結(jié)果獲得的拍攝圖像提供到圖像金字塔生成器 22。在此，根據(jù)來自控制器30的指示來改變攝影機21的方位?；趤碜詳z影機21的拍攝圖像，圖像金字塔生成器22生成圖像金字塔。例如，圖 像金字塔由用來檢測諸如人臉的對象的多個金字塔圖像構(gòu)成。應(yīng)該明白的是，要檢測的目 標(biāo)對象不限于人臉，并且還有可能檢測諸如人手或腳的特征，以及諸如汽車的車輛。然而， 這里針對檢測人臉的情況來描述第一到第三實施例。用于生成圖像金字塔的示例性生成處理現(xiàn)在將參照圖3和4描述圖像金字塔生成器22借以生成多個金字塔圖像的生成處理。圖3示出了多個金字塔圖像43-1到43-4的一個示例，這多個金字塔圖像43_1到 43-4是通過以各自不同的比例縮小(或者放大)來自攝影機21的拍攝圖像41獲得的。如圖3所示，在拍攝圖像41中顯示要檢測的多個目標(biāo)臉部。在拍攝圖像41中，更 接近攝影機21的臉部顯得更大。為了檢測在離攝影機21預(yù)定距離處的臉部，要檢測的目標(biāo)臉部在尺寸上應(yīng)該與 模板42的模板尺寸相似。模板42表示與目標(biāo)臉部比較的、用于臉部檢測的圖像。因此，為了使得目標(biāo)臉部的尺寸與模板尺寸相似，圖像金字塔生成器22通過分別 縮小或放大拍攝圖像41來生成金字塔圖像43-1到43-4。根據(jù)從攝影機21到目標(biāo)臉部的 各個距離來預(yù)設(shè)縮小或放大拍攝圖像41的比例(在圖3中，例如，以1. 0倍、0. 841倍以及 0. 841 * 0. 841倍的比例縮小拍攝圖像41)。圖4示出了如何以根據(jù)到目標(biāo)臉部的各個距離預(yù)設(shè)的比例來縮小拍攝圖像41的一個示例。如圖4中所示，在第一種情況下，檢測目標(biāo)之一是在最接近攝影機21的空間范圍 Dl中存在的臉部。在這種情況下，圖像金字塔生成器22以根據(jù)從攝影機21到該目標(biāo)臉部 的距離的比例來縮小拍攝圖像41，并且因此生成金字塔圖像43-1。在第二種情況下，檢測目標(biāo)之一是在空間圖像范圍D2(其比空間范圍Dl更遠(yuǎn)離攝 影機21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據(jù)從攝影機21到該目 標(biāo)臉部的距離的比例(在這種情況下，0. 841 ★ 0. 841倍)來縮小拍攝圖像41，并且因此生 成金字塔圖像43-2。在第三種情況下，檢測目標(biāo)之一是在空間圖像范圍D3 (其比空間范圍D2更遠(yuǎn)離攝 影機21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據(jù)從攝影機21到該目 標(biāo)臉部的距離的比例(在這種情況下，0. 841倍)來縮小拍攝圖像41，并且因此生成金字塔 圖像43-3。在第四種情況下，檢測目標(biāo)之一是在空間圖像范圍D4 (其比空間范圍D3更遠(yuǎn)離攝 影機21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據(jù)從攝影機21到目標(biāo) 臉部的距離的比例(在這種情況下，1.0倍)縮小拍攝圖像41，并且因此生成金字塔圖像 43-4。在下文的描述中，當(dāng)在金字塔圖像43-1到43-4當(dāng)中沒有進(jìn)行特定區(qū)分時，金字塔 圖像43-1到43-4將簡單地被稱為圖像金字塔43。圖像金字塔生成器22將生成的圖像金字塔43 (例如，由多個金字塔圖像43_1到 43-4構(gòu)成)提供到對象檢測器26。返回到圖2，在攝影機21中配備了加速度傳感器23。加速度傳感器23檢測在攝 影機21中產(chǎn)生的加速度(或者表示這樣加速度的信息)，并且將加速度提供到攝影機位置 估計器24?；趤碜约铀俣葌鞲衅?3的加速度，攝影機位置估計器24估計攝影機21的方 位，并且將估計結(jié)果提供到檢測區(qū)域確定單元25。在這里的圖像處理設(shè)備1中，還可實現(xiàn)角速度傳感器或類似部件以替代加速度傳 感器23。在這種情況下，攝影機位置估計器24基于來自角速度傳感器的角速度，估計攝影 機21的方位。當(dāng)進(jìn)行全掃描時，檢測區(qū)域確定單元25使用來自攝影機位置估計器24的估計結(jié) 果作為基礎(chǔ)，用于在圖像金字塔43內(nèi)確定用來檢測臉部的檢測區(qū)域?？紤]如下示例基于來自攝影機位置估計器24的估計結(jié)果，檢測區(qū)域確定單元25 確定攝影機21的方位隨時間改變(例如，攝影機21可移動鏡頭)。在這種情況下，如下確 定全掃描檢測區(qū)域。對于圖像金字塔43的用來檢測遠(yuǎn)離攝影機21的目標(biāo)臉部的部分(例如，諸如金 字塔圖像43-4)，檢測區(qū)域確定單元25確定檢測區(qū)域是圖像金字塔43內(nèi)的中心區(qū)域。對于 圖像金字塔43的所有其它部分(例如，諸如金字塔圖像43-1到43-3)，檢測區(qū)域確定單元 25確定檢測區(qū)域是圖像金字塔43內(nèi)的整個區(qū)域。考慮如下另一個示例基于來自攝影機位置估計器24的估計結(jié)果，檢測區(qū)域確定 單元25確定攝影機21的方位被固定在特定方向上。此外，假設(shè)攝影機21的特定方向是不
11確定的。在這種情況下，如下確定全掃描檢測區(qū)域。對于設(shè)定的時間量，檢測區(qū)域確定單元25確定全掃描檢測區(qū)域是圖像金字塔43 中的所有區(qū)域。另外，檢測區(qū)域確定單元25計算在圖像金字塔43內(nèi)各個區(qū)域中出現(xiàn)人臉 的概率。然后，檢測區(qū)域確定單元25通過逐漸變窄圖像金字塔43中的區(qū)域的范圍以便排 除其計算出的概率未能滿足給定門限值的區(qū)域，來確定最終檢測區(qū)域。這里，由檢測區(qū)域確定單元25基于拍攝圖像中臉部的位置(或者表示這樣位置的 信息)來計算在給定區(qū)域中出現(xiàn)人臉的概率。在通過在下文中要描述的詳細(xì)信息獲取器28 獲取的詳細(xì)信息中包括這樣的臉部位置。作為另一個示例，檢測區(qū)域確定單元25還通過利用包括在詳細(xì)信息中的對象信 息來確定檢測區(qū)域。這樣的對象信息可表示人的姿勢、年齡、高度或其它信息。換句話說， 基于包括在對象信息中的姿勢或高度，檢測區(qū)域確定單元25可預(yù)測其中很可能出現(xiàn)要檢 測的人臉的拍攝圖像41的區(qū)域(例如，如果人的高度很高，那么檢測區(qū)域確定單元25可預(yù) 測人臉很可能在拍攝圖像41的上部區(qū)域出現(xiàn))。然后，檢測區(qū)域確定單元25可確定檢測區(qū) 域是預(yù)測的區(qū)域?？紤]如下另一個示例基于來自攝影機位置估計器24的估計結(jié)果，檢測區(qū)域確定 單元25確定攝影機21的方位被固定在特定方向上。此外，假設(shè)已經(jīng)確定了攝影機21的特 定方向。在這種情況下，根據(jù)攝影機21的方位來確定全掃描檢測區(qū)域。稍后，圖5A和5B將用于詳細(xì)描述用于在如下情況下根據(jù)攝影機21的方位來確定 檢測區(qū)域的方法已經(jīng)確定了攝影機21的方位被固定在特定方向上，并且其中也已經(jīng)確定 了攝影機21的特定方向。當(dāng)進(jìn)行部分掃描時，檢測區(qū)域確定單元25使用從對象檢測器26提供的臉部區(qū)域 信息作為基礎(chǔ)，用于確定用來在圖像金字塔43中檢測臉部的檢測區(qū)域。臉部區(qū)域信息表示 在過去拍攝圖像(在要經(jīng)受部分掃描的拍攝圖像之前一幀)中的臉部區(qū)域(即，存在臉部 的區(qū)域)。換句話說，當(dāng)進(jìn)行部分掃描時，例如，檢測區(qū)域確定單元25可確定部分掃描檢測 區(qū)域是包含由從對象檢測器26提供的臉部區(qū)域信息表示的臉部區(qū)域的區(qū)域。另外，當(dāng)進(jìn)行部分掃描時，檢測區(qū)域確定單元25還可確定部分掃描檢測區(qū)域是包 含由緊接在前的部分掃描檢測到的臉部區(qū)域的區(qū)域。全掃描檢測區(qū)域的示例性確定圖5A和5B示出了檢測區(qū)域確定單元25基于來自攝影機位置估計器24的估計結(jié) 果來確定全掃描檢測區(qū)域的一個示例。考慮如下示例基于來自攝影機位置估計器24的估計結(jié)果，檢測區(qū)域確定單元25 確定出攝影機21的方位被固定在特定方向上。此外，假設(shè)已經(jīng)確定了攝影機21的特定方 向。在這種情況下，根據(jù)攝影機21的方位來確定全掃描檢測區(qū)域。在該示例中，檢測區(qū)域確定單元25已經(jīng)確定了攝影機21的方位是在圖5A中示出 的狀態(tài)。在攝影機21的成像范圍61 (S卩，由從攝影機21延展的兩條線定界的范圍)內(nèi)，幾 乎所有人臉將存在于中心范圍62中。利用該參數(shù)，檢測區(qū)域確定單元25確定圖像金字塔 43內(nèi)的檢測區(qū)域是中心范圍62 ( S卩，與中心范圍62對應(yīng)的區(qū)域)。更具體地，考慮如下示例在空間區(qū)域Dl中存在的人臉被設(shè)置作為要檢測的目標(biāo)臉部。在這種情況下，如圖5A和5B中所示，確定用于空間范圍Dl中的中心范圍62 ( S卩，與 中心范圍62對應(yīng)的區(qū)域)的檢測區(qū)域是金字塔圖像43-1內(nèi)的區(qū)域62-1?？紤]如下另一個示例在空間區(qū)域D2中存在的人臉被設(shè)置作為要檢測的目標(biāo)臉 部。在這種情況下，如圖5A和5B中所示，確定用于空間范圍D2中的中心范圍62的檢測區(qū) 域是金字塔圖像43-2內(nèi)的區(qū)域62-2。考慮如下另一個示例在空間區(qū)域D3中存在的人臉被設(shè)置作為要檢測的目標(biāo)臉 部。在這種情況下，如圖5A和5B中所示，確定用于空間范圍D3中的中心范圍62的檢測區(qū) 域是金字塔圖像43-3內(nèi)的區(qū)域62-3。同時，類似地確定用于空間范圍D4的檢測區(qū)域是金 字塔圖像43-4內(nèi)的區(qū)域。然后，檢測區(qū)域確定單元25向?qū)ο髾z測器26提供檢測區(qū)域信息，其表示針對圖像 金字塔43已經(jīng)被確定了的檢測區(qū)域(例如，諸如檢測區(qū)域62-1到62-3)。返回到圖2，對象檢測器26從字典存儲單元27讀取臉部檢測模板。隨后，對象檢 測器26進(jìn)行處理以使用讀取的模板來檢測臉部。針對來自圖像金字塔生成器22的圖像金 字塔43內(nèi)的檢測區(qū)域進(jìn)行臉部檢測處理?；趤碜詸z測區(qū)域確定單元25的檢測區(qū)域信息， 確定檢測區(qū)域。稍后將參照圖7詳細(xì)描述由對象檢測器26進(jìn)行的臉部檢測處理。字典存儲單元27以全掃描模板和部分掃描模板的形式預(yù)先存儲臉部檢測模板。示例性模板圖6A和6B示出了全掃描模板和部分掃描模板的一個示例。如圖6A中所示，字典存儲單元27可預(yù)先存儲簡單的字典。在簡單的字典中，各個 模板與性別和年齡的多個組合中的每個相關(guān)聯(lián)，其中每個模板表示與相應(yīng)的參數(shù)組合匹配 的人的平均臉的正面圖像。如圖6B中所示，字典存儲單元27還可預(yù)先存儲豐富的樹字典。在樹中，各自不同 的面部表情每個與多個模板相關(guān)聯(lián)，其中所述多個模板利用從多個角度觀看到的相應(yīng)面部 表情來表示平均臉的圖像。同時，當(dāng)進(jìn)行全掃描時，使用簡單的字典。除臉部檢測之外，簡單的字典還用于檢 測在拍攝圖像與拍攝圖像之間不變化的臉部屬性。例如，這樣的屬性可包括人的性別和年 齡。當(dāng)進(jìn)行部分掃描時，使用豐富的樹字典。除臉部檢測之外，豐富的樹字典還用于檢測在 拍攝圖像與拍攝圖像之間(可很容易地)變化的屬性。例如，這樣的屬性可包括面部表情。示例性臉部檢測處理現(xiàn)在，圖7A和7B將用來詳細(xì)描述由對象檢測器26使用存儲在字典存儲單元27 中的模板來進(jìn)行的臉部檢測處理?？紤]如下情況對象檢測器26進(jìn)行全掃描，以在與拍攝圖像41對應(yīng)的圖像金字塔 43中檢測所有臉部。在這種情況下，如圖7A中所示，對象檢測器26使用模板42 (例如，在 圖6A中示出的簡單的字典模板)，以在圖像金字塔43內(nèi)的目標(biāo)檢測區(qū)域中檢測臉部?，F(xiàn)在考慮如下情況對象檢測器26進(jìn)行部分掃描，以從與另一個拍攝圖像41對應(yīng) 的圖像金字塔43中檢測由全掃描檢測到的臉部。在這種情況下，如圖7B中所示，對象檢測 器26使用模板42 (諸如在圖6B中示出的豐富的樹字典中的模板)，以在圖像金字塔43內(nèi) 的目標(biāo)檢測區(qū)域中檢測臉部。
13
在任一示例中，如果對象檢測器26借助于全掃描或部分掃描臉部檢測處理檢測 到一個或多個臉部，那么對象檢測器26向檢測區(qū)域確定單元25和詳細(xì)信息獲取器28提供 臉部區(qū)域信息，其表示圖像金字塔43內(nèi)的一個或多個臉部區(qū)域。另外，對象檢測器26還向詳細(xì)信息獲取器28提供用來檢測一個或多個臉部的模 板。返回到圖2，詳細(xì)信息獲取器28基于從對象檢測器26接收的臉部區(qū)域信息和模 板，獲取關(guān)于拍攝圖像41內(nèi)存在的一個或多個臉部的詳細(xì)信息。換句話說，例如，詳細(xì)信息 獲取器28可基于來自對象檢測器26的臉部區(qū)域信息，確定拍攝圖像41中一個或多個臉部 的位置，并且隨后將該位置信息作為詳細(xì)信息提供到狀態(tài)分析器29。作為另一個示例，詳細(xì)信息獲取器28還可讀取來自字典存儲單元27的、與從對象 檢測器26接收的模板相關(guān)聯(lián)的信息。例如，這樣的信息可包括性別、年齡以及面部表情信 息。然后，詳細(xì)信息獲取器28將該信息作為詳細(xì)信息提供到狀態(tài)分析器29?；趤碜栽敿?xì)信息獲取器28的詳細(xì)信息，狀態(tài)分析器29分析對象的狀態(tài)(即，外 形)，并且隨后輸出分析結(jié)果?？刂破?0對從攝影機21到狀態(tài)分析器29的部件進(jìn)行控制。從由攝影機21獲取 的拍攝圖像當(dāng)中，控制器30使得以每若干幀一幀的頻率進(jìn)行全掃描，同時還使得針對剩余 幀進(jìn)行部分掃描。第一對象檢測處理的操作現(xiàn)在，圖8中的流程圖將用來詳細(xì)描述由圖像處理設(shè)備1進(jìn)行的第一對象檢測處理。在步驟Sl中，攝影機拍攝(即，獲取圖像)，并且向圖像金字塔生成器22提供作為 結(jié)果獲取的拍攝圖像41。在步驟S2中，圖像金字塔生成器22基于來自攝影機21的拍攝圖像41，生成圖像 金字塔43 (即，多個金字塔圖像)。例如，圖像金字塔43可用于檢測人臉，并且可按參照圖 3和4描述的方式生成。將生成的圖像金字塔43提供到對象檢測器26。在步驟S3中，控制器30確定是否進(jìn)行全掃描。基于通過攝影機21的成像獲取的 拍攝圖像的數(shù)目，做出該確定。在步驟S3中，如果控制器30基于通過攝影機21的成像獲取的拍攝圖像的數(shù)目， 確定進(jìn)行全掃描，那么處理前進(jìn)到步驟S4。在步驟S4到步驟S8中，從加速度傳感器23到詳細(xì)信息獲取器28的部件遵循來 自控制器30的指示來借助于全掃描檢測一個或多個臉部。還獲取了從檢測結(jié)果獲得的詳
細(xì)信息。換句話說，在步驟S4中，加速度傳感器23檢測在攝影機21中產(chǎn)生的加速度(或 者表示這樣的加速度的信息)，并且將加速度提供到攝影機位置估計器24。在步驟S5中，檢測區(qū)域確定單元25基于來自加速度傳感器23的加速度，估計攝 影機21的方位，并且將估計結(jié)果提供到檢測區(qū)域確定單元25。在步驟S6中，檢測區(qū)域確定單元25基于來自攝影機位置估計器24的估計結(jié)果， 確定一個或多個全掃描檢測區(qū)域。在步驟S7中，對象檢測器26在由步驟S6中的處理確定的一個或多個檢測區(qū)域中檢測臉部。對象檢測器26通過使用用于多個因素(諸如性別和年齡)的組合中每個組合 的相應(yīng)模板(即，圖7A中的簡單的字典)來檢測臉部。如果對象檢測器26借助于臉部檢測處理檢測到一個或多個臉部，那么對象檢測 器26向檢測區(qū)域確定單元25和詳細(xì)信息獲取器28提供表示圖像金字塔43內(nèi)一個或多個 臉部區(qū)域的臉部區(qū)域信息。另外，對象檢測器26向詳細(xì)信息獲取器28提供用來檢測一個或多個臉部的模板。在步驟S8中，詳細(xì)信息獲取器28訪問字典存儲單元27，并且讀取與從對象檢測 器26接收的模板相關(guān)聯(lián)的信息。例如，這樣的信息可包括性別和年齡信息。另外，基于來 自對象檢測器26的臉部區(qū)域信息，詳細(xì)信息獲取器28確定拍攝圖像41中的一個或多個人 臉的位置。然后，詳細(xì)信息獲取器28將詳細(xì)信息提供到狀態(tài)分析器29。例如，詳細(xì)信息可包 括讀取的性別和年齡信息，以及所確定的一個或多個人臉的位置。然后，處理前進(jìn)到步驟 S12。在首先描述步驟S9到步驟Sll中的處理之后將描述步驟S12中的處理。在步驟S3中，如果控制器30基于通過攝影機21的成像獲取的拍攝圖像的數(shù)目而 確定不進(jìn)行全掃描，那么處理前進(jìn)到步驟S9。換句話說，當(dāng)控制器30確定進(jìn)行部分掃描時， 處理前進(jìn)到步驟S9。在步驟S9到步驟Sll中，從檢測區(qū)域確定單元25到詳細(xì)信息獲取器28的部件遵 循來自控制器30的指示，以借助于部分掃描檢測由全掃描檢測到的一個或多個臉部。還獲 取了從檢測結(jié)果獲得的詳細(xì)信息。換句話說，在步驟S9中，檢測區(qū)域確定單元25基于在先前步驟S7或Sll的處理 中從對象檢測器26提供的臉部區(qū)域信息，確定部分掃描檢測區(qū)域。更具體地，例如，檢測區(qū)域確定單元25可確定部分掃描檢測區(qū)域是圖像金字塔43 內(nèi)的、包含由從對象檢測器26提供的臉部區(qū)域信息表示的一個或多個臉部區(qū)域的區(qū)域。在步驟SlO中，對象檢測器26在由步驟S9中的處理確定的檢測區(qū)域中檢測臉部。 對象檢測器26通過使用用于多個各自不同面部表情中每個面部表情的相應(yīng)模板(S卩，圖7B 中的豐富的樹字典)來檢測臉部。如果對象檢測器26借助于臉部檢測處理檢測到一個或多個臉部，那么對象檢測 器26向檢測區(qū)域確定單元25和詳細(xì)信息獲取器28提供臉部區(qū)域信息，其表示圖像金字塔 43內(nèi)存在臉部的一個或多個區(qū)域。另外，對象檢測器26向詳細(xì)信息獲取器28提供用來檢測一個或多個臉部的模板。在步驟Sll中，詳細(xì)信息獲取器28訪問字典存儲單元27，并且讀取與從對象檢測 器26接收的模板相關(guān)聯(lián)的信息。例如，這樣的信息可包括面部表情(或者表示這樣的表情 的信息)。另外，基于來自對象檢測器26的臉部區(qū)域信息，詳細(xì)信息獲取器28確定拍攝圖 像41中的一個或多個人臉的位置。然后，詳細(xì)信息獲取器28將詳細(xì)信息提供到狀態(tài)分析器29。例如，詳細(xì)信息可包 括讀取的面部表情，以及所確定的一個或多個人臉的位置。然后，處理前進(jìn)到步驟S12。在步驟S12中，狀態(tài)分析器29確定對于預(yù)定的多個拍攝圖像中的每個拍攝圖像， 是否已經(jīng)從詳細(xì)信息獲取器28獲取了所有詳細(xì)信息。(例如，如圖IB中所示，預(yù)定的多個拍攝圖像可包括經(jīng)受全掃描的一個拍攝圖像以及經(jīng)受部分掃描的四個拍攝圖像。)換句話 說，狀態(tài)分析器29確定是否獲取了足夠用于分析對象的狀態(tài)的詳細(xì)信息。在步驟S12中，如果狀態(tài)分析器29確定對于預(yù)定的多個拍攝圖像，尚未從詳細(xì)信 息獲取器28獲取所有詳細(xì)信息，那么處理返回到步驟Si，并且此后進(jìn)行與以上類似的處理。相反，在步驟S12中，如果狀態(tài)分析器29確定對于預(yù)定的多個拍攝圖像，已經(jīng)從詳 細(xì)信息獲取器28獲取了所有詳細(xì)信息，那么處理前進(jìn)到步驟S13。在步驟S13中，狀態(tài)分析器29基于來自詳細(xì)信息獲取器28的多個詳細(xì)信息，分析 對象的狀態(tài)(例如，外形)，并且輸出分析結(jié)果。隨后，處理返回到步驟Si，并且此后進(jìn)行與 以上類似的處理。這里，例如，當(dāng)圖像處理設(shè)備1通過用戶操作斷電時，可終止第一對象檢測處理。 可類似地終止在下文中將描述的第二和第三對象檢測處理(見圖14和18)。如上所述，當(dāng)根據(jù)第一對象檢測處理來進(jìn)行全掃描時，檢測區(qū)域確定單元25使用 攝影機21的方位作為用于確定檢測區(qū)域的基礎(chǔ)。確定檢測區(qū)域是來自圖像金字塔43中的 區(qū)域當(dāng)中的預(yù)先規(guī)定的區(qū)域。另外，當(dāng)進(jìn)行部分掃描時，檢測區(qū)域確定單元25確定檢測區(qū)域是包含有在先前掃 描中檢測到的臉部區(qū)域的區(qū)域。全掃描比部分掃描更多地依賴處理器，并且因此，在第一對象檢測處理的步驟S7 中，使用簡單的字典。例如，與使用豐富的樹字典相比，使用簡單的字典更少地依賴處理器。 此外，以每若干幀一次的頻率進(jìn)行全掃描。同時，當(dāng)進(jìn)行部分掃描時，在步驟SlO中使用豐富的樹字典。例如，雖然與使用簡 單的字典相比，使用豐富的樹字典更多地依賴處理器，但是對豐富的樹字典的使用使得實 現(xiàn)了從多個角度對臉部的自由跟蹤。因此，與對于每幀都將檢測區(qū)域設(shè)置為圖像金字塔43中所有區(qū)域的情況相比，根 據(jù)第一對象檢測處理，有可能更快且更準(zhǔn)確、并且利用更少的計算來檢測對象。在這里的第一實施例中，攝影機21被描述為根據(jù)來自控制器30的指示在方位上 變化。然而，應(yīng)該明白的是，被實現(xiàn)為攝影機21的攝影機還可以是靜止攝影機，其方位被固 定在給定方向上。在這種情況下，可從配置中省略加速度傳感器23和攝影機位置估計器24。然后， 檢測區(qū)域確定單元25可通過如下兩種方法之一來確定全掃描檢測區(qū)域用于攝影機21的 方位被固定在特定但是未被確定的方向上的情況的檢測區(qū)域確定方法；以及用于攝影機 21的方位被固定在已經(jīng)確定了的特定方向上的情況的檢測區(qū)域確定方法(見圖5A和5B)。另外，當(dāng)進(jìn)行全掃描時，檢測區(qū)域確定單元25這里被配置成基于來自攝影機位置 估計器24的估計結(jié)果，確定全掃描檢測區(qū)域。然而，例如，檢測區(qū)域確定單元25還可確定 檢測區(qū)域是其它區(qū)域，諸如由用戶預(yù)設(shè)的區(qū)域。當(dāng)進(jìn)行全掃描時，檢測區(qū)域確定單元25還有可能不管攝影機21的方位而確定全 掃描檢測區(qū)域。檢測區(qū)域的示例性確定圖9示出了不管攝影機21的方位而確定全掃描檢測區(qū)域的一個示例。
如圖9中所示，檢測區(qū)域確定單元25首先從圖像金字塔43中取得使用在0. 8倍 與ι. O倍之間(包括0. 8倍和1. 0倍在內(nèi))的縮小系數(shù)來縮放過的一個或多個金字塔圖像。 然后，檢測區(qū)域確定單元25將那些金字塔圖像細(xì)分成多個區(qū)域(例如，四個)，并且每次進(jìn) 行全掃描時，相繼地將那些區(qū)域設(shè)置作為檢測區(qū)域。更具體地，例如，檢測區(qū)域確定單元25可將金字塔圖像43-3和43_4細(xì)分成四個 區(qū)域81a到81d。隨后，每次進(jìn)行全掃描時，檢測區(qū)域確定單元25按如下順序設(shè)置檢測區(qū) 域區(qū)域81a、區(qū)域81b、區(qū)域81c、區(qū)域81d、區(qū)域81a等。另外，如圖9中所示，檢測區(qū)域確定單元25還從圖像金字塔43中取得使用等于或 大于0. 51倍但小于0. 8倍的系數(shù)來縮放過的一個或多個金字塔圖像。然后，檢測區(qū)域確定 單元25將那些金字塔圖像細(xì)分成多個區(qū)域(例如，兩個)，并且每次進(jìn)行全掃描時，相繼地 將那些區(qū)域設(shè)置作為檢測區(qū)域。更具體地，例如，檢測區(qū)域確定單元25可將金字塔圖像43-2細(xì)分成兩個區(qū)域82a 和82b。隨后，每次進(jìn)行全掃描時，檢測區(qū)域確定單元25按如下順序設(shè)置檢測區(qū)域區(qū)域 82a、區(qū)域82b、區(qū)域82a等。另外，如圖9所示，檢測區(qū)域確定單元25還從圖像金字塔43中取得使用等于或大 于0倍但小于0.51倍的系數(shù)來縮放的一個或多個金字塔圖像。然后，檢測區(qū)域確定單元25 將那些金字塔圖像的全部區(qū)域設(shè)置作為檢測區(qū)域。更具體地，每次進(jìn)行全掃描時，檢測區(qū)域確定單元25可將金字塔圖像43-1內(nèi)的整 個區(qū)域設(shè)置作為檢測區(qū)域。根據(jù)參照圖9描述的檢測區(qū)域確定方法，可以不管攝影機21的方位而確定檢測區(qū) 域。在這種情況下，可以省略第一對象檢測處理的步驟S4(檢測在攝影機21中產(chǎn)生的加速 度)和步驟S5(估計攝影機21的方位)中的處理。為此，變得有可能更快地執(zhí)行對象檢測處理。這里，例如，作為用戶在攝影機21前執(zhí)行經(jīng)識別的手勢或類似操作的結(jié)果，也可 啟用從拍攝圖像41中檢測一個或多個對象的圖像處理設(shè)備1。在這樣的情況下，用戶通常在離攝影機21較近距離處執(zhí)行手勢操作。因此，在多 數(shù)情況下，更接近攝影機21的對象是用于檢測的更重要對象。因此，根據(jù)參照圖9描述的檢測區(qū)域確定方法，根據(jù)要檢測的對象的重要性(即， 根據(jù)對象靠近攝影機21的程度)來增大圖像金字塔43內(nèi)檢測區(qū)域的尺寸。為此，變得有 可能更快地執(zhí)行對象檢測處理，同時還減少對重要對象的錯誤檢測或未檢測。在參照圖9描述的檢測區(qū)域確定方法中，圖像金字塔43中的金字塔圖像被細(xì)分成 多個區(qū)域(諸如區(qū)域81a到81d)，然后這些區(qū)域按預(yù)定順序被設(shè)置作為全掃描檢測區(qū)域。 然而，應(yīng)該明白的是，本發(fā)明不限于以上描述。換句話說，例如，圖像金字塔43中的金字塔圖像可被細(xì)分成多個區(qū)域，并且可根 據(jù)在該區(qū)域中存在對象的概率來改變這些區(qū)域中每個區(qū)域被設(shè)置作為檢測區(qū)域的頻率。在 這種情況下，與將圖像金字塔43中的金字塔圖像細(xì)分成多個區(qū)域并且隨后按預(yù)定順序?qū)?那些區(qū)域中的每個區(qū)域設(shè)置作為檢測區(qū)域的情況相比，變得有可能提高檢測到對象的概率。這里，可基于包括在由詳細(xì)信息獲取器28獲取的詳細(xì)信息中的、拍攝圖像中臉部
17的位置(或者表示這樣的位置的信息)，計算在給定區(qū)域中存在對象的概率。在第一實施例中，基于攝影機21的方位，確定檢測區(qū)域。然而，還可按其它方式確 定檢測區(qū)域。例如，可在拍攝圖像41內(nèi)檢測運動體(即，運動的人或物體)，并且隨后可基 于拍攝圖像41中運動體的位置，確定檢測區(qū)域。3.第二實施例圖像處理設(shè)備101的示例性配置圖10示出了根據(jù)第二實施例的圖像處理設(shè)備101的示例性配置。圖像處理設(shè)備 101被配置成在拍攝圖像41內(nèi)檢測運動體(即，運動的人或物體)，并且隨后基于該運動 體在拍攝圖像41中的位置，確定檢測區(qū)域。這里，圖10中與圖2中示出的第一實施例對應(yīng)的部分被給予相同附圖標(biāo)記，并且 可在下文中省略對這樣的部分的進(jìn)一步描述。因此，圖像處理設(shè)備101新配備有運動體檢測器121和背景更新單元122。另外， 由檢測區(qū)域確定單元123、狀態(tài)分析器124以及控制器125分別替換了檢測區(qū)域確定單元 25、狀態(tài)分析器29以及控制器30。在其它方面，第二實施例被配置成與第一實施例類似。運動體檢測器121被分別提供了如下圖像和信息從攝影機21提供的拍攝圖像 41 ；從對象檢測器26提供的、用于緊接在前的幀中的拍攝圖像的臉部區(qū)域信息；以及從背 景更新單元122提供的、僅示出背景并且其中沒有出現(xiàn)對象的背景圖像。基于來自攝影機21的拍攝圖像41、來自對象檢測器26的臉部區(qū)域信息以及來自 背景更新單元122的背景圖像，運動體檢測器121在來自攝影機21的拍攝圖像41中檢測 運動體。換句話說，例如，運動體檢測器121可進(jìn)行背景差分處理。在背景差分處理中，運 動體檢測器121在參考來自對象檢測器26的臉部區(qū)域信息的同時，基于來自攝影機21的 拍攝圖像41與來自背景更新單元122的背景圖像之間的絕對差，檢測運動體。稍后將參照 圖IlA到IlC描述該背景差分處理。除了上述背景差分處理之外，幀間差分或類似處理還可被實現(xiàn)為用于檢測運動體 的方法。在幀間差分處理中，基于來自相鄰幀的兩個不同拍攝圖像41之間的絕對差，檢測 運動體。示例性背景差分處理現(xiàn)在將參照圖IlA到IlC描述由運動體檢測器121進(jìn)行的背景差分處理。圖IlA中示出的拍攝圖像41表示在給定時間獲取的拍攝圖像。圖IlB中示出的 拍攝圖像41表示在圖IlA中示出的拍攝圖像41之前一幀的拍攝圖像。圖IlC中示出的拍 攝圖像41表示在圖IlB中示出的拍攝圖像41之前一幀的拍攝圖像。運動體檢測器121計算拍攝圖像41和背景圖像中的相應(yīng)像素的像素值中的絕對 差值。如果計算的絕對差值等于或超過用于檢測運動體出現(xiàn)的運動體門限值，那么運動體 檢測器121檢測滿足門限值的相應(yīng)區(qū)域作為運動體區(qū)域。更具體地，如在圖IlA中作為示例所示，針對對象鄰近區(qū)域141，運動體檢測器121 可使用相對小的運動體門限值來進(jìn)行背景差分處理。對象鄰近區(qū)域141是拍攝圖像41內(nèi) 的區(qū)域，其包含由從對象檢測器26提供的臉部區(qū)域信息表示的臉部區(qū)域。因為在對象鄰近區(qū)域141中將很可能存在運動體，因此在此使用小的運動體門限值。例如，如同在圖IlA到IlC中示出的運動，使用小的運動體門限值使得有可能檢測到運 動體的微小運動。另外，對象鄰近區(qū)域141中的運動體門限值隨時間逐漸增大。這是因為在對象鄰 近區(qū)域141中存在運動體的概率隨時間降低。此外，如在圖IlA到IlC中作為示例所示，針對拍攝圖像41內(nèi)除了對象鄰近區(qū)域 141之外的所有區(qū)域，運動體檢測器121還可使用相對大的運動體門限值來進(jìn)行背景差分 處理。為了避免由于噪聲或其它因素而對運動體的錯誤檢測，可進(jìn)行這樣的背景差分處理。運動體檢測器121向背景更新單元122、檢測區(qū)域確定單元123以及狀態(tài)分析器 124提供運動體區(qū)域信息，其表示在拍攝圖像41的圖像區(qū)域內(nèi)其中存在檢測到的運動體的 運動體區(qū)域。現(xiàn)在返回到圖10，背景更新單元122被提供了來自運動體檢測器121的運動體區(qū) 域信息。另外，背景更新單元122被提供了來自攝影機21的拍攝圖像41，以及來自對象檢 測器26的臉部區(qū)域信息?；趤碜詫ο髾z測器26的臉部區(qū)域信息和來自運動體檢測器121的運動體區(qū)域 信息，背景更新單元122確定來自攝影機21的拍攝圖像41中的哪些區(qū)域是關(guān)于圖像的背 景部分的區(qū)域(即，背景區(qū)域)，以及哪些區(qū)域是關(guān)于除了背景部分之外的部分的區(qū)域(例 如，諸如捕獲臉部或運動體的區(qū)域)。然后，背景更新單元122進(jìn)行背景更新處理。在背景更新處理中，背景更新單元 122通過使用各自不同的比率執(zhí)行背景區(qū)域和非背景區(qū)域的加權(quán)相加來更新背景圖像。背景更新處理的說明現(xiàn)在將參照圖12描述由背景更新單元122進(jìn)行的、更新背景圖像的背景更新處理。如同在圖12中作為示例示出的那樣，背景更新單元122可被提供來自攝影機21 的拍攝圖像41。在該示例中，拍攝圖像41由其中顯示桌子161a和遙控器161b的背景區(qū)域 161以及其中顯示人的區(qū)域162構(gòu)成。如在圖12中作為示例所示，背景更新單元122可將顯示桌子161a的背景圖像181 相加到來自攝影機的拍攝圖像41。通過這樣做，背景更新單元122獲取了更新的背景圖像 182，其中，除桌子161a之外，還顯示遙控器161b。換句話說，基于來自對象檢測器26的臉部區(qū)域信息和來自運動體檢測器121的運 動體區(qū)域信息，背景更新單元122可確定拍攝圖像41內(nèi)的哪個區(qū)域是背景區(qū)域161，以及哪 個區(qū)域是非背景區(qū)域162 (即，人或運動體被作為對象顯示的區(qū)域)。背景更新單元122將比較大的權(quán)重施加到構(gòu)成來自攝影機21的拍攝圖像41中背 景區(qū)域161的像素的像素值，同時將比較小的權(quán)重施加到構(gòu)成背景圖像181中與背景區(qū)域 161對應(yīng)的區(qū)域部分的像素的像素值。另外，背景更新單元122將比較小的權(quán)重施加到構(gòu)成來自攝影機21的拍攝圖像41 中非背景區(qū)域162的像素的像素值，同時將比較大的權(quán)重施加到構(gòu)成背景圖像181中與區(qū) 域162對應(yīng)的區(qū)域部分的像素的像素值。隨后，背景更新單元122將通過加權(quán)新獲得的相應(yīng)像素值一起相加，并且將作為 結(jié)果獲得的像素值設(shè)置作為新背景圖像181的像素值。
背景更新單元122還可被配置成不將來自攝影機21的拍攝圖像41中的非背景區(qū) 域162和背景圖像181中與區(qū)域162對應(yīng)的區(qū)域部分相加。在此，將比較大的加權(quán)施加到拍攝圖像41上的背景區(qū)域161，使得在新背景圖像 182中更多地反映構(gòu)成新背景的背景區(qū)域161。另外，為了防止在新背景圖像181中顯著地反映非背景區(qū)域162(其不應(yīng)該成為背 景的部分)，將比較小的加權(quán)施加到非背景區(qū)域162，并且和在背景圖像181中與區(qū)域162 對應(yīng)的區(qū)域部分一起相加。這類似于不將非背景區(qū)域162和在背景圖像181中與區(qū)域162對應(yīng)的區(qū)域部分一 起相加的情況。此外，背景更新單元122使用來自攝影機21的新拍攝圖像41和由當(dāng)前背景更新 處理獲得的新背景圖像181再一次進(jìn)行背景更新處理。以該方式，通過重復(fù)背景更新處 理，背景更新單元122最終獲得更新的背景圖像182，其中，除桌子161a之外還顯示遙控器 161b?，F(xiàn)在返回到圖10，當(dāng)進(jìn)行全掃描時，檢測區(qū)域確定單元123基于至少以下之一來 確定全掃描檢測區(qū)域來自攝影機位置估計器24的估計結(jié)果；或者來自運動體檢測器121 的運動體區(qū)域信息。換句話說，檢測區(qū)域確定單元123可使用來自運動體檢測器121的運動體區(qū)域信 息來確定圖像金字塔43內(nèi)的檢測區(qū)域。稍后將參照圖13詳細(xì)描述用于將運動體區(qū)域設(shè)置 作為檢測區(qū)域的處理。作為另一個示例，與第一實施例類似，檢測區(qū)域確定單元123還可被配置成基于 從攝影機位置估計器24提供的關(guān)于攝影機21的方位的估計結(jié)果來確定檢測區(qū)域。作為另一個示例，檢測區(qū)域確定單元123還有可能首先基于來自攝影機位置估計 器24的估計結(jié)果來確定檢測區(qū)域，并且還基于來自運動體檢測器121的運動體區(qū)域信息來 確定檢測區(qū)域。然后，檢測區(qū)域確定單元123可確定最終檢測區(qū)域是來自以上確定的區(qū)域 的組合區(qū)域部分。當(dāng)進(jìn)行部分掃描時，與第一實施例類似，檢測區(qū)域確定單元123可基于從對象檢 測器26提供的如下臉部區(qū)域信息來確定部分掃描檢測區(qū)域該臉部區(qū)域信息是用于在經(jīng) 受部分掃描的拍攝圖像之前一幀的拍攝圖像的?；谶\動體區(qū)域的檢測區(qū)域的示例性確定圖13示出了如下處理的細(xì)節(jié)憑借該處理，檢測區(qū)域確定單元123基于來自運動 體檢測器121的運動體區(qū)域信息，確定部分掃描檢測區(qū)域。如在圖13的左側(cè)上所示，檢測區(qū)域確定單元123確定檢測區(qū)域是由來自運動體檢 測器121的運動體區(qū)域信息表示的運動體區(qū)域201。然后，檢測區(qū)域確定單元123向?qū)ο髾z 測器26提供表示所確定的檢測區(qū)域的檢測區(qū)域信息。如在圖13的右側(cè)上所示，作為以上的結(jié)果，對象檢測器26使用從檢測區(qū)域確定單 元123提供的檢測區(qū)域信息作為用于進(jìn)行臉部檢測處理的基礎(chǔ)，其中，金字塔圖像43-1到 43-4中的各個運動體區(qū)域201被設(shè)置作為檢測區(qū)域?，F(xiàn)在返回到圖10，狀態(tài)分析器124基于來自詳細(xì)信息獲取器28的詳細(xì)信息，分析 對象的狀態(tài)，并且隨后輸出分析結(jié)果。另外，在分析對象的狀態(tài)的處理占用大量時間的情況下，狀態(tài)分析器124還在輸出分析結(jié)果之前，輸出來自運動體檢測器121的運動體區(qū)域信
肩、ο通過這樣做，可以更快地識別對象已經(jīng)運動了的可能性。例如，考慮狀態(tài)識別設(shè)備 (諸如稍后將描述的圖22中的顯示控制設(shè)備321)連接到圖像處理設(shè)備101的情況。狀態(tài) 識別設(shè)備基于來自狀態(tài)分析器124的結(jié)果，識別對象的狀態(tài)。在這種情況下，狀態(tài)識別設(shè)備 能使用在分析結(jié)果之前從狀態(tài)分析器124提供的運動體區(qū)域信息，來更快地識別對象已經(jīng) 運動了的可能性。控制器125對從攝影機21到攝影機位置估計器24的部件、從對象檢測器26到詳 細(xì)信息獲取器28的部件、以及從運動體檢測器121到狀態(tài)分析器124的部件進(jìn)行控制。從 由攝影機21獲取的拍攝圖像當(dāng)中，控制器125使得以每若干幀一幀的頻率進(jìn)行全掃描，同 時還使得針對剩余幀進(jìn)行部分掃描。第二對象檢查處理的操作現(xiàn)在，圖14中的流程圖將用來詳細(xì)描述由圖像處理設(shè)備101進(jìn)行的第二對象檢測處理。在步驟S31和S32中，進(jìn)行與圖8中的步驟Sl和S2的處理類似的處理。在步驟S33中，控制器125確定是否進(jìn)行全掃描。基于通過攝影機21的成像已經(jīng) 獲取的拍攝圖像的數(shù)目，做出該確定。如果控制器125基于通過攝影機21的成像獲取的拍 攝圖像的數(shù)目，確定不進(jìn)行全掃描，那么處理前進(jìn)到步驟S41。換句話說，當(dāng)控制器125確定 進(jìn)行部分掃描時，處理前進(jìn)到步驟S41。在步驟S41到S43中，進(jìn)行與圖8中的步驟S9到Sll的處理類似的處理。同時，如果控制器125基于通過攝影機21的成像獲取的拍攝圖像的數(shù)目，確定進(jìn) 行全掃描，那么處理前進(jìn)到步驟S34。在步驟S34和S35中，進(jìn)行與圖8中的步驟S4和S5的處理類似的處理。在步驟S36中，如圖11中所示，運動體檢測器121基于來自對象檢測器26的臉部 區(qū)域信息、來自攝影機21的拍攝圖像41以及來自背景更新單元122的背景圖像，檢測來自 攝影機21的拍攝圖像41中的運動體。在步驟S37中，背景更新單元122如圖12中所示，使用來自對象檢測器26的臉部 區(qū)域信息以及來自運動體檢測器121的運動體區(qū)域信息作為基礎(chǔ)，用于確定來自攝影機21 的拍攝圖像41中哪些區(qū)域與用于背景部分的背景區(qū)域161對應(yīng)，以及哪些區(qū)域與用于除了 背景部分之外的所有部分的區(qū)域162對應(yīng)。隨后，背景更新單元122進(jìn)行背景更新處理。換句話說，背景更新單元122通過使 用各自不同的比率執(zhí)行背景區(qū)域161和非背景區(qū)域162的加權(quán)相加，來根據(jù)背景圖像181 獲取更新的背景圖像182。在步驟S38中，檢測區(qū)域確定單元123如圖13中所示可例如確定全掃描檢測區(qū)域 是由從運動體檢測器121提供的運動體區(qū)域信息表示的運動體區(qū)域201。作為另一個示例，檢測區(qū)域確定單元123還可被配置成首先基于來自攝影機位置 估計器24的估計結(jié)果來確定檢測區(qū)域，并且還基于來自運動體檢測器121的運動體區(qū)域信 息來確定檢測區(qū)域。然后，檢測區(qū)域確定單元123可確定最終的檢測區(qū)域是來自以上確定 的區(qū)域的組合區(qū)域部分。
21
在步驟S39、S40以及S44中，分別進(jìn)行與圖8中的步驟S7、S8以及S12的處理類 似的處理。在步驟S45中，狀態(tài)分析器124基于來自詳細(xì)信息獲取器28的詳細(xì)信息，分析對 象的狀態(tài)，并且隨后輸出分析結(jié)果。另外，在分析對象的狀態(tài)的處理占用大量時間的情況 下，狀態(tài)分析器124還在輸出分析結(jié)果之前，輸出來自運動體檢測器121的運動體區(qū)域信 肩、ο一旦已經(jīng)完成了步驟S45中的處理，處理返回到步驟S31，并且此后進(jìn)行與以上類 似的處理。如上所述，根據(jù)第二對象檢測處理，例如，當(dāng)進(jìn)行全掃描時，檢測區(qū)域確定單元123 可確定檢測區(qū)域是拍攝圖像41內(nèi)的運動體區(qū)域。因此，根據(jù)第二對象檢測處理，與對于每幀將圖像金字塔43內(nèi)的整個圖像區(qū)域設(shè) 置作為檢測區(qū)域的情況相比，有可能更快地并且利用更少計算來檢測對象。在幀間差分處理中改變運動體門限值的示例同時，如前面所述，幀間差分處理可替代背景差分處理被實現(xiàn)為運動體檢測器121 借以檢測運動體的方法。由于控制器125上的負(fù)載或者其它因素，從攝影機21提供到運動體檢測器121的 拍攝圖像的幀速率可能變化。在這樣的情況下，如果在幀間差分處理中使用固定運動體門 限值而不考慮幀速率變化，則可能出現(xiàn)錯誤檢測運動體的某些運動的情況。換句話說，在由于幀速率的變化而幀速率增大的情況下(即，在相鄰幀之間的成 像間隔變得更短的情況下)，在相鄰幀之間產(chǎn)生的運動體的運動變得比較小。為此，如果使 用固定運動體門限值，那么可能檢測不到運動體的微小運動。作為另一個示例，在由于幀速率的變化而幀速率降低的情況下(即，在相鄰幀之 間的成像間隔變得更長的情況下)，沒有被視為運動體的靜止體的運動變得比較大。為此， 如果使用固定運動體門限值，那么靜止體的較大運動可能被錯誤檢測為運動體的運動。因此，在從攝影機21提供到運動體檢測器121的拍攝圖像的幀速率中存在變化 時，優(yōu)選地是，根據(jù)幀速率中的變化來適當(dāng)?shù)馗淖冞\動體門限值。圖15示出了如何根據(jù)幀速率來改變運動體門限值的一個示例。在圖15中，水平軸表示相鄰幀之間的時間At，同時垂直軸表示運動體門限值。在時間At短的情況下(即，在幀速率高的情況下)，相鄰幀之間顯示的運動體的 運動變得小。相反，在時間At長的情況下(S卩，在幀速率低的情況下)，相鄰幀之間顯示的 運動體的運動變得大。因此，如圖15中所示，由于在時間At短的情況下幀之間的運動體的運動變得更 小，因此運動體檢測器121降低運動體門限值。隨著時間At變得更長，幀之間的運動體的 運動變得更大，并且因此運動體檢測器121增大運動體門限值。通過這樣做，即使當(dāng)幀速率變化時，也有可能檢測到運動體的某些運動而不錯誤 檢測靜止體。這里，第二實施例被配置為使得基于至少以下之一來確定全掃描檢測區(qū)域來自 攝影機位置估計器24的估計結(jié)果(S卩，攝影機21的方位)，或者拍攝圖像41內(nèi)的運動體區(qū) 域。然而，應(yīng)該明白的是，有可能以除了以上之外的方式配置第二實施例以確定檢測區(qū)域。例如，可通過查閱表示從攝影機21到成像目標(biāo)(除要檢測的對象之外，深度映射還可包括 關(guān)于不作為檢測目標(biāo)的物體的信息)的距離的深度映射(見下文中將描述的圖17)，來確定 檢測區(qū)域。4.第三實施例圖16示出了根據(jù)第三實施例的圖像處理設(shè)備221的示例性配置。圖像處理設(shè)備 221被配置成通過查閱表示從攝影機21到成像目標(biāo)的距離的深度映射來確定全掃描檢測 區(qū)域。這里，與圖10中示出的第二實施例對應(yīng)的圖16中的部分被給予相同附圖標(biāo)記，并 且可在下文中省略對這樣的部分的進(jìn)一步描述。因此，根據(jù)第三實施例的圖像處理設(shè)備221新配備有距離檢測器241。另外，由檢 測區(qū)域確定單元242和控制器243分別替換了檢測區(qū)域確定單元123和控制器125。在其 它方面，第三實施例被配置成與第二實施例類似。例如，距離檢測器241包括諸如激光測距儀的部件。借助于激光測距儀，距離檢測 器241朝成像目標(biāo)照射激光，并且檢測作為激光照明成像目標(biāo)并被反射回來的結(jié)果而獲得 的反射光。隨后，距離檢測器241測量當(dāng)朝成像目標(biāo)照射激光時與當(dāng)檢測到反射光時之間 的時間量?；谒鶞y量的時間量和激光的速度，計算從距離檢測器241 ( S卩，圖像處理設(shè)備 221)到成像目標(biāo)的距離。然后，距離檢測器241向檢測區(qū)域確定單元242提供距離信息，其將所計算的距離 與成像目標(biāo)中的位置相關(guān)聯(lián)。應(yīng)該明白的是，距離檢測器241可被配置成以除了以上之外的方式計算到成像目 標(biāo)的距離。例如，可使用涉及多個攝影機的立體聲方法，其中，多個攝影機當(dāng)中的視差用于 計算到成像目標(biāo)的距離?；趤碜跃嚯x檢測器241的距離信息，檢測區(qū)域確定單元242生成深度映射，其表 示到在拍攝圖像41中顯示的成像目標(biāo)的距離。隨后，例如，檢測區(qū)域確定單元242基于所生成的深度映射，確定用于金字塔圖像 43-1到43-4的各個檢測區(qū)域。稍后將參照圖17詳細(xì)描述用于基于深度映射來確定檢測區(qū) 域的方法。這里，檢測區(qū)域確定單元242生成深度映射，并且隨后基于所生成的深度映射，確 定檢測區(qū)域。除以上之外，然而，檢測區(qū)域確定單元242有可能基于至少以下之一來確定檢 測區(qū)域來自攝影機位置估計器24的估計結(jié)果，來自運動體檢測器121的運動體區(qū)域信息， 或者所生成的深度映射。作為更具體的示例，檢測區(qū)域確定單元242有可能首先基于來自攝影機位置估計 器24的估計結(jié)果來確定檢測區(qū)域，并且基于來自運動體檢測器121的運動體區(qū)域信息來確 定檢測區(qū)域。然后，檢測區(qū)域確定單元242可確定最終檢測區(qū)域是來自至少一個以上檢測 區(qū)域以及基于生成的深度映射來確定的檢測區(qū)域的組合區(qū)域部分?；谏疃扔成涞臋z測區(qū)域的示例性確定圖17示出了如下處理的細(xì)節(jié)憑借該處理，檢測區(qū)域確定單元242基于使用來自 距離檢測器241的距離信息生成的深度映射，確定全掃描檢測區(qū)域。如在圖17的左側(cè)所示，檢測區(qū)域確定單元242基于來自距離檢測器241的距離信息，生成深度映射。在圖17的左側(cè)上示出了深度映射中的若干區(qū)域。區(qū)域261-1表示從攝影機21到 在空間范圍Dl內(nèi)存在的成像目標(biāo)的部分的距離(即，區(qū)域261-1是其中顯示在空間范圍Dl 內(nèi)存在的成像目標(biāo)的部分的區(qū)域)。區(qū)域261-2表示從攝影機21到在空間范圍D2內(nèi)存在 的成像目標(biāo)的部分的距離(即，區(qū)域261-2是其中顯示在空間范圍D2內(nèi)存在的成像目標(biāo)的 部分的區(qū)域)。區(qū)域261-3表示從攝影機21到在空間范圍D3內(nèi)存在的成像目標(biāo)的部分的距離 (即，區(qū)域261-3是其中顯示在空間范圍D3內(nèi)存在的成像目標(biāo)的部分的區(qū)域)。區(qū)域261-4 表示從攝影機21到在空間范圍D4內(nèi)存在的成像目標(biāo)的部分的距離(即，區(qū)域261-4是其 中顯示在空間范圍D4內(nèi)存在的成像目標(biāo)的部分的區(qū)域)。如在圖17的右側(cè)所示，檢測區(qū)域確定單元242確定所生成的深度映射中的區(qū)域 261-1是用于金字塔圖像43-1的檢測區(qū)域。該檢測區(qū)域?qū)⒂糜跈z測在空間范圍Dl內(nèi)存在 的一個或多個人的臉部。另外，檢測區(qū)域確定單元242確定所生成的深度映射中的區(qū)域261-2是用于金字 塔圖像43-2的檢測區(qū)域。該檢測區(qū)域?qū)⒂糜跈z測在空間范圍D2內(nèi)存在的一個或多個人的 臉部。檢測區(qū)域確定單元242確定所生成的深度映射中的區(qū)域261-3是用于金字塔圖像 43-3的檢測區(qū)域。該檢測區(qū)域?qū)⒂糜跈z測在空間范圍D3內(nèi)存在的一個或多個人的臉部。檢測區(qū)域確定單元242確定所生成的深度映射中的區(qū)域261-4是用于金字塔圖像 43-4的檢測區(qū)域。該檢測區(qū)域?qū)⒂糜跈z測在空間范圍D4內(nèi)存在的一個或多個人的臉部。然后，檢測區(qū)域確定單元242向?qū)ο髾z測器26提供檢測區(qū)域信息，其表示確定的 檢測區(qū)域?？刂破?43對從攝影機21到攝影機位置估計器24的部件、從對象檢測器26到詳 細(xì)信息獲取器28的部件、以及運動體檢測器121、背景更新單元122、狀態(tài)分析器124、距離 檢測器241以及檢測區(qū)域確定單元242進(jìn)行控制。從由攝影機21獲取的拍攝圖像當(dāng)中，控 制器243使得以每若干幀一幀的頻率進(jìn)行全掃描，同時還使得針對剩余幀進(jìn)行部分掃描。第三對象檢測處理的操作現(xiàn)在將參照圖18中的流程圖描述由圖像處理設(shè)備221進(jìn)行的第三對象檢測處理。在步驟S61和S62中，進(jìn)行與圖14中的步驟S31和S32的處理類似的處理。在步驟S63中，控制器243確定是否進(jìn)行全掃描?；谕ㄟ^攝影機21的成像已經(jīng) 獲取的拍攝圖像的數(shù)目，做出該確定。如果控制器243基于通過攝影機21的成像獲取的拍 攝圖像的數(shù)目，確定不進(jìn)行全掃描，那么處理前進(jìn)到步驟S72。換句話說，當(dāng)控制器243確定 進(jìn)行部分掃描時，處理前進(jìn)到步驟S72。在步驟S72到S74中，進(jìn)行與圖14中的步驟S41到S43的處理類似的處理。同時，如果在步驟S63中控制器243基于通過攝影機21的成像已經(jīng)獲取的拍攝圖 像的數(shù)目，確定進(jìn)行全掃描，那么處理前進(jìn)到步驟S64。在步驟S64到S67中，進(jìn)行與圖14中的步驟S34到S37的處理類似的處理。在步驟S68中，距離檢測器241朝圖像目標(biāo)照射激光，并且檢測作為激光照明成像 目標(biāo)并被反射回來的結(jié)果獲得的反射光。隨后，距離檢測器241測量當(dāng)朝成像目標(biāo)照射激光時與當(dāng)檢測到反射光時之間的時間量?；谒鶞y量的時間量和激光的速度，計算從距離 檢測器241 ( S卩，圖像處理設(shè)備221)到成像目標(biāo)的距離。然后，距離檢測器241向檢測區(qū)域確定單元242提供距離信息，距離信息將所計算 的距離與成像目標(biāo)中的位置相關(guān)聯(lián)。在步驟S69中，檢測區(qū)域確定單元242基于來自距離檢測器241的距離信息，生成 深度映射。深度映射表示到在拍攝圖像41中顯示的一個或多個對象的距離。隨后，檢測區(qū)域確定單元242使用生成的深度映射作為用于確定用于金字塔圖像 43-1到43-4的各個檢測區(qū)域的基礎(chǔ)。然后，檢測區(qū)域確定單元242向?qū)ο髾z測器26提供 檢測區(qū)域信息，檢測區(qū)域信息表示所確定的檢測區(qū)域。如前面所述，應(yīng)該明白的是，除深度映射之外，檢測區(qū)域確定單元242還有可能基 于諸如來自運動體檢測器121的運動體區(qū)域信息和來自攝影機位置估計器24的估計結(jié)果 的信息，確定檢測區(qū)域。在步驟S70、S71、S75以及S76中，分別進(jìn)行與圖14中的步驟S39、S40、S44以及 S45的處理類似的處理。如上所述，根據(jù)第三對象檢測處理，當(dāng)進(jìn)行全掃描時，檢測區(qū)域確定單元242可確 定檢測區(qū)域是來自圖像金字塔43中的區(qū)域當(dāng)中的特定區(qū)域?；诒硎镜匠上衲繕?biāo)的距離 的深度映射，做出該確定。因此，根據(jù)第三對象檢測處理，與對于每幀將圖像金字塔43內(nèi)的整個圖像區(qū)域設(shè) 置作為檢測區(qū)域的情況相比，變得有可能更快并且利用更少計算來檢測對象。5.修改第一到第三實施例被配置為使得當(dāng)進(jìn)行全掃描時，對象檢測器26檢測在用于所 有金字塔圖像43-1到43-4的各個檢測區(qū)域中存在的臉部。然而，在第一到第三實施例中，更接近圖像處理設(shè)備1(或101或221)的對象是更 重要的用于檢測的對象。通過考慮該因素，實施例還可被配置成按43-1、43-2、43-3、43-4 的順序從各金字塔圖像中檢測一個或多個人臉(即，按D1、D2、D3、D4的順序從各空間范圍 中檢測一個或多個人臉)。一旦檢測到的臉部的數(shù)目符合或超過預(yù)定數(shù)目，則可終止處理。在這種情況下，變得有可能縮短處理時間，同時依然使得實現(xiàn)對用于檢測的重要 的人臉的檢測。另外，在第一到第三實施例中，對象檢測器26被配置成在被設(shè)置作為檢測區(qū)域的 全部一個或多個區(qū)域中檢測一個或多個臉部。然而，如果存在已經(jīng)檢測到一個或多個臉部 的區(qū)域，那么可從檢測區(qū)域中移除那些區(qū)域，并且可確定最終檢測區(qū)域是在這樣的移除之 后剩余的區(qū)域。作為示例，考慮在圖20中示出的情況，其中，在用于金字塔圖像43-1的檢測區(qū)域 中已經(jīng)檢測到了臉部區(qū)域281 (在這種情況下，檢測區(qū)域是整個金字塔圖像43-1)。在這種 情況下，從用于金字塔圖像43-2的檢測區(qū)域中移除臉部區(qū)域281 (在這種情況下，移除之前 的檢測區(qū)域是整個金字塔圖像43-2)。有可能配置實施例使得，如果在金字塔圖像43-2中隨后檢測到另一個臉部區(qū)域 282，那么從用于金字塔圖像43-3的檢測區(qū)域中移除臉部區(qū)域281和臉部區(qū)域282 (在這種 情況下，移除之前的檢測區(qū)域是整個金字塔圖像43-3)。同樣，從用于金字塔圖像43-4的檢測區(qū)域中移除臉部區(qū)域281和臉部區(qū)域282 (在這種情況下，移除之前的檢測區(qū)域是整個金 字塔圖像43-4)。另外，在第一到第三實施例中，對象檢測器26被配置為使得對于每個拍攝圖像， 對象檢測器26相繼地聚焦于構(gòu)成與當(dāng)前拍攝圖像對應(yīng)的圖像金字塔43內(nèi)的檢測區(qū)域的多 個像素。然后，對象檢測器26通過取得總共包含四個像素的正方形區(qū)域(其中，當(dāng)前聚焦 像素被設(shè)置作為左上角像素)來提取比較區(qū)域。然后，對象檢測器26對提取的比較區(qū)域和 模板進(jìn)行比較，并且基于比較結(jié)果，進(jìn)行臉部檢測。然而，例如，對象檢測器26還可針對圖像金字塔43僅聚焦于1/4的像素，并且因 此將所提取的比較區(qū)域的數(shù)目減少到1/4。這樣做，有可能縮短在臉部檢測中占用的處理時 間?，F(xiàn)在，圖21A到21D將用于描述用于從圖像金字塔43提取正方形比較區(qū)域(用于 與模板比較)的方法的一個示例。在圖21A中示出的檢測區(qū)域301示出了用于在給定時間進(jìn)行的第一全掃描的檢測 區(qū)域。在圖21B中示出的檢測區(qū)域302示出了用于在第一全掃描之后緊接著進(jìn)行的第二全 掃描的檢測區(qū)域。在圖21C中示出的檢測區(qū)域303示出了用于在第二全掃描之后緊接著進(jìn)行的第三 全掃描的檢測區(qū)域。在圖21D中示出的檢測區(qū)域304示出了用于在第三全掃描之后緊接著 進(jìn)行的第四全掃描的檢測區(qū)域。作為示例，在第一全掃描期間，對象檢測器26可相繼地將聚焦像素設(shè)置為構(gòu)成圖 像金字塔43中檢測區(qū)域301(見圖21A)的多個像素當(dāng)中以白色示出的像素之一。對象檢測器26還提取總共包含四個像素的正方形比較區(qū)域，其中，每個相繼的聚 焦像素分別被設(shè)置作為左上角像素。然后，對象檢測器26對所提取的比較區(qū)域和模板進(jìn)行 比較，并且基于比較結(jié)果，進(jìn)行臉部檢測。作為另一個示例，在第二全掃描期間，對象檢測器26可相繼地將聚焦像素設(shè)置為 構(gòu)成圖像金字塔43中檢測區(qū)域302(見圖21B)的多個像素當(dāng)中以白色示出的像素之一。對象檢測器26還提取總共包含四個像素的正方形比較區(qū)域，其中，每個相繼的聚 焦像素分別被設(shè)置作為左上角像素。對象檢測器26對所提取的比較區(qū)域和模板進(jìn)行比較， 并且基于比較結(jié)果，進(jìn)行臉部檢測。作為另一個示例，在第三全掃描期間，對象檢測器26可相繼地將聚焦像素設(shè)置為 構(gòu)成圖像金字塔43中檢測區(qū)域303 (見圖21C)的多個像素當(dāng)中以白色示出的像素之一。對象檢測器26還提取總共包含四個像素的正方形比較區(qū)域，其中，每個相繼的聚 焦像素分別被設(shè)置作為左上角像素。對象檢測器26對所提取的比較區(qū)域和模板進(jìn)行比較， 并且基于比較結(jié)果，進(jìn)行臉部檢測。作為另一個示例，在第四全掃描期間，對象檢測器26可相繼地將聚焦像素設(shè)置為 構(gòu)成圖像金字塔43中檢測區(qū)域304(見圖21D)的多個像素當(dāng)中以白色示出的像素之一。對象檢測器26還提取總共包含四個像素的正方形比較區(qū)域，其中，每個相繼的聚 焦像素分別被設(shè)置作為左上角像素。然后，對象檢測器26對提取的比較區(qū)域和模板進(jìn)行比 較，并且基于比較結(jié)果，進(jìn)行臉部檢測。通過這樣做，與當(dāng)構(gòu)成檢測區(qū)域的所有像素被設(shè)置作為聚焦像素時的情況相比，被設(shè)置作為聚焦像素的像素的數(shù)目可以被設(shè)置為1/4。為此，所提取的比較區(qū)域的數(shù)目也變 成1/4，因此使得有可能縮短處理時間。另外，根據(jù)在圖21中示出的比較區(qū)域提取方法，雖然分別從檢測區(qū)域301到304 提取的比較區(qū)域的數(shù)目變成1/4，但是檢測區(qū)域自身的尺寸沒有減少到1/4，反而保持相 同。為此，有可能防止作為比較區(qū)域的數(shù)目降低到1/4的結(jié)果，臉部檢測率也下降到1/4。應(yīng)該明白的是，在圖21中示出的比較區(qū)域提取方法還可以被應(yīng)用到部分掃描檢 測區(qū)域。另外，用于確定檢測區(qū)域的方法不限于在第一到第三實施例中描述的檢測區(qū)域確 定方法。任一在前描述的多個確定方法可用于確定檢測區(qū)域。替選地，多個確定方法中的 至少兩個或多個可用來分別確定檢測區(qū)域。然后，可確定最終檢測區(qū)域是來自以上所確定 的區(qū)域的組合區(qū)域。在第一實施例中，圖像處理設(shè)備1被描述為內(nèi)置攝影機21和加速度傳感器23。然 而，除此配置之外，攝影機21和加速度傳感器23可與圖像處理設(shè)備1分離配置，并且不被 內(nèi)置在圖像處理設(shè)備1中。類似推理也可被應(yīng)用到第二和第三實施例。在第三實施例中，圖像處理設(shè)備221被描述為內(nèi)置距離檢測器241。然而，除此配 置之外，距離檢測器241可與圖像處理設(shè)備221分離配置，并且不被內(nèi)置在圖像處理設(shè)備 221 中。雖然第一對象檢測處理被配置為使得當(dāng)進(jìn)行全掃描時不進(jìn)行部分掃描，但是第一 對象檢測處理不限于此。換句話說，例如，第一對象檢測處理還可被配置為使得當(dāng)進(jìn)行全掃 描時還進(jìn)行部分掃描。在這種情況下，在第一對象檢測處理中將進(jìn)行更多的部分掃描。結(jié)果，詳細(xì)信息獲 取器28將能獲取更多數(shù)量的詳細(xì)信息，同時狀態(tài)分析器29將能基于所獲取的詳細(xì)信息，更 詳細(xì)地分析對象的狀態(tài)。類似推理也可被應(yīng)用到第二和第三對象檢測處理。6.第四實施例圖22示出了顯示控制設(shè)備321的示例性配置。顯示控制設(shè)備321包括圖像處理 器342，圖像處理器342進(jìn)行與圖像處理設(shè)備1、101或221的處理類似的處理。顯示控制設(shè)備321連接到如下器件由多個攝影機構(gòu)成的攝影機組322 ；輸出音 頻的一個或多個揚聲器323 ；由諸如加速度傳感器、角速度傳感器、激光測距儀的多個傳感 器構(gòu)成的傳感器組324 ；顯示電視節(jié)目或其它內(nèi)容的顯示器325 ；以及存儲由顯示控制設(shè)備 321收集的信息的信息收集服務(wù)器326。顯示控制設(shè)備321設(shè)置有圖像輸入單元341、圖像處理器342、觀眾狀態(tài)分析器 343、觀眾狀態(tài)存儲單元344、系統(tǒng)最優(yōu)化處理器345以及系統(tǒng)控制器346。圖像輸入單元341將拍攝圖像從攝影機組322提供(輸入)到圖像處理器342。圖像處理器342被提供來自圖像輸入單元341的拍攝圖像，同時還被提供來自傳 感器組324的各種信息。例如，圖像處理設(shè)備342還接收由加速度傳感器檢測到的加速度、 由角速度傳感器檢測到的角速度以及由激光測距儀檢測到的到成像目標(biāo)的距離?；趶膫鞲衅鹘M324提供的加速度、角速度或者到成像目標(biāo)的距離、以及從圖像 輸入單元341提供的拍攝圖像，圖像處理器342進(jìn)行與前面描述的第一到第三對象檢測處 理的處理類似的處理。然后，圖像處理器342向觀眾狀態(tài)分析器343提供關(guān)于一個或多個對象的狀態(tài)得到的分析結(jié)果。基于來自圖像處理器342的分析結(jié)果，觀眾狀態(tài)分析器343分析觀看在顯示器325 上顯示的圖像(即，電視節(jié)目)的一個或多個用戶(即，對象)的注意力。然后，觀眾狀態(tài) 分析器343將分析結(jié)果作為識別數(shù)據(jù)信息提供到觀眾狀態(tài)存儲單元344和系統(tǒng)最優(yōu)化處理 器 345。經(jīng)由諸如因特網(wǎng)或局域網(wǎng)(LAN)的網(wǎng)絡(luò)，觀眾狀態(tài)存儲單元344在信息收集服務(wù) 器326中將從觀眾狀態(tài)分析器343提供的識別數(shù)據(jù)信息發(fā)送并存儲(即，記錄)。另外，觀 眾狀態(tài)存儲單元344經(jīng)由諸如因特網(wǎng)或LAN的網(wǎng)絡(luò)接收從信息收集服務(wù)器326提供的識別 數(shù)據(jù)信息，并且將接收到的信息提供到系統(tǒng)最優(yōu)化處理器345?；趶挠^眾狀態(tài)分析器343或觀眾狀態(tài)存儲單元344提供的識別數(shù)據(jù)信息，系統(tǒng) 最優(yōu)化處理器345使得系統(tǒng)控制器346針對一個或多個用戶的注意力進(jìn)行優(yōu)化控制。遵循系統(tǒng)最優(yōu)化處理器345的指示，系統(tǒng)控制器346調(diào)整各種設(shè)置，諸如顯示器 325的顯示亮度；在顯示器325上顯示的節(jié)目內(nèi)容；以及從一個或多個揚聲器323輸出的音
頻的音量。同時，在顯示控制設(shè)備321中，觀眾狀態(tài)分析器343被配置成基于關(guān)于從圖像處理 器342提供的一個或多個對象的狀態(tài)的分析結(jié)果，分析一個或多個用戶的注意力。因此，觀眾狀態(tài)分析器343在如下情況下將不能分析用戶注意力，直到完成了對 象狀態(tài)分析處理為止在圖像處理器342中用于分析一個或多個對象的狀態(tài)的對象狀態(tài)分 析處理占用大量時間。在這樣的情況下，作為在對象狀態(tài)分析處理中占用過長時間的結(jié)果，觀眾狀態(tài)分 析器343可能不能很快分析用戶注意力。因此，圖像處理器342可被配置成使得在對象狀態(tài)分析處理占用大量時間的情況 下，如圖23中所示，在作為對象狀態(tài)分析處理的結(jié)果獲得的分析結(jié)果之前，將運動體區(qū)域 信息提供到觀眾狀態(tài)分析器343。示例性圖像處理器342圖23示出了圖像處理器342的一個示例，其在作為對象狀態(tài)分析處理的結(jié)果獲得 的分析結(jié)果之前輸出運動體區(qū)域信息。圖像處理器342與第二或第三實施例中的圖像處理設(shè)備101或221類似地配置。在圖23中，“應(yīng)用”指與顯示控制設(shè)備321中的圖像輸入單元341和觀眾狀態(tài)分析 器343對應(yīng)的應(yīng)用。如在圖23中作為示例所示，在時刻tl處，圖像處理器342可在從圖像輸入單元 341提供的拍攝圖像中檢測運動體區(qū)域，并且確定全掃描檢測區(qū)域是檢測到的運動體區(qū)域。 隨后，圖像處理器342可在所確定的檢測區(qū)域中檢測一個或多個對象，并且基于檢測結(jié)果， 分析一個或多個對象的狀態(tài)。在時刻t3處，圖像處理器342正在將分析結(jié)果輸出到觀眾狀 態(tài)分析器343應(yīng)用。在這種情況下，觀眾狀態(tài)分析器343不能分析用戶注意力，直到在時刻t3處從圖 像處理器342輸出分析結(jié)果為止。因此，圖像處理器342被配置成使得在時刻tl處從圖像輸入單元341應(yīng)用提供的 拍攝圖像中檢測到了運動體區(qū)域之后，圖像處理器342在時刻t2處將表示檢測到的運動體區(qū)域的運動體區(qū)域信息輸出到觀眾狀態(tài)分析器343，其中時刻t2比時刻t3更早。通過這樣做，觀眾狀態(tài)分析器343應(yīng)用變得有可能使用從圖像處理器342提供的 運動體區(qū)域信息作為用于確定用戶運動的可能性的基礎(chǔ)。通過利用這樣的信息作為用戶注 意力的狀態(tài)，觀眾狀態(tài)分析器343能夠更快地分析對象狀態(tài)。如果圖像處理器342包括與根據(jù)第一實施例的圖像處理設(shè)備1類似的功能，那么 還可像在第二和第三實施例中那樣配備運動體檢測器121。此外，例如，借助于并行處理，可加速在配備在圖像處理器342中的運動體檢測器 121中執(zhí)行的檢測運動體區(qū)域的處理。通過這樣做，可以在由對象狀態(tài)分析處理輸出的分析 結(jié)果之前輸出運動體區(qū)域信息，其中，所述對象狀態(tài)分析處理在從攝影機21到狀態(tài)分析器 29 (見圖2)的部件中進(jìn)行。可以在專用硬件或者在軟件中執(zhí)行上述系列處理。在以軟件執(zhí)行系列處理的情況 下，構(gòu)成這樣軟件的程序可從記錄介質(zhì)安裝到被稱為內(nèi)置或嵌入式計算機上。替選地，這樣 的程序可從記錄介質(zhì)安裝到作為在其上安裝各種程序的結(jié)果而能夠執(zhí)行各種功能的通用 個人計算機或類似設(shè)備上。計算機的示例性配置圖24示出了借助于程序執(zhí)行上述系列處理的計算機的示例性配置。中央處理單元(CPU) 401通過遵循存儲在只讀存儲器(ROM) 402或存儲單元408中 的程序來執(zhí)行各種處理。將由CPU 401執(zhí)行的程序和其它數(shù)據(jù)適當(dāng)?shù)卮鎯υ陔S機存取存儲 器(RAM)403中。CPU 40UR0M402以及RAM 403經(jīng)由總線404相互連接。CPU 401還通過總線404連接到輸入/輸出(I/O)接口 405。以下單元連接到I/ 0接口 405 輸入單元406，其可包括諸如鍵盤、鼠標(biāo)以及麥克風(fēng)的器件；以及輸出單元407， 其可包括諸如顯示器和一個或多個揚聲器的器件。CPU 401根據(jù)從輸入單元406輸入的命 令來執(zhí)行各種處理。然后，CPU 401將處理結(jié)果輸出到輸出單元407。例如，連接到I/O接口 405的存儲單元408可包括硬盤。存儲單元408存儲諸如 由CPU 401執(zhí)行的程序的信息和各種數(shù)據(jù)。通信單元409經(jīng)由諸如因特網(wǎng)或局域網(wǎng)的網(wǎng)絡(luò) 與外部設(shè)備通信。另外，可經(jīng)由通信單元409獲取并且在存儲單元408中存儲程序。驅(qū)動器410連接到I/O接口 405。諸如磁盤、光盤、磁光盤、或者半導(dǎo)體存儲器的可 移除介質(zhì)411可被加載到驅(qū)動器410。驅(qū)動器410驅(qū)動可移動介質(zhì)411，并且獲取記錄在可 移動介質(zhì)411上的程序、數(shù)據(jù)、或其它信息。所獲取的程序和數(shù)據(jù)可被傳送到存儲單元408， 并且被適當(dāng)?shù)卮鎯?。如圖24中所示，存儲被安裝在計算機上并且被計算機變成可執(zhí)行狀態(tài)的程序的 記錄介質(zhì)可以是封裝式介質(zhì)，其以如下形式被配備作為可移動介質(zhì)411 一個或多個磁盤 (包括軟盤)、光盤(包括致密盤只讀存儲器(⑶-ROM)盤和數(shù)字多功能盤(DVD))、磁光盤 (包括小型盤(MD))或者半導(dǎo)體存儲器。替選地，可由暫時或永久存儲這樣程序的ROM 402、 或者由諸如構(gòu)成存儲單元408的硬盤的器件實現(xiàn)這樣的記錄介質(zhì)。視情況，可通過利用諸 如局域網(wǎng)、因特網(wǎng)或者數(shù)字衛(wèi)星廣播的有線或無線通信介質(zhì)來進(jìn)行將程序記錄到記錄介質(zhì) 上，并且可經(jīng)由構(gòu)成通信單元的一個或多個路由器、調(diào)制解調(diào)器或者接口進(jìn)行在這樣通信 介質(zhì)上的任何通信。
29
表明了被記錄在記錄介質(zhì)上的程序的步驟顯然可包括按遵循在本說明書中給定 的順序的時間序列進(jìn)行的處理。然而，還應(yīng)該明白的是，這樣的步驟還可包括并行或單獨執(zhí) 行的、而沒有按嚴(yán)格時間序列被處理的處理。還應(yīng)該明白的是，本發(fā)明的實施例不限于在前描述的第一到第四實施例，并且在 不脫離本發(fā)明的范圍和精神的情況下，各種修改是可能的。本申請包含與2009年9月2日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2009-202266中公開的主題內(nèi)容相關(guān)的主題內(nèi)容，在此通過引用將其全文合并于此。本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以在所附權(quán)利要求或其等同物的范圍內(nèi)根據(jù)設(shè)計 需要或其它因素進(jìn)行各種修改、組合、子組合和變更。
權(quán)利要求
1.一種圖像處理設(shè)備，其被配置成從通過成像獲取的拍攝圖像中檢測被設(shè)置作為檢測 目標(biāo)的一個或多個對象，所述圖像處理設(shè)備包括生成裝置，其用于生成用來檢測所述一個或多個對象的圖像金字塔，其中，通過使用比 例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從進(jìn)行所述成像的 成像單元到要檢測的所述一個或多個對象的距離來預(yù)先設(shè)置的；確定裝置，其用于從所述圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢測所述一個或 多個對象的一個或多個檢測區(qū)域；以及對象檢測裝置，其用于從所述一個或多個檢測區(qū)域中檢測所述一個或多個對象。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其還包括 估計裝置，其用于估計所述成像單元的方位；其中，所述確定裝置基于所估計的所述成像單元的方位，確定所述一個或多個檢測區(qū)域。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其還包括獲取裝置，其用于基于所述對象檢測結(jié)果，獲取關(guān)于所述一個或多個對象的詳細(xì)信息；其中，在估計出所述成像單元的方位被固定在特定方向上的情況下，所述確定裝置基 于所獲取的所述詳細(xì)信息，確定所述一個或多個檢測區(qū)域。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中由所述獲取裝置獲取的所述詳細(xì)信息至少包括表示所述拍攝圖像中所述一個或多個 對象的位置的位置信息，并且基于所述位置信息，所述確定裝置確定所述一個或多個檢測區(qū)域是所述拍攝圖像中 的、其中存在對象的概率等于或大于預(yù)定門限值的區(qū)域。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其還包括運動體檢測裝置，其用于檢測表示所述拍攝圖像中運動體的運動體區(qū)域； 其中，所述確定裝置確定所述一個或多個檢測區(qū)域是所檢測到的所述運動體區(qū)域。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中所述運動體檢測裝置設(shè)置運動體門限值，其用來從構(gòu)成所述拍攝圖像的區(qū)域當(dāng)中檢測 所述運動體區(qū)域，并且對于包含由所述對象檢測裝置檢測到的所述一個或多個對象的對象鄰近區(qū)域和對于 除了所述對象鄰近區(qū)域之外的所有區(qū)域設(shè)置不同的運動體門限值。
7.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中在所述運動體檢測裝置基于相鄰幀中拍攝圖像之間的絕對差是否等于或大于用于檢 測所述運動體區(qū)域的運動體門限值來檢測所述運動體區(qū)域的情況下，所述運動體檢測裝置根據(jù)所述拍攝圖像之間的成像時刻的差來修改所述運動體門限值。
8.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其還包括背景更新裝置，其用于針對構(gòu)成所述拍攝圖像的區(qū)域進(jìn)行背景更新處理； 其中，在所述運動體檢測裝置基于所述拍攝圖像與僅有背景的、其中未捕獲所述一個 或多個對象的背景圖像之間的絕對差來檢測所述運動體區(qū)域的情況下，對于與所述拍攝圖像中背景部分對應(yīng)的區(qū)域和對于與除了所述拍攝圖像中背景之外 的所有部分對應(yīng)的區(qū)域，所述背景更新處理是不同的。
9.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其還包括輸出裝置，其用于輸出表示由所述運動體檢測裝置檢測到的所述運動體區(qū)域的運動體 區(qū)域信息，其中，所述輸出裝置在由所述對象檢測裝置檢測到所述一個或多個對象之前輸 出所述運動體區(qū)域信息。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其還包括距離計算裝置，其用于計算到由所述成像單元成像的成像目標(biāo)的距離；以及映射生成裝置，其用于基于所計算出的所述距離來生成深度映射，其中，所述深度映射 表示到所述拍攝圖像中各成像目標(biāo)的所述距離；其中，所述確定裝置基于所述深度映射，確定所述一個或多個檢測區(qū)域。
11.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述確定裝置根據(jù)所述比例來將所述圖像金字塔細(xì)分成多個區(qū)域，并且確定所述一個 或多個檢測區(qū)域是來自所述多個區(qū)域當(dāng)中的一個區(qū)域。
12.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述對象檢測裝置在來自所述一個或多個檢測區(qū)域當(dāng)中的部分區(qū)域中檢測所述一個 或多個對象，并且基于在位置上相差η個像素的各部分區(qū)域中是否存在所述對象做出檢測，其中η > 1。
13.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述生成裝置通過以各自不同的比例來縮小或放大所述拍攝圖像以生成包含多個金 字塔圖像的圖像金字塔，并且所述對象檢測裝置從用于所述圖像金字塔中各金字塔圖像的所述一個或多個檢測區(qū) 域中檢測所述一個或多個對象，其中，按從最接近所述成像單元的對象開始的順序來檢測 所述一個或多個對象。
14.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中在已經(jīng)檢測到了預(yù)定數(shù)目的對象的情況下，所述對象檢測裝置終止對所述一個或多個 對象的檢測。
15.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其中所述對象檢測裝置從所述一個或多個檢測區(qū)域中檢測所述一個或多個對象，其中，已 經(jīng)從所述一個或多個檢測區(qū)域中移除了包含已經(jīng)檢測到的對象的區(qū)域。
16.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中在檢測到在所述拍攝圖像中存在的、還沒有由所述對象檢測裝置檢測到的對象的情況下，所述對象檢測裝置基于表示從特定方向觀看到的所述對象的第一模板圖像，從所述一 個或多個檢測區(qū)域中檢測所述對象。
17.根據(jù)權(quán)利要求16所述的圖像處理設(shè)備，其中當(dāng)給定在第一拍攝圖像中存在的、并且已經(jīng)由所述對象檢測裝置檢測到的對象時，在 將在與所述第一拍攝圖像不同的另一個拍攝圖像中檢測該對象的情況下，基于所述第一拍攝圖像中已經(jīng)檢測到的所述對象所存在的位置，所述確定裝置另外確定用來對所述另一個拍攝圖像中的所述對象進(jìn)行檢測的另一個圖像金字塔中的一個或多 個檢測區(qū)域，并且所述對象檢測裝置基于分別表示從多個方向觀看到的所述對象的多個第二模板圖像， 從所述另一個圖像金字塔中的所述一個或多個檢測區(qū)域中檢測所述對象。
18.—種在圖像處理設(shè)備中執(zhí)行的圖像處理方法，所述圖像處理設(shè)備被配置成從通過 成像獲取的拍攝圖像中檢測被設(shè)置作為檢測目標(biāo)的一個或多個對象，所述圖像處理設(shè)備包 括生成裝置， 確定裝置，以及 對象檢測裝置，并且，所述方法包括如下步驟使得所述生成裝置生成用于檢測所述一個或多個對象的圖像金字塔，其中，通過使用 比例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從進(jìn)行所述成像 的成像單元到要檢測的所述一個或多個對象的距離來預(yù)先設(shè)置的；使得所述確定裝置從所述圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢測所述一個 或多個對象的一個或多個檢測區(qū)域；以及使得所述對象檢測裝置從所述一個或多個檢測區(qū)域中檢測所述一個或多個對象。
19.一種由圖像處理設(shè)備的計算機執(zhí)行的程序，其中，所述圖像處理設(shè)備被配置成從通 過成像獲取的拍攝圖像中檢測被設(shè)置作為檢測目標(biāo)的一個或多個對象，所述程序使得所述 計算機起如下作用生成裝置，其用于生成用于檢測所述一個或多個對象的圖像金字塔，其中，通過使用比 例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從進(jìn)行所述成像的 成像單元到要檢測的所述一個或多個對象的距離來預(yù)先設(shè)置的；確定裝置，其用于從所述圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢測所述一個或 多個對象的一個或多個檢測區(qū)域；以及對象檢測裝置，其用于從所述一個或多個檢測區(qū)域中檢測所述一個或多個對象。
20.一種電子器件，其被配置成從通過成像獲取的拍攝圖像中檢測被設(shè)置作為檢測目 標(biāo)的一個或多個對象，并且基于所述檢測結(jié)果而進(jìn)行處理，所述電子器件包括生成裝置，其用于生成用于檢測所述一個或多個對象的圖像金字塔，其中，通過使用比 例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從進(jìn)行所述成像的 成像單元到要檢測的所述一個或多個對象的距離來預(yù)先設(shè)置的；確定裝置，其用于從所述圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢測所述一個或 多個對象的一個或多個檢測區(qū)域；以及對象檢測裝置，其用于從所述一個或多個檢測區(qū)域中檢測所述一個或多個對象。
21.—種圖像處理設(shè)備，其被配置成從通過成像獲取的拍攝圖像中檢測被設(shè)置作為檢 測目標(biāo)的一個或多個對象，所述圖像處理設(shè)備包括圖像金字塔生成器，其被配置成生成用于檢測所述一個或多個對象的圖像金字塔，其 中，通過使用比例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從 進(jìn)行所述成像的成像單元到要檢測的所述一個或多個對象的距離來預(yù)先設(shè)置的；檢測區(qū)域確定單元，其被配置成從所述圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢 測所述一個或多個對象的一個或多個檢測區(qū)域；以及對象檢測器，其被配置成從所述一個或多個檢測區(qū)域中檢測所述一個或多個對象。
22. 一種電子器件，其被配置成從通過成像獲取的拍攝圖像中檢測被設(shè)置作為檢測目 標(biāo)的一個或多個對象，并且基于所述檢測結(jié)果而進(jìn)行處理，所述電子器件包括圖像金字塔生成器，其被配置成生成用于檢測所述一個或多個對象的圖像金字塔，其 中，通過使用比例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據(jù)從 進(jìn)行所述成像的成像單元到要檢測的所述一個或多個對象的距離來預(yù)先設(shè)置的；檢測區(qū)域確定單元，其被配置成從所述圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢 測所述一個或多個對象的一個或多個檢測區(qū)域；以及對象檢測器，其被配置成從所述一個或多個檢測區(qū)域中檢測所述一個或多個對象。
全文摘要
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法、程序以及電子器件。該圖像處理設(shè)備從通過成像獲取的拍攝圖像中檢測被設(shè)置作為檢測目標(biāo)的一個或多個對象。圖像金字塔生成器生成用于檢測一個或多個對象的圖像金字塔，其中，通過使用比例來縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據(jù)從進(jìn)行成像的成像單元到要檢測的一個或多個對象的距離來預(yù)先設(shè)置的。檢測區(qū)域確定單元從圖像金字塔中的整個圖像區(qū)域當(dāng)中確定用于檢測一個或多個對象的一個或多個檢測區(qū)域。對象檢測器從一個或多個檢測區(qū)域中檢測一個或多個對象。
文檔編號G06K9/62GK102004918SQ201010270169
公開日2011年4月6日 申請日期2010年8月26日 優(yōu)先權(quán)日2009年9月2日
發(fā)明者后藤智彥, 孫赟, 阪井祐介, 鶴見辰吾 申請人:索尼公司