專利名稱：圖像處理裝置和控制圖像處理裝置的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、控制圖像處理裝置的方法和使得計算機執(zhí)行該方法的 程序，具體地涉及基于深度對圖像進行分類的圖像處理裝置、控制圖像處理裝置的方法和 使得計算機執(zhí)行該方法的程序。
背景技術(shù)：
近些年，能夠在拍攝圖像過程中測量被攝體的深度的圖像拾取設(shè)備變得普及。圖 像處理裝置執(zhí)行例如獲取由圖像拾取設(shè)備拍攝的圖像和深度的處理，并且基于深度對圖像 進行分類。
例如，公開了一種分類設(shè)備，它生成深度分布并且根據(jù)該分布中的深度離差 (dispersion)與閾值的比較結(jié)果對圖像進行分類(例如，日本專利公開No. 2006-244424)。 在深度離差小于閾值的情況下，這個分類設(shè)備將分類目標圖像分類成通過拍攝遠景獲得的 遠拍圖像。另一方面，在深度離差大于閾值的情況下，分類設(shè)備將分類目標圖像分類成通過 拍攝例如建筑物的物體獲得的目標拍攝圖像。發(fā)明內(nèi)容
然而，上述的分類設(shè)備可能不能夠明確地對圖像進行分類。例如，由于在圖像中拍 攝的物體的表面占據(jù)大面積并且均一的情況下深度離差小，所以即使拍攝的是該物體，圖 像仍被分類成通過拍攝風(fēng)景獲得的圖像。另外，由于在諸如人物和建筑物的物體占據(jù)風(fēng)景 的圖像的某部分的情況下深度離差大，所以即使拍攝的是風(fēng)景，圖像仍被分類成通過拍攝 物體獲得的圖像。
鑒于上述問題，期望提供一種基于深度明確對圖像進行分類的圖像處理裝置。
為了解決上述問題，根據(jù)本公開的一個實施例，提供了一種圖像處理裝置、圖像處 理裝置的控制方法和使得計算機執(zhí)行該方法的程序，該裝置包括圖像獲取部分，獲取圖 像；深度獲取部分，與包括在圖像中的像素相關(guān)聯(lián)地獲取深度；對象物檢測部分，檢測圖像 中的預(yù)定對象物的區(qū)域；對象物檢測距離選擇部分，選擇與包括在檢測到的區(qū)域中的像素 對應(yīng)的深度作為對象物檢測距離；局部最大距離選擇部分，選擇在所述深度的頻率分布中 具有局部最大頻率的深度作為局部最大距離；以及確定部分，根據(jù)對象物檢測距離的值與 局部最大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是通過拍攝所述對象 物而獲得的對象物圖像。因此，實現(xiàn)了一種效果，其中，根據(jù)對象物檢測距離的值與局部最 大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是對象物圖像。
根據(jù)本公開的以上實施例，對象物檢測部分可以檢測人物的面部區(qū)域作為對象物 的區(qū)域，并且在所述接近度高于預(yù)定值的情況下，確定部分可以確定所述圖像是通過拍攝 人物而獲得的人物圖像。因此，實現(xiàn)了一種效果，其中，檢測到人物的面部區(qū)域并且在接近 度高于預(yù)定值的情況下圖像被確定為人物圖像。
根據(jù)本公開的以上實施例，在確定圖像是人物圖像的情況下，確定部分當檢測到的面部區(qū)域的數(shù)目小于預(yù)定數(shù)目時可以確定該人物圖像是通過拍攝特定人物而獲得的肖像圖像，以及當檢測到的面部區(qū)域的數(shù)目等于或大于預(yù)定數(shù)目時可以確定該人物圖像是通過拍攝多個聚集人物而獲得的群體圖像。因此，實現(xiàn)了一種效果，其中，當面部區(qū)域的數(shù)目小于預(yù)定數(shù)目時人物圖像被確定為肖像圖像，以及當面部區(qū)域的數(shù)目大于或等于預(yù)定數(shù)目時人物圖像被確定為群體圖像。
根據(jù)本公開的以上實施例，在接近度高于預(yù)定值的情況下，確定部分可以確定圖像是對象物圖像以及在接近度等于或低于預(yù)定值的情況下確定圖像是通過拍攝風(fēng)景而獲得的風(fēng)景圖像。因此，實現(xiàn)了一種效果，其中，在接近度高于預(yù)定值的情況下圖像被確定為對象物圖像，以及在接近度等于或低于預(yù)定值的情況下圖像被確定為風(fēng)景圖像。
根據(jù)本公開的以上實施例，還可以包括記錄部分，該記錄部分與圖像相關(guān)聯(lián)地存儲由確定部分執(zhí)行的確定結(jié)果。因此，實現(xiàn)了一種效果，其中，與圖像相關(guān)聯(lián)地記錄確定結(jié)果O
根據(jù)本公開的另一個實施例，提供了一種圖像處理裝置，其包括圖像獲取部分， 獲取圖像；深度獲取部分，與包括在圖像中的像素相關(guān)聯(lián)地獲取深度；對象物檢測部分，檢測圖像中的預(yù)定對象物的區(qū)域；對象物檢測距離選擇部分，在檢測到對象物的區(qū)域的情況下選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作為對象物檢測距離；局部最大距離選擇部分，選擇在所述深度的頻率分布中具有局部 最大頻率的深度作為局部最大距離；以及確定部分，在選擇了對象物檢測距離的情況下根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像，以及在沒有選擇對象物檢測距離的情況下根據(jù)局部最大距離的值是否小于閾值確定所述圖像是否是微距圖像。因此，實現(xiàn)了一種效果，其中，在選擇了對象物距離的情況下確定所述圖像是否是對象物圖像，以及在沒有選擇對象物距離的情況下確定所述圖像是否是微距圖像。
根據(jù)本公開的以上實施例，在沒有選擇對象物檢測距離的情況下，當拍攝所述圖像的圖像拾取設(shè)備的超焦點距離或所述局部最大距離的值小于閾值時，確定部分可以確定所述圖像是微距圖像。因此，實現(xiàn)了一種效果，其中，在沒有選擇目標檢測距離的情 況下，當超焦點距離或者局部最大距離的值小于閾值時，圖像被確定為微距圖像。
因此，本技術(shù)具有的有益效果在于圖像處理裝置能夠基于深度明確地對圖像進行分類。


圖
圖
圖
圖
圖曲線圖
圖曲線圖；圖8是示出根據(jù)第一實施例的分類成群體圖像的圖像的例子的圖；圖9是示出根據(jù)第一實施例的分類成群體圖像的圖像的深度頻率分布的例子的 曲線圖；圖10是示出根據(jù)第一實施例的圖像處理裝置的操作例子的流程圖；圖11是示出根據(jù)第一實施例的圖像分類處理的例子的流程圖；圖12是示出根據(jù)第一實施例的拍攝目標分類處理的例子的流程圖；圖13A和圖13B是示出根據(jù)第一實施例的圖像拾取設(shè)備的結(jié)構(gòu)例子的整體視圖；圖14是示出根據(jù)第二實施例的圖像分類處理的例子的流程圖；圖15是示出根據(jù)第二實施例的拍攝距離分類處理的例子的流程圖；圖16是示出根據(jù)第二實施例的分類成微距圖像的圖像的例子的圖；圖17是示出根據(jù)第二實施例的分類成微距圖像的圖像的深度頻率分布的例子的 曲線圖；圖18是示出根據(jù)第二實施例的分類成風(fēng)景圖像的圖像的例子的圖；圖19是示出根據(jù)第二實施例的分類成風(fēng)景圖像的圖像的深度頻率分布的例子的 曲線圖；圖20是示出根據(jù)第二實施例的變型例的拍攝距離分類處理的例子的流程圖；圖21是示出根據(jù)第三實施例的圖像處理裝置的結(jié)構(gòu)例子的圖；圖22是示出根據(jù)第三實施例的附屬信息的數(shù)據(jù)結(jié)構(gòu)的例子的圖；圖23是示出根據(jù)第三實施例的圖像處理裝置的操作例子的流程圖；圖24是示出根據(jù)第三實施例的圖像分類處理的例子的流程圖；圖25是示出根據(jù)第四實施例的圖像處理裝置的結(jié)構(gòu)例子的框圖；圖26是示出根據(jù)第四實施例的圖像處理裝置的操作例子的流程圖。
具體實施例方式在下文中，將參照附圖詳細描述本公開的優(yōu)選實施例。要注意，在本說明書和附圖 中，功能和結(jié)構(gòu)基本相同的構(gòu)成部件由相同標號進行指示，并且省去了對這些構(gòu)成部件的
重復(fù)解釋。將在下文中按下面的順序描述根據(jù)本技術(shù)的優(yōu)選實施例(下文稱作實施例)。1.第一實施例(基于面部檢測距離和局部最大距離對圖像進行分類的例子)2.第二實施例(基于面部檢測距離和局部最大距離或者基于局部最大距離對圖像 進行分類的例子)3.第三實施例(在存儲圖像后把分類結(jié)果附加到圖像的例子)4.第四實施例(在存儲圖像前把分類結(jié)果附加到圖像的例子)<1.第一實施例>[圖像拾取設(shè)備結(jié)構(gòu)例子]圖1是示出根據(jù)第一實施例的圖像拾取設(shè)備100的結(jié)構(gòu)例子的框圖。圖像拾取設(shè) 備100包括操作部分110、拍攝鏡頭120、圖像傳感器130、模擬信號處理部分140、A/D (模 擬/數(shù)字)轉(zhuǎn)換部分150、圖像存儲器160和工作存儲器170。另外，圖像拾取設(shè)備100包括圖像數(shù)據(jù)存儲部分180、顯示部分190和圖像處理裝置300。圖像處理裝置300包括相機控 制部分310和圖像拾取設(shè)備控制部分320。
操作部分110經(jīng)由信號線111將與在觸摸面板、按鈕等上的用戶操作對應(yīng)的操作 信號輸出到圖像處理裝置300。將在下文中詳細描述該操作。
拍攝鏡頭120是用于拍攝圖像的鏡頭。圖像傳感器130將來自拍攝鏡頭120的光 轉(zhuǎn)換成電信號。圖像傳感器130經(jīng)由信號線131將轉(zhuǎn)換的電信號輸出到模擬信號處理部分 140。模擬信號處理部分140對來自圖像傳感器130的電信號執(zhí)行預(yù)定的模擬信號處理。模 擬信號處理包括用于除去放大器噪聲的⑶S (相關(guān)雙采樣)和用于自動控制增益的AGC (自 動增益控制)。模擬信號處理部分140經(jīng)由信號線141將在執(zhí)行處理后的電信號輸出到A/ D轉(zhuǎn)換部分150。
A/D轉(zhuǎn)換部分150將從模擬信號處理部分140輸出的模擬電信號轉(zhuǎn)換成數(shù)字信 號。A/D轉(zhuǎn)換部分150經(jīng)由信號線151將轉(zhuǎn)換的數(shù)字信號作為圖像數(shù)據(jù)輸出到圖像處理裝 置300。這種圖像數(shù)據(jù)被稱作RAW圖像數(shù)據(jù)，這是因為在從A/D轉(zhuǎn)換部分150輸出圖像數(shù)據(jù) 時的時刻沒有對圖像數(shù)據(jù)執(zhí)行諸如去馬賽克處理或壓縮處理的圖像處理。
圖像存儲器160臨時保持圖像數(shù)據(jù)。工作存儲器170臨時保持由圖像拾取設(shè)備控 制部分320執(zhí)行的工作的內(nèi)容。圖像數(shù)據(jù)存儲部分180存儲圖像數(shù)據(jù)。顯示部分190顯示 圖像以及圖像的分類結(jié)果。
相機控制部分310根據(jù)圖像拾取設(shè)備控制部分320的控制，執(zhí)行變焦控制和曝光 控制以從A/D轉(zhuǎn)換部分150獲取圖像數(shù)據(jù)。相機控制部分310從獲取的圖像數(shù)據(jù)中生成與 包括在圖像數(shù)據(jù)中的像素相關(guān)聯(lián)的深度。例如，該深度以米(m)為單位進行測量。相機控 制部分310將包括生成的深度的深度數(shù)據(jù)與圖像數(shù)據(jù)一起輸出到圖像拾取設(shè)備控制部分 320。
當從圖像拾取設(shè)備控制部分320接收到圖像數(shù)據(jù)和深度數(shù)據(jù)時，相機控制部分 310檢測圖像數(shù)據(jù)中的面部。相機控制部分310從為圖像數(shù)據(jù)生成的深度之中選擇與檢測 的面部的區(qū)域?qū)?yīng)的深度作為面部檢測距離。另外，相機控制部分310基于深度數(shù)據(jù)關(guān)于 每個圖像數(shù)據(jù)生成深度頻率分布并且從頻率分布中的深度值中選擇具有局部最大頻率的 深度作為局部最大距離。當從圖像拾取設(shè)備控制部分320接收到多個圖像數(shù)據(jù)時，相機控 制部分310關(guān)于每個圖像數(shù)據(jù)選擇面部檢測距離和局部最大距離。相機控制部分310將選 擇的面部檢測距離和局部最大距離輸出到圖像拾取設(shè)備控制部分320。
圖像拾取設(shè)備控制部分320控制整個圖像拾取設(shè)備100。具體地講，圖像拾取設(shè)備 控制部分320響應(yīng)于來自操作部分110的操作信號，經(jīng)由相機控制部分310執(zhí)行變焦控制 和曝光控制。圖像拾取設(shè)備控制部分320從相機控制部分310接收圖像數(shù)據(jù)和深度數(shù)據(jù)并 且將深度數(shù)據(jù)與圖像數(shù)據(jù)相關(guān)聯(lián)地存儲在圖像數(shù)據(jù)存儲部分180中。
另外，圖像拾取設(shè)備控制部分320響應(yīng)于來自操作部分110的操作信號經(jīng)由信號 線302從圖像數(shù)據(jù)存儲部分180讀取圖像數(shù)據(jù)和深度數(shù)據(jù)并且將圖像數(shù)據(jù)和深度數(shù)據(jù)輸出 到相機控制部分310。當從相機控制部分310接收到圖像數(shù)據(jù)和深度數(shù)據(jù)的面部檢測距離 和局部最大距離時，圖像拾取設(shè)備控制部分320基于這些距離對圖像進行分類。在下文將 詳細描述分類方法。
[圖像處理裝置結(jié)構(gòu)例子]
圖2是示出根據(jù)第一實施例的圖像處理裝置300的結(jié)構(gòu)例子的框圖。如上所述，圖 像處理裝置300包括相機控制部分310和圖像拾取設(shè)備控制部分320。相機控制部分310 包括鏡頭驅(qū)動部分311、圖像獲取部分312、深度生成部分313、面部檢測部分314、面部檢測 距離選擇部分315和局部最大距離選擇部分316。圖像拾取設(shè)備控制部分320包括操作信 號分析部分321、深度數(shù)據(jù)附加部分322、圖像獲取部分323、深度獲取部分324和圖像分類 部分325。
操作信號分析部分321對來自操作部分110的操作信號進行分析。例如，用戶能 夠通過操作操作部分110改變變焦倍率。通過操作操作部分110，用戶能夠使得存儲在圖 像數(shù)據(jù)存儲部分180中的圖像數(shù)據(jù)被讀取并且使得顯示部分190顯示該圖像數(shù)據(jù)。另外， 通過操作操作部分110，用戶能夠指定多個圖像類型中的任何一個并且使得圖像處理裝置 300搜索屬于指定的圖像類型的圖像數(shù)據(jù)。例如，圖像類型包括人物圖像、風(fēng)景圖像和微距 圖像。人物圖像包括肖像圖像和群體圖像。這里，人物圖像是通過對作為主要被攝體的人 物進行拍攝獲得的圖像。肖像圖像是通過對作為主要被攝體的幾個(例如，少于3個)特定 人物進行拍攝獲得的人物圖像。群體圖像是通過對作為主要被攝體的多個(例如，3人以上) 的聚集人物進行拍攝獲得的人物圖像。風(fēng)景圖像是通過對作為主要被攝體的風(fēng)景進行拍攝 獲得的圖像。微距圖像是通過對作為主要被攝體的迫近被攝體進行拍攝獲得的圖像。
鏡頭驅(qū)動部分311控制拍攝鏡頭120的位置。具體地講，當從操作信號分析部分 321接收到改變后的變焦倍率的值時，鏡頭驅(qū)動部分311經(jīng)由信號線301獲取拍攝鏡頭120 的當前位置。接下來，鏡頭驅(qū)動部分311經(jīng)由信號線301向拍攝鏡頭120輸出基于改變后 的變焦倍率的值控制拍攝鏡頭120的位置的控制信號。
圖像獲取部分312獲取從A/D轉(zhuǎn)換部分150輸出的圖像數(shù)據(jù)。獲取的圖像數(shù)據(jù)由 圖像存儲器160臨時保持。圖像獲取部分312將獲取的圖像數(shù)據(jù)輸出到深度數(shù)據(jù)附加部分 322。
深度生成部分313與包括在拍攝圖像數(shù)據(jù)中的像素相關(guān)聯(lián)地生成深度。例如，深 度生成部分313通過相差檢測方法生成深度。具體地講，深度生成部分313檢測由分離透 鏡分離的被攝體的兩個像之間的間隙(相差)并且根據(jù)檢測的相差生成到被攝體的距離作 為深度。深度生成部分313將與像素相關(guān)聯(lián)地生成的深度輸出到深度數(shù)據(jù)相加部分322作 為深度數(shù)據(jù)。要注意，深度生成部分313可以通過相差檢測之外的方法生成深度。例如，深 度生成部分313可以在被攝體上照射激光束并且檢測激光束的反射光以基于從照射時刻 到檢測時刻的延遲時間來測量深度。
深度數(shù)據(jù)附加部分322恰當?shù)貕嚎s從圖像獲取部分312輸出的圖像數(shù)據(jù)并且與圖 像數(shù)據(jù)相關(guān)聯(lián)地存儲深度數(shù)據(jù)。例如，當壓縮圖像數(shù)據(jù)時，深度數(shù)據(jù)相加部分322根據(jù)JPEG (聯(lián)合圖像專家組)標準執(zhí)行壓縮。例如，當關(guān)聯(lián)深度數(shù)據(jù)時，深度數(shù)據(jù)附加部分322通過將 深度數(shù)據(jù)附加到圖像數(shù)據(jù)作為Exif (可交換圖像文件格式)的附屬信息，將深度數(shù)據(jù)與圖 像數(shù)據(jù)進行關(guān)聯(lián)。深度數(shù)據(jù)附加部分322將圖像數(shù)據(jù)以及關(guān)聯(lián)的深度數(shù)據(jù)輸出到圖像數(shù)據(jù) 存儲部分180作為數(shù)據(jù)文件。
圖像獲取部分323通過讀取存儲在圖像數(shù)據(jù)存儲部分180中的圖像數(shù)據(jù)，獲取圖 像數(shù)據(jù)。圖像獲取部分323將獲取的圖像數(shù)據(jù)輸出到面部檢測部分314。深度獲取部分324 獲取附加到由圖像獲取部分323讀取的圖像數(shù)據(jù)的深度數(shù)據(jù)。深度獲取部分324將獲取的深度數(shù)據(jù)輸出到面部檢測距離選擇部分315和局部最大距離選擇部分316。
面部檢測部分314檢測圖像數(shù)據(jù)中的人面部的區(qū)域。具體地講，面部檢測部分314 根據(jù)被攝體的色彩和形狀提取圖像數(shù)據(jù)中的被假定為面部的被攝體的區(qū)域。面部檢測部分 314通過執(zhí)行該區(qū)域與預(yù)先在數(shù)據(jù)庫中登記的模板圖像的匹配，確定該區(qū)域是否是面部區(qū)域。面部檢測部分314將檢測的面部區(qū)域中的像素的坐標數(shù)據(jù)輸出到面部檢測距離選擇部分315作為面部區(qū)域數(shù)據(jù)。注意，面部檢測部分314是本公開的權(quán)利要求中的對象物檢測部分的例子。面部檢測部分314可以通過上述模板匹配之外的方法檢測面部區(qū)域。
面部檢測距離選擇部分315從在圖像數(shù)據(jù)上生成的深度之中選擇與圖像數(shù)據(jù)中的檢測的面部區(qū)域中的像素對應(yīng)的深度作為面部檢測距離z_obj。在從圖像數(shù)據(jù)檢測到多個面部區(qū)域的情況下，面部檢測距離選擇部分315關(guān)于每個面部區(qū)域選擇面部檢測距離。 面部檢測距離選擇部分315將選擇的面部檢測距離z_obj輸出到圖像分類部分325。要注意，面部檢測距離選擇部分315是本發(fā)明的權(quán)利要求中的對象物檢測距離選擇部分的例子。
局部最大距離選擇部分316關(guān)于每個圖像數(shù)據(jù)生成深度頻率分布并且選擇在頻率分布中具有局部最大頻率的深度作為局部最大距離z_lmax。具體地講，局部最大距離選擇部分316首先關(guān)于深度z的每個值對該值在深度數(shù)據(jù)中出現(xiàn)次數(shù)進行計數(shù)作為頻率。在深度z的值可采取η個(η是等于或大于I的整數(shù))方法的情況下，假設(shè)這些值是深度Zi (i 是從O到η-1的整數(shù) )以及對η元組Zi計數(shù)的頻率F的值是Fi,能夠獲得在從(Z(l，F(xiàn)tl)到 (Zn-PFlri)的范圍內(nèi)的頻率分布。例如，在這個頻率分布中隨著i的增加頻率Fi持續(xù)增加直到達到某點P并且在通過點P以后頻率Fi持續(xù)下降的情況下，局部最大距離選擇部分316 確定點P是局部最大點。局部最大距離選擇部分316選擇局部最大點P處的深度作為局部最大距離z_lmax并且將結(jié)果輸出到圖像分類部分325。
注意，局部最大距離選擇部分316可以通過預(yù)定分布函數(shù)來近似頻率分布并且選擇分布函數(shù)的局部最大點處的深度作為局部最大距離。在這種情況下，例如，局部最大距離選擇部分316通過m次(m是大于I的整數(shù))多項式定義分布函數(shù)，并且通過最小二乘法計算多項式的次數(shù)m和系數(shù)。局部最大距離選擇部分316通過計算分布函數(shù)的微分值計算局部最大點。
圖像分類部分325根據(jù)對象檢測距離z_obj的值與局部最大距離z_lmax的值之間的接近度是否高于預(yù)定值，確定圖像是否是人物圖像。具體地講，當值z_obj與值z_lmax 之間的差的絕對值小于閾值S時圖像分類部分325確定圖像是人物圖像并且將該圖像分類成人物圖像。例如，閾值δ設(shè)置成0.2米(m)。這里,在z_obj和z_lmax中的至少一個是復(fù)數(shù)個的情況下，圖像分類部分325計算z_obj和z_lmax的所有組合的差并且當任何差的絕對值小于閾值δ時確定圖像是人物圖像。這里，局部最大距離是與圖像中的面積比周圍區(qū)域大的區(qū)域?qū)?yīng)的距離，并且面部檢測距離的值接近局部最大距離的值的事實意味著人物占據(jù)了圖像的相對大部分。人物占據(jù)相對大部分的圖像很可能是人物圖像。因此，圖像分類部分325能夠根據(jù)面部檢測距離與局部最大距離的值之間的接近度，明確地將圖像分類成人物圖像或者不分類成人物圖像。
在圖像是人物圖像的情況下，圖像分類部分325當面部區(qū)域的數(shù)目小于預(yù)定數(shù)目 (例如，3)時將人物圖像分類成肖像圖像，并且當面部區(qū)域的數(shù)目等于或大于預(yù)定數(shù)目時將人物圖像分類成群體圖像。
當差的絕對值等于或大于閾值δ時圖像分類部分325確定圖像是風(fēng)景圖像并且將圖像分類成風(fēng)景圖像。當分類的圖像是屬于用戶指定的圖像類型的圖像時，圖像分類部分325將圖像的標題和縮略圖作為搜索結(jié)果輸出到顯示部分190。注意，圖像分類部分325 是本公開的權(quán)利要求中的確定部分的例子?；蛘?，圖像分類部分325可以將圖像的分類結(jié)果輸出到顯示部分190。
[數(shù)據(jù)文件結(jié)構(gòu)]
圖3是示出了根據(jù)第一實施例的數(shù)據(jù)文件的數(shù)據(jù)結(jié)構(gòu)的例子的圖。在Exif標準下生成該數(shù)據(jù)文件。
在數(shù)據(jù)文件中，順序存儲圖像開始標記(SOI)、應(yīng)用標記段I (APP1)、定義量化表 (DQT)和定義哈夫曼表(DHT)。然后，在幀頭開始標記(SOF)和掃描頭開始標記(SOS)后，存儲壓縮數(shù)據(jù)的主體以及存儲圖像結(jié)束標記(Ε0Ι)。壓縮的數(shù)據(jù)是根據(jù)例如JPEG標準的壓縮格式進行壓縮的圖像數(shù)據(jù)。然后，在圖像處理裝置300中生成的深度數(shù)據(jù)被緊接著圖像結(jié)束標記(EOI)存儲。注意，盡管圖像處理裝置300將深度數(shù)據(jù)緊接著Exif標準的EOI存儲， 但是深度數(shù)據(jù)可以存儲在其它區(qū)域中，只要深度數(shù)據(jù)能夠與圖像數(shù)據(jù)進行關(guān)聯(lián)即可。
APPl是存儲Exif附屬信息的區(qū)域。在APPl中，APPl長度在APPl標記后進行定義。隨后，在Exif識別碼后存儲TIFF頭、主圖像IFD (第O個IFD)、主圖像IFD值(第O個 IFD值)等等。
圖4是根據(jù)第一實施例的分類成肖像圖像 的圖像510的例子。一個人物占據(jù)了圖像510的中心附近的相對大部分并且諸如云和地平線的風(fēng)景占據(jù)了背景部分。由于占據(jù)圖像的人物是一個人物，所以檢測到一個面部區(qū)域。由于特定人物被拍攝作為主要被攝體，所以圖像510是肖像圖像。
圖5是示出根據(jù)第一實施例的被分類成肖像圖像的圖像510的深度頻率分布的例子的曲線圖。在該圖中，生成了柱狀圖，其中，水平軸表示深度z，垂直軸表示頻率F，關(guān)于每個深度z，頻率F的幅值被表示為柱的高度。在這個柱狀圖中，存在兩個頻率F是局部最大的局部最大點Pl和P2，并且與這些點對應(yīng)的深度被分別選擇為局部最大距離Z_lmaxl和局部最大距離z_lmax2。局部最大距離z_lmaxl與面部檢測距離z_obj之間的差的絕對值小于閾值δ。此外，如上所述從圖像510檢測到一個面部區(qū)域。由于這個原因，圖像處理裝置 300將產(chǎn)生柱狀圖的圖像510分類成肖像圖像。
如上所述，圖像處理裝置300通過確定局部最大距離的值和面部檢測距離的值是否彼此接近并且面部區(qū)域的數(shù)目是否小于預(yù)定數(shù)目，能夠明確地將圖像分類成肖像圖像。 這是因為少數(shù)的特定人物通常作為主要被攝體占據(jù)了肖像圖像中的相對大部分，結(jié)果，面部區(qū)域的數(shù)目少并且常常發(fā)生面部檢測距離z_obj的值與局部最大距離z_lmax的值變得彼此接近。
圖6是根據(jù)第一實施例的要分類成風(fēng)景圖像的圖像520的例子。建筑物占據(jù)了這個圖像520的中心附近的相對大部分。接近建筑物，與建筑物的部分相比，人物占據(jù)了較小部分。因為風(fēng)景被拍攝為主要被攝體，所以圖像520是風(fēng)景圖像。
圖7是示出根據(jù)第一實施例的要分類成風(fēng)景圖像的圖像520中的深度頻率分布的例子的曲線圖。在該圖中，生成了柱狀圖，其中，水平軸表示深度z，垂直軸表示頻率F，并且關(guān)于每個深度z，頻率F的幅值被表示為柱的高度。在這個柱狀圖中，存在兩個頻率F是 局部最大的局部最大點Pl和P2，并且與這些點對應(yīng)的深度被分別選擇為局部最大距離z_ Imaxl和局部最大距離z_lmax2。局部最大距離z_lmaxl與面部檢測距離z_obj之間的差 的絕對值等于或大于閾值S。由于這個原因，圖像處理裝置300將表示為這種柱狀圖的圖 像520分類成風(fēng)景圖像。
如上所述，通過確定局部最大距離的值與面部檢測距離的值是否彼此接近，圖像 處理裝置300能夠明確地將圖像分類成風(fēng)景圖像。這是因為，盡管人物占據(jù)了風(fēng)景圖像的 某部分，但是該部分小于周圍風(fēng)景的部分并且常常發(fā)生面部檢測距離z_obj的值與局部最 大距離z_lmax的值之間的差的絕對值變得較大。
圖8是根據(jù)第一實施例的要被分類成群體圖像的圖像530的例子。多個聚集的人 物分別占據(jù)了圖像530的某部分。因為占據(jù)某部分的人物是三個人物以上，所以檢測到三 個以上的面部區(qū)域。因為聚集的人物被拍攝為主要被攝體，所以圖像530是群體圖像。
圖9是示出根據(jù)第一實施例的被分類成群體圖像的圖像530的深度頻率分布的例 子的曲線圖。在該圖中，生成了柱狀圖，其中，水平軸表示深度z，垂直軸表示頻率F，并且關(guān) 于每個深度z，頻率F的幅值被表示為柱的高度。在這個柱狀圖中，存在兩個頻率F是局部 最大的局部最大點Pl和P2，并且與這些點對應(yīng)的深度被分別選擇為局部最大距離z_lmaxl 和局部最大距離z_lmax2。由于三個以上的人物占據(jù)了某部分，所以包括面部檢測距離z_ objl到z_obj3的多個面部檢測距離被選擇。與從z_lmaxl到z_lmax3的局部最大距離的 各個差的絕對值的每一個小于閾值S。此外，如上所述從圖像530檢測到多個面部區(qū)域。 由于這個原因，圖像處理裝置300將被表示為這種柱狀圖的圖像530分類成群體圖像。
如上所述，通過確定局部最大距離的值與面部檢測距離的值是否彼此接近以及面 部區(qū)域的數(shù)目是否等于或大于預(yù)定數(shù)目，圖像處理裝置300能夠明確地將圖像分類成群體 圖像。這是因為多個人物通常作為主要被攝體占據(jù)了群體圖像中的相對大部分，結(jié)果，檢測 到的面部區(qū)域的數(shù)目大并且常常發(fā)生面部檢測距離z_obj的值與局部最大距離z_lmax的 值變得彼此接近。
[圖像處理裝置操作例子]
圖10是示出根據(jù)第一實施例的圖像處理裝置300的操作例子的流程圖。例如當 執(zhí)行用于圖像搜索的處理時這個操作啟動。圖像處理裝置300確定是否輸入了搜索目標的 圖像類型(步驟S901)。當沒有輸入圖像類型時(步驟S901 :否)，圖像處理裝置300返回到 步驟S901。
當輸入了圖像類型時(步驟S901 :是)，圖像處理裝置300從圖像數(shù)據(jù)存儲部分180 讀取未搜索的圖像數(shù)據(jù)(步驟S902)。另外，圖像處理裝置300從圖像數(shù)據(jù)存儲部分180讀 取與讀取的圖像數(shù)據(jù)對應(yīng)的深度數(shù)據(jù)(步驟S903)。圖像處理裝置300執(zhí)行基于局部最大距 離z_lmax和面部檢測距離z_obj對圖像進行分類的圖像分類處理(步驟S910)。圖像處理 裝置300基于圖像的分類結(jié)果，顯示圖像的搜索結(jié)果(步驟S941)。在執(zhí)行步驟S941后，圖 像處理裝置300終止用于圖像搜索的操作。
圖11是示出根據(jù)第一實施例的圖像分類處理的例子的流程圖。圖像處理裝置300 生成深度頻率分布并且選擇在深度頻率分布中具有局部最大頻率的深度作為局部最大距 離z_lmax(步驟S911)。此外，圖像處理裝置300檢測圖像數(shù)據(jù)中的面部區(qū)域(步驟S912)。圖像處理裝置300選擇與包括在面部區(qū)域中的像素對應(yīng)的深度作為面部檢測距離z_obj (步驟S913)。圖像處理裝置300執(zhí)行關(guān)注于拍攝目標的類型而對圖像進行分類的拍攝目標分類處理(步驟S920)。在執(zhí)行步驟S920后，圖像處理裝置300終止圖像分類處理。
圖12是示出根據(jù)第一實施例的拍攝目標分類處理·的例子的流程圖。圖像處理裝置300確定局部最大距離z_lmax與面部檢測距離z_obj之間的差的絕對值是否小于閾值 δ (步驟S921)。當差的絕對值小于閾值δ時(步驟S921 :是)，圖像處理裝置300將圖像分類成人物圖像。此外，圖像處理裝置300確定人物圖像是否包括三個人物或更多(步驟 S922)。在人物圖像包括小于三個人物的情況下(步驟S922 :否)，圖像處理裝置300將人物圖像分類成肖像圖像(步驟S923)。在人物圖像包括三個人物或更多的情況下(步驟S922 是)，圖像處理裝置300將人物圖像分類成群體圖像(步驟S924)。
在局部最大距離z_lmax與面部檢測距離z_obj之間的差的絕對值大于或等于閾值δ的情況下(步驟S921 :否)，圖像處理裝置300將圖像分類成風(fēng)景圖像(步驟S925)。在執(zhí)行步驟S923、S924或S925后，圖像處理裝置300終止拍攝目標分類處理。
圖13Α和圖13Β是示出根據(jù)第一實施例的圖像拾取設(shè)備100的結(jié)構(gòu)例子的整體視圖。圖13Α示出了圖像拾取設(shè)備100的頂面和正面的例子，圖13Β示出了圖像拾取設(shè)備100 的背面的例子。在圖像拾取設(shè)備100的頂面上，設(shè)置有變焦控制桿101、快門按鈕102、播放按鈕103和電源按鈕104。在圖像拾取設(shè)備100的正面上，設(shè)置有拍攝鏡頭105、AF (自動對焦)照明器106和鏡頭蓋107。在圖像拾取設(shè)備100的背面上，設(shè)置有觸摸屏108。
變焦控制桿101是用于執(zhí)行變焦控制操作的控制桿?？扉T按鈕102是用于拍攝被攝體的照片的按鈕。播放按鈕103是用于顯示圖像數(shù)據(jù)的按鈕。電源按鈕104是用于對圖像拾取設(shè)備100供電或停電的按鈕。拍攝鏡頭105是用于拍攝圖像的鏡頭。當自動對焦功能被激活時，AF照明器106發(fā)光。鏡頭蓋107是可移至覆蓋拍攝鏡頭105的位置以保護拍攝鏡頭105的部件。觸摸屏108是實現(xiàn)通過手指等的觸摸對圖像拾取設(shè)備100進行操作的顯示器。
圖1所示的操作部分110包括圖13Α所示的變焦控制桿101、快門按鈕102、播放按鈕103和電源按鈕104。圖1所示的操作部分110和顯示部分190包括圖13Β所示的觸摸屏108。
如上所述，根據(jù)本技術(shù)的第一實施例，圖像處理裝置300能夠基于深度通過根據(jù)面部檢測距離和局部最大距離的值的接近度是否高于預(yù)定值確定圖像是否是人物圖像，明確地對圖像進行分類。因此，即使在人物占據(jù)風(fēng)景圖像的某部分的情況下，圖像處理裝置 300仍能夠明確地對圖像進行分類。
注意，盡管圖像處理裝置300檢測人物面部的區(qū)域，但是圖像處理裝置300可以檢測人物面部之外的例如動物面部和預(yù)定物體的對象物的區(qū)域。在這種情況下，當局部最大距離的值與對象物的檢測距離的值彼此接近時，圖像處理裝置300將圖像分類成通過拍攝對象物獲得的對象物圖像。
或者，盡管圖像處理裝置300進一步將人物圖像分類成肖像圖像或群體圖像，但是圖像處理裝置300可以不將人物圖像分類成肖像圖像或群體圖像。
〈2.第二實施例>
[圖像處理裝置操作例子]
將參照圖14到圖20描述本技術(shù)的第二實施例。根據(jù)第二實施例的圖像拾取設(shè)備 100的結(jié)構(gòu)與圖1所示的根據(jù)第一實施例的圖像拾取設(shè)備100的結(jié)構(gòu)類似。根據(jù)第二實施例的圖像處理裝置300的結(jié)構(gòu)與圖2所示的根據(jù)第一實施例的圖像處理裝置300類似。要注意，與第一實施例不同，在圖像分類處理中沒有檢測到面部區(qū)域的情況下，根據(jù)第二實施例的圖像處理裝置300還執(zhí)行拍攝距離分類處理。拍攝距離分類處理是關(guān)注于拍攝距離對圖像進行分類的處理，并且具體地，拍攝距離分類處理是根據(jù)局部最大距離的值是否小于閾值z_nth來確定圖像是否是微距圖像的處理。這里，閾值z_nth是預(yù)定實數(shù)并且例如設(shè)置為O. 5米(m)。
圖14是示出根據(jù)第二實施例的圖像分類處理的例子的流程圖。與第一實施例不同，在圖像分類處理中沒有檢測到面部區(qū)域的情況下，根據(jù)第二實施例的圖像處理裝置300 還執(zhí)行拍攝距離分類處理。在選擇了面部檢測距離后(步驟S913)，圖像處理裝置300確定是否檢測到面部區(qū)域(步驟S914)。在檢測到面部區(qū)域的情況下(步驟S914 :是)，圖像處理裝置300執(zhí)行拍攝目標分類處理(步驟S920)。在沒有檢測到面部區(qū)域的情況下(步驟S914 否)，圖像處理裝置300執(zhí)行拍攝距離分類處理，S卩，關(guān)注于拍攝距離而對圖像進行分類的處理(步驟S930)。在執(zhí)行步驟S920或步驟S930后，圖像處理裝置300終止圖像分類處理。
圖15是示出根據(jù)第二實施例的拍攝距離分類處理的例子的流程圖。圖像處理裝置300確定局部最大距離z_lmax是否小于閾值z_nth (步驟S933)。注意,在選擇了多個局部最大距離z_lmax的情況下，圖像處理裝置300將具有最大頻率F的局部最大點的局部最大距離z_lmax與閾值z_nth進行比較。
在局部最大距離z_lmax等于或大于閾值z_nth的情況下(步驟S933 :否)，圖像處理裝置300確定局部最大距離z_lmax是否大于閾值z_fth(步驟S934)。對于閾值z_fth, 設(shè)置大于閾值z_nth的實數(shù)(例如，10米)。
在局部最大距離z_lmax小于閾值z_nth的情況下(步驟S933 :是)，圖像處理裝置 300將圖像分類成微距圖像(步驟S935)。在局部最大距離z_lmax大于閾值z_fth的情況下(步驟S934 :是)，圖像處理裝置300將圖像分類成風(fēng)景圖像(步驟S936)。在局部最大距離z_lmax小于或等于閾值z_fth的情況下(步驟S934 :否)，圖像處理裝置300將圖像分類成其它圖像(步驟S937)。在執(zhí)行步驟S935、S936或S937后，圖像處理裝置300終止拍攝距離分類處理。
圖16是根據(jù)第二實施例的要被分類成微距圖像的圖像540的例子。微距拍攝的昆蟲占據(jù)了圖像540的中心附近的某部分。由于沒有人物占據(jù)了圖像540的部分，所以沒有檢測到面部區(qū)域。由于迫近被攝體被拍攝為主要被攝體，所以圖像540是微距圖像。
圖17是示出根據(jù)第二實施例的分類成微距圖像的圖像540的深度頻率分布的例子的曲線圖。在該圖中，生成了柱狀圖，其中，水平軸表示深度z而垂直軸表示頻率F，并且關(guān)于每個深度z，頻率F的幅度被表示為柱的高度。在這個柱狀圖中，與頻率F為局部最大的局部最大點P對應(yīng)的深度被選擇為局部最大距離z_lmax。局部最大距離z_lmax的值小于閾值z_nth。此外，如上所述沒有從圖像540檢測到面部區(qū)域。由于這個原因，圖像處理裝置300將被表示為這種柱狀圖的圖像540分類成微距圖像。
如上所述，通過確定局部最大距離的值是否小于閾值并且是否檢測到面部區(qū)域， 圖像處理裝置300能夠明確地將圖像分類成微距圖像。這是因為人物之外的微距拍攝的被攝體通常占據(jù)了微距圖像中的相對大部分，結(jié)果，沒有檢測到面部區(qū)域并且常常發(fā)生局部 最大距離z_lmax的值變得較小。
圖18是根據(jù)第二實施例的分類成風(fēng)景圖像的圖像550的例子。諸如云和地平線 的遠方風(fēng)景占據(jù)圖像550的某部分。因為風(fēng)景被拍攝為主要被攝體，所以圖像550是風(fēng)景 圖像。
圖19是示出根據(jù)第二實施例的分類成風(fēng)景圖像的圖像550的深度頻率分布的例 子的曲線圖。在該圖中，生成了柱狀圖，其中，水平軸表示深度z，垂直軸表示頻率F，并且關(guān) 于每個深度z，頻率F的幅度被表示為柱的高度。在這個柱狀圖中，與頻率F為局部最大的 局部最大點P對應(yīng)的深度被選擇為局部最大距離z_lmax。局部最大距離z_lmax的值大于 閾值z_fth。由于這個原因，圖像處理裝置300將被表示為這種柱狀圖的圖像550分類成風(fēng) 景圖像。
圖像處理裝置300通過確定局部最大距離的值是否大于閾值能夠明確地將圖像 分類成風(fēng)景圖像。這是因為遠方風(fēng)景通常占據(jù)風(fēng)景圖像的某部分作為主要被攝體，常常發(fā) 生局部最大距離z_lmax的值變得較大。
如上所述，根據(jù)本技術(shù)的第二實施例，圖像處理裝置300根據(jù)局部最大距離的值 的大小以及面部檢測距離的值與局部最大距離的值之間的接近度，能夠明確地將圖像分類 成微距圖像或人物圖像。
[變型例]
將參照圖20描述根據(jù)第二實施例的變型例。圖20是示出根據(jù)第一變型例的拍攝 距離分類處理的例子的流程圖。與第二實施例不同，在本變型例的拍攝距離分類處理中，即 使在超焦點距離H的值小于閾值的情況下，圖像處理裝置300仍確定圖像是微距圖像。這 里，超焦點距離H是在對距離H處的被攝體進行對焦的情況下景深在從H/2到無窮遠的范 圍內(nèi)延伸的距離。在超焦點距離H的值小于閾值z_nth的情況下，假設(shè)對低于閾值的距離 處的被攝體進行對焦拍攝。因此，圖像處理裝置300能夠確定圖像是微距圖像。
在拍攝距離分類處理中，圖像處理裝置300計算超焦點距離H(步驟S931)。例如， 通過下面的公式I計算超焦點距離H的值。在下面的公式I中，N表示孔徑值，c表示圖像 中允許焦外成像的容許彌散圓(permissible circle of confusion)的直徑。例如,H和c 以米(m)為單位測量。
H=f~2/(Nc) 公式 I
圖像處理裝置300確定超焦點距離H的值是否小于閾值z_nth(步驟S932)。在超 焦點距離H的值小于閾值z_nth的情況下(步驟S932 :是)，圖像處理裝置300將圖像分類成 微距圖像(步驟S935)。在超焦點距離H的值等于或大于閾值z_nth的情況下(步驟S932 否)，圖像處理裝置300確定局部最大距離z_lmax的值是否小于閾值z_nth (步驟S933)。 步驟S933后的處理步驟與第二實施例中的那些步驟類似。
如上所述，根據(jù)第二實施例的變型例，在超焦點距離或局部最大距離的值小于閾 值的情況下，圖像處理裝置300能夠確定圖像是微距圖像。即，圖像處理裝置300能夠?qū)⑽?距拍攝的被攝體占據(jù)相對大部分的圖像或?qū)ζ冉粩z體聚焦的圖像分類成微距圖像。
〈3.第三實施例〉
[圖像處理裝置結(jié)構(gòu)例子]
將參照圖21到圖24描述本技術(shù)的第三實施例。根據(jù)第三實施例的圖像拾取設(shè)備 100的結(jié)構(gòu)與圖1所示的根據(jù)第一實施例的圖像拾取設(shè)備100的結(jié)構(gòu)類似。圖21是示出根 據(jù)第三實施例的圖像處理裝置300的結(jié)構(gòu)例子的框圖。與第一實施例不同，根據(jù)第三實施 例的圖像處理裝置300在圖像拾取設(shè)備控制部分320中還包括分類結(jié)果附加部分326。第 三實施例的圖像分類部分325將分類結(jié)果還輸出到分類結(jié)果附加部分326。
分類結(jié)果附加部分326將由圖像分類部分325獲得的分類結(jié)果與圖像數(shù)據(jù)相關(guān)聯(lián) 地存儲在圖像數(shù)據(jù)存儲部分180中。分類結(jié)果附加部分326例如通過將分類結(jié)果作為Exif 標準下的標記附加到圖像數(shù)據(jù)，對二者進行關(guān)聯(lián)。注意，分類結(jié)果附加部分326是本公開的 權(quán)利要求中的記錄部分的例子。
此外，在分類結(jié)果附加到圖像數(shù)據(jù)的情況下，第三實施例的面部檢測距離選擇部 分315和局部最大距離選擇部分316不執(zhí)行面部檢測距離和局部最大距離的選擇。類似地， 在分類結(jié)果附加到圖像數(shù)據(jù)的情況下，圖像分類部分325不執(zhí)行圖像的分類而通過利用附 加的分類結(jié)果執(zhí)行搜索。
[數(shù)據(jù)文件結(jié)構(gòu)]
圖22是示出了根據(jù)第三實施例的數(shù)據(jù)文件中的附屬信息的數(shù)據(jù)結(jié)構(gòu)的例子的 圖。圖像數(shù)據(jù)的附屬信息(標記)存儲在應(yīng)用標記段I(APPl)中的第零個IFD中。附屬信息 被分段成版本標簽、用戶信息標簽、拍攝條件標簽等。版本標簽包括Exif版本和對應(yīng)flash fix版本。用戶信息標簽包括制造者注釋、用戶評論等。拍攝條件標簽包括曝光時間、F數(shù)、 鏡頭的焦距等。例如，分類結(jié)果附加部分326將分類結(jié)果存儲在制造者注釋的區(qū)域中。
[圖像處理裝置操作例子]
圖23是示出根據(jù)第三實施例的圖像處理裝置300的操作例子的流程圖。與在第 一實施例中執(zhí)行的操作不同，根據(jù)第三實施例的圖像處理裝置300還執(zhí)行步驟S904。
在讀取與圖像數(shù)據(jù)對應(yīng)的深度數(shù)據(jù)后(步驟S903)，圖像處理裝置300確定是否將 分類結(jié)果附加到圖像數(shù)據(jù)(步驟S904)。在分類結(jié)果沒有附加到圖像數(shù)據(jù)的情況下(步驟 S904 :否)，圖像處理裝置300執(zhí)行圖像分類處理(步驟S910)。在分類結(jié)果附加到圖像數(shù)據(jù) (步驟S904 :是)的情況下或者在執(zhí)行步驟S910后，圖像處理裝置300顯示搜索結(jié)果(步驟 S941)。
圖24是示出根據(jù)第三實施例的圖像分類處理的例子的流程圖。與第一實施例不 同，在根據(jù)第三實施例的圖像分類處理中還執(zhí)行步驟S940。圖像處理裝置300執(zhí)行拍攝目 標分類處理(步驟S920)并且隨后將分類結(jié)果附加到圖像數(shù)據(jù)(步驟S940)。在執(zhí)行步驟 S940后，圖像處理裝置300終止圖像分類處理。
如上所述，根據(jù)第三實施例，在如需要圖像分類處理的圖像搜索的情況下圖像處 理裝置300對圖像進行分類并且將分類結(jié)果與圖像進行關(guān)聯(lián)，從而圖像處理裝置300能夠 省去隨后的原本必須的分類處理。
〈4.第四實施例〉
[圖像處理裝置結(jié)構(gòu)例子]
將參照圖25和圖26描述本技術(shù)的第四實施例。與第三實施例不同，根據(jù)第四實 施例的圖像處理裝置300不是在存儲圖像數(shù)據(jù)之后而是在之前將分類結(jié)果與圖像數(shù)據(jù)進 行關(guān)聯(lián)。圖25是示出根據(jù)第四實施例的圖像處理裝置300的結(jié)構(gòu)例子的框圖。與第三實施例不同，根據(jù)第四實施例的圖像處理裝置300包括附屬信息附加部分327以替代深度數(shù)據(jù)附加部分322、圖像獲取部分323、深度獲取部分324和分類結(jié)果附加部分326。附屬信息附加部分327通過將深度數(shù)據(jù)和分類結(jié)果附加到圖像數(shù)據(jù)而存儲圖像數(shù)據(jù)。第四實施例的圖像獲取部分312將圖像數(shù)據(jù)輸出到附屬信息附加部分327。第四實施例的深度生成部分 313將深度數(shù)據(jù)輸出到附屬信息附加部分327、面部檢測距離選擇部分315和局部最大距離選擇部分316。第四實施例的面部檢測部分314檢測從A/D轉(zhuǎn)換部分150輸出的圖像數(shù)據(jù)中的面部區(qū)域。
[圖像處理裝置操作例子]
圖26是示出根據(jù)第四實施例的圖像處理裝置300的操作例子的流程圖。例如當執(zhí)行用于拍攝被攝體的處理時，這個操作啟動。圖像處理裝置300確定是否按下了快門按鈕 (步驟S951)。當沒有按下快門按鈕時(步驟S951 :否)，圖像處理裝置300返回到步驟S951。
當按下了快門按鈕時(步驟S951 :是)，圖像處理裝置300從A/D轉(zhuǎn)換部分150獲取圖像數(shù)據(jù)(步驟S952 )。圖像處理裝置300與包括在圖像數(shù)據(jù)中的像素相關(guān)聯(lián)地生成深度 (步驟S953)。然后，圖像處理裝置300執(zhí)行圖像分類處理(步驟S960)。根據(jù)第四實施例的圖像分類處理是與圖11所示的根據(jù)第一實施例的圖像分類處理(步驟S910)類似的處理。 圖像處理裝置300通過將分類結(jié)果和深度數(shù)據(jù)附加到圖像數(shù)據(jù)將圖像數(shù)據(jù)存儲在圖像數(shù)據(jù)存儲部分180中(步驟S970)。在執(zhí)行步驟S970后，圖像處理裝置300終止用于拍攝被攝體的處理。
如上所述，根據(jù)第四實施例，在通過在存儲圖像數(shù)據(jù)之前將分類結(jié)果與圖像數(shù)據(jù)進行關(guān)聯(lián)來存儲圖像數(shù)據(jù)后，圖像處理裝置300能夠省去圖像的分類處理。
注意，在第三和第四實施例中，圖像處理裝置300可以將選擇的局部最大距離附加到圖像數(shù)據(jù)以替代分類結(jié)果。結(jié)果，讀取了已附加了局部最大距離的圖像數(shù)據(jù)的圖像處理裝置不需要生成頻率分布以及選擇局部最大距離。此外，在附加局部最大距離后圖像處理裝置300改變圖像分類處理的內(nèi)容并且對圖像再分類的情況下，例如，變得不需要選擇局部最大距離。具體地講，在圖像處理裝置300改變閾值δ、閾值z_nth或者閾值2_代1!并且對圖像再分類的情況下，不必再次選擇局部最大距離。
上述實施例指示用于實現(xiàn)本公開的例子和根據(jù)實施例的事項，上述例子和事項的每一個與下面解釋的權(quán)利要求中要求的元素具有對應(yīng)關(guān)系。類似地，權(quán)利要求中要求的元素的每一個與具有相同名稱的根據(jù)本技術(shù)的實施例的事項具有對應(yīng)關(guān)系。然而，本公開不限于這些實施例。在不脫離本公開的精神的情況下可以應(yīng)用多種變型以實施本公開。
另外，以上實施例中的上述過程可被認作具有這一系列過程的方法或者使得計算機執(zhí)行這一系列過程的程序或者存儲該程序的存儲介質(zhì)。存儲介質(zhì)可以包括⑶(緊湊盤)、 MD (迷你盤)、DVD (數(shù)字多功能盤)、記憶卡、藍光盤 、諸如閃存的非易失性存儲器等。
此外，本技術(shù)還可以被構(gòu)造如下。
(I) 一種圖像處理裝置，包括
圖像獲取部分，獲取圖像；
深度獲取部分，與包括在圖像中的像素相關(guān)聯(lián)地獲取深度；
對象物檢測部分，檢測圖像中的預(yù)定對象物的區(qū)域；
對象物檢測距離選擇部分，選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作為對象物檢測距離；
局部最大距離選擇部分，選擇在所述深度的頻率分布中具有局部最大頻率的深度 作為局部最大距離；以及
確定部分，根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高于 預(yù)定值，確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像。
(2)根據(jù)(I)的圖像處理裝置，其中，對象物檢測部分檢測人物的面部區(qū)域作為對 象物的區(qū)域，以及
確定部分在所述接近度高于預(yù)定值的情況下確定所述圖像是通過拍攝所述人物 而獲得的人物圖像。
(3)根據(jù)(2)的圖像處理裝置，其中，在確定所述圖像是人物圖像的情況下，當檢 測到的面部區(qū)域的數(shù)目小于預(yù)定數(shù)目時，確定部分確定該人物圖像是通過拍攝特定人物而 獲得的肖像圖像；以及當檢測到的面部區(qū)域的數(shù)目等于或大于預(yù)定數(shù)目時，確定部分確定 該人物圖像是通過拍攝多個聚集人物而獲得的群體圖像。
(4)根據(jù)(I)到(3)的任何一個的圖像處理裝置，其中，確定部分在所述接近度高 于預(yù)定值的情況下確定所述圖像是對象物圖像，并且在所述接近度等于或低于預(yù)定值的情 況下確定所述圖像是通過拍攝風(fēng)景而獲得的風(fēng)景圖像。
(5)根據(jù)(I)到(4)的任何一個的圖像處理裝置，還包括記錄部分，該記錄部分與 所述圖像相關(guān)聯(lián)地存儲由確定部分執(zhí)行的確定結(jié)果。
(6) 一種圖像處理裝置，包括
圖像獲取部分，獲取圖像；
深度獲取部分，與包括在圖像中的像素相關(guān)聯(lián)地獲取深度；
對象物檢測部分，檢測圖像中的預(yù)定對象物的區(qū)域；
對象物檢測距離選擇部分，在檢測到對象物的區(qū)域的情況下選擇與包括在檢測到 的區(qū)域中的像素對應(yīng)的深度作為對象物檢測距離；
局部最大距離選擇部分，選擇在所述深度的頻率分布中具有局部最大頻率的深度 作為局部最大距離；以及
確定部分，在選擇了對象物檢測距離的情況下，根據(jù)對象物檢測距離的值與局部 最大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是通過拍攝所述對象物而 獲得的對象物圖像，以及在沒有選擇對象物檢測距離的情況下根據(jù)局部最大距離的值是否 小于閾值確定所述圖像是否是微距圖像。
(7)根據(jù)(6)的圖像處理裝置，其中，在沒有選擇對象物檢測距離的情況下，當拍攝 所述圖像的圖像拾取設(shè)備的超焦點距離或所述局部最大距離的值小于閾值時，確定部分確 定所述圖像是微距圖像。
(8) 一種控制圖像處理裝置的方法，包括
由圖像獲取部分獲取圖像；
由深度獲取部分與包括在圖像中的像素相關(guān)聯(lián)地獲取深度；
由對象物檢測部分檢測圖像中的預(yù)定對象物的區(qū)域；
由對象物檢測距離選擇部分選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作 為對象物檢測距離；
由局部最大距尚選擇部分選擇在所述深度的頻率分布中具有局部最大頻率的深 度作為局部最大距離；以及
由確定部分根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高 于預(yù)定值來確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像。
(9) 一種使得計算機執(zhí)行如下處理的程序
由圖像獲取部分獲取圖像；
由深度獲取部分與包括在圖像中的像素相關(guān)聯(lián)地獲取深度；
由對象物檢測部分檢測圖像中的預(yù)定對象物的區(qū)域；
由對象物檢測距離選擇部分選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作 為對象物檢測距離；
由局部最大距離選擇部分選擇在所述深度的頻率分布中具有局部最大頻率的深 度作為局部最大距離；以及
由確定部分根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高 于預(yù)定值來確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像。
本領(lǐng)域技術(shù)人員應(yīng)該明白，可以根據(jù)設(shè)計要求和其它因素想到各種變型、組合、子 組合和變更，只要它們位于權(quán)利要求或它們的等同物的范圍內(nèi)即可。
本公開包含與于2011年9月20日提交到日本專利局的日本優(yōu)先權(quán)專利申請JP 2011-204032中公開的主題有關(guān)的主題，通過引用將其全部內(nèi)容并入本文。
權(quán)利要求
1.一種圖像處理裝置，包括 圖像獲取部分，獲取圖像； 深度獲取部分，與包括在圖像中的像素相關(guān)聯(lián)地獲取深度； 對象物檢測部分，檢測圖像中的預(yù)定對象物的區(qū)域； 對象物檢測距離選擇部分，選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作為對象物檢測距離； 局部最大距離選擇部分，選擇在所述深度的頻率分布中具有局部最大頻率的深度作為局部最大距離；以及 確定部分，根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像。
2.根據(jù)權(quán)利要求1的圖像處理裝置，其中，對象物檢測部分檢測人物的面部區(qū)域作為對象物的區(qū)域，以及 確定部分在所述接近度高于預(yù)定值的情況下確定所述圖像是通過拍攝所述人物而獲得的人物圖像。
3.根據(jù)權(quán)利要求2的圖像處理裝置，其中，在確定所述圖像是人物圖像的情況下，確定部分當檢測到的面部區(qū)域的數(shù)目小于預(yù)定數(shù)目時確定該人物圖像是通過拍攝特定人物而獲得的肖像圖像，以及當檢測到的面部區(qū)域的數(shù)目等于或大于預(yù)定數(shù)目時確定該人物圖像是通過拍攝多個聚集人物而獲得的群體圖像。
4.根據(jù)權(quán)利要求1的圖像處理裝置，其中，確定部分在所述接近度高于預(yù)定值的情況下確定所述圖像是對象物圖像以及在所述接近度等于或低于預(yù)定值的情況下確定所述圖像是通過拍攝風(fēng)景而獲得的風(fēng)景圖像。
5.根據(jù)權(quán)利要求1的圖像處理裝置，還包括記錄部分，該記錄部分與所述圖像相關(guān)聯(lián)地存儲由確定部分執(zhí)行的確定結(jié)果。
6.根據(jù)權(quán)利要求1的圖像處理裝置，還包括記錄部分，該記錄部分與所述圖像相關(guān)聯(lián)地存儲由局部最大距離選擇部分選擇的局部最大距離。
7.一種圖像處理裝置，包括 圖像獲取部分，獲取圖像； 深度獲取部分，與包括在圖像中的像素相關(guān)聯(lián)地獲取深度； 對象物檢測部分，檢測圖像中的預(yù)定對象物的區(qū)域； 對象物檢測距離選擇部分，在檢測到對象物的區(qū)域的情況下選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作為對象物檢測距離； 局部最大距離選擇部分，選擇在所述深度的頻率分布中具有局部最大頻率的深度作為局部最大距離；以及 確定部分，在選擇了對象物檢測距離的情況下根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像，以及在沒有選擇對象物檢測距離的情況下根據(jù)局部最大距離的值是否小于閾值確定所述圖像是否是微距圖像。
8.根據(jù)權(quán)利要求7的圖像處理裝置，其中，在沒有選擇對象物檢測距離的情況下，當拍攝所述圖像的圖像拾取設(shè)備的超焦點距離或所述局部最大距離的值小于閾值時，確定部分確定所述圖像是微距圖像。
9.一種控制圖像處理裝置的方法，包括 由圖像獲取部分獲取圖像； 由深度獲取部分與包括在圖像中的像素相關(guān)聯(lián)地獲取深度； 由對象物檢測部分檢測圖像中的預(yù)定對象物的區(qū)域； 由對象物檢測距離選擇部分選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作為對象物檢測距離； 由局部最大距離選擇部分選擇在所述深度的頻率分布中具有局部最大頻率的深度作為局部最大距離；以及 由確定部分根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像。
10.一種使得計算機執(zhí)行如下處理的程序 由圖像獲取部分獲取圖像； 由深度獲取部分與包括在圖像中的像素相關(guān)聯(lián)地獲取深度； 由對象物檢測部分檢測圖像中的預(yù)定對象物的區(qū)域； 由對象物檢測距離選擇部分選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作為對象物檢測距離； 由局部最大距離選擇部分選擇在所述深度的頻率分布中具有局部最大頻率的深度作為局部最大距離；以及 由確定部分根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像。
全文摘要
本發(fā)明涉及圖像處理裝置和控制圖像處理裝置的方法。提供了一種圖像處理裝置，包括圖像獲取部分，獲取圖像；深度獲取部分，與包括在圖像中的像素相關(guān)聯(lián)地獲取深度；對象物檢測部分，檢測圖像中的預(yù)定對象物的區(qū)域；對象物檢測距離選擇部分，選擇與包括在檢測到的區(qū)域中的像素對應(yīng)的深度作為對象物檢測距離；局部最大距離選擇部分，選擇在所述深度的頻率分布中具有局部最大頻率的深度作為局部最大距離；以及確定部分，根據(jù)對象物檢測距離的值與局部最大距離的值之間的接近度是否高于預(yù)定值確定所述圖像是否是通過拍攝所述對象物而獲得的對象物圖像。
文檔編號H04N5/232GK103020101SQ20121033882
公開日2013年4月3日 申請日期2012年9月13日 優(yōu)先權(quán)日2011年9月20日
發(fā)明者鈴木奈穂, 原野猛 申請人:索尼公司