專利名稱：圖像處理裝置、圖像處理方法和計算機程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理通過例如數(shù)字?jǐn)z像機捕獲的或由其他圖像輸入裝置輸入的圖像的圖像處理裝置、圖像處理方法和計算機程序，特別是，本發(fā)明涉及通過圖像處理來自動化至少一部分?jǐn)z像操作的圖像處理裝置、圖像處理方法和計算機程序。
具體地，本發(fā)明涉及用于自動地確定輸入圖像的組成的圖像處理裝置、圖像處理方法和計算機程序，特別是，本發(fā)明涉及以諸如人的目標(biāo)對象被示出的區(qū)域為基礎(chǔ)來自動地確定輸入圖像的組成的圖像處理裝置、圖像處理方法和計算機程序。
背景技術(shù)：
攝像機作為用于記錄可視信息的部件具有很長的歷史。近些年來，數(shù)字化所捕獲圖像的數(shù)字?jǐn)z像機被廣泛使用，取代了通過使用膠片或感光板而進(jìn)行曝光的膠片攝像機。數(shù)字?jǐn)z像機在存儲器中存儲數(shù)字化的圖像，并且向個人計算機或其他設(shè)備傳送所存儲的圖像，所述個人計算機或其他設(shè)備對于所傳送的圖像執(zhí)行圖像處理，并且存儲和管理所處理的圖像，在大顯示器上顯示所述圖像，打印出所述圖像以編輯包含所述圖像的相冊，或者將所述圖像作為文檔的一部分來粘貼。數(shù)字?jǐn)z像機具有優(yōu)點在于不需要顯影所捕獲的圖像以便觀看圖像；并且不存在膠片壽命的問題，因為數(shù)字?jǐn)z像機不使用膠片。
一般地，數(shù)字?jǐn)z像機具有與膠片攝像機大致相同的攝像操作。拍攝者將膠片攝像機聚焦在主體(subject)上，調(diào)整光圈和曝光量，執(zhí)行取景以便形成包括所述主體的適當(dāng)構(gòu)成，并且按下膠片攝像機的快門。為了抑制攝像機振動，拍攝者應(yīng)當(dāng)保持?jǐn)z像機穩(wěn)定或?qū)z像機安裝到三腳架。
這樣的攝像操作已經(jīng)在其自動化技術(shù)上發(fā)展，因此，甚至無經(jīng)驗的用戶也不可能拍攝失敗。例如，所述自動化技術(shù)包括自動聚焦、自動曝光、攝像機振動校正和自動快門。但是，受讓人假定在取景或確定所捕獲的圖像的構(gòu)成上沒有充分實現(xiàn)自動化。
例如，日本未審查的專利申請公開第8-262519號公開了具有自動取景功能的攝像機。攝像機自動設(shè)置構(gòu)成，其中，拍攝者的注視點(主體)位于圖像的中心，以避免諸如一部分主體落到圖像之外的拍攝失敗。
日本未審查專利申請公開第9-33986號公開了一種攝像機，它包括矩形顯示部件，包括取景基準(zhǔn)點，用于主體的光路上取景，以便用戶可以容易地設(shè)置主體的圖像的構(gòu)成。
在實際拍攝場景中，可能有這樣的情況其中，在主體和拍攝者之間有障礙物介入。在這種情況下，必須確定構(gòu)成以便在取景框中僅僅包括主體。具體地，如果這樣的障礙物正在移動，則難于在取景框中包括主體并且在避開障礙物的同時在正確的時刻釋放快門。另外，可能有這樣的情況其中，雖然所述主體被包括在取景框中，但是在畫面中顯示了不需要的對象的散焦的圖像--諸如用戶的手指或被安裝在攝像機主體上的帶子--而破壞了畫面。不可能通過根據(jù)主體來確定構(gòu)成的方法來完全地去除這樣的障礙物。因此，有可能在顯示圖像之前找不到這樣的障礙物，因此不可能再一次獲得拍攝照片的機會。
例如，當(dāng)用戶試圖使用數(shù)字?jǐn)z像機來拍攝期望的主體時，可以通過數(shù)字?jǐn)z像機的取景器來識別被用戶前面的人影遮住的所述主體，如圖14中所示。在這種情況下，期望不包括諸如人影的不需要的區(qū)域、并且具有預(yù)定長寬比的最大矩形區(qū)域被確定為構(gòu)成，如圖15中所示。但是，用戶必須人為地執(zhí)行這種復(fù)雜的確定。

發(fā)明內(nèi)容
期望提供良好的圖像處理裝置、圖像處理方法和計算機程序，它們能夠通過圖像處理來自動化攝像操作的至少一部分。
也期望提供良好的圖像處理裝置、圖像處理方法和計算機程序，它們能夠自動確定輸入圖像的構(gòu)成。
還期望提供良好的圖像處理裝置、圖像處理方法和計算機程序，它們能夠以諸如人的目標(biāo)對象被示出的區(qū)域為基礎(chǔ)來自動確定輸入圖像的構(gòu)成。
還期望提供良好的圖像處理裝置、圖像處理方法和計算機程序，它們能夠優(yōu)選地確定構(gòu)成，其中從原始圖像去除諸如障礙物之類的不需要的區(qū)域以提取目標(biāo)區(qū)域。
按照本發(fā)明的一個實施例，一種自動確定圖像的構(gòu)成的圖像處理裝置包括區(qū)域劃分部件，用于將輸入圖像劃分為區(qū)域；目標(biāo)區(qū)域確定部件，用于從所劃分的圖像確定具有較高可視性的目標(biāo)區(qū)域；不需要區(qū)域確定部件，用于從所劃分的圖像確定具有較低可視性的不需要區(qū)域；以及，構(gòu)成確定部件，用于從輸入圖像確定包括目標(biāo)區(qū)域和不包括不需要區(qū)域的構(gòu)成。
攝像操作已經(jīng)在其自動化技術(shù)上得到發(fā)展，因此，甚至無經(jīng)驗的用戶也不可能在拍攝中失敗。但是，取景，即確定由攝像機捕獲的圖像的構(gòu)成未充分地被自動化。例如，當(dāng)在主體和拍攝者之間有障礙物干擾時，必須確定構(gòu)成以便僅僅在取景框中包括所述主體。
相反，按照本發(fā)明的所述實施例的所述圖像處理裝置確定在所捕獲圖像中的具有較高可視性的目標(biāo)區(qū)域和在所捕獲圖像中的具有較低可視性的不需要區(qū)域，以自動地確定包括所述目標(biāo)區(qū)域和不包括所述不需要區(qū)域的構(gòu)成。因此，有可能從所捕獲的圖像提取不包括不需要對象的幀，所述不需要的對象包括在主體之前的人和/或懸在攝像機鏡頭上的用戶手指或帶子。
所述目標(biāo)區(qū)域確定部件可以對于輸入圖像執(zhí)行面部檢測，以根據(jù)檢測到面部的區(qū)域來確定目標(biāo)區(qū)域。
所述目標(biāo)區(qū)域確定部件可以執(zhí)行在所述輸入圖像和關(guān)于所述目標(biāo)對象的信息之間的匹配，以將具有較高匹配程度的區(qū)域確定為目標(biāo)區(qū)域。
所述目標(biāo)區(qū)域確定部件可以將具有較高吸引力的區(qū)域確定為目標(biāo)區(qū)域。從在輸入圖像中包括的每個對象的物理特性--諸如顏色、形狀、面積(每個對象和輸入圖像在面積上的比率)或紋理--來評估所述吸引力。
可以通過聚焦在主體上以拍攝的基本攝像操作來確定所述目標(biāo)區(qū)域和所述不需要區(qū)域。所述目標(biāo)區(qū)域確定部件和所述不需要區(qū)域確定部件可以根據(jù)每個區(qū)域獲得的聚焦程度來分別確定目標(biāo)區(qū)域和不需要區(qū)域。
在這種情況下，可以提取在輸入圖像中的每個被劃分圖像區(qū)域的邊，并且可以對于每個被劃分的圖像區(qū)域計算在所述邊圖像中的像素值的和，以獲得從使用邊的長度或面積來標(biāo)準(zhǔn)化所述像素值的和而產(chǎn)生的邊的數(shù)量來作為指示聚焦程度的值。所述不需要區(qū)域確定部件可以將在輸入圖像中具有較小邊數(shù)量的外圍區(qū)域確定為不需要區(qū)域。
取代以如上所述的方式來從所述圖像區(qū)域自動確定所述目標(biāo)區(qū)域和不需要區(qū)域，可以在區(qū)域劃分后按照由用戶使用用戶輸入部件而手動進(jìn)行的選擇來確定所述目標(biāo)區(qū)域和不需要區(qū)域的至少一個。
所述區(qū)域劃分部件通過所謂的網(wǎng)格分段(mesh segmentation)來集成其中每個包括一個或多個像素的多邊形網(wǎng)格以提取圖像區(qū)域。所述網(wǎng)格分段一般是基于在相鄰的圖像區(qū)域之間的類似性。按照本發(fā)明的所述實施例，根據(jù)關(guān)于是否使用統(tǒng)計算法來集成相鄰的圖像區(qū)域的確定而以期望的密度來產(chǎn)生圖像區(qū)域。
可以高速地執(zhí)行基于所述統(tǒng)計算法的圖像區(qū)域的集成，因為通過簡單的計算來執(zhí)行所述集成，其中，以統(tǒng)計方式來處理所述多邊形區(qū)域。例如，諸如個人計算機之類的普通計算機器可以用于處理大約每秒一百萬個多邊形。另外，在斷言(predicate)中包括的參數(shù)值的調(diào)整允許適當(dāng)?shù)卦O(shè)置集成圖像區(qū)域的標(biāo)準(zhǔn)，以便以期望的密度產(chǎn)生多邊形網(wǎng)格，因此提供可伸縮性(scalability)。
可以高速地執(zhí)行基于所述統(tǒng)計算法的圖像區(qū)域的集成，因為通過其中以統(tǒng)計方式來處理多邊形的區(qū)域的簡單計算而執(zhí)行所述集成。因此，可以對于也在其計算功率被限制的便攜器件--諸如數(shù)字?jǐn)z像機--中的圖像區(qū)域執(zhí)行所述區(qū)域劃分，并且有可能在區(qū)域劃分后實現(xiàn)所述圖像的自動取景。
按照本發(fā)明的另一個實施例，一種自動確定圖像的構(gòu)成的圖像處理方法包括步驟將輸入圖像劃分為多個區(qū)域；從所劃分的圖像確定具有較高可視性的目標(biāo)區(qū)域；從所劃分的圖像確定具有較低可視性的不需要區(qū)域；以及，從輸入圖像確定包括目標(biāo)區(qū)域和不包括不需要區(qū)域的構(gòu)成。
按照本發(fā)明的另一個實施例，一種使得計算機系統(tǒng)執(zhí)行自動確定圖像的構(gòu)成的處理的計算機可讀程序包括步驟將輸入圖像劃分為多個區(qū)域；從所劃分的圖像確定具有較高可視性的目標(biāo)區(qū)域；從所劃分的圖像確定具有較低可視性的不需要區(qū)域；以及，從輸入圖像確定包括目標(biāo)區(qū)域和不包括不需要區(qū)域的構(gòu)成。
按照本發(fā)明的這個實施例的計算機可讀程序是以計算機可讀形式被描述的，以便在計算機系統(tǒng)上實現(xiàn)預(yù)定的處理。換句話說，在計算機系統(tǒng)中安裝按照本發(fā)明的這個實施例的計算機可讀程序使得所述計算機系統(tǒng)執(zhí)行合作功能以提供類似于按照本發(fā)明的所述實施例的圖像處理裝置的那些的優(yōu)點。
按照本發(fā)明，有可能提供良好的圖像處理裝置、圖像處理方法和計算機程序，它們能夠根據(jù)諸如人的目標(biāo)對象被示出的區(qū)域來自動確定輸入圖像的構(gòu)成。
按照本發(fā)明，也可能提供良好的圖像處理裝置、圖像處理方法和計算機程序，它們能夠優(yōu)選地確定構(gòu)成，其中，從原始圖像中去除諸如障礙物之類的不需要的區(qū)域以提取目標(biāo)區(qū)域。
通過下面參見附圖來說明示例實施例，本發(fā)明的另外的特征和優(yōu)點將變得顯然。


圖1是示意地示出具有按照本發(fā)明的一個實施例的圖像處理裝置的功能的數(shù)字?jǐn)z像機的硬件結(jié)構(gòu)的示例的方框圖；圖2是示出按照本發(fā)明的一個實施例的用于實現(xiàn)自動取景的處理的流程圖；圖3示出了在自動取景中使用的輸入圖像的一個示例；圖4示出了在圖3中所示的輸入圖像進(jìn)行區(qū)域劃分后的圖像的一個示例；圖5示出了對應(yīng)于在圖3中所示的輸入圖像的邊圖像的一個示例；圖6示出了對于在圖4中所示的圖像中的圖像區(qū)域所計算的邊的數(shù)量；圖7示出了如何設(shè)置如圖6中所示的被劃分為多個區(qū)域的圖像中的構(gòu)成；圖8示出了按照在圖7中所示的構(gòu)成從所捕獲的圖像提取的幀；圖9示出了最簡單的鄰接圖(incidence graph)的一個示例；圖10示出了更復(fù)雜的鄰接圖的一個示例；圖11圖解了如何評估邊；圖12圖解了如何繪制視頻信息的鄰接圖；圖13是示出網(wǎng)格分段處理的例子的流程圖；圖14示出了當(dāng)在用戶前面的人影遮住期望的主體時通過液晶取景器識別的圖像；以及圖15示出了被確定為構(gòu)成的最大矩形區(qū)域，所述矩形區(qū)域不包括諸如人影之類的不需要區(qū)域，并且具有預(yù)定的長寬比。
具體實施例方式
現(xiàn)在參見附圖來說明本發(fā)明的實施例。
本發(fā)明涉及一種圖像處理裝置，它接收由例如數(shù)字?jǐn)z像機自動捕獲的圖像，并且自動確定所捕獲的圖像的構(gòu)成。所述圖像處理裝置根據(jù)諸如人的目標(biāo)對象被示出的區(qū)域來自動確定輸入圖像的構(gòu)成。這樣的圖像處理裝置的功能可以被安裝在個人計算機中，所述個人計算機用于存儲和管理由數(shù)字?jǐn)z像機捕獲的圖像或在數(shù)字?jǐn)z像機中的圖像。
圖1是示意地示出具有按照本發(fā)明的一個實施例的圖像處理裝置的功能的數(shù)字?jǐn)z像機的硬件結(jié)構(gòu)的示例的方框圖。在數(shù)字?jǐn)z像機100中的電路部件經(jīng)由總線113而彼此連接，并且在CPU 107的控制下執(zhí)行所捕獲的圖像的編碼、存儲和輸出。下面詳細(xì)說明所述電路部件。
拍攝單元101包括也在每個膠片攝像機中使用的拍攝透鏡。光學(xué)傳感器單元102包括傳感器元件陣列--諸如電荷耦合器件(CCD)或金屬氧化物半導(dǎo)體(MOS)--和所述元件的驅(qū)動電路，并且被提供在拍攝透鏡的圖像形成表面上。光學(xué)傳感器單元102將入射光轉(zhuǎn)換為對應(yīng)于每個像素的光強的電信號。
雖然在圖1中未示出，但是光學(xué)傳感器單元102也包括光圈，它按照在由拍攝單元101的拍攝中的光的發(fā)光度來調(diào)整曝光量；閃光燈單元，它用于在黑夜或暗處的拍攝。
圖像信號處理單元103數(shù)字化從光學(xué)傳感器單元102輸出的圖像信號以產(chǎn)生數(shù)字圖像。所產(chǎn)生的數(shù)字圖像被存儲在經(jīng)由存儲器接口104而連接到總線113的盒式存儲器105。存儲器105是非易失性存儲器，諸如電子可擦除和可編程的只讀存儲器(EEPROM)。雖然當(dāng)在存儲器105中寫入圖像時或當(dāng)顯示從存儲器105讀出的圖像時進(jìn)行圖像壓縮/解壓縮和其他編碼/解碼處理，但是在此省略所述處理的說明，因為所述處理不直接地與本發(fā)明相關(guān)聯(lián)。
外部接口106包括符合例如USB或IEEE 1394的串行輸出端。在存儲器105中存儲的圖像文件通過所述串行輸出端被傳送到外部器件，諸如個人計算機。外部接口106也包括視頻輸出端，通過它，數(shù)字圖像被作為視頻信號提供到顯示視頻信號的電視監(jiān)控器等。
數(shù)字?jǐn)z像機100包括顯示單元111和輸入操作單元112，它們作為用戶接口110。顯示單元111是例如液晶顯示器，并且也作為取景器。顯示單元111顯示從存儲器105讀出的圖像，并且提供操作屏幕，使用它來設(shè)置拍攝條件。輸入操作單元112包括機械操作單元，它包括快門和變焦調(diào)整鈕；觸摸板，它被疊放在顯示單元111的顯示屏幕上。
CPU 107執(zhí)行按照在只讀存儲器(ROM)109中存儲的程序代碼的預(yù)定處理來控制整個數(shù)字?jǐn)z像機100的操作。CPU 107暫時在隨機存取存儲器(RAM)108中寫入用于所述處理的系統(tǒng)變量和環(huán)境變量。由CPU 107執(zhí)行的處理包括攝像操作自動化處理，其中除了包括由數(shù)字?jǐn)z像機100進(jìn)行的拍攝操作、在液晶顯示器中的所捕獲的圖像的顯示和在存儲器105中存儲的圖像數(shù)據(jù)的外部輸出的基本操作之外，還包括自動聚焦、自動曝光和自動取景。
攝像操作已經(jīng)在其自動化技術(shù)上發(fā)展，因此，即使無經(jīng)驗的用戶也不可能拍攝失敗。按照本發(fā)明的所述實施例的數(shù)字?jǐn)z像機100其特征在于自動取景，即其特征在于自動確定所捕獲的圖像的構(gòu)成。具體地，按照本發(fā)明的所述實施例的數(shù)字?jǐn)z像機100確定在所捕獲的圖像中的具有較高可視性的目標(biāo)區(qū)域和在所捕獲的圖像中的具有較低可視性的不需要區(qū)域，以自動地確定包括所述目標(biāo)區(qū)域和不包括所述不需要區(qū)域的構(gòu)成。因此，有可能從所捕獲的圖像提取不包括不需要對象的幀，所述不需要對象包括在主體之前的人和/或懸在攝像機100鏡頭上的用戶手指或帶子。
圖2是示出按照本發(fā)明的一個實施例的用于實現(xiàn)自動取景的處理的流程圖。這個處理例如由CPU 107實現(xiàn)，該CPU執(zhí)行從ROM 109讀取的程序代碼。
在輸入要處理的圖像后，在步驟S1，所述處理執(zhí)行區(qū)域劃分以將輸入圖像劃分為多個圖像區(qū)域。在步驟S2，所述處理與步驟S1并行地執(zhí)行邊提取以提取邊圖像。圖3示出了輸入圖像的一個示例。圖4示出了在區(qū)域劃分后的圖像的一個示例。圖5示出了邊圖像的一個示例。
可以通過經(jīng)由所謂的網(wǎng)格分段來集成多邊形網(wǎng)格而執(zhí)行圖像的區(qū)域劃分，所述多邊形網(wǎng)格每個包括一個或多個像素。網(wǎng)格分段一般基于在相鄰的圖像區(qū)域之間的類似性。按照本發(fā)明的所述實施例，根據(jù)使用統(tǒng)計算法關(guān)于是否集成相鄰的圖像區(qū)域的確定而以期望的密度來產(chǎn)生圖像區(qū)域。下面將詳細(xì)說明所述確定。
通過對于原始圖像進(jìn)行微分處理來進(jìn)行邊提取。因為公知的方法可被應(yīng)用到邊提取，因此在此省略邊提取的詳細(xì)說明。
返回參見圖2，在步驟S3，所述處理從在區(qū)域劃分后的圖像區(qū)域確定具有較高可視性的目標(biāo)區(qū)域和具有較低可視性的不需要區(qū)域。
可以使用面部檢測作為一種用于提取目標(biāo)區(qū)域的方法，在所述面部檢測中，從輸入圖像檢測面部區(qū)域，并且將所檢測的面部區(qū)域處理為目標(biāo)區(qū)域。
關(guān)于是否所提取的區(qū)域是目標(biāo)區(qū)域的確定可以基于在所檢測的面部區(qū)域中的面部的方向。如果在所檢測的區(qū)域中有兩個或多個面部區(qū)域，則可以根據(jù)是否面向前方或從所述攝像機轉(zhuǎn)移目光來加權(quán)所述可視性。另外，可以將個人識別應(yīng)用到所提取的面部區(qū)域以根據(jù)在人之間的人關(guān)系來加權(quán)可視性(例如，根據(jù)在組織內(nèi)的人的位置或是否所述人在事件中是主角或配角)。
為了實施面部檢測或面部識別，可以采用使用神經(jīng)網(wǎng)絡(luò)的方法或?qū)σ悦娌繄D像的亮度作為元素的向量空間應(yīng)用主成分分析(PCA)的方法(特征空間(eigenspace)方法)。可以采用識別面部的方法(例如參見WO2003/019475)。在這種方法中，在通過使用Gabor濾波器--它使用具有方向選擇性和不同的頻率的多個濾波器來過濾圖像--來提取面部區(qū)域后，在支持向量機中輸入面部區(qū)域的提取結(jié)果以在非線性空間中映射面部區(qū)域的圖像，并且在這個非線性空間中獲得分離的超平面，以便區(qū)分面部圖像和非面部圖像。
另外，可以采用一種方法，其中，執(zhí)行在輸入圖像和關(guān)于目標(biāo)對象--不限于人并且被預(yù)先設(shè)置以被包括在目標(biāo)區(qū)域中--的信息之間的匹配以將具有較高匹配程度的區(qū)域確定為目標(biāo)區(qū)域。
而且，可以將具有較高吸引力的區(qū)域確定為目標(biāo)區(qū)域。根據(jù)在輸入圖像中包括的每個對象的物理特性--諸如顏色、形狀、面積(每個對象對輸入圖像在面積上的比率)或紋理--來評估所述吸引力。例如，在Soto T.“GazoRyouiki no Butsuri-teki Tokuchou ni Motozuku Yuumoku-do Hyouka Moderu”，IEICE transactions A，Vol.J83-A，No.5(May，2000)，pp.576-588(Soto T.“GazoRyouiki no Butsuri-teki Tokuchou ni Motozuku Yuumoku-do Hyouka Moderu”，IEICE學(xué)報A，卷J83-A，第五期(2000年5月)，第576-588頁)中描述了基于圖像區(qū)域的物理特性評估圖像區(qū)域的吸引力的方法。
而且，可以對于每個被提取的圖像區(qū)域獲得聚焦度以根據(jù)聚焦度來確定目標(biāo)區(qū)域和不需要區(qū)域。
按照本發(fā)明的所述實施例，將“邊的數(shù)量”用作為用于指示聚焦度的值。邊的數(shù)量表示通過下述方式而獲得的值通過對于在步驟S1中劃分的每個圖像區(qū)域計算在步驟S2中提取的邊圖像中的像素值的和，并且使用所述邊的長度或面積來標(biāo)準(zhǔn)化所述像素值的和。
將具有較大邊數(shù)量的圖像區(qū)域假定為目標(biāo)區(qū)域，并且將具有較小邊數(shù)量的圖像區(qū)域(特別是在圖像中的外圍區(qū)域)假定為不需要區(qū)域。圖6示出了通過使用在圖4中所示的區(qū)域劃分后的圖像和在圖5中所示的邊圖像來對于在圖3中所示的輸入圖像中的圖像區(qū)域計算的邊的數(shù)量的多個示例。
取代以如上所述的方式自動從圖像區(qū)域確定目標(biāo)區(qū)域和不需要區(qū)域，用戶可以使用觸摸板在顯示單元111中顯示的、在圖4中所示的區(qū)域劃分后的圖像中直接地指示目標(biāo)區(qū)域和不需要區(qū)域。例如，用戶可以直觀地識別所捕獲的圖像，并且可以指示不需要的對象，諸如用戶的手指或攝像機的帶子。
回來參見圖2，在步驟S4中，所述處理提取不包括不需要區(qū)域并且具有預(yù)定長寬比的最大矩形區(qū)域，然后結(jié)束自動取景。
在圖3中所示的輸入圖像的示例中，不小心地置于拍攝透鏡上的用戶的手指的散焦圖像被示出在圖像的左下部分中。在圖4中所示的區(qū)域劃分后的圖像中，除了作為對象的人和背景之外，所述手指還被提取為圖像區(qū)域。在圖5中所示的邊提取后的邊圖像中，除了作為對象的人和背景之外，還提取手指的邊。但是，所述手指區(qū)域具有比其他圖像區(qū)域更小的邊的數(shù)量，如圖6中所示，因為手指的散焦圖像不具有銳邊，結(jié)果，將手指確定為不需要區(qū)域，并且將不包括所述手指區(qū)域并且具有預(yù)定長寬比的最大矩形區(qū)域輸出為最后的幀。圖7示出了如何在被劃分為多個區(qū)域中的圖像中設(shè)置構(gòu)成。圖8示出了通過自動取景從原始捕獲圖像中提取的幀。
現(xiàn)在詳細(xì)說明在圖2的步驟S1中的圖像的區(qū)域劃分。
所述圖像區(qū)域可以被處理為許多多邊形的集合。所述圖像區(qū)域的集成和劃分也被稱為“網(wǎng)格分段”。因為所述多邊形網(wǎng)格的密度大大地影響處理負(fù)荷或圖像質(zhì)量，因此可以在例如計算機圖形中執(zhí)行適合于應(yīng)用的網(wǎng)格分段，以適當(dāng)?shù)卣{(diào)整多邊形網(wǎng)格的密度。
所述網(wǎng)格分段一般基于在相鄰的圖像區(qū)域之間的類似性。但是，因為在現(xiàn)有技術(shù)中主要通過使用在網(wǎng)格分段中的陣列的重復(fù)操作而執(zhí)行區(qū)域增長或分層/迭代/頻譜聚類(cluster)，因此不可取地，處理速度是慢的。
相反，按照本發(fā)明的所述實施例，圖像區(qū)域根據(jù)通過使用統(tǒng)計算法是否要集成相鄰圖像區(qū)域的確定來以期望的密度產(chǎn)生。在這種統(tǒng)計算法中，確定是否相鄰的圖像區(qū)域是類似的，即要根據(jù)從在圖像區(qū)域中包括的多邊形的區(qū)域中的密度不等性得到的斷言來確定是否集成相鄰的圖像區(qū)域。
可以高速執(zhí)行基于統(tǒng)計算法的圖像區(qū)域的集成，因為通過簡單的計算來執(zhí)行集成，其中，以統(tǒng)計方式來處理關(guān)于相鄰圖像區(qū)域的圖像特性信息。例如，在關(guān)于其圖像區(qū)域是多邊形網(wǎng)格的三維圖像的信息的情況下，以統(tǒng)計方式來處理關(guān)于圖像區(qū)域的像素特性信息，諸如面積、法線方向或顏色信息。在包括多個顏色分量--諸如RGB--的視頻信息的情況下，根據(jù)從密度不等性得到的斷言來對于每個顏色分量執(zhí)行集成。
在基于這樣的統(tǒng)計算法的圖像區(qū)域的集成中，諸如個人計算機之類的公共計算機可以用于處理大約每秒一百萬個多邊形?？梢愿鶕?jù)像素大小來在諸如數(shù)字?jǐn)z像機之類的內(nèi)置設(shè)備中實現(xiàn)所述集成。另外，對在所述斷言(predicate)中包括的參數(shù)的值的調(diào)整允許適當(dāng)設(shè)置用于集成所述圖像區(qū)域的標(biāo)準(zhǔn)，以便以希望的密度來產(chǎn)生多邊形網(wǎng)格，由此提供可伸縮性(scalability)。
在諸如三維計算機圖形的圖像處理中，要繪制的對象一般被處理為多邊形的集合，并且可以以鄰接圖--其中描述了在作為分量的多個多邊形之間的關(guān)系--的形式來表示作為圖像區(qū)域的所述多邊形網(wǎng)格。在按照本發(fā)明的所述實施例的網(wǎng)格分段中，作為多邊形網(wǎng)格的最小單位的每個多邊形在鄰接圖中被處理作為一個節(jié)點。在多邊形網(wǎng)格中的相鄰的多邊形節(jié)點經(jīng)由對應(yīng)于在相鄰節(jié)點之間夾著的側(cè)(side)的邊(edge)而連接，以描述所述鄰接圖，并且在網(wǎng)格分段中輸入所述的鄰接圖。
現(xiàn)在說明當(dāng)處理作為多邊形網(wǎng)格的圖像區(qū)域時用于繪制鄰接圖的方法。
首先，要處理的圖像區(qū)域中的每個多邊形Ti與節(jié)點Ni相關(guān)聯(lián)。如果在節(jié)點Ni和節(jié)點Nj之間存在屬于多邊形Ti和Tj的僅僅一個側(cè)，則在節(jié)點Ni和節(jié)點Nj之間產(chǎn)生邊eij。
可以通過相對于所述邊的端點來劃分多邊形而從包括頂點和平面的索引陣列(index array)直接地繪制鄰接圖。每個多邊形的側(cè)或邊被劃分為邊界邊和內(nèi)部邊，邊界邊是多邊形網(wǎng)格或圖像區(qū)域的邊界，內(nèi)部邊不是多邊形網(wǎng)格的邊界，而是與在多邊形網(wǎng)格中的相鄰多邊形接觸。由于作為圖像區(qū)域的邊界的邊屬于僅僅一個多邊形，因此僅僅除了所述邊界邊之外的邊(即僅僅圖像區(qū)域的內(nèi)部邊)要被處理。足夠的是，提供包括頂點和平面的索引陣列，并且不需提供復(fù)雜的相鄰數(shù)據(jù)結(jié)構(gòu)，諸如半邊(half-edge)結(jié)構(gòu)或guad邊結(jié)構(gòu)。
圖9示出了最簡單的鄰接圖的一個示例。在圖9的左部示出的多邊形網(wǎng)格包括經(jīng)由側(cè)或邊e12而彼此連接的兩個三角形T1和T2。描述這個多邊形網(wǎng)格的鄰接圖包括對應(yīng)于三角形T1和T2的兩個節(jié)點N1和N2和與節(jié)點N1和N2接觸的邊e12。如圖9的右部所示。
圖10示出了更復(fù)雜的鄰接圖的一個示例。在圖10的左部示出的多邊形網(wǎng)格包括七個三角形T1-T7。三角形T1接觸三角形T2；三角形T2接觸三角形T1、T3、T4；三角形T3接觸三角形T2和T6；三角形T4接觸三角形T2和T5；三角形T5接觸三角形T4和T6；三角形T6接觸三角形T3、T5和T7。在描述多邊形網(wǎng)格的鄰接圖中，對應(yīng)于三角形的節(jié)點經(jīng)由接觸相鄰三角形的側(cè)或邊而連接，如圖10的右部所示。
所述節(jié)點在初始狀態(tài)中是作為多邊形網(wǎng)格的最小單位的多邊形，但是在網(wǎng)格增長的進(jìn)行期間增長為圖像區(qū)域，它是從一個多邊形增長的多邊形網(wǎng)格。用于唯一地識別每個節(jié)點Ni的標(biāo)識信息id(Ni)、對應(yīng)于節(jié)點Ni的圖像區(qū)域(初始是一個多邊形)的面積area(Ni)和在所述圖像區(qū)域或多邊形網(wǎng)格中包括的多邊形的數(shù)量n(Ni)(初始值等于1)被保存為“節(jié)點統(tǒng)計信息”。每個節(jié)點存儲所述多邊形的面積和數(shù)量，因為需要所述多邊形的面積和數(shù)量來通過使用基于統(tǒng)計算法的斷言確定是否集成節(jié)點或圖像區(qū)域。
接著，在輸入的鄰接圖(incidence graph)中的每條邊被評估以排序。具體地，在每條邊的評估中，經(jīng)由所述邊而連接的圖像區(qū)域的特性值相互比較，以根據(jù)比較結(jié)果來向所述邊提供加權(quán)值，并且根據(jù)所述加權(quán)值來排序在鄰接圖中的所述邊。在此的圖像區(qū)域包括作為最小單位的多邊形和作為其中集成多個多邊形的多邊形網(wǎng)格的圖像區(qū)域。
例如，使用圖像區(qū)域的面積來作為特性值。在經(jīng)由邊連接的圖像區(qū)域之間在面積上的差別被作為邊的加權(quán)值給出，并且以所述加權(quán)值的升序來排序所述邊。在這種情況下，當(dāng)在圖像區(qū)域之間在面積上的差別變得更小時，在隨后的集成處理中加權(quán)值降低，并且處理順序提高。
圖11圖解了如何評估邊。參見圖11，在圖11的左部示出的多邊形網(wǎng)格具有經(jīng)由邊eij連接的兩個三角形Ti和Tj。描述這個多邊形網(wǎng)格的鄰接圖包括對應(yīng)于三角形Ti和Tj的兩個節(jié)點Ni和Nj以及接觸節(jié)點Ni和節(jié)點Nj的邊eij，如圖11的右部所示。按照公式1來計算邊eij的加權(quán)值W(eij)，在所述公式1中，area(P)表示用于計算多邊形P的面積的函數(shù)。

W(eij)＝|area(Ti)-area(Tj)|(1)或者，除了在圖像區(qū)域中的多邊形的面積之外，可以使用在相鄰頂點之間各種特性值上的差來設(shè)置邊的加權(quán)值。特性值包括像素特性信息，諸如圖像區(qū)域的通常方向或顏色(在具有紋理的多邊形網(wǎng)格的情況下)。
在視頻信息--諸如由數(shù)字?jǐn)z像機捕獲的圖像--的情況下，通過不是在多邊形之間而是在像素之間的連接關(guān)系來表示初始鄰接圖。圖12圖解了如何繪制視頻信息的鄰接圖。在初始狀態(tài)中，每個像素被處理為節(jié)點，并且在目標(biāo)像素和8個周圍像素之間定義所述邊，如圖12中所示。在所述邊的評估中可用的參數(shù)例如限于在多邊形網(wǎng)格的情況下的面積和法線，而在視頻信息的情況下有可能優(yōu)化評估邊的方法或計算加權(quán)值的方法，因為視頻信息具有多個可用的參數(shù)。按照本發(fā)明的所述實施例，計算在經(jīng)由邊連接的像素(或圖像區(qū)域)之間的每個RGB顏色在平均像素值上的差，并且將在所述差中的最大值作為加權(quán)值提供到邊。然后，以如上所述的方式，根據(jù)所述加權(quán)值，來排序在所述鄰接圖中的邊。
接著，以排序的順序來提取夾著所述邊的一對圖像區(qū)域，并且對于所提取的對執(zhí)行網(wǎng)格增長。因為用作為在經(jīng)由邊連接的圖像區(qū)域之間的類似性的索引的加權(quán)值被提供給邊，因此以加權(quán)值的上升順序的網(wǎng)格增長對應(yīng)于其中較高優(yōu)先級被提供給具有更高類似性的圖像區(qū)域的網(wǎng)格增長。
在這里所述的鄰接圖的產(chǎn)生中，根據(jù)統(tǒng)計算法來確定是否要集成經(jīng)由以排序順序被提取的邊而連接的兩個圖像區(qū)域。具體上，如果對于經(jīng)由邊而連接的兩個圖像區(qū)域Rk和R1滿足基于下面的統(tǒng)計算法的斷言，則將集成圖像區(qū)域Rk和R1。
公式2示出了可應(yīng)用到作為多邊形網(wǎng)格--諸如三維計算機圖形--的圖像區(qū)域的斷言的一個示例。在公式2中，圖像區(qū)域Rk具有面積Sk并且包括nk個多邊形，并且圖像區(qū)域R1具有面積S1，并且包括n1個多邊形。在公式2中，A表示多邊形的最大面積，Q表示用于控制分段密度的參數(shù)。
|Sknk-Slnl|2≤A2(nklognk+nllognl)Q(1nk+1nl)---(2)]]>按照公式2，如果在在經(jīng)由邊連接的圖像區(qū)域之間的每個圖像區(qū)域中包括的多邊形的平均區(qū)域中的差(Sk/nk-S1/n1)具有較小的值，則執(zhí)行網(wǎng)格增長。從密度不等性得出所述斷言，所述密度不等性是在圖像區(qū)域中包括的多邊形的區(qū)域中出現(xiàn)的現(xiàn)象。在統(tǒng)計領(lǐng)域中，密度不等性(concentration inequality)作為中央極限定理是公用的(即使母集團(tuán)具有任意的分布，當(dāng)從母集團(tuán)提取的采樣的大小提高時，采樣平均的分布也會聚為正則分布)。
相反，當(dāng)取代多邊形網(wǎng)格而處理視頻信息時，可以優(yōu)化基于密度不等性的斷言，因為所述視頻信息具有多個參數(shù)。例如，如果在對于每個RGB彩色分量在經(jīng)由邊連接的圖像區(qū)域之間計算的、在每個圖像區(qū)域中包括的像素的平均像素值上的差具有較小的值，則執(zhí)行網(wǎng)格增長。
在公式2的右側(cè)中的“Q”表示用于控制分段密度的參數(shù)。當(dāng)“Q”增加時，右側(cè)的值降低，并且變得難于滿足所述斷言以抑制圖像區(qū)域的網(wǎng)格增長。相反，當(dāng)“Q”降低時，右側(cè)的值提高，并且變得容易滿足所述斷言以激勵圖像區(qū)域的網(wǎng)格增長。因此，網(wǎng)格分段導(dǎo)致較低的密度。
在諸如三維計算機圖形的圖像信息的情況下，所述節(jié)點在初始狀態(tài)中是作為多邊形網(wǎng)格的最小單位的多邊形，但是在網(wǎng)格增長的進(jìn)行期間增長為圖像區(qū)域，它是從一個多邊形增長的多邊形網(wǎng)格。提供了記錄，其中，用于唯一地識別每個節(jié)點Ni的標(biāo)識信息id(Ni)、對應(yīng)于節(jié)點Ni的圖像區(qū)域(初始是一個多邊形)的面積area(Ni)和在所述圖像區(qū)域或多邊形網(wǎng)格中包括的多邊形的數(shù)量n(Ni)(初始值等于1)被保存為“節(jié)點統(tǒng)計信息”。圖像區(qū)域集成處理器當(dāng)新節(jié)點與現(xiàn)有的節(jié)點集成時設(shè)置用于識別新節(jié)點的新標(biāo)識信息，并且計算在從所述集成產(chǎn)生的圖像區(qū)域中的面積和多邊形的數(shù)量以更新節(jié)點統(tǒng)計信息。
最后，處理從圖像區(qū)域的集成產(chǎn)生的微小區(qū)域。例如，在網(wǎng)格增長后在大圖像區(qū)域之間或內(nèi)部剩余的微小多邊形網(wǎng)格與任何相鄰的圖像區(qū)域集成，而與是否滿足所述斷言無關(guān)，以改善處理結(jié)果的外觀。所述微小區(qū)域?qū)?yīng)于具有僅僅大約所述網(wǎng)格平面的面積的幾個百分比的面積的多邊形網(wǎng)格。
圖13是示出網(wǎng)格分段處理的一個示例的流程圖。
在步驟S11中，所述處理接收關(guān)于要處理的三維對象的圖像信息。按照本發(fā)明的所述實施例，以包括作為節(jié)點的多邊形和作為邊的每個多邊形的側(cè)的鄰接圖的形式來描述所述圖像信息(參見上述說明和圖9)。
掃描輸入的鄰接圖以向每個節(jié)點Ni給出標(biāo)識信息id(Ni)，并且計算對應(yīng)于所述節(jié)點的多邊形的面積。每個節(jié)點的標(biāo)識信息、面積和多邊形的數(shù)量(初始化值等于1)被登記為節(jié)點統(tǒng)計信息(被初始化)。在公式3中示出了用于初始化節(jié)點統(tǒng)計信息的偽程序代碼，其中，id()表示這樣的陣列，其中，存儲關(guān)于節(jié)點的標(biāo)識信息--被指示為變元；area()表示這樣的陣列，其中，存儲具有被指示為變元的標(biāo)識信息的節(jié)點的面積；n()表示陣列，其中，存儲了具有被指示為所述變元的標(biāo)識信息的節(jié)點中包括的多邊形的數(shù)量。
id(Ni)＝iarea(i)＝area(Ti)n(i)＝1(3)在公式3中，向關(guān)于從鄰接圖提取的第i個節(jié)點Ni的標(biāo)識信息id(Ni)分配“i”，向節(jié)點Ni的面積area(i)分配對應(yīng)于節(jié)點的多邊形的面積area(Ti)，并且向所述多邊形的數(shù)量n(i)分配初始值1。
返回參見圖13，在步驟S12中，所述處理評估在輸入鄰接圖中的每個邊，以執(zhí)行排序。具體地，在經(jīng)由邊連接的圖像區(qū)域之間在面積上的差被給出作為邊的加權(quán)值，并且以所述加權(quán)值的升序來執(zhí)行排序。當(dāng)在圖像區(qū)域之間在面積上的差變得較小時，所述加權(quán)值降低，并且處理順序在隨后的集成處理中提高。
在步驟S13中，所述處理設(shè)置參數(shù)Q，用于控制分段密度。
在所述圖像區(qū)域的集成中，以所述排序的順序來提取夾著所述邊的一對圖像區(qū)域，在步驟S14中，所述處理確定是否存在未處理的邊。如果所述處理確定存在未處理的邊，則在步驟S15中，所述處理確定是否圖像區(qū)域滿足基于統(tǒng)計算法的斷言。在步驟S15中使用的斷言是從密度不等性得到的，所述密度不等性是如上所述在圖像區(qū)域中包括的多邊形的區(qū)域中出現(xiàn)的現(xiàn)象，并且這里使用在步驟S13中設(shè)置的參數(shù)Q。
如上所述，提供記錄，其中，用于唯一地識別每個節(jié)點Ni的標(biāo)識信息id(Ni)、對應(yīng)于節(jié)點Ni的圖像區(qū)域(初始是一個多邊形)的面積area(Ni)和在所述圖像區(qū)域或多邊形網(wǎng)格中包括的多邊形的數(shù)量n(Ni)(初始值等于1)被保存作為“節(jié)點統(tǒng)計信息”。在圖像區(qū)域的集成中，當(dāng)圖像區(qū)域彼此集成時，產(chǎn)生新的節(jié)點，向所產(chǎn)生的節(jié)點提供用于識別新節(jié)點的新的標(biāo)識信息，并且計算從所述集成產(chǎn)生的新的圖像區(qū)域的面積和在新的圖像區(qū)域中的多邊形的數(shù)量，以在步驟S16更新節(jié)點統(tǒng)計信息。
用于集成圖像區(qū)域、然后更新節(jié)點統(tǒng)計信息的偽程序代碼被示出在公式4中，其中，Merge()表示用于集成被指示為變元的圖像區(qū)域的函數(shù)。
Merge(Ni，Nj)id’(Ni)＝id’(Nj)area(id’(Ni))＝area(id(Ni))+area(id(Nj))n(id’(Ni))＝n(id(Ni))+n(id(Nj))id(Ni)←id’(Ni)id(Nj)←id’(Nj)(4)在公式4中，將節(jié)點Ni與節(jié)點Nj集成。節(jié)點Ni和Nj被指示為Merge函數(shù)的變元。接著，向節(jié)點Ni和節(jié)點Nj提供相同的新標(biāo)識信息id’(Ni)＝id’(Nj)，以指示兩個圖像區(qū)域被集成，并且產(chǎn)生新的節(jié)點。按照本發(fā)明的所述實施例，將關(guān)于節(jié)點Ni或Nj的舊標(biāo)識信息用作關(guān)于新節(jié)點的標(biāo)識信息?？梢允褂糜蒖obert Endre Tarjan發(fā)明的合并尋找(Union-Find)算法來向新的節(jié)點提供標(biāo)識信息。
接著，向新節(jié)點的面積area(id’(Ni))分配原始圖像區(qū)域的面積的和area(Ni)+area(Nj)，并且向在新節(jié)點中的多邊形的數(shù)量n(id’(Ni))分配在原始圖像區(qū)域中的多邊形的數(shù)量的和n(id(Ni))+n(id(Nj))。最后，向原始節(jié)點Ni提供新的標(biāo)識信息id’(Ni)，并且向原始節(jié)點Nj提供新的標(biāo)識信息id’(Nj)，以終止節(jié)點統(tǒng)計信息的更新。
返回參見圖13。如果所述處理在步驟S14中確定在鄰接圖中的所有邊被處理，則在步驟S17，所述處理處理在圖像區(qū)域的集成后剩余的微小區(qū)域。例如，在大圖像區(qū)域之間或內(nèi)部的集成后剩余的微小多邊形網(wǎng)格與任何相鄰的圖像區(qū)域集成，而不論是否滿足所述斷言，以改善處理結(jié)果的外觀。所述微小區(qū)域表示具有僅僅大約整個網(wǎng)格平面的幾個百分比的面積的多邊形網(wǎng)格。
可以高速地執(zhí)行基于統(tǒng)計算法的圖像區(qū)域的集成，因為通過簡單的計算--其中以統(tǒng)計方式來處理多邊形的區(qū)域--來執(zhí)行所述集成。例如，可以使用公共的計算機來處理大約每秒一百萬個多邊形?？梢詫τ诓粌H在諸如個人計算機的計算機系統(tǒng)中、而且在諸如數(shù)字?jǐn)z像機的便攜設(shè)備--其計算功率受限--中的圖像區(qū)域執(zhí)行所述區(qū)域劃分。并且有可能按照在圖2中所示的處理來實現(xiàn)自動取景。另外，在斷言中包括的參數(shù)Q的調(diào)整允許適當(dāng)?shù)卦O(shè)置的用于集成圖像區(qū)域的標(biāo)準(zhǔn)以便以期望的密度來產(chǎn)生多邊形網(wǎng)格，因此提供可伸縮性。
所述網(wǎng)格分段的應(yīng)用包括參數(shù)化和紋理映射、形態(tài)化、多分辨率建模、圖像編輯、圖像壓縮、動畫和形狀匹配。在例如已經(jīng)被轉(zhuǎn)讓給受讓者的日本專利申請第2005-166466號中詳細(xì)描述了基于統(tǒng)計算法的圖像區(qū)域的集成。
雖然已經(jīng)在本說明書的上述實施例中描述了在數(shù)字?jǐn)z像機中安裝的自動取景功能，但是本發(fā)明不限于上述實施例。本發(fā)明可適用于存儲和處理所捕獲圖像的個人計算機或任何其他的圖像處理裝置。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)當(dāng)明白，可以根據(jù)設(shè)計要求和其他因素來進(jìn)行各種修改、組合、子組合和替代，只要所述設(shè)計要求和其他因素在所附的權(quán)利要求或其等同內(nèi)容的范圍內(nèi)。
本發(fā)明包含與2005年12月8日在日本專利局提交的日本專利申請JP2005-355006相關(guān)聯(lián)的主題，其整體內(nèi)容通過引用被包含在此。
權(quán)利要求
1.一種自動確定圖像的構(gòu)成的圖像處理裝置，包括區(qū)域劃分部件，用于將輸入圖像劃分為區(qū)域；目標(biāo)區(qū)域確定部件，用于從所劃分的圖像確定具有較高可視性的目標(biāo)區(qū)域；不需要區(qū)域確定部件，用于從所劃分的圖像確定具有較低可視性的不需要區(qū)域；以及，構(gòu)成確定部件，用于從輸入圖像確定包括目標(biāo)區(qū)域和不包括不需要區(qū)域的構(gòu)成。
2.按照權(quán)利要求1的圖像處理裝置，其中，所述目標(biāo)區(qū)域確定部件對于輸入圖像執(zhí)行面部檢測，以根據(jù)檢測到面部的區(qū)域來確定目標(biāo)區(qū)域。
3.按照權(quán)利要求1的圖像處理裝置，還包括目標(biāo)對象信息存儲部件，用于存儲關(guān)于目標(biāo)對象的信息，其中，所述目標(biāo)區(qū)域確定部件執(zhí)行在所述輸入圖像和關(guān)于所述目標(biāo)對象的信息之間的匹配，以將具有較高匹配程度的區(qū)域確定為目標(biāo)區(qū)域。
4.按照權(quán)利要求1的圖像處理裝置，其中，所述目標(biāo)區(qū)域確定部件將具有較高吸引力的區(qū)域確定為目標(biāo)區(qū)域，從在輸入圖像中包括的每個對象的物理特性——諸如顏色、形狀、面積(每個對象對輸入圖像在面積上的比率)或紋理——來評估所述吸引力。
5.按照權(quán)利要求1的圖像處理裝置，其中，所述目標(biāo)區(qū)域確定部件和所述不需要區(qū)域確定部件根據(jù)每個區(qū)域獲得的聚焦程度來分別確定目標(biāo)區(qū)域和不需要區(qū)域。
6.按照權(quán)利要求1的圖像處理裝置，還包括邊圖像提取部件，用于提取在輸入圖像中的每個被劃分圖像區(qū)域的邊；以及邊的數(shù)量計算部件，用于對于每個被劃分圖像區(qū)域計算在所述邊圖像中的像素值的和，以獲得從使用邊的長度或面積來標(biāo)準(zhǔn)化所述像素值的和而產(chǎn)生的邊的數(shù)量來作為指示聚焦程度的值。
7.按照權(quán)利要求6的圖像處理裝置，其中，所述不需要區(qū)域確定部件將在輸入圖像中具有較小邊數(shù)量的外圍區(qū)域確定為不需要區(qū)域。
8.按照權(quán)利要求1的圖像處理裝置，還包括圖像顯示部件，用于顯示輸入圖像和被所述區(qū)域劃分部件劃分為多個區(qū)域的圖像；以及用戶輸入部件，用于接收由用戶在所顯示的圖像上進(jìn)行的手動輸入，其中，在區(qū)域劃分后按照由用戶使用用戶輸入部件而手動進(jìn)行的選擇來確定所述目標(biāo)區(qū)域和所述不需要區(qū)域的至少一個。
9.按照權(quán)利要求1的圖像處理裝置，其中，所述構(gòu)成確定部件將在輸入圖像中的最大矩形區(qū)域確定為所述構(gòu)成，所述區(qū)域不包括不需要區(qū)域，并且具有預(yù)定的長寬比。
10.按照權(quán)利要求1的圖像處理裝置，其中，所述區(qū)域劃分部件對于對應(yīng)于接觸所述圖像區(qū)域的側(cè)的邊，基于圖像區(qū)域的特性值之間的比較結(jié)果來提供加權(quán)值，根據(jù)所述加權(quán)值來排序所述邊，并且以排序順序根據(jù)統(tǒng)計算法來確定是否要集成夾著所述邊的所述圖像區(qū)域?qū)Α?br> 11.按照權(quán)利要求10的圖像處理裝置，其中，所述區(qū)域劃分部件對于在所述圖像區(qū)域之間夾著的邊，基于在圖像區(qū)域之間在特性值上的差來提供加權(quán)值，并且以加權(quán)值的升序來排序所述邊。
12.按照權(quán)利要求11的圖像處理裝置，其中，所述區(qū)域劃分部件使用諸如圖像區(qū)域的面積或顏色之類的像素特性信息來作為圖像區(qū)域的特性值。
13.按照權(quán)利要求10的圖像處理裝置，其中，所述區(qū)域劃分部件根據(jù)從在圖像區(qū)域中包括的多邊形的面積上的密度不等性得出的斷言來確定是否要集成經(jīng)由所述邊連接的圖像區(qū)域。
14.一種自動確定圖像的構(gòu)成的圖像處理方法，所述圖像處理方法包括步驟將輸入圖像劃分為區(qū)域；從所劃分的圖像確定具有較高可視性的目標(biāo)區(qū)域；從所劃分的圖像確定具有較低可視性的不需要區(qū)域；以及從輸入圖像確定包括目標(biāo)區(qū)域和不包括不需要區(qū)域的構(gòu)成。
15.按照權(quán)利要求14的圖像處理方法，其中，所述目標(biāo)區(qū)域確定步驟對于輸入圖像執(zhí)行面部檢測，以根據(jù)檢測到面部的區(qū)域來確定目標(biāo)區(qū)域。
16.按照權(quán)利要求14的圖像處理方法，還包括獲取關(guān)于目標(biāo)對象的信息的步驟，其中，所述目標(biāo)區(qū)域確定步驟執(zhí)行在所述輸入圖像和關(guān)于所述目標(biāo)對象的信息之間的匹配，以將具有較高匹配程度的區(qū)域確定為目標(biāo)區(qū)域。
17.按照權(quán)利要求14的圖像處理方法，其中，所述目標(biāo)區(qū)域確定步驟將具有較高吸引力的區(qū)域確定為目標(biāo)區(qū)域，從在輸入圖像中包括的每個對象的物理特性——諸如顏色、形狀、面積(每個對象對輸入圖像在面積上的比率)或紋理——來評估所述吸引力。
18.按照權(quán)利要求14的圖像處理方法，其中，所述目標(biāo)區(qū)域確定步驟和所述不需要區(qū)域確定步驟根據(jù)每個區(qū)域獲得的聚焦程度來分別確定目標(biāo)區(qū)域和不需要區(qū)域。
19.按照權(quán)利要求14的圖像處理方法，還包括步驟提取在輸入圖像中的每個被劃分圖像區(qū)域的邊；以及對于每個被劃分的圖像區(qū)域計算在所述邊圖像中的像素值的和，以獲得從使用邊的長度或面積來標(biāo)準(zhǔn)化所述像素值的和而產(chǎn)生的邊的數(shù)量來作為指示聚焦程度的值。
20.按照權(quán)利要求19的圖像處理方法，其中，所述不需要區(qū)域確定步驟將在輸入圖像中具有較小邊數(shù)量的外圍區(qū)域確定為不需要區(qū)域。
21.按照權(quán)利要求14的圖像處理方法，還包括步驟顯示輸入圖像和被所述區(qū)域劃分步驟劃分為多個區(qū)域的圖像；以及接收由用戶在所顯示的圖像上進(jìn)行的手動輸入，其中，在區(qū)域劃分后按照由用戶使用用戶輸入步驟而手動進(jìn)行的選擇來確定所述目標(biāo)區(qū)域和不需要區(qū)域的至少一個。
22.按照權(quán)利要求14的圖像處理方法，其中，所述構(gòu)成確定步驟將在輸入圖像中的最大矩形區(qū)域確定為所述構(gòu)成，所述區(qū)域不包括不需要區(qū)域，并且具有預(yù)定的長寬比。
23.按照權(quán)利要求14的圖像處理方法，其中，所述區(qū)域劃分步驟對于對應(yīng)于接觸所述圖像區(qū)域的側(cè)的邊，基于在圖像區(qū)域的特性值之間的比較結(jié)果來提供加權(quán)值，根據(jù)所述加權(quán)值來排序所述邊，并且以排序順序根據(jù)統(tǒng)計算法來確定是否要集成夾著所述邊的所述圖像區(qū)域?qū)Α?br> 24.按照權(quán)利要求23的圖像處理方法，其中，所述區(qū)域劃分步驟對于在所述圖像區(qū)域之間夾著的邊，基于在圖像區(qū)域之間在特性值上的差來提供加權(quán)值，并且以加權(quán)值的升序來排序所述邊。
25.按照權(quán)利要求24的圖像處理方法，其中，所述區(qū)域劃分步驟使用諸如圖像區(qū)域的面積或顏色之類的像素特性信息來作為圖像區(qū)域的特性值。
26.按照權(quán)利要求23的圖像處理方法，其中，所述區(qū)域劃分步驟根據(jù)從在圖像區(qū)域中包括的多邊形的面積上的密度不等性得出的斷言來確定是否要集成經(jīng)由所述邊連接的圖像區(qū)域。
27.一種使得計算機系統(tǒng)執(zhí)行自動確定圖像的構(gòu)成的處理的計算機可讀程序，所述程序包括步驟將輸入圖像劃分為多個區(qū)域；從所劃分的圖像確定具有較高可視性的目標(biāo)區(qū)域；從所劃分的圖像確定具有較低可視性的不需要區(qū)域；以及，從輸入圖像確定包括目標(biāo)區(qū)域和不包括不需要區(qū)域的構(gòu)成。
28.一種自動確定圖像的構(gòu)成的圖像處理裝置，包括區(qū)域劃分單元，用于將輸入圖像劃分為多個區(qū)域；目標(biāo)區(qū)域確定單元，用于從所劃分的圖像確定具有較高可視性的目標(biāo)區(qū)域；不需要區(qū)域確定單元，用于從所劃分的圖像確定具有較低可視性的不需要區(qū)域；以及，構(gòu)成確定單元，用于從輸入圖像確定包括目標(biāo)區(qū)域和不包括不需要區(qū)域的構(gòu)成。
全文摘要
一種自動確定圖像的構(gòu)成的圖像處理裝置包括區(qū)域劃分部件，用于將輸入圖像劃分為多個區(qū)域；目標(biāo)區(qū)域確定部件，用于從所劃分的圖像確定具有較高可視性的目標(biāo)區(qū)域；不需要區(qū)域確定部件，用于從所劃分的圖像確定具有較低可視性的不需要區(qū)域；以及，構(gòu)成確定部件，用于從輸入圖像確定包括目標(biāo)區(qū)域和不包括不需要區(qū)域的構(gòu)成。
文檔編號G03B17/20GK1980330SQ20061016670
公開日2007年6月13日 申請日期2006年12月8日 優(yōu)先權(quán)日2005年12月8日
發(fā)明者弗蘭克·尼爾森, 長谷川雄一 申請人:索尼株式會社