專利名稱：圖像處理裝置、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置、圖像處理方法和程序，更具體地講，涉及一種將圖像與能夠使檢索簡化的信息相關(guān)聯(lián)的圖像處理裝置、圖像處理方法和程序。
背景技術(shù)：
已經(jīng)提出了很多用于檢測包含于圖像中的人臉區(qū)域(面部圖像元素)的方法。另外，在例如Nikkei Business Publications，Inc.于2004年6月21日出版的Nikkei Electronics中第114～123頁“kao，teroppukara kansei made soudouin de 1000 jikan wo shiboru”(“Define 1,000Hours on the Basis of All Elements，Such as Faces，Subtitles，andShouts”)中，已經(jīng)提出了多方面的用途，例如檢測使用監(jiān)視照相機的人和檢測運動圖像中的場景。
然而，這些用途針對有限的事務，并沒有提出在日常生活中的用途，例如個人生活或者家庭生活。
在這種情況下，所謂的數(shù)碼照相機已經(jīng)被廣泛使用，并且便攜式電話裝置中也提供了拍攝靜止圖像的功能。因此，日常生活中拍攝靜止圖像(照片)的機會不斷增加。
管理日常生活中拍攝的靜止圖像是非常麻煩的。因此，拍攝靜止圖像的使用者將費時費力地分類這些靜止圖像。比如，用戶使靜止圖像在所謂的日歷顯示基礎(chǔ)上按照附加到各個靜止圖像上的日期來顯示，為各個靜止圖像添加他們自己輸入的文本注釋，或者將靜止圖像存儲到他們自己預先確定的相應文件夾中。
為了像相冊一樣觀看靜止圖像或者類似地按照年月日順序觀看拍攝的靜止圖像，用戶有必要執(zhí)行這樣的處理。
當從大量靜止圖像(照片)中只提取包括面部的靜止圖像時，用戶順序地打開文件夾以找到存儲期望靜止圖像的文件夾，打開上述文件夾中存儲的靜止圖像，然后檢查靜止圖像的內(nèi)容。在這種情形下，為了找到存儲期望靜止圖像的文件夾，用戶有必要按照順序執(zhí)行麻煩的操作(按照正確的順序打開正確的文件夾)。
提出了一種為了執(zhí)行適當?shù)呐臄z而控制拍攝以便拍攝時檢測出臉部的技術(shù)。然而，沒有提出過增加標簽以指示包含于拍攝的靜止圖像(照片)中面部的數(shù)量以及使用該標簽來檢索一組照片。

發(fā)明內(nèi)容
如上所述，需要大量的時間和精力來分類和管理靜止圖像(照片)。除此之外，除非花費這樣的時間和精力，否則很難從眾多靜止圖像中找到期望的靜止圖像。
希望用較少的時間和精力來簡單地檢索出期望的圖像。
根據(jù)本發(fā)明的實施例的圖像處理裝置、圖像處理方法和程序包括用于檢測包含于圖像中的面部圖像元素(即一個或多個面部的圖像元素)的數(shù)量的檢測裝置/步驟；以及用于將該圖像與檢測出的面部圖像元素數(shù)量相關(guān)聯(lián)的關(guān)聯(lián)裝置/步驟。
根據(jù)本發(fā)明的實施例，檢測包含于圖像中的面部圖像元素(即一個或多個面部的圖像元素)的數(shù)量，并將該圖像與檢測出的面部圖像元素數(shù)量相關(guān)聯(lián)。
檢測裝置可進一步檢測各個面部圖像元素的大小。關(guān)聯(lián)裝置可將圖像與檢測出的面部圖像元素的數(shù)量和檢測出的各個面部圖像元素的大小相關(guān)聯(lián)。
檢測裝置可進一步檢測各個面部圖像元素的位置。關(guān)聯(lián)裝置可將圖像與檢測到的面部圖像元素的數(shù)量和檢測到的各個面部圖像元素的位置相關(guān)聯(lián)。
檢測裝置可進一步檢測各個面部圖像元素的面部朝向。關(guān)聯(lián)裝置可將圖像與檢測到的面部圖像元素的數(shù)量和檢測到的各個面部圖像元素的面部朝向相關(guān)聯(lián)。
所述的圖像處理裝置可進一步包括生成裝置，用于根據(jù)包含于圖像中的面部圖像元素的數(shù)量和預先存儲的基準值，生成表示圖像類別的標簽。關(guān)聯(lián)裝置可以將圖像和標簽相關(guān)聯(lián)。
所述的圖像處理裝置可進一步包括檢索裝置，用于根據(jù)與圖像相關(guān)聯(lián)的標簽來檢索圖像；以及顯示控制裝置，用于控制所找到的圖像的顯示。
檢索裝置可以檢索出與用戶所選圖標指定的標簽相類似的標簽所關(guān)聯(lián)的圖像。
檢索裝置可以檢索出與用戶所選圖像所關(guān)聯(lián)的標簽相類似的標簽所關(guān)聯(lián)的圖像。
所述的圖像處理裝置可以進一步包括檢索裝置，用于檢索包括至少一個面部圖像元素的圖像，面部圖像元素的數(shù)量與預先存儲的多個基準值中由用戶所選圖標指定的基準值相對應；以及顯示裝置，用于控制所找到的圖像的顯示。
檢索裝置可以檢索出包括至少一個面部圖像元素的圖像，面部圖像元素的數(shù)量處在基于圖標指定的基準值的預定范圍內(nèi)。
所述的圖像處理裝置可進一步包括檢索裝置，用于檢索包括至少一個面部圖像元素的圖像；以及顯示控制裝置，用于控制所找到的圖像的顯示。檢測裝置可以檢測出包含于用戶所選圖像中的面部圖像元素的數(shù)量。包含于所找到圖像中的面部圖像元素的數(shù)量可相當于包含在所選圖像中的面部圖像元素的數(shù)量。
檢索裝置可以檢索出包括至少一個面部圖像元素的圖像，面部圖像元素的數(shù)量處在基于包含于所選圖像中的面部圖像元素數(shù)量的預定范圍內(nèi)。
如上所述，圖像可以同信息相關(guān)聯(lián)。
而且，能夠用更少的時間和精力容易地檢索出期望的圖像。


圖1示出了根據(jù)本發(fā)明實施例的圖像處理裝置的結(jié)構(gòu)實例的方框圖；圖2示出了用于檢測面部和加標簽的功能的結(jié)構(gòu)的方框圖；圖3示出了加標簽處理的流程圖；圖4示出了檢測面部區(qū)域的處理的流程圖；
圖5為說明面部檢測的示圖；圖6為說明面部檢測信息的存儲的示圖；圖7為說明面部檢測信息的存儲的示圖；圖8示出了樣板的實例；圖9示出了圖像檢索功能的結(jié)構(gòu)的方框圖；圖10示出了檢索處理的實例的流程圖；圖11示出了檢索圖像的顯示實例；圖12示出了標簽圖標的實例；圖13示出了所找到圖像的列表的顯示實例；圖14示出了檢索處理的另一實例的流程圖；圖15示出了檢索處理的另一實例的流程圖；以及圖16示出了檢索處理的另一實例的流程圖。
具體實施例方式
在描述本發(fā)明的優(yōu)選實施例之前，下面將論討本發(fā)明的特征和優(yōu)選實施例的說明所描述的實施例之間的對應關(guān)系。該說明意在確保支持本發(fā)明的實施例都已經(jīng)在優(yōu)選實施例的說明中進行了描述。因而，即使優(yōu)選實施例說明中描述的實施例沒有作為涉及對應于本發(fā)明一個特征的實施例在這里說明，也不意味著該實施例不涉及本發(fā)明的這個特征。相反地，即使本文中說明了涉及對應于本發(fā)明一個特征的實施例，也不意味著該實施例不涉及本發(fā)明的其他特征。
根據(jù)本發(fā)明實施例的圖像處理裝置包括檢測裝置(例如，圖2中所示的面部檢測引擎32)，用于檢測包含于圖像中的面部圖像元素(即一個或多個面部的圖像元素)的數(shù)量；以及關(guān)聯(lián)裝置(例如，圖2中所示的面部信息數(shù)據(jù)庫33)，用于將圖像與檢測到的面部圖像元素的數(shù)量相關(guān)聯(lián)。
該圖像處理裝置進一步包括生成裝置(例如，圖2中所示的加標簽單元34)，用于根據(jù)包含于圖像中的面部圖像元素數(shù)量和預先存儲的基準值來生成表示圖像類別的標簽。關(guān)聯(lián)裝置將圖像和標簽相關(guān)聯(lián)。
該圖像處理裝置進一步包括檢索裝置(例如，圖9中所示的檢索引擎82)，用于根據(jù)與圖像相關(guān)聯(lián)的標簽來檢索圖像；以及顯示控制裝置(例如，圖9中所示的顯示控制器83)，用于控制所找到的圖像的顯示。
該圖像處理裝置進一步包括檢索裝置(例如，圖9中所示的檢索引擎82)，用于檢索包括至少一個面部圖像元素的圖像，面部圖像元素的數(shù)量與預先存儲的多個基準值中由用戶所選圖標所指定的基準值相對應；以及顯示控制裝置(例如，圖9中所示的顯示控制器83)，用于控制所找到的圖像的顯示。
根據(jù)本發(fā)明實施例的圖像處理方法和程序包括檢測包含于圖像中的面部圖像元素(即一個或多個面部的圖像元素)的數(shù)量的步驟(例如，圖3中所示的步驟S11)；以及將圖像和檢測到的面部圖像元素數(shù)量相關(guān)聯(lián)的步驟(例如，圖3中所示的步驟S13)。
本發(fā)明可應用于處理圖像的裝置，例如個人計算機、數(shù)碼照相機、便攜式終端設備或者便攜式電話。
圖1示出了根據(jù)本發(fā)明實施例的圖像處理裝置的結(jié)構(gòu)實例的方框圖，該裝置為個人計算機。中央處理器(CPU)11按照存儲在只讀存儲器(ROM)12或者存儲單元18中的程序執(zhí)行各種類型的處理。由CPU 11執(zhí)行的程序和數(shù)據(jù)恰當?shù)卮鎯υ陔S機存儲器(RAM)13中。CPU 11、ROM 12和RAM 13經(jīng)過總線14彼此相連。
在Nikkei Business Publications，Inc.于2005年2月28日出版的《Nikkei Electronics》中的第89～117頁，“Cell Tanjou”(“單元的誕生”)中描述的單元(Cell)可被用作CPU 11。
輸入/輸出接口15經(jīng)由總線14同CPU 11連接。輸入單元16(包括鍵盤、鼠標、麥克風、數(shù)碼相機等)和輸出單元17(包括顯示器、揚聲器等)同輸入/輸出接口15連接。CPU 11按照從輸入單元16輸入的指令執(zhí)行各種類型的處理。CPU 11將處理結(jié)果輸出到輸出單元17。
與輸入/輸出接口15連接的存儲單元18舉例來說是硬盤。存儲單元18存儲CPU 11執(zhí)行的程序和各種數(shù)據(jù)。通信單元19經(jīng)由諸如因特網(wǎng)或局域網(wǎng)的網(wǎng)絡與外部裝置通信。
程序可以經(jīng)由通信單元19獲得，可以存儲在存儲單元18中。
當安裝了移動介質(zhì)21，諸如磁盤、光盤、磁光盤或者半導體存儲器，連接到輸入/輸出接口15上的驅(qū)動器20驅(qū)動移動介質(zhì)21，并獲取記錄在移動介質(zhì)21上的程序和數(shù)據(jù)。必要的時候，所獲得的程序和數(shù)據(jù)傳送并存儲于存儲單元18中。
圖2示出了用于檢測面部和加標簽的功能的結(jié)構(gòu)的方框圖。該功能在圖像處理裝置，即執(zhí)行程序的個人計算機中實現(xiàn)。圖2中所示的圖像處理裝置包括文件系統(tǒng)31、面部檢測引擎32、面部信息數(shù)據(jù)庫33、加標簽單元34和樣板數(shù)據(jù)庫35。
圖像文件41存儲在文件系統(tǒng)31中。輸入單元16即數(shù)碼照相機拍攝的靜止圖像(數(shù)據(jù))，或者外部裝置拍攝的靜止圖像(數(shù)據(jù))存儲在圖像文件41中。文件系統(tǒng)31將其中存儲的圖像文件41提供給面部檢測引擎32。
例如，文件系統(tǒng)31對數(shù)據(jù)作為文件存入存儲單元18(即硬盤)進行管理。文件系統(tǒng)31使存儲單元18將數(shù)據(jù)存儲為文件，并讀取存儲在存儲單元18中的文件。
圖像文件41存儲預定格式的圖像數(shù)據(jù)，諸如位圖格式、聯(lián)合圖像專家組(JPEG)格式、JPEG2000格式、可交換圖像文件格式(GIF)或者標簽圖像文件格式(TIFF)。
面部檢測引擎32檢測包含于一個圖像中的面部圖像元素的數(shù)量，即一個或多個面部的圖像元素。例如，面部檢測引擎32檢測包含于存儲在從外部裝置提供的圖像文件41中或者存儲在從文件系統(tǒng)31提供的圖像文件41中的一個圖像中的面部圖像元素的數(shù)量。面部檢測引擎32將包括檢測到的面部圖像元素的數(shù)量的面部檢測信息提供給面部信息數(shù)據(jù)庫33。
面部信息數(shù)據(jù)庫33將各個圖像與檢測出的面部圖像元素的數(shù)量相關(guān)聯(lián)。例如，面部信息數(shù)據(jù)庫33將各個圖像與表示檢測出的面部圖像元素的數(shù)量的面部檢測信息相關(guān)聯(lián)地存儲。
面部信息數(shù)據(jù)庫33使面部檢測信息存儲在存儲單元18中。
加標簽單元34根據(jù)包含于圖像中的面部圖像元素的數(shù)量和預先存儲的基準值來生成表示圖像類別的標簽。例如，根據(jù)存儲在面部信息數(shù)據(jù)庫33中的面部檢測信息和存儲在樣板數(shù)據(jù)庫35中的樣板，加標簽單元34生成表示圖像的類別(屬性)的標簽，例如“人像”、“雙人照”、“集體照”或者“風景照”。標簽表明圖像中的主要對象是人。
用樣板作圖像分類標準的樣板預先存儲在樣板數(shù)據(jù)庫35中。實際應用中，樣板數(shù)據(jù)庫35使樣板存儲在存儲單元18中。
由加標簽單元34生成并表示各個圖像的類別的標簽存儲在面部信息數(shù)據(jù)庫33中，使得該標簽和相應的圖像相關(guān)聯(lián)。
圖3為加標簽處理的流程圖。在步驟S11中，面部檢測引擎32打開圖像文件41，輸入圖像，并檢測輸入圖像中的面部區(qū)域(面部圖像元素)。
下面參照圖4所示的流程圖描述檢測面部區(qū)域的處理。
在步驟S31中，面部檢測引擎32設置要檢測的區(qū)域的初始大小。在步驟S32中，面部檢測引擎32設定該區(qū)域在輸入圖像中的初始位置。
在步驟S33中，面部檢測引擎32獲取屬于該區(qū)域的像素的像素值。在步驟S34中，面部檢測引擎32判定得到了其像素值的區(qū)域是否為面部區(qū)域。
換言之，在步驟S34中，面部檢測引擎32檢測得到其像素值的區(qū)域中的面部圖像元素。
例如，如圖5所示，在步驟S34中，輸入存儲了JPEG圖像數(shù)據(jù)的圖像文件41的面部檢測引擎32，根據(jù)所獲的像素值是否表示處于對應于人類皮膚顏色的預定顏色范圍內(nèi)的顏色來判定得到其像素值的區(qū)域是否為面部區(qū)域。
如果在步驟S34中，確定得到其像素值的區(qū)域為面部區(qū)域，則處理進至步驟S35。在步驟S35中，面部檢測引擎32輸出表示面部區(qū)域(已獲得其像素值的區(qū)域)的位置、面部大小和面部朝向的元數(shù)據(jù)。然后，處理進至步驟S36。
例如，在步驟S35中，當整個圖像的垂直尺寸和水平尺寸設置為1時，面部檢測引擎32檢測面部區(qū)域中心處的垂直和水平位置值(用相對坐標表示)，作為面部在圖像中的位置，并輸出表示檢測到的位置的元數(shù)據(jù)。
此外，例如，在步驟S35中，當整個圖像的垂直尺寸和水平尺寸設置為1時，面部檢測引擎32檢測圖像中面部的大小，包括面部區(qū)域的高度和寬度，用相對坐標表示，然后輸出表示檢測到的面部大小的元數(shù)據(jù)。
此外，例如，在步驟S35中，面部檢測引擎32判定具有預先定義的假定面部朝向的多個圖案(pattern)中的一個圖案是否與面部區(qū)域的圖像元素一致，并輸出表示面部朝向的元數(shù)據(jù)，即表示與面部區(qū)域的圖像元素一致的圖案所對應的朝向的元數(shù)據(jù)。例如，面部朝向由與面部區(qū)域的圖像元素一致的圖案的指數(shù)(index)表示。
例如，在步驟S35中，面部檢測引擎32將表示面部區(qū)域的位置、面部大小和面部朝向的元數(shù)據(jù)輸出至由面部檢測引擎32控制的RAM 13上的存儲區(qū)域。在這種情形下，可存儲表示面部區(qū)域的位置、面部大小和面部朝向的元數(shù)據(jù)。
如果在步驟S34中確定獲得了像素值的區(qū)域不是面部區(qū)域，那么處理跳至步驟S36。
在步驟S36中，面部檢測引擎32判定整個圖像是否在所設大小的基礎(chǔ)上進行了檢測。如果在步驟S36中確定沒有檢測整個圖像，處理前進至步驟S37。在步驟S37中，面部檢測引擎32在圖像內(nèi)移動區(qū)域。然后，處理返回至步驟S33，重復上述處理。
例如，在步驟S37中，面部檢測引擎32按預先設置的像素數(shù)，以光柵掃描順序在圖像內(nèi)移動區(qū)域。在本例中，面部檢測引擎32能以根據(jù)區(qū)域大小而確定的像素數(shù)量(例如，相當于區(qū)域高度和寬度的10％的像素數(shù)量)來移動區(qū)域。
這樣，區(qū)域在圖像內(nèi)按順序移動，并判斷該區(qū)域是否是面部區(qū)域。換言之，區(qū)域在圖像內(nèi)按順序移動，并檢測區(qū)域中的面部圖像元素。
如果在步驟S36中確定檢測了整個圖像，則處理前進至步驟S38。在步驟S38中，面部檢測引擎32判定是否檢測了所有預設大小的區(qū)域。
如果在步驟S38中確定沒有檢測所有預設大小的區(qū)域，那么處理前進至步驟S39。在步驟S39中，面部檢測引擎32設置另外的區(qū)域大小。然后，處理返回至步驟S32，重復上述處理。
本例中，在步驟S32～S37中，要判定不同于先前處理中的區(qū)域的區(qū)域是否為面部區(qū)域。
如果在步驟S38中確定檢測了所有預設大小的區(qū)域，那么處理前進至步驟S40。在步驟S40中，面部檢測引擎32輸出表示包含于存儲在圖像文件41中的整個圖像中的面部圖像元素的數(shù)量和各個面部圖像元素的屬性的面部檢測信息51，諸如位置、大小和朝向。然后，處理結(jié)束。
如上所述，只要圖像中區(qū)域的位置和大小改變，就要判定該區(qū)域是否為面部區(qū)域。因而，面部檢測引擎32檢測存儲在圖像文件41中的整個圖像中面部圖像元素的數(shù)量，并檢測每個面部圖像元素的位置、大小和朝向。
回到圖3，在步驟S12中，面部信息數(shù)據(jù)庫33獲得從面部檢測引擎32輸出的面部檢測信息51。在步驟S13中，面部信息數(shù)據(jù)庫33將圖像和面部檢測信息51彼此關(guān)聯(lián)地存儲。
本例中，例如，圖5所示，面部信息數(shù)據(jù)庫33生成包括面部檢測信息51的元數(shù)據(jù)文件52，并獨立于圖像文件41存儲元數(shù)據(jù)文件52。
如圖6所示，元數(shù)據(jù)文件52存儲有表示面部圖像元素的數(shù)量和各個面部圖像元素的屬性(諸如位置、大小、朝向)的面部檢測元信息(面部檢測信息51)、和其他的元信息。元數(shù)據(jù)文件52通過面部信息數(shù)據(jù)庫33與存儲有圖像Exif信息和圖像數(shù)據(jù)的圖像文件41相關(guān)聯(lián)?；蛘?，通過向元數(shù)據(jù)文件52提供與圖像文件41關(guān)聯(lián)的文件名，使元數(shù)據(jù)文件52和圖像文件41相關(guān)聯(lián)(例如，元數(shù)據(jù)文件52文件名的點號之前的部分等于圖像文件41文件名的點號之前的部分，并且元數(shù)據(jù)文件52的擴展名不同于圖像文件41的擴展名)。
如圖5和圖7所示，表示面部圖像元素的數(shù)量和各個面部圖像元素的屬性(諸如位置、大小和朝向)的面部檢測元信息(面部檢測信息51)可以作為圖像Exif信息存儲在圖像文件41中。
回到圖3，在步驟S14中，加標簽單元34從樣板數(shù)據(jù)庫35中讀取樣板，并把讀出的樣板與面部檢測信息51做比較。
圖8示出了存儲在樣板數(shù)據(jù)庫35中的樣板實例。
主要對象為人的照片一般稱為“人像”。通常，在人像中，拍攝的是相對于整個屏幕的尺寸來說具有較大尺寸的單個面部。如果面部位于圖像的中心，比如上半身的照片，則可以認為圖像的主題很明顯是人。
如圖8所示，名為“人像”的樣板存儲在樣板數(shù)據(jù)庫35中，該樣板表示面部圖像元素數(shù)量為1，并且面部位于圖像的中心、面部大小大、面向前。
這里，如果面部位于圖像中心偏左或偏右的位置，那么可以認為圖像為紀念照，其中還拍攝了位于圖像中心的物體。
如果檢測到相對于豎長畫面來說位于圖像中心靠上部分的小尺寸面部，那么可以認為拍攝的是人的全身像。
主要對象為兩個人的照片一般稱為“雙人照”。
如圖8所示，名為“雙人照”的樣板存儲在樣板數(shù)據(jù)庫35中，該樣板表示面部圖像元素數(shù)量為2或3，各個面部位于圖像中心附近、尺寸大或中等、面向前或者彼此面對。
如果檢測到圖像中基本一樣大小且相離很近的多個面部區(qū)域，那么可以認為拍攝的是包含三個或者更少人的小組像。盡管圖8中沒有示出，但是名為“小組像”的樣板存儲在樣板數(shù)據(jù)庫35中，該樣板表示面部圖像元素數(shù)量為3～7，每個面部彼此相離很近、尺寸中等或小、面向前。
主要對象為一群人的照片一般稱為“集體照”。如果基本一樣大小的多個面部縱向或橫向地以預定空間間隔排列在大范圍之內(nèi)，那么可以認為該圖像是在團體旅行等情況下拍攝的集體照。
事件中拍攝的集體照總是能喚起對事件的回憶。例如，通過在拍攝時間的分配的基礎(chǔ)上指定事件中的集體照，在圖像分類中賦給集體照高優(yōu)先級是有益處的。
如圖8所示，名為“集體照”的樣板存儲在樣板數(shù)據(jù)庫35中，該樣板表示面部圖像元素數(shù)量為8～13，每個面部位于圖像中心上部并且橫向分布、尺寸小、面向前。
此外，主要對象為風景或者非人物的照片一般稱為“風景照”。如果沒有檢測到面部圖像元素，如果面部圖像元素很分散，或者如果面部圖像元素位于圖像的邊緣，那么可以認為圖像的主要對象不是人。
如圖8所示，名為“風景照”的樣板存儲在樣板數(shù)據(jù)庫35中，該樣板表示面部圖像元素數(shù)量為0。對于名為“風景照”的樣板，不依賴面部的大小和朝向來統(tǒng)計面部的數(shù)量。
此外，對于名為“風景照”的樣板，面部的位置沒有限制。此外，不計算小尺寸的面部數(shù)量，并且不計算位于一旁的面部數(shù)量。
如上所述，例如，在步驟S14中，加標簽單元34從樣板數(shù)據(jù)庫35中讀取圖8所示的樣板，并將該樣板同面部檢測信息51比較。
在步驟S14中，加標簽單元34可以將部分樣板同部分面部檢測信息51比較?；蛘?，在步驟S14中，加標簽單元34可以將整個樣板同整個面部檢測信息51比較。例如，加標簽單元34可以將由樣板指出的面部數(shù)量同面部檢測信息51中的面部數(shù)量比較。或者，例如，加標簽單元34可以將樣板表示的面部數(shù)量、每個面部的位置、大小、朝向同面部檢測信息51中的面部數(shù)量、每個面部的位置、大小、朝向比較。
此外，可以準備好表明各種照相技術(shù)理論的結(jié)合的樣板。
在步驟S15中，加標簽單元34在面部信息數(shù)據(jù)庫33中注冊與樣板匹配的標簽。然后，處理結(jié)束。
例如，如果包含在面部檢測信息51中的面部數(shù)量為1，由于“人像”樣板表示的面部數(shù)量為1，那么同面部檢測信息51相關(guān)聯(lián)的圖像在與表示“人像”的標簽相關(guān)聯(lián)的情況下注冊(存儲)于面部信息數(shù)據(jù)庫33中。
例如，如果面部檢測信息51指出面部數(shù)量為2，各個面部位于圖像中心附近、尺寸為中等、面向前，由于“雙人照”樣板表示面部圖像元素數(shù)量為2或3，每個面部位于圖像中心附近、尺寸為大或中等、面向前或者彼此面對，那么同面部檢測信息51相關(guān)聯(lián)的圖像在與表示“雙人照”的標簽相關(guān)聯(lián)的情況下注冊于面部信息數(shù)據(jù)庫33中。
如上所述，指明每個圖像的類別的標簽，諸如指明“人像”、“雙人照”、“集體照”或者“風景照”的標簽，同各個圖像相關(guān)聯(lián)，并注冊于面部信息數(shù)據(jù)庫33中。
標簽存儲在元數(shù)據(jù)文件52中或者作為圖像Exif信息存入圖像文件41中。
可以設置樣板為所謂的默認值?；蛘?，用戶可以更改樣板。在這種情況下，當樣板改變時，通過執(zhí)行處理中的步驟S14和S15，可以根據(jù)改變的樣板更改與每個圖像關(guān)聯(lián)的標簽。也就是，同圖像相關(guān)聯(lián)的標簽會動態(tài)地改變。
圖9示出了由圖像處理裝置(即執(zhí)行程序的個人計算機)實施的圖像檢索功能的結(jié)構(gòu)方框圖。圖9中所示的圖像處理裝置包括文件系統(tǒng)31、面部檢測引擎32、面部信息數(shù)據(jù)庫33、樣板數(shù)據(jù)庫35、檢索條件獲取單元81、檢索引擎82和顯示控制器83。
顯然，該圖像處理裝置可以包括加標簽單元34，并具有將圖2所示的結(jié)構(gòu)和圖9所示的結(jié)構(gòu)結(jié)合起來的結(jié)構(gòu)。
指明包含于整個圖像中的面部圖像元素數(shù)量和每個面部圖像元素的屬性，比如位置、大小、朝向的元數(shù)據(jù)文件52和表示圖像的類別并與圖像相關(guān)聯(lián)的標簽存儲在面部信息數(shù)據(jù)庫33中。
檢索條件獲取單元81根據(jù)從輸入單元16(包括用戶操作的鍵盤、鼠標等)接收到的信號，獲取檢索圖像的檢索條件。
檢索條件獲取單元81包括余量增加器(margin adder)91。余量增加器91給所得的檢索條件增加一個余量。也就是，余量增加器給用作基準值的所得檢索條件增加一個余量，并生成具有預定范圍(寬度)的檢索條件。增加這樣的一個余量使得檢索條件能夠有預定的范圍。
檢索條件獲取單元81將所得的檢索條件提供給檢索引擎82。
檢索引擎82在由檢索條件獲取單元81提供的檢索條件的基礎(chǔ)上檢索存儲于文件系統(tǒng)31中的圖像文件41。檢索引擎82將所得圖像文件41提供給顯示控制器83。
顯示控制器83根據(jù)存儲在由檢索引擎82提供的圖像文件41中的圖像數(shù)據(jù)，使圖像在作為顯示器的輸出單元17上顯示。
圖10為檢索處理實例的流程圖。在步驟S51中，根據(jù)從輸入單元16(包括用戶操作的鍵盤、鼠標等)接收到的信號，檢索條件獲取單元81選擇一個顯示在輸出單元17上的標簽圖標。
圖11示出了用于檢索的圖形用戶界面(GUI)圖像的顯示實例。GUI圖像在輸出單元17上顯示。在輸出單元17的屏幕的右部提供了縮略圖顯示區(qū)121。對應于存儲在要檢索的圖像文件41中的圖像數(shù)據(jù)的縮略圖或者對應于存儲在所找到的圖像文件41中的圖像數(shù)據(jù)的縮略圖在縮略圖顯示區(qū)121中顯示。在圖11所示的縮略圖顯示區(qū)121中，縮略圖排列成五行。當用戶操作置于縮略圖顯示區(qū)121右邊的滾動條時，縮略像垂直滾動。
在輸出單元17的屏幕的左部提供了檢索工具顯示區(qū)122。檢索工具顯示區(qū)122包括圖像檢索使用的各種工具。選中的圖像在圖11中所示的檢索工具顯示區(qū)122的上部顯示，這樣使得它比各個縮略圖相對大些。在檢索工具顯示區(qū)122的上部顯示圖像中，顯示了表示檢測面部區(qū)域的方框。
標簽圖標置于圖11所示檢索工具顯示區(qū)122的下部。各個標簽圖標是用戶用來選擇標簽作為檢索條件的圖標。
圖12示出了各種標簽圖標的實例。標簽圖標141-1是用戶用來選擇對應于“人像”的標簽作為檢索條件的圖標。標簽圖標141-2是用戶用來選擇對應于“雙人照”的標簽作為檢索條件的圖標。標簽圖標141-3是用戶用來選擇對應于“小組照”的標簽作為檢索條件的圖標。標簽圖標141-4是用戶用來選擇對應于“集體照”的標簽作為檢索條件的圖標。
在下文中，如果沒必要區(qū)別圖標141-1～141-4，則各個標簽圖標統(tǒng)稱為標簽圖標141。
在步驟S51中，當用戶根據(jù)輸入至輸入單元16(包括鍵盤、鼠標等)的操作選擇任一標簽圖標141時，指出對應于所選標簽圖標141的標簽的檢索條件被提供給檢索引擎82。例如，當用戶選擇標簽圖標141-1時，檢索條件獲取單元81向檢索引擎82提供表示對應于“人像”的標簽的檢索條件。例如，當用戶選擇標簽圖標141-3時，檢索條件獲取單元81向檢索引擎82提供表示對應于“小組照”的標簽的檢索條件。
在步驟S52中，檢索引擎82根據(jù)與圖像相關(guān)聯(lián)的標簽(即檢索條件)檢索圖像。標簽在檢索中作為關(guān)鍵字使用。
換言之，例如，檢索引擎82從存儲在面部信息數(shù)據(jù)庫33的標簽中檢索與作為關(guān)鍵字的標簽相對應的標簽。檢索引擎82在文件系統(tǒng)31中檢索與所得標簽相關(guān)聯(lián)的圖像文件41，所述標簽與作為關(guān)鍵字的標簽相對應。檢索引擎82從文件系統(tǒng)31中讀取所找到的圖像文件41，并將讀出的圖像文件41提供給顯示控制器83。
在步驟S52中，檢索引擎82根據(jù)與圖像相關(guān)聯(lián)的標簽(即檢索條件，并被用作關(guān)鍵字)，可以從預定范圍內(nèi)的圖像中，例如，從存儲在預設文件夾或目錄中或者存儲在用戶選擇的文件夾或目錄中的圖像中檢索期望的圖像。
在步驟S53中，根據(jù)存儲在由檢索引擎82提供的圖像文件41中的圖像數(shù)據(jù)，顯示控制器83使圖像列表顯示在輸出單元17上。然后，處理結(jié)束。
在這種情況下，顯示控制器83可以按照圖像Exif信息中描述的數(shù)據(jù)等分類圖像，經(jīng)過分類的圖像的列表可以顯示在輸出單元17上。
圖13示出了縮略圖顯示區(qū)121中顯示的所得圖像列表的實例。如果用戶在步驟S51中選擇標簽圖標141-3，那么提供給檢索引擎82檢索條件，即表示對應于“小組照”的標簽。然后，在步驟S52中，從文件系統(tǒng)中檢索與對應于“小組照”的標簽相關(guān)聯(lián)的圖像文件41。
因而，在步驟S53中，圖像的列表顯示在輸出單元17上。如圖13所示，與對應“小組照”的標簽相關(guān)聯(lián)的圖像，即，比如面部數(shù)量為3～7、面部彼此靠近、每個面部的尺寸為中等或小，以及面向前的圖像顯示在縮略圖顯示區(qū)121中。在圖13所示的例子中，找到三個與對應于“小組照”的標簽相關(guān)聯(lián)的圖像文件41。因而，在縮略圖顯示區(qū)121中顯示與三個圖像文件41相對應的三個縮略圖。
如上所述，可以用更少的時間和精力容易地檢索出期望的圖像。
圖14示出了另一檢索處理實例的流程圖。在步驟S71中，檢索條件獲取單元81根據(jù)從輸入單元16(包括用戶操作的鍵盤、鼠標等)接收到的信號選擇圖像。例如，在步驟S71中，檢索條件獲取單元81根據(jù)輸入單元16接收到的信號，從顯示在縮略圖顯示區(qū)121中的縮略圖中選擇對應于被雙擊縮略圖的圖像。
在步驟S72中，檢索條件獲取單元81從面部信息數(shù)據(jù)庫33中獲取附在所選圖像上的標簽。也就是，在步驟S72中，檢索條件獲取單元81從存儲在面部信息數(shù)據(jù)庫33的標簽中獲取同所選圖像相關(guān)聯(lián)的標簽。
步驟S73和S74中的處理類似于圖10中所示的步驟S52和S53的處理。因而，省略描述步驟S73和S74的處理。
如上文所述，通過僅僅選擇圖像，就可以簡單地檢索出與類似于所選圖像標簽的標簽相關(guān)聯(lián)的圖像。
圖15示出了另一檢索處理實例的流程圖。在步驟S91中，檢索條件獲取單元81根據(jù)從輸入單元16(包括用戶操作的鍵盤、鼠標等)接收到的信號選擇顯示在輸出單元17上的樣板圖標。樣板圖標是用戶用來選擇作為檢索條件的樣板的圖標。
在步驟S92中，檢索條件獲取單元81從樣板數(shù)據(jù)庫35中獲取信息，諸如面部數(shù)量、每個面部的位置、大小和朝向，它們作為條件描述在對應于所選樣板圖標的樣板中。例如，當圖8所示的樣板存儲在樣板數(shù)據(jù)庫35中時，在步驟S91中，選擇樣板名為“人像”的樣板的樣板圖標。在這種情況下，在步驟S92中，檢索條件獲取單元81獲取對應于樣板名為“人像”的樣板的信息，該信息指明面部數(shù)量(面部圖像元素)為1，面部位于圖像中心，面部尺寸為大以及面部朝向前方。
此外，例如，當圖8所示的樣板存儲在樣板數(shù)據(jù)庫35中時，在步驟S91中，選擇樣板名為“集體照”的樣板的樣板圖標。在這種情況下，在步驟S92中，檢索條件獲取單元81獲取對應于樣板名為“集體照”的樣板的信息，該信息指明面部數(shù)量(面部圖像元素)為8～13，面部位于圖像的上半部分，面部橫向展開，面部尺寸為小以及面部朝向前方。
在步驟S93中，余量增加器91給所得的信息增加一個余量，并設置指明檢索范圍的面部信息關(guān)鍵字。例如，在步驟S92中，如果獲得與樣板名為“雙人照”的樣板相對應的信息，該信息指明面部數(shù)量(面部圖像元素)為2或3，面部位于圖像中心附近，面部尺寸為大或中等以及面部朝向前方或者彼此相對，余量增加器91給面部數(shù)量增加余量“+1”。因而，余量增加器91設置指明面部數(shù)量(面部圖像元素)為2～4、面部位于圖像中心附近、面部尺寸為大或中等以及面部朝向前方或者彼此相對的面部信息關(guān)鍵字。
例如，余量增加器91可以給面部數(shù)增加余量“-1”。因而，余量增加器91設置指明面部數(shù)量(面部圖像元素)為1～3、面部位于圖像中心附近、面部尺寸為大或中等以及面部朝向前方或者彼此相對的面部信息關(guān)鍵字。
不一定給面部(面部圖像元素)數(shù)量增加余量。也可以給位置、大小或者面部朝向增加余量。換句話說，可以給面部數(shù)量(面部圖像元素)、每個面部的位置、大小和面部朝向增加余量。
在步驟S94中，檢索引擎82根據(jù)所設的面部信息關(guān)鍵字檢索圖像。例如，檢索引擎82從面部信息數(shù)據(jù)庫33中檢索元數(shù)據(jù)文件52，其中存儲了與面部信息關(guān)鍵字相對應的面部檢測元信息。然后，檢索引擎82從文件系統(tǒng)31中檢索與找到的元數(shù)據(jù)文件52相關(guān)聯(lián)的圖像文件41。檢索引擎82從文件系統(tǒng)31中讀取找到的圖像文件41，并將讀取的圖像文件41提供給顯示控制器83。
例如，當檢索引擎82在指明面部數(shù)量(面部圖像元素)為2～4、面部位于圖像中心附近、面部尺寸為大或中等以及面部朝向前方或者彼此相對的面部信息關(guān)鍵字的基礎(chǔ)上檢索圖像時，從文件系統(tǒng)31中檢索面部數(shù)量(面部圖像元素)為2～4、面部位于圖像中心附近、面部尺寸為大或中等以及面部朝向前方或者彼此相對的圖像，并將找到的圖像提供給顯示控制器83。
在步驟S95中，根據(jù)存儲在由檢索引擎82提供的圖像文件41中的圖像數(shù)據(jù)，顯示控制器83使圖像列表顯示在輸出單元17上。然后，處理結(jié)束。
如上文所述，即使標簽不與圖像關(guān)聯(lián)，也可以根據(jù)樣板用更少的時間和精力容易地檢索出期望的圖像。
圖16示出了另一檢索處理實例的流程圖。在步驟S121中，檢索條件獲取單元81根據(jù)從輸入單元16(包括用戶操作的鍵盤、鼠標等)接收到的信號選擇圖像。舉例來說，在步驟S121中，檢索條件獲取單元81根據(jù)輸入單元16接收到的信號，從顯示在縮略圖顯示區(qū)121中的縮略圖中選擇被雙擊的縮略圖所對應的圖像。
在步驟S122中，檢索條件獲取單元81從所選圖像中獲取面部數(shù)量、每個面部的位置、大小和面部朝向。例如，在步驟S122中，檢索條件獲取單元81從面部信息數(shù)據(jù)庫33中讀取同所選圖像相關(guān)聯(lián)的元數(shù)據(jù)文件52。然后，檢索條件獲取單元81獲取由包含于所讀出的元數(shù)據(jù)文件52中的面部檢測信息指明的面部數(shù)量、每個面部的位置、大小和面部朝向。
面部檢測引擎32可以通過檢測包含于所選圖像中的面部數(shù)量、每個面部的位置、大小和面部朝向，來獲取面部數(shù)量、每個面部的位置、大小和面部朝向。
步驟S123和S125中的處理類似于圖15中所示的步驟S93和S95的處理。因而，省略描述步驟S123和S125的處理。
如上文所述，即使標簽不同圖像關(guān)聯(lián)，也可以在顯示圖像的基礎(chǔ)上用更少的時間和精力容易地檢索出期望的圖像。
如上文所述，僅僅通過選擇圖標，就可以通過圖像處理裝置的內(nèi)部處理篩選出需要的圖像。因而，能夠檢索出用戶想要察看的圖像。此外，僅通過選擇用戶當前正在查看的圖片，就可以在把所選圖像的屬性作為關(guān)鍵值的基礎(chǔ)上檢索圖像。進一步篩選找到的圖片并顯示在屏幕上。
使用通過檢測面部圖像元素獲得的元信息，可以推定圖像的主要對象和拍攝目的，并根據(jù)推定的主要對象和拍攝目的為圖像執(zhí)行添加標簽。在添加標簽的基礎(chǔ)上，可以容易地檢索圖像。
此外，根據(jù)加標簽，可以提出更高性能的應用。例如，通過結(jié)合加標簽和拍攝或元信息的時間順序，諸如由全球定位系統(tǒng)(GPS)提供的位置信息，長時間積累的圖像(照片)可以自動按照人物或者特殊圖像(照片)進行分類，比如雙人照，可以同他人分享。此外，能夠提供更高性能的應用，諸如旅行等情況中的重要場景膠片(紀念照)的摘要幻燈片展示，其中可以有效地利用用戶所擁有的照片和圖像內(nèi)容。
如上所述，當從圖像中檢測到的信息與圖像相關(guān)聯(lián)時，圖像可以與該信息相關(guān)聯(lián)。此外，當檢測包含于圖像中的面部圖像元素的數(shù)量，即一個或多個面部圖像元素，并且圖像與檢測到的面部圖像元素數(shù)量相關(guān)聯(lián)時，可以用更少的時間和精力容易地檢索出期望的圖像。
上述系列的處理可以由硬件或軟件執(zhí)行。如果上述系列處理由軟件執(zhí)行，那么構(gòu)成軟件的程序可從程序存儲介質(zhì)安裝到安裝在專用硬件中的計算機上，或者，例如，安裝在能夠通過安裝各種程序?qū)崿F(xiàn)各種功能的通用個人計算機中。
安裝在計算機上并存儲有計算機可執(zhí)行程序的程序存儲介質(zhì)包括，例如，移動介質(zhì)21，即封裝介質(zhì)，諸如磁盤(例如，軟盤)、光盤(例如，只讀光盤存儲器(CD-ROM)或者數(shù)字化視頻光盤(DVD))、磁光盤(例如，迷你盤(MD))、或者半導體存儲器，程序臨時或永久存儲其中的ROM 12，以及形成存儲單元18的硬盤，如圖1所示。必要時，程序通過有線或無線通信介質(zhì)，經(jīng)由通信單元19(即接口，諸如路由器或者調(diào)制解調(diào)器)存儲在程序存儲介質(zhì)中，諸如局域網(wǎng)、因特網(wǎng)或者數(shù)字衛(wèi)星廣播。
在本說明書中，定義存儲在程序存儲介質(zhì)中的程序的步驟沒有必要按照所寫順序執(zhí)行。所述步驟可以不按順序并行或者獨立執(zhí)行。
此外，在本說明書中，術(shù)語“系統(tǒng)”指的是由多個裝置組成的整個設備。
此外，本發(fā)明的實施例不受前文所述實施例的限制。在不脫離本發(fā)明要旨的情況下可以對本發(fā)明進行各種更改。
對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的權(quán)利要求范圍之內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，包括檢測裝置，用于檢測包含于圖像中的面部圖像元素的數(shù)量，即一個或多個面部的圖像元素；以及關(guān)聯(lián)裝置，用于將所述圖像與檢測出的所述面部圖像元素的數(shù)量相關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述檢測裝置進一步檢測每一個所述面部圖像元素的大?。灰约八鲫P(guān)聯(lián)裝置將所述圖像與檢測出的所述面部圖像元素的數(shù)量以及檢測出的每一個所述面部圖像元素的大小相關(guān)聯(lián)。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述檢測裝置進一步檢測每一個所述面部圖像元素的位置；以及所述關(guān)聯(lián)裝置將所述圖像與檢測出的所述面部圖像元素的數(shù)量以及檢測出的每一個所述面部圖像元素的位置相關(guān)聯(lián)。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述檢測裝置進一步檢測每一個所述面部圖像元素的面部朝向；以及所述關(guān)聯(lián)裝置將所述圖像與檢測出的所述面部圖像元素的數(shù)量以及檢測出的每一個所述面部圖像元素的面部朝向相關(guān)聯(lián)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，進一步包括生成裝置，用于根據(jù)包含于所述圖像中的所述面部圖像元素的數(shù)量和預先存儲的基準值生成表示所述圖像的類別的標簽，其中所述關(guān)聯(lián)裝置將所述圖像與所述標簽相關(guān)聯(lián)。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，進一步包括檢索裝置，用于根據(jù)與所述圖像相關(guān)聯(lián)的所述標簽檢索所述圖像；以及顯示控制裝置，用于控制所找到的圖像的顯示。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述檢索裝置檢索與由用戶所選圖標指定的標簽相類似的標簽所關(guān)聯(lián)的圖像。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述檢索裝置檢索與用戶所選圖像所關(guān)聯(lián)的標簽相類似的標簽所關(guān)聯(lián)的圖像。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，進一步包括檢索裝置，用于檢索包括至少一個面部圖像元素的圖像，所述面部圖像元素的數(shù)量與預先存儲的多個基準值中由用戶所選圖標指定的基準值相對應；以及顯示控制裝置，用于控制所找到的圖像的顯示。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，所述檢索裝置檢索包括所述至少一個面部圖像元素的圖像，所述面部圖像元素的數(shù)量處在基于所述圖標指定的基準值的預定范圍內(nèi)。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，進一步包括檢索裝置，用于檢索包括至少一個面部圖像元素的圖像；以及顯示控制裝置，用于控制所找到的圖像的顯示，其中，所述檢測裝置檢測包含于用戶所選圖像中的面部圖像元素的數(shù)量，并且其中，包含于所找到的圖像中的面部圖像元素的數(shù)量與包含于選中圖像中的面部圖像元素的數(shù)量相對應。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，所述檢索裝置檢索包括所述至少一個面部圖像元素的圖像，所述面部圖像元素的數(shù)量處在基于包含于選中圖像中的面部圖像元素的數(shù)量的預定范圍內(nèi)。
13.一種圖像處理方法，包括以下步驟檢測包含于圖像中的面部圖像元素的數(shù)量，即一個或多個面部圖像元素；以及將所述圖像與檢測出的面部圖像元素的數(shù)量相關(guān)聯(lián)。
14.一種使計算機執(zhí)行包括以下步驟的處理的程序檢測包含于圖像中的面部圖像元素的數(shù)量，即一個或多個面部圖像元素；以及將所述圖像與檢測出的面部圖像元素數(shù)量相關(guān)聯(lián)。
15.一種圖像處理裝置，包括檢測單元，用于檢測包含于圖像中的面部圖像元素的數(shù)量，即一個或多個面部圖像元素；以及關(guān)聯(lián)單元，用于將所述圖像與檢測出的面部圖像元素的數(shù)量相關(guān)聯(lián)。
全文摘要
本發(fā)明提供了一種圖像處理裝置，包括檢測裝置，用于檢測包含于圖像中的面部圖像元素的數(shù)量，即一個或多個面部圖像元素；以及關(guān)聯(lián)裝置，用于將該圖像與檢測出的面部圖像元素的數(shù)量相關(guān)聯(lián)。
文檔編號G06K9/00GK1908936SQ20061010424
公開日2007年2月7日 申請日期2006年8月7日 優(yōu)先權(quán)日2005年8月5日
發(fā)明者福田岳士, 兒島環(huán) 申請人:索尼株式會社