專利名稱：圖像處理裝置、圖像捕獲裝置、圖像處理方法及記錄媒介的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置、圖像捕獲裝置、圖像處理方法以 及圖像處理程序，并且尤其是涉及一種用于存儲(chǔ)最佳拍攝圖像的技術(shù)。
背景技術(shù)：
在現(xiàn)有技術(shù)中提出了一種臉部圖像處理方法。該方法包括連續(xù) 地輸入包括有臉部圖像的人的圖像、從該圖像判斷對(duì)象臉部的狀態(tài)(例 如瞳孔的狀態(tài))、并且自動(dòng)選擇包括有與用戶期望相匹配的適當(dāng)臉部
圖像(日本專利申請(qǐng)?zhí)亻_(kāi)No. 2000 — 259833)。該方法可，例如通過(guò) 在某個(gè)時(shí)間長(zhǎng)度將照相機(jī)指向?qū)ο蠖@得包括其中對(duì)象睜開(kāi)眼睛的適 當(dāng)臉部圖像的圖像。
在現(xiàn)有技術(shù)中還提出了一種圖像辟理裝置。所提粗的圖像處理裝 置找到包含在輸入圖像之中的臉部的預(yù)定局部(與眼、嘴、以及鼻子 相對(duì)應(yīng))中的特征點(diǎn)，并且找到預(yù)定局部的特征量(例如眼睛(特性 點(diǎn))的終端與嘴的終端(特性點(diǎn))之間的距離)。圖像處理裝置還找 到包含預(yù)定臉部表情的臉的另一圖像中的預(yù)定局部的特征量。圖像處 理裝置進(jìn)一步計(jì)算對(duì)于每個(gè)預(yù)定局部而言輸入圖像的特征量與其他圖 像的特征量之間的差，并且根據(jù)該差來(lái)計(jì)算用于每個(gè)預(yù)定局部的分?jǐn)?shù)。 通過(guò)將為輸入圖像所計(jì)算的分?jǐn)?shù)的分布與為各種臉部表情的臉中的預(yù) 定局部所計(jì)算的分?jǐn)?shù)的已知分布進(jìn)行比較，圖像處理裝置判斷在輸入 圖像的臉上是哪種臉部表情(日本專利申請(qǐng)?zhí)亻_(kāi)No. 2005 — 56388)。
此外，根據(jù)日本專利申請(qǐng)?zhí)亻_(kāi)No. 2005 — 56388的圖像捕獲裝置， 當(dāng)用戶希望捕獲包括有期望臉部表情(諸如笑)的圖像時(shí)，捕獲包括 該臉部的時(shí)間序列圖像，并且將為每個(gè)圖像所計(jì)算的分?jǐn)?shù)的分布與為笑臉中的預(yù)定局部所計(jì)算的分?jǐn)?shù)的分布進(jìn)行比較。通過(guò)僅存儲(chǔ)具有最 接近笑臉?lè)植嫉姆植嫉膱D像，圖像捕獲設(shè)備可存儲(chǔ)包括期望表情的圖 像
發(fā)明內(nèi)容
—
然而，日本專利申請(qǐng)?zhí)亻_(kāi)No. 2000 —259833的發(fā)明的問(wèn)題在于因 為判斷連續(xù)輸入圖像的每個(gè)圖像是否包括用戶期望的適,臉部圖像 (例如其中對(duì)象眼睛睜開(kāi)的圖像)，因此需要大量圖像處理。
另外，日本專利申請(qǐng)?zhí)亻_(kāi)No. 2005 — 56388的發(fā)明也具有相似問(wèn) 題，該問(wèn)題在于因?yàn)閳D像處理裝置判斷圖像序列的每個(gè)圖像中的臉部 表情，因此需要大量圖像處理。
此外，日本專利申請(qǐng)?zhí)亻_(kāi)No. 2000—259833和No. 2005—56388 均具有進(jìn)一步的問(wèn)題，該問(wèn)題在于如果連續(xù)地輸入包含適當(dāng)臉部圖像 或者期望表情的臉部圖像的圖像，那么存儲(chǔ)所有輸入圖像(例如包含 具有相同表情的臉部的同樣圖像)，并且無(wú)用地消耗了存儲(chǔ)媒介的存 儲(chǔ)器容量。 '
在考慮了上述問(wèn)題之后構(gòu)思了本發(fā)明并且目的是提供一種能夠從 連續(xù)捕獲的圖像中僅存儲(chǔ)用戶希望存儲(chǔ)的圖像(以下稱為"最佳拍攝圖 像")并且能夠有效地提取最佳攝圖像的圖像處理裝置、圖像捕獲裝 置、圖像處理方法、以及圖像處理程序。
為了實(shí)現(xiàn)該目的，根據(jù)本發(fā)明第一方面的圖像處理裝置包括圖 像獲取設(shè)備，其用于順序地獲取按照連續(xù)方式所捕獲的圖像；臉部檢 測(cè)設(shè)備，其用于對(duì)所獲取的圖像中的臉部進(jìn)行檢測(cè)；表情變化量計(jì)算 設(shè)備，其用于對(duì)每個(gè)目標(biāo)幀計(jì)算表情變化量，該表情變化量表示在當(dāng) 前目標(biāo)幀的圖像中所檢測(cè)到的臉部與在之前目標(biāo)幀的圖像中所檢測(cè)到 的臉部之間的表情變化，目標(biāo)幀是獲取幀中的每個(gè)或者是獲取幀中規(guī)則間隔的幀；提取設(shè)備，其用于提取所計(jì)算的表情變化量大于或等于 預(yù)定值的目標(biāo)幀的圖像；以及存儲(chǔ)設(shè)備，其用于將所提取的目標(biāo)幀的 圖像或者位于所提取的目標(biāo)幀附近的幀的圖像存儲(chǔ)在存儲(chǔ)媒介中。
因此，從按照連續(xù)方式所捕獲的圖像當(dāng)中提取具有大臉部表情變 化的臉部的目標(biāo)幀的圖像，并且將所提取的目標(biāo)幀的圖像或者位于所 提取的目標(biāo)幀附近的幀的圖像存儲(chǔ)在存儲(chǔ)媒介中。
應(yīng)該注意的是存在大臉部表情變化的臉部很有可能是期望的圖像 (即，用戶希望存儲(chǔ)的臉的圖像(最佳拍攝))。此外，對(duì)兩個(gè)圖像 之間的表情變化量進(jìn)行計(jì)算所需的圖像處理負(fù)荷低于對(duì)臉部表情本身 進(jìn)行分析所需的圖像處理負(fù)荷。此外，當(dāng)在連續(xù)圖像中捕獲表情不變 的臉部時(shí)，不存儲(chǔ)包含這種臉部的圖像。因此，可避免浪費(fèi)使用存儲(chǔ) 媒介上的存儲(chǔ)器容量。
根據(jù)本發(fā)明第二方面的圖像處理裝置包括圖像獲取設(shè)備，其用 于順序地獲取按照連續(xù)方式所捕獲的圖像；臉部檢測(cè)設(shè)備，其用于對(duì) 所獲取圖像中的臉部進(jìn)行檢測(cè)；表情變化量計(jì)算設(shè)備，其用于對(duì)每個(gè) 目標(biāo)幀計(jì)算表情變化量，該表情變化量表示在每個(gè)目標(biāo)幀的圖像中所 檢測(cè)到的臉部與參考模板臉部之間的表情變化，該目標(biāo)幀是獲取幀中 的每個(gè)或者是獲取幀中規(guī)則間隔的幀；提取設(shè)備，其用于提取所計(jì)算
的表情變化量是預(yù)定值以及之上的目標(biāo)幀的圖像；以及存儲(chǔ)設(shè)備，其 用于將所提取的目標(biāo)幀的圖像或者位于所提取的目標(biāo)幀附近的幀的圖 像存儲(chǔ)在存儲(chǔ)媒介中。
根據(jù)本發(fā)明的第一方面計(jì)算在當(dāng)前目標(biāo)幀圖像中所檢測(cè)到的臉部 與在連續(xù)捕獲的圖像的之前目標(biāo)幀圖像中所檢測(cè)到的臉部之間的表情 變化。另一方面，根據(jù)本發(fā)明的第二方面與第一方面的不同之處在于 計(jì)算連續(xù)捕獲的目標(biāo)幀的圖像與參考模板之間的表情變化量。根據(jù)本發(fā)明的第三方面，在根據(jù)第二方面的圖像處理裝置中，根 據(jù)與一個(gè)或多個(gè)人的平常臉的臉部局部相對(duì)應(yīng)的多個(gè)特征點(diǎn)的坐標(biāo)位 置來(lái)創(chuàng)建參考模板。
應(yīng)該注意的是之前與之后幀的臉部之間的表情變化量至多是預(yù)定 值的連續(xù)捕獲的任何幀的圖像中的臉部可用作平常臉。
根據(jù)本發(fā)明的第四方面，在根據(jù)第三方面的圖像處理裝置中，預(yù) 先創(chuàng)建與人的屬性相對(duì)應(yīng)的多個(gè)參考模板并且將其存儲(chǔ)在存儲(chǔ)器中， 并且通過(guò)圖像獲取設(shè)備從存儲(chǔ)器讀取相應(yīng)于所獲取的圖像中與人的屬 性的參考模板并使用。所考慮的人的屬性的示例包括性別、年齡、成 熟度(孩子或者成人)、以及種族。
根據(jù)本發(fā)明的第五方面，根據(jù)第一至第四方面任何一個(gè)的圖像處 理裝置進(jìn)一步包括典型臉部選擇設(shè)備，該典型臉部選擇設(shè)備用于當(dāng)臉 部檢測(cè)設(shè)備對(duì)多個(gè)臉部進(jìn)行檢測(cè)時(shí)，根據(jù)以亮度、位置、大小、以及 臉部清晰度中的至少一個(gè)為條件來(lái)選擇典型臉部以作為目標(biāo)幀圖像中 檢測(cè)到的臉部。換句話說(shuō)，當(dāng)所捕獲的圖像中存在不止一個(gè)人時(shí)，選 擇單個(gè)人作為目標(biāo)。利用該安排，可將被選擇為目標(biāo)的人的最佳拍攝 圖像進(jìn)行存儲(chǔ)，并且可使對(duì)要存儲(chǔ)的圖像的選擇簡(jiǎn)單化。
根據(jù)本發(fā)明的第六方面，在根據(jù)第一至第五方面任何一個(gè)的圖像 處理裝置中，表情變化量檢測(cè)設(shè)備包括特征點(diǎn)提取設(shè)備，其用于提 取與每個(gè)臉部局部相對(duì)應(yīng)的多個(gè)特征點(diǎn)；標(biāo)準(zhǔn)化設(shè)備，其用于使所提 取的特征點(diǎn)的坐標(biāo)位置標(biāo)準(zhǔn)化；以及計(jì)算設(shè)備，其用于根據(jù)每個(gè)臉部 中的相應(yīng)特征點(diǎn)的標(biāo)準(zhǔn)化坐標(biāo)位置之間的距離總和或者其之間的距離 的平方和來(lái)對(duì)兩個(gè)比較的臉部計(jì)算表情變化量。該安排可利用簡(jiǎn)單操 作來(lái)計(jì)算表情變化量。
根據(jù)本發(fā)明的第七方面，根據(jù)第一至第六方面任何一個(gè)的圖像處理裝置進(jìn)一步包括最佳圖像候選者提取設(shè)備，其用于提取已提取的 目標(biāo)幀的圖像以及多個(gè)連續(xù)幀的圖像以作為最佳圖像候選者，所述多 個(gè)連續(xù)幀的圖像是目標(biāo)幀的之前和之后圖像中的至少一個(gè)；以及最佳 圖像選擇設(shè)備，其用于從所提取的最佳圖像候選者組中選擇最佳圖像， 其中存儲(chǔ)設(shè)備將所選的最佳圖像存儲(chǔ)在存儲(chǔ)媒介中。
根據(jù)本發(fā)明的第八方面，在根據(jù)第七方面的圖像處理裝置中，最 佳圖像選擇設(shè)備包括至少一個(gè)第一估計(jì)設(shè)備，其用于將最佳圖像 候選者的臉部與表示預(yù)定表情的表情模板進(jìn)行比較并且根據(jù)比較結(jié)果 而判給每個(gè)最佳圖像候選者分?jǐn)?shù)；第二估計(jì)設(shè)備，其用于對(duì)最佳圖像 候選者中的臉部方向進(jìn)行檢測(cè)并且根據(jù)所檢測(cè)到的臉部方向判給每個(gè) 最佳圖像候選者分?jǐn)?shù)；以及第三估計(jì)設(shè)備，其用于對(duì)最佳圖像候選者 中對(duì)象眼睛的方向進(jìn)行檢測(cè)并且根據(jù)所檢測(cè)到的對(duì)象眼睛的方向判給 每個(gè)最佳圖像候選者分?jǐn)?shù)；以及選擇設(shè)備，其用于根據(jù)由至少一個(gè)估 計(jì)設(shè)備所判給的一個(gè)或多個(gè)分?jǐn)?shù)來(lái)從最佳圖像候選者當(dāng)中選擇最佳圖 像。
當(dāng)例如，最佳圖像候選者的臉部局部的特征點(diǎn)與表示預(yù)定表情的 表情模板之間的匹配程度增大時(shí)，第一估計(jì)設(shè)備判給更高的分?jǐn)?shù)。應(yīng) 該注意的是匹配程度可以是通過(guò)計(jì)算各自的特征點(diǎn)集合之間的距離的 平均值或者總和而獲得的。此外，表情模板可以是包括笑臉模板的多 個(gè)模板中的任何一個(gè)。
當(dāng)最佳圖像候選者的臉部更接近正面的臉時(shí)(也就是說(shuō)，當(dāng)臉部 方向接近面向前方時(shí))，第二估計(jì)設(shè)備判給更高的分?jǐn)?shù)。當(dāng)最佳圖像 的對(duì)象眼睛更直接地看向圖像捕獲設(shè)備時(shí)(也就是說(shuō)，當(dāng)最佳圖像候 選者的對(duì)象眼睛的方向接近圖像捕獲設(shè)備時(shí))，第三估計(jì)設(shè)備判給更 高的分?jǐn)?shù)。此后選擇設(shè)備根據(jù)由第一至第三估計(jì)設(shè)備所判給的三個(gè)分 數(shù)(包括使用兩個(gè)或更多個(gè)分?jǐn)?shù)的總和)中的至少一個(gè)從最佳圖像候 選者當(dāng)中選擇最佳圖像。根據(jù)本發(fā)明的第九方面，在根據(jù)第八方面的圖像處理裝置中，選 擇設(shè)備選擇具有最高分?jǐn)?shù)的圖像作為最佳圖像或者從其分?jǐn)?shù)大于或等 于預(yù)定值的最佳圖像候選者當(dāng)中選擇具有由表情變化量計(jì)算設(shè)備所計(jì) 算的最大表情變化量的圖像作為最佳圖像。
根據(jù)本發(fā)明第十方面的圖像捕獲裝置包括圖像捕獲設(shè)備，該圖 像捕獲設(shè)備是可操作的以按照連續(xù)方式捕獲對(duì)象的圖像；以及根據(jù)第 一至第九方面中任何一個(gè)的圖像處理裝置，其中圖像獲取設(shè)備順序地 獲取由圖像捕獲設(shè)備按照連續(xù)方式所捕獲的圖像。
利用這個(gè)安排，在按照連續(xù)方式捕獲對(duì)象的同時(shí)，該設(shè)備將臉部 表情變化較大的圖像作為圖像候選者存儲(chǔ)在存儲(chǔ)媒介中。
根據(jù)本發(fā)明的第十一方面，根據(jù)第十方面的圖像捕獲裝置進(jìn)一步 包括圖像捕獲指示設(shè)備；以及存儲(chǔ)數(shù)目設(shè)置設(shè)備，其用于設(shè)置為響 應(yīng)圖像捕獲指示設(shè)備的單個(gè)圖像捕獲指令而將要被存儲(chǔ)在存儲(chǔ)媒介中 的圖像的數(shù)目，其中當(dāng)圖像捕獲指示設(shè)備發(fā)出了圖像捕獲的指令時(shí)， 重復(fù)圖像捕獲設(shè)備的圖像捕獲操作以及圖像處理裝置的圖像處理，直 至已存儲(chǔ)的圖像數(shù)目到達(dá)了所設(shè)置的要存儲(chǔ)的圖像的數(shù)目。
例如，當(dāng)從諸如快門按鈕等等的圖像捕獲指示設(shè)備輸入了用于圖 像捕獲的單個(gè)指令時(shí)，順序地存儲(chǔ)包括有更大表情變化的臉部的圖像，
直至到達(dá)了要存儲(chǔ)的圖像的預(yù)置數(shù)目。
根據(jù)本發(fā)明的第十二方面，根據(jù)第十一方面的圖像捕獲裝置進(jìn)一 步包括捕獲結(jié)束指示設(shè)備，其中在圖像捕獲指示設(shè)備已發(fā)出了圖像捕 獲的指令之后，當(dāng)捕獲結(jié)束指示設(shè)備發(fā)出捕獲結(jié)束的指令時(shí)，在所存 儲(chǔ)的圖像數(shù)目達(dá)到所設(shè)置的要存儲(chǔ)的圖像的數(shù)目之前結(jié)束圖像捕獲設(shè) 備的圖像捕獲操作以及圖像處理裝置的圖像處理。因此，即使已預(yù)置了為響應(yīng)圖像捕獲的指令而一次要存儲(chǔ)的圖像 數(shù)目，用戶也可在捕獲了期望的臉部表情(最佳拍攝圖像)之后通過(guò) 捕獲結(jié)束指示設(shè)備上的操作而結(jié)束圖像捕獲操作。
根據(jù)本發(fā)明的第十三方面，根據(jù)第十方面的圖像捕獲裝置進(jìn)一步 包括圖像捕獲指示設(shè)備，其中當(dāng)圖像捕獲指示設(shè)備發(fā)出圖像捕獲的指 令時(shí)，重復(fù)圖像捕獲設(shè)備的圖像捕獲操作以及圖像處理裝置的圖像處 理，直到存儲(chǔ)媒介中沒(méi)有剩余空間。
根據(jù)本發(fā)明的第十四方面，根據(jù)第十三方面的圖像捕獲裝置進(jìn)一 步包括捕獲結(jié)束指示設(shè)備，其中在圖像捕獲指示設(shè)備已發(fā)出了圖像捕 獲的指令之后，當(dāng)捕獲結(jié)束指示設(shè)備發(fā)出捕獲結(jié)束的指令時(shí)，在存儲(chǔ) 媒介中沒(méi)有剩余空間之前，結(jié)束圖像捕獲設(shè)備的圖像捕獲操作以及圖 像處理裝置的圖像處理。
在第十二和第十四方面的圖像捕獲裝置中，捕獲結(jié)束指示設(shè)備可 利用相同的操作設(shè)備(即快門按鈕)作為圖像捕獲指示設(shè)備。例如， 一旦按下快門按鈕則指示開(kāi)始圖像捕獲并且第二次按下快門按鈕則指 示結(jié)束圖像捕獲。
根據(jù)本發(fā)明的第十五方面，根據(jù)第十至第十四方面任何一個(gè)的圖 像捕獲裝置進(jìn)一步包括聲音產(chǎn)生設(shè)備，該聲音產(chǎn)生設(shè)備在每次將圖像 存儲(chǔ)在存儲(chǔ)媒介中時(shí)產(chǎn)生聲音以通知用戶存儲(chǔ)定時(shí)。利用該安排，用 戶可檢査存儲(chǔ)圖像的定時(shí)，并且知道在所存儲(chǔ)圖像中的臉部上是什么 類型的表情。
根據(jù)本發(fā)明的第十六方面，根據(jù)第十至第十五方面任何一個(gè)的圖 像捕獲裝置進(jìn)一步包括圖像顯示設(shè)備，其用于顯示圖像捕獲設(shè)備按 照連續(xù)方式所捕獲的圖像；以及顯示控制設(shè)備，其用于使圖像顯示設(shè)備顯示最近存儲(chǔ)在存儲(chǔ)媒介上的一個(gè)或多個(gè)圖像作為尺寸減小的圖 像，所述尺寸減小的圖像具有小于圖像顯示設(shè)備的整個(gè)顯示區(qū)的區(qū)域。 利用該安排，用戶可對(duì)所存儲(chǔ)的圖像進(jìn)行檢査并且根據(jù)對(duì)所存儲(chǔ)圖像 的表情和組成的變化的評(píng)估而提出畫(huà)面。
根據(jù)本發(fā)明的第十七方面，第十至第十六方面的任何一個(gè)的圖像 捕獲裝置進(jìn)一步包括顯示設(shè)備，其用于顯示可存儲(chǔ)在存儲(chǔ)媒介上的 圖像的最大數(shù)目以及己存儲(chǔ)圖像的當(dāng)前數(shù)目，每當(dāng)將圖像存儲(chǔ)在存儲(chǔ) 媒介中時(shí)更新已存儲(chǔ)圖像的當(dāng)前數(shù)目。利用這個(gè)安排，用戶可在執(zhí)行 圖像捕獲時(shí)，考慮到仍可記錄在存儲(chǔ)媒介中的圖像數(shù)目。
根據(jù)本發(fā)明的第十八方面，根據(jù)第十至第十七方面任何一個(gè)的圖 像捕獲裝置進(jìn)一步包括顯示設(shè)備，該顯示設(shè)備顯示每當(dāng)將圖像存儲(chǔ)在 存儲(chǔ)媒介中時(shí)所更新的已存儲(chǔ)圖像的當(dāng)前數(shù)目，并且至少當(dāng)已存儲(chǔ)在 存儲(chǔ)媒介上的圖像數(shù)目接近可儲(chǔ)存在存儲(chǔ)媒介中的圖像的最大數(shù)目時(shí) 改變已存儲(chǔ)圖像的當(dāng)前數(shù)目的顯示形式。利用該安排，用戶可在執(zhí)行 圖像捕獲時(shí)，考慮到仍可存儲(chǔ)在存儲(chǔ)媒介中的圖像數(shù)目。應(yīng)該注意的 是通過(guò)改變用于已存儲(chǔ)圖像的當(dāng)前數(shù)目的指示器的顏色、通過(guò)使用于 已存儲(chǔ)圖像的當(dāng)前數(shù)目的指示器閃爍，或者通過(guò)其它方法可改變用于 已存儲(chǔ)圖像的當(dāng)前數(shù)目的指示器的形式。
根據(jù)本發(fā)明第十九方面的圖像處理方法包括步驟順序地獲取按 照連續(xù)方式所捕獲的圖像；對(duì)所獲取圖像中的臉部進(jìn)行檢測(cè)；對(duì)每個(gè) 目標(biāo)幀計(jì)算表情變化量，該表情變化量表示在當(dāng)前目標(biāo)幀的圖像中所 檢測(cè)到的臉部與在之前目標(biāo)幀的圖像中所檢測(cè)到的臉部之間的表情的 變化，該目標(biāo)幀可以是獲取幀中的每個(gè)或者是獲取幀中規(guī)則間隔的幀； 提取所計(jì)算的表情變化量大于或等于預(yù)定值的目標(biāo)幀的圖像；以及將 所提取的目標(biāo)幀的圖像或者位于所提取的目標(biāo)幀附近的幀的圖像存儲(chǔ) 在存儲(chǔ)媒介中。根據(jù)本發(fā)明第二十方面的圖像處理方法包括步驟順序地獲取按 照連續(xù)方式所捕獲的圖像；對(duì)所獲取的圖像中的臉部進(jìn)行檢測(cè)；對(duì)每 個(gè)目標(biāo)幀計(jì)算表情變化量，該表情變化量表示在每個(gè)目標(biāo)幀的圖像中 所檢測(cè)到的臉部與參考模板臉部之間的表情的變化，該目標(biāo)幀可以是 獲取幀的每個(gè)或者是獲取幀中規(guī)則間隔的幀；提取所計(jì)算的表情變化 量是預(yù)定值以及之上的目標(biāo)幀的圖像；以及將所提取的目標(biāo)幀的圖像 或者位于所提取的目標(biāo)幀附近的幀的圖像存儲(chǔ)在存儲(chǔ)媒介中。
根據(jù)本發(fā)明的第二十一方面，根據(jù)第十九或者第二十方面的圖像 處理方法，進(jìn)一步包括步驟提取所提取的目標(biāo)幀的圖像以及多個(gè)連 續(xù)幀的圖像作為最佳圖像候選者，所述多個(gè)連續(xù)幀的圖像是目標(biāo)幀的 之前和之后圖像中的至少一個(gè)；以及從所提取的最佳圖像候選者組中 選擇最佳圖像以將其存儲(chǔ)在存儲(chǔ)媒介中。
根據(jù)本發(fā)明的第二十二方面，提供了一種存儲(chǔ)圖像處理程序的記 錄媒介。根據(jù)第二十二方面的記錄媒介上的圖像處理程序可使計(jì)算機(jī) 實(shí)現(xiàn)下述功能順序地獲取按照連續(xù)方式所捕獲的圖像；對(duì)所獲取的 圖像中的臉部進(jìn)行檢測(cè)；對(duì)每個(gè)目標(biāo)幀計(jì)算表情變化量，該表情變化 量表示在當(dāng)前目標(biāo)幀的圖像中所檢測(cè)到的臉部與在之前目標(biāo)幀中所檢 測(cè)到的臉部之間的表情的變化，該目標(biāo)幀可以是獲取幀的每個(gè)或者是 獲取幀中規(guī)則間隔的幀；提取所計(jì)算的表情變化量大于或等于預(yù)定值 的目標(biāo)幀的圖像；以及將所提取的目標(biāo)幀的圖像或者位于所提取的目 標(biāo)幀附近的幀的圖像存儲(chǔ)在存儲(chǔ)媒介中。
根據(jù)本發(fā)明第二十三方面，提供了一種存儲(chǔ)圖像處理程序的記錄 媒介。根據(jù)根據(jù)第二十三方面的記錄媒介上的圖像處理程序可使計(jì)算 機(jī)實(shí)現(xiàn)下述功能順序地獲取按照連續(xù)方式所捕獲的圖像；對(duì)所獲取 的圖像中的臉部進(jìn)行檢測(cè)；對(duì)每個(gè)目標(biāo)幀計(jì)算表情變化量，該表情變 化量表示在每個(gè)目標(biāo)幀的圖像中所檢測(cè)到的臉部與參考模板臉部之間 的表情的變化，該目標(biāo)幀可以是獲取幀的每個(gè)或者是獲取幀中規(guī)則間隔的幀；提取所計(jì)算的表情變化量是預(yù)定值以及之上的目標(biāo)幀的圖像； 以及將所提取的目標(biāo)幀的圖像或者位于所提取的目標(biāo)幀附近的幀的圖 像存儲(chǔ)在存儲(chǔ)媒介中。
根據(jù)本發(fā)明的二十四方面，根據(jù)第二十二或者第二十三方面的記 錄在記錄媒介上的圖像處理程序，進(jìn)一步可使計(jì)算機(jī)起下述功能提 取所提取的目標(biāo)幀的圖像以及多個(gè)連續(xù)幀的圖像作為最佳圖像候選 者，所述多個(gè)連續(xù)幀的圖像是目標(biāo)幀的之前和之后圖像中的至少一個(gè)； 以及從所提取的最佳圖像候選者組中選擇最佳圖像以將其存儲(chǔ)在存儲(chǔ) 媒介中。
根據(jù)本發(fā)明的方面，從按照連續(xù)方式所捕獲的圖像中提取具有較 大臉部表情變化的目標(biāo)幀的圖像，并且將所提取的目標(biāo)幀的圖像或者 位于所提取目標(biāo)幀附近的幀的圖像存儲(chǔ)在存儲(chǔ)媒介上。因此，用戶可 在連續(xù)捕獲的圖像當(dāng)中存儲(chǔ)他們希望記錄的臉部的圖像(最佳拍攝圖 像)。此外，可有效地提取最佳拍攝圖像。


圖1是示出了根據(jù)本發(fā)明的圖像捕獲裝置(數(shù)字照相機(jī))的實(shí)施 例的框圖2是示出了與臉部部分的位置相關(guān)的臉部特征點(diǎn)的示例的示意
圖3是示出了根據(jù)本發(fā)明的第一實(shí)施例的處理的整個(gè)流程的流程
圖4A、 4B、以及4C是用于對(duì)目標(biāo)幀和笑臉模板的臉部特征點(diǎn)的 標(biāo)準(zhǔn)化進(jìn)行描述的示意圖5A、 5B、以及5C是示出了平常臉的特征點(diǎn)以及笑臉1和2的 特征點(diǎn)的示意圖6是示出了根據(jù)本發(fā)明的第二實(shí)施例的處理的整個(gè)流程的流程
圖；圖7是示出了用于創(chuàng)建平常臉模板的處理程序的流程圖8是示出了根據(jù)本發(fā)明的第三實(shí)施例的處理的整個(gè)流程的流程
圖9是用于對(duì)臉部的方向(臉?lè)较?進(jìn)行檢測(cè)的方法進(jìn)行描述的 示意圖10示出了根據(jù)本發(fā)明的第四實(shí)施例的處理的整個(gè)流程的流程
圖ll是示出了當(dāng)在最佳拍攝圖像捕獲模式下捕獲圖像時(shí)在顯示單 元上所顯示的屏幕的第一示例的示意圖12A和12B是示出了當(dāng)在最佳拍攝圖像捕獲模式下捕獲圖像時(shí) 在顯示單元上所顯示的屏幕的第二示例的示意圖；以及
圖13A和13B是示出了當(dāng)在最佳拍攝圖像捕獲模式下捕獲圖像時(shí) 在顯示單元上所顯示的屏幕的第三示例的示意圖。
具體實(shí)施例方式
下面參考附圖對(duì)根據(jù)本發(fā)明的圖像處理裝置、圖像捕獲裝置、圖 像處理方法、以及圖像處理程序的優(yōu)選實(shí)施例進(jìn)行描述。
圖1是示出了根據(jù)本發(fā)明的圖像捕獲裝置(數(shù)字照相機(jī))10的實(shí) 施例的框圖。
數(shù)字照相機(jī)IO具有用于對(duì)靜止圖像和活動(dòng)圖像進(jìn)行存儲(chǔ)并且對(duì)該 圖像進(jìn)行回放的功能。操作單元12包括電源按鈕、快門按鈕、模式手 柄、變焦鍵、回放按鈕、由上，下，左、右鍵所組成的多功能十字鍵、 菜單/OK按鈕、顯示/返回按鈕等等。
通過(guò)轉(zhuǎn)動(dòng)模式手柄，可選擇包括有自動(dòng)圖像捕獲模式、手動(dòng)圖像 捕獲模式、人圖像捕獲模式、風(fēng)景圖像捕獲模式和夜景圖像捕獲模式 的許多情形位置的任何一個(gè)。還可選擇本發(fā)明的活動(dòng)圖像模式或者最佳拍攝圖像捕獲模式?？扉T按鈕包括當(dāng)半按下快門按鈕時(shí)接通并且使 數(shù)字照相機(jī)10通過(guò)使用自動(dòng)曝光調(diào)節(jié)(AE)和自動(dòng)聚焦調(diào)節(jié)(AF)
來(lái)準(zhǔn)備圖像捕獲的開(kāi)關(guān)Sl，以及當(dāng)當(dāng)完全按下快門按鈕時(shí)接通并且使 數(shù)字照相機(jī)10捕獲圖像的開(kāi)關(guān)S2。
顯示單元(液晶監(jiān)控器)14顯示活動(dòng)圖像(通過(guò)圖像)并且因此 用作電子取景器。顯示單元14還可在存儲(chǔ)之前顯示所捕獲的圖像(預(yù) 覽圖像)并且顯示從加載到照相機(jī)中的諸如存儲(chǔ)卡這樣的存儲(chǔ)媒介16 所讀取的圖像等等。顯示單元14還顯示當(dāng)手動(dòng)設(shè)置照相機(jī)的操作模式、 白平衡、圖像中的像素?cái)?shù)目、以及靈敏度時(shí)所使用的各種形式的菜單 屏幕以響應(yīng)對(duì)菜單/OK按鈕的操作。顯示單元14進(jìn)一步顯示可經(jīng)由對(duì) 十字鍵和菜單/ OK按鈕的操作而從其中設(shè)置手動(dòng)設(shè)置的圖形用戶界面 (GUI)。
當(dāng)從操作單元12輸入了操作信號(hào)時(shí)，中央處理單元(CPU) 18 通過(guò)根據(jù)照相機(jī)控制程序執(zhí)行處理來(lái)執(zhí)行數(shù)字照相機(jī)10中的單元的綜 合控制。CPU18與控制總線20和數(shù)據(jù)總線22相連。
除了 CPU18之外，控制總線20和數(shù)據(jù)總線22還與SDRAM (同 步動(dòng)態(tài)RAM) 24、表情判斷單元26、特征點(diǎn)跟蹤單元28、臉部檢測(cè) 單元30、 EEPROM 32、數(shù)字信號(hào)處理單元34、壓縮/解壓縮單元36、 音頻控制單元38、顯示控制單元40、以及外部介質(zhì)控制單元41相連。 進(jìn)一步并且A/D轉(zhuǎn)換電路54與數(shù)據(jù)總線22相連。
CPU 18從SDRAM 24和EEPROM 32接收所需數(shù)據(jù)。EEPROM 32 將諸如用于固態(tài)成像設(shè)備的照相機(jī)控制程序和故障信息這樣的與照相 機(jī)控制有關(guān)的各種參數(shù)存儲(chǔ)在其中。EEPROM進(jìn)一步包含根據(jù)本發(fā)明 的圖像處理程序、參考模板、表情模板等等。
CPU 18將存儲(chǔ)在EEPROM 32中的照相機(jī)控制程序調(diào)配到SDRAM 24中，并且利用作為工作存儲(chǔ)器的SDRAM 24執(zhí)行各種處理。
在數(shù)字照相機(jī)10中，當(dāng)將操作單元12的電源按鈕切換到ON時(shí)， CPU18對(duì)該切換進(jìn)行檢測(cè)、接通內(nèi)部電源、并且將數(shù)字照相機(jī)10置于 圖像捕獲模式的圖像捕獲等待狀態(tài)。在圖像捕獲等待狀態(tài)下，CPU 18 總是在顯示單元14上顯示活動(dòng)圖像(通過(guò)圖像)。
用戶(攝影師)框定要拍攝的對(duì)象并對(duì)其進(jìn)行檢査，同時(shí)在顯示 單元14上顯示通過(guò)圖像。用戶還可觀看所捕獲的圖像并且設(shè)置圖像捕 獲條件。
當(dāng)照相機(jī)處于普通靜止圖像捕獲模式的圖像捕獲等待狀態(tài)下半按 下快門按鈕時(shí)，CPU 18對(duì)半按進(jìn)行檢測(cè)并且執(zhí)行AE光測(cè)量和AF控 制。在AE測(cè)量期間，數(shù)字照相機(jī)IO根據(jù)通過(guò)固態(tài)圖像捕獲設(shè)備(CCD) 50所獲取的圖像信號(hào)的總和或者相似值來(lái)測(cè)量對(duì)象的亮度。通過(guò)光測(cè) 量所獲得的值(所測(cè)量的光值)用于確定光圈44的光圈值以及圖像捕 獲的快門速度。當(dāng)捕獲圖像時(shí)，CPU18根據(jù)由所測(cè)量的光值確定的光 圈值通過(guò)光圈驅(qū)動(dòng)單元58來(lái)驅(qū)動(dòng)光圈44并且通過(guò)圖像捕獲設(shè)備驅(qū)動(dòng) 單元60來(lái)對(duì)CCD 50上的電荷存儲(chǔ)時(shí)段(所謂的"電子快門")進(jìn)行控 制以提供利用所測(cè)量的光值所確定的快門速度。
當(dāng)使用AF控制時(shí)，CPU 18還可通過(guò)使聚焦透鏡位置在近景與無(wú) 限遠(yuǎn)之間一點(diǎn)一點(diǎn)地移動(dòng)、對(duì)每個(gè)透鏡位置的通過(guò)CCD 50而在AF區(qū) 域中所獲得的圖像信號(hào)的頻率分量求和以獲得估計(jì)值、找到估計(jì)值到 達(dá)最高點(diǎn)的透鏡位置、并且使聚焦透鏡移動(dòng)到該透鏡位置來(lái)執(zhí)行對(duì)比 AF。應(yīng)該注意的是在活動(dòng)圖像模式下，CPU18利用聚焦透鏡的位置受 到控制的所謂"波峰跟蹤控制"來(lái)執(zhí)行連續(xù)AF，以便保持該波峰估計(jì)值。
來(lái)自對(duì)象的光在穿過(guò)包括有聚焦透鏡和變焦透鏡的成象透鏡42之 后并且此后穿過(guò)光圈44、紅外線截止濾波器46、以及光學(xué)低通濾波器48而入射到CCD 50的光接收面上。
CCD 50是利用提供有預(yù)定安排(如Beyer或者蜂窩式安排)的R、 G、 B顏色濾波器陣列的彩色CCD構(gòu)造而成的。將入射到CCD 50的光 接收面上的光轉(zhuǎn)換成其量取決于通過(guò)光接收面中的光電二極管的入射 光量的信號(hào)電荷。根據(jù)圖像捕獲設(shè)備驅(qū)動(dòng)單元60所應(yīng)用的定時(shí)信號(hào)來(lái) 讀取存儲(chǔ)在光電二極管中的信號(hào)電荷，并且使其從CCD50順序輸出以 作為電壓信號(hào)(圖像信號(hào))。
模擬信號(hào)處理單元52包括CDS(相關(guān)雙采樣)電路和模擬放大器。 CDS電路根據(jù)CDS脈沖對(duì)CCD輸出信號(hào)執(zhí)行相關(guān)雙采樣。模擬放大 器根據(jù)CPU 18所應(yīng)用的圖像捕獲靈敏度增益來(lái)對(duì)CDS電路所輸出的 圖像信號(hào)進(jìn)行放大。A/D轉(zhuǎn)換電路54將模擬信號(hào)處理單元52所輸出 的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)。通過(guò)數(shù)據(jù)總線22將因而發(fā)生的 圖像信號(hào)(R、 G、以及BRAW數(shù)據(jù))發(fā)送到SDRAM 24并且將其臨 時(shí)存儲(chǔ)在其中。
臉部檢測(cè)單元30對(duì)通過(guò)圖像或者活動(dòng)圖像中的人臉進(jìn)行檢測(cè)并且 將與該臉的位置和大小有關(guān)的信息輸出到CPU18。更具體地說(shuō)，臉部 檢測(cè)單元30包括圖像比較電路和臉部圖像模板(臉部詞典)。圖像比 較電路在示出了通過(guò)圖像等等的屏幕上對(duì)目標(biāo)區(qū)域進(jìn)行定位，并且將 該目標(biāo)區(qū)域中的圖像與臉部詞典進(jìn)行比較以尋找相關(guān)性。當(dāng)相關(guān)性分 數(shù)超過(guò)預(yù)定門限值時(shí)，圖像比較電路將目標(biāo)區(qū)域指定為臉部區(qū)域。臉 部檢測(cè)單元30還通過(guò)將臉部區(qū)域中的臉部局部與臉部局部詞典進(jìn)行比 較來(lái)對(duì)臉部局部(諸如眼睛、鼻子、嘴、以及眉毛)進(jìn)行檢測(cè)。
在從臉部檢測(cè)單元30獲取臉部區(qū)域的位置和大小時(shí)，CPU 18可 使顯示單元14顯示疊加在通過(guò)圖像上的環(huán)繞所獲取的人類對(duì)象的臉的 臉部檢測(cè)框。按照上述方式所檢測(cè)到的臉部區(qū)域的位置和大小還可用作AF區(qū) 域以使照相機(jī)聚焦于對(duì)象臉上或者還可用作AE區(qū)域以便對(duì)象臉部的 亮度是合適的。
當(dāng)在根據(jù)本發(fā)明的最佳拍攝圖像捕獲模式下捕獲圖像時(shí)表情判斷
單元26和特征點(diǎn)跟蹤單元28進(jìn)行操作。最佳拍攝圖像捕獲模式是其 中按照活動(dòng)圖像或者連續(xù)畫(huà)面的方式連續(xù)捕獲幀圖像、提取被判斷為 最佳拍攝圖像的幀圖像、并且將其存儲(chǔ)在存儲(chǔ)媒介16上的模式。
特征點(diǎn)跟蹤單元28對(duì)每個(gè)連續(xù)捕獲的幀圖像的臉部圖像的特征點(diǎn) 進(jìn)行檢測(cè)，并且對(duì)臉部檢測(cè)單元30所檢測(cè)到的臉部局部中的特征點(diǎn)進(jìn) 行檢測(cè)。
如圖2所示，在該實(shí)施例中，特征點(diǎn)跟蹤單元對(duì)由眉毛上的4個(gè) 點(diǎn)、眼睛上的8個(gè)點(diǎn)、鼻尖上的1個(gè)點(diǎn)、以及嘴上的4個(gè)點(diǎn)所組成的 總共17個(gè)特征點(diǎn)的Pi (Xi， y,) (1=1至17)進(jìn)行檢測(cè)。特征點(diǎn)跟蹤 單元28對(duì)該序列的每個(gè)幀圖像中的每個(gè)特征點(diǎn)Pi (Xi， yi)進(jìn)行跟蹤。
表情判斷單元26計(jì)算表示被用作比較的目標(biāo)的之前與當(dāng)前幀圖像 中所檢測(cè)到的臉部表情變化的表情變化量，并且對(duì)該臉部表情進(jìn)行判 斷以選擇最佳圖像。
為了得到表情變化量，使不強(qiáng)烈地取決于臉部表情(例如眼睛的 外邊緣以及鼻尖)的當(dāng)前幀的特征點(diǎn)與之前幀的相應(yīng)特征點(diǎn)對(duì)準(zhǔn)(匹 配)(位置調(diào)節(jié))?；蛘撸ㄟ^(guò)利用諸如KLT算法(Kanade—Lucas 一Tomasi的特征點(diǎn)跟蹤算法)的相應(yīng)點(diǎn)檢測(cè)技術(shù)來(lái)跟蹤幀之間的特征 點(diǎn)以執(zhí)行位置調(diào)節(jié)。此后利用以下公式來(lái)計(jì)算表情變化量以作為相應(yīng) 特征點(diǎn)之間的差(距離)的總和。
表情變化量^V(x廠x")2+(yi棚yw)2
應(yīng)該注意的是雖然通過(guò)對(duì)相應(yīng)特征點(diǎn)之間的距離求和來(lái)得到公式 1中所描述的表情變化量，但是也可使用相應(yīng)特征點(diǎn)之間的距離的平方 之和。
當(dāng)按照上面的方式所計(jì)算的表情變化量大于或等于預(yù)定門限值 時(shí)，表情判斷單元26從目標(biāo)幀之前和之后獲取m幀圖像以作為最佳圖 像候選者。此后表情判斷單元26計(jì)算，例如，該圖像組中的每幀圖像 的笑容相似度分?jǐn)?shù)并且從該組中提取其笑容相似度分?jǐn)?shù)最高的幀圖像 以作為最佳圖像(最佳拍攝圖像)。隨后對(duì)與最佳拍攝圖像的選擇有 關(guān)的詳情進(jìn)行描述。
數(shù)字信號(hào)處理單元34起圖像處理設(shè)備的作用，該圖像處理設(shè)備包 括白平衡調(diào)節(jié)電路、伽瑪校正電路、同步電路、色度/亮度數(shù)據(jù)產(chǎn)生電 路、邊緣校正電路、用于插入圖像的圖像轉(zhuǎn)換電路、以及疊加處理電 路。數(shù)字信號(hào)處理單元34利用SDRAM 24根據(jù)來(lái)自CPU 18的命令執(zhí) 行處理。具體地說(shuō)，從SDRAM 24所讀取的R、 G和B圖像信號(hào)由白 平衡調(diào)節(jié)電路將數(shù)字增益施加到每個(gè)R、 G和B圖像信號(hào)上而經(jīng)歷白 平衡調(diào)節(jié)、根據(jù)伽瑪特性通過(guò)伽瑪校正電路而經(jīng)歷灰度轉(zhuǎn)換處理、并 且通過(guò)同步電路而經(jīng)歷同步。在同步過(guò)程中，對(duì)與單個(gè)CCD上的顏色 濾波器的安排相關(guān)的彩色信號(hào)中的時(shí)間滯后進(jìn)行校正以提供同步格式 的彩色信號(hào)。此后通過(guò)色度/亮度數(shù)據(jù)產(chǎn)生電路將同步的R、 G、以及B 圖像信號(hào)轉(zhuǎn)換成亮度信號(hào)Y和色度信號(hào)Cr和Cb (即YC信號(hào))。Y 信號(hào)通過(guò)邊緣校正電路而經(jīng)歷邊緣增強(qiáng)處理。數(shù)字信號(hào)處理單元34將 數(shù)字信號(hào)處理單元34的處理所產(chǎn)生的YC信號(hào)返回到SDRAM 24。
在由數(shù)字信號(hào)處理單元34的處理并且存儲(chǔ)在SDRAM 24中之后， 壓縮/解壓縮單元36對(duì)YC信號(hào)進(jìn)行壓縮并且通過(guò)外部介質(zhì)控制單元41 將其存儲(chǔ)在存儲(chǔ)媒介16中以作為預(yù)定格式(諸如JPEG (聯(lián)合圖像專家組)格式)的圖像文件。存儲(chǔ)媒介16可以是諸如可移動(dòng)的xD — Pk:ture Card (商標(biāo))或者SmartMedia (商標(biāo))這樣的半導(dǎo)體存儲(chǔ)器卡、便攜 式壓縮硬盤(pán)、磁盤(pán)、光盤(pán)、光磁盤(pán)片等等。
:當(dāng)對(duì)操作單元12的回放按鈕進(jìn)行操作以選擇回放模式時(shí)，通過(guò)外 部介質(zhì)控制單元41來(lái)讀取存儲(chǔ)在存儲(chǔ)媒介16中的最后幀的圖像文件。 對(duì)所讀取的圖像文件的壓縮數(shù)據(jù)進(jìn)行解壓縮以通過(guò)壓縮/解壓縮單元36 形成非壓縮的YC信號(hào)。
將解壓縮的YC信號(hào)存儲(chǔ)在SDRAM 24中(或者附圖中未示出的 VRAM中)、將其轉(zhuǎn)換成用于通過(guò)顯示控制單元40來(lái)顯示的信號(hào)格式、 并且將其輸出到顯示單元14。因此，顯示單元14顯示存儲(chǔ)在存儲(chǔ)媒介 16上的圖像文件的最后幀。
此后，用戶按下幀正序?qū)Ш介_(kāi)關(guān)(十字鍵的右部)以使幀按照正 序移動(dòng)并且按下幀反序?qū)Ш介_(kāi)關(guān)(十字鍵的左部)以使幀按照反序移 動(dòng)。在幀導(dǎo)航所確定的幀位置上從存儲(chǔ)媒介16讀取圖像文件并且按照 上述方式來(lái)在顯示單元14上對(duì)相應(yīng)應(yīng)圖像進(jìn)行回放。
音頻控制單元38既可使揚(yáng)聲器39對(duì)于照相機(jī)的各種操作產(chǎn)生聲 音且在回放活動(dòng)圖像時(shí)產(chǎn)生聲音，還可使揚(yáng)聲器39產(chǎn)生聲音(諸如快 門的滴答聲這樣的耳朵捕獲聲音)以表示存儲(chǔ)每個(gè)最佳拍攝圖像的定 時(shí)。
<第一實(shí)施例〉
下面對(duì)用于捕獲/存儲(chǔ)n個(gè)最佳拍攝圖像的第一實(shí)施例進(jìn)行描述， 其中預(yù)先設(shè)置為響應(yīng)單個(gè)圖像捕獲指令而要存儲(chǔ)的最佳拍攝圖像數(shù)目 "n"。
圖3是給出了根據(jù)本發(fā)明第一實(shí)施例的處理的整個(gè)流程的流程圖。當(dāng)已選擇最佳拍攝圖像捕獲模式作為圖像捕獲模式并且按下快門 按鈕時(shí)，圖像捕獲開(kāi)始(步驟SIO)。應(yīng)該注意的是為響應(yīng)單個(gè)圖像捕 獲指令而要存儲(chǔ)的最佳拍攝圖像數(shù)目"n"可以由默認(rèn)數(shù)目確定或者由用 戶設(shè)置'為適當(dāng)數(shù)目(可以是l)。此外，當(dāng)在最佳拍攝圖像捕獲模式下 捕獲圖像時(shí)，與為活動(dòng)圖像和連續(xù)畫(huà)面一樣按照連續(xù)方式捕獲幀圖像。
該處理將所捕獲的幀圖像臨時(shí)存儲(chǔ)在SDRAM 24中(步驟S12)。 接下來(lái)，該處理從臨時(shí)存儲(chǔ)在特征點(diǎn)跟蹤單元28中的幀圖像當(dāng)中的目 標(biāo)幀圖像中的對(duì)象臉部提取特征點(diǎn)(步驟S14)。目標(biāo)幀包括連續(xù)捕獲 的幀圖像的每個(gè)幀或者是以若干幀為間隔的所選幀。應(yīng)該注意的是以 若干幀為間隔選擇目標(biāo)框幅可比較容易地發(fā)現(xiàn)表情變化并且可降低處 理負(fù)荷。
此后參考圖2所述，該處理提取與的臉部局部的各個(gè)位置相對(duì)應(yīng) 的特征點(diǎn)Pi (Xi， yi)。
接下來(lái)，表情判斷單元26通過(guò)將從當(dāng)前目標(biāo)幀圖像所提取的臉部 特征點(diǎn)Pi(Xi， yi)以及從存儲(chǔ)在SDRAM 24中的之前目標(biāo)幀圖像所提 取的臉部特征點(diǎn)Pw (x卜,，yi—,)代入到上述公式1來(lái)計(jì)算表情變化量 (步驟S16)。
表情判斷單元26此后判斷所計(jì)算的表情變化量是否大于或等于預(yù) 定門限值(步驟S18)。當(dāng)表情判斷單元26判斷為否定時(shí)，該處理回 到步驟S12。當(dāng)判斷為肯定時(shí)，認(rèn)為對(duì)象臉部上的表情已經(jīng)經(jīng)歷了很大 變化，并且該處理轉(zhuǎn)到步驟S20。
在步驟S20中，該處理提取包括當(dāng)前目標(biāo)幀以及當(dāng)前目標(biāo)幀之前 和之后的m個(gè)幀的圖像組以作為最佳圖像候選者，對(duì)于所述當(dāng)前目標(biāo) 幀表情變化量已被判斷為等于或者超過(guò)門限值。接下來(lái)，該處理從在步驟S20所提取的圖像組(最佳圖像候選者)
的2m+l個(gè)幀中選擇單個(gè)最佳圖像(最佳拍攝圖像)(步驟S22)。 以下被認(rèn)為是用于選擇最佳拍攝圖像的可能方法。
(1) 該處理將最佳圖像候選者的臉部與預(yù)定表情的模板進(jìn)行比 較，例如將最佳圖像候選者的臉部與笑容的笑臉模板進(jìn)行比較，并且 根據(jù)比較結(jié)果判給最佳圖像候選者笑容相似度分?jǐn)?shù)。
首先，該處理將其分?jǐn)?shù)要被估計(jì)的目標(biāo)幀的臉部和笑臉模板的特 征點(diǎn)執(zhí)行標(biāo)準(zhǔn)化處理。如圖4A、 4B、以及4C所示，利用鼻尖作為參 考點(diǎn)，該處理為包含在每個(gè)笑臉模板和目標(biāo)幀臉部的17個(gè)特征點(diǎn)的每 個(gè)特征點(diǎn)計(jì)算至各自參考點(diǎn)的距離(Dli， D2》。該處理為每個(gè)特征點(diǎn) 計(jì)算至參考點(diǎn)(DVD2i)的距離比，并且計(jì)算所有特征點(diǎn)上的平均比。 此后該處理利用該平均比通過(guò)按比例縮放目標(biāo)幀中的臉部的特征點(diǎn)來(lái) 對(duì)目標(biāo)幀(參見(jiàn)圖4A和4B)臉部的特征點(diǎn)的坐標(biāo)執(zhí)行標(biāo)準(zhǔn)化處理(即 按比例縮放以適合笑臉模板)。
此后該處理計(jì)算標(biāo)準(zhǔn)化目標(biāo)幀的特征點(diǎn)與笑臉模板的相應(yīng)特征點(diǎn) 之間的距離的平均差，并且判給笑容相似度分?jǐn)?shù)(參見(jiàn)圖4B和4C)。 應(yīng)該注意的是目標(biāo)幀具有的平均差值越小，判給該幀的笑容相似度分 數(shù)越大。
該處理按照這種方式判給所有最佳圖像候選者笑容相似度分?jǐn)?shù)， 并且選擇具有最高笑容相似度分?jǐn)?shù)的最佳圖像候選者作為最佳拍攝圖 像。
(2) 該處理將最佳圖像候選者的臉部與笑臉模板進(jìn)行比較并且根據(jù)該比較結(jié)果判給每個(gè)最佳圖像候選者笑容相似度分?jǐn)?shù)。此后該處理 選擇其中笑容相似度分?jǐn)?shù)大于或等于預(yù)定值(缺省值)的最佳圖像候
選者當(dāng)中的表情變化量最大的圖像以作為最佳拍攝圖像。
如圖3所示，當(dāng)步驟S22的處理選擇最佳拍攝圖像時(shí)，將所選的
最佳拍攝圖像存儲(chǔ)在存儲(chǔ)媒介16中。
接下來(lái)，該處理對(duì)所存儲(chǔ)的最佳拍攝圖像進(jìn)行計(jì)數(shù)(步驟S24)， 并且判斷所存儲(chǔ)的最佳拍攝圖像的數(shù)目是否到達(dá)n (步驟S26)。當(dāng)該 數(shù)目沒(méi)有到達(dá)n時(shí)，該處理回到步驟S12。當(dāng)該數(shù)目到達(dá)n時(shí)，該處理 結(jié)束最佳拍攝圖像的捕獲。
應(yīng)該注意的是需要SDRAM 24臨時(shí)存儲(chǔ)計(jì)算了其表情變化量的當(dāng) 前目標(biāo)幀之前和之后的至少m個(gè)幀。
當(dāng)在步驟S16中計(jì)算表情變化量時(shí)，優(yōu)選按照上述方式使之前和 之后幀的特征點(diǎn)Pi (Xi， yi)和Pi-, (Xi-,， y卜)標(biāo)準(zhǔn)化。該標(biāo)準(zhǔn)化可 以與諸如臉部大小這樣的因素?zé)o關(guān)地計(jì)算表情變化量。
應(yīng)該注意的還有笑容相似度分?jǐn)?shù)并不局限于按照上述方式來(lái)計(jì) 算，而是可以替代為利用平常臉之間的特征量的差來(lái)計(jì)算。
該特征量可以是利用特征點(diǎn)的位置、特征點(diǎn)之間的距離、或者臉 部中存在/不存在線(鈹紋)來(lái)表示的。
圖5A給出了平常臉的特征點(diǎn)。圖5B和5C分別示出了笑臉1和 2的特征點(diǎn)。
參笑臉1
如圖5B所示，與圖5A所示的平常臉相比嘴唇的兩端提高了，并且在鼻子和嘴唇出現(xiàn)了線(皺紋)以給出具有比平常臉更多笑容的臉 部。例如，如果"嘴唇的兩端都提高了"和"在臉上出現(xiàn)了線或者線加深 了"的每一個(gè)被判給1點(diǎn)，那么判給笑臉1的笑容相似度分?jǐn)?shù)是2點(diǎn)。
參笑臉2
在圖5C所示的笑臉2中，由于嘴張大了，因此與圖5A所示的平 常臉相比，該嘴的縱向?qū)挾冗h(yuǎn)大于笑臉1的寬度。同時(shí)，由于面頰上 升了，因此眼睛的縱向?qū)挾雀?。如?嘴張開(kāi)"和"眼睛變窄"的每一個(gè) 被判給1點(diǎn)，那么判給笑臉2的笑容相似度分?jǐn)?shù)是4點(diǎn)。
通過(guò)利用表示重要程度的加權(quán)而判給每個(gè)特征量加權(quán)點(diǎn)，而不是 利用統(tǒng)一加權(quán)判給點(diǎn)數(shù)，分?jǐn)?shù)系統(tǒng)的可靠性增大了。
<第一實(shí)施例的修改>
在上面所描述的第一實(shí)施例中，重復(fù)圖像捕獲和存儲(chǔ)直到已存儲(chǔ) 的最佳拍攝圖像達(dá)到預(yù)置數(shù)目"n"。然而，本發(fā)明并不局限于被重復(fù)的 該安排。當(dāng)指示捕獲圖像時(shí)，也可以重復(fù)圖像捕獲和存儲(chǔ)直到存儲(chǔ)媒 介16的剩余容量耗盡。
此外，通過(guò)提供捕獲結(jié)束指示設(shè)備，可以允許用戶在他們選擇時(shí) 結(jié)束圖像捕獲操作。
例如，利用對(duì)捕獲結(jié)束指示設(shè)備的操作，在已捕獲了期望表情的 臉部(最佳拍攝圖像)但是在到達(dá)最佳拍攝的記錄的設(shè)置數(shù)目"n"之前 或者在存儲(chǔ)媒介16的剩余容量耗盡之前，用戶可結(jié)束圖像捕獲及其他 操作。應(yīng)該注意的是捕獲結(jié)束指示設(shè)備可以利用相同控制設(shè)備作為圖 像捕獲指示設(shè)備(即快門按鈕)。在這種情況下， 一旦按下快門按鈕 則指示將執(zhí)行圖像捕獲并且在捕獲圖像的同時(shí)再次按下按鈕則指示將 結(jié)束圖像捕獲。在上述第一實(shí)施例中，提取其表情變化量大于或等于預(yù)定值的目 標(biāo)幀之前的m個(gè)幀以及之后的m個(gè)幀作為最佳圖像候選者。然而，本 發(fā)明并不局限于這種安排，并且僅包括目標(biāo)幀之前的m個(gè)幀或者目標(biāo) 幀之后的m個(gè)幀以及目標(biāo)幀圖像來(lái)作為最佳圖像候選者也是可接受 的。 -
此外，在第一實(shí)施例中，當(dāng)從最佳圖像候選者中選擇最佳拍攝圖 像時(shí)，計(jì)算每個(gè)最佳圖像候選者的笑容相似度分?jǐn)?shù)。然而，可以通過(guò) 選擇具有最大表情變化量的最佳圖像候選者作為最佳拍攝圖像來(lái)選擇 最佳拍攝圖像而無(wú)需計(jì)算笑容相似度分?jǐn)?shù)。
<第二實(shí)施例〉
圖6是給出了根據(jù)本發(fā)明第二實(shí)施例的處理的整個(gè)流程的流程圖。 應(yīng)該注意的是與圖3所示的第一實(shí)施例相同的方法的部分被分配給相 同的步驟號(hào)碼，并且省略對(duì)這些部分的詳細(xì)說(shuō)明。
在圖3所示的第一實(shí)施例中，計(jì)算目標(biāo)幀之前和之后的幀中的臉 部的表情變化量。圖6所示的第二實(shí)施例不同之處在于計(jì)算連續(xù)捕獲 的目標(biāo)幀中的臉部的表情變化量，所述目標(biāo)幀與平常臉模板(參考模 板)的臉部相關(guān)。
當(dāng)通過(guò)第一圖像捕獲指令開(kāi)始捕獲/存儲(chǔ)n個(gè)最佳拍攝圖像(其中 "n"是預(yù)先設(shè)置的)時(shí)(步驟SIO)，創(chuàng)建平常臉模板(步驟S30)。
圖7是示出了用于創(chuàng)建平常臉模板的處理程序的流程圖。應(yīng)該注 意的是與圖3所示的第一實(shí)施例相同的程序的部分被分配給相同的步 驟號(hào)碼，并且省略對(duì)這些部分的詳細(xì)說(shuō)明。
在用于創(chuàng)建平常臉模板的流程圖中，提取包括表情變化量較小的 臉部的預(yù)定數(shù)目"k"的幀圖像，并且從對(duì)于所提取的幀圖像的臉部局部的特征點(diǎn)的平均值來(lái)創(chuàng)建平常臉模板。
如圖7所示，當(dāng)用于創(chuàng)建平常臉模板的處理開(kāi)始時(shí)，該處理判斷 根據(jù)從之前和當(dāng)前幀圖像所提取的臉部的特征點(diǎn)所計(jì)算的表情變化量 是否小于或等于預(yù)定門限值X步驟S32)。當(dāng)表情變化量大于門限值時(shí)， 該處理重新設(shè)置計(jì)數(shù)到預(yù)定數(shù)目k的計(jì)數(shù)器的計(jì)數(shù)值、清除臨時(shí)存儲(chǔ)
在SDRAM 24中的幀圖像(步驟S34)、并且回到步驟S12。應(yīng)該注意 的是預(yù)定數(shù)目k可以，例如通過(guò)使不變臉部表情必須維持以被指定為 平常臉的預(yù)定時(shí)段除以幀時(shí)段而得到的。
當(dāng)在步驟S32中判斷出表情變化量小于或等于預(yù)定門限值時(shí)，該 處理使計(jì)數(shù)器的計(jì)數(shù)加l (步驟S36)，并且此后判斷當(dāng)前計(jì)數(shù)是否大 于或等于預(yù)定數(shù)目k。當(dāng)當(dāng)前計(jì)數(shù)小于預(yù)定數(shù)目k時(shí)，該處理回到步驟 S12。當(dāng)當(dāng)前計(jì)數(shù)大于或等于預(yù)定數(shù)目k時(shí)，該處理移動(dòng)到步驟S39。
在步驟S39中，該處理計(jì)算存儲(chǔ)在SDRAM 24中的預(yù)定數(shù)目k(也 就是說(shuō)，k個(gè)幀圖像)的幀圖像中的臉部局部的特征點(diǎn)的平均值，并且 將該平均特征點(diǎn)的位置坐標(biāo)設(shè)置為平常臉模板。
如圖6所示，在按照上述方式完成了創(chuàng)建平常臉模板之后，處理 開(kāi)始圖像捕獲/存儲(chǔ)實(shí)際最佳拍攝圖像。
在第一實(shí)施例(圖2)的步驟S16中，處理計(jì)算之前和之后幀中 的表情變化量。然而，在第二實(shí)施例的步驟S16'中，處理計(jì)算從輸入 的目標(biāo)幀所提取的臉部特征點(diǎn)Pi (x,， y,)與平常臉模板的特征點(diǎn)之間 的表情變化量。應(yīng)該注意的是當(dāng)在步驟S16'中計(jì)算表情變化量時(shí)，優(yōu) 選預(yù)先使這兩個(gè)特征點(diǎn)集標(biāo)準(zhǔn)化。
利用這個(gè)安排，可計(jì)算相對(duì)平常臉的臉部的表情變化量。此后根 據(jù)表情變化量最大的目標(biāo)幀從提取的2m+l個(gè)幀圖像(最佳圖像候選者)當(dāng)中選擇單個(gè)最佳圖像(最佳拍攝圖像)，并且將其存儲(chǔ)在存儲(chǔ) 媒介16中。按照與第一實(shí)施例相同的方式來(lái)執(zhí)行最佳拍攝圖像選擇等 等。
<第二實(shí)施例的修改〉 〃
在上述第二實(shí)施例中，在開(kāi)始捕獲和記錄實(shí)際最佳拍攝圖像之前 創(chuàng)建平常臉模板。然而，也可以預(yù)先創(chuàng)建平常臉模板并且將其存儲(chǔ)在
EEPROM32中。當(dāng)預(yù)先創(chuàng)建平常臉模板時(shí)，在創(chuàng)建處理中使用無(wú)表情 的臉部數(shù)據(jù)庫(kù)。
或者，為每個(gè)要捕獲的人類對(duì)象記錄平常臉模板，并且在開(kāi)始捕 獲最佳拍攝圖像之前讀出給定拍攝的對(duì)象的平常臉模板。
另一可能性是從多個(gè)對(duì)象的平常臉創(chuàng)建平均平常臉模板并且將其 存儲(chǔ)在EEPROM 32上。
更進(jìn)一步的可能性是根據(jù)各種對(duì)象屬性創(chuàng)建平常臉模板并且將其 存儲(chǔ)在EEPROM 32中?？紤]用作對(duì)象屬性的特征包括性別、年齡、成 熟度(孩子或者成人)、以及種族。
應(yīng)該注意的是平常臉模板不必是利用數(shù)字照相機(jī)IO創(chuàng)建的，并且 可以在運(yùn)送之前將其存儲(chǔ)在EEPROM 32中或者根據(jù)外部源的輸入而 存儲(chǔ)。
<第三實(shí)施例>
圖8是給出了根據(jù)本發(fā)明第三實(shí)施例的處理的整個(gè)流程的流程圖。 應(yīng)該注意的是與圖3所示的第一實(shí)施例共享的過(guò)程的部分被分配給相 同的步驟號(hào)碼，并且省略對(duì)這些部分的詳細(xì)說(shuō)明。
在圖8所示的第三實(shí)施例中，第一實(shí)施例的處理補(bǔ)充有步驟S40的處理。此外，步驟S22'提供了與步驟S22的最佳拍攝圖像選擇方法
不同的處理程序。
在步驟S40中，處理判斷每個(gè)最佳圖像候選者中的臉部方向(臉 部的方向)。 一
如圖9所示，右眼的內(nèi)端點(diǎn)表示為"a"并且左眼的內(nèi)端點(diǎn)表示為 "b"。線ab與平行于鼻子的鼻梁且垂直于線ab而延伸的線之間的交叉 點(diǎn)表示c。
通過(guò)將距離ac與距離bc進(jìn)行比較來(lái)執(zhí)行評(píng)分。
該處理根據(jù)距離之間的比率或者根據(jù)距離差來(lái)計(jì)算分?jǐn)?shù)(臉部方 向分?jǐn)?shù))。當(dāng)距離ac和距離bc的值彼此接近(接近相等)時(shí)，判斷出 臉部接近正面的臉(臉部差不多面向前方)并且向該臉部判給較高分 數(shù)。當(dāng)僅可提取一個(gè)眼睛時(shí)，該處理判斷出臉部處于側(cè)面并且判給分 數(shù)"O"。
另外，該處理使用包括有與0。相對(duì)應(yīng)的面向正面的臉部、與卯° 相對(duì)應(yīng)的側(cè)面臉部、以及以10°為間隔的這兩者之間的臉部的臉部詞 典，判斷每個(gè)幀中的臉部與角度詞典中的臉部之間的匹配程度是否很 高，并且根據(jù)匹配程度判給分?jǐn)?shù)。
回到圖8，可知在步驟S22'中處理從在步驟S20所提取的2m+l個(gè) 幀圖像(最佳圖像候選者)選擇單個(gè)最佳圖像(最佳拍攝圖像)。在 圖3所示的第一實(shí)施例中，只根據(jù)笑容相似度分?jǐn)?shù)或者根據(jù)笑容相似 度分?jǐn)?shù)連同表情變化量來(lái)選擇最佳拍攝圖像。然而，在步驟S22'中， 處理判給的分?jǐn)?shù)是每個(gè)最佳圖像候選者的笑容相似度分?jǐn)?shù)與臉部方向 分?jǐn)?shù)的總和，并且選擇具有最高結(jié)果分?jǐn)?shù)的最佳圖像候選者作為最佳拍攝圖像。
或者，處理從具有大于或等于預(yù)定值的結(jié)果分?jǐn)?shù)的最佳圖像候選 者當(dāng)中選擇最佳拍攝圖像。
在步驟S22'中，處理此后將所選最佳拍攝圖像存儲(chǔ)在如上所述的 存儲(chǔ)媒介16中。
<第三實(shí)施例的修改〉
在上述第三實(shí)施例中，使用臉部方向分?jǐn)?shù)來(lái)選擇最佳拍攝圖像。 然而，取代臉部方向分?jǐn)?shù)或者除了臉部方向分?jǐn)?shù)之外，可判斷對(duì)象眼 睛的方向。在這種情況下，當(dāng)對(duì)象眼睛更直接地看向照相機(jī)時(shí)，在評(píng) 分中分?jǐn)?shù)變得較高，并且該分?jǐn)?shù)(對(duì)象眼睛方向分?jǐn)?shù))可用于選擇最 佳拍攝圖像。
為了判斷對(duì)象眼睛的方向，該處理對(duì)在眼睛區(qū)域中瞳孔的位置進(jìn) 行檢測(cè)。例如，當(dāng)臉部面向前并且瞳孔位置位于眼睛區(qū)域中心時(shí)，判 斷出對(duì)象眼睛看向照相機(jī)。因此，該處理可根據(jù)臉部方向和瞳孔在眼 睛區(qū)域中的位置判斷對(duì)象眼睛的方向。
笑容相似度分?jǐn)?shù)、臉部方向分?jǐn)?shù)、對(duì)象眼睛方向分?jǐn)?shù)、以及表情 變化量中的任何一個(gè)可用于從最佳圖像候選者當(dāng)中選擇最佳拍攝圖 像?；蛘撸蛇m當(dāng)結(jié)合兩個(gè)或更多個(gè)分?jǐn)?shù)并且用于選擇。
除了笑臉模板之外，可制備其他臉部表情模板。處理此后選擇最 接近最佳圖像候選者的表情模板并且根據(jù)所選表情模板的臉部表情的 相似程度來(lái)判給每個(gè)最佳候選者圖像分?jǐn)?shù)。
<第四實(shí)施例〉
圖10是示出了根據(jù)本發(fā)明第四實(shí)施例的處理的整個(gè)流程的流程圖。應(yīng)該注意的是與圖3所示的第一實(shí)施例相同的程序的部分被分配 給相同的步驟號(hào)碼，并且省略對(duì)這些部分的詳細(xì)說(shuō)明。
在圖IO所示的第四實(shí)施例中，第一實(shí)施例的處理補(bǔ)充有步驟S50
的處理。此外，步驟S22"提供了與步驟S22-的最佳拍攝圖像選擇方法 不同的處理程序。
在步驟S50中，當(dāng)在幀圖像中檢測(cè)到多個(gè)面部時(shí)，處理選擇典型 臉部。該處理從由臉部檢測(cè)單元30所檢測(cè)到的多個(gè)臉部當(dāng)中選擇最大 的臉部作為典型臉部?；蛘?，該處理判給每個(gè)面部區(qū)域點(diǎn)數(shù)來(lái)確定每 個(gè)條件的重要性并且使用具有最大點(diǎn)數(shù)總和的臉部作為典型臉部，所 述條件是從臉部亮度、位置、大小、以及臉部清晰度當(dāng)中選擇的一個(gè) 或多個(gè)。
僅對(duì)在步驟S50所選的典型臉部執(zhí)行步驟S14至S18的處理。
在步驟S22"中，處理利用下述之一從在步驟S20所提取的2m+l 個(gè)幀圖像(最佳圖像候選者)當(dāng)中選擇單個(gè)最佳圖像(最佳拍攝圖像)。
(1 )該處理挑選包含有最大數(shù)目的具有笑容相似度分?jǐn)?shù)至少為門 限值的臉部的幀作為最佳拍攝圖像。當(dāng)多個(gè)幀具有相同數(shù)目的笑臉時(shí)， 該處理挑選其中典型臉部具有最高笑容相似度分?jǐn)?shù)的幀作為最佳拍攝 圖像。
(2)該處理也可以利用來(lái)挑選包含有最大數(shù)目的具有笑容相似度 分?jǐn)?shù)至少為門限值的臉部的幀作為最佳拍攝圖像。當(dāng)多個(gè)幀具有相同 數(shù)目的笑臉時(shí)，該處理挑選其中典型臉部具有最大表情變化量的幀作 為最佳拍攝圖像。
在上面所描述的(1)和(2)中，除了各自的臉部之外，還必須計(jì)算除了典型臉部之外的臉部的笑容相似度分?jǐn)?shù)。
(3) 該處理挑選其中典型臉部具有最高笑容相似度分?jǐn)?shù)的幀作為 最佳拍攝圖像。
(4) 該處理挑選其中典型臉部具有至少為門限值的笑容相似度分 數(shù)的幀，并且從這些幀當(dāng)中挑選具有典型臉部中的最大表情變化量的 幀作為最佳拍攝圖像。
在上面所描述的(3)和(4)中，不必計(jì)算除了典型臉部之外的
臉部的笑容相似度分?jǐn)?shù)，并且該處理類似于第一實(shí)施例的步驟S22。
應(yīng)該注意的是在按照第三實(shí)施例和第三實(shí)施例的修改示例中所描 述的方式考慮了臉部方向分?jǐn)?shù)和對(duì)象眼睛方向分?jǐn)?shù)之后選擇最佳拍攝 圖像。
<第五實(shí)施例>
下面描述了當(dāng)在最佳拍攝圖像捕獲模式下捕獲圖像時(shí)的用戶界面。
因?yàn)樵谡障鄼C(jī)側(cè)確定最佳拍攝圖像捕獲模式下的最佳拍攝圖像的 存儲(chǔ)定時(shí)，因此利用聲音或者顯示指示器向用戶通知已存儲(chǔ)了圖像。
圖ll示出了在最佳拍攝圖像捕獲模式下進(jìn)行圖像捕獲期間在顯示
單元14上所顯示的屏幕的示例。除了顯示通過(guò)圖像之外，顯示單元14 還顯示可存儲(chǔ)的最佳拍攝(BS)的最大數(shù)目(100)和已存儲(chǔ)的最佳拍 攝的當(dāng)前數(shù)目(8)。
該安排可使用戶看到仍可存儲(chǔ)多少最佳拍攝圖像。此外，當(dāng)獲得 新的最佳拍攝時(shí)對(duì)已存儲(chǔ)的最佳拍攝的當(dāng)前數(shù)目的計(jì)數(shù)可使用戶看到當(dāng)存儲(chǔ)最佳拍攝時(shí)的定時(shí)。
圖12A和12B示出了在最佳拍攝圖像捕獲模式下進(jìn)行圖像捕獲期 間在顯示單元14上所顯示的屏幕的第二示例。
圖12A和12B所示的顯示單元14顯示的屏幕顯示了最佳拍攝的 當(dāng)前數(shù)目以及直通圖像(pass-through image)。此外，指示器的顏色根 據(jù)已存儲(chǔ)的最佳拍攝的當(dāng)前數(shù)目而變化。
具體地說(shuō)，指示器的顏色逐步變化，當(dāng)已存儲(chǔ)的最佳拍攝的當(dāng)前 數(shù)目是最佳拍攝(BS)的最大數(shù)目的很小比例時(shí)指示器顏色是綠色， 當(dāng)當(dāng)前數(shù)目大約是最大數(shù)目的一半時(shí)是黃色，并且當(dāng)當(dāng)前數(shù)目接近最 大數(shù)目時(shí)是紅色。
在圖12A所示的示例中，因?yàn)榧偃缱罴雅臄z(BS)的最大數(shù)目是 "100"，那么當(dāng)已存儲(chǔ)了八個(gè)最佳拍攝時(shí)以綠色顯示數(shù)字"8"(參見(jiàn)圖 12A)并且當(dāng)已存儲(chǔ)了 98個(gè)最佳拍攝時(shí)以紅色顯示"98"(參見(jiàn)圖12B)。
應(yīng)該注意的是，本發(fā)明并不局限于根據(jù)由已存儲(chǔ)的最佳拍攝的當(dāng) 前數(shù)目所構(gòu)成的最佳拍攝的最大數(shù)目的比例而為已存儲(chǔ)的最佳拍攝的 數(shù)目改變指示器的顏色。可以僅當(dāng)已存儲(chǔ)的最佳拍攝的當(dāng)前數(shù)目接近 最大數(shù)目時(shí)使指示器改變顏色。此外，本發(fā)明并不局限于改變指示器 的顏色。例如，已存儲(chǔ)的最佳拍攝的當(dāng)前數(shù)目可以斷續(xù)地閃爍。只要 當(dāng)當(dāng)前數(shù)目接近最大數(shù)目時(shí)以顯示已存儲(chǔ)的最佳拍攝的當(dāng)前數(shù)目的方 式存在變化，則提供任何指示器都是可接受的。
圖13A和13B示出了在最佳拍攝圖像捕獲模式下進(jìn)行圖像捕獲期 間在顯示單元14上所顯示的屏幕的第三示例。
圖13A所示的顯示單元14的顯示屏在小窗口中顯示存儲(chǔ)在存儲(chǔ)媒介16中的最近的最佳拍攝的尺寸減小的圖像以及通過(guò)圖像。
圖13B所示的顯示單元14的顯示屏在小窗口中顯示存儲(chǔ)在存儲(chǔ)媒 介16中的最近五個(gè)最佳拍攝的尺寸減小的圖像以及通過(guò)圖像。當(dāng)記錄 了新的最佳拍攝圖像時(shí)，更新在顯示單元14的顯示屏上所顯示的尺寸 減小的最佳拍攝圖像。
應(yīng)該注意的是在顯示單元14的顯示屏上所顯示的尺寸減小的最佳 拍攝圖像的數(shù)目并不局限于當(dāng)前實(shí)施例的數(shù)目。
每當(dāng)存儲(chǔ)最佳拍攝圖像時(shí)，音頻控制單元38通過(guò)揚(yáng)聲器39產(chǎn)生 聲音(諸如快門的滴答聲的耳朵捕獲聲音)以表示存儲(chǔ)最佳拍攝圖像 的時(shí)刻。
可以將已存儲(chǔ)的最佳拍攝圖像的數(shù)目、已存儲(chǔ)圖像的顯示、以及 在存儲(chǔ)時(shí)刻的耳朵捕獲聲音進(jìn)行組合可以改善可用性。
<修改示例>
在該實(shí)施例中，雖然數(shù)字照相機(jī)IO用作示例，但是本發(fā)明可適用 于監(jiān)控照相機(jī)和移動(dòng)電話中的照相機(jī)。此外可根據(jù)本實(shí)施例，制備用 于使個(gè)人計(jì)算機(jī)等等起到圖像處理設(shè)備的作用的圖像處理程序、可將 該圖像處理程序安裝在計(jì)算機(jī)上、并可使該計(jì)算機(jī)執(zhí)行程序。當(dāng)將該 程序安裝在計(jì)算機(jī)上時(shí)，可使用記錄該程序的記錄媒介。
例如，可使用諸如被捕獲為視頻、TV圖像等等的活動(dòng)圖像的連續(xù) 拍攝的圖像作為輸入圖像，從該輸入圖像中提取最佳拍攝圖像，并且 將該最佳拍攝存儲(chǔ)為靜止圖像。
此外，本發(fā)明還可是上述實(shí)施例的適當(dāng)組合。應(yīng)該注意的是雖然已根據(jù)本發(fā)明對(duì)圖像處理裝置、圖像捕獲裝置、 圖像處理方法、圖像處理程序、以及記錄媒介進(jìn)行了詳細(xì)的描述，但 是本發(fā)明并不局限于這些示例并且在不脫離本發(fā)明的范圍或者精神的 情況下可按照多種方式對(duì)這些示例進(jìn)行改善和修改。
權(quán)利要求
1. 一種圖像處理裝置，包括圖像獲取設(shè)備，所述圖像獲取設(shè)備用于順序地獲取按照連續(xù)方式所捕獲的圖像；臉部檢測(cè)設(shè)備，所述臉部檢測(cè)設(shè)備用于對(duì)所獲取的圖像中的臉部進(jìn)行檢測(cè)；表情變化量計(jì)算設(shè)備，所述表情變化量計(jì)算設(shè)備用于對(duì)每個(gè)目標(biāo)幀計(jì)算表情變化量，所述表情變化量表示在當(dāng)前目標(biāo)幀的圖像中所檢測(cè)到的臉部與在之前目標(biāo)幀的圖像中所檢測(cè)到的臉部之間的表情的變化，所述目標(biāo)幀是獲取幀中的每個(gè)或者是所述獲取幀中規(guī)則間隔的幀；提取設(shè)備，所述提取設(shè)備用于提取所計(jì)算的表情變化量大于或等于預(yù)定值的目標(biāo)幀的圖像；以及存儲(chǔ)設(shè)備，所述存儲(chǔ)設(shè)備用于將所提取的目標(biāo)幀的圖像或者位于所提取的目標(biāo)幀附近的幀的圖像存儲(chǔ)在存儲(chǔ)媒介中。
2. —種圖像處理裝置，包括圖像獲取設(shè)備，所述圖像獲取設(shè)備用于順序地獲取按照連續(xù)方式 所捕獲的圖像；臉部檢測(cè)設(shè)備，所述臉部檢測(cè)設(shè)備用于對(duì)所獲取圖像中的臉部進(jìn) 行檢測(cè)；表情變化量計(jì)算設(shè)備，所述表情變化量計(jì)算設(shè)備用于對(duì)每個(gè)目標(biāo) 幀計(jì)算表情變化量，所述表情變化量表示在每個(gè)目標(biāo)幀的圖像中所檢測(cè)到的臉部與參考模板臉部之間的表情的變化，所述目標(biāo)幀是獲取幀 中的每個(gè)或者是所述獲取幀中規(guī)則間隔的幀；提取設(shè)備，所述提取設(shè)備用于提取所計(jì)算的表情變化量是預(yù)定值 以及之上的目標(biāo)幀的圖像；以及存儲(chǔ)設(shè)備，所述存儲(chǔ)設(shè)備用于將所提取的目標(biāo)幀的圖像或者位于 所提取的目標(biāo)幀附近的幀的圖像存儲(chǔ)在存儲(chǔ)媒介中。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述參考模板是根據(jù)與一個(gè)或多個(gè)人的平常臉的臉部局部相對(duì)應(yīng) 的多個(gè)特征點(diǎn)的坐標(biāo)位置而創(chuàng)建的。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其中 預(yù)先創(chuàng)建與人的屬性相對(duì)應(yīng)的多個(gè)參考模板并且將所述多個(gè)參考模板存儲(chǔ)在存儲(chǔ)器中，以及，從所述存儲(chǔ)器讀取并使用與通過(guò)所述圖像獲取設(shè)備獲取的圖像中 的人的屬性相對(duì)應(yīng)的參考模板。
5. 根據(jù)權(quán)利要求l所述的圖像處理裝置，還包括典型臉部選擇設(shè)備，所述典型臉部選擇設(shè)備用于當(dāng)所述臉部檢測(cè) 設(shè)備檢測(cè)到多個(gè)臉部時(shí)，根據(jù)以亮度、位置、大小以及臉部清晰度中 的至少一個(gè)為條件來(lái)選擇典型臉部以作為所述目標(biāo)幀的圖像中檢測(cè)到 的臉部。
6. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其中所述表情變化量檢測(cè)設(shè)備包括特征點(diǎn)提取設(shè)備，所述特征點(diǎn)提取設(shè)備用于提取與每個(gè)臉部局部 相對(duì)應(yīng)的多個(gè)特征點(diǎn)；標(biāo)準(zhǔn)化設(shè)備，所述標(biāo)準(zhǔn)化設(shè)備用于使所提取的特征點(diǎn)的坐標(biāo)位置 標(biāo)準(zhǔn)化；以及計(jì)算設(shè)備，所述計(jì)算設(shè)備用于根據(jù)每個(gè)臉部中的相應(yīng)特征點(diǎn)的標(biāo) 準(zhǔn)化坐標(biāo)位置之間的距離總和或者標(biāo)準(zhǔn)化坐標(biāo)位置之間的距離的平方 和來(lái)為兩個(gè)比較的臉部計(jì)算表情變化量。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括 最佳圖像候選者提取設(shè)備，所述最佳圖像候選者提取設(shè)備用于提 取所提取的目標(biāo)幀的圖像以及多個(gè)連續(xù)幀的圖像以作為最佳圖像候選 者，所述多個(gè)連續(xù)幀的圖像是所述目標(biāo)幀的圖像之前和之后的至少一個(gè)；以及最佳圖像選擇設(shè)備，所述最佳圖像選擇設(shè)備用于從所提取的最佳 圖像候選者組中選擇最佳圖像，其中所述存儲(chǔ)設(shè)備將所選擇的最佳圖像存儲(chǔ)在所述存儲(chǔ)媒介中。
8. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中 所述最佳圖像選擇設(shè)備包括、 下述至少一個(gè)第一估計(jì)設(shè)備，所述第一估計(jì)設(shè)備用于將所述最佳圖像候選者的 臉部與表示預(yù)定表情的表情模板進(jìn)行比較，并且根據(jù)比較結(jié)果而判給 每個(gè)最佳圖像候選者分?jǐn)?shù)；第二估計(jì)設(shè)備，所述第二估計(jì)設(shè)備用于對(duì)所述最佳圖像候選者中 的臉部方向進(jìn)行檢測(cè)，并且根據(jù)所檢測(cè)到的臉部方向判給每個(gè)最佳圖 像候選者分?jǐn)?shù)；以及第三估計(jì)設(shè)備，所述第三估計(jì)設(shè)備用于對(duì)所述最佳圖像候選者中 的對(duì)象眼睛的方向進(jìn)行檢測(cè)，并且根據(jù)所檢測(cè)到的對(duì)象眼睛的方向判 給每個(gè)最佳圖像候選者分?jǐn)?shù)；以及選擇設(shè)備，所述選擇設(shè)備用于根據(jù)由所述估計(jì)設(shè)備中的至少一個(gè) 所判給的一個(gè)或多個(gè)分?jǐn)?shù)來(lái)從所述最佳圖像候選者當(dāng)中選擇最佳圖 像。
9. 根據(jù)權(quán)利要求8所述的圖像處理裝置，其中 所述選擇設(shè)備選擇具有最高分?jǐn)?shù)的圖像以作為最佳圖像，或者從其分?jǐn)?shù)大于或等于預(yù)定值的最佳圖像候選者當(dāng)中選擇具有由所述表情 變化量計(jì)算設(shè)備所計(jì)算的最大表情變化量的圖像作為最佳圖像。
10. —種圖像捕獲裝置，包括圖像捕獲設(shè)備，所述圖像捕獲設(shè)備可操作用于按照連續(xù)方式捕獲對(duì)象的圖像；以及根據(jù)權(quán)利要求l所述的圖像處理裝置，其中所述圖像獲取設(shè)備順序地獲取由所述圖像捕獲設(shè)備按照連續(xù)方式 所捕獲的圖像。
11. 根據(jù)權(quán)利要求IO所述的圖像捕獲裝置，還包括 圖像捕獲指示設(shè)備；以及存儲(chǔ)數(shù)目設(shè)置設(shè)備，所述存儲(chǔ)數(shù)目設(shè)置設(shè)備用于設(shè)置響應(yīng)所述圖 像捕獲指示設(shè)備的單個(gè)圖像捕獲指令p將要存儲(chǔ)在存儲(chǔ)媒介中的圖像 的數(shù)目，其中當(dāng)所述圖像捕獲指示設(shè)備發(fā)出了圖像捕獲的指令時(shí)，重復(fù)所述圖 像捕獲設(shè)備的圖像捕獲操作以及所述圖像處理裝置的圖像處理，直至 已存儲(chǔ)的圖像數(shù)目達(dá)到了所設(shè)置的要存儲(chǔ)的圖像的數(shù)目。
12. 根據(jù)權(quán)利要求ll所述的圖像處理裝置，還包括 捕獲結(jié)束指示設(shè)備，其中在所述圖像捕獲指示設(shè)備已發(fā)出了圖像捕獲的指令之后，當(dāng)所述 捕獲結(jié)束指示設(shè)備發(fā)出捕獲結(jié)束的指令時(shí)，在已存儲(chǔ)的圖像數(shù)目達(dá)到 所設(shè)置的要存儲(chǔ)的圖像的數(shù)目之前結(jié)束所述圖像捕獲設(shè)備的圖像捕獲 操作以及所述圖像處理裝置的圖像處理。
13. 根據(jù)權(quán)利要求IO所述的圖像處理裝置，還包括 圖像捕獲指示設(shè)備，其中當(dāng)所述圖像捕獲指示設(shè)備發(fā)出圖像捕獲的指令時(shí)，重復(fù)所述圖像 捕獲設(shè)備的圖像捕獲操作以及所述圖像處理裝置的圖像處理，直至所 述存儲(chǔ)媒介中沒(méi)有剩余空間。
14. 根據(jù)權(quán)利要求3所述的圖像處理裝置，還包括 捕獲結(jié)束指示設(shè)備，其中在所述圖像捕獲指示設(shè)備已發(fā)出了圖像捕獲的指令之后，當(dāng)所述 捕獲結(jié)束指示設(shè)備發(fā)出捕獲結(jié)束的指令時(shí)，在所述存儲(chǔ)媒介中沒(méi)有剩 余空間之前結(jié)束所述圖像捕獲設(shè)備的圖像捕獲操作以及所述圖像處理裝置的圖像處理。
15. 根據(jù)權(quán)利要求IO所述的圖像捕獲裝置，還包括 聲音產(chǎn)生設(shè)備，所述聲音產(chǎn)生設(shè)備在每次將圖像存儲(chǔ)在所述存儲(chǔ)媒介中時(shí)產(chǎn)生聲音以通知用戶存儲(chǔ)定時(shí)?！?br> 16. 根據(jù)權(quán)利要求10的圖像捕獲裝g，還包括圖像顯示設(shè)備，所述圖像顯示設(shè)備用于顯示由所述圖像捕獲設(shè)備 按照連續(xù)方式所捕獲的圖像；以及顯示控制設(shè)備，所述顯示控制設(shè)備用于使所述圖像顯示設(shè)備將最 近存儲(chǔ)在所述存儲(chǔ)媒介上的一個(gè)或多個(gè)圖像顯示為尺寸減小的圖像， 所述尺寸減小的圖像具有小于所述圖像顯示設(shè)備的整個(gè)顯示區(qū)的面 積。
17. 根據(jù)權(quán)利要求IO所述的圖像處理裝置，還包括 顯示設(shè)備，所述顯示設(shè)備用于顯示可存儲(chǔ)在存儲(chǔ)媒介上的圖像的最大數(shù)目以及已存儲(chǔ)圖像的當(dāng)前數(shù)目，每當(dāng)將圖像存儲(chǔ)在所述存儲(chǔ)媒 介中時(shí)更新所述已存儲(chǔ)圖像的當(dāng)前數(shù)目。
18. 根據(jù)權(quán)利要求IO所述的圖像處理裝置，還包括 顯示設(shè)備，所述顯示設(shè)備顯示每當(dāng)將圖像存儲(chǔ)在所述存儲(chǔ)媒介中時(shí)所更新的所述已存儲(chǔ)圖像的當(dāng)前數(shù)目，并且至少當(dāng)存儲(chǔ)在所述存儲(chǔ) 媒介上的圖像數(shù)目接近可儲(chǔ)存在所述存儲(chǔ)媒介中的圖像的最大數(shù)目 時(shí)，改變所述已存儲(chǔ)圖像的當(dāng)前數(shù)目的顯示形式。
19. 一種圖像處理方法，包括步驟 順序地獲取按照連續(xù)方式所捕獲的圖像； 對(duì)所獲取圖像中的臉部進(jìn)行檢測(cè)；對(duì)每個(gè)目標(biāo)幀計(jì)算表情變化量，所述表情變化量表示在當(dāng)前目標(biāo) 幀的圖像中所檢測(cè)到的臉部與在之前目標(biāo)幀的圖像中所檢測(cè)到的臉部之間的表情的變化，所述目標(biāo)幀是獲取幀中的每個(gè)或者是所述獲取幀 中規(guī)則間隔的幀；提取所計(jì)算的表情變化量大于或等于預(yù)定值的目標(biāo)幀的圖像；以及將所提取的目標(biāo)幀的圖像或者位于所提取的目標(biāo)幀附近的幀的圖 像存儲(chǔ)在存儲(chǔ)媒介中。
20. —種圖像處理方法，包括步驟 順序地獲取按照連續(xù)方式所捕獲的圖像； 對(duì)所獲取的圖像中的臉部進(jìn)行檢測(cè)；對(duì)每個(gè)目標(biāo)幀計(jì)算表情變化量，所述表情變化量表示在每個(gè)目標(biāo) 幀的圖像中所檢測(cè)到的臉部與參考模板臉部之間的表情的變化，所述 目標(biāo)幀可以是獲取幀中的每個(gè)或者是所述獲取幀中規(guī)則間隔的幀；提取所計(jì)算的表情變化量是預(yù)定值以及之上的目標(biāo)幀的圖像；以及將所提取的目標(biāo)幀的圖像或者位于所提取的目標(biāo)幀附近的幀的圖 像存儲(chǔ)在存儲(chǔ)媒介中。
21. 根據(jù)權(quán)利要求19所述的圖像處理方法，進(jìn)一步包括步驟 提取所提取的目標(biāo)幀的圖像以及多個(gè)連續(xù)幀的圖像作為最佳圖像候選者，所述多個(gè)連續(xù)幀的圖像是所述目標(biāo)幀的圖像之前和之后的至 少一個(gè)；以及從所提取的最佳圖像候選者組中選擇最佳圖像以將所述最佳圖像 存儲(chǔ)在所述存儲(chǔ)媒介中。
22. —種存儲(chǔ)圖像處理程序的記錄媒介，所述圖像處理程序使計(jì) 算機(jī)實(shí)現(xiàn)下述功能順序地獲取按照連續(xù)方式所捕獲的圖像； 對(duì)所述獲取的圖像中的臉部進(jìn)行檢測(cè)；計(jì)算每個(gè)目標(biāo)幀的表情變化量，所述表情變化量表示在當(dāng)前目標(biāo)幀的圖像中所檢測(cè)到的臉部與在之前目標(biāo)幀的圖像中所檢測(cè)到的臉部 之間的表情的變化，所述目標(biāo)幀是獲取幀中的每個(gè)或者是所述獲取幀 中規(guī)則間隔的幀；提取所計(jì)算的表情變化量大于或等于預(yù)定值的目標(biāo)幀的圖像；以及 -將所提取的目標(biāo)幀的圖像或者位于所提取的目標(biāo)幀附近的幀的圖 像存儲(chǔ)在存儲(chǔ)媒介中。
23. —種存儲(chǔ)圖像處理程序的記錄媒介，所述圖像處理程序使計(jì) 算機(jī)實(shí)現(xiàn)下述功能順序地獲取按照連續(xù)方式所捕獲的圖像； 對(duì)所獲取的圖像中的臉部進(jìn)行檢測(cè)；對(duì)每個(gè)目標(biāo)幀計(jì)算表情變化量，所述表情變化量表示在每個(gè)目標(biāo) 幀的圖像中所檢測(cè)到的臉部與參考模板臉部之間的表情的變化，所述 目標(biāo)幀是獲取幀中的每個(gè)或者是所述獲取幀中規(guī)則間隔的幀；提取所計(jì)算的表情變化量是預(yù)定值以及之上的目標(biāo)幀的圖像；以及將所提取的目標(biāo)幀的圖像或者位于所提取的目標(biāo)幀附近的幀的圖 像存儲(chǔ)在存儲(chǔ)媒介中。
24. 根據(jù)權(quán)利要求22所述的記錄媒介，所述圖像處理程序進(jìn)一步 使計(jì)算機(jī)實(shí)現(xiàn)下述功能提取所提取的目標(biāo)幀的圖像以及多個(gè)連續(xù)幀的圖像作為最佳圖像 候選者，所述多個(gè)連續(xù)幀的圖像是所述目標(biāo)幀的圖像之前和之后的至 少一個(gè)；以及從所提取的最佳圖像候選者組中選擇最佳圖像以將所述最佳圖像 存儲(chǔ)在所述存儲(chǔ)媒介中。
全文摘要
圖像處理裝置、圖像捕獲裝置、圖像處理方法及記錄媒介。獲取按照連續(xù)方式所捕獲的圖像并對(duì)其進(jìn)行臨時(shí)存儲(chǔ)。提取所獲取的幀圖像中的臉部的特征點(diǎn)。計(jì)算在當(dāng)前幀中的臉部(臉部部分)的特征點(diǎn)與在之前幀的特征點(diǎn)之間的距離總和(表情變化量)。提取其中表情變化量最大的目標(biāo)幀圖像以及其中表情變化量最大的目標(biāo)幀圖像之前和之后的m個(gè)幀圖像以作為最佳圖像候選者。從最佳圖像候選者中提取最佳拍攝圖像并將其存儲(chǔ)到存儲(chǔ)媒介中。因此，可有效地從按照連續(xù)方式所捕獲的圖像當(dāng)中僅提取包含用戶期望記錄的臉部的圖像(最佳拍攝圖像)并對(duì)其進(jìn)行存儲(chǔ)。
文檔編號(hào)G06K9/00GK101419666SQ20081016815
公開(kāi)日2009年4月29日 申請(qǐng)日期2008年9月28日 優(yōu)先權(quán)日2007年9月28日
發(fā)明者中村友和 申請(qǐng)人:富士膠片株式會(huì)社