專(zhuān)利名稱(chēng)：基于人臉的圖像聚類(lèi)的制作方法
基于人臉的圖像聚類(lèi)
背景技術(shù)：
隨著個(gè)人和組織持續(xù)快速積累圖像內(nèi)容的大的收藏，他們將日益要 求用于組織和瀏覽其收藏中的圖像內(nèi)容的系統(tǒng)和方法。許多系統(tǒng)允許用 戶(hù)通過(guò)圖像和其它數(shù)字內(nèi)容與特定事件或主題的聯(lián)系來(lái)對(duì)其進(jìn)行手動(dòng) 分類(lèi)，并基于這些分類(lèi)來(lái)劃分?jǐn)?shù)字內(nèi)容。但是，手動(dòng)分類(lèi)系統(tǒng)通常耗時(shí) 且難用，尤其是隨著數(shù)字內(nèi)容收藏規(guī)模的變大。 一些系統(tǒng)被配置為基于 顏色、形狀或紋理特征來(lái)自動(dòng)劃分?jǐn)?shù)字內(nèi)容，如圖像。但是，由于與基 于顏色、形狀或紋理的分類(lèi)關(guān)聯(lián)的固有不準(zhǔn)確性，這些自動(dòng)劃分系統(tǒng)通 常易于對(duì)數(shù)字內(nèi)容進(jìn)行錯(cuò)誤分類(lèi)。
在 一 些基于內(nèi)容的圖像檢索方法中，低級(jí)的視覺(jué)特征被用來(lái)將圖像 分組為有意義的分類(lèi)，該分類(lèi)反過(guò)來(lái)被用來(lái)產(chǎn)生用于包含圖像的數(shù)據(jù)庫(kù) 的索引。根據(jù)這些方法，用諸如顏色、紋理、形狀和布局等低級(jí)特征來(lái) 表現(xiàn)圖像。查詢(xún)圖像的特征可用來(lái)檢索數(shù)據(jù)庫(kù)中具有類(lèi)似特征的圖像。 總的來(lái)說(shuō)，當(dāng)被用來(lái)分類(lèi)和索引圖像的特征更精確地捕捉到圖像內(nèi)容的 目標(biāo)方面時(shí)，圖像自動(dòng)分類(lèi)和索引的結(jié)果會(huì)改善。
最近，在檢測(cè)和歸類(lèi)人類(lèi)主題的方面(例如，臉部和眼睛)做出了 努力。例如，在一種方法中，數(shù)字圖像中的人臉被組織為聚類(lèi)。根據(jù)該 方法， 一人臉圖像被用來(lái)形成第一個(gè)聚類(lèi)?；趯?duì)未分配的人臉圖像和 任何現(xiàn)有聚類(lèi)中的每個(gè)臉部圖像的比較，人臉識(shí)別器產(chǎn)生相似性評(píng)分。 如果未分配的人臉圖像的相似性評(píng)分高于閾值，該未分配的人臉圖像被 添加到對(duì)應(yīng)于最高相似性評(píng)分的聚類(lèi)中。如果未分配的人臉圖像的相似 性評(píng)分低于閾值，該未分配的人臉圖像被用于形成一個(gè)新的聚類(lèi)。對(duì)于 每個(gè)未分配的人臉圖像重復(fù)該處理。對(duì)于每個(gè)聚類(lèi)，包含在聚類(lèi)中的所 有人臉圖像被顯示在聚類(lèi)查看屏幕中。如果人臉圖像不屬于一個(gè)特定的 聚類(lèi)，用戶(hù)可以將其從該聚類(lèi)中刪除或重新分配給另外一個(gè)聚類(lèi)。如果 兩個(gè)聚類(lèi)的人臉?biāo)鶎傧嗤?，用?hù)可以合并這兩個(gè)聚類(lèi)。
在半自動(dòng)人臉聚類(lèi)方法中，人臉檢測(cè)器用于從相片中自動(dòng)提取人 臉。人臉識(shí)別器被用來(lái)通過(guò)人臉與選定模型的相似性來(lái)排序人臉。在該
5過(guò)程中，當(dāng)一個(gè)或多個(gè)人臉與某個(gè)人相關(guān)時(shí)，建立表示這些人臉的模型， 并顯示以與該模型的相似性的順序排序的未標(biāo)識(shí)的人臉。用戶(hù)可以用拖 放交互技術(shù)來(lái)選擇一些人臉并將其分配給正確的人。模型被更新以合并 新識(shí)別的人臉，且未標(biāo)識(shí)的人臉根據(jù)其與新模型的相似性來(lái)排序。被排 序的人臉在用戶(hù)界面中呈現(xiàn)為候選者，該用戶(hù)界面允許用戶(hù)標(biāo)識(shí)臉部。
使用現(xiàn)有的基于人臉的圖像聚類(lèi)方法構(gòu)建的人臉模型典型地不準(zhǔn) 確地表現(xiàn)它們代表的人的臉部。結(jié)果，分級(jí)為與特定的人臉模型最接近 的人臉通常不對(duì)應(yīng)于模型所表示的人。特別地，如果一個(gè)圖像被錯(cuò)誤地 包含到 一個(gè)聚類(lèi)中，則與該圖像相似的其它圖像也會(huì)被包括到該聚類(lèi) 中。這樣，每個(gè)誤報(bào)可能會(huì)擴(kuò)散而產(chǎn)生更多的誤報(bào)。需要基于人臉的圖 像聚類(lèi)系統(tǒng)和方法，其能夠建立更準(zhǔn)確和更魯棒的人臉模型。

發(fā)明內(nèi)容
在本發(fā)明的一個(gè)方面中，在圖像中沖企測(cè)人臉區(qū)域。從每個(gè)人臉區(qū)域 提取至少 一 個(gè)相應(yīng)的參數(shù)值。人臉區(qū)域中與滿(mǎn)足聚類(lèi)種子判定的參數(shù)值 關(guān)聯(lián)的那些被歸類(lèi)為聚類(lèi)種子人臉區(qū)域。聚類(lèi)種子人臉區(qū)域被聚類(lèi)為一 個(gè)或更多個(gè)聚類(lèi)。為每個(gè)聚類(lèi)建立各自的人臉模型。人臉模型被存儲(chǔ)。
在本發(fā)明的另一個(gè)方面中，在圖像中檢測(cè)人臉區(qū)域。從每個(gè)人臉區(qū) 域提取至少 一個(gè)相應(yīng)的參數(shù)值?；谔崛〉膮?shù)值來(lái)對(duì)人臉區(qū)域分級(jí)。 以分級(jí)順序?qū)⑷四槄^(qū)域聚類(lèi)為一個(gè)或更多個(gè)聚類(lèi)。在顯示器上呈現(xiàn)聚類(lèi)
本發(fā)明的其它特征和優(yōu)勢(shì)將從包括附圖和權(quán)利要求書(shū)在內(nèi)的下列 描述而變得明顯。


圖1是圖像處理系統(tǒng)的實(shí)施例的框圖。
圖2是圖像處理方法的實(shí)施例的流程圖。
圖3是示出在執(zhí)行圖2的圖像處理方法期間生成的信息的示意圖。 圖4是示例性輸入圖像的圖解視圖，在該圖像上疊加了劃分人臉區(qū) 域的實(shí)施例的邊界。
圖5是聚類(lèi)方法的實(shí)施例的流程圖。
圖6是人臉區(qū)域特征空間的實(shí)施例的示意圖，該特征空間被分為由沿接近度度量維度的距離所定義的各區(qū)域。
圖7是從人臉區(qū)域提取特征的過(guò)程的實(shí)施例的圖解視圖。 圖8是圖像處理系統(tǒng)的實(shí)施例的框圖。
圖9是圖像處理方法的實(shí)施例的流程圖。
圖10是呈現(xiàn)圖形用戶(hù)界面的實(shí)施例的顯示器的圖解視圖，該用戶(hù)
界面用于用戶(hù)對(duì)人臉聚類(lèi)的查看和修改。
圖11是呈現(xiàn)圖形用戶(hù)界面的實(shí)施例的顯示器的圖解視圖，該用戶(hù) 界面用于用戶(hù)對(duì)人臉聚類(lèi)的查看和修改。
具體實(shí)施例方式
在下面的描述中，類(lèi)似的附圖標(biāo)記被用來(lái)表示類(lèi)似的元件。此外， 附圖旨在以圖解的方式來(lái)說(shuō)明示例性實(shí)施例的主要特征。附圖并不旨在 描述實(shí)際實(shí)施例的每個(gè)特征或描述的元件的相對(duì)尺寸，并且不是按比率 繪制的。
I. 引言
這里具體描述的實(shí)施例基于在圖像中檢測(cè)到的人臉區(qū)域來(lái)聚類(lèi)圖 像。這些實(shí)施例影響建立聚類(lèi)的人臉模型的方法，這些方法被期望提供 更準(zhǔn)確和更魯棒的聚類(lèi)結(jié)果。在這些實(shí)施例的一些中，聚類(lèi)以聚類(lèi)種子 人臉區(qū)域來(lái)開(kāi)始，聚類(lèi)種子人臉區(qū)域被選擇來(lái)為建立人臉聚類(lèi)提供更準(zhǔn) 確和魯棒的基礎(chǔ)。此外， 一些實(shí)施例根據(jù)一個(gè)或更多個(gè)參數(shù)來(lái)對(duì)人臉區(qū) 域分級(jí)，這些參數(shù)被期望強(qiáng)調(diào)可能包含人臉部的更多準(zhǔn)確表示的人臉區(qū) 域。在這些實(shí)施例中，人臉區(qū)域以從最高級(jí)別到最低級(jí)別的順序來(lái)聚類(lèi)， 以獲得改善的聚類(lèi)結(jié)果。在一些實(shí)施例中，用戶(hù)反饋被用來(lái)進(jìn)一步改善 聚類(lèi)結(jié)果的聚類(lèi)準(zhǔn)確性。
II. 第一圖像處理系統(tǒng)及其組件的示例性實(shí)施例
A.圖像處理系統(tǒng)的總覽
圖1示出了圖像處理系統(tǒng)IO的實(shí)施例，包括人臉檢測(cè)處理組件12、 參數(shù)提取處理組件14、聚類(lèi)處理組件16以及模型處理組件18。
在操作中，圖像處理系統(tǒng)10處理輸入圖像20集合以生成聚類(lèi)規(guī)范 22和聚類(lèi)人臉模型24，在數(shù)據(jù)庫(kù)26中與輸入圖像20關(guān)聯(lián)地存儲(chǔ)。每 個(gè)輸入圖像20可以對(duì)應(yīng)于任何類(lèi)型的圖像，包括圖像傳感器(例如數(shù) 字?jǐn)z像機(jī)、數(shù)字靜態(tài)圖像照相機(jī)或光學(xué)掃描儀)捕獲的原始圖像(例如
7視頻的關(guān)鍵幀、靜態(tài)圖像或掃描的圖像)，或這樣的原始圖像經(jīng)過(guò)處理 (例如，子抽樣、裁剪、旋轉(zhuǎn)、濾光、格式重定、增強(qiáng)或其它修改)后
的版本。每個(gè)聚類(lèi)規(guī)范22對(duì)應(yīng)于在關(guān)聯(lián)的輸入圖像20中檢測(cè)到的不同 的相應(yīng)人臉。在一些實(shí)施例中，每個(gè)聚類(lèi)規(guī)范22包括對(duì)輸入圖像20中 包含作為構(gòu)成部分的人臉的相關(guān)聯(lián)的那些的位置的描述(例如，統(tǒng)一資 源定位符(URL)),以及作為構(gòu)成部分的人臉在這些輸入圖像的每個(gè) 內(nèi)的位置(例如，包含人臉區(qū)域的限定框的坐標(biāo))。在一些實(shí)施例中， 圖像處理系統(tǒng)1 0在鏈接到輸入圖像2 0中關(guān)聯(lián)的那些的相應(yīng)的數(shù)據(jù)結(jié)構(gòu)
(例如表格或列表)中存儲(chǔ)聚類(lèi)規(guī)范。在一些實(shí)施例中，每個(gè)輸入圖像 20對(duì)于在該輸入圖像20中檢測(cè)到的每個(gè)人臉，關(guān)聯(lián)相應(yīng)的聚類(lèi)規(guī)范22。 這樣，在這些實(shí)施例中，包括多個(gè)檢測(cè)到的人臉的輸入圖像20與多個(gè) 聚類(lèi)規(guī)范22關(guān)聯(lián)。
圖2示出了由圖像處理系統(tǒng)10的實(shí)施例實(shí)現(xiàn)的方法的實(shí)施例，并 且圖3示出了在執(zhí)行該方法的說(shuō)明性實(shí)施期間生成的信息。
根據(jù)該方法，人臉檢測(cè)處理組件12在輸入圖像20中檢測(cè)人臉區(qū)域
(圖2，塊28)。每個(gè)人臉區(qū)域包含人臉部的至少一部分。這樣，如圖 3所示，圖像20被分為包含至少一個(gè)人臉的圖像的集合30，和不包含 任何檢測(cè)到的人臉的圖像的集合32。參數(shù)提取處理組件14從每個(gè)人臉 區(qū)域中提取至少一個(gè)相應(yīng)的參數(shù)值34 (圖2,塊36)。聚類(lèi)處理組件 16將人臉區(qū)域中與滿(mǎn)足聚類(lèi)種子判定的參數(shù)值關(guān)聯(lián)的那些歸類(lèi)為聚類(lèi) 種子人臉區(qū)域38(圖2，塊40)。與不滿(mǎn)足聚類(lèi)種子判定的參數(shù)值關(guān)聯(lián) 的人臉區(qū)域被歸類(lèi)為非聚類(lèi)種子人臉區(qū)域42。聚類(lèi)處理組件16還將聚 類(lèi)種子人臉區(qū)域聚類(lèi)為一個(gè)或更多個(gè)聚類(lèi)44 (圖2,塊46)。在一些實(shí) 施例中，聚類(lèi)過(guò)程涉及將聚類(lèi)種子人臉區(qū)域劃分為一組初始聚類(lèi)48,以 及將非聚類(lèi)種子人臉區(qū)域42中的那些分配給各初始聚類(lèi)48以生成聚類(lèi) 44的最終集合。模型處理組件18為每個(gè)聚類(lèi)44建立各自的人臉模型 24 (圖2,塊50)。模型處理組件18在數(shù)據(jù)庫(kù)26中存儲(chǔ)人臉模型24
(圖2，塊52)。在一些實(shí)施例中，模型處理組件18還在數(shù)據(jù)庫(kù)24中 與相應(yīng)的輸入圖像20關(guān)聯(lián)地存儲(chǔ)聚類(lèi)規(guī)范22。
在圖2中示出的自動(dòng)聚類(lèi)過(guò)程的最后，各圖像20被劃分到"無(wú)人 臉，，類(lèi)別、"其它人臉，，類(lèi)別、以及一組圖像聚類(lèi)，該組圖像聚類(lèi)每個(gè) 包含的圖像具有對(duì)應(yīng)于一個(gè)特定人的相應(yīng)臉部的區(qū)域。包含多于一個(gè)人臉的圖像可以在多于一個(gè)圖像聚類(lèi)和類(lèi)別中出現(xiàn)。
通常，圖像處理系統(tǒng)10可以由一個(gè)或多個(gè)分離的處理組件(或模 塊)實(shí)現(xiàn)，不限于任何特定的硬件、固件或軟件配置。在示出的實(shí)施例
中，處理組件12-18可以在任何計(jì)算和數(shù)據(jù)處理環(huán)境中實(shí)現(xiàn)，包括在數(shù) 字電子電路(例如，特定應(yīng)用集成電路例如數(shù)字信號(hào)處理器(DSP)) 或在計(jì)算機(jī)硬件、固件、設(shè)備驅(qū)動(dòng)器或軟件中。在本示例性實(shí)施例中， 模型處理組件18通過(guò)人臉識(shí)別引擎實(shí)現(xiàn)。在一些實(shí)施例中，處理組件 12-18中多個(gè)的功能性被合并到單個(gè)處理組件中。在其它實(shí)施例中，一 個(gè)或更多個(gè)處理組件12-18中每個(gè)各自的功能性由相應(yīng)的一組多個(gè)處理 組件執(zhí)行。
在一些實(shí)現(xiàn)中，用于實(shí)現(xiàn)該方法的被圖像處理系統(tǒng)IO執(zhí)行的計(jì)算 機(jī)處理指令和它生成的數(shù)據(jù)在一個(gè)或更多個(gè)機(jī)器可讀媒介中存儲(chǔ)。適于 確實(shí)地包含這些指令和數(shù)據(jù)的存儲(chǔ)設(shè)備包括非易失性存儲(chǔ)器的所有形 式，包括，例如，半導(dǎo)體存儲(chǔ)設(shè)備例如EPR0M、 EEPROM和閃存存儲(chǔ)設(shè)備， 磁盤(pán)例如內(nèi)部硬盤(pán)和可移動(dòng)硬盤(pán)、磁光盤(pán)、DVD-R0M/RAM和CD-R0M/RAM。
B.人臉才全測(cè)處理組件的示例性實(shí)施例
如上所釋?zhuān)四槞z測(cè)處理組件12在輸入圖像20中檢測(cè)人臉。通常， 人臉檢測(cè)處理單元12可以使用任何類(lèi)型的人臉檢測(cè)過(guò)程，其確定在輸 入圖像20中每個(gè)人臉的存在和位置。示例性人臉檢測(cè)方法包括但不限 于基于特征的人臉檢測(cè)方法、模板匹配人臉檢測(cè)方法、基于神經(jīng)網(wǎng)絡(luò)的 人臉檢測(cè)方法以及基于圖像的人臉檢測(cè)方法，這些方法通過(guò)^皮標(biāo)記的人 臉樣本的集合來(lái)訓(xùn)練機(jī)器系統(tǒng)。示例性的基于特征的人臉檢測(cè)方法在 Viola and Jones, "Robust Real-Time Object Detection," Second International Workshop of Statistical and Computation theories of Vision — Modeling, Learning, Computing, and Sampling, Vancouver, Canada (July 1 3, 2001)中描述，其通過(guò)引用結(jié)合于此。示 例性的基于神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)方法在Rowley et al., "Neural Network-Based Face Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. "January 1998) 中描述，其通過(guò)引用結(jié)合于此。
在典型的人臉檢測(cè)過(guò)程中，人臉纟企測(cè)處理組件12初始地確定每個(gè) 輸入圖像20中每個(gè)人臉的存在和大致位置。在檢測(cè)到人臉的大致位置
9后，臉部檢測(cè)處理組件12對(duì)準(zhǔn)(或配準(zhǔn))檢測(cè)到的人臉從而它可以被 識(shí)別。在該過(guò)程中，在檢測(cè)的人臉中的一個(gè)或更多個(gè)特征點(diǎn)(例如，眼 睛、鼻尖和嘴或嘴唇)被提取。通常，任意類(lèi)型的特征提取過(guò)程可以被 使用，包括但不限于基于邊緣、線(xiàn)和曲線(xiàn)的特征提取方法、基于被設(shè)計(jì) 為檢測(cè)特定特征點(diǎn)(例如眼睛和嘴)的模板的提取方法、以及結(jié)構(gòu)匹配
方法。對(duì)于每個(gè)檢測(cè)到的人臉，人臉檢測(cè)處理組件12關(guān)于環(huán)繞檢測(cè)到
的人臉的一些或所有部分的相應(yīng)的臉部限定框?qū)?zhǔn)提取的特征。在一些 實(shí)現(xiàn)中，臉部限定框?qū)?yīng)于一個(gè)矩形，其包括檢測(cè)到的人臉的眼睛、鼻 子、嘴但不包括整個(gè)前額或下巴或頭的頂部。
臉部檢測(cè)處理組件12輸出一個(gè)或更多個(gè)人臉檢測(cè)參數(shù)值34。人臉 檢測(cè)參數(shù)值34的示例性類(lèi)型包括人臉的數(shù)量和臉部限定框的位置(例 如坐標(biāo))。臉部檢測(cè)處理組件12將人臉檢測(cè)參數(shù)值34傳遞給參數(shù)提取 處理組件14、聚類(lèi)處理組件16和模型處理組件18。
C.參數(shù)提取處理組件的示例性實(shí)施例
在示出的實(shí)施例中，參數(shù)提取處理組件14為每個(gè)臉部區(qū)域確定一 個(gè)或更多下列參數(shù)53的相應(yīng)值由人臉檢測(cè)處理組件12報(bào)告的臉部限 定框的尺寸(例如，垂直和水平尺寸或面積)；臉部區(qū)域的清晰度的度 量；人臉區(qū)域的曝光的度量；人臉區(qū)域的對(duì)比度的度量；人臉區(qū)域的飽 和度的度量；以及人臉區(qū)域的亮度的度量。參數(shù)提取處理組件14將提 取的參數(shù)值53傳遞給聚類(lèi)處理組件16。
1. 計(jì)算尺寸參數(shù)值
參數(shù)提取處理組件14從人臉檢測(cè)處理組件12在人臉檢測(cè)參數(shù)值34 中報(bào)告的臉部限定框的坐標(biāo)，確定檢測(cè)到的人臉區(qū)域的線(xiàn)性和面積尺寸。
圖4示出了示例性輸入圖像54,在其上疊加了劃分人臉區(qū)域58的 實(shí)施例的邊界56,該人臉區(qū)域58對(duì)應(yīng)于人60的臉部的區(qū)域。在該例子 中，人臉區(qū)域58具有水平尺寸w^。和垂直尺寸hla。e。人臉區(qū)域58的面
積尺寸Aface由Aface=Wface X hface給出。 一
2. 計(jì)算清晰度參數(shù)值
參數(shù)提取處理組件14可以以多種不同方式確定清晰度度量。在一 示例性實(shí)施例中，清晰度因子可以從對(duì)局部清晰度的估算導(dǎo)出，該局部 清晰度對(duì)應(yīng)于在檢測(cè)到的人臉區(qū)域中 一 維亮度梯度的高通和低通能量
10之間的平均比率。根據(jù)本實(shí)施例，在每個(gè)臉部區(qū)域中為每個(gè)水平像素行 和垂直像素列計(jì)算亮度梯度。對(duì)于其中梯度超過(guò)梯度閾值的每個(gè)水平和 垂直像素方向，參數(shù)提取處理組件14從梯度的高通能量和低通能量的 比率計(jì)算相應(yīng)的局部清晰度度量。通過(guò)平均人臉區(qū)域中的所有行和列的 清晰度值，為每個(gè)人臉區(qū)域計(jì)算清晰度值。
3. 計(jì)算曝光參數(shù)值
參數(shù)提取處理組件14可以以多種不同方式來(lái)為每個(gè)人臉區(qū)域確定
夂^ H雖業(yè)虔吝 7<r— 一人々4it A,l rb 矣#A 4旦mr Al、 J田々n /f杏 14 其千人憐f -口— fc) ，e乂u乂J^主。 I :7^/^" i〃J 'l ,'》-:5J入'j "T""、^^'工；^tL l丁 14 ■) Z、/fci k!l
域內(nèi)過(guò)度曝光和欠曝光像素的數(shù)量的計(jì)數(shù)來(lái)確定每個(gè)人臉區(qū)域的曝光
度量。在該過(guò)程中，如果(i)在以像素為中心的窗口內(nèi)超過(guò)一半像素的
亮度值超過(guò)249,或者(ii)在該窗口內(nèi)亮度梯度的能量和亮度方差的比 率超過(guò)900并且在該窗口內(nèi)的平均亮度超過(guò)239,參數(shù)提取處理組件14 將人臉區(qū)域內(nèi)的像素標(biāo)記為過(guò)度曝光。如果(i)在該窗口內(nèi)超過(guò)一半像 素的亮度值低于6，或者(ii)在該窗口內(nèi)亮度梯度的能量和亮度方差的 比率超過(guò)900并且在該窗口內(nèi)的平均亮度低于30,參數(shù)提取處理組件 14將人臉區(qū)域內(nèi)的像素標(biāo)記為欠曝光。參數(shù)提取處理組件14通過(guò)從1 減去區(qū)域中過(guò)度曝光像素的平均數(shù)量來(lái)為每個(gè)人臉區(qū)域計(jì)算各自的過(guò) 度曝光度量。類(lèi)似地，參數(shù)提取處理組件14通過(guò)從1減去區(qū)域中欠曝 光像素的平均數(shù)量來(lái)為每個(gè)區(qū)域計(jì)算各自的欠曝光度量。結(jié)果生成的過(guò) 度曝光度量和欠曝光度量相乘在一起，來(lái)為每個(gè)人臉區(qū)域產(chǎn)生各自的曝 光度量。
4. 計(jì)算對(duì)比度參數(shù)值
參數(shù)提取處理組件14可以使用多種不同方法中的任一種來(lái)為每個(gè) 人臉區(qū)域計(jì)算各自的對(duì)比度度量。在一些實(shí)施例中，參數(shù)提取處理組件 14根據(jù)美國(guó)專(zhuān)利號(hào)5642433中描述的圖像對(duì)比度確定方法來(lái)計(jì)算對(duì)比 度度量。在一些實(shí)施例中，局部對(duì)比度度量Q，^，，由等式(1 )給出
1 如果力。>100
1+如果"《100 (1) 其中，"是給定區(qū)域的相應(yīng)的亮度方差。
5. 計(jì)算亮度參數(shù)值
參數(shù)提取處理組件14可以使用多種不同方法中的任一種來(lái)為每個(gè) 人臉區(qū)域計(jì)算各自的亮度度量。在一些實(shí)施例中，亮度度量對(duì)應(yīng)于人臉區(qū)域的平均亮度。
D.聚類(lèi)處理組件的示例性實(shí)施例
聚類(lèi)處理組件16將人臉區(qū)域中與滿(mǎn)足聚類(lèi)種子判定的參數(shù)值53關(guān) 聯(lián)的那些歸類(lèi)為聚類(lèi)種子人臉區(qū)域38 (圖3,塊40;見(jiàn)圖1和3)。與 不滿(mǎn)足聚類(lèi)種子判定的參數(shù)值關(guān)聯(lián)的人臉區(qū)域被歸類(lèi)為非聚類(lèi)種子人 臉區(qū)域42。
聚類(lèi)種子判定定義了至少一個(gè)關(guān)于由參數(shù)提取處理組件14從檢測(cè)
■5" AA 乂 J^. rb 4旦"ETcr AA類(lèi)頭'A 乂^《。AA久乂丄
,g H'wj義wv z》、^^ ,肚j j wv不i i o
在一些實(shí)施例中，聚類(lèi)種子判定對(duì)應(yīng)于關(guān)于每個(gè)聚類(lèi)種子人臉區(qū)域 的最小尺寸的閾值。在一個(gè)示例性實(shí)施例中，最小尺寸閾值關(guān)于包含該 人臉區(qū)域的對(duì)應(yīng)的輸入圖像20規(guī)定了每個(gè)人臉區(qū)域的最小尺寸。在本 實(shí)施例中，聚類(lèi)種子判定P一由等式(2)給出
其中Q/_是人臉區(qū)域的尺寸，Q ;，是包含人臉區(qū)域的輸入圖像的尺寸，
且T,^是最小尺寸閾值。在一些實(shí)施例中，Q/w和Q^e分別對(duì)應(yīng)于人
臉區(qū)域和輸入圖像的線(xiàn)性尺寸。在另外的實(shí)施例中，Qk和Q,.《e分別 對(duì)應(yīng)于人臉區(qū)域和輸入圖像的面積尺寸。
在一些實(shí)施例中，聚類(lèi)種子判定指定了多個(gè)關(guān)于聚類(lèi)種子人臉區(qū)域 的參數(shù)值53的條件。例如，在一些實(shí)施例中，聚類(lèi)種子判定指定關(guān)于 兩個(gè)或更多個(gè)參數(shù)的值的條件，所述兩個(gè)或更多個(gè)參數(shù)從以下選擇人 臉區(qū)域的尺寸；人臉區(qū)域的清晰度；人臉區(qū)域的曝光等級(jí)；人臉區(qū)域的 對(duì)比度等級(jí)；人臉區(qū)域的飽和度等級(jí)；以及人臉區(qū)域的亮度等級(jí)。在這 些實(shí)施例的一些中，聚類(lèi)處理組件16將不同的相應(yīng)閾值應(yīng)用到每個(gè)選 擇的參數(shù)，并且具有滿(mǎn)足每個(gè)閾值的參數(shù)值的人臉區(qū)域被歸類(lèi)為聚類(lèi)種 子人臉區(qū)域，而具有不滿(mǎn)足閾值中任意一個(gè)的參數(shù)值的人臉區(qū)域被歸類(lèi) 為非聚類(lèi)種子人臉區(qū)域。在這些實(shí)施例的其它一些中，聚類(lèi)處理組件16 從對(duì)于選擇的參數(shù)的相關(guān)聯(lián)的值為每個(gè)人臉區(qū)域計(jì)算各自的質(zhì)量評(píng)分， 且具有滿(mǎn)足質(zhì)量閾值的質(zhì)量評(píng)分的人臉區(qū)域被歸類(lèi)為聚類(lèi)種子人臉區(qū) 域，而具有不滿(mǎn)足質(zhì)量閾值的質(zhì)量評(píng)分的人臉區(qū)域被歸類(lèi)為非聚類(lèi)種子 人臉區(qū)域。在這些實(shí)施例的一些中，質(zhì)量評(píng)分對(duì)應(yīng)于選擇的參數(shù)的值的 加權(quán)平均，其中權(quán)重和質(zhì)量閾值是根據(jù)經(jīng)驗(yàn)確定的。在其它實(shí)施例中，聚類(lèi)處理組件16從清晰度度量、曝光度量、對(duì)比度度量和飽和度度量 計(jì)算相應(yīng)的質(zhì)量評(píng)分。在該過(guò)程中，聚類(lèi)處理組件16通過(guò)為每個(gè)人臉 區(qū)域計(jì)算這些度量的乘積，并將乘積結(jié)果按比率改變到指定的動(dòng)態(tài)范圍
內(nèi)(例如，0到255 ),確定相應(yīng)的質(zhì)量評(píng)分。結(jié)果生成的按比率改變 的值對(duì)應(yīng)于對(duì)應(yīng)的人臉區(qū)域的相應(yīng)的圖像質(zhì)量評(píng)分。
聚類(lèi)處理組件16將聚類(lèi)種子人臉區(qū)域36聚類(lèi)為一個(gè)或更多個(gè)聚類(lèi) 44 (圖2，塊46;見(jiàn)圖3)。通常，聚類(lèi)處理組件16可以以多種不同的
.二丄、，丄ff義水.iJ^ "7一 ,n入HT fTX必 Ai丄一 /ri "1" rfflT!L '—& 、匕Ar7 / 1.MM 、 H5t
力jA4^〃J》k大4t1 乂v/徑—ia j x^k大，。4石'l-叫、r卜一j K取w 卩、K-pm 乂 ,n大、
凝聚型層次聚類(lèi)、k-均值聚類(lèi)和自適應(yīng)樣本集構(gòu)建聚類(lèi)。
圖5示出了由聚類(lèi)處理組件16執(zhí)行以對(duì)聚類(lèi)種子人臉區(qū)域36聚類(lèi)
的自適應(yīng)樣本集構(gòu)建聚類(lèi)方法的實(shí)施例。該方法對(duì)多個(gè)閾值和聚類(lèi)的迭 代改進(jìn)的使用被期望來(lái)克服與誤報(bào)傳播關(guān)聯(lián)的問(wèn)題，并由此獲得良好的 結(jié)果。
根據(jù)該方法，聚類(lèi)處理組件16用聚類(lèi)種子人臉區(qū)域中的一個(gè)來(lái)開(kāi) 始聚類(lèi)(圖5，塊70)。在一些實(shí)施例中，聚類(lèi)處理組件16基于為至 少一個(gè)參數(shù)提取的值來(lái)對(duì)聚類(lèi)種子人臉區(qū)域分級(jí)，并選擇最高等級(jí)的聚 類(lèi)種子人臉區(qū)域來(lái)開(kāi)始該聚類(lèi)。在這些實(shí)施例的一些中，聚類(lèi)種子人臉 區(qū)域以從最大尺寸比率(即人臉區(qū)域尺寸與對(duì)應(yīng)的輸入圖像尺寸的比 率)到最低尺寸比率的順序來(lái)分級(jí)。在這些實(shí)施例的另一些中，聚類(lèi)種 子人臉區(qū)域以從最高質(zhì)量評(píng)分到最低質(zhì)量評(píng)分的順序來(lái)分級(jí)。在一些實(shí) 施例中，聚類(lèi)處理組件16隨機(jī)選擇開(kāi)始的聚類(lèi)種子區(qū)域。
聚類(lèi)處理組件16確定每個(gè)開(kāi)始的聚類(lèi)和下一個(gè)聚類(lèi)種子人臉區(qū)域 之間的相應(yīng)的接近度度量( )(圖5，塊72)。通常，接近度度量
可以對(duì)應(yīng)于比較每個(gè)開(kāi)始的聚類(lèi)和下一個(gè)聚類(lèi)種子人臉區(qū)域之間的相 對(duì)接近性或類(lèi)似性的任何類(lèi)型的度量。在一些實(shí)施例中，模型處理組件 18為每個(gè)聚類(lèi)建立各自的從臉部特征導(dǎo)出的人臉模型，臉部特征從作為 構(gòu)成部分的人臉區(qū)域提取(見(jiàn)下面的§ II. E)。在這些實(shí)施例中，聚類(lèi) 處理組件16將信息74 (見(jiàn)圖1 )傳遞到模型處理組件18,其中該信息 74包括聚類(lèi)和下一聚類(lèi)種子人臉區(qū)域。模型處理器組件建立代表該聚類(lèi) 的人臉模型、從下一聚類(lèi)種子人臉區(qū)域中提取臉部特征、并基于人臉模 型和提取的臉部特征來(lái)計(jì)算接近度度量76 (見(jiàn)圖1 )。模型處理組件18 將接近度度量76傳遞到聚類(lèi)處理組件16。在一些實(shí)現(xiàn)中，接近度度量對(duì)應(yīng)于代表該聚類(lèi)的特征向量和代表下一個(gè)聚類(lèi)種子人臉區(qū)域的特征 向量之間的相似性評(píng)分。在其它實(shí)現(xiàn)中，接近度度量從對(duì)這些特征向量
之間的距離的度量(例如向量范數(shù)，如L2范數(shù))導(dǎo)出。
圖6示出了被分為區(qū)域80、 82、 84、 86的示例性臉部區(qū)域特征空 間78,這些區(qū)域由劃分沿著徑向維度的不同距離的邊界所定義，徑向維 度對(duì)應(yīng)于接近度度量 并在零接近度度量值處開(kāi)始。
響應(yīng)于確定相應(yīng)的接近度度量滿(mǎn)足第一接近度判定，聚類(lèi)處理組件
1乙、l々卞—/vSS來(lái)4工/ n^v H7 sfi-々入Jl 丄厶JL義來(lái)rb冥4立& AA —入,ra《
1 U 1"|- " 'I々N^ctiJ z V/J2w人:7V /| 乂口"V夕 ^: I ^'/5^^UWV I v j ,
塊78)。在一些實(shí)施中，第一接近度判定對(duì)應(yīng)于最小接近度閾值(t,, 見(jiàn)圖6)。這樣，在這些實(shí)現(xiàn)中，如果下一個(gè)聚類(lèi)種子人臉區(qū)域和最接 近的存在的聚類(lèi)之間的接近度度量滿(mǎn)足最小接近度閾值，聚類(lèi)處理組件 16將該下一聚類(lèi)種子人臉區(qū)域分配給最接近的存在的聚類(lèi)。
響應(yīng)于確定相應(yīng)的接近度度量滿(mǎn)足不同于第 一接近度判定的第二 接近度判定，聚類(lèi)處理組件16用該下一個(gè)聚類(lèi)種子人臉區(qū)域來(lái)開(kāi)始新 的聚類(lèi)(圖5，塊80)。在一些實(shí)現(xiàn)中，第二接近度判定對(duì)應(yīng)于最大接 近度閾值(t2,見(jiàn)圖6)。這樣，在這些實(shí)現(xiàn)中，如果下一個(gè)聚類(lèi)種子 人臉區(qū)域和最接近的存在的聚類(lèi)之間的接近度度量低于第二接近度閾 值(t2，見(jiàn)圖6),聚類(lèi)處理組件16用該下一個(gè)聚類(lèi)種子人臉區(qū)域來(lái) 開(kāi)始新的聚類(lèi)。
聚類(lèi)處理組件16對(duì)所有相繼的聚類(lèi)種子人臉區(qū)域重復(fù)塊72、 78和 80的過(guò)程(圖5，塊82)。在一些實(shí)施例中，相繼的聚類(lèi)種子人臉區(qū)域 以從最高級(jí)別到最低級(jí)別的級(jí)別順序來(lái)處理。
在所有的聚類(lèi)種子人臉區(qū)域已經(jīng)被根據(jù)圖5的塊70-82處理之后， 如果存在任何沒(méi)有被分配的聚類(lèi)種子人臉區(qū)域并且聚類(lèi)分布不同于前 一迭代(圖5,塊83),每個(gè)聚類(lèi)的人臉模型被更新(圖5，塊85 )。 在該過(guò)程中，聚類(lèi)處理組件16選擇聚類(lèi)中的一個(gè)或更多個(gè)人臉來(lái)更新 人臉模型。例如，在一些實(shí)施例中，聚類(lèi)處理組件使用一個(gè)或更多個(gè)下 列類(lèi)型的人臉區(qū)域來(lái)更新每個(gè)人臉模型(i)與已有的人臉模型最不相 同的人臉區(qū)域(例如，具有最低的人臉識(shí)別評(píng)分，或者對(duì)應(yīng)于面向側(cè)面 像最多或旋轉(zhuǎn)最多的人臉的人臉區(qū)域)；(ii)顯示的面角與用來(lái)建立 已有人臉模型的人臉區(qū)域的面角不同的人臉區(qū)域；(iii)具有最高質(zhì)量 評(píng)分的人臉區(qū)域；以及Uv)具有最高接近度評(píng)分的人臉區(qū)域。聚類(lèi)處理
14組件16使用選擇的人臉區(qū)域的特征來(lái)更新人臉模型(圖5,塊85)。 接著，聚類(lèi)處理組件16將所有未分配的人臉區(qū)域分級(jí)(圖5,塊85), 并使用更新的人臉模型來(lái)對(duì)分級(jí)的未分配的人臉區(qū)域重復(fù)塊72-85的過(guò)程。
塊72-85的迭代在沒(méi)有更多的未分配聚類(lèi)種子人臉區(qū)域或如果當(dāng)前 聚類(lèi)分布與前一迭代的聚類(lèi)分布相同時(shí)停止(圖5,塊83)。于是，如 果還有沒(méi)分配的聚類(lèi)種子人臉區(qū)域，聚類(lèi)處理組件16將與滿(mǎn)足不同于
《 2—力^ 一 4士 ，c^ r￡p 、t,1丄厶哲一 :-在士,l々上A二c^ r^F旦V TTV_厶A 土 乂、vffi;J
"—/Tw " "^文^乂夂,'J & wy V 二wj^t乂iCJ wy牧^w夂/又主入^wy個(gè)刀wu
的聚類(lèi)種子人臉區(qū)域分配給最接近的開(kāi)始的聚類(lèi)(圖5,塊84)。在一 些實(shí)現(xiàn)中，第三接近度判定對(duì)應(yīng)于在接近度度量軸上位于第一和第二接 近度閾值t,, t2之間的最小接近度闞值(t3，見(jiàn)圖6)。這樣，在這 些實(shí)施中，如果未分配的聚類(lèi)種子人臉區(qū)域和最接近的存在的聚類(lèi)之間 的接近度度量等于或高于第三接近度閾值(t3,見(jiàn)圖6),聚類(lèi)處理組 件16將未分配的聚類(lèi)種子人臉區(qū)域分配給最接近的開(kāi)始的聚類(lèi)。第一、 第二和第三接近度閾值的值典型地根據(jù)經(jīng)驗(yàn)確定。
聚類(lèi)處理組件16然后對(duì)任何剩余的聚類(lèi)種子人臉區(qū)域重復(fù)塊 70-86的過(guò)程(圖5，塊86)。在一些實(shí)施例中，剩余的聚類(lèi)種子人臉 區(qū)域被分級(jí)(例如，以尺寸比率的順序或以質(zhì)量評(píng)分的順序)，并以從 最高分級(jí)到最低分級(jí)的分級(jí)順序來(lái)聚類(lèi)。
在所有聚類(lèi)種子人臉區(qū)域已經(jīng)被分配到各自的聚類(lèi)之后(圖5,塊 86),基于非聚類(lèi)種子人臉區(qū)域和代表聚類(lèi)的相應(yīng)人臉模型之間的接近 度的度量，聚類(lèi)處理組件16將各非聚類(lèi)種子人臉區(qū)域42分配給相應(yīng)的 聚類(lèi)(圖5,塊88)。在一些實(shí)施例中，如果對(duì)應(yīng)的接近度度量滿(mǎn)足第 三接近度判定，聚類(lèi)處理組件16將各非聚類(lèi)種子人臉區(qū)域42分配給最 接近的聚類(lèi)；否則聚類(lèi)處理組件16將非聚類(lèi)種子人臉區(qū)域分配給單獨(dú) 的分類(lèi)，其可以被標(biāo)記為，例如，"其它人臉"。
在一些實(shí)施例中，聚類(lèi)處理組件16自動(dòng)將只包含少量相片的小聚 類(lèi)(例如，包含少于N張相片的聚類(lèi)，其中N可以是2或3)合并到較 大的聚類(lèi)。在一個(gè)示例性實(shí)施例中，小聚類(lèi)中的所有人臉與較大聚類(lèi)的 每個(gè)人臉模型匹配，并且當(dāng)人臉與至少一個(gè)人臉才莫型成功匹配時(shí)，它被 分配給匹配最好的聚類(lèi)；否則，不匹配的小聚類(lèi)被分配到"其它人臉" 分類(lèi)。在另一實(shí)施例中，對(duì)于一個(gè)小聚類(lèi)，如果它中的一個(gè)或更多個(gè)人臉與一個(gè)較大的聚類(lèi)成功匹配(例如，該小聚類(lèi)和該最接近的大聚類(lèi)之 間的接近度度量滿(mǎn)足第三接近度判定)，將該小聚類(lèi)和該較大的聚類(lèi)合 并；否則，該小聚類(lèi)被合并到"其它人臉，，類(lèi)別。
在一些實(shí)施例中，聚類(lèi)處理組件16在執(zhí)行一個(gè)或更多個(gè)圖5的塊 所表示的過(guò)程中加入知識(shí)和規(guī)則。例如，在一些實(shí)施例中，如果從一張 相片中檢測(cè)到兩個(gè)或更多個(gè)人臉，這些人臉被分配給不同的聚類(lèi)。在這 些實(shí)施例中，聚類(lèi)處理組件16防止聚類(lèi)包含來(lái)自每個(gè)圖像多于一個(gè)的
/二 、/ll a-、 A" ,\ /， n入 PT ， btr義lI 'm乂丄 i /"/ jL 、工，lJ>_ 乂< rr々 "， & rr
TF7^T"J力Xj^P力-日"八/Bf li》A。
5K夭乂-王5且'IT 10日M》》i^MJJil-午"IJ^ J vr開(kāi)7T，F(xiàn)] (例如，如果人臉區(qū)域X1和X2來(lái)自同一相片，且Xl被分配給聚類(lèi)Zl,
那么沒(méi)有必要比較人臉區(qū)域X2和聚類(lèi)Zl ),并降低了由于誤歸類(lèi)引起
的錯(cuò)誤。
E.模型處理組件的示例性實(shí)施例
模型處理組件18為每個(gè)聚類(lèi)44建立各自的人臉模型24 (圖2,塊 50)。通常，任何類(lèi)型的臉部特征提取過(guò)程可以被用來(lái)從檢測(cè)到的人臉 區(qū)域提取特征，檢測(cè)到的人臉區(qū)域在人臉檢測(cè)處理組件12輸出的臉部 參數(shù)值42中報(bào)告。示例性臉部特征提取過(guò)程包括但不限于基于邊緣、 線(xiàn)和曲線(xiàn)的特征提取方法；基于設(shè)計(jì)來(lái)檢測(cè)特定的特征點(diǎn)(例如，眼睛 和嘴)的模板的提取方法；以及結(jié)構(gòu)匹配方法。在一些實(shí)施例中，主成 分分析(PCA)被用來(lái)將特征空間分解為由前幾個(gè)特征向量張成的低維 度的子空間，以及與該特征向量空間正交的子空間。
圖7示出了由模型處理組件18的實(shí)施例實(shí)現(xiàn)的過(guò)程的實(shí)施例，該 過(guò)程從檢測(cè)到的人臉區(qū)域90提取特征。根據(jù)該過(guò)程，臉部特征值 (f。， f\, ...，fN)根據(jù)一組臉部特征定義92從人臉區(qū)域90中提取。每個(gè) 臉部特征定義對(duì)應(yīng)于描述如何計(jì)算或度量相應(yīng)臉部特征值(f。， f,， ...， fN) 的規(guī)則。每個(gè)特征值反映了相應(yīng)臉部特征對(duì)在臉部特征集合92張成的 特征空間中的臉部區(qū)域90的表示的貢獻(xiàn)。為臉部區(qū)域90計(jì)算的臉部特 征值的集合構(gòu)成臉部曲線(xiàn)向量94。
模型處理組件18在數(shù)據(jù)庫(kù)26中存儲(chǔ)人臉模型24 (圖2,塊52 )。 在一些實(shí)施例中，模型處理組件18還在數(shù)據(jù)庫(kù)24中與相應(yīng)輸入圖像關(guān) 聯(lián)的存儲(chǔ)聚類(lèi)規(guī)范22。
III.第二圖像處理系統(tǒng)及其組件的示例性實(shí)施例
圖8示出了圖像處理系統(tǒng)100的實(shí)施例，對(duì)應(yīng)于圖1中示出的圖像處理系統(tǒng)IO,除了圖像處理系統(tǒng)100還包括用戶(hù)接口處理組件102,通 過(guò)該組件用戶(hù)與圖像處理系統(tǒng)10進(jìn)行交互。在操作中，用戶(hù)接口處理 組件102在顯示器上呈現(xiàn)聚類(lèi)22的表示104、 106。顯示器26可以是， 例如，平板顯示器，例如LCD(液晶顯示器)、等離子顯示器、EL顯示 器(電激發(fā)光顯示器)和FED (場(chǎng)發(fā)射顯示器)。在一些實(shí)現(xiàn)中，用戶(hù) 接口處理組件102允許用戶(hù)在顯示器上交互地瀏覽自動(dòng)生成的人臉聚類(lèi) 1 04, 1 06。用戶(hù)接口處理組件102還允許用戶(hù)指定對(duì)人臉聚類(lèi)規(guī)范22
/ /_ /.A L /,A , n入 ' /— /一 Ll^ , /. /.A 丄 m二 丄^ — *」 V丄1 A n A"
日'M 廂孑外?！稪 各、>^八/J3T豕矢日"1:t 1 口J 4百疋日"？廂孑號(hào)，夂川,妖w X-王5且，T丄UZ
釋。用戶(hù)接口處理組件102將解釋的用戶(hù)命令指令傳送到聚類(lèi)處理組件 16。聚類(lèi)處理組件16根據(jù)從用戶(hù)接口處理組件102接收的編輯為給定 的人臉聚類(lèi)生成修改的規(guī)范，并且模型處理組件基于修改的聚類(lèi)規(guī)范22 生成修正的人臉模型24。用戶(hù)接口處理組件102將修正的人臉聚類(lèi)呈現(xiàn) 給用戶(hù)，用戶(hù)可以瀏覽修正的人臉聚類(lèi)，指定對(duì)修正的人臉聚類(lèi)的編輯， 或命令圖像處理系統(tǒng)100呈現(xiàn)某些或全部其它人臉聚類(lèi)。
圖9示出了由圖像處理系統(tǒng)100的實(shí)施例實(shí)現(xiàn)的方法的實(shí)施例。 根據(jù)該方法，人臉檢測(cè)處理組件12在圖像20中檢測(cè)人臉區(qū)域(圖 9，塊108)。人臉檢測(cè)處理組件12可以根據(jù)上述任一種人臉檢測(cè)方法 來(lái)檢測(cè)人臉。典型地，生成各自的限定框以表示每個(gè)檢測(cè)到的人臉的位 置和尺寸。
參數(shù)提取處理組件14從每個(gè)人臉區(qū)域提取至少一個(gè)相應(yīng)的參數(shù)值 34 (圖9,塊110)。參數(shù)提取處理組件14可以根據(jù)上述任一種參數(shù)提 取方法來(lái)從人臉區(qū)域中提取參數(shù)值。
聚類(lèi)處理組件16基于提取的參數(shù)值來(lái)對(duì)人臉區(qū)域分級(jí)(圖9,塊 112)。在一些實(shí)施例中，聚類(lèi)處理組件16用上述任一種方法來(lái)為每個(gè) 檢測(cè)到的人臉計(jì)算各自的質(zhì)量評(píng)分。質(zhì)量評(píng)分可以基于人臉特征例如人 臉的尺寸、亮度和清晰度來(lái)確定。人臉的尺寸可以是絕對(duì)尺寸或相對(duì)于 相應(yīng)輸入圖像的尺寸的尺寸，其可以表示為臉部限定框的尺寸和輸入圖 像的尺寸之間的比率。例如，相對(duì)尺寸可以被定義為限定框的較長(zhǎng)邊的 長(zhǎng)度與相應(yīng)輸入圖像的較長(zhǎng)邊的長(zhǎng)度的比率。在一些實(shí)施例中，當(dāng)滿(mǎn)足 下列條件時(shí)質(zhì)量評(píng)分相對(duì)較高臉部區(qū)域的尺寸相對(duì)于輸入圖像的尺寸 大；臉部區(qū)域沒(méi)有被過(guò)度曝光(太亮)或欠曝光(太暗)；臉部區(qū)域清 晰(不模糊)。在這些實(shí)施例中，臉部區(qū)域根據(jù)計(jì)算的質(zhì)量評(píng)分以從最
17高質(zhì)量評(píng)分到最低質(zhì)量評(píng)分的降序來(lái)分級(jí)。
在臉部區(qū)域被分級(jí)后(圖9,塊112 ),聚類(lèi)處理組件16以分級(jí)順 序?qū)⒛槻繀^(qū)域聚類(lèi)為一個(gè)或更多個(gè)聚類(lèi)(圖9,塊114)。
在聚類(lèi)過(guò)程期間，聚類(lèi)處理組件16與模型處理組件18協(xié)同工作。 在一些實(shí)施例中，模型處理組件18由人臉識(shí)別引擎實(shí)現(xiàn)。在這些實(shí)施 例中，人臉識(shí)別引擎用給定聚類(lèi)中的 一 個(gè)或更多個(gè)人臉來(lái)訓(xùn)練人臉模 型。人臉識(shí)別引擎從查詢(xún)?nèi)四槄^(qū)域(例如，下一個(gè)被聚類(lèi)的人臉區(qū)域) 提取臉、部特4正。人臉、識(shí)另U引擎匹配才是取的特征與聚類(lèi)的人/險(xiǎn)才莫型，并生 成0和1之間的接近度評(píng)分，該評(píng)分指示查詢(xún)?nèi)四槄^(qū)域和人臉模型之間 的近似程度。典型地，接近度評(píng)分越高，查詢(xún)?nèi)四槄^(qū)域與人臉聚類(lèi)越有 可能表示同一個(gè)人的圖像。人臉識(shí)別引擎將經(jīng)驗(yàn)確定的閾值(T)應(yīng)用 到接近度評(píng)分。如果接近度評(píng)分高于T，則人臉識(shí)別引擎報(bào)告查詢(xún)?nèi)四?區(qū)域與人臉聚類(lèi)匹配；否則，人臉識(shí)別引擎報(bào)告查詢(xún)?nèi)四槄^(qū)域與人臉聚 類(lèi)不匹配。
通常，聚類(lèi)處理組件16可以以多種不同的方式來(lái)對(duì)人臉區(qū)域聚類(lèi)， 包括但不限于最近鄰(k-NN)聚類(lèi)、凝聚型層次聚類(lèi)、k-均值聚類(lèi)和自 適應(yīng)樣本集構(gòu)建聚類(lèi)。在一些實(shí)施例中，聚類(lèi)處理組件16如下來(lái)聚類(lèi) 人臉區(qū)域
(1) 分級(jí)列表中的第一個(gè)人臉，XI，被選擇作為第一個(gè)聚類(lèi) 的代表。使用XI的臉部特征來(lái)為該聚類(lèi)訓(xùn)練人臉模型 Ml;
(2) 選擇分級(jí)列表中的下一個(gè)人臉X,并與所有現(xiàn)有的人臉 模型匹配。假設(shè)Sj(X,Mj)是X與第j個(gè)人臉模型匹配的 評(píng)分，且i=arg max(Sj(X,Mj))。如果S,T，則將X分 配給第i個(gè)聚類(lèi)；否則，用X作為代表形成新的聚類(lèi)， 并且使用X的臉部特征來(lái)訓(xùn)練用于該聚類(lèi)的人臉模型。
(3) 繼續(xù)步驟(2),直到分級(jí)列表中的所有人臉被處理。 參考圖10,在人臉區(qū)域已被聚類(lèi)之后(圖9,塊114),用戶(hù)接口
處理組件102在顯示器116上呈現(xiàn)各聚類(lèi)的表示(圖9，塊118)。用 戶(hù)接口處理組件102允許用戶(hù)指定對(duì)人臉聚類(lèi)的一個(gè)或更多個(gè)修改。響 應(yīng)于用戶(hù)輸入，聚類(lèi)處理組件16和模型處理組件18協(xié)同修改一個(gè)或更 多個(gè)聚類(lèi)(圖9，塊119)。用戶(hù)可以通過(guò)對(duì)輸入設(shè)備(例如，計(jì)算機(jī)鼠標(biāo))的操縱來(lái)向用戶(hù)接口處理組件102指定命令，輸入設(shè)備向驅(qū)動(dòng)顯 示器116的顯示控制器輸出顯示控制信號(hào)。顯示控制信號(hào)典型地為運(yùn)動(dòng) 度量的形式，該度量典型地對(duì)應(yīng)于位移參數(shù)值、速度參數(shù)值和加速度參 數(shù)值中的一個(gè)或更多個(gè)。顯示控制器處理顯示控制信號(hào)以控制，例如， 指示符121在顯示器116上的移動(dòng)。
在一些實(shí)施例中，用戶(hù)接口處理組件102在多層次圖形用戶(hù)接口中 呈現(xiàn)聚類(lèi)表示。如圖10所示，在圖形用戶(hù)接口的第一層次120中，顯 示包含每個(gè)聚類(lèi)的代表人臉的各輸入圖像20的縮略圖122。在一些實(shí)施 例中，聚類(lèi)根據(jù)聚類(lèi)中包含的輸入圖像的數(shù)量來(lái)分級(jí)，并且縮略圖122 以分級(jí)順序示出。因此，最大的聚類(lèi)在圖10中示出的圖形用戶(hù)接口層 次120的頂行中呈現(xiàn)。
在操作中，響應(yīng)于用戶(hù)在圖形用戶(hù)接口層次120中選擇縮略圖122 中的一個(gè)，用戶(hù)接口處理組件102呈現(xiàn)對(duì)應(yīng)于選中的縮略圖所表示的人 臉聚類(lèi)中的所有圖像的縮略圖。如圖11所示，在圖形用戶(hù)接口的第二 層次124中，選擇的聚類(lèi)中的輸入圖像根據(jù)相關(guān)聯(lián)的人臉識(shí)別相似性評(píng) 分(即，通過(guò)匹配輸入圖像的人臉區(qū)域和聚類(lèi)的人臉模型而得到的評(píng)分) 來(lái)分級(jí)，并且圖片縮略圖根據(jù)相似性評(píng)分，從最高相似性評(píng)分到最低相 似性評(píng)分來(lái)示出。因此，在圖11中，縮略圖的頂行包含被確定為與聚 類(lèi)的人臉模型最相似的人臉區(qū)域。
這樣，圖形用戶(hù)接口允許用戶(hù)查看初始的聚類(lèi)結(jié)果。在該查看的過(guò) 程中，用戶(hù)會(huì)發(fā)現(xiàn)一些聚類(lèi)是有趣的而其它的不是。例如，在圖形用戶(hù) 接口的第一層次12Q中呈現(xiàn)的前幾個(gè)聚類(lèi)(即最大聚類(lèi))可包含家庭成 員的圖片，并且對(duì)用戶(hù)可能是最重要的，而一些小聚類(lèi)(例如，僅包含 一個(gè)或少數(shù)圖片的聚類(lèi))可能包含用戶(hù)不感興趣的圖片。可選地，用戶(hù) 可以選擇不重要的小聚類(lèi)并將它們合并為單獨(dú)的分類(lèi)，其可以被標(biāo)記為 "其它"。在一些實(shí)施例中，在"其它"分類(lèi)中的聚類(lèi)在隨后的迭代中 不在圖形用戶(hù)接口中示出。
圖形用戶(hù)接口允許用戶(hù)選擇一個(gè)特定的聚類(lèi)和修改該聚類(lèi)內(nèi)作為 構(gòu)成部分的圖像。例如，通過(guò)對(duì)聚類(lèi)中成員的查看，用戶(hù)可以發(fā)現(xiàn)聚類(lèi) 中的一些圖片是誤報(bào)或者一些其它聚類(lèi)應(yīng)該與選擇的聚類(lèi)合并，因?yàn)樗?們表示同一個(gè)人。圖形用戶(hù)接口允許用戶(hù)找出選擇的聚類(lèi)中的誤報(bào)，以 及將選擇的聚類(lèi)與其它聚類(lèi)合并。
19對(duì)選擇的聚類(lèi)的任何修改作為對(duì)圖像處理系統(tǒng)100的反饋?；谠?br> 反饋，聚類(lèi)處理組件16修改被修改的聚類(lèi)的規(guī)范，且模型處理組件重 建(或重新訓(xùn)練)對(duì)應(yīng)于該修改的聚類(lèi)的人臉模型。在圖10示出的說(shuō) 明性例子中，聚類(lèi)#7和#8表示與聚類(lèi)#1表示的人相同的人。因此，響 應(yīng)于用戶(hù)選擇聚類(lèi)#7和#8的縮略圖，圖像處理系統(tǒng)100將選擇的聚類(lèi) 與聚類(lèi)#1合并，并且模型處理組件18通過(guò)加上來(lái)自聚類(lèi)#7和#8的人臉 模型的臉部特征來(lái)重新訓(xùn)練聚類(lèi)#1的模型。在該例子中，與聚類(lèi)#1的 原始人臉模型相比，聚類(lèi)#7提供了關(guān)于當(dāng)從較低角度看時(shí)這個(gè)人的臉的 更多信息，并且聚類(lèi)#8提供了關(guān)于該人臉側(cè)面像的更多信息。該附加的 信息幫助建立該人臉的更全面的模型。
在同時(shí)，被用戶(hù)找出并校正的誤報(bào)的臉部特征(用戶(hù)不需要選取所 有的誤報(bào)，而只是一個(gè)子集)在重新訓(xùn)練的過(guò)程中被不強(qiáng)調(diào)。在一些實(shí) 施例中，當(dāng)一個(gè)聚類(lèi)中多于指定數(shù)量(例如1或2)的誤報(bào)實(shí)際上包含 同一個(gè)人的臉時(shí)，聚類(lèi)處理組件16可以為這個(gè)人創(chuàng)建新的聚類(lèi)，模型 處理組件18可以通過(guò)使用一個(gè)或更多個(gè)這些誤報(bào)人臉來(lái)訓(xùn)練新的人臉 模型，來(lái)為這個(gè)聚類(lèi)創(chuàng)建新的人臉模型。
通常，圖形用戶(hù)接口允許用戶(hù)(l)如果聚類(lèi)包含多個(gè)人中每個(gè)的多 個(gè)圖像，將它分為兩個(gè)或更多個(gè)聚類(lèi)；(2)如果兩個(gè)或更多個(gè)聚類(lèi)是同 一個(gè)人的，則將它們合并；(3)將來(lái)自一些聚類(lèi)的一個(gè)或更多個(gè)圖像加 入另一個(gè)聚類(lèi)；以及(4)從聚類(lèi)中去除一個(gè)或更多個(gè)圖像。用戶(hù)通過(guò)使 用輸入設(shè)備例如計(jì)算機(jī)鼠標(biāo)點(diǎn)擊和/拖動(dòng)聚類(lèi)的縮略圖來(lái)做出上述選 擇。響應(yīng)于這些聚類(lèi)修改中的每一個(gè)，聚類(lèi)處理組件16更新聚類(lèi)規(guī)范 22,且模型處理組件18訓(xùn)練新的人臉模型或通過(guò)強(qiáng)調(diào)或不強(qiáng)調(diào)某些臉 部特征來(lái)重新訓(xùn)練現(xiàn)有的人臉模型。
在對(duì)用戶(hù)選擇的聚類(lèi)的人臉模型的首輪重新訓(xùn)練之后，根據(jù)上述任 一聚類(lèi)方法，基于調(diào)整的人臉模型和人臉識(shí)別引擎，圖像被重新分配給 各聚類(lèi)。新的聚類(lèi)結(jié)果在如圖10和11中示出的顯示器116上呈現(xiàn)。于 是，用戶(hù)可以查看該結(jié)果并提供更多反饋以改善聚類(lèi)準(zhǔn)確性。這些迭代 可以繼續(xù)，直到用戶(hù)滿(mǎn)意結(jié)果。
大部分計(jì)算，包括人臉檢測(cè)、臉部特征提取和初始匹配和聚類(lèi)，被 圖像處理系統(tǒng)IOO自動(dòng)執(zhí)行。用戶(hù)可以在執(zhí)行這些處理步驟期間不管系 統(tǒng)的工作。在涉及用戶(hù)的交互部分期間，聚類(lèi)方法所引起的計(jì)算開(kāi)銷(xiāo)很有限(例如，對(duì)人臉模型的重新訓(xùn)練及將圖片重新分配給聚類(lèi))。因此， 聚類(lèi)方法中的用戶(hù)-機(jī)器交互部分相對(duì)有效且需要相對(duì)較少的計(jì)算資源
來(lái)實(shí)現(xiàn)。
IV.結(jié)論
這里詳細(xì)描述的實(shí)施例基于在圖像中檢測(cè)到的人臉區(qū)域來(lái)聚類(lèi)圖 像。這些實(shí)施例影響建立聚類(lèi)的人臉模型的方法，該方法被期望提供更 準(zhǔn)確和更魯棒的聚類(lèi)結(jié)果。在這些實(shí)施例中的一些中，聚類(lèi)用聚類(lèi)種子 人臉區(qū)域來(lái)開(kāi)始，這些人臉區(qū)域被選擇來(lái)為建立人臉聚類(lèi)提供更準(zhǔn)確和 魯棒的基礎(chǔ)。此外， 一些實(shí)施例根據(jù)一個(gè)或更多個(gè)參數(shù)來(lái)對(duì)人臉區(qū)域分 級(jí)，所述參數(shù)被期望強(qiáng)調(diào)可能包含人臉的更多準(zhǔn)確表示的人臉區(qū)域。在 這些實(shí)施例中，人臉區(qū)域以從最高級(jí)別到最低級(jí)別的順序來(lái)聚類(lèi)，以獲 得改善的聚類(lèi)結(jié)果。在一些實(shí)施例中，用戶(hù)反饋被用來(lái)進(jìn)一步改善聚類(lèi) 結(jié)果的聚類(lèi)準(zhǔn)確性。
其它實(shí)施例在權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1. 一種方法，包括在圖像(20)中檢測(cè)人臉區(qū)域(58)；從每個(gè)人臉區(qū)域(58)提取至少一個(gè)相應(yīng)的參數(shù)值(53)；將人臉區(qū)域(58)中與滿(mǎn)足聚類(lèi)種子判定的參數(shù)值(53)關(guān)聯(lián)的那些歸類(lèi)為聚類(lèi)種子人臉區(qū)域(38)；將各聚類(lèi)種子人臉區(qū)域(38)聚類(lèi)為一個(gè)或更多個(gè)聚類(lèi)(44，48)；為每個(gè)聚類(lèi)(44，48)建立各自的人臉模型(24)；以及存儲(chǔ)人臉模型(24)。
2. 如權(quán)利要求l所述的方法，其中，所述提取包括 為每個(gè)人臉區(qū)域(58)確定一個(gè)或更多個(gè)下列參數(shù)(53)的各自的值人臉區(qū)域(58)的清晰度度量；人臉區(qū)域(58)的對(duì)比度度量；人 臉區(qū)域(58)的飽和度度量；以及人臉區(qū)域(58)的曝光度量；以及 確定表明人臉區(qū)域(58)的尺寸的相應(yīng)尺寸參數(shù)值。
3. 如權(quán)利要求l所述的方法，其中所述歸類(lèi)包括將與下列至少之一關(guān)聯(lián)的每個(gè)人臉區(qū)域(58)歸類(lèi)為 非聚類(lèi)種子人臉區(qū)域(42):不滿(mǎn)足尺寸判定的一個(gè)或更多個(gè)尺寸參數(shù) 值(53);不滿(mǎn)足亮度判定的亮度參數(shù)值(53);以及不滿(mǎn)足清晰度判 定的清晰度參數(shù)值(53);并且所述聚類(lèi)包括基于非聚類(lèi)種子人臉區(qū)域(42)和相應(yīng)的人臉模型 (24)之間的接近度度量來(lái)將非聚類(lèi)種子人臉區(qū)域(42)分配給各個(gè)聚 類(lèi)(48)。
4. 如權(quán)利要求l所述的方法，其中，所述聚類(lèi)包括(a) 用聚類(lèi)種子人臉區(qū)域(38)中的一個(gè)開(kāi)始一聚類(lèi)(48);(b) 確定每個(gè)開(kāi)始的聚類(lèi)(48)和聚類(lèi)種子人臉區(qū)域(38)中的下 一個(gè)之間的相應(yīng)的接近度度量；(c) 響應(yīng)于確定相應(yīng)的接近度度量滿(mǎn)足第一接近度判定，將該下一 個(gè)聚類(lèi)種子人臉區(qū)域(38)分配給最接近的開(kāi)始的聚類(lèi)(48);(d) 響應(yīng)于確定相應(yīng)的接近度度量滿(mǎn)足不同于第 一接近度判定的第 二接近度判定，用該下一個(gè)聚類(lèi)種子人臉區(qū)域(38 )開(kāi)始新的聚類(lèi)(48 );(e) 對(duì)所有相繼的聚類(lèi)種子人臉區(qū)域(38)重復(fù)(b)-(d)。
5. 如權(quán)利要求4所述的方法，其中，在(a)之前，聚類(lèi)包括基于為 至少一個(gè)參數(shù)(53)提取的值來(lái)對(duì)聚類(lèi)種子人臉區(qū)域(38)分級(jí)，并且 (b)包括以從最高分級(jí)到最低分級(jí)的分級(jí)順序來(lái)選擇下一個(gè)聚類(lèi)種子人 臉區(qū)域(38 )。
6. 如權(quán)利要求4所述的方法，其中(b)包括基于從聚類(lèi)的作為構(gòu)成 部分的聚類(lèi)種子人臉區(qū)域(38)提取的特征，為每個(gè)開(kāi)始的聚類(lèi)(48) 建立各自的人臉模型(24),以及確定從下一個(gè)聚類(lèi)種子人臉區(qū)域(38) 提取的特征和每個(gè)人臉模型(24)之間的相應(yīng)的接近度度量。
7. 如權(quán)利要求4所述的方法，其中在(e)之后，聚類(lèi)包括(f)將與滿(mǎn)足不同于第 一和第二接近度判定的 第三接近度判定的接近度度量關(guān)聯(lián)的未分配的聚類(lèi)種子人臉區(qū)域(38 ), 分配給最接近的開(kāi)始的聚類(lèi)(48);并且在(f)之后，對(duì)未分配給任一開(kāi)始的聚類(lèi)(48)的各聚類(lèi)種子人臉 區(qū)域(38)重復(fù)(a)-(e)。
8. 如權(quán)利要求l所述的方法，其中，所述聚類(lèi)包括自動(dòng)合并包含 不滿(mǎn)足計(jì)數(shù)閾值的相應(yīng)數(shù)量的作為構(gòu)成部分的人臉區(qū)域(58)的聚類(lèi) (44)。
9. 一種設(shè)備，包括人臉檢測(cè)處理組件(12),可操作以在圖像(20)中檢測(cè)人臉區(qū)域 (58);參數(shù)提取處理組件(14 ),可操作以從每個(gè)人臉區(qū)域(58 )提取至 少一個(gè)相應(yīng)的參數(shù)值(53);聚類(lèi)處理組件(16),可操作以將人臉區(qū)域(58)中與滿(mǎn)足聚類(lèi)種 子判定的參數(shù)值(53)關(guān)聯(lián)的那些歸類(lèi)為聚類(lèi)種子人臉區(qū)域(38)，該 聚類(lèi)處理組件(16)還可操作以將各聚類(lèi)種子人臉區(qū)域(38)聚類(lèi)為一 個(gè)或更多個(gè)聚類(lèi)(44, 48 );以及模型處理組件(18)，可操作以為每個(gè)聚類(lèi)(44, 48 )建立各自的 人臉模型(24 ),并存儲(chǔ)人臉模型(24 )。
10. —種方法，包括在圖像(20)中檢測(cè)人臉區(qū)域(58);從每個(gè)人臉區(qū)域(58)提取至少一個(gè)相應(yīng)的參數(shù)值(53); 基于提取的參數(shù)值(53)對(duì)各人臉區(qū)域(58)分級(jí)；按分級(jí)順序?qū)⒏魅四槄^(qū)域(58 )聚類(lèi)為一個(gè)或更多個(gè)聚類(lèi)(44, 48 );以及在顯示器(116)上呈現(xiàn)聚類(lèi)(44,")的表示。
全文摘要
描述了基于人臉的圖像聚類(lèi)系統(tǒng)和方法。一方面，在圖像(20)中檢測(cè)人臉區(qū)域(58)。至少一個(gè)相應(yīng)的參數(shù)值(53)從每個(gè)人臉區(qū)域(58)中提取。人臉區(qū)域(58)中與滿(mǎn)足聚類(lèi)種子判定的參數(shù)值(53)關(guān)聯(lián)的那些被歸類(lèi)為聚類(lèi)種子人臉區(qū)域(38)。聚類(lèi)種子人臉區(qū)域(38)被聚類(lèi)為一個(gè)或更多個(gè)聚類(lèi)(44，48)。為每個(gè)聚類(lèi)(44，48)建立各自的人臉模型(24)。人臉模型(24)被存儲(chǔ)。另一方面，在圖像(20)中檢測(cè)人臉區(qū)域(58)。至少一個(gè)相應(yīng)的參數(shù)值(53)從每個(gè)人臉區(qū)域(58)提取?；谔崛〉膮?shù)值(53)來(lái)對(duì)人臉區(qū)域(58)分級(jí)。按分級(jí)順序?qū)⒏魅四槄^(qū)域(58)聚類(lèi)為一個(gè)或更多個(gè)聚類(lèi)(44，48)。聚類(lèi)(44，48)的表示在顯示器(116)上呈現(xiàn)。
文檔編號(hào)G06K9/00GK101523412SQ200780038102
公開(kāi)日2009年9月2日 申請(qǐng)日期2007年10月11日 優(yōu)先權(quán)日2006年10月11日
發(fā)明者T·張 申請(qǐng)人:惠普開(kāi)發(fā)有限公司