專利名稱：一種用于采集人臉圖像的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)視覺領(lǐng)域，更具體地涉及一種用于采集人臉圖像的方法和系 統(tǒng)。
背景技術(shù)：
計算機(jī)視覺是計算機(jī)科學(xué)中的一個重要研究領(lǐng)域，其目的是采用計算機(jī)來模擬人 類的視覺系統(tǒng)。人臉檢測技術(shù)和人臉識別技術(shù)是計算機(jī)視覺領(lǐng)域中兩個重要的分支。人臉 檢測技術(shù)主要目的是從一幅圖像中定位出面孔，即確定該圖像中是否存在人臉的成像區(qū)域 并從該圖像中定位出的人臉區(qū)域或人臉圖像。而人臉識別技術(shù)的主要目的則在于識別出這 些面孔是誰，即，將這些已定位出來的人臉圖像同人的標(biāo)識(ID)聯(lián)系起來，以確定與人臉 圖像對應(yīng)的人的身份。人臉檢測技術(shù)有著廣泛的應(yīng)用，其中最重要一種應(yīng)用是為人臉識別技術(shù)提供人臉 圖像的輸入。隨著技術(shù)的進(jìn)步，人臉檢測技術(shù)日臻成熟。特別是對水平、垂直以及深度轉(zhuǎn)角 低于例如15度的準(zhǔn)正面人臉的檢測技術(shù)，其穩(wěn)定性和效率目前已經(jīng)非常高，并在工業(yè)領(lǐng)域 得到了廣泛的應(yīng)用。在現(xiàn)有技術(shù)中，人臉檢測研發(fā)出了的多種技術(shù)。其中，準(zhǔn)正面人臉檢測的經(jīng)典算法 是P. Viola和M. Jones于2001年7月在加拿大溫哥華舉行的第八屆國際計算機(jī)視覺大會上 發(fā)表的“魯棒實時對象檢測(Robust Real Time Object Detection) ”一文中提出的。該算 法基于Harr-Iike特征來描述人臉，并利用Adboost算法選擇最能代表人臉的矩形特征，從 而形成弱分類器。然后，利用加權(quán)投票的方式將這些弱分類器串聯(lián)成一個級聯(lián)分類器。之 后，使用這個級聯(lián)分類器，遍歷圖像中的每個位置，以在多種尺度上判斷每個位置上的矩形 區(qū)域是否是人臉區(qū)域。最后將重疊的人臉候選區(qū)域合并。此外，微軟亞洲研究院的李子清研究員在2004年9月的IEEE模式分析與機(jī)器智 能匯刊中的"FloatBoost 學(xué)習(xí)和統(tǒng)計人臉檢測(FloatBoost Learning and Statistical Face Detection)” 一文中提出了一種基于FloatBoost的人臉檢測算法。該算法通過利用 FloatBoost方法將通過學(xué)習(xí)得到的弱分類器構(gòu)造成一個強(qiáng)分類器。從而由該強(qiáng)分類器構(gòu)成 一個從粗到精、從簡單到復(fù)雜的金字塔型的人臉檢測系統(tǒng)。具體地，在該多視角的人臉檢測 技術(shù)方案中，人臉圖像檢測被分為3個級別。在第一級別，分類器檢測-90度到90度之間 的人臉；在第二級別，分類器在第一級別的基礎(chǔ)上將人臉細(xì)化為3個視角組，每組人臉角度 區(qū)間為60度，分別在每個視角組進(jìn)行人臉檢測；在第三級別，每組人間角度區(qū)間被進(jìn)一步 細(xì)化為9個人臉組，每個人臉組角度區(qū)間為20度。該方法試圖通過這樣的3級檢測來有效 地檢測不同視角的人臉。此外，還出現(xiàn)了多相機(jī)的人臉檢測技術(shù)。美國伊力諾依大學(xué)的張震球等人利用多 個相機(jī)采集智能(Smart)房間中的人物圖像，并利用時空關(guān)系來檢測人臉。根據(jù)該人臉檢 測技術(shù)，首先利用分布在房間中相機(jī)來分別采集一個場景中的圖像。采集到的圖像被送到 一個單相機(jī)多視角人臉檢測算法模塊中，以便檢測人臉區(qū)域。然后，根據(jù)檢測到的人臉區(qū)
5域在多個相機(jī)中的時間信息，通過人臉跟蹤的方法確定最終檢測到的人臉。具體地，根據(jù) 不同相機(jī)之間的投影關(guān)系，確定人臉圖像在不同相機(jī)中的候選位置。由于人臉的深度不 同，所以同一人的不同人臉圖像可能對應(yīng)多個位置的假設(shè)。同時，該方法將圖像的區(qū)域顏 色相似性與對多幅圖像中人臉的跟蹤相結(jié)合，以試圖能夠有效地找到跟蹤的人臉，從而將 在多個相機(jī)中的軌跡和顏色均能夠保持一致的人臉確認(rèn)出來。關(guān)于該多相機(jī)的人臉檢測 技術(shù)，請參考張震球等人于2006年的第7屆國際自動人臉、姿態(tài)識別國際大會上發(fā)表的 “使用空時動態(tài)編程在智能房間內(nèi)的多視角、多相機(jī)的魯棒人臉檢測(Robust Multi-View Multi-Camera Face Detectioninside Smart Rooms Using Spatio-Temporal Dynamic Programming)，，一文。需要說明的是，上述現(xiàn)有技術(shù)中的方法在一定程度上能夠較為有效的檢測出人 臉，但是這些算法過于繁瑣和復(fù)雜，而且計算量很大。另外，盡管在工業(yè)領(lǐng)域人臉識別技術(shù) 得到了較為廣泛的應(yīng)用，但在實際應(yīng)用中，對于人臉檢測存在著一些限制，尤其是對于人臉 的姿態(tài)有一定的要求。例如，在用相機(jī)獲取人臉圖像的過程要求被檢測的用戶配合，并且人 臉的轉(zhuǎn)角不能太大等。出現(xiàn)上述限制的主要原因?qū)⒕o接著在下文中進(jìn)行描述。眾所周知，人臉是一個3維物體，而圖像上的人臉圖像則是一個2維物體。因此， 人臉圖像是從3維物體到2維平面成像的結(jié)果。當(dāng)人臉相對于相機(jī)呈現(xiàn)不同的朝向時，形 成的2維人臉圖像就會發(fā)生變化。這就造成了即使是同一個人的人臉圖像也會因為姿態(tài) 的不同而顯著不同。換句話講，人臉圖像通常按照同一個人來聚類(即同一人的所有人臉 圖像具有相似性，因此可以形成對應(yīng)于每個人臉的人臉圖像類)，而在姿態(tài)差別過大的情況 下，其聚類性不是很好。因此，人臉姿態(tài)在一定范圍內(nèi)的準(zhǔn)正面人臉圖像可以具有較好的聚 類性，而且其檢測精度也高于其他視角的人臉檢測精度。人臉采集技術(shù)是人臉檢測的一項應(yīng)用技術(shù)，其用相機(jī)實時采集并檢測人臉圖像， 并將檢測到的人臉圖像輸出。人臉采集的核心技術(shù)就是人臉檢測，因其目的就是要將姿態(tài) 各異的人臉圖像從紛繁復(fù)雜的背景圖像中區(qū)分出來。因此在人臉采集中，與人臉的姿態(tài)相 關(guān)的問題不可避免。在一些場合中，諸如門禁應(yīng)用等，可以要求用戶的面孔朝向相機(jī)，或者將系統(tǒng)設(shè)計 成使用戶的面孔朝向相機(jī)，從而比較容易地采集到準(zhǔn)正面人臉圖像。然而，在另一些場合 中，諸如公共場所，要求人臉面對相機(jī)就很不現(xiàn)實，因而，這種情況下人臉就會擁有各種各 樣的姿態(tài)。這樣，人臉檢測的精度必然會下降，造成了人臉采集的困難。因此，在現(xiàn)有技術(shù)中需要一種針對各種姿態(tài)來方便且高效地采集人臉圖像的技 術(shù)。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提供了一種用于采集人臉圖像的改進(jìn)技術(shù)，用于針對各種姿態(tài) 方便而且高效地采集人臉圖像。根據(jù)本發(fā)明的一個方面，提供了一種用于采集人臉圖像的方法。該方法可以包括 以下步驟同時以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像；從所述多幅目標(biāo)區(qū)域 圖像中檢測多個人臉區(qū)域，以得到多幅人臉圖像；根據(jù)所述多幅人臉圖像之間的多個靜態(tài) 線索，對所述多幅人臉圖像執(zhí)行人臉匹配，以形成每個人臉的人臉圖像類。
在根據(jù)本發(fā)明的一個實施方式中，所述多個靜態(tài)線索可以包括度量性線索，該度 量性線索包括多個相似性度量，以及所述執(zhí)行人臉匹配可以進(jìn)一步包括針對屬于不同目 標(biāo)區(qū)域圖像的兩幅人臉圖像，計算其間的所述多個相似性度量；基于所述多個相似性度量， 計算綜合相似性度量；以及基于所述綜合相似性度量，確定所述兩幅人臉圖像是否匹配。在根據(jù)本發(fā)明的另一實施方式中，所述確定所述兩幅人臉圖像是否匹配可以包括 通過比較所述綜合相似性度量和預(yù)定的度量閾值來確定所述兩幅人臉圖像是否匹配。在根據(jù)本發(fā)明的又一實施方式中，所述執(zhí)行人臉匹配可以進(jìn)一步包括計算一幅目 標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每幅人臉圖像之間的各個綜合相似性 度量；確定所述各個綜合相似性度量中的最大綜合相似性度量；以及將與該最大綜合相似 性度量相關(guān)的兩幅人臉圖像確定為匹配。在根據(jù)本發(fā)明的再一實施方式中，所述綜合相似性度量可以是所述多個相似性度 量的加權(quán)和。在根據(jù)本發(fā)明的另一實施方式中，所述多個相似性度量包括以下之中的兩個或更 多位置相似性度量；顏色相似性度量；以及人臉相似性度量。在根據(jù)本發(fā)明的又一實施方式中，所述多個靜態(tài)線索可以包括度量性線索和非度 量性線索，其中該度量性線索包括人臉圖像之間的相似性度量，該非度量性線索包括空間 關(guān)系線索，所述執(zhí)行人臉匹配可以包括利用動態(tài)規(guī)劃方法，確定同時以不同視角獲取的兩 幅目標(biāo)區(qū)域圖像中多幅人臉圖像之間關(guān)于所述相似性度量的最大整體度量，以考慮所述空 間關(guān)系線索，其中所述空間關(guān)系線索表現(xiàn)為與所述最大整體度量對應(yīng)的路徑；基于所述路 徑，確定所述兩幅目標(biāo)區(qū)域圖像中多幅人臉圖像之間的匹配關(guān)系。在根據(jù)本發(fā)明的再一實施方式中，所述相似性度量可以包括以下其中至少一個 位置相似性度量；顏色相似性度量；人臉相似性度量；以及綜合相似性度量，其是基于位置 相似性度量、顏色相似性度量和人臉相似性度量其中至少兩個的綜合度量。在根據(jù)本發(fā)明的又一實施方式中，所述方法還包括根據(jù)應(yīng)用需求，從所述人臉圖 像類中選取人臉圖像作為輸出。此外，本發(fā)明還提供了一種用于采集人臉圖像的系統(tǒng)。根據(jù)本發(fā)明的系統(tǒng)可以包 括圖像獲取裝置，用于同時以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像；人臉檢測 裝置，用于從該多幅目標(biāo)區(qū)域圖像中檢測多個人臉區(qū)域，以得到多幅人臉圖像；人臉匹配裝 置，用于根據(jù)所述多幅人臉圖像之間的多個靜態(tài)線索，對所述多幅人臉圖像執(zhí)行人臉匹配， 以形成每個人臉的人臉圖像類。根據(jù)本發(fā)明，可以獲取相同時刻的多幅目標(biāo)區(qū)域圖像，并可以采用簡單而高效的 方法對該多幅目標(biāo)區(qū)域圖像中的人臉圖像進(jìn)行匹配，從而形成對應(yīng)于每個人臉的人臉圖像 類，因此，即使在沒有用戶配合的情況下，也可以為諸如人臉識別等后續(xù)應(yīng)用提供更加有效 的人臉圖像輸入。


通過對結(jié)合附圖所示出的實施方式進(jìn)行詳細(xì)說明，本發(fā)明的上述以及其他特征將 更加明顯，本發(fā)明附圖中相同的標(biāo)號表示相同或相似的部件。在附圖中，圖1示出了根據(jù)本發(fā)明的一個實施方式的用于采集人臉圖像的方法的流程圖2示出了根據(jù)本發(fā)明的一個實施方式的用于對人臉圖像執(zhí)行匹配的方法的流 程圖；圖3示出了根據(jù)本發(fā)明的另一實施方式的用于對人臉圖像執(zhí)行匹配的方法的流 程圖；圖4示出了根據(jù)本發(fā)明的再一實施方式的用于對人臉圖像執(zhí)行匹配的方法的流 程圖；圖如和圖恥示出了用于說明基于對應(yīng)于最大整體相似性度量的路徑進(jìn)行匹配的 示意圖；圖6示出了根據(jù)本發(fā)明的一個實施方式的用于采集人臉圖像的系統(tǒng)的方框圖；圖7示出了根據(jù)本發(fā)明的另一實施方式的用于采集人臉圖像的系統(tǒng)的方框圖；以 及圖8示出了根據(jù)本發(fā)明的再一實施方式的用于采集人臉圖像的系統(tǒng)的方框圖。
具體實施例方式在下文中，將參考附圖通過實施方式對本發(fā)明提供用于采集人臉圖像的方法和系 統(tǒng)進(jìn)行詳細(xì)的描述。首先參考圖1，圖1示出了根據(jù)本發(fā)明的一個實施方式的用于采集人臉圖像的方 法的流程圖。如圖1所示，在步驟101，同時以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像。根據(jù)本發(fā)明的實施方式，在目標(biāo)區(qū)域周圍的多個適當(dāng)位置布置多個相機(jī)，這多個 相機(jī)相互配合同時從不同視角拍攝與該目標(biāo)區(qū)域相關(guān)的多幅目標(biāo)區(qū)域圖像。接著，在步驟102，從多幅目標(biāo)區(qū)域圖像中檢測多個人臉區(qū)域，以得到多幅人臉圖像。在拍攝了與目標(biāo)區(qū)域相關(guān)的多幅目標(biāo)區(qū)域圖像后，可以依據(jù)現(xiàn)有技術(shù)中的人臉檢 測算法，來得到圖像中的人臉區(qū)域。從而，可以得到這多幅目標(biāo)區(qū)域圖像中每一幅圖像所包 含的人臉圖像，形成與每幅圖像對應(yīng)的人臉圖像集合。隨后，在步驟103，根據(jù)所述多幅人臉圖像之間的多個靜態(tài)線索，對所述多幅人臉 圖像執(zhí)行人臉匹配，以形成每個人臉的人臉圖像類。根據(jù)本發(fā)明的一個實施方式，可以首先從不同視角的兩幅目標(biāo)區(qū)域圖像的兩個人 臉圖像集合中分別選取人臉圖像進(jìn)行匹配。下面將參考圖2來描述根據(jù)該實施方式執(zhí)行人 臉匹配的方法。圖2示出了根據(jù)本發(fā)明的一個實施方式對人臉圖像進(jìn)行匹配的方法。在該 實施方式中，靜態(tài)線索可以包括度量性線索。度量性線索是指可以度量的線索，例如可以包 括多個相似性度量。參考圖2，首先在步驟201，針對屬于不同目標(biāo)區(qū)域圖像的兩幅人臉圖像，計算其 間的所述多個相似性度量。多個相似性度量可以包括例如位置相似性度量、顏色相似性度量以及人臉相似性度量。其中位置相似性度量是基于以下考慮。在某一幅圖像中的某一位置出現(xiàn)的圖像將會在另一視角不同的圖像中的相應(yīng)位置出現(xiàn)。換句話講，人臉圖像在第一圖像中的位置與 其在視角不同的第二圖像中的位置之間存在規(guī)律性。因此，位置相似性可以用來確定兩幅 人臉圖像是否是同一個人臉的圖像。位置相似性度量的計算可以利用計算機(jī)視覺領(lǐng)域公知的對極幾何來推導(dǎo)。對極幾 何是用于在兩幅目標(biāo)區(qū)域圖像上建立對應(yīng)點的幾何模型，根據(jù)對極幾何，如果分別由兩個 相機(jī)拍攝的兩幅人臉圖像中的任意一對點X和X’是對應(yīng)點，則基本矩陣F滿足χ，tFx = 0(1)其中，χ’ τ為X’的轉(zhuǎn)置；基本矩陣F為拍攝上述兩幅人臉圖像的兩個相機(jī)之間的 基本矩陣。該基本矩陣的計算是本領(lǐng)域公知的，因此為了清楚起見，此處不再贅述。因而，如果兩幅人臉圖像對應(yīng)于同一個人，則人臉圖像上的對應(yīng)的像素點也滿足 公式(1)。通過人臉檢測得到的人臉圖像通常大致是矩形區(qū)域，而要確定這兩幅人臉圖像中 點與點之間的對應(yīng)并不容易。因此，需要從人臉矩形導(dǎo)出人臉的位置點，例如選取鼻子位置 的點，兩個眼睛中心點，人臉區(qū)域中心點。為了簡單起見，例如可以選取人臉區(qū)域中的中心 位置處的點，利用上述公式(1)來得到位置相似性度量。在下面給出了位置相似度計算的 一個示例性公式。
Pos(i, j) = f； if X'2!J<Tp⑵
0其他其中，Pos(i, j)為人臉圖像i和人臉圖像j的位置相似性度量；Tp是預(yù)定義的接 近于零的閾值；以及F為兩個相機(jī)之間的基本矩陣；i，j是人臉圖像的索引。顏色相似性是指人的身體部位的顏色的相似性。在確定的人體區(qū)域中，除了人臉 以外通常會包括人的身體部位，而身體部位的顏色，例如服裝的顏色，對于同一個人通常是 一樣的，換句話講，兩幅圖像中的衣著顏色不同的人通常不是同一個人?；谶@個考慮，可 以將對顏色相似性作為確定兩幅人臉圖像是否匹配的因素。顏色相似性度量可以基于圖像中人體區(qū)域的顏色來計算，例如衣服的顏色。人體 區(qū)域的定位可以采用多種方式來實現(xiàn)。例如，可以利用背景建模技術(shù)獲得前景圖像，然后根 據(jù)人臉位置直接得到身體區(qū)域。此外，也可以基于簡單的算法來估算身體區(qū)域。例如可以采 用預(yù)定義的人體模板來估算人臉圖像中的身體區(qū)域。得到身體區(qū)域后，抽取該區(qū)域的顏色 直方圖，根據(jù)顏色直方圖的相似性就可以得到顏色的相似性度量。例如，可以采用HSV(色 度、飽和度和亮度)空間的顏色直方圖的交來計算顏色相似性。艮口，Col(i, j) = Σ ^inCHi (k), Hj (k))( 3 )
k其中，Col(i，j)為人臉圖像i和人臉圖像j的顏色相似性度量；Hi(k)和H」(k)是 與人臉圖像i和人臉圖像j對應(yīng)的歸一化的直方圖；i，j是人臉圖像的索引；k是直方圖塊 的索引。人臉相似性是人臉識別領(lǐng)域常用的度量。已知的是，相同人的不同人臉圖像必定 存在一定的相似性，例如在準(zhǔn)正面人臉檢測中，僅憑人臉相似性這一個度量就可以取得較 好的匹配效果。因此毫無疑問可以將人臉相似性作為確定兩幅人臉圖像是否匹配的因素。人臉相似性度量可以采用現(xiàn)有技術(shù)中的人臉識別相關(guān)技術(shù)利用特征矢量的距離來實現(xiàn)。人臉的特征例如可以采用PCA(主成分分析)特征或LDA(線性判別分析)特征。 人臉相似性度量可以定義為該特征矢量之差的范數(shù)Fa (i, j) = Il V(i)-V(j) ||(4)其中h(i，j)為人臉圖像i和人臉圖像j的人臉相似性度量；V⑴和V(j)是人 臉圖像的特征矢量；以及i，j是人臉圖像的索引。這樣，就得到了兩幅人臉圖像之間的多個相似性度量。繼續(xù)參考圖2，接著，在步驟202，基于所述多個相似性度量，計算綜合相似性度量。根據(jù)本發(fā)明，綜合相似性度量是對包括例如位置相似性度量、顏色相似性度量和 人臉相似性度量的上述多個相似性度量的綜合度量。例如，該綜合相似性度量可以是所述 多個相似性度量的加權(quán)和。然而需要說明的是，這僅僅是示例性的；本領(lǐng)域技術(shù)人員應(yīng)該明 白的是，也可以采用本領(lǐng)域技術(shù)人員能夠想到的其他綜合上述多個相似性因素的方式來得 到該綜合相似性度量。在采用加權(quán)和的實施方式中，人臉圖像i和人臉圖像j的綜合相似性量S(i，j)可 以根據(jù)下式得出S(i, j) = W1Posd j)+W2Col (i，j)+w3Fa(i, j)(5)其中i和j為人臉圖像的索引；S(i，j)為人臉圖像i和人臉圖像j之間的綜合相似性度量；Pos(i, j)為人臉圖像i和人臉圖像j之間的位置相似性度量；Col (i，j)為人臉圖像i和人臉圖像j之間的顏色相似性度量；以及Fa(i, j)為人臉圖像i和人臉圖像j之間的人臉相似性度量；以及wl、w2和w3分別為位置相似性度量Pos(i，j)、顏色相似性度量Col (i，j)和人臉相似性度量i^(i，j)的權(quán)重因子。需要說明的是，不同的應(yīng)用場景下每種相似性的重要性可能不同，因此可以根據(jù) 應(yīng)用場景來設(shè)置每種相似性的權(quán)重，以便得到較好的匹配結(jié)果。顏色相似性度量、位置相似性度量和人臉相似性度量例如可以根據(jù)上面示出的公 式(2)至(4)分別計算得到，然后就可以例如按照公式(5)計算出兩幅人臉圖像的綜合相 似性度量。接著，在步驟203，可以根據(jù)該綜合相似度量來確定這兩幅人臉圖像是否匹配。在根據(jù)本發(fā)明的一個實施方式中，如果綜合相似性度量高于預(yù)定度量閾值，則認(rèn) 為兩幅人臉圖像匹配，例如，可以為其打上匹配的標(biāo)記。上述匹配的步驟可以針對所有目標(biāo)區(qū)域圖像中的所有人臉圖像執(zhí)行。在對所有的 目標(biāo)區(qū)域圖像中的所有人臉圖像執(zhí)行了匹配后，可以根據(jù)匹配標(biāo)記將對應(yīng)于相同人臉的人 臉圖像合并，以形成針對每個人臉的人臉圖像類。需要說明的是，在有些情況下，有些相似性度量可能是無法獲得。例如，當(dāng)?shù)玫絻?幅人臉圖像其中一幅或者兩幅除人臉以外不存其他身體區(qū)域時，這時色彩相似度可能為0。
10在這種情況下，得到的綜合度量值可能較小，如果仍基于該綜合相似性度量和預(yù)定度量閾 值來確定是否匹配，就可能存在錯誤地將匹配的人臉圖像確定不匹配的情況。在上述情況下，可以根據(jù)哪些相似性度量可用來對綜合相似性度值進(jìn)行歸一化。 或者可以針對所采用的相似度的不同設(shè)定不同的閾值。另外，發(fā)明人在實際研究中也注意到，對于由兩個相機(jī)拍攝的兩幅人臉圖像，如果 這兩幅人臉圖像匹配，則其綜合相似性度量應(yīng)與將其中任一個與其他人臉圖像的綜合相似
性度量高。因此，在本發(fā)明的又一實施方式中，采用了通過確定最大相似性度量來執(zhí)行匹配 的方式。接下來，將參考圖3來描述該方法，其中圖3示出了根據(jù)該實施方式中的用于對人 臉圖像執(zhí)行匹配的方法。如圖3所示，首先在步驟301計算一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo) 區(qū)域圖像的每幅人臉圖像之間的各個綜合相似性度量?？梢赃x取任意兩個相機(jī)拍攝的兩個目標(biāo)區(qū)域圖像。假設(shè)其中一個目標(biāo)區(qū)域圖像包 括的人臉圖像形成人臉圖像集合Sm，其中Sm包括M幅人臉圖像；而另一目標(biāo)區(qū)域圖像包括 的人臉圖像形成人臉圖像集合Sn，其中Sn包括N幅人臉圖像。具體地，針對人臉圖像集合Sm中的任一幅人臉圖像i(i = 1至Μ)和人臉圖像集 合Sn中的每幅人臉圖像j(j = 1至N)，例如按照公式(5)來計算綜合相似性度量。特別 地，可以首先針對一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每個幅人臉圖 像，按照公式( 至(4)中任何一項計算得到相應(yīng)的顏色相似性度量、位置相似性度量和人 臉相似性度量；然后例如按照公式( 計算得到各個綜合相似性度量。接著，如圖3所示，在步驟302確定所述各個綜合相似性度量中的最大綜合相似性 度量。得到了一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每幅人臉圖像 之間的各個綜合相似性度量后，可以通過比較或通過現(xiàn)有技術(shù)中公知的尋找最大值的各種 算法來找到最大綜合相似性度量。然后，在步驟303，將與該最大綜合相似性度量相關(guān)的兩幅人臉圖像確定為匹配。需要說明的是，如果該最大綜合相似性度量中的一幅人臉圖像已經(jīng)被標(biāo)記為匹 配，則可以將次最大綜合相似性度量相關(guān)的兩幅人臉圖像確定為匹配。另外，為了節(jié)省計算 資源，也可以僅計算人臉圖像i與人臉圖像集合Sn中未經(jīng)過匹配標(biāo)記的人臉圖像的綜合相 似性度量。這樣就可以直接將與找到的最大綜合相似性度量相關(guān)的人臉圖像標(biāo)記為匹配?？梢葬槍γ糠繕?biāo)區(qū)域圖像中的每幅人臉圖像執(zhí)行上述匹配的步驟。在完成對所 有人臉圖像的上述匹配操作之后，可以根據(jù)匹配標(biāo)記將與同一人臉對應(yīng)的人臉圖像合并， 以形成針對每個人臉的人臉圖像類。在進(jìn)一步的實施方式中，根據(jù)圖1所述的用于采集人臉圖像的方法還可以包括根 據(jù)應(yīng)用需求，從所述人臉圖像類中選取人臉圖像作為輸出的步驟。人臉采集是用于為例如 人臉識別的應(yīng)用提供輸入的一種技術(shù)，因此，人臉選擇是一個根據(jù)應(yīng)用來確定的步驟，不同 的應(yīng)用對人臉采集輸出的人臉圖像有不同的要求。輸出的人臉圖像可能是一個人臉輸出一 幅人臉圖像，也可能是若干幅人臉圖像。另外，也可以基于不同的規(guī)則來選擇人臉圖像，比 如可以根據(jù)圖像的清晰度，人臉的眼睛檢測的結(jié)果，人臉的姿態(tài)等。
11
關(guān)于圖像清晰度的確定例如可以參考R.Liu，Z.Li以及J. Jia等人在2008年6月 的IEEE計算機(jī)視覺和模式識別匯刊中發(fā)表的“圖像局部模糊檢測和分類(Image Partial Blur Detection and Classification) ” 一文中公開的技術(shù)方案。人臉的眼睛檢測例如 可以參考C. Kim, M. Turk, C. H. Choi在2008年9月的第8屆國際自動人臉、姿態(tài)識別國際 大會匯刊中發(fā)表的“用于人眼檢測的使用復(fù)合矢量的偏鑒別分析(Biased Discriminant Analysis Using Composite Vectors for Eye Detection) ” 巾白勺@^力胃。入Ii白勺 姿態(tài)檢測例如可以參考V. Pathangay, S. Das, T. Greiner等人在2008年9月的第8屆國際 自動人臉、姿態(tài)識別國際大會匯刊中發(fā)表的“基于對稱性的單個未校準(zhǔn)視角的人臉姿態(tài)評 估(Symmetry-based face pose estimation from a single uncalibrated view)，，中公 開的技術(shù)方案。需要說明的是，在上面給出的實施方式中，以位置相似性度量、顏色相似性度量和 人臉相似性度量為例對本發(fā)明的用于采集人臉圖像的方法進(jìn)行了描述，實際上，其他可以 獲得的靜態(tài)線索同樣可以應(yīng)用于本發(fā)明。此外，本發(fā)明也可以基于上述給出的三個示例性 的相似性度量中的兩個來計算綜合相似性度量。這都屬于本發(fā)明的范圍。另外，需要說明的是，在上面的實施方式中，描述了在形成人臉圖像類后根據(jù)應(yīng)用 需求選取人臉圖像作為輸出的實施方式。然而，需要說明的是，這并非是必須的。在根據(jù)本 發(fā)明的其他實施方式中，形成的人臉圖像類可以存儲在存儲器中。而由后續(xù)的人臉識別模 塊或者應(yīng)用根據(jù)其自身需要從該存儲器中選取其所需的人臉圖像。在上述描述中，描述了基于度量性線索執(zhí)行人臉匹配的實施方式。但本發(fā)明并不 局限于此，在本發(fā)明的另一實施方式中，還可以基于非度量性線索來執(zhí)行人臉匹配，其中非 度量性線索是相對于度量性線索而言，是指不能直接度量的線索。例如，還可以在確定兩幅 目標(biāo)區(qū)域圖像的匹配關(guān)系時，考慮兩幅目標(biāo)區(qū)域圖像之間的空間關(guān)系。本發(fā)明人注意到，在不同相機(jī)采集的圖像中，檢測到的人臉圖像存在一個固有的 空間關(guān)系，也可稱為左右關(guān)系。例如，在被觀測物體同一側(cè)的相機(jī)所采集的圖像中，與各個 物體對應(yīng)的圖像均保持相同的左右關(guān)系。相反，在被觀測物體不同側(cè)的相機(jī)所在采集的圖 像中，與各個物體對應(yīng)的圖像的左右關(guān)系是相反的。如果在匹配人臉圖像時可以考慮到這 種固有的左右關(guān)系，則人臉匹配的精度可以得到進(jìn)一步提高。基于存在上述人臉圖像之間的空間關(guān)系的事實，可以確定的是，對任意兩個相機(jī) 的拍攝到的目標(biāo)區(qū)域圖像中的人臉圖像而言，如果對應(yīng)的人臉都被正確匹配，則所有被確 定為匹配的人臉圖像的相似度量之和(即整體的相似性度量)會達(dá)到最大。換句話講，空 間關(guān)系可以表現(xiàn)為與最大整體相似性度量對應(yīng)的路徑(即最優(yōu)路徑)。因此，可以通過找出 最大的整體相似性度量來以隱含的方式在執(zhí)行人臉圖像匹配是考慮空間關(guān)系因素。接下參考圖4，圖4示出了根據(jù)本發(fā)明的該實施方式用于對人臉圖像執(zhí)行所述匹 配的方法。在該實施方式中，多個靜態(tài)線索可以包括度量性線索和非度量性線索。度量性線 索可以包括例如人臉圖像之間的相似性度量。非度量性線索可以包括例如空間關(guān)系線索。參考圖4，首先在步驟401，利用動態(tài)規(guī)劃方法，確定同時以不同視角獲取的兩幅 目標(biāo)區(qū)域圖像中多幅人臉圖像之間關(guān)于所述相似性度量的最大整體度量，以考慮所述空間 關(guān)系線索，其中所述空間關(guān)系線索表現(xiàn)為與所述最大整體度量對應(yīng)的路徑。兩幅目標(biāo)區(qū)域圖像中多幅人臉圖像之間關(guān)于所述相似性度量的最大整體度量，即最大整體相似性度量，可以通過現(xiàn)有技術(shù)中已知的動態(tài)規(guī)劃方法來確定。關(guān)于這一點，本 領(lǐng)域技術(shù)人員例如可以參考2002年4月至6月的國際計算機(jī)視覺雜志中由D. Scharstein and R. Szeliski.發(fā)表的“對密集的兩幀立體照片對應(yīng)性算法的分類和評估(A taxonomy and evaluation of dense two-frame stereo correspondence algorithms)”一文。為了 清楚起見，關(guān)于利用現(xiàn)有技術(shù)的動態(tài)規(guī)劃方法執(zhí)行最大整體相似性度量確定的步驟，此處 不再贅述。接著，在步驟402，基于與所述最大整體相似性度量對應(yīng)的路徑，確定所述兩幅目 標(biāo)區(qū)域圖像中多幅人臉圖像之間的匹配關(guān)系。圖fe示例性地示出了與利用動態(tài)規(guī)劃方法確定的最大整體相似性度量對應(yīng)的路 徑。如圖fe所示，X軸的坐標(biāo)例如表示一幅目標(biāo)區(qū)域圖像的人臉集合Sm的人臉圖像的索 引，Y軸例如表示另一幅目標(biāo)區(qū)域圖像的人臉集合Sn的人臉圖像的索引。其中從原點(0，0)曲折延伸至點(x，y)的線路即為與該最大整體相似性度量對應(yīng) 的路徑。圖恥示出了圖所示坐標(biāo)系統(tǒng)中的一個單元格。如圖恥所示，其中，如果對應(yīng) 的路徑沿著由正方形表示的單元格的水平實線邊行進(jìn)，則表示人臉圖像集合Sm中的人臉 圖像i在人臉圖像集合Sn中沒有匹配的人臉圖像，即人臉圖像i無匹配的人臉圖像。如果 對應(yīng)的路徑沿著由正方形表示的單元格的垂直實線邊行進(jìn)，則表示人臉圖像集合Sn中的 人臉圖像j在人臉圖像集合Sm中沒有匹配的人臉圖像，即人臉圖像j無匹配的人臉圖像。 而如果對應(yīng)的路徑沿著由正方形表示的單元格的對角線行進(jìn)，則表示Sm中的人臉圖像i與 Sn中的人臉圖像j匹配。例如圖fe中示出的對應(yīng)路徑中，人臉圖像集合Sm中的人臉圖像1、3、4、5、7、8、10 和11分別與人臉圖像集合Sn中的人臉圖像1、2、4、5、7、8、9和10匹配，而Sm中的人臉圖 像2、6和9在人臉集合Sn中沒有與之相匹配的人臉圖像，Sn中的人臉圖像3和6在人臉 圖像集合Sm中也沒有與之匹配的人臉圖像。計算最大整體相似性度量所基于的相似性度量可以是由下式給出的相似性度 量
權(quán)利要求
1.一種用于采集人臉圖像的方法，包括同時以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像； 從所述多幅目標(biāo)區(qū)域圖像中檢測多個人臉區(qū)域，以得到多幅人臉圖像；以及 根據(jù)所述多幅人臉圖像之間的多個靜態(tài)線索，對所述多幅人臉圖像執(zhí)行人臉匹配，以 形成每個人臉的人臉圖像類。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述多個靜態(tài)線索包括度量性線索，該度量性線 索包括多個相似性度量，以及所述執(zhí)行人臉匹配進(jìn)一步包括針對屬于不同目標(biāo)區(qū)域圖像的兩幅人臉圖像，計算其間的所述多個相似性度量； 基于所述多個相似性度量，計算綜合相似性度量；以及 基于所述綜合相似性度量，確定所述兩幅人臉圖像是否匹配。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述確定所述兩幅人臉圖像是否匹配進(jìn)一步包 括通過比較所述綜合相似性度量和預(yù)定的度量閾值來確定所述兩幅人臉圖像是否匹配。
4.根據(jù)權(quán)利要求2所述的方法，其中，所述執(zhí)行人臉匹配進(jìn)一步包括計算一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每幅人臉圖像之間的 各個綜合相似性度量；確定所述各個綜合相似性度量中的最大綜合相似性度量；以及 將與該最大綜合相似性度量相關(guān)的兩幅人臉圖像確定為匹配。
5.根據(jù)權(quán)利要求2所述的方法，其中，所述綜合相似性度量是所述多個相似性度量的 加權(quán)和。
6.根據(jù)權(quán)利要求2-5任一項所述的方法，其中，所述多個相似性度量包括以下之中的 兩個或更多位置相似性度量； 顏色相似性度量；以及 人臉相似性度量。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述多個靜態(tài)線索包括度量性線索和非度量性 線索，其中該度量性線索包括人臉圖像之間的相似性度量，該非度量性線索包括空間關(guān)系 線索，所述執(zhí)行人臉匹配進(jìn)一步包括利用動態(tài)規(guī)劃方法，確定同時以不同視角獲取的兩幅目標(biāo)區(qū)域圖像中多幅人臉圖像之 間關(guān)于所述相似性度量的最大整體度量，以考慮所述空間關(guān)系線索，其中所述空間關(guān)系線 索表現(xiàn)為與所述最大整體度量對應(yīng)的路徑；以及基于所述路徑，確定所述兩幅目標(biāo)區(qū)域圖像中所述多幅人臉圖像之間的匹配關(guān)系。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述相似性度量包括以下其中至少一個 位置相似性度量；顏色相似性度量； 人臉相似性度量；以及綜合相似性度量，其是基于位置相似性度量、顏色相似性度量和人臉相似性度量其中 至少兩個的綜合度量。
9.根據(jù)權(quán)利要求1所述的方法，還包括根據(jù)應(yīng)用需求，從所述人臉圖像類中選取人臉圖像作為輸出。
10.一種用于采集人臉圖像的系統(tǒng)，包括圖像獲取裝置，用于同時以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像； 人臉檢測裝置，用于從所述多幅目標(biāo)區(qū)域圖像中檢測多個人臉區(qū)域，以得到多幅人臉 圖像；以及人臉匹配裝置，用于根據(jù)所述多幅人臉圖像之間的多個靜態(tài)線索，對所述多幅人臉圖 像執(zhí)行人臉匹配，以形成每個人臉的人臉圖像類。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述多個靜態(tài)線索包括度量性線索，該度量性 線索包括多個相似性度量，以及所述人臉匹配裝置進(jìn)一步包括相似性度量計算裝置，用于針對屬于不同目標(biāo)區(qū)域圖像的兩幅人臉圖像，計算其間的 所述多個相似性度量；綜合度量計算裝置，用于基于所述多個相似性度量，計算綜合相似性度量；以及 匹配確定裝置，用于基于所述綜合相似性度量，確定所述兩幅人臉圖像是否匹配。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述匹配確定裝置進(jìn)一步用于通過比較所述 綜合相似性度量和預(yù)定的度量閾值來確定所述兩幅人臉圖像是否匹配。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述人臉匹配裝置進(jìn)一步用于計算一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每幅人臉圖像之間的 各個綜合相似性度量；確定所述各個綜合相似性度量中的最大綜合相似性度量；以及 將與該最大綜合相似性度量相關(guān)的兩幅人臉圖像確定為匹配。
14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述綜合相似性度量是所述多個相似性度量 的加權(quán)和。
15.根據(jù)權(quán)利要求11至14任一項所述的系統(tǒng)，其中，所述多個相似性度量包括以下之 中的兩個或更多位置相似性度量； 顏色相似性度量；以及 人臉相似性度量。
16.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述多個靜態(tài)線索包括度量性線索和非度量 性線索，其中該度量性線索包括人臉圖像之間的相似性度量，該非度量性線索包括空間關(guān) 系線索，所述人臉匹配裝置進(jìn)一步包括最大整體度量確定裝置，用于利用動態(tài)規(guī)劃方法，確定同時以不同視角獲取的兩幅目 標(biāo)區(qū)域圖像中多幅人臉圖像之間關(guān)于所述相似性度量的最大整體度量，以考慮所述空間關(guān) 系線索，其中所述空間關(guān)系線索表現(xiàn)為與所述最大整體度量對應(yīng)的路徑；以及匹配關(guān)系確定裝置，用于基于所述路徑，確定所述兩幅目標(biāo)區(qū)域圖像中所述多幅人臉 圖像之間的匹配關(guān)系。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述相似性度量包括以下其中至少一個 位置相似性度量；顏色相似性度量； 人臉相似性度量；以及綜合相似性度量，其是基于位置相似性度量、顏色相似性度量和人臉相似性度量其中至少兩個的綜合度量。
18.根據(jù)權(quán)利要求10所述的系統(tǒng)，還包括人臉圖像輸出裝置，用于根據(jù)應(yīng)用需求，從所述人臉圖像類中選取人臉圖像作為輸出。
全文摘要
本發(fā)明提供了一種用于采集人臉圖像的方法。所述方法包括同時以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像；從所述多幅目標(biāo)區(qū)域圖像中檢測多個人臉區(qū)域，以得到多幅人臉圖像；根據(jù)所述多幅人臉圖像之間的多個靜態(tài)線索，對所述多幅人臉圖像執(zhí)行人臉匹配，以形成每個人臉的人臉圖像類。此外，本發(fā)明還提供一種用于采集人臉系統(tǒng)的相應(yīng)系統(tǒng)。根據(jù)本發(fā)明，可以獲取相同時刻的多幅目標(biāo)區(qū)域圖像，并可以采用簡單而高效的方法對該多幅目標(biāo)區(qū)域圖像中的人臉圖像進(jìn)行匹配，從而形成對應(yīng)于每個人臉的人臉圖像類。因此，即使在沒有用戶配合的情況下，也可以為諸如人臉識別等后續(xù)應(yīng)用提供更加有效的人臉圖像輸入。
文檔編號G06K9/62GK102063607SQ200910220899
公開日2011年5月18日 申請日期2009年11月16日 優(yōu)先權(quán)日2009年11月16日
發(fā)明者張洪明, 曾煒 申請人:日電(中國)有限公司