用于跟蹤人臉的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及針對(duì)人臉以及人臉上關(guān)鍵點(diǎn)進(jìn)行跟蹤的設(shè)備和方法。
【背景技術(shù)】
[0002] 對(duì)圖像或視頻中的人臉以及人臉上關(guān)鍵點(diǎn)的位置進(jìn)行跟蹤，在很多以人臉圖像或 視頻作為輸入的應(yīng)用中具有十分重要的作用，這里，所述關(guān)鍵點(diǎn)可以是諸如眼睛、鼻子、眉 毛、嘴等處于人臉關(guān)鍵位置的點(diǎn)。例如，在基于視頻的人臉識(shí)別系統(tǒng)中，需要使用每幀圖像 上的人臉關(guān)鍵點(diǎn)位置對(duì)待匹配的人臉圖像進(jìn)行幾何歸一化。在面部動(dòng)作和表情捕捉系統(tǒng) 中，需要根據(jù)人臉關(guān)鍵點(diǎn)的位置分析面部器官的形狀和運(yùn)動(dòng)。在一些三維人臉建模系統(tǒng)中， 也需要根據(jù)人臉關(guān)鍵點(diǎn)的位置信息對(duì)不同姿態(tài)的人臉圖像進(jìn)行配準(zhǔn)和融合。
[0003] 對(duì)于一般物體的跟蹤，常常使用基于特征點(diǎn)或特征區(qū)域匹配的技術(shù)。首先，從當(dāng)前 幀圖像中選擇或者檢測(cè)到若干特征點(diǎn)或者特征區(qū)域，記錄特征點(diǎn)周圍或者特征區(qū)域內(nèi)的像 素顏色值，對(duì)這些像素顏色值進(jìn)行變換來得到用于表示特征點(diǎn)或特征區(qū)域的特征向量。然 后，從下一幀圖像中以同樣的方法選擇或者檢測(cè)特征點(diǎn)或者特征區(qū)域并計(jì)算特征向量。最 后，根據(jù)特征向量間的相似性對(duì)來自兩幀圖像的特征點(diǎn)或者特征區(qū)域進(jìn)行匹配，從而估計(jì) 出物體在視頻中的運(yùn)動(dòng)?；蛘撸趯?duì)當(dāng)前幀中的特征點(diǎn)或特征區(qū)域提取特征向量之后，直接 在下一幀圖像的感興趣區(qū)域內(nèi)搜索具有最相似特征向量的特征點(diǎn)或特征區(qū)域，從而實(shí)現(xiàn)運(yùn) 動(dòng)跟蹤?；蛘?，用于表示特征點(diǎn)或特征區(qū)域的特征向量不是從當(dāng)前幀圖像中獲得，而是從手 工標(biāo)定的樣本圖像中獲得。
[0004] 人臉關(guān)鍵點(diǎn)跟蹤與一般物體跟蹤存在兩點(diǎn)明顯的區(qū)別。第一，人臉是一個(gè)非剛性 物體，除了具有在空間中運(yùn)動(dòng)時(shí)產(chǎn)生的平移、旋轉(zhuǎn)等六個(gè)自由度外，還會(huì)由于表情的變化產(chǎn) 生各種復(fù)雜的變形。第二，人臉具有相似性，也就是說，所有自動(dòng)人臉跟蹤系統(tǒng)所需要處理 的人臉對(duì)象都具有相似但不完全一樣的形狀和紋理。基于以上兩點(diǎn)，大部分人臉跟蹤系統(tǒng) 都會(huì)使用可以描述人臉相似性，同時(shí)可以適應(yīng)不同人臉個(gè)性的模型，這些模型可以表示為 一組感興趣的關(guān)鍵點(diǎn)。例如，在基于主動(dòng)表觀模型的跟蹤方法中，需要對(duì)人臉的形狀和面部 紋理建立參數(shù)模型，人臉形狀用一系列關(guān)鍵點(diǎn)的坐標(biāo)組成的向量表示，面部紋理用將模型 覆蓋的人臉像素映射到平均形狀模版后的紋理向量表示。當(dāng)設(shè)置不同的參數(shù)時(shí)，可以產(chǎn)生 不同的人臉形狀和面部紋理。通過改變參數(shù)，使得產(chǎn)生的人臉形狀和紋理與輸入的當(dāng)前幀 圖像中人臉形狀和紋理相同，就可以得到當(dāng)前幀圖像中人臉和人臉上關(guān)鍵點(diǎn)的坐標(biāo)。
[0005] 人臉跟蹤技術(shù)需要處理很多方面的困難。例如，當(dāng)被跟蹤的人臉發(fā)生劇烈的運(yùn)動(dòng) 或姿態(tài)變化時(shí)，相鄰兩幀圖像中的人臉距離較遠(yuǎn)或存在較大的外觀差異，這時(shí)有些方法會(huì) 跟蹤失敗。當(dāng)人臉處于強(qiáng)烈的非均勻光照環(huán)境中時(shí)，由于陰影的存在，隨著姿態(tài)、表情的變 化，不同幀圖像上人臉區(qū)域的外觀會(huì)產(chǎn)生巨大的變化，從而導(dǎo)致跟蹤失敗。
[0006] 而且，人臉區(qū)域上經(jīng)常存在遮擋，例如墨鏡、頭發(fā)、口罩等，這會(huì)給跟蹤帶來困難。 尤其當(dāng)遮擋面積較大，以及遮擋的位置隨時(shí)間會(huì)發(fā)生變化時(shí)，現(xiàn)有的技術(shù)難以提供穩(wěn)定可 靠的跟蹤結(jié)果。通常，在現(xiàn)有技術(shù)中，為了解決遮擋條件下的跟蹤問題，需要首先根據(jù)不同 幀圖像之間的差別，或者根據(jù)人臉模型給出的人臉外觀與實(shí)際圖像中人臉區(qū)域外觀的差 另IJ，估計(jì)出可能的遮擋發(fā)生的區(qū)域，然后將這些遮擋區(qū)域排除在跟蹤時(shí)使用的特征區(qū)域范 圍之外。然而，如何準(zhǔn)確地估計(jì)出遮擋區(qū)域，從而使人臉跟蹤得以準(zhǔn)確進(jìn)行，仍然是一個(gè)難 以解決的問題。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于提供一種能夠在人臉存在遮擋的情況下有效地進(jìn)行人臉跟蹤 的設(shè)備和方法。
[0008] 根據(jù)本發(fā)明的一方面，提供一種用于跟蹤人臉的設(shè)備，包括：人臉位置確定單元， 用于從當(dāng)前幀圖像確定人臉位置；分割單元，用于將人臉位置的圖像分割成組成人臉的各 部分圖像；遮擋估計(jì)單元，用于基于遮擋概率模型來估計(jì)分割后的各部分圖像被遮擋的概 率，并基于所述各部分圖像被遮擋的概率來估計(jì)人臉位置的圖像中每個(gè)像素被遮擋的概 率；關(guān)鍵點(diǎn)獲取單元，用于通過最小化與每個(gè)像素被遮擋的概率有關(guān)的匹配誤差函數(shù)，使人 臉的二維形狀模型相對(duì)于人臉形狀進(jìn)行匹配，從而獲取當(dāng)前幀圖像上人臉關(guān)鍵點(diǎn)的位置， 以完成對(duì)人臉的跟足示。
[0009] 所述設(shè)備可還包括：跟蹤效果確定器，用于利用分類器來確定對(duì)人臉的跟蹤是否 成功。
[0010] 在所述設(shè)備中，分割單元可使用基于顏色和位置坐標(biāo)的像素聚類算法將人臉位置 的圖像分割成至少一個(gè)圖像片，并且，遮擋估計(jì)單元可基于圖像片遮擋概率模型來估計(jì)每 個(gè)圖像片被遮擋的概率，并基于每個(gè)圖像片被遮擋的概率來估計(jì)人臉位置的圖像中每個(gè)像 素被遮擋的概率。
[0011] 在所述設(shè)備中，分割單元可將人臉位置的圖像分割成與各個(gè)人臉器官對(duì)應(yīng)的至少 一個(gè)圖像區(qū)域，并且，遮擋估計(jì)單元可基于圖像區(qū)域遮擋概率模型來估計(jì)每個(gè)圖像區(qū)域被 遮擋的概率，并基于每個(gè)圖像區(qū)域被遮擋的概率來估計(jì)人臉位置的圖像中每個(gè)像素被遮擋 的概率。
[0012] 在所述設(shè)備中，分割單元可將人臉位置的圖像分割成至少一個(gè)圖像片和至少一個(gè) 圖像區(qū)域，并且，遮擋估計(jì)單元基于遮擋概率模型來分別估計(jì)每個(gè)圖像片和每個(gè)圖像區(qū)域 被遮擋的概率，并基于每個(gè)圖像片和每個(gè)圖像區(qū)域被遮擋的概率，估計(jì)人臉位置的圖像中 每個(gè)像素被遮擋的概率。
[0013] 在所述設(shè)備中，分割單元可使用基于顏色和位置坐標(biāo)的像素聚類算法將人臉位置 的圖像分割成至少一個(gè)圖像片，并按照預(yù)先定義的人臉器官，將所述至少一個(gè)圖像片中對(duì) 應(yīng)于相同人臉器官的圖像片合并為圖像區(qū)域。
[0014] 在所述設(shè)備中，人臉位置確定單元可在當(dāng)前幀圖像中檢測(cè)人臉特征點(diǎn)，在關(guān)鍵幀 數(shù)據(jù)庫(kù)中選擇與人臉特征點(diǎn)在特征向量方面匹配的對(duì)應(yīng)特征點(diǎn)，然后通過使對(duì)應(yīng)特征點(diǎn)在 當(dāng)前幀圖像上的投影與人臉特征點(diǎn)之間的距離度量最小，來計(jì)算一種人臉三維形狀模型的 三維位置和旋轉(zhuǎn)參數(shù)，使用此三維位置和旋轉(zhuǎn)參數(shù)計(jì)算人臉二維形狀模型的關(guān)鍵點(diǎn)在圖像 中的位置，從而確定當(dāng)前幀圖像中人臉的位置，其中，關(guān)鍵幀數(shù)據(jù)庫(kù)包括與之前成功跟蹤到 的人臉對(duì)應(yīng)的人臉關(guān)鍵幀，在跟蹤開始時(shí)建立，在成功跟蹤每一幀圖像后更新，其中，所述 人臉關(guān)鍵幀中保存有所述之前成功跟蹤到的人臉上被成功匹配的特征點(diǎn)的三維位置坐標(biāo) 和特征向量。
[0015] 在所述設(shè)備中，人臉位置確定單元可基于人臉特征點(diǎn)與計(jì)算出的所述一種人臉三 維形狀模型中的對(duì)應(yīng)特征點(diǎn)在當(dāng)前幀圖像上的投影之間的距離是否小于預(yù)定閾值來確定 所述人臉特征點(diǎn)是否為被成功匹配的特征點(diǎn)。
[0016] 在所述設(shè)備中，遮擋估計(jì)單元可包括：圖像片遮擋估計(jì)單元，用于基于圖像片遮擋 概率模型來估計(jì)每個(gè)圖像片被遮擋的概率；圖像區(qū)域遮擋估計(jì)單元，用于基于圖像區(qū)域遮 擋概率模型來估計(jì)每個(gè)圖像區(qū)域被遮擋的概率；綜合估計(jì)單元，用于基于每個(gè)圖像片和每 個(gè)圖像區(qū)域被遮擋的概率，估計(jì)人臉位置的圖像中每個(gè)像素被遮擋的概率。
[0017] 在所述設(shè)備中，如果跟蹤效果確定器確定對(duì)人臉的跟蹤成功，則圖像片遮擋估計(jì) 單元可在當(dāng)前幀沒有被遮擋的情況下利用相應(yīng)的圖像片來更新圖像片遮擋概率模型，圖像 區(qū)域遮擋估計(jì)單元可在當(dāng)前幀沒有被遮擋的情況下利用相應(yīng)的圖像區(qū)域來更新圖像區(qū)域 遮擋概率模型。
[0018] 在所述設(shè)備中，在所述匹配誤差函數(shù)中，基于每個(gè)像素被遮擋的概率來調(diào)整人臉 表觀模型與人臉形狀