本發(fā)明屬于圖像檢測(cè)領(lǐng)域，尤其涉及一種人臉追蹤的方法及裝置。

背景技術(shù)：

人臉追蹤技術(shù)是基于人的面部特征信息，對(duì)攝像機(jī)采集的視頻中人臉位置和面部特征進(jìn)行追蹤的一種人臉檢測(cè)技術(shù)。如圖1所示，人臉在圖像上的位置通常有三種類型：抬頭或低頭引起的面部俯仰，向左或向右扭頭引起的面部偏航，和向左或向右歪頭引起的面部翻滾。其中面部翻滾是指人臉以人臉?biāo)谄矫娴姆ㄏ蛄繛檩S進(jìn)行一定角度的旋轉(zhuǎn)。

目前人臉追蹤研究工作的對(duì)象主要是正面或接近正面的人臉圖像，即通過人臉對(duì)齊(Face Alignment)算法對(duì)如圖2所示的正面人臉圖像進(jìn)行人臉追蹤和對(duì)齊。當(dāng)正面人臉有較小偏轉(zhuǎn)時(shí)該算法仍然能夠準(zhǔn)確的進(jìn)行追蹤和對(duì)齊。對(duì)于面部俯仰和面部偏航，一般人臉旋轉(zhuǎn)角度較小，人臉橫向和縱向的紋理變化不大，可以直接使用人臉對(duì)齊算法進(jìn)行人臉追蹤。但對(duì)于面部翻滾，有時(shí)人臉旋轉(zhuǎn)角度較大，可以進(jìn)行360度旋轉(zhuǎn)，例如當(dāng)人倒立時(shí)面部翻滾的角度為180度。此時(shí)，人臉橫向和縱向紋理變化太大，不能直接使用人臉對(duì)齊算法進(jìn)行追蹤。這種情況下，需要首先檢測(cè)面部翻滾的角度，然后根據(jù)面部翻滾的角度將整幅圖像進(jìn)行相應(yīng)的旋轉(zhuǎn)，使圖像中的人臉成為正面人臉，最后利用人臉對(duì)齊算法對(duì)該旋轉(zhuǎn)后的圖像進(jìn)行人臉追蹤和對(duì)齊。

這種人臉追蹤方法，需要對(duì)視頻的每幀圖像全局做人臉檢測(cè)，通過人臉對(duì)齊算法實(shí)現(xiàn)人臉的追蹤和對(duì)齊，運(yùn)算量大。當(dāng)面部翻滾角度較大時(shí)，需要先對(duì)整幅圖像進(jìn)行旋轉(zhuǎn)才能使用人臉對(duì)齊算法，這樣又極大的增加了對(duì)該幀圖像中人臉進(jìn)行追蹤的運(yùn)算量。而且隨著視頻中清晰度的提高，每幀圖像的人臉追蹤運(yùn)算量也會(huì)相應(yīng)增大。例如，目前在PC上對(duì)1920×1080的高清視頻進(jìn)行處理，每幀圖像需要十幾毫秒到一百毫秒以上。在手機(jī)和相機(jī)等手持設(shè)備上對(duì)視頻人臉追蹤的處理速度無法到達(dá)30FPS的實(shí)時(shí)性要求，容易造成視頻播放卡頓。

綜上所述，目前對(duì)視頻的人臉追蹤方法運(yùn)算量大，占用系統(tǒng)資源多，處理效率低，容易造成視頻播放卡頓，且處理速度受面部翻滾角度和視頻清晰度的影響。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例的目的在于提供一種人臉追蹤的方法，旨在解決目前對(duì)視頻的人臉追蹤方法運(yùn)算量大，占用系統(tǒng)資源多，處理效率低的問題。

本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種人臉追蹤的方法，包括：

獲取人臉檢測(cè)框在上一圖像幀中的圖像位置；

在當(dāng)前圖像幀中，定位出相同所述圖像位置的區(qū)域；

將所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像與所述人臉檢測(cè)框中人臉的正面模板進(jìn)行人臉對(duì)齊，獲取所述當(dāng)前圖像中所述人臉的特征點(diǎn)位置；

根據(jù)獲取到的所述特征點(diǎn)位置，在所述當(dāng)前圖像幀中確定出人臉檢測(cè)框。

本發(fā)明實(shí)施例的另一目的在于提供一種人臉追蹤的裝置，包括：

獲取單元，用于獲取人臉檢測(cè)框在上一圖像幀中的圖像位置；

定位單元，用于在當(dāng)前圖像幀中，定位出相同所述圖像位置的區(qū)域；

對(duì)齊單元，用于將所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像與所述人臉檢測(cè)框中人臉的正面模板進(jìn)行人臉對(duì)齊，獲取所述當(dāng)前圖像中所述人臉的特征點(diǎn)位置；

計(jì)算單元，用于根據(jù)獲取到的所述特征點(diǎn)位置，在所述當(dāng)前圖像幀中確定出人臉檢測(cè)框。

本發(fā)明實(shí)施例中，通過將視頻中人臉檢測(cè)框在上一圖像幀中的圖像位置作為當(dāng)前圖像幀進(jìn)行人臉對(duì)齊的圖像區(qū)域的位置，對(duì)該區(qū)域的圖像進(jìn)行人臉對(duì)齊定位出人臉的特征點(diǎn)位置，并根據(jù)人臉的特征點(diǎn)的位置確定出當(dāng)前圖像幀中人臉檢測(cè)框。本發(fā)明實(shí)施例對(duì)視頻圖像進(jìn)行人臉追蹤時(shí)不需要對(duì)視頻中每幀圖像都進(jìn)行全局檢測(cè)，減少了對(duì)視頻人臉追蹤的運(yùn)算量，提高了處理效率，降低了視頻清晰度對(duì)處理的影響程度。

附圖說明

圖1是本發(fā)明實(shí)施例提供的圖像中的人臉位置的示意圖；

圖2是本發(fā)明實(shí)施例提供的正面的人臉圖像的示意圖；

圖3是本發(fā)明實(shí)施例提供的人臉追蹤的方法的實(shí)現(xiàn)流程圖；

圖4是本發(fā)明實(shí)施例提供的人臉追蹤的方法中進(jìn)行人臉檢測(cè)的實(shí)現(xiàn)流程圖；

圖5是本發(fā)明另一實(shí)施例提供的人臉追蹤的方法中進(jìn)行人臉檢測(cè)的實(shí)現(xiàn)流程圖；

圖6是本發(fā)明實(shí)施例提供的人臉追蹤的方法S303的具體實(shí)現(xiàn)流程圖；

圖7是本發(fā)明實(shí)施例提供的人臉追蹤的裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明實(shí)施例中，通過將視頻中人臉檢測(cè)框在上一圖像幀中的圖像位置作為當(dāng)前圖像幀進(jìn)行人臉對(duì)齊的圖像區(qū)域的位置，對(duì)該區(qū)域的圖像進(jìn)行人臉對(duì)齊定位出人臉的特征點(diǎn)位置，并根據(jù)人臉的特征點(diǎn)位置確定出當(dāng)前圖像幀中人臉檢測(cè)框。本發(fā)明實(shí)施例對(duì)視頻圖像進(jìn)行人臉追蹤時(shí)不需要對(duì)視頻中每幀圖像都進(jìn)行全局檢測(cè)，減少了對(duì)視頻人臉追蹤的運(yùn)算量，提高了處理效率，降低了視頻清晰度對(duì)處理的影響程度。

本發(fā)明適用于包括手機(jī)、平板、筆記本、智能電視等能夠進(jìn)行視頻播放的終端設(shè)備。人臉檢測(cè)框?yàn)閳D像中可以將人臉的特征點(diǎn)全部包含在內(nèi)的一個(gè)矩形區(qū)域的邊框。在視頻播放時(shí)，人臉檢測(cè)框可以顯示出來，也可以不進(jìn)行顯示。人臉的特征點(diǎn)是指在圖像當(dāng)中人臉面部比較容易區(qū)分的特征位置，如嘴唇輪廓，眼睛輪廓等。圖像中人臉的特征點(diǎn)位置可以通過人臉對(duì)齊算法從圖像信息中求出，特征點(diǎn)的數(shù)目根據(jù)所選擇的算法和實(shí)際需求而定。特征點(diǎn)可以用于人臉在圖像中的定位，例如根據(jù)圖像中人臉中眼睛的特征點(diǎn)可以在眼睛位置添加眼鏡等修飾物的控件，實(shí)現(xiàn)對(duì)圖像中人臉的修飾。特征點(diǎn)還可以用于進(jìn)行人臉識(shí)別來區(qū)分圖像中不同的人臉。

人臉追蹤即為在視頻中每幀圖像上找出人臉的特征點(diǎn)信息，確定人臉的位置。例如在視頻播放過程中為人臉的眼睛位置添加眼鏡修飾物的控件，當(dāng)視頻中該人臉的位置發(fā)生移動(dòng)時(shí)，可以根據(jù)眼睛的特征點(diǎn)位置的變化對(duì)眼鏡控件的顯示位置進(jìn)行調(diào)整，使控件顯示位置始終與眼睛的移動(dòng)保持同步，實(shí)現(xiàn)更好的修飾效果。人臉追蹤還可以在監(jiān)控視頻中始終鎖定一個(gè)人臉的特征點(diǎn)。人臉追蹤和人臉特征點(diǎn)還有許多其他的用途，在此不一一列舉。對(duì)每幀圖像進(jìn)行全局檢測(cè)是指，通過對(duì)整幀圖像的全局掃描，確定出人臉?biāo)诘膮^(qū)域，然后可以通過圖像處理等手段來找出該區(qū)域內(nèi)的人臉的特征點(diǎn)的位置。由于全局檢測(cè)需要對(duì)整幀圖像進(jìn)行掃描，視頻清晰度越高，處理速度越慢。

常用的對(duì)人臉的特征點(diǎn)進(jìn)行定位的方法為通過人臉對(duì)齊算法對(duì)圖像進(jìn)行處理。人臉對(duì)齊算法有很多種，包括ASM算法、AAM算法、STASM算法等，都能實(shí)現(xiàn)對(duì)人臉面部的特征點(diǎn)的定位。其中，ASM算法相對(duì)簡單，處理速度較快，STASM對(duì)特征點(diǎn)的定位相對(duì)精準(zhǔn)，但處理速度較慢。可以根據(jù)實(shí)際需求選擇合適的人臉對(duì)齊算法進(jìn)行人臉的特征點(diǎn)定位。

圖3為本發(fā)明實(shí)施例提供的人臉追蹤的方法的實(shí)現(xiàn)流程圖，詳述如下：

在S301中，獲取人臉檢測(cè)框在上一圖像幀中的圖像位置。

在本實(shí)施例中，上一圖像幀是相對(duì)當(dāng)前圖像幀來說的。對(duì)視頻圖像進(jìn)行人臉追蹤時(shí)，對(duì)圖像的處理是一幀一幀進(jìn)行的，當(dāng)處理完一幀后再處理下一幀。所以文中所說的上一圖像幀、當(dāng)前圖像幀和下一圖像幀都是相對(duì)而言。當(dāng)前圖像幀為當(dāng)前正在處理的一幀圖像。上一圖像幀指在當(dāng)前圖像幀之前剛完成處理的一幀圖像。當(dāng)前圖像幀處理完成后，下一圖像幀就變?yōu)榱水?dāng)前要處理的圖像。

人臉檢測(cè)框是指圖像中將人臉的特征點(diǎn)都包含在內(nèi)的一個(gè)矩形區(qū)域的邊框。該區(qū)域的面積大小可以根據(jù)實(shí)際情況和所選用的人臉對(duì)齊算法進(jìn)行設(shè)定。獲取人臉檢測(cè)框在圖像中的位置可以為獲取矩形框四角頂點(diǎn)在圖像中的像素的坐標(biāo)或者矩形框兩個(gè)對(duì)角頂點(diǎn)在圖像中的像素的坐標(biāo)，在此不作限定。

在S302中，在當(dāng)前圖像幀中，定位出相同所述圖像位置的區(qū)域。

即，根據(jù)獲取到的人臉檢測(cè)框在上一圖像幀中的圖像位置，在當(dāng)前圖像幀中查找相同的位置。具體可以根據(jù)矩形區(qū)域的矩形邊框的像素坐標(biāo)進(jìn)行定位。由于視頻播放的連續(xù)性，通常兩幀相鄰的圖像間隔時(shí)間較短，圖像比較相似，圖像中人臉?biāo)诘奈恢靡蚕嗖畈欢唷Ｒ虼丝梢詫⑷四槞z測(cè)框在上一圖像幀中的圖像位置來當(dāng)作當(dāng)前圖像幀中的矩形區(qū)域的位置，該區(qū)域包含人臉的特征點(diǎn)的可能性最大。這樣相當(dāng)于在圖像中預(yù)測(cè)出了人臉的大概位置，不需要再對(duì)整幅圖像進(jìn)行掃描。減少了圖像處理的運(yùn)算量，提高了處理效率。

在S303中，將所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像與所述人臉檢測(cè)框中人臉的正面模板進(jìn)行人臉對(duì)齊，獲取所述當(dāng)前圖像中所述人臉的特征點(diǎn)位置。

在本實(shí)施例中，當(dāng)前圖像幀中定位出的區(qū)域?yàn)橥ㄟ^人臉檢測(cè)框在上一圖像幀中的圖像位置確定的區(qū)域。由于前后兩幀圖像的差別不大，可以先預(yù)測(cè)人臉?biāo)诘膮^(qū)域并未發(fā)生較大改變。本實(shí)施例中選用的模板為人臉的正面模板，因?yàn)槿四槍?duì)齊算法在圖像中人臉為正面時(shí)查找人臉的特征點(diǎn)的精準(zhǔn)度更高。在當(dāng)前圖像幀中定位出的區(qū)域內(nèi)，采用人臉對(duì)齊算法，即可求出當(dāng)前圖像中所述人臉的特征點(diǎn)位置。

本實(shí)施例中考慮到處理速度方面的因素選用ASM算法。采用ASM算法，人臉的正面模板為一個(gè)基于統(tǒng)計(jì)學(xué)的模型，由點(diǎn)的集合表示。首先匹配模板和目標(biāo)圖像中每個(gè)局部的特征點(diǎn)來計(jì)算特征點(diǎn)的新的位置，通過迭代直至收斂來使模板的特征點(diǎn)位置與圖像中人臉的特征點(diǎn)位置相吻合，最終確定圖像中人臉的特征點(diǎn)位置。根據(jù)實(shí)際情況也可以選擇其他人臉對(duì)齊的算法，在此不作限定。

在S304中，根據(jù)獲取到的所述特征點(diǎn)位置，在所述當(dāng)前圖像幀中確定出人臉檢測(cè)框。

其中，所述特征點(diǎn)位置是通過對(duì)當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像進(jìn)行人臉對(duì)齊求出的。通過這些特征點(diǎn)的位置，計(jì)算求出包含這些特征點(diǎn)的矩形區(qū)域。該矩形區(qū)域的邊框即為當(dāng)前圖像幀中確定出的人臉檢測(cè)框。人臉檢測(cè)框的大小可根據(jù)實(shí)際需求而定，但必須包含人臉的全部的特征點(diǎn)在內(nèi)。當(dāng)前圖像幀處理完成后，開始對(duì)下一圖像幀進(jìn)行處理。當(dāng)前圖像幀中確定出人臉檢測(cè)框作為下一圖像幀進(jìn)行人臉對(duì)齊的矩形區(qū)域定位的依據(jù)。

對(duì)視頻中的其他幀視頻圖像進(jìn)行處理也是依此步驟，通過將上一圖像幀中人臉檢測(cè)框的位置作為當(dāng)前圖像幀中的矩形區(qū)域位置進(jìn)行人臉對(duì)齊，不必對(duì)每幀圖像進(jìn)行全局檢測(cè)，減少了運(yùn)算量。

作為本發(fā)明的一個(gè)實(shí)施例，可以首先在當(dāng)前圖像幀中定位出的區(qū)域內(nèi)，檢測(cè)是否有人臉圖像。如果檢測(cè)到有人臉圖像，再對(duì)該區(qū)域內(nèi)的圖像進(jìn)行人臉對(duì)齊。如圖4所示，在S302之后，S303之前，所述方法還包括：

在S401中，在所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)，檢測(cè)是否有人臉圖像。

在S402中，若未檢測(cè)到人臉圖像，對(duì)所述當(dāng)前圖像幀進(jìn)行全局的人臉檢測(cè)，以重新對(duì)所述區(qū)域進(jìn)行定位。

在本實(shí)施例中，通過人臉檢測(cè)可以檢測(cè)一個(gè)指定區(qū)域內(nèi)是否有人臉圖像。人臉檢測(cè)和人臉對(duì)齊的區(qū)別在于，人臉檢測(cè)不對(duì)人臉的特征點(diǎn)位置進(jìn)行定位，只檢測(cè)出指定區(qū)域內(nèi)有人臉圖像即可。而人臉對(duì)齊是查找出人臉的特征點(diǎn)的位置。人臉檢測(cè)的處理速度通常比人臉對(duì)齊快。對(duì)當(dāng)前圖像幀中定位出的區(qū)域內(nèi)先進(jìn)行人臉檢測(cè)，可以避免該區(qū)域內(nèi)沒有人臉而對(duì)該區(qū)域進(jìn)行人臉對(duì)齊的情況的發(fā)生。在相鄰兩幀圖像中人臉位置相差較大時(shí)，提前檢測(cè)出矩形區(qū)域內(nèi)沒有人臉，不進(jìn)行無效的人臉對(duì)齊工作，從而減少不必要的運(yùn)算量。

如果在當(dāng)前圖像幀中定位出的區(qū)域內(nèi)沒有人臉圖像，則表示前后兩幀圖像中的人臉位置相差較大。此時(shí)可以通過對(duì)當(dāng)前圖像幀進(jìn)行全局的人臉檢測(cè)，來重新對(duì)當(dāng)前圖像幀中人臉?biāo)诘膮^(qū)域進(jìn)行定位。然后再對(duì)全局檢測(cè)找到的矩形區(qū)域內(nèi)的圖像進(jìn)行人臉對(duì)齊，求出人臉的特征點(diǎn)位置。

作為本發(fā)明的另一個(gè)實(shí)施例，還可以在當(dāng)前圖像幀中定位出的區(qū)域內(nèi)沒有檢測(cè)到人臉圖像時(shí)，不對(duì)當(dāng)前圖像幀進(jìn)行處理，轉(zhuǎn)而處理下一圖像幀，在下一圖像幀中對(duì)區(qū)域進(jìn)行定位。如圖5所示，在S302之后，S303之前，所述方法還包括：

在S501中，在所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)，檢測(cè)是否有人臉圖像。

在S502中，若未檢測(cè)到人臉圖像，則將下一圖像幀作為所述當(dāng)前圖像幀處理。

在本實(shí)施例中，視頻圖像可能由于拍攝或數(shù)據(jù)傳輸錯(cuò)誤等原因造成其中某些幀的圖像發(fā)生錯(cuò)誤。發(fā)生錯(cuò)誤的圖像與視頻的其他幀的圖像相差較大，不能相互對(duì)應(yīng)，在這些圖像中定位出的矩形區(qū)域內(nèi)可能沒有人臉圖像。這種情況下，當(dāng)檢測(cè)到當(dāng)前圖像幀中定位出的區(qū)域內(nèi)沒有人臉圖像時(shí)，可以不對(duì)當(dāng)前圖像幀進(jìn)行人臉檢測(cè)和人臉對(duì)齊的處理工作。這一幀圖像有可能是錯(cuò)誤的圖像，不對(duì)這一幀圖像處理，而進(jìn)行下一幀的圖像處理。根據(jù)人臉檢測(cè)框在上一圖像幀中的圖像位置，在下一幀的圖像中查找進(jìn)行人臉對(duì)齊的矩形區(qū)域。如果在下一圖像幀中查找到的矩形區(qū)域內(nèi)有人臉，則表明之前的一幀圖像是錯(cuò)誤圖像。這樣避免了對(duì)發(fā)生錯(cuò)誤的圖像進(jìn)行無效的處理，減少了不必要的運(yùn)算。

優(yōu)選地，若在連續(xù)預(yù)設(shè)幀數(shù)的圖像幀中都未檢測(cè)到人臉，則對(duì)所述當(dāng)前幀圖像進(jìn)行全局的人臉檢測(cè)，以重新對(duì)所述區(qū)域進(jìn)行定位。

即，當(dāng)連續(xù)幾幀圖像中定位出的區(qū)域內(nèi)都沒有人臉圖像時(shí)，原因有可能不是圖像的傳輸錯(cuò)誤，而是矩形區(qū)域的計(jì)算錯(cuò)誤或者之前圖像中人臉的特征點(diǎn)位置有偏差。此時(shí)如果再用錯(cuò)誤的矩形區(qū)域去進(jìn)行人臉對(duì)齊，不可能查找到人臉的特征點(diǎn)的位置。因此，這種情況下可以對(duì)當(dāng)前幀圖像進(jìn)行全局的人臉檢測(cè)，來重新獲取正確的矩形區(qū)域的位置，使對(duì)視頻的人臉追蹤過程重新開始。這樣避免了因視頻中某幀圖像的人臉的特征點(diǎn)定位不準(zhǔn)確，或人臉?biāo)诘木匦螀^(qū)域的位置計(jì)算錯(cuò)誤造成的人臉追蹤失敗的情況的發(fā)生。

其中，所述預(yù)設(shè)幀數(shù)表示當(dāng)有多少幀圖像中的區(qū)域未檢測(cè)到人臉圖像時(shí)對(duì)圖像進(jìn)行全局檢測(cè)。預(yù)設(shè)幀數(shù)可以根據(jù)視頻播放的速度進(jìn)行設(shè)置，例如視頻的播放速度為每秒30幀，可以將預(yù)設(shè)幀數(shù)設(shè)為3幀。預(yù)設(shè)幀數(shù)的具體值可根據(jù)實(shí)際情況而定，在此不作限定。

作為本發(fā)明的一個(gè)實(shí)施例，在當(dāng)前圖像幀中定位的區(qū)域內(nèi)的圖像不是正面的人臉圖像，而是人臉有一定的面部翻滾角度的圖像時(shí)，可以先將該區(qū)域內(nèi)的圖像通過仿射變換變換為人臉為正面的圖像，再進(jìn)行人臉對(duì)齊。如圖6所示，S303中，所述將所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像與所述人臉檢測(cè)框中人臉的正面模板進(jìn)行人臉對(duì)齊，獲取所述當(dāng)前圖像中所述人臉的特征點(diǎn)位置，包括：

在S601中，對(duì)所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像進(jìn)行仿射變換，以使該區(qū)域內(nèi)的人臉圖像變換為正面的人臉圖像。

其中，仿射變換是指通過仿射變換矩陣將圖像進(jìn)行投影的一種圖像處理方式。仿射變換矩陣可以通過變換前圖像和變換后圖像中的三對(duì)不共線的坐標(biāo)點(diǎn)求出。當(dāng)找到變換前后圖像中三對(duì)以上的不共線的坐標(biāo)點(diǎn)時(shí)，可以利用最小二乘法進(jìn)行優(yōu)化，求出仿射變換矩陣的最優(yōu)解。

在本實(shí)施例中，將當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像向人臉的正面模板進(jìn)行變換。通過圖像處理的方式將矩形區(qū)域內(nèi)較為容易求出的特征點(diǎn)的位置查找出來，如眼睛的兩個(gè)眼角、嘴唇的兩個(gè)唇角等特征點(diǎn)。根據(jù)這些特征點(diǎn)的坐標(biāo)和人臉的正面模板中的對(duì)應(yīng)特征點(diǎn)的坐標(biāo)來計(jì)算兩幅圖像之間的仿射變換矩陣。再通過仿射變換矩陣將矩形區(qū)域內(nèi)的圖像變換為正面的人臉圖像。

在S602中，將所述正面的人臉圖像與所述人臉檢測(cè)框中人臉的正面模板進(jìn)行人臉對(duì)齊，獲取所述正面的人臉圖像中人臉的特征點(diǎn)位置。

即，當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像轉(zhuǎn)換為正面的人臉圖像后，對(duì)該正面的人臉圖像進(jìn)行人臉對(duì)齊，求出該正面的人臉圖像中人臉的特征點(diǎn)位置。

在S603中，對(duì)所述正面的人臉圖像進(jìn)行仿射變換，變換為所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像，獲取所述當(dāng)前圖像幀中所述人臉的特征點(diǎn)位置。

根據(jù)之前求出的仿射變換矩陣求出它的逆矩陣。利用該逆矩陣將變換后的正面的人臉圖像變換回原來定位出的區(qū)域內(nèi)的圖像。求出該正面的人臉圖像中人臉的特征點(diǎn)位置投影到該區(qū)域內(nèi)的圖像中的位置，即可得到當(dāng)前圖像幀中所述人臉的特征點(diǎn)位置。

通過對(duì)定位出的區(qū)域內(nèi)的圖像進(jìn)行仿射變換轉(zhuǎn)換為正面的人臉圖像，在人臉的面部翻滾角度較大時(shí)也可以進(jìn)行人臉對(duì)齊，且不必對(duì)整幅圖像進(jìn)行旋轉(zhuǎn)。這樣減少了在人臉的面部翻滾角度較大的情況下進(jìn)行人臉對(duì)齊的運(yùn)算量，提高了對(duì)視頻進(jìn)行人臉追蹤的處理效率，且降低了視頻清晰度對(duì)人臉追蹤的影響程度。

作為本發(fā)明的一個(gè)實(shí)施例，如果當(dāng)前圖像幀為視頻播放的第一幀圖像，則對(duì)當(dāng)前圖像幀進(jìn)行全局檢測(cè)，以獲取當(dāng)前圖像幀中人臉檢測(cè)框的位置。

即，在處理視頻的第一幀圖像時(shí)，通過對(duì)圖像的全局檢測(cè)來獲取圖像中人臉檢測(cè)框的位置。之后的其他幀圖像則按照前面所說的方法進(jìn)行處理。

本發(fā)明實(shí)施例中，通過將視頻中人臉檢測(cè)框在上一圖像幀中的圖像位置作為當(dāng)前圖像幀進(jìn)行人臉對(duì)齊的圖像區(qū)域的位置，對(duì)該區(qū)域的圖像進(jìn)行人臉對(duì)齊定位出人臉的特征點(diǎn)位置，并根據(jù)人臉的特征點(diǎn)的位置確定出當(dāng)前圖像幀中人臉檢測(cè)框。本發(fā)明實(shí)施例對(duì)視頻圖像進(jìn)行人臉追蹤時(shí)不需要對(duì)視頻中每幀圖像都進(jìn)行全局檢測(cè)，減少了對(duì)視頻人臉追蹤的運(yùn)算量，提高了處理效率，降低了視頻清晰度對(duì)處理的影響程度。

應(yīng)理解，在本發(fā)明實(shí)施例中，上述各過程的序號(hào)的大小并不意味著執(zhí)行順序的先后，各過程的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定，而不應(yīng)對(duì)本發(fā)明實(shí)施例的實(shí)施過程構(gòu)成任何限定。

對(duì)應(yīng)于本發(fā)明實(shí)施例所提供的人臉追蹤的方法，圖7示出了本發(fā)明實(shí)施例提供的人臉追蹤的裝置的結(jié)構(gòu)框圖。為了便于說明，僅示出了與本實(shí)施例相關(guān)的部分。

參照?qǐng)D7，該人臉追蹤的裝置包括：

獲取單元71，用于獲取人臉檢測(cè)框在上一圖像幀中的圖像位置。

定位單元72，用于在當(dāng)前圖像幀中，定位出相同所述圖像位置的區(qū)域。

對(duì)齊單元73，用于將所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像與所述人臉檢測(cè)框中人臉的正面模板進(jìn)行人臉對(duì)齊，獲取所述當(dāng)前圖像中所述人臉的特征點(diǎn)位置。

計(jì)算單元74，用于根據(jù)獲取到的所述特征點(diǎn)位置，在所述當(dāng)前圖像幀中確定出人臉檢測(cè)框。

優(yōu)選地，所述裝置還包括第一檢測(cè)單元，所述第一檢測(cè)單元用于：

在所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)，檢測(cè)是否有人臉圖像。

若未檢測(cè)到人臉圖像，對(duì)所述當(dāng)前圖像幀進(jìn)行全局的人臉檢測(cè)，以重新對(duì)所述區(qū)域進(jìn)行定位。

優(yōu)選地，所述裝置還包括第二檢測(cè)單元，所述第二檢測(cè)單元用于：

在所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)，檢測(cè)是否有人臉圖像。

若未檢測(cè)到人臉圖像，則將下一圖像幀作為所述當(dāng)前圖像幀處理。

優(yōu)選地，所述裝置還包括第三檢測(cè)單元，所述第三檢測(cè)單元用于：

若在連續(xù)預(yù)設(shè)幀數(shù)的圖像幀中都未檢測(cè)到人臉，則對(duì)所述當(dāng)前幀圖像進(jìn)行全局的人臉檢測(cè)，以重新對(duì)所述區(qū)域進(jìn)行定位。

優(yōu)選地，所述對(duì)齊單元73用于：

對(duì)所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像進(jìn)行仿射變換，以使該區(qū)域內(nèi)的人臉圖像變換為正面的人臉圖像。

將所述正面的人臉圖像與所述人臉檢測(cè)框中人臉的正面模板進(jìn)行人臉對(duì)齊，獲取所述正面的人臉圖像中人臉的特征點(diǎn)位置。

對(duì)所述正面的人臉圖像進(jìn)行仿射變換，變換為所述當(dāng)前圖像幀中定位出的區(qū)域內(nèi)的圖像，獲取所述當(dāng)前圖像幀中所述人臉的特征點(diǎn)位置。

本發(fā)明實(shí)施例中，通過將視頻中人臉檢測(cè)框在上一圖像幀中的圖像位置作為當(dāng)前圖像幀進(jìn)行人臉對(duì)齊的圖像區(qū)域的位置，對(duì)該區(qū)域的圖像進(jìn)行人臉對(duì)齊定位出人臉的特征點(diǎn)位置，并根據(jù)人臉的特征點(diǎn)的位置確定出當(dāng)前圖像幀中人臉檢測(cè)框。本發(fā)明實(shí)施例對(duì)視頻圖像進(jìn)行人臉追蹤時(shí)不需要對(duì)視頻中每幀圖像都進(jìn)行全局檢測(cè)，減少了對(duì)視頻人臉追蹤的運(yùn)算量，提高了處理效率，降低了視頻清晰度對(duì)處理的影響程度。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。