本發(fā)明涉及計算機視覺領(lǐng)域，特別是一種低質(zhì)量人臉圖像識別方法。

背景技術(shù)：

1、本部分提供的僅僅是與本公開相關(guān)的背景信息,其并不必然是現(xiàn)有技術(shù)。

2、在公共安全、商業(yè)、醫(yī)療等多個領(lǐng)域，人臉識別技術(shù)都扮演著重要角色。然而，在實際應(yīng)用中，由于各種不可控因素，包括光照變化、姿態(tài)變化、遮擋物、設(shè)備分辨率低等，采集到的人臉圖像質(zhì)量往往較低，尤其是人臉可能會被頭發(fā)、眼鏡、口罩、帽子、圍巾等物品遮擋，這些遮擋物會遮擋部分面部特征，導(dǎo)致采集到的圖像信息不完整，從而影響人臉識別的準(zhǔn)確性和可靠性。

3、目前，遮擋人臉識別的主要思想是先進行遮擋物檢測，檢測出遮擋物區(qū)域，使該區(qū)域特征盡可能少或完全不參與之后的識別過程。主要的研究方法包括主分量分析法(pca)、局部特征法(如局部二值模式lbp)等。這些方法通過對比遮擋人臉與非遮擋人臉子空間上的絕對誤差來判斷遮擋物體區(qū)域，或者通過提取局部紋理特征來進行識別。但是這些傳統(tǒng)方法無法有效提高遮擋情況下的識別效果，遮擋的位置、大小、形狀以及類型都可能不同，增加了識別難度。在部分特征被遮擋的情況下如何有效地提取關(guān)鍵特征進行匹配是一大挑戰(zhàn)。

技術(shù)實現(xiàn)思路

1、發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種低質(zhì)量人臉圖像識別方法。

2、一種低質(zhì)量人臉圖像識別方法，方法包括：

3、步驟1：人臉檢測，獲取人臉位置信息，通過人臉檢測模型獲取圖像中各個人臉的位置坐標(biāo)信息。

4、步驟2：比例計算，根據(jù)步驟1得到的人臉位置信息，進行人臉關(guān)鍵點遮擋檢測并獲取人臉遮擋區(qū)域，根據(jù)所述遮擋區(qū)域計算人臉圖片遮擋比例。

5、步驟3：遮擋圖像預(yù)處理，提取遮擋人臉特征。

6、步驟4：訓(xùn)練遮擋擦除網(wǎng)絡(luò)，根據(jù)步驟2得到的人臉擋比例、步驟3得到的遮擋人臉特征以及無遮擋人臉圖像特征數(shù)據(jù)，訓(xùn)練遮擋擦除網(wǎng)絡(luò)。遮擋擦除網(wǎng)絡(luò)的輸出和無遮擋人臉圖像特征的乘積，與遮擋人臉圖像的特征具有較大的相似度。

7、步驟5：利用步驟1-4得到的遮擋擦除網(wǎng)絡(luò)識別人臉圖像。對目標(biāo)人臉識別時，如果是無遮擋人臉圖像，則直接與原始人臉圖像特征進行比對識別；如果是有遮擋人臉圖像，則根據(jù)人臉遮擋比例，獲取對應(yīng)的遮擋擦除網(wǎng)絡(luò)，計算遮擋擦除網(wǎng)絡(luò)輸出與無遮擋人臉圖像特征的乘積，與遮擋人臉特殊處理后提取的特征值進行比對識別。

8、進一步的，步驟1的人臉檢測包括：

9、步驟1-1：根據(jù)人臉檢測模型retinaface對圖像中的人臉進行檢測，得到圖像中所有人臉對應(yīng)的位置。

10、步驟1-2：得到人臉外接矩形在圖像中的坐標(biāo)，以及人臉關(guān)鍵點的位置信息。

11、進一步的，步驟2所述人臉關(guān)鍵點遮擋檢測包括：

12、步驟2-1：對每個人臉關(guān)鍵點構(gòu)建2d熱力圖，訓(xùn)練人臉關(guān)鍵點遮擋檢測模型。

13、步驟2-2：采用人臉關(guān)鍵點遮擋檢測模型對每個關(guān)鍵點進行檢測，得到每個關(guān)鍵點的遮擋信息，所述遮擋信息包括關(guān)鍵點位置和置信度。

14、步驟2-3：根據(jù)置信度閾值，判斷人臉關(guān)鍵點是否被遮擋。

15、進一步的，步驟3所述圖像預(yù)處理包括，

16、步驟3-1：判斷是否人臉圖像眼部區(qū)域是否被遮擋。

17、步驟3-2：如果眼部區(qū)域在遮擋區(qū)域內(nèi)，則將被遮擋的眼部區(qū)域顏色rgb值設(shè)為(120,120,120)；非眼部遮擋區(qū)域顏色設(shè)定為其他非遮擋區(qū)域顏色的均值，即rgb設(shè)值為avg(sum(r,g,b))，其中sum()為計算總和，avg()為計算平均值。

18、步驟3-3：如果眼部區(qū)域不在遮擋區(qū)域內(nèi)，則將遮擋區(qū)域顏色設(shè)為其他非遮擋區(qū)域顏色的均值，即rgb設(shè)值為avg(sum(r,g,b))，其中sum()為計算總和，avg()為計算平均值。

19、進一步的，步驟4所述訓(xùn)練遮擋擦除網(wǎng)絡(luò)包括，根據(jù)無遮擋人臉特征數(shù)據(jù)、遮擋人臉比例與遮擋擦除網(wǎng)絡(luò)的乘積以及遮擋人臉特征數(shù)據(jù)，采用arcface-loss進行模型訓(xùn)練，獲取遮擋擦除網(wǎng)絡(luò)參數(shù)，其中無遮擋與有遮擋人臉特征提取網(wǎng)絡(luò)采用arcface網(wǎng)絡(luò)模型實現(xiàn)，構(gòu)建兩個使用prelu作為激活函數(shù)的全連接層作為遮擋擦除網(wǎng)絡(luò)，遮擋比例、無遮擋人臉特征與遮擋擦除網(wǎng)絡(luò)的乘積，與遮擋人臉特征計算損失，并反向傳播更新擦除網(wǎng)絡(luò)參數(shù)。

20、進一步的，步驟4所述無遮擋人臉特征數(shù)據(jù)是采用人工選取的同一人的多個不同的無遮擋人臉圖像，通過arcface網(wǎng)絡(luò)模型提取到的，進而存入人臉庫；遮擋人臉比例與遮擋擦除網(wǎng)絡(luò)的乘積得到的遮擋人臉圖像包括不同的遮擋比例。

21、進一步的，步驟5所述識別人臉圖像具體包括，

22、步驟5-1：根據(jù)遮擋擦除網(wǎng)絡(luò)與遮擋比例獲取人臉遮擋擦除特征。

23、步驟5-2：計算人臉擦除特征與人臉遮擋特征數(shù)據(jù)之間的相似度。

24、步驟5-3：將大于相似度閾值的人臉特征數(shù)據(jù)對應(yīng)的人臉信息，作為當(dāng)前人臉識別的結(jié)果。

25、進一步的，步驟2所述人臉關(guān)鍵點包括68個。

26、進一步的，步驟2所述遮擋比例包括水平遮擋比例以及豎直遮擋比例，所述遮擋比例為遮擋區(qū)域與人臉整體大小的比值。水平遮擋在此指類似口罩、遮陽鏡的遮擋；豎直遮擋在此指人臉拍攝角度、強側(cè)光引起的只看到半張臉的遮擋。步驟2中訓(xùn)練遮擋擦除網(wǎng)絡(luò)用到的數(shù)據(jù)人臉遮擋比例不大于0.7。

27、進一步的，步驟1中所述對目標(biāo)人臉識別，如果是無遮擋人臉圖像，則直接與人臉庫中無遮擋人臉圖像特征進行比對識別；如果是有遮擋人臉圖像，則對人臉遮擋區(qū)域進行特殊處理，根據(jù)人臉遮擋比例和對應(yīng)的遮擋擦除網(wǎng)絡(luò)，計算遮擋擦除網(wǎng)絡(luò)與無遮擋人臉圖像特征的乘積值，與遮擋人臉特殊處理后提取的特征值進行比對識別。

28、本發(fā)明針對人臉遮擋問題，訓(xùn)練人臉關(guān)鍵點遮擋檢測模型，獲取人臉遮擋比例，根據(jù)人臉遮擋比例與無遮擋人臉特征數(shù)據(jù)聯(lián)合訓(xùn)練人臉遮擋擦除網(wǎng)絡(luò)。對于遮擋人臉識別，引入人臉遮擋擦除網(wǎng)絡(luò)，提高了遮擋人臉圖片的識別效果。

技術(shù)特征：

1.一種低質(zhì)量人臉圖像識別方法，其特征在于，方法包括：

2.根據(jù)權(quán)利要求1所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟1的人臉檢測包括：

3.根據(jù)權(quán)利要求1所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟2所述人臉關(guān)鍵點遮擋檢測包括：

4.根據(jù)權(quán)利要求1所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟3所述圖像預(yù)處理包括，

5.根據(jù)權(quán)利要求1所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟4所述訓(xùn)練遮擋擦除網(wǎng)絡(luò)包括，

6.根據(jù)權(quán)利要求5所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟4所述無遮擋人臉特征數(shù)據(jù)是采用人工選取的同一人的多個不同的無遮擋人臉圖像，通過arcface網(wǎng)絡(luò)模型提取到的，進而存入人臉庫；遮擋人臉比例與遮擋擦除網(wǎng)絡(luò)的乘積得到的遮擋人臉圖像包括不同的遮擋比例。

7.根據(jù)權(quán)利要求1所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟5所述識別人臉圖像具體包括，

8.根據(jù)權(quán)利要求1所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟2所述關(guān)鍵點包括68個。

9.根據(jù)權(quán)利要求1所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟2所述遮擋比例包括水平遮擋比例以及豎直遮擋比例，所述遮擋比例為遮擋區(qū)域與人臉整體大小的比值。

10.根據(jù)權(quán)利要求9所述的低質(zhì)量人臉圖像識別方法，其特征在于，步驟2中訓(xùn)練遮擋擦除網(wǎng)絡(luò)用到的數(shù)據(jù)人臉遮擋比例不大于0.7。

技術(shù)總結(jié)
本發(fā)明提出了一種低質(zhì)量人臉圖像識別方法，可以根據(jù)不同比例的遮擋和無遮擋人臉圖像的特征對遮擋人臉圖像進行有效識別，具體包括：提取無遮擋人臉圖像特征，根據(jù)人臉的不同遮擋比例值和無遮擋人臉圖像特征，訓(xùn)練不同的遮擋擦除網(wǎng)絡(luò)，使得遮擋擦除網(wǎng)絡(luò)和無遮擋人臉圖像特征的乘積，與遮擋人臉圖像的特征基本一致。對目標(biāo)人臉識別時，如果是無遮擋人臉圖像，則直接與原始人臉圖像特征進行比對識別；如果是有遮擋人臉圖像，則根據(jù)人臉遮擋比例，獲取對應(yīng)的遮擋擦除網(wǎng)絡(luò)，計算遮擋擦除網(wǎng)絡(luò)與無遮擋人臉圖像特征的乘積值，與遮擋人臉特殊處理后提取的特征值進行比對識別，提高遮擋情況下人臉的識別準(zhǔn)確率。

技術(shù)研發(fā)人員：劉剛,賀成龍,顧學(xué)海,丁燦,尹曉陽,李惠柯
受保護的技術(shù)使用者：南京萊斯網(wǎng)信技術(shù)研究院有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30