本技術(shù)涉及人臉關(guān)鍵點檢測，具體提供一種人臉關(guān)鍵點檢測方法、存儲介質(zhì)及智能設(shè)備。

背景技術(shù)：

1、人臉關(guān)鍵點檢測指定位出人臉面部的關(guān)鍵區(qū)域位置，包括眉毛、眼睛、鼻子、嘴巴、臉部輪廓等。人臉關(guān)鍵點檢測容易受到光照、遮擋、姿態(tài)等多種因素影響，特別是在特殊環(huán)境如車艙內(nèi)環(huán)境，車內(nèi)光照、人臉姿勢、遮擋物、座位位置都會影響人臉關(guān)鍵點檢測的準(zhǔn)確性。常規(guī)的人臉關(guān)鍵點檢測方案通常僅關(guān)注關(guān)鍵點位置，未能有效整合、利用其他特征。因此，無法準(zhǔn)確、全面解決車載環(huán)境下的人臉關(guān)鍵點檢測問題。

2、相應(yīng)地，本領(lǐng)域需要一種新的人臉關(guān)鍵點檢測方案來解決上述問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)旨在解決上述技術(shù)問題，即，解決人臉關(guān)鍵點檢測未能有效整合、利用其他特征導(dǎo)致檢測準(zhǔn)確性較差的問題。

2、在第一方面，本技術(shù)提供一種人臉關(guān)鍵點檢測方法，包括：獲取人臉圖像；將所述人臉圖像輸入已訓(xùn)練的檢測模型得到人臉關(guān)鍵點檢測結(jié)果，其中，所述檢測模型包括用于提取圖像特征的骨干網(wǎng)、與所述骨干網(wǎng)連接的關(guān)鍵點位置檢測頭以及與所述骨干網(wǎng)連接的輔助信息檢測頭。

3、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，所述方法還包括：對所述檢測模型進(jìn)行訓(xùn)練，其中所述訓(xùn)練包括對所述骨干網(wǎng)、所述關(guān)鍵點位置檢測頭以及所述輔助信息檢測頭協(xié)同訓(xùn)練，并且所使用的損失函數(shù)為：loss總＝λ1×loss1+λ2×loss2，其中所述loss1為所述關(guān)鍵點位置檢測頭所使用的損失函數(shù)，λ1為其對應(yīng)的權(quán)重；loss2為所述輔助信息檢測頭所使用的損失函數(shù)，λ2為其對應(yīng)的權(quán)重，loss總為所述檢測模型總的損失函數(shù)。

4、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，所述loss1為smooth?l1損失函數(shù)。

5、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，所述loss1由smooth?l1損失函數(shù)和數(shù)據(jù)增強損失函數(shù)losstransform組成：loss1＝w1×smooth?l1+w2×losstransform，其中，所述losstransform表示第一預(yù)測結(jié)果和第二預(yù)測結(jié)果的差，其中，所述第一預(yù)測結(jié)果是對原始人臉圖像樣本經(jīng)過數(shù)據(jù)增強后輸入所述檢測模型獲取的關(guān)鍵點位置預(yù)測結(jié)果a并將所述預(yù)測結(jié)果a經(jīng)過數(shù)據(jù)增強逆處理得到的；所述第二預(yù)測結(jié)果是原始人臉圖像樣本輸入所述檢測模型獲取的關(guān)鍵點位置預(yù)測結(jié)果b，并且其中w1和w2為權(quán)重。

6、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，所述輔助信息檢測頭包括：關(guān)鍵點可見性檢測頭和/或頭部姿態(tài)檢測頭。

7、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，當(dāng)所述輔助信息檢測頭為關(guān)鍵點可見性檢測頭，所述loss2為交叉熵?fù)p失函數(shù)。

8、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，當(dāng)所述輔助信息檢測頭為頭部姿態(tài)檢測頭，所述loss2為smooth?l1損失函數(shù)或者loss2＝w3×smooth?l1損失函數(shù)+w4×ranking損失函數(shù)，其中w3和w4為權(quán)重。

9、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，當(dāng)所述輔助信息檢測頭由關(guān)鍵點可見性檢測頭和頭部姿態(tài)檢測頭組成，所述loss2＝w5×交叉熵?fù)p失函數(shù)+w6×smooth?l1損失函數(shù)；或者所述loss2＝w5×交叉熵?fù)p失函數(shù)+w3×smooth?l1損失函數(shù)+w4×ranking損失函數(shù)，其中w3-w6為權(quán)重。

10、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，人臉圖像訓(xùn)練樣本包括可見光圖以及紅外圖兩種模態(tài)的人臉圖像。

11、在上述人臉關(guān)鍵點檢測方法的一個技術(shù)方案中，人臉圖像訓(xùn)練樣本包括第一類訓(xùn)練樣本和第二類訓(xùn)練樣本，其中所述第一類訓(xùn)練樣本包括第一數(shù)量的人臉關(guān)鍵點，所述第二類訓(xùn)練樣本包括第二數(shù)量的人臉關(guān)鍵點。

12、在第二方面，本技術(shù)提供一種人臉關(guān)鍵點檢測裝置，包括：獲取模塊，用于獲取人臉圖像；檢測模塊，用于將所述人臉圖像輸入已訓(xùn)練的檢測模型得到人臉關(guān)鍵點檢測結(jié)果，其中，所述檢測模型包括用于提取圖像特征的骨干網(wǎng)、與所述骨干網(wǎng)連接的關(guān)鍵點位置檢測頭以及與所述骨干網(wǎng)連接的輔助信息檢測頭。

13、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，所述裝置還包括：訓(xùn)練模塊，用于對所述檢測模型進(jìn)行訓(xùn)練，其中所述訓(xùn)練包括對所述骨干網(wǎng)、所述關(guān)鍵點位置檢測頭以及所述輔助信息檢測頭協(xié)同訓(xùn)練，并且所使用的損失函數(shù)為：loss總＝λ1×loss1+λ2×loss2，其中所述loss1為所述關(guān)鍵點位置檢測頭所使用的損失函數(shù)，λ1為其對應(yīng)的權(quán)重；loss2為所述輔助信息檢測頭所使用的損失函數(shù)，λ2為其對應(yīng)的權(quán)重，loss總為所述檢測模型總的損失函數(shù)。

14、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，所述loss1為smooth?l1損失函數(shù)。

15、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，所述loss1由smooth?l1損失函數(shù)和數(shù)據(jù)增強損失函數(shù)losstransform組成：loss1＝w1×smooth?l1+w2×losstransform，其中，所述losstransform表示第一預(yù)測結(jié)果和第二預(yù)測結(jié)果的差，其中，所述第一預(yù)測結(jié)果是對原始人臉圖像樣本經(jīng)過數(shù)據(jù)增強后輸入所述檢測模型獲取的關(guān)鍵點位置預(yù)測結(jié)果a并將所述預(yù)測結(jié)果a經(jīng)過數(shù)據(jù)增強逆處理得到的；所述第二預(yù)測結(jié)果是原始人臉圖像樣本輸入所述檢測模型獲取的關(guān)鍵點位置預(yù)測結(jié)果b，并且其中w1和w2為權(quán)重。

16、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，所述輔助信息檢測頭包括：關(guān)鍵點可見性檢測頭和/或頭部姿態(tài)檢測頭。

17、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，當(dāng)所述輔助信息檢測頭為關(guān)鍵點可見性檢測頭，所述loss2為交叉熵?fù)p失函數(shù)。

18、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，當(dāng)所述輔助信息檢測頭為頭部姿態(tài)檢測頭，所述loss2為smooth?l1損失函數(shù)或者loss2＝w3×smooth?l1損失函數(shù)+w4×ranking損失函數(shù)，其中w3和w4為權(quán)重。

19、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，當(dāng)所述輔助信息檢測頭由關(guān)鍵點可見性檢測頭和頭部姿態(tài)檢測頭組成，所述loss2＝w5×交叉熵?fù)p失函數(shù)+w6×smooth?l1損失函數(shù)；或者所述loss2＝w5×交叉熵?fù)p失函數(shù)+w3×smooth?l1損失函數(shù)+w4×ranking損失函數(shù)，其中w3-w6為權(quán)重。

20、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，人臉圖像訓(xùn)練樣本包括可見光圖以及紅外圖兩種模態(tài)的人臉圖像。

21、在上述人臉關(guān)鍵點檢測裝置的一個技術(shù)方案中，人臉圖像訓(xùn)練樣本包括第一類訓(xùn)練樣本和第二類訓(xùn)練樣本，其中所述第一類訓(xùn)練樣本包括第一數(shù)量的人臉關(guān)鍵點，所述第二類訓(xùn)練樣本包括第二數(shù)量的人臉關(guān)鍵點。

22、方案1.一種人臉關(guān)鍵點檢測方法，其特征在于，所述方法包括：

23、獲取人臉圖像；

24、將所述人臉圖像輸入已訓(xùn)練的檢測模型得到人臉關(guān)鍵點檢測結(jié)果，

25、其中，所述檢測模型包括用于提取圖像特征的骨干網(wǎng)、與所述骨干網(wǎng)連接的關(guān)鍵點位置檢測頭以及與所述骨干網(wǎng)連接的輔助信息檢測頭。

26、方案2.根據(jù)方案1所述的人臉關(guān)鍵點檢測方法，其特征在于，所述方法還包括：

27、對所述檢測模型進(jìn)行訓(xùn)練，其中所述訓(xùn)練包括對所述骨干網(wǎng)、所述關(guān)鍵點位置檢測頭以及所述輔助信息檢測頭協(xié)同訓(xùn)練，并且所使用的損失函數(shù)為：

28、loss總＝λ1×loss1+λ2×loss2，其中所述loss1為所述關(guān)鍵點位置檢測頭所使用的損失函數(shù)，λ1為其對應(yīng)的權(quán)重；loss2為所述輔助信息檢測頭所使用的損失函數(shù)，λ2為其對應(yīng)的權(quán)重，loss總為所述檢測模型總的損失函數(shù)。

29、方案3.根據(jù)方案2所述的人臉關(guān)鍵點檢測方法，其特征在于，所述loss1為smoothl1損失函數(shù)。

30、方案4.根據(jù)方案2所述的人臉關(guān)鍵點檢測方法，其特征在于，所述loss1由smoothl1損失函數(shù)和數(shù)據(jù)增強損失函數(shù)losstransform組成：

31、loss1＝w1×smooth?l1+w2×losstransform，

32、其中，所述losstransform表示第一預(yù)測結(jié)果和第二預(yù)測結(jié)果的差，其中，所述第一預(yù)測結(jié)果是對原始人臉圖像樣本經(jīng)過數(shù)據(jù)增強后輸入所述檢測模型獲取的關(guān)鍵點位置預(yù)測結(jié)果a并將所述預(yù)測結(jié)果a經(jīng)過數(shù)據(jù)增強逆處理得到的；所述第二預(yù)測結(jié)果是原始人臉圖像樣本輸入所述檢測模型獲取的關(guān)鍵點位置預(yù)測結(jié)果b，并且其中w1和w2為權(quán)重。

33、方案5.根據(jù)方案2所述的人臉關(guān)鍵點檢測方法，其特征在于，所述輔助信息檢測頭包括：關(guān)鍵點可見性檢測頭和/或頭部姿態(tài)檢測頭。

34、方案6.根據(jù)方案5所述的人臉關(guān)鍵點檢測方法，其特征在于，

35、當(dāng)所述輔助信息檢測頭為關(guān)鍵點可見性檢測頭，所述loss2為交叉熵?fù)p失函數(shù)。

36、方案7.根據(jù)方案5所述的人臉關(guān)鍵點檢測方法，其特征在于，

37、當(dāng)所述輔助信息檢測頭為頭部姿態(tài)檢測頭，所述loss2為smooth?l1損失函數(shù)或者loss2＝w3×smooth?l1損失函數(shù)+w4×ranking損失函數(shù)，其中w3和w4為權(quán)重。

38、方案8.根據(jù)方案5所述的人臉關(guān)鍵點檢測方法，其特征在于，

39、當(dāng)所述輔助信息檢測頭由關(guān)鍵點可見性檢測頭和頭部姿態(tài)檢測頭組成，所述loss2＝w5×交叉熵?fù)p失函數(shù)+w6×smooth?l1損失函數(shù)；或者所述loss2＝w5×交叉熵?fù)p失函數(shù)+w3×smooth?l1損失函數(shù)+w4×ranking損失函數(shù)，其中w3-w6為權(quán)重。

40、方案9.根據(jù)方案2-8中任一項所述的人臉關(guān)鍵點檢測方法，其特征在于，人臉圖像訓(xùn)練樣本包括可見光圖以及紅外圖兩種模態(tài)的人臉圖像。

41、方案10.根據(jù)方案2-8中任一項所述的人臉關(guān)鍵點檢測方法，其特征在于，人臉圖像訓(xùn)練樣本包括第一類訓(xùn)練樣本和第二類訓(xùn)練樣本，其中所述第一類訓(xùn)練樣本包括第一數(shù)量的人臉關(guān)鍵點，所述第二類訓(xùn)練樣本包括第二數(shù)量的人臉關(guān)鍵點。

42、方案11.根據(jù)方案2-8中任一項所述的人臉關(guān)鍵點檢測方法，其特征在于，所述訓(xùn)練分為多個批次，不同批次的訓(xùn)練樣本采用不同的數(shù)據(jù)增強方式進(jìn)行數(shù)據(jù)增強。

43、方案12.一種計算機可讀存儲介質(zhì)，其中存儲有多條程序代碼，其特征在于，所述程序代碼適于由處理器加載并運行以執(zhí)行方案1至11中任一項所述的人臉關(guān)鍵點檢測方法。

44、方案13.一種智能設(shè)備，其特征在于，所述智能設(shè)備包括：

45、至少一個處理器；

46、以及，與所述至少一個處理器通信連接的存儲器；

47、其中，所述存儲器中存儲有計算機程序，所述計算機程序被所述至少一個處理器執(zhí)行時實現(xiàn)方案1至11中任一項所述的人臉關(guān)鍵點檢測方法。

48、本技術(shù)上述一個或多個技術(shù)方案，至少具有如下一種或多種

49、有益效果：

50、在實施本技術(shù)的技術(shù)方案中，檢測模型包括用于提取圖像特征的骨干網(wǎng)、與骨干網(wǎng)連接的關(guān)鍵點位置檢測頭以及與骨干網(wǎng)連接的輔助信息檢測頭，使用訓(xùn)練后的檢測模型進(jìn)行人臉關(guān)鍵點檢測，解決了人臉關(guān)鍵點檢測未能有效整合、利用其他特征導(dǎo)致檢測準(zhǔn)確性較差的問題。

51、在實施本技術(shù)的技術(shù)方案中，通過設(shè)置檢測頭(網(wǎng)絡(luò)頭)的權(quán)重可以實現(xiàn)平衡不同檢測任務(wù)間優(yōu)化程度的目的。由于某些任務(wù)的優(yōu)化一定程度上有助于其他任務(wù)的改進(jìn)，因此達(dá)到了創(chuàng)建一個正向的訓(xùn)練環(huán)境，使多個任務(wù)的整體性能得到提升的效果。此外，為每個網(wǎng)絡(luò)頭損失函數(shù)設(shè)置對應(yīng)的權(quán)重，實現(xiàn)了在降低多個任務(wù)之間干擾的同時，充分利用任務(wù)之間相關(guān)性的目的，達(dá)到了提升模型整體預(yù)測性能和穩(wěn)定性的效果。

52、在實施本技術(shù)的技術(shù)方案中，多個網(wǎng)絡(luò)頭共用骨干網(wǎng)(基礎(chǔ)網(wǎng)絡(luò))從人臉圖像上提取的通用特征，并采用不同的損失函數(shù)衡量各任務(wù)預(yù)測結(jié)果與實際結(jié)果間的誤差，將多個損失函數(shù)的加權(quán)和作為整體檢測模型的損失函數(shù)，實現(xiàn)了使多任務(wù)之間共享信息、互相協(xié)作的目的，進(jìn)一步提升了模型的整體性能。

53、在實施本技術(shù)的技術(shù)方案中，使用可見光圖以及紅外圖兩種模態(tài)的人臉圖像訓(xùn)練檢測模型，達(dá)到了提高模型泛用性的目的，為車載環(huán)境下人臉關(guān)鍵點檢測存在多模態(tài)人臉圖像的問題提供了有效的解決方案。

54、在實施本技術(shù)的技術(shù)方案中，通過設(shè)置兩種模態(tài)和/或兩種關(guān)鍵點數(shù)量的人臉圖像采樣比例，實現(xiàn)了通過調(diào)整訓(xùn)練數(shù)據(jù)(人臉圖像訓(xùn)練樣本)來提高模型性能的目的，達(dá)到了進(jìn)一步提高人臉關(guān)鍵點檢測準(zhǔn)確性的效果。

55、在實施本技術(shù)的技術(shù)方案中，通過對人臉圖像進(jìn)行數(shù)據(jù)增強處理，達(dá)到了擴充訓(xùn)練數(shù)據(jù)以及提升檢測模型魯棒性的效果，從而實現(xiàn)了提高人臉關(guān)鍵點檢測可靠性和準(zhǔn)確性的目的。

56、在實施本技術(shù)的技術(shù)方案中，將數(shù)據(jù)增強前和數(shù)據(jù)增強后兩個不同路徑上的人臉數(shù)據(jù)的預(yù)測結(jié)果進(jìn)行對比，相當(dāng)于引入了一個額外的自監(jiān)督信號指導(dǎo)檢測模型訓(xùn)練，達(dá)到了增強模型魯棒性和泛化能力的效果。