本公開涉及生理參數(shù)估計領(lǐng)域，具體涉及一種基于人臉視頻rppg信號的心跳估計方法及裝置。

背景技術(shù)：

1、近年來，基于人臉視頻的遠程光電容積描記圖(rppg)信號來估計心跳的技術(shù)得到了廣泛關(guān)注和研究。通過捕捉面部血液流動所引起的微小顏色變化來非接觸式地監(jiān)測心率，具有便捷性和非侵入性的優(yōu)勢。

2、然而，相關(guān)技術(shù)中的rppg信號處理未能充分利用信號處理的高級技術(shù)來提升心跳估計的精確度，也未設(shè)定一個有效的機制來判定估計心跳的置信度。當環(huán)境因素或其他外界干擾影響到rppg信號的質(zhì)量時，系統(tǒng)往往無法準確判斷哪些心跳估計是可信的，從而可能輸出錯誤或不精確的心率數(shù)據(jù)。因此，亟需一種改進的心跳估計方法，以提高心跳估計的準確率并有效管理信號質(zhì)量問題。

技術(shù)實現(xiàn)思路

1、本公開實施例提供一種基于人臉視頻rppg信號的心跳估計方法及裝置，旨在解決上述背景技術(shù)存在的問題。

2、為了解決上述技術(shù)問題，本公開是這樣實現(xiàn)的：

3、第一方面，本公開實施例提供了一種基于人臉視頻rppg信號的心跳估計方法，所述方法包括：

4、從待檢測的人臉視頻中，獲取每一幀基于rgb值的rppg信號；

5、對預(yù)設(shè)時間窗口內(nèi)的基于rgb值的rppg信號進行主成分分析，得到脈搏rppg信號；

6、將所述脈搏rppg信號從時域變換到頻域，在心跳有效頻率區(qū)間內(nèi)確定出心跳估計值；

7、根據(jù)所述脈搏rppg信號和所述心跳估計值，確定出信噪比；

8、在所述信噪比大于預(yù)設(shè)閾值的情況下，輸出所述脈搏rppg信號對應(yīng)的心跳估計值。

9、可選地，所述從待檢測的人臉視頻中，獲取每一幀基于rgb值的rppg信號，包括：

10、獲取待檢測的人臉視頻；

11、對所述人臉視頻逐幀進行人臉檢測，確定出多個幀的人臉區(qū)域；

12、對每一幀人臉區(qū)域進行皮膚分割，得到每一幀的多個有效皮膚像素點；

13、對每一幀的多個有效皮膚像素點的rgb值進行均值計算，得到每一幀基于rgb值的rppg信號。

14、可選地，所述對預(yù)設(shè)時間窗口內(nèi)的基于rgb值的rppg信號進行主成分分析，得到脈搏rppg信號，包括：

15、將預(yù)設(shè)時間窗口內(nèi)每一幀基于rgb值的rppg信號組織為rppg信號矩陣；

16、對所述rppg信號矩陣進行主成分分析，將三維的基于rgb值的rppg信號轉(zhuǎn)換為一維的脈搏rppg信號。

17、可選地，將所述脈搏rppg信號從時域變換到頻域，在心跳有效頻率區(qū)間內(nèi)確定出心跳估計值，包括：

18、通過快速傅里葉變換，將所述脈搏rppg信號從時域轉(zhuǎn)換到頻域，得到對應(yīng)的脈搏頻譜信號；

19、確定出所述脈搏頻譜信號在所述心跳有效頻率區(qū)間內(nèi)的峰值所對應(yīng)的峰值頻率；

20、根據(jù)所述峰值頻率，確定出心跳估計值。

21、可選地，根據(jù)所述脈搏rppg信號和所述心跳估計值，確定出信噪比，包括：

22、在所述脈搏頻譜信號中，將所述心跳估計值所對應(yīng)的峰值頻率確定為基頻；

23、根據(jù)所述基頻，從所述脈搏頻譜信號中確定出多個諧波，其中，各個諧波的頻率差為所述基頻的整數(shù)倍；

24、計算所述基頻及各個諧波的頻譜值，并將所述基頻及各個諧波的頻譜值進行疊加，得到合成脈搏信號；

25、從所述脈搏rppg信號中減去所述合成脈搏信號，提取出噪聲信號；

26、利用snr算法，根據(jù)所述合成脈搏信號和所述噪聲信號計算出信噪比。

27、可選地，在所述信噪比大于預(yù)設(shè)閾值的情況下，輸出所述脈搏rppg信號對應(yīng)的心跳估計值，包括：

28、在所述信噪比大于所述預(yù)設(shè)閾值的情況下，將所述脈搏rppg信號對應(yīng)的心跳估計值標記為有效心跳，并輸出所述有效心跳；

29、在所述信噪比小于所述預(yù)設(shè)閾值的情況下，將所述脈搏rppg信號對應(yīng)的心跳估計值標記為無效心跳，舍棄所述無效心跳，并輸出上一次確定的有效心跳。

30、可選地，所述對所述人臉視頻逐幀進行人臉檢測，確定出多個幀的人臉區(qū)域，包括：

31、使用輕量級yunet算法對所述人臉視頻的每一幀進行人臉檢測，確定每一幀人臉區(qū)域的位置和邊界；

32、根據(jù)每一幀人臉區(qū)域的位置和邊界，確定出多個幀的人臉區(qū)域。

33、可選地，對每一幀人臉區(qū)域進行皮膚分割，得到每一幀的多個有效皮膚像素點，包括：

34、使用皮膚分割算法在每一幀的人臉區(qū)域內(nèi)進行像素分類，區(qū)分皮膚區(qū)域與非皮膚區(qū)域；

35、基于顏色和紋理特征，在所述皮膚區(qū)域中提取出每一幀圖像中的有效皮膚像素點。

36、第二方面，本公開實施例提供了一種基于人臉視頻rppg信號的心跳估計裝置，所述裝置包括：

37、獲取模塊，用于從待檢測的人臉視頻中，獲取每一幀基于rgb值的rppg信號；

38、分析模塊，用于對預(yù)設(shè)時間窗口內(nèi)的基于rgb值的rppg信號進行主成分分析，得到脈搏rppg信號；

39、確定模塊，用于將所述脈搏rppg信號從時域變換到頻域，在心跳有效頻率區(qū)間內(nèi)確定出心跳估計值；

40、置信模塊，用于根據(jù)所述脈搏rppg信號和所述心跳估計值，確定出信噪比；

41、輸出模塊，用于在所述信噪比大于預(yù)設(shè)閾值的情況下，輸出所述脈搏rppg信號對應(yīng)的心跳估計值。

42、可選地，所述獲取模塊包括：

43、人臉視頻獲取子模塊，用于獲取待檢測的人臉視頻；

44、人臉區(qū)域確定子模塊，用于對所述人臉視頻逐幀進行人臉檢測，確定出多個幀的人臉區(qū)域；

45、有效皮膚像素點確定子模塊，用于對每一幀人臉區(qū)域進行皮膚分割，得到每一幀的多個有效皮膚像素點；

46、均值計算子模塊，用于對每一幀的多個有效皮膚像素點的rgb值進行均值計算，得到每一幀基于rgb值的rppg信號。

47、可選地，所述分析模塊包括：

48、組織子模塊，用于將預(yù)設(shè)時間窗口內(nèi)每一幀基于rgb值的rppg信號組織為rppg信號矩陣；

49、轉(zhuǎn)換子模塊，用于對所述rppg信號矩陣進行主成分分析，將三維的基于rgb值的rppg信號轉(zhuǎn)換為一維的脈搏rppg信號。

50、可選地，所述確定模塊包括：

51、轉(zhuǎn)換子模塊，用于通過快速傅里葉變換，將所述脈搏rppg信號從時域轉(zhuǎn)換到頻域，得到對應(yīng)的脈搏頻譜信號；

52、峰值頻率確定子模塊，用于確定出所述脈搏頻譜信號在所述心跳有效頻率區(qū)間內(nèi)的峰值所對應(yīng)的峰值頻率；

53、心跳估計值確定子模塊，用于根據(jù)所述峰值頻率，確定出心跳估計值。

54、可選地，所述置信模塊包括：

55、基頻確定子模塊，用于在所述脈搏頻譜信號中，將所述心跳估計值所對應(yīng)的峰值頻率確定為基頻；

56、諧波確定子模塊，用于根據(jù)所述基頻，從所述脈搏頻譜信號中確定出多個諧波，其中，各個諧波的頻率差為所述基頻的整數(shù)倍；

57、疊加子模塊，用于計算所述基頻及各個諧波的頻譜值，并將所述基頻及各個諧波的頻譜值進行疊加，得到合成脈搏信號；

58、噪聲提取子模塊，用于從所述脈搏rppg信號中減去所述合成脈搏信號，提取出噪聲信號；

59、信噪比計算子模塊，用于利用snr算法，根據(jù)所述合成脈搏信號和所述噪聲信號計算出信噪比。

60、可選地，所述輸出模塊包括：

61、有效心跳子模塊，用于在所述信噪比大于所述預(yù)設(shè)閾值的情況下，將所述脈搏rppg信號對應(yīng)的心跳估計值標記為有效心跳，并輸出所述有效心跳；

62、無效心跳子模塊，用于在所述信噪比小于所述預(yù)設(shè)閾值的情況下，將所述脈搏rppg信號對應(yīng)的心跳估計值標記為無效心跳，舍棄所述無效心跳，并輸出上一次確定的有效心跳。

63、可選地，所述人臉區(qū)域確定子模塊包括：

64、人臉檢測單元，用于使用輕量級yunet算法對所述人臉視頻的每一幀進行人臉檢測，確定每一幀人臉區(qū)域的位置和邊界；

65、人臉區(qū)域確定單元，用于根據(jù)每一幀人臉區(qū)域的位置和邊界，確定出多個幀的人臉區(qū)域。

66、可選地，所述有效皮膚像素點確定子模塊包括：

67、區(qū)分單元，用于使用皮膚分割算法在每一幀的人臉區(qū)域內(nèi)進行像素分類，區(qū)分皮膚區(qū)域與非皮膚區(qū)域；

68、提取單元，用于基于顏色和紋理特征，在所述皮膚區(qū)域中提取出每一幀圖像中的有效皮膚像素點。

69、第三方面，本公開實施例提供了一種電子設(shè)備，包括：處理器、存儲器及存儲在所述存儲器上并能夠在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執(zhí)行時實現(xiàn)一種基于人臉視頻rppg信號的心跳估計方法的步驟。

70、本公開的實施例提供的技術(shù)方案至少帶來以下有益效果：

71、本公開提出的基于人臉視頻rppg信號的心跳估計方法通過對每一幀視頻中的rgb值進行提取，并在預(yù)設(shè)時間窗口內(nèi)進行主成分分析，從而獲得脈搏rppg信號。通過將脈搏rppg信號從時域轉(zhuǎn)換到頻域，能夠準確地在心跳有效頻率區(qū)間內(nèi)確定心跳估計值。此外，本公開通過計算信噪比來評估心跳估計的可靠性，僅在信噪比大于預(yù)設(shè)閾值的情況下輸出心跳估計值。有效地提高了心跳估計的準確性，尤其是在面對環(huán)境干擾或外界噪聲的情況下，能夠可靠地過濾掉低質(zhì)量的信號，防止輸出錯誤的心率數(shù)據(jù)，顯著提升了系統(tǒng)的整體性能和實用性。