本發(fā)明涉及生命體征監(jiān)測及數(shù)據(jù)融合領(lǐng)域，具體涉及一種非接觸式身體生理信號采集系統(tǒng)及方法。

背景技術(shù)：

1、目前，市場上的身體生理信號采集設(shè)備分為幾種形態(tài)：

2、第一種是臺式監(jiān)測設(shè)備，使用場景在醫(yī)院科室由專業(yè)醫(yī)師、護(hù)士操作使用，一般為重癥患者常規(guī)生理特征的監(jiān)測。例如深圳市科曼醫(yī)療設(shè)備有限公司生產(chǎn)的c100型心血管專用監(jiān)護(hù)儀。

3、臺式監(jiān)測設(shè)備的缺陷也很明顯：

4、1、便攜性差：體積大，通常只能在固定地點(diǎn)使用。

5、2、使用復(fù)雜：需要專業(yè)人員操作，適用于醫(yī)療機(jī)構(gòu)，而非家庭使用。

6、3、成本高：設(shè)備昂貴，維護(hù)成本也較高。

7、第二種是穿戴式監(jiān)測設(shè)備，可實(shí)現(xiàn)對亞健康、潛伏性疾病人群的常見疾病以及突發(fā)疾病的早期發(fā)現(xiàn)和預(yù)測，但該設(shè)備采集到的數(shù)據(jù)不能實(shí)時傳輸，因此無法實(shí)現(xiàn)遠(yuǎn)程實(shí)時監(jiān)控的功能，只能作為醫(yī)院里的定點(diǎn)醫(yī)療器械。例如美國vivo?metrics公司生產(chǎn)的lifeshirt。

8、穿戴式監(jiān)測設(shè)備的缺陷也很明顯：

9、1、準(zhǔn)確性受限：由于傳感器的尺寸和設(shè)計限制，可能在數(shù)據(jù)準(zhǔn)確性上稍遜于專業(yè)設(shè)備。

10、2、電池壽命：頻繁的監(jiān)測和數(shù)據(jù)傳輸可能導(dǎo)致設(shè)備續(xù)航時間有限。

11、3、依賴用戶行為：佩戴方式和位置的偏差可能影響數(shù)據(jù)的準(zhǔn)確性。

12、第三種是便攜式監(jiān)測設(shè)備，例如美國zephyr公司的bioharness便攜式生理參數(shù)測量系統(tǒng)將傳感器嵌入到胸帶上。使用場景從在醫(yī)院科室由專業(yè)醫(yī)師操作使用，已經(jīng)可以延伸至家庭場景由自己使用。

13、便攜式監(jiān)測設(shè)備的缺陷也很明顯：

14、1、使用不便：盡管便攜，但仍需手動操作，使用時可能不如穿戴式設(shè)備方便。

15、2、需要皮膚接觸：部分皮膚敏感者會感到強(qiáng)烈不適。

16、3、要專業(yè)操作：有些設(shè)備可能需要一定的專業(yè)知識或培訓(xùn)才能正確使用。

技術(shù)實(shí)現(xiàn)思路

1、為針對以上問題并進(jìn)行解決，本發(fā)明提供一種非接觸式身體生理信號采集系統(tǒng)及方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供的技術(shù)方案如下：

3、一種非接觸式身體生理信號采集系統(tǒng)，包括：

4、a、人臉年齡段與性別識別功能子系統(tǒng)，用于增強(qiáng)非接觸生理參數(shù)采集系統(tǒng)的智能性和個性化服務(wù)能力，通過高清攝像頭，用于捕捉用戶的面部圖像，從面部圖像中自動識別個體的性別，男性或女性以及其所屬的年齡段；

5、人臉年齡段與性別識別功能子系統(tǒng)包括：數(shù)據(jù)預(yù)處理模塊：在圖像預(yù)處理過程中，輸入圖像origianlimage經(jīng)過轉(zhuǎn)換為深度學(xué)習(xí)模型可處理的4d張量；

6、b、非接觸遠(yuǎn)程光電容積脈搏波功能子系統(tǒng)，用于基于面部視頻的rppg信號提取，從不同信號頻率的多個增強(qiáng)視頻和相似信號頻率的時間相鄰視頻中優(yōu)化rppg估計；非接觸遠(yuǎn)程光電容積脈搏波功能子系統(tǒng)包括：視頻輸入和預(yù)處理模塊、時間分割模塊、數(shù)據(jù)增強(qiáng)模塊、信號提取模塊、模型優(yōu)化模塊和總損失函數(shù)計算模塊；

7、其中，視頻輸入和預(yù)處理模塊：用于給定一個面部視頻序列，首先使用mtcnn人臉檢測器檢測、對齊并裁剪每幀中的人臉區(qū)域；

8、時間分割模塊：用于將對齊后的視頻v分割成多個片段，每個片段包含t幀；數(shù)據(jù)增強(qiáng)模塊：用于空間增強(qiáng)：對應(yīng)用空間增強(qiáng)，即圖像旋轉(zhuǎn)0°、90°、180°和270°，水平和垂直翻轉(zhuǎn)六種來獲得多個正樣本集合；數(shù)據(jù)增強(qiáng)處理從面部視頻中隨機(jī)選擇一個視頻片段作為輸入，同時保留其他片段作為輸入的鄰居時域視頻；分別在輸入上應(yīng)用空間增強(qiáng)和可學(xué)習(xí)頻率增強(qiáng)lfa來生成正負(fù)視頻樣本；

9、信號提取模塊：用于將正負(fù)樣本和分別輸入到局部rppg專家聚合rea模塊中，以估計相應(yīng)的rppg信號；設(shè)計了本地rppg專家聚合rea模塊，用于從正負(fù)視頻樣本中提取rppg信號；

10、模型優(yōu)化模塊：用于頻率對比損失：在中的信號之間或在和之間應(yīng)用頻率對比損失；針對輸入正負(fù)樣本視頻和時間鄰域視頻產(chǎn)生的rppg信號進(jìn)行優(yōu)化；

11、總損失函數(shù)計算模塊：用于計算總損失，模型框架可從未標(biāo)記的面部視頻中學(xué)習(xí)?rppg?信號；

12、c、基于?rppg?的心率變異性和呼吸頻率監(jiān)測功能子系統(tǒng)：用于通過對得到的rppg信號進(jìn)行濾波和去噪，可應(yīng)用帶通濾波器以去除噪聲并保留心率相關(guān)的頻率成分，并通過快速傅里葉變換對rppg信號的功率譜密度進(jìn)行分析得到最大峰值頻率，即心率；

13、基于?rppg?的心率變異性和呼吸頻率監(jiān)測功能子系統(tǒng)包括：

14、rppg信號的獲取與濾波模塊：用于從視頻幀中提取出人臉區(qū)域的rppg信號，并通過模型進(jìn)行預(yù)測，得到的rppg信號隨后經(jīng)過帶通濾波器進(jìn)行處理，以去除低頻和高頻噪聲；

15、心率檢測模塊：用于在功率譜密度中找到最大的峰值頻率，對應(yīng)的頻率即為心率；

16、頻率特征的計算模塊：用于將頻率特征通過lomb-scargle周期圖計算，從ibi序列中提取低頻lf和高頻hf功率；

17、呼吸頻率rr監(jiān)測模塊：通過心率變異性的高頻峰值頻率表示。

18、一種非接觸式身體生理信號采集方法，包括如下步驟：

19、步驟a、人臉年齡段與性別識別方法，通過高清攝像頭，捕捉用戶的面部圖像；從面部圖像中自動識別個體的性別男性或女性以及其所屬的年齡段；

20、包括如下步驟：

21、步驟a-1、數(shù)據(jù)預(yù)處理：在圖像預(yù)處理過程中，輸入圖像origianlimage經(jīng)過一系列步驟轉(zhuǎn)換為深度學(xué)習(xí)模型可處理的4d張量；這些步驟包括調(diào)整圖像尺寸、進(jìn)行均值減法、rgb通道交換以及歸一化處理；

22、步驟a-2、調(diào)整尺寸：將輸入圖像的大小調(diào)整為模型接受的固定尺寸256x256像素，確保輸入圖像尺寸一致，以適應(yīng)模型的結(jié)構(gòu)要求；

23、步驟a-3、均值減法：每個像素值減去一個預(yù)定義的均值，目的是減少光照變化對模型的影響。預(yù)定義bgr三通道的均值為?[104,?117,?123]:

24、；

25、其中，c是通道索引，h?和?w?分別是圖像的高度和寬度坐標(biāo)；

26、rgb通道交換：圖像的rgb通道需要交換為bgr通道，因?yàn)橛行┠Ｐ褪腔赽gr格式訓(xùn)練的；

27、步驟a-4、歸一化處理：將圖像的像素值范圍歸一化到?[0,?1]，即每個像素值除以255；歸一化處理能夠使模型更容易訓(xùn)練和推理，減少了數(shù)值范圍的波動；

28、；

29、步驟a-5、人臉檢測：通過將預(yù)處理后的圖像輸入到人臉檢測模型facenet中，得到人臉的檢測結(jié)果，并根據(jù)置信度confidence閾值0.7，篩選出人臉框faceboxes；

30、步驟a-6、模型前向傳播：

31、；

32、；

33、為了訓(xùn)練人臉檢測模型facenet，使用了三元組損失函數(shù)。三元組由錨點(diǎn)圖像、正樣本圖像和負(fù)樣本圖像組成；目標(biāo)是確保錨點(diǎn)圖像與正樣本圖像的距離比與負(fù)樣本圖像的距離更近，并且差距至少要大于一個預(yù)定義的邊距；錨點(diǎn)圖像的嵌入向量，為正樣本圖像的嵌入向量，為負(fù)樣本圖像的嵌入向量；當(dāng)將圖像輸入到人臉檢測模型facenet中時，模型會對圖像進(jìn)行處理，并輸出檢測結(jié)果。detections是模型輸出的檢測結(jié)果，它是一個多維數(shù)組，包含檢測到的每個候選框的置信度、位置和尺寸信息；

34、步驟a-7、置信度計算：

35、；

36、在檢測結(jié)果中，置信度值表示模型對于某個區(qū)域包含人臉的確信程度；置信度越高，表示該區(qū)域是人臉的可能性越大；置信度confidence是檢測結(jié)果中的一個值，它位于detections數(shù)組的第?i?個檢測結(jié)果中；

37、檢測框bounding?box坐標(biāo)計算：

38、；

39、；

40、；

41、；

42、檢測框的坐標(biāo)是模型輸出的比例值，需要乘以原圖像的寬度和高度，轉(zhuǎn)換為實(shí)際像素坐標(biāo)。其中，x1,?y1?是檢測框的左上角坐標(biāo)，x2,?y2?是檢測框的右下角坐標(biāo)。framewidth?和?frameheight?是輸入圖像的寬度和高度，用于將檢測框的相對坐標(biāo)轉(zhuǎn)換為絕對像素坐標(biāo)；

43、步驟a-8、結(jié)果過濾：僅當(dāng)置信度超過設(shè)定的閾值0.7時，才將該檢測結(jié)果視為有效；

44、步驟a-9、性別檢測:?性別檢測模型gendernet?是一個用于性別分類的深度學(xué)習(xí)模型。它接收人臉圖像作為輸入，并預(yù)測該圖像中人物的性別為男性或女性；

45、步驟a-10、模型架構(gòu)：性別檢測模型gendernet基于深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，包含多個卷積層、池化層和全連接層，逐步提取圖像的高級特征，最后一層為softmax層，它輸出兩個節(jié)點(diǎn)，分別對應(yīng)于男性和女性。softmax函數(shù)將網(wǎng)絡(luò)的輸出轉(zhuǎn)換為兩個類別的概率值；通過選擇概率值較大的節(jié)點(diǎn)對應(yīng)的類別，模型判定圖像中的性別是男性或女性；即：

46、；

47、其中是類別，即男性或女性的得分；指的是所有可能類別，即男性和女性的得分，即所有類別的得分總和。

48、步驟a-11、年齡檢測:?年齡檢測模型?agenet也基于深度卷積神經(jīng)網(wǎng)絡(luò)，模型的最后一層softmax層，它輸出一個包含8個節(jié)點(diǎn)的向量，每個節(jié)點(diǎn)對應(yīng)一個年齡段，即0-3?歲、4-77?歲、8-14歲、15-24歲、25-37歲、38-47歲、48-53歲、54-100歲，每個區(qū)間代表一種分類輸出；即

49、；

50、其中是模型輸出的第個年齡段的得分；指的是所有可能類別（8個類別）的得分，即所有類別的得分總和。

51、還包括如下步驟：

52、步驟b、非接觸遠(yuǎn)程光電容積脈搏波測量：利用頻率相關(guān)的深度卷積神經(jīng)網(wǎng)絡(luò)dnn模型，用于基于面部視頻的遠(yuǎn)程光電容積脈搏波描記法rppg信號提取，該模型學(xué)習(xí)從不同信號頻率的多個增強(qiáng)視頻和相似信號頻率的時間相鄰視頻中優(yōu)化rppg估計；具體包括：

53、步驟b-1、視頻輸入和預(yù)處理：給定一個面部視頻序列，首先使用mtcnn人臉檢測器檢測、對齊并裁剪每幀中的人臉區(qū)域。對齊后的視頻表示為：

54、；

55、其中表示序列中的第t幀；

56、步驟b-2、時間分割：將對齊后的視頻v分割成多個片段，每個片段包含t幀。片段集合表示為，其中表示序列中的第i個片段。從中隨機(jī)選擇一個片段作為主要輸入，其余片段被視為時間鄰居，表示為；

57、步驟b-3、數(shù)據(jù)增強(qiáng)：空間增強(qiáng)：對應(yīng)用空間增強(qiáng)，即圖像旋轉(zhuǎn)0°、90°、180°和270°，水平和垂直翻轉(zhuǎn)六種來獲得多個正樣本集合，空間增強(qiáng)不會影響樣本中的內(nèi)在rppg信號，即：

58、；

59、步驟b-4、可學(xué)習(xí)頻率增強(qiáng)lfa：lfa模塊通過調(diào)制中的rppg信號生成負(fù)樣本集合，負(fù)樣本的rppg信號頻率與不同：

60、；

61、其中是lfa模塊應(yīng)用的頻率比率；

62、步驟b-5、信號提取：將正負(fù)樣本和分別輸入到局部rppg專家聚合rea模塊中，以估計相應(yīng)的rppg信號：

63、；

64、其中,和；

65、步驟b-6、模型優(yōu)化：頻率對比損失：在中的信號之間或在和之間應(yīng)用頻率對比損失：

66、；

67、步驟b-7、頻率比率一致性損失：該損失用于約束及其時間鄰居的rppg信號頻率相似，即：

68、；

69、跨視頻頻率一致性損失：

70、；

71、步驟b-8、總損失計算：

72、；

73、其中，，，為權(quán)重因子；通過上述階段，模型框架可從未標(biāo)記的面部視頻中學(xué)習(xí)?rppg?信號。

74、還包括如下步驟：

75、步驟c、基于?rppg?的心率變異性和呼吸頻率監(jiān)測功能的實(shí)現(xiàn)：?該監(jiān)測功能主要通過對得到的遠(yuǎn)程光電容積脈搏波描記法rppg信號進(jìn)行濾波和去噪實(shí)現(xiàn)；可應(yīng)用帶通濾波器以去除噪聲并保留心率相關(guān)的頻率成分，并通過快速傅里葉變換對rppg信號的功率譜密度進(jìn)行分析得到最大峰值頻率，即心率；心率變異性包括三個屬性，即低頻lf、高頻hf和lf/hf?比值，可通過分析心搏間期ibi序列，計算hrv的三個屬性指標(biāo)，而呼吸頻率與lf相關(guān)；

76、具體包括：

77、步驟c-1、rppg信號的獲取與濾波：從視頻幀中提取出人臉區(qū)域的rppg信號，并通過模型進(jìn)行預(yù)測；得到的rppg信號隨后經(jīng)過帶通濾波器進(jìn)行處理，以去除低頻和高頻噪聲；帶通濾波的頻率范圍設(shè)置為0.6?hz到4?hz。濾波后的rppg信號表示為：

78、；

79、步驟c-2、心率的計算基于快速傅里葉變換fft對rppg信號的功率譜密度psd進(jìn)行分析；具體計算如下：

80、傅里葉變換：?計算rppg信號的fft，得到頻域信號

81、；

82、?表示傅里葉變換操作，傅里葉變換將時域信號轉(zhuǎn)換為頻域信號的數(shù)學(xué)方法，它將信號從時間變化表示（時域）轉(zhuǎn)換為頻率成分的表示（頻域）。

83、功率譜密度psd：?計算頻域信號的功率譜密度：

84、；

85、步驟c-3、心率檢測：?在功率譜密度中找到最大的峰值頻率，對應(yīng)的頻率即為心率。心率的計算公式為:

86、；

87、其中，hr是心率，單位為bpm每分鐘心跳數(shù)，0.67?hz和3.33?hz分別對應(yīng)40?bpm和200?bpm，是常用的心率頻率范圍；

88、心率變異性hrv頻域特征，主要包括低頻lf和高頻hf功率及其比率；

89、心搏間期ibi是指連續(xù)心搏峰值之間的時間間隔當(dāng)給定采樣率；

90、ibi的計算公式為：

91、；

92、其中，是第個心搏峰值的位置，是第和第個峰值之間的間隔；

93、步驟c-4、頻率特征的計算：頻率特征通過lomb-scargle周期圖計算，從ibi序列中提取低頻lf和高頻hf功率；具體步驟如下：

94、步驟c-4i、頻譜估計：通過lomb-scargle方法對ibi序列進(jìn)行頻譜分析，得到頻率和功率譜；

95、；

96、步驟c-4ii、低頻和高頻功率：在頻率范圍內(nèi)選擇低頻0.04?hz?-?0.15?hz和高頻0.15?hz?-?0.4?hz區(qū)域的功率。

97、；

98、；

99、步驟c-4iii、頻譜峰值頻率：在低頻和高頻區(qū)域分別找到最高功率對應(yīng)的頻率峰值：

100、；

101、；

102、步驟c-4iiiii、頻域特征：

103、低頻峰值頻率為，反映了在低頻范圍內(nèi)，心率變異信號的主導(dǎo)頻率；

104、高頻峰值頻率為，反映了心率變異信號在高頻范圍內(nèi)的主要頻率；

105、低頻功率為，低頻功率通常用來衡量交感神經(jīng)和副交感神經(jīng)系統(tǒng)的總體活動水平；

106、高頻功率為，通常用于衡量副交感神經(jīng)系統(tǒng)的活性；

107、對低頻功率與高頻功率進(jìn)行歸一化處理:

108、?；

109、；

110、步驟c-5、呼吸頻率rr監(jiān)測：呼吸頻率可由心率變異性的高頻峰值頻率表示。

111、本發(fā)明在應(yīng)用層面具有以下有益效果：

112、本發(fā)明克服了現(xiàn)有技術(shù)的缺陷，與傳統(tǒng)的健康監(jiān)測手段相比，非接觸式式身體生理信號監(jiān)測無需穿戴設(shè)備、接觸皮膚，也能實(shí)現(xiàn)精準(zhǔn)的檢測。這種技術(shù)可以有效避免交叉感染等問題，同時改善了健康監(jiān)測的便利性與舒適性。能夠?qū)崿F(xiàn)高度自動化，使得監(jiān)測數(shù)據(jù)的采集、處理和分析更為便捷和高效。通過使用大數(shù)據(jù)分析、人工智能等技術(shù)，可以精準(zhǔn)地識別身體的各項健康指標(biāo)，并提供更全面的健康分析和風(fēng)險評估等服務(wù)。還具有實(shí)時監(jiān)測的優(yōu)點(diǎn)，可以更好地監(jiān)控疾病的進(jìn)展和治療效果，同時也可以幫助人們及時預(yù)測和預(yù)防健康問題。同時，這種技術(shù)不僅適用于個人使用，還具有廣泛的應(yīng)用前景，如醫(yī)院、高速公路、體院賽事等場景。

113、除此以外在擴(kuò)展性與兼容性方面，本發(fā)明可以與其他健康管理系統(tǒng)或智能設(shè)備無縫對接，形成一個完整的健康監(jiān)測生態(tài)系統(tǒng)。同時，它可以根據(jù)具體應(yīng)用場景靈活調(diào)整，適用于不同的人群，如老年人、慢性病患者或高強(qiáng)度運(yùn)動員等。在節(jié)能與環(huán)保方面，由于其非接觸式的設(shè)計，不需要消耗大量能源，減少了電池使用和更換的需求，具有低功耗的特點(diǎn)，符合綠色環(huán)保的理念。在高效性與多任務(wù)處理方面，本發(fā)明不僅可以實(shí)時監(jiān)測多個生理參數(shù)，還可以同時進(jìn)行數(shù)據(jù)分析和風(fēng)險評估，節(jié)省了用戶時間，提高了診斷和治療的效率。同時在成本方面，相較于傳統(tǒng)的體征監(jiān)測設(shè)備，本發(fā)明減少了硬件成本，同時大數(shù)據(jù)與人工智能技術(shù)的運(yùn)用也降低了長期的運(yùn)營和維護(hù)成本，具有更高的經(jīng)濟(jì)性。

114、本發(fā)明在技術(shù)層面具有以下有益效果：

115、1）?多roi區(qū)域提取提高魯棒性：本發(fā)明基于rppg信號的檢測，通過在皮膚上選擇多個感興趣區(qū)域（roi）進(jìn)行信號提取，能夠有效降低單一roi受環(huán)境因素影響（如光照不均、遮擋等）所帶來的誤差。通過多區(qū)域的信號融合處理，減少了偽影和噪聲的干擾，顯著提高了心率和其他生理參數(shù)檢測的魯棒性。

116、2）?信號增強(qiáng)與噪聲抑制：在多個roi中提取rppg信號后，采用平均處理的方式進(jìn)一步增強(qiáng)了信號的可信度，同時消除了由于皮膚局部運(yùn)動、微表情變化、光反射等帶來的噪聲。這樣的算法設(shè)計使得最終提取的生理信號更加穩(wěn)定，誤差更小，確保了在不同使用場景下的高精度測量。

117、3）時域與頻域分析相結(jié)合：本算法在信號處理階段不僅依賴于時域信息，還通過傅里葉變換對頻域信息進(jìn)行分析，精準(zhǔn)提取出目標(biāo)生理信號的頻率特征，如心率等。這種雙重分析方法提高了信號提取的精確度，特別是在運(yùn)動、非靜止場景下仍能保持高檢測性能。

118、4）多幀融合增強(qiáng)信號質(zhì)量：通過對多個時間幀的信號進(jìn)行融合計算，進(jìn)一步提高了rppg信號的穩(wěn)定性和精度。即便在短時間內(nèi)信號可能會有輕微波動，多個幀的融合能有效平滑這些波動，保證輸出信號的一致性和連續(xù)性。

119、5）?實(shí)時性與并行計算優(yōu)化：本發(fā)明采用并行處理技術(shù)，在進(jìn)行多個roi信號提取與融合計算時，能夠在保持較高計算精度的同時減少計算時間，從而實(shí)現(xiàn)對生理信號的實(shí)時監(jiān)控。這對于需要連續(xù)監(jiān)測的應(yīng)用場景，如醫(yī)院或運(yùn)動場合，具有重要意義。

120、6）算法自適應(yīng)性與場景優(yōu)化：該算法具有場景自適應(yīng)能力，可以根據(jù)不同的光線條件、皮膚特征（如顏色、紋理等）自動調(diào)整信號提取參數(shù)，確保在多種環(huán)境下都能獲得可靠的rppg信號。通過這種自適應(yīng)算法設(shè)計，系統(tǒng)可以在不同人群和場景中廣泛應(yīng)用。