本發(fā)明涉及非接觸式心率檢測(cè)方法，尤其是涉及一種掩膜注意力正則化的心率監(jiān)測(cè)方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、心率作為生命體征的重要指標(biāo)之一，實(shí)時(shí)反映著人體的健康狀態(tài)，心率的準(zhǔn)確監(jiān)測(cè)對(duì)診療和看護(hù)有著至關(guān)重要的價(jià)值。對(duì)于失能病人來說，由于身體機(jī)能下降，往往不能及時(shí)發(fā)現(xiàn)自己的身體問題，因此持續(xù)性心率監(jiān)測(cè)可以幫助他們及時(shí)發(fā)現(xiàn)自己的身體問題，并采取相應(yīng)的措施進(jìn)行干預(yù)治療。目前最先進(jìn)的高精度心率測(cè)量方法有心電圖法、脈搏血氧飽和度測(cè)量法和光電容積脈搏波描記法。這些方法雖然都屬于無創(chuàng)監(jiān)測(cè)，但因?yàn)樾碾娦盘?hào)和ppg信號(hào)的獲取是通過一些電極或接觸式傳感器獲得的，使用不方便且會(huì)給人體帶來一些不適。遠(yuǎn)程光電容積脈搏波描記法(rppg)可以遠(yuǎn)程測(cè)量心率，屬于非接觸式監(jiān)測(cè)技術(shù)，能夠通過實(shí)時(shí)圖像分析血液體積脈沖信號(hào)(bvp)信號(hào)，進(jìn)而獲取心率值(hr)及心率變化，因此對(duì)于估測(cè)人員的心理和生理狀態(tài)起著重大作用，在醫(yī)療方面的應(yīng)用亦具有廣闊前景。近些年，基于深度學(xué)習(xí)的心率監(jiān)測(cè)rppg方案顯示出不錯(cuò)的效果。

2、例如中國(guó)專利cn116994310a公開了一種基于rppg信號(hào)的遠(yuǎn)程心率檢測(cè)方法，該現(xiàn)有技術(shù)提出了一種基于rppg信號(hào)的遠(yuǎn)程心率檢測(cè)方法，涉及非接觸式信號(hào)檢測(cè)領(lǐng)域，在roi定義階段，對(duì)人臉區(qū)域進(jìn)行定位與跟蹤，利用先驗(yàn)知識(shí)，直接選擇人臉中包含rppg信號(hào)最豐富的區(qū)域作為roi，忽略復(fù)雜環(huán)境噪聲信息和與rppg信號(hào)不相關(guān)信息的影響，利用通道、空間寬度和空間高度三個(gè)維度的注意力權(quán)重對(duì)特征圖進(jìn)行更新，有效濾除由于運(yùn)動(dòng)和光照變化產(chǎn)生的噪聲的干擾，使模型在復(fù)雜環(huán)境中仍能準(zhǔn)確提取有效rppg信號(hào)信息。使用transformer編碼器學(xué)習(xí)各幀之間的特征關(guān)系，使模型充分注意人臉視頻各幀間的時(shí)空特征關(guān)系和rppg信號(hào)全局時(shí)空特征相關(guān)性，從而預(yù)測(cè)出人臉視頻中微弱的rppg信號(hào)，進(jìn)一步提高了預(yù)測(cè)的準(zhǔn)確性和魯棒性。

3、但是上述現(xiàn)有技術(shù)存在roi定位不準(zhǔn)確，不連續(xù)等問題，這些問題會(huì)導(dǎo)致網(wǎng)絡(luò)模型退化，無法泛化至翻轉(zhuǎn)、鏡像等數(shù)據(jù)處理之后的輸入。

4、為了解決以上問題，也有一些現(xiàn)有技術(shù)，通過采用將臉部區(qū)域的特征張量分割為多個(gè)部分，然后分別得到每一部分的rppg信號(hào)，基于該rppg信號(hào)和每個(gè)區(qū)域的權(quán)重，得到最終的信號(hào)，從而可以為最明顯的區(qū)域賦予更大的權(quán)重，解決roi定位不準(zhǔn)確的問題，但是，當(dāng)在一個(gè)動(dòng)態(tài)的視頻中，難以得到較為穩(wěn)定的人臉區(qū)域，不同的區(qū)域中人臉的面積占比不同，雖然每個(gè)區(qū)域的光流變化較為明顯，但是若其面積占比較小，此時(shí)其權(quán)重可能會(huì)被設(shè)置為較低，從而影響了最終的識(shí)別準(zhǔn)確率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了提供一種掩膜注意力正則化的心率監(jiān)測(cè)方法、裝置及存儲(chǔ)介質(zhì)。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

3、一種掩膜注意力正則化的心率監(jiān)測(cè)方法，包括：

4、獲取含有面部區(qū)域的視頻；

5、對(duì)所述含有面部區(qū)域的視頻的每一幀進(jìn)行預(yù)處理，得到每一幀中的擴(kuò)展面部區(qū)域，組成擴(kuò)展面部視頻；

6、對(duì)擴(kuò)展面部視頻進(jìn)行處理，得到每一幀的特征張量，并將得到的特征張量拆分為多個(gè)部分得到的多個(gè)子特征張量，并基于對(duì)應(yīng)的圖像幀得到對(duì)應(yīng)的每一子特征張量的人臉面積；

7、基于得到的每一子特征張量和對(duì)應(yīng)的人臉面積生成輸入特征，將得到的輸入特征輸入至訓(xùn)練好的信號(hào)提取模型，得到對(duì)應(yīng)于各部分的rppg信號(hào)、注意力圖和權(quán)重；

8、基于得到的rppg信號(hào)和權(quán)重合成得到檢測(cè)信號(hào)，并基于檢測(cè)信號(hào)得到心率檢測(cè)結(jié)果。

9、所述對(duì)擴(kuò)展面部視頻進(jìn)行處理，得到每一幀的特征張量，并對(duì)得到的特征張量拆分為多個(gè)部分，并基于對(duì)應(yīng)的圖像幀得到對(duì)應(yīng)的每一部分的人臉面積，包括：

10、對(duì)擴(kuò)展面部視頻進(jìn)行處理，得到每一幀的特征張量；

11、分別將每一幀的特征張量和該幀的圖像進(jìn)行等分切割，得到多個(gè)子特征張量和圖像塊，其中各子特征張量和各圖像塊分別一一對(duì)應(yīng)；

12、獲取各圖像塊中的人臉面積作為對(duì)應(yīng)于每一子特征張量的人臉面積。

13、信號(hào)提取模型在得到對(duì)應(yīng)于各部分的rppg信號(hào)和權(quán)重的過程中，包括：

14、提取得到各部分的rppg信號(hào)后，計(jì)算各部分的rppg信號(hào)強(qiáng)度和人臉面積的比值；

15、基于所述rppg信號(hào)強(qiáng)度和人臉面積的比值，得到各部分的權(quán)重。

16、所述對(duì)所述含有面部區(qū)域的視頻的每一幀進(jìn)行預(yù)處理，得到每一幀中的擴(kuò)展面部區(qū)域，組成擴(kuò)展面部視頻，包括：

17、對(duì)所述含有面部區(qū)域的視頻的每一幀進(jìn)行預(yù)處理；

18、與預(yù)處理后的每一幀進(jìn)行人臉檢測(cè)，得到每一幀的中的擴(kuò)展面部區(qū)域，并組成得到原始面部視頻；

19、對(duì)所述原始面部視頻切分為多段，并隨機(jī)選擇一段；

20、計(jì)算所選擇的一段的光流信號(hào)強(qiáng)度，判斷是否大于預(yù)配置的閾值，若為是，則選擇下一段，反之，則將所選擇的一段作為擴(kuò)展面部視頻。

21、所述對(duì)所述原始面部視頻切分為多段的過程中，每一段中的各幀，在原始面部視頻中連續(xù)。

22、所述信號(hào)提取模型的訓(xùn)練過程包括：

23、獲取多個(gè)樣本視頻，其中，所述樣本視頻為含有心率標(biāo)注的原始面部視頻；

24、對(duì)每一個(gè)樣本視頻，提取得到多個(gè)訓(xùn)練樣本；

25、利用各訓(xùn)練樣本對(duì)信號(hào)提取模型進(jìn)行訓(xùn)練。

26、所述利用各訓(xùn)練樣本對(duì)信號(hào)提取模型進(jìn)行訓(xùn)練，包括：

27、將訓(xùn)練樣本中各幀的同一位置進(jìn)行掩碼處理；

28、將經(jīng)過掩碼處理的訓(xùn)練樣本進(jìn)行翻轉(zhuǎn)變形；

29、利用經(jīng)過翻轉(zhuǎn)變形的訓(xùn)練樣本和未反轉(zhuǎn)變形的訓(xùn)練樣本對(duì)信號(hào)提取模型進(jìn)行訓(xùn)練，直至兩者的注意力圖和檢測(cè)信號(hào)一致。

30、所述翻轉(zhuǎn)變形為水平翻轉(zhuǎn)或豎直翻轉(zhuǎn)。

31、一種掩膜注意力正則化的心率監(jiān)測(cè)裝置，包括存儲(chǔ)器、處理器，以及存儲(chǔ)于所述存儲(chǔ)器中的程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述的方法。

32、一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，所述程序被執(zhí)行時(shí)實(shí)現(xiàn)如上述的方法。

33、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

34、1、增加了各部分的人臉區(qū)域面積作為模型的輸入量，從而可以利用單位面積的rppg信號(hào)強(qiáng)度來輔助權(quán)重分配，從而可以在人臉不正導(dǎo)致的各部分的面積占比不同時(shí)，仍可以篩選出實(shí)際強(qiáng)度最大的部分賦予更大的權(quán)重，從而提高了在多姿態(tài)條件下的心率檢測(cè)的準(zhǔn)確率。

35、2、推理階段，通過光流強(qiáng)度閾值檢測(cè)的方式進(jìn)行視頻段的選擇，從而可以剔除部分不穩(wěn)定狀態(tài)，降低對(duì)于輸入視頻質(zhì)量的要求，可以從一段連續(xù)的視頻中截取得到穩(wěn)定的片段，提高了場(chǎng)景適應(yīng)性。

技術(shù)特征：

1.一種掩膜注意力正則化的心率監(jiān)測(cè)方法，包括：

2.根據(jù)權(quán)利要求1所述的一種掩膜注意力正則化的心率監(jiān)測(cè)方法，其特征在于，所述對(duì)擴(kuò)展面部視頻進(jìn)行處理，得到每一幀的特征張量，并對(duì)得到的特征張量拆分為多個(gè)部分，并基于對(duì)應(yīng)的圖像幀得到對(duì)應(yīng)的每一部分的人臉面積，包括：

3.根據(jù)權(quán)利要求2所述的一種掩膜注意力正則化的心率監(jiān)測(cè)方法，其特征在于，信號(hào)提取模型在得到對(duì)應(yīng)于各部分的rppg信號(hào)和權(quán)重的過程中，包括：

4.根據(jù)權(quán)利要求1所述的一種掩膜注意力正則化的心率監(jiān)測(cè)方法，其特征在于，所述對(duì)所述含有面部區(qū)域的視頻的每一幀進(jìn)行預(yù)處理，得到每一幀中的擴(kuò)展面部區(qū)域，組成擴(kuò)展面部視頻，包括：

5.根據(jù)權(quán)利要求4所述的一種掩膜注意力正則化的心率監(jiān)測(cè)方法，其特征在于，所述對(duì)所述原始面部視頻切分為多段的過程中，每一段中的各幀，在原始面部視頻中連續(xù)。

6.根據(jù)權(quán)利要求1所述的一種掩膜注意力正則化的心率監(jiān)測(cè)方法，其特征在于，所述信號(hào)提取模型的訓(xùn)練過程包括：

7.根據(jù)權(quán)利要求6所述的一種掩膜注意力正則化的心率監(jiān)測(cè)方法，其特征在于，所述利用各訓(xùn)練樣本對(duì)信號(hào)提取模型進(jìn)行訓(xùn)練，包括：

8.根據(jù)權(quán)利要求7所述的一種掩膜注意力正則化的心率監(jiān)測(cè)方法，其特征在于，所述翻轉(zhuǎn)變形為水平翻轉(zhuǎn)或豎直翻轉(zhuǎn)。

9.一種掩膜注意力正則化的心率監(jiān)測(cè)裝置，包括存儲(chǔ)器、處理器，以及存儲(chǔ)于所述存儲(chǔ)器中的程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-8中任一所述的方法。

10.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，其特征在于，所述程序被執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-8中任一所述的方法。

技術(shù)總結(jié)
本發(fā)明涉及一種掩膜注意力正則化的心率監(jiān)測(cè)方法、裝置及存儲(chǔ)介質(zhì)，其中方法包括：獲取含有面部區(qū)域的視頻；對(duì)所述含有面部區(qū)域的視頻的每一幀進(jìn)行預(yù)處理，得到每一幀中的擴(kuò)展面部區(qū)域，組成擴(kuò)展面部視頻；對(duì)擴(kuò)展面部視頻進(jìn)行處理，得到每一幀的特征張量，并將得到的特征張量拆分為多個(gè)部分得到的多個(gè)子特征張量，并基于對(duì)應(yīng)的圖像幀得到對(duì)應(yīng)的每一子特征張量的人臉面積；基于得到的每一子特征張量和對(duì)應(yīng)的人臉面積生成輸入特征，將得到的輸入特征輸入至訓(xùn)練好的信號(hào)提取模型，得到對(duì)應(yīng)于各部分的rPPG信號(hào)、注意力圖和權(quán)重；合成得到檢測(cè)信號(hào)，并基于檢測(cè)信號(hào)得到心率檢測(cè)結(jié)果。與現(xiàn)有技術(shù)相比，本發(fā)明具有姿態(tài)適應(yīng)度高等優(yōu)點(diǎn)。

技術(shù)研發(fā)人員：趙鵬飛,孫其功,袁鋒,傅一,陳建通
受保護(hù)的技術(shù)使用者：上海人工智能創(chuàng)新中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30