本發(fā)明涉及基于對(duì)人體微動(dòng)信息的提取來(lái)檢測(cè)心臟信息(脈搏波，ppg(光電容積脈搏波描記法))的方法和系統(tǒng)，更具體地，涉及一種通過(guò)采用非侵入性相機(jī)從解剖學(xué)結(jié)構(gòu)產(chǎn)生的運(yùn)動(dòng)提取微動(dòng)信息并從微動(dòng)信息提取心臟信息的方法和系統(tǒng)。

背景技術(shù)：

最近，在不斷研究從人體中提取多種生物信息，特別地，正積極展開(kāi)許多對(duì)非侵入性的生物信息采集和感測(cè)技術(shù)的研究。特別地，正在進(jìn)行使用可穿戴設(shè)備和相機(jī)的各種研究。

人眼看不到人體的微動(dòng)。特別地，即使在作出面部表情時(shí)也會(huì)出現(xiàn)微細(xì)的面部表情，這種面部表情被稱為微表情。微表情是一種瞬間無(wú)意的面部表情，或者根據(jù)無(wú)意識(shí)的情感或反應(yīng)狀態(tài)而瞬間作出。換句話說(shuō)，微表情不是有意的面部表情，而是根據(jù)生物反應(yīng)或機(jī)制進(jìn)行的運(yùn)動(dòng)。

特別地，這種微表情的運(yùn)動(dòng)和抖動(dòng)等可用于識(shí)別人的情緒狀態(tài)，并因此微表情可用于實(shí)現(xiàn)反饋系統(tǒng)(facs，面部動(dòng)作編碼系統(tǒng))。

人體的這種微動(dòng)也出現(xiàn)在除臉部之外的身體部分。身體的運(yùn)動(dòng)導(dǎo)致由于心血管系統(tǒng)和呼吸系統(tǒng)的重力而引起的機(jī)械(本能/不自覺(jué)/生理)變化。體位變化通過(guò)傳入途徑傳遞給中樞神經(jīng)系統(tǒng)，例如視覺(jué)、軀體覺(jué)、自主神經(jīng)路徑或前庭信號(hào)，因此通過(guò)對(duì)血管、心跳和呼吸肌的適當(dāng)反應(yīng)而發(fā)生身體的運(yùn)動(dòng)。

特別地，前庭系統(tǒng)是解剖學(xué)系統(tǒng)，其連接到人體的多個(gè)系統(tǒng)并且能夠保持平衡感，并因此被認(rèn)為通過(guò)保持關(guān)于多個(gè)響應(yīng)的平衡感來(lái)產(chǎn)生運(yùn)動(dòng)。前庭系統(tǒng)由各種解剖器官例如前庭眼運(yùn)動(dòng)系統(tǒng)、前庭脊柱系統(tǒng)和前庭自主神經(jīng)系統(tǒng)來(lái)控制，并在各種器官的影響下進(jìn)行反應(yīng)，例如自主神經(jīng)系統(tǒng)、心血管系統(tǒng)和呼吸系統(tǒng)。因此，提出了一種通過(guò)相機(jī)反向跟蹤上述前庭系統(tǒng)的反應(yīng)以將生物信息提取為微動(dòng)并從微動(dòng)提取心跳信息的方法和系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

[技術(shù)問(wèn)題]

本發(fā)明提供了一種提取人體的微動(dòng)信息的方法，即通過(guò)使用非侵入式相機(jī)從人體解剖學(xué)結(jié)構(gòu)產(chǎn)生的運(yùn)動(dòng)提取微動(dòng)信息并從微動(dòng)信息提取心臟信息(脈搏波，ppg)的方法。

[技術(shù)方案]

根據(jù)本發(fā)明的方法包括通過(guò)拍攝對(duì)象的微動(dòng)來(lái)生成圖像數(shù)據(jù)；在生成圖像數(shù)據(jù)的同時(shí)對(duì)對(duì)象進(jìn)行面部跟蹤；通過(guò)處理圖像數(shù)據(jù)來(lái)提取對(duì)象的微動(dòng)信息；執(zhí)行滑動(dòng)峰值檢測(cè)；以及從身體微動(dòng)信息中提取心臟信息。

根據(jù)本發(fā)明的實(shí)施方式，經(jīng)過(guò)上述處理的分離空間的數(shù)據(jù)被放大并恢復(fù)到原始數(shù)據(jù)上。

根據(jù)本發(fā)明的實(shí)施方式，對(duì)于分離成分的數(shù)據(jù)值，通過(guò)計(jì)算每隔預(yù)定時(shí)間測(cè)量的圖像的運(yùn)動(dòng)數(shù)據(jù)的一幀的平均值之間的差異以計(jì)算先前狀態(tài)和當(dāng)前狀態(tài)下的平均運(yùn)動(dòng)之間的差異來(lái)提取整個(gè)微動(dòng)的量。

根據(jù)本發(fā)明的微動(dòng)檢測(cè)系統(tǒng)用于執(zhí)行上述方法，該系統(tǒng)包括相機(jī)，其配置成生成圖像數(shù)據(jù)；數(shù)據(jù)處理單元，其配置成處理來(lái)自所述相機(jī)的圖像數(shù)據(jù)；以及分析單元，其配置成分析由所述數(shù)據(jù)處理單元獲得的數(shù)據(jù)以檢測(cè)微動(dòng)的量并從所述微動(dòng)的量提取所述心臟信息。

[有益效果]

根據(jù)本發(fā)明，提供了一種提取人體的微動(dòng)信息并從微動(dòng)信息中提取心跳信息的方法。根據(jù)本發(fā)明，可以實(shí)現(xiàn)通過(guò)使用非侵入式相機(jī)從人體的解剖學(xué)結(jié)構(gòu)產(chǎn)生的運(yùn)動(dòng)中提取微動(dòng)信息并從微動(dòng)信息提取心臟信息(脈搏波，ppg)的方法。近來(lái)，在不斷研究從人體中提取多種生物信息。特別地，正積極展開(kāi)許多對(duì)非侵入性生物信息采集和感測(cè)技術(shù)的研究。特別地，正在進(jìn)行使用可穿戴設(shè)備和相機(jī)的各種研究。本發(fā)明提出的微動(dòng)信息是基于人體的解剖學(xué)依據(jù)來(lái)提取的，因此預(yù)期作為替代侵入性感測(cè)技術(shù)的能夠提取心臟信息的新型感測(cè)技術(shù)而在非侵入性自由感測(cè)技術(shù)中得到各種利用。

附圖說(shuō)明

圖1是根據(jù)本發(fā)明的提取心臟信息的方法的流程圖。

圖2示出了圖1的步驟的操作場(chǎng)景。

圖3示出了根據(jù)本發(fā)明的用于提取心臟信息的程序的屏幕結(jié)構(gòu)。

圖4是根據(jù)本發(fā)明的實(shí)施方式的心臟信息提取系統(tǒng)的示意性框圖。

具體實(shí)施方式

現(xiàn)在將參考附圖更全面地描述根據(jù)本發(fā)明實(shí)施方式的心臟信息提取方法。

本發(fā)明拍攝對(duì)象或用戶的視頻，并且從視頻中提取與對(duì)象的內(nèi)部生物信號(hào)相關(guān)的微動(dòng)數(shù)據(jù)。微動(dòng)數(shù)據(jù)可以用作提取各種身體信息的基本原始數(shù)據(jù)。可以從原始數(shù)據(jù)檢測(cè)心律相關(guān)性(hrc)和心律模式(hrp)等，并且由此例如可以提取對(duì)象的心跳信息。

根據(jù)本發(fā)明的提取微動(dòng)數(shù)據(jù)的方法包括如圖1所示的總共六個(gè)步驟。圖2示出了圖1的各步驟的操作場(chǎng)景。

a、視頻輸入步驟s11

由攝像機(jī)拍攝對(duì)象，從而生成連續(xù)的圖像數(shù)據(jù)。此時(shí)，如圖2所示，拍攝區(qū)域?yàn)榘ū慌哪槻康纳仙怼?/p>

b、面部跟蹤步驟s12

為了通過(guò)使用經(jīng)由攝像機(jī)接收到的圖像數(shù)據(jù)從頭部提取人體的微動(dòng)，通過(guò)使用開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)(opencv)的面部識(shí)別來(lái)分離圖像信息。

opencv是開(kāi)源計(jì)算機(jī)視覺(jué)c庫(kù)。opencv最初由英特爾開(kāi)發(fā)，可用于windows和linux等多個(gè)平臺(tái)。opencv是一個(gè)專注于實(shí)時(shí)圖像處理的庫(kù)。

基于opencv的面部識(shí)別系統(tǒng)是指通過(guò)數(shù)字圖像自動(dòng)識(shí)別每個(gè)人的計(jì)算機(jī)輔助應(yīng)用程序。這是通過(guò)將出現(xiàn)在實(shí)時(shí)圖像上的所選面部特征與面部數(shù)據(jù)庫(kù)進(jìn)行比較來(lái)實(shí)現(xiàn)的。

如圖2所示，在步驟s12中，原始圖像上的矩形表示臉部的跟蹤區(qū)域。根據(jù)用戶的運(yùn)動(dòng)，對(duì)臉部進(jìn)行跟蹤。

c、幀差平均步驟s13

通過(guò)計(jì)算每隔預(yù)定時(shí)間(30fps)測(cè)量的圖像的運(yùn)動(dòng)數(shù)據(jù)的一幀的平均值之間的差異來(lái)計(jì)算先前狀態(tài)和當(dāng)前狀態(tài)下的平均運(yùn)動(dòng)xn和xn-1之間的差m，從而從分離的圖像信息提取整個(gè)微動(dòng)的量。一幀的平均值表示一幀的微動(dòng)的量m。

【等式1】

m＝xn-xn-1

d、平滑濾波步驟s14

當(dāng)提取的微動(dòng)被提取為數(shù)據(jù)時(shí)，相對(duì)于運(yùn)動(dòng)的噪聲被包括在提取的數(shù)據(jù)中，因此信號(hào)嚴(yán)重失真，使得峰值檢測(cè)困難。因此，對(duì)消除噪聲并提高峰值檢測(cè)精度的數(shù)據(jù)進(jìn)行處理。

【等式2】

【等式3】

其中，sma表示運(yùn)動(dòng)平均值，sma今天和sma昨天表示在不同特定日期的運(yùn)動(dòng)平均值，pm表示當(dāng)前幀的微動(dòng)值，n表示運(yùn)動(dòng)平均值的窗口大小。

e、滑動(dòng)峰值檢測(cè)步驟s15和s16

通過(guò)接收用于消除噪聲且檢測(cè)峰值的處理數(shù)據(jù)，從而使每幀的峰值數(shù)據(jù)基于30秒的窗口大小連續(xù)滑動(dòng)，從而使運(yùn)動(dòng)影響和對(duì)數(shù)據(jù)的影響最小化，從而能夠提取每分鐘脈搏數(shù)(bpm)信號(hào)。

【等式4】

在上述過(guò)程中獲得的ppg信號(hào)通過(guò)qrs(量子共振)檢測(cè)算法檢測(cè)到r峰值(pan和tompkins，1985)。從檢測(cè)到的r峰值數(shù)據(jù)中消除噪聲分量，并通過(guò)使用正常r峰值間隔的差異提取r峰值到r峰值間隔(rri)?？梢酝ㄟ^(guò)60/rri計(jì)算bpm以分析hrp，并且可以使用正常rri的標(biāo)準(zhǔn)偏差來(lái)提取正常到正常的標(biāo)準(zhǔn)差(sdnn)。

如在圖1的流程圖中實(shí)現(xiàn)且實(shí)際處理的功能如圖2所示能夠提取最終微動(dòng)的平均數(shù)據(jù)。

圖4是根據(jù)本發(fā)明的微動(dòng)提取系統(tǒng)的示意性框圖。

通過(guò)面向?qū)ο?00的網(wǎng)絡(luò)攝像機(jī)或小型攝像機(jī)110獲得的視頻經(jīng)過(guò)圖像處理單元120的處理，從而從視頻中提取特定圖像。特定圖像由處理裝置130處理。處理裝置130具有用于執(zhí)行如上所述的方法的軟件以及支持該軟件的硬件系統(tǒng)。處理設(shè)備130可以是基于計(jì)算機(jī)的設(shè)備，例如，包括裝載如上所述的方法或算法的軟件以及由軟件驅(qū)動(dòng)的硬件的通用計(jì)算機(jī)或?qū)Ｓ迷O(shè)備。

來(lái)自處理設(shè)備130的處理結(jié)果被顯示在顯示器140上。該系統(tǒng)還可以包括包含一般輸入的一般的外部接口設(shè)備，例如鍵盤或鼠標(biāo)。

驗(yàn)證方法

<受試者>

10名大學(xué)生(5名男子和5名女性)被分類為無(wú)表情臉部和在其面部表現(xiàn)出表情的受試者，并參加了兩次實(shí)驗(yàn)。所有受試者在心臟血液神經(jīng)系統(tǒng)中沒(méi)有障礙或沒(méi)有病史，建議它們?cè)谇耙惶爝M(jìn)行充分的睡眠。此外，實(shí)驗(yàn)前一天禁止可能影響心血管系統(tǒng)反應(yīng)的咖啡因攝入、吸煙和飲酒。在進(jìn)行實(shí)驗(yàn)之前，除了研究目的之外，對(duì)實(shí)驗(yàn)的一般事項(xiàng)進(jìn)行了解釋，并對(duì)受試者支付了一定數(shù)量的參與實(shí)驗(yàn)的資金。

<實(shí)驗(yàn)方法>

在使受試者不作出任何面部表情的情況下，進(jìn)行了無(wú)面部表情試驗(yàn)，并且在使受試者按照提供的面部表情刺激而作出相應(yīng)表情的情況下進(jìn)行面部表情試驗(yàn)。在這種情況下，以相同的程度提供用于ekman的六種基本情緒(恐懼、厭惡、悲傷、驚訝、憤怒和幸福)的面部表情刺激，以使得受試者作出面部表情。在進(jìn)行實(shí)驗(yàn)的同時(shí)，受試者佩戴ppg傳感器，同時(shí)測(cè)量受試者上身的圖像。對(duì)無(wú)面部表情試驗(yàn)進(jìn)行3分鐘的測(cè)定，并對(duì)面部表情試驗(yàn)進(jìn)行3分鐘的測(cè)定。

<分析方法>

通過(guò)lead-i方法以500hz對(duì)脈搏波(ppg)信號(hào)進(jìn)行采樣。通過(guò)mp100電源和ppg100c放大器(biopacsystemsinc.,usa)放大信號(hào)并通過(guò)ni-daq-pad9205(nationalinstruments(國(guó)家儀器公司),usa)將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，以獲得心電圖信號(hào)。ppg信號(hào)通過(guò)滑動(dòng)峰值檢測(cè)進(jìn)行峰值檢測(cè)，并且圖像信號(hào)通過(guò)微動(dòng)提取方法進(jìn)行峰值檢測(cè)。為了兩個(gè)不同信號(hào)之間的統(tǒng)計(jì)驗(yàn)證，在窗口大小為30的相同條件下對(duì)兩個(gè)不同信號(hào)進(jìn)行信號(hào)處理。在兩個(gè)不同信號(hào)處理后分別提取的數(shù)據(jù)經(jīng)由spss17.0k進(jìn)行相關(guān)分析，并因此誘導(dǎo)相關(guān)系數(shù)。

<分析結(jié)果>

通過(guò)使用通過(guò)使用ppg傳感器提取的信息和從微動(dòng)提取的信息，對(duì)10個(gè)受試者的相關(guān)數(shù)據(jù)進(jìn)行相關(guān)分析，作為結(jié)果，在無(wú)面部表情試驗(yàn)中的10個(gè)受試者的相關(guān)系數(shù)平均值高(r＝.89，sd＝.054，p<.05)。在能夠影響相同的10個(gè)受試者的運(yùn)動(dòng)的面部表情實(shí)驗(yàn)中，10個(gè)受試者具有比無(wú)面部表情實(shí)驗(yàn)的情況略低的相關(guān)系數(shù)，但是該相關(guān)系數(shù)仍然較高(r＝0.74，sd＝.087，p<.05)。

下面的表1示出了相關(guān)分析的結(jié)果。

【表1】

圖3示出了心跳信息提取程序的屏幕圖像的示例，所述心跳信息提取程序作為表示實(shí)現(xiàn)結(jié)果的程序(接口)。

根據(jù)圖3所示的實(shí)施方式，屏幕圖像示出了表示人體上身(胸部以上)的圖像，以及表示正在操作的實(shí)際原始圖像的數(shù)據(jù)。

圖3還示出了用于表示使用由biopac制造的ppg放大器和傳感器獲得的ppg信號(hào)，并示出用于將微動(dòng)與原始ppg信號(hào)進(jìn)行比較的圖形圖像。

如圖3所示，示出了通過(guò)微動(dòng)運(yùn)動(dòng)提取技術(shù)從(1)中操作的原始圖像的數(shù)據(jù)中放大不存在于實(shí)際差分圖像上的微動(dòng)而產(chǎn)生的線形圖像，并且僅示出了當(dāng)圓圈所指的部分實(shí)際上微小地運(yùn)動(dòng)時(shí)以線形產(chǎn)生運(yùn)動(dòng)的部分。

此外，在圖3的屏幕圖像中，將通過(guò)放大微動(dòng)獲得的數(shù)據(jù)表示在數(shù)據(jù)圖表中，從而可以實(shí)時(shí)顯示關(guān)于運(yùn)動(dòng)的信息。

雖然已經(jīng)參照本發(fā)明的示例性實(shí)施方式具體示出和描述了本發(fā)明，但是本領(lǐng)域普通技術(shù)人員將會(huì)理解，在不脫離如所附權(quán)利要求所限定的精神和范圍的情況下，可以在形式和細(xì)節(jié)上進(jìn)行各種改變。