本發(fā)明涉及人工智能，尤其涉及一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法及系統(tǒng)。

背景技術(shù)：

1、目前，心理健康數(shù)據(jù)大多是基于問卷調(diào)查結(jié)果來進行干擾，對于該類方法，受測學(xué)生的認真如實作答是心理健康數(shù)據(jù)有效性的根本前提。然而，在進行心理健康測試時，受測學(xué)生可能存在有意或無意的掩飾，導(dǎo)致心理健康數(shù)據(jù)虛假，問卷調(diào)查結(jié)果存在偏差，從而無法準確細致的刻畫出學(xué)生的心理狀態(tài)，導(dǎo)致對學(xué)生的心理健康干預(yù)不及時。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法及系統(tǒng)，用以解決目前獲取心理健康數(shù)據(jù)不準確、不及時的問題。

2、一方面，本發(fā)明提供了一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，所述方法包括：

3、獲取待測者的面部表情數(shù)據(jù)、人體姿態(tài)數(shù)據(jù)和生理信號數(shù)據(jù)，進行預(yù)處理，得到多模態(tài)數(shù)據(jù)；

4、對所述多模態(tài)數(shù)據(jù)進行標記，得到構(gòu)造因子token；將所述構(gòu)造因子token與情緒推理范式數(shù)據(jù)庫中的樣本因子token進行匹配；

5、若匹配成功，則從情緒推理范式數(shù)據(jù)庫中獲取與匹配成功的所述樣本因子token所對應(yīng)的心理健康數(shù)據(jù)；

6、若匹配不成功，則將所述多模態(tài)數(shù)據(jù)進行特征提取，并構(gòu)建交叉模態(tài)對，對缺失的模態(tài)進行模態(tài)修復(fù)，得到待測者的心理健康量化矩陣；基于所述心理健康量化矩陣得到轉(zhuǎn)換函數(shù)，將所述轉(zhuǎn)換函數(shù)計算的結(jié)果作為待測者的心理健康數(shù)據(jù)。

7、進一步的，所述情緒推理范式數(shù)據(jù)庫是基于一一對應(yīng)的所述構(gòu)造因子token與心理健康數(shù)據(jù)所構(gòu)建。

8、進一步的，所述面部表情數(shù)據(jù)和所述人體姿態(tài)數(shù)據(jù)的獲取方式包括：

9、利用rgb相機、紅外相機以及紅外熱成像相機同時采集被測者的視頻數(shù)據(jù)集，對應(yīng)得到可見圖像數(shù)據(jù)集、紅外圖像數(shù)據(jù)集和熱成像圖像數(shù)據(jù)集；

10、將可見圖像數(shù)據(jù)集和紅外圖像數(shù)據(jù)集進行融合，得到第一圖像集；

11、將所述第一圖像集與所述熱成像圖像數(shù)據(jù)集進行融合，得到第二圖像集；

12、將所述第二圖像集進行切片，得到多幀圖像，將每幀圖像定位人臉框和人體框，進行裁剪、歸一化、數(shù)據(jù)增強處理，得到所述面部表情數(shù)據(jù)和所述人體姿態(tài)數(shù)據(jù)。

13、進一步的，所述預(yù)處理包括：利用時間戳對齊所述面部表情數(shù)據(jù)、所述人體姿態(tài)數(shù)據(jù)和所述生理信號數(shù)據(jù)。

14、進一步的，所述構(gòu)造因子token包括面部表情標簽、人體姿態(tài)標簽和生理信號標簽。

15、進一步的，

16、所述面部表情標簽包括：嘴部標簽、眉部標簽、眼部標簽、臉頰肌肉標簽中的一個或多個；

17、所述人體姿態(tài)標簽包括：頭部標簽、四肢標簽、軀干標簽中的一個或多個；

18、所述生理信號標簽包括：α波標簽、β波標簽、θ波標簽、δ波標簽、γ波標簽中的一個或多個。

19、進一步的，構(gòu)建交叉模態(tài)對，對缺失的模態(tài)進行模態(tài)修復(fù)包括：

20、構(gòu)建三元組格式的可用模態(tài)和缺失模態(tài)的交叉模態(tài)對，采用resencoder和循環(huán)一致性學(xué)習(xí)，進行正向反向的模態(tài)修復(fù)。

21、進一步的，利用函數(shù)對被測者情緒進行分類，得到所述心理健康量化矩陣：

22、；

23、其中，表示多個全連接層組成的分類器；表示連接個resencoder中得到的潛在向量，。

24、進一步的，基于所述心理健康量化矩陣得到轉(zhuǎn)換函數(shù)包括：

25、將所述心理健康量化矩陣表示為；

26、則轉(zhuǎn)換函數(shù)表示為：；

27、其中，表示根據(jù)生理信號數(shù)據(jù)得到的第一心理健康數(shù)據(jù)；表示根據(jù)面部表情數(shù)據(jù)得到的第二心理健康數(shù)據(jù)；表示根據(jù)人體姿態(tài)數(shù)據(jù)得到的第三心理健康數(shù)據(jù)；經(jīng)過函數(shù)，的范圍均為；、、分別為各個模態(tài)數(shù)據(jù)可學(xué)習(xí)的權(quán)重，且。

28、另一方面，本發(fā)明還提供一種基于情緒推理范式的心理健康數(shù)據(jù)獲取系統(tǒng)，包括存儲器、處理器及存儲在存儲器上的計算機程序，其特征在于，所述處理器執(zhí)行計算機程序以實現(xiàn)上述任一項所述方法的步驟。

29、總體而言，本發(fā)明提供一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法及系統(tǒng)，與現(xiàn)有技術(shù)相比能夠取得下列有益效果：

30、（1）本發(fā)明利用對多模態(tài)數(shù)據(jù)進行標記得到構(gòu)造因子token；并將構(gòu)造因子token與情緒推理范式數(shù)據(jù)庫中的樣本因子token進行匹配，可以直接得到與當前多模態(tài)數(shù)據(jù)所對應(yīng)的心理健康數(shù)據(jù)。此外，將多模態(tài)數(shù)據(jù)進行特征提取、模態(tài)修復(fù)等處理，得到待測者的心理健康量化矩陣；并基于心理健康量化矩陣得到轉(zhuǎn)換函數(shù)，將轉(zhuǎn)換函數(shù)計算的結(jié)果作為待測者的心理健康數(shù)據(jù)，不僅可以更為準確、深入的刻畫待測者的心理狀態(tài)，得到心理健康數(shù)據(jù)，而且可以利用情緒推理范式，分析心理情緒產(chǎn)生的前沿后果，預(yù)測可能的發(fā)展，反向推理出待測者出現(xiàn)心理情緒的原因，從而提供更為個性化、準確、及時的心理干預(yù)。相比問卷調(diào)查等方式，本發(fā)明更為直接客觀，在很大程度上提高了心理健康數(shù)據(jù)獲取的效率和準確率。

31、（2）本發(fā)明根據(jù)一一對應(yīng)的構(gòu)造因子token與心理健康數(shù)據(jù)構(gòu)建情緒推理范式數(shù)據(jù)庫，并將基于每次采集到的數(shù)據(jù)所標記的構(gòu)造因子token心理健康數(shù)據(jù)存儲在情緒推理范式數(shù)據(jù)庫中，隨著數(shù)據(jù)庫的不斷壯大，使得構(gòu)造因子token與樣本因子token進行匹配的成功率也不斷增加，在很大程度上提高了心理健康數(shù)據(jù)獲取的效率和準確率，也有利于反向推理出待測者出現(xiàn)當前心理狀態(tài)的原因。

32、（3）本發(fā)明通過綜合面部表情數(shù)據(jù)、人體姿態(tài)數(shù)據(jù)和生理信號數(shù)據(jù)三個維度的多模態(tài)數(shù)據(jù)信息，實現(xiàn)了對待測者心理狀態(tài)的全面、客觀、多角度的刻畫。通過從內(nèi)在的生理信號、以及外在的表情和人體信號，深入挖掘待測者心理狀態(tài)背后的復(fù)雜成因與動態(tài)變化，避免了待測者在測試中的潛在掩飾行為。相比較單模態(tài)數(shù)據(jù)而言，本發(fā)明的多元化多模態(tài)的方法，不僅豐富了心理健康數(shù)據(jù)獲取的維度，而且在一定程度上顯著提高了心理健康數(shù)據(jù)獲取的全面性、精確性和可靠性，為深入理解和分析待測者心理健康狀態(tài)提供了可靠工具。

33、（4）本發(fā)明構(gòu)建交叉模態(tài)對，對缺失的模態(tài)進行模態(tài)修復(fù)，使用了多態(tài)共融重構(gòu)核，能夠針對缺失的模態(tài)數(shù)據(jù)進行前向后向的修復(fù)，有效地解決因某一模態(tài)數(shù)據(jù)缺失導(dǎo)致的分類不精確問題。在一定程度上提升了多模態(tài)數(shù)據(jù)的完整性，進一步增強了心理健康數(shù)據(jù)結(jié)果的準確性和穩(wěn)定性。

34、（5）本發(fā)明利用rgb相機、紅外相機以及紅外熱成像相機同時采集視頻數(shù)據(jù)集，將可見圖像數(shù)據(jù)集和紅外圖像數(shù)據(jù)集進行融合，得到第一圖像集；將第一圖像集與熱成像圖像數(shù)據(jù)集進行融合，得到第二圖像集。通過綜合多個種類的相機進行采集，這樣的多元化數(shù)據(jù)采集策略，在很大程度上抑制了因單一相機采集失誤而引發(fā)的整體分類錯誤的風險，為學(xué)生的心理健康數(shù)據(jù)的獲取提供了更為科學(xué)、嚴謹?shù)囊罁?jù)，對檢測學(xué)生健康成長和全面發(fā)展具有重要意義。

技術(shù)特征：

1.一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，所述情緒推理范式數(shù)據(jù)庫是基于一一對應(yīng)的所述構(gòu)造因子token與心理健康數(shù)據(jù)所構(gòu)建。

3.根據(jù)權(quán)利要求1所述的一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，所述面部表情數(shù)據(jù)和所述人體姿態(tài)數(shù)據(jù)的獲取方式包括：

4.根據(jù)權(quán)利要求1所述的一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，所述預(yù)處理包括：利用時間戳對齊所述面部表情數(shù)據(jù)、所述人體姿態(tài)數(shù)據(jù)和所述生理信號數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，所述構(gòu)造因子token包括面部表情標簽、人體姿態(tài)標簽和生理信號標簽。

6.根據(jù)權(quán)利要求5所述的一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，

7.根據(jù)權(quán)利要求1所述的一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，構(gòu)建交叉模態(tài)對，對缺失的模態(tài)進行模態(tài)修復(fù)包括：

8.根據(jù)權(quán)利要求1所述的一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，利用函數(shù)對被測者情緒進行分類，得到所述心理健康量化矩陣：

9.根據(jù)權(quán)利要求1所述的一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法，其特征在于，基于所述心理健康量化矩陣得到轉(zhuǎn)換函數(shù)包括：

10.一種基于情緒推理范式的心理健康數(shù)據(jù)獲取系統(tǒng)，包括存儲器、處理器及存儲在存儲器上的計算機程序，其特征在于，所述處理器執(zhí)行計算機程序以實現(xiàn)權(quán)利要求1~9任一項所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明提供一種基于情緒推理范式的心理健康數(shù)據(jù)獲取方法及系統(tǒng)，涉及人工智能技術(shù)領(lǐng)域。方法包括：獲取待測者的面部表情數(shù)據(jù)、人體姿態(tài)數(shù)據(jù)和生理信號數(shù)據(jù)進行預(yù)處理，得到多模態(tài)數(shù)據(jù)；對多模態(tài)數(shù)據(jù)進行標記得到構(gòu)造因子token；將構(gòu)造因子token與情緒推理范式數(shù)據(jù)庫中的樣本因子token進行匹配；若匹配成功，則從情緒推理范式數(shù)據(jù)庫中獲取與匹配成功的樣本因子token所對應(yīng)的心理健康數(shù)據(jù)；若匹配不成功，則將多模態(tài)數(shù)據(jù)進行特征提取，并構(gòu)建交叉模態(tài)對，對缺失的模態(tài)進行模態(tài)修復(fù)，得到待測者的心理健康量化矩陣；進而得到轉(zhuǎn)換函數(shù)，將轉(zhuǎn)換函數(shù)計算的結(jié)果作為待測者的心理健康數(shù)據(jù)。本發(fā)明解決了目前心理健康數(shù)據(jù)獲取不準確、不及時的問題。

技術(shù)研發(fā)人員：劉婷婷,鄧李茜,胡柳,饒寧,鞠劍平,吳輝,劉海,林明玉
受保護的技術(shù)使用者：湖北商貿(mào)學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26