本發(fā)明屬于智能教育，涉及一種對課堂教學中的多模態(tài)情感融合識別的方法和系統(tǒng)，尤其涉及一種通過面部多模態(tài)情感融合進行學生課堂注意力分析的方法和系統(tǒng)。

背景技術：

1、隨著人工智能、機器學習技術的快速發(fā)展，具有智能的人機交互已經逐漸走入人們的日常生活，未來的社會將會變得更加高度智能化，智能人機交互將遍及人類生活的各個方面。而在智慧教育領域，結合人工智能的方法和傳統(tǒng)教育結合，通過關注學生的課堂表現(xiàn)，動態(tài)調整教學內容，從而提升課堂教學質量。

2、智慧教育中的課堂教學過程中，目前的課堂管理系統(tǒng)可以通過學生的日常行為數(shù)據(jù)，分析學生對教學內容的關注度和感興趣程度，但是學生在聽課過程中可能通過微表情來掩飾自己真實的情感變化。針對該問題，本發(fā)明將以課堂管理系統(tǒng)獲取的學生面部圖像數(shù)據(jù)為基礎，針對學生學習過程中的面部的多模態(tài)數(shù)據(jù)進行深入分析，探討多模態(tài)數(shù)據(jù)的相關性，從而實現(xiàn)魯棒情感識別和注意力分析，為智慧教育中的課堂教學發(fā)展提供新手段和新途徑。

技術實現(xiàn)思路

1、本發(fā)明針對目前智慧教育課堂環(huán)境中缺乏有效的微表情識別方法從而判斷學生對授課內容的注意力分析，提出一種基于面部多模態(tài)情感融合的學生課堂注意力分析系統(tǒng)。本發(fā)明主要解決的技術問題在于針對目前智慧教學課堂中面部微表情識別分析的缺失，提出一種基于多模態(tài)融合的面部微表情識別方法，利用面部動作單元編碼特征對面部圖像局部細節(jié)特征進行動態(tài)增強，減少微表情運動低強度帶來的圖像差異細微影響，分析學生是否會用微表情來隱藏自己的真實情感狀態(tài)的，依據(jù)微表情的識別情況和學生的平時表現(xiàn)、師生交流頻率等信息分析學生聽課的注意力情況，進而提升動態(tài)調整教師的授課內容。

2、為了實現(xiàn)上述目的，本發(fā)明的實施采用以下技術方法。

3、一種基于面部多模態(tài)情感融合的學生課堂注意力分析系統(tǒng)，其特征在于，包括智慧課堂管理系統(tǒng)模塊、學生課堂注意力分析模塊、教學內容調整模塊；

4、所述智慧課堂管理系統(tǒng)模塊為教師使用，可通過該模塊獲取學生的各項信息：

5、所述學生課堂注意力分析模塊通過分析學生的微表情以及和老師交流頻率，可以判斷出學生的學習狀態(tài)；

6、所述教學內容調整模塊，通過課堂中學生的學習狀態(tài)、師生交流頻率、平時表現(xiàn)和前期成績進行相應的教學內容調整。

7、另一方面本發(fā)明提供一種基于面部多模態(tài)情感融合的學生課堂注意力分析方法，包括以下步驟：

8、s1：面部圖像數(shù)據(jù)采集：獲取學生在智慧課堂中學習的面部圖像序列數(shù)據(jù)；

9、s2：面部情感特征提?。簩⒃诓襟Es1采集到的面部圖像序列數(shù)據(jù)進行預處理后的數(shù)據(jù)輸入到圖像編碼模型，提取用戶的面部情感變化特征，所述預處理包括降噪、分割、歸一化；

10、s3：面部動作單元識別：通過在步驟s2得到的面部情感變化特征中準確定位微表情發(fā)生時面部動作單元的感興趣區(qū)域來促進學習判別性的局部特征，得到微表情識別序列；

11、s4：可學習掩碼自編碼模型處理：將所述微表情識別序列中的峰值幀和周圍圖像輸入到可學習掩碼自編碼器模型并進行處理，得到動作單元編碼特征；

12、s5：動態(tài)注意力融合模型處理：將多頭自注意力模型提取的特征與動作單元編碼特征通過動態(tài)注意力融合模型與高注意力權重的局部微表情圖像特征進行融合，提升面部情緒特征的區(qū)分性。

13、上述說明僅是本發(fā)明技術方案的概述，為了能夠更清楚了解本發(fā)明的技術手段，并可依照說明書的內容予以實施，以下以本發(fā)明的較佳實施例并配合附圖詳細說明如后。

技術特征：

1.一種基于面部多模態(tài)情感融合的學生課堂注意力分析系統(tǒng)，其特征在于，包括智慧課堂管理系統(tǒng)模塊、學生課堂注意力分析模塊、教學內容調整模塊；

2.一種基于面部多模態(tài)情感融合的學生課堂注意力分析方法，其特征在于，包括以下步驟：

技術總結
本發(fā)明針對目前智慧教育課堂環(huán)境中缺乏有效的微表情識別方法從而判斷學生對授課內容的注意力分析，提出一種基于面部多模態(tài)情感融合的學生課堂注意力分析系統(tǒng)。本發(fā)明主要解決的技術問題在于針對目前智慧教學課堂中面部微表情識別分析的缺失，提出一種基于多模態(tài)融合的面部微表情識別方法，利用面部動作單元編碼特征對面部圖像局部細節(jié)特征進行動態(tài)增強，減少微表情運動低強度帶來的圖像差異細微影響，分析學生是否會用微表情來隱藏自己的真實情感狀態(tài)的，依據(jù)微表情的識別情況和學生的平時表現(xiàn)、師生交流頻率等信息分析學生聽課的注意力情況，進而提升動態(tài)調整教師的授課內容。

技術研發(fā)人員：潘航
受保護的技術使用者：長治學院
技術研發(fā)日：
技術公布日：2025/1/6