本發(fā)明涉及圖像識別及圖像分類，尤其是涉及基于視頻的課堂學習投入自動評估與演化分析系統(tǒng)及方法。

背景技術(shù)：

1、課堂學習投入是衡量學生在學習過程中積極性、主動性和參與度的重要指標，對于提高教學質(zhì)量和學生的學習成效具有至關(guān)重要的作用。對課堂學習投入水平進行準確測量與分析是是解決學生保持率低、輟學率高等問題的突破口之一。傳統(tǒng)的學習投入評估方法主要依賴于教師的人工觀察或?qū)W生的自評報告，往往缺乏客觀性，難以全面準確地反映學生的學習狀態(tài)，而且不具備大規(guī)模開展自動化評估的基礎(chǔ)，導致其分析成本高、結(jié)果呈現(xiàn)形式單一。

2、隨著計算機視覺和深度學習技術(shù)的飛速發(fā)展，基于視頻分析的學習投入評估方法受到了廣泛關(guān)注，并且智慧教室的構(gòu)建為獲取包含學生表情、動作姿態(tài)等非言語行為的視頻數(shù)據(jù)提供了便利，進一步推動課堂學習投入測量更加智能、高效。由于這種方法具有無偏見、低成本和學習者低感知等優(yōu)勢，因此被越來越多的研究者所采用。

3、然而，現(xiàn)有的基于視頻數(shù)據(jù)評估課堂學習投入的研究仍存在一些局限性：(1)現(xiàn)有研究將學習投入度作為一個整體概念，或僅關(guān)注學習投入的某一維度(多數(shù)研究著重實現(xiàn)學生行為識別)，并未綜合分析學習投入的不同維度；(2)對學習投入沒有統(tǒng)一的定義，缺乏從教育學理論出發(fā)構(gòu)建的課堂學習投入評估指標體系；(3)缺乏用于課堂場景學生目標檢測和行為識別的公共數(shù)據(jù)集，已有研究中構(gòu)建的行為識別數(shù)據(jù)集存在數(shù)據(jù)量少、場景單一等問題，導致對復雜教室環(huán)境的適應(yīng)性不足，難以全面準確地評估課堂學習投入；(4)現(xiàn)有系統(tǒng)側(cè)重于實現(xiàn)課堂學習投入的自動識別，缺乏從個體層面和群體層面分別對學生學習投入進行的長期跟蹤與演化分析。

4、因此，亟需一種基于視頻的課堂學習投入自動評估與演化分析方法和系統(tǒng)，以實現(xiàn)對課堂學習過程的全面、實時、精準的評估，對學生學習投入的演化趨勢進行分析，并能夠?qū)⒎治鼋Y(jié)果以可視化的形式反饋給教師，幫助教師了解學生的學習狀況，進而根據(jù)實際情況及時調(diào)整教學策略并提供個性化的學習支持服務(wù)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供基于視頻的課堂學習投入自動評估與演化分析系統(tǒng)及方法，能夠?qū)W生行為進行精準識別，實現(xiàn)學生學習投入的演化趨勢分析。

2、為實現(xiàn)上述目的，本發(fā)明提供基于視頻的課堂學習投入自動評估與演化分析系統(tǒng)，包括：

3、視頻數(shù)據(jù)采集模塊，用于采集課堂場景中學習活動的視頻信息；

4、教育領(lǐng)域知識定義模塊，用于定義課堂學習投入評估指標體系；

5、數(shù)據(jù)集構(gòu)建模塊，用于構(gòu)建行為數(shù)據(jù)集，收集情感數(shù)據(jù)集；

6、ai模型模塊，包括學生目標檢測模型、學生行為識別模型和表情識別模型；

7、課堂學習投入識別模塊，用于識別行為投入和情感投入水平；

8、課堂學習投入分析及可視化反饋模塊，用于分析個人層面和群層面的學習投入演變過程。

9、基于視頻的課堂學習投入自動評估與演化分析方法，包括以下步驟：

10、s1、通過視頻數(shù)據(jù)采集模塊，利用視頻爬取和視頻錄制獲取原始視頻數(shù)據(jù)；

11、s2、通過數(shù)據(jù)集構(gòu)建模塊，收集情感數(shù)據(jù)集，并對原始視頻數(shù)據(jù)進行處理，得到行為數(shù)據(jù)集；

12、s3、基于情感數(shù)據(jù)集和行為數(shù)據(jù)集，對ai模型模塊進行訓練；

13、s4、通過課堂學習投入識別模塊，采集學生上課過程中的課堂視頻，并進行分幀處理得到圖像序列，利用訓練后的ai模型模塊對圖像序列進行目標檢測，并識別學生行為和情感狀態(tài)；

14、s5、根據(jù)教育領(lǐng)域知識定義模塊，對識別學生行為進行劃分，獲得學生的行為投入和情感投入水平；

15、s6、利用課堂學習投入分析及可視化反饋模塊，對學生的行為投入和情感投入水平進行量化，獲得學生或班級的學習投入演化過程。

16、優(yōu)選的，步驟s2中，行為數(shù)據(jù)集的獲取包括：

17、對原始視頻數(shù)據(jù)進行預處理，主要包括視頻抽幀和縮減幀，獲得正方視角、斜上方視角和學生特寫視角的學生圖像；

18、根據(jù)教育領(lǐng)域知識定義模塊中關(guān)于學生行為分類指標，對學生圖像進行標注，并生成標簽文件；

19、對學生圖像進行數(shù)據(jù)增強，擴展原始數(shù)據(jù)集。

20、優(yōu)選的，步驟s4中，訓練后的ai模型模塊識別學生行為投入和情感投入包括：

21、分別采用opencv庫中的ssd預訓練模型和ai模型模塊訓練的yolov5模型對圖像序列進行目標檢測，獲得學生人臉和人體位置信息；

22、利用deepsort模型追蹤特定位置的學生，提取連續(xù)的視頻幀，得到學生人臉和人體區(qū)域圖像序列；

23、基于學生人臉和人體區(qū)域圖像序列，分別利用resnet50模型、vggnet16模型獲得學生表情序列和學習行為序列；

24、依據(jù)教育領(lǐng)域知識定義模塊中確定的的課堂學習投入指標體系，對識別得到的表情序列和行為序列進行綜合量化評估，即獲得課堂中每位學習者的情感投入和行為投入狀態(tài)。

25、優(yōu)選的，步驟s5中，學生的行為投入和情感投入水平的定義，具體如下：

26、根據(jù)學生動作和行為目的，確定低頭寫字、低頭看書、抬頭聽課、轉(zhuǎn)頭看他人、舉手答問、站立回答、側(cè)身交流、趴桌睡覺和其他9種典型課堂學習行為類型，并根據(jù)icap框架，將課堂學習行為表現(xiàn)劃分為被動學習投入、主動學習投入、互動學習投入和非學習投入四種不同的行為投入水平；

27、針對情感類別，按照不同的情感效價將七種基本情緒分為積極、消極和中性三個層次，代表不同的情感投入水平。

28、因此，本發(fā)明采用上述基于視頻的課堂學習投入自動評估與演化分析系統(tǒng)及方法，具有以下技術(shù)效果：

29、(1)從學生的行為投入和情感投入兩方面進行分析，能夠?qū)W習過程進行更加全面、實時和精準的評估；

30、(2)對學生課堂學習投入進行演化趨勢分析和可視化，有助于教師了解學生的學習狀況，為調(diào)整教學策略提供參考；

31、(3)構(gòu)建行為數(shù)據(jù)集，解決行為識別數(shù)據(jù)集存在數(shù)據(jù)量少、場景單一等問題，利用該數(shù)據(jù)集進行模型訓練，增加模型的穩(wěn)定性和泛化能力。

32、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。

技術(shù)特征：

1.基于視頻的課堂學習投入自動評估與演化分析系統(tǒng)，其特征在于，包括：

2.基于視頻的課堂學習投入自動評估與演化分析方法，其特征在于，包括以下步驟：

3.根據(jù)權(quán)利要求2所述的基于視頻的課堂學習投入自動評估與演化分析方法，其特征在于，步驟s2中，行為數(shù)據(jù)集的獲取包括：

4.根據(jù)權(quán)利要求2所述的基于視頻的課堂學習投入自動評估與演化分析方法，其特征在于，步驟s4中，訓練后的ai模型模塊識別學生行為投入和情感投入包括：

5.根據(jù)權(quán)利要求2所述的基于視頻的課堂學習投入自動評估與演化分析方法，其特征在于，步驟s5中，學生的行為投入和情感投入水平的定義，具體如下：

技術(shù)總結(jié)
本發(fā)明公開了基于視頻的課堂學習投入自動評估與演化分析系統(tǒng)及方法，涉及圖像識別及圖像分類技術(shù)領(lǐng)域，包括視頻數(shù)據(jù)采集模塊，用于獲取原課堂視頻數(shù)據(jù)；教育領(lǐng)域知識定義模塊，用于劃分行為投入水平和情感投入水平；數(shù)據(jù)集構(gòu)建模塊，用于構(gòu)建行為數(shù)據(jù)集和收集情感數(shù)據(jù)集；AI模型模塊，用于目標檢測、行為識別和表情識別；課堂學習投入識別模塊，用于識別行為投入和情感投入水平；課堂學習投入分析及可視化反饋模塊，綜合識別結(jié)果獲得學習投入的演變過程。因此，采用上述方法，能夠?qū)W習過程進行更加全面、實時和精準的評估，實現(xiàn)課堂學習投入演化趨勢分析及可視化，為調(diào)整教學策略提供參考。

技術(shù)研發(fā)人員：徐亞萍,李艷燕,祁彬斌,趙雅琪
受保護的技術(shù)使用者：北京師范大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30