本發(fā)明涉及行為檢測，尤其是涉及一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法。

背景技術：

1、隨著人工智能在教育科技中的深入融合，學生行為分析已成為優(yōu)化教學策略的關鍵工具。通過捕捉學生的專注程度、互動水平和情感反應，ai系統(tǒng)能即時反饋信息，使教育者能夠靈活調(diào)整授課方式以提升學習效果。然而，當前學生行為分析算法的精進，嚴重受限于高質(zhì)量標注數(shù)據(jù)的獲取，這一瓶頸引發(fā)了多重難題。

2、一方面，創(chuàng)建詳盡且精準的人工標注數(shù)據(jù)庫是一項耗時且需密集勞動的任務。這不僅要求專家級的介入來確保數(shù)據(jù)的準確無誤，還伴隨著高昂的時間與經(jīng)濟成本，特別是在面對海量數(shù)據(jù)時，維持標注的效率和一致性成為一大挑戰(zhàn)。另一方面，主觀判斷和人為失誤不可避免地引入了數(shù)據(jù)噪聲，這可能會導致標簽的多樣性和不準確性，進而削弱了模型訓練的精確度和可靠性，在實際應用中可能產(chǎn)生誤導性的結(jié)果。

3、總之，盡管人工智能對學生行為分析提供了前所未有的洞察力，但構(gòu)建可靠標注數(shù)據(jù)集的艱巨性限制了其潛力的全面釋放，亟待創(chuàng)新解決方案以克服這些障礙。

技術實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，能夠?qū)崿F(xiàn)知識的有效遷移，實現(xiàn)利用少量無標簽本地樣本對學生行為進行檢測，解決學校端標注樣本不足的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，包括以下步驟：

3、s1、在學校端采集學生行為數(shù)據(jù)，對采集的數(shù)據(jù)進行預處理，并利用行為類別進行數(shù)據(jù)標注，構(gòu)建本地數(shù)據(jù)集；

4、s2、初始化行為檢測模型、各統(tǒng)計損失函數(shù)權(quán)重；

5、s3、以hico-det數(shù)據(jù)集為源域數(shù)據(jù)集，本地數(shù)據(jù)集為目標域數(shù)據(jù)集，采用多尺度統(tǒng)計融合域自適應方法進行域間特征拉近，更新行為檢測模型與各統(tǒng)計損失函數(shù)權(quán)重，完成知識的遷移；

6、s4、重復步驟s3，直到算法收斂，得到適應本地數(shù)據(jù)的學生行為檢測模型；

7、s5、將得到的學生行為檢測模型部署在學校端，實時檢測和反饋學生行為。

8、優(yōu)選的，步驟s1中，學生行為數(shù)據(jù)包括學生的動作、神態(tài)、表情圖像數(shù)據(jù)，預處理包括對圖像數(shù)據(jù)進行縮放、去噪和標準化。

9、優(yōu)選的，步驟s2中，損失函數(shù)包括交叉熵損失函數(shù)、最大均值差異損失函數(shù)、聯(lián)合最大均值差異損失函數(shù)和相關對齊損失函數(shù)，具體如下：

10、

11、

12、

13、

14、

15、式中，lmmd為最大均值差異損失函數(shù)，ljmmd為聯(lián)合最大均值差異損失函數(shù)，lcoral為相關對齊損失函數(shù)，lce為交叉熵損失函數(shù)，b為批次大小，為源域樣本，為目標域樣本，為源域特征，為目標域特征，fk為第k個核函數(shù)，m為核函數(shù)總數(shù)，d為特征維度，csrc、ctgt分別為源域特征和目標域特征的協(xié)方差矩陣，為本地數(shù)據(jù)集中第i個的樣本，為第i個的樣本對應的類別標簽，n為行為類別數(shù)，1為指示函數(shù)，為輸出的概率分布向量中類別為c的概率值。

16、優(yōu)選的，步驟s3中，包括基于最大均值差異損失函數(shù)、聯(lián)合最大均值差異損失函數(shù)和相關對齊損失函數(shù)，更新行為檢測模型與各統(tǒng)計損失函數(shù)權(quán)重，并利用交叉熵損失函數(shù)，更新行為檢測模型中的編碼器和分類器；

17、單批次內(nèi)的更新過程，具體如下：

18、

19、

20、

21、

22、

23、式中，et′、ct′分別為單批次內(nèi)更新后的編碼器和分類器，αt′、βt′、γt′分別為更新后的最大均值差異損失函數(shù)、聯(lián)合最大均值差異損失函數(shù)和相關對齊損失函數(shù)的權(quán)重，η為學習率，et、ct分別為單批次內(nèi)第t輪訓練的編碼器和分類器，αt、βt、γt分別為單批次內(nèi)第t輪訓練中最大均值差異損失函數(shù)、聯(lián)合最大均值差異損失函數(shù)和相關對齊損失函數(shù)的權(quán)重。

24、優(yōu)選的，包括對單批次的源域樣本和所有批次的目標域樣本進行模型更新，重復操作，直至所有批次源域樣本完成更新，保證充分的分布對齊與知識遷移。

25、因此，本發(fā)明采用上述一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，具有以下技術效果：

26、(1)利用域自適應方法將行為檢測知識從標注樣本充足的源域數(shù)據(jù)集遷移到標注樣本不足的目標域數(shù)據(jù)集，有效地克服了標注樣本不足的難題；

27、(2)采用三種統(tǒng)計損失函數(shù)分別對源域和目標域特征的均值、聯(lián)合分布、協(xié)方差進行拉近，并通過對權(quán)重的梯度下降更新自適應調(diào)整其比重，得到與本地數(shù)據(jù)分布相匹配的行為檢測模型，從而提高模型的精度。

28、下面通過附圖和實施例，對本發(fā)明的技術方案做進一步的詳細描述。

技術特征：

1.一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，其特征在于，步驟s1中，學生行為數(shù)據(jù)包括學生的動作、神態(tài)、表情圖像數(shù)據(jù)，預處理包括對圖像數(shù)據(jù)進行縮放、去噪和標準化。

3.根據(jù)權(quán)利要求1所述的一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，其特征在于，步驟s2中，損失函數(shù)包括交叉熵損失函數(shù)、最大均值差異損失函數(shù)、聯(lián)合最大均值差異損失函數(shù)和相關對齊損失函數(shù)，具體如下：

4.根據(jù)權(quán)利要求3所述的一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，其特征在于，步驟s3中，包括基于最大均值差異損失函數(shù)、聯(lián)合最大均值差異損失函數(shù)和相關對齊損失函數(shù)，更新行為檢測模型與各統(tǒng)計損失函數(shù)權(quán)重，并利用交叉熵損失函數(shù)，更新行為檢測模型中的編碼器和分類器；

5.根據(jù)權(quán)利要求4所述的一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，其特征在于，包括對單批次的源域樣本和所有批次的目標域樣本進行模型更新，重復操作，直至對所有批次源域樣本完成訓練。

技術總結(jié)
本發(fā)明公開了一種基于多尺度統(tǒng)計融合域自適應的學生行為檢測方法，涉及行為檢測技術領域，包括在學校端采集學生行為數(shù)據(jù)并進行預處理，利用行為類別進行數(shù)據(jù)標注，構(gòu)建本地數(shù)據(jù)集；初始化行為檢測模型、各統(tǒng)計損失函數(shù)權(quán)重；以HICO?DET數(shù)據(jù)集為源域數(shù)據(jù)集，本地數(shù)據(jù)集為目標域數(shù)據(jù)集，采用多尺度統(tǒng)計融合域自適應方法進行域間特征拉近，更新行為檢測模型與各統(tǒng)計損失函數(shù)權(quán)重，完成知識的遷移；重復上一步驟，直到算法收斂，得到適應本地數(shù)據(jù)的學生行為檢測模型；將得到的學生行為檢測模型部署在學校端，實時檢測和反饋學生行為。因此，采用上述方法，利用域自適應方法能夠有效地實現(xiàn)行為檢測知識遷移，克服了標注樣本不足的難題，提升模型泛化能力。

技術研發(fā)人員：倪藝洋,曹鵬,王玉璽,劉婭璇,田磊,掌明,蔣波,曹愚
受保護的技術使用者：江蘇第二師范學院
技術研發(fā)日：
技術公布日：2024/12/30