所屬的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的存儲(chǔ)裝置、處理裝置的具體工作過程及有關(guān)說(shuō)明，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程，在此不再贅述。本領(lǐng)域技術(shù)人員應(yīng)該能夠意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的模塊、方法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來(lái)實(shí)現(xiàn)，軟件模塊、方法步驟對(duì)應(yīng)的程序可以置于隨機(jī)存儲(chǔ)器（ram）、內(nèi)存、只讀存儲(chǔ)器（rom）、電可編程rom、電可擦除可編程rom、寄存器、硬盤、可移動(dòng)磁盤、cd-rom、或內(nèi)所公知的任意其它形式的存儲(chǔ)介質(zhì)中。為了清楚地說(shuō)明電子硬件和軟件的可互換性，在上述說(shuō)明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以電子硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。本領(lǐng)域技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。術(shù)語(yǔ)“第一”、“第二”等是用于區(qū)別類似的對(duì)象，而不是用于描述或表示特定的順序或先后次序。術(shù)語(yǔ)“包括”或者任何其它類似用語(yǔ)旨在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備/裝置不僅包括那些要素，而且還包括沒有明確列出的其它要素，或者還包括這些過程、方法、物品或者設(shè)備/裝置所固有的要素。至此，已經(jīng)結(jié)合附圖所示的優(yōu)選實(shí)施方式描述了本發(fā)明的技術(shù)方案，但是，本領(lǐng)域技術(shù)人員容易理解的是，本發(fā)明的保護(hù)范圍顯然不局限于這些具體實(shí)施方式。在不偏離本發(fā)明的原理的前提下，本領(lǐng)域技術(shù)人員可以對(duì)相關(guān)技術(shù)特征做出等同的更改或替換，這些更改或替換之后的技術(shù)方案都將落入本發(fā)明的保護(hù)范圍之內(nèi)。此外，這段話，我覺得可以不用寫，因?yàn)闆]有執(zhí)行任何功能，所有的需要求取的數(shù)據(jù)已在權(quán)3中這段話的上述語(yǔ)句中實(shí)現(xiàn)。具體是否需要保留請(qǐng)酌情考慮。

背景技術(shù)：

1、準(zhǔn)確且及時(shí)的課堂評(píng)價(jià)是進(jìn)行教學(xué)監(jiān)督的重要環(huán)節(jié)?，F(xiàn)有的課堂評(píng)價(jià)方法，多數(shù)在學(xué)生端采用獨(dú)立個(gè)體的行為分析，在教師端則采用獨(dú)立的教師情緒識(shí)別來(lái)進(jìn)行教學(xué)評(píng)估。由于課堂教學(xué)是集體事件，學(xué)生個(gè)體間具有高度的一致性、師生間由于教學(xué)內(nèi)容的關(guān)聯(lián)性，其行為及情緒也具有高度相關(guān)性。無(wú)論是使用獨(dú)立的學(xué)生個(gè)體行為分析模式，還是忽略教學(xué)事件的參與者學(xué)生對(duì)即時(shí)教學(xué)的影響性，進(jìn)行獨(dú)立的教師端教學(xué)評(píng)估，都將影響評(píng)價(jià)的準(zhǔn)確性，從而致使教學(xué)監(jiān)督系統(tǒng)效率低下。

2、為了解決上述問題，本發(fā)明提出了基于一致性分析的教學(xué)監(jiān)督方法。首先本發(fā)明利用多模態(tài)信息，進(jìn)行課堂場(chǎng)景劃分；進(jìn)而基于不同的課堂場(chǎng)景提取一致性分析數(shù)據(jù)，進(jìn)行學(xué)生和教師長(zhǎng)短時(shí)一致性分析。利用學(xué)生群體長(zhǎng)短時(shí)一致性分析，批量篩選出即時(shí)課堂學(xué)生監(jiān)督群體及常態(tài)化個(gè)性教學(xué)監(jiān)督對(duì)象，提升各課堂場(chǎng)景即時(shí)教學(xué)效率；利用教師端的長(zhǎng)短時(shí)一致性分析，進(jìn)行師德長(zhǎng)時(shí)評(píng)估及短時(shí)提醒，進(jìn)一步通過剔除教師評(píng)價(jià)中非可控的學(xué)生因素對(duì)教師不合理評(píng)價(jià)的影響性，提升教師端教學(xué)監(jiān)督的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中的上述問題，即現(xiàn)有的教學(xué)監(jiān)督系統(tǒng)忽略對(duì)即時(shí)教學(xué)的雙向影響的要素，導(dǎo)致的評(píng)價(jià)準(zhǔn)確性不足的問題，本發(fā)明提供了一種基于一致性分析的教學(xué)監(jiān)督方法，所述方法包括：步驟s1，采集多個(gè)學(xué)員課程時(shí)段的音頻信號(hào)，作為待分析數(shù)據(jù)；并采集生理指標(biāo)信號(hào)；

2、步驟s2，基于所述待分析數(shù)據(jù)，根據(jù)語(yǔ)音段的分布特性，將待分析數(shù)據(jù)劃分為不同的課堂場(chǎng)景，并添加對(duì)應(yīng)的場(chǎng)景標(biāo)簽；

3、步驟s3，基于添加場(chǎng)景標(biāo)簽的待分析數(shù)據(jù)，通過語(yǔ)音識(shí)別的方式獲取教師課堂語(yǔ)音數(shù)據(jù)和課堂交互語(yǔ)音數(shù)據(jù)；基于教師課堂語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的時(shí)間和課堂交互語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的時(shí)間，從生理指標(biāo)信號(hào)中選取相同時(shí)段的個(gè)體情緒指標(biāo)數(shù)據(jù)；

4、步驟s4，通過教師課堂語(yǔ)音數(shù)據(jù)和課堂交互語(yǔ)音數(shù)據(jù)，進(jìn)行分別針對(duì)學(xué)生端和教師端進(jìn)行短時(shí)一致性分析，獲得短時(shí)一致性分析結(jié)果；

5、步驟s5，基于所述短時(shí)一致性分析結(jié)果，分別針對(duì)學(xué)生端和教師端進(jìn)行長(zhǎng)時(shí)一致性分析，獲得長(zhǎng)時(shí)一致性分析結(jié)果；

6、步驟s6，基于短時(shí)一致性分析結(jié)果和長(zhǎng)時(shí)一致性分析結(jié)果選擇監(jiān)督對(duì)象。

7、進(jìn)一步的，所述步驟s2，具體為：對(duì)待分析數(shù)據(jù)進(jìn)行端點(diǎn)檢測(cè)，將音頻數(shù)據(jù)劃分為語(yǔ)音段和非語(yǔ)音段；

8、計(jì)算各語(yǔ)音段時(shí)長(zhǎng)、非語(yǔ)音段的時(shí)長(zhǎng)、各語(yǔ)音段平均短時(shí)幅度；

9、其中，表示各語(yǔ)音段平均短時(shí)幅度，表示第幀音頻的短時(shí)幅度，表示幀長(zhǎng)，表示第幀音頻信號(hào)的第個(gè)采樣值，表示第個(gè)語(yǔ)音段的起始幀號(hào)，表示第個(gè)語(yǔ)音段的終止幀信號(hào)，表示第個(gè)語(yǔ)音段包含的幀數(shù)；

10、當(dāng)課堂場(chǎng)景音頻檢測(cè)時(shí)長(zhǎng)大于時(shí)間閾值時(shí)，對(duì)各語(yǔ)音段平均短時(shí)幅度，計(jì)算樣本均方差；

11、利用語(yǔ)音段統(tǒng)計(jì)特性，進(jìn)行課堂場(chǎng)景標(biāo)識(shí)：

12、將一類課堂場(chǎng)景定義為老師主講學(xué)生主聽，二類課堂場(chǎng)景定義為分組教學(xué)，三類課堂場(chǎng)景定義為練習(xí)或測(cè)試，四類課堂場(chǎng)景為自習(xí)；

13、若語(yǔ)音段時(shí)長(zhǎng)小于時(shí)長(zhǎng)閾值且樣本均方差小于差異閾值，則判定當(dāng)前課堂場(chǎng)景標(biāo)識(shí)為四類課堂場(chǎng)景；

14、若語(yǔ)音段時(shí)長(zhǎng)小于時(shí)長(zhǎng)閾值且樣本均方差大于等于差異閾值，則判定當(dāng)前課堂場(chǎng)景標(biāo)識(shí)為三類課堂場(chǎng)景；

15、若當(dāng)前課堂場(chǎng)景標(biāo)識(shí)同時(shí)不為四類課堂場(chǎng)景和三類課堂場(chǎng)景，利用預(yù)構(gòu)建的教師語(yǔ)音特征模型，對(duì)語(yǔ)音段進(jìn)行特定人識(shí)別，獲取語(yǔ)音段特定人標(biāo)簽，同步將匹配不成功的語(yǔ)音標(biāo)識(shí)為對(duì)應(yīng)特定人的交互語(yǔ)音；若具有相同類的特定人的交互語(yǔ)音的各語(yǔ)音段總時(shí)長(zhǎng)大于特定人時(shí)長(zhǎng)閾值，則判定當(dāng)前課堂場(chǎng)景標(biāo)識(shí)為一類課堂場(chǎng)景，若其小于等于特定人時(shí)長(zhǎng)閾值，則判定當(dāng)前課堂場(chǎng)景為二類課堂場(chǎng)景。

16、進(jìn)一步的，所述教師課堂語(yǔ)音數(shù)據(jù)和課堂交互語(yǔ)音數(shù)據(jù)，具體為：

17、對(duì)添加場(chǎng)景標(biāo)簽的待分析數(shù)據(jù)，進(jìn)行特定人語(yǔ)音識(shí)別，獲取教師在當(dāng)前課堂評(píng)價(jià)分析時(shí)間窗內(nèi)的完備課堂語(yǔ)音數(shù)據(jù)；

18、將特定人語(yǔ)音識(shí)別結(jié)果之外的語(yǔ)音段數(shù)據(jù)劃入對(duì)應(yīng)特定人的交互語(yǔ)音，獲取教師在當(dāng)前課堂評(píng)價(jià)分析時(shí)間窗內(nèi)的完備課堂交互語(yǔ)音數(shù)據(jù)；

19、加載語(yǔ)音采集時(shí)段內(nèi)個(gè)人穿戴設(shè)備記錄的與情緒波動(dòng)相關(guān)且使用可實(shí)現(xiàn)情緒識(shí)別的生理信號(hào)作為個(gè)體情緒指標(biāo)數(shù)據(jù)；

20、基于完備課堂交互語(yǔ)音數(shù)據(jù)和個(gè)體情緒指標(biāo)數(shù)據(jù)，獲取教師課堂語(yǔ)音數(shù)據(jù)和課堂交互語(yǔ)音數(shù)據(jù)。

21、進(jìn)一步的，所述步驟s4，具體為：

22、基于所述教師課堂語(yǔ)音數(shù)據(jù)和課堂交互語(yǔ)音數(shù)據(jù)，構(gòu)建教師不良情緒集，學(xué)生不良情緒集，學(xué)生安全情緒集；

23、針對(duì)同種添加場(chǎng)景標(biāo)簽的待分析數(shù)據(jù)，分別進(jìn)行短時(shí)一致性分析。

24、進(jìn)一步的，若場(chǎng)景標(biāo)簽為一類課堂場(chǎng)景，短時(shí)一致性分析包括：

25、對(duì)教師課堂語(yǔ)音數(shù)據(jù)的各語(yǔ)音段分別進(jìn)行情緒識(shí)別，將具有相同情緒識(shí)別結(jié)果且時(shí)間鄰接的語(yǔ)音段進(jìn)行情緒合并，將情緒合并后的語(yǔ)音段作為同情緒語(yǔ)音段，將教師課堂語(yǔ)音數(shù)據(jù)的同情緒語(yǔ)音段的識(shí)別結(jié)果記為；對(duì)教師課堂交互語(yǔ)音數(shù)據(jù)的各語(yǔ)音段分別進(jìn)行情緒識(shí)別，將具有相同情緒識(shí)別結(jié)果且時(shí)間鄰接的語(yǔ)音段進(jìn)行情緒合并，將情緒合并后的語(yǔ)音段作為同情緒語(yǔ)音段，獲取教師課堂交互語(yǔ)音數(shù)據(jù)的同情緒語(yǔ)音段的識(shí)別結(jié)果記為，表示課堂語(yǔ)音對(duì)應(yīng)的教師編號(hào)[a1]?；

26、其中，表示教師課堂語(yǔ)音數(shù)據(jù)的第個(gè)同情緒語(yǔ)音段情緒識(shí)別結(jié)果，表示情緒識(shí)別結(jié)果編號(hào)集合，表示教師課堂交互語(yǔ)音數(shù)據(jù)的第個(gè)同情緒語(yǔ)音段情緒識(shí)別結(jié)果，表示教師課堂交互語(yǔ)音數(shù)據(jù)情緒識(shí)別結(jié)果編號(hào)集合；

27、對(duì)個(gè)體情緒指標(biāo)數(shù)據(jù)內(nèi)各生理信號(hào)數(shù)據(jù)，則按信號(hào)來(lái)源的設(shè)備號(hào)劃分為不同的個(gè)體數(shù)據(jù)集，依據(jù)對(duì)應(yīng)各語(yǔ)音段的起止時(shí)刻，將個(gè)體數(shù)據(jù)集劃分為多個(gè)子段，對(duì)多個(gè)段生理信號(hào)數(shù)據(jù)進(jìn)行情緒識(shí)別，生理信號(hào)數(shù)據(jù)情緒識(shí)別結(jié)果為；

28、其中，表示個(gè)體情緒指標(biāo)數(shù)據(jù)的第個(gè)個(gè)體的第個(gè)同步語(yǔ)音生理信號(hào)情緒識(shí)別結(jié)果，表示個(gè)人穿戴設(shè)備數(shù)；

29、依據(jù)語(yǔ)音段的時(shí)序性，構(gòu)建交互響應(yīng)情緒序列；具體為：在教師課堂交互語(yǔ)音數(shù)據(jù)的情緒識(shí)別結(jié)果找到與具有最短時(shí)間間隔且起始采集時(shí)間晚于結(jié)束時(shí)間的元素，記為的交互響應(yīng)情緒；

30、計(jì)算用于描述師生交互情緒關(guān)聯(lián)性的第一情緒序列及用于描述同課堂學(xué)生情緒關(guān)聯(lián)性的第二情緒序列；

31、其中，；

32、；

33、采用valence效價(jià)-arousal喚醒情緒模型va模型，將兩種情緒識(shí)別結(jié)果的效價(jià)值分量乘積為負(fù)且兩種情緒識(shí)別結(jié)果的喚醒度分量乘積為負(fù)的情況記為互斥；將兩種情緒識(shí)別結(jié)果僅在對(duì)應(yīng)效價(jià)值分量乘積為負(fù)記為局部互斥；將兩種情緒識(shí)別結(jié)果不同但兩者效價(jià)值分量乘積為正且兩者喚醒度分量乘積為正記為相似；

34、所述教師端短時(shí)一致性分析包括：教師短時(shí)情緒控制度；構(gòu)建學(xué)生端短時(shí)一致性分析為異常監(jiān)督人員集；構(gòu)建教師端短時(shí)交互度為；

35、其中，表示一類課堂場(chǎng)景下第個(gè)個(gè)人穿戴設(shè)備對(duì)應(yīng)個(gè)體的情緒跟隨度，；表示情緒一致性比例閾值；表示如果成立則表達(dá)式值為1，否則表達(dá)式值為0；表示如果成立則表達(dá)式值為1，否則表達(dá)式值為0；表示如果，則求取對(duì)應(yīng)的設(shè)備號(hào)將設(shè)備號(hào)對(duì)應(yīng)的學(xué)生劃入異常監(jiān)督人員集；表示異常監(jiān)督人員集合包含的元素?cái)?shù)量；表示常態(tài)異常人員數(shù)量，即若異常監(jiān)督人員集合內(nèi)人員在其所出現(xiàn)的一類課堂場(chǎng)景中劃為異常監(jiān)督人員比率大于設(shè)定的閾值則納入常態(tài)異常人員數(shù)量計(jì)算中。

36、進(jìn)一步的，若場(chǎng)景標(biāo)簽為二類課堂場(chǎng)景時(shí)，短時(shí)一致性分析包括：

37、基于教師課堂交互語(yǔ)音數(shù)據(jù)獲取教師課堂交互語(yǔ)音數(shù)據(jù)的同情緒語(yǔ)音段的識(shí)別結(jié)果；對(duì)個(gè)體情緒指標(biāo)數(shù)據(jù)內(nèi)各生理信號(hào)數(shù)據(jù)按信號(hào)來(lái)源的設(shè)備號(hào)劃分為不同的個(gè)體數(shù)據(jù)集，依據(jù)對(duì)應(yīng)各語(yǔ)音段的起止時(shí)刻，將生理信號(hào)數(shù)據(jù)劃分為多個(gè)子段，對(duì)多個(gè)子段生理信號(hào)進(jìn)行情緒識(shí)別，記生理信號(hào)數(shù)據(jù)情緒識(shí)別結(jié)果為；獲取描述同課堂學(xué)生情緒關(guān)聯(lián)性的第二情緒序列；

38、構(gòu)建學(xué)生端短時(shí)一致性分析為異常監(jiān)督人員集；

39、其中，表示二類課堂場(chǎng)景下第個(gè)個(gè)人穿戴設(shè)備對(duì)應(yīng)個(gè)體的情緒跟隨度，，表示如果，則求取對(duì)應(yīng)的設(shè)備號(hào)，將設(shè)備號(hào)對(duì)應(yīng)的學(xué)生劃入異常監(jiān)督人員集，其中，所述設(shè)備號(hào)為個(gè)體號(hào)。

40、進(jìn)一步的，若場(chǎng)景標(biāo)簽為三類課堂場(chǎng)景和四類課堂場(chǎng)景時(shí)，短時(shí)一致性分析包括：

41、對(duì)個(gè)體情緒指標(biāo)數(shù)據(jù)內(nèi)各生理信號(hào)數(shù)據(jù)，按信號(hào)來(lái)源的設(shè)備號(hào)劃分為不同的個(gè)體數(shù)據(jù)集，獲得情緒識(shí)別結(jié)果為；

42、其中，表示的第個(gè)個(gè)體的第個(gè)生理情緒識(shí)別結(jié)果，表示情緒總數(shù)；

43、構(gòu)建三類課堂場(chǎng)景學(xué)生端短時(shí)一致性分析為異常監(jiān)督人員集；

44、構(gòu)建四類課堂場(chǎng)景時(shí)學(xué)生端短時(shí)一致性分析為異常監(jiān)督人員集；

45、其中，表示如果，則求取對(duì)應(yīng)的設(shè)備號(hào)，將設(shè)備號(hào)對(duì)應(yīng)的學(xué)生劃入異常監(jiān)督人員集；表示如果，則求取對(duì)應(yīng)的設(shè)備號(hào)，將設(shè)備號(hào)對(duì)應(yīng)的學(xué)生劃入異常監(jiān)督人員集；分別表示情緒的時(shí)長(zhǎng)，課堂時(shí)長(zhǎng)常量；學(xué)生安全情緒集進(jìn)一步在線擴(kuò)展所有人員情緒識(shí)別結(jié)果中最高頻情緒，以增加學(xué)生在特殊背景下的安全情緒集。

46、進(jìn)一步的，針對(duì)教師端進(jìn)行長(zhǎng)時(shí)一致性分析，具體為：

47、基于各教師已獲取的短時(shí)情緒控制度，計(jì)算各教師的長(zhǎng)時(shí)情緒控制度為各個(gè)教師短時(shí)情緒控制度和與其上課時(shí)長(zhǎng)的比值；

48、基于各教師已獲取的短時(shí)交互度，計(jì)算各教師的長(zhǎng)時(shí)交互度為各個(gè)教師短時(shí)交互度的中位數(shù)。

49、進(jìn)一步的，針對(duì)學(xué)生端進(jìn)行長(zhǎng)時(shí)一致性分析，具體為：

50、統(tǒng)計(jì)各添加場(chǎng)景標(biāo)簽的待分析數(shù)據(jù)中各個(gè)學(xué)生，劃入異常監(jiān)督人員集的頻率為劃入各個(gè)異常監(jiān)督人員集的次數(shù)與其課程總次數(shù)的比值；依次可獲取各學(xué)生無(wú)效聽課率為各學(xué)生劃入一類課堂場(chǎng)景和二類課堂場(chǎng)景下劃入異常監(jiān)督人員集的頻率；各學(xué)生潛在作弊率為各學(xué)生劃入三類課堂場(chǎng)景下劃入異常監(jiān)督人員集的頻率；各學(xué)生自學(xué)效率為各學(xué)生劃入四類課堂場(chǎng)景下劃入異常監(jiān)督人員集的頻率；

51、利用長(zhǎng)短時(shí)一致性分析結(jié)果，進(jìn)行長(zhǎng)短時(shí)教學(xué)監(jiān)督。

52、進(jìn)一步的，所述步驟s6，包括：

53、短時(shí)監(jiān)督具體為，將三類課堂場(chǎng)景下異常監(jiān)督人員集，作為重點(diǎn)巡視對(duì)象，進(jìn)行自適應(yīng)監(jiān)考；

54、將一類課堂場(chǎng)景下異常監(jiān)督人員集，作為課堂交互重點(diǎn)對(duì)象，解決大課堂教學(xué)，教師無(wú)法兼顧所有學(xué)生狀態(tài)的問題；

55、將一類課堂場(chǎng)景下具有最高短時(shí)情緒控制度，劃入視頻驗(yàn)證教師行為對(duì)象，解決不當(dāng)教學(xué)行為的及時(shí)發(fā)現(xiàn)；

56、長(zhǎng)時(shí)監(jiān)督具體為，進(jìn)行長(zhǎng)時(shí)情緒控制度的首位淘汰，建立基于情緒控制的教師篩選；進(jìn)行長(zhǎng)時(shí)交互度的末尾淘汰，建立基于交互性的教師推優(yōu)；及時(shí)發(fā)現(xiàn)常態(tài)異常人員，并進(jìn)行個(gè)性化針對(duì)教學(xué)。

57、本發(fā)明的有益效果：

58、（1）本發(fā)明提出的監(jiān)督方法利用多模態(tài)信息，進(jìn)行了課堂場(chǎng)景劃分，并基于不同的課堂場(chǎng)景提取一致性分析數(shù)據(jù)；利用學(xué)生群里的長(zhǎng)短時(shí)一致性分析，篩選出即時(shí)課堂學(xué)生監(jiān)督群體及常態(tài)化個(gè)性教學(xué)監(jiān)督對(duì)象，提升各課堂場(chǎng)景即時(shí)教學(xué)效率；利用教師端的長(zhǎng)短時(shí)一致性分析，進(jìn)行師德長(zhǎng)時(shí)評(píng)估及短時(shí)提醒，進(jìn)一步通過剔除教師評(píng)價(jià)中非可控的學(xué)生因素對(duì)教師不合理評(píng)價(jià)的影響性，提升教師端教學(xué)監(jiān)督的準(zhǔn)確性。