本技術(shù)涉及計(jì)算機(jī)視覺(jué)，尤其是涉及一種基于計(jì)算機(jī)視覺(jué)的人機(jī)交互方法及交互系統(tǒng)。

背景技術(shù)：

1、目前計(jì)算機(jī)視覺(jué)是一門研究如何讓計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類視覺(jué)功能的科學(xué)，通過(guò)圖像處理和機(jī)器學(xué)習(xí)等技術(shù)，使計(jì)算機(jī)具備感知、識(shí)別和理解圖像的能力。計(jì)算機(jī)視覺(jué)指的是通過(guò)圖像傳感器獲取圖像，然后利用圖像處理技術(shù)對(duì)圖像進(jìn)行處理和分析，最后通過(guò)機(jī)器學(xué)習(xí)等技術(shù)對(duì)圖像進(jìn)行分類、識(shí)別和理解。人機(jī)交互是指人與計(jì)算機(jī)系統(tǒng)之間使用某種對(duì)話語(yǔ)言，以一定的交互方式，為完成確定任務(wù)的信息交換過(guò)程。

2、現(xiàn)有的用于課堂教學(xué)的基于計(jì)算機(jī)視覺(jué)的人機(jī)交互方法是通過(guò)攝像頭對(duì)學(xué)生進(jìn)行拍攝得到拍攝圖像信息，基于拍攝圖像信息判斷學(xué)生上課行為，判斷是否違規(guī)，如側(cè)身交流、睡覺(jué)等行為，然而現(xiàn)有的用于課堂教學(xué)的基于計(jì)算機(jī)視覺(jué)的人機(jī)交互方法未考慮到不同學(xué)科的課堂嚴(yán)肅程度不一樣，在課堂嚴(yán)肅程度較低的課堂進(jìn)行學(xué)習(xí)時(shí)，學(xué)生側(cè)身交流進(jìn)行討論不能被判定為違規(guī)行為，對(duì)學(xué)生違規(guī)行為的判定準(zhǔn)確性較低，導(dǎo)致基于計(jì)算機(jī)視覺(jué)的課堂學(xué)習(xí)人機(jī)交互效率較低，存在改進(jìn)之處。

技術(shù)實(shí)現(xiàn)思路

1、為了提高基于計(jì)算機(jī)視覺(jué)的課堂學(xué)習(xí)人機(jī)交互效率，本技術(shù)提供了一種基于計(jì)算機(jī)視覺(jué)的人機(jī)交互方法及交互系統(tǒng)。

2、第一方面，本技術(shù)提供的一種基于計(jì)算機(jī)視覺(jué)的人機(jī)交互方法，采用如下的技術(shù)方案：

3、一種基于計(jì)算機(jī)視覺(jué)的人機(jī)交互方法，包括以下步驟：

4、根據(jù)學(xué)生成績(jī)以及學(xué)科類型對(duì)學(xué)生進(jìn)行標(biāo)簽貼設(shè)得到成績(jī)標(biāo)簽信息；

5、基于待測(cè)班級(jí)的學(xué)習(xí)方向?qū)W(xué)科類型劃分為一般觀察學(xué)科以及重點(diǎn)觀察學(xué)科，檢測(cè)待測(cè)班級(jí)進(jìn)行一般觀察學(xué)科的課程投影學(xué)習(xí)時(shí)，學(xué)生是否存在違規(guī)行為，若存在則進(jìn)行標(biāo)記，檢測(cè)待測(cè)班級(jí)進(jìn)行重點(diǎn)觀察學(xué)科的課程投影學(xué)習(xí)時(shí)，根據(jù)教學(xué)內(nèi)容以及歷史上課情況確定重點(diǎn)學(xué)科課堂違規(guī)行為，基于重點(diǎn)學(xué)科課堂違規(guī)行為檢測(cè)學(xué)生是否存在違規(guī)行為，若存在則進(jìn)行標(biāo)記；

6、根據(jù)成績(jī)標(biāo)簽信息，檢測(cè)存在標(biāo)簽貼設(shè)學(xué)生的學(xué)習(xí)投入度得到目標(biāo)學(xué)生學(xué)習(xí)投入度p，若目標(biāo)學(xué)生學(xué)習(xí)投入度p不超過(guò)預(yù)設(shè)的學(xué)生課堂投入度閾值則標(biāo)記為特征學(xué)生，將特征學(xué)生發(fā)送至后臺(tái)監(jiān)控系統(tǒng)。

7、優(yōu)選的，對(duì)待測(cè)班級(jí)各個(gè)學(xué)生進(jìn)行編號(hào)得到學(xué)生編號(hào)信息；

8、實(shí)時(shí)獲取待測(cè)班級(jí)的各學(xué)生成績(jī)得到實(shí)時(shí)成績(jī)信息，對(duì)實(shí)時(shí)成績(jī)信息進(jìn)行儲(chǔ)存并實(shí)時(shí)更新，將各學(xué)生的實(shí)時(shí)成績(jī)與學(xué)生編號(hào)進(jìn)行匹配；

9、基于實(shí)時(shí)成績(jī)信息計(jì)算待測(cè)班級(jí)各學(xué)科成績(jī)的平均分得到平均成績(jī)；

10、將待測(cè)班級(jí)每個(gè)學(xué)生各學(xué)科的學(xué)生成績(jī)與各學(xué)科的平均成績(jī)進(jìn)行比較，若學(xué)生成績(jī)小于平均成績(jī)則計(jì)算學(xué)生成績(jī)與平均成績(jī)之間的差值得到成績(jī)差值；

11、基于各學(xué)科的考試試卷滿分值以及平均成績(jī)?cè)O(shè)置各學(xué)科的成績(jī)差值閾值；

12、將成績(jī)差值與成績(jī)差值閾值進(jìn)行比較得到成績(jī)差值比較結(jié)果，基于成績(jī)差值比較結(jié)果判斷每個(gè)學(xué)生的各學(xué)科的成績(jī)是否薄弱，若成績(jī)差值大于或等于成績(jī)差值閾值，則表示學(xué)生的學(xué)科成績(jī)薄弱，基于學(xué)科類型判斷學(xué)生學(xué)科成績(jī)薄弱的學(xué)科類型得到薄弱學(xué)科類型；

13、基于學(xué)生編號(hào)信息以及薄弱學(xué)科類型對(duì)學(xué)科成績(jī)薄弱的學(xué)生進(jìn)行薄弱學(xué)科類型標(biāo)簽的貼設(shè)。

14、優(yōu)選的，基于實(shí)時(shí)成績(jī)信息，對(duì)待測(cè)班級(jí)每個(gè)學(xué)生各學(xué)科類型考試的實(shí)時(shí)成績(jī)與上一次相同學(xué)科類型的學(xué)科成績(jī)進(jìn)行比較得到學(xué)科成績(jī)比較結(jié)果；

15、基于學(xué)科成績(jī)比較結(jié)果，若實(shí)時(shí)成績(jī)小于相同學(xué)科類型的上一次學(xué)科成績(jī)進(jìn)行比較，則計(jì)算實(shí)時(shí)成績(jī)小于相同學(xué)科類型的上一次學(xué)科成績(jī)的成績(jī)差值得到理論成績(jī)退步差值h1；

16、檢測(cè)實(shí)時(shí)成績(jī)對(duì)應(yīng)的各學(xué)科類型考試的考試難度得到第一考試難度值k1，檢測(cè)上一次相同學(xué)科類型的學(xué)科成績(jī)對(duì)應(yīng)的考試的考試難度得到第二考試難度值k2；

17、根據(jù)第一考試難度值k1以及第二考試難度值k2，基于退步閾值函數(shù)進(jìn)行計(jì)算得到理論成績(jī)退步差值閾值h2，其中，為比例因子且大于0；

18、將理論成績(jī)退步差值h1與理論成績(jī)退步差值閾值h2進(jìn)行比較，若理論成績(jī)退步差值h1大于或等于理論成績(jī)退步差值閾值h2，則表示學(xué)生的學(xué)科成績(jī)退步，基于學(xué)科類型判斷學(xué)生學(xué)科成績(jī)退步的學(xué)科類型得到退步學(xué)科類型；

19、基于學(xué)生編號(hào)信息以及退步學(xué)科類型對(duì)學(xué)科成績(jī)退步的學(xué)生進(jìn)行退步學(xué)科類型標(biāo)簽的貼設(shè)；

20、所述薄弱學(xué)科類型標(biāo)簽與所述退步學(xué)科類型標(biāo)簽組合形成成績(jī)標(biāo)簽信息。

21、優(yōu)選的，基于待測(cè)班級(jí)的學(xué)習(xí)方向?qū)W(xué)科類型劃分為一般觀察學(xué)科以及重點(diǎn)觀察學(xué)科；

22、當(dāng)待測(cè)班級(jí)進(jìn)行一般觀察學(xué)科的課程學(xué)習(xí)時(shí)，基于攝像頭檢測(cè)學(xué)生是否離開座位，若離開座位則判斷學(xué)生離開座位時(shí)是否為回答問(wèn)題，若學(xué)生離開座位不是為了回答問(wèn)題，則檢測(cè)學(xué)生離開座位的時(shí)長(zhǎng)得到離開座位時(shí)長(zhǎng)信息；

23、將離開座位時(shí)長(zhǎng)信息與預(yù)設(shè)的離開座位時(shí)長(zhǎng)閾值進(jìn)行比較，若離開座位時(shí)長(zhǎng)信息大于預(yù)設(shè)的離開座位時(shí)長(zhǎng)閾值，則對(duì)離開座位學(xué)生進(jìn)行一般學(xué)科課堂違規(guī)行為標(biāo)記；

24、將存在一般學(xué)科課堂違規(guī)行為的學(xué)生名字在顯示屏上進(jìn)行顯示，并基于無(wú)線通訊模塊將存在一般學(xué)科課堂違規(guī)行為的學(xué)生名字發(fā)送至后臺(tái)監(jiān)控系統(tǒng)。

25、優(yōu)選的，當(dāng)待測(cè)班級(jí)進(jìn)行重點(diǎn)觀察學(xué)科的課程學(xué)習(xí)時(shí)，獲取重點(diǎn)觀察學(xué)科當(dāng)前課程的教學(xué)內(nèi)容得到重點(diǎn)觀察學(xué)科教學(xué)內(nèi)容信息；

26、基于重點(diǎn)觀察學(xué)科教學(xué)內(nèi)容信息，判斷教學(xué)內(nèi)容中的需要學(xué)生進(jìn)行討論的內(nèi)容占重點(diǎn)觀察學(xué)科教學(xué)內(nèi)容信息的比例，得到教學(xué)內(nèi)容討論占比，基于教學(xué)內(nèi)容討論占比得到教學(xué)內(nèi)容影響系數(shù)ax；

27、獲取對(duì)待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的執(zhí)教老師的歷史上課情況，所述歷史上課情況包括歷史上課討論時(shí)長(zhǎng)以及歷史上課討論激烈程度；

28、根據(jù)歷史上課討論時(shí)長(zhǎng)以及歷史上課討論激烈程度，判斷待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的執(zhí)教老師的歷史執(zhí)教嚴(yán)肅程度ay；

29、根據(jù)教學(xué)內(nèi)容影響系數(shù)ax以及歷史執(zhí)教嚴(yán)肅程度ay，基于課堂嚴(yán)肅函數(shù)w＝a1×ax+a2×ay進(jìn)行計(jì)算得到待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的課堂嚴(yán)肅度w；

30、基于教學(xué)內(nèi)容以及課堂嚴(yán)肅度w對(duì)待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的課堂違規(guī)行為進(jìn)行確定得到重點(diǎn)學(xué)科課堂違規(guī)行為；

31、基于攝像頭檢測(cè)待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的課堂是否存在重點(diǎn)學(xué)科課堂違規(guī)行為，若存在則對(duì)存在重點(diǎn)學(xué)科課堂違規(guī)行為的學(xué)生進(jìn)行重點(diǎn)學(xué)科課堂違規(guī)行為標(biāo)記；

32、將存在重點(diǎn)學(xué)科課堂違規(guī)行為的學(xué)生名字在顯示屏上進(jìn)行顯示，并基于無(wú)線通訊模塊將存在重點(diǎn)學(xué)科課堂違規(guī)行為的學(xué)生名字發(fā)送至后臺(tái)監(jiān)控系統(tǒng)；

33、所述一般學(xué)科課堂違規(guī)行為與所述重點(diǎn)學(xué)科課堂違規(guī)行為組合形成課堂違規(guī)行為。

34、優(yōu)選的，根據(jù)成績(jī)標(biāo)簽信息，將貼設(shè)了薄弱學(xué)科類型標(biāo)簽或貼設(shè)了退步學(xué)科類型標(biāo)簽的學(xué)生記為目標(biāo)學(xué)生，將目標(biāo)學(xué)生的成績(jī)標(biāo)簽信息中的相關(guān)學(xué)科類型記為對(duì)標(biāo)學(xué)科；

35、基于攝像頭檢測(cè)目標(biāo)學(xué)生在進(jìn)行對(duì)標(biāo)學(xué)科的課程學(xué)習(xí)時(shí)，目標(biāo)學(xué)生的回答問(wèn)題次數(shù)，基于目標(biāo)學(xué)生的回答問(wèn)題次數(shù)確定回答次數(shù)影響系數(shù)br；

36、檢測(cè)目標(biāo)學(xué)生回答問(wèn)題之后的執(zhí)教老師回應(yīng)信息，基于執(zhí)教老師回應(yīng)信息判斷目標(biāo)學(xué)生在進(jìn)行問(wèn)題回答時(shí)的正確性得到回答正確程度，基于回答正確程度確定回答正確影響系數(shù)bh；

37、檢測(cè)目標(biāo)學(xué)生在進(jìn)行對(duì)標(biāo)學(xué)科的課程學(xué)習(xí)時(shí)，與對(duì)標(biāo)課程的執(zhí)教老師的對(duì)視次數(shù)得到師生對(duì)視次數(shù)信息，基于師生對(duì)視次數(shù)信息確定學(xué)習(xí)對(duì)視次數(shù)影響系數(shù)bd；

38、根據(jù)回答次數(shù)影響系數(shù)br、回答正確影響系數(shù)bh以及學(xué)習(xí)對(duì)視次數(shù)影響系數(shù)bd，基于學(xué)習(xí)投入函數(shù)p＝b1×br+b2×bh+b3×bd進(jìn)行計(jì)算得到目標(biāo)學(xué)生學(xué)習(xí)投入度p；

39、將目標(biāo)學(xué)生的學(xué)習(xí)投入度p與預(yù)設(shè)的學(xué)生課堂投入度閾值進(jìn)行比較得到學(xué)習(xí)投入程度比較結(jié)果；

40、基于學(xué)習(xí)投入程度比較結(jié)果，若目標(biāo)學(xué)生的學(xué)習(xí)投入度p不超過(guò)預(yù)設(shè)的學(xué)生課堂投入度閾值則標(biāo)記為特征學(xué)生；

41、基于無(wú)線通訊模塊將特征學(xué)生發(fā)送至后臺(tái)監(jiān)控系統(tǒng)。

42、第二方面，本技術(shù)提供了一種基于計(jì)算機(jī)視覺(jué)的人機(jī)交互系統(tǒng)，采用如下的技術(shù)方案：

43、一種基于計(jì)算機(jī)視覺(jué)的人機(jī)交互系統(tǒng)，包括：

44、成績(jī)標(biāo)簽貼設(shè)模塊，用于根據(jù)學(xué)生成績(jī)以及學(xué)科類型對(duì)學(xué)生進(jìn)行標(biāo)簽貼設(shè)得到成績(jī)標(biāo)簽信息；

45、課堂違規(guī)檢測(cè)標(biāo)記模塊，配置為基于待測(cè)班級(jí)的學(xué)習(xí)方向?qū)W(xué)科類型劃分為一般觀察學(xué)科以及重點(diǎn)觀察學(xué)科，檢測(cè)待測(cè)班級(jí)進(jìn)行一般觀察學(xué)科的課程學(xué)習(xí)時(shí)，學(xué)生是否存在違規(guī)行為，若存在則進(jìn)行標(biāo)記，檢測(cè)待測(cè)班級(jí)進(jìn)行重點(diǎn)觀察學(xué)科的課程學(xué)習(xí)時(shí)，根據(jù)教學(xué)內(nèi)容以及歷史上課情況確定重點(diǎn)學(xué)科課堂違規(guī)行為，基于重點(diǎn)學(xué)科課堂違規(guī)行為檢測(cè)學(xué)生是否存在違規(guī)行為，若存在則進(jìn)行標(biāo)記；

46、課堂學(xué)習(xí)投入分析模塊，用于根據(jù)成績(jī)標(biāo)簽信息，檢測(cè)存在標(biāo)簽貼設(shè)學(xué)生的學(xué)習(xí)投入度得到目標(biāo)學(xué)生學(xué)習(xí)投入度p，若目標(biāo)學(xué)生學(xué)習(xí)投入度p不超過(guò)預(yù)設(shè)的學(xué)生課堂投入度閾值則標(biāo)記為特征學(xué)生，將特征學(xué)生發(fā)送至后臺(tái)監(jiān)控系統(tǒng)。

47、綜上所述，本技術(shù)包括以下至少一種有益技術(shù)效果：

48、1.通過(guò)待測(cè)班級(jí)每個(gè)學(xué)生各學(xué)科的學(xué)生成績(jī)與平均成績(jī)之間的差值與成績(jī)差值閾值進(jìn)行比較，判斷待測(cè)班級(jí)每個(gè)學(xué)生的各學(xué)科成績(jī)是否薄弱，若薄弱則對(duì)該學(xué)生貼設(shè)薄弱學(xué)科類型標(biāo)簽，便于后續(xù)為用于課堂教學(xué)的人機(jī)交互提供數(shù)據(jù)支撐，借助待測(cè)班級(jí)的實(shí)時(shí)成績(jī)信息，將待測(cè)班級(jí)每個(gè)學(xué)生各學(xué)科類型考試的實(shí)時(shí)成績(jī)與上一次相同學(xué)科類型的學(xué)科成績(jī)進(jìn)行比較，進(jìn)而得到理論成績(jī)退步差值h1，根據(jù)第一考試難度值k1以及第二考試難度值k2計(jì)算得到理論成績(jī)退步差值閾值h2，將理論成績(jī)退步差值h1與理論成績(jī)退步差值閾值h2進(jìn)行比較，判斷待測(cè)班級(jí)各學(xué)生是否存在成績(jī)退步情況，若理論成績(jī)退步差值h1大于理論成績(jī)退步差值閾值h2則對(duì)該學(xué)生進(jìn)行退步學(xué)科類型標(biāo)簽的貼設(shè)，便于后續(xù)為用于課堂教學(xué)的人機(jī)交互提供數(shù)據(jù)支撐；

49、2.借助在待測(cè)班級(jí)進(jìn)行重點(diǎn)觀察學(xué)科的課程學(xué)習(xí)時(shí)，獲取重點(diǎn)觀察學(xué)科當(dāng)前課程的教學(xué)內(nèi)容得到重點(diǎn)觀察學(xué)科教學(xué)內(nèi)容信息，根據(jù)教學(xué)內(nèi)容得到教學(xué)內(nèi)容影響系數(shù)ax，根據(jù)待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的執(zhí)教老師的歷史上課情況得到待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的執(zhí)教老師的歷史執(zhí)教嚴(yán)肅程度ay，根據(jù)教學(xué)內(nèi)容影響系數(shù)ax以及歷史執(zhí)教嚴(yán)肅程度ay得到待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的課堂嚴(yán)肅度w，進(jìn)而確定重點(diǎn)學(xué)科課堂違規(guī)行為，針對(duì)不同課堂嚴(yán)肅度制定重點(diǎn)學(xué)科課堂違規(guī)行為標(biāo)準(zhǔn)，提高了用于課堂教學(xué)的人機(jī)交互的準(zhǔn)確性，基于攝像頭檢測(cè)待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的課堂是否存在重點(diǎn)學(xué)科課堂違規(guī)行為，若存在則對(duì)該學(xué)生進(jìn)行重點(diǎn)學(xué)科課堂違規(guī)行為標(biāo)記，并將存在重點(diǎn)學(xué)科課堂違規(guī)行為的學(xué)生名字在顯示屏上進(jìn)行顯示，便于待測(cè)班級(jí)的重點(diǎn)觀察學(xué)科的執(zhí)教老師對(duì)該同學(xué)進(jìn)行提醒，將存在重點(diǎn)學(xué)科課堂違規(guī)行為的學(xué)生名字發(fā)送至后臺(tái)監(jiān)控系統(tǒng)，便于待測(cè)班級(jí)的班主任了解重點(diǎn)學(xué)科課堂情況，便于對(duì)學(xué)生的統(tǒng)一管理；

50、3.借助攝像頭檢測(cè)目標(biāo)學(xué)生在進(jìn)行對(duì)標(biāo)學(xué)科的課程學(xué)習(xí)時(shí)，目標(biāo)學(xué)生的回答問(wèn)題次數(shù)，進(jìn)而得到回答次數(shù)影響系數(shù)br，分析目標(biāo)學(xué)生在進(jìn)行問(wèn)題回答時(shí)的正確性得到回答正確影響系數(shù)bh，檢測(cè)目標(biāo)學(xué)生在進(jìn)行對(duì)標(biāo)學(xué)科的課程學(xué)習(xí)時(shí)，與對(duì)標(biāo)課程的執(zhí)教老師的對(duì)視次數(shù)，進(jìn)而得到學(xué)習(xí)對(duì)視次數(shù)影響系數(shù)bd，根據(jù)回答次數(shù)影響系數(shù)br、回答正確影響系數(shù)bh以及學(xué)習(xí)對(duì)視次數(shù)影響系數(shù)bd得到目標(biāo)學(xué)生學(xué)習(xí)投入度p，提高了目標(biāo)學(xué)生學(xué)習(xí)投入度p的檢測(cè)準(zhǔn)確性，將目標(biāo)學(xué)生的學(xué)習(xí)投入度p與預(yù)設(shè)的學(xué)生課堂投入度閾值進(jìn)行比較，若將目標(biāo)學(xué)生的學(xué)習(xí)投入度p不超過(guò)預(yù)設(shè)的學(xué)生課堂投入度閾值則標(biāo)記為特征學(xué)生，基于無(wú)線通訊模塊將特征學(xué)生發(fā)送至后臺(tái)監(jiān)控系統(tǒng)，提高了基于計(jì)算機(jī)視覺(jué)的課堂學(xué)習(xí)人機(jī)交互效率。