本發(fā)明涉及機(jī)器視覺方法及教育學(xué)理論，尤其是一種實(shí)時(shí)性高、基于課堂場(chǎng)景及學(xué)習(xí)者視線分析學(xué)習(xí)者注意力的方法。

背景技術(shù)：

隨著教育模式以及電子教學(xué)平臺(tái)的豐富，自動(dòng)地判定學(xué)習(xí)者注意力狀態(tài)，從而更加智能的根據(jù)學(xué)習(xí)者自身生理、智力特點(diǎn)生成學(xué)習(xí)策略，顯得尤為重要。傳統(tǒng)教育者對(duì)于學(xué)習(xí)者注意力狀態(tài)的檢測(cè)與分析主要依靠學(xué)習(xí)者視線的變換情況，分析的效果與教育者的教育經(jīng)驗(yàn)及能力緊密聯(lián)系，缺乏統(tǒng)一的量化或者評(píng)判標(biāo)準(zhǔn)，當(dāng)學(xué)習(xí)者眾多時(shí)，教育者往往就不能估計(jì)所有學(xué)生。目前已有的解決方法主要針對(duì)學(xué)習(xí)者使用數(shù)字界面時(shí)的眼動(dòng)情況進(jìn)行分析，但是并沒有結(jié)合課堂場(chǎng)景，即并不能根據(jù)學(xué)生的眼動(dòng)情況對(duì)課堂中內(nèi)容進(jìn)行有效的變換，不能實(shí)時(shí)生成對(duì)應(yīng)學(xué)習(xí)策略。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是為了解決現(xiàn)有技術(shù)所存在的上述技術(shù)問題，提供一種一種實(shí)時(shí)性高、基于課堂場(chǎng)景及學(xué)習(xí)者視線分析學(xué)習(xí)者注意力的方法。

本發(fā)明的技術(shù)解決放案是：一種基于課堂場(chǎng)景及學(xué)習(xí)者視線分析學(xué)習(xí)者注意力的方法，按如下步驟進(jìn)行：

a. 啟動(dòng)系統(tǒng)；

b. 設(shè)置拍攝教學(xué)區(qū)域的攝像機(jī)A，初始化攝像機(jī)A；

設(shè)攝像機(jī)A獲取的視頻幀圖像為Image1，Image1的長(zhǎng)為l1個(gè)像素，寬為w1個(gè)像素，攝像機(jī)A所照射區(qū)域的長(zhǎng)為L(zhǎng)1米，寬為W1米；

c. 設(shè)置拍攝學(xué)生所在區(qū)域的攝像機(jī)B，初始化攝像機(jī)B；

設(shè)攝像機(jī)2獲取的視頻幀圖像為Image2，Image2的長(zhǎng)為l2個(gè)像素，寬為w2個(gè)像素，攝像頭機(jī)B所照射區(qū)域的長(zhǎng)為L(zhǎng)2米，寬為W2米；

d. 設(shè)i為攝像機(jī)A拍攝的幀圖像序列，從第1幀開始，每隔5幀讀取一幅Image1圖像，記為Image1_i，i=1，6，11，16……n，對(duì)Image1_i進(jìn)行雙背景建模提取前景圖像；

保留提取的前景圖像內(nèi)容，其余背景內(nèi)容置零，保存前景圖像結(jié)果圖，記為Fimage_i;

計(jì)算Fimage_i所有非零內(nèi)容的坐標(biāo)的均值，記為（x_fcenteri,y_fcenteri）；

計(jì)算攝像機(jī)A照射區(qū)域的面積與圖像Image1大小的比值，記為ratio1，；

e. 設(shè)j為攝像機(jī)B拍攝的幀圖像序列，從第1幀開始，每隔5幀讀取一幅Image2圖像，記為Image2_j，j=1，6，11，16……n，對(duì)Image2_j依次按照如下步驟處理：

e.1 將Image2_j由RGB顏色空間轉(zhuǎn)為YcbCr顏色空間，轉(zhuǎn)換公式為：

Y= 0.299*R + 0.587*G + 0.114*B，Cb=-0.1687*R-0.3313*G+0.5000*B+128，設(shè)Cb色調(diào)在130~170之間的內(nèi)容作為常見的人臉色調(diào)，對(duì)整幅圖像搜索，如果像素點(diǎn)Cb值小于170且大于130則置保存，否則置0，將上述結(jié)果反變換回RGB顏色空間并保存，

設(shè)為Image2_j-face；

e.2 生成兩個(gè)規(guī)模為11*11的二維數(shù)組Array_x和Array_y，數(shù)組Array_x中每一行的值都為[-5,-4,-3,-2,-1,0,1,2,3,4,5]，數(shù)組Array_y中每一列的值都為[-5,-4,-3,-2,-1,0,1,2,3,4,5]，對(duì)Array_x，Array_y分別乘以方向參數(shù)theta以生成方向模板Direct_x和Direct_y， Direct_x= Array_x*cos(theta) + Array_y*sin(theta)，Direct_y= Array_x*cos(theta) + Array_y*sin(theta)，

所述方向參數(shù)theta為要生成Gabor濾波器的角度，生成水平Gabor濾波器Gabor_x時(shí)theta為0，生成豎直Gabor濾波器Gabor_y時(shí)theta為, 按照如下公式：

，sigma設(shè)置為3，分別生成水平Gabor濾波器Gabor_x 和豎直Gabor濾波器Gabor_y；

e.3采用水平和豎直方向的Gabor濾波器Gabor_x和Gabor_y分別對(duì)Image2_j-face進(jìn)行卷積操作，得到的結(jié)果為第j幀圖像中眼部圖像區(qū)域，記為Image2_j-eye；

e.4 對(duì)Image2_{j- eye}進(jìn)行逐行掃描，計(jì)算兩只眼睛的外包圍盒：設(shè)圖像中左眼外包圍盒的左上角為（x1_{left j}，y1_{left j}），右下角為（x1_{right j}，y1_{right j}），設(shè)圖像中右眼外包圍盒的左上角為（x2_{left j}，y2_{left j}），右下角為（x2_{right j}，y2_{right j}），計(jì)算兩個(gè)眼睛的中心坐標(biāo)并保存，左眼的中心坐標(biāo)為（x1_{center j}，y1_{center j}），，；右眼的中心坐標(biāo)為

，，；

e.5計(jì)算攝像機(jī)B照射區(qū)域的面積與圖像Image2大小的比值，設(shè)為ratio2，

;

f. 從i=1，j=1起，獲?。▁_fcentri+5,y_fcenteri+5）并保存為（x_fcentri,y_fcenteri），獲取人眼的中心坐標(biāo)（x1_centerj+5，y1_centerj+5）和（x2_centerj+5，y2_centerj+5），保存為（x1_centerj，y1_centerj）和（x2_centerj，y2_centerj），計(jì)算（x_fcentri+5,y_fcenteri+5）與（x_fcentri,y_fcenteri）的歐式距離D_mov；

g．如果D_mov大于20，進(jìn)入下一步驟，否則置i+5，j+5回到步驟f，若i=n，j=n，則結(jié)束；

h. 計(jì)算學(xué)生眼睛應(yīng)移動(dòng)的距離為，所述；計(jì)算實(shí)際學(xué)生眼睛坐標(biāo)（x1_centerj+5，y1_centerj+5）和與（x1_centerj，y1_centerj）的歐式距離，計(jì)算學(xué)生眼睛（x2_{center j+5}，y2_{center j+5}）和與（x2_centerj，y2_centerj）的歐式距離，如果或者，則系統(tǒng)發(fā)出警報(bào)并置i+5，j+5回到步驟f，否則不報(bào)警，置i+5，j+5回到步驟f，若i=n，j=n，則結(jié)束。

本發(fā)明先采用圖像增強(qiáng)技術(shù)對(duì)于課堂實(shí)時(shí)采集圖像進(jìn)行預(yù)處理，此后采用背景建模法對(duì)授課場(chǎng)景進(jìn)行分析，提取出課堂場(chǎng)景中可能的感興趣區(qū)域，同時(shí)對(duì)學(xué)生采集圖像的顏色特征進(jìn)行分析，確定學(xué)習(xí)者面部位置，通過Gabor濾波器獲取眼部位置并對(duì)其眼動(dòng)情況分析判定其視線，通過課堂場(chǎng)景中的感興趣區(qū)域位置結(jié)合學(xué)習(xí)者視線判定學(xué)習(xí)者注意力是否集中。實(shí)時(shí)性高，可根據(jù)學(xué)生的眼動(dòng)情況對(duì)課堂中內(nèi)容進(jìn)行有效的變換，實(shí)時(shí)生成對(duì)應(yīng)學(xué)習(xí)策略。

附圖說明

圖1為本發(fā)明實(shí)施例設(shè)備布置示意圖。

圖2 為本發(fā)明實(shí)施例攝像機(jī)B采集到的學(xué)生照片Image2_j。

圖3 為本發(fā)明實(shí)施例確定面部區(qū)域圖Image2_j-face。

圖4 為本發(fā)明實(shí)施例確定眼部區(qū)域圖Image2_j-eye。

具體實(shí)施方式

本發(fā)明的基于課堂場(chǎng)景及學(xué)習(xí)者視線分析學(xué)習(xí)者注意力的系統(tǒng)如圖1所示：設(shè)有用于攝制教師所處的教學(xué)區(qū)域圖像的攝像機(jī)A及用于攝制學(xué)習(xí)者所處區(qū)域圖像的攝影機(jī)B，攝像機(jī)A、攝影機(jī)B通過傳輸線與分析系統(tǒng)（計(jì)算機(jī)）相接，按照如下方法進(jìn)行：

a. 啟動(dòng)系統(tǒng)；

b. 設(shè)置拍攝教學(xué)區(qū)域的攝像機(jī)A，初始化攝像機(jī)A；

設(shè)攝像機(jī)A獲取的視頻幀圖像為Image1，Image1的長(zhǎng)為l1個(gè)像素，寬為w1個(gè)像素，攝像機(jī)A所照射區(qū)域的長(zhǎng)為L(zhǎng)1米，寬為W1米；

c. 設(shè)置拍攝學(xué)生所在區(qū)域的攝像機(jī)B，初始化攝像機(jī)B；

設(shè)攝像機(jī)2獲取的視頻幀圖像為Image2，Image2的長(zhǎng)為l2個(gè)像素，寬為w2個(gè)像素，攝像頭機(jī)B所照射區(qū)域的長(zhǎng)為L(zhǎng)2米，寬為W2米；

d. 設(shè)i為攝像機(jī)A拍攝的幀圖像序列，從第1幀開始，每隔5幀讀取一幅Image1圖像，記為Image1_i，i=1，6，11，16……n，對(duì)Image1_i進(jìn)行雙背景建模提取前景圖像；

保留提取的前景圖像內(nèi)容，其余背景內(nèi)容置零，保存前景圖像結(jié)果圖，記為Fimage_i;

計(jì)算Fimage_i所有非零內(nèi)容的坐標(biāo)的均值，記為（x_fcenteri,y_fcenteri）；

計(jì)算攝像機(jī)A照射區(qū)域的面積與圖像Image1大小的比值，記為ratio1，；

e. 設(shè)j為攝像機(jī)B拍攝的幀圖像序列，從第1幀開始，每隔5幀讀取一幅Image2圖像，記為Image2_j（如圖2所示），j=1，6，11，16……n，對(duì)Image2_j依次按照如下步驟處理：

e.1 將Image2_j由RGB顏色空間轉(zhuǎn)為YcbCr顏色空間，轉(zhuǎn)換公式為：

Y= 0.299*R + 0.587*G + 0.114*B，Cb=-0.1687*R-0.3313*G+0.5000*B+128，設(shè)Cb色調(diào)在130~170之間的內(nèi)容作為常見的人臉色調(diào)，對(duì)整幅圖像搜索，如果像素點(diǎn)Cb值小于170且大于130則置保存，否則置0，將上述結(jié)果反變換回RGB顏色空間并保存，設(shè)為Image2_j-face（如圖3所示）；

e.2 生成兩個(gè)規(guī)模為11*11的二維數(shù)組Array_x和Array_y，數(shù)組Array_x中每一行的值都為[-5,-4,-3,-2,-1,0,1,2,3,4,5]，數(shù)組Array_y中每一列的值都為[-5,-4,-3,-2,-1,0,1,2,3,4,5]，對(duì)Array_x，Array_y分別乘以方向參數(shù)theta以生成方向模板Direct_x和Direct_y， Direct_x= Array_x*cos(theta) + Array_y*sin(theta)，Direct_y= Array_x*cos(theta) + Array_y*sin(theta)，

所述方向參數(shù)theta為要生成Gabor濾波器的角度，生成水平Gabor濾波器Gabor_x時(shí)theta為0，生成豎直Gabor濾波器Gabor_y時(shí)theta為, 按照如下公式：

，sigma設(shè)置為3，分別生成水平Gabor濾波器Gabor_x 和豎直Gabor濾波器Gabor_y；

e.3采用水平和豎直方向的Gabor濾波器Gabor_x和Gabor_y分別對(duì)Image2_j-face

進(jìn)行卷積操作，得到的結(jié)果為第j幀圖像中眼部圖像區(qū)域，記為Image2_j-eye（如圖4所示）；

e.4 對(duì)Image2_{j- eye}進(jìn)行逐行掃描，計(jì)算兩只眼睛的外包圍盒：設(shè)圖像中左眼

外包圍盒的左上角為（x1_{left j}，y1_{left j}），右下角為（x1_{right j}，y1_{right j}），設(shè)圖像中右眼外包圍盒的左上角為（x2_{left j}，y2_{left j}），右下角為（x2_{right j}，y2_{right j}），計(jì)算兩個(gè)眼睛的中心坐標(biāo)并保存，左眼的中心坐標(biāo)為（x1_{center j}，y1_{center j}），

，；右眼的中心坐標(biāo)為

，，；

e.5計(jì)算攝像機(jī)B照射區(qū)域的面積與圖像Image2大小的比值，設(shè)為ratio2，

;

f. 從i=1，j=1起，獲?。▁_fcentri+5,y_fcenteri+5）并保存為（x_fcentri,y_fcenteri），獲取人眼的中心坐標(biāo)（x1_centerj+5，y1_centerj+5）和（x2_centerj+5，y2_centerj+5），保存為（x1_centerj，y1_centerj）和（x2_centerj，y2_centerj），計(jì)算（x_fcentri+5,y_fcenteri+5）與（x_fcentri,y_fcenteri）的歐式距離D_mov；

g．如果D_mov大于20，進(jìn)入下一步驟，否則置i+5，j+5回到步驟f，若i=n，j=n，則結(jié)束；

h. 計(jì)算學(xué)生眼睛應(yīng)移動(dòng)的距離為，所述；計(jì)算實(shí)際學(xué)生眼睛坐標(biāo)（x1_centerj+5，y1_centerj+5）和與（x1_centerj，y1_centerj）的歐式距離，計(jì)算學(xué)生眼睛（x2_{center j+5}，y2_{center j+5}）和與（x2_centerj，y2_centerj）的歐式距離，如果或者，則系統(tǒng)發(fā)出警報(bào)并置i+5，j+5回到步驟f，否則不報(bào)警，置i+5，j+5回到步驟f，若i=n，j=n，則結(jié)束。