本發(fā)明涉及一種基于分離微觀和宏觀信息的mooc在線用戶行為監(jiān)測方法。

背景技術(shù)：

1、知名的mooc平臺(如coursera、edx和udacity)每天為全球?qū)W習(xí)者提供高質(zhì)量的學(xué)習(xí)資源。盡管取得了這一進展，mooc課程仍然存在較高的輟學(xué)率問題。導(dǎo)致學(xué)生停止學(xué)習(xí)的原因很難被精確確定或預(yù)測，可能是由于測驗問題的質(zhì)量問題、課程材料的呈現(xiàn)不佳，甚至可能僅僅是學(xué)習(xí)者的個人問題。在線用戶行為監(jiān)測可以作為早期干預(yù)的有效手段；同時，它也可以作為一種教學(xué)改進方法，用于判斷在線課程是否需要調(diào)整或修改。隨著跨學(xué)科研究群體對于將機器學(xué)習(xí)技術(shù)應(yīng)用于在線教育問題的興趣日益增長，許多技術(shù)已被用于構(gòu)建學(xué)習(xí)者活動監(jiān)測模型。

2、現(xiàn)有技術(shù)包括邏輯回歸及其變體[1]、支持向量機[2][3]和決策樹[4][5]等。此外，近年來基于深度學(xué)習(xí)的模型在挖掘復(fù)雜潛在信息方面也展現(xiàn)出了巨大的潛力。例如，多層感知器(mlp)已被用于深入比較各種評估指標(biāo)[6]。有研究者[7]提出了conrec模型，將循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)和卷積神經(jīng)網(wǎng)絡(luò)(cnn)的優(yōu)勢結(jié)合起來。另有研究者[8]提出了一個上下文感知的特征交互模型，利用上下文平滑技術(shù)，結(jié)合了用戶和課程信息，并通過注意力機制實現(xiàn)了信息融合。然而，據(jù)我們所知，現(xiàn)有的研究尚未嘗試將微觀和宏觀信息區(qū)分開來并分別建模用于監(jiān)測在線用戶的學(xué)習(xí)行為。

3、參考文獻：

4、[1]he,j.,bailey,j.,rubinstein,b.i.,zhang,r.:identifying?at-riskstudents?in?mas-sive?open?online?courses.in:twenty-ninthaaai?conferenceonartificial?intelli-gence(2015)

5、[2]kloft,m.,stiehler,f.,zheng,z.,pinkwart,n.:predicting?mooc?dropoutover?weeks?using?machine?learning?methods.in:proceedings?of?the?emnlp2014work-shop?on?analysis?of?large?scale?social?interaction?inmoocs,pp.60–65(2014)

6、[3]amnueypornsakul,b.,bhat,s.,chinprutthiwong,p.:predicting?attritionalong?the?way:the?uiuc?model.in:proceedings?of?the?emnlp?2014workshop?onanalysis?of?large?scale?social?interaction?inmoocs,pp.55–59(2014)

7、[4]al-shabandar,r.,hussain,a.,laws,a.,keight,r.,lunn,j.,radi,n.:machine?learning?approaches?to?predict?learning?outcomes?in?massive?openonline?courses.in:2017international?joint?conference?onneuralnetworks(ijcnn),pp.713–720,ieee(2017)

8、[5]al-shabandar,r.,hussain,a.,laws,a.,keight,r.,lunn,j.:towards?thediffer-entiation?of?initial?and?final?retention?in?massive?open?onlinecourses.in:huang,d.-s.,bevilacqua,v.,premaratne,p.,gupta,p.(eds.)icic2017.lncs,vol.10361,pp.26–36.springer,cham(2017).https://doi.org/10.1007/978-3-319-63309-13

9、[6]imran,a.s.,dalipi,f.,kastrati,z.:predicting?student?dropout?in?amooc:an?evaluation?ofa?deep?neural?network?model.in:proceedings?of?the20195th?international?conference?on?computing?andartificial?intelligence,pp.190–195(2019)

10、[7]wang,w.,yu,h.,miao,c.:deep?model?for?dropout?prediction?inmoocs.in:proceedings?of?the?2nd?international?conference?on?crowd?science?andengineer?ing,pp.26–32(2017)

11、[8]feng,w.,tang,j.,liu,t.x.:understanding?dropouts?in?moocs.in:proceedings?of?the?aaai?conference?onartificial?intelligence,pp.517–524(2019)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于針對現(xiàn)有技術(shù)存在缺陷，因此提供一種基于分離微觀和宏觀信息的mooc在線用戶行為監(jiān)測方法，提出一種基于雙塔結(jié)構(gòu)的深度學(xué)習(xí)框架，其中包含了基于cnn的微觀模塊，可以有效地從學(xué)習(xí)者的連續(xù)活動記錄中挖掘時間序列信息。

2、為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種基于分離微觀和宏觀信息的mooc在線用戶行為監(jiān)測方法，提出一種基于雙塔結(jié)構(gòu)的深度學(xué)習(xí)框架，分別對宏觀信息和微觀信息進行建模，能夠有效地從學(xué)習(xí)者的連續(xù)活動記錄中挖掘時間序列信息，且能夠支持聯(lián)合訓(xùn)練和分離訓(xùn)練兩種模式。

3、在本發(fā)明一實施例中，所述方法，包括：

4、對輸入數(shù)據(jù)進行預(yù)處理；

5、基于預(yù)處理數(shù)據(jù)進行基于雙塔結(jié)構(gòu)的深度學(xué)習(xí)框架的訓(xùn)練，實現(xiàn)在線用戶行為監(jiān)測。

6、在本發(fā)明一實施例中，輸入數(shù)據(jù)包括來自課程簡介和用戶的歷史學(xué)習(xí)記錄。

7、在本發(fā)明一實施例中，對輸入數(shù)據(jù)進行預(yù)處理，包括對輸入數(shù)據(jù)進行數(shù)據(jù)清洗、歸一化處理、時間序列化處理，具體如下：

8、1)數(shù)據(jù)清洗：

9、去除輸入數(shù)據(jù)中缺失值、重復(fù)數(shù)據(jù)和異常數(shù)據(jù)，確保數(shù)據(jù)的完整性和一致性；

10、2)歸一化處理：

11、對輸入數(shù)據(jù)進行標(biāo)準(zhǔn)化或歸一化，確保不同特征的數(shù)據(jù)量綱一致，以提高模型的收斂性和預(yù)測效果；

12、3)時間序列化：

13、將輸入數(shù)據(jù)按照時間順序排列，形成時間序列數(shù)據(jù)，以便模型能夠識別學(xué)習(xí)行為中的時間依賴性。

14、在本發(fā)明一實施例中，基于雙塔結(jié)構(gòu)的深度學(xué)習(xí)框架包括宏觀模塊和微觀模塊；用戶能夠選擇聯(lián)合模式或分離模式來訓(xùn)練基于雙塔結(jié)構(gòu)的深度學(xué)習(xí)框架，聯(lián)合模式適用于兩個模塊協(xié)同優(yōu)化的場景，分離模式適用于單獨一個模塊優(yōu)化的場景。

15、在本發(fā)明一實施例中，所述宏觀模塊，用于處理相應(yīng)課程的基本資料信息以及所有學(xué)習(xí)者與相應(yīng)課程的交互歷史的描述性統(tǒng)計信息；對于某個用戶ui與課程c之間的交互，宏觀信息表示為gi(ui,c)∈rh，其中，h是用于表示宏觀信息的維度；在宏觀模塊中通過gbdt對宏觀信息進行建模，具體過程如下：

16、(1)輸入樣本集合

17、(2)初始化

18、

19、從t＝1開始遍歷計算，t＝{1,2,…,t}；

20、(3)對每個樣本計算損失函數(shù)l關(guān)于當(dāng)前模型的負(fù)梯度

21、

22、(4)以負(fù)梯度為擬合對象，構(gòu)建一顆決策樹，假設(shè)模型參數(shù)為

23、

24、(5)構(gòu)建的決策樹將樣本集合劃分為j個子集，每個葉節(jié)點是一個子集，記為

25、rtj,j＝1,2,…,j

26、(6)估計每個葉節(jié)點的預(yù)測值γtj

27、

28、(7)模型更新

29、

30、其中，為輸入數(shù)據(jù)集中樣本數(shù)據(jù)，γ為模型預(yù)測值，l(yi,γ)為當(dāng)前樣本的損失情況；為模型參數(shù)，按高斯分布進行隨機初始化；初始化時為只有一個根節(jié)點的樹，根節(jié)點的預(yù)測值能夠使得損失函數(shù)l在整個樣本集合上整體損失最小。

31、在本發(fā)明一實施例中，所述微觀模塊，指某一用戶ui與課程c的交互細(xì)節(jié)，定義為li(ui,c)；由于一個課程可能包含多個教學(xué)視頻，li(ui,c)進一步表示為li(ui,c)∈rn·m,c＝v1,v2,…,vn，vi表示課程c的第i個視頻，n是用戶ui已經(jīng)與屬于課程c交互的視頻的數(shù)目，m是特征空間的維數(shù)；標(biāo)記為f1fm的特征表示用戶ui和視頻vj之間的交互細(xì)節(jié)；具體地，給定一個課程c，li,j為某個用戶ui與某個視頻vj之間的交互記錄，li,j(ui,vj)∈li(ui,c)；在微觀模塊通過cnn網(wǎng)絡(luò)來捕獲微觀信息，包含有價值的時間序列模式；具體過程表示為輸入信息構(gòu)成的輸入數(shù)據(jù)集樣本矩陣x＝[x1,x2,…,xn]，x∈rn×d，其中xi∈rd表示具體一個樣本，為某一在線用戶與資源交互的具體信息；卷積操作如下式：

32、y＝f(wx+b)

33、其中，w為對應(yīng)輸入信號x的權(quán)重，b為偏置項，f為卷積變化函數(shù)，在一系列連續(xù)的卷積操作后，應(yīng)用池化操作和全連接層以總結(jié)所有提取的信息并生成最終預(yù)測。

34、在本發(fā)明一實施例中，微觀模塊和宏觀模塊產(chǎn)生的中間結(jié)果在最終預(yù)測之前通過加權(quán)求和進行結(jié)合，表示為下式：

35、p(y＝1|x)＝σ(wmicrormicro+wmacrormacro+b)

36、其中，rmicro和rmacro分別是來自微觀模塊和宏觀模塊的中間結(jié)果；wmicro和wmarco是兩個不同的權(quán)重；b是偏置值；σ表示回歸函數(shù)，數(shù)學(xué)形式下式所示：

37、

38、t為回歸函數(shù)的輸入變量。

39、本發(fā)明還提供了一種基于分離微觀和宏觀信息的mooc在線用戶行為監(jiān)測系統(tǒng)，包括存儲器、處理器以及存儲于存儲器上并能夠被處理器運行的計算機程序指令，當(dāng)處理器運行該計算機程序指令時，能夠?qū)崿F(xiàn)如上述所述的方法步驟。

40、本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，其上存儲有能夠被處理器運行的計算機程序指令，當(dāng)處理器運行該計算機程序指令時，能夠?qū)崿F(xiàn)如上述所述的方法步驟。

41、相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

42、(1)產(chǎn)品優(yōu)點：

43、1、時間序列模式的識別：本發(fā)明通過使用具有時間序列建模機制的模型(提出的基于cnn的模型)，有效捕捉在線學(xué)習(xí)交互日志中的潛在時間序列模式。實驗表明，使用時間序列建模的模型在處理微觀信息時表現(xiàn)優(yōu)異，這表明學(xué)習(xí)行為中的時間序列特征對預(yù)測具有重要意義。

44、2、雙塔框架的創(chuàng)新設(shè)計：本發(fā)明提出的雙塔框架在聯(lián)合模式或分離模式下的性能均優(yōu)于單塔的基線模型。使用不同的模塊分別處理不同類型的信息，可以進一步提高模型性能，僅使用單一模型來處理所有類型的信息很難找到最優(yōu)解。

45、3、靈活的訓(xùn)練模式：本發(fā)明支持聯(lián)合訓(xùn)練和分離訓(xùn)練兩種模式。在大多數(shù)情況下，聯(lián)合模式能夠提高模型的整體性能，尤其在同時處理微觀和宏觀信息時效果尤為顯著。而分離模式則提供了更高的靈活性，適用于需要獨立訓(xùn)練各部分模型的場景。

46、(2)產(chǎn)品用途：

47、1.學(xué)習(xí)者行為監(jiān)測：本發(fā)明通過分析學(xué)習(xí)者的交互日志，識別其中的時間序列模式，幫助mooc平臺預(yù)測哪些學(xué)習(xí)者有可能學(xué)習(xí)活動受到影響，從而提前采取干預(yù)措施。

48、2.個性化學(xué)習(xí)干預(yù)：根據(jù)學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)，提供個性化的學(xué)習(xí)建議或提醒，幫助高風(fēng)險的學(xué)習(xí)者重新投入學(xué)習(xí)。

49、3.課程設(shè)計優(yōu)化：通過對學(xué)習(xí)者行為的分析，幫助課程設(shè)計者了解學(xué)習(xí)過程中哪些環(huán)節(jié)容易導(dǎo)致停止學(xué)習(xí)，進而優(yōu)化課程內(nèi)容和結(jié)構(gòu)。