一種互評系統(tǒng)的實(shí)現(xiàn)方法
【專利摘要】一種互評系統(tǒng)的實(shí)現(xiàn)方法，互評系統(tǒng)接收學(xué)生提交的所有作業(yè)，以及教師提交的對應(yīng)各次作業(yè)的參考答案、評分標(biāo)準(zhǔn)以及作業(yè)樣本；對于每一次作業(yè)，互評系統(tǒng)將對應(yīng)的參考答案、評分標(biāo)準(zhǔn)和作業(yè)樣本發(fā)給每個學(xué)生，并將每份學(xué)生提交的作業(yè)隨機(jī)分給2個以上學(xué)生進(jìn)行評價，學(xué)生將評價結(jié)果反饋給互評系統(tǒng)；互評系統(tǒng)綜合學(xué)生對多次作業(yè)評價結(jié)果，處理學(xué)生提交的數(shù)據(jù)得到最終評分結(jié)果。本發(fā)明的互評系統(tǒng)通過這種方式實(shí)現(xiàn)了對評分結(jié)果的劃分和智能計算，提高最終得到的評分結(jié)果的正確性和可靠性，實(shí)現(xiàn)自動化智能的對學(xué)生提交數(shù)據(jù)的處理，有效提高了教學(xué)效率。
【專利說明】
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于教學(xué)【技術(shù)領(lǐng)域】，涉及數(shù)據(jù)統(tǒng)計技術(shù)，為一種互評系統(tǒng)的實(shí)現(xiàn)方法。 一種互評系統(tǒng)的實(shí)現(xiàn)方法

【背景技術(shù)】
[0002] 教師在教學(xué)過程中，需要對學(xué)生作業(yè)進(jìn)行批改評分，以便了解教學(xué)效果，控制教學(xué) 質(zhì)量。
[0003] 批改作業(yè)的方式大致分為三種模式：教師批改（專家評估）、機(jī)器批改（人工智 能）、學(xué)生互相批改（生生互評）。
[0004] 在三種模式中，專家評估是最可靠的評估方法，但由于代價高昂，不適合在大規(guī)模 教學(xué)中應(yīng)用（如大學(xué)公共課、大規(guī)模線上教學(xué)）。
[0005] 人工智能目前只能用于答案有限的客觀問題評估，對主觀性較強(qiáng)的問題，如數(shù)學(xué) 證明、程序設(shè)計、寫作等難以給出合理評價。
[0006] 生生互評是學(xué)生在參照評分標(biāo)準(zhǔn)的條件下對自己及其他學(xué)生作業(yè)進(jìn)行評價，該機(jī) 制在M00CS平臺C0USERA上得到了應(yīng)用，用于減輕教師教學(xué)負(fù)擔(dān)，讓學(xué)生更多的參與到教學(xué) 中，提高教學(xué)效率?；ピu包括以下流程：
[0007] 1.作業(yè)提交。學(xué)生在截止期之前將作業(yè)在網(wǎng)上提交。
[0008] 2.評價。教師公布參考答案及評分標(biāo)準(zhǔn)，為每位學(xué)生發(fā)放一定量（3-5份）待批改 作業(yè)。學(xué)生在截止期之前提交批改結(jié)果。
[0009] 3.對批改結(jié)果不滿的學(xué)生可提請批改者重新評價。必要時由教師仲裁。
[0010] 4.判分。系統(tǒng)根據(jù)多人評分結(jié)果，按一定規(guī)則確定作業(yè)得分。
[0011] 現(xiàn)有技術(shù)的生生互評使用的電子系統(tǒng)大多數(shù)僅對數(shù)據(jù)進(jìn)行接收和發(fā)送，生生互評 本質(zhì)上還是學(xué)生對學(xué)生進(jìn)行主觀評價。為了提高教學(xué)自動化，提高教學(xué)效率，如何根據(jù)生生 互評結(jié)果合理確定作業(yè)得分，而不僅僅是發(fā)送接收數(shù)據(jù)，是互評系統(tǒng)需要解決的首要問題。 目前有研究提到的方式有取中位數(shù)方法、取平均值方法及去掉最大值、最小值后取平均值 等。上述方法給出的成績僅以評分者的評分結(jié)果作為判斷基礎(chǔ)，仍然受到評分者能力及主 觀意愿的影響，成績的可靠性存在一定的問題。


【發(fā)明內(nèi)容】

[0012] 本發(fā)明要解決的問題是：現(xiàn)有的教學(xué)自動化系統(tǒng)中采用的生生互評系統(tǒng)，其實(shí)現(xiàn) 方式受評分者主觀影響大，準(zhǔn)確性、可靠性不夠高，不能有效實(shí)現(xiàn)提高教學(xué)自動化以及教學(xué) 效率的目的。
[0013] 本發(fā)明的技術(shù)方案為：一種互評系統(tǒng)的實(shí)現(xiàn)方法，一個課程中，教師向?qū)W生布置多 次作業(yè)，互評系統(tǒng)接收學(xué)生提交的所有作業(yè)，以及教師提交的對應(yīng)各次作業(yè)的參考答案、評 分標(biāo)準(zhǔn)以及作業(yè)樣本，所述作業(yè)樣本為教師由所布置的作業(yè)設(shè)計的包含多處錯誤的作業(yè)； 對于每一次作業(yè)，互評系統(tǒng)將對應(yīng)的參考答案、評分標(biāo)準(zhǔn)和作業(yè)樣本發(fā)給每個學(xué)生，并將每 份學(xué)生提交的作業(yè)隨機(jī)分給2個以上學(xué)生進(jìn)行評價，學(xué)生將評價結(jié)果反饋給互評系統(tǒng)；
[0014] 課程結(jié)束后，互評系統(tǒng)綜合學(xué)生對多次作業(yè)評價結(jié)果，按下列項(xiàng)目處理學(xué)生提交 的數(shù)據(jù)：
[0015] 1)學(xué)生txh提交的第th次作業(yè)由若干個得分點(diǎn)組成，dfh為得分點(diǎn)的編號， 該得分點(diǎn)的分值權(quán)重為m(th，dfh)，學(xué)生pxh作為評分學(xué)生對得分點(diǎn)dfh進(jìn)行了評分， df (pxh, txh, th, dfh)為學(xué)生pxh的評分結(jié)果，0表示不得分，1表示得分，-1表示未評分，如 得分則分值由m(th, dfh)計算得到；
[0016] 2)計算學(xué)生pxh的評價能力：
[0017] 對評分學(xué)生定義診斷敏感性如下：
[0018] 學(xué)生pxh評價的所有作業(yè)樣本中，包含η個錯誤，即有η個得分點(diǎn)教師評價為不得 分，學(xué)生pxh對所述η個得分點(diǎn)中的i個得分點(diǎn)的評價為不得分，則學(xué)生pxh的診斷敏感性 定義為：
[0019]

【權(quán)利要求】
1. 一種互評系統(tǒng)的實(shí)現(xiàn)方法，一個課程中，教師向?qū)W生布置多次作業(yè)，其特征是互評系 統(tǒng)接收學(xué)生提交的所有作業(yè)，以及教師提交的對應(yīng)各次作業(yè)的參考答案、評分標(biāo)準(zhǔn)以及作 業(yè)樣本，所述作業(yè)樣本為教師由所布置的作業(yè)設(shè)計的包含多處錯誤的作業(yè)；對于每一次作 業(yè)，互評系統(tǒng)將對應(yīng)的參考答案、評分標(biāo)準(zhǔn)和作業(yè)樣本發(fā)給每個學(xué)生，并將每份學(xué)生提交的 作業(yè)隨機(jī)分給2個以上學(xué)生進(jìn)行評價，學(xué)生將評價結(jié)果反饋給互評系統(tǒng)； 課程結(jié)束后，互評系統(tǒng)綜合學(xué)生對多次作業(yè)評價結(jié)果，按下列項(xiàng)目處理學(xué)生提交的數(shù) 據(jù)： 1) 學(xué)生txh提交的第th次作業(yè)由若干個得分點(diǎn)組成，dfh為得分點(diǎn)的編號，該 得分點(diǎn)的分值權(quán)重為m (th，dfh)，學(xué)生pxh作為評分學(xué)生對得分點(diǎn)dfh進(jìn)行了評分， df (pxh, txh, th, dfh)為學(xué)生pxh的評分結(jié)果，0表示不得分，1表示得分，-1表示未評分，如 得分則分值由m(th, dfh)計算得到； 2) 計算學(xué)生pxh的評價能力： 對評分學(xué)生定義診斷敏感性如下： 學(xué)生pxh評價的所有作業(yè)樣本中，包含η個錯誤，即有η個得分點(diǎn)教師評價為不得分， 學(xué)生pxh對所述η個得分點(diǎn)中的i個得分點(diǎn)的評價為不得分，則學(xué)生pxh的診斷敏感性定 義為：
對評分學(xué)生定義診斷特異性如下： 學(xué)生pxh評價的所有作業(yè)樣本中，有m個得分點(diǎn)教師評價為得分，學(xué)生pxh對所述m個 得分點(diǎn)中的j個得分點(diǎn)的評分為得分，則學(xué)號為pxh的學(xué)生鑒別診斷特異性定義為
3) 計算學(xué)生txh的作業(yè)得分： 3. 1)對于評價一致的得分點(diǎn)： 在學(xué)生txh提交作業(yè)的各個得分點(diǎn)中，所有評分學(xué)生一致評為得分的得分點(diǎn)確定為得 分，一致評為不得分的得分點(diǎn)確定為不得分； 3. 2)估計學(xué)生作業(yè)的錯誤發(fā)生率： 對于學(xué)生txh提交的得到評價一致的得分點(diǎn)，其中評為得分的數(shù)目為h，評為不得分的 數(shù)目為t2，則學(xué)生txh的錯誤發(fā)生率為：
3. 3)對于評價不一致的得分點(diǎn)，根據(jù)貝葉斯模型計算非一致性評價的作業(yè)不得分概 率： 設(shè)總共有有N個評分學(xué)生獨(dú)立對學(xué)生txh的同一得分點(diǎn)進(jìn)行評分，對應(yīng)的敏感性和特 異性分別為Se" Se2,. . .，SeN, Spp Sp2,. . .，SpN，設(shè)其中前k個學(xué)生評分為0,后N-k個學(xué)生評 分為1，設(shè)評分對應(yīng)事件為A2,. . .，Ak及.
表示k個學(xué)生對得 分點(diǎn)評分為
表示后N-k個學(xué)生對得分點(diǎn)評分為1，作業(yè)提交者txh的錯誤 率為ER， 記得分點(diǎn)不得分的事件為B，根據(jù)條件概率公式，不得分概率
由于各學(xué)生間評分相互獨(dú)立，得：
根據(jù)全概率公式，有：
因此：
3. 4)根據(jù)概率確定評價不一致的得分點(diǎn)的得分： 設(shè)定閾值α，若
，則該得分點(diǎn)不得分，若
，則該得分點(diǎn)得分，若
.則互評系統(tǒng)將該得分點(diǎn)的評價任務(wù)發(fā)送給 教師，α對應(yīng)于教師處理強(qiáng)度，α越高則發(fā)送給教師處理的幾率越高。
2. 根據(jù)權(quán)利要求1所述的一種互評系統(tǒng)的實(shí)現(xiàn)方法，其特征是對閾值α，設(shè)置80% 〈α〈1〇〇%。
3. 根據(jù)權(quán)利要求1所述的一種互評系統(tǒng)的實(shí)現(xiàn)方法，其特征是互評系統(tǒng)根據(jù)評分學(xué)生 的評價結(jié)果以及被評價作業(yè)的最終評分結(jié)果計算評分學(xué)生的評分有效率，評分系統(tǒng)對每個 學(xué)生提交作業(yè)的最終評分結(jié)果以及該學(xué)生的評分有效率分別設(shè)置權(quán)重，由這兩部分計算得 到每個學(xué)生的作業(yè)得分結(jié)果。
【文檔編號】G06Q50/20GK104091298SQ201410340559
【公開日】2014年10月8日 申請日期:2014年7月16日 優(yōu)先權(quán)日:2014年7月16日
【發(fā)明者】羅建平, 華東 申請人:羅建平, 華東