用于自動(dòng)評(píng)分的裝置和方法
【專(zhuān)利摘要】本發(fā)明涉及用于自動(dòng)評(píng)分的裝置和方法。根據(jù)本發(fā)明：能夠通過(guò)基于語(yǔ)言教育特性、評(píng)估區(qū)域特性和考官的回答評(píng)估特性生成評(píng)估區(qū)域之間的相關(guān)模型來(lái)逼真地對(duì)考官的隱式確定準(zhǔn)則進(jìn)行建模；通過(guò)對(duì)于各個(gè)評(píng)估區(qū)域應(yīng)用先前生成的評(píng)分模型來(lái)自動(dòng)地對(duì)用于對(duì)目標(biāo)數(shù)據(jù)進(jìn)行評(píng)分的一個(gè)或更多個(gè)評(píng)估區(qū)域進(jìn)行評(píng)分；以及能夠利用各個(gè)評(píng)估區(qū)域的所述相關(guān)模型并且針對(duì)一個(gè)或更多個(gè)評(píng)估區(qū)域來(lái)調(diào)整自動(dòng)評(píng)分分?jǐn)?shù)而獲得可靠的自動(dòng)評(píng)分結(jié)果。
【專(zhuān)利說(shuō)明】用于自動(dòng)評(píng)分的裝置和方法

【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及通過(guò)機(jī)器學(xué)習(xí)來(lái)自動(dòng)地對(duì)用戶(hù)的回答進(jìn)行評(píng)分的自動(dòng)評(píng)分技術(shù)，并且更具體地，涉及通過(guò)考慮評(píng)估區(qū)域之間的相關(guān)性來(lái)自動(dòng)地對(duì)目標(biāo)數(shù)據(jù)進(jìn)行評(píng)分的自動(dòng)評(píng)分裝置和方法。

【背景技術(shù)】
[0002]本部分中的描述僅僅提供關(guān)于本發(fā)明的背景信息，但是不構(gòu)成現(xiàn)有技術(shù)。
[0003]根據(jù)通信技術(shù)的發(fā)展，利用通信技術(shù)來(lái)執(zhí)行語(yǔ)言測(cè)驗(yàn)和簡(jiǎn)單水平測(cè)驗(yàn)等，并且為此，服務(wù)器裝置提供測(cè)驗(yàn)并且通過(guò)對(duì)該測(cè)驗(yàn)的回答進(jìn)行評(píng)分來(lái)提供評(píng)分結(jié)果。以前，利用了個(gè)體直接地對(duì)測(cè)驗(yàn)進(jìn)行評(píng)分以對(duì)該測(cè)驗(yàn)的回答進(jìn)行評(píng)分并且該個(gè)體將評(píng)分?jǐn)?shù)據(jù)輸入到服務(wù)器裝置等以便提供評(píng)分結(jié)果的方法。
[0004]然而，這種評(píng)分方案需要許多勞動(dòng)力來(lái)對(duì)測(cè)驗(yàn)的回答進(jìn)行評(píng)分，并且需要相當(dāng)數(shù)量的時(shí)間來(lái)確認(rèn)評(píng)分結(jié)果。
[0005]為了改進(jìn)困難，近年來(lái)，正在開(kāi)發(fā)用于通過(guò)機(jī)器學(xué)習(xí)而不通過(guò)人來(lái)自動(dòng)地對(duì)測(cè)驗(yàn)的回答進(jìn)行評(píng)分的自動(dòng)評(píng)分系統(tǒng)。常規(guī)的自動(dòng)評(píng)分系統(tǒng)通過(guò)收集考官對(duì)測(cè)驗(yàn)的多個(gè)回答的主觀(guān)評(píng)分結(jié)果、在測(cè)驗(yàn)的回答方面通過(guò)機(jī)器學(xué)習(xí)來(lái)分析可評(píng)估項(xiàng)(評(píng)估質(zhì)量)、利用經(jīng)分析的結(jié)果和考官的主觀(guān)評(píng)分結(jié)果通過(guò)機(jī)器學(xué)習(xí)基于可評(píng)估項(xiàng)來(lái)生成評(píng)分模型、以及通過(guò)所生成的評(píng)分模型來(lái)分析測(cè)驗(yàn)的回答的相似性來(lái)執(zhí)行自動(dòng)評(píng)分。
[0006]然而，根據(jù)語(yǔ)言教育特性，存在評(píng)分區(qū)域是不完全相互排斥的并且考官的每個(gè)評(píng)估區(qū)域的分?jǐn)?shù)相互影響的特性。已知的自動(dòng)評(píng)分系統(tǒng)不反映這些特性，并且鑒于考官的評(píng)分結(jié)果和準(zhǔn)確性，由已知的自動(dòng)評(píng)分系統(tǒng)執(zhí)行的自動(dòng)評(píng)分方案的可靠性被認(rèn)為是低的。


【發(fā)明內(nèi)容】

[0007]技術(shù)問(wèn)題
[0008]本發(fā)明致力于提供用于在利用機(jī)器學(xué)習(xí)自動(dòng)地對(duì)包括用戶(hù)的回答的評(píng)分目標(biāo)數(shù)據(jù)進(jìn)行評(píng)分時(shí)通過(guò)考慮評(píng)估區(qū)域之間的相關(guān)性來(lái)自動(dòng)地對(duì)評(píng)分目標(biāo)數(shù)據(jù)進(jìn)行評(píng)分的自動(dòng)評(píng)分裝置和方法。
[0009]此外，本發(fā)明致力于提供能夠通過(guò)生成反映語(yǔ)言教育特性、評(píng)估區(qū)域特性、考官的回答評(píng)估特性等的評(píng)估區(qū)域之間的相關(guān)模型，并且通過(guò)應(yīng)用所生成的相關(guān)模型來(lái)補(bǔ)償每個(gè)評(píng)估區(qū)域的評(píng)分模型中的差錯(cuò)的自動(dòng)評(píng)分裝置和方法。
[0010]技術(shù)方案
[0011]本發(fā)明的一個(gè)方面提供一種自動(dòng)評(píng)分裝置，該自動(dòng)評(píng)分裝置包括:自動(dòng)評(píng)分單元，該自動(dòng)評(píng)分單元被配置成應(yīng)用預(yù)先生成的評(píng)估區(qū)域中的每一個(gè)評(píng)估區(qū)域的評(píng)分模型，并且對(duì)評(píng)分目標(biāo)數(shù)據(jù)執(zhí)行所述評(píng)估區(qū)域中的每一個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分；以及分?jǐn)?shù)調(diào)整單元，該分?jǐn)?shù)調(diào)整單元被配置成根據(jù)所述評(píng)估區(qū)域之間的相關(guān)模型來(lái)調(diào)整所述評(píng)估區(qū)域中的每一個(gè)評(píng)估區(qū)域相對(duì)于從所述自動(dòng)評(píng)分單元輸出的所述評(píng)分目標(biāo)數(shù)據(jù)的自動(dòng)評(píng)分分?jǐn)?shù)，并且計(jì)算最終的自動(dòng)評(píng)分分?jǐn)?shù)。
[0012]所述自動(dòng)評(píng)分裝置還包括以下各項(xiàng)中的一個(gè):評(píng)分模型生成單元，該評(píng)分模型生成單元被配置為利用通過(guò)針對(duì)一個(gè)或更多個(gè)回答以及從所述一個(gè)或更多個(gè)回答中提取的一個(gè)或更多個(gè)評(píng)估質(zhì)量來(lái)評(píng)估所述評(píng)估區(qū)域中的至少一個(gè)評(píng)估區(qū)域所獲得的先前的評(píng)分?jǐn)?shù)據(jù)、通過(guò)機(jī)器學(xué)習(xí)來(lái)生成每個(gè)所述評(píng)估區(qū)域的所述評(píng)分模型；以及相關(guān)模型生成單元，該相關(guān)模型生成單元被配置為生成所述評(píng)估區(qū)域之間的所述相關(guān)模型，所述相關(guān)模型定義基于所述先前的評(píng)分?jǐn)?shù)據(jù)生成的所述評(píng)估區(qū)域中的至少一個(gè)評(píng)估區(qū)域之間的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的概率。
[0013]在所述自動(dòng)評(píng)分裝置中，所述分?jǐn)?shù)調(diào)整單元對(duì)所述每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)進(jìn)行比較，選擇所述評(píng)估區(qū)域之間的相關(guān)差異具有比預(yù)定范圍更大的分?jǐn)?shù)的異常評(píng)估區(qū)域，并且利用所述評(píng)估區(qū)域之間的所述相關(guān)模型來(lái)調(diào)整所述異常評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)。
[0014]在所述自動(dòng)評(píng)分裝置中，所述分?jǐn)?shù)調(diào)整單元利用所述相關(guān)模型基于排除所述異常評(píng)估區(qū)域以外的剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)來(lái)計(jì)算所選擇的異常評(píng)估區(qū)域的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率，并且將所述異常評(píng)估區(qū)域的所述自動(dòng)評(píng)分分?jǐn)?shù)改變成具有最高概率的分?jǐn)?shù)。
[0015]本發(fā)明的另一方面提供一種自動(dòng)評(píng)分方法，該自動(dòng)評(píng)分方法包括以下步驟:應(yīng)用先前生成的每個(gè)評(píng)估區(qū)域的評(píng)分模型，并且對(duì)評(píng)分目標(biāo)數(shù)據(jù)執(zhí)行一個(gè)或更多個(gè)評(píng)估區(qū)域中的每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分；以及利用所述每個(gè)評(píng)估區(qū)域的相關(guān)模型來(lái)調(diào)整所述一個(gè)或更多個(gè)評(píng)估區(qū)域中的每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)。
[0016]在所述自動(dòng)評(píng)分方法中，所述自動(dòng)評(píng)分分?jǐn)?shù)的調(diào)整包括以下步驟:對(duì)所述評(píng)估區(qū)域之間的自動(dòng)評(píng)分分?jǐn)?shù)進(jìn)行比較并且選擇相關(guān)差異具有比預(yù)定范圍更大的分?jǐn)?shù)的異常評(píng)估區(qū)域；基于排除所述異常評(píng)估區(qū)域以外的剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)來(lái)計(jì)算所選擇的異常評(píng)估區(qū)域的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率；以及將所述異常評(píng)估區(qū)域的所述自動(dòng)評(píng)分分?jǐn)?shù)改變成具有最高概率的分?jǐn)?shù)。
[0017]所述自動(dòng)評(píng)分方法可以進(jìn)一步包括以下步驟中的一個(gè):在執(zhí)行所述自動(dòng)評(píng)分之前，利用通過(guò)針對(duì)一個(gè)或更多個(gè)回答和從所述一個(gè)或更多個(gè)回答中提取的一個(gè)或更多個(gè)評(píng)估質(zhì)量來(lái)評(píng)估所述一個(gè)或更多個(gè)評(píng)估區(qū)域而獲得的先前的評(píng)分?jǐn)?shù)據(jù)、通過(guò)機(jī)器學(xué)習(xí)來(lái)生成所述評(píng)估區(qū)域中的每個(gè)評(píng)估區(qū)域的評(píng)分模型；以及生成所述評(píng)估區(qū)域之間的所述相關(guān)模型，所述相關(guān)模型定義基于所述先前的評(píng)分?jǐn)?shù)據(jù)生成的所述評(píng)估區(qū)域中的一個(gè)或更多個(gè)評(píng)估區(qū)域之間的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的概率。
[0018]本發(fā)明的再一個(gè)方面提供一種計(jì)算機(jī)可讀記錄介質(zhì)，該計(jì)算機(jī)可讀記錄介質(zhì)用于記錄用于執(zhí)行所述自動(dòng)評(píng)分方法的程序。
[0019]有益效果
[0020]本發(fā)明涉及自動(dòng)地評(píng)估用戶(hù)在包括說(shuō)、聽(tīng)、寫(xiě)等的一個(gè)或更多個(gè)語(yǔ)言區(qū)域中的回答的技術(shù)，并且更具體地，當(dāng)針對(duì)用戶(hù)的回答來(lái)評(píng)估一個(gè)或更多個(gè)評(píng)估區(qū)域時(shí)，本發(fā)明能夠通過(guò)生成反映語(yǔ)言教育特性、評(píng)估區(qū)域特性、考官的回答評(píng)估特性等的評(píng)估區(qū)域之間的相關(guān)模型、針對(duì)評(píng)估區(qū)域來(lái)更加逼真地對(duì)隱式準(zhǔn)則進(jìn)行建模。
[0021]此外，當(dāng)通過(guò)應(yīng)用能夠在評(píng)估區(qū)域之間發(fā)生的相關(guān)性從而應(yīng)用所生成的評(píng)估區(qū)域之間的相關(guān)模型、經(jīng)由每個(gè)評(píng)估區(qū)域的評(píng)分模型來(lái)執(zhí)行自動(dòng)評(píng)分時(shí)，本發(fā)明能夠利用考官的回答評(píng)估特性來(lái)使差錯(cuò)最小化，并且提高針對(duì)評(píng)估結(jié)果的可靠性。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0022]圖1是例示了根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置的構(gòu)造的圖；
[0023]圖2是用于描述根據(jù)本發(fā)明的示例性實(shí)施方式的執(zhí)行應(yīng)用在評(píng)估區(qū)域之間的相關(guān)模型的自動(dòng)評(píng)分操作的方法的圖；
[0024]圖3是例示了根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置應(yīng)用于的自動(dòng)評(píng)估服務(wù)系統(tǒng)的構(gòu)造的圖；
[0025]圖4是例示了根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分方法應(yīng)用于的終端設(shè)備的圖；
[0026]圖5a至圖5c是根據(jù)本發(fā)明的示例性實(shí)施方式的用于描述評(píng)估區(qū)域之間的相關(guān)模型的評(píng)估區(qū)域之間的相關(guān)表；以及
[0027]圖6至圖8是根據(jù)本發(fā)明的示例性實(shí)施方式的用于描述應(yīng)用評(píng)估區(qū)域之間的相關(guān)模型的自動(dòng)評(píng)分操作的圖。

【具體實(shí)施方式】
[0028]在下文中，將在下面參照附圖更詳細(xì)地描述本發(fā)明的實(shí)施方式。將省略能夠使本發(fā)明在以下描述和附圖中的要點(diǎn)混淆的已知功能或配置的詳細(xì)描述。此外，在所有附圖中，應(yīng)當(dāng)理解，相同的或相似的元件由同樣的附圖標(biāo)記標(biāo)明。
[0029]基于在下面用來(lái)描述本說(shuō)明書(shū)和權(quán)利要求的術(shù)語(yǔ)和詞匯不應(yīng)該被解釋為一般意義或詞典意義、并且被定義為以最佳方式描述本發(fā)明的術(shù)語(yǔ)的構(gòu)思的原理，術(shù)語(yǔ)和詞匯應(yīng)該被解釋為意義和構(gòu)思對(duì)應(yīng)于本發(fā)明的技術(shù)精神。因此，示出了本說(shuō)明書(shū)中所描述的實(shí)施方式和附圖的構(gòu)造僅僅是示例性實(shí)施方式，并且因?yàn)闃?gòu)造未示出本發(fā)明的所有技術(shù)精神，所以應(yīng)當(dāng)理解，存在能夠替換它們的各種等同物和修改。
[0030]在以下描述中，“評(píng)估區(qū)域”是用于針對(duì)特定評(píng)估測(cè)驗(yàn)使考官之間的分?jǐn)?shù)標(biāo)準(zhǔn)化的評(píng)分準(zhǔn)則集，并且被定義為評(píng)分區(qū)域和所述評(píng)分區(qū)域的評(píng)估內(nèi)容。例如，在外語(yǔ)的口語(yǔ)測(cè)驗(yàn)中，評(píng)估區(qū)域包括諸如流利、語(yǔ)言使用、組態(tài)和發(fā)音這樣的評(píng)分區(qū)域。這里，流利是評(píng)估口語(yǔ)速度的適當(dāng)性和毫不猶豫地維持自然口語(yǔ)速度的程度的因素。語(yǔ)言使用是評(píng)估表達(dá)的精確性和詞匯使用的適當(dāng)性的因素。組態(tài)是評(píng)估口語(yǔ)的邏輯連接性以及口語(yǔ)內(nèi)容的一致性和內(nèi)聚性的因素。發(fā)音是評(píng)估發(fā)音的清晰度和可理解程度的因素。本發(fā)明可以針對(duì)一個(gè)或更多個(gè)預(yù)定的評(píng)估區(qū)域?qū)崿F(xiàn)自動(dòng)評(píng)分裝置和方法。
[0031]首先，將參照附圖詳細(xì)地描述根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置和方法。
[0032]圖1是例示了根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置的構(gòu)造的圖。
[0033]參照?qǐng)D1，根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置100是根據(jù)本發(fā)明的用于基于一個(gè)或更多個(gè)預(yù)定評(píng)估區(qū)域來(lái)對(duì)應(yīng)試者針對(duì)特定問(wèn)題的回答自動(dòng)地進(jìn)行評(píng)分的裝置。具體地，自動(dòng)評(píng)分裝置100利用一個(gè)或更多個(gè)預(yù)定評(píng)估區(qū)域中的每個(gè)的評(píng)分模型來(lái)自動(dòng)地計(jì)算一個(gè)或更多個(gè)一個(gè)預(yù)定評(píng)估區(qū)域中的每個(gè)針對(duì)評(píng)分目標(biāo)數(shù)據(jù)的分?jǐn)?shù)。接下來(lái)，自動(dòng)評(píng)分裝置100對(duì)由每個(gè)評(píng)估區(qū)域的評(píng)分模型利用先前生成的評(píng)估區(qū)域之間的相關(guān)模型進(jìn)行評(píng)分的每個(gè)評(píng)估區(qū)域中的自動(dòng)評(píng)分分?jǐn)?shù)進(jìn)行比較，并且調(diào)整具有超過(guò)預(yù)定范圍的分?jǐn)?shù)的異常評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)。
[0034]為此，自動(dòng)評(píng)分裝置100收集用作針對(duì)測(cè)驗(yàn)的一個(gè)或更多個(gè)回答的準(zhǔn)則的評(píng)分?jǐn)?shù)據(jù)，例如，針對(duì)由考官直接評(píng)分的一個(gè)或更多個(gè)估計(jì)區(qū)域的評(píng)分?jǐn)?shù)據(jù)。此外，自動(dòng)評(píng)分裝置100從測(cè)驗(yàn)的一個(gè)或更多個(gè)回答中提取一個(gè)或更多個(gè)評(píng)估質(zhì)量。而且，自動(dòng)評(píng)分裝置100通過(guò)利用從測(cè)驗(yàn)的一個(gè)或更多個(gè)回答中的每個(gè)中提取的評(píng)估質(zhì)量和先前的評(píng)分?jǐn)?shù)據(jù)來(lái)執(zhí)行機(jī)器學(xué)習(xí)而生成估計(jì)區(qū)域中的每個(gè)的評(píng)分模型。
[0035]自動(dòng)評(píng)分裝置100自動(dòng)地計(jì)算每個(gè)評(píng)估區(qū)域針對(duì)通過(guò)每個(gè)所生成的評(píng)估區(qū)域的評(píng)分模型所重新輸入的評(píng)分目標(biāo)數(shù)據(jù)的分?jǐn)?shù)。
[0036]而且，自動(dòng)評(píng)分裝置100利用評(píng)分?jǐn)?shù)據(jù)來(lái)先前生成評(píng)估區(qū)域之間的相關(guān)模型。
[0037]自動(dòng)評(píng)分裝置100包括評(píng)分模型生成單元110、相關(guān)模型生成單元120、自動(dòng)評(píng)分單元130和分?jǐn)?shù)調(diào)整單元140。評(píng)分模型生成單元110、相關(guān)模型生成單元120、自動(dòng)評(píng)分單元130和分?jǐn)?shù)調(diào)整單元140由硬件、軟件或硬件和軟件的組合來(lái)實(shí)現(xiàn)。例如，評(píng)分模型生成單元110、相關(guān)模型生成單元120、自動(dòng)評(píng)分單元130和分?jǐn)?shù)調(diào)整單元140由實(shí)現(xiàn)為執(zhí)行將在下面描述的功能的軟件和執(zhí)行該軟件的微處理器的組合來(lái)實(shí)現(xiàn)。
[0038]評(píng)分模型生成單元110利用從由考官先前評(píng)分的測(cè)驗(yàn)的一個(gè)或更多個(gè)回答中提取的一個(gè)或更多個(gè)評(píng)估質(zhì)量、通過(guò)每個(gè)評(píng)估區(qū)域針對(duì)由考官先前評(píng)分的測(cè)驗(yàn)的一個(gè)或更多個(gè)回答的評(píng)分?jǐn)?shù)據(jù)和機(jī)器學(xué)習(xí)來(lái)生成每個(gè)評(píng)估區(qū)域的評(píng)分模型。
[0039]具體地，評(píng)分模型生成單元110接收從測(cè)驗(yàn)的一個(gè)或更多個(gè)回答中提取的評(píng)估質(zhì)量，即，自動(dòng)地可評(píng)估的項(xiàng)(例如，單詞的數(shù)量、形容詞的數(shù)量、語(yǔ)法錯(cuò)誤、拼寫(xiě)錯(cuò)誤、時(shí)態(tài)不符、與模型回答的相似性等)。此外，通過(guò)針對(duì)評(píng)估質(zhì)量和考官針對(duì)測(cè)驗(yàn)的一個(gè)或更多個(gè)回答的每個(gè)評(píng)估區(qū)域的評(píng)分?jǐn)?shù)據(jù)執(zhí)行機(jī)器學(xué)習(xí)，來(lái)生成定義評(píng)估質(zhì)量與每個(gè)評(píng)估區(qū)域的分?jǐn)?shù)之間的關(guān)系的每個(gè)評(píng)估區(qū)域的評(píng)分模型。也就是說(shuō)，可以基于一個(gè)或更多個(gè)自動(dòng)地可評(píng)估的評(píng)估質(zhì)量對(duì)考官的主觀(guān)評(píng)估準(zhǔn)則進(jìn)行建模。
[0040]相關(guān)模型生成單元120對(duì)考官通過(guò)反映語(yǔ)言教育特性、評(píng)估區(qū)域特性、考官的回答評(píng)估特性等進(jìn)行評(píng)分的評(píng)分?jǐn)?shù)據(jù)中的評(píng)估區(qū)域之間的相關(guān)性進(jìn)行建模。為此，相關(guān)模型生成單元120利用用于生成每個(gè)評(píng)估區(qū)域的評(píng)分模型的一個(gè)或更多個(gè)先前的評(píng)分?jǐn)?shù)據(jù)來(lái)分析評(píng)估區(qū)域之間的相關(guān)性，并且生成相關(guān)模型。
[0041]例如，相關(guān)模型生成單元120將影響評(píng)估區(qū)域之間的分?jǐn)?shù)的特性定義為如圖5a至圖5c所示的評(píng)估區(qū)域之間的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率表。在實(shí)施方式中，當(dāng)設(shè)定了第一評(píng)估區(qū)域至第四評(píng)估區(qū)域并且在每個(gè)評(píng)估區(qū)域中對(duì)范圍從O至5的分?jǐn)?shù)進(jìn)行評(píng)分時(shí)，通過(guò)分析在作為準(zhǔn)則的第四評(píng)估區(qū)域(類(lèi)目#4)與其它評(píng)估區(qū)域(類(lèi)目#1、類(lèi)目#2和類(lèi)目#3)之間的相關(guān)性來(lái)生成該生成概率表。具體地，圖5a是將第一評(píng)估區(qū)域(類(lèi)目#1)與第四評(píng)估區(qū)域(類(lèi)目#4)之間的相關(guān)性例示為分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率的生成概率表，圖5b是將第二評(píng)估區(qū)域(類(lèi)目#2)與第四評(píng)估區(qū)域(類(lèi)目#4)之間的相關(guān)性例示為分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率的生成概率表，并且圖5c是將第三評(píng)估區(qū)域(類(lèi)目#3)與第四評(píng)估區(qū)域(類(lèi)目#4)之間的相關(guān)性例示為分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率的生成概率表。
[0042]利用相關(guān)模型來(lái)獲得評(píng)估區(qū)域之間的分?jǐn)?shù)的生成概率。例如，參照?qǐng)D5c，當(dāng)?shù)谌u(píng)估區(qū)域(類(lèi)目#3)的分?jǐn)?shù)是3時(shí)，第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)為O的概率是0%，第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)為I的概率是0.2 %，第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)為2的概率是5.6%，第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)為3的概率是16.4%，第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)為4的概率是0.4%，以及第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)為5的概率是0%。因此，當(dāng)?shù)谌u(píng)估區(qū)域(類(lèi)目#3)的分?jǐn)?shù)是3時(shí)，第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)為3或2的概率是非常高的。此外，當(dāng)?shù)谒脑u(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)是3時(shí)，第三評(píng)估區(qū)域(類(lèi)目#3)的分?jǐn)?shù)為O或I的概率是O%，第三評(píng)估區(qū)域(類(lèi)目#3)的分?jǐn)?shù)為2的概率是2.8%，第三評(píng)估區(qū)域(類(lèi)目#3)的分?jǐn)?shù)為3的概率是16.4%，第三評(píng)估區(qū)域(類(lèi)目#3)的分?jǐn)?shù)為4的概率是6.6%，以及第三評(píng)估區(qū)域(類(lèi)目#3)的分?jǐn)?shù)為5的概率是0.6 %。通過(guò)評(píng)估區(qū)域之間的相關(guān)模型，可以看到在第三評(píng)估區(qū)域(類(lèi)目#3)中具有高分?jǐn)?shù)的測(cè)驗(yàn)的回答具有同樣在第四評(píng)估區(qū)域(類(lèi)目#4)中具有高分?jǐn)?shù)的高概率，并且在第三評(píng)估區(qū)域(類(lèi)目#3)中具有低分?jǐn)?shù)的測(cè)驗(yàn)的回答具有在第四評(píng)估區(qū)域(類(lèi)目#4)中具有低分?jǐn)?shù)的高概率。這是因?yàn)獒槍?duì)特定回答的一個(gè)或更多個(gè)評(píng)估區(qū)域彼此不獨(dú)立并且在語(yǔ)言學(xué)教育中是連接的。
[0043]自動(dòng)評(píng)分單元130從應(yīng)試者接收作為測(cè)驗(yàn)的回答的新的評(píng)分目標(biāo)數(shù)據(jù)以用于評(píng)分，并且利用在評(píng)分模型生成單元110中生成的每個(gè)評(píng)估區(qū)域的評(píng)分模型來(lái)自動(dòng)地計(jì)算一個(gè)或更多個(gè)評(píng)分區(qū)域中的每個(gè)評(píng)分區(qū)域針對(duì)評(píng)分目標(biāo)數(shù)據(jù)的分?jǐn)?shù)。
[0044]接下來(lái)，分?jǐn)?shù)調(diào)整單元140通過(guò)在相關(guān)模型生成單元120中生成的評(píng)估區(qū)域之間的相關(guān)模型來(lái)調(diào)整每個(gè)評(píng)估區(qū)域針對(duì)從自動(dòng)評(píng)分單元130輸出的評(píng)分目標(biāo)數(shù)據(jù)的自動(dòng)評(píng)分分?jǐn)?shù)。具體地，分?jǐn)?shù)調(diào)整單元140對(duì)每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)進(jìn)行比較，選擇相關(guān)差異具有比預(yù)定范圍更大的分?jǐn)?shù)的異常評(píng)估區(qū)域，并且基于所選的異常評(píng)估區(qū)域與剩余評(píng)估區(qū)域之間的相關(guān)模型來(lái)校準(zhǔn)異常評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)。
[0045]將參照?qǐng)D2詳細(xì)地描述在具有以上所描述的構(gòu)造的自動(dòng)評(píng)分裝置中執(zhí)行的根據(jù)本發(fā)明的實(shí)施方式的自動(dòng)評(píng)分方法。
[0046]圖2是用于描述根據(jù)本發(fā)明的示例性實(shí)施方式的在自動(dòng)評(píng)估服務(wù)系統(tǒng)中執(zhí)行應(yīng)用評(píng)估區(qū)域之間的相關(guān)模型的自動(dòng)評(píng)分操作的方法的圖。
[0047]參照?qǐng)D2，在步驟1101中根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置100收集由考官先前評(píng)分的一個(gè)或更多個(gè)評(píng)分?jǐn)?shù)據(jù)。該一個(gè)或更多個(gè)評(píng)分?jǐn)?shù)據(jù)包括一個(gè)或更多個(gè)考官中的每個(gè)針對(duì)一個(gè)或更多個(gè)評(píng)估區(qū)域?qū)y(cè)驗(yàn)的一個(gè)或更多個(gè)回答進(jìn)行評(píng)分的信息。
[0048]接下來(lái)，在步驟1102中自動(dòng)評(píng)分裝置100基于所收集的一個(gè)或更多個(gè)評(píng)分?jǐn)?shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)來(lái)生成每個(gè)評(píng)估區(qū)域的評(píng)分模型。更具體地，自動(dòng)評(píng)分裝置100根據(jù)與每個(gè)評(píng)估區(qū)域的先前的評(píng)分?jǐn)?shù)據(jù)對(duì)應(yīng)的測(cè)驗(yàn)的回答來(lái)分析自動(dòng)地可評(píng)估的評(píng)估質(zhì)量(例如，單詞的數(shù)量、形容詞的數(shù)量、語(yǔ)法錯(cuò)誤、拼寫(xiě)錯(cuò)誤、時(shí)態(tài)不符、與模型回答的相似性等)。自動(dòng)評(píng)分裝置100生成每個(gè)評(píng)估區(qū)域的評(píng)分模型，該評(píng)分模型通過(guò)對(duì)經(jīng)分析的評(píng)估質(zhì)量的每個(gè)評(píng)估區(qū)域和一個(gè)或更多個(gè)評(píng)分?jǐn)?shù)據(jù)執(zhí)行機(jī)器學(xué)習(xí)、基于可評(píng)估的評(píng)估質(zhì)量來(lái)計(jì)算每個(gè)評(píng)估區(qū)域的分?jǐn)?shù)。
[0049]此外，在步驟1103中，自動(dòng)評(píng)分裝置100基于所收集的每個(gè)評(píng)估區(qū)域的評(píng)分?jǐn)?shù)據(jù)來(lái)生成如圖5a至圖5c所示的評(píng)估區(qū)域之間的相關(guān)模型。評(píng)估區(qū)域之間的相關(guān)模型可以是使兩個(gè)評(píng)估區(qū)域之間的相關(guān)性結(jié)構(gòu)化的模型。例如，當(dāng)存在四個(gè)評(píng)估區(qū)域時(shí)，可以生成六個(gè)相關(guān)模型。這里，評(píng)估區(qū)域之間的相關(guān)模型被實(shí)現(xiàn)為定義兩個(gè)評(píng)估區(qū)域之間的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率的類(lèi)型。
[0050]接下來(lái)，在步驟1104中自動(dòng)評(píng)分裝置100重新接收應(yīng)試者針對(duì)特定問(wèn)題進(jìn)行回答的評(píng)分目標(biāo)數(shù)據(jù)。
[0051]當(dāng)輸入了新的評(píng)分目標(biāo)數(shù)據(jù)時(shí)，自動(dòng)評(píng)分裝置100應(yīng)用所生成的每個(gè)評(píng)估區(qū)域的評(píng)分模型，并且在步驟1105中計(jì)算一個(gè)或更多個(gè)評(píng)估區(qū)域中的每個(gè)評(píng)估區(qū)域針對(duì)評(píng)分目標(biāo)數(shù)據(jù)的自動(dòng)評(píng)分分?jǐn)?shù)。具體地，自動(dòng)評(píng)分裝置100從新的評(píng)分目標(biāo)數(shù)據(jù)中提取一個(gè)或更多個(gè)評(píng)估質(zhì)量，將所提取的評(píng)估質(zhì)量應(yīng)用于每個(gè)評(píng)估區(qū)域的評(píng)分模型，并且計(jì)算每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)。
[0052]因?yàn)樵谝延?jì)算的每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)中不反映評(píng)估區(qū)域之間的相關(guān)性，所以已計(jì)算的每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)可能有錯(cuò)誤。因此，本發(fā)明還利用在下文中所描述的相關(guān)模型來(lái)執(zhí)行調(diào)整自動(dòng)評(píng)分結(jié)果的操作。
[0053]具體地，在步驟1106中，自動(dòng)評(píng)分裝置100對(duì)由自動(dòng)評(píng)分操作計(jì)算的每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)進(jìn)行比較，并且選擇具有相關(guān)差異超過(guò)預(yù)定范圍的分?jǐn)?shù)的異常評(píng)估區(qū)域。這里，相關(guān)差異可以被定義為兩個(gè)評(píng)估區(qū)域的分?jǐn)?shù)的差或同時(shí)生成兩個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)的概率。
[0054]圖6是用于描述根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分方法的表，應(yīng)試者編號(hào)可以是識(shí)別每個(gè)應(yīng)試者的信息，考官對(duì)每個(gè)應(yīng)試者的測(cè)驗(yàn)的回答的主觀(guān)評(píng)分結(jié)果被例示在表的左側(cè)中，并且針對(duì)測(cè)驗(yàn)的相同回答利用每個(gè)評(píng)估區(qū)域的評(píng)分模型所計(jì)算的自動(dòng)評(píng)分分?jǐn)?shù)被例示在表的右側(cè)中。這里，可以對(duì)四個(gè)評(píng)估區(qū)域(類(lèi)目#1至#4)執(zhí)行評(píng)分。
[0055]例如，當(dāng)利用每個(gè)評(píng)估區(qū)域的評(píng)估模型來(lái)對(duì)具有應(yīng)試者編號(hào)“20121102”的應(yīng)試者的回答進(jìn)行評(píng)分時(shí)，第一評(píng)估區(qū)域(類(lèi)目#1)的分?jǐn)?shù)是5，第二評(píng)估區(qū)域(類(lèi)目#2)的分?jǐn)?shù)是3，第三評(píng)估區(qū)域(類(lèi)目#3)的分?jǐn)?shù)是3，以及第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)是O。在這種情況下，當(dāng)在步驟1106中選擇了具有相關(guān)差異超過(guò)預(yù)定范圍的分?jǐn)?shù)的異常評(píng)估區(qū)域時(shí)，因?yàn)樽詣?dòng)評(píng)分結(jié)果的第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)是O并且與其它每個(gè)評(píng)估區(qū)域的分?jǐn)?shù)相比有很大不同，所以第四評(píng)估區(qū)域(類(lèi)目#4)被選擇為異常評(píng)估區(qū)域。這里，針對(duì)每個(gè)評(píng)估區(qū)域，通過(guò)剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)的平均值與它自己的自動(dòng)評(píng)分分?jǐn)?shù)之間的差來(lái)選擇異常評(píng)估區(qū)域。也就是說(shuō)，異常評(píng)估區(qū)域是每個(gè)評(píng)估區(qū)域的分?jǐn)?shù)與剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)的平均值相比具有超過(guò)預(yù)定參考值的差異的評(píng)估區(qū)域。這里，任意地確定異常評(píng)估區(qū)域的選擇準(zhǔn)則δ。
[0056]接下來(lái)，在步驟1107中自動(dòng)評(píng)分裝置100調(diào)整通過(guò)應(yīng)用評(píng)估區(qū)域之間的相關(guān)模型而選擇的所選擇的異常評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)。具體地，自動(dòng)評(píng)分裝置100確認(rèn)所選擇的異常評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)和剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)，并且通過(guò)相關(guān)模型基于剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)來(lái)計(jì)算異常評(píng)估區(qū)域的每個(gè)分?jǐn)?shù)(例如，O至5)的生成概率。接下來(lái)，自動(dòng)評(píng)分裝置100獲得其中針對(duì)所選擇的異常評(píng)估區(qū)域的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)生成了剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)的概率的總和，并且提取其中概率的總和最高的分?jǐn)?shù)。此夕卜，自動(dòng)評(píng)分裝置100通過(guò)將所選擇的異常評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)改變?yōu)榫哂凶罡吒怕实姆謹(jǐn)?shù)來(lái)調(diào)整該分?jǐn)?shù)。
[0057]參照?qǐng)D6，根據(jù)具有應(yīng)試者編號(hào)“20121102”的應(yīng)試者的自動(dòng)評(píng)分結(jié)果，第四評(píng)估區(qū)域被選擇為異常評(píng)估區(qū)域。這時(shí)，剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)分別是4、3和3。在這種情況下，如圖7所示，自動(dòng)評(píng)分裝置100確認(rèn)第四評(píng)估區(qū)域的分?jǐn)?shù)(O至5)中的每個(gè)在第一評(píng)估區(qū)域的分?jǐn)?shù)為4時(shí)的生成概率、第四評(píng)估區(qū)域的分?jǐn)?shù)(O至5)中的每個(gè)在第二評(píng)估區(qū)域的分?jǐn)?shù)為3時(shí)的生成概率以及第四評(píng)估區(qū)域的分?jǐn)?shù)(O至5)中的每個(gè)在第三評(píng)估區(qū)域的分?jǐn)?shù)為3時(shí)的生成概率。接下來(lái)，自動(dòng)評(píng)分裝置100獲得生成了剩余的第一評(píng)估區(qū)域、第二評(píng)估區(qū)域和第三評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)的概率的總和，并且提取概率的總和為最高的第四評(píng)估區(qū)域的分?jǐn)?shù)。參照?qǐng)D7，當(dāng)?shù)谝辉u(píng)估區(qū)域至第三評(píng)估區(qū)域(類(lèi)目#1至#3)的自動(dòng)評(píng)分分?jǐn)?shù)分別是4、3和3時(shí)，在第四評(píng)估區(qū)域(類(lèi)目#4)的分?jǐn)?shù)當(dāng)中的3的生成概率是概率的總和為最聞的40.8%。
[0058]因此，如圖8所示，根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置100將選擇為異常評(píng)估區(qū)域的第四評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)從O改變?yōu)?。
[0059]此外，如圖8所示，將看到最終的自動(dòng)評(píng)分結(jié)果被類(lèi)似地校準(zhǔn)為由考官在自動(dòng)評(píng)分裝置100中進(jìn)行評(píng)分的評(píng)分結(jié)果。
[0060]接下來(lái)，在步驟1108中，自動(dòng)評(píng)分裝置100通過(guò)調(diào)整分?jǐn)?shù)來(lái)計(jì)算最終的自動(dòng)評(píng)分結(jié)果數(shù)據(jù)，并且為應(yīng)試者提供與已計(jì)算的最終的自動(dòng)評(píng)分結(jié)果數(shù)據(jù)對(duì)應(yīng)的最終的自動(dòng)評(píng)分結(jié)果息。
[0061]根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置和方法可以被應(yīng)用于基于網(wǎng)絡(luò)的自動(dòng)評(píng)估服務(wù)系統(tǒng)。
[0062]圖3是例示了根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分裝置應(yīng)用于的自動(dòng)評(píng)估服務(wù)系統(tǒng)的構(gòu)造的圖。
[0063]參照?qǐng)D3，自動(dòng)評(píng)估服務(wù)系統(tǒng)包括通過(guò)通信網(wǎng)絡(luò)10連接的多個(gè)終端設(shè)備20和評(píng)估服務(wù)服務(wù)器30，該評(píng)估服務(wù)服務(wù)器30包括自動(dòng)評(píng)分裝置100_1。
[0064]該多個(gè)終端設(shè)備20可以是能夠根據(jù)用戶(hù)的鍵操作通過(guò)通信網(wǎng)絡(luò)10來(lái)接收和發(fā)送各種數(shù)據(jù)的終端，并且可以是平板個(gè)人計(jì)算機(jī)(PC)、膝上型計(jì)算機(jī)、PC、智能電話(huà)、個(gè)人數(shù)字助理(PDA)、智能電視(TV)、移動(dòng)通信終端等當(dāng)中的至少一個(gè)。此外，終端設(shè)備20可以是通過(guò)通信網(wǎng)絡(luò)10來(lái)執(zhí)行語(yǔ)音通信或數(shù)據(jù)通信的終端，并且可以是包括用于通過(guò)通信網(wǎng)絡(luò)10與評(píng)估服務(wù)服務(wù)器30進(jìn)行通信的瀏覽器、用于存儲(chǔ)程序和協(xié)議的存儲(chǔ)器、用于通過(guò)執(zhí)行各種程序來(lái)計(jì)算和控制的微處理器等的終端。也就是說(shuō)，終端設(shè)備20可以是能夠執(zhí)行與評(píng)估服務(wù)服務(wù)器30的服務(wù)器-客戶(hù)端通信的任何種類(lèi)的終端，并且可以被定義為包括諸如筆記本計(jì)算機(jī)、移動(dòng)通信終端、PDA等的各個(gè)通信計(jì)算設(shè)備的廣義概念的終端。同時(shí)，可能期望終端設(shè)備20被制造為具有包括觸摸屏的類(lèi)型，但是終端設(shè)備20不限于此。
[0065]具體地，根據(jù)本發(fā)明的示例性實(shí)施方式的該多個(gè)終端設(shè)備20可以是提供有自動(dòng)評(píng)分服務(wù)的終端，并且可以是應(yīng)試者的終端設(shè)備或考官的終端設(shè)備。該多個(gè)終端設(shè)備20通過(guò)通信網(wǎng)絡(luò)10連接至評(píng)估服務(wù)服務(wù)器30，從應(yīng)試者接收對(duì)測(cè)驗(yàn)的回答，將測(cè)驗(yàn)的回答發(fā)送到評(píng)估服務(wù)服務(wù)器30，并且從評(píng)估服務(wù)服務(wù)器30接收針對(duì)測(cè)驗(yàn)的回答的自動(dòng)評(píng)估結(jié)果。具體地，該多個(gè)終端設(shè)備20提供有通過(guò)從評(píng)估服務(wù)服務(wù)器30應(yīng)用每個(gè)評(píng)估區(qū)域的相關(guān)模型自動(dòng)地評(píng)分的評(píng)分結(jié)果數(shù)據(jù)，并且為用戶(hù)提供評(píng)分結(jié)果數(shù)據(jù)。
[0066]評(píng)估服務(wù)服務(wù)器30可以是用于對(duì)從終端設(shè)備20發(fā)送的對(duì)測(cè)驗(yàn)的回答執(zhí)行自動(dòng)評(píng)估操作以及提供評(píng)估結(jié)果的服務(wù)器，并且可以包括應(yīng)用根據(jù)本發(fā)明的示例性實(shí)施方式的相關(guān)模型的自動(dòng)評(píng)分裝置100_1。
[0067]自動(dòng)評(píng)分裝置100_1可以通過(guò)經(jīng)由通信網(wǎng)絡(luò)10連接至該多個(gè)終端設(shè)備20來(lái)提供自動(dòng)評(píng)分服務(wù)。自動(dòng)評(píng)分裝置100_1可以從考官收集每個(gè)評(píng)估區(qū)域的評(píng)分?jǐn)?shù)據(jù)，并且將所收集的每個(gè)評(píng)估區(qū)域的評(píng)分?jǐn)?shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)。這時(shí)，每個(gè)評(píng)估區(qū)域的評(píng)分?jǐn)?shù)據(jù)和評(píng)估數(shù)據(jù)可以從考官直接輸入，或者通過(guò)通信網(wǎng)絡(luò)10發(fā)送。
[0068]此外，自動(dòng)評(píng)分裝置100_1可以利用所收集的每個(gè)評(píng)估區(qū)域的評(píng)分?jǐn)?shù)據(jù)和評(píng)估質(zhì)量通過(guò)機(jī)器學(xué)習(xí)來(lái)生成每個(gè)評(píng)估區(qū)域的評(píng)分模型，并且還通過(guò)對(duì)評(píng)估區(qū)域的評(píng)分結(jié)果進(jìn)行比較以及反映語(yǔ)言教育特性、評(píng)估區(qū)域特性、考官的回答評(píng)估特性等來(lái)生成評(píng)估區(qū)域之間的相關(guān)模型。此外，當(dāng)從終端設(shè)備20接收到新的評(píng)分目標(biāo)數(shù)據(jù)時(shí)，自動(dòng)評(píng)分裝置100_1可以從該新的評(píng)分目標(biāo)數(shù)據(jù)中提取評(píng)估質(zhì)量。自動(dòng)評(píng)分裝置100_1可以將所提取的評(píng)估質(zhì)量輸入到所生成的每個(gè)評(píng)估區(qū)域的評(píng)分模型，并且計(jì)算每個(gè)評(píng)估區(qū)域針對(duì)該新的評(píng)分目標(biāo)數(shù)據(jù)的自動(dòng)評(píng)分分?jǐn)?shù)。接下來(lái)，自動(dòng)評(píng)分裝置100_1可以應(yīng)用所生成的評(píng)估區(qū)域之間的相關(guān)模型，并且選擇相關(guān)差異具有比預(yù)定參考值更大的分?jǐn)?shù)的異常評(píng)估區(qū)域。自動(dòng)評(píng)分裝置100_1可以基于排除所選擇的異常評(píng)估區(qū)域以外的剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)、利用相關(guān)模型來(lái)計(jì)算異常評(píng)估區(qū)域的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率，對(duì)這些分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率進(jìn)行比較，并且將具有最高概率的分?jǐn)?shù)應(yīng)用為所選擇的異常評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)。自動(dòng)評(píng)分裝置100_1為對(duì)應(yīng)的終端設(shè)備20提供已計(jì)算的最終的自動(dòng)評(píng)分分?jǐn)?shù)。因?yàn)閰⒄請(qǐng)D1和圖2描述了自動(dòng)評(píng)分裝置100_1的詳細(xì)構(gòu)造，所以將省略重復(fù)描述。
[0069]根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分方法可以通過(guò)實(shí)現(xiàn)為安裝在終端設(shè)備上的程序而被利用。
[0070]圖4是例示了其中安裝有根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分方法的程序的終端設(shè)備的圖。
[0071]參照?qǐng)D4，終端設(shè)備40包括控制單元210、通信單元220、輸入單元230、存儲(chǔ)單元240和輸出單元250。終端設(shè)備40是能夠通過(guò)安裝和執(zhí)行自動(dòng)評(píng)分程序100_2來(lái)執(zhí)行根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分方法的用戶(hù)信息處理設(shè)備，并且可以是能夠安裝和執(zhí)行程序的任何種類(lèi)的終端。例如，終端設(shè)備40可以是平板PC、膝上型計(jì)算機(jī)、PC、智能電話(huà)、PDA、智能TV、移動(dòng)通信終端等當(dāng)中的至少一個(gè)。
[0072]控制單元210控制各種操作和與終端設(shè)備40的自動(dòng)評(píng)分服務(wù)執(zhí)行有關(guān)的操作。具體地，當(dāng)接收到用戶(hù)的測(cè)驗(yàn)請(qǐng)求信號(hào)時(shí)，控制單元210控制以根據(jù)所接收的測(cè)驗(yàn)請(qǐng)求信號(hào)來(lái)執(zhí)行用于測(cè)驗(yàn)的應(yīng)用并且將問(wèn)題等顯示在輸出單元250的屏幕上。因此，控制單元210通過(guò)輸入單元230來(lái)接收和處理針對(duì)問(wèn)題的回答的信息(即，評(píng)分目標(biāo)數(shù)據(jù))，并且將經(jīng)處理的評(píng)分目標(biāo)數(shù)據(jù)存儲(chǔ)到存儲(chǔ)單元240?？刂茊卧?10執(zhí)行自動(dòng)評(píng)分程序100_2，并且控制以自動(dòng)地對(duì)新的評(píng)分目標(biāo)數(shù)據(jù)進(jìn)行評(píng)分。此外，控制單元210控制以通過(guò)輸出單元250將最終的自動(dòng)評(píng)分結(jié)果信息顯示在屏幕上以便通知用戶(hù)。
[0073]通信單元220通過(guò)通信網(wǎng)絡(luò)10來(lái)接收和發(fā)送數(shù)據(jù)，并且通信單元220通過(guò)包括有線(xiàn)方式或無(wú)線(xiàn)方式的各種通信方式來(lái)接收和發(fā)送數(shù)據(jù)。另外，通信單元220利用一個(gè)或更多個(gè)通信方式來(lái)接收和發(fā)送數(shù)據(jù)，并且為此，通信單元220包括根據(jù)不同的通信方式來(lái)接收和發(fā)送數(shù)據(jù)的多個(gè)通信模塊。
[0074]輸入單元230根據(jù)用戶(hù)的操作來(lái)生成與用戶(hù)的請(qǐng)求或信息對(duì)應(yīng)的用戶(hù)輸入信號(hào)，并且可以由當(dāng)前商業(yè)化的或?qū)?lái)將商業(yè)化的各種輸入設(shè)備來(lái)實(shí)現(xiàn)。例如，輸入單元230可以是諸如鍵盤(pán)、鼠標(biāo)、游戲桿、觸摸屏、觸摸板等的一般輸入設(shè)備，并且還包括用于通過(guò)感測(cè)用戶(hù)的運(yùn)動(dòng)來(lái)生成特定輸入信號(hào)的手勢(shì)輸入設(shè)備。輸入單元230將從用戶(hù)輸入的信息發(fā)送到控制單元210。也就是說(shuō)，輸入單元230從應(yīng)試者接收針對(duì)問(wèn)題的回答，S卩，新的評(píng)分目標(biāo)數(shù)據(jù)。
[0075]存儲(chǔ)單元240存儲(chǔ)用于終端設(shè)備40的操作所需的信息，并且具體地，存儲(chǔ)與自動(dòng)評(píng)分服務(wù)有關(guān)的信息。具體地，存儲(chǔ)單元240存儲(chǔ)編程為使得根據(jù)本發(fā)明的示例性實(shí)施方式的自動(dòng)評(píng)分方法被執(zhí)行的自動(dòng)評(píng)分程序100_2。存儲(chǔ)單元240包括諸如硬盤(pán)、軟盤(pán)或磁帶的磁媒體、諸如緊湊盤(pán)只讀存儲(chǔ)器(CD-ROM)或數(shù)字視頻盤(pán)(DVD)的光學(xué)媒體、諸如軟光盤(pán)的磁光媒體、ROM、隨機(jī)存取存儲(chǔ)器(RAM)以及閃速存儲(chǔ)器。
[0076]輸出單元250是設(shè)置為使得終端設(shè)備40的操作結(jié)果或狀態(tài)被通知給用戶(hù)的設(shè)備。例如，輸出單元250包括通過(guò)屏幕在視覺(jué)上輸出的顯示單元或輸出可聽(tīng)聲音的揚(yáng)聲器等。具體地，輸出單元250顯示與終端設(shè)備40中驅(qū)動(dòng)的自動(dòng)評(píng)分服務(wù)有關(guān)的畫(huà)面，并且顯示用于根據(jù)用戶(hù)的請(qǐng)求來(lái)執(zhí)行自動(dòng)評(píng)分服務(wù)的畫(huà)面。此外，輸出單元250顯示從應(yīng)試者輸入的針對(duì)問(wèn)題的回答(即，評(píng)分目標(biāo)數(shù)據(jù))，或者將針對(duì)評(píng)分目標(biāo)數(shù)據(jù)的自動(dòng)評(píng)分分?jǐn)?shù)顯示在屏幕上。
[0077]也就是說(shuō)，終端設(shè)備40執(zhí)行自動(dòng)評(píng)分程序100_2，針對(duì)從輸入單元230輸入的用戶(hù)的回答利用每個(gè)評(píng)估區(qū)域的評(píng)分模型來(lái)計(jì)算每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)(即，評(píng)分目標(biāo)數(shù)據(jù))，利用評(píng)估區(qū)域之間的相關(guān)模型來(lái)提取具有相關(guān)差異超過(guò)預(yù)定范圍的分?jǐn)?shù)的異常評(píng)估區(qū)域，基于剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)來(lái)計(jì)算異常評(píng)估區(qū)域的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率，并且將異常評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)改變成具有最高概率的分?jǐn)?shù)。終端設(shè)備40像以上所描述的那樣為用戶(hù)提供最終計(jì)算的自動(dòng)評(píng)分結(jié)果。
[0078]這里，記錄在自動(dòng)評(píng)分程序100_2中的程序命令可以被具體地設(shè)計(jì)和配置用于本發(fā)明，或者為計(jì)算機(jī)軟件領(lǐng)域的技術(shù)人員所公知的且可利用的。
[0079]附圖和說(shuō)明書(shū)中所公開(kāi)的本發(fā)明的示例性實(shí)施方式是為了更好理解僅僅呈現(xiàn)的特定示例，并且不旨在限制本發(fā)明的精神和范圍。除本文所公開(kāi)的示例性實(shí)施方式之外，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，在不脫離本發(fā)明的精神和范圍的情況下，可以進(jìn)行形式和細(xì)節(jié)方面的各種改變。
[0080]工業(yè)應(yīng)用性
[0081]本發(fā)明涉及自動(dòng)地評(píng)估用戶(hù)在包括說(shuō)、聽(tīng)、寫(xiě)等的一個(gè)或更多個(gè)語(yǔ)言區(qū)域中的回答的技術(shù)，并且更具體地，當(dāng)針對(duì)用戶(hù)的回答來(lái)評(píng)估一個(gè)或更多個(gè)評(píng)估區(qū)域時(shí)，本發(fā)明能夠通過(guò)生成反映語(yǔ)言教育特性、評(píng)估區(qū)域特性、考官的回答評(píng)估特性等的評(píng)估區(qū)域之間的相關(guān)模型針對(duì)評(píng)估區(qū)域來(lái)更加逼真地對(duì)隱式準(zhǔn)則進(jìn)行建模。
[0082]此外，本發(fā)明可以選擇評(píng)估區(qū)域之間的相關(guān)差異超過(guò)預(yù)定范圍的異常評(píng)估區(qū)域，并且基于剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)來(lái)將異常評(píng)估區(qū)域的分?jǐn)?shù)調(diào)整為具有最高生成概率的分?jǐn)?shù)。因此，因?yàn)樵u(píng)分被執(zhí)行為與考官的主觀(guān)評(píng)分?jǐn)?shù)據(jù)更相似，所以本發(fā)明能夠改進(jìn)自動(dòng)評(píng)估性能。
[0083]本發(fā)明能夠被應(yīng)用于自動(dòng)評(píng)分服務(wù)，考慮到評(píng)估區(qū)域之間的相關(guān)性來(lái)執(zhí)行自動(dòng)評(píng)分操作以與考官的主觀(guān)評(píng)分?jǐn)?shù)據(jù)更相似，并且有助于服務(wù)行業(yè)的發(fā)展。
【權(quán)利要求】
1.一種自動(dòng)評(píng)分裝置，該自動(dòng)評(píng)分裝置包括: 自動(dòng)評(píng)分單元，所述自動(dòng)評(píng)分單元被配置為接收評(píng)分目標(biāo)數(shù)據(jù)，并且基于評(píng)分模型針對(duì)所接收的評(píng)分目標(biāo)自動(dòng)地計(jì)算每個(gè)所述評(píng)估區(qū)域的分?jǐn)?shù)；以及 分?jǐn)?shù)調(diào)整單元，所述分?jǐn)?shù)調(diào)整單元被配置為利用所述評(píng)估區(qū)域之間的對(duì)應(yīng)的相關(guān)模型來(lái)調(diào)整已計(jì)算的每個(gè)所述評(píng)估區(qū)域的分?jǐn)?shù)，并且計(jì)算最終的自動(dòng)評(píng)分分?jǐn)?shù)。
2.根據(jù)權(quán)利要求1所述的自動(dòng)評(píng)分裝置，所述自動(dòng)評(píng)分裝置還包括評(píng)分模型生成單元，所述評(píng)分模型生成單元被配置為:利用通過(guò)針對(duì)一個(gè)或更多個(gè)回答以及從所述一個(gè)或更多個(gè)回答中提取的一個(gè)或更多個(gè)評(píng)估質(zhì)量來(lái)評(píng)估所述評(píng)估區(qū)域中的至少一個(gè)評(píng)估區(qū)域所獲得的先前的評(píng)分?jǐn)?shù)據(jù)、通過(guò)機(jī)器學(xué)習(xí)來(lái)生成每個(gè)所述評(píng)估區(qū)域的所述評(píng)分模型。
3.根據(jù)權(quán)利要求2所述的自動(dòng)評(píng)分裝置，所述自動(dòng)評(píng)分裝置還包括相關(guān)模型生成單元，所述相關(guān)模型生成單元被配置為生成所述評(píng)估區(qū)域之間的所述對(duì)應(yīng)的相關(guān)模型，所述對(duì)應(yīng)的相關(guān)模型定義基于所述先前的評(píng)分?jǐn)?shù)據(jù)生成所述評(píng)估區(qū)域中的至少一個(gè)評(píng)估區(qū)域之間的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的概率。
4.根據(jù)權(quán)利要求1所述的自動(dòng)評(píng)分裝置，其中，所述分?jǐn)?shù)調(diào)整單元被配置為將與所述評(píng)估區(qū)域中的一個(gè)評(píng)估區(qū)域相對(duì)應(yīng)的分?jǐn)?shù)和與所述評(píng)估區(qū)域當(dāng)中的剩余評(píng)估區(qū)域相對(duì)應(yīng)的其它分?jǐn)?shù)進(jìn)行比較，基于所述比較來(lái)選擇所述評(píng)估區(qū)域之間的相關(guān)差異具有比預(yù)定范圍更大的分?jǐn)?shù)的異常評(píng)估區(qū)域，并且通過(guò)利用所述評(píng)估區(qū)域之間的所述相關(guān)模型調(diào)整所選擇的異常評(píng)估區(qū)域的對(duì)應(yīng)分?jǐn)?shù)來(lái)調(diào)整已計(jì)算的分?jǐn)?shù)。
5.根據(jù)權(quán)利要求4所述的自動(dòng)評(píng)分裝置，其中，所述分?jǐn)?shù)調(diào)整單元被配置為利用所述對(duì)應(yīng)的相關(guān)模型來(lái)計(jì)算所選擇的異常評(píng)估區(qū)域的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)針對(duì)排除所述異常評(píng)估區(qū)域以外的所述剩余評(píng)估區(qū)域的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率，并且將所述異常評(píng)估區(qū)域的所述對(duì)應(yīng)分?jǐn)?shù)改變成在所選擇的異常評(píng)估區(qū)域的所述分?jǐn)?shù)中的已計(jì)算的生成概率當(dāng)中具有最高概率的分?jǐn)?shù)。
6.一種自動(dòng)評(píng)分方法，所述自動(dòng)評(píng)分方法包括以下步驟: 基于評(píng)分模型針對(duì)評(píng)分目標(biāo)數(shù)據(jù)自動(dòng)地計(jì)算一個(gè)或更多個(gè)評(píng)估區(qū)域的每個(gè)評(píng)估區(qū)域的分?jǐn)?shù)；以及 利用所述評(píng)估區(qū)域之間的對(duì)應(yīng)的相關(guān)模型來(lái)調(diào)整每個(gè)所述評(píng)估區(qū)域的已計(jì)算的分?jǐn)?shù)。
7.根據(jù)權(quán)利要求6所述的自動(dòng)評(píng)分方法，其中，所述已計(jì)算的分?jǐn)?shù)的調(diào)整步驟包括以下步驟: 將與所述評(píng)估區(qū)域中的一個(gè)對(duì)應(yīng)的分?jǐn)?shù)和與所述評(píng)估區(qū)域中的剩余評(píng)估區(qū)域?qū)?yīng)的其它分?jǐn)?shù)進(jìn)行比較，并且基于所述比較來(lái)選擇相關(guān)差異具有比預(yù)定范圍更大的分?jǐn)?shù)的異常評(píng)估區(qū)域； 基于排除所述異常評(píng)估區(qū)域以外的剩余評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)來(lái)計(jì)算所選擇的異常評(píng)估區(qū)域的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的生成概率；以及 將所述異常評(píng)估區(qū)域的對(duì)應(yīng)分?jǐn)?shù)改變成具有最高概率的分?jǐn)?shù)。
8.根據(jù)權(quán)利要求6所述的自動(dòng)評(píng)分方法，所述自動(dòng)評(píng)分方法還包括: 利用通過(guò)針對(duì)一個(gè)或更多個(gè)回答以及從所述一個(gè)或更多個(gè)回答中提取的一個(gè)或更多個(gè)評(píng)估質(zhì)量來(lái)評(píng)估所述評(píng)估區(qū)域中的至少一個(gè)評(píng)估區(qū)域所獲得的先前的評(píng)分?jǐn)?shù)據(jù)、通過(guò)機(jī)器學(xué)習(xí)來(lái)生成每個(gè)所述評(píng)估區(qū)域的所述評(píng)分模型。
9.根據(jù)權(quán)利要求8所述的自動(dòng)評(píng)分方法，所述自動(dòng)評(píng)分方法還包括: 生成所述評(píng)估區(qū)域之間的所述對(duì)應(yīng)的相關(guān)模型，所述對(duì)應(yīng)的相關(guān)模型定義基于所述先前的評(píng)分?jǐn)?shù)據(jù)生成所述評(píng)估區(qū)域中的至少一個(gè)評(píng)估區(qū)域之間的分?jǐn)?shù)中的每個(gè)分?jǐn)?shù)的概率。
10.一種計(jì)算機(jī)可讀記錄介質(zhì)，該計(jì)算機(jī)可讀記錄介質(zhì)用于記錄用于執(zhí)行自動(dòng)評(píng)分方法的程序，所述方法包括以下步驟: 應(yīng)用先前生成的評(píng)估區(qū)域中的每個(gè)評(píng)估區(qū)域的評(píng)分模型，并且對(duì)評(píng)分目標(biāo)數(shù)據(jù)執(zhí)行一個(gè)或更多個(gè)評(píng)估區(qū)域的每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分；以及 利用每個(gè)所述評(píng)估區(qū)域的相關(guān)模型來(lái)調(diào)整所述一個(gè)或更多個(gè)評(píng)估區(qū)域的每個(gè)評(píng)估區(qū)域的自動(dòng)評(píng)分分?jǐn)?shù)。
【文檔編號(hào)】G06Q50/20GK104364815SQ201380031051
【公開(kāi)日】2015年2月18日 申請(qǐng)日期:2013年6月18日 優(yōu)先權(quán)日:2012年10月31日
【發(fā)明者】尹鐘喆, 尹慶娥 申請(qǐng)人:Sk電信有限公司