專利名稱：基于方程的評(píng)估定級(jí)方法及采用相同方法的參與者響應(yīng)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及到參與者響應(yīng)系統(tǒng)，特別是基于方程的評(píng)估定級(jí)方法及采用相同方法的參與者響應(yīng)系統(tǒng)。
背景技術(shù)：
參與者響應(yīng)系統(tǒng)用于使事件的參與者能夠?qū)μ岢龅膯栴}、議案或本領(lǐng)域中熟知的類似事物輸入響應(yīng)并且具有廣泛的適用性。例如，在會(huì)議、研討會(huì)或類似活動(dòng)期間，可以向參與者提供手機(jī)，使參與者能夠回答問題，或?qū)?huì)議或研討會(huì)期間提出的議案投票。在娛樂領(lǐng)域可以向聽眾提供手機(jī)，使聽眾對(duì)娛樂節(jié)目或體育活動(dòng)投票。這些參與者響應(yīng)系統(tǒng)也適用于教育領(lǐng)域。可以向參與者提供手機(jī)，使參與者回答在課堂、測(cè)試或小測(cè)驗(yàn)中或提出的問題。這些參與者響應(yīng)系統(tǒng)具有顯著的優(yōu)勢(shì)，可以向提出者、主持人、娛樂節(jié)目制作人或活動(dòng) 組織者提供即時(shí)反饋。研究表明，在教育領(lǐng)域，如果能夠獲得參與者理解和領(lǐng)悟狀態(tài)的快速反饋，那么主講人的教學(xué)質(zhì)量更高而且參與者的學(xué)習(xí)效果更好。因此，這種參與者響應(yīng)系統(tǒng)在教育領(lǐng)域獲得廣泛接受也就毫不奇怪了。參與者響應(yīng)系統(tǒng)主要分為兩類，即有線和無(wú)線參與者響應(yīng)系統(tǒng)。在有線參與者響應(yīng)系統(tǒng)中，參與者使用的用于響應(yīng)提出的問題或給議案投票的響應(yīng)設(shè)備通常連接到本地網(wǎng)絡(luò)，并與基礎(chǔ)計(jì)算機(jī)或主機(jī)通信。在無(wú)線參與者響應(yīng)系統(tǒng)中，參與者使用的用于響應(yīng)提出的問題或給議案投票的響應(yīng)設(shè)備通過無(wú)線通信連接與主機(jī)通信。無(wú)論有線或無(wú)線，多種不同類型的參與者響應(yīng)系統(tǒng)已被考慮。Lockhart等人的美國(guó)專利4，247，908公開了一種用于主機(jī)的雙向通信系統(tǒng)，包括一臺(tái)控制單元、一個(gè)基站和多個(gè)手持、便攜式無(wú)線/數(shù)據(jù)終端單元。該控制單元直接與主機(jī)連接，但采用無(wú)線連接與便攜式無(wú)線/數(shù)據(jù)終端單元相連。每個(gè)便攜式無(wú)線/數(shù)據(jù)終端單元包括一臺(tái)雙向無(wú)線電設(shè)備和一臺(tái)數(shù)據(jù)終端。該數(shù)據(jù)終端包括一只用于輸入數(shù)據(jù)的鍵盤和一臺(tái)用于顯示讀取的數(shù)據(jù)或本地產(chǎn)生數(shù)據(jù)的LED顯示器。主機(jī)通過控制單元輪詢和/或選擇便攜式無(wú)線/數(shù)據(jù)終端單元發(fā)起通信?？刂茊卧憫?yīng)來(lái)自主機(jī)的一次“輪詢”，發(fā)送以前接收到的來(lái)自便攜式無(wú)線/數(shù)據(jù)終端單元的消息，或在沒接收到消息時(shí)，回復(fù)“無(wú)消息”作為回答?？刂茊卧ㄟ^輪詢邀請(qǐng)便攜式無(wú)線/數(shù)據(jù)終端單元向控制單元發(fā)送數(shù)據(jù)并保存，如有必要，數(shù)據(jù)被分組并發(fā)送到主機(jī)?？刂茊卧喸?yōu)橄乱淮屋喸冎芷谑盏降臄?shù)據(jù)向便攜式無(wú)線/數(shù)據(jù)終端單元發(fā)出確認(rèn)消息。Abrahamson等人的美國(guó)專利5，002, 491公開了一種交互式電子教室系統(tǒng),使主講人可以向參與者傳授概念，并接收到參與者對(duì)教授概念所掌握程度的即時(shí)反饋。提供的結(jié)構(gòu)使參與者能夠步調(diào)一致地或以自己的進(jìn)度做練習(xí)和小測(cè)驗(yàn)，以電子化的方式回答問題，主講人可以接收到回答，并以直方圖或其他形式顯示的圖形解釋讀出參與者的回答。該交互式電子教室系統(tǒng)包括一臺(tái)中央計(jì)算機(jī)和多臺(tái)參與者計(jì)算機(jī)，參與者計(jì)算機(jī)的類型從簡(jiǎn)單設(shè)備到功能成熟完備的個(gè)人電腦，通過網(wǎng)絡(luò)連接到中央計(jì)算機(jī)。還可使用可選的外設(shè)硬件，例如錄像機(jī)(VCR)或其他記錄/重現(xiàn)設(shè)備連接到計(jì)算機(jī)網(wǎng)絡(luò)，向參與者提供課程。Drimmer等人的美國(guó)專利6,790,045公開了一種方法和系統(tǒng),通過將參與者的表現(xiàn)劃分為與電子課程相關(guān)的相應(yīng)活動(dòng)的離散表現(xiàn)類別，從而分析參與者的表現(xiàn)。對(duì)這些表現(xiàn)類別中至少一種，度量所觀察到的參與者的表現(xiàn)程度。為一個(gè)或多個(gè)表現(xiàn)類別建立一個(gè)表現(xiàn)程度或范圍的基準(zhǔn)。然后確定所觀察到的參與者的表現(xiàn)程度是否符合為至少一個(gè)表現(xiàn)類別所建立的表現(xiàn)程度基準(zhǔn)。根據(jù)所觀察的參與者表現(xiàn)與至少一個(gè)基準(zhǔn)間的任何實(shí)質(zhì)性偏差確定所觀察的參與者的教學(xué)反饋。Roschelle等人的美國(guó)專利2004/0072136公開了一種方法和系統(tǒng)，用于評(píng)估參與者對(duì)可能在時(shí)間和空間上展開的過程的理解。該系統(tǒng)包括瘦客戶端設(shè)備，其為手掌大小、能與主工作站無(wú)線通信的手持式計(jì)算機(jī)。該系統(tǒng)提供了一種指導(dǎo)參與者執(zhí)行自解釋的復(fù)雜方法，并使指導(dǎo)員通過在課堂上提供有意義并且快速的反饋從而增強(qiáng)其教學(xué)過程的價(jià)值。Aggarwal等人的美國(guó)專利6，381，444描述了一種通過計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)虛擬教室和遠(yuǎn)程教育的系統(tǒng)。該系統(tǒng)執(zhí)行的過程包括從一個(gè)或多個(gè)指導(dǎo)員那里接收信號(hào)，這些信號(hào) 包括指定為屬于一個(gè)或多個(gè)興趣組的教學(xué)材料。教學(xué)材料被提前發(fā)送給該材料被指定屬于的一個(gè)或多個(gè)興趣組的學(xué)生。一個(gè)或多個(gè)學(xué)生發(fā)來(lái)信號(hào)，請(qǐng)求進(jìn)入特定教室的許可，然后指令被發(fā)送給學(xué)生，以控制該教學(xué)材料的顯示和執(zhí)行。現(xiàn)有的商業(yè)響應(yīng)系統(tǒng),例如英國(guó)蘭開夏郡布萊克本的Promethean有限公司生產(chǎn)的ActivExpression 系統(tǒng)和美國(guó)德克薩斯州的elnstruction of Denton公司生產(chǎn)的CPSPulse 系統(tǒng)，允許對(duì)問題進(jìn)行管理，其答案為只能輸入字符串文本的方程。不幸的是，評(píng)估這些問題答案的評(píng)級(jí)引擎只能執(zhí)行簡(jiǎn)單的字符串比較。這些系統(tǒng)要求輸入的回答和指導(dǎo)員的答案必須完全匹配，導(dǎo)致評(píng)估定級(jí)存在潛在的錯(cuò)誤。由Shatnawi等人發(fā)表在2007年10月28-31日舉行的第二屆國(guó)際數(shù)字信息管理大會(huì)(ICDIM’ 07)上的題為“數(shù)學(xué)搜索中使用分析樹規(guī)范化等價(jià)檢測(cè)”的研究報(bào)告描述了一種搜索互聯(lián)網(wǎng)上數(shù)學(xué)方程的技術(shù)。該研究報(bào)告描述了在不同搜索詞之間確定數(shù)學(xué)等價(jià)的困難挑戰(zhàn)以及可能呈現(xiàn)在網(wǎng)頁(yè)上的結(jié)果。該研究涉及到實(shí)現(xiàn)一種技術(shù)，將用戶的數(shù)學(xué)搜索查詢轉(zhuǎn)換為唯一的規(guī)范化形式。從代數(shù)和結(jié)構(gòu)兩方面實(shí)行規(guī)范化。雖然先前技術(shù)的參與者響應(yīng)系統(tǒng)允許對(duì)參與者的問卷進(jìn)行管理并收集響應(yīng)數(shù)據(jù)，這些參與者響應(yīng)系統(tǒng)通常限制快速、自動(dòng)地對(duì)基于方程的評(píng)估進(jìn)行定級(jí)的功能?；诜匠痰脑u(píng)估定級(jí)容易出錯(cuò)，因?yàn)榛诜匠痰膯栴}可能有不止一個(gè)正確答案。例如，方程y=2x2-2可以正確分解為2(x+l) (x-1)或2(x-l) (x+1)。但是，如果一組參與者的主講人將答案定義為2(x+l) (x-1)，而參與者輸入的回答為2 (x-1) (x+1)，那么該參與者的回答可能會(huì)被評(píng)判為錯(cuò)誤。這個(gè)問題還有一些其他的正確答案，當(dāng)作為響應(yīng)被提交后可能也會(huì)被評(píng)定為錯(cuò)誤。因此，本發(fā)明的目的是提供一種新的基于方程的評(píng)估定級(jí)方法，以及采用該方法的新穎參與者響應(yīng)系統(tǒng)。

發(fā)明內(nèi)容
因此，本發(fā)明一方面提供了一種計(jì)算機(jī)化的評(píng)估定級(jí)方法，包括為接收到的至少一個(gè)評(píng)估問題的基于方程的回答創(chuàng)建語(yǔ)法樹并且為該至少一個(gè)問題的至少一個(gè)答案建立語(yǔ)法樹；比較這些語(yǔ)法樹；并且根據(jù)比較結(jié)果為回答評(píng)分。
而另一方面，本發(fā)明提供了一種計(jì)算機(jī)化的評(píng)估定級(jí)方法，包括根據(jù)接收到的評(píng)估問題的基于方程的回答創(chuàng)建基于該回答的操作符和操作數(shù)的層次結(jié)構(gòu)；將該操作符和操作數(shù)的層次結(jié)構(gòu)與答案的操作符和操作數(shù)的層次結(jié)構(gòu)相比較；并且根據(jù)比較結(jié)果為回答評(píng)分。從另一方面，本發(fā)明提供了一種包括至少一個(gè)響應(yīng)設(shè)備的參與者響應(yīng)系統(tǒng)，每個(gè)響應(yīng)設(shè)備有一個(gè)輸入界面，允許用戶為問題輸入基于方程的回答；以及一處理結(jié)構(gòu)，其與每個(gè)響應(yīng)設(shè)備通信，所述處理結(jié)構(gòu)為了響應(yīng)接收到的回答，執(zhí)行一個(gè)引起所述處理結(jié)構(gòu)為該接收到的回答創(chuàng)建語(yǔ)法樹的評(píng)估方法，比較該回答的語(yǔ)法樹和答案的語(yǔ)法樹，并根據(jù)比較結(jié)果為回答評(píng)分。又從另一方面，本發(fā)明提供了一臺(tái)包括處理設(shè)備的裝置；以及存儲(chǔ)計(jì)算機(jī)程序代碼的存儲(chǔ)器。該處理設(shè)備與存儲(chǔ)器通信并執(zhí)行計(jì)算機(jī)程序代碼，使該裝置響應(yīng)所接收到的
基于方程的問題的回答，為該回答創(chuàng)建語(yǔ)法樹，比較該回答的語(yǔ)法樹和答案的語(yǔ)法樹，并根據(jù)比較結(jié)果為回答評(píng)分。仍然又從另一方面，本發(fā)明提供了一種包含計(jì)算機(jī)程序代碼的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，當(dāng)代碼執(zhí)行時(shí)將使處理設(shè)備響應(yīng)所接收到的基于方程的問題的回答，為該回答創(chuàng)建語(yǔ)法樹，比較該回答的語(yǔ)法樹和答案的語(yǔ)法樹，并根據(jù)比較結(jié)果為回答評(píng)分。


現(xiàn)在將通過參考附圖更全面地介紹實(shí)施例，其中圖I是參與者響應(yīng)系統(tǒng)的示意圖；圖2是圖I所示參與者響應(yīng)系統(tǒng)的另一示意圖；圖3是構(gòu)成圖I所示參與者響應(yīng)系統(tǒng)一部分的交互式白板透視圖；圖4A和4B分別是構(gòu)成圖I所示參與者響應(yīng)系統(tǒng)一部分的收發(fā)器的側(cè)視圖和俯視圖；圖5是圖4A和4B所示收發(fā)器的框圖；圖6A是圖I所示參與者響應(yīng)系統(tǒng)呈現(xiàn)的問題類型選擇窗口 ；圖6B是圖I所示參與者響應(yīng)系統(tǒng)呈現(xiàn)的問題輸入窗口 ；圖6C是圖I所示參與者響應(yīng)系統(tǒng)呈現(xiàn)的答案輸入窗口 ；圖7是基于方程的問題的可能答案列表的示例；圖8是圖I所示參與者響應(yīng)系統(tǒng)呈現(xiàn)的參與者輸入窗口 ；圖9是一副流程圖，顯示圖I所示參與者響應(yīng)系統(tǒng)采用的輸入響應(yīng)過程的步驟；圖10是一副流程圖，顯示圖I所示參與者響應(yīng)系統(tǒng)采用的響應(yīng)分析過程的步驟；圖11是一副流程圖，顯示圖I所示參與者響應(yīng)系統(tǒng)采用的形式對(duì)等算法的步驟；圖12A至12J是圖I所示參與者響應(yīng)系統(tǒng)采用的響應(yīng)比較過程的示意圖；圖13是一副流程圖，顯示圖I所示參與者響應(yīng)系統(tǒng)采用的順序等價(jià)算法的步驟；圖14是一副流程圖，顯示圖I所示參與者響應(yīng)系統(tǒng)采用的內(nèi)容等價(jià)算法的步驟；圖15A和15B分別顯不了圖I所不參與者響應(yīng)系統(tǒng)呈現(xiàn)的參與者輸入和參與者輸入確認(rèn)窗口 ；以及圖16是圖I所示參與者響應(yīng)系統(tǒng)采用的另一種響應(yīng)設(shè)備的平面圖。
實(shí)施例詳細(xì)描沭現(xiàn)在回到圖I和2，圖示為一個(gè)參與者響應(yīng)系統(tǒng)并一般以引用編碼50表示。在該實(shí)施例中，參與者響應(yīng)系統(tǒng)50用于諸如學(xué)校、大學(xué)、學(xué)院之類的教育機(jī)構(gòu)的一間教室、演講廳或劇院中。如圖所示，參與者響應(yīng)系統(tǒng)50包括一臺(tái)基礎(chǔ)計(jì)算機(jī)或主機(jī)52,—塊通過電纜56物理地連接到主機(jī)52的交互式白板(IWB)54，一臺(tái)通過通用串行總線(USB)60物理地連接到主機(jī)52的射頻(RF)收發(fā)器58，以及多臺(tái)通過收發(fā)器58與主機(jī)52通信的無(wú)線響應(yīng)設(shè)備62。在該實(shí)施例中，主機(jī)52為臺(tái)式電腦，但也可采用筆記本電腦或平板電腦、個(gè)人數(shù)字助理(PDA)或其他手持設(shè)備，或任何其他合適的計(jì)算設(shè)備。主機(jī)52用唯一的ID進(jìn)行標(biāo)識(shí)，可以是該計(jì)算機(jī)的媒體訪問控制(MAC)地址或其網(wǎng)址。在該實(shí)施例中，響應(yīng)設(shè)備62為筆記本電腦,但也可采用臺(tái)式電腦、平板電腦、PDA、手持計(jì)算設(shè)備,例如iPhones、iPads等便攜式媒體設(shè)備，專用響應(yīng)單元和/或其他擁有一個(gè)或多個(gè)控制/處理單元、存儲(chǔ)器、有線 或無(wú)線通信接口和諸如鍵盤或觸摸屏之類輸入接口的響應(yīng)設(shè)備。每個(gè)響應(yīng)設(shè)備62都有唯一的 ID。該實(shí)施例中的參與者響應(yīng)系統(tǒng)的固件是在IEEE802. llb/g/n MAC協(xié)議層軟件頂端上實(shí)現(xiàn)的，該軟件由美國(guó)德克薩斯州的TexasInstruments Incorporated(TI)(德州儀器公司)或其他合適的技術(shù)供應(yīng)商提供。TI MAC協(xié)議層軟件包括一個(gè)小型實(shí)時(shí)核心協(xié)議棧，其提供簡(jiǎn)單的實(shí)時(shí)操作系統(tǒng)功能，例如定時(shí)器管理、任務(wù)管理和中斷管理。使用抽象層隔離操作系統(tǒng)和硬件驅(qū)動(dòng)設(shè)備，以便于移植到不同的操作系統(tǒng)和硬件平臺(tái)。在該實(shí)施例中，IWB54是由該主題應(yīng)用受讓人加拿大阿爾伯塔省Calgary的SMARTTechnologies ULC公司制造的600i系列交互式白板。如圖3清晰顯示，IWB54包括一塊大型模擬電阻式觸摸屏70，該觸摸屏帶有被邊框74圍繞的觸摸表面72。在邊框74靠近觸摸表面72的底邊處附有工具盤76，其中容納一個(gè)或多個(gè)用于與該觸摸表面交互的工具。觸摸屏70通過安裝支架78安裝在墻面上。一支動(dòng)臂總成80也通過安裝支架78安裝在觸摸屏70上方的墻面上。動(dòng)臂總成80包括揚(yáng)聲器外殼82,其內(nèi)有一對(duì)揚(yáng)聲器(圖中未顯不),一支大致水平的吊桿84從揚(yáng)聲器外殼82向外延伸，且靠近吊桿84的末端有一個(gè)投影儀86。投影儀86對(duì)著一面被吊桿84支撐的鏡子(圖中未顯示)，該鏡子將投影儀的圖像反射到觸摸屏70上，于是，投影儀86投射的圖像被呈現(xiàn)在觸摸表面72上。圖4A、4B和5更好地說明了收發(fā)器58。如圖所示，收發(fā)器58包括一個(gè)適合安裝在桌面或墻面的外殼100。外殼100的前端安裝有一個(gè)L型全向天線102。外殼100的后端通過連接器104連接到USB電纜60。外殼100的上表面有幾個(gè)發(fā)光二極管(LED)106，通過LED的發(fā)光可以提供與收發(fā)器58的操作狀態(tài)有關(guān)的反饋。在該實(shí)施例中，LED106包括電源狀態(tài)LED和通信狀態(tài)LED。收發(fā)器58也可以通過液晶顯示器(IXD)或LED和IXD —起提供顯示視覺反饋。收發(fā)器的電子元件容納在外殼100內(nèi)，并包括一只與非易失性隨機(jī)訪問內(nèi)存(NVRAM)112通信的微處理器110，一個(gè)LED驅(qū)動(dòng)器114和一個(gè)USB-UART橋116。通過USB電纜連接向收發(fā)器58供電。根據(jù)設(shè)計(jì)需要，商用無(wú)線收發(fā)器例如無(wú)線路由器也可作為收發(fā)器58。主機(jī)52 運(yùn)行 SMART Technologies ULC 公司提供的 SMARTNotebookTM 白板軟件，其提供圖形用戶界面并促進(jìn)與IWB54的交互。其導(dǎo)致主機(jī)52的顯示結(jié)果被傳輸?shù)絀WB54，且被投影儀86用于在觸摸表面72上呈現(xiàn)圖像。觸摸屏70檢測(cè)指示器與觸摸表面72的交互活動(dòng)并傳輸?shù)街鳈C(jī)52。主機(jī)52隨之按需要調(diào)整自己的顯示輸出以反映該指示器活動(dòng)。取決于該指示器活動(dòng)的特點(diǎn)，主機(jī)52可能將該指示器觸點(diǎn)信號(hào)視為書寫符號(hào)或擦除信號(hào)，或?qū)⒃撝甘酒饔|點(diǎn)信號(hào)作為鼠標(biāo)事件并使用該鼠標(biāo)事件控制主機(jī)52上應(yīng)用程序的執(zhí)行。主機(jī)52 還運(yùn)行 SMART Technologies ULC 公司提供的 SMARTResponse CE 教師軟件。SMART Response CE教師軟件主要提供給一組參與者的主持人使用，以創(chuàng)建豐富的多媒體評(píng)估。在該實(shí)施例中，主持人是一名教師而參與者組是一個(gè)班的學(xué)生，但可以理解，其他主持人和參與者場(chǎng)景也是可能的。在該實(shí)施例中，該評(píng)估比較一個(gè)或多個(gè)基于方程的問題，每個(gè)問題分別有基于方程的答案。問題和答案都以標(biāo)準(zhǔn)可解的格式，比如MathML或其他本領(lǐng)域熟知的格式存儲(chǔ)。該問題和答案信息都作為可擴(kuò)展標(biāo)記語(yǔ)言(XML)信息被加入可被計(jì)算機(jī)讀取的SMART Notebook 文件中，并且與所有問題一起作為大型評(píng)估的一部分或作為單獨(dú)的問題被存儲(chǔ)。SMART Response CE教師軟件使主機(jī)52的評(píng)估通過USB電纜60提供給收發(fā)器58，以分發(fā)到響應(yīng)設(shè)備62。
在該實(shí)施例中，響應(yīng)設(shè)備62運(yùn)行SMART Technologies ULC公司提供的SMARTResponse CE學(xué)生軟件，其提供了呈現(xiàn)評(píng)估的圖形用戶界面。如圖2所示的實(shí)施例中，主機(jī)52、IWB54和收發(fā)器58通過電纜56和60物理連接在一起。在主機(jī)52、IWB54和收發(fā)器58之間通過HTTP采用可擴(kuò)展標(biāo)記語(yǔ)言(XML)交換結(jié)構(gòu)化的消息。收發(fā)器58和響應(yīng)設(shè)備62通過無(wú)線射頻(RF)通信網(wǎng)絡(luò)通信。收發(fā)器58的微處理器110因此提供一個(gè)USB接口和一個(gè)RF接口，并運(yùn)行一個(gè)服務(wù)，將USB協(xié)議下的消息轉(zhuǎn)換為無(wú)線射頻(RF)協(xié)議的，反之亦然。該微處理器還運(yùn)行IEEE802. 15. 4MAC層軟件以管理IEEE802. 15. 4網(wǎng)絡(luò)，從而允許主機(jī)52和響應(yīng)設(shè)備62通信。在主機(jī)52和收發(fā)器58之間交換的消息包括一個(gè)消息頭、一個(gè)命令標(biāo)識(shí)符、消息字節(jié)數(shù)和校驗(yàn)和。采用一致的頭字節(jié)填充，以劃分?jǐn)?shù)據(jù)包的幀，從而有助于確定命令包的起止。因?yàn)镮EEE802. 15. 4協(xié)議用于處理包地址并確定包的完整性，因此在收發(fā)器58和響應(yīng)設(shè)備62之間交換的消息不包括頭和校驗(yàn)和?，F(xiàn)在轉(zhuǎn)到圖6A 至 6C，窗口構(gòu)成了 SMART Notebook 軟件和 SMART Response CE教師軟件用戶接口的一部分，并呈現(xiàn)在參與者響應(yīng)系統(tǒng)50中。圖6A顯示了一個(gè)問題類型選擇窗口 702，其包括多個(gè)按鈕704，選擇每個(gè)按鈕都可用于為評(píng)估中的問題指定一個(gè)類型。例如，選擇按鈕706將指定該問題為“數(shù)字、分?jǐn)?shù)、表達(dá)式”類型。問題類型選擇窗口 702還包括按鈕708，選擇后可執(zhí)行“下一個(gè)”、“取消”、和“幫助”功能。選擇704按鈕之一并選擇“下一個(gè)”按鈕將使如圖6B所示的問題輸入窗口 710出現(xiàn)。問題輸入窗口 710包括一個(gè)問題描述文本框712，可以在其中輸入文字形式的問題描述，比如用鍵盤輸入。問題輸入窗口710還包括一個(gè)問題輸入框716，可以使用鍵盤和符號(hào)按鈕714在其中輸入問題的方程部分。符號(hào)按鈕714包括各種符號(hào)，例如希臘文字符、分?jǐn)?shù)、數(shù)學(xué)操作符和下標(biāo)/上標(biāo)。問題輸入窗口 710還進(jìn)一步包括標(biāo)簽輸入框718，可以在其中輸入簡(jiǎn)述或標(biāo)簽(例如“因子”)用于幫助檢索被保存的問題。問題輸入窗口 710還進(jìn)一步包括一套函數(shù)按鈕，其包括“下一個(gè)”按鈕720、“幫助”按鈕724、“取消”按鈕726和“返回”按鈕728，每個(gè)按鈕都可被選擇以執(zhí)行其相關(guān)的操作，正如本領(lǐng)域普通的技術(shù)人員理解的那樣。在任何文本框712中輸入內(nèi)容并且在框716中輸入方程即可進(jìn)行一個(gè)問題的輸入，然后選擇“下一個(gè)”按鈕720后出現(xiàn)如圖6C所示的答案窗口 722。
答案窗口 722包括答案文本框724，可以使用鍵盤和符號(hào)按鈕714在此輸入答案。答案窗口 722還包括一套定級(jí)按鈕726，選擇后可以指定用于評(píng)估定級(jí)的方法。在該實(shí)施例中，可以使用定級(jí)按鈕726從順序等價(jià)定級(jí)方法、形式對(duì)等定級(jí)方法和內(nèi)容等價(jià)定級(jí)方法中選擇其中之一。下面將進(jìn)一步討論這些不同的定級(jí)方法。答案窗口 722還包括得分文本框728，可用于輸入分值或回答該問題授予的分?jǐn)?shù)。答案窗口 722還包括解釋文本框730，可用于輸入在回答該問題時(shí)顯示的額外信息。例如，這種額外信息可能包括為了正確回答該問題所需步驟的解釋。答案窗口 722還進(jìn)一步包括一套功能按鈕，包括“完成”按鈕736、“幫助”按鈕740、“取消”按鈕738和“返回”按鈕734，每個(gè)按鈕都可被選擇以執(zhí)行其相關(guān)的功能，正如本領(lǐng)域普通的技 術(shù)人員理解的那樣。在答案文本框724中輸入答案并選擇完成按鈕736，使該答案被轉(zhuǎn)換為L(zhǎng)aTeX答案表達(dá)式，其用于在后面將描述的定級(jí)過程?？梢栽谝粋€(gè)SMART Notebook 頁(yè)輸入多個(gè)問題，或者可以一頁(yè)僅輸入一個(gè)問題。圖7顯示了一個(gè)基于方程的問題的多個(gè)可能的答案，并相應(yīng)地闡述了參與者響應(yīng)系統(tǒng)50使用的不同定級(jí)方法。在該圖所示的實(shí)施例中，使用問題類型輸入窗口 702、問題內(nèi)容窗口 710和答案內(nèi)容窗口 722輸入了問題802和它的答案804。表806列舉了問題802的幾個(gè)運(yùn)用順序等價(jià)定級(jí)方法判定為正確的回答。順序等價(jià)定級(jí)方法要求回答的項(xiàng)和順序與答案804相同，但是多余的括號(hào)、空格和操作符的等價(jià)表示方法，例如使用*、X和用X表示乘法，也都被考慮到，以決定該回答是否正確。例如在所示例子中，順序等價(jià)定級(jí)方法判定回答-3+2X+X2是錯(cuò)的，因?yàn)樵摶卮鸬捻?xiàng)沒有以合適的順序表達(dá)。表808列舉了問題802的幾個(gè)使用形式對(duì)等定級(jí)方法判斷為正確的回答的例子。形式對(duì)等定級(jí)方法要求回答的項(xiàng)/操作數(shù)和可比較的操作符的數(shù)量與答案804的一樣，但項(xiàng)的順序可以為任意的。再次重申，多余的括號(hào)、空格和操作符號(hào)都會(huì)被用于判斷該回答是否正確。如圖所示，X X x+x+x-3將被形式對(duì)等定級(jí)方法判斷為錯(cuò)誤，因?yàn)轫?xiàng)的數(shù)量(四(4)個(gè))與答案804中項(xiàng)的數(shù)量(三(3)個(gè))不一樣，并且等價(jià)于X2的項(xiàng)沒有減少。表810列舉了問題802的幾個(gè)使用內(nèi)容等價(jià)定級(jí)方法判定為正確的回答的例子。內(nèi)容等價(jià)定級(jí)方法要求回答和答案描述相同的數(shù)學(xué)實(shí)體，但回答和答案可以以不同的順序包含不同的項(xiàng)/操作數(shù)和/或不同的操作符。因此，內(nèi)容等價(jià)定級(jí)方法比順序等價(jià)定級(jí)方法和形式對(duì)等定級(jí)方法復(fù)雜。需要注意，當(dāng)使用形式對(duì)等和順序等價(jià)定級(jí)方法時(shí)，如果回答與問題相同，那么會(huì)被判定為錯(cuò)誤。反之，當(dāng)使用內(nèi)容等價(jià)定級(jí)方法時(shí)，在某些情況下，回答與問題相同會(huì)被判定為正確。圖8顯示了一個(gè)呈現(xiàn)在響應(yīng)設(shè)備62上的參與者響應(yīng)窗口 902。在該實(shí)施例中，參與者響應(yīng)窗口 902為一個(gè)被SMART Response CE學(xué)生軟件呈現(xiàn)的SMART Notebook 頁(yè)面。參與者響應(yīng)窗口 902包括一個(gè)顯示框904，用于顯示待由參與者回答的問題并由數(shù)學(xué)排版方程判決器進(jìn)行判決。參與者響應(yīng)窗口 902還包括位于回答內(nèi)容文本框908中的用于輸入回答的回答內(nèi)容字段906。圖9是參與者響應(yīng)系統(tǒng)50使用的響應(yīng)輸入過程的流程圖。虛線1000作為分隔由響應(yīng)設(shè)備62和主機(jī)52執(zhí)行功能的分割線。當(dāng)進(jìn)入響應(yīng)設(shè)備62的響應(yīng)準(zhǔn)備提交到主機(jī)時(shí)(步驟1002)，所輸入的響應(yīng)將從ASCII碼轉(zhuǎn)換為L(zhǎng)aTeX響應(yīng)字符串(步驟1004)。隨后使用符號(hào)字典將該LaTeX響應(yīng)字符串編碼為數(shù)字?jǐn)?shù)據(jù)(步驟1006)并壓縮，然后通過收發(fā)器58傳送到主機(jī)52。例如，在該編碼過程中，LaTeX字符串“\frac”將被替換為“200”并且LaTeX字符串“ {”將被替換為“201”。經(jīng)過編碼并壓縮的LaTeX響應(yīng)字符串接著被響應(yīng)設(shè)備62通過收發(fā)器58傳送到主機(jī)52 (步驟1008)。在該實(shí)施例中，該響應(yīng)字符串包含對(duì)一個(gè)或多個(gè)問題的一個(gè)或多個(gè)回答的響應(yīng)，其顯示在一個(gè)或多個(gè)SMART NotebookTM評(píng)估頁(yè)面上。主機(jī)52接收到經(jīng)過編碼并壓縮的LaTeX響應(yīng)字符串后，使用個(gè)人電腦符號(hào)字典和LaTeX解碼器將該響應(yīng)字符串解壓并解碼為L(zhǎng)aTeX響應(yīng)表達(dá)式(步驟1010)。例如，在該解碼過程中，“200”將被替換為“\frac”并且“201”將被替換為“ {”。該解碼后的LaTeX響應(yīng)表達(dá)式隨后由一個(gè)得到美國(guó)德克薩斯州Round Rock的xThink, Inc公司授權(quán)的xThink引擎處理,用于解釋和定級(jí)(步驟1012)。本領(lǐng)域?qū)I(yè)技術(shù)人員將會(huì)理解，只要響應(yīng)設(shè)備62上的編碼符號(hào)字典和主機(jī)52上的解碼符號(hào)字典相同，那么該LaTeX到數(shù)字值的映射就是任意的。圖10是參與者響應(yīng)系統(tǒng)50使用的響應(yīng)分析過程步驟的流程圖。當(dāng)xThink引擎接收到一個(gè)LaTeX響應(yīng)表達(dá)式時(shí)(步驟1102),該xThink引擎確定已經(jīng)為定級(jí)該響應(yīng)表達(dá)式選定了定級(jí)方法(步驟1104)。隨后，該xThink引擎相應(yīng)地采用順序等價(jià)定級(jí)算法(步驟1106)、或者形式對(duì)等定級(jí)算法(步驟1108)、或者內(nèi)容等價(jià)定級(jí)算法(步驟1110)為該LaTeX 響應(yīng)表達(dá)式定級(jí)。圖11是引用編號(hào)為1106的形式對(duì)等定級(jí)算法執(zhí)行步驟的流程圖。形式對(duì)等定級(jí)算法1106確定LaTeX響應(yīng)表達(dá)式和答案表達(dá)式是否含有相同的項(xiàng)(操作數(shù))和操作符(例如是“形式上對(duì)等的”)。特別是在執(zhí)行過程中，形式對(duì)等定級(jí)算法是從為L(zhǎng)aTeX響應(yīng)表達(dá)式和答案表達(dá)創(chuàng)建共同的語(yǔ)法樹開始的(步驟1204)。LaTeX響應(yīng)表達(dá)式和答案表達(dá)通常按照運(yùn)算順序分別被放入基于操作符和操作數(shù)的樹形層次中分析，第一個(gè)被執(zhí)行的運(yùn)算位于語(yǔ)法樹的底部，最后一個(gè)被執(zhí)行的運(yùn)算位于語(yǔ)法樹的頂部。接下來(lái)，該語(yǔ)法樹被規(guī)范化為標(biāo)準(zhǔn)形式，其中，普通操作符被簡(jiǎn)化為相對(duì)于傳統(tǒng)的二元操作符而言單一的η元操作符(步驟1206)。例如方程χ+y-l將被簡(jiǎn)化為一個(gè)+操作符和擁有X、y、和_1的三操作數(shù)語(yǔ)法樹。相似的項(xiàng)被分組并按照字母順序(a到z)排列，其后是降序排列的數(shù)字值(例如2排在I前)，復(fù)雜的項(xiàng)在前，簡(jiǎn)單的項(xiàng)在后。例如，項(xiàng)X2早于項(xiàng)X被輸入語(yǔ)法樹。接下來(lái)評(píng)估該規(guī)范化的語(yǔ)法樹是否數(shù)學(xué)上有效(步驟1208)。例如，由于表達(dá)式“)X+”未正確使用括號(hào)，并且其操作符只有一個(gè)操作數(shù)，因此不是正確的語(yǔ)法樹。如果該響應(yīng)語(yǔ)法樹被判定為數(shù)學(xué)上無(wú)效，那么該響應(yīng)被定級(jí)為錯(cuò)誤(步驟1210)。在步驟1208，如果該語(yǔ)法樹是數(shù)學(xué)上有效的，那么接著將評(píng)估該響應(yīng)表達(dá)式，確定其是否匹配該問題的方程(步驟1212)。如果該響應(yīng)表達(dá)式匹配該問題的方程，那么該響應(yīng)被定級(jí)為錯(cuò)誤(步驟1210)。在該實(shí)施例中，當(dāng)一個(gè)響應(yīng)被定級(jí)為錯(cuò)誤，那么得分為零。執(zhí)行步驟1212之后，比較該答案語(yǔ)法樹和響應(yīng)語(yǔ)法樹(步驟1214)。從兩棵語(yǔ)法樹中選擇相同的初始節(jié)點(diǎn)，然后遍歷各語(yǔ)法樹。正如本領(lǐng)域普通的技術(shù)人員理解的那樣，該步驟與“深度優(yōu)先”搜索過程相同。對(duì)語(yǔ)法樹上的每個(gè)節(jié)點(diǎn)執(zhí)行答案語(yǔ)法樹和響應(yīng)語(yǔ)法樹的比較。圖12A至12H闡述了該遍歷和比較過程。圖12A顯示了分別為答案表達(dá)式1502a和響應(yīng)表達(dá)式1504a產(chǎn)生的答案語(yǔ)法樹1502和響應(yīng)語(yǔ)法樹1504。在圖12B中，語(yǔ)法樹1502和1504的根節(jié)點(diǎn)分別為1502b和1504b，比較它們以確定是否相同。在圖12C中，經(jīng)過比較確定答案語(yǔ)法樹和響應(yīng)語(yǔ)法樹的乘法操作符相同，如哈希表示的那樣。接著比較除法和乘法的操作數(shù)。由于在語(yǔ)法樹1502和1504上它們不同，并且在語(yǔ)法樹的這一層上它們是額外的節(jié)點(diǎn)，于是對(duì)語(yǔ)法樹上該層的下一節(jié)點(diǎn)進(jìn)行比較。此時(shí)，分別位于語(yǔ)法樹1502和1504上的兩個(gè)除法操作數(shù)1514和1516，經(jīng)過比較后確定相同，如圖12D所示。然后比較除法操作數(shù)1514和1516下面的節(jié)點(diǎn)，并確定其相同，如圖12E所示。將答案語(yǔ)法樹1502的下一個(gè)正節(jié)點(diǎn)1522與響應(yīng)語(yǔ)法樹1504先前跳過的正節(jié)點(diǎn)1524進(jìn)行比較的過程如圖12F所示。因?yàn)檫@些操作符都相等，形式對(duì)等定級(jí)算法分別比較正節(jié)點(diǎn)1522和1524的子節(jié)點(diǎn)1526和1528，如圖12G所示。因?yàn)檫@些子節(jié)點(diǎn)不匹配，因此確定正節(jié)點(diǎn)1522和1524不相同。將響應(yīng)語(yǔ)法樹1504的下一個(gè)節(jié)點(diǎn)即正節(jié)點(diǎn)1532與正節(jié)點(diǎn)1522相比較，如圖12H所示。因?yàn)檫@些節(jié)點(diǎn)相同，因此比較語(yǔ)法樹1502和1504的最后分支，如圖121所示。接下來(lái)比較語(yǔ)法樹這一層剩下的節(jié)點(diǎn)1534和1536。由于節(jié)點(diǎn)1534和1536及其所有子節(jié)點(diǎn)被形式對(duì)等定級(jí)算法確定為相同，因此確定語(yǔ)法樹1502和1504相匹配，因?yàn)樗鼈兯?jié)點(diǎn)相同，如圖12J所示?；氐綀D11，形式對(duì)等定級(jí)算法執(zhí)行一個(gè)確認(rèn)步驟以確定比較結(jié)果是否能夠表明該答案語(yǔ)法樹和響應(yīng)語(yǔ)法樹包含相同節(jié)點(diǎn)并因此匹配(步驟1216)。如果語(yǔ)法樹匹配，那么該回答被定級(jí)為正確(步驟1218)，并且該回答的分?jǐn)?shù)被加入該參與者的成績(jī)中。如果語(yǔ)法樹不匹配，那么該參與者的回答被定級(jí)為錯(cuò)誤(步驟1210)，該回答沒有分?jǐn)?shù)可以增加到參與·者成績(jī)中。也可以在參與者成績(jī)中加上部分分?jǐn)?shù)，這取決于響應(yīng)語(yǔ)法樹中有多少節(jié)點(diǎn)存在于答案語(yǔ)法樹中。圖13是以引用編碼1108表示的順序等價(jià)定級(jí)算法執(zhí)行步驟的流程圖。順序等價(jià)算法1108以從LaTex響應(yīng)表達(dá)式語(yǔ)法樹和答案表達(dá)式(步驟1304)創(chuàng)建邏輯語(yǔ)法樹開始。該LaTex響應(yīng)和答案表達(dá)式通常按照運(yùn)算順序分別被放入基于操作符和操作數(shù)的樹形層次中分析，第一個(gè)被執(zhí)行的運(yùn)算位于語(yǔ)法樹的底部，最后一個(gè)被執(zhí)行的運(yùn)算位于語(yǔ)法樹的頂部。接下來(lái)，該語(yǔ)法樹被規(guī)范化為標(biāo)準(zhǔn)形式，其中，普通操作符被簡(jiǎn)化為相對(duì)于傳統(tǒng)的二元操作符而言單一的η元操作符(步驟1306)。接下來(lái)評(píng)估該規(guī)范化的語(yǔ)法樹是否數(shù)學(xué)上有效(步驟1308)。如果響應(yīng)的語(yǔ)法樹被判定為數(shù)學(xué)上無(wú)效，那么該響應(yīng)被定級(jí)為錯(cuò)誤(步驟1310)。如果該語(yǔ)法樹是數(shù)學(xué)上有效的，那么接著將評(píng)估該響應(yīng)表達(dá)式，確定其是否匹配該問題的方程(步驟1312)。如果該響應(yīng)表達(dá)式匹配該問題的方程，那么該響應(yīng)被定級(jí)為錯(cuò)誤(1310)。在該實(shí)施例中，當(dāng)響應(yīng)被定級(jí)為錯(cuò)誤，那么得分為零。執(zhí)行步驟1312之后，采用和上述形式對(duì)等定級(jí)算法相同的方式比較答案語(yǔ)法樹和響應(yīng)語(yǔ)法樹(步驟1314)。如果確定這兩棵語(yǔ)法樹包含相同的項(xiàng)和操作符，那么認(rèn)為該答案表達(dá)式和響應(yīng)表達(dá)式至少是“形式上對(duì)等”，即答案和響應(yīng)語(yǔ)法樹含有相同節(jié)點(diǎn)。接著直接對(duì)答案和響應(yīng)表達(dá)式執(zhí)行文字比較，以確定生成器的順序(步驟1316)。在此步驟中不考慮括號(hào)和空白，但要考慮同一操作符的不同表達(dá)方法。例如，“/”和“ + ”將被視為相同的除法操作符，并且和“X”也被視為相同的乘法操作符。直接比較文字之后執(zhí)行確認(rèn)步驟，以確定該答案和響應(yīng)表達(dá)式是否相同(步驟1318)。如果相同，那么該回答被定級(jí)為正確(步驟1320)，并且該回答的分?jǐn)?shù)被加入該參與者的成績(jī)中。如果答案和響應(yīng)表達(dá)式不同，那么該回答被定級(jí)為錯(cuò)誤，該回答的分?jǐn)?shù)為零(步驟1310)。圖14是以引用編碼1110表示的內(nèi)容等價(jià)定級(jí)算法執(zhí)行步驟的流程圖。內(nèi)容等價(jià)算法以從LaTex響應(yīng)表達(dá)式語(yǔ)法樹和答案表達(dá)式(步驟1404)創(chuàng)建邏輯語(yǔ)法樹開始。該LaTex響應(yīng)和答案表達(dá)式通常按照運(yùn)算順序分別被放入基于操作符和操作數(shù)的樹形層次中分析，第一個(gè)被執(zhí)行的運(yùn)算位于語(yǔ)法樹的底部，最后一個(gè)被執(zhí)行的運(yùn)算位于語(yǔ)法樹的頂部。接下來(lái)，該語(yǔ)法樹被規(guī)范化為標(biāo)準(zhǔn)形式，其中，普通操作符被簡(jiǎn)化為相對(duì)于傳統(tǒng)的二元操作符而言單一的η元操作符(步驟1406)。接下來(lái)評(píng)估該規(guī)范化的語(yǔ)法樹是否數(shù)學(xué)上有效(步驟1408)。如果響應(yīng)的語(yǔ)法樹被判定為數(shù)學(xué)上無(wú)效，那么該響應(yīng)被定級(jí)為錯(cuò)誤(步驟1410)。如果該語(yǔ)法樹是數(shù)學(xué)上有效的，那么接著將評(píng)估該響應(yīng)表達(dá)式，確定其是否匹配該問題的方程(步驟1412)。如果該響應(yīng)表達(dá)式匹配該問題的方程，那么該響應(yīng)被定級(jí)為正確(步驟1416)并且該回答的分?jǐn)?shù)被加入該參與者的成績(jī)中。執(zhí)行步驟1412之后，如果該響應(yīng)表達(dá)式與該問題不匹配，那么采用和上述形式對(duì)等定級(jí)算法相同的方式比較答案語(yǔ)法樹和響應(yīng)語(yǔ)法樹(步驟1414)。如果這些語(yǔ)法樹匹配，那么該響應(yīng)語(yǔ)法樹被定級(jí)為正確(步驟1416)并且該回答的分?jǐn)?shù)被加入該參與者的成績(jī)中。
如果這些語(yǔ)法樹不匹配，那么有必要判定該響應(yīng)表達(dá)式和答案表達(dá)式是否包含相同的答案集。在該實(shí)施例中，使用由美國(guó)德克薩斯州NationalInstruments of Austin公司提供的Lab View數(shù)學(xué)算法解決該響應(yīng)和答案表達(dá)式的匹配問題。該響應(yīng)和答案表達(dá)式中的變量被識(shí)別出并且為每個(gè)變量生成一套隨機(jī)值(步驟1418)。獨(dú)立地處理每個(gè)變量。該響應(yīng)表達(dá)式和答案表達(dá)式中的每個(gè)變量都使用這些相同的隨機(jī)值評(píng)估(步驟1420)，并比較該評(píng)估結(jié)果(步驟1422)。如果這些結(jié)果在所有這些隨機(jī)變量的可容忍公差范圍內(nèi)，那么該響應(yīng)被定級(jí)為正確(步驟1416)，并且該回答的分?jǐn)?shù)被加入該參與者的成績(jī)中。如果這些結(jié)果不在可容忍公差范圍內(nèi)，那么該響應(yīng)被定級(jí)為錯(cuò)誤(步驟1410)，該回答的分?jǐn)?shù)為零。如果在生成隨機(jī)變量的過程中，一個(gè)隨機(jī)變量引發(fā)錯(cuò)誤，例如以零作為被除數(shù)，那么該隨機(jī)變量被丟棄并且選擇一個(gè)新值作為該變量值。值得欣慰的是，如果答案語(yǔ)法樹被判定為數(shù)學(xué)上無(wú)效，那么可能顯示一條提示信息，通知主持人輸入另一個(gè)替代答案。圖15A顯示了另一個(gè)引用編號(hào)為1600，呈現(xiàn)在參與者響應(yīng)系統(tǒng)50上的參與者輸入窗口的實(shí)施例。參與者輸入窗口 1600為由SMARTResponse CE學(xué)生軟件呈現(xiàn)的SMARTNotebook 頁(yè)面，其目的是用于在擁有手寫輸入功能的響應(yīng)設(shè)備上起顯示作用。與上述圖8所示的參與者輸入窗口 902類似,參與者輸入窗口 1600包括用于顯示待參與者回答問題的SMART Notebook 頁(yè)面1602。參與者輸入窗口 1600還包括注釋框1604，其中定義了可以輸入手寫響應(yīng)1608的字段。參與者輸入窗口 1600進(jìn)一步包括一個(gè)“識(shí)別”按鈕1606，當(dāng)在注釋框1604中輸入手寫響應(yīng)時(shí)可選擇該按鈕。選擇“識(shí)別”按鈕1606使該響應(yīng)設(shè)備執(zhí)行手寫識(shí)別算法，其分析該手寫響應(yīng)并轉(zhuǎn)換為文本字符串。選擇“識(shí)別”按鈕1606還導(dǎo)致在該響應(yīng)設(shè)備上顯示參與者輸入確認(rèn)窗口 1700，如圖15B所示。該SMART Response CE學(xué)生軟件也可能等待一段時(shí)間后自動(dòng)識(shí)別該手寫響應(yīng)，轉(zhuǎn)換為文本字符串，并顯示該參與者輸入確認(rèn)窗口 1700。參與者輸入確認(rèn)窗口 1700包括顯示轉(zhuǎn)換后文本的顯示框1704,其中顯示由該參與者確認(rèn)的被轉(zhuǎn)換后的手寫響應(yīng)。因?yàn)椴灰欢軠?zhǔn)確識(shí)別手寫輸入，參與者輸入確認(rèn)窗口1700提供了“更改回答”按鈕1702，如果該參與者對(duì)轉(zhuǎn)換后的手寫響應(yīng)不滿意，可以選擇該按鈕。選擇“更改回答”按鈕1702導(dǎo)致出現(xiàn)響應(yīng)編輯子窗口 1706，其包括一套可用于編輯該轉(zhuǎn)換后響應(yīng)的符號(hào)按鈕1708。參與者輸入確認(rèn)窗口 1700進(jìn)一步包括“提交”按鈕(未顯示)。選擇“提交”按鈕將執(zhí)行上述圖9所示的響應(yīng)輸入過程。在該實(shí)施例中，參與者可以在注釋框1604中輸入將被自動(dòng)定級(jí)的手寫響應(yīng)?？梢栽谧⑨尶?604外輸入額外的注釋，例如用于達(dá)到最終響應(yīng)的中間步驟。在該實(shí)施例中，該額外的注釋沒有被自動(dòng)定級(jí)，但可能被保存在網(wǎng)絡(luò)設(shè)備或本地的響應(yīng)設(shè)備上，供主持人以后審核。該最終響應(yīng)通過上述圖9至14的方法被定級(jí)。主持人可能根據(jù)中間工作調(diào)整自動(dòng)評(píng)分結(jié)果。雖然在上述實(shí)施例中的評(píng)估問題由各自的響應(yīng)設(shè)備顯示，但在其他實(shí)施例中，這些問題可能根據(jù)響應(yīng)設(shè)備的顯示能力不同而采用其他顯示方式。例如，也可打印出該問題并交給一個(gè)或多個(gè)參與者，或者也可以在諸如IWB54之類的普通顯示器上顯示。例如,在上述實(shí)施例中，運(yùn)行SMART Response CE學(xué)生軟件的響應(yīng)設(shè)備62—般都有能力處理功能豐富的內(nèi)容。但是，在另一個(gè)實(shí)施例中，也可使用沒有能力 處理這種功能豐富的內(nèi)容的響應(yīng)設(shè)備。例如，圖16所示的另一個(gè)實(shí)施例中，引用編號(hào)為602、用于參與者響應(yīng)系統(tǒng)50的響應(yīng)設(shè)備。響應(yīng)設(shè)備602是SMART Response XE設(shè)備。響應(yīng)設(shè)備602包括簡(jiǎn)單的IXD顯示器604、一套軟鍵按鈕606和用于輸入文本和常用符號(hào)的鍵盤608。由于沒有豐富的顯示功能，基于方程的問題不會(huì)在響應(yīng)設(shè)備602中顯示，參與者使用響應(yīng)設(shè)備602，并依靠IWB54顯示參與評(píng)估的問題。但是，響應(yīng)設(shè)備602可用于顯示問題編號(hào)并允許輸入文本形式的響應(yīng)。由于響應(yīng)設(shè)備602普遍簡(jiǎn)單，因此在其無(wú)法傳輸LaTeX的所有函數(shù)時(shí)，可能需要使用主機(jī)52在解碼過程中補(bǔ)充接收到的響應(yīng)表達(dá)式丟失的任何部分。例如，sine函數(shù)被響應(yīng)設(shè)備602作為“sin”傳輸，主機(jī)52在解碼過程中使用LaTeX的“\sin”將其替換。雖然在上述實(shí)施例中，該參與者響應(yīng)系統(tǒng)使用的響應(yīng)設(shè)備能否識(shí)別手寫輸入都可以，但在另一些實(shí)施例中，該參與者響應(yīng)系統(tǒng)可采用多種不同的響應(yīng)設(shè)備，其中一些具備識(shí)別手寫輸入的能力而另一些也許不能。不難理解，這種可使用多種設(shè)備的系統(tǒng)非常適用于由具備不同能力或殘疾參與者構(gòu)成的參與者組群。在一個(gè)相關(guān)的實(shí)施例中，該參與者響應(yīng)系統(tǒng)可能被配置為可以檢測(cè)每個(gè)響應(yīng)設(shè)備的能力，并據(jù)此呈現(xiàn)相應(yīng)的參與者響應(yīng)輸入模式，或者該參與者輸入系統(tǒng)可能允許參與者自行選擇喜歡的參與者響應(yīng)輸入模式。雖然在上述實(shí)施例中參與者響應(yīng)系統(tǒng)采用LaTeX作為標(biāo)記語(yǔ)言，但在其他實(shí)施例中，也可使用其他標(biāo)記語(yǔ)言，例如HTML、MathML, MatLab代碼，或采用其他合適的專用語(yǔ)言。雖然所述答案語(yǔ)法樹與響應(yīng)語(yǔ)法樹是同時(shí)創(chuàng)建的，但在創(chuàng)建響應(yīng)語(yǔ)法樹之前，例如在主持人輸入答案時(shí)創(chuàng)建答案語(yǔ)法樹更好。雖然上述實(shí)施例中響應(yīng)設(shè)備與主機(jī)通過無(wú)線連接通信，但在一些其他實(shí)施例中，該響應(yīng)設(shè)備也可通過有線連接與主機(jī)通信。在相關(guān)的一些實(shí)施例中，一個(gè)或多個(gè)響應(yīng)設(shè)備可能位于遠(yuǎn)程站點(diǎn)并通過互聯(lián)網(wǎng)或其他網(wǎng)絡(luò)配置例如局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)與主機(jī)通信。在一些實(shí)施例中，主機(jī)可能通過無(wú)線或有線方式與一臺(tái)或多臺(tái)服務(wù)器相連，也可能通過無(wú)線方式與IWB和/或收發(fā)器相連。在一些實(shí)施例中，根據(jù)問題使用的定級(jí)方法類型，每位參與者的分?jǐn)?shù)可能被自動(dòng)調(diào)整。本領(lǐng)域普通的技術(shù)人員將很容易理解,可以交替使用上述在響應(yīng)和xThink引擎之間通信的不同通信和編碼協(xié)議。類似地，本領(lǐng)域普通的技術(shù)人員將很容易理解，可以交替使用上述用于產(chǎn)生語(yǔ)法樹的分析算法。雖然在上述實(shí)施例中，評(píng)估問題主要包括數(shù)學(xué)方程，但在其他一些實(shí)施例中，這些問題也可包括其他領(lǐng)域的方程，例如化學(xué)、物理、生物、微積分和工程，但不僅限于這些領(lǐng)域。雖然在上述的實(shí)施例中，采用類似“深度優(yōu)先”的搜索方法，從答案語(yǔ)法樹和響應(yīng)語(yǔ)法樹中選出相同的初始節(jié)點(diǎn)并遍歷每棵語(yǔ)法樹從而比較每個(gè)節(jié)點(diǎn)，但在其他一些實(shí)施例中，也可使用“廣度優(yōu)先”搜索方法。正如本領(lǐng)域普通技術(shù)人員理解的那樣，用于比較兩棵語(yǔ)法樹上所有節(jié)點(diǎn)的搜索方法是無(wú)關(guān)緊要的。在上述實(shí)施例中，使用提交按鈕對(duì)將經(jīng)過編碼并壓縮的LaTeX響應(yīng)字符串傳輸?shù)街鳈C(jī)52的過程進(jìn)行初始化?？梢岳斫猓梢栽诨卮鹜晁性u(píng)估問題后并因此到達(dá)評(píng)估的最后一頁(yè)時(shí)，或者當(dāng)每個(gè)問題或一個(gè)問題子集已被回答時(shí)使用該提交按鈕。如有必要，可以將參與者的注釋傳輸?shù)街鳈C(jī)進(jìn)行識(shí)別并定級(jí)。也可以在響應(yīng)設(shè)備上執(zhí)行自動(dòng)定級(jí)。 雖然使用的示例為一些相對(duì)簡(jiǎn)單的方程，但也可以使用更加復(fù)雜的方程，正如本領(lǐng)域普通技術(shù)人員理解的那樣。雖然在上述的一些實(shí)施例帶有參考圖，但本領(lǐng)域?qū)I(yè)技術(shù)人員應(yīng)該能夠理解，在不違背所附權(quán)利要求中定義的精神和范圍的前提下可能會(huì)有一些變化和修改。
權(quán)利要求
1.一種計(jì)算機(jī)化評(píng)估定級(jí)方法，其包括以下步驟 為一已接收的基于方程的響應(yīng)創(chuàng)建語(yǔ)法樹，所述響應(yīng)對(duì)應(yīng)至少一個(gè)評(píng)估問題；為至少一解答創(chuàng)建語(yǔ)法樹，所述解答對(duì)應(yīng)至少一個(gè)問題； 對(duì)所述語(yǔ)法樹進(jìn)行比較； 以及根據(jù)比較結(jié)果對(duì)所述響應(yīng)進(jìn)行定級(jí)。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于根據(jù)一套選擇的定級(jí)方法體系實(shí)施所述的定級(jí)方法。
3.根據(jù)權(quán)利要求2所述的方法，其中所選擇的定級(jí)方法體系是從多種不同的定級(jí)方法體系中選出的。
4.根據(jù)權(quán)利要求3所述的方法，其中該多種不同的定級(jí)方法體系至少包括一順序等價(jià)定級(jí)方法，一內(nèi)容等價(jià)定級(jí)方法，以及一形式對(duì)等定級(jí)方法。
5.根據(jù)權(quán)利要求I至4中任一權(quán)利要求所述的方法，其中所述的創(chuàng)建步驟包括將所述響應(yīng)和至少一解答解析為操作符和操作數(shù)的樹狀分層結(jié)構(gòu)，從而形成所述語(yǔ)法樹。
6.根據(jù)權(quán)利要求5所述的方法，其中所述創(chuàng)建步驟進(jìn)一步包括對(duì)所述語(yǔ)法樹進(jìn)行正則化。
7.根據(jù)權(quán)利要求6所述的方法，其中在所述正則化過程中，所述語(yǔ)法樹被正則為范式，這里公共操作符被簡(jiǎn)化為單一的N元操作符。
8.根據(jù)權(quán)利要求5至7中任一權(quán)利要求所述的方法，其中一般根據(jù)操作的次序建立所述操作符和操作數(shù)的樹狀分層結(jié)構(gòu)。
9.根據(jù)權(quán)利要求8所述的方法，其中最先執(zhí)行的操作放置于所述語(yǔ)法樹的底部，而最后執(zhí)行的操作放置于所述語(yǔ)法樹的頂部。
10.根據(jù)權(quán)利要求I所述的方法，其中所述比較步驟包括確定所述語(yǔ)法樹節(jié)點(diǎn)之間的相似性。
11.根據(jù)權(quán)利要求I所述的方法，其中所述比較步驟包括確定所述語(yǔ)法樹是否包括相同節(jié)點(diǎn)。
12.根據(jù)權(quán)利要求11所述的方法，其中當(dāng)所述語(yǔ)法樹包括相同的節(jié)點(diǎn)時(shí)，所述定級(jí)包括在所述響應(yīng)正確時(shí)對(duì)該響應(yīng)進(jìn)行定級(jí)。
13.根據(jù)權(quán)利要求11所述的方法，其中所述比較步驟進(jìn)一步包括當(dāng)所述語(yǔ)法樹包括相同的節(jié)點(diǎn)時(shí)，確定操作符順序等價(jià)性是否存在。
14.根據(jù)權(quán)利要求13所述的方法，其中當(dāng)所述語(yǔ)法樹包括相同的節(jié)點(diǎn)且操作符順序等價(jià)性得到確定時(shí)，所述定級(jí)包括在所述響應(yīng)正確時(shí)對(duì)該響應(yīng)進(jìn)行定級(jí)。
15.根據(jù)權(quán)利要求11或12中所述的方法，其中所述比較步驟進(jìn)一步包括當(dāng)所述語(yǔ)法樹不包括相同節(jié)點(diǎn)時(shí)，確定所述響應(yīng)和至少一解答是否包括相同的解集。
16.根據(jù)權(quán)利要求15所述的方法，其中當(dāng)所述響應(yīng)和至少一解答包括相同的解集時(shí)，所述定級(jí)包括在所述響應(yīng)正確時(shí)對(duì)該響應(yīng)進(jìn)行定級(jí)。
17.根據(jù)權(quán)利要求10所述的方法，其中所述定級(jí)包括根據(jù)所述語(yǔ)法樹節(jié)點(diǎn)匹配的程度給予分?jǐn)?shù)。
18.根據(jù)權(quán)利要求10至17中任一權(quán)利要求所述的方法，其中所述創(chuàng)建步驟包括將所述響應(yīng)和至少一解答解析為操作符和操作數(shù)樹狀分層結(jié)構(gòu)，從而形成所述語(yǔ)法樹。
19.根據(jù)權(quán)利要求18所述的方法，其中所述創(chuàng)建步驟進(jìn)一步包括對(duì)所述語(yǔ)法樹正則化。
20.根據(jù)權(quán)利要求19所述的方法，其中在所述正則化過程中，所述語(yǔ)法樹被正則為范式，這里公共操作符被簡(jiǎn)化為單一的N元操作符。
21.根據(jù)權(quán)利要求18至20中任一權(quán)利要求所述的方法，其中一般根據(jù)操作的次序建立所述操作符和操作數(shù)的樹狀分層結(jié)構(gòu)。
22.根據(jù)權(quán)利要求21所述的方法，其中最先執(zhí)行的操作放置于所述語(yǔ)法樹的底部，而最后執(zhí)行的操作放置于所述語(yǔ)法樹的頂部。
23.根據(jù)權(quán)利要求I至22中任一權(quán)利要求所述的方法，其進(jìn)一步包括在進(jìn)行所述的比較之前，確定所述響應(yīng)語(yǔ)法樹是否有效；且當(dāng)所述響應(yīng)語(yǔ)法樹無(wú)效時(shí)，繞過所述比較且在所述響應(yīng)不正確時(shí)對(duì)該響應(yīng)進(jìn)行定級(jí)。
24.根據(jù)權(quán)利要求I至23中任一權(quán)利要求所述的方法，其進(jìn)一步包括在進(jìn)行所述的創(chuàng)建步驟之前，從一或多臺(tái)響應(yīng)裝置處接收基于方程的響應(yīng)。
25.一種計(jì)算機(jī)化評(píng)估定級(jí)方法，其包括 當(dāng)接收到基于方程的響應(yīng)時(shí)，根據(jù)該響應(yīng)創(chuàng)建一操作符和操作數(shù)的分層結(jié)構(gòu)； 將一操作符和操作數(shù)的解答分層結(jié)構(gòu)和所述操作符和操作數(shù)的響應(yīng)分層結(jié)構(gòu)進(jìn)行比較； 以及根據(jù)比較結(jié)果對(duì)所述響應(yīng)定級(jí)。
26.根據(jù)權(quán)利要求25所述的方法，其特征在于根據(jù)一套選擇的定級(jí)方法體系實(shí)施所述定級(jí)方法。
27.根據(jù)權(quán)利要求26所述的方法，其中所選擇的定級(jí)方法體系是從多種不同的定級(jí)方法體系中選出的。
28.根據(jù)權(quán)利要求27所述的方法，其中所述多種不同的定級(jí)方法體系至少包括一順序等價(jià)定級(jí)方法，一內(nèi)容等價(jià)定級(jí)方法，以及一形式對(duì)等定級(jí)方法。
29.根據(jù)權(quán)利要求25至28中任一權(quán)利要求所述的方法，其中一般根據(jù)操作次序形成所述操作符和操作數(shù)的響應(yīng)和解答分層結(jié)構(gòu)。
30.根據(jù)權(quán)利要求25所述的方法，其中所述比較步驟確定所述操作符和操作數(shù)的分層結(jié)構(gòu)是否匹配。
31.根據(jù)權(quán)利要求30所述的方法，其中所述比較步驟進(jìn)一步包括當(dāng)所述操作符和操作數(shù)的分層結(jié)構(gòu)匹配時(shí)，確定操作符順序等價(jià)性是否存在。
32.根據(jù)權(quán)利要求30所述的方法，其中所述比較步驟進(jìn)一步包括當(dāng)所述操作符和操作數(shù)的分層結(jié)構(gòu)不匹配時(shí)，確定所述響應(yīng)和解答是否包括相同解集。
33.根據(jù)權(quán)利要求25至32中任一權(quán)利要求所述的方法，其進(jìn)一步包括在進(jìn)行所述的比較之前，確定所述操作符和操作數(shù)的響應(yīng)分層結(jié)構(gòu)是否有效；且當(dāng)所述操作符和操作數(shù)的響應(yīng)分層結(jié)構(gòu)無(wú)效時(shí)，繞過所述比較且在所述響應(yīng)不正確時(shí)對(duì)該響應(yīng)進(jìn)行定級(jí)。
34.根據(jù)權(quán)利要求25至33中任一權(quán)利要求所述的方法，其進(jìn)一步包括在進(jìn)行所述創(chuàng)建步驟之前，從一或多臺(tái)響應(yīng)裝置處接收基于方程的響應(yīng)。
35.一種參與者響應(yīng)系統(tǒng)，其包括 至少一響應(yīng)裝置，每臺(tái)響應(yīng)裝置具有一輸入界面，該界面允許用戶對(duì)問題輸入基于方程的響應(yīng)； 以及一處理結(jié)構(gòu)，該處理結(jié)構(gòu)與每臺(tái)響應(yīng)設(shè)備進(jìn)行通信；在對(duì)所接收的響應(yīng)作出響應(yīng)時(shí)，該處理結(jié)構(gòu)執(zhí)行一定級(jí)方法；該方法使所述處理結(jié)構(gòu)為所接收響應(yīng)創(chuàng)建語(yǔ)法樹，將該響應(yīng)語(yǔ)法樹與解答語(yǔ)法樹相比較，并根據(jù)比較結(jié)果對(duì)響應(yīng)定級(jí)。
36.根據(jù)權(quán)利要求35所述的參與者響應(yīng)系統(tǒng)，其特征在于根據(jù)一套選擇的定級(jí)方法體系實(shí)施所述定級(jí)方法。
37.根據(jù)權(quán)利要求36所述的參與者響應(yīng)系統(tǒng)，其中所選定級(jí)方法體系至少為順序等價(jià)定級(jí)方法，內(nèi)容等價(jià)定級(jí)方法，以及形式對(duì)等定級(jí)方法中之一。
38.一種參與者響應(yīng)系統(tǒng)，其包括 至少一響應(yīng)裝置，每臺(tái)響應(yīng)裝置具有一輸入界面，該界面允許用戶對(duì)問題輸入基于方程的響應(yīng)； 以及一處理結(jié)構(gòu)，該處理結(jié)構(gòu)與每臺(tái)響應(yīng)設(shè)備進(jìn)行通信；在對(duì)所接收的響應(yīng)作出響應(yīng)時(shí)，該處理結(jié)構(gòu)執(zhí)行權(quán)利要求I至23，或25至33中任一權(quán)利要求所述的方法。
39.一種器械,其包括 一處理裝置； 以及存儲(chǔ)計(jì)算機(jī)程序代碼的一存儲(chǔ)器，所述處理裝置與所述存儲(chǔ)器通信，并執(zhí)行所述計(jì)算機(jī)程序代碼；所述代碼的執(zhí)行使得所述器械在對(duì)已接收的、基于方程的、且對(duì)評(píng)估問題的響應(yīng)作出響應(yīng)時(shí)，為所接收的響應(yīng)創(chuàng)建語(yǔ)法樹，將所述響應(yīng)語(yǔ)法樹與解答語(yǔ)法樹相比較，且根據(jù)比較結(jié)果對(duì)所述響應(yīng)定級(jí)。
40.一種計(jì)算機(jī)可讀的非瞬時(shí)性介質(zhì)，該介質(zhì)存有計(jì)算機(jī)程序代碼；當(dāng)執(zhí)行該代碼時(shí)，使得一處理裝置在對(duì)已接收的、基于方程的、且對(duì)評(píng)估問題的響應(yīng)作出響應(yīng)期間，為所接收的響應(yīng)創(chuàng)建語(yǔ)法樹，將所述響應(yīng)語(yǔ)法樹與解答語(yǔ)法樹相比較，且根據(jù)比較結(jié)果對(duì)所述響應(yīng)定級(jí)。
全文摘要
一種計(jì)算機(jī)化評(píng)估定級(jí)方法，其包括為一已接收的基于方程的響應(yīng)創(chuàng)建語(yǔ)法樹，所述響應(yīng)對(duì)應(yīng)至少一評(píng)估問題；為至少一解答創(chuàng)建語(yǔ)法樹，所述解答對(duì)應(yīng)至少一問題；對(duì)所述語(yǔ)法樹進(jìn)行比較；以及根據(jù)比較結(jié)果對(duì)所述響應(yīng)進(jìn)行定級(jí)。
文檔編號(hào)G09B7/08GK102959602SQ201180031438
公開日2013年3月6日 申請(qǐng)日期2011年6月27日 優(yōu)先權(quán)日2010年6月25日
發(fā)明者大衛(wèi)·拉比內(nèi), 阿爾伯特·舒, 洛塔爾·溫澤爾 申請(qǐng)人:智能技術(shù)無(wú)限責(zé)任公司