基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法及系統(tǒng)，包括：指定鍵盤記錄、計(jì)算機(jī)屏幕操作以及眼動(dòng)儀數(shù)據(jù)的存儲(chǔ)以及工作存儲(chǔ)區(qū)，接收鍵盤敲擊以及鼠標(biāo)點(diǎn)擊動(dòng)作的輸入記錄數(shù)據(jù)；對(duì)計(jì)算機(jī)屏幕操作數(shù)據(jù)以及眼動(dòng)儀數(shù)據(jù)進(jìn)行高效編碼；生成鍵盤及鼠標(biāo)輸入過(guò)程和計(jì)算機(jī)操作過(guò)程的視頻數(shù)據(jù)；調(diào)取任一個(gè)記錄文件，生成包含寫作過(guò)程信息以及時(shí)間信息的描述整體寫作過(guò)程的數(shù)據(jù)分析文件。本發(fā)明有益效果：突破了現(xiàn)有寫作過(guò)程研究領(lǐng)域僅以英文等多數(shù)西方字母語(yǔ)言的寫作過(guò)程研究模式，為以中文的寫作過(guò)程的研究提供了工具及新的思路和方法。
【專利說(shuō)明】
基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著傳統(tǒng)的紙筆寫作轉(zhuǎn)變?yōu)橛?jì)算機(jī)寫作，利用計(jì)算機(jī)技術(shù)對(duì)寫作過(guò)程進(jìn)行實(shí)時(shí)記錄和分析已成為可能。鍵盤記錄(Inputlog)是用來(lái)監(jiān)測(cè)書面語(yǔ)言產(chǎn)生的擊鍵記錄工具，鍵盤記錄可以處理大多數(shù)西方字母語(yǔ)言，包括像希臘語(yǔ)及薩米語(yǔ)，除選擇合適的地區(qū)設(shè)置和鍵盤布局外無(wú)需任何其他調(diào)試。鍵盤記錄可以記錄所有的敲擊鍵盤和鼠標(biāo)移動(dòng)動(dòng)作，因此，利用鍵盤記錄能夠精準(zhǔn)的記錄寫作者的寫作情況。
[0003]然而，目前的鍵盤記錄研究寫作過(guò)程均是針對(duì)西方字母語(yǔ)言，對(duì)于中文輸入則不能夠通過(guò)分析記錄來(lái)研究寫作過(guò)程。更不能夠進(jìn)行中/英文輸入的切換，使得漢語(yǔ)寫作過(guò)程研究和以中文為二語(yǔ)的寫作過(guò)程的研究工具在世界范圍內(nèi)缺失。
[0004]另外，在進(jìn)行寫作過(guò)程記錄的時(shí)候，既能夠通過(guò)鍵盤記錄獲取到停頓的位置以及停頓時(shí)長(zhǎng)，對(duì)于停頓時(shí)間段內(nèi)寫作者的行為以及思維過(guò)程不能進(jìn)行有效記錄，因此，在進(jìn)行寫作過(guò)程分析時(shí)，分析數(shù)據(jù)形式單一，分析參量不夠全面，不能夠從多個(gè)維度、多個(gè)角度進(jìn)行數(shù)據(jù)分析。

【發(fā)明內(nèi)容】

[0005]本發(fā)明為了解決上述問(wèn)題，提出了一種基于鍵盤記錄和眼動(dòng)儀的中文寫作過(guò)程研究方法及系統(tǒng)，將鍵盤記錄和眼動(dòng)儀功能進(jìn)行結(jié)合，同時(shí)增加中文輸入記錄模塊，彌補(bǔ)了鍵盤記錄僅能夠?qū)τ⑽妮斎脒M(jìn)行研究的不足，并通過(guò)對(duì)眼動(dòng)數(shù)據(jù)進(jìn)行分析，為解讀寫作過(guò)程中人的思維狀態(tài)提供數(shù)據(jù)依據(jù)。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明采用下述技術(shù)方案:
[0007]—種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法，包括:
[0008](I)分別指定鍵盤記錄、計(jì)算機(jī)屏幕操作以及眼動(dòng)儀的數(shù)據(jù)存儲(chǔ)路徑，同時(shí)錄入鍵盤的實(shí)體布局；
[0009](2)通過(guò)眼動(dòng)儀將眼睛注視點(diǎn)和視線移動(dòng)路徑的眼動(dòng)數(shù)據(jù)疊加到計(jì)算機(jī)屏幕上；
[0010](3)記錄鍵盤敲擊過(guò)程，鼠標(biāo)點(diǎn)擊位置、點(diǎn)擊動(dòng)作的起止時(shí)間以及時(shí)間差數(shù)據(jù)；如果需要記錄的是西方字母語(yǔ)言，則直接記錄鍵盤敲擊過(guò)程;如果需要記錄的是中文，則通過(guò)輸入法間接錄入，記錄最終的中文字符；
[0011]將上述記錄的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一碼字符，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)路徑下；
[0012](4)對(duì)計(jì)算機(jī)屏幕的應(yīng)用軟件窗口、鼠標(biāo)操作、鍵盤錄入、錄入的修改、停頓的對(duì)象區(qū)域標(biāo)志位和對(duì)象語(yǔ)義標(biāo)志位以及眼動(dòng)數(shù)據(jù)進(jìn)行高效編碼，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)路徑下；
[0013](5)根據(jù)數(shù)據(jù)采集時(shí)間形成帶有時(shí)間戳的關(guān)鍵幀數(shù)據(jù)，生成鍵盤及鼠標(biāo)輸入過(guò)程和計(jì)算機(jī)屏幕操作過(guò)程與眼動(dòng)數(shù)據(jù)混合的視頻數(shù)據(jù);并以xml文件記錄所述視頻數(shù)據(jù)存儲(chǔ)路徑；
[0014](6)調(diào)取存儲(chǔ)路徑下的任一記錄文件數(shù)據(jù)，生成包含寫作過(guò)程信息以及時(shí)間信息的描述整體寫作過(guò)程的數(shù)據(jù)分析文件。
[0015]進(jìn)一步地，所述步驟(3)中，記錄最終的中文字符的方法為:
[0016]利用鉤子機(jī)制獲取windows窗口的WMJME_C0MP0SIT10N消息復(fù)制給指定的存儲(chǔ)路徑，則寫入xml文件的記錄呈現(xiàn)的是中文字符。
[0017]進(jìn)一步地，所述步驟(4)中，設(shè)置停頓時(shí)間和修改次數(shù)閾值，在達(dá)到停頓時(shí)間或者修改次數(shù)閥值時(shí)，自動(dòng)記錄下這一時(shí)刻的關(guān)鍵幀，并自動(dòng)建立此關(guān)鍵幀的記錄數(shù)據(jù)索引。
[0018]進(jìn)一步地，所述步驟(5)中，在生成的視頻數(shù)據(jù)中，
[0019]對(duì)圖像數(shù)據(jù)進(jìn)行關(guān)鍵詞標(biāo)注處理，根據(jù)圖像的底層特征，利用時(shí)間戳自動(dòng)找出能夠有效描述其語(yǔ)義內(nèi)容的文本標(biāo)簽；
[0020]對(duì)文本數(shù)據(jù)進(jìn)行圖像化的描述，根據(jù)文本的內(nèi)容，利用時(shí)間戳自動(dòng)找出能夠有效描述其內(nèi)容的圖像。
[0021]進(jìn)一步地，所述步驟(6)中，生成的數(shù)據(jù)分析文件包括:停頓分析文檔、修改分析文檔及寫作過(guò)程思維狀態(tài)分析文檔；
[0022]停頓分析文檔能夠匯報(bào)停頓發(fā)生的頻次、時(shí)長(zhǎng)、方差，根據(jù)停頓發(fā)生的實(shí)際位置進(jìn)一步考察寫作者的寫作障礙問(wèn)題；
[0023]同時(shí)借助眼動(dòng)儀數(shù)據(jù)確定寫作過(guò)程停滯時(shí)間內(nèi)寫作者的眼睛注視點(diǎn)和視線移動(dòng)路徑，以確定其關(guān)注點(diǎn)以及注意力；
[0024]修改分析文檔能夠匯報(bào)寫作過(guò)程中所有修改行為的基本數(shù)據(jù)，包括:采用的中文輸入法，修改的內(nèi)容及實(shí)際或可能刪除的內(nèi)容；
[0025]寫作過(guò)程思維狀態(tài)分析文檔能夠匯報(bào)寫作過(guò)程中人的思維狀態(tài)數(shù)據(jù)。
[0026]—種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的系統(tǒng)，包括:
[0027]用于存儲(chǔ)并處理鍵盤記錄、計(jì)算機(jī)屏幕操作以及眼動(dòng)儀數(shù)據(jù)的存儲(chǔ)區(qū)；
[0028]用于將眼睛注視點(diǎn)和視線移動(dòng)路徑的眼動(dòng)數(shù)據(jù)疊加到計(jì)算機(jī)屏幕上的眼動(dòng)儀；
[0029]用于進(jìn)行寫作操作的鍵盤以及鼠標(biāo)；
[0030]用于接收鍵盤敲擊以及鼠標(biāo)點(diǎn)擊動(dòng)作的輸入記錄數(shù)據(jù)的裝置；
[0031]用于將上述數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一碼字符，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)區(qū)內(nèi)的裝置；
[0032]用于生成并存儲(chǔ)鍵盤及鼠標(biāo)輸入過(guò)程和計(jì)算機(jī)屏幕操作過(guò)程與眼動(dòng)數(shù)據(jù)混合的視頻數(shù)據(jù)的裝置；
[0033]用于調(diào)取視頻數(shù)據(jù)文件的裝置以及用于將調(diào)取的文件生成包含寫作過(guò)程信息以及時(shí)間信息的描述整體寫作過(guò)程的數(shù)據(jù)分析文件的裝置。
[0034]進(jìn)一步地，還包括:漢語(yǔ)記錄模塊:用于記錄中文輸入過(guò)程；
[0035]以及利用鉤子機(jī)制獲取windows窗口的WM_mE_C0MP0SIT10N消息復(fù)制給指定的存儲(chǔ)區(qū)，獲取中文字符的裝置。
[0036]進(jìn)一步地，還包括:
[0037]用于設(shè)置停頓時(shí)間和修改次數(shù)閾值的裝置；
[0038]用于在達(dá)到停頓時(shí)間或者修改次數(shù)閥值時(shí)，自動(dòng)記錄下這一時(shí)刻的關(guān)鍵幀，并自動(dòng)建立此關(guān)鍵幀的索引的裝置。
[0039]進(jìn)一步地，還包括:
[0040]用于在生成的視頻數(shù)據(jù)中，對(duì)圖像數(shù)據(jù)進(jìn)行關(guān)鍵詞標(biāo)注處理的裝置；
[0041]用于根據(jù)圖像的底層特征，自動(dòng)找出能夠有效描述其語(yǔ)義內(nèi)容的文本標(biāo)簽的裝置；
[0042]用于對(duì)文本數(shù)據(jù)進(jìn)行圖像化的描述，根據(jù)文本的內(nèi)容，自動(dòng)找出能夠有效描述其內(nèi)容的圖像的裝置。
[0043]進(jìn)一步地，還包括:
[0044]用于生成停頓分析文檔的裝置；
[0045]用于生成修改分析文檔的裝置；
[0046]用于生成寫作過(guò)程思維狀態(tài)分析文檔的裝置。
[0047]本發(fā)明的有益效果是:
[0048]1、本發(fā)明在鍵盤記錄中增加漢語(yǔ)記錄模塊，使以中文為二語(yǔ)的寫作過(guò)程研究成為可能;確保鍵盤記錄在特定的區(qū)域內(nèi)工作，避免了用戶隱私的泄露和計(jì)算機(jī)安全的威脅。
[0049]2、通過(guò)眼動(dòng)儀跟蹤技術(shù)獲得相關(guān)的技術(shù)參數(shù)，如眼動(dòng)時(shí)間的長(zhǎng)短、眼跳的頻率、瞳孔的大小、眼動(dòng)的軌跡等，從而探索信息搜集、加工、生成等信息集成的整個(gè)過(guò)程，通過(guò)上述技術(shù)參數(shù)的記錄，為解讀寫作過(guò)程中人的思維狀態(tài)提供了理論依據(jù)。
[0050]3、本發(fā)明將眼動(dòng)跟蹤數(shù)據(jù)、計(jì)算機(jī)所有操作數(shù)據(jù)錄制到同一個(gè)高清視頻中，再通過(guò)數(shù)據(jù)挖掘技術(shù)對(duì)相關(guān)數(shù)據(jù)進(jìn)行精準(zhǔn)地分析，根據(jù)具體研究問(wèn)題的需要，研究者可以選擇寫作過(guò)程進(jìn)行不同視角的分析。
【附圖說(shuō)明】
[0051]圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)不意圖；
[0052]圖2為本發(fā)明方法流程圖；
[0053]圖3為本發(fā)明眼動(dòng)儀效果圖。
【具體實(shí)施方式】
[0054]下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
[0055]實(shí)現(xiàn)本發(fā)明方法的硬件結(jié)構(gòu)如圖1所示，包括:與計(jì)算機(jī)建立數(shù)據(jù)連接的鍵盤、鼠標(biāo)和眼動(dòng)儀;寫作者通過(guò)計(jì)算機(jī)進(jìn)行寫作過(guò)程，鍵盤、鼠標(biāo)的移動(dòng)過(guò)程數(shù)據(jù)、電腦屏幕的操作過(guò)程數(shù)據(jù)以及眼動(dòng)儀生成的數(shù)據(jù)以XML文件的形式進(jìn)行存儲(chǔ)和處理。
[0056]—種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法，如圖2所示，包括:
[0057](I)指定鍵盤記錄、計(jì)算機(jī)屏幕操作以及眼動(dòng)儀數(shù)據(jù)的存儲(chǔ)以及工作存儲(chǔ)區(qū)，確保上述過(guò)程在特定的區(qū)域內(nèi)進(jìn)行，避免了用戶隱私的泄露和計(jì)算機(jī)安全的威脅。同時(shí)錄入鍵盤(包括虛擬鍵盤)的實(shí)體布局，用以匹配鍵盤操作數(shù)據(jù)。
[0058](2)通過(guò)眼動(dòng)儀將眼睛注視點(diǎn)和視線移動(dòng)路徑的眼動(dòng)數(shù)據(jù)疊加到計(jì)算機(jī)屏幕上；
[0059 ] (3)系統(tǒng)后臺(tái)接收虛擬鍵碼、鍵盤敲擊的鍵值以及鼠標(biāo)點(diǎn)位置，點(diǎn)擊動(dòng)作的起止時(shí)間，以及時(shí)間差等數(shù)據(jù)進(jìn)行記錄，將上述數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一碼字符，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)路徑下;此處虛擬鍵盤為觸摸屏形式的鍵盤。
[0060]以西方字母語(yǔ)言為鍵盤記錄方式的通過(guò)鍵盤鉤子程序直接記錄鍵盤敲擊過(guò)程，而中文的錄入需要通過(guò)中文輸入法軟件進(jìn)行間接錄入，本發(fā)明通過(guò)windows的窗口消息機(jī)制，利用鉤子函數(shù)來(lái)記錄中文的錄入過(guò)程。
[0061](4)對(duì)計(jì)算機(jī)屏幕的應(yīng)用軟件窗口、鼠標(biāo)操作、鍵盤錄入、錄入的修改、停頓的對(duì)象區(qū)域標(biāo)志位和對(duì)象語(yǔ)義標(biāo)志位以及眼動(dòng)數(shù)據(jù)進(jìn)行高效編碼，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)路徑下；
[0062](5)根據(jù)數(shù)據(jù)采集時(shí)間形成帶有時(shí)間戳的關(guān)鍵幀數(shù)據(jù)，生成鍵盤及鼠標(biāo)輸入過(guò)程和計(jì)算機(jī)屏幕操作過(guò)程與眼動(dòng)數(shù)據(jù)混合的視頻數(shù)據(jù);并以xml文件記錄所述視頻數(shù)據(jù)存儲(chǔ)路徑；
[0063](6)調(diào)取存儲(chǔ)路徑下的任一記錄文件數(shù)據(jù)，生成包含寫作過(guò)程信息以及時(shí)間信息的描述整體寫作過(guò)程的數(shù)據(jù)分析文件。
[0064]現(xiàn)對(duì)具體實(shí)現(xiàn)方法介紹如下:
[0065]系統(tǒng)軟件工具通過(guò)使用MicrosoftVisual Stud1 2010 Tools for the 2010Microsoft Office System(VST0 2010SE)來(lái)開發(fā)創(chuàng)建，用來(lái)記錄寫作者在寫作過(guò)程中的所有微機(jī)操作過(guò)程，包括鼠標(biāo)、鍵盤等詳細(xì)的操作記錄，然后把詳細(xì)的記錄的寫入XML文件中。Visual Stud1 Tools for Off ice(簡(jiǎn)稱VST0)使得開發(fā)Off ice應(yīng)用程序更加簡(jiǎn)單，VSTO能為本軟件的開發(fā)提供比其他工具軟件更加優(yōu)越的開發(fā)環(huán)境。提供了增強(qiáng)的Office對(duì)象，可以用來(lái)編程。
[0066]輸入記錄在后臺(tái)將虛擬鍵碼及鍵盤狀態(tài)(按鍵的敲擊和鼠標(biāo)的動(dòng)作)轉(zhuǎn)換為相應(yīng)的統(tǒng)一碼(Unicode)字符。在程序開始時(shí)輸入?yún)^(qū)域辨識(shí)機(jī)制指定一個(gè)區(qū)域，同時(shí)指定鍵盤的實(shí)體布局。將此統(tǒng)一碼字符復(fù)制給指定的存儲(chǔ)區(qū)。此鍵盤記錄開發(fā)機(jī)制可以處理大部分西方字母語(yǔ)言，包括希臘語(yǔ)、土耳其語(yǔ)、冰島語(yǔ)或薩米語(yǔ)。
[0067]以西方字母語(yǔ)言為鍵盤記錄方式的可以通過(guò)鍵盤鉤子程序直接記錄鍵盤敲擊過(guò)程，而中文的錄入需要通過(guò)輸入法軟件進(jìn)行間接錄入，通過(guò)windows的窗口消息機(jī)制，在利用鉤子機(jī)制獲取windows窗口消息的過(guò)程中，利用函數(shù)獲取WM_IME_C0MP0SIT10N消息復(fù)制給指定的存儲(chǔ)區(qū)，寫入XML的記錄呈現(xiàn)的是中文字符。
[0068]下面對(duì)鉤子機(jī)制做進(jìn)一步介紹:
[0069]鉤子(Hook):是Windows消息處理機(jī)制的一個(gè)平臺(tái)，應(yīng)用程序可以在上面設(shè)置子程以監(jiān)視指定窗口的某種消息，而且所監(jiān)視的窗口可以是其他進(jìn)程所創(chuàng)建的。當(dāng)消息到達(dá)后，在目標(biāo)窗口處理函數(shù)之前處理它。鉤子機(jī)制允許應(yīng)用程序截獲處理window消息或特定事件。
[0070]鉤子實(shí)際上是一個(gè)處理消息的程序段，通過(guò)系統(tǒng)調(diào)用，把它掛入系統(tǒng)。每當(dāng)特定的消息發(fā)出，在沒(méi)有到達(dá)目的窗口前，鉤子程序就先捕獲該消息，亦即鉤子函數(shù)先得到控制權(quán)。這時(shí)鉤子函數(shù)即可以加工處理(改變)該消息，也可以不作處理而繼續(xù)傳遞該消息，還可以強(qiáng)制結(jié)束消息的傳遞。
[0071]因此，本發(fā)明可以通過(guò)鉤子獲取中文字符，也可以直接獲取英文字符，以實(shí)現(xiàn)中英文輸入的自由切換。
[0072]當(dāng)用文字來(lái)書寫中文文本時(shí)，在與使用羅馬字母的記錄書寫時(shí)是有一定程度上的不同的。最常用的方法就是漢語(yǔ)拼音輸入法，官方系統(tǒng)將漢字轉(zhuǎn)化為中華人民共和國(guó)，臺(tái)灣和新加坡的拉丁字母。漢語(yǔ)拼音是一種拼音系統(tǒng)，錄制聲音的普通話使用西方字母表(羅馬)，是中國(guó)大陸最常用的拼音。它常被用來(lái)教標(biāo)準(zhǔn)中文和中文名稱，并在外國(guó)出版物中使用作為輸入法，輸入到計(jì)算機(jī)中的漢字。
[0073]比如外匯買賣(外匯交易)可以輸入的拼音碼為:waihui mai mai。不同的接口和系統(tǒng)并存，他們有自己的長(zhǎng)處和短處。例如，搜狗拼音法(搜狗拼音輸入法;拼音:Sougou PTnyTnShUrOfl)是很受歡迎的中文拼音輸入法。截至2011年七月，搜狗拼音的市場(chǎng)占有率為83.6%，擁有超過(guò)3億用戶。
[0074]通過(guò)對(duì)西方語(yǔ)言和中文寫作過(guò)程的比較分析，采用了一個(gè)調(diào)整的停頓框架處理動(dòng)態(tài)的文字，以此生成特殊文本。一個(gè)標(biāo)準(zhǔn)的XML結(jié)構(gòu)的漢字輸入記錄一體化肯定會(huì)促進(jìn)語(yǔ)言的研究和合作。
[0075]舉例如下:
[0076]I.寫入拼音:“yifenzhong”。
[0077]2.Word提供了不同漢字用以選擇使用。
[0078]3.按下T鍵，選擇第一個(gè)選項(xiàng)。
[0079]4.Word使用簡(jiǎn)體中文“一分鐘”代替“yifenzhong”。
[0080]我們現(xiàn)在將演示如何根據(jù)這個(gè)標(biāo)準(zhǔn)，正確記錄這樣的行為。我們舉出的例子是，假設(shè)兩種可能，不同地實(shí)現(xiàn)上述行為，這些由Word提供:
[0081].第一種可能是，所有的漢字都是用拼音緩沖的，并沒(méi)有出現(xiàn)在文檔中。當(dāng)簡(jiǎn)體中文出現(xiàn)在Word提供的彈出窗口后，漢字再插入到文檔中。
[0082].另一種可能是，由于漢字是以拼音輸入的，它們將同時(shí)添加到文字文檔。當(dāng)你輸入拼音，單詞由彈出式窗口提供的選擇連續(xù)顯示，從您剛輸入的拼音字符中提供不同的漢字字符。然后，當(dāng)你從彈出的對(duì)話框中選擇了正確的漢字后，拼音文字是由漢字取代。
[0083]當(dāng)點(diǎn)擊而不是用數(shù)字來(lái)選擇序列的漢字在彈出窗口的順序時(shí)，上面的輸出會(huì)用鼠標(biāo)指令輸出代替。
[0084]眼動(dòng)儀采用從被試者的臉部反射回一束不可見的紅外線的方式。由于眼球內(nèi)的視網(wǎng)膜吸收可見光，反射紅外線，因此視網(wǎng)膜和眼睛的其他部分相比能較好地反射波長(zhǎng)更長(zhǎng)的紅外線。這就使眼動(dòng)儀無(wú)須進(jìn)行特別的圖像識(shí)別就能確定幢孔的位置。通過(guò)眼動(dòng)儀將眼睛注視點(diǎn)和視線移動(dòng)路徑的眼動(dòng)數(shù)據(jù)疊加到計(jì)算機(jī)屏幕上。
[0085]通過(guò)眼動(dòng)儀獲取的數(shù)據(jù)包括:眼動(dòng)時(shí)間的長(zhǎng)短、眼跳的頻率、瞳孔的大小、眼睛注視點(diǎn)以及視線移動(dòng)路徑數(shù)據(jù)等數(shù)據(jù);用于驗(yàn)證和收集寫作者在寫作過(guò)程中停滯時(shí)間段內(nèi)的行為和關(guān)注點(diǎn)，以及關(guān)注力。另外，通過(guò)上述眼動(dòng)數(shù)據(jù)，結(jié)合鍵盤記錄數(shù)據(jù)以及屏幕錄像數(shù)據(jù)，結(jié)合目前的認(rèn)知心理學(xué)技術(shù)，能夠分析寫作過(guò)程中人的思維狀態(tài)。
[0086]利用H.264/AVC框架的幀內(nèi)、幀間預(yù)測(cè)編碼技術(shù)開發(fā)的計(jì)算機(jī)屏幕錄像模塊，對(duì)計(jì)算機(jī)屏幕的諸如應(yīng)用軟件窗口、鼠標(biāo)操作、鍵盤錄入、錄入的修改和停頓等各種對(duì)象標(biāo)志位進(jìn)行高效編碼。對(duì)象標(biāo)志位包括對(duì)象區(qū)域標(biāo)志位、對(duì)象語(yǔ)義標(biāo)志位，分別描述對(duì)象區(qū)域信息與語(yǔ)義信息。對(duì)象區(qū)域標(biāo)志位編碼一方面減少了對(duì)象區(qū)域信息的存儲(chǔ)代價(jià)，另一方面準(zhǔn)確地描述運(yùn)動(dòng)對(duì)象位置信息。在達(dá)到停頓時(shí)間和修改次數(shù)等軟件系統(tǒng)設(shè)置閥值時(shí)，軟件會(huì)自動(dòng)記錄下這一時(shí)刻的關(guān)鍵幀，自動(dòng)建立數(shù)據(jù)索引，為后續(xù)的數(shù)據(jù)分析和視頻查找定位提供有效的依據(jù)。
[0087]輸入過(guò)程以標(biāo)準(zhǔn)XML格式呈現(xiàn);采用通用的XML結(jié)構(gòu)能夠?qū)崿F(xiàn)簡(jiǎn)化研究數(shù)據(jù)的可交換性，書寫記錄數(shù)據(jù)的描述，以及以一種研究方法的形式記錄進(jìn)一步的建立程序。
[0088]鍵盤記錄工具包含鍵盤與鼠標(biāo)操作記錄、電腦屏幕錄像的功能，在計(jì)算機(jī)的后臺(tái)運(yùn)行，根據(jù)數(shù)據(jù)采集時(shí)間形成帶有時(shí)間戳的關(guān)鍵幀數(shù)據(jù)，生成輸入過(guò)程和計(jì)算機(jī)操作等細(xì)節(jié)的xml文件和計(jì)算機(jī)屏幕操作與眼動(dòng)數(shù)據(jù)混合的視頻數(shù)據(jù)，并以xml文件記錄所述視頻數(shù)據(jù)存儲(chǔ)路徑。使用者可以利用先進(jìn)的數(shù)據(jù)挖掘技術(shù)對(duì)軟件記錄的視頻數(shù)據(jù)進(jìn)行有效地分析利用，根據(jù)具體研究問(wèn)題的需要，研究者可以選擇對(duì)寫作過(guò)程進(jìn)行不同視角的分析。
[0089]對(duì)圖像進(jìn)行關(guān)鍵詞標(biāo)注處理，根據(jù)圖像的底層特征，自動(dòng)找出能夠有效描述其語(yǔ)義內(nèi)容的文本標(biāo)簽。而對(duì)文本則進(jìn)行圖像化的描述，根據(jù)文本的內(nèi)容，自動(dòng)找出能夠有效描述其內(nèi)容的圖像。這種方法的宗旨在于盡可能等價(jià)地將圖像與文本互相轉(zhuǎn)化，便于統(tǒng)一索弓丨、存儲(chǔ)、管理和檢索，可以有效提高數(shù)據(jù)挖掘結(jié)果的可信度、可理解性和可用性。例如在某時(shí)刻t，錄入字符“我們”，其時(shí)間戳為“1972506”，在視頻關(guān)鍵幀中記錄時(shí)間戳，在研究修改和停頓工程時(shí)，可以及時(shí)的調(diào)取時(shí)間戳為“1972506”的此段視頻數(shù)據(jù)以及文字信息。
[0090]本發(fā)明方法可以把先前記錄的任何一個(gè)數(shù)據(jù)記錄的源文件打開，并生成數(shù)據(jù)分析文件。所有的數(shù)據(jù)分析結(jié)果都可以直接轉(zhuǎn)換成Excel文件或者導(dǎo)入Spss進(jìn)行分析。
[0091]本發(fā)明提供幾種數(shù)據(jù)分析，主要有停頓分析、修改分析及寫作過(guò)程分析等主要功會(huì)K。
[0092]其中，停頓分析文檔能夠匯報(bào)停頓發(fā)生的頻次、時(shí)長(zhǎng)、方差等。研究者可結(jié)合研究問(wèn)題的需要，借助停頓發(fā)生的實(shí)際位置進(jìn)一步考察寫作者的寫作障礙等問(wèn)題；同時(shí)借助眼動(dòng)儀數(shù)據(jù)確定寫作過(guò)程停滯時(shí)間內(nèi)寫作者的眼睛注視點(diǎn)和視線移動(dòng)路徑，以確定其關(guān)注點(diǎn)以及注意力；
[0093]修改分析文檔以XML格式匯報(bào)寫作過(guò)程中所有修改行為的基本數(shù)據(jù)，包括:采用的中文輸入法，修改的內(nèi)容及實(shí)際或可能刪除的內(nèi)容；由于將中文輸入作為研究對(duì)象，因此，本發(fā)明在寫作過(guò)程分析中將輸入法因素考慮在內(nèi)，能夠分析不同的輸入法是否會(huì)對(duì)寫作者的在寫作過(guò)程產(chǎn)生影響。
[0094]寫作過(guò)程分析是通過(guò)鍵盤記錄工具、電腦屏幕錄像工具和眼動(dòng)儀工具所提供的具體研究數(shù)據(jù)，利用先進(jìn)的數(shù)據(jù)挖掘技術(shù)以及認(rèn)知心理學(xué)技術(shù)對(duì)具體所需的數(shù)據(jù)進(jìn)行分析，從而研究寫作過(guò)程中人的思維狀態(tài)。
[0095]—種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的系統(tǒng)，包括:
[0096]用于存儲(chǔ)并處理鍵盤記錄、計(jì)算機(jī)屏幕操作以及眼動(dòng)儀數(shù)據(jù)的存儲(chǔ)區(qū)；
[0097]用于將眼睛注視點(diǎn)和視線移動(dòng)路徑的眼動(dòng)數(shù)據(jù)疊加到計(jì)算機(jī)屏幕上的眼動(dòng)儀；
[0098]用于進(jìn)行寫作操作的鍵盤以及鼠標(biāo)；
[0099]用于接收鍵盤敲擊以及鼠標(biāo)點(diǎn)擊動(dòng)作的輸入記錄數(shù)據(jù)的裝置；
[0100]用于將上述數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一碼字符，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)區(qū)內(nèi)的裝置；
[0101]用于生成并存儲(chǔ)鍵盤及鼠標(biāo)輸入過(guò)程和計(jì)算機(jī)屏幕操作過(guò)程與眼動(dòng)數(shù)據(jù)混合的視頻數(shù)據(jù)的裝置；
[0102]用于調(diào)取視頻數(shù)據(jù)文件的裝置以及用于將調(diào)取的文件生成包含寫作過(guò)程信息以及時(shí)間信息的描述整體寫作過(guò)程的數(shù)據(jù)分析文件的裝置。
[0103]還包括:漢語(yǔ)記錄模塊:用于記錄中文輸入過(guò)程；
[0104]以及利用鉤子機(jī)制獲取windows窗口的WM_mE_C0MP0SIT10N消息復(fù)制給指定的存儲(chǔ)區(qū)，獲取中文字符的裝置。
[0105]還包括:
[0106]用于設(shè)置停頓時(shí)間和修改次數(shù)閾值的裝置；
[0107]用于在達(dá)到停頓時(shí)間或者修改次數(shù)閥值時(shí)，自動(dòng)記錄下這一時(shí)刻的關(guān)鍵幀，并自動(dòng)建立此關(guān)鍵幀的索引的裝置。
[0108]還包括:
[0109]用于在生成的視頻數(shù)據(jù)中，對(duì)圖像數(shù)據(jù)進(jìn)行關(guān)鍵詞標(biāo)注處理的裝置；
[0110]用于根據(jù)圖像的底層特征，自動(dòng)找出能夠有效描述其語(yǔ)義內(nèi)容的文本標(biāo)簽的裝置；
[0111]用于對(duì)文本數(shù)據(jù)進(jìn)行圖像化的描述，根據(jù)文本的內(nèi)容，自動(dòng)找出能夠有效描述其內(nèi)容的圖像的裝置。
[0112]還包括:
[0113]用于生成停頓分析文檔的裝置；
[0114]用于生成修改分析文檔的裝置；
[0115]用于生成寫作過(guò)程思維狀態(tài)分析文檔的裝置。
[0116]上述雖然結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法，其特征是，包括: (1)分別指定鍵盤記錄、計(jì)算機(jī)屏幕操作以及眼動(dòng)儀的數(shù)據(jù)存儲(chǔ)路徑，同時(shí)錄入鍵盤的實(shí)體布局； (2)通過(guò)眼動(dòng)儀將眼睛注視點(diǎn)和視線移動(dòng)路徑的眼動(dòng)數(shù)據(jù)疊加到計(jì)算機(jī)屏幕上； (3)記錄鍵盤敲擊過(guò)程，鼠標(biāo)點(diǎn)擊位置、點(diǎn)擊動(dòng)作的起止時(shí)間以及時(shí)間差數(shù)據(jù)；如果需要記錄的是西方字母語(yǔ)言，則直接記錄鍵盤敲擊過(guò)程;如果需要記錄的是中文，則通過(guò)輸入法間接錄入，記錄最終的中文字符； 將上述記錄的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一碼字符，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)路徑下； (4)對(duì)計(jì)算機(jī)屏幕的應(yīng)用軟件窗口、鼠標(biāo)操作、鍵盤錄入、錄入的修改、停頓的對(duì)象區(qū)域標(biāo)志位和對(duì)象語(yǔ)義標(biāo)志位以及眼動(dòng)數(shù)據(jù)進(jìn)行高效編碼，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)路徑下； (5)根據(jù)數(shù)據(jù)采集時(shí)間形成帶有時(shí)間戳的關(guān)鍵幀數(shù)據(jù)，生成鍵盤及鼠標(biāo)輸入過(guò)程和計(jì)算機(jī)屏幕操作過(guò)程與眼動(dòng)數(shù)據(jù)混合的視頻數(shù)據(jù);并以xml文件記錄所述視頻數(shù)據(jù)存儲(chǔ)路徑； (6)調(diào)取存儲(chǔ)路徑下的任一記錄文件數(shù)據(jù)，生成包含寫作過(guò)程信息以及時(shí)間信息的描述整體寫作過(guò)程的數(shù)據(jù)分析文件。2.如權(quán)利要求1所述的一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法，其特征是，所述步驟(3)中，記錄最終的中文字符的方法為: 利用鉤子機(jī)制獲取windows窗口的WM_IME_C0MP0SIT10N消息復(fù)制給指定的存儲(chǔ)路徑，則寫入xml文件的記錄呈現(xiàn)的是中文字符。3.如權(quán)利要求1所述的一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法，其特征是，所述步驟(4)中，設(shè)置停頓時(shí)間和修改次數(shù)閾值，在達(dá)到停頓時(shí)間或者修改次數(shù)閥值時(shí)，自動(dòng)記錄下這一時(shí)刻的關(guān)鍵幀，并自動(dòng)建立此關(guān)鍵幀的記錄數(shù)據(jù)索引。4.如權(quán)利要求1所述的一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法，其特征是，所述步驟(5)中，在生成的視頻數(shù)據(jù)中， 對(duì)圖像數(shù)據(jù)進(jìn)行關(guān)鍵詞標(biāo)注處理，根據(jù)圖像的底層特征，利用時(shí)間戳自動(dòng)找出能夠有效描述其語(yǔ)義內(nèi)容的文本標(biāo)簽； 對(duì)文本數(shù)據(jù)進(jìn)行圖像化的描述，根據(jù)文本的內(nèi)容，利用時(shí)間戳自動(dòng)找出能夠有效描述其內(nèi)容的圖像。5.如權(quán)利要求1所述的一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的方法，其特征是，所述步驟(6)中，生成的數(shù)據(jù)分析文件包括:停頓分析文檔、修改分析文檔及寫作過(guò)程思維狀態(tài)分析文檔； 停頓分析文檔能夠匯報(bào)停頓發(fā)生的頻次、時(shí)長(zhǎng)、方差，根據(jù)停頓發(fā)生的實(shí)際位置進(jìn)一步考察寫作者的寫作障礙問(wèn)題； 同時(shí)借助眼動(dòng)儀數(shù)據(jù)確定寫作過(guò)程停滯時(shí)間內(nèi)寫作者的眼睛注視點(diǎn)和視線移動(dòng)路徑，以確定其關(guān)注點(diǎn)以及注意力； 修改分析文檔能夠匯報(bào)寫作過(guò)程中所有修改行為的基本數(shù)據(jù)，包括:采用的中文輸入法，修改的內(nèi)容及實(shí)際或可能刪除的內(nèi)容； 寫作過(guò)程思維狀態(tài)分析文檔能夠匯報(bào)寫作過(guò)程中人的思維狀態(tài)數(shù)據(jù)。6.—種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的系統(tǒng)，其特征是，包括: 用于存儲(chǔ)并處理鍵盤記錄、計(jì)算機(jī)屏幕操作以及眼動(dòng)儀數(shù)據(jù)的存儲(chǔ)區(qū)； 用于將眼睛注視點(diǎn)和視線移動(dòng)路徑的眼動(dòng)數(shù)據(jù)疊加到計(jì)算機(jī)屏幕上的眼動(dòng)儀； 用于進(jìn)行寫作操作的鍵盤以及鼠標(biāo)； 用于接收鍵盤敲擊以及鼠標(biāo)點(diǎn)擊動(dòng)作的輸入記錄數(shù)據(jù)的裝置； 用于將上述數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一碼字符，并以xml文件的形式存儲(chǔ)在指定的存儲(chǔ)區(qū)內(nèi)的裝置； 用于生成并存儲(chǔ)鍵盤及鼠標(biāo)輸入過(guò)程和計(jì)算機(jī)屏幕操作過(guò)程與眼動(dòng)數(shù)據(jù)混合的視頻數(shù)據(jù)的裝置； 用于調(diào)取視頻數(shù)據(jù)文件的裝置以及用于將調(diào)取的文件生成包含寫作過(guò)程信息以及時(shí)間信息的描述整體寫作過(guò)程的數(shù)據(jù)分析文件的裝置。7.如權(quán)利要求6所述的一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的系統(tǒng)，其特征是，還包括:漢語(yǔ)記錄模塊:用于記錄中文輸入過(guò)程； 以及利用鉤子機(jī)制獲取windows窗口的WMJME_COMPOSIT1N消息復(fù)制給指定的存儲(chǔ)區(qū)，獲取中文字符的裝置。8.如權(quán)利要求6所述的一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的系統(tǒng)，其特征是，還包括: 用于設(shè)置停頓時(shí)間和修改次數(shù)閾值的裝置； 用于在達(dá)到停頓時(shí)間或者修改次數(shù)閥值時(shí)，自動(dòng)記錄下這一時(shí)刻的關(guān)鍵幀，并自動(dòng)建立此關(guān)鍵幀的索引的裝置。9.如權(quán)利要求6所述的一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的系統(tǒng)，其特征是，還包括: 用于在生成的視頻數(shù)據(jù)中，對(duì)圖像數(shù)據(jù)進(jìn)行關(guān)鍵詞標(biāo)注處理的裝置； 用于根據(jù)圖像的底層特征，自動(dòng)找出能夠有效描述其語(yǔ)義內(nèi)容的文本標(biāo)簽的裝置；用于對(duì)文本數(shù)據(jù)進(jìn)行圖像化的描述，根據(jù)文本的內(nèi)容，自動(dòng)找出能夠有效描述其內(nèi)容的圖像的裝置。10.如權(quán)利要求6所述的一種基于鍵盤記錄和眼動(dòng)儀的分析中文寫作過(guò)程的系統(tǒng)，其特征是，還包括: 用于生成停頓分析文檔的裝置； 用于生成修改分析文檔的裝置； 用于生成寫作過(guò)程思維狀態(tài)分析文檔的裝置。
【文檔編號(hào)】G06F3/023GK105892672SQ201610260966
【公開日】2016年8月24日
【申請(qǐng)日】2016年4月25日
【發(fā)明人】王蘭忠
【申請(qǐng)人】山東大學(xué)