基于手寫輸入狀態(tài)自適應(yīng)判斷處理的筆式交互方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人機(jī)交互輸入技術(shù)領(lǐng)域，特別涉及一種基于手寫輸入狀態(tài)自適應(yīng)判斷處理的筆式交互方法及系統(tǒng)。
【背景技術(shù)】
[0002]傳統(tǒng)的圖形用戶界面基于桌面隱喻，采用WIMP (Window，Icon, Menu, Pointing)交互范式，以鼠標(biāo)、鍵盤作為交互設(shè)備實現(xiàn)人機(jī)對話。筆式交互基于紙筆的隱喻，通過寫字板、觸摸屏等輸入設(shè)備，采集用戶基于手寫筆或手指的輸入軌跡，幫助人們方便地捕捉想法、記錄事件、進(jìn)行抽象思考和形象的描述。因提供自然、便利的操作方式，筆式交互在計算機(jī)輔助設(shè)計、計算機(jī)動畫與虛擬現(xiàn)實、可視化對象建模、軍事標(biāo)繪等諸多領(lǐng)域有廣泛的應(yīng)用需求。
[0003]筆式交互的輸入包括圖形符號輸入和文字輸入。在圖形符號輸入的狀態(tài)下，筆式交互采用草圖識別的方法，將用戶手繪輸入的圖形映射至相關(guān)專業(yè)應(yīng)用領(lǐng)域的圖形符號集中的標(biāo)準(zhǔn)圖形符號反饋顯示；在文字輸入的狀態(tài)下，筆式交互采用文字識別的方法，將用戶手寫輸入的文字映射成字符集中的任意文字串(包括漢字、英文字母、數(shù)字、標(biāo)點(diǎn)符號等)。由于圖形符號的幾何特征往往作為草圖識別最重要的識別特征，而文字識別主要是基于統(tǒng)計特征實現(xiàn)的，因此，草圖識別和文字識別是通過不同的技術(shù)途徑實現(xiàn)的。由此，在交互過程中如果同時存在草圖輸入和文字輸入，則需要區(qū)分草圖輸入狀態(tài)和文字輸入狀態(tài)，從而分別調(diào)用草圖識別分類器和文字識別分類器。但在筆式交互的某些應(yīng)用領(lǐng)域，如:可視化對象建模、軍事標(biāo)繪等領(lǐng)域，該領(lǐng)域的符號集中包含既有圖形又有文字的符號，而純文字輸入既可能作為獨(dú)立的文字對象輸入，也可能作為某些符號的注記輸入，部分符號甚至可能有多個注記框，注記更新時還需要進(jìn)行注記位置判斷。
[0004]目前對手寫交互方面的研宄有如下的一些方法。如“基于GIS平臺和觸摸屏設(shè)備的快速態(tài)勢標(biāo)繪系統(tǒng)及方法”(申請?zhí)?201310615706.4)中，提出了一種基于圖形觸摸繪制的標(biāo)繪方法，該方法只涉及到簡單幾何圖形的繪制、筆跡保存和圖形分離，既不涉及到復(fù)雜圖形的識別標(biāo)繪，也不涉及到文字輸入標(biāo)繪。又如“一種基于圖形符號草圖在線識別的電子標(biāo)繪方法”(申請?zhí)?201218007969.3)中，提出了一種基于軍隊標(biāo)號草圖識別的電子標(biāo)繪方法，該方法側(cè)重于基于圖形識別的軍標(biāo)圖形符號標(biāo)繪，不涉及文字輸入標(biāo)繪。又如 “Chinese character handwriting recognit1n system”(授權(quán)號:US6970599B2)，提出了一種中文手寫識別方法，該方法側(cè)重于中文手寫識別反饋方法，不涉及到圖形的識別反饋。又如 “Handwriting Recognit1n system using multiple path recognit1nframework"(申請?zhí)?US 20100163316A1)，提出了一種對手寫化學(xué)式的識別方法，化學(xué)式所涉及的字符集主要包括英文字母、數(shù)字、及少量特定意義的符號，該識別方法側(cè)重于字符識別及基于上下文的語義分析，屬于字符識別方法的范疇，不涉及圖形識別方法及交互反饋機(jī)制的設(shè)計。
[0005]目前國內(nèi)外在手寫交互方面的研宄，具體存在以下方面的問題:
[0006](I)部分研宄僅限于原始筆跡的保存和復(fù)現(xiàn)，不涉及對筆跡的識別；
[0007](2)大部分研宄側(cè)重于只針對草圖圖形符號的手繪圖形交互方法或只針對文字的手寫文字交互方法的研宄，對既包含圖形交互又包含文字交互的應(yīng)用領(lǐng)域研宄較少，少數(shù)研宄同時涉及到草圖手繪輸入和文字手寫輸入，往往采取顯式狀態(tài)區(qū)分的方法(如按鈕切換狀態(tài)、設(shè)計文字手寫專用區(qū)域等)來實現(xiàn)草圖交互和文字交互狀態(tài)的判斷，并未涉及到對既有圖形又有文字的符號輸入的判斷和處理，不能滿足某些筆式交互應(yīng)用領(lǐng)域的實際需求。
[0008](3)缺乏在保證用戶輸入連續(xù)性的情況下對交互反饋機(jī)制的設(shè)計，在通過顯式狀態(tài)區(qū)分來處理草圖輸入和文字輸入的情況下，存在多個交互反饋焦點(diǎn)，難以真正提高用戶的交互效率。

【發(fā)明內(nèi)容】

[0009]為解決現(xiàn)有技術(shù)的手寫交互輸入方法無法對既有圖形又有文字的符號輸入進(jìn)行判斷和處理的缺陷，提供一種基于手寫輸入狀態(tài)自適應(yīng)判斷處理的筆式交互方法及系統(tǒng)。
[0010]一種基于手寫輸入狀態(tài)自適應(yīng)判斷處理的筆式交互方法，其包括如下步驟:
[0011]S1、將輸入狀態(tài)標(biāo)志初始化為草圖輸入狀態(tài)；
[0012]S2、在用戶輸入完一個筆劃后，判斷當(dāng)前輸入筆劃是否為新筆劃，如果是新筆劃，則啟動定時器計時并根據(jù)當(dāng)前輸入狀態(tài)標(biāo)志判斷當(dāng)前輸入狀態(tài)，如果不是新筆劃則直接根據(jù)當(dāng)前輸入狀態(tài)標(biāo)志判斷當(dāng)前輸入狀態(tài)；在當(dāng)前輸入狀態(tài)為草圖輸入狀態(tài)時，跳轉(zhuǎn)到步驟S3，在當(dāng)前輸入狀態(tài)為文字輸入狀態(tài)時，跳轉(zhuǎn)到步驟S4，在當(dāng)前輸入狀態(tài)為圖文輸入狀態(tài)時，跳轉(zhuǎn)到步驟S5 ；
[0013]S3、將當(dāng)前輸入筆劃的筆跡送入草圖識別基元分類器進(jìn)行識別，判斷當(dāng)前輸入筆劃是否為文字輸入手勢，是則跳轉(zhuǎn)到步驟S6，否則跳轉(zhuǎn)到步驟S8 ;
[0014]S4、將當(dāng)前輸入筆劃的筆跡送入文字識別分類器識別，反饋當(dāng)前文字識別結(jié)果，跳轉(zhuǎn)到步驟S9 ；
[0015]S5、將當(dāng)前筆劃筆跡送入文字識別分類器識別，判斷當(dāng)前文字識別結(jié)果結(jié)合文字輸入手勢輸入之前的草圖識別結(jié)果是否與目標(biāo)符號集中的任一圖文符號相匹配，如果是，反饋當(dāng)前圖文符號識別結(jié)果，跳轉(zhuǎn)到步驟S9，否則，跳轉(zhuǎn)到步驟S12 ;
[0016]S6、判斷當(dāng)前輸入筆劃是否為新筆劃，如果是，則將當(dāng)前輸入狀態(tài)標(biāo)志變更為文字輸入狀態(tài)，跳轉(zhuǎn)到步驟S12，否則，跳轉(zhuǎn)到步驟S7 ；
[0017]S7、判斷截止到上一筆的當(dāng)前草圖識別結(jié)果是否與目標(biāo)符號集中的任一圖文符號的圖形部分相匹配，如果是，將當(dāng)前輸入狀態(tài)標(biāo)志變更為圖文輸入狀態(tài)，跳轉(zhuǎn)到步驟S12，否貝U，跳轉(zhuǎn)到步驟S8 ；
[0018]S8、將當(dāng)前筆劃筆跡送入草圖識別復(fù)合圖形分類器識別，反饋當(dāng)前草圖識別結(jié)果;
[0019]S9、判斷用戶是否選取候選識別結(jié)果，如果是，跳轉(zhuǎn)到步驟S10，否則，跳轉(zhuǎn)到步驟S12 ；
[0020]S10、判斷當(dāng)前輸入狀態(tài)是否為文字輸入狀態(tài)，如果是，跳轉(zhuǎn)到步驟S11，否則將用戶選擇的識別結(jié)果以標(biāo)準(zhǔn)目標(biāo)符號的形式輸出到顯示界面，跳轉(zhuǎn)到步驟S12 ;
[0021]S11、進(jìn)行文字輸入狀態(tài)判斷處理，并根據(jù)處理結(jié)果進(jìn)行反饋顯示，跳轉(zhuǎn)到步驟S12 ；
[0022]S12、判斷定時器是否截止，如果是，將當(dāng)前輸入狀態(tài)標(biāo)志變更為草圖輸入狀態(tài)，取消定時器，跳轉(zhuǎn)到步驟S13 ;否則，直接跳轉(zhuǎn)到步驟S13 ;
[0023]S13、重復(fù)執(zhí)行步驟S2至S12，進(jìn)入新的循環(huán)，直至用戶不再輸入新的筆劃。
[0024]一種基于手寫輸入狀態(tài)自適應(yīng)判斷處理的筆式交互系統(tǒng)，其包括如下模塊:
[0025]初始化模塊，用于將輸入狀態(tài)標(biāo)志初始化為草圖輸入狀態(tài)；
[0026]綜合判斷模塊，用于在用戶輸入完一個筆劃后，判斷當(dāng)前輸入筆劃是否為新筆劃，如果是新筆劃，則啟動定時器計時并根據(jù)當(dāng)前輸入狀態(tài)標(biāo)志判斷當(dāng)前輸入狀態(tài)，如果不是新筆劃則直接根據(jù)當(dāng)前輸入狀態(tài)標(biāo)志判斷當(dāng)前輸入狀態(tài)；在當(dāng)前輸入狀態(tài)為草圖輸入狀態(tài)時，啟動草圖輸入狀態(tài)處理模塊的功能，在當(dāng)前輸入狀態(tài)為文字輸入狀態(tài)時，啟動文字輸入狀態(tài)處理模塊的功能，在當(dāng)前輸入狀態(tài)為圖文輸入狀態(tài)時，啟動圖文輸入狀態(tài)處理模塊的功能；
[0027]草圖輸入狀態(tài)處理模塊，用于將當(dāng)前輸入筆劃的筆跡送入草圖識別基元分類器進(jìn)行識別，判斷當(dāng)前輸入筆劃是否為文字輸入手勢，是則啟動文字輸入狀態(tài)變更條件判斷模塊的功能，否則啟動復(fù)合圖形識別模塊的功能；
[0028]文字輸入狀態(tài)處理模塊，用于將當(dāng)前輸入筆劃的筆跡送入文字識別分類器識別，反饋當(dāng)前文字識別結(jié)果，啟動候選識別結(jié)果選擇判斷模塊的功能；
[0029]圖文輸入狀態(tài)處理模塊，用于將當(dāng)前筆劃筆跡送入文字識別分類器識別，判斷當(dāng)前文字識別結(jié)果結(jié)合文字輸入手勢輸入之前的草圖識別結(jié)果是否與目標(biāo)符號集中的任一圖文符號相匹配，如果是，反饋當(dāng)前圖文符號識別結(jié)果，啟動候選識別結(jié)果選擇判斷模塊的功能，否則啟動定時器狀態(tài)判斷模塊的功能；
[0030]文字輸入狀態(tài)變更條件判斷模塊，用于判斷當(dāng)前輸入筆劃是否為新筆劃，如果是，則將當(dāng)前輸入狀態(tài)標(biāo)志變更為文字輸入狀態(tài)，啟動定時器狀態(tài)判斷模塊的功能，否則啟動圖文輸入狀態(tài)變更條件判斷模塊的功能；
[0031]圖文輸入狀態(tài)變更條件判斷模塊，用于判斷截止到上一筆的當(dāng)前草圖識別結(jié)果是否與目標(biāo)符號集中的任一圖文符號的圖形部分相匹配，如果是，將當(dāng)前輸入狀態(tài)標(biāo)志變更為圖文輸入狀態(tài)，啟動定時器狀態(tài)判斷模塊的功能，否則啟動復(fù)合圖形識別模塊的功能；
[0032]復(fù)合圖形識別模塊，用于將當(dāng)前筆劃筆跡送入草圖識別復(fù)合圖形分類器識