專利名稱：一種基于普通紙筆的人機(jī)交互方法及人機(jī)交互系統(tǒng)的制作方法
一種基于普通紙筆的人機(jī)交互方法及人機(jī)交互系統(tǒng)技術(shù)領(lǐng)域
本發(fā)明屬于混合現(xiàn)實(shí)領(lǐng)域中的信息交互技術(shù)領(lǐng)域，尤其是涉及一種基于普通紙筆的人機(jī)交互方法及人機(jī)交互系統(tǒng)。
背景技術(shù)：
在當(dāng)今計(jì)算機(jī)普及的時(shí)代，人與計(jì)算機(jī)的交互無(wú)處不在，因而決不能由于現(xiàn)有交互方式的限制，將某些研究領(lǐng)域阻擋在技術(shù)便利的大門之外。作為人機(jī)接口設(shè)備，鼠標(biāo)與鍵盤扮演了極其重要的角色。然而在一定程度上鼠標(biāo)與鍵盤卻把一些人擋在了科技生活的大門之外，傳統(tǒng)的鼠標(biāo)鍵盤交互方式存在操作步驟比較繁瑣、效率低、勞動(dòng)強(qiáng)度較大、需長(zhǎng)時(shí)間面對(duì)電腦且需配備相應(yīng)的硬件設(shè)備等缺陷和不足。隨著人機(jī)交互“自然化”的發(fā)展，傳統(tǒng)的鼠標(biāo)鍵盤交互方式已經(jīng)不能滿足用戶日益增長(zhǎng)的實(shí)際需求。發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種方法步驟簡(jiǎn)單、實(shí)現(xiàn)方便且智能化程度高、使用效果好的計(jì)算機(jī)與紙筆信息交互方法。
為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是一種一種基于普通紙筆的人機(jī)交互方法，其特征在于該方法包括以下步驟
步驟一、建立交互信息識(shí)別模板庫(kù)并輸入初始參數(shù)利用處理器建立交互信息識(shí)別模板庫(kù)，所建立的交互信息識(shí)別模板庫(kù)內(nèi)存儲(chǔ)有需進(jìn)行交互的多個(gè)類型圖文信息分類符的圖像信息和各圖文信息分類符的屬性數(shù)據(jù)，且各圖文信息分類符的圖像信息與其屬性數(shù)據(jù)之間均通過關(guān)聯(lián)單元進(jìn)行關(guān)聯(lián)，所述屬性數(shù)據(jù)包括圖文信息分類符所對(duì)應(yīng)圖文信息的類型和對(duì)圖文信息分類符所對(duì)應(yīng)圖文信息進(jìn)行處理的信息處理模塊；同時(shí)，通過所述參數(shù)設(shè)置單元輸入初始參數(shù)，所述初始參數(shù)包括所使用方形白紙的尺寸信息；
步驟二、信息交互前期預(yù)處理，其預(yù)處理過程包括以下步驟
步驟201、獲取背景信息通過攝像頭攝取操作平臺(tái)的圖像信息并同步上傳至處理器，所攝取的操作平臺(tái)圖像信息即為信息交互用背景信息，且處理器將所述背景信息存入存儲(chǔ)器內(nèi)；
步驟202、提取紙張信息將方形白紙平鋪在步驟201中所述的操作平臺(tái)上，再通過攝像頭攝取所述操作平臺(tái)和平鋪在所述操作平臺(tái)上的方形白紙的組合式圖像信息，并將所攝取的所述組合式圖像信息同步上傳至處理器；之后，結(jié)合步驟201中所述背景信息，所述處理器調(diào)用背景濾除模塊將所述組合式圖像信息中的所述背景信息減除，并相應(yīng)獲得需進(jìn)行信息交互的前景信息，且處理器將所述前景信息存入存儲(chǔ)器內(nèi)；之后，所述處理器結(jié)合步驟一中所輸入方形白紙的尺寸信息，并調(diào)用角點(diǎn)檢測(cè)模塊和直線檢測(cè)模塊，對(duì)所述前景信息中方形白紙的四個(gè)頂點(diǎn)位置進(jìn)行確定，并相應(yīng)在所述前景信息中檢測(cè)出方形白紙的具體位置；
步驟203、需交互信息采集處理器采用書寫后采集方式或書寫同步采集方式，對(duì)方形白紙上所書寫的需交互圖文信息進(jìn)行采集；
當(dāng)采用書寫后采集方式進(jìn)行采集時(shí)，步驟202中所述的方形白紙為上部已書寫有一組或多組圖文信息的方形紙；且處理器采用書寫后采集方式進(jìn)行采集時(shí)，處理器調(diào)用圖像截取模塊將步驟202中已檢測(cè)出方形白紙上的圖像信息截取出來(lái)，并將所截取圖像信息存入存儲(chǔ)器內(nèi)；此時(shí)，存入存儲(chǔ)器內(nèi)的所截取圖像信息便為需交互信息；
當(dāng)采用書寫同步采集方式進(jìn)行采集時(shí)，步驟202中所述的方形白紙為空白紙；本步驟中，所述處理器采用邊書寫邊采集的方式進(jìn)行采集，且實(shí)際進(jìn)行采集時(shí)，通過攝像頭對(duì)書寫過程中各時(shí)刻方形白紙上的圖像信息進(jìn)行實(shí)時(shí)攝取，并將實(shí)時(shí)所攝取信息同步傳送至處理器；處理器調(diào)用視頻運(yùn)動(dòng)檢測(cè)模塊對(duì)攝像頭實(shí)時(shí)所攝取信息進(jìn)行分析處理，并相應(yīng)實(shí)現(xiàn)對(duì)書寫過程中書寫筆的筆尖進(jìn)行跟蹤，且通過跟蹤書寫筆的筆尖，實(shí)時(shí)獲取書寫筆在方形白紙上所書寫的圖文信息，并將所獲取的圖文信息存入存儲(chǔ)器內(nèi)；此時(shí)，存入存儲(chǔ)器內(nèi)的實(shí)時(shí)所獲取書寫筆在方形白紙上所書寫的圖文信息，便為需交互信息；
步驟203中所述需交互信息包括一組或多組圖文信息；且所述需交互信息中的各組圖文信息為純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息、物理信息或仿真按鈕信息；其中，所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息的圖文信息分類符均為組合式標(biāo)識(shí)符，所述組合式標(biāo)識(shí)符由前后兩個(gè)相同的標(biāo)識(shí)符號(hào)組成；且所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息，均包括前后兩個(gè)相同的標(biāo)識(shí)符號(hào)和置于兩個(gè)所述標(biāo)識(shí)符號(hào)之間的圖文信息內(nèi)容；所述仿真按鈕信息的圖文信息分類符為一個(gè)單獨(dú)式標(biāo)識(shí)符，且所述仿真按鈕信息包括所述單獨(dú)式標(biāo)識(shí)符；
步驟203中所述需交互信息中的任一組所述物理信息，均與一組仿真按鈕信息通過關(guān)聯(lián)單元進(jìn)行關(guān)聯(lián)；
步驟三、信息交互，其信息交互過程如下
步驟301、信息分類符識(shí)別及信息分類處理器調(diào)用符號(hào)識(shí)讀模塊，結(jié)合步驟一中所建立的交互信息識(shí)別模板庫(kù)，對(duì)步驟203中所述需交互信息中的圖文信息分類符進(jìn)行識(shí)讀，并根據(jù)所識(shí)讀出的圖文信息分類符對(duì)需交互圖文信息中的一組或多組圖文信息進(jìn)行分類；
所述符號(hào)識(shí)讀模塊所識(shí)讀出的圖文信息分類符總數(shù)量，即為方形紙上所繪制圖文信息的組數(shù)；
步驟302、信息處理采用處理器對(duì)步驟203中所述需交互信息中的一組或多組圖文信息，分別進(jìn)行處理；
且對(duì)任一組圖文信息來(lái)說，所述處理器均根據(jù)步驟301中所識(shí)讀出的該組圖文信息的圖文信息分類符，調(diào)用與該圖文信息分類符相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理。
上述一種基于普通紙筆的人機(jī)交互方法，其特征是步驟203中采用書寫后采集方式進(jìn)行采集時(shí)，所述處理器按照方形白紙上所書寫圖文信息的書寫位置先后順序，由先至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行存儲(chǔ)；且步驟302中對(duì)所述需交互信息中的一組或多組圖文信息進(jìn)行處理時(shí)，按照存儲(chǔ)位置的先后順序，由前至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行處理；
步驟203中采用書寫同步采集方式進(jìn)行采集時(shí)，所述處理器按照書寫時(shí)間的先后順序，由先至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行存儲(chǔ)；且步驟302中對(duì)所述需交互信息中的一組或多組圖文信息進(jìn)行處理時(shí)，按照存儲(chǔ)位置的先后順序，由前至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行處理。
上述一種基于普通紙筆的人機(jī)交互方法，其特征是步驟一中多個(gè)類型所述圖文信息分類符包括純文字信息分類符、草圖繪制信息分類符、二維幾何繪制信息分類符、三維幾何建模信息分類符、物理信息分類符和仿真按鈕信息分類符；
步驟302中進(jìn)行信息處理時(shí)，對(duì)任一組圖文信息來(lái)說，當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述純文字信息分類符時(shí)，該組圖文信息為純文字信息；且調(diào)用與所述純文字信息分類符相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊調(diào)用文字識(shí)別模塊由前至后對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)別，并將識(shí)別結(jié)果存為文本數(shù)據(jù)后存至存儲(chǔ)器中；
當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述草圖繪制信息分類符時(shí)，該組圖文信息為草圖繪制信息；且調(diào)用與所述草圖繪制信息分類符相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊調(diào)用二維圖像處理模塊，將該組圖文信息中的圖文信息內(nèi)容存儲(chǔ)為圖片格式，并通過顯示器進(jìn)行直觀顯示；
當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述二維幾何繪制信息分類符時(shí)，該組圖文信息為二維幾何繪制信息；且調(diào)用與所述二維幾何繪制信息分類符相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維幾何圖形保存為圖片格式；之后，調(diào)用顏色識(shí)別模塊對(duì)該組圖文信息中圖文信息內(nèi)容的顏色進(jìn)行識(shí)別，并根據(jù)識(shí)別結(jié)果且調(diào)用著色模塊對(duì)所保存的二維幾何圖形進(jìn)行著色；然后，通過顯示器對(duì)著色后的二維幾何圖形進(jìn)行直觀顯示；
當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述三維幾何建模信息分類符時(shí)，該組圖文信息為三維幾何建模信息；且調(diào)用與所述三維幾何建模信息分類符相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維圖形信息保存至存儲(chǔ)器中；再調(diào)用三維圖像處理模塊，將所識(shí)讀出的二維圖形信息轉(zhuǎn)換為三維圖形；之后，調(diào)用顏色識(shí)別模塊對(duì)該組圖文信息中圖文信息內(nèi)容的顏色進(jìn)行識(shí)別，并根據(jù)識(shí)別結(jié)果且調(diào)用著色模塊對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行著色；然后，通過顯示器對(duì)著色后的三維圖形進(jìn)行直觀顯示;
當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述物理信息分類符時(shí)， 該組圖文信息為物理信息；且調(diào)用與所述物理信息分類符相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維圖形信息保存至存儲(chǔ)器中；再調(diào)用三維圖像處理模塊，將所識(shí)讀出的二維圖形信息轉(zhuǎn)換為三維圖形；之后，所述處理器調(diào)用文字識(shí)別模塊和 /或控制符號(hào)識(shí)別模塊，對(duì)是否存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息進(jìn)行識(shí)讀判斷， 并將識(shí)讀判斷結(jié)果返回至處理器當(dāng)識(shí)讀得出不存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息時(shí)，則無(wú)需進(jìn)行物理仿真，所述處理器控制顯示器對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行直觀顯示；否則，當(dāng)識(shí)讀得出存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息時(shí)，人為通過“遮擋或不遮擋方形白紙上的該仿真按鈕信息”對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行控制，且此時(shí)處理器調(diào)用仿真判斷模塊對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行判斷，并將判斷結(jié)果返回至處理器當(dāng)判斷得出當(dāng)前狀態(tài)下需進(jìn)行仿真時(shí)，所述處理器調(diào)用物理仿真系統(tǒng)，且利用轉(zhuǎn)換后的三維圖形進(jìn)行物理仿真；而當(dāng)判斷得出當(dāng)前狀態(tài)下不進(jìn)行仿真時(shí)，所述處理器控制顯示器對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行直觀顯示。
上述一種基于普通紙筆的人機(jī)交互方法，其特征是步驟302中當(dāng)調(diào)用與該圖文信息分類符相對(duì)應(yīng)的信息處理模塊無(wú)法對(duì)該組圖文信息進(jìn)行處理時(shí)，說明該組圖文信息的圖文信息分類符識(shí)別錯(cuò)誤；此時(shí)，所述處理器調(diào)用分類符識(shí)別錯(cuò)誤標(biāo)注模塊對(duì)該組圖文信息進(jìn)行標(biāo)注，再調(diào)用信息修改模塊將該組圖文信息的分類信息調(diào)整為待修改狀態(tài)。
上述一種基于普通紙筆的人機(jī)交互方法，其特征是步驟202中處理器結(jié)合步驟一中所輸入方形白紙的尺寸信息，并調(diào)用角點(diǎn)檢測(cè)模塊和直線檢測(cè)模塊，對(duì)所述前景信息中方形白紙的四個(gè)頂點(diǎn)位置進(jìn)行確定時(shí)，其確定過程如下
步驟2021、前景信息中方形白紙上方兩個(gè)頂點(diǎn)的位置確定處理器調(diào)用目標(biāo)檢測(cè)模塊，且根據(jù)通過所述參數(shù)設(shè)置單元預(yù)先輸入的方形白紙上方兩個(gè)頂點(diǎn)的圖像，在所述前景信息中檢測(cè)并確定出方形白紙上方兩個(gè)頂點(diǎn)的位置；
步驟2022、前景信息中方形白紙上方兩個(gè)頂點(diǎn)的位置推算根據(jù)步驟2021中所確定的方形白紙上方兩個(gè)頂點(diǎn)的位置，并結(jié)合步驟一中所輸入的方形白紙的尺寸信息，所述處理器相應(yīng)推算出方形白紙下方兩個(gè)頂點(diǎn)的位置；
步驟2023、正交投影根據(jù)步驟2021和步驟2022中所確定的所述前景信息中方形白紙四個(gè)頂點(diǎn)的位置，并結(jié)合步驟202中平鋪在所述操作平臺(tái)上的方形白紙的四個(gè)頂點(diǎn)位置，建立平鋪在所述操作平臺(tái)上的方形白紙四個(gè)頂點(diǎn)與所述前景信息中方形白紙四個(gè)頂點(diǎn)之間的位置關(guān)系，且通過透射變換獲取透射變換矩陣，并相應(yīng)獲得方形白紙四個(gè)頂點(diǎn)的正投影點(diǎn)。
上述一種基于普通紙筆的人機(jī)交互方法，其特征是步驟203中進(jìn)行需交互信息采集時(shí)，平鋪在所述操作平臺(tái)上的方形白紙位置保持不動(dòng)。
上述一種基于普通紙筆的人機(jī)交互方法，其特征是步驟202中所述的方形紙上面通過多個(gè)封閉邊框線劃分為多個(gè)信息輸入?yún)^(qū)，且步驟203中所述需交互信息中的每一組圖文信息均書寫在一個(gè)信息輸入?yún)^(qū)內(nèi)；
步驟301中進(jìn)行信息分類符識(shí)別及信息分類的同時(shí)，所述處理器根據(jù)對(duì)步驟203 中所述需交互信息中圖文信息分類符的識(shí)讀結(jié)果，并結(jié)合方形紙上的多個(gè)所述封閉邊框線，且調(diào)用圖像截割模塊將所述需交互信息分隔為一個(gè)或多個(gè)信息區(qū)域，所述信息區(qū)域的數(shù)量與所識(shí)讀出的所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息的圖文信息分類符總數(shù)量相同，且步驟203中所述需交互信息中的每一組圖文信息分別位于一個(gè)所述信息區(qū)域內(nèi)；步驟302中進(jìn)行信息處理時(shí)，所述處理器對(duì)一個(gè)或多個(gè)所述信息區(qū)域分別進(jìn)行處理。
上述一種基于普通紙筆的人機(jī)交互方法，其特征是步驟203中所述組合式標(biāo)識(shí)符中的前后兩個(gè)相同的標(biāo)識(shí)符號(hào)，分別布設(shè)在封閉邊框線的左側(cè)上部和右側(cè)下部；所述仿真按鈕信息布設(shè)在與其相關(guān)聯(lián)的一組物理信息所處的封閉邊框線的左側(cè)下部
上述一種基于普通紙筆的人機(jī)交互方法，其特征是所述純文字信息分類符為 ^ V，，所述草圖繪制信息分類符為,」，，，所述二維幾何繪制信息分類符為《+ +，，，所述三維幾何建模信息分類符為tt，，，所述物理信息的圖文信息分類符為《# #”，所述仿真按鈕信息分類符為“私”，當(dāng)人為遮擋方形白紙上的《I，，表示當(dāng)前狀態(tài)下需進(jìn)行仿真時(shí)，所述處理器調(diào)用仿真判斷模塊對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行判斷，并將判斷結(jié)果返回至處理器當(dāng)判斷得出當(dāng)前狀態(tài)下“I”因遮擋不可見時(shí)，表示當(dāng)前狀態(tài)下需進(jìn)行仿真；否則，當(dāng)判斷得出當(dāng)前狀態(tài)下《I，，因不遮擋可見時(shí)，表示當(dāng)前狀態(tài)下不進(jìn)行仿真。
同時(shí)，本發(fā)明還公開了一種電路設(shè)計(jì)合理、接線方便、使用操作簡(jiǎn)便且使用效果好、實(shí)用價(jià)值高的人機(jī)交互系統(tǒng)，其特征在于包括平鋪在操作平臺(tái)上的方形白紙、用于在方形白紙上繪制一組或多組圖文信息的書寫筆、實(shí)時(shí)對(duì)方形白紙與方形白紙上所繪制圖文信息進(jìn)行攝取的攝像頭、與攝像頭相接且對(duì)攝像頭所攝取圖像信息進(jìn)行識(shí)別和分析處理的處理器以及分別與處理器相接的參數(shù)設(shè)置單元、存儲(chǔ)器和對(duì)處理器的分析處理結(jié)果進(jìn)行同步顯示的顯示器，所述攝像頭布設(shè)在方形白紙的正前方。
本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)
I、硬件設(shè)備簡(jiǎn)單且投入成本非常低。
2、設(shè)計(jì)新穎，采用已知尺寸白紙、普通的筆且采用攝像頭作為信息交互手段，達(dá)到信息輸入的目的，具體是通過攝像頭讀取已知尺寸白紙的信息且配合對(duì)讀取信息的圖像處理，實(shí)現(xiàn)信息輸入的目的。
3、用于分類的標(biāo)志形狀(即圖文信息分類符)，繪制簡(jiǎn)單，識(shí)別準(zhǔn)確，很容易達(dá)到對(duì)文字、草圖繪制信息、二維圖形繪制信息、三維幾何建模信息、物理信息及仿真按鈕信息等進(jìn)行簡(jiǎn)便、快速且準(zhǔn)確分類。
4、將紙張信息轉(zhuǎn)化為顯示器可顯示的信息能激發(fā)人的情趣，物理仿真的建立能使學(xué)生更好地理解物理現(xiàn)象，有助于課堂教學(xué)。
5、在整個(gè)信息輸入的過程中，不需要人工干預(yù)，僅僅通過在已知尺寸白紙寫上自己的輸入圖文信息，就可以實(shí)現(xiàn)信息的自動(dòng)錄入。
6、只需在方形白紙上書寫對(duì)應(yīng)非常簡(jiǎn)單的二維圖形信息，之后本發(fā)明能自動(dòng)完成所書寫信息的自動(dòng)識(shí)別與處理過程。對(duì)于純文字信息、草圖信息和二維幾何繪制的繪制、識(shí)別與處理更為簡(jiǎn)單，且實(shí)現(xiàn)方便。同外，使得三維幾何模型的建模與物理仿真過程非常簡(jiǎn)便，并且所書寫信息的書寫要求較低，只需大概繪制圖樣即可。因而，實(shí)現(xiàn)非常簡(jiǎn)便。
7、對(duì)于物理仿真的控制過程非常簡(jiǎn)便，并且控制過程可調(diào)。
8、識(shí)別錯(cuò)誤狀態(tài)自動(dòng)提醒，并且使用者修改方便，只需對(duì)方形白紙上所書寫信息進(jìn)行涂改即可。
綜上所述，本發(fā)明設(shè)計(jì)新穎合理、投資成本低、便于控制并且使用效果好、操作性非常強(qiáng)，將人們?cè)缫蚜?xí)慣的紙筆輸入和現(xiàn)代的多樣的計(jì)算機(jī)技術(shù)結(jié)合在一起，實(shí)時(shí)的把紙張上信息轉(zhuǎn)換為二維或三維信息；使計(jì)算機(jī)更方便、實(shí)用地服務(wù)于大眾，也使得在與計(jì)算機(jī)的交流過程中，用戶信息的書寫和表達(dá)更自然和具有個(gè)人特色。綜上，通過數(shù)字圖像處理手段對(duì)方形白紙上所書寫信息進(jìn)行分類和提取，并對(duì)所提取信息進(jìn)行逐個(gè)分割識(shí)別，然后根據(jù)所輸入的二維與三維圖文信息并結(jié)合對(duì)應(yīng)的模型匹配建立二維、三維場(chǎng)景，在幾何建模領(lǐng)域可以做兒童游戲，如搭建城堡等，顏色識(shí)別的添加更能激發(fā)孩子的興趣；對(duì)于物理信息與對(duì)應(yīng)的三維物理模型匹配進(jìn)行仿真，也可以做一些簡(jiǎn)單的物理小實(shí)驗(yàn)。對(duì)于人們的突然出現(xiàn)的靈感寫在紙上，計(jì)算機(jī)可以對(duì)其仿真操作。
下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。


圖I為本發(fā)明所采用人機(jī)交互方法的流程框圖。
圖2為本發(fā)明所采用人機(jī)交互系統(tǒng)的工作原理框圖。
圖3為本發(fā)明所采用方形白紙的結(jié)構(gòu)示意圖。
圖4為采用本發(fā)明對(duì)三棱錐進(jìn)行三維幾何建模時(shí)在方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
圖5為采用本發(fā)明對(duì)紅旗進(jìn)行三維幾何建模時(shí)在方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
圖6為采用本發(fā)明對(duì)太陽(yáng)進(jìn)行三維幾何建模時(shí)在方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
圖7為采用本發(fā)明對(duì)氣球進(jìn)行三維幾何建模時(shí)在方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
圖8為采用本發(fā)明對(duì)圓球進(jìn)行物理仿真時(shí)方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
圖9為采用本發(fā)明對(duì)單擺進(jìn)行物理仿真時(shí)方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
圖10為采用本發(fā)明對(duì)彈簧進(jìn)行物理仿真時(shí)方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
圖11為采用本發(fā)明對(duì)障礙物進(jìn)行物理仿真時(shí)方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
圖12為采用本發(fā)明對(duì)天花板進(jìn)行物理仿真時(shí)方形白紙上所書寫的圖文信息內(nèi)容的結(jié)構(gòu)示意圖。
附圖標(biāo)記說明
I—方形白紙； 2—攝像頭；
3-1—控制器；3-2—顯不器；
3-4—鍵盤；3-5—存儲(chǔ)器；
5—封閉邊框線； 6—信息輸入?yún)^(qū)；
7-2—草圖繪制信息分類符；
7-3—二維幾何繪制信息分類符；
7-4—三維幾何建模信息分類符；
7-6—仿真按鈕信息分類符。
具體實(shí)施方式
3—PC 機(jī)；3~3 —鼠標(biāo)；4一書寫筆；7-1—純文字信息分類符；7-5—物理信息分類符；12
如圖I所示的一種基于普通紙筆的人機(jī)交互方法，包括以下步驟
步驟一、建立交互信息識(shí)別模板庫(kù)并輸入初始參數(shù)利用處理器3-1建立交互信息識(shí)別模板庫(kù)，所建立的交互信息識(shí)別模板庫(kù)內(nèi)存儲(chǔ)有需進(jìn)行交互的多個(gè)類型圖文信息分類符的圖像信息和各圖文信息分類符的屬性數(shù)據(jù)，且各圖文信息分類符的圖像信息與其屬性數(shù)據(jù)之間均通過關(guān)聯(lián)單元進(jìn)行關(guān)聯(lián)，所述屬性數(shù)據(jù)包括圖文信息分類符所對(duì)應(yīng)圖文信息的類型和對(duì)圖文信息分類符所對(duì)應(yīng)圖文信息進(jìn)行處理的信息處理模塊；同時(shí)，通過所述參數(shù)設(shè)置單元輸入初始參數(shù)，所述初始參數(shù)包括所使用方形白紙I的尺寸信息，本發(fā)明所采用硬件系統(tǒng)的電路原理框圖詳見圖2。
步驟二、信息交互前期預(yù)處理，其預(yù)處理過程包括以下步驟
步驟201、獲取背景信息通過攝像頭2攝取操作平臺(tái)的圖像信息并同步上傳至處理器3-1，所攝取的操作平臺(tái)圖像信息即為信息交互用背景信息，且處理器3-1將所述背景信息存入存儲(chǔ)器3-5內(nèi)。
實(shí)際操作過程中，在方形白紙I進(jìn)入所述操作平臺(tái)前，攝像頭2處于等待狀態(tài)；當(dāng)前狀態(tài)下，所述操作平臺(tái)的圖像信息作為背景信息，允許背景是任意的。
步驟202、提取紙張信息將方形白紙I平鋪在步驟201中所述的操作平臺(tái)上，再通過攝像頭2攝取所述操作平臺(tái)和平鋪在所述操作平臺(tái)上的方形白紙I的組合式圖像信息，并將所攝取的所述組合式圖像信息同步上傳至處理器3-1 ;之后，結(jié)合步驟201中所述背景信息，所述處理器3-1調(diào)用背景濾除模塊將所述組合式圖像信息中的所述背景信息減除，并相應(yīng)獲得需進(jìn)行信息交互的前景信息，且處理器3-1將所述前景信息存入存儲(chǔ)器3-5 內(nèi)；之后，所述處理器3-1結(jié)合步驟一中所輸入方形白紙I的尺寸信息，并調(diào)用角點(diǎn)檢測(cè)模塊和直線檢測(cè)模塊，對(duì)所述前景信息中方形白紙I的四個(gè)頂點(diǎn)位置進(jìn)行確定，并相應(yīng)在所述前景信息中檢測(cè)出方形白紙I的具體位置。
實(shí)際使用過程中，將方形白紙I平鋪在所述操作平臺(tái)上后，對(duì)方形白紙I在所述操作平臺(tái)上的位置進(jìn)行檢測(cè)，具體是對(duì)方形白紙I的四個(gè)頂點(diǎn)在所述操作平臺(tái)上的位置進(jìn)行檢測(cè)。本實(shí)施例中，所述處理器3-1調(diào)用目標(biāo)檢測(cè)模塊，檢測(cè)出方形白紙I在所述操作平臺(tái)上的位置。
步驟203、需交互信息采集處理器3-1采用書寫后采集方式或書寫同步采集方式，對(duì)方形白紙I上所書寫的需交互圖文信息進(jìn)行采集。
當(dāng)采用書寫后采集方式進(jìn)行采集時(shí)，步驟202中所述的方形白紙I為上部已書寫有一組或多組圖文信息的方形紙；且處理器3-1采用書寫后采集方式進(jìn)行采集時(shí)，處理器 3-1調(diào)用圖像截取模塊將步驟202中已檢測(cè)出方形白紙I上的圖像信息截取出來(lái)，并將所截取圖像信息存入存儲(chǔ)器3-5內(nèi)；此時(shí)，存入存儲(chǔ)器3-5內(nèi)的所截取圖像信息便為需交互信肩、O
當(dāng)采用書寫同步采集方式進(jìn)行采集時(shí)，步驟202中所述的方形白紙I為空白紙； 本步驟中，所述處理器3-1采用邊書寫邊采集的方式進(jìn)行采集，且實(shí)際進(jìn)行采集時(shí)，通過攝像頭2對(duì)書寫過程中各時(shí)刻方形白紙I上的圖像信息進(jìn)行實(shí)時(shí)攝取，并將實(shí)時(shí)所攝取信息同步傳送至處理器3-1 ;處理器3-1調(diào)用視頻運(yùn)動(dòng)檢測(cè)模塊對(duì)攝像頭2實(shí)時(shí)所攝取信息進(jìn)行分析處理，并相應(yīng)實(shí)現(xiàn)對(duì)書寫過程中書寫筆4的筆尖進(jìn)行跟蹤，且通過跟蹤書寫筆4的筆尖，實(shí)時(shí)獲取書寫筆4在方形白紙I上所書寫的圖文信息，并將所獲取的圖文信息存入存儲(chǔ)器3-5內(nèi)；此時(shí)，存入存儲(chǔ)器3-5內(nèi)的實(shí)時(shí)所獲取書寫筆4在方形白紙I上所書寫的圖文信息，便為需交互信息。
步驟203中所述需交互信息包括一組或多組圖文信息。且所述需交互信息中的各組圖文信息為純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息、物理信息或仿真按鈕信息；其中，所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息的圖文信息分類符均為組合式標(biāo)識(shí)符，所述組合式標(biāo)識(shí)符由前后兩個(gè)相同的標(biāo)識(shí)符號(hào)組成；且所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息，均包括前后兩個(gè)相同的標(biāo)識(shí)符號(hào)和置于兩個(gè)所述標(biāo)識(shí)符號(hào)之間的圖文信息內(nèi)容；所述仿真按鈕信息的圖文信息分類符為一個(gè)單獨(dú)式標(biāo)識(shí)符，且所述仿真按鈕信息包括所述單獨(dú)式標(biāo)識(shí)符。
步驟203中所述需交互信息中的任一組所述物理信息，均與一組仿真按鈕信息通過關(guān)聯(lián)單兀進(jìn)行關(guān)聯(lián)。
本實(shí)施例中，步驟203中進(jìn)行需交互信息采集時(shí)，平鋪在所述操作平臺(tái)上的方形白紙I位置保持不動(dòng)。
本實(shí)施例中，所述方形白紙I為A4紙或B5紙，實(shí)際使用時(shí)，也可以采用其它規(guī)格的紙張。
步驟三、信息交互，其信息交互過程如下
步驟301、信息分類符識(shí)別及信息分類處理器3-1調(diào)用符號(hào)識(shí)讀模塊，結(jié)合步驟一中所建立的交互信息識(shí)別模板庫(kù)，對(duì)步驟203中所述需交互信息中的圖文信息分類符進(jìn)行識(shí)讀，并根據(jù)所識(shí)讀出的圖文信息分類符對(duì)需交互圖文信息中的一組或多組圖文信息進(jìn)行分類。
所述符號(hào)識(shí)讀模塊所識(shí)讀出的圖文信息分類符總數(shù)量，即為方形紙上所繪制圖文信息的組數(shù)。
步驟302、信息處理采用處理器3-1對(duì)步驟203中所述需交互信息中的一組或多組圖文信息，分別進(jìn)行處理。
且對(duì)任一組圖文信息來(lái)說，所述處理器3-1均根據(jù)步驟301中所識(shí)讀出的該組圖文信息的圖文信息分類符，調(diào)用與該圖文信息分類符相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理。
本實(shí)施例中，結(jié)合圖3，步驟一中多個(gè)類型所述圖文信息分類符包括純文字信息分類符7-1、草圖繪制信息分類符7-2、二維幾何繪制信息分類符7-3、三維幾何建模信息分類符7-4、物理信息分類符7-5和仿真按鈕信息分類符7-6。
本實(shí)施例中，所述純文字信息分類符7-1為 所述草圖繪制信息分類符7-2為“「」”，所述二維幾何繪制信息分類符7-3為“+ +，，，所述三維幾何建模信息分類符7-4為《# ^ 所述物理信息的圖文信息分類符為tt，，，所述仿真按鈕信息分類符7-6為“I”，當(dāng)人為遮擋方形白紙I上的《I，，表示當(dāng)前狀態(tài)下需進(jìn)行仿真時(shí)，所述處理器 3-1調(diào)用仿真判斷模塊對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行判斷，并將判斷結(jié)果返回至處理器3-1 :當(dāng)判斷得出當(dāng)前狀態(tài)下“#，，因遮擋不可見時(shí)，表示當(dāng)前狀態(tài)下需進(jìn)行仿真；否則，當(dāng)判斷得出當(dāng)前狀態(tài)下“如”因不遮擋可見時(shí)，表示當(dāng)前狀態(tài)下不進(jìn)行仿真。
相應(yīng)地，步驟301中進(jìn)行信息分類符識(shí)別及信息分類時(shí)，通過組合式符號(hào)^ V，來(lái)區(qū)分純文字信息，通過組合式符號(hào)“「」，，來(lái)區(qū)分草圖繪制信息，通過組合式符號(hào)“+ +，，來(lái)區(qū)分二維幾何繪制信息，通過組合式符號(hào)《4 #來(lái)區(qū)分三維幾何建模信息，通過組合式符號(hào)《# #，，來(lái)區(qū)分物理信息，且通過符號(hào)《<^，，來(lái)區(qū)分仿真按鈕信息，并通過符號(hào)《#，，是否可見來(lái)區(qū)分是否進(jìn)行仿真。
實(shí)際使用時(shí)，所述純文字信息分類符7-1、草圖繪制信息分類符7-2、二維幾何繪制信息分類符7-3、三維幾何建模信息分類符7-4、物理信息分類符7-5和仿真按鈕信息分類符7-6也可以采用其它類型的分類符，只需簡(jiǎn)單、清楚且易于辨識(shí)即可。
本實(shí)施例中，所述純文字信息分類符7-1、草圖繪制信息分類符7-2、二維幾何繪制信息分類符7-3、三維幾何建模信息分類符7-4、物理信息分類符7-5和仿真按鈕信息分類符7-6所采用的上述符號(hào)，充分考慮了簡(jiǎn)易書寫與方便記憶的需求，同時(shí)計(jì)算機(jī)能夠精確識(shí)別，并相互區(qū)別。
實(shí)際使用過程中，可以根據(jù)實(shí)際需要，對(duì)步驟一中所述交互信息識(shí)別模板庫(kù)內(nèi)的述圖文信息分類符的類型進(jìn)行進(jìn)一步拓展，即相應(yīng)在所述交互信息識(shí)別模板庫(kù)內(nèi)逐漸增添其它需進(jìn)行信息交互的信息分類符類型，逐漸對(duì)所述交互信息識(shí)別模板庫(kù)進(jìn)行完善。
本實(shí)施例中，步驟202中處理器3-1結(jié)合步驟一中所輸入方形白紙I的尺寸信息， 并調(diào)用角點(diǎn)檢測(cè)模塊和直線檢測(cè)模塊，對(duì)所述前景信息中方形白紙I的四個(gè)頂點(diǎn)位置進(jìn)行確定時(shí)，其確定過程如下
步驟2021、前景信息中方形白紙上方兩個(gè)頂點(diǎn)的位置確定處理器3-1調(diào)用目標(biāo)檢測(cè)模塊，且根據(jù)通過所述參數(shù)設(shè)置單元預(yù)先輸入的方形白紙I上方兩個(gè)頂點(diǎn)的圖像，在所述前景信息中檢測(cè)并確定出方形白紙I上方兩個(gè)頂點(diǎn)的位置；
步驟2022、前景信息中方形白紙上方兩個(gè)頂點(diǎn)的位置推算根據(jù)步驟2021中所確定的方形白紙I上方兩個(gè)頂點(diǎn)的位置，并結(jié)合步驟一中所輸入的方形白紙I的尺寸信息，所述處理器3-1相應(yīng)推算出方形白紙I下方兩個(gè)頂點(diǎn)的位置；
步驟2023、正交投影根據(jù)步驟2021和步驟2022中所確定的所述前景信息中方形白紙I四個(gè)頂點(diǎn)的位置，并結(jié)合步驟202中平鋪在所述操作平臺(tái)上的方形白紙I的四個(gè)頂點(diǎn)位置(即上述所獲取的方形白紙I四個(gè)頂點(diǎn)在所述操作平臺(tái)上的位置)，建立平鋪在所述操作平臺(tái)上的方形白紙I四個(gè)頂點(diǎn)與所述前景信息中方形白紙I四個(gè)頂點(diǎn)之間的位置關(guān)系，且通過透射變換獲取透射變換矩陣，并相應(yīng)獲得方形白紙I四個(gè)頂點(diǎn)的正投影點(diǎn)。
本實(shí)施例中，通過透視變換，將這所述前景信息中方形白紙I的四個(gè)頂點(diǎn)均校正為正交投影，同時(shí)將所述前景信息中方形白紙I內(nèi)的圖像截取出來(lái)。
本實(shí)施例中，當(dāng)所述方形白紙I進(jìn)入所述操作平臺(tái)后，通過攝像頭2檢測(cè)出方形白紙I上方的兩個(gè)角點(diǎn)，此處通過目標(biāo)檢測(cè)方法，即事先定義出方形白紙I上方兩個(gè)角的圖像，然后通過所定義的兩個(gè)角的圖像，去定位當(dāng)前攝像頭2所獲得前景信息中的兩個(gè)角的位置方框，然后通過角點(diǎn)檢測(cè)和直線檢測(cè)，定位出這兩個(gè)角點(diǎn)的二維坐標(biāo)。同時(shí)，為了提高精度，可事先對(duì)攝像頭2進(jìn)行標(biāo)定，通過標(biāo)定得到攝像頭2的參數(shù)，對(duì)所獲得的圖像進(jìn)行校正。之后，根據(jù)方形白紙I的尺寸，估算出方形白紙I剩下兩個(gè)角點(diǎn)的二維坐標(biāo)，從而得到整個(gè)紙張的信息。
實(shí)際對(duì)所述前景信息中方形白紙I的四個(gè)頂點(diǎn)位置進(jìn)行確定時(shí)，還可采用2011年02月16日公開的申請(qǐng)?zhí)枮?01010298962. I且發(fā)明名稱為《一種基于攝像頭的計(jì)算機(jī)與紙筆信息交互系統(tǒng)及方法》的發(fā)明專利申請(qǐng)中，所公開的方法，對(duì)方形白紙I的四個(gè)頂點(diǎn)位置進(jìn)行確定。
本實(shí)施例中，步驟203中采用書寫后采集方式進(jìn)行采集時(shí)，所述處理器3-1按照方形白紙I上所書寫圖文信息的書寫位置先后順序，由先至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行存儲(chǔ)；且步驟302中對(duì)所述需交互信息中的一組或多組圖文信息進(jìn)行處理時(shí)，按照存儲(chǔ)位置的先后順序，由前至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行處理；
步驟203中采用書寫同步采集方式進(jìn)行采集時(shí)，所述處理器3-1按照書寫時(shí)間的先后順序，由先至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行存儲(chǔ)；且步驟302中對(duì)所述需交互信息中的一組或多組圖文信息進(jìn)行處理時(shí)，按照存儲(chǔ)位置的先后順序，由前至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行處理。
本實(shí)施例中，步驟302中進(jìn)行信息處理時(shí)，對(duì)任一組圖文信息來(lái)說，當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述純文字信息分類符7-1時(shí)，該組圖文信息為純文字信息；且調(diào)用與所述純文字信息分類符7-1相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊調(diào)用文字識(shí)別模塊由前至后對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)別，并將識(shí)別結(jié)果存為文本數(shù)據(jù)后存至存儲(chǔ)器3-5中。
當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述草圖繪制信息分類符7-2時(shí)，該組圖文信息為草圖繪制信息；且調(diào)用與所述草圖繪制信息分類符7-2相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊調(diào)用二維圖像處理模塊，將該組圖文信息中的圖文信息內(nèi)容存儲(chǔ)為圖片格式，并通過顯示器3-2進(jìn)行直觀顯示。
當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述二維幾何繪制信息分類符7-3時(shí)，該組圖文信息為二維幾何繪制信息；且調(diào)用與所述二維幾何繪制信息分類符7-3相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維幾何圖形保存為圖片格式；之后，調(diào)用顏色識(shí)別模塊對(duì)該組圖文信息中圖文信息內(nèi)容的顏色進(jìn)行識(shí)別，并根據(jù)識(shí)別結(jié)果且調(diào)用著色模塊對(duì)所保存的二維幾何圖形進(jìn)行著色；然后，通過顯示器 3-2對(duì)著色后的二維幾何圖形進(jìn)行直觀顯示。
當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述三維幾何建模信息分類符7-4時(shí)，該組圖文信息為三維幾何建模信息；且調(diào)用與所述三維幾何建模信息分類符7-4相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維圖形信息保存至存儲(chǔ)器3-5中；再調(diào)用三維圖像處理模塊(具體是與識(shí)讀出的二維圖形信息相連接的3D模型)，將所識(shí)讀出的二維圖形信息轉(zhuǎn)換為三維圖形；之后，調(diào)用顏色識(shí)別模塊對(duì)該組圖文信息中圖文信息內(nèi)容的顏色進(jìn)行識(shí)別，并根據(jù)識(shí)別結(jié)果且調(diào)用著色模塊對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行著色；然后，通過顯示器3-2對(duì)著色后的三維圖形進(jìn)行直觀顯示。
當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述物理信息分類符7-5 時(shí)，該組圖文信息為物理信息；且調(diào)用與所述物理信息分類符7-5相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維圖形信息保存至存儲(chǔ)器3-5中；再調(diào)用三維圖像處理模塊(具體是與識(shí)讀出的二維圖形信息相連接的3D模型)，將所識(shí)讀出的二維圖形信息轉(zhuǎn)換為三維圖形；之后，所述處理器3-1調(diào)用文字識(shí)別模塊和/或控制符號(hào)識(shí)別模塊，對(duì)是否存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息進(jìn)行識(shí)讀判斷，并將識(shí)讀判斷結(jié)果返回至處理器3-1 :當(dāng)識(shí)讀得出不存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息時(shí)，則無(wú)需進(jìn)行物理仿真，所述處理器3-1控制顯示器3-2對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行直觀顯示；否則， 當(dāng)識(shí)讀得出存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息時(shí)，人為通過“遮擋或不遮擋方形白紙I上的該仿真按鈕信息”對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行控制，且此時(shí)處理器3-1調(diào)用仿真判斷模塊對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行判斷，并將判斷結(jié)果返回至處理器3-1 當(dāng)判斷得出當(dāng)前狀態(tài)下需進(jìn)行仿真時(shí)，所述處理器3-1調(diào)用物理仿真系統(tǒng)，且利用轉(zhuǎn)換后的三維圖形進(jìn)行物理仿真；而當(dāng)判斷得出當(dāng)前狀態(tài)下不進(jìn)行仿真時(shí)，所述處理器3-1控制顯示器3-2對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行直觀顯示。
實(shí)際使用時(shí)，步驟202中所述的方形紙I上面通過多個(gè)封閉邊框線5劃分為多個(gè)信息輸入?yún)^(qū)6，且步驟203中所述需交互信息中的每一組圖文信息均書寫在一個(gè)信息輸入?yún)^(qū)6內(nèi)。
實(shí)際進(jìn)行布設(shè)時(shí)，多個(gè)所述封閉邊框線5由上至下布設(shè)在同一豎直線上，且多個(gè)所述封閉邊框線5均布設(shè)在方形紙I的中部，多個(gè)所述封閉邊框線5呈均勻布設(shè)。本實(shí)施例中，所述封閉邊框線5為方框，且信息輸入?yún)^(qū)6的形狀相應(yīng)為方形，所述方框具體為虛線框。
本實(shí)施例中，步驟301中進(jìn)行信息分類符識(shí)別及信息分類的同時(shí)，所述處理器3-1 根據(jù)對(duì)步驟203中所述需交互信息中圖文信息分類符的識(shí)讀結(jié)果，并結(jié)合方形紙I上的多個(gè)所述封閉邊框線5，且調(diào)用圖像截割模塊將所述需交互信息分隔為一個(gè)或多個(gè)信息區(qū)域， 所述信息區(qū)域的數(shù)量與所識(shí)讀出的所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息的圖文信息分類符總數(shù)量相同，且步驟203中所述需交互信息中的每一組圖文信息分別位于一個(gè)所述信息區(qū)域內(nèi)；步驟302中進(jìn)行信息處理時(shí)，所述處理器3-1對(duì)一個(gè)或多個(gè)所述信息區(qū)域分別進(jìn)行處理。
也就是說，步驟301中進(jìn)行信息分類符識(shí)別及信息分類的同時(shí)，所述數(shù)據(jù)處理器 3-1通過對(duì)所述封閉邊框線5的外輪廓線進(jìn)行提取，實(shí)現(xiàn)對(duì)所述需交互信息中多組圖文信息進(jìn)行分割的目的。之后，步驟302中進(jìn)行信息處理時(shí)，所述處理器3-1對(duì)分割后的各組圖像分別進(jìn)行處理。
本實(shí)施例中，采用書寫同步采集方式進(jìn)行采集時(shí)，所述方形白紙I的位置不動(dòng)，因而能通過運(yùn)動(dòng)檢測(cè)方法確定書寫筆4的筆尖位置，通過所獲取圖像信息中的前后幀差能確定所述方形白紙I上，書寫筆4劃過留下的痕跡區(qū)域，獲取當(dāng)前所書寫的信息；然后通過對(duì)所述封閉邊框線5的外輪廓線進(jìn)行檢測(cè)，將書寫筆4所書寫的全部?jī)?nèi)容分割成獨(dú)立的小塊 (即獨(dú)立的各組圖文信息)，針對(duì)每一個(gè)小塊進(jìn)行分類與處理。
本實(shí)施例中，步驟203中所述組合式標(biāo)識(shí)符中的前后兩個(gè)相同的標(biāo)識(shí)符號(hào)，分別布設(shè)在封閉邊框線5的左側(cè)上部和右側(cè)下部；所述仿真按鈕信息布設(shè)在與其相關(guān)聯(lián)的一組物理信息所處的封閉邊框線5的左側(cè)下部。
綜上所述，本發(fā)明先通過提取各封閉邊框線5的外輪廓線，對(duì)所述需交互信息中所包括的各組圖文信息進(jìn)行逐個(gè)分割，之后再對(duì)分割后的各組圖文信息分別進(jìn)行分類與處理。對(duì)于純文字信息，分割后讀取文字信息并以文本格式進(jìn)行存儲(chǔ)，其中文字信息為數(shù)字、 漢字、字母等；對(duì)于草圖繪制信息，分割后讀取其圖文信息內(nèi)容，并以圖像格式直接顯示在顯示器3-2上；對(duì)于二維幾何繪制信息，分割后讀取2D圖像，并根據(jù)著色需求顯示在顯示器3-2上；對(duì)于三維幾何建模信息，分割后經(jīng)識(shí)讀獲取2D圖像，再通過與所識(shí)讀2D圖像相關(guān)聯(lián)的3D模型，獲取3D圖形并根據(jù)著色需求，顯示在顯示器3-2上；對(duì)于物理信息，分割后經(jīng)識(shí)讀獲取2D圖像，再通過與所識(shí)讀2D圖像相關(guān)聯(lián)的3D模型，獲取3D圖形并根據(jù)著色需求，顯示在顯示器3-2上，其與三維幾何建模信息的處理方法相同。對(duì)于仿真按鈕信息，當(dāng)當(dāng)前狀態(tài)下因遮擋不可見時(shí)，表示當(dāng)前狀態(tài)下需進(jìn)行仿真，此時(shí)場(chǎng)景開始動(dòng)力學(xué)仿真； 否則，當(dāng)判斷得出當(dāng)前狀態(tài)下“I，，因不遮擋可見時(shí)，表示當(dāng)前狀態(tài)下不進(jìn)行仿真，此時(shí)場(chǎng)景靜止。
結(jié)合圖4至圖12，進(jìn)行三維幾何模型建?；蛘哌M(jìn)行物理仿真時(shí)，只需在方形白紙I 上書寫對(duì)應(yīng)非常簡(jiǎn)單的二維圖形信息，之后本發(fā)明能自動(dòng)完成所書寫信息的自動(dòng)識(shí)別與處理過程，三維幾何模型的建模與物理仿真過程非常簡(jiǎn)便，并且所書寫信息的書寫要求較低， 只需大概繪制圖樣即可。因而，實(shí)現(xiàn)非常簡(jiǎn)便。同時(shí)，對(duì)于純文字信息、草圖信息和二維幾何繪制的繪制、識(shí)別與處理更為簡(jiǎn)單，且實(shí)現(xiàn)方便。同時(shí)，對(duì)于物理仿真的控制過程非常簡(jiǎn)便，并且控制過程可調(diào)。
實(shí)際操作過程中，實(shí)際進(jìn)行信息交互之前，還需采用處理器3-1建立能夠?qū)兾淖中畔?、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息、物理信息和仿真按鈕信息這六種信息進(jìn)行分類的分類器模型。具體而言，先通過建立正負(fù)樣本及相應(yīng)描述文件，再通過輪廓提取或直接建立樣本的特征矢量文件，之后通過機(jī)器學(xué)習(xí)得到最終的分類器模型， 并采用訓(xùn)練樣本對(duì)所建立的分類器模型進(jìn)行訓(xùn)練。
另外，本實(shí)施例中，步驟302中當(dāng)調(diào)用與該圖文信息分類符相對(duì)應(yīng)的信息處理模塊無(wú)法對(duì)該組圖文信息進(jìn)行處理時(shí)，說明該組圖文信息的圖文信息分類符識(shí)別錯(cuò)誤；此時(shí)， 所述處理器3-1調(diào)用分類符識(shí)別錯(cuò)誤標(biāo)注模塊對(duì)該組圖文信息進(jìn)行標(biāo)注，再調(diào)用信息修改模塊將該組圖文信息的分類信息調(diào)整為待修改狀態(tài)。
本實(shí)施例中，所述處理器3-1調(diào)用分類符識(shí)別錯(cuò)誤標(biāo)注模塊對(duì)該組圖文信息進(jìn)行標(biāo)注后，并在顯示器3-2上通過問號(hào)對(duì)該組圖文信息進(jìn)行標(biāo)注，并允許用戶在原來(lái)的基礎(chǔ)上重新涂寫更改，以進(jìn)行正確識(shí)別。
如圖2所示的一種人機(jī)交互系統(tǒng)，包括平鋪在操作平臺(tái)上的方形白紙I、用于在方形白紙I上繪制一組或多組圖文信息的書寫筆4、實(shí)時(shí)對(duì)方形白紙I與方形白紙I上所繪制圖文信息進(jìn)行攝取的攝像頭2、與攝像頭2相接且對(duì)攝像頭2所攝取圖像信息進(jìn)行識(shí)別和分析處理的處理器3-1以及分別與處理器3-1相接的參數(shù)設(shè)置單元、存儲(chǔ)器3-5和對(duì)處理器3-1的分析處理結(jié)果進(jìn)行同步顯示的顯示器3-2，所述攝像頭2布設(shè)在方形白紙I的正前方。
本實(shí)施例中，所述參數(shù)設(shè)置單元為分別與控制器3-1相接的鼠標(biāo)3-3和鍵盤3-4，且所述控制器3-1、顯示器3-2、鼠標(biāo)3-3和鍵盤3-4組裝成一個(gè)PC機(jī)3。
以上所述，僅是本發(fā)明的較佳實(shí)施例，并非對(duì)本發(fā)明作任何限制，凡是根據(jù)本發(fā)明技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、變更以及等效結(jié)構(gòu)變化，均仍屬于本發(fā)明技術(shù)方案的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種基于普通紙筆的人機(jī)交互方法，其特征在于該方法包括以下步驟 步驟一、建立交互信息識(shí)別模板庫(kù)并輸入初始參數(shù)利用處理器(3-1)建立交互信息識(shí)別模板庫(kù)，所建立的交互信息識(shí)別模板庫(kù)內(nèi)存儲(chǔ)有需進(jìn)行交互的多個(gè)類型圖文信息分類符的圖像信息和各圖文信息分類符的屬性數(shù)據(jù)，且各圖文信息分類符的圖像信息與其屬性數(shù)據(jù)之間均通過關(guān)聯(lián)單元進(jìn)行關(guān)聯(lián)，所述屬性數(shù)據(jù)包括圖文信息分類符所對(duì)應(yīng)圖文信息的類型和對(duì)圖文信息分類符所對(duì)應(yīng)圖文信息進(jìn)行處理的信息處理模塊；同時(shí)，通過所述參數(shù)設(shè)置單元輸入初始參數(shù)，所述初始參數(shù)包括所使用方形白紙(I)的尺寸信息； 步驟二、信息交互前期預(yù)處理，其預(yù)處理過程包括以下步驟 步驟201、獲取背景信息通過攝像頭(2)攝取操作平臺(tái)的圖像信息并同步上傳至處理器(3-1)，所攝取的操作平臺(tái)圖像信息即為信息交互用背景信息，且處理器(3-1)將所述背景信息存入存儲(chǔ)器(3-5)內(nèi)；· 步驟202、提取紙張信息將方形白紙(I)平鋪在步驟201中所述的操作平臺(tái)上，再通過攝像頭(2)攝取所述操作平臺(tái)和平鋪在所述操作平臺(tái)上的方形白紙(I)的組合式圖像信息，并將所攝取的所述組合式圖像信息同步上傳至處理器(3-1);之后，結(jié)合步驟201中所述背景信息，所述處理器(3-1)調(diào)用背景濾除模塊將所述組合式圖像信息中的所述背景信息減除，并相應(yīng)獲得需進(jìn)行信息交互的前景信息，且處理器(3-1)將所述前景信息存入存儲(chǔ)器(3-5)內(nèi)；之后，所述處理器(3-1)結(jié)合步驟一中所輸入方形白紙(I)的尺寸信息，并調(diào)用角點(diǎn)檢測(cè)模塊和直線檢測(cè)模塊，對(duì)所述前景信息中方形白紙(I)的四個(gè)頂點(diǎn)位置進(jìn)行確定，并相應(yīng)在所述前景信息中檢測(cè)出方形白紙(I)的具體位置； 步驟203、需交互信息采集處理器(3-1)采用書寫后采集方式或書寫同步采集方式，對(duì)方形白紙(I)上所書寫的需交互圖文信息進(jìn)行采集； 當(dāng)采用書寫后采集方式進(jìn)行采集時(shí)，步驟202中所述的方形白紙(I)為上部已書寫有一組或多組圖文信息的方形紙；且處理器(3-1)采用書寫后采集方式進(jìn)行采集時(shí)，處理器(3-1)調(diào)用圖像截取模塊將步驟202中已檢測(cè)出方形白紙(I)上的圖像信息截取出來(lái)，并將所截取圖像信息存入存儲(chǔ)器(3-5)內(nèi)；此時(shí)，存入存儲(chǔ)器(3-5)內(nèi)的所截取圖像信息便為需交互信息； 當(dāng)采用書寫同步采集方式進(jìn)行采集時(shí)，步驟202中所述的方形白紙(I)為空白紙；本步驟中，所述處理器(3-1)采用邊書寫邊采集的方式進(jìn)行采集，且實(shí)際進(jìn)行采集時(shí)，通過攝像頭(2)對(duì)書寫過程中各時(shí)刻方形白紙(I)上的圖像信息進(jìn)行實(shí)時(shí)攝取，并將實(shí)時(shí)所攝取信息同步傳送至處理器(3-1);處理器(3-1)調(diào)用視頻運(yùn)動(dòng)檢測(cè)模塊對(duì)攝像頭(2)實(shí)時(shí)所攝取信息進(jìn)行分析處理，并相應(yīng)實(shí)現(xiàn)對(duì)書寫過程中書寫筆(4)的筆尖進(jìn)行跟蹤，且通過跟蹤書寫筆(4)的筆尖，實(shí)時(shí)獲取書寫筆(4)在方形白紙(I)上所書寫的圖文信息，并將所獲取的圖文信息存入存儲(chǔ)器(3-5)內(nèi)；此時(shí)，存入存儲(chǔ)器(3-5)內(nèi)的實(shí)時(shí)所獲取書寫筆(4)在方形白紙(I)上所書寫的圖文信息，便為需交互信息； 步驟203中所述需交互信息包括一組或多組圖文信息；且所述需交互信息中的各組圖文信息為純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息、物理信息或仿真按鈕信息；其中，所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息的圖文信息分類符均為組合式標(biāo)識(shí)符，所述組合式標(biāo)識(shí)符由前后兩個(gè)相同的標(biāo)識(shí)符號(hào)組成；且所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息，均包括前后兩個(gè)相同的標(biāo)識(shí)符號(hào)和置于兩個(gè)所述標(biāo)識(shí)符號(hào)之間的圖文信息內(nèi)容；所述仿真按鈕信息的圖文信息分類符為一個(gè)單獨(dú)式標(biāo)識(shí)符，且所述仿真按鈕信息包括所述單獨(dú)式標(biāo)識(shí)符； 步驟203中所述需交互信息中的任一組所述物理信息，均與一組仿真按鈕信息通過關(guān)聯(lián)單元進(jìn)行關(guān)聯(lián)； 步驟三、信息交互，其信息交互過程如下 步驟301、信息分類符識(shí)別及信息分類處理器(3-1)調(diào)用符號(hào)識(shí)讀模塊，結(jié)合步驟一中所建立的交互信息識(shí)別模板庫(kù)，對(duì)步驟203中所述需交互信息中的圖文信息分類符進(jìn)行識(shí)讀，并根據(jù)所識(shí)讀出的圖文信息分類符對(duì)需交互圖文信息中的一組或多組圖文信息進(jìn)行分類； 所述符號(hào)識(shí)讀模塊所識(shí)讀出的圖文信息分類符總數(shù)量，即為方形紙上所繪制圖文信息的組數(shù)； 步驟302、信息處理采用處理器(3-1)對(duì)步驟203中所述需交互信息中的一組或多組圖文信息，分別進(jìn)行處理； 且對(duì)任一組圖文信息來(lái)說，所述處理器(3-1)均根據(jù)步驟301中所識(shí)讀出的該組圖文信息的圖文信息分類符，調(diào)用與該圖文信息分類符相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理。
2.按照權(quán)利要求I所述的一種基于普通紙筆的人機(jī)交互方法，其特征在于步驟203中采用書寫后采集方式進(jìn)行采集時(shí)，所述處理器(3-1)按照方形白紙(I)上所書寫圖文信息的書寫位置先后順序，由先至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行存儲(chǔ)；且步驟302中對(duì)所述需交互信息中的一組或多組圖文信息進(jìn)行處理時(shí)，按照存儲(chǔ)位置的先后順序，由前至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行處理； 步驟203中采用書寫同步采集方式進(jìn)行采集時(shí)，所述處理器(3-1)按照書寫時(shí)間的先后順序，由先至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行存儲(chǔ)；且步驟302中對(duì)所 述需交互信息中的一組或多組圖文信息進(jìn)行處理時(shí)，按照存儲(chǔ)位置的先后順序，由前至后對(duì)所述需交互信息中的所有圖文信息分別進(jìn)行處理。
3.按照權(quán)利要求I或2所述的一種基于普通紙筆的人機(jī)交互方法，其特征在于步驟一中多個(gè)類型所述圖文信息分類符包括純文字信息分類符(7-1)、草圖繪制信息分類符(7-2)、二維幾何繪制信息分類符(7-3)、三維幾何建模信息分類符(7-4)、物理信息分類符(7-5)和仿真按鈕信息分類符(7-6)； 步驟302中進(jìn)行信息處理時(shí)，對(duì)任一組圖文信息來(lái)說，當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述純文字信息分類符(7-1)時(shí)，該組圖文信息為純文字信息；且調(diào)用與所述純文字信息分類符(7-1)相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊調(diào)用文字識(shí)別模塊由前至后對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)另O，并將識(shí)別結(jié)果存為文本數(shù)據(jù)后存至存儲(chǔ)器(3-5)中； 當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述草圖繪制信息分類符(7-2)時(shí)，該組圖文信息為草圖繪制信息；且調(diào)用與所述草圖繪制信息分類符(7-2)相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊調(diào)用二維圖像處理模塊，將該組圖文信息中的圖文信息內(nèi)容存儲(chǔ)為圖片格式，并通過顯示器(3-2)進(jìn)行直觀顯示；當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述二維幾何繪制信息分類符(7-3)時(shí)，該組圖文信息為二維幾何繪制信息；且調(diào)用與所述二維幾何繪制信息分類符(7-3)相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維幾何圖形保存為圖片格式；之后，調(diào)用顏色識(shí)別模塊對(duì)該組圖文信息中圖文信息內(nèi)容的顏色進(jìn)行識(shí)另O，并根據(jù)識(shí)別結(jié)果且調(diào)用著色模塊對(duì)所保存的二維幾何圖形進(jìn)行著色；然后，通過顯示器(3-2)對(duì)著色后的二維幾何圖形進(jìn)行直觀顯示； 當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述三維幾何建模信息分類符(7-4)時(shí)，該組圖文信息為三維幾何建模信息；且調(diào)用與所述三維幾何建模信息分類符(7-4)相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維 圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維圖形信息保存至存儲(chǔ)器(3-5)中；再調(diào)用三維圖像處理模塊，將所識(shí)讀出的二維圖形信息轉(zhuǎn)換為三維圖形；之后，調(diào)用顏色識(shí)別模塊對(duì)該組圖文信息中圖文信息內(nèi)容的顏色進(jìn)行識(shí)別，并根據(jù)識(shí)別結(jié)果且調(diào)用著色模塊對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行著色；然后，通過顯示器(3-2)對(duì)著色后的三維圖形進(jìn)行直觀顯示； 當(dāng)步驟301中識(shí)讀出該組圖文信息的圖文信息分類符為所述物理信息分類符(7-5)時(shí)，該組圖文信息為物理信息；且調(diào)用與所述物理信息分類符(7-5)相對(duì)應(yīng)的信息處理模塊對(duì)該組圖文信息進(jìn)行處理時(shí)，所述信息處理模塊先調(diào)用二維圖像處理模塊，對(duì)該組圖文信息中的圖文信息內(nèi)容進(jìn)行識(shí)讀，并將識(shí)讀出的二維圖形信息保存至存儲(chǔ)器(3-5)中；再調(diào)用三維圖像處理模塊，將所識(shí)讀出的二維圖形信息轉(zhuǎn)換為三維圖形；之后，所述處理器(3-1)調(diào)用文字識(shí)別模塊和/或控制符號(hào)識(shí)別模塊，對(duì)是否存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息進(jìn)行識(shí)讀判斷，并將識(shí)讀判斷結(jié)果返回至處理器(3-1):當(dāng)識(shí)讀得出不存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息時(shí)，則無(wú)需進(jìn)行物理仿真，所述處理器(3-1)控制顯示器(3-2)對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行直觀顯示；否則，當(dāng)識(shí)讀得出存在與該組物理信息相關(guān)聯(lián)的仿真按鈕信息時(shí)，人為通過“遮擋或不遮擋方形白紙(I)上的該仿真按鈕信息”對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行控制，且此時(shí)處理器(3-1)調(diào)用仿真判斷模塊對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行判斷，并將判斷結(jié)果返回至處理器(3-1):當(dāng)判斷得出當(dāng)前狀態(tài)下需進(jìn)行仿真時(shí)，所述處理器(3-1)調(diào)用物理仿真系統(tǒng)，且利用轉(zhuǎn)換后的三維圖形進(jìn)行物理仿真；而當(dāng)判斷得出當(dāng)前狀態(tài)下不進(jìn)行仿真時(shí)，所述處理器(3-1)控制顯示器(3-2)對(duì)轉(zhuǎn)換后的三維圖形進(jìn)行直觀顯示。
4.按照權(quán)利要求I或2所述的一種基于普通紙筆的人機(jī)交互方法，其特征在于步驟302中當(dāng)調(diào)用與該圖文信息分類符相對(duì)應(yīng)的信息處理模塊無(wú)法對(duì)該組圖文信息進(jìn)行處理時(shí)，說明該組圖文信息的圖文信息分類符識(shí)別錯(cuò)誤；此時(shí)，所述處理器(3-1)調(diào)用分類符識(shí)別錯(cuò)誤標(biāo)注模塊對(duì)該組圖文信息進(jìn)行標(biāo)注，再調(diào)用信息修改模塊將該組圖文信息的分類信息調(diào)整為待修改狀態(tài)。
5.按照權(quán)利要求I或2所述的一種基于普通紙筆的人機(jī)交互方法，其特征在于步驟202中處理器(3-1)結(jié)合步驟一中所輸入方形白紙(I)的尺寸信息，并調(diào)用角點(diǎn)檢測(cè)模塊和直線檢測(cè)模塊，對(duì)所述前景信息中方形白紙(I)的四個(gè)頂點(diǎn)位置進(jìn)行確定時(shí)，其確定過程如下步驟2021、前景信息中方形白紙上方兩個(gè)頂點(diǎn)的位置確定處理器(3-1)調(diào)用目標(biāo)檢測(cè)模塊，且根據(jù)通過所述參數(shù)設(shè)置單元預(yù)先輸入的方形白紙(I)上方兩個(gè)頂點(diǎn)的圖像，在所述前景信息中檢測(cè)并確定出方形白紙(I)上方兩個(gè)頂點(diǎn)的位置； 步驟2022、前景信息中方形白紙上方兩個(gè)頂點(diǎn)的位置推算根據(jù)步驟2021中所確定的方形白紙(I)上方兩個(gè)頂點(diǎn)的位置，并結(jié)合步驟一中所輸入的方形白紙(I)的尺寸信息，所述處理器(3-1)相應(yīng)推算出方形白紙(I)下方兩個(gè)頂點(diǎn)的位置； 步驟2023、正交投影根據(jù)步驟2021和步驟2022中所確定的所述前景信息中方形白紙(I)四個(gè)頂點(diǎn)的位置，并結(jié)合步驟202中平鋪在所述操作平臺(tái)上的方形白紙(I)的四個(gè)頂點(diǎn)位置，建立平鋪在所述操作平臺(tái)上的方形白紙(I)四個(gè)頂點(diǎn)與所述前景信息中方形白紙(I)四個(gè)頂點(diǎn)之間的位置關(guān)系，且通過透射變換獲取透射變換矩陣，并相應(yīng)獲得方形白紙(I)四個(gè)頂點(diǎn)的正投影點(diǎn)。
6.按照權(quán)利要求I或2所述的一種基于普通紙筆的人機(jī)交互方法，其特征在于步驟203中進(jìn)行需交互信息采集時(shí)，平鋪在所述操作平臺(tái)上的方形白紙(I)位置保持不動(dòng)。
7.按照權(quán)利要求I或2所述的一種基于普通紙筆的人機(jī)交互方法，其特征在于步驟202中所述的方形紙(I)上面通過多個(gè)封閉邊框線(5)劃分為多個(gè)信息輸入?yún)^(qū)(6)，且步驟203中所述需交互信息中的每一組圖文信息均書寫在一個(gè)信息輸入?yún)^(qū)(6)內(nèi)； 步驟301中進(jìn)行信息分類符識(shí)別及信息分類的同時(shí)，所述處理器(3-1)根據(jù)對(duì)步驟203中所述需交互信息中圖文信息分類符的識(shí)讀結(jié)果，并結(jié)合方形紙(I)上的多個(gè)所述封閉邊框線(5)，且調(diào)用圖像截割模塊將所述需交互信息分隔為一個(gè)或多個(gè)信息區(qū)域，所述信息區(qū)域的數(shù)量與所識(shí)讀出的所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息的圖文信息分類符總數(shù)量相同，且步驟203中所述需交互信息中的每一組圖文信息分別位于一個(gè)所述信息區(qū)域內(nèi)；步驟302中進(jìn)行信息處理時(shí)，所述處理器(3-1)對(duì)一個(gè)或多個(gè)所述信息區(qū)域分別進(jìn)行處理。
8.按照權(quán)利要求7所述的一種基于普通紙筆的人機(jī)交互方法，其特征在于步驟203中所述組合式標(biāo)識(shí)符中的前后兩個(gè)相同的標(biāo)識(shí)符號(hào)，分別布設(shè)在封閉邊框線(5)的左側(cè)上部和右側(cè)下部；所述仿真按鈕信息布設(shè)在與其相關(guān)聯(lián)的一組物理信息所處的封閉邊框線(5)的左側(cè)下部。
9.按照權(quán)利要求3所述的一種基于普通紙筆的人機(jī)交互方法，其特征在于所述純文字信息分類符(7-1)為七”，所述草圖繪制信息分類符(7-2)為《「」”，所述二維幾何繪制信息分類符(7-3)為《+ +，，，所述三維幾何建模信息分類符(7-4)為《# #，，，所述物理信息的圖文信息分類符為#，，；所述仿真按鈕信息分類符(7-6)為《I，，，當(dāng)人為遮擋方形白紙(I)上的“敘，，表示當(dāng)前狀態(tài)下需進(jìn)行仿真時(shí)，所述處理器(3-1)調(diào)用仿真判斷模塊對(duì)當(dāng)前狀態(tài)下“是否進(jìn)行仿真”進(jìn)行判斷，并將判斷結(jié)果返回至處理器(3-1):當(dāng)判斷得出當(dāng)前狀態(tài)下“#，，因遮擋不可見時(shí)，表示當(dāng)前狀態(tài)下需進(jìn)行仿真；否則，當(dāng)判斷得出當(dāng)前狀態(tài)下“長(zhǎng)，，因不遮擋可見時(shí)，表示當(dāng)前狀態(tài)下不進(jìn)行仿真。
10.一種用于實(shí)現(xiàn)如權(quán)利要求I所述人機(jī)交互方法的人機(jī)交互系統(tǒng)，其特征在于包括平鋪在操作平臺(tái)上的方形白紙(I)、用于在方形白紙(I)上繪制一組或多組圖文信息的書寫筆(4)、實(shí)時(shí)對(duì)方形白紙(I)與方形白紙(I)上所繪制圖文信息進(jìn)行攝取的攝像頭(2)、與攝像頭(2)相接且對(duì)攝像頭(2)所攝取圖像信息進(jìn)行識(shí)別和分析處理的處理器(3-1)以及分別與處理器(3-1)相接的參數(shù)設(shè)置單元、存儲(chǔ)器(3-5)和對(duì)處理器(3-1)的分析處理結(jié)果進(jìn)行同 步顯示的顯示器(3-2)，所述攝像頭(2)布設(shè)在方形白紙(I)的正前方。
全文摘要
本發(fā)明公開了一種基于普通紙筆的人機(jī)交互方法及人機(jī)交互系統(tǒng)，其交互方法包括步驟一、建立交互信息識(shí)別模板庫(kù)并輸入初始參數(shù)；二、信息交互前期預(yù)處理獲取背景信息、提取紙張信息與需交互信息采集；三、信息交互，其信息交互過程如下信息分類符識(shí)別及信息分類和信息處理；其交互系統(tǒng)包括平鋪在操作平臺(tái)上的方形白紙、攝像頭、與攝像頭相接的控制器以及分別與控制器相接的參數(shù)設(shè)置單元、存儲(chǔ)器和顯示器。本發(fā)明設(shè)計(jì)新穎合理、投資成本低、便于控制并且使用效果好、操作性非常強(qiáng)，輸寫方便，能簡(jiǎn)便將人們?cè)缫蚜?xí)慣的紙筆輸入和現(xiàn)代化計(jì)算機(jī)技術(shù)結(jié)合在一起，簡(jiǎn)便實(shí)現(xiàn)二維、三維場(chǎng)景模擬與物理仿真。
文檔編號(hào)G06K9/62GK102929387SQ20121035876
公開日2013年2月13日 申請(qǐng)日期2012年9月25日 優(yōu)先權(quán)日2012年9月25日
發(fā)明者柳有權(quán), 蘇仙鶴, 鄭偉 申請(qǐng)人:長(zhǎng)安大學(xué)