專利名稱：骨性手術(shù)模擬人機交互輸入方法及裝置和圖像識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人機交互輸入方法及裝置，特別是一種骨性手術(shù)模擬人機交互輸 入方法及裝置和圖像識別方法。
背景技術(shù)：
隨著醫(yī)學(xué)科學(xué)的發(fā)展和計算機對信息的處理能力的提高，計算機輔助外科手術(shù)成 為近十年新興起的現(xiàn)代數(shù)字醫(yī)療手段，而計算機輔助關(guān)節(jié)介入手術(shù)模擬與導(dǎo)航定位系統(tǒng)的 研究，是其中的關(guān)鍵，如何有效的利用計算機的處理能力成為了一個新課題，即人機交互。 目前，鍵盤和鼠標(biāo)的輸入方式最為普遍，但有局限性、不能滿足實際需要；手寫輸入速度較 慢；語音輸入識別難度大，短期內(nèi)難以用作復(fù)雜的應(yīng)用；觸摸屏輸入成本高，對距離要求 高；數(shù)字化儀輸入和掃描輸入針對的領(lǐng)域有限；而三維輸入與其他的輸入方式相比、在使 用者的感受上占有很大的優(yōu)勢，但是目前的三維輸入設(shè)備成本很高，難以推廣。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種骨性手術(shù)模擬人機交互輸入方法及裝置和圖像識別 方法，它以視覺輸入的方式來實現(xiàn)三維輸入的效果，克服了鍵盤、鼠標(biāo)等輸入方式的局限 性，能滿足骨性手術(shù)模擬的實際需要，它可以采用FPGA技術(shù)進行設(shè)計，相比三維輸入設(shè)備 成本和運行功耗較低，并且可提高設(shè)計效率，它還可采用識別效果良好的圖像識別模塊，識 別速度可達到完全實時，可實現(xiàn)基本的三維模型的交互方式，可使用多種手術(shù)刀模型對骨 骼進行切割。本發(fā)明的技術(shù)方案一種骨性手術(shù)模擬人機交互輸入方法，包括 采集操作者圖像信息；
處理并儲存操作者圖像信息；
發(fā)出圖像識別請求，讀取圖像信息；
對圖像信息進行識別，給出每一幀圖像的位置信息；
根據(jù)圖像的位置信息，分析、判斷操作者發(fā)出的動作信息，并對顯示參數(shù)作出相應(yīng)的修
改；
將操作者的動作信息實時的通過顯示設(shè)備顯示；
對圖像的位置信息和操作者的動作信息進行整合處理，去掉采集過程中干擾較大的數(shù)
據(jù)；
將數(shù)據(jù)信息發(fā)送給PC端。前述的骨性手術(shù)模擬人機交互輸入方法中，所述采集操作者圖像信息的方法為 操作者戴設(shè)有紅外線發(fā)射裝置的手套在顯示設(shè)備前做出包含輸入指令的手勢，圖像傳感器 采集手勢圖像紅外光點。前述的骨性手術(shù)模擬人機交互輸入方法中，所述處理并儲存操作者圖像信息的方 法為對圖像信息進行鏡像、顏色轉(zhuǎn)換處理，然后存入圖像數(shù)據(jù)緩存區(qū)。
前述的骨性手術(shù)模擬人機交互輸入方法中，所述對圖像信息進行識別的方法為 在獲取圖像信息的同時從上向下掃描整幅圖像；
在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；
如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方； 在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。本方法在接收圖像信息的同時得出了識別結(jié)果，達到了完全的實時，并且在整個 掃描過程中同時記錄的信息只有掃描的當(dāng)前行和前一行的線段信息，所以需要的存儲空間 很小。在容錯性和抗干擾能力方面，由于我們只保留了最大的兩個光斑，所以對于有其他較 小光點干擾的情況能夠很好的解決。為了處理出現(xiàn)內(nèi)空點的這種常見擾動，在行內(nèi)掃描時 我們將空了一個點也視為連續(xù)線段。這兩個機制的結(jié)合使本方法對于邊緣不平整，圖形不 規(guī)則，內(nèi)空點較多的情況也能夠很好地解決。前述的骨性手術(shù)模擬人機交互輸入方法中，分析、判斷操作者發(fā)出的動作信息的 方法為以狀態(tài)機的方式通過分析最近幾幀圖像的定位變化判斷操作者的動作，并對顯示 參數(shù)作出相應(yīng)的修改。前述的骨性手術(shù)模擬人機交互輸入方法中，所述對圖像的位置信息和操作者的動 作信息進行整合處理的方法為搭建一個以NiosII/f 型軟核處理器為核心的S0PC系統(tǒng)，運 行uC/OS-II嵌入式操作系統(tǒng)，將圖像識別模塊給出的坐標(biāo)點和動作解析模塊識別出的操 作者動作信息進行整合處理，去掉采集過程中干擾較大的數(shù)據(jù)。前述的骨性手術(shù)模擬人機交互輸入方法中，所述將數(shù)據(jù)信息發(fā)送給PC端的方法 為通過串口通信接口將信息發(fā)送給PC端。前述的骨性手術(shù)模擬人機交互輸入方法中，圖像傳感器采集手勢圖像紅外光點的 方法包括圖像傳感器的圖像采集分辨率為640x480，訪問圖像采集緩存的速度為60Hz。實現(xiàn)前述方法的骨性手術(shù)模擬人機交互輸入裝置，包括 圖像采集模塊，用于采集操作者動作圖像信息；
圖像處理模塊，用于對采集到的操作者動作圖像信息進行鏡像、顏色轉(zhuǎn)換處理； 圖像儲存模塊，用于儲存圖像數(shù)據(jù)；
數(shù)據(jù)請求模塊，用于向圖像儲存模塊發(fā)出數(shù)據(jù)讀取請求，并讀取圖像信息到圖像識別 模塊；
圖像識別模塊，用于對圖像信息進行識別，得到圖像的位置信息；
動作解析模塊，用于分析、判斷操作者發(fā)出的動作信息，并對顯示參數(shù)作出相應(yīng)的修
改；
圖像顯示控制模塊，用于控制顯示設(shè)備；
通信模塊，用于對圖像的位置信息和操作者的動作信息進行整合處理，去掉采集過程 中干擾較大的數(shù)據(jù)；并將數(shù)據(jù)信息發(fā)送到PC端；
圖像采集模塊采集圖像數(shù)據(jù)，經(jīng)過圖像處理模塊處理后、將其存儲到圖像儲存模塊，數(shù)據(jù)請求模塊向圖像儲存模塊發(fā)出請求，并讀取圖像數(shù)據(jù)到圖像識別模塊，圖像識別模塊對 讀取到的圖像數(shù)據(jù)進行識別，將得到的圖像位置信息發(fā)送到動作解析模塊和通信模塊，動 作解析模塊分析、判斷操作者發(fā)出的動作信息，并將此信息反饋給通信模塊和圖像顯示控 制模塊，通信模塊將圖像位置信息和操作者動作信息進行整合處理，去掉采集過程中干擾 較大的數(shù)據(jù)、并將數(shù)據(jù)信息發(fā)送到PC端，圖像顯示控制模塊將信息發(fā)送給顯示設(shè)備。前述的骨性手術(shù)模擬人機交互輸入裝置中，所述圖像采集模塊包括設(shè)有紅外線 發(fā)射裝置的手套、用于采集圖像紅外光點的圖像傳感器和用于對傳感器進行配置的傳感器 控制模塊。前述的骨性手術(shù)模擬人機交互輸入裝置中，所述圖像處理模塊包括鏡像模塊和顏 色轉(zhuǎn)換模塊，圖像儲存模塊包括圖像數(shù)據(jù)緩存區(qū)。前述的骨性手術(shù)模擬人機交互輸入裝置中，所述圖像識別模塊 在獲取圖像信息的同時從上向下掃描整幅圖像；
在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；
如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方； 在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。前述的骨性手術(shù)模擬人機交互輸入裝置中，所述動作解析模塊以狀態(tài)機的方式通 過分析最近幾幀圖像的定位變化判斷操作者的動作，并對顯示參數(shù)做出相應(yīng)的修改。前述的骨性手術(shù)模擬人機交互輸入裝置中，所述通信模塊由NiosII嵌入式軟核 處理器以及RS-232串口通信接口組成；處理器將圖像識別模塊給出的坐標(biāo)點和動作解析 模塊識別出的操作者動作信息進行整合處理，去掉采集過程中干擾較大的數(shù)據(jù)，然后通過 串口通信接口發(fā)送到PC端。前述的骨性手術(shù)模擬人機交互輸入裝置中，所述數(shù)據(jù)請求模塊、圖像識別模塊和 動作解析模塊通過FPGA程序?qū)崿F(xiàn)，還包括用作FPGA程序的掉電保護的EPCS16和用作 NiosII程序的掉電保護的Flash。前述的骨性手術(shù)模擬人機交互輸入裝置中，所述傳感器控制模塊設(shè)置圖像傳感器 的圖像采集分辨率為640x480，訪問圖像采集緩存的速度為60Hz，傳感器控制模塊為I2C模 塊；為了確保對用戶操作作出響應(yīng)的實時性，本發(fā)明的識別時間為1/60秒，大于或小于這 個值的情況下需要使用多個時鐘周期進行，難以達到實時響應(yīng)的要求。一種人機交互輸入中的圖像識別方法，即對圖像信息進行識別的方法為 在獲取圖像信息的同時從上向下掃描整幅圖像；
在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；
如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方；
7在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。本裝置可以實現(xiàn)以下三種輸入指令
拖動用戶執(zhí)行拖動操作的方式為，將左手保持在右手的左下方，然后勻速移動右手， 移動的方向和幅度會立刻反映到當(dāng)前目標(biāo)對象位置的變化上。用戶通過該操作可以將窗口 拖動到屏幕上的任何位置。縮放用戶執(zhí)行縮放操作的方式為，將左手保持在右手的左上方，然后將兩手同時 向兩側(cè)或中心移動，移動的方向和幅度會立刻反映到當(dāng)前目標(biāo)對象大小的變化上。用戶通 過該操作可以對目標(biāo)對象進行固定比例的縮放。切換用戶執(zhí)行切換操作的方式為，將左手保持在右手的左上方，左手向左下方移 動，右手向右上方移動為向下一個目標(biāo)對象切換；左手向右上方移動，右手向左下方移動為 向上一個目標(biāo)對象切換。用戶通過該操作可以切換當(dāng)前的目標(biāo)對象。通過以上三種操作的組合，用戶可以進行模型瀏覽、旋轉(zhuǎn)，以及選擇模型，使用手 術(shù)刀切割模型等操作。根據(jù)需要，我們還可以自定義新的動作作為其他指令輸入手術(shù)模擬 系統(tǒng)。與現(xiàn)有技術(shù)相比，本發(fā)明以視覺輸入的方式來實現(xiàn)三維輸入的效果，以實際的動 作代替手術(shù)模擬中鼠標(biāo)的操作，克服了鍵盤、鼠標(biāo)等輸入方式的局限性，更具真實感，能滿 足骨性手術(shù)模擬的實際需要，它可以采用FPGA的技術(shù)進行設(shè)計，相比三維輸入設(shè)備降低 了設(shè)計成本和運行功耗，提高了設(shè)計效率。本發(fā)明還可采用圖像識別效果良好的圖像識 別模塊，圖像識別模塊中圖像識別參數(shù)至關(guān)重要，可采用圖像傳感器，圖像采集的分辨率 為640x480。為了確保對用戶操作做出響應(yīng)的實時性，本發(fā)明的圖像識別模塊識別時間為 1/60秒，大于或小于這個值的情況下需要使用多個時鐘周期進行，難以達到實時響應(yīng)的要 求，圖像識別模塊在接收圖像信息的同時得出了識別結(jié)果，達到了完全的實時，并且在整個 掃描過程中同時記錄的信息只有掃描的當(dāng)前行和前一行的線段信息，所以需要的存儲空間 很小，在容錯性和抗干擾能力方面，由于只保留了最大的兩個光斑，所以對于有其他較小光 點干擾的情況能夠很好的解決。為了處理出現(xiàn)內(nèi)空點的這種常見擾動，在行內(nèi)掃描時將空 了一個點也視為連續(xù)線段。這兩個機制的結(jié)合使本圖像識別模塊對于邊緣不平整，圖形不 規(guī)則，內(nèi)空點較多的情況也能夠很好地解決；因此它的識別效果良好，識別速度達到了完全 實時，可實現(xiàn)基本的三維模型的交互方式，并可使用多種手術(shù)刀模型對骨骼進行切割。本發(fā)明的人機交互輸入中的圖像識別方法，在接收圖像信息的同時可得出識別結(jié) 果，達到了完全的實時，并且在整個掃描過程中同時記錄的信息只有掃描的當(dāng)前行和前一 行的線段信息，所以需要的存儲空間很小，在容錯性和抗干擾能力方面，由于只保留了最大 的兩個光斑，所以對于有其他較小光點干擾的情況能夠很好的解決。為了處理出現(xiàn)內(nèi)空點 的這種常見擾動，在行內(nèi)掃描時將空了一個點也視為連續(xù)線段。這兩個機制的結(jié)合使本圖 像識別模塊對于邊緣不平整，圖形不規(guī)則，內(nèi)空點較多的情況也能夠很好地解決。


圖1是本發(fā)明的一種實施例的結(jié)構(gòu)示意圖。附圖中的標(biāo)記為1_圖像采集模塊，2-圖像處理模塊，3-圖像儲存模塊，4-數(shù)據(jù)請
8求模塊，5-圖像識別模塊，6-動作解析模塊，7-圖像顯示控制模塊，8-顯示設(shè)備，9-通信模 塊，10-傳感器控制模塊，11-鏡像模塊，12-顏色轉(zhuǎn)換模塊。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明作進一步的說明。本發(fā)明實施例一種骨性手術(shù)模擬人機交互輸入方法，所述方法包括 采集操作者圖像信息；
處理并儲存操作者圖像信息；
發(fā)出圖像識別請求，讀取圖像信息；
對圖像信息進行識別，給出每一幀圖像的位置信息；
根據(jù)圖像的位置信息，分析、判斷操作者發(fā)出的動作信息，并對顯示參數(shù)作出相應(yīng)的修
改；
將操作者的動作信息實時的通過顯示設(shè)備顯示；
對圖像的位置信息和操作者的動作信息進行整合處理，去掉采集過程中干擾較大的數(shù)
據(jù)；
將數(shù)據(jù)信息發(fā)送給PC端。所述采集操作者圖像信息的方法為操作者戴設(shè)有紅外線發(fā)射裝置的手套在顯示 設(shè)備前做出包含輸入指令的手勢，圖像傳感器采集手勢圖像紅外光點。所述處理并儲存操作者圖像信息的方法為對圖像信息進行鏡像、顏色轉(zhuǎn)換處理， 然后存入圖像數(shù)據(jù)緩存區(qū)。所述對圖像信息進行識別的方法為
在獲取圖像信息的同時從上向下掃描整幅圖像； 在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；
如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方； 在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。分析、判斷操作者發(fā)出的動作信息的方法為以狀態(tài)機的方式通過分析最近幾幀 圖像的定位變化判斷操作者的動作，并對顯示參數(shù)作出相應(yīng)的修改。所述對圖像的位置信息和操作者的動作信息進行整合處理的方法為搭建一個以 NiosII/f型軟核處理器為核心的S0PC系統(tǒng)，運行uC/OS-II嵌入式操作系統(tǒng)，將圖像識別模 塊給出的坐標(biāo)點和動作解析模塊識別出的操作者動作信息進行整合處理，去掉采集過程中 干擾較大的數(shù)據(jù)。所述將數(shù)據(jù)信息發(fā)送給PC端的方法為通過串口通信接口將信息發(fā)送給PC端。圖像傳感器采集手勢圖像紅外光點的方法包括圖像傳感器的圖像采集分辨率為 640x480，訪問圖像采集緩存的速度為60Hz。實現(xiàn)前述方法的骨性手術(shù)模擬人機交互輸入裝置，包括圖像采集模塊1，用于采集操作者動作圖像信息；
圖像處理模塊2，用于對采集到的操作者動作圖像信息進行鏡像、顏色轉(zhuǎn)換處理； 圖像儲存模塊3，用于儲存圖像數(shù)據(jù)；
數(shù)據(jù)請求模塊4，用于向圖像儲存模塊發(fā)出數(shù)據(jù)讀取請求，并讀取圖像信息到圖像識別 模塊；
圖像識別模塊5，用于對圖像信息進行識別，得到圖像的位置信息； 動作解析模塊6，用于分析、判斷操作者發(fā)出的動作信息； 圖像顯示控制模塊7，用于控制顯示設(shè)備8 ；
通信模塊9，用于對圖像的位置信息和操作者的動作信息進行整合處理，去掉采集過程 中干擾較大的數(shù)據(jù)；并將數(shù)據(jù)信息發(fā)送到PC端；
圖像采集模塊1采集圖像數(shù)據(jù)，經(jīng)過圖像處理模塊2處理后、將其存儲到圖像儲存模塊 3，數(shù)據(jù)請求模塊4向圖像儲存模塊3發(fā)出請求，并讀取圖像數(shù)據(jù)到圖像識別模塊5，圖像識 別模塊5對讀取到的圖像數(shù)據(jù)進行識別，將得到的圖像位置信息發(fā)送到動作解析模塊6和 通信模塊9，動作解析模塊6分析、判斷操作者發(fā)出的動作信息，并將此信息反饋給通信模 塊9和圖像顯示控制模塊7，通信模塊9將圖像位置信息和操作者動作信息進行整合處理， 去掉采集過程中干擾較大的數(shù)據(jù)、并將數(shù)據(jù)信息發(fā)送到PC端，圖像顯示控制模塊7將信息 發(fā)送給顯示設(shè)備8。采用DE2 開發(fā)板中 FPGA、SDRAM、Flash、EPCS16、XSGA10 位數(shù)模轉(zhuǎn)換器、RS-232 等 資源，臺灣友晶公司推出的DE2配套攝像頭TRDB-DC2，通過I2C模塊對其圖像傳感器進行配 置，采用的圖像采集分辨率為640x480，訪問圖像采集緩存的速度為60Hz。所述圖像采集模塊包括設(shè)有紅外線發(fā)射裝置的手套、用于采集圖像紅外光點的 圖像傳感器和用于對傳感器進行配置的傳感器控制模塊10、本實施例中為I2C模塊，圖像 數(shù)據(jù)從GPI0端口輸入。所述圖像處理模塊2包括鏡像模塊11和顏色轉(zhuǎn)換模塊12，圖像儲存模塊3包括 SDRAM的圖像數(shù)據(jù)緩存區(qū)。所述圖像識別模塊5
在獲取圖像信息的同時從上向下掃描整幅圖像； 在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；
如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方； 在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。所述動作解析模塊6以狀態(tài)機的方式通過分析最近幾幀圖像的定位變化判斷操 作者的動作，并對顯示參數(shù)做出相應(yīng)的修改。所述通信模塊9由NiosII嵌入式軟核處理器以及RS-232串口通信接口組成；處 理器將圖像識別模塊5給出的坐標(biāo)點和動作解析模塊6識別出的操作者動作信息進行整合 處理，去掉采集過程中干擾較大的數(shù)據(jù)，然后通過串口通信接口發(fā)送到PC端。
所述數(shù)據(jù)請求模塊4、圖像識別模塊5和動作解析模塊6通過FPGA程序?qū)崿F(xiàn)，還包 括用作FPGA程序的掉電保護的EPCS16和用作NiosII程序的掉電保護的Flash。一種人機交互輸入中的圖像識別方法，所述對圖像信息進行識別的方法為 在獲取圖像信息的同時從上向下掃描整幅圖像；
在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；
如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方； 在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。本發(fā)明的骨性手術(shù)模擬人機交互輸入裝置的工作流程 步驟1 圖像采集模塊1采集圖像數(shù)據(jù)；
步驟2 經(jīng)過圖像處理模塊2處理后、將其存儲到圖像儲存模塊3 ；
步驟3 數(shù)據(jù)請求模塊4向圖像儲存模塊3發(fā)出請求，并讀取圖像數(shù)據(jù)到圖像識別模塊
5 ；
步驟4 圖像識別模塊5對讀取到的圖像數(shù)據(jù)進行識別，將得到的圖像位置信息反饋給 動作解析模塊6和通信模塊9 ；
步驟5 動作解析模塊6分析、判斷操作者發(fā)出的動作信息，對顯示參數(shù)作出相應(yīng)的修 改，并將此信息發(fā)送給通信模塊9和圖像顯示控制模塊7 ；
步驟6 通信模塊9將圖像位置信息和操作者動作信息進行整合處理，去掉采集過程中 干擾較大的數(shù)據(jù)、并將數(shù)據(jù)信息發(fā)送到PC端，圖像顯示控制模塊7將信息發(fā)送給顯示設(shè)備 8。對于本發(fā)明來說，動作識別的準(zhǔn)確度和操作反映到顯示變化的響應(yīng)時間是最重要 的兩個性能參數(shù)，為了盡可能的提高動作識別的準(zhǔn)確度，縮短操作反映到顯示變化的響應(yīng) 時間，盡可能達到實時響應(yīng)的效果，本申請人對系統(tǒng)資源和顯示參數(shù)等指標(biāo)都進行了細致 的設(shè)計，并對于總體資源的使用進行了評估。在估計資源使用情況的過程中，我們主要關(guān)心 本發(fā)明的設(shè)計對LE和片上存儲空間的使用。對于LE的使用，考慮到Fitting帶來的各種 延遲會降低系統(tǒng)頻率，影響系統(tǒng)的實時性，本申請人計劃使用不超過60%的LE資源。在使 用片上的存儲空間方面，相對于使用片外存儲空間，使用片上存儲空間的效率更高，復(fù)雜度 更低，所以本申請人計劃充分利用片上存儲空間。具體的使用資源見表1
圖像識別參數(shù)在本發(fā)明中至關(guān)重要，本實施例采用臺灣友晶公司的TRDB-DC2作為圖 像采集設(shè)備，采集的分辨率為640x480。為了確保對用戶操作做出響應(yīng)的實時性，本發(fā)明的 圖像識別時間為1/60秒，并且可以同步處理，即在掃描過每一屏的象素點后要馬上輸出識 別出的坐標(biāo)點。本發(fā)明的識別方法可以在系統(tǒng)主頻較低、資源有限的情況下保證系統(tǒng)的實 時性，同時具有較好的抗干擾能力。具體的圖像識別參數(shù)見表2
表2本實施例的圖像識別參數(shù)
權(quán)利要求
一種骨性手術(shù)模擬人機交互輸入方法，其特征在于，所述方法包括采集操作者圖像信息；處理并儲存操作者圖像信息；發(fā)出圖像識別請求，讀取圖像信息；對圖像信息進行識別，給出每一幀圖像的位置信息；根據(jù)圖像的位置信息，分析、判斷操作者發(fā)出的動作信息，并對顯示參數(shù)作出相應(yīng)的修改；將操作者的動作信息實時的通過顯示設(shè)備顯示；對圖像的位置信息和操作者的動作信息進行整合處理，去掉采集過程中干擾較大的數(shù)據(jù)；將數(shù)據(jù)信息發(fā)送給PC端。
2.根據(jù)權(quán)利要求1所述的骨性手術(shù)模擬人機交互輸入方法，其特征在于，所述采集操 作者圖像信息的方法為操作者戴設(shè)有紅外線發(fā)射裝置的手套在顯示設(shè)備前做出包含輸入 指令的手勢，圖像傳感器采集手勢圖像紅外光點。
3.根據(jù)權(quán)利要求1或2所述的骨性手術(shù)模擬人機交互輸入方法，其特征在于，所述處理 并儲存操作者圖像信息的方法為對圖像信息進行鏡像、顏色轉(zhuǎn)換處理，然后存入圖像數(shù)據(jù) 緩存區(qū)。
4.根據(jù)權(quán)利要求1或2所述的骨性手術(shù)模擬人機交互輸入方法，其特征在于，所述對圖 像信息進行識別的方法為在獲取圖像信息的同時從上向下掃描整幅圖像； 在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方； 在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。
5.根據(jù)權(quán)利要求4所述的骨性手術(shù)模擬人機交互輸入方法，其特征在于，分析、判斷操 作者發(fā)出的動作信息的方法為以狀態(tài)機的方式通過分析最近幾幀圖像的定位變化判斷操 作者的動作，并對顯示參數(shù)作出相應(yīng)的修改。
6.根據(jù)權(quán)利要求4所述的骨性手術(shù)模擬人機交互輸入方法，其特征在于，所述對圖像 的位置信息和操作者的動作信息進行整合處理的方法為搭建一個以NiosII/f型軟核處 理器為核心的SOPC系統(tǒng)，運行uC/OS-II嵌入式操作系統(tǒng)，將圖像識別模塊給出的坐標(biāo)點和 動作解析模塊識別出的操作者動作信息進行整合處理，去掉采集過程中干擾較大的數(shù)據(jù)。
7.根據(jù)權(quán)利要求5或6所述的骨性手術(shù)模擬人機交互輸入方法，其特征在于，所述將數(shù) 據(jù)信息發(fā)送給PC端的方法為通過串口通信接口將信息發(fā)送給PC端。
8.根據(jù)權(quán)利要求7所述的骨性手術(shù)模擬人機交互輸入方法，其特征在于，圖像傳感器 采集手勢圖像紅外光點的方法包括圖像傳感器的圖像采集分辨率為640x480，訪問圖像 采集緩存的速度為60Hz。
9.如權(quán)利要求1 8所述方法的骨性手術(shù)模擬人機交互輸入裝置，其特征在于，包括 圖像采集模塊(1)，用于采集操作者動作圖像信息；圖像處理模塊(2)，用于對采集到的操作者動作圖像信息進行鏡像、顏色轉(zhuǎn)換處理； 圖像儲存模塊(3)，用于儲存圖像數(shù)據(jù)；數(shù)據(jù)請求模塊(4)，用于向圖像儲存模塊發(fā)出數(shù)據(jù)讀取請求，并讀取圖像信息到圖像識 別模塊；圖像識別模塊(5)，用于對圖像信息進行識別，得到圖像的位置信息； 動作解析模塊(6)，用于分析、判斷操作者發(fā)出的動作信息，并對顯示參數(shù)作出相應(yīng)的 修改；圖像顯示控制模塊(7)，用于控制顯示設(shè)備(8)；通信模塊(9)，用于對圖像的位置信息和操作者的動作信息進行整合處理，去掉采集過 程中干擾較大的數(shù)據(jù)；并將數(shù)據(jù)信息發(fā)送到PC端；圖像采集模塊(1)采集圖像數(shù)據(jù)，經(jīng)過圖像處理模塊(2)處理后、將其存儲到圖像儲存 模塊(3)，數(shù)據(jù)請求模塊(4)向圖像儲存模塊(3)發(fā)出請求，并讀取圖像數(shù)據(jù)到圖像識別模 塊(5)，圖像識別模塊(5)對讀取到的圖像數(shù)據(jù)進行識別，將得到的圖像位置信息發(fā)送到動 作解析模塊(6)和通信模塊(9)，動作解析模塊(6)分析、判斷操作者發(fā)出的動作信息，并將 此信息反饋給通信模塊(9 )和圖像顯示控制模塊(7 )，通信模塊(9 )將圖像位置信息和操作 者動作信息進行整合處理，去掉采集過程中干擾較大的數(shù)據(jù)、并將數(shù)據(jù)信息發(fā)送到PC端， 圖像顯示控制模塊(7)將信息發(fā)送給顯示設(shè)備(8)。
10.根據(jù)權(quán)利要求9所述的骨性手術(shù)模擬人機交互輸入裝置，其特征在于，所述圖像采 集模塊包括設(shè)有紅外線發(fā)射裝置的手套、用于采集圖像紅外光點的圖像傳感器和用于對 傳感器進行配置的傳感器控制模塊(10)。
11.根據(jù)權(quán)利要求9或10所述的骨性手術(shù)模擬人機交互輸入裝置，其特征在于，所述圖 像處理模塊(2)包括鏡像模塊(11)和顏色轉(zhuǎn)換模塊(12)，圖像儲存模塊(3)包括圖像數(shù)據(jù) 緩存區(qū)。
12.根據(jù)權(quán)利要求9或10所述的骨性手術(shù)模擬人機交互輸入裝置，其特征在于，所述圖 像識別模塊(5)在獲取圖像信息的同時從上向下掃描整幅圖像； 在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方； 在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。
13.根據(jù)權(quán)利要求12所述的骨性手術(shù)模擬人機交互輸入裝置，其特征在于，所述動作 解析模塊(6)以狀態(tài)機的方式通過分析最近幾幀圖像的定位變化判斷操作者的動作，并對 顯示參數(shù)做出相應(yīng)的修改。
14.根據(jù)權(quán)利要求13所述的骨性手術(shù)模擬人機交互輸入裝置，其特征在于，所述通信模塊(9)由NiosII嵌入式軟核處理器以及RS-232串口通信接口組成；處理器將圖像識別 模塊給出的坐標(biāo)點和動作解析模塊識別出的操作者動作信息進行整合處理，去掉采集過程 中干擾較大的數(shù)據(jù)，然后通過串口通信接口發(fā)送到PC端。
15.根據(jù)權(quán)利要求13或14所述的骨性手術(shù)模擬人機交互輸入裝置，其特征在于，所述 數(shù)據(jù)請求模塊(4)、圖像識別模塊(5)和動作解析模塊(6)通過FPGA程序?qū)崿F(xiàn)，還包括用作 FPGA程序的掉電保護的EPCS16和用作NiosII程序的掉電保護的Flash。
16.根據(jù)權(quán)利要求15所述的骨性手術(shù)模擬人機交互輸入裝置，其特征在于，所述傳感 器控制模塊(10)設(shè)置圖像傳感器的圖像采集分辨率為640x480，訪問圖像采集緩存的速度 為60Hz，傳感器控制模塊為I2C模塊。
17.人機交互輸入中的圖像識別方法，其特征在于，所述對圖像信息進行識別的方法為在獲取圖像信息的同時從上向下掃描整幅圖像； 在掃描到某一行時只記錄該行中的連續(xù)光斑，從而得到若干個線段； 在對某一行進行掃描的同時試圖將當(dāng)前行的線段和上一行的線段進行匹配；如果成功 匹配則說明這兩條線段來自圖像中的同一光斑，累計該光斑已包含的點數(shù)；如果匹配失敗 說明這條線段很可能是一個新的光斑的第一行；如果一個光斑不能再被某一行的線段匹配，說明該行在光斑的正下方； 在一幀圖像的結(jié)尾通過統(tǒng)計掃描過程中出現(xiàn)的每個光斑的累積點數(shù)信息，選出最大的 兩個光斑作為識別結(jié)果，計算它們的坐標(biāo)并調(diào)整它們的編號順序。
全文摘要
本發(fā)明公開了一種骨性手術(shù)模擬人機交互輸入方法及裝置和圖像識別方法；所述方法包括采集操作者圖像信息；處理并儲存操作者圖像信息；發(fā)出圖像識別的請求，讀取圖像信息；對圖像信息進行識別，給出每一幀圖像的位置信息；根據(jù)圖像的位置信息，分析、判斷操作者發(fā)出的動作信息；將操作者的動作信息實時的通過顯示設(shè)備顯示；對圖像的位置信息和操作者的動作信息進行整合處理，去掉采集過程中干擾較大的數(shù)據(jù)；將數(shù)據(jù)信息發(fā)送給PC端；它以視覺輸入的方式來實現(xiàn)三維輸入的效果，克服了鍵盤、鼠標(biāo)等輸入方式的局限性，能滿足骨性手術(shù)模擬的實際需要。
文檔編號G06F3/01GK101853336SQ20101020029
公開日2010年10月6日 申請日期2010年6月13日 優(yōu)先權(quán)日2010年6月13日
發(fā)明者李浩宇, 許忠信 申請人:中國人民解放軍總醫(yī)院