專(zhuān)利名稱(chēng)：一種基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法。
背景技術(shù)：
人的眼球是一個(gè)角膜端為正極、視網(wǎng)膜端為負(fù)極的雙極性球體，當(dāng)在眼睛周?chē)m當(dāng)?shù)奈恢梅胖秒姌O后，可以采集到該視網(wǎng)膜靜息電位，稱(chēng)為眼電(Electro-Oculogram，簡(jiǎn)稱(chēng)E0G)。當(dāng)眼球上下、左右轉(zhuǎn)動(dòng)時(shí)，就可以分別在垂直、水平通道采集到相應(yīng)的眼電電位的變化，并且在轉(zhuǎn)動(dòng)角度小于30度的情況下，眼球所轉(zhuǎn)動(dòng)角度與眼電幅值是呈單調(diào)線性關(guān)系的。同時(shí)，由于眼電信號(hào)較其他生理信號(hào)(如腦電、心電)幅度較強(qiáng)，信號(hào)比較直觀，采集方便，從上世紀(jì)80年代以來(lái)，眼電已經(jīng)作為一種新型的人機(jī)接口控制源被廣泛研究?；谘垭婇_(kāi)發(fā)的應(yīng)用包括眼電鼠標(biāo)、打字、輪椅控制、智能家居等。

傳統(tǒng)的基于眼電的人機(jī)接口系統(tǒng)根據(jù)輸出信號(hào)的類(lèi)型可分為兩種一是離散的開(kāi)關(guān)量，將眼電信號(hào)映射為離散的命令序列，如上、下、左、右、眨眼等；二是連續(xù)的控制量，基于眼球轉(zhuǎn)動(dòng)角度與眼電幅值線性的關(guān)系，將眼球的轉(zhuǎn)動(dòng)映射連續(xù)的位移，如屏幕的鼠標(biāo)。前一種系統(tǒng)實(shí)現(xiàn)簡(jiǎn)單，控制穩(wěn)定，但能開(kāi)發(fā)的應(yīng)用單一；后一種系統(tǒng)可以實(shí)現(xiàn)連續(xù)的控制，但系統(tǒng)不穩(wěn)定，眼電信號(hào)漂移造成控制的不精確?？梢钥闯觯瑐鹘y(tǒng)的眼電系統(tǒng)是從眼電信號(hào)本身直接提取控制信號(hào)(離散或連續(xù)的)來(lái)控制外部設(shè)備的。這種控制方式需要眼睛一直參與控制過(guò)程，容易造成眼睛的疲勞；且控制過(guò)程中的每一個(gè)細(xì)節(jié)都需要眼電來(lái)指導(dǎo)，不能實(shí)現(xiàn)高效的控制。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法，
本發(fā)明實(shí)現(xiàn)上述目的所采取的技術(shù)手段是該基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法包括如下步驟
(1)在使用者的眼部周?chē)N有五個(gè)電極，所述五個(gè)電極分別位于距使用者右眼外眼角的水平距離2. 5厘米處、右眼眼球上方距右眼眼球中心豎直距離2厘米處、右眼眼球下方距右眼眼球中心豎直距離2厘米處、距左眼外眼角的水平距離2. 5厘米處和其中一個(gè)耳朵的耳垂處；
(2)使用者的視線固定于目標(biāo)物體上，在保持頭部不動(dòng)的狀態(tài)下，第一次連續(xù)兩次眨眼，接著用雙眼掃描目標(biāo)物體的邊界，掃描結(jié)束后再第二次連續(xù)兩次眨眼，分別在第一次連續(xù)兩次眨眼、第二次兩次連續(xù)眨眼和所述掃描的同時(shí)由各所述電極分別采集使用者眼球轉(zhuǎn)動(dòng)時(shí)所產(chǎn)生的水平和垂直通道的眼電信號(hào)；
(3)從步驟(2)所采集的垂直通道的眼電信號(hào)中分別識(shí)別出第一次連續(xù)兩次眨眼和第二次連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)；
(4)利用第一個(gè)連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)和第二個(gè)連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)標(biāo)定出所述掃描產(chǎn)生的眼電信號(hào)，并根據(jù)所述掃描產(chǎn)生的眼電信號(hào)重建出目標(biāo)物體的形狀；
(5)根據(jù)重建出的目標(biāo)物體的形狀計(jì)算目標(biāo)物體的長(zhǎng)度、寬度以及該目標(biāo)物體與水平方向的夾角。進(jìn)一步地，本發(fā)明中，使用者在第一次連續(xù)兩次眨眼時(shí)，將眼睛的視線固定在目標(biāo)物體的右下角；使用者是通過(guò)將雙眼視線以恒定的速度按逆時(shí)針?lè)较蜓啬繕?biāo)物體的邊界移動(dòng)一圈來(lái)實(shí)現(xiàn)步驟(2)所述的“用雙眼掃描目標(biāo)物體的邊界”；使用者在第二次連續(xù)兩次眨眼時(shí)，是將眼睛的視線固定在目標(biāo)物體的右下角。進(jìn)一步地，本發(fā)明步驟(4)所述的“重建出目標(biāo)物體的形狀”的方法是將所述掃描產(chǎn)生的水平通道和垂直通道的眼電信號(hào)分別作為橫坐標(biāo)值、縱坐標(biāo)值，根據(jù)所述橫坐標(biāo)值和縱坐標(biāo)值在二維平面內(nèi)畫(huà)出所述目標(biāo)物體的形狀。相對(duì)于現(xiàn)有技術(shù)，本發(fā)明具有以下優(yōu)點(diǎn)(1)利用兩次連續(xù)兩次眨眼之間的掃描信號(hào)估計(jì)目標(biāo)物體，可以最大限度減少眼電漂移的影響；(2)整個(gè)控制過(guò)程中不需要眼睛一直參與，可以減少眼睛的疲勞，延長(zhǎng)控制時(shí)間；(3)本發(fā)明方法區(qū)別于傳統(tǒng)的基于眼電的人機(jī)交互系統(tǒng)，從不同于傳統(tǒng)方法的另外一個(gè)角度出發(fā)，可從眼電信號(hào)中提取出目標(biāo)物體的長(zhǎng)度、寬度以及該目標(biāo)物體與水平方向的夾角；識(shí)別出的目標(biāo)物體的信息可以進(jìn)一步用于假手、假肢等外部設(shè)備的控制，實(shí)現(xiàn)人機(jī)交互，這樣可以避免眼電信號(hào)直接控制外部設(shè)備的局限性，實(shí)現(xiàn)了一種間接控制策略，從而實(shí)現(xiàn)精確高效的識(shí)別控制和交互。


圖1為本發(fā)明方法的流程框圖； 圖2為本發(fā)明眼電電極布置示意圖； 圖3為本發(fā)明眼電信號(hào)處理框圖4為本發(fā)明垂直通道眼電信號(hào)差分信號(hào)圖，其中(a)是垂直通道原始眼電信號(hào)，(b) 是(a)中垂直通道眼電信號(hào)差分后的結(jié)果；
圖5為本發(fā)明目標(biāo)物體大小和方向的計(jì)算識(shí)別示意圖，其中，(a)是目標(biāo)物體示意圖， (b)是掃描(a)時(shí)重建的目標(biāo)物體及擬合的橢圓示意圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。如圖1所示，本發(fā)明基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法具體步驟如下
使用者首先將電極貼于使用者眼部周?chē)奶囟ㄎ恢?，并開(kāi)始采集眼動(dòng)產(chǎn)生的水平與垂直通道的眼電信號(hào)。目標(biāo)物體一般置于使用者面前約70厘米的地方。使用者調(diào)整坐姿開(kāi)始掃描目標(biāo)物體。首先使用者的視線固定于目標(biāo)物體的右下角，在保持頭部不動(dòng)的狀態(tài)下， 連續(xù)兩次眨眼，接著用雙眼掃描目標(biāo)物體的邊界。本實(shí)施例中，“用雙眼掃描目標(biāo)物體的邊界”的一種具體做法是；使用者將雙眼視線以恒定的速度按逆時(shí)針?lè)较蜓啬繕?biāo)物體的邊界移動(dòng)一圈。掃描結(jié)束后視線回到目標(biāo)物體的右下角，再第二次連續(xù)兩次眨眼，整個(gè)掃描過(guò)程結(jié)束。記錄的眼電信號(hào)存儲(chǔ)在計(jì)算機(jī)內(nèi)，用于后續(xù)分析處理。本實(shí)施例所用電極為Ag/AgCl—次性電極，共有五個(gè)。如圖2所示，五個(gè)電極分別位于距使用者右眼外眼角的水平距離2. 5厘米處(位于右眼右側(cè))、右眼眼球上方距右眼眼球中心豎直距離2厘米處、右眼眼球下方距右眼眼球中心豎直距離2厘米處、距左眼外眼角的水平距離2. 5厘米處(位于左眼左側(cè))和其中一個(gè)耳朵的耳垂處。其中，右眼上、下的兩個(gè)電極采集到的信號(hào)做差分即可得到垂直通道眼電信號(hào)，左眼左側(cè)、右眼右側(cè)電極采集到的信號(hào)做差分即可得到水平通道眼電信號(hào)，耳垂處的電極作為參考地信號(hào)。采集的垂直與水平通道的眼電信號(hào)處理框圖如圖3所示。首先眼電信號(hào)通過(guò)截止頻率為20Hz的4階低通巴特沃茲濾波器，以去除眼電信號(hào)以外的其他干擾信號(hào)，如肌電、工頻干擾等。然后，對(duì)垂直通道眼電信號(hào)進(jìn)行差分，通過(guò)閾值法識(shí)別出第一次連續(xù)兩次眨眼和第二次連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)。圖4為垂直通道眼電信號(hào)差分信號(hào)圖，其中圖4 (a)是垂直通道原始眼電信號(hào)，在開(kāi)始和結(jié)束的位置包含兩個(gè)連續(xù)兩次眨眼動(dòng)作；圖4 (b)是圖4 (a)中眼電信號(hào)差分后的信號(hào)圖，眼電信號(hào)差分后，連續(xù)兩次眨眼信號(hào)變成兩個(gè)連續(xù)的波峰和波谷，同時(shí)可以去除眼電信號(hào)的漂移成分，能更好用閾值法檢測(cè)連續(xù)兩次眨眼。圖4 (b)中的兩條水平的橫線為預(yù)先設(shè)定的上下兩個(gè)閾值，該閾值的選取因人而異，一般選士2即可。當(dāng)垂直通道眼電差分信號(hào)依次以一定的時(shí)序通過(guò)上下兩個(gè)閾值時(shí)，即檢測(cè)到連續(xù)兩次眨眼。本實(shí)施例中，第一次和第二次連續(xù)兩次眨眼是用來(lái)標(biāo)定掃描的開(kāi)始和結(jié)束的。利用第一次連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)和第二次連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)，可以標(biāo)定出掃描的開(kāi)始和結(jié)束，并提取出掃描時(shí)產(chǎn)生的垂直通道和水平通道眼電信號(hào)。根據(jù)所述掃描產(chǎn)生的眼電信號(hào)重建出目標(biāo)物體的形狀，最后根據(jù)重建出的目標(biāo)物體的形狀計(jì)算目標(biāo)物體的長(zhǎng)度、寬度以及該目標(biāo)物體與水平方向的夾角，由此識(shí)別出目標(biāo)物體的信息。圖5所示為本發(fā)明目標(biāo)物體大小和方向的計(jì)算識(shí)別示意圖，其中，圖5 (a)是目標(biāo)物體的示意圖，該目標(biāo)物體在二維平面的投影近似為一長(zhǎng)方形，其長(zhǎng)軸與水平方向的夾角為30度；圖5 (b)是掃描該目標(biāo)物體時(shí)重建的目標(biāo)物體形狀及計(jì)算該目標(biāo)物體的長(zhǎng)度、 寬度以及該目標(biāo)物體與水平方向的夾角時(shí)擬合的橢圓示意圖。這里，重建目標(biāo)物體的形狀的方法是將掃描產(chǎn)生的水平通道和垂直通道的眼電信號(hào)，即兩次連續(xù)兩次眨眼之間的信號(hào)，分別作為橫坐標(biāo)值、縱坐標(biāo)值，然后根據(jù)橫坐標(biāo)值和縱坐標(biāo)值在二維平面內(nèi)畫(huà)出所述目標(biāo)物體的形狀。從圖5 (b)中可以看出，重建出的目標(biāo)物體與實(shí)際的物體形狀基本相似，可以從重建的形狀計(jì)算出目標(biāo)物體的長(zhǎng)度、寬度以及該目標(biāo)物體與水平方向的夾角。本實(shí)施例中，目標(biāo)物體的長(zhǎng)度、寬度以及該目標(biāo)物體與水平方向的夾角的計(jì)算是通過(guò)將重建出的目標(biāo)物體的形狀用直接最小二乘法擬合為橢圓，并將橢圓的長(zhǎng)軸和短軸分別作為目標(biāo)物體的長(zhǎng)度和寬度，橢圓長(zhǎng)軸與水平方向的夾角作為目標(biāo)物體與水平方向的夾 采用本發(fā)明方法得到的目標(biāo)物體的信息，可以進(jìn)一步用于控制外部設(shè)備。例如，作為本發(fā)明方法的其中一個(gè)應(yīng)用，可以實(shí)現(xiàn)基于眼動(dòng)掃描的機(jī)械假手控制，將本發(fā)明方法得到的目標(biāo)物體長(zhǎng)度、寬度以及該目標(biāo)物體與水平方向的夾角信息輸入機(jī)械假手控制模塊， 控制模塊根據(jù)目標(biāo)物體的信息，計(jì)算得到關(guān)于抓握該物體時(shí)的手的形狀與朝向，并控制機(jī)械假手完成相應(yīng)的動(dòng)作，實(shí)現(xiàn)一次成功的抓握。這種控制策略可以結(jié)合人眼對(duì)物體形狀的智能判斷和機(jī)械模塊對(duì)機(jī)械假手的精確控制，是一種間接的控制方法，避免了直接控制的局限性。
權(quán)利要求
1.一種基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法，其特征是包括如下步驟(1)在使用者的眼部周?chē)N有五個(gè)電極，所述五個(gè)電極分別位于距使用者右眼外眼角的水平距離2. 5厘米處、右眼眼球上方距右眼眼球中心豎直距離2厘米處、右眼眼球下方距右眼眼球中心豎直距離2厘米處、距左眼外眼角的水平距離2. 5厘米處和其中一個(gè)耳朵的耳垂處；(2)使用者的視線固定于目標(biāo)物體上，在保持頭部不動(dòng)的狀態(tài)下，第一次連續(xù)兩次眨眼，接著用雙眼掃描目標(biāo)物體的邊界，掃描結(jié)束后再第二次連續(xù)兩次眨眼，分別在第一次連續(xù)兩次眨眼、第二次兩次連續(xù)眨眼和所述掃描的同時(shí)由各所述電極分別采集使用者眼球轉(zhuǎn)動(dòng)時(shí)所產(chǎn)生的水平和垂直通道的眼電信號(hào)；(3)從步驟(2)所采集的垂直通道的眼電信號(hào)中分別識(shí)別出第一次連續(xù)兩次眨眼和第二次連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)；(4)利用第一個(gè)連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)和第二個(gè)連續(xù)兩次眨眼所產(chǎn)生的眼電信號(hào)標(biāo)定出所述掃描產(chǎn)生的眼電信號(hào)，并根據(jù)所述掃描產(chǎn)生的眼電信號(hào)重建出目標(biāo)物體的形狀；(5)根據(jù)重建出的目標(biāo)物體的形狀計(jì)算目標(biāo)物體的長(zhǎng)度、寬度以及該目標(biāo)物體與水平方向的夾角。
2.根據(jù)權(quán)利要求1所述的基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法，其特征是使用者在第一次連續(xù)兩次眨眼時(shí)，將眼睛的視線固定在目標(biāo)物體的右下角；使用者是通過(guò)將雙眼視線以恒定的速度按逆時(shí)針?lè)较蜓啬繕?biāo)物體的邊界移動(dòng)一圈來(lái)實(shí)現(xiàn)步驟(2)所述的“用雙眼掃描目標(biāo)物體的邊界”；使用者在第二次連續(xù)兩次眨眼時(shí)，是將眼睛的視線固定在目標(biāo)物體的右下角。
3.根據(jù)權(quán)利要求1或2所述的基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法，其特征是，步驟(4) 所述的“重建出目標(biāo)物體的形狀”的方法是將所述掃描產(chǎn)生的水平通道和垂直通道的眼電信號(hào)分別作為橫坐標(biāo)值、縱坐標(biāo)值，根據(jù)所述橫坐標(biāo)值和縱坐標(biāo)值在二維平面內(nèi)畫(huà)出所述目標(biāo)物體的形狀。
全文摘要
本發(fā)明公開(kāi)了一種基于眼動(dòng)掃描的目標(biāo)物體識(shí)別方法。它利用使用者用雙眼掃描目標(biāo)物體的邊界時(shí)采集的眼電信號(hào)，重建出目標(biāo)物體的形狀，然后根據(jù)重建出的目標(biāo)物體的形狀計(jì)算目標(biāo)物體的長(zhǎng)度、寬度以及與水平方向的夾角。識(shí)別出的目標(biāo)物體的信息可以進(jìn)一步用于假手、假肢等外部設(shè)備的控制，實(shí)現(xiàn)人機(jī)交互。本發(fā)明區(qū)別于傳統(tǒng)的基于眼電直接控制的人機(jī)交互方法，實(shí)現(xiàn)了一種間接控制策略，達(dá)到現(xiàn)有技術(shù)不能實(shí)現(xiàn)的精確高效控制。
文檔編號(hào)G06F3/01GK102156539SQ20111007548
公開(kāi)日2011年8月17日 申請(qǐng)日期2011年3月28日 優(yōu)先權(quán)日2011年3月28日
發(fā)明者張韶岷, 鄭筱祥, 郝耀耀, 陳衛(wèi)東 申請(qǐng)人:浙江大學(xué)