本發(fā)明涉及視線跟蹤瞄準(zhǔn)操控領(lǐng)域，尤其涉及一種視線跟蹤瞄準(zhǔn)操控系統(tǒng)及方法。

背景技術(shù)：

視覺(jué)是人們獲取信息的主要方式，由于視線具有直接性、自然性和雙向性等特點(diǎn)，使得視線跟蹤技術(shù)在人機(jī)交互、人機(jī)協(xié)作、商場(chǎng)購(gòu)物注意力分析、駕駛員行為分析、廣告網(wǎng)頁(yè)等用戶心理及行為分析等多個(gè)領(lǐng)域有著廣泛的應(yīng)用。但目前現(xiàn)有的視線跟蹤技術(shù)多應(yīng)用于跟蹤視線在顯示屏幕或場(chǎng)景攝像機(jī)拍攝圖像視頻等二維平面上的位置，直接跟蹤使用者在真實(shí)空間中三維注視點(diǎn)位置坐標(biāo)的系統(tǒng)及方法較少。特別是在讓使用者直接用眼睛操控機(jī)器設(shè)備對(duì)真實(shí)空間中的目標(biāo)進(jìn)行瞄準(zhǔn)鎖定跟蹤的領(lǐng)域，暫時(shí)還沒(méi)有相關(guān)的系統(tǒng)及方法。

技術(shù)實(shí)現(xiàn)要素：

基于現(xiàn)有技術(shù)所存在的問(wèn)題，本發(fā)明的目的是提供一種視線跟蹤瞄準(zhǔn)操控系統(tǒng)及方法，能讓使用者用眼睛操控機(jī)器設(shè)備快速瞄準(zhǔn)鎖定跟蹤所注視的目標(biāo)。

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明實(shí)施方式提供一種視線跟蹤瞄準(zhǔn)操控系統(tǒng)，包括：

視線跟蹤設(shè)備，能跟蹤計(jì)算在該視線跟蹤設(shè)備坐標(biāo)系下使用者視線方向及注視點(diǎn)位置坐標(biāo)；

相對(duì)位置姿態(tài)獲取單元，分別與視線跟蹤設(shè)備和瞄準(zhǔn)操控設(shè)備通信連接，能獲取所述視線跟蹤設(shè)備坐標(biāo)系和所述瞄準(zhǔn)操控設(shè)備坐標(biāo)系之間的相對(duì)位置姿態(tài)；

瞄準(zhǔn)操控設(shè)備，分別與所述視線跟蹤設(shè)備和相對(duì)位置姿態(tài)獲取單元通信連接，能根據(jù)所述視線跟蹤設(shè)備提供的視線方向及注視點(diǎn)位置坐標(biāo)和所述相對(duì)位置姿態(tài)獲取單元提供的相對(duì)位置姿態(tài)計(jì)算得出使用者注視點(diǎn)目標(biāo)在該瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，并通過(guò)計(jì)算出的方向和位置坐標(biāo)操控設(shè)備瞄準(zhǔn)鎖定跟蹤使用者注視點(diǎn)目標(biāo)。

本發(fā)明實(shí)施方式還提供一種視線跟蹤瞄準(zhǔn)操控方法，采用本發(fā)明所述的視線跟蹤瞄準(zhǔn)操控系統(tǒng)，包括以下步驟：

步驟(a)，通過(guò)所述系統(tǒng)的視線跟蹤設(shè)備采集使用者的眼動(dòng)數(shù)據(jù)，根據(jù)所述使用者的眼動(dòng)數(shù)據(jù)計(jì)算使用者視線方向和注視點(diǎn)位置坐標(biāo)；

步驟(b)，通過(guò)所述系統(tǒng)的相對(duì)位置姿態(tài)獲取單元獲取所述系統(tǒng)的視線跟蹤設(shè)備坐標(biāo)系與所述瞄準(zhǔn)操控設(shè)備坐標(biāo)系的相對(duì)位置姿態(tài)；

步驟(c)，由所述系統(tǒng)的瞄準(zhǔn)操控設(shè)備根據(jù)所述視線方向及注視點(diǎn)位置坐標(biāo)和相對(duì)位置姿態(tài)計(jì)算出使用者注視點(diǎn)目標(biāo)在該瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，操控設(shè)備瞄準(zhǔn)鎖定跟蹤使用者注視點(diǎn)目標(biāo)。

由上述本發(fā)明提供的技術(shù)方案可以看出，本發(fā)明實(shí)施例提供的視線跟蹤瞄準(zhǔn)操控系統(tǒng)及方法，其有益效果為：

通過(guò)設(shè)置相互通信連接的視線跟蹤設(shè)備、相對(duì)位置姿態(tài)獲取單元和瞄準(zhǔn)操控設(shè)備相互配合，可以跟蹤計(jì)算出使用者視線方向及注視點(diǎn)位置坐標(biāo)，獲取視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系之間的相對(duì)位置姿態(tài)，兩者結(jié)合進(jìn)而計(jì)算出使用者注視點(diǎn)目標(biāo)在瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，讓使用者用眼睛操控機(jī)器設(shè)備快速瞄準(zhǔn)鎖定跟蹤所注視的目標(biāo)。本發(fā)明的系統(tǒng)及方法在人與機(jī)器人協(xié)作，飛機(jī)、車輛、艦船、航天飛行器等的輔助操控，vr/ar全浸入式人機(jī)交互等多個(gè)領(lǐng)域有廣泛應(yīng)用。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實(shí)施例提供的視線跟蹤瞄準(zhǔn)操控系統(tǒng)結(jié)構(gòu)圖；

圖2為本發(fā)明實(shí)施例提供的視線跟蹤瞄準(zhǔn)操控方法流程圖；

圖3為本發(fā)明實(shí)施例提供的視線跟蹤瞄準(zhǔn)操控系統(tǒng)應(yīng)用場(chǎng)景示意圖。

具體實(shí)施方式

下面結(jié)合本發(fā)明的具體內(nèi)容，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。

如圖1所示，本發(fā)明實(shí)施例提供一種視線跟蹤瞄準(zhǔn)操控系統(tǒng)，可以讓使用者用眼睛操控機(jī)器設(shè)備快速瞄準(zhǔn)鎖定跟蹤所注視的目標(biāo)，包括：

視線跟蹤設(shè)備，能跟蹤計(jì)算在該視線跟蹤設(shè)備坐標(biāo)系下使用者視線方向及注視點(diǎn)位置坐標(biāo)；

相對(duì)位置姿態(tài)獲取單元，分別與視線跟蹤設(shè)備和瞄準(zhǔn)操控設(shè)備通信連接，能獲取所述視線跟蹤設(shè)備坐標(biāo)系和所述瞄準(zhǔn)操控設(shè)備坐標(biāo)系之間的相對(duì)位置姿態(tài)；

瞄準(zhǔn)操控設(shè)備，分別與所述視線跟蹤設(shè)備和相對(duì)位置姿態(tài)獲取單元通信連接，能根據(jù)所述視線跟蹤設(shè)備提供的視線方向及注視點(diǎn)位置坐標(biāo)和所述相對(duì)位置姿態(tài)獲取單元提供的相對(duì)位置姿態(tài)計(jì)算得出使用者注視點(diǎn)目標(biāo)在該瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，并通過(guò)計(jì)算出的方向和位置坐標(biāo)操控設(shè)備瞄準(zhǔn)鎖定跟蹤使用者注視點(diǎn)目標(biāo),使用者注視點(diǎn)目標(biāo)是指使用者注視點(diǎn)處的目標(biāo)。

上述系統(tǒng)還包括：瞄準(zhǔn)校正單元，與所述瞄準(zhǔn)操控設(shè)備通信連接，對(duì)使用者注視點(diǎn)目標(biāo)進(jìn)行標(biāo)定校準(zhǔn)。設(shè)置該瞄準(zhǔn)校正單元能提高系統(tǒng)的視線跟蹤瞄準(zhǔn)鎖定跟蹤精度。

上述系統(tǒng)中，視線跟蹤設(shè)備包括：

眼動(dòng)數(shù)據(jù)采集裝置和視線方向及注視點(diǎn)的位置坐標(biāo)估算單元；其中，

所述眼動(dòng)數(shù)據(jù)采集裝置，能采集使用者單眼或者雙眼的眼動(dòng)數(shù)據(jù)；

所述的視線方向及注視點(diǎn)位置坐標(biāo)估算單元，與所述眼動(dòng)數(shù)據(jù)采集裝置通信連接，能從所述眼動(dòng)數(shù)據(jù)采集裝置采集的眼動(dòng)數(shù)據(jù)中提取與視線方向及注視點(diǎn)相關(guān)的眼動(dòng)參數(shù)信息，并通過(guò)眼球模型和標(biāo)定訓(xùn)練建立眼動(dòng)參數(shù)信息和視線方向及注視點(diǎn)之間的映射關(guān)系，再結(jié)合眼動(dòng)參數(shù)和映射關(guān)系計(jì)算得出使用者單眼或雙眼視線方向和注視點(diǎn)目標(biāo)在該視線跟蹤設(shè)備坐標(biāo)系下的位置坐標(biāo)。

上述系統(tǒng)中，若所述視線跟蹤設(shè)備與所述瞄準(zhǔn)操控設(shè)備的位置能相對(duì)移動(dòng)，所述相對(duì)位置姿態(tài)獲取單元采用：標(biāo)定定位單元、慣性導(dǎo)航定位單元、衛(wèi)星定位單元中的至少一種；

若所述視線跟蹤設(shè)備與所述瞄準(zhǔn)操控設(shè)備的位置不能相對(duì)移動(dòng)，所述相對(duì)位置姿態(tài)獲取單元采用：測(cè)量確定單元或輸入接收單元。

具體的，當(dāng)系統(tǒng)包括的視線跟蹤設(shè)備與瞄準(zhǔn)操控設(shè)備會(huì)有相對(duì)移動(dòng)時(shí)，所述的相對(duì)位置姿態(tài)獲取單元包括但不限于標(biāo)定定位單元、慣性導(dǎo)航定位單元、衛(wèi)星定位單元等相對(duì)位置姿態(tài)獲取單元，且可以融合多個(gè)測(cè)算單元的數(shù)據(jù)，在室內(nèi)外等范圍內(nèi)實(shí)現(xiàn)更高的測(cè)算精度和魯棒性。當(dāng)視線跟蹤設(shè)備與瞄準(zhǔn)操控設(shè)備安裝固定在同一平臺(tái)上無(wú)相對(duì)運(yùn)動(dòng)時(shí)，所述的視線跟蹤設(shè)備與瞄準(zhǔn)操控設(shè)備的相對(duì)位置姿態(tài)可以是在設(shè)計(jì)和生產(chǎn)安裝時(shí)直接測(cè)量確定獲得。

上述系統(tǒng)中，標(biāo)定定位單元包括：

標(biāo)記點(diǎn)裝置和信號(hào)發(fā)射感知裝置，分別安裝在所述視線跟蹤設(shè)備和所述瞄準(zhǔn)操控設(shè)備上，其中一個(gè)設(shè)備上安裝標(biāo)記點(diǎn)裝置，另一個(gè)設(shè)備安裝信號(hào)發(fā)射感知裝置。

上述系統(tǒng)中，標(biāo)記點(diǎn)裝置為：按照一定結(jié)構(gòu)排列安裝在一個(gè)設(shè)備上的多個(gè)標(biāo)定點(diǎn)裝置，并已知各標(biāo)定點(diǎn)裝置在所安裝的設(shè)備坐標(biāo)系下的位置坐標(biāo)；

所述信號(hào)發(fā)射感知裝置，能發(fā)射或接收信號(hào)，確定各標(biāo)定點(diǎn)裝置在該信號(hào)發(fā)射感知裝置坐標(biāo)系下的位置方向或坐標(biāo)，該信號(hào)發(fā)射裝置坐標(biāo)系在所安裝的設(shè)備平臺(tái)坐標(biāo)系下的位置姿態(tài)和旋轉(zhuǎn)平移矩陣已知。優(yōu)選的，上述標(biāo)定定位單元采用攝像頭標(biāo)定、激光掃描標(biāo)定、光源定位、聲源定位、電磁信號(hào)源定位中的至少一種。

具體的，所述的標(biāo)定定位單元包括安裝在某一設(shè)備上的標(biāo)記點(diǎn)裝置和安裝在另一設(shè)備上的信號(hào)發(fā)射感知裝置。所述的標(biāo)記點(diǎn)裝置是按照一定結(jié)構(gòu)排列安裝在設(shè)備上的多個(gè)標(biāo)記點(diǎn)裝置，已知各點(diǎn)在安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)。所述的安裝在另一設(shè)備上的信號(hào)發(fā)射感知裝置可以發(fā)射或接受一定信號(hào)，確定多個(gè)標(biāo)記點(diǎn)裝置在信號(hào)發(fā)射感知裝置坐標(biāo)系下的位置方向或坐標(biāo)。該信號(hào)發(fā)射裝置坐標(biāo)系在安裝設(shè)備平臺(tái)坐標(biāo)系下的位置姿態(tài)和旋轉(zhuǎn)平移矩陣已知。所述的標(biāo)定定位單元可以通過(guò)信號(hào)的發(fā)射感知，確定標(biāo)記點(diǎn)裝置的多個(gè)標(biāo)定點(diǎn)在信號(hào)發(fā)射感知裝置坐標(biāo)系下的位置方向或坐標(biāo)，結(jié)合多個(gè)標(biāo)定點(diǎn)在其安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)信息可以測(cè)算出兩設(shè)備坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣。

所述的標(biāo)定定位單元確定多個(gè)標(biāo)記點(diǎn)裝置在信號(hào)發(fā)射感知裝置坐標(biāo)系下的位置方向或坐標(biāo)的方法可以是基于攝像頭標(biāo)定、激光掃描、光源定位、聲源定位、電磁信號(hào)源定位等方法中的至少一種方法實(shí)現(xiàn)，但不限于以上方式。

上述系統(tǒng)中，慣性導(dǎo)航定位單元包括：在視線跟蹤設(shè)備和瞄準(zhǔn)操控設(shè)備上分別安裝的慣性導(dǎo)航定位設(shè)備，通過(guò)各慣性導(dǎo)航定位設(shè)備分別測(cè)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系相對(duì)于大地坐標(biāo)系的變化，準(zhǔn)確計(jì)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系的相對(duì)位置姿態(tài)；具體的，慣性導(dǎo)航定位單元包括加速度計(jì)、陀螺儀、磁力計(jì)等部分，在視線跟蹤設(shè)備和瞄準(zhǔn)操控設(shè)備上均安裝慣性導(dǎo)航定位設(shè)備。所述的慣性導(dǎo)航單元可以融合三軸加速度、角速度和磁場(chǎng)方向等信息測(cè)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系相對(duì)于大地坐標(biāo)系的變化，進(jìn)而在短時(shí)間內(nèi)可以準(zhǔn)確的計(jì)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系的相對(duì)位置姿態(tài)。

所述衛(wèi)星定位單元包括：在視線跟蹤設(shè)備和瞄準(zhǔn)操控設(shè)備上分別安裝的衛(wèi)星定位設(shè)備，通過(guò)衛(wèi)星定位設(shè)備進(jìn)行衛(wèi)星定位測(cè)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系在衛(wèi)星系統(tǒng)坐標(biāo)系下的位置姿態(tài)，計(jì)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系相對(duì)位置姿態(tài)。具體的，衛(wèi)星定位單元基于gps、北斗等全球衛(wèi)星導(dǎo)航定位系統(tǒng)實(shí)現(xiàn)，在在視線跟蹤設(shè)備和瞄準(zhǔn)操控設(shè)備上均安裝衛(wèi)星定位設(shè)備。該單元可以定位測(cè)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系在衛(wèi)星系統(tǒng)坐標(biāo)系下的位置姿態(tài)，進(jìn)而可以計(jì)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系相對(duì)位置姿態(tài)。

上述系統(tǒng)中，瞄準(zhǔn)操控設(shè)備包括：機(jī)器平臺(tái)和瞄準(zhǔn)鎖定跟蹤裝置；其中，

所述機(jī)器平臺(tái)，與所述視線跟蹤設(shè)備通信連接，獲取使用者的視線方向及注視點(diǎn)位置坐標(biāo)，結(jié)合相對(duì)位置姿態(tài)信息計(jì)算出使用者注視點(diǎn)目標(biāo)在該瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)；所述的機(jī)器平臺(tái)還具有靜止、地面移動(dòng)、地下移動(dòng)、空中飛行、水面移動(dòng)、水下移動(dòng)等功能中的至少一種；

所述瞄準(zhǔn)鎖定跟蹤裝置包括：云臺(tái)和瞄準(zhǔn)裝置；其中，所述云臺(tái)裝置安裝在所述機(jī)器平臺(tái)上，所述瞄準(zhǔn)裝置安裝在所述云臺(tái)裝置上；該瞄準(zhǔn)鎖定跟蹤裝置與所述機(jī)器平臺(tái)通信連接，能根據(jù)測(cè)算出的使用者注視點(diǎn)目標(biāo)在該瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，通過(guò)所述云臺(tái)裝置控制瞄準(zhǔn)裝置在所述機(jī)器平臺(tái)上前后左右運(yùn)動(dòng)，上下左右旋轉(zhuǎn)，瞄準(zhǔn)鎖定跟蹤使用者注視點(diǎn)目標(biāo)。所述的瞄準(zhǔn)裝置可以是攝像頭、激光筆、機(jī)器設(shè)備等裝置中的任意一種或多種。

如圖2所示，本發(fā)明實(shí)施例還提供一種視線跟蹤瞄準(zhǔn)操控方法，采用上述的視線跟蹤瞄準(zhǔn)操控系統(tǒng)，包括以下步驟：

步驟(a)，通過(guò)所述系統(tǒng)的視線跟蹤設(shè)備采集使用者的眼動(dòng)數(shù)據(jù)，根據(jù)所述使用者的眼動(dòng)數(shù)據(jù)計(jì)算出使用者視線方向和注視點(diǎn)位置坐標(biāo)；

步驟(b)，通過(guò)所述系統(tǒng)的相對(duì)位置姿態(tài)獲取單元獲取所述系統(tǒng)的視線跟蹤設(shè)備坐標(biāo)系與所述瞄準(zhǔn)操控設(shè)備坐標(biāo)系的相對(duì)位置姿態(tài)；

步驟(c)，由所述系統(tǒng)的瞄準(zhǔn)操控設(shè)備根據(jù)所述視線方向及注視點(diǎn)位置坐標(biāo)和相對(duì)位置姿態(tài)計(jì)算出使用者注視點(diǎn)目標(biāo)在該瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，操控設(shè)備瞄準(zhǔn)鎖定跟蹤使用者注視點(diǎn)目標(biāo)。

進(jìn)一步的，上述方法還包括步驟(d)，通過(guò)所述系統(tǒng)的瞄準(zhǔn)校正單元對(duì)使用者注視點(diǎn)目標(biāo)進(jìn)行標(biāo)定校準(zhǔn)，提高對(duì)注視點(diǎn)目標(biāo)的瞄準(zhǔn)鎖定跟蹤精度。

下面對(duì)本發(fā)明實(shí)施例具體作進(jìn)一步地詳細(xì)描述。

本實(shí)施例提供一種視線跟蹤瞄準(zhǔn)操控系統(tǒng)，可以跟蹤計(jì)算出使用者視線方向及注視點(diǎn)位置坐標(biāo)，測(cè)算出的視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系之間的相對(duì)位置姿態(tài)，兩者結(jié)合進(jìn)而計(jì)算出使用者注視點(diǎn)目標(biāo)在瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，讓使用者用眼睛操控機(jī)器設(shè)備快速瞄準(zhǔn)鎖定跟蹤所注視的目標(biāo)。本發(fā)明在人與機(jī)器人協(xié)作，飛機(jī)、車輛、艦船、航天飛行器等的輔助操控，vr/ar全浸入式人機(jī)交互等多個(gè)領(lǐng)域有廣泛應(yīng)用。

如圖1所示，所述的視線跟蹤瞄準(zhǔn)操控系統(tǒng)，包括：

視線跟蹤設(shè)備，可以跟蹤計(jì)算在該設(shè)備坐標(biāo)系下使用者視線方向及注視點(diǎn)位置坐標(biāo)；

相對(duì)位置姿態(tài)獲取單元，可以測(cè)算視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系之間的相對(duì)位置姿態(tài)；

瞄準(zhǔn)操控設(shè)備，可以根據(jù)所述的視線方向及注視點(diǎn)位置坐標(biāo)和相對(duì)位置姿態(tài)等計(jì)算出使用者注視點(diǎn)目標(biāo)在瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，從而操控設(shè)備瞄準(zhǔn)鎖定跟蹤使用者注視點(diǎn)目標(biāo)。

此外，該視線跟蹤瞄準(zhǔn)操控系統(tǒng)還可以包括瞄準(zhǔn)校正單元，通過(guò)使用者注視已知目標(biāo)進(jìn)行標(biāo)定校準(zhǔn)，提高系統(tǒng)的視線跟蹤瞄準(zhǔn)鎖定跟蹤精度。

所述的視線跟蹤設(shè)備包括眼動(dòng)數(shù)據(jù)采集裝置和視線方向及注視點(diǎn)的位置坐標(biāo)估算單元。

所述的眼動(dòng)數(shù)據(jù)采集裝置，可以采集使用者單眼或者雙眼的眼動(dòng)數(shù)據(jù)，包括但不限于眼部區(qū)域的可見(jiàn)光、紅外光等視頻數(shù)據(jù)、眼球運(yùn)動(dòng)引起的眼部電壓變化數(shù)據(jù)和其他向眼部區(qū)域主動(dòng)發(fā)射接收電磁場(chǎng)或者紅外光間接獲得的眼動(dòng)數(shù)據(jù)等；

所述的視線方向及注視點(diǎn)位置坐標(biāo)估算單元，可以從眼動(dòng)數(shù)據(jù)中提取與視線方向及注視點(diǎn)相關(guān)的眼動(dòng)參數(shù)信息，通過(guò)眼球模型和標(biāo)定訓(xùn)練的方法建立眼動(dòng)參數(shù)信息和視線方向及注視點(diǎn)之間的映射關(guān)系，再結(jié)合眼動(dòng)參數(shù)和映射關(guān)系估算使用者單眼或雙眼視線方向和注視點(diǎn)目標(biāo)在視線跟蹤設(shè)備坐標(biāo)系下的位置坐標(biāo)。

所述的眼動(dòng)參數(shù)信息可以是基于眼部視頻數(shù)據(jù)提取的使用者雙眼或單眼的瞳孔、光斑、眼角、角膜球心的二維或三維坐標(biāo)和瞳孔橢圓平面法向量等眼球參數(shù)，也可以是基于眼部電壓變化數(shù)據(jù)提取的電壓值和波形等。

所述的建立映射的方法，可以是單獨(dú)基于眼部視線模型或基于標(biāo)定訓(xùn)練的方法，也可以是眼部視線模型和標(biāo)定訓(xùn)練相結(jié)合的方法。

此外，所述的視線跟蹤設(shè)備，可以是隨使用者身體或頭部運(yùn)動(dòng)的穿戴式設(shè)備，包括但不限于眼鏡、頭盔等設(shè)備，也可以是不隨使用者運(yùn)動(dòng)的桌面式設(shè)備，可以安裝或固定在其他物體設(shè)備上，安裝或固定的設(shè)備包括但不限于桌面、顯示器、車輛、飛機(jī)、機(jī)器人平臺(tái)等設(shè)備。

所述的相對(duì)位置姿態(tài)獲取單元，當(dāng)系統(tǒng)包括的視線跟蹤設(shè)備與瞄準(zhǔn)操控設(shè)備會(huì)有相對(duì)移動(dòng)時(shí)，所述的相對(duì)位置姿態(tài)獲取單元包括但不限于標(biāo)定定位單元、慣性導(dǎo)航定位單元、衛(wèi)星定位單元等相對(duì)位置姿態(tài)獲取單元，且可以融合多個(gè)測(cè)算單元的數(shù)據(jù)，在室內(nèi)外等范圍內(nèi)實(shí)現(xiàn)更高的測(cè)算精度和魯棒性。當(dāng)視線跟蹤設(shè)備與瞄準(zhǔn)操控設(shè)備安裝固定在同一平臺(tái)上無(wú)相對(duì)運(yùn)動(dòng)時(shí)，所述的視線跟蹤設(shè)備與瞄準(zhǔn)操控設(shè)備的相對(duì)位置姿態(tài)可以是在設(shè)計(jì)和生產(chǎn)安裝時(shí)直接測(cè)量確定。

所述的標(biāo)定定位單元包括安裝在某一設(shè)備上的標(biāo)記點(diǎn)裝置和安裝在另一設(shè)備上的信號(hào)發(fā)射感知裝置。所述的標(biāo)記點(diǎn)裝置是按照一定結(jié)構(gòu)排列安裝在設(shè)備上的多個(gè)標(biāo)記點(diǎn)裝置，已知各點(diǎn)在安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)。所述的安裝在另一設(shè)備上的信號(hào)發(fā)射感知裝置可以發(fā)射或接受一定信號(hào)，確定多個(gè)標(biāo)記點(diǎn)裝置在信號(hào)發(fā)射感知裝置坐標(biāo)系下的位置方向或坐標(biāo)。該信號(hào)發(fā)射裝置坐標(biāo)系在安裝設(shè)備平臺(tái)坐標(biāo)系下的位置姿態(tài)和旋轉(zhuǎn)平移矩陣已知。所述的標(biāo)定定位單元可以通過(guò)信號(hào)的發(fā)射感知，確定標(biāo)記點(diǎn)裝置的多個(gè)標(biāo)定點(diǎn)在信號(hào)發(fā)射感知裝置坐標(biāo)系下的位置方向或坐標(biāo)，結(jié)合多個(gè)標(biāo)定點(diǎn)在其安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)信息可以測(cè)算出兩設(shè)備坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣。

所述的標(biāo)定定位單元確定多個(gè)標(biāo)記點(diǎn)裝置在信號(hào)發(fā)射感知裝置坐標(biāo)系下的位置方向或坐標(biāo)的方法可以是基于攝像頭標(biāo)定、激光掃描、光源定位、聲源定位、電磁信號(hào)源定位等方法中的至少一種方法實(shí)現(xiàn)，但不限于以上方法。

所述的基于攝像頭標(biāo)定的方法中的標(biāo)記點(diǎn)裝置中的標(biāo)定點(diǎn)可以是led燈、灰度顏色差別大的圓點(diǎn)或棋盤格交點(diǎn)，信號(hào)發(fā)射感知裝置可以是單個(gè)或多個(gè)攝像頭。led燈和攝像頭的感應(yīng)或發(fā)射的光波長(zhǎng)可以是可見(jiàn)光、紅外光、紫外光波段等，但必須相互對(duì)應(yīng)。通過(guò)圖像處理的方法可以獲得標(biāo)定點(diǎn)在攝像頭拍攝圖像中的位置，結(jié)合攝像頭的成像模型可以獲取標(biāo)定點(diǎn)其在攝像頭坐標(biāo)系下的位置方向或坐標(biāo)，結(jié)合多個(gè)標(biāo)定點(diǎn)在其安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)信息可以測(cè)算出兩設(shè)備坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣。

所述的基于激光掃描的方法中的標(biāo)記點(diǎn)裝置是光電接收裝置，信號(hào)發(fā)射接收裝置是單個(gè)或多個(gè)激光發(fā)射器。光電接收裝置和激光發(fā)射器的光波長(zhǎng)可以是可見(jiàn)光、紅外光、紫外光波段等，但須相互對(duì)應(yīng)。所述的激光發(fā)射器按照一定規(guī)律周期性的發(fā)射覆蓋全空間的光同步信號(hào)并沿激光發(fā)射器坐標(biāo)系的x軸和y軸勻速交替旋轉(zhuǎn)發(fā)射線激光束，掃描覆蓋整個(gè)空間。當(dāng)發(fā)射覆蓋全空間的光同步信號(hào)和激光束掃描到標(biāo)定點(diǎn)的光電接收裝置時(shí)，光電接收裝置感應(yīng)到較強(qiáng)的激光信號(hào)。根據(jù)接收到的激光束掃描到標(biāo)定點(diǎn)的時(shí)間在整個(gè)同步周期中位置，可以確定光電接收裝置在激光發(fā)射器坐標(biāo)系中的位置方向，在多個(gè)激光發(fā)射器系統(tǒng)中，可以進(jìn)一步確定光電接收裝置的位置坐標(biāo)，結(jié)合多個(gè)光電接收裝置在其安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)信息可以測(cè)算出兩設(shè)備坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣。

所述的基于光源定位、聲源定位、電磁信號(hào)源定位的方法中的標(biāo)記點(diǎn)裝置中的標(biāo)定點(diǎn)是光源、聲源或電磁信號(hào)發(fā)射源等，信號(hào)發(fā)射感知裝置是按照一定結(jié)構(gòu)排列安裝在設(shè)備上的多個(gè)光信號(hào)、聲信號(hào)或電磁信號(hào)接收器，已知各接收器在安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)。信號(hào)接收裝置根據(jù)多個(gè)信號(hào)接收器接收到的信號(hào)的強(qiáng)度和方向等信息，結(jié)合多個(gè)信號(hào)接收器在其安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)信息，可以確定信號(hào)發(fā)射源在信號(hào)接收裝置坐標(biāo)系中的位置方向和坐標(biāo)，再結(jié)合多個(gè)信號(hào)發(fā)射源在其安裝設(shè)備坐標(biāo)系下的位置坐標(biāo)信息可以測(cè)算出兩設(shè)備坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣。

所述的慣性導(dǎo)航定位單元包括加速度計(jì)、陀螺儀、磁力計(jì)等部分，在視線跟蹤設(shè)備和瞄準(zhǔn)操控設(shè)備上均安裝慣性導(dǎo)航定位設(shè)備。所述的慣性導(dǎo)航單元可以融合三軸加速度、角速度和磁場(chǎng)方向等信息測(cè)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系相對(duì)于大地坐標(biāo)系的變化，進(jìn)而在短時(shí)間內(nèi)可以準(zhǔn)確的計(jì)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系的相對(duì)位置姿態(tài)。

所述的衛(wèi)星定位單元基于gps、北斗等全球衛(wèi)星導(dǎo)航定位系統(tǒng)實(shí)現(xiàn)，在在視線跟蹤設(shè)備和瞄準(zhǔn)操控設(shè)備上均安裝衛(wèi)星定位設(shè)備。該單元可以定位測(cè)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系在衛(wèi)星系統(tǒng)坐標(biāo)系下的位置姿態(tài)，進(jìn)而可以計(jì)算出視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系相對(duì)位置姿態(tài)。

所述的視線跟蹤設(shè)備與瞄準(zhǔn)操控設(shè)備相對(duì)位置姿態(tài)獲取單元，還可以融合標(biāo)定定位單元、慣性導(dǎo)航定位單元、衛(wèi)星定位單元等部分的信息，在室內(nèi)外等范圍內(nèi)實(shí)現(xiàn)更高的測(cè)算精度和魯棒性。標(biāo)定定位單元，可以在精確的計(jì)算出視線跟蹤設(shè)備坐標(biāo)系和機(jī)器人平臺(tái)設(shè)備坐標(biāo)系的相對(duì)位置姿態(tài)和旋轉(zhuǎn)平移矩陣，但距離較近，基于光學(xué)的系統(tǒng)要在視距范圍內(nèi)使用。衛(wèi)星定位系統(tǒng)的定位范圍大，但測(cè)算精度較低，特別是在建筑物內(nèi)等頂層有遮擋的地方難以使用。慣性導(dǎo)航定位單元短時(shí)間內(nèi)定位精度較高，但誤差會(huì)隨時(shí)間累積，精度持續(xù)降低。融合標(biāo)定定位單元、慣性導(dǎo)航定位單元、衛(wèi)星定位單元等部分的數(shù)據(jù)信息，不僅可以在室內(nèi)外各種環(huán)境下的視距范圍外也保持較精確的測(cè)算精度，還能提高視距范圍內(nèi)的測(cè)算精度。

所述的瞄準(zhǔn)操控設(shè)備，包括機(jī)器平臺(tái)和瞄準(zhǔn)鎖定跟蹤設(shè)備。

所述的機(jī)器平臺(tái)，可以與視線跟蹤設(shè)備通信，獲得使用者的視線方向及注視點(diǎn)位置坐標(biāo)，結(jié)合相對(duì)位置姿態(tài)信息計(jì)算出使用者注視點(diǎn)目標(biāo)在瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)。所述的機(jī)器平臺(tái)還具有靜止、地面移動(dòng)、地下移動(dòng)、空中飛行、水面移動(dòng)、水下移動(dòng)等功能中的至少一種。

所述的瞄準(zhǔn)鎖定跟蹤設(shè)備，包括云臺(tái)和瞄準(zhǔn)裝置。所述的云臺(tái)裝置安裝在機(jī)器平臺(tái)上，所述的瞄準(zhǔn)裝置加裝在云臺(tái)裝置上。該瞄準(zhǔn)鎖定跟蹤設(shè)備可以根據(jù)測(cè)算出的使用者注視點(diǎn)目標(biāo)在瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，通過(guò)云臺(tái)控制瞄準(zhǔn)裝置在機(jī)器平臺(tái)上前后左右運(yùn)動(dòng)，上下左右旋轉(zhuǎn)，瞄準(zhǔn)鎖定跟蹤使用者注視點(diǎn)目標(biāo)。所述的瞄準(zhǔn)裝置可以是攝像頭、激光筆、機(jī)器設(shè)備等裝置中的任意一種或多種。

此外，所述的具備移動(dòng)功能的瞄準(zhǔn)操控設(shè)備還可以根據(jù)測(cè)算出的與視線跟蹤設(shè)備的相對(duì)位置姿態(tài)跟隨視線跟蹤設(shè)備及使用者移動(dòng)和調(diào)整朝向以更好的定位和瞄準(zhǔn)。

如圖2所示，采用上述系統(tǒng)進(jìn)行視線跟蹤瞄準(zhǔn)操控方法，包括以下步驟：

步驟(a)，采集使用者的眼動(dòng)數(shù)據(jù)，根據(jù)眼動(dòng)數(shù)據(jù)計(jì)算出使用者視線方向和注視點(diǎn)位置坐標(biāo)；

步驟(b)，獲取視線跟蹤設(shè)備坐標(biāo)系與瞄準(zhǔn)操控設(shè)備坐標(biāo)系的相對(duì)位置姿態(tài)；

步驟(c)，根據(jù)所述的視線方向及注視點(diǎn)位置坐標(biāo)和相對(duì)位置姿態(tài)計(jì)算出使用者注視點(diǎn)目標(biāo)在瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，操控設(shè)備瞄準(zhǔn)鎖定跟蹤使用者注視點(diǎn)目標(biāo)。

進(jìn)一步的，上述方法還包括步驟(d)，通過(guò)使用者注視已知目標(biāo)進(jìn)行標(biāo)定校準(zhǔn)，提高對(duì)注視點(diǎn)目標(biāo)的瞄準(zhǔn)鎖定跟蹤精度。

圖3所示為本發(fā)明實(shí)施例提供的視線跟蹤瞄準(zhǔn)操控系統(tǒng)的實(shí)際應(yīng)用構(gòu)成，其采用的是標(biāo)定定位單元作為相對(duì)位置姿態(tài)獲取單元2，標(biāo)定定位單元由多個(gè)標(biāo)記點(diǎn)裝置21和多個(gè)信號(hào)發(fā)射接收裝置22構(gòu)成的，多個(gè)標(biāo)記點(diǎn)裝置21設(shè)在視線跟蹤設(shè)備1，多個(gè)信號(hào)發(fā)射接收裝置22設(shè)在瞄準(zhǔn)操控設(shè)備3上，可以跟蹤計(jì)算出使用者視線方向及注視點(diǎn)位置坐標(biāo)，測(cè)算出的視線跟蹤設(shè)備坐標(biāo)系和瞄準(zhǔn)操控設(shè)備坐標(biāo)系之間的相對(duì)位置姿態(tài)，兩者結(jié)合進(jìn)而計(jì)算出使用者注視點(diǎn)目標(biāo)在瞄準(zhǔn)操控設(shè)備坐標(biāo)系下的方向和位置坐標(biāo)，讓使用者用眼睛操控機(jī)器設(shè)備快速瞄準(zhǔn)鎖定跟蹤所注視的目標(biāo)5。該系統(tǒng)還可以通過(guò)使用者注視已知目標(biāo)進(jìn)行標(biāo)定校準(zhǔn)，提高系統(tǒng)的視線跟蹤瞄準(zhǔn)鎖定跟蹤精度。本發(fā)明的系統(tǒng)及方法在人與機(jī)器人協(xié)作，飛機(jī)、車輛、艦船、航天飛行器等的輔助操控，vr/ar全浸入式人機(jī)交互等多個(gè)領(lǐng)域有廣泛應(yīng)用。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。