本發(fā)明屬于非接觸式人機(jī)交互，具體涉及一種基于立體視覺(jué)的非接觸式人機(jī)交互系統(tǒng)及方法。

背景技術(shù)：

1、當(dāng)前，?人機(jī)交互技術(shù)正日益成為連接人類(lèi)與數(shù)字世界的橋梁。?然而，?傳統(tǒng)的人機(jī)交互方式，?如鍵盤(pán)、?鼠標(biāo)等輸入設(shè)備，?雖然在許多應(yīng)用場(chǎng)景中表現(xiàn)出色，?但對(duì)于某些特殊群體，?如身體殘障人士或需要高度沉浸式體驗(yàn)的用戶(hù)來(lái)說(shuō)，?這些方式可能不夠友好或不夠自然。?

2、隨著科技的進(jìn)步，?特別是計(jì)算機(jī)視覺(jué)和人工智能領(lǐng)域的快速發(fā)展，?利用人體自然特征，?如眼睛運(yùn)動(dòng)，?作為輸入方式的需求日益增長(zhǎng)。?眼睛作為人類(lèi)最重要的感官之一，?其運(yùn)動(dòng)蘊(yùn)含著豐富的信息和意圖，?因此，?通過(guò)眼睛來(lái)實(shí)現(xiàn)人機(jī)交互具有巨大的潛力。?

3、近年來(lái)，?眼睛追蹤技術(shù)已經(jīng)取得了一定的進(jìn)展，在實(shí)際應(yīng)用中，?但現(xiàn)有技術(shù)主要關(guān)注于二維平面內(nèi)的視線(xiàn)方向檢測(cè)，?缺乏對(duì)深度信息的準(zhǔn)確估計(jì)，用戶(hù)的眼睛運(yùn)動(dòng)可能受到各種因素的影響，如注意力不集中、眼睛疲勞或外部干擾，這可能導(dǎo)致眼睛運(yùn)動(dòng)軌跡出現(xiàn)異常。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于立體視覺(jué)的非接觸式人機(jī)交互方法，能夠準(zhǔn)確判斷用戶(hù)的注視行為是否穩(wěn)定，還可以根據(jù)用戶(hù)的實(shí)際眼睛運(yùn)動(dòng)情況，自適應(yīng)地調(diào)整補(bǔ)償軌跡和權(quán)重系數(shù)，從而提高交互的準(zhǔn)確性和穩(wěn)定性。

2、本發(fā)明采取的技術(shù)方案具體如下：

3、一種基于立體視覺(jué)的非接觸式人機(jī)交互方法，包括：

4、獲取用戶(hù)的雙眼圖像，并根據(jù)雙眼圖像提取眼睛特征點(diǎn)，其中，眼睛特征點(diǎn)包括瞳孔中心位置和角膜反射點(diǎn)位置；

5、根據(jù)瞳孔中心位置和角膜反射點(diǎn)位置獲取注視點(diǎn)位置以及注視物；

6、獲取眼睛的運(yùn)動(dòng)圖像，根據(jù)運(yùn)動(dòng)圖像數(shù)據(jù)獲取眼睛的運(yùn)動(dòng)軌跡數(shù)據(jù)，并標(biāo)記為第一運(yùn)動(dòng)軌跡；

7、判斷第一運(yùn)動(dòng)軌跡是否符合第一預(yù)設(shè)條件，若不符合，則標(biāo)記為異常運(yùn)動(dòng)軌跡；

8、根據(jù)異常運(yùn)動(dòng)軌跡獲取第一權(quán)重系數(shù)；

9、構(gòu)建評(píng)估時(shí)段，獲取評(píng)估時(shí)段內(nèi)眼睛的運(yùn)動(dòng)軌跡數(shù)據(jù)，并標(biāo)記為第二運(yùn)動(dòng)軌跡，根據(jù)第二運(yùn)動(dòng)軌跡獲取眼睛運(yùn)動(dòng)補(bǔ)償系數(shù)；

10、根據(jù)異常運(yùn)動(dòng)軌跡、第一權(quán)重系數(shù)以及眼睛運(yùn)動(dòng)補(bǔ)償系數(shù)獲取眼睛運(yùn)動(dòng)補(bǔ)償軌跡，并根據(jù)眼睛運(yùn)動(dòng)補(bǔ)償軌跡生成預(yù)測(cè)注視點(diǎn)位置；

11、判斷預(yù)測(cè)注視點(diǎn)位置是否符合第二預(yù)設(shè)條件，若符合，則判定用戶(hù)的注視行為穩(wěn)定，輸出相應(yīng)的控制指令。

12、在一種優(yōu)選方案中，所述根據(jù)瞳孔中心位置和角膜反射點(diǎn)位置獲取注視點(diǎn)位置以及注視物的步驟，包括：

13、根據(jù)瞳孔中心位置和角膜反射點(diǎn)位置獲取凝視點(diǎn)；

14、獲取用戶(hù)面前的人機(jī)交互設(shè)備；

15、根據(jù)凝視點(diǎn)以及人機(jī)交互設(shè)備獲取注視點(diǎn)位置以及注視物。

16、在一種優(yōu)選方案中，所述判斷第一運(yùn)動(dòng)軌跡是否符合第一預(yù)設(shè)條件，若不符合，則標(biāo)記為異常運(yùn)動(dòng)軌跡的步驟，包括：

17、獲取標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡；

18、獲取標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡與第一運(yùn)動(dòng)軌跡之間的軌跡相似度；

19、獲取軌跡相似評(píng)估閾值；

20、判斷軌跡相似度是否低于軌跡相似評(píng)估閾值；

21、若軌跡相似度低于軌跡相似評(píng)估閾值，則判定雙眼運(yùn)動(dòng)異常，并標(biāo)記為異常運(yùn)動(dòng)軌跡；

22、若軌跡相似度不低于軌跡相似評(píng)估閾值，則判定雙眼運(yùn)動(dòng)正常。

23、在一種優(yōu)選方案中，所述獲取標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡與第一運(yùn)動(dòng)軌跡之間的軌跡相似度的步驟，包括：

24、獲取基準(zhǔn)平面，將第一運(yùn)動(dòng)軌跡和標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡等比例縮放至基準(zhǔn)平面上；

25、在基準(zhǔn)平面上建立直角坐標(biāo)系；

26、根據(jù)標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡構(gòu)建多個(gè)軌跡評(píng)比段；

27、獲取每個(gè)軌跡評(píng)比段內(nèi)第一運(yùn)動(dòng)軌跡和標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡的拐點(diǎn)坐標(biāo)；

28、獲取第一運(yùn)動(dòng)軌跡對(duì)應(yīng)的每個(gè)拐點(diǎn)坐標(biāo)向量值，標(biāo)記為第一拐點(diǎn)向量；

29、獲取標(biāo)準(zhǔn)運(yùn)動(dòng)軌跡對(duì)應(yīng)的每個(gè)拐點(diǎn)坐標(biāo)向量值，標(biāo)記為標(biāo)準(zhǔn)拐點(diǎn)向量；

30、獲取相似函數(shù)；

31、將多個(gè)第一拐點(diǎn)向量、多個(gè)標(biāo)準(zhǔn)拐點(diǎn)向量輸入至相似函數(shù)中，并輸出結(jié)果標(biāo)記為軌跡相似度。

32、在一種優(yōu)選方案中，所述根據(jù)異常運(yùn)動(dòng)軌跡獲取第一權(quán)重系數(shù)的步驟，包括：

33、獲取異常運(yùn)動(dòng)軌跡所對(duì)應(yīng)的軌跡相似度，以及軌跡相似評(píng)估閾值；

34、獲取權(quán)重函數(shù)；

35、將異常運(yùn)動(dòng)軌跡所對(duì)應(yīng)的軌跡相似度和軌跡相似評(píng)估閾值輸入至權(quán)重函數(shù)中，并輸出結(jié)果標(biāo)記為第一權(quán)重系數(shù)。

36、在一種優(yōu)選方案中，所述構(gòu)建評(píng)估時(shí)段，獲取評(píng)估時(shí)段內(nèi)眼睛的運(yùn)動(dòng)軌跡數(shù)據(jù)，并標(biāo)記為第二運(yùn)動(dòng)軌跡，根據(jù)第二運(yùn)動(dòng)軌跡獲取眼睛運(yùn)動(dòng)補(bǔ)償系數(shù)的步驟，包括：

37、將標(biāo)記為第一運(yùn)動(dòng)軌跡的時(shí)間標(biāo)記為結(jié)束時(shí)間；

38、獲取標(biāo)準(zhǔn)評(píng)估時(shí)長(zhǎng)；

39、根據(jù)標(biāo)準(zhǔn)評(píng)估時(shí)長(zhǎng)以及結(jié)束時(shí)間獲取開(kāi)始時(shí)間；

40、根據(jù)開(kāi)始時(shí)間和結(jié)束時(shí)間構(gòu)建評(píng)估時(shí)段；

41、獲取評(píng)估時(shí)段內(nèi)眼睛的運(yùn)動(dòng)軌跡數(shù)據(jù)，并標(biāo)記為第二運(yùn)動(dòng)軌跡；

42、根據(jù)多個(gè)第二運(yùn)動(dòng)軌跡獲取對(duì)應(yīng)的多個(gè)運(yùn)動(dòng)軌跡的相似度，并標(biāo)記為軌跡評(píng)估相似度；

43、獲取補(bǔ)償函數(shù)；

44、將多個(gè)軌跡評(píng)估相似度輸入至補(bǔ)償函數(shù)中，并將輸出結(jié)果標(biāo)記為眼睛運(yùn)動(dòng)補(bǔ)償系數(shù)。

45、在一種優(yōu)選方案中，所述根據(jù)異常運(yùn)動(dòng)軌跡、第一權(quán)重系數(shù)以及眼睛運(yùn)動(dòng)補(bǔ)償系數(shù)獲取眼睛運(yùn)動(dòng)補(bǔ)償軌跡，并根據(jù)眼睛運(yùn)動(dòng)補(bǔ)償軌跡生成預(yù)測(cè)注視點(diǎn)位置的步驟，包括：

46、獲取標(biāo)準(zhǔn)函數(shù)；

47、將第一權(quán)重系數(shù)以及眼睛運(yùn)動(dòng)補(bǔ)償系數(shù)輸入至標(biāo)準(zhǔn)函數(shù)中，并將輸出結(jié)果標(biāo)記為軌跡補(bǔ)償值；

48、獲取軌跡補(bǔ)償表，其中，軌跡補(bǔ)償表包括多個(gè)軌跡補(bǔ)償區(qū)間值以及每個(gè)軌跡補(bǔ)償區(qū)間值所對(duì)應(yīng)的軌跡補(bǔ)償方式；

49、根據(jù)軌跡補(bǔ)償值獲取目標(biāo)軌跡補(bǔ)償區(qū)間值；

50、根據(jù)目標(biāo)軌跡補(bǔ)償區(qū)間值從軌跡補(bǔ)償表中獲取對(duì)應(yīng)的軌跡補(bǔ)償方式；

51、根據(jù)軌跡補(bǔ)償方式對(duì)異常運(yùn)動(dòng)軌跡進(jìn)行補(bǔ)償獲取眼睛運(yùn)動(dòng)補(bǔ)償軌跡；

52、并根據(jù)眼睛運(yùn)動(dòng)補(bǔ)償軌跡生成預(yù)測(cè)注視點(diǎn)位置。

53、在一種優(yōu)選方案中，所述判斷預(yù)測(cè)注視點(diǎn)位置是否符合第二預(yù)設(shè)條件，若符合，則判定用戶(hù)的注視行為穩(wěn)定，輸出相應(yīng)的控制指令的步驟，包括：

54、建立平面直角坐標(biāo)系；

55、根據(jù)平面直角坐標(biāo)系獲取標(biāo)準(zhǔn)注視點(diǎn)位置的坐標(biāo)點(diǎn)；

56、根據(jù)平面直角坐標(biāo)系獲取預(yù)測(cè)注視點(diǎn)位置的坐標(biāo)點(diǎn)；

57、獲取坐標(biāo)相似函數(shù)；

58、將標(biāo)準(zhǔn)注視點(diǎn)位置的坐標(biāo)點(diǎn)和預(yù)測(cè)注視點(diǎn)位置的坐標(biāo)點(diǎn)輸入至坐標(biāo)相似函數(shù)中，并將輸出結(jié)果標(biāo)記為注視相似值；

59、獲取注視相似評(píng)估區(qū)間值；

60、判斷注視相似值是否在注視相似評(píng)估區(qū)間值內(nèi)；

61、若注視相似值在注視相似評(píng)估區(qū)間值內(nèi)，則判定用戶(hù)的注視行為穩(wěn)定，輸出相應(yīng)的控制指令；

62、若注視相似值不在注視相似評(píng)估區(qū)間值內(nèi)，則判定用戶(hù)的注視行為錯(cuò)誤。

63、本發(fā)明還提供了，一種基于立體視覺(jué)的非接觸式人機(jī)交互系統(tǒng)，用于上述基于立體視覺(jué)的非接觸式人機(jī)交互方法，包括：

64、特征點(diǎn)模塊，用于獲取用戶(hù)的雙眼圖像，并根據(jù)雙眼圖像提取眼睛特征點(diǎn)，其中，眼睛特征點(diǎn)包括瞳孔中心位置和角膜反射點(diǎn)位置；

65、注視模塊，用于根據(jù)瞳孔中心位置和角膜反射點(diǎn)位置獲取注視點(diǎn)位置以及注視物；

66、第一軌跡模塊，用于獲取眼睛的運(yùn)動(dòng)圖像，根據(jù)運(yùn)動(dòng)圖像數(shù)據(jù)獲取眼睛的運(yùn)動(dòng)軌跡數(shù)據(jù)，并標(biāo)記為第一運(yùn)動(dòng)軌跡；

67、異常軌跡模塊，用于判斷第一運(yùn)動(dòng)軌跡是否符合第一預(yù)設(shè)條件，若不符合，則標(biāo)記為異常運(yùn)動(dòng)軌跡；

68、權(quán)重模塊，用于根據(jù)異常運(yùn)動(dòng)軌跡獲取第一權(quán)重系數(shù)；

69、第二軌跡模塊，用于構(gòu)建評(píng)估時(shí)段，獲取評(píng)估時(shí)段內(nèi)眼睛的運(yùn)動(dòng)軌跡數(shù)據(jù)，并標(biāo)記為第二運(yùn)動(dòng)軌跡，根據(jù)第二運(yùn)動(dòng)軌跡獲取眼睛運(yùn)動(dòng)補(bǔ)償系數(shù)；

70、預(yù)測(cè)模塊，用于根據(jù)異常運(yùn)動(dòng)軌跡、第一權(quán)重系數(shù)以及眼睛運(yùn)動(dòng)補(bǔ)償系數(shù)獲取眼睛運(yùn)動(dòng)補(bǔ)償軌跡，并根據(jù)眼睛運(yùn)動(dòng)補(bǔ)償軌跡生成預(yù)測(cè)注視點(diǎn)位置；

71、控制指令模塊，用于判斷預(yù)測(cè)注視點(diǎn)位置是否符合第二預(yù)設(shè)條件，若符合，則判定用戶(hù)的注視行為穩(wěn)定，輸出相應(yīng)的控制指令。

72、以及，一種基于立體視覺(jué)的非接觸式人機(jī)交互終端，包括：

73、一個(gè)或多個(gè)處理器；

74、存儲(chǔ)裝置，其上存儲(chǔ)有一個(gè)或多個(gè)程序；

75、當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)所述基于立體視覺(jué)的非接觸式人機(jī)交互方法。

76、本發(fā)明取得的技術(shù)效果為：

77、本發(fā)明，在通過(guò)結(jié)合瞳孔中心和角膜反射點(diǎn)位置，能夠精確定位用戶(hù)的注視點(diǎn)，提高人機(jī)交互的準(zhǔn)確性，通過(guò)檢測(cè)異常運(yùn)動(dòng)軌跡并生成補(bǔ)償軌跡，可以有效消除用戶(hù)由于眼睛疲勞、意外運(yùn)動(dòng)等造成的誤操作，提高魯棒性和穩(wěn)定性，根據(jù)用戶(hù)的運(yùn)動(dòng)特征，能夠自適應(yīng)調(diào)整權(quán)重系數(shù)和補(bǔ)償軌跡，增強(qiáng)對(duì)不同用戶(hù)的適應(yīng)性，無(wú)需用戶(hù)通過(guò)物理接觸即可進(jìn)行人機(jī)交互，提供了更為自然和便捷的操作體驗(yàn)，適合多種應(yīng)用場(chǎng)景，如醫(yī)療康復(fù)、智能家居等。