本發(fā)明涉及人機(jī)交互領(lǐng)域，尤其涉及一種用于智能眼鏡的圖像處理方法及系統(tǒng)。

背景技術(shù)：

1、視線估計(jì)是指通過技術(shù)手段來檢測、追蹤或估算一個(gè)人或動(dòng)物的視線方向。眼動(dòng)追蹤是視線估計(jì)的一個(gè)主要應(yīng)用領(lǐng)域。通過使用眼動(dòng)儀等設(shè)備，可以實(shí)時(shí)監(jiān)測和記錄人眼在屏幕或現(xiàn)實(shí)世界中的注視點(diǎn)和注視路徑。這對(duì)于理解人們在特定任務(wù)中的注意力分布、認(rèn)知過程和用戶體驗(yàn)非常有用。在計(jì)算機(jī)視覺中，視線估計(jì)可用于識(shí)別和跟蹤人眼的位置。這通常涉及到使用攝像頭捕捉圖像或視頻，并通過圖像處理技術(shù)來定位和追蹤眼睛的位置，從而確定視線的方向。

2、在三維眼球模型中，現(xiàn)有的主流方法是對(duì)人眼角膜進(jìn)行準(zhǔn)確的建模，利用光線射入人眼角膜時(shí)會(huì)發(fā)生反射和折射現(xiàn)象，通過建立角膜的幾何模型來求解眼球的角膜曲率中心和瞳孔中心，進(jìn)而重構(gòu)眼睛的光軸，然后根據(jù)人眼光軸和視軸之間的關(guān)系重構(gòu)視軸，最終求解出注視點(diǎn)。然而在旋轉(zhuǎn)對(duì)稱的眼球模型中，因?yàn)椴⒉粷M足角膜表面反射光線的反向延長線會(huì)匯聚于角膜曲率中心這一特殊性，而只是交于光軸的某一點(diǎn)，而且隨著年齡的增長，角膜前表面會(huì)變得更彎曲，所以利用角膜特征的誤差會(huì)較大。因此，提供一種用于智能眼鏡的圖像處理方法及系統(tǒng)，有利于提供穩(wěn)定可靠的視線估計(jì)結(jié)果信息。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題在于，提供一種用于智能眼鏡的圖像處理方法及系統(tǒng)，有利于提供穩(wěn)定可靠的視線估計(jì)結(jié)果信息。

2、為了解決上述技術(shù)問題，本發(fā)明實(shí)施例第一方面公開了一種用于智能眼鏡的圖像處理方法，所述方法包括：

3、s1，獲取待處理圖像信息；所述待處理圖像信息包含m個(gè)第一待處理信息和所述m個(gè)第二待處理信息；

4、s2，基于所述待處理圖像信息，確定出第一半徑信息和第二半徑信息；

5、s3，基于所述第一半徑信息和所述第二半徑信息，確定出視線估計(jì)結(jié)果信息。

6、作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述基于所述待處理圖像信息，確定出第一半徑信息和第二半徑信息，包括：

7、s21，對(duì)所述待處理圖像信息進(jìn)行融合處理，得到預(yù)處理圖像信息；所述預(yù)處理圖像信息包括所述m個(gè)第一預(yù)處理信息和所述m個(gè)第二預(yù)處理信息；

8、s22，基于所述預(yù)處理圖像信息，確定出第一眼球中心信息和第二眼球中心信息；

9、s23，基于所述預(yù)處理圖像信息、所述第一眼球中心信息和所述第二眼球中心信息，確定出第一半徑信息和第二半徑信息。

10、作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述基于所述預(yù)處理圖像信息，確定出第一眼球中心信息和第二眼球中心信息，包括：

11、s221，對(duì)于任一所述第一預(yù)處理信息，利用第一擬合模型對(duì)該第一預(yù)處理信息進(jìn)行計(jì)算處理，得到該第一預(yù)處理信息對(duì)應(yīng)的第三預(yù)處理信息；

12、其中，所述第一擬合模型為：

13、kl＝zl+sl*(nl)；

14、式中，kl為所述第三預(yù)處理信息，zl為所述第一預(yù)處理信息對(duì)應(yīng)的瞳孔位置，nl為所述第一預(yù)處理信息對(duì)應(yīng)的注視矢量，sl為第一注視矢量長度系數(shù)；

15、s222，對(duì)于任一所述第二預(yù)處理信息，利用第二擬合模型對(duì)該第二預(yù)處理信息進(jìn)行計(jì)算處理，得到該第二預(yù)處理信息對(duì)應(yīng)的第四預(yù)處理信息；

16、其中，所述第二擬合模型為：

17、kr＝zr+sr*(nr)；

18、式中，kr為所述第四預(yù)處理信息，zr為所述第二預(yù)處理信息對(duì)應(yīng)的瞳孔位置，nr為所述第二預(yù)處理信息對(duì)應(yīng)的注視矢量，sr為第二注視矢量長度系數(shù)；

19、s223，利用第三擬合模型，對(duì)所述m個(gè)所述第一預(yù)處理信息和所述m個(gè)所述第一預(yù)處理信息對(duì)應(yīng)的所述第三預(yù)處理信息進(jìn)行融合處理，得到第一眼球中心信息；

20、其中，所述第三擬合模型為：

21、

22、式中，gl為所述第一眼球中心信息，為第ia個(gè)所述第三預(yù)處理信息，為第ia個(gè)所述第一預(yù)處理信息對(duì)應(yīng)的注視矢量，為的轉(zhuǎn)置矩陣，為第ia個(gè)所述第一預(yù)處理信息對(duì)應(yīng)的瞳孔位置，αl為第一融合系數(shù)，ia為大于等于1，小于等于m的正整數(shù)；

23、s224，利用第四擬合模型，對(duì)所述m個(gè)所述第二預(yù)處理信息和所述m個(gè)所述第二預(yù)處理信息對(duì)應(yīng)的所述第四預(yù)處理信息進(jìn)行融合處理，得到第二眼球中心信息；

24、其中，所述第四擬合模型為：

25、

26、式中，gr為所述第二眼球中心信息，為第ib個(gè)所述第四預(yù)處理信息，為第ib個(gè)所述第二預(yù)處理信息對(duì)應(yīng)的注視矢量，為的轉(zhuǎn)置矩陣，為第ib個(gè)所述第二預(yù)處理信息對(duì)應(yīng)的瞳孔位置，αr為第二融合系數(shù)，ib為大于等于1，小于等于m的正整數(shù)。

27、作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述基于所述預(yù)處理圖像信息、所述第一眼球中心信息和所述第二眼球中心信息，確定出第一半徑信息和第二半徑信息，包括：

28、s231，對(duì)于任一所述第一預(yù)處理信息，對(duì)該第一預(yù)處理信息進(jìn)行分析處理，得到該第一預(yù)處理信息對(duì)應(yīng)的第一交點(diǎn)信息；

29、s232，對(duì)于任一所述第二預(yù)處理信息，對(duì)該第二預(yù)處理信息進(jìn)行分析處理，得到該第二預(yù)處理信息對(duì)應(yīng)的第二交點(diǎn)信息；

30、s233，利用第五擬合模型，對(duì)所述第一交點(diǎn)信息、所述第二交點(diǎn)信息、所述第一眼球中心信息和所述第二眼球中心信息進(jìn)行計(jì)算處理，得到第一半徑信息和第二半徑信息；

31、其中，所述第五擬合模型為：

32、

33、式中，zbj為所述第一半徑信息，ybj為所述第二半徑信息，為第ic個(gè)所述第一交點(diǎn)信息，為第ic個(gè)所述第二交點(diǎn)信息，gl為所述第一眼球中心信息，gr為所述第二眼球中心信息，ic為大于等于1，小于等于m的正整數(shù)。

34、作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述基于所述第一半徑信息和所述第二半徑信息，確定出視線估計(jì)結(jié)果信息，包括：

35、s31，獲取第三眼球中心信息和第四眼球中心信息；

36、s32，基于所述第三眼球中心信息、所述第四眼球中心信息、所述第一半徑信息和所述第二半徑信息，確定出第一光軸坐標(biāo)和第二光軸坐標(biāo)；

37、s33，對(duì)所述第一光軸坐標(biāo)和所述第二光軸坐標(biāo)進(jìn)行計(jì)算處理，得到第一視軸信息和第二視軸信息；

38、s34，基于所述第一視軸信息和所述第二視軸信息，確定出視線估計(jì)結(jié)果信息。

39、作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述基于所述第三眼球中心信息、所述第四眼球中心信息、所述第一半徑信息和所述第二半徑信息，確定出第一光軸坐標(biāo)和第二光軸坐標(biāo)，包括：

40、利用第六擬合模型，對(duì)所述第三眼球中心信息、所述第四眼球中心信息、所述第一半徑信息和所述第二半徑信息進(jìn)行計(jì)算處理，得到第一光軸坐標(biāo)和第二光軸坐標(biāo)；

41、其中，所述第六擬合模型為：

42、(xl,yl,zl)＝p*(x3,y3,z3)-q*wl*(x3,y3,z3)；

43、(xr,yr,zr)＝p*(x4,y4,z4)-q*wr*(x4,y4,z4)；

44、式中，(xl,yl,zl)為所述第一光軸坐標(biāo)，(xr,yr,zr)為所述第二光軸坐標(biāo)，p、q分別為第一權(quán)重系數(shù)和第二權(quán)重系數(shù)，(x3,y3,z3)為所述第三眼球中心信息，(x4,y4,z4)為所述第四眼球中心信息，wl為所述第一半徑信息，wr為所述第二半徑信息。

45、作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述對(duì)所述第一光軸坐標(biāo)和所述第二光軸坐標(biāo)進(jìn)行計(jì)算處理，得到第一視軸信息和第二視軸信息，包括：

46、s331，獲取第一水平角度、第二水平角度、第一垂直角度和第二垂直角度；

47、s332，利用第七擬合模型，對(duì)所述第一光軸坐標(biāo)、所述第二光軸模型、所述第一水平角度、所述第二水平角度、所述第一垂直角度和所述第二垂直角度進(jìn)行融合處理，得到第一視軸信息和第二視軸信息；

48、其中，所述第七擬合模型為：

49、bl＝c*(xl,yl,zl)*cosθ1l+d*sinθ2l；

50、br＝e*(xr,yr,zr)*cosθ1r+f*sinθ2r；

51、式中，bl為所述第一視軸信息，br為所述第二視軸信息，c、d、e和f分別為第一修正因子、第二修正因子、第三修正因子和第四修正因子，(xl,yl,zl)為所述第一光軸坐標(biāo)，(xr,yr,zl)為所述第二光軸坐標(biāo)，θ1l、θ2l、θ1r、θ2r分別為所述第一水平角度、所述第二水平角度、所述第一垂直角度和所述第二垂直角度。

52、本發(fā)明實(shí)施例第二方面公開了一種用于智能眼鏡的圖像處理系統(tǒng)，所述系統(tǒng)包括：

53、獲取模塊，用于獲取待處理圖像信息；所述待處理圖像信息包含m個(gè)第一待處理信息和所述m個(gè)第二待處理信息；

54、第一計(jì)算模塊，用于基于所述待處理圖像信息，確定出第一半徑信息和第二半徑信息；

55、第二計(jì)算模塊，用于基于所述第一半徑信息和所述第二半徑信息，確定出視線估計(jì)結(jié)果信息。

56、本發(fā)明實(shí)施例第三方面公開了另一種用于智能眼鏡的圖像處理系統(tǒng)，所述系統(tǒng)包括：

57、處理器；

58、與所述處理器耦合的存儲(chǔ)有可執(zhí)行程序代碼的存儲(chǔ)器；

59、所述處理器調(diào)用所述存儲(chǔ)器中存儲(chǔ)的所述可執(zhí)行程序代碼，執(zhí)行本發(fā)明實(shí)施例第一方面公開的用于智能眼鏡的圖像處理方法中的部分或全部步驟。

60、本發(fā)明第四方面公開了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被調(diào)用時(shí)，用于執(zhí)行本發(fā)明實(shí)施例第一方面公開的用于智能眼鏡的圖像處理方法的部分或全部步驟。

61、與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例具有以下有益效果：

62、本發(fā)明實(shí)施例中，獲取待處理圖像信息；所述待處理圖像信息包含m個(gè)第一待處理信息和所述m個(gè)第二待處理信息；基于所述待處理圖像信息，確定出第一半徑信息和第二半徑信息；基于所述第一半徑信息和所述第二半徑信息，確定出視線估計(jì)結(jié)果信息?？梢?，本技術(shù)有利于提供穩(wěn)定可靠的視線估計(jì)結(jié)果信息。