本發(fā)明涉及視覺，尤其涉及一種多模態(tài)視覺信息處理方法及裝置。

背景技術(shù)：

1、目前，主流的眼動(dòng)追蹤公司普遍采用的方案是基于紅外光輔助的瞳孔角膜反射技術(shù)，這種方法利用紅外光斑點(diǎn)輔助，易于提取眼睛中的瞳孔特征進(jìn)行追蹤。然而，這種方法也存在不少缺陷。一方面，它依賴精密的光學(xué)儀器和強(qiáng)大的檢測算法，一旦出現(xiàn)誤差，算法的精度會急劇下降。另一方面，它對眼部的滑移等問題不夠魯棒，例如對于桌面式眼動(dòng)儀來說，無法應(yīng)對頭部轉(zhuǎn)動(dòng)的情況。當(dāng)頭部稍微移出攝像頭的拍攝范圍時(shí)，就無法穩(wěn)定捕捉眼部圖像。而對于頭戴式眼動(dòng)儀，雖然不需要考慮頭部運(yùn)動(dòng)，但會面臨設(shè)備滑移的問題。通常為了確定眼動(dòng)設(shè)備相對于人眼的位置，需要進(jìn)行校準(zhǔn)。但一旦眼動(dòng)儀因運(yùn)動(dòng)等因素導(dǎo)致設(shè)備滑移，那么算法內(nèi)部原先保存的相對位置關(guān)系便會受到影響，精度下降，此時(shí)需要用戶重新進(jìn)行費(fèi)時(shí)費(fèi)力的校準(zhǔn)，從而影響使用體驗(yàn)。因此，提供一種多模態(tài)視覺信息處理方法及裝置，以進(jìn)行高質(zhì)量的眼部特征提取，提升眼球追蹤精度和魯棒性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題在于，提供一種多模態(tài)視覺信息處理方法及裝置有利于進(jìn)行高質(zhì)量的眼部特征提取，提升眼球追蹤精度和魯棒性。

2、為了解決上述技術(shù)問題，本發(fā)明實(shí)施例第一方面公開了一種多模態(tài)視覺信息處理方法，方法包括：

3、獲取待處理視覺信息；待處理視覺信息包括第一待處理視覺信息和第二待處理視覺信息；

4、對待處理視覺信息進(jìn)行計(jì)算處理，得到多模型視覺信息；多模態(tài)視覺信息包括第一模態(tài)視覺信息和第二模態(tài)視覺信息；第一模態(tài)視覺信息包括第一模態(tài)坐標(biāo)信息和第一模態(tài)向量信息；第一模態(tài)坐標(biāo)信息包括第一子模態(tài)坐標(biāo)信息和第二子模型坐標(biāo)信息；第二模態(tài)視覺信息包括第二模態(tài)坐標(biāo)信息和第二模態(tài)向量信息；第二模態(tài)坐標(biāo)信息包括第三子模態(tài)坐標(biāo)信息和第四子模態(tài)坐標(biāo)信息；

5、基于待處理視覺信息和多模型視覺信息，確定出目標(biāo)視覺處理結(jié)果信息。

6、本發(fā)明實(shí)施例第二方面公開了一種多模態(tài)視覺信息處理裝置，裝置包括：

7、獲取模塊，用于獲取待處理視覺信息；待處理視覺信息包括第一待處理視覺信息和第二待處理視覺信息；

8、處理模塊，用于對待處理視覺信息進(jìn)行計(jì)算處理，得到多模型視覺信息；多模態(tài)視覺信息包括第一模態(tài)視覺信息和第二模態(tài)視覺信息；第一模態(tài)視覺信息包括第一模態(tài)坐標(biāo)信息和第一模態(tài)向量信息；第一模態(tài)坐標(biāo)信息包括第一子模態(tài)坐標(biāo)信息和第二子模型坐標(biāo)信息；第二模態(tài)視覺信息包括第二模態(tài)坐標(biāo)信息和第二模態(tài)向量信息；第二模態(tài)坐標(biāo)信息包括第三子模態(tài)坐標(biāo)信息和第四子模態(tài)坐標(biāo)信息；

9、確定模塊，用于基于待處理視覺信息和多模型視覺信息，確定出目標(biāo)視覺處理結(jié)果信息。

10、本發(fā)明第三方面公開了另一種多模態(tài)視覺信息處理裝置，裝置包括：

11、存儲有可執(zhí)行程序代碼的存儲器；

12、與存儲器耦合的處理器；

13、處理器調(diào)用存儲器中存儲的可執(zhí)行程序代碼，執(zhí)行本發(fā)明實(shí)施例第一方面公開的多模態(tài)視覺信息處理方法中的部分或全部步驟。

14、本發(fā)明第四方面公開了一種計(jì)算機(jī)可讀存儲介質(zhì)，計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)指令，計(jì)算機(jī)指令被調(diào)用時(shí)，用于執(zhí)行本發(fā)明實(shí)施例第一方面公開的多模態(tài)視覺信息處理方法中的部分或全部步驟。

技術(shù)特征：

1.一種多模態(tài)視覺信息處理方法，其特征在于，方法包括：

2.根據(jù)權(quán)利要求1的多模態(tài)視覺信息處理方法，其特征在于，對待處理視覺信息進(jìn)行計(jì)算處理，得到多模型視覺信息，包括：

3.根據(jù)權(quán)利要求2的多模態(tài)視覺信息處理方法，其特征在于，對第一待處理視覺信息進(jìn)行計(jì)算處理，得到第一模態(tài)視覺信息，包括：

4.根據(jù)權(quán)利要求3的多模態(tài)視覺信息處理方法，其特征在于，對第一待處理視覺信息進(jìn)行計(jì)算處理，得到第一模態(tài)坐標(biāo)信息，包括：

5.根據(jù)權(quán)利要求2的多模態(tài)視覺信息處理方法，其特征在于，對第二待處理視覺信息進(jìn)行計(jì)算處理，得到第二模態(tài)視覺信息，包括：

6.根據(jù)權(quán)利要求1的多模態(tài)視覺信息處理方法，其特征在于，基于待處理視覺信息和多模型視覺信息，確定出目標(biāo)視覺處理結(jié)果信息，包括：

7.根據(jù)權(quán)利要求6的多模態(tài)視覺信息處理方法，其特征在于，對待處理視覺信息和多模型視覺信息進(jìn)行計(jì)算處理，得到模態(tài)坐標(biāo)距離值，包括：

8.一種多模態(tài)視覺信息處理裝置，其特征在于，裝置包括：

9.一種多模態(tài)視覺信息處理裝置，其特征在于，裝置包括：

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)指令，計(jì)算機(jī)指令被調(diào)用時(shí)，用于執(zhí)行如權(quán)利要求1-7任一項(xiàng)的多模態(tài)視覺信息處理方法。

技術(shù)總結(jié)
本發(fā)明公開了一種多模態(tài)視覺信息處理方法及裝置，該方法包括：獲取待處理視覺信息；待處理視覺信息包括第一待處理視覺信息和第二待處理視覺信息；對待處理視覺信息進(jìn)行計(jì)算處理，得到多模型視覺信息；多模態(tài)視覺信息包括第一模態(tài)視覺信息和第二模態(tài)視覺信息；第一模態(tài)視覺信息包括第一模態(tài)坐標(biāo)信息和第一模態(tài)向量信息；第一模態(tài)坐標(biāo)信息包括第一子模態(tài)坐標(biāo)信息和第二子模型坐標(biāo)信息；第二模態(tài)視覺信息包括第二模態(tài)坐標(biāo)信息和第二模態(tài)向量信息；第二模態(tài)坐標(biāo)信息包括第三子模態(tài)坐標(biāo)信息和第四子模態(tài)坐標(biāo)信息；基于待處理視覺信息和多模型視覺信息，確定出目標(biāo)視覺處理結(jié)果信息。

技術(shù)研發(fā)人員：閆野,白曉偉,王小東,陳偉,張亞坤,涂龍,張敬,羅治國,印二威
受保護(hù)的技術(shù)使用者：中國人民解放軍軍事科學(xué)院國防科技創(chuàng)新研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30