本公開的實施例涉及計算機,具體涉及注意力水平信息生成方法、裝置、電子設備和計算機可讀介質。
背景技術:
1、人類的注意力是一種復雜的認知功能,它在個體的認知過程中扮演著至關重要的角色。注意力的測量和分析對于多種應用領域具有重要意義,包括但不限于教育、醫(yī)療和人機交互。目前,注意力分析主要依賴于腦電圖(eeg)信號的測量。eeg是一種非侵入性的神經成像技術,能夠記錄大腦活動產生的電信號,通過分析這些信號,可以推斷出個體的注意力狀態(tài)。近年來,eeg信號去噪技術的研究正在迅速發(fā)展,特別是在深度學習、圖信號處理和數(shù)據(jù)增強技術方面。其中,去噪技術通常為通過分析腦電信號識別噪聲,再通過相關算法對其進行分離。
2、然而,當采用上述方式進行注意力分析時,經常會存在如下技術問題:腦電圖信號容易受到眼球運動、眨眼、肌肉活動引起的噪聲的影響,這些噪聲會顯著影響信號質量,而單單通過分析腦電信號圖識別噪聲的準確性較低,導致對注意力水平信息的識別的準確性較低。
3、該背景技術部分中所公開的以上信息僅用于增強對本公開構思的背景的理解,并因此,其可包含并不形成本國的本領域普通技術人員已知的現(xiàn)有技術的信息。
技術實現(xiàn)思路
1、本公開的內容部分用于以簡要的形式介紹構思,這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征,也不旨在用于限制所要求的保護的技術方案的范圍。
2、本公開的一些實施例提出了注意力水平信息生成方法、裝置、電子設備和計算機可讀介質,來解決以上背景技術部分提到的技術問題中的一項或多項。
3、第一方面,本公開的一些實施例提供了一種注意力水平信息生成方法,該方法包括:獲取近眼圖像序列和腦電圖信號;根據(jù)上述近眼圖像序列,生成注視點坐標序列和眨眼圖像序列;基于上述注視點坐標序列和上述眨眼圖像序列,生成上述腦電圖信號對應的噪聲時間區(qū)間集合;根據(jù)上述噪聲時間區(qū)間集合,對上述腦電圖信號去噪,得到去噪腦電圖信號;基于上述去噪腦電圖信號、上述注視點坐標序列以及上述眨眼圖像序列和預先訓練的注意力水平分類模型,生成注意力水平信息序列。
4、第二方面,本公開的一些實施例提供了一種注意力水平信息生成裝置,裝置包括:獲取單元,被配置成獲取近眼圖像序列和腦電圖信號;第一生成單元,被配置成根據(jù)上述近眼圖像序列,生成注視點坐標序列和眨眼圖像序列;第二生成單元,被配置成基于上述注視點坐標序列和上述眨眼圖像序列,生成上述腦電圖信號對應的噪聲時間區(qū)間集合;去噪單元,被配置成根據(jù)上述噪聲時間區(qū)間集合,對上述腦電圖信號去噪,得到去噪腦電圖信號;第三生成單元,被配置成基于上述去噪腦電圖信號、上述注視點坐標序列以及上述眨眼圖像序列列和預先訓練的注意力水平分類模型,生成注意力水平信息序列。
5、第三方面,本公開的一些實施例提供了一種電子設備,包括:一個或多個處理器;存儲裝置,其上存儲有一個或多個程序,當一個或多個程序被一個或多個處理器執(zhí)行,使得一個或多個處理器實現(xiàn)上述第一方面任一實現(xiàn)方式所描述的方法。
6、第四方面,本公開的一些實施例提供了一種計算機可讀介質,其上存儲有計算機程序,其中,程序被處理器執(zhí)行時實現(xiàn)上述第一方面任一實現(xiàn)方式所描述的方法。
7、本公開的上述各個實施例中具有如下有益效果:通過本公開的一種注意力水平信息生成方法,可以充分利用多種眼動信息輔助去除腦電圖信號中的眼動噪聲,相比根據(jù)分析單一的腦電圖信號去除噪聲,分析多模態(tài)的信息可以更有效地區(qū)分大腦活動產生的信號和外部噪聲,提升噪聲識別的準確性。由此,可以提高去噪質量和所生成的注意力水平信息的準確性。具體來說,造成去噪質量低的原因是:腦電圖信號容易受到眼球運動、眨眼、肌肉活動引起的噪聲的影響,這些噪聲會顯著影響信號質量,而單單通過分析腦電信號圖識別噪聲的準確性較低,導致對注意力水平信息的識別的準確性較低?;诖?,本公開的一些實施例的注意力水平信息生成方法,首先,獲取近眼圖像序列和腦電圖信號。由此,可以獲取多幀近眼圖像以及未處理的腦電圖信號。然后,根據(jù)上述近眼圖像序列,生成注視點坐標序列和眨眼圖像序列。由此,可以對近眼圖像序列包含的多模態(tài)信息進行提取,得到去噪所需的注視點坐標序列和眨眼圖像序列。接著,基于上述注視點坐標序列和上述眨眼圖像序列,生成上述腦電圖信號對應的噪聲時間區(qū)間集合。由此,可以整合注視點坐標序列和眨眼圖像序列確定腦電圖信號的噪聲時間區(qū)間集合。然后,根據(jù)上述噪聲時間區(qū)間集合,對上述腦電圖信號去噪,得到去噪腦電圖信號。由此,可以根據(jù)確定的噪聲時間區(qū)間去清除腦電圖信號中的噪聲。最后,基于上述去噪腦電圖信號、上述注視點坐標序列以及上述眨眼圖像序列和預先訓練的注意力水平分類模型,生成注意力水平信息序列。由此,可以利用注意力水平分類模型結合去噪腦電圖信號、上述注視點信息以及上述眨眼信息序列三模態(tài)的信息,識別用戶的注意力水平信息序列。也因為是通過融合腦電圖信號和多種眼動信息進行去噪的,相比根據(jù)分析單一的腦電圖信號去除噪聲,分析多模態(tài)的信息可以更有效地區(qū)分大腦活動產生的信號和外部噪聲,提升噪聲識別的準確性。由此,可以提高去噪質量和所生成的注意力水平信息的準確性。
1.一種注意力水平信息生成方法,包括:
2.根據(jù)權利要求1所述的方法,其中,所述根據(jù)所述近眼圖像序列,生成注視點坐標序列和眨眼圖像序列,包括:
3.根據(jù)權利要求1所述的方法,其中,所述基于所述注視點坐標序列和所述眨眼圖像序列,生成所述腦電圖信號對應的噪聲時間區(qū)間集合,包括:
4.根據(jù)權利要求3所述的方法,其中,所述根據(jù)所述注視點坐標序列和所述近眼圖像序列,生成掃視時間區(qū)間集合,包括:
5.根據(jù)權利要求3所述的方法,其中,所述根據(jù)所述眨眼圖像序列,生成眨眼時間區(qū)間集合,包括:
6.根據(jù)權利要求1所述的方法,其中,所述根據(jù)所述噪聲時間區(qū)間集合,對所述腦電圖信號去噪,得到去噪腦電圖信號,包括:
7.根據(jù)權利要求1所述的方法,其中,所述方法還包括:
8.一種注意力水平信息生成裝置,包括:
9.一種電子設備,包括:
10.一種計算機可讀介質,其上存儲有計算機程序,其中,所述程序被處理器執(zhí)行時實現(xiàn)如權利要求1-7中任一所述的方法。