本發(fā)明涉及學(xué)習(xí)者認知狀態(tài)解釋，尤其是涉及一種基于腦-語言-視覺大模型的認知狀態(tài)可解釋方法。

背景技術(shù)：

1、大腦作為學(xué)習(xí)者信息加工的核心場所，通過視覺、語言等多種方式進行編碼，塑造了學(xué)習(xí)者對外界的認知表征。從神經(jīng)信號中解碼出與學(xué)習(xí)任務(wù)相關(guān)的大腦狀態(tài)能夠解釋大腦的信息加工過程，特別是將學(xué)習(xí)者認知加工過程的可解釋處理，能加深學(xué)習(xí)者對認知加工的理解，促進構(gòu)建更多樣化的認知網(wǎng)絡(luò)模式，提升其自主調(diào)控學(xué)習(xí)策略的能力從而促進深度有意義學(xué)習(xí)。認知神經(jīng)科學(xué)的雙編碼理論表明，具體概念在大腦中從視覺和語言兩方面進行編碼，其中語言作為一種有效的先驗經(jīng)驗，有助于塑造視覺衍生的表征。因此，學(xué)習(xí)者在處理具體概念時，既能通過視覺信息感知外部世界，又能通過語言將這些信息與已有知識結(jié)構(gòu)相聯(lián)系，這種語言和視覺雙重編碼的過程，幫助學(xué)習(xí)者建立起更加豐富的認知表征。然而，大腦的認知加工和知識建構(gòu)是一種內(nèi)隱過程，學(xué)習(xí)者往往難以自主意識到自身認知狀態(tài)，導(dǎo)致學(xué)習(xí)盲區(qū)無法被及時識別與調(diào)整，阻礙知識的深層次理解與應(yīng)用。因此，開發(fā)基于對學(xué)習(xí)者大腦的視覺-語言特征的多模態(tài)深度學(xué)習(xí)解碼手段，能夠幫助深入監(jiān)測和分析學(xué)習(xí)者的認知狀態(tài)，促進大腦活動數(shù)據(jù)實現(xiàn)多模態(tài)信息的有效融合，揭示人腦的認知機制，以便正確解釋學(xué)習(xí)者的認知狀態(tài)并提供個性化的學(xué)習(xí)反饋，推動更加有效的學(xué)習(xí)策略調(diào)控。

2、當(dāng)前存在問題：

3、目前對于學(xué)習(xí)者認知狀態(tài)識別僅僅依靠教師主觀感知和問卷、行為觀察、訪談、生理測量等傳統(tǒng)評估方法，無法客觀高效識別，而通過腦數(shù)據(jù)分析認知狀態(tài)還大多只依靠fmri和eeg數(shù)據(jù)，缺少多模態(tài)的證據(jù)，從而導(dǎo)致準(zhǔn)確性較低。

4、具體而言：

5、1.視覺神經(jīng)表示解碼方法的局限性。當(dāng)前的視覺神經(jīng)表示解碼方法大多依賴于從圖像中提取的視覺語義知識。例如，利用gabor小波濾波器或卷積神經(jīng)網(wǎng)絡(luò)（cnn）分析大腦活動，或者通過生成對抗網(wǎng)絡(luò)（gan）訓(xùn)練生成模型以重建視覺刺激。盡管這些技術(shù)能夠捕捉圖像中的關(guān)鍵特征，但往往忽視了個體先驗知識對視覺刺激處理的影響。僅依靠視覺特征無法全面反映大腦對特定視覺刺激的復(fù)雜處理過程。此外，目前缺乏將視覺特征與語言等其他模態(tài)的信息結(jié)合起來的具身語言模型，這使得我們難以更準(zhǔn)確地模擬人腦對感知對象的認知機制。

6、2.語言特征解碼的研究不足。雖然一些研究探討了僅使用語言特征來解碼自然視覺體驗，但這些研究主要依賴于從common?crawl等大型語料庫中自動提取的標(biāo)準(zhǔn)類名詞向量。然而，這些類名詞的詞向量與視覺信息的對齊程度較低，導(dǎo)致神經(jīng)解碼的準(zhǔn)確性未達到實用標(biāo)準(zhǔn)。此外，現(xiàn)有的認知狀態(tài)檢測方法通常只能解碼預(yù)定義類別的大腦活動，缺乏對新類別的泛化能力，且在處理多模態(tài)信息源時速度較慢，從而在準(zhǔn)確性、實時性及結(jié)果的可解釋性方面仍面臨挑戰(zhàn)。

7、3.腦視覺表征在認知狀態(tài)中的潛力未被充分應(yīng)用。首先，現(xiàn)有的教育技術(shù)和認知狀態(tài)評估工具主要依賴行為表現(xiàn)和情緒反饋，較少關(guān)注對腦視覺表征的深入挖掘。例如，眼動追蹤技術(shù)可以捕捉學(xué)習(xí)者的視覺注意力，但卻無法完全揭示視覺信息如何在大腦中被解碼，以及這些信息如何影響學(xué)習(xí)者的理解、推理和記憶形成。其次，腦視覺表征在多模態(tài)數(shù)據(jù)整合中的潛力也未得到充分應(yīng)用?，F(xiàn)有的多模態(tài)數(shù)據(jù)分析主要結(jié)合了語音、文本和行為數(shù)據(jù)，卻沒有深入挖掘腦視覺表征與這些數(shù)據(jù)的潛在聯(lián)系。

8、最后，盡管近年來神經(jīng)科學(xué)的發(fā)展使我們能夠通過腦成像技術(shù)（如fmri或eeg）監(jiān)測大腦的視覺處理過程，但這些技術(shù)應(yīng)用在教育領(lǐng)域時，往往僅限于實驗室研究，尚未大規(guī)模轉(zhuǎn)化為實際教學(xué)工具或?qū)W習(xí)分析方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于腦-語言-視覺大模型的認知狀態(tài)可解釋方法，提取多模態(tài)特征結(jié)合腦視覺表征構(gòu)建類腦圖網(wǎng)絡(luò)架構(gòu)，使用時空金字塔圖卷積模塊解碼腦數(shù)據(jù)，將腦表征數(shù)據(jù)、視覺圖像感知數(shù)據(jù)與語言文本數(shù)據(jù)等多模態(tài)信息融合正則化處理，將連續(xù)、具身的融合數(shù)據(jù)注入到預(yù)訓(xùn)練語言模型的嵌入空間中，結(jié)合知識圖譜和思維鏈推理出學(xué)習(xí)者的認知狀態(tài)，從而生成混合多模態(tài)的具身推理方法以精確解釋學(xué)習(xí)者認知狀態(tài)。

2、為實現(xiàn)上述目的，本發(fā)明提供了一種基于腦-語言-視覺大模型的認知狀態(tài)可解釋方法，包括以下步驟：

3、s1、面向?qū)W習(xí)者的認知狀態(tài)進行多模態(tài)數(shù)據(jù)收集；

4、s2、基于多尺度圖卷積網(wǎng)絡(luò)的認知狀態(tài)表征；

5、s3、基于分層互信息最大化的腦-視覺-語言混合多模態(tài)時序特征融合；

6、s4、增強多模態(tài)大模型復(fù)雜任務(wù)理解能力的知識圖譜節(jié)點嵌入；

7、s5、知識引導(dǎo)的腦-視覺-語言多模態(tài)大模型訓(xùn)練；

8、s6、基于多模態(tài)大模型的學(xué)習(xí)者認知狀態(tài)識別；

9、s7、多模態(tài)具身推理支持下學(xué)習(xí)者認知狀態(tài)可解釋分析。

10、優(yōu)選的，s1中，學(xué)習(xí)者的認知狀態(tài)包括記憶、理解、應(yīng)用、推理、分析、評價、創(chuàng)造和自動化，多模態(tài)數(shù)據(jù)收集包括腦數(shù)據(jù)收集、視覺數(shù)據(jù)收集和語言數(shù)據(jù)收集；

11、腦數(shù)據(jù)收集過程具體為：

12、采用高分辨率成像技術(shù)fmri收集學(xué)習(xí)者靜息態(tài)腦成像數(shù)據(jù)，將收集的fmri靜息態(tài)腦成像數(shù)據(jù)預(yù)處理為的輸入矩陣；

13、視覺數(shù)據(jù)收集過程具體為：

14、根據(jù)學(xué)習(xí)者課堂學(xué)習(xí)情景錄制視頻，按固定間隔提取視頻幀，對每個靜態(tài)圖像進行處理；

15、語言數(shù)據(jù)收集過程具體為：

16、收集學(xué)習(xí)者學(xué)習(xí)材料以及在學(xué)習(xí)過程中產(chǎn)生的文本數(shù)據(jù)、師生-生生課堂對話數(shù)據(jù)，用表示學(xué)習(xí)者產(chǎn)出的一個具體的詞或子詞，用一個有限集合表示所有可能的詞或子詞的詞匯表，將離散的詞匯映射到連續(xù)的向量空間，預(yù)處理成一個大小為的大嵌入矩陣。

17、優(yōu)選的，s2中通過學(xué)習(xí)者在各學(xué)習(xí)任務(wù)時間段的fmri靜息態(tài)腦成像來判斷其當(dāng)前的認知狀態(tài)：

18、將fmri靜息態(tài)腦成像數(shù)據(jù)進行標(biāo)記，表示為，其中表示與認知狀態(tài)相關(guān)的fmri靜息態(tài)腦成像數(shù)據(jù)特征矩陣，包含個學(xué)習(xí)者腦感興趣區(qū)rois和個時間樣本，是來自標(biāo)簽集的認知狀態(tài)標(biāo)簽，用于表明與fmri靜息態(tài)腦成像數(shù)據(jù)相對應(yīng)的認知狀態(tài)類型，是數(shù)據(jù)集的樣本數(shù)量；

19、從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)一個最優(yōu)圖網(wǎng)絡(luò)，并根據(jù)測試數(shù)據(jù)集中每個fmri靜息態(tài)腦成像數(shù)據(jù)預(yù)測任務(wù)標(biāo)簽：

20、（1）。

21、優(yōu)選的，s2中基于多尺度圖卷積網(wǎng)絡(luò)的認知狀態(tài)表征包括以下兩個模塊：

22、s21、腦圖構(gòu)建；

23、采用標(biāo)準(zhǔn)腦圖譜將大腦劃分為個感興趣區(qū)域rois，通過fmri靜息態(tài)腦成像數(shù)據(jù)計算每個個體在各腦區(qū)間的功能連接fc，對平均功能連接矩陣進行二值化，再采用圖構(gòu)建策略，構(gòu)建大腦圖；

24、其中，節(jié)點為感興趣區(qū)域rois，邊表示節(jié)點之間的連接關(guān)系；

25、則時間點時特定roi的腦活動通過該roi內(nèi)所有體素的平均值來計算，假設(shè)總共有個學(xué)習(xí)者，第個學(xué)習(xí)者的腦功能連接矩陣通過計算rois之間fmri靜息態(tài)腦成像數(shù)據(jù)的pearson相關(guān)性獲得，而后對所有學(xué)習(xí)者的鄰接矩陣進行平均，獲得組水平的鄰接矩陣如下：

26、（2）；

27、為特定roi構(gòu)建一個具有無向邊的腦圖，連接其與其他roi中相關(guān)性排名前的區(qū)域，從組水平的鄰接矩陣中修剪連接，得到一個以二值化的無向組水平鄰接矩陣為特征的腦圖：

28、（3）；

29、其中，表示第個roi與第個roi之間的連接強度，表示第個roi中連接強度的第大值，為二值化鄰接矩陣，表示第個roi與第個roi是否存在連接；

30、s22、大腦解碼；

31、收集來自功能磁共振成像的血氧水平依賴信號數(shù)據(jù)bold，每個信號數(shù)據(jù)bold用于反映在不同時間點多個腦區(qū)rois的動態(tài)響應(yīng)，記錄n個rois在m幀時間內(nèi)的活動變化，具體過程如下：

32、將bold信號經(jīng)過預(yù)處理轉(zhuǎn)化為特征矩陣，將特征矩陣信息作為模型的輸入數(shù)據(jù)，分析學(xué)習(xí)者不同認知狀態(tài)過程中rois的活動模式；

33、在特征矩陣的基礎(chǔ)上生成特征圖，其中，圖的節(jié)點代表各個腦感興趣區(qū)，節(jié)點之間的邊表示這些腦區(qū)之間的關(guān)聯(lián)關(guān)系，用于反映課堂中不同認知任務(wù)對腦區(qū)間的互聯(lián)需求；

34、將特征圖輸入時空金字塔圖卷積模塊進行多層時空卷積處理，捕捉腦區(qū)間的動態(tài)關(guān)聯(lián)。

35、優(yōu)選的，s22中的時空金字塔圖卷積模塊包括三個具有不同尺度時間卷積的時空通路和若干個自下而上通路：

36、時空通路包括時間門控卷積模塊和空間卷積模塊，空間卷積模塊為輸入向量與濾波器的乘積：

37、（4）；

38、其中，和分別是標(biāo)準(zhǔn)化圖拉普拉斯矩陣的特征向量矩陣和特征值的對角矩陣，且；

39、圖拉普拉斯矩陣通過鄰接矩陣的轉(zhuǎn)換得到，表示為：

40、，其中是度矩陣，其對角元素為，是單位矩陣，從fmri靜息態(tài)腦成像數(shù)據(jù)中獲取鄰接矩陣；

41、采用切比雪夫多項式近似濾波器，將空間圖卷積模塊重新表示為切比雪夫多項式的線性函數(shù)：

42、（5）；

43、其中，，表示的最大特征值，通過引入一階近似，設(shè)置且，將和代入公式（5），得到空間圖卷積近似表示為：

44、

45、（6）；

46、

47、時間門控卷積模塊為一個寬度為的一維卷積核，后接一個門控線性單元glu，其中，表示第 j個時空通路中的時間卷積核，圖中每個節(jié)點的輸入表示為，其中表示輸入長度，表示輸入通道數(shù)，時間卷積核，將映射到一個輸出元素，并將分為兩個具有相同通道數(shù)的部分，其中表示輸出通道數(shù)；

48、則時間門控卷積模塊表示為：

49、（7）；

50、其中，表示時間卷積；和分別是glu中門控單元的輸入；⊙表示元素級hadamard積；表示sigmoid門控，用于確定輸入的重要性；

51、在自下而上通路中，各路徑將不同時空尺度下的細粒度和粗粒度特征逐層串聯(lián)并向上傳遞，底部路徑的空間特征通過多尺度信息的逐步整合，向頂部路徑傳遞，形成具有全局和局部視角的特征表示，從而生成多層次的語義信息。

52、優(yōu)選的，在s3之前還包括僅通過解碼大語言模型llms，預(yù)測一段文本序列的概率，其中，文本序列表示一個標(biāo)記序列，m表示文本序列總長度；

53、通過因式分解神經(jīng)網(wǎng)絡(luò)架構(gòu)得到：

54、（8）；

55、其中，是transformer網(wǎng)絡(luò)；

56、預(yù)訓(xùn)練模型在不改變架構(gòu)的情況下通過前綴來進行條件預(yù)測：

57、（9）；

58、前綴用于提供llm繼續(xù)預(yù)測后續(xù)標(biāo)記所依據(jù)的上下文；

59、將自然語言中的詞轉(zhuǎn)換成被大語言模型llm處理的向量表示，進行如下映射：

60、定義表示一個具體的詞或子詞，用表示離散詞的有限集合，在內(nèi)部，llm通過映射將嵌入到詞標(biāo)記嵌入空間中，即，其中，映射通常表示為一個大小為的大型嵌入矩陣。

61、優(yōu)選的，基于學(xué)習(xí)者腦數(shù)據(jù)、視覺圖像數(shù)據(jù)多模態(tài)數(shù)據(jù)連續(xù)觀測的文本嵌入，具體過程如下：

62、為編碼器分別提出不同的架構(gòu)選擇，以將連續(xù)觀測的多模態(tài)數(shù)據(jù)直接而非離散化地映射到大語言模型的語言嵌入空間中：

63、（10）；

64、將連續(xù)觀測嵌入向量與正常的文本標(biāo)記嵌入交替排列，形成前綴，即前綴中的每個向量都來自于詞標(biāo)記嵌入器或編碼器：

65、（11）；

66、觀測被編碼為多個嵌入向量，在前綴的不同位置交替使用不同的編碼器，以組合來自不同觀測空間的信息；

67、采用自注意力機制、視覺變換器vit分別從腦解碼數(shù)據(jù)和2d圖像中提取標(biāo)記嵌入大語言模型llm；

68、其中，自注意力機制用于將腦rois、時空序列特征維度輸入到大語言模型中，設(shè)，n表示感興趣區(qū)rois的數(shù)量，d表示特定roi的特征維度，則通過fmri靜息態(tài)腦成像數(shù)據(jù)提取的特征數(shù)量：

69、（12）；

70、（13）；

71、（14）；

72、其中，是時空金字塔圖卷積解碼得到的腦特征向量，，，是映射到查詢、鍵和值的權(quán)重矩陣，是鍵的維度，用于縮放因子；

73、引入仿射變換將vit生成的嵌入內(nèi)容調(diào)整到與語言模型匹配的維度，對于每個圖像標(biāo)記嵌入，通過變換為適合語言模型的向量表示。

74、優(yōu)選的，s3中，構(gòu)建多模態(tài)自編碼變分貝葉斯模型用于多模態(tài)特征融合，使用三個特定于模態(tài)的編碼網(wǎng)絡(luò)、，將單模態(tài)特征、轉(zhuǎn)化為聯(lián)合的潛變量，然后通過三個特定于模態(tài)的解碼網(wǎng)絡(luò)、分別進行特征重構(gòu)；

75、多模態(tài)聯(lián)合建模過程為：采用變分自編碼器vae潛變量模型用于可擴展的無監(jiān)督表示學(xué)習(xí)，對于單模態(tài)數(shù)據(jù)，vae通過聯(lián)合潛變量定義邊緣對數(shù)似然：

76、；

77、vae最大化證據(jù)下界elbo得到：

78、（15）；

79、其中，是由編碼器網(wǎng)絡(luò)表示的近似后驗分布，其參數(shù)為，是由解碼器網(wǎng)絡(luò)表示的條件分布，其參數(shù)為；

80、聯(lián)合的邊緣對數(shù)似然及其證據(jù)下界elbo表示為：

81、（16）；

82、由參數(shù)化為的解碼器構(gòu)成，其中，；

83、使用變分聯(lián)合后驗來近似模型聯(lián)合后驗，最大化，進一步優(yōu)化；

84、通過在神經(jīng)解碼任務(wù)中運用具有聯(lián)合潛變量學(xué)習(xí)和跨模態(tài)生成能力的公式，上式進一步寫成：

85、（17）；

86、其中，是的一個可能子集，而是由的所有可能子集組成的新集合；

87、在原始多模態(tài)elbo目標(biāo)中引入了兩個互信息正則化項，即模態(tài)內(nèi)mi最大化和跨模態(tài)互信息mi最大化。

88、優(yōu)選的，模態(tài)內(nèi)mi最大化具體過程為：

89、首先將偏向于聯(lián)合潛變量與單個模態(tài)之間高互信息的模態(tài)內(nèi)mi正則化引入到原始elbo目標(biāo)中，對于，聯(lián)合潛變量的后驗分布樣本與觀測數(shù)據(jù)之間的mi定義為：

90、（18）；

91、導(dǎo)出一個mi變分下界如下：

92、（19）；

93、其中，是由參數(shù)化為的深度神經(jīng)網(wǎng)絡(luò)的輔助分布；

94、將模態(tài)內(nèi)mi最大化正則化器定義為多模態(tài)vae的：

95、（20）；

96、其中，在已知類別數(shù)據(jù)集上，而在新類別數(shù)據(jù)集上；

97、跨模態(tài)互信息mi最大化過程為：

98、在已知類別數(shù)據(jù)集上，定義為：

99、（21）；

100、其中，，，均被用于構(gòu)造負樣本；

101、將與互信息正則化器、結(jié)合，形成以下目標(biāo)：

102、（22）；

103、其中，是控制互信息最大化影響的超參數(shù)。

104、優(yōu)選的，s4中，通過gcn將知識圖譜嵌入到大語言模型中，將實體和關(guān)系嵌入轉(zhuǎn)化為向量，作為模型輸入的額外特征，并與腦-視覺-語言多模態(tài)數(shù)據(jù)進行融合，對于聯(lián)合潛變量設(shè)知識圖譜中每個實體和關(guān)系的嵌入表示為，則知識嵌入的表達為：

105、（23）；

106、其中，是知識圖譜中第個實體的原始表示，是知識嵌入函數(shù)，輸出是對應(yīng)實體的嵌入向量；

107、將各模態(tài)特征和知識嵌入進行融合，得到綜合特征表示：

108、（24）。

109、因此，本發(fā)明采用上述一種基于腦-語言-視覺大模型的認知狀態(tài)可解釋方法，有益效果如下：

110、（1）本發(fā)明在大腦物理和功能層級特征的啟發(fā)下，構(gòu)建類腦圖網(wǎng)絡(luò)架構(gòu)，將感興趣區(qū)域（rois）定義為圖中的節(jié)點，并根據(jù)功能連接強度建立節(jié)點之間的邊，捕捉大腦區(qū)域間的功能關(guān)系；并且設(shè)計一種自下而上的空間-時間路徑，通過圖神經(jīng)網(wǎng)絡(luò)提取rois之間的空間特征，并結(jié)合多尺度的時間信息，以更好地反映大腦在不同認知任務(wù)中的動態(tài)變化，從而在fmri訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)一個最優(yōu)的圖網(wǎng)絡(luò)模型，實現(xiàn)對學(xué)習(xí)者不同認知狀態(tài)的精確分類（如記憶、理解、應(yīng)用、推理、分析、評價、創(chuàng)造、自動化）。

111、（2）本發(fā)明聯(lián)合學(xué)習(xí)腦-視覺-語言特征，將視覺語義知識與語言語義知識相結(jié)合，提升神經(jīng)解碼模型的泛化性能。使用已知類別的腦活動數(shù)據(jù)（包括腦活動特征、視覺特征和文本特征）以及未知類別的數(shù)據(jù)（僅包括視覺特征和文本特征）構(gòu)建數(shù)據(jù)集。進行特征預(yù)處理，先采用穩(wěn)定選擇技術(shù)從fmri數(shù)據(jù)中篩選出一致性高的腦區(qū)體素，接著對已知類別的訓(xùn)練數(shù)據(jù)進行主成分分析（pca）以降低維度；同時，通過預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)提取視覺特征并降維，并對文本進行平均池化處理以生成句子嵌入。

112、（3）本發(fā)明采用多模態(tài)自編碼變分貝葉斯學(xué)習(xí)框架，通過三個模態(tài)特定的編碼網(wǎng)絡(luò)，將單一模態(tài)特征轉(zhuǎn)換為聯(lián)合潛變量，再通過解碼網(wǎng)絡(luò)進行特征重建；并引入模態(tài)內(nèi)和模態(tài)間互信息正則化，同時最大化兩個層次的互信息，增強模型學(xué)習(xí)效率，使聯(lián)合表示與觀察數(shù)據(jù)之間保持強關(guān)聯(lián)，實現(xiàn)對認知狀態(tài)的更高效、精準(zhǔn)的解碼，有助于在測試時識別未見過的認知類別。

113、（4）本發(fā)明將僅解碼器的llm作為生成模型，利用自回歸機制對文本序列進行預(yù)測，能夠在給定前綴的條件下預(yù)測后續(xù)內(nèi)容。利用詞元嵌入空間，通過映射函數(shù)將離散的文本標(biāo)記為向量，使模型能夠理解自然語言輸入。

114、為了實現(xiàn)多模態(tài)信息的整合，本發(fā)明訓(xùn)練了一個編碼器，將連續(xù)觀測的腦數(shù)據(jù)、視覺圖像數(shù)據(jù)(）轉(zhuǎn)換為與文本嵌入向量相同維度的多向量序列；然后，這些觀測向量與文本嵌入向量在前綴中進行交替組合，從而在不改變llm原有結(jié)構(gòu)的基礎(chǔ)上實現(xiàn)多模態(tài)信息的注入；該方法動態(tài)地將觀測結(jié)果嵌入到上下文中，使得模型能夠根據(jù)多模態(tài)上下文進行具身推理和預(yù)測。

115、（5）本發(fā)明定義了認知狀態(tài)類別，并通過循環(huán)迭代處理不同的模型，以提取每個類別的信息；在多模態(tài)數(shù)據(jù)支持下，采用extractmultimodal(tempwds,wdmultimodalsegment,?modality)從不同模態(tài)中提取特征信息，包括文本、圖像和腦fmri靜息態(tài)腦成像數(shù)據(jù)；同時，采用多種大模型語言，借助自然提示、強制提示兩種提示方法對不同認知狀態(tài)進行提取，當(dāng)模型輸出與真實狀態(tài)明顯不一致時，強制模型調(diào)整輸出以保證識別結(jié)果的準(zhǔn)確性和可靠性。

116、（6）本發(fā)明提出了一種創(chuàng)新的多模態(tài)知識推理框架multicot，通過該框架生成的知識驅(qū)動鏈?zhǔn)酵评?，支持視覺、語言和腦數(shù)據(jù)的推理任務(wù)，而無需顯式的知識源來解釋推理過程；這種推理機制不僅提升了對學(xué)習(xí)者認知狀態(tài)的預(yù)測能力，還實現(xiàn)了更為深刻的知識整合與理解；在推理步驟中，輸入的多模態(tài)融合特征被轉(zhuǎn)化為高質(zhì)量的提示，以引導(dǎo)大語言模型提取隱含知識，為推理生成提供重要支持。

117、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。