本發(fā)明涉及圖像處理，具體涉及一種基于自適應(yīng)高階超邊時(shí)間序列多特征融合的磁共振影像分類方法。

背景技術(shù)：

1、探索人腦的內(nèi)在結(jié)構(gòu)和功能在腦影像科學(xué)界是一項(xiàng)巨大的挑戰(zhàn)。靜息態(tài)功能磁共振成像技術(shù)同復(fù)雜網(wǎng)絡(luò)理論的結(jié)合為研究腦網(wǎng)絡(luò)模型構(gòu)建提供了新的視角。近年來(lái)，腦功能網(wǎng)絡(luò)模型已成功應(yīng)用于臨床腦疾病的評(píng)估和診斷。但是大腦神經(jīng)元的活動(dòng)十分復(fù)雜，用簡(jiǎn)單的二值網(wǎng)絡(luò)描述腦區(qū)間的交互關(guān)系會(huì)丟失高階信息。在此背景下，腦功能超網(wǎng)絡(luò)被引入于功能腦網(wǎng)絡(luò)的建模中。眾多的研究表明，靜息態(tài)腦功能超網(wǎng)絡(luò)可以反映腦區(qū)間多元交互的關(guān)系，在靜息態(tài)腦功能超網(wǎng)絡(luò)上開(kāi)展研究可以獲得更多的病理信息。因此，靜息態(tài)腦功能超網(wǎng)絡(luò)被認(rèn)為在腦疾病診斷領(lǐng)域有重大潛力。

2、腦功能超網(wǎng)絡(luò)的研究通常使用超網(wǎng)絡(luò)的節(jié)點(diǎn)特征表征腦網(wǎng)絡(luò)的拓?fù)湫畔?，同時(shí)使用滑動(dòng)時(shí)間窗來(lái)研究大腦的時(shí)變性，這種方法忽略了超邊內(nèi)不同腦區(qū)以及不同超邊間的時(shí)間依賴性；此外滑動(dòng)時(shí)間窗方法只能估計(jì)每個(gè)時(shí)間段的連通性強(qiáng)度無(wú)法獲得每個(gè)時(shí)間點(diǎn)的連通性強(qiáng)度，同時(shí)滑動(dòng)窗口參數(shù)的選擇會(huì)帶來(lái)雜散波動(dòng)問(wèn)題，從而影響分類的準(zhǔn)確率，乃至影響醫(yī)生對(duì)疾病診斷的準(zhǔn)確率。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明提供了一種基于自適應(yīng)高階超邊時(shí)間序列多特征融合的磁共振影像分類方法，在保留原始超圖多元信息的同時(shí)，關(guān)注到了超邊內(nèi)不同腦區(qū)間的時(shí)間依賴性以及傳統(tǒng)靜息態(tài)腦功能超網(wǎng)絡(luò)表征時(shí)變性引起的雜散波動(dòng)問(wèn)題，以更精確地表征人腦的高階時(shí)空特性，提升了分類準(zhǔn)確率，解決了上述背景技術(shù)中提到的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于自適應(yīng)高階超邊時(shí)間序列多特征融合的磁共振影像分類方法，包括如下步驟：

3、s1、獲取靜息態(tài)功能磁共振影像數(shù)據(jù)并進(jìn)行預(yù)處理，得到預(yù)處理后的影像數(shù)據(jù)；根據(jù)選定的標(biāo)準(zhǔn)化腦圖譜，對(duì)預(yù)處理后的影像數(shù)據(jù)進(jìn)行腦區(qū)分割，提取每個(gè)腦區(qū)的平均時(shí)間序列；

4、s2、基于每個(gè)腦區(qū)的平均時(shí)間序列，利用加權(quán)最小收縮算子lasso方法構(gòu)建腦功能超網(wǎng)絡(luò)模型；

5、s3、基于腦功能超網(wǎng)絡(luò)模型，利用自注意力機(jī)制提取被試的超邊時(shí)間序列；

6、s4、基于超邊時(shí)間序列，使用卡爾曼濾波算法提取被試的自適應(yīng)高階超邊時(shí)間序列；

7、s5、基于自適應(yīng)高階超邊時(shí)間序列計(jì)算標(biāo)準(zhǔn)差、均方根、偏度和峰度，并將這四個(gè)統(tǒng)計(jì)學(xué)指標(biāo)作為全局時(shí)間特征；

8、s6、基于自適應(yīng)高階超邊時(shí)間序列，使用優(yōu)化后的時(shí)間膨脹卷積網(wǎng)絡(luò)tdcn提取局部時(shí)間特征；

9、s7、使用圖注意力網(wǎng)絡(luò)聚合全局時(shí)間特征與局部時(shí)間特征得到高階時(shí)空聚合特征，基于高階時(shí)空聚合特征，使用全連接層分類網(wǎng)絡(luò)對(duì)被試磁共振影像數(shù)據(jù)進(jìn)行分類。

10、優(yōu)選的，在步驟s1中，預(yù)處理步驟具體包括時(shí)間層校正、頭動(dòng)校正、空間標(biāo)準(zhǔn)化、平滑；所述標(biāo)準(zhǔn)化腦圖譜為國(guó)際通用的自動(dòng)解剖標(biāo)記模板；所述腦區(qū)分割將圖像共分割為90個(gè)區(qū)域，其中左右半腦各45個(gè)區(qū)域。

11、優(yōu)選的，在步驟s1中，所述提取每個(gè)腦區(qū)的平均時(shí)間序列，具體包括：提取每個(gè)腦區(qū)所包含的所有體素在不同時(shí)間點(diǎn)上的激活信號(hào)，再將各體素在不同時(shí)間點(diǎn)上的激活信號(hào)進(jìn)行算術(shù)平均，得到腦區(qū)的平均時(shí)間序列。

12、優(yōu)選的，在步驟s2中，具體包括：

13、首先，基于腦區(qū)平均時(shí)間序列，利用加權(quán)最小收縮算子lasso方法構(gòu)建腦功能超網(wǎng)絡(luò)，具體定義為：

14、

15、其中，w表示經(jīng)過(guò)圖譜劃分后的第w個(gè)腦區(qū)，w∈{1,2,...,w},w表示劃分的腦區(qū)數(shù)目；表示第n個(gè)被試中第w個(gè)腦區(qū)的時(shí)間序列；表示第n個(gè)被試中除第w個(gè)腦區(qū)外剩余腦區(qū)的時(shí)間序列，為權(quán)重向量，表示的是第n個(gè)被試中其余腦區(qū)對(duì)第w個(gè)腦區(qū)的影響程度；λ1是懲罰參數(shù)，λ1>0；

16、然后，對(duì)于n個(gè)被試中的每一個(gè)被試n，固定λ1，分別計(jì)算每個(gè)腦區(qū)所對(duì)應(yīng)的權(quán)重向量，非零權(quán)重向量則組成該對(duì)應(yīng)腦區(qū)的一條超邊，所有超邊組成腦功能超網(wǎng)絡(luò)。

17、優(yōu)選的，在步驟s3中，首先基于每個(gè)被試的腦功能超網(wǎng)絡(luò)，提取該腦功能超網(wǎng)絡(luò)每條超邊中所有腦區(qū)節(jié)點(diǎn)的時(shí)間序列表示第n個(gè)被試下第o個(gè)腦區(qū)的時(shí)間序列，o,p,q表示腦功能超網(wǎng)絡(luò)中第o個(gè)腦區(qū)節(jié)點(diǎn)、第p個(gè)腦區(qū)節(jié)點(diǎn)和第q個(gè)腦區(qū)節(jié)點(diǎn)，e表示腦功能超網(wǎng)絡(luò)中第e條超邊，h表示超邊數(shù)目；

18、基于每個(gè)被試的腦功能超網(wǎng)絡(luò)，分別將每條超邊中所有腦區(qū)節(jié)點(diǎn)時(shí)間序列作為自注意力模塊的輸入矢量，計(jì)算三個(gè)可訓(xùn)練矩陣中的查詢矩陣q和鍵矩陣k之間的點(diǎn)積相似度獲得值矩陣v的注意力分布，最后每一個(gè)不同時(shí)間點(diǎn)處的輸出注意權(quán)值矢量為：

19、

20、其中dk是鍵值矢量的維數(shù)，softmax逐行對(duì)相似度分?jǐn)?shù)進(jìn)行歸一化，然后自注意力模塊將每個(gè)softmax分?jǐn)?shù)分配給相對(duì)應(yīng)的值矢量vt(t)(t＝1,2,…,t)，t表示第t個(gè)時(shí)間點(diǎn)，t表示時(shí)間序列中的所有時(shí)間點(diǎn)，最后計(jì)算不同時(shí)間點(diǎn)經(jīng)過(guò)權(quán)重加權(quán)和，求得超邊時(shí)間序列

21、優(yōu)選的，在步驟s4中，使用卡爾曼濾波算法提取被試的自適應(yīng)高階超邊時(shí)間序列，具體如下：

22、

23、其中，表示第n個(gè)被試的第k條超邊時(shí)間序列，表示第n個(gè)被試的第k條超邊時(shí)間序列中第x時(shí)刻的值，表示第k條超邊與第l條超邊在t時(shí)刻的功能連接強(qiáng)度，e(·)代表數(shù)學(xué)期望；

24、經(jīng)過(guò)卡爾曼濾波去除弱連接后，最終每個(gè)被試得到自適應(yīng)高階超邊時(shí)間序列其中表示第l個(gè)自適應(yīng)高階超邊時(shí)間序列；表示第l個(gè)自適應(yīng)高階超邊時(shí)間序列中第t個(gè)時(shí)間點(diǎn)的值，[·]t表示該向量的轉(zhuǎn)置。

25、優(yōu)選的，在步驟s5中，所述標(biāo)準(zhǔn)差的具體計(jì)算公式如下：

26、

27、其中表示第l條自適應(yīng)高階超邊時(shí)間序列的標(biāo)準(zhǔn)差，表示第l個(gè)自適應(yīng)高階超邊時(shí)間序列中第t個(gè)時(shí)間點(diǎn)的值，，t表示時(shí)間序列的總時(shí)間點(diǎn)數(shù)，表示的均值，n為第n個(gè)被試；

28、所述均方根的具體計(jì)算公式如下：

29、

30、其中表示第l條自適應(yīng)高階超邊時(shí)間序列的均方根，表示第l個(gè)自適應(yīng)高階超邊時(shí)間序列中第t個(gè)時(shí)間點(diǎn)的值，t表示總的時(shí)間點(diǎn)數(shù)，n為第n個(gè)被試；

31、所述偏度的具體計(jì)算公式如下：

32、

33、其中表示第l條自適應(yīng)高階超邊時(shí)間序列的偏度，表示第l個(gè)自適應(yīng)高階超邊時(shí)間序列中第t個(gè)時(shí)間點(diǎn)的值，t表示總的時(shí)間點(diǎn)數(shù)，表示的均值，表示第l條自適應(yīng)高階超邊時(shí)間序列的標(biāo)準(zhǔn)差，n為第n個(gè)被試；

34、所述峰度的具體計(jì)算公式如下：

35、

36、其中表示第l條自適應(yīng)高階超邊時(shí)間序列的峰度，表示第l個(gè)自適應(yīng)高階超邊時(shí)間序列中第t個(gè)時(shí)間點(diǎn)的值，表示的均值，表示第l條自適應(yīng)高階超邊時(shí)間序列的標(biāo)準(zhǔn)差，n為第n個(gè)被試；

37、在第n個(gè)被試中，分別計(jì)算每一條自適應(yīng)高階超邊的最終得到第n個(gè)被試的全局時(shí)間特征其中[·]t表示該向量的轉(zhuǎn)置。

38、優(yōu)選的，在步驟s6中，所述優(yōu)化后的時(shí)間膨脹卷積網(wǎng)絡(luò)tdcn包括分支1、分支2和分支3；所述分支1采用膨脹因果卷積從滑動(dòng)窗口中提取因果時(shí)間特性；所述分支2聚合序列的時(shí)間軸信息以獲得完整的局部時(shí)間特征表示；所述分支3使用1d卷積通過(guò)調(diào)整輸出維度，提取更長(zhǎng)時(shí)間尺度的依賴性并保持網(wǎng)絡(luò)的穩(wěn)定性；

39、將自適應(yīng)高階超邊時(shí)間序列ηn作為輸入序列，經(jīng)過(guò)優(yōu)化后的時(shí)間膨脹卷積網(wǎng)絡(luò)tdcn進(jìn)行局部時(shí)間特征提取，得到ltn，具體步驟如下:

40、s61、對(duì)于自適應(yīng)高階超邊時(shí)間序列ηn，分支1采用兩個(gè)膨脹卷積層以及權(quán)重歸一化和線性整流激活函數(shù)策略來(lái)進(jìn)行提取特征；

41、第一個(gè)膨脹卷積層dcc1提取第一級(jí)特征m1，第二個(gè)膨脹卷積層dcc2提取第二級(jí)特征m2；

42、m1＝relu(weightnorm(dcc1(ηn)))

43、m1為第一級(jí)特征，其中ηn表示自適應(yīng)高階超邊時(shí)間序列；

44、m2＝relu(weightnorm(dcc2(m1)))

45、m2為第二級(jí)特征，其中m1為第一級(jí)特征；

46、s62、分支2使用膨脹系數(shù)為1的卷積層，首先通過(guò)自適應(yīng)平均池化對(duì)自適應(yīng)高階超邊時(shí)間序列信息進(jìn)行聚合，得到m3，然后通過(guò)權(quán)重歸一化和激活函數(shù)relu，得到m4，然后通過(guò)卷積核大小為1的卷積層、權(quán)重歸一化以及relu，得到m5，最后，通過(guò)全連接層fc將特征m5的時(shí)間維度擴(kuò)展為與ηn時(shí)間維度一致，得到m6；

47、m3＝adaptiveavgpool(ηn)

48、m3為第三級(jí)特征，其中ηn表示自適應(yīng)高階超邊時(shí)間序列；

49、m4＝relu(weightnorm(conv1(m3)))

50、m4為第四級(jí)特征，其中m3為第三級(jí)特征；

51、m5＝relu(weightnorm(conv2(m4)))

52、m5為第五級(jí)特征，其中m4為第四級(jí)特征；

53、m6＝fc(m5)

54、m6為第六級(jí)特征，其中m5為第五級(jí)特征；

55、s63、隨著網(wǎng)絡(luò)深度的增加，tdcn網(wǎng)絡(luò)捕獲更長(zhǎng)的功能連接時(shí)間依賴性，為了保持網(wǎng)絡(luò)的穩(wěn)定性，增加分支3，如果輸入序列的通道維數(shù)channelin與輸出序列的通道維數(shù)channelout不一致，則使用卷積核大小為1的一維卷積conv3進(jìn)行維度變換；如果兩者一致，則不選擇卷積操作；

56、

57、m7為第七級(jí)特征，其中ηn表示提取出來(lái)的自適應(yīng)高階超邊時(shí)間序列；

58、s64、將分支1、分支2、分支3的輸出相加，再通過(guò)relu得到最終的殘差塊輸出foutput：

59、foutput＝relu(m2+m6+m7)

60、foutput為最終的局部時(shí)間特征，其中m2為第二級(jí)特征，m6為第六級(jí)特征，其中m7為第七級(jí)特征；

61、在第每個(gè)被試中，分別計(jì)算每一條自適應(yīng)高階超邊的局部時(shí)間特征foutput，所有條自適應(yīng)高階超邊的局部時(shí)間特征組成對(duì)應(yīng)被試的局部時(shí)間特征ltn。

62、優(yōu)選的，在步驟s7中，使用圖注意力網(wǎng)絡(luò)聚合全局時(shí)間特征與局部時(shí)間特征得到高階時(shí)空聚合特征，具體包括如下：

63、首先基于自適應(yīng)高階超邊時(shí)間序列，利用稀疏組套索算法估計(jì)自適應(yīng)高階超邊時(shí)間序列之間的相關(guān)性來(lái)表征腦網(wǎng)絡(luò)的高階空間特性并將其作為先驗(yàn)信息，接著串聯(lián)局部時(shí)間特征foutput和全局時(shí)間特征為融合特征向量然后利用注意力機(jī)制計(jì)算融合特征中每一維特征的注意力系數(shù)，最后根據(jù)注意力系數(shù)，與融合特征線性組合生成高階時(shí)空聚合特征。

64、優(yōu)選的，首先利用聚類算法將自適應(yīng)高階超邊時(shí)間序列進(jìn)行分組，接著采用稀疏組套索算法估計(jì)自適應(yīng)高階超邊時(shí)間序列之間的相關(guān)性，具體公式為：

65、

66、其中表示權(quán)重向量，即在第n個(gè)被試中第l條自適應(yīng)高階超邊和其它自適應(yīng)高階超邊之間的連接權(quán)重，其中表示中第g個(gè)數(shù)組中的權(quán)重向量；η和μ為正則化參數(shù)；表示第l條自適應(yīng)高階超邊時(shí)間序列；||.||2為l2范數(shù)，||.||1為l1范數(shù)；

67、計(jì)算出高階連接權(quán)重之后，使用xavier初始化方法對(duì)前饋神經(jīng)網(wǎng)絡(luò)與注意力系數(shù)矩陣進(jìn)行隨機(jī)初始化；首先將融合特征向量與注意力系數(shù)矩陣at相乘，然后通過(guò)leakyrelu函數(shù)與進(jìn)行相乘，通過(guò)softmax函數(shù)更新注意力系數(shù)at；注意力系數(shù)反映了不同自適應(yīng)高階超邊時(shí)間序列之間的相似度，高階連通性越強(qiáng)，注意力系數(shù)越大，整個(gè)過(guò)程中使用adam優(yōu)化器循環(huán)迭代更新前饋神經(jīng)網(wǎng)絡(luò)；最后基于分別與第l列at中值相乘求和并通過(guò)leakyrelu函數(shù)生成并將其作為高階時(shí)空聚合特征，具體公式為：

68、

69、表示注意力系數(shù)矩陣at中第i行第l列的注意力系數(shù)，為融合特征向量，為高階時(shí)空聚合特征。

70、本發(fā)明的有益效果是：本發(fā)明所述的基于自適應(yīng)高階超邊時(shí)間序列多特征融合的磁共振影像分類方法，通過(guò)自注意力機(jī)制以及卡爾曼濾波算法得到高階自適應(yīng)高階超邊時(shí)間序列，并利用統(tǒng)計(jì)學(xué)指標(biāo)和時(shí)間膨脹卷積網(wǎng)絡(luò)得到分類特征并進(jìn)行特征聚合，進(jìn)而提升了分類準(zhǔn)確率。本發(fā)明解決了傳統(tǒng)基于腦功能超網(wǎng)絡(luò)模型忽略超邊內(nèi)不同腦區(qū)間的時(shí)間依賴性問(wèn)題和傳統(tǒng)滑動(dòng)時(shí)間窗方法表征靜息態(tài)腦功能超網(wǎng)絡(luò)時(shí)變性帶來(lái)的雜散波動(dòng)問(wèn)題，以更精確表征人腦的時(shí)空特性，提高腦疾病的分類性能。