本發(fā)明涉及醫(yī)學(xué)圖像處理，特別涉及一種多模態(tài)醫(yī)學(xué)圖像融合的胰腺腫瘤智能解析方法及系統(tǒng)。

背景技術(shù)：

1、胰腺腫瘤是一種起源于胰腺的惡性或良性腫瘤，其中最常見(jiàn)的類型是胰腺癌，特別是胰腺導(dǎo)管腺癌，胰腺癌是一種特別致命的癌癥類型，胰腺腫瘤的類型主要包括胰腺導(dǎo)管腺癌(pdac)、胰腺神經(jīng)內(nèi)分泌腫瘤、囊性腫瘤等，而在診斷胰腺腫瘤時(shí)通常會(huì)利用影像學(xué)檢查，包括腹部ct掃描、mri或內(nèi)窺鏡超聲(eus)技術(shù)來(lái)實(shí)現(xiàn)胰腺腫瘤的解析診斷。

2、而現(xiàn)有醫(yī)學(xué)圖像診斷系統(tǒng)大多僅依靠醫(yī)學(xué)圖像來(lái)實(shí)現(xiàn)腫瘤診斷，往往會(huì)忽略圖像所關(guān)聯(lián)報(bào)告中的文本性描述，例如醫(yī)學(xué)術(shù)語(yǔ)、診斷結(jié)論等，且就圖像本身而言，目前大多數(shù)系統(tǒng)依靠單模態(tài)圖像，未對(duì)多參數(shù)、多模態(tài)圖像實(shí)現(xiàn)融合診斷預(yù)測(cè)，進(jìn)而會(huì)降低腫瘤狀況解析的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種多模態(tài)醫(yī)學(xué)圖像融合的胰腺腫瘤智能解析方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中降低腫瘤狀況解析的準(zhǔn)確性的問(wèn)題。

2、為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說(shuō)明的序言。

3、根據(jù)本發(fā)明實(shí)施例的第一方面，提供了一種多模態(tài)醫(yī)學(xué)圖像融合的胰腺腫瘤智能解析方法。

4、在一個(gè)實(shí)施例中，多模態(tài)醫(yī)學(xué)圖像融合的胰腺腫瘤智能解析方法包括以下步驟：

5、對(duì)斷層掃描圖像實(shí)施預(yù)處理后進(jìn)行區(qū)域勾畫(huà)操作，并將勾畫(huà)結(jié)果與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合生成胰腺腫瘤區(qū)域識(shí)別技術(shù)；

6、以醫(yī)學(xué)圖像數(shù)據(jù)與醫(yī)學(xué)數(shù)據(jù)單詞為基礎(chǔ)分別構(gòu)建三維圖像處理及診斷語(yǔ)言輸出模型；

7、將胰腺腫瘤檢測(cè)區(qū)域識(shí)別技術(shù)、三維圖像處理及診斷語(yǔ)言輸出模型與虛擬現(xiàn)實(shí)技術(shù)結(jié)合搭建咨詢規(guī)劃平臺(tái)。

8、在一個(gè)實(shí)施例中，對(duì)斷層掃描圖像實(shí)施預(yù)處理后進(jìn)行區(qū)域勾畫(huà)操作，并將勾畫(huà)結(jié)果與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合生成胰腺腫瘤區(qū)域識(shí)別技術(shù)包括以下步驟：

9、利用自動(dòng)分割模型對(duì)斷層圖像進(jìn)行分割，并基于分割結(jié)果確定胰腺位置區(qū)域圖像；

10、根據(jù)胰腺位置分割結(jié)果從多參數(shù)斷層圖像內(nèi)提取區(qū)域圖像，并對(duì)區(qū)域圖像執(zhí)行預(yù)處理操作勾畫(huà)腫瘤區(qū)域；

11、基于多參數(shù)斷層圖像勾畫(huà)得到的腫瘤區(qū)域生成識(shí)別模型，并將胰腺位置區(qū)域圖像輸入至識(shí)別模型內(nèi)實(shí)現(xiàn)胰腺腫瘤區(qū)域檢測(cè)。

12、在一個(gè)實(shí)施例中，多參數(shù)斷層圖像包括平掃斷層圖像、增強(qiáng)斷層圖像及不同層厚下的多層斷層圖像。

13、在一個(gè)實(shí)施例中，以醫(yī)學(xué)圖像數(shù)據(jù)與醫(yī)學(xué)數(shù)據(jù)單詞為基礎(chǔ)分別構(gòu)建三維圖像處理及診斷語(yǔ)言輸出模型包括以下步驟：

14、利用標(biāo)注方式獲取醫(yī)學(xué)圖像數(shù)據(jù)對(duì)應(yīng)的醫(yī)學(xué)特征，并在標(biāo)注完成后對(duì)醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行增強(qiáng)處理；

15、以醫(yī)學(xué)特征為基礎(chǔ)訓(xùn)練三維數(shù)據(jù)處理結(jié)構(gòu)，并根據(jù)訓(xùn)練結(jié)果構(gòu)建圖像處理模型；

16、基于醫(yī)學(xué)術(shù)語(yǔ)表對(duì)醫(yī)學(xué)數(shù)據(jù)語(yǔ)言進(jìn)行標(biāo)準(zhǔn)化處理，并根據(jù)處理結(jié)果將醫(yī)學(xué)數(shù)據(jù)語(yǔ)言轉(zhuǎn)換為數(shù)值形式；

17、以醫(yī)學(xué)數(shù)據(jù)語(yǔ)言為輸入，依據(jù)表述語(yǔ)句為監(jiān)督對(duì)預(yù)設(shè)的語(yǔ)言模型進(jìn)行監(jiān)督訓(xùn)練，并根據(jù)訓(xùn)練結(jié)果獲取診斷語(yǔ)言輸出模型。

18、在一個(gè)實(shí)施例中，利用標(biāo)注方式獲取醫(yī)學(xué)圖像數(shù)據(jù)對(duì)應(yīng)的醫(yī)學(xué)特征，并在標(biāo)注完成后對(duì)醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行增強(qiáng)處理包括以下步驟：

19、從預(yù)先安排的數(shù)據(jù)獲取中心處收集醫(yī)學(xué)圖像數(shù)據(jù)，并在對(duì)醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行冗余數(shù)據(jù)去除與隱私信息掩蓋操作后提取醫(yī)學(xué)圖像數(shù)據(jù)關(guān)聯(lián)的腫瘤特征參數(shù)；

20、利用人工手動(dòng)標(biāo)注技術(shù)獲取醫(yī)學(xué)圖像數(shù)據(jù)對(duì)應(yīng)的醫(yī)學(xué)特征，并將醫(yī)學(xué)特征與腫瘤特征參數(shù)進(jìn)行比較驗(yàn)證人工標(biāo)注的準(zhǔn)確性；

21、在準(zhǔn)確性驗(yàn)證完成后統(tǒng)一醫(yī)學(xué)圖像數(shù)據(jù)的尺寸、分辨率與灰度值，并使用對(duì)比度調(diào)整技術(shù)增強(qiáng)圖像質(zhì)量后運(yùn)用平滑濾波器去除醫(yī)學(xué)圖像數(shù)據(jù)的噪聲；

22、將處理完成的醫(yī)學(xué)圖像數(shù)據(jù)存儲(chǔ)至預(yù)設(shè)的數(shù)據(jù)存儲(chǔ)管理平臺(tái)。

23、在一個(gè)實(shí)施例中，利用人工手動(dòng)標(biāo)注技術(shù)獲取醫(yī)學(xué)圖像數(shù)據(jù)對(duì)應(yīng)的醫(yī)學(xué)特征，并將醫(yī)學(xué)特征與腫瘤特征參數(shù)進(jìn)行比較驗(yàn)證人工標(biāo)注的準(zhǔn)確性包括以下步驟：

24、利用人工與圖像標(biāo)準(zhǔn)工具獲取醫(yī)學(xué)圖像數(shù)據(jù)內(nèi)的腫瘤與病灶區(qū)域作為醫(yī)學(xué)特征，并運(yùn)用關(guān)鍵點(diǎn)檢測(cè)算法對(duì)醫(yī)學(xué)特征進(jìn)行特征點(diǎn)檢測(cè)；

25、利用數(shù)字圖像處理技術(shù)對(duì)醫(yī)學(xué)特征點(diǎn)進(jìn)行三維矯正，并根據(jù)矯正結(jié)果對(duì)醫(yī)學(xué)特征實(shí)施降維處理生成醫(yī)學(xué)特征參數(shù)；

26、將醫(yī)學(xué)特征參數(shù)作為測(cè)試樣本，腫瘤特征參數(shù)作為標(biāo)準(zhǔn)樣本，利用標(biāo)準(zhǔn)樣本學(xué)習(xí)得到最佳相似矩陣、距離矩陣及比較閾值；

27、基于最佳相似矩陣與距離矩陣計(jì)算權(quán)重值，并根據(jù)權(quán)重值將測(cè)試樣本與標(biāo)準(zhǔn)樣本兩者加權(quán)結(jié)合得到相似性分?jǐn)?shù)，將相似性分?jǐn)?shù)與分類閾值進(jìn)行對(duì)比；

28、若相似性分?jǐn)?shù)大于或等于比較閾值時(shí)，則表示人工標(biāo)注的準(zhǔn)確性滿足需求，若相似性分?jǐn)?shù)小于比較閾值時(shí)，則表示人工標(biāo)注的準(zhǔn)確性未滿足需求，需重新進(jìn)行人工標(biāo)注。

29、在一個(gè)實(shí)施例中，以醫(yī)學(xué)特征為基礎(chǔ)訓(xùn)練三維數(shù)據(jù)處理結(jié)構(gòu)，并根據(jù)訓(xùn)練結(jié)果構(gòu)建圖像處理模型包括以下步驟：

30、將醫(yī)學(xué)特征對(duì)應(yīng)的醫(yī)學(xué)數(shù)據(jù)圖像作為輸入數(shù)據(jù)，定義醫(yī)學(xué)數(shù)據(jù)圖像對(duì)應(yīng)的類別編號(hào)為監(jiān)督標(biāo)簽，將醫(yī)學(xué)數(shù)據(jù)圖像輸入至三維數(shù)據(jù)處理結(jié)構(gòu)內(nèi)；

31、在三維數(shù)據(jù)處理結(jié)構(gòu)內(nèi)根據(jù)醫(yī)學(xué)數(shù)據(jù)圖像的長(zhǎng)寬高定義三維醫(yī)學(xué)圖像，并根據(jù)三維數(shù)據(jù)處理結(jié)構(gòu)在三維醫(yī)學(xué)圖像上進(jìn)行卷積操作捕捉三維空間局部信息；

32、在捕捉完成后利用激活函數(shù)增加三維數(shù)據(jù)處理結(jié)構(gòu)的非線性表達(dá)能力，并利用池化層在三維醫(yī)學(xué)圖像上進(jìn)行池化操作；

33、將池化結(jié)果展平為一維特征向量，并送至全連接層中獲取最終表征，利用輸出層將最終表征結(jié)果轉(zhuǎn)換為類別概率分布完成圖像處理模型的構(gòu)建。

34、在一個(gè)實(shí)施例中，將胰腺腫瘤檢測(cè)區(qū)域識(shí)別技術(shù)、三維圖像處理及診斷語(yǔ)言輸出模型與虛擬現(xiàn)實(shí)技術(shù)結(jié)合搭建咨詢規(guī)劃平臺(tái)包括以下步驟：

35、利用仿真集群創(chuàng)建技術(shù)搭建計(jì)算集群，并將計(jì)算集群與胰腺腫瘤檢測(cè)區(qū)域識(shí)別技術(shù)、三維圖像處理及診斷語(yǔ)言輸出模型結(jié)合；

36、將計(jì)算集群與虛擬現(xiàn)實(shí)技術(shù)結(jié)合開(kāi)發(fā)結(jié)果輸出顯示平臺(tái)，并集成模擬與預(yù)演交互功能得到咨詢解析平臺(tái)；

37、將實(shí)時(shí)斷層掃描圖像輸入至咨詢解析平臺(tái)內(nèi)，獲取胰腺腫瘤解析結(jié)果：

38、根據(jù)本發(fā)明實(shí)施例的第二方面，提供了一種多模態(tài)醫(yī)學(xué)圖像融合的胰腺腫瘤智能解析系統(tǒng)。

39、在一個(gè)實(shí)施例中，多模態(tài)醫(yī)學(xué)圖像融合的胰腺腫瘤智能解析系統(tǒng)包括：

40、斷層掃描圖像識(shí)別單元，用于對(duì)斷層掃描圖像實(shí)施預(yù)處理后進(jìn)行區(qū)域勾畫(huà)操作，并將勾畫(huà)結(jié)果與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合生成胰腺腫瘤區(qū)域識(shí)別技術(shù)；

41、圖像診斷依據(jù)評(píng)估單元，用于以醫(yī)學(xué)圖像數(shù)據(jù)與醫(yī)學(xué)數(shù)據(jù)單詞為基礎(chǔ)分別構(gòu)建三維圖像處理及診斷語(yǔ)言輸出模型；

42、咨詢解析平臺(tái)搭建單元，用于將胰腺腫瘤檢測(cè)區(qū)域識(shí)別技術(shù)、三維圖像處理及診斷語(yǔ)言輸出模型與虛擬現(xiàn)實(shí)技術(shù)結(jié)合搭建咨詢規(guī)劃平臺(tái)。

43、在一個(gè)實(shí)施例中，斷層掃描圖像識(shí)別單元包括：

44、斷層圖像分割模塊，用于利用自動(dòng)分割模型對(duì)斷層圖像進(jìn)行分割，并基于分割結(jié)果確定胰腺位置區(qū)域圖像；

45、圖像預(yù)處理模塊，用于根據(jù)胰腺位置分割結(jié)果從多參數(shù)斷層圖像內(nèi)提取區(qū)域圖像，并對(duì)區(qū)域圖像執(zhí)行預(yù)處理操作勾畫(huà)腫瘤區(qū)域；

46、胰腺區(qū)域腫瘤識(shí)別模塊，用于基于多參數(shù)斷層圖像勾畫(huà)得到的腫瘤區(qū)域生成識(shí)別模型，并將胰腺位置區(qū)域圖像輸入至識(shí)別模型內(nèi)實(shí)現(xiàn)胰腺腫瘤區(qū)域檢測(cè)：

47、根據(jù)本發(fā)明實(shí)施例的第三方面，提供了一種計(jì)算機(jī)設(shè)備。

48、在一些實(shí)施例中，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述方法的步驟。

49、根據(jù)本發(fā)明實(shí)施例的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

50、在一個(gè)實(shí)施例中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法的步驟。

51、本發(fā)明實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

52、1、本發(fā)明通過(guò)預(yù)處理和區(qū)域勾畫(huà)，可準(zhǔn)確地識(shí)別胰腺腫瘤區(qū)域，減少誤診和漏診，并利用三維圖像處理模型提供更全面的腫瘤形態(tài)和周圍組織結(jié)構(gòu)信息，有助于后期進(jìn)行更準(zhǔn)確的病情解析，同時(shí)基于醫(yī)學(xué)數(shù)據(jù)單詞構(gòu)建的診斷語(yǔ)言輸出模型可以生成標(biāo)準(zhǔn)化的診斷報(bào)告，提高醫(yī)療記錄的一致性和可讀性，最終通過(guò)虛擬現(xiàn)實(shí)技術(shù)，醫(yī)生和患者可在虛擬環(huán)境中直觀地觀察和分析腫瘤及其周圍組織，有助于更深入地解析腫瘤狀況。

53、2、本發(fā)明利用自動(dòng)分割模型對(duì)圖像進(jìn)行精確分割，可準(zhǔn)確地確定胰腺的位置和形狀，進(jìn)而有助于精準(zhǔn)識(shí)別腫瘤區(qū)域，且通過(guò)人工標(biāo)注獲取精確的醫(yī)學(xué)特征，增強(qiáng)后的醫(yī)學(xué)圖像數(shù)據(jù)能更好地突出重要特征，基于醫(yī)學(xué)圖像數(shù)據(jù)到醫(yī)學(xué)數(shù)據(jù)語(yǔ)言的整個(gè)處理流程，不僅提高了數(shù)據(jù)處理的質(zhì)量和效率，還為臨床解析提供了強(qiáng)有力的數(shù)據(jù)支持。

54、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。