本發(fā)明屬于健康醫(yī)療與人工智能，具體涉及基于ai多模態(tài)技術(shù)的結(jié)直腸癌患者發(fā)現(xiàn)系統(tǒng)。

背景技術(shù)：

1、隨著醫(yī)學(xué)研究的持續(xù)深化與醫(yī)療技術(shù)的迅猛發(fā)展，醫(yī)學(xué)數(shù)據(jù)呈現(xiàn)出爆炸性增長與前所未有的復(fù)雜性，廣泛覆蓋臨床記錄、實驗室測試報告、以及高分辨率影像學(xué)資料等多個維度。目前，大部分醫(yī)院已經(jīng)實現(xiàn)了醫(yī)療數(shù)據(jù)的數(shù)字化，即醫(yī)生可以通過醫(yī)院內(nèi)的局域網(wǎng)逐個調(diào)取查看某一名患者的某一項檢驗報告，但無法快速同時分析多類醫(yī)療數(shù)據(jù)。也有部分醫(yī)院已經(jīng)開始對醫(yī)學(xué)圖像數(shù)據(jù)進行智能化處理，但其前提是基于醫(yī)生已經(jīng)對該患者的情況有一定估計，隨后醫(yī)生手動將患者的相關(guān)數(shù)據(jù)送入模型進行分析，自動化程度較低且相對依賴醫(yī)生的主觀判斷。

2、目前，在結(jié)直腸癌臨床實踐中，主要通過腸鏡、病理檢查、生物標(biāo)志物檢測等手段進行檢查甄別。但由于潰瘍性結(jié)腸炎、結(jié)腸核、闌尾炎等疾病的相關(guān)癥狀，與結(jié)直腸癌的某一階段或某一病變部位的癥狀高度相似，僅靠患者的臨床主訴很難直接斷定其患病情況。因此，在醫(yī)療條件有限的情況下，部分基層醫(yī)院也會采取醫(yī)生不斷詢問患者具體狀況，加指檢的方式對患者的病情進行診斷，侵入性較強，且相對不易被患者所接受。

3、當(dāng)前，尚缺乏直接針對直腸癌患者的多級診斷發(fā)現(xiàn)和管理。結(jié)直腸癌相關(guān)的診斷，主要依靠門診醫(yī)生詳細詢問患者的病史，包括癥狀的出現(xiàn)時間、病程以及可能的風(fēng)險因素，再通過體格檢查、血液檢查，糞便隱血試驗，加之以結(jié)腸鏡、ct結(jié)腸成像、x線鋇劑灌腸術(shù)等手段，獲取病人結(jié)直腸狀況影像，最后通過醫(yī)生的臨床經(jīng)驗對患者進行診斷。當(dāng)醫(yī)生需要對患者的各類醫(yī)學(xué)報告同時進行對比分析查看時，醫(yī)院的相關(guān)系統(tǒng)往往無法實現(xiàn)，或者由于硬件配置不足等原因，導(dǎo)致人機交互水平較低，給直腸癌患者發(fā)現(xiàn)和辨別帶來困難。

4、在結(jié)直腸癌的診斷技術(shù)手段方面，雖然目前全社會層面總體可用手段比較多樣，但是受限于醫(yī)院規(guī)模和患者的經(jīng)濟承受能力等多種因素，很難在單個病人上實現(xiàn)同醫(yī)院、同醫(yī)生的短時間內(nèi)快速診斷。一方面，在獲得相關(guān)醫(yī)療影像數(shù)據(jù)后，目前主要由醫(yī)生進行人工分析處理，對醫(yī)生的臨床經(jīng)驗要求較高，耗費時間較長。另一方面，我國醫(yī)療資源有限且分布不均，同時部分患者對侵入性檢查服從度較低，導(dǎo)致部分患者無法得到相當(dāng)全面細致的檢查，導(dǎo)致誤診或漏診。

5、此外，全診斷流程需要患者和醫(yī)生花費大量時間進行流程排隊和信息交流，整體診斷效率不盡如人意。在面對越來越多的就診人群時，傳統(tǒng)的醫(yī)療診斷模式受制于臨床醫(yī)生的數(shù)量和診斷經(jīng)驗的限制，容易出現(xiàn)診斷保障能力短缺，診斷準(zhǔn)確性不足的情況，進而導(dǎo)致結(jié)直腸癌患者的漏診或誤診，耽誤寶貴的早期治療時間。

6、因此，設(shè)計一種能夠緩解結(jié)直腸癌患者排查診斷資源緊缺，減少結(jié)直腸癌患者誤診漏診情況的基于ai多模態(tài)技術(shù)的結(jié)直腸癌患者發(fā)現(xiàn)系統(tǒng)，就顯得十分重要。

技術(shù)實現(xiàn)思路

1、本發(fā)明是為了克服現(xiàn)有技術(shù)中，在現(xiàn)有的結(jié)直腸癌患者發(fā)現(xiàn)診斷過程中，存在醫(yī)療數(shù)據(jù)分析困難，人機交互水平較低的問題，提供了一種能夠緩解結(jié)直腸癌患者排查診斷資源緊缺，減少結(jié)直腸癌患者誤診漏診情況的基于ai多模態(tài)技術(shù)的結(jié)直腸癌患者發(fā)現(xiàn)系統(tǒng)。

2、為了達到上述發(fā)明目的，本發(fā)明采用以下技術(shù)方案：

3、基于ai多模態(tài)技術(shù)的結(jié)直腸癌患者發(fā)現(xiàn)系統(tǒng)，包括：

4、結(jié)構(gòu)化病歷數(shù)據(jù)收集模塊，用于使用結(jié)構(gòu)化病歷進行系統(tǒng)化的收集和管理患者的醫(yī)療信息；

5、基于結(jié)直腸癌關(guān)鍵詞檢測的患者初篩模塊，用于從病歷數(shù)據(jù)庫中篩選出潛在的結(jié)直腸癌患者，并將各病人的所有相關(guān)病歷和歷史醫(yī)療數(shù)據(jù)，構(gòu)成患者-數(shù)據(jù)-疾病狀況的元組，分析潛在的結(jié)直腸癌患者；

6、多模態(tài)精確結(jié)直腸癌患者二次篩查模塊，用于對潛在的結(jié)直腸癌患者，進一步提取對應(yīng)的全部醫(yī)療數(shù)據(jù)，并通過ai多模態(tài)系統(tǒng)對相應(yīng)的數(shù)據(jù)進行分析，得出預(yù)測病情結(jié)果；

7、智能多模態(tài)患者識別結(jié)果最終篩查模塊，用于將所述預(yù)測病情結(jié)果與臨床醫(yī)生所給出的診斷結(jié)果進行比較，并根據(jù)臨床醫(yī)生的診斷結(jié)果和預(yù)測病情結(jié)果的相對偏差值進行判斷，得出最后篩查結(jié)果；

8、智能結(jié)直腸癌患者病情匯總可視化模塊，用于進行結(jié)直腸癌患者患病風(fēng)險分級顯示，結(jié)直腸癌患者居住分布顯示以及隨訪記錄顯示。

9、作為優(yōu)選，在結(jié)構(gòu)化病歷數(shù)據(jù)收集模塊中，所述結(jié)構(gòu)化病歷的內(nèi)容包括患者基本信息、主訴、體格檢查、輔助檢查、臨床醫(yī)師診斷結(jié)果和治療方式；其中，在主訴中采取關(guān)鍵詞錄入法，在醫(yī)生段錄入患者數(shù)據(jù)后，系統(tǒng)自動對錄入的數(shù)據(jù)進行檢查判斷，并進行數(shù)據(jù)清洗和數(shù)據(jù)歸一化處理，移除無關(guān)字符，并統(tǒng)一病歷文本格式，按照病歷保密要求存儲到醫(yī)院本地或醫(yī)療數(shù)據(jù)云上。

10、作為優(yōu)選，所述基于結(jié)直腸癌關(guān)鍵詞檢測的患者初篩模塊，具體包括如下過程：

11、s21，通過詞袋模型以及文本病歷關(guān)鍵詞賦分檢測法完成對結(jié)直腸癌潛在患者的初篩；通過計算tf權(quán)重以及單詞數(shù)值特征向量，將文本轉(zhuǎn)換為數(shù)值特征向量；tf權(quán)重計算公式以及單詞向量計算公式如下所示：

12、；

13、；

14、其中，為關(guān)鍵詞出現(xiàn)次數(shù)，為所有關(guān)鍵詞的匯總出現(xiàn)次數(shù)，為單詞tf權(quán)重，為單詞數(shù)值特征向量，為單詞方向向量系數(shù)；

15、s22，通過詞袋模型快速抓取病歷及檢查報告中各類文本關(guān)鍵詞；在詞袋模型完成關(guān)鍵詞抓取后，則對關(guān)鍵詞進行分類符分，通過賦予不同類型的關(guān)鍵詞相應(yīng)的結(jié)直腸癌風(fēng)險分?jǐn)?shù)，進而通過文本病歷關(guān)鍵詞賦分檢測公式評估潛在的結(jié)直腸癌患病風(fēng)險，以及確定進入多模態(tài)精確結(jié)直腸癌患者二次篩查模塊的病患范圍；所述文本病歷關(guān)鍵詞賦分檢測公式如下：

16、；

17、其中，為潛在結(jié)直腸癌患病風(fēng)險概率，為各文本病歷關(guān)鍵詞賦分分值，m為數(shù)據(jù)庫中所有文本病歷關(guān)鍵詞賦分分值總和，為地區(qū)及患者職業(yè)結(jié)直腸癌患病比例參數(shù)。

18、作為優(yōu)選，所述基于結(jié)直腸癌關(guān)鍵詞檢測的患者初篩模塊，具體還包括如下過程：

19、s23，設(shè)定地區(qū)及患者職業(yè)結(jié)直腸癌患病比例參數(shù)的公式如下：

20、；

21、其中，為所在地區(qū)各醫(yī)院結(jié)直腸癌確診病歷數(shù)，為所在地區(qū)疑似病歷上報數(shù)，為所在就診單位的結(jié)直腸癌確診病歷數(shù)，為所在醫(yī)院疑似病例上報數(shù)，為就診醫(yī)院地區(qū)編號，為地區(qū)比重系數(shù)，為就診單位比重系數(shù)，原則上就診單位比重系數(shù)服從于地區(qū)比重系數(shù)，即；為職業(yè)患病風(fēng)險系數(shù)，風(fēng)險時間標(biāo)準(zhǔn)為從業(yè)24個月危害標(biāo)準(zhǔn)，為從業(yè)工作的時間系數(shù)；

22、s24，從業(yè)工作的時間系數(shù)的轉(zhuǎn)換方式如下：

23、設(shè)定t為從事工作總時間，單位為月：

24、；

25、當(dāng)潛在結(jié)直腸癌患病風(fēng)險概率大于地區(qū)結(jié)直腸癌患病風(fēng)險線時，將對應(yīng)患者納入下一階段的精確結(jié)直腸癌患者發(fā)現(xiàn)操作；的計算方法如下：

26、；

27、其中，為所在地區(qū)各醫(yī)院結(jié)直腸癌確診病歷數(shù)，為所在地區(qū)疑似病歷上報數(shù)，p為所在地區(qū)常住人口，為彈性診斷轉(zhuǎn)換系數(shù)；

28、s25，最終得到基于結(jié)直腸癌關(guān)鍵詞檢測的潛在患者判別公式：

29、；

30、當(dāng)時，即，則判定對應(yīng)病歷擁有者屬于潛在結(jié)直腸癌患者，將數(shù)據(jù)輸入第二級篩查中。

31、作為優(yōu)選，所述多模態(tài)精確結(jié)直腸癌患者二次篩查模塊通過基于結(jié)直腸癌關(guān)鍵詞檢測的患者初篩模塊得到潛在結(jié)直腸癌患者名單，進而從數(shù)據(jù)庫中提取所有和對應(yīng)患者有關(guān)的醫(yī)學(xué)影像和生物標(biāo)志物檢測報告，并將生物標(biāo)志物檢測報告中的圖像信息提取分離，轉(zhuǎn)入基于pytorch框架的u-net3+模型進行結(jié)直腸癌精確圖像識別，文本部分則交由transformer模塊進行語義分析處理。

32、作為優(yōu)選，在多模態(tài)精確結(jié)直腸癌患者二次篩查模塊中，所述結(jié)直腸癌精確圖像識別具體包括如下步驟：

33、s31，通過torchvision視覺處理包對結(jié)直腸檢查圖像數(shù)據(jù)，進行圖像預(yù)處理；所述圖像預(yù)處理包括對結(jié)直腸檢測圖像大小、色彩參數(shù)進行統(tǒng)一，移除不清晰、模糊、光線過暗或過亮的圖像；最后將圖像大小統(tǒng)一調(diào)整到256×256，用于輸入深度學(xué)習(xí)模型；

34、在完成圖像預(yù)處理后，通過對結(jié)直腸圖像進行圖像增強，用于模擬不同拍攝角度和拍攝距離下的結(jié)直腸圖像；所述圖像增強包括隨機旋轉(zhuǎn)、剪切和縮放；

35、在完成圖像數(shù)據(jù)預(yù)處理和圖像增強后，使用u-net3+模型對結(jié)直腸圖像進行精細分割；u-net3+模型中的編碼器負(fù)責(zé)下采樣和特征提取，解碼器負(fù)責(zé)上采樣和分割結(jié)果生成，全尺度跳躍連接則實現(xiàn)不同層級之間的特征融合；

36、所述語義分析處理具體包括如下步驟：

37、s32，transformer模塊負(fù)責(zé)對從數(shù)據(jù)庫中提取得到的病歷文本及檢驗報告文本進行分析；

38、通過文本清洗移除無關(guān)字符，包括特殊符號、標(biāo)點符號；對清洗后的文本進行標(biāo)準(zhǔn)化和文本歸一化處理，用于移除對分類沒有貢獻的常見詞匯；

39、通過transformer模塊的自注意力機制，捕捉所有文本報告中有關(guān)結(jié)直腸癌的關(guān)鍵詞，并將關(guān)鍵詞廣泛鏈接得到準(zhǔn)確的全局信息，最終實現(xiàn)對包括病歷及檢驗報告在內(nèi)的各項醫(yī)療文本的檢測和信息抽取。

40、作為優(yōu)選，對于結(jié)直腸癌精確圖像識別過程，使用center?loss+softmax?loss函數(shù)結(jié)合的分類策略，具體公式如下：

41、基于center?loss+softmax?loss的圖像分類函數(shù)：

42、；

43、其中，代表softmax?loss函數(shù)，即；代表center?loss函數(shù)即；為比例參數(shù)，用于調(diào)整中心損失函數(shù)center?loss占總函數(shù)的比重，通過調(diào)節(jié)實現(xiàn)對函數(shù)的類內(nèi)聚合類間分離的作用；c為接受訓(xùn)練的樣本數(shù)，為當(dāng)前樣本訓(xùn)練特征，為循環(huán)中當(dāng)前特征的預(yù)測值，為目標(biāo)樣本的預(yù)測值；為第i個樣本被卷積神經(jīng)網(wǎng)絡(luò)提取的特征，為第i類樣本的平均特征，n表示樣本數(shù)；

44、在語義分析處理過程中，使用cross-entropy?loss函數(shù)對文本內(nèi)容進行多分類概率預(yù)測，具體公式如下：

45、基于cross-entropy?loss的文本分類函數(shù)：

46、；

47、其中，=-，是每一個樣本t的預(yù)測檢驗結(jié)果；為真實樣本t在第i類上的值，為第i類真實樣本t的預(yù)測概率；

48、最后添加權(quán)重系數(shù)和對圖像預(yù)測概率和文本預(yù)測概率分別加權(quán)，得到最后的合成分布概率，具體公式如下：

49、。

50、作為優(yōu)選，所述智能多模態(tài)患者識別結(jié)果最終篩查模塊，具體包括如下過程：

51、s41，通過transformer網(wǎng)絡(luò)對病人的臨床診斷結(jié)果文本進行分析，得到醫(yī)生的診斷結(jié)果，為邏輯型變量，為臨床醫(yī)生認(rèn)為患者患有結(jié)直腸癌，為臨床醫(yī)生認(rèn)為患者未患有結(jié)直腸癌；

52、當(dāng)結(jié)直腸癌風(fēng)險的分布概率時，則判定臨床醫(yī)生與系統(tǒng)做出的診斷一致，將對應(yīng)患者列入結(jié)直腸癌患者庫進行管理，當(dāng)結(jié)直腸癌風(fēng)險的分布概率或者時，則認(rèn)為臨床醫(yī)生與系統(tǒng)做出的診斷不一致，將對應(yīng)患者的各類病歷信息打包提交更上級醫(yī)療專家進行診斷，并按照醫(yī)療專家的診斷意見決定最后是否將該患者列入結(jié)直腸癌患者庫進行管理；若判定結(jié)果顯示系統(tǒng)識別結(jié)果有誤，則將對應(yīng)數(shù)據(jù)后向傳播反饋至多模態(tài)精確結(jié)直腸癌患者二次篩查模塊，并優(yōu)化多模態(tài)精確結(jié)直腸癌患者二次篩查模塊的識別能力；當(dāng)時，則認(rèn)為潛在患者并未患有結(jié)直腸癌，不進入結(jié)直腸癌患者庫，并將對應(yīng)數(shù)據(jù)反饋給基于結(jié)直腸癌關(guān)鍵詞檢測的患者初篩模塊，并進行模塊優(yōu)化。

53、作為優(yōu)選，所述智能結(jié)直腸癌患者病情匯總可視化模塊，具體包括如下過程：

54、s51，通過gis系統(tǒng)與患者基本信息相結(jié)合，實現(xiàn)患者常住地地圖顯示，并通過患者常住地信息實現(xiàn)對醫(yī)療機構(gòu)所在地潛在結(jié)直腸癌環(huán)境影響進行分析，計算結(jié)直腸癌患者區(qū)域內(nèi)分布密度，對患者確診后生存時間和所接受療程進行分析，結(jié)合地區(qū)結(jié)直腸癌全周期生存率以及晚期確診生存率，計算地區(qū)患者估計生存率；

55、結(jié)直腸癌患者區(qū)域內(nèi)分布密度計算公式如下：

56、；

57、其中，為選定區(qū)域面積，為患者發(fā)現(xiàn)及管理系統(tǒng)服務(wù)總面積，為選定區(qū)域內(nèi)結(jié)直腸癌患者數(shù)，為患者發(fā)現(xiàn)及管理系統(tǒng)服務(wù)面積內(nèi)結(jié)直腸癌患者總數(shù)；

58、地區(qū)患者估計生存時間計算公式如下：

59、；

60、其中，為選定患者，為目前早期結(jié)直腸癌患者統(tǒng)計身存時間，為系統(tǒng)早期結(jié)直腸癌患者統(tǒng)計數(shù)，為目前中晚期結(jié)直腸癌患者統(tǒng)計生存時間，為系統(tǒng)中晚期結(jié)直腸癌患者統(tǒng)計數(shù)；為預(yù)計生存時間協(xié)調(diào)參數(shù)，參數(shù)根據(jù)系統(tǒng)獲得的患者進行療程數(shù)以及診斷情況進行適配，并服從；隨患者病情惡化或時間拖延，參數(shù)逐步服從。

61、本發(fā)明與現(xiàn)有技術(shù)相比，有益效果是：（1）本發(fā)明通過構(gòu)建一套基于結(jié)直腸癌關(guān)鍵詞檢測的患者初篩、多模態(tài)精確結(jié)直腸癌患者二次篩查、智能多模態(tài)患者識別結(jié)果最終篩查的三級篩查機制，實現(xiàn)對指定醫(yī)院或區(qū)域內(nèi)患者實現(xiàn)結(jié)直腸癌的自動篩查，能夠有效應(yīng)對大量患者的就診需求，通過標(biāo)準(zhǔn)化的手段，減少誤診漏診的可能性；（2）本發(fā)明系統(tǒng)自動對潛在患者的各類醫(yī)學(xué)檢驗數(shù)據(jù)進行多模態(tài)融合，提高人機交互體驗，在不需要大幅改進提升現(xiàn)有門診醫(yī)生信息化硬件配置的情況下，實現(xiàn)單一屏幕下的有效交互，降低臨床醫(yī)生的數(shù)據(jù)整合工作壓力，不再需要來回檢查切換多個頁面，就能對患者的情況有清晰的了解；（3）通過系統(tǒng)三級自動篩查醫(yī)院當(dāng)日臨床診斷數(shù)據(jù)，實現(xiàn)對當(dāng)日患者的結(jié)直腸癌發(fā)現(xiàn)與確認(rèn)，以自動化手段完成對當(dāng)日診斷決策的掃描與確認(rèn)，疑似誤診病歷自動告警提交，提升醫(yī)院治療質(zhì)控能力；同時通過系統(tǒng)概率分析與臨床診斷文本識別雙向確認(rèn)，實現(xiàn)醫(yī)生和智能多模態(tài)篩查系統(tǒng)的共同提高，既能通告警病歷處理中醫(yī)學(xué)專家的反饋優(yōu)化篩查算法，也能通過發(fā)現(xiàn)臨床診斷的問題提升臨床醫(yī)生的資料技術(shù)，輔助臨床醫(yī)生進行決策；（4）系統(tǒng)自動集成并管理患者的各類醫(yī)學(xué)數(shù)據(jù)，能在醫(yī)院或者區(qū)域內(nèi)實現(xiàn)一次檢查，全局共享，方便患者后續(xù)治療時的資料獲取，盡可能減少對患者的侵入性檢查，減輕患者的心理負(fù)擔(dān)和經(jīng)濟負(fù)擔(dān)；同時通過系統(tǒng)對患者的分布密度和預(yù)期生存時間進行預(yù)測計算，方便醫(yī)療單位開展隨訪以及科研分析工作，進一步保障該地區(qū)結(jié)直腸癌患者的發(fā)現(xiàn)與及早治療。