：本發(fā)明涉及一種結合卷積神經(jīng)網(wǎng)絡(cnn)和transformer模型的結直腸癌腹膜轉(zhuǎn)移預測模型，用于提高結直腸癌的早期檢測和診斷的準確性和效率。該模型可以應用在結直腸癌的風險預測、防控領域。

背景技術

0、
背景技術：

1、在過去的十年中，定量圖像分析領域經(jīng)歷了顯著的發(fā)展，使得計算機技術能夠從醫(yī)學放射影像中自動提取關鍵的定量特征。在這一過程中，眾多研究者采用了傳統(tǒng)的手工放射組學方法對醫(yī)學影像進行深入分析，目的在于預測局部晚期直腸癌患者的化療反應、疾病預后以及分子分型。然而，放射組學方法的實施過程復雜且耗時，特別是精確的腫瘤標記環(huán)節(jié)，這在一定程度上限制了其在臨床實踐中的廣泛應用。

2、隨著深度學習(dl)技術的興起，這一新興的機器學習領域展現(xiàn)出了解決上述問題的巨大潛力。近年來，基于深度學習的多種模型已被成功應用于醫(yī)學影像的分類任務中，它們能夠為放射科醫(yī)生提供額外的術前信息，輔助其制定更為精確和個性化的治療計劃。深度學習的核心優(yōu)勢在于其能夠通過卷積神經(jīng)網(wǎng)絡(cnn)和transformer等先進的神經(jīng)網(wǎng)絡架構，自動地從醫(yī)學影像中學習并提取出具有高度區(qū)分性的特征。與傳統(tǒng)的機器學習方法以及放射組學技術相比，深度學習模型在捕捉腫瘤和疾病的潛在模式及其復雜特征方面表現(xiàn)出了更高的準確性，從而顯著提高了醫(yī)學影像分析的預測和診斷精度。

3、深度學習模型之所以能夠?qū)崿F(xiàn)這一突破，主要得益于其強大的特征學習能力和高度的自動化特性。通過構建復雜的神經(jīng)網(wǎng)絡結構，深度學習模型能夠從大規(guī)模的醫(yī)學影像數(shù)據(jù)中自動發(fā)現(xiàn)并學習到那些對于疾病診斷和治療決策至關重要的特征。這一過程不僅極大地減少了對專業(yè)知識和手工干預的依賴，而且提高了分析過程的效率和準確性。因此，深度學習技術在醫(yī)學影像分析領域的應用前景廣闊，有望為臨床醫(yī)生提供更為強大和精準的輔助診斷工具。

技術實現(xiàn)思路

0、
技術實現(xiàn)要素：

1、為了對結直腸癌患者的腹膜轉(zhuǎn)移風險進行預測，本發(fā)明公開了一種基于cnn和transformer結合的結直腸癌預后腹膜轉(zhuǎn)移預測模型。

2、為此，本發(fā)明提供了如下技術方案：

3、一種基于深度學習的結直腸癌腹膜轉(zhuǎn)移預測方法，第一階段建立訓練集、驗證集和測試集，建立基于cnn和transformer的深度學習模型；第二階段，在構建好的數(shù)據(jù)集上訓練我們構建的深度學習分類模型，在訓練集上訓練，驗證集用于指導參數(shù)的選擇，測試集用于測試預測效果。

4、步驟一：我們首先著手收集了一系列結直腸癌患者手術前的腹部計算機斷層掃描(ct)原始圖像數(shù)據(jù)集。在這一過程中，我們專注于識別并選取腫瘤的最大橫截面圖像，隨后以腫瘤中心為基準，對周圍區(qū)域進行裁剪，以確定圖像中的感興趣區(qū)域(roi)。為了滿足深度學習模型的輸入要求，我們采用了線性插值技術對這些roi圖像進行了尺寸調(diào)整，確保所有圖像的分辨率統(tǒng)一為256×256像素。此外，我們還采用了分層隨機抽樣方法，對原始數(shù)據(jù)集進行了科學劃分，形成了訓練集、驗證集和測試集，為后續(xù)模型訓練和評估提供了結構化的數(shù)據(jù)處理基礎。

5、步驟二：在深度學習網(wǎng)絡的構建上，我們設計了一個融合cnn和transformer的復合型網(wǎng)絡架構。該網(wǎng)絡在初期階段采用了resnet-50模型的前三個階段，用于提取圖像的淺層特征圖。這些特征圖的下采樣倍數(shù)與swin-transformer中的patch?partition策略保持一致，確保了特征提取的一致性和有效性。在此基礎上，我們對swin-transformer網(wǎng)絡中的swin-transformerblock進行了創(chuàng)新性改進，引入了一個基于深度可分離卷積的局部感知增強模塊。這一模塊能夠利用特征圖中的上下文信息，對自注意力機制中的value向量進行動態(tài)修正，從而增強模型對局部特征的感知能力。

6、步驟三：為了充分利用預訓練模型的優(yōu)勢，我們采用了imagenet數(shù)據(jù)集中的圖像和標簽，對所構建的cnn和transformer結合的深度學習模型進行了預訓練。這一步驟不僅加速了模型的收斂速度，還提高了模型對新數(shù)據(jù)的泛化能力。

7、步驟四：在預訓練的基礎上，我們進一步利用步驟一得到的結直腸癌ct圖像數(shù)據(jù)集，對網(wǎng)絡模型進行了針對性的訓練。在這一過程中，我們根據(jù)結直腸癌數(shù)據(jù)庫的類別數(shù)量，調(diào)整了模型最后一層分類層的類別數(shù)，確保模型能夠適應特定的分類任務。例如，在本研究的具體實施中，我們將分類層的類別數(shù)設置為2，以適應結直腸癌腹膜轉(zhuǎn)移的二分類問題。

8、步驟五：最后，在模型訓練完成后，我們將新的待識別結直腸癌ct圖像的roi區(qū)域，通過線性插值采樣至256×256像素的尺寸，并輸入到訓練后的網(wǎng)絡模型中。該模型能夠根據(jù)輸入的圖像特征，輸出相應的類別標簽，從而為臨床醫(yī)生提供關于患者腹膜轉(zhuǎn)移風險的預測信息。

9、1.根據(jù)權利要求1所述感興趣區(qū)域獲取方式、線性插值處理和數(shù)據(jù)集劃分，其特征在于，所述步驟1中，對于感興趣區(qū)域的獲取，以腫瘤為中心，向上下左右四個方向往腫瘤外延伸5個像素。對于線性插值，采用二次線性插值，對于長寬小于256像素的，通過縮放刪減一部分像素，對于長寬大于256像素的，通過二次線性插值補充像素。對于數(shù)據(jù)集的劃分，采用分層隨機抽樣，將原始數(shù)據(jù)集按3:1:1的比例分層隨機劃分為訓練集、驗證集和測試集，為訓練分類器以及評估模型性能做好準備。

10、2.根據(jù)權利要求1所述的基于cnn和transformer結合的結直腸癌預后腹膜轉(zhuǎn)移預測模型，其特征在于，所述步驟1中，采用resnet-50的前三個階段來提取淺層特征圖，采用三個階段的swin-transformer模型來進行進一步的特征提取，第一個階段由全連接層組成的先行嵌入層和一個改進的swin-transformer模塊構成，第二個和第三個階段都由一個下采樣層和一個改進的swin-transformer模塊構成。下采樣層是由一個卷積層構成，將長寬尺寸縮小一倍，通道數(shù)增加一倍。改進的swin-transformer模塊則是在窗口多頭注意力機制上的value向量后添加了了一個局部感知增強模塊，該模塊與窗口多頭自注意力模塊處于可并行化的兩條分支上,通過高效的可分離卷積操作，提取輸入特征圖中的空間注意力權重系數(shù)，進而通過逐點相乘的交互路徑對value向量進行修正。

11、有益效果：

12、1、通過結合cnn和transformer模型，利用二者的優(yōu)勢，更好地捕捉腫瘤和疾病的潛在模式和復雜特征。

13、2、利用深度學習技術，自動從醫(yī)學影像中學習到具有區(qū)分能力的特征，減少了手工標記的繁瑣和耗時。

14、3、模型能夠快速處理和分析大量的醫(yī)學影像，提供額外的術前信息，幫助放射科醫(yī)生制定更有效的治療計劃。

技術特征：

1.根據(jù)權利要求1所述感興趣區(qū)域獲取方式、線性插值處理和數(shù)據(jù)集劃分，其特征在于，所述步驟1中，對于感興趣區(qū)域的獲取，以腫瘤為中心，向上下左右四個方向往腫瘤外延伸5個像素。對于線性插值，采用二次線性插值，對于長寬小于256像素的，通過縮放刪減一部分像素，對于長寬大于256像素的，通過二次線性插值補充像素。對于數(shù)據(jù)集的劃分，采用分層隨機抽樣，將原始數(shù)據(jù)集按3:1:1的比例分層隨機劃分為訓練集、驗證集和測試集，為訓練分類器以及評估模型性能做好準備。

2.根據(jù)權利要求1所述的基于cnn和transformer結合的結直腸癌預后腹膜轉(zhuǎn)移預測模型，其特征在于，所述步驟1中，采用resnet-50的前三個階段來提取淺層特征圖，采用三個階段的swin-transformer模型來進行進一步的特征提取，第一個階段由全連接層組成的先行嵌入層和一個改進的swin-transformer模塊構成，第二個和第三個階段都由一個下采樣層和一個改進的swin-transformer模塊構成。下采樣層是由一個卷積層構成，將長寬尺寸縮小一倍，通道數(shù)增加一倍。改進的swin-transformer模塊則是在窗口多頭注意力機制上的value向量后添加了了一個局部感知增強模塊，該模塊與窗口多頭自注意力模塊處于可并行化的兩條分支上,通過高效的可分離卷積操作，提取輸入特征圖中的空間注意力權重系數(shù)，進而通過逐點相乘的交互路徑對value向量進行修正。

技術總結
本發(fā)明提出了一種結合卷積神經(jīng)網(wǎng)絡(CNN)和Transformer模型的結直腸癌腹膜轉(zhuǎn)移預測模型，旨在提高結直腸癌早期檢測和診斷的準確性與效率。通過收集結直腸癌患者的手術前腹部CT圖像數(shù)據(jù)，并對這些數(shù)據(jù)進行處理，構建基于CNN和Swin?Transformer的深度學習網(wǎng)絡，模型能夠自動提取和學習圖像中的重要特征。預訓練模型后，對其進行進一步訓練，以準確預測患者的腹膜轉(zhuǎn)移風險。該模型實現(xiàn)了更高的預測準確性、自動化的特征提取以及更高效的診斷過程，有助于結直腸癌風險預測和防控領域的應用。

技術研發(fā)人員：王國鵬,苗世迪,王瑞濤
受保護的技術使用者：哈爾濱理工大學
技術研發(fā)日：
技術公布日：2024/12/23