本發(fā)明涉及病理圖像分析挖掘領(lǐng)域，尤其涉及一種基于多實(shí)例學(xué)習(xí)和多尺度特征提取的胃癌亞型分類方法。

背景技術(shù)：

1、胃癌是迄今為止全球人類死亡的主要原因之一，死亡率高居世界第二。盡管世界上一些地區(qū)的發(fā)病率有所下降，但由于大多數(shù)病例診斷較晚，預(yù)后差，治療選擇有限，胃癌仍然是一個重大的臨床挑戰(zhàn)。世界衛(wèi)生組織以癌的組織結(jié)構(gòu)、細(xì)胞形狀和分化程度為依據(jù)，主要把胃癌分為普通腺癌(gastric?adenocarcinoma，gac)、粘液腺癌(mucinousadenocarcinoma，muc)和印戒細(xì)胞癌(signet?ring?cell?carcinoma，src)。其中，gac最為常見，與其相比，muc的臨床病理特征具有顯著差異：體積較大；侵襲更深；淋巴結(jié)轉(zhuǎn)移率較高。此外，作為muc的一種變異體src也產(chǎn)生大量的黏蛋白，但在臨床上表現(xiàn)為惡性度較高的低分化腺癌，易在胃壁呈彌漫浸潤性生長，侵襲力強(qiáng)，轉(zhuǎn)移率高，核被擠壓于胞質(zhì)一側(cè)呈“印戒”樣，經(jīng)常到了晚期才被發(fā)現(xiàn)。據(jù)報道，胃癌的早期準(zhǔn)確檢測可壓倒性的將5年生存率提高約90％。因此，針對muc、gac和src的準(zhǔn)確形態(tài)學(xué)分類在臨床診斷中非常有必要的，而病理檢測是診斷胃癌各種亞型的金標(biāo)準(zhǔn)，檢測結(jié)果對治療計(jì)劃有很大的影響。

2、在臨床環(huán)境中，病理學(xué)家通常根據(jù)觀察到的不同尺度下的組織病理圖像的形態(tài)特征，并參考醫(yī)學(xué)報告進(jìn)行診斷，而人工診斷過程耗時且具有主觀性和不可重復(fù)性。目前，研究人員提出了數(shù)字病理學(xué)領(lǐng)域?qū)Ｓ玫纳疃葘W(xué)習(xí)方法—多實(shí)例學(xué)習(xí)(multiple?instancelearning,mil)。

3、但是，現(xiàn)有的多實(shí)例學(xué)習(xí)受限于單一尺度、過高的計(jì)算成本以及未能有效整合病理圖像的上下文信息等問題，這往往會導(dǎo)致在亞型分類任務(wù)中耗時較長、檢測結(jié)果誤判，不能滿足臨床輔助診斷的需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于多實(shí)例學(xué)習(xí)和多尺度特征提取的胃癌亞型分類方法，以用于胃癌亞型病理圖像檢測。本發(fā)明采用resnet骨干網(wǎng)絡(luò)提取病理圖像在不同放大倍數(shù)下的特征；然后，通過并行注意力模塊和可微分模塊獲得較低放大倍數(shù)下信息豐富的子圖像(tile)，并將其與更高放大倍數(shù)下的組織病理圖像結(jié)合，以獲取上下文關(guān)聯(lián)信息；最終，通過聚合不同放大倍數(shù)下的特征來實(shí)現(xiàn)胃癌亞型分類任務(wù)。在減少對計(jì)算需求的同時，用于普通腺癌、粘液腺癌和印戒細(xì)胞癌圖像的分類，提高對胃癌亞型檢測的準(zhǔn)確率，能夠滿足臨床輔助診斷的需要。

2、本發(fā)明的技術(shù)方案是：一種基于多實(shí)例學(xué)習(xí)和多尺度特征提取的胃癌亞型分類方法，包括：

3、s1、采集胃癌患者組織病理圖像和對應(yīng)的臨床標(biāo)簽數(shù)據(jù)；

4、s2、對每張?jiān)冀M織病理圖像wsi進(jìn)行預(yù)處理，獲得不同放大倍數(shù)下組織病理圖像的子圖像tile；

5、s3、針對s2得到的子圖像tile，通過在imagenet數(shù)據(jù)集上預(yù)訓(xùn)練好的resnet骨干網(wǎng)絡(luò)來提取不同放大倍數(shù)下的tile特征，最后把提取后的特征打包成一個.h5文件，并按照8:1:1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集；

6、s4、將s3所得低放大倍數(shù)下的病理圖像特征送入一個多實(shí)例學(xué)習(xí)并行注意力模塊，獲得該放大倍數(shù)下的通道注意力分?jǐn)?shù)和空間注意力分?jǐn)?shù)；

7、s4中的多實(shí)例學(xué)習(xí)并行注意力模塊構(gòu)建過程如下：

8、s4.1多實(shí)例學(xué)習(xí)是后續(xù)任務(wù)的基礎(chǔ)，輸入x是一個由多個實(shí)例組成的包，記為x＝{x1,...,xn}；給定一個有c類標(biāo)簽的分類任務(wù)，每個實(shí)例都有一個未知標(biāo)簽yi∈c，x有一個已知標(biāo)簽y∈c；將原始組織病理圖像wsi作為輸入，實(shí)例表示提取的tile集合；其中，切片級tile-level特征提取器h將每個tile?xi映射為特征向量表示張量中每個元素都是d維實(shí)數(shù)，然后，池化算子g(·)將特征向量hi＝1:n，n為特征向量的個數(shù)，聚合以生成單張wsi的特征表示；最后，分類器f(·)使用聚合后的特征表示來預(yù)測wsi級(wsi-level)的標(biāo)簽所述過程可以總結(jié)為：

9、

10、其中，avgpool為平均池化運(yùn)算；maxpool為最大池化運(yùn)算；f7×7為7×7的卷積運(yùn)算；σ為sigmoid激活函數(shù)；mlp為共享權(quán)重的全連接層；最后，將獲得的tile-level的注意力分?jǐn)?shù)si、ci與特征矩陣中對應(yīng)的特征向量hi分別相乘累加得到wsi-level的空間注意力特征圖或空間注意力分?jǐn)?shù)sa和通道注意力特征圖或通道注意力分?jǐn)?shù)ca；

11、s5、將s4得到的通道注意力分?jǐn)?shù)通過可微分模塊獲得放大倍數(shù)m倍下信息豐富的tile，并與s3所得的m+1倍數(shù)下的特征進(jìn)行多尺度concat拼接操作；

12、s6、針對s5結(jié)合后的結(jié)果，進(jìn)行與s4和s5相同的操作，獲得在此放大倍數(shù)下的空間注意力分?jǐn)?shù)和信息豐富的tile；

13、s7、上述過程s3-s6重復(fù)進(jìn)行，直至達(dá)到最大放大倍數(shù)m+n倍為止，最后聚合各個放大倍數(shù)下的所有特征進(jìn)行輸出預(yù)測；

14、s8、將s3的訓(xùn)練集數(shù)據(jù)輸入多實(shí)例學(xué)習(xí)并行注意力模塊，并結(jié)合s5中多尺度concat拼接進(jìn)行訓(xùn)練，之后使用s3的驗(yàn)證集對每一批次訓(xùn)練得到的模型性能進(jìn)行驗(yàn)證，并保存最好在驗(yàn)證集上取得最好的指標(biāo)的模型參數(shù)作為最終分類模型的權(quán)重；最終，在s3的測試集上驗(yàn)證所保存的模型對胃癌亞型病理圖像分類的性能。

15、作為對上述方案的進(jìn)一步描述：s2原始全視野數(shù)字切片圖像wsi的處理過程包括以下步驟：

16、剔除不匹配數(shù)據(jù)，對組織病理圖像在不同放大倍數(shù)下的圖片使用滑動窗口裁剪為預(yù)設(shè)尺寸的子圖塊，并且過濾掉空白背景超過第一預(yù)設(shè)閾值的子圖塊；將所有的子圖塊進(jìn)行顏色標(biāo)準(zhǔn)化，上述操作完成后，將剪裁后的子圖塊按對應(yīng)的組織病理圖像單獨(dú)保存。

17、作為對上述方案的進(jìn)一步描述：所述s3中通過在imagenet數(shù)據(jù)集上預(yù)訓(xùn)練好的resnet骨干網(wǎng)絡(luò)來提取不同放大倍數(shù)下的tile特征，具體包括以下步驟：

18、多尺度tile生成：從原始胃癌病理切片圖像中提取不同放大倍數(shù)下的圖像tile，以獲取多尺度的信息；

19、resnet預(yù)訓(xùn)練：使用在imagenet數(shù)據(jù)集上預(yù)訓(xùn)練好的resnet作為特征提取的骨干網(wǎng)絡(luò)，預(yù)訓(xùn)練好的resnet已經(jīng)學(xué)到了大量通用圖像特征，有助于提高特征提取的有效性；

20、特征提?。簩⒉煌糯蟊稊?shù)下的tile輸入預(yù)訓(xùn)練好的resnet網(wǎng)絡(luò)，提取其對應(yīng)的特征向量；這些特征向量能夠捕捉到tile在不同放大倍數(shù)下的細(xì)胞、紋理和結(jié)構(gòu)信息；最后，將一整張病理圖像所有放大倍數(shù)下提取的特征保存為一個.h5文件，方便后續(xù)使用。

21、作為對上述方案的進(jìn)一步描述：將s4得到的通道注意力分?jǐn)?shù)通過可微分模塊獲得放大倍數(shù)m倍下信息豐富的tile，具體過程描述為：

22、當(dāng)一張wsi在多個放大倍率下可訪問時，這些倍數(shù)由m∈{1,2,...,m}表示，其中m表示最高的放大倍數(shù)，假設(shè)當(dāng)m+1時wsi的放大倍數(shù)是m時放大倍數(shù)的兩倍，為了識別放大倍數(shù)為m下的信息tile，需先計(jì)算wsi-level通道注意力特征圖其中包含了模型對每個tile的通道注意力分?jǐn)?shù)，然后，選擇具有最高注意力分?jǐn)?shù)的前k個tile，即top-k運(yùn)算，并在更高的放大倍數(shù)下進(jìn)一步處理；選擇tile的特征矩陣可以表示為：

23、

24、其中，tm∈{0,1}n×k為指示矩陣，hm∈rn×d為放大倍數(shù)等于m時tile的特征矩陣；

25、通過分類器f(·)的預(yù)測輸出來直接進(jìn)行m處的tile選擇，分類器f(·)為由一個全連接層組成的分類頭，這可以通過從分類器f(·)的輸出到m處的注意力模塊反向傳播來實(shí)現(xiàn)，而不需要引入任何額外的損失或相關(guān)超參數(shù)；然而，公式(4)并不能直接進(jìn)行微分操作，因?yàn)樗婕暗搅藅op-k運(yùn)算，top-k運(yùn)算在數(shù)學(xué)上不是處處可微的；故通過擾動最大值方法來讓top-k的選擇可微分化，并將其應(yīng)用于放大倍數(shù)為m處的注意力分?jǐn)?shù)cam；具體來說，首先通過添加均勻高斯噪聲然后針對這些擾動的注意力權(quán)重分別求解一個線性程序，并對結(jié)果進(jìn)行平均，因此，可微分top-k模塊的前向傳遞可以寫成：

26、

27、其中，<·>是矩陣矢量化之前的標(biāo)量乘積；因此表示將擾動后的注意力分?jǐn)?shù)(cam+σz)在第二維度上重復(fù)k次，形成一個大小為n×k的矩陣，以便后續(xù)運(yùn)算；對應(yīng)的雅可比矩陣定義為：

28、

29、其中，表示優(yōu)化目標(biāo)，表示決策變量，σ表示噪聲標(biāo)準(zhǔn)差，為高斯噪聲z的轉(zhuǎn)置矩陣；

30、可微分的top-k運(yùn)算能夠在具體放大倍數(shù)下，學(xué)習(xí)對tile進(jìn)行加權(quán)的注意力分?jǐn)?shù)；這意味著可以讓模型自動地學(xué)習(xí)如何選擇有意義的tile，而不依賴預(yù)先定義的規(guī)則；此外，本發(fā)明還保持所有放大倍數(shù)下選取的tile大小不變，即不會因?yàn)榉糯蟊稊?shù)而改變；這樣可以保持tile數(shù)量與放大倍數(shù)成正比，使得模型能夠捕獲各種上下文信息，這對于分析組織病理切片非常重要，因?yàn)樗鼈兺ǔ０姸嗉?xì)胞核、細(xì)胞質(zhì)、組織間質(zhì)與診斷相關(guān)的成分；為了結(jié)合其他尺度下的tile，把指示矩陣tm進(jìn)行擴(kuò)展，以便從tile特征(其中m'＞m)中選擇有意義的信息；通過計(jì)算tm和單位矩陣之間的kronecker積，得到了擴(kuò)展的指標(biāo)矩陣；與公式(3)類似，使用來自較低放大倍數(shù)m下的注意力權(quán)重，在較高放大倍數(shù)m'下進(jìn)行tile的選擇：

31、

32、其中，hm'為在放大倍率m'下的特征矩陣，為所選擇的特征矩陣；

33、通過上述計(jì)算，可以生成一個包含更多信息的指示矩陣，以便在更高放大倍數(shù)下進(jìn)行更細(xì)致的tile選擇，同時也能夠與較低放大倍數(shù)下的注意力權(quán)重相對應(yīng)，有助于提升模型對輸入數(shù)據(jù)的處理能力。

34、作為對上述方案的進(jìn)一步描述：所述s7中聚合各個放大倍數(shù)下的所有特征進(jìn)行輸出預(yù)測具體描述為：

35、當(dāng)放大倍數(shù)m＝1時，特征矩陣h1通過并行注意力模塊pam；pam由空間注意力模塊pa1和通道注意力模塊pa1'組成，pa1用于獲取低放大倍數(shù)下的最佳池化wsi-level表示sa1；pa1'旨在提供有意義的通道注意力分?jǐn)?shù)ca1，以用于更高放大倍數(shù)下tile的選擇；然后，使用可微分的指示矩陣t1來選擇最具有信息量的tile，并通過公式(7)得到了更高放大倍數(shù)的tile特征矩陣上述過程重復(fù)進(jìn)行，直至達(dá)到最高放大倍數(shù)m為止；隨后，在m處選擇的tile特征通過最后一個并行注意力模塊pam，生成最高放大倍數(shù)下的特征表示sam；此外，由于病理圖像中不同尺度下的特征密切相關(guān)，并且求和利用了特征之間的互補(bǔ)性，因此將所有放大倍數(shù)的注意力池化特征表示sa1,sa2,…,sam通過求和池化進(jìn)行聚合，來獲得多尺度、上下文感知的wsi-level表示；最終分類器f(·)將wsi-level的表示映射到相應(yīng)的標(biāo)簽y∈c，并輸出模型預(yù)測此過程可以看作是對公式(1)的擴(kuò)展，在多個放大倍數(shù)下進(jìn)行求和池化：

36、

37、本發(fā)明還提供一種基于多實(shí)例學(xué)習(xí)和多尺度特征提取的胃癌亞型分類系統(tǒng)：包括上述方法中的模塊。

38、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明至少解決了多實(shí)例學(xué)習(xí)組織病理圖像分類方法中的三個難點(diǎn)問題：現(xiàn)有的mil方法受限于單一尺度、過高的計(jì)算成本以及未能有效整合病理圖像的上下文信息。針對這些問題，本發(fā)明首先使用resnet骨干網(wǎng)絡(luò)提取病理圖像在不同放大倍數(shù)下的特征；然后，通過并行注意力模塊(parallel?attentionmodule,pam)和可微分模塊獲得較低放大倍數(shù)下信息豐富的子圖像(tile)，并將其與更高放大倍數(shù)下的組織病理圖像結(jié)合，以獲取上下文關(guān)聯(lián)信息；最終，通過聚合不同放大倍數(shù)下的特征來實(shí)現(xiàn)胃癌亞型分類任務(wù)。相對于目前先進(jìn)方法，本發(fā)明僅需要更少的計(jì)算資源就能達(dá)到一個更佳的識別精度，以滿足臨床輔助診斷的需要。