1.一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于,由醫(yī)學(xué)圖像視覺特征預(yù)提取網(wǎng)絡(luò)swintransformer、視覺特征編碼器及特征融合解碼器組成,其中視覺特征編碼器包含滑動窗口編碼器swe、網(wǎng)格循環(huán)網(wǎng)絡(luò)mrn,特征融合編碼器包含融合跨模態(tài)注意力機(jī)制fmca和融合嵌入層fe,具體步驟包括:
2.根據(jù)權(quán)利要求1所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:在數(shù)據(jù)結(jié)構(gòu)中,每對數(shù)據(jù)表示為(ii,xt,i),其中ii為第i張醫(yī)學(xué)圖像,xt,i為第i張醫(yī)學(xué)圖像對應(yīng)的診斷報告文本;
3.根據(jù)權(quán)利要求2所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:將第i張醫(yī)學(xué)圖像的圖像質(zhì)量評分標(biāo)記為以及對應(yīng)的復(fù)雜度評分標(biāo)記為
4.根據(jù)權(quán)利要求3所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:接收編號集{1,2,…,i,…n}中圖像質(zhì)量評分的平均值以及復(fù)雜度評分的平均值并進(jìn)行分析處理,生成閾值劃分系數(shù),閾值劃分系數(shù)用于對初始分類閾值提供分類取值策略,具體包括:
5.根據(jù)權(quán)利要求4所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:所述預(yù)訓(xùn)練特征提取網(wǎng)絡(luò)swintransformer提取初步醫(yī)學(xué)圖像視覺特征的過程為:
6.根據(jù)權(quán)利要求5所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:所述滑動窗口編碼器包含l層,每層由交替的窗口注意力機(jī)制w-msa或滑動窗口注意力sw-msa機(jī)制組成;
7.根據(jù)權(quán)利要求6所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:將視覺特征和文本嵌入xt進(jìn)行融合,在多頭跨模態(tài)注意機(jī)制中使用滑動窗口編碼器學(xué)習(xí)的視覺特征vl作為查詢,使用掩碼注意機(jī)制的輸出作為鍵值對,具體表示如下:
8.根據(jù)權(quán)利要求7所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:在解碼器層lf之前,全局特征只與文本特征融合;然后,從第lf層開始,全局特征不再與文本特征一起學(xué)習(xí);相反,fmca模塊負(fù)責(zé)在這個階段提取全局特征;上述操作公式表示如下: