欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種基于跨模態(tài)全局特征融合Transformer的醫(yī)學(xué)圖像診斷報告自動生成方法

文檔序號:40642795發(fā)布日期:2025-01-10 18:49閱讀:來源:國知局

技術(shù)特征:

1.一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于,由醫(yī)學(xué)圖像視覺特征預(yù)提取網(wǎng)絡(luò)swintransformer、視覺特征編碼器及特征融合解碼器組成,其中視覺特征編碼器包含滑動窗口編碼器swe、網(wǎng)格循環(huán)網(wǎng)絡(luò)mrn,特征融合編碼器包含融合跨模態(tài)注意力機(jī)制fmca和融合嵌入層fe,具體步驟包括:

2.根據(jù)權(quán)利要求1所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:在數(shù)據(jù)結(jié)構(gòu)中,每對數(shù)據(jù)表示為(ii,xt,i),其中ii為第i張醫(yī)學(xué)圖像,xt,i為第i張醫(yī)學(xué)圖像對應(yīng)的診斷報告文本;

3.根據(jù)權(quán)利要求2所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:將第i張醫(yī)學(xué)圖像的圖像質(zhì)量評分標(biāo)記為以及對應(yīng)的復(fù)雜度評分標(biāo)記為

4.根據(jù)權(quán)利要求3所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:接收編號集{1,2,…,i,…n}中圖像質(zhì)量評分的平均值以及復(fù)雜度評分的平均值并進(jìn)行分析處理,生成閾值劃分系數(shù),閾值劃分系數(shù)用于對初始分類閾值提供分類取值策略,具體包括:

5.根據(jù)權(quán)利要求4所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:所述預(yù)訓(xùn)練特征提取網(wǎng)絡(luò)swintransformer提取初步醫(yī)學(xué)圖像視覺特征的過程為:

6.根據(jù)權(quán)利要求5所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:所述滑動窗口編碼器包含l層,每層由交替的窗口注意力機(jī)制w-msa或滑動窗口注意力sw-msa機(jī)制組成;

7.根據(jù)權(quán)利要求6所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:將視覺特征和文本嵌入xt進(jìn)行融合,在多頭跨模態(tài)注意機(jī)制中使用滑動窗口編碼器學(xué)習(xí)的視覺特征vl作為查詢,使用掩碼注意機(jī)制的輸出作為鍵值對,具體表示如下:

8.根據(jù)權(quán)利要求7所述的一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,其特征在于:在解碼器層lf之前,全局特征只與文本特征融合;然后,從第lf層開始,全局特征不再與文本特征一起學(xué)習(xí);相反,fmca模塊負(fù)責(zé)在這個階段提取全局特征;上述操作公式表示如下:


技術(shù)總結(jié)
本發(fā)明提供一種基于跨模態(tài)全局特征融合Transformer的醫(yī)學(xué)圖像診斷報告自動生成方法,涉及圖像生成技術(shù)領(lǐng)域,本發(fā)明通過引入滑動窗口編碼器SWE和網(wǎng)格循環(huán)網(wǎng)絡(luò)MRN,實(shí)現(xiàn)了醫(yī)學(xué)圖像的全局特征提取;同時,通過融合跨模態(tài)注意力機(jī)制FMCA和融合嵌入層FE,顯著提升了視覺特征與文本特征的對齊精度,根據(jù)篩選指數(shù)以及閾值劃分系數(shù),對初始分類閾值提供分類取值策略,并根據(jù)分類取值策略形成調(diào)整后的分類閾值,調(diào)整后的分類閾值用于對編號集中醫(yī)學(xué)圖像和診斷報告文本進(jìn)行分組設(shè)置,形成通過篩選的醫(yī)學(xué)圖像和報告文本子集;這一創(chuàng)新方法增強(qiáng)了模型對復(fù)雜病灶的識別能力,為醫(yī)學(xué)圖像診斷自動化提供了有效的解決方案。

技術(shù)研發(fā)人員:徐黎明,唐全,汪勇衡
受保護(hù)的技術(shù)使用者:西華師范大學(xué)
技術(shù)研發(fā)日:
技術(shù)公布日:2025/1/9
當(dāng)前第2頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1
金华市| 井陉县| 岗巴县| 九江市| 衡山县| 济宁市| 高尔夫| 始兴县| 丹凤县| 淮安市| 丹阳市| 台州市| 阳谷县| 青海省| 奇台县| 汽车| 岳池县| 横峰县| 昌都县| 乐平市| 大新县| 台东市| 汤原县| 蒙城县| 留坝县| 寿宁县| 运城市| 新干县| 会泽县| 罗平县| 文水县| 遵义市| 宝兴县| 鄢陵县| 石渠县| 紫云| 峨眉山市| 双江| 桂阳县| 南乐县| 当涂县|