本發(fā)明涉及圖像生成，具體為一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法。

背景技術(shù)：

1、目前，大多數(shù)醫(yī)學(xué)診斷報告仍然依賴于放射科醫(yī)生手工編寫，這不僅耗時費(fèi)力，而且容易受主觀因素影響，導(dǎo)致診斷結(jié)果不一致。為此，基于深度學(xué)習(xí)的自動化醫(yī)學(xué)圖像診斷報告生成技術(shù)逐漸受到關(guān)注。特別是，隨著transformer在自然語言處理和計算機(jī)視覺領(lǐng)域的成功應(yīng)用，其在跨模態(tài)學(xué)習(xí)中的潛力也被逐步發(fā)掘，推動了基于跨模態(tài)特征融合的醫(yī)學(xué)圖像診斷報告自動生成技術(shù)的發(fā)展；大量的醫(yī)學(xué)圖像報告撰寫任務(wù)對醫(yī)生來說是復(fù)雜且繁瑣的任務(wù)。因此，自動地為醫(yī)學(xué)圖像生成真實(shí)可靠的診斷報告這個亟待解決的問題逐漸吸引了臨床醫(yī)學(xué)與人工智能領(lǐng)域研究者的廣泛關(guān)注；

2、現(xiàn)有的醫(yī)學(xué)圖像診斷報告生成技術(shù)仍然面臨一些不足之處：首先，許多方法僅依賴于局部特征，忽視了醫(yī)學(xué)圖像的全局信息，而全局信息在復(fù)雜病灶的準(zhǔn)確識別中至關(guān)重要；其次，在跨模態(tài)特征融合過程中，現(xiàn)有方法大多僅關(guān)注簡單的線性融合，未能充分利用視覺特征與文本特征之間的深層語義關(guān)聯(lián)；難以在醫(yī)學(xué)圖像診斷報告自動生成過程中實(shí)現(xiàn)醫(yī)學(xué)圖像級視覺特征提取并進(jìn)行跨模態(tài)數(shù)據(jù)生成，同時保持較低的計算資源開銷；此外，現(xiàn)有的診斷報告生成技術(shù)在處理不同類型的醫(yī)學(xué)圖像(如ct和mri)時，缺乏靈活性和通用性，導(dǎo)致模型的泛化能力不足；

3、在上述背景技術(shù)部分公開的上述信息僅用于加強(qiáng)對本公開的背景的理解，因此它可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法，以解決上述背景技術(shù)中提出的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于跨模態(tài)全局特征融合transformer的醫(yī)學(xué)圖像診斷報告自動生成方法，由醫(yī)學(xué)圖像視覺特征預(yù)提取網(wǎng)絡(luò)swintransformer、視覺特征編碼器及特征融合解碼器組成，其中視覺特征編碼器包含滑動窗口編碼器swe、網(wǎng)格循環(huán)網(wǎng)絡(luò)mrn，特征融合編碼器包含融合跨模態(tài)注意力機(jī)制fmca和融合嵌入層fe，具體步驟包括：

4、步驟s1：獲取醫(yī)學(xué)影像存儲系統(tǒng)中關(guān)于醫(yī)學(xué)圖像診斷報告的數(shù)據(jù)庫，該數(shù)據(jù)庫包含若干張醫(yī)學(xué)圖像以及與之直接相關(guān)的診斷報告文本，將每張醫(yī)學(xué)圖像與之直接相關(guān)的診斷報告文本以成對方式進(jìn)行編號，形成每對數(shù)據(jù)的編號集{1,2，…，i，…n}，其中，i表示第i對醫(yī)學(xué)圖像診斷報告數(shù)據(jù)的索引，n表示醫(yī)學(xué)圖像診斷報告的總對數(shù)；

5、步驟s2：將醫(yī)學(xué)圖像標(biāo)記為i，將醫(yī)學(xué)圖像對應(yīng)的診斷報告文本標(biāo)記為xt，其中t代表報告文本序列長度，對編號集{1,2，…，i，…n}中的醫(yī)學(xué)圖像和診斷報告文本進(jìn)行特征提取，得到視覺特征矩陣和文本特征向量；

6、步驟s3：將提取后的視覺特征矩陣和文本特征向量進(jìn)行量化，定義量化指標(biāo)qi為視覺特征矩陣和文本特征向量量化后得到的綜合評價指標(biāo)；根據(jù)量化指標(biāo)qi，計算每對醫(yī)學(xué)圖像及其對應(yīng)的診斷報告文本的篩選指數(shù)si，設(shè)定篩選指數(shù)si的初始分類閾值為τ，τ用于對編號集進(jìn)行分組排序；

7、步驟s4：獲取第i對數(shù)據(jù)中關(guān)于醫(yī)學(xué)圖像的圖像質(zhì)量評分和診斷報告文本的復(fù)雜度評分，并計算圖像質(zhì)量評分與復(fù)雜度評分在當(dāng)前編號集中的平均值；

8、步驟s5：接收編號集{1,2，…，i，…n}中圖像質(zhì)量評分的平均值以及復(fù)雜度評分的平均值，并進(jìn)行分析處理，生成閾值劃分系數(shù)，閾值劃分系數(shù)用于對初始分類閾值提供分類取值策略；

9、步驟s6：獲取分類取值策略以及初始分類閾值τ，并根據(jù)分類取值策略形成調(diào)整后的分類閾值，調(diào)整后的分類閾值用于對編號集中醫(yī)學(xué)圖像和診斷報告文本進(jìn)行分組設(shè)置，形成通過篩選的醫(yī)學(xué)圖像和報告文本子集；

10、步驟s7：采用預(yù)訓(xùn)練特征提取網(wǎng)絡(luò)swintransformer初步提取步驟s6中分組后的醫(yī)學(xué)圖像和報告文本子集，得到醫(yī)學(xué)圖像視覺特征集合v＝{v1,v2,…,vn}，其中n為提取出的網(wǎng)格特征數(shù)；

11、步驟s8：將提取出的原始視覺特征采用滑動窗口編碼器swe進(jìn)行動態(tài)窗口劃分；

12、步驟s9：采用網(wǎng)格循環(huán)網(wǎng)絡(luò)mrn將滑動窗口編碼器之間的層間信息進(jìn)行平均池化并提取醫(yī)學(xué)圖像全局信息作為圖像級視覺表示；

13、步驟s10：根據(jù)時域順序，依次將視覺特征表示和全局信息與診斷報告文本使用特征融合解碼器ffd進(jìn)行跨模態(tài)對齊，根據(jù)不同類型的視覺特征，學(xué)習(xí)文本嵌入中的病理數(shù)據(jù)及固有的臨床語言模式；

14、步驟s11：通過學(xué)習(xí)得到的視覺特征映射，逐字生成與輸入圖像相對應(yīng)的診斷報告文本，使訓(xùn)練好的跨模態(tài)transformer模型在生成過程中不斷最小化文本模態(tài)和視覺特征之間的損失函數(shù)，以優(yōu)化生成結(jié)果，直至網(wǎng)絡(luò)收斂，最終，將待測醫(yī)學(xué)圖像數(shù)據(jù)輸入至訓(xùn)練好的跨模態(tài)transformer模型，生成醫(yī)學(xué)圖像診斷報告。

15、進(jìn)一步說明，將第i張醫(yī)學(xué)圖像的圖像質(zhì)量評分標(biāo)記為以及對應(yīng)的復(fù)雜度評分標(biāo)記為

16、計算第i對數(shù)據(jù)中醫(yī)學(xué)圖像的圖像質(zhì)量評分該評分將依據(jù)圖像的對比度和噪聲標(biāo)準(zhǔn)差來進(jìn)行量化，具體公式如下：

17、

18、其中，ci為圖像ii的對比度；ni為圖像ii的噪聲標(biāo)準(zhǔn)差；η1是一個小常數(shù)，0.01≤η1≤0.09，以避免分母為零的情況；

19、利用拉普拉斯算子計算圖像的對比度，公式為：

20、

21、其中，表示圖像的二階導(dǎo)數(shù)，(x,y)表示圖像中的像素坐標(biāo)；

22、計算第i對數(shù)據(jù)中醫(yī)學(xué)圖像的噪聲標(biāo)準(zhǔn)差ni，通過選取局部區(qū)域內(nèi)的像素值標(biāo)準(zhǔn)差進(jìn)行估算，局部區(qū)域選擇圖像中心位置，計算公式如下：

23、

24、其中，m表示所選擇的局部區(qū)域內(nèi)的像素數(shù)量，ii′(k′)表示在局部區(qū)域內(nèi)第k個像素的歸一化后圖像值，表示局部區(qū)域內(nèi)像素值的平均值；

25、計算編號集{1,2，…，i，…n}中所有圖像質(zhì)量評分的平均值為計算公式如下：

26、

27、確定復(fù)雜度評分包括的特征值依次為術(shù)語密集度、句法復(fù)雜度、信息熵、情感分析得分和文本可讀性得分，設(shè)定各項(xiàng)特征值的評分范圍均為1至10中的整數(shù)，且評分?jǐn)?shù)值越大，對應(yīng)特征復(fù)雜度越高，將診斷報告文本中的任一特征值用tj,i表示，j∈{1,2,3,4,5}，并將術(shù)語密集度標(biāo)記為t1,i，句法復(fù)雜度標(biāo)記為t2,i，信息熵標(biāo)記為t3,i，情感分析得分標(biāo)記為t4,i，文本可讀性得分標(biāo)記為t5,i；計算公式如下：

28、

29、其中，a1、a2、a3、a4、a5分別表示對應(yīng)特征值的權(quán)重，且

30、計算編號集{1,2，…，i，…n}中所有復(fù)雜度評分的平均值為計算公式如下：

31、

32、進(jìn)一步地，接收編號集{1,2，…，i，…n}中圖像質(zhì)量評分的平均值以及復(fù)雜度評分的平均值并進(jìn)行分析處理，生成閾值劃分系數(shù)，閾值劃分系數(shù)用于對初始分類閾值提供分類取值策略，具體包括：

33、定義閾值劃分系數(shù)為κ，計算公式為：

34、

35、其中，κ為閾值劃分系數(shù)，為編號集{1,2，…，i，…n}中圖像質(zhì)量評分的平均值，代表圖像的清晰度與噪聲比；為編號集{1,2，…，i，…n}中復(fù)雜度評分的平均值，表示文本中醫(yī)學(xué)術(shù)語密集度與語法復(fù)雜度；

36、γ為調(diào)節(jié)參數(shù)，用于控制圖像質(zhì)量評分與文本復(fù)雜度評分之間的交互強(qiáng)度，γ>0；若圖像質(zhì)量評分增加或文本復(fù)雜度評分減少，閾值劃分系數(shù)κ將增大；λ為權(quán)重參數(shù)，調(diào)節(jié)特征向量平方和對整體計算的影響，0<λ<1；tj,i為第i對數(shù)據(jù)中診斷報告文本的第j個特征值；5為診斷報告文本的特征數(shù)，表示提取的文本特征向量維度；為第i對數(shù)據(jù)中視覺特征矩陣的方差，反映圖像特征的分布情況；方差越小，圖像特征越集中，計算出的閾值劃分系數(shù)κ越大；εi為正值，0.01≤εi≤0.03，εi防止分母為零；

37、設(shè)定閾值劃分系數(shù)κ的有效值域在[0.1,0.75]之間，值域范圍內(nèi)的不同取值將對初始分類閾值τ提供以下不同的分類取值策略；

38、當(dāng)0.1≤κ<0.25時，說明圖像質(zhì)量與文本復(fù)雜度均衡或圖像特征較為分散，提升τ能夠減少低質(zhì)量數(shù)據(jù)的影響，τ調(diào)整公式如下：

39、

40、其中，τ1′為調(diào)整后的τ；

41、當(dāng)0.25≤κ<0.56時，圖像質(zhì)量與文本復(fù)雜度匹配，維持當(dāng)前τ有利于準(zhǔn)確篩選；

42、當(dāng)κ≥0.56時，圖像質(zhì)量較高或文本復(fù)雜度較低，同時圖像特征集中，降低τ能夠保留優(yōu)質(zhì)數(shù)據(jù)用于分析，τ調(diào)整公式如下：

43、

44、其中，τ2′為調(diào)整后的τ；

45、根據(jù)調(diào)整后的分類閾值τ1′、τ2′，τ1′＞τ2′，對編號集中醫(yī)學(xué)圖像和診斷報告文本進(jìn)行分組設(shè)置，具體定義公式為：

46、

47、其中，對于{(ii,xt,i)|si≥τ1′}，表示將編號集{1,2，…，i，…n}中符合si≥τ1′的每對數(shù)據(jù)作為第一分類組；

48、對于{(ii,xt,i)|τ1′<si<τ2′}，表示將編號集{1,2，…，i，…n}中符合τ1′<si<τ2′的每對數(shù)據(jù)作為第二分類組；

49、對于{(ii,xt,i)|si<τ2′}，表示將編號集{1,2，…，i，…n}中符合si<τ2′的每對數(shù)據(jù)作為第三分類組。

50、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：通過引入滑動窗口編碼器swe和網(wǎng)格循環(huán)網(wǎng)絡(luò)mrn，實(shí)現(xiàn)了醫(yī)學(xué)圖像的全局特征提?。煌瑫r，通過融合跨模態(tài)注意力機(jī)制fmca和融合嵌入層fe，顯著提升了視覺特征與文本特征的對齊精度，根據(jù)篩選指數(shù)以及閾值劃分系數(shù)，對初始分類閾值提供分類取值策略，并根據(jù)分類取值策略形成調(diào)整后的分類閾值，調(diào)整后的分類閾值用于對編號集中醫(yī)學(xué)圖像和診斷報告文本進(jìn)行分組設(shè)置，形成通過篩選的醫(yī)學(xué)圖像和報告文本子集；在醫(yī)學(xué)圖像診斷報告自動生成過程中實(shí)現(xiàn)醫(yī)學(xué)圖像級視覺特征提取并進(jìn)行跨模態(tài)數(shù)據(jù)生成，同時保持較低的計算資源開銷；

51、這一創(chuàng)新方法不僅增強(qiáng)了模型對復(fù)雜病灶的識別能力，還提高了生成診斷報告的準(zhǔn)確性和一致性，為醫(yī)學(xué)圖像診斷自動化提供了更加有效的解決方案。