本發(fā)明涉及半監(jiān)督醫(yī)學(xué)圖像分割，具體是一種基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法。

背景技術(shù)：

1、近年來，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)證明，使用足夠的標(biāo)注數(shù)據(jù)可以進(jìn)行有效的訓(xùn)練。但是，創(chuàng)建足夠的數(shù)據(jù)需要大量的人工標(biāo)注，尤其是在醫(yī)學(xué)圖像處理方面，醫(yī)學(xué)圖像標(biāo)注需要專業(yè)知識(shí)和專業(yè)設(shè)備，這就造成了全標(biāo)注數(shù)據(jù)集的短缺。幸運(yùn)的是，半監(jiān)督學(xué)習(xí)(semi-supervised?learning,ssl)是解決這一問題的有效方法。半監(jiān)督學(xué)習(xí)技術(shù)充分利用了大量未標(biāo)注數(shù)據(jù)，從而減少了對(duì)全標(biāo)注數(shù)據(jù)的依賴，對(duì)臨床影像診斷的準(zhǔn)確性和治療規(guī)劃產(chǎn)生了重大影響。

2、醫(yī)學(xué)圖像半監(jiān)督分割領(lǐng)域開展了大量研究活動(dòng)。最近的許多研究都集中在一致性正則化上，通過要求模型在輸入數(shù)據(jù)的不同變換下產(chǎn)生一致的輸出，使模型能夠?qū)W習(xí)更穩(wěn)健、更穩(wěn)定的特征表征。例如，fixmatch提出了一個(gè)簡(jiǎn)潔的一致性正則化框架，使用弱增強(qiáng)分支來監(jiān)督強(qiáng)增強(qiáng)分支。這一策略隨后得到了廣泛應(yīng)用。

3、此外，知識(shí)蒸餾(knowledge?distillation,kd)已被廣泛證明能有效補(bǔ)充半監(jiān)督學(xué)習(xí)，提高半監(jiān)督模型的性能。知識(shí)蒸餾利用教師模型的輸出來訓(xùn)練學(xué)生模型，從而概括模型并傳遞知識(shí)。知識(shí)蒸餾在半監(jiān)督領(lǐng)域具有巨大潛力，它能促進(jìn)更深入的特征學(xué)習(xí)，并通過強(qiáng)化預(yù)測(cè)來增強(qiáng)模型行為的穩(wěn)定性。知識(shí)蒸餾的這一特點(diǎn)增強(qiáng)了其在提高模型穩(wěn)健性和準(zhǔn)確性方面的有效性，尤其是在處理高度多變和各不相同的醫(yī)學(xué)圖像時(shí)。

4、半監(jiān)督模型通常側(cè)重于標(biāo)簽數(shù)據(jù)與非標(biāo)簽數(shù)據(jù)之間的經(jīng)驗(yàn)匹配。當(dāng)標(biāo)簽數(shù)據(jù)與非標(biāo)簽數(shù)據(jù)之間的經(jīng)驗(yàn)匹配不佳時(shí)，現(xiàn)有方法往往難以有效利用標(biāo)簽數(shù)據(jù)中的知識(shí)。有些方法使用分布對(duì)齊，即將未標(biāo)記數(shù)據(jù)的預(yù)測(cè)邊際分布與真實(shí)標(biāo)簽的邊際分布進(jìn)行對(duì)齊，從而迫使未標(biāo)記數(shù)據(jù)的預(yù)測(cè)聚合與所提供的標(biāo)記數(shù)據(jù)的分布相匹配。還有一些方法通過混合有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)(如cutmix和雙向復(fù)制粘貼(bidirectional?copy?paste,bcp))，將有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)納入網(wǎng)絡(luò)，以盡量縮小經(jīng)驗(yàn)分布差距，并使有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)的分布保持一致。

5、受前人研究的啟發(fā)，本發(fā)明旨在解決醫(yī)療圖像分割中現(xiàn)有ssl方法的局限性。具體來說，本發(fā)明試圖開發(fā)一種穩(wěn)健的方法，以增強(qiáng)模型從標(biāo)記數(shù)據(jù)中學(xué)習(xí)的能力，并在標(biāo)記數(shù)據(jù)與非標(biāo)記數(shù)據(jù)之間存在不完美經(jīng)驗(yàn)匹配的情況下提高其泛化能力。本發(fā)明利用頻域級(jí)(frequency?copy-paste,fcp)的頻率復(fù)制粘貼和圖像級(jí)(image-level?bidirectionalcopy-paste,ibcp)的雙向復(fù)制粘貼來有效彌合已標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的分布差距。此外，本發(fā)明還將知識(shí)提煉和半監(jiān)督學(xué)習(xí)協(xié)同結(jié)合起來，以促進(jìn)更深入的特征學(xué)習(xí)并增強(qiáng)模型的穩(wěn)定性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出一種基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法，該方法提出使用基于頻率復(fù)制粘貼和圖像級(jí)雙向復(fù)制粘貼的方法用于減少標(biāo)記數(shù)據(jù)和非標(biāo)記數(shù)據(jù)的分布差距，引入知識(shí)蒸餾到半監(jiān)督學(xué)習(xí)，提高特征學(xué)習(xí)深度和模型的穩(wěn)定性，有助于醫(yī)學(xué)圖像分割精度的提高，本方法采用的技術(shù)方案包含以下步驟：

2、步驟1：設(shè)計(jì)一個(gè)包含三個(gè)神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)訓(xùn)練框架；

3、步驟2：對(duì)輸入的圖像使用圖像級(jí)雙向復(fù)制粘貼進(jìn)行淺層特征融合；

4、步驟3：在頻率域使用頻率復(fù)制粘貼，通過交換圖像的幅值頻譜整合頻域的數(shù)據(jù)信息；

5、步驟4：引入知識(shí)蒸餾設(shè)計(jì)損失函數(shù)，用于模型訓(xùn)練。

6、本發(fā)明提出的基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法，相對(duì)于傳統(tǒng)半監(jiān)督醫(yī)學(xué)圖像分割方法有以下優(yōu)點(diǎn)：

7、(1)本發(fā)明提出采用傅里葉變換和反傅里葉變換，通過頻率復(fù)制粘貼方法將數(shù)據(jù)增強(qiáng)從傳統(tǒng)的時(shí)域過渡到頻域，從而縮小了已標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)之間的分布差距。

8、(2)本發(fā)明通過在圖像級(jí)雙向復(fù)制粘貼中引入一致性正則化，以減少已標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)之間的經(jīng)驗(yàn)匹配，同時(shí)使用積分距離量化它們的分布差距。此外，本發(fā)明將半監(jiān)督學(xué)習(xí)與知識(shí)蒸餾相結(jié)合，以提高模型提取數(shù)據(jù)特征的能力。

技術(shù)特征：

1.一種基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法，其特征在于，提出使用基于頻率復(fù)制粘貼和圖像級(jí)雙向復(fù)制粘貼的方法用于減少標(biāo)記數(shù)據(jù)和非標(biāo)記數(shù)據(jù)的分布差距，引入知識(shí)蒸餾到半監(jiān)督學(xué)習(xí)，提高特征學(xué)習(xí)深度和模型的穩(wěn)定性，有助于醫(yī)學(xué)圖像分割精度的提高，具體包括以下步驟：

2.如權(quán)利要求1所述的基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法，其特征在于，通過教師網(wǎng)絡(luò)為未標(biāo)記數(shù)據(jù)生成偽標(biāo)簽，學(xué)生網(wǎng)絡(luò)整合標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的融合數(shù)據(jù)，而助教網(wǎng)絡(luò)則整合由頻率復(fù)制粘貼增強(qiáng)的數(shù)據(jù)。

3.如權(quán)利要求1所述的基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法，其特征在于，無標(biāo)簽數(shù)據(jù)使用教師網(wǎng)絡(luò)輸出的偽標(biāo)簽，而有標(biāo)簽的數(shù)據(jù)則保留其原始標(biāo)簽，雙向復(fù)制粘貼操作將同時(shí)應(yīng)用于圖像及其相應(yīng)的標(biāo)簽。

4.如權(quán)利要求1所述的基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法，其特征在于，對(duì)輸入圖像應(yīng)用多維傅里葉轉(zhuǎn)換以獲得它們的頻域表示，然后交換它們一定區(qū)域的幅值頻譜信息。

5.如權(quán)利要求1所述的基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法，其特征在于，將dice與知識(shí)蒸餾相結(jié)合，并對(duì)新增的提煉分支使用以下?lián)p失函數(shù)：

技術(shù)總結(jié)
本發(fā)明公開了一種基于數(shù)據(jù)融合和知識(shí)蒸餾的數(shù)據(jù)分布優(yōu)化方法。包括步驟：設(shè)計(jì)一個(gè)包含三個(gè)神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)訓(xùn)練框架；對(duì)輸入的圖像使用圖像級(jí)雙向復(fù)制粘貼進(jìn)行淺層特征融合；在頻率域使用頻率復(fù)制粘貼，通過交換圖像的幅值頻譜整合頻域的數(shù)據(jù)信息；引入知識(shí)蒸餾設(shè)計(jì)損失函數(shù)，用于模型訓(xùn)練。本發(fā)明有效減小了數(shù)據(jù)之間的分布，大大提高了半監(jiān)督醫(yī)學(xué)分割任務(wù)的精度，在多個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與之前的最好結(jié)果相比，有顯著性能提升。

技術(shù)研發(fā)人員：趙彬,陳煜涵
受保護(hù)的技術(shù)使用者：桂林電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6