本發(fā)明屬于醫(yī)學(xué)圖像處理方法，具體涉及一種低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法。

背景技術(shù)：

1、膠囊內(nèi)鏡實(shí)現(xiàn)了無創(chuàng)式檢查，患者只需吞服像膠囊一樣大小的內(nèi)鏡即可完成全過程檢查，避免了傳統(tǒng)內(nèi)窺鏡檢查的不適感。膠囊內(nèi)鏡能夠全面觀察消化道內(nèi)部，并通過實(shí)時(shí)傳輸圖像數(shù)據(jù)，為醫(yī)生提供及時(shí)準(zhǔn)確的診斷和治療指導(dǎo)，特別是具有舒適性和無損傷性的特點(diǎn)，具有巨大的應(yīng)用價(jià)值。

2、膠囊內(nèi)鏡系統(tǒng)在成像過程中會(huì)產(chǎn)生數(shù)以萬計(jì)的圖像，這些圖像需要通過數(shù)據(jù)傳輸模塊傳輸至服務(wù)端，但是該系統(tǒng)受限于網(wǎng)絡(luò)帶寬，無法在短時(shí)間內(nèi)完成大量數(shù)據(jù)的傳輸，因此，系統(tǒng)會(huì)通過jpeg壓縮算法將大量圖像壓縮后再通過網(wǎng)絡(luò)傳輸，但jpeg壓縮算法是一種有損的壓縮方法，特別是在低壓縮比情況下，壓縮后的膠囊內(nèi)鏡圖像在細(xì)節(jié)以及色彩方面的信息損失較大，在圖像上表現(xiàn)為嚴(yán)重的塊效應(yīng)現(xiàn)象，影響了醫(yī)生對病灶的判斷。

3、近年來，深度學(xué)習(xí)技術(shù)被逐漸引用到壓縮圖像去塊效應(yīng)技術(shù)領(lǐng)域，取得了較好的恢復(fù)效果，但仍然存在著以下問題：一是無法較好恢復(fù)出膠囊內(nèi)鏡圖像中的細(xì)節(jié)信息，且容易引起一定程度的偏色現(xiàn)象；二是相關(guān)的網(wǎng)絡(luò)模型在特征提取上沒有考慮到j(luò)peg壓縮算法同時(shí)對于圖像的色彩和細(xì)節(jié)方面的量化方面的損失。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，解決了現(xiàn)有技術(shù)中存在的塊狀偽影去除不徹底、圖像邊緣模糊、細(xì)節(jié)損失及部分偏色現(xiàn)象等問題。

2、本發(fā)明所采用的技術(shù)方案是，低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，具體按照以下步驟實(shí)施：

3、步驟1、構(gòu)建膠囊內(nèi)鏡壓縮圖像去塊效應(yīng)所用的數(shù)據(jù)集；

4、步驟2、構(gòu)建膠囊內(nèi)鏡去塊效應(yīng)網(wǎng)絡(luò)模型，其包括由編解碼器和坐標(biāo)注意力模塊組成的主干網(wǎng)絡(luò)及由質(zhì)量因子預(yù)測器和靈活控制器組成的輔助分支網(wǎng)絡(luò)，并引入質(zhì)量因子作為先驗(yàn)信息引導(dǎo)膠囊內(nèi)鏡去塊效應(yīng)網(wǎng)絡(luò)模型對壓縮的膠囊內(nèi)鏡圖像進(jìn)行恢復(fù)，達(dá)到去塊效應(yīng)的目的；

5、步驟3、構(gòu)建損失函數(shù)；

6、步驟4、利用步驟1的數(shù)據(jù)集和步驟3的損失函數(shù)對步驟2構(gòu)建的去塊效應(yīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

7、步驟5、對于待去除塊效應(yīng)的膠囊內(nèi)鏡壓縮圖像，將其輸入到步驟4訓(xùn)練好的去塊效應(yīng)網(wǎng)絡(luò)模型，即可輸出去除塊效應(yīng)后的膠囊內(nèi)鏡恢復(fù)圖像。

8、本發(fā)明的特點(diǎn)還在于：

9、步驟1具體為：

10、采集不同器官的膠囊內(nèi)鏡圖像，并利用深度學(xué)習(xí)網(wǎng)絡(luò)去除無效的膠囊內(nèi)鏡圖像，然后將有效的膠囊內(nèi)鏡圖像進(jìn)行隨機(jī)裁剪并通過jpeg壓縮算法進(jìn)行壓縮，獲得壓縮后的膠囊內(nèi)鏡圖像，從而構(gòu)建出膠囊內(nèi)鏡壓縮圖像去塊效應(yīng)所用的數(shù)據(jù)集。

11、步驟1具體按照以下步驟實(shí)施：

12、步驟1.1、采集不同器官的膠囊內(nèi)鏡圖像，然后從采集的圖像中隨機(jī)選取部分圖像，并通過人工的方式標(biāo)注為可以用于醫(yī)學(xué)分析的有效圖像和無法用于醫(yī)學(xué)分析的無效圖像兩類，形成膠囊內(nèi)鏡圖像分類數(shù)據(jù)集；

13、步驟1.2、建立一個(gè)膠囊內(nèi)鏡圖像分類網(wǎng)絡(luò)，包括4個(gè)卷積層和4個(gè)全連接層，并用步驟1.1形成的膠囊內(nèi)鏡圖像分類數(shù)據(jù)集訓(xùn)練該網(wǎng)絡(luò)；

14、步驟1.3、用步驟1.2建立的圖像分類網(wǎng)絡(luò)對采集的膠囊內(nèi)鏡圖像進(jìn)行分類，根據(jù)分類結(jié)果去除無法用于醫(yī)學(xué)分析的膠囊內(nèi)鏡無效圖像；

15、步驟1.4、對于可以用于醫(yī)學(xué)分析的膠囊內(nèi)鏡有效圖像，使用隨機(jī)數(shù)生成算法確定隨機(jī)裁剪區(qū)域的位置，然后根據(jù)選擇的裁剪區(qū)域尺寸和位置，從原始圖像中裁剪出對應(yīng)的圖像塊作為未壓縮的膠囊內(nèi)鏡圖像數(shù)據(jù)集，使用jpeg壓縮算法對其進(jìn)行壓縮，獲得壓縮后的膠囊內(nèi)鏡圖像，從而構(gòu)建出膠囊內(nèi)鏡壓縮圖像去塊效應(yīng)所用的數(shù)據(jù)集。

16、步驟2由編解碼器和坐標(biāo)注意力模塊組成的主干網(wǎng)絡(luò)中，編碼器用以提取深層特征并將潛在的質(zhì)量因子從輸入的壓縮圖像中解耦，編碼器包括4個(gè)不同尺度的特征提取層，各尺度的通道數(shù)分別為64、128、256、512，每個(gè)尺度都使用了4個(gè)殘差塊，每個(gè)殘差塊包含兩個(gè)3×3的卷積層，這兩個(gè)卷積層之間使用了relu激活函數(shù)，每個(gè)尺度都分別通過跳躍連接與解碼器相連；坐標(biāo)注意力模塊位于編碼器與解碼器之間；解碼器的輸入為注意力模塊的輸出特征圖和靈活控制器輸出的嵌入因子γ和β，其輸出為恢復(fù)圖像，解碼器由3個(gè)空間特征變換塊組成，每個(gè)塊包括一個(gè)卷積層、一個(gè)relu函數(shù)激活層、再一個(gè)卷積層及由嵌入因子γ和β組成的仿射變換層，以對輸入特征進(jìn)行自適應(yīng)的調(diào)節(jié)。

17、步驟2中，質(zhì)量因子預(yù)測器的輸入為解碼器最后一個(gè)尺度輸出的深層特征，通過一個(gè)3層的感知機(jī)，預(yù)測出壓縮圖像的質(zhì)量因子，作為監(jiān)督信息。

18、步驟2中，靈活控制器的輸入為質(zhì)量因子預(yù)測器預(yù)測的質(zhì)量因子，然后通過一個(gè)4層的感知機(jī)，學(xué)習(xí)嵌入因子γ和β。

19、步驟3中的損失函數(shù)由恢復(fù)圖像、未壓縮圖像及質(zhì)量因子組成，即：

20、

21、其中，irec表示膠囊內(nèi)鏡去塊效應(yīng)網(wǎng)絡(luò)輸出的恢復(fù)圖像，igt表示對應(yīng)的未壓縮的膠囊內(nèi)鏡圖像，qfest表示質(zhì)量因子預(yù)測器輸出的值，qfgt表示壓縮時(shí)的質(zhì)量因子，n表示批樣本的數(shù)量。

22、本發(fā)明的有益效果是：

23、本發(fā)明方法首先通過分類網(wǎng)絡(luò)對采集好的膠囊內(nèi)鏡圖像進(jìn)行無效圖像剔除；然后將有效的膠囊內(nèi)鏡圖像進(jìn)行隨機(jī)裁剪并通過jpeg壓縮算法進(jìn)行壓縮，構(gòu)建出膠囊內(nèi)鏡圖像去塊效應(yīng)數(shù)據(jù)集；進(jìn)一步設(shè)計(jì)質(zhì)量因子先驗(yàn)引導(dǎo)的并結(jié)合空間特征變換的膠囊內(nèi)鏡圖像去塊效應(yīng)網(wǎng)絡(luò)模型，并對該網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；最后，應(yīng)用訓(xùn)練好的膠囊內(nèi)鏡去塊效應(yīng)網(wǎng)絡(luò)模型，對輸入的jpeg壓縮的膠囊內(nèi)鏡圖像進(jìn)行塊效應(yīng)去除，得到恢復(fù)后的圖像。本發(fā)明方法根據(jù)jpeg壓縮圖像編解碼過程中對于圖像顏色信息以及細(xì)節(jié)信息量化的特點(diǎn)，有針對性地設(shè)計(jì)了網(wǎng)絡(luò)結(jié)構(gòu)用于低壓縮比的膠囊內(nèi)鏡圖像恢復(fù)，在網(wǎng)絡(luò)結(jié)構(gòu)中引入了質(zhì)量因子作為先驗(yàn)信息，通過嵌入因子并結(jié)合空間特征變換對特征進(jìn)行了優(yōu)化，使得恢復(fù)出的圖像塊狀偽影和偏色得到了消除并且邊緣細(xì)節(jié)清晰。

技術(shù)特征：

1.低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，其特征在于，具體按照以下步驟實(shí)施：

2.根據(jù)權(quán)利要求1所述的低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，其特征在于，步驟1具體為：

3.根據(jù)權(quán)利要求2所述的低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，其特征在于，步驟1具體按照以下步驟實(shí)施：

4.根據(jù)權(quán)利要求1所述的低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，其特征在于，步驟2由編解碼器和坐標(biāo)注意力模塊組成的主干網(wǎng)絡(luò)中，編碼器用以提取深層特征并將潛在的質(zhì)量因子從輸入的壓縮圖像中解耦，編碼器包括4個(gè)不同尺度的特征提取層，各尺度的通道數(shù)分別為64、128、256、512，每個(gè)尺度都使用了4個(gè)殘差塊，每個(gè)殘差塊包含兩個(gè)3×3的卷積層，這兩個(gè)卷積層之間使用了relu激活函數(shù)，每個(gè)尺度都分別通過跳躍連接與解碼器相連；坐標(biāo)注意力模塊位于編碼器與解碼器之間；解碼器的輸入為注意力模塊的輸出特征圖和靈活控制器輸出的嵌入因子γ和β，其輸出為恢復(fù)圖像，解碼器由3個(gè)空間特征變換塊組成，每個(gè)塊包括一個(gè)卷積層、一個(gè)relu函數(shù)激活層、再一個(gè)卷積層及由嵌入因子γ和β組成的仿射變換層，以對輸入特征進(jìn)行自適應(yīng)的調(diào)節(jié)。

5.根據(jù)權(quán)利要求4所述的低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，其特征在于，步驟2中，所述質(zhì)量因子預(yù)測器的輸入為解碼器最后一個(gè)尺度輸出的深層特征，通過一個(gè)3層的感知機(jī)，預(yù)測出壓縮圖像的質(zhì)量因子，作為監(jiān)督信息。

6.根據(jù)權(quán)利要求5所述的低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，其特征在于，步驟2中，所述靈活控制器的輸入為質(zhì)量因子預(yù)測器預(yù)測的質(zhì)量因子，然后通過一個(gè)4層的感知機(jī)，學(xué)習(xí)嵌入因子γ和β。

7.根據(jù)權(quán)利要求1所述的低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，其特征在于，步驟3中的損失函數(shù)由恢復(fù)圖像、未壓縮圖像及質(zhì)量因子組成，即：

技術(shù)總結(jié)
本發(fā)明公開了低壓縮比膠囊內(nèi)鏡圖像的去塊效應(yīng)方法，包括：構(gòu)建膠囊內(nèi)鏡壓縮圖像去塊效應(yīng)所用的數(shù)據(jù)集；構(gòu)建膠囊內(nèi)鏡去塊效應(yīng)網(wǎng)絡(luò)模型，其包括由編解碼器和坐標(biāo)注意力模塊組成的主干網(wǎng)絡(luò)及由質(zhì)量因子預(yù)測器和靈活控制器組成的輔助分支網(wǎng)絡(luò)，并引入質(zhì)量因子作為先驗(yàn)信息引導(dǎo)膠囊內(nèi)鏡去塊效應(yīng)網(wǎng)絡(luò)模型對壓縮的膠囊內(nèi)鏡圖像進(jìn)行恢復(fù)，達(dá)到去塊效應(yīng)的目的；構(gòu)建損失函數(shù)；利用數(shù)據(jù)集和損失函數(shù)對構(gòu)建的去塊效應(yīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；對于待去除塊效應(yīng)的膠囊內(nèi)鏡壓縮圖像，將其輸入到訓(xùn)練好的去塊效應(yīng)網(wǎng)絡(luò)模型，即可輸出去除塊效應(yīng)后的恢復(fù)圖像。本發(fā)明方法解決了現(xiàn)有技術(shù)中存在的塊狀偽影去除不徹底、圖像邊緣模糊、細(xì)節(jié)損失及部分偏色現(xiàn)象等問題。

技術(shù)研發(fā)人員：張二虎,陳亮,段敬紅
受保護(hù)的技術(shù)使用者：西安理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23