本發(fā)明涉及x光圖像處理,尤其涉及一種基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法。
背景技術(shù):
1、在x光圖像中,圖像邊緣的清晰度除了受到被照物本身對(duì)x光能量的吸收影響外,還受光管焦斑與噪聲的影響。光管的焦斑越小,邊緣的過渡區(qū)域越小,邊緣梯度就越大,反之則過渡區(qū)域越大,邊緣梯度越小,但光管焦斑越小,價(jià)格越高。同時(shí)噪聲影響圖像的信噪比,隨著噪聲的增多,圖像的信噪比越低,圖像的質(zhì)量就越差,不利于后續(xù)的人眼觀測(cè)與圖像處理。
2、如圖1所示為拍攝一幀的電芯x光圖像,圖2所示為拍攝八幀進(jìn)行疊加后的電芯x光圖像,圖3所示為使用光管大焦斑拍攝的疊加八幀后的電芯x光圖像。對(duì)比圖1與圖2,可以明顯看出x光噪聲對(duì)圖像質(zhì)量的影響,圖1明顯具有較低的信噪比,而對(duì)比圖2與圖3,可以看出光管焦斑影響圖像邊緣的清晰度。
3、目前x光圖像需要經(jīng)過圖像預(yù)處理增強(qiáng),以便達(dá)到較好的圖像效果。針對(duì)x光圖像,圖像處理過程為降噪與銳化,針對(duì)降噪,常用的圖像處理方法有高斯濾波、中值濾波,均值濾波等一系列傳統(tǒng)圖像處理方法。對(duì)于圖像銳化,常用的圖像處理方法有反銳化掩膜,基于各類卷積核的圖像卷積銳化方法等,但上述這些算法常常需要根據(jù)實(shí)際的圖像質(zhì)量,調(diào)整相關(guān)參數(shù),具有一定的局限性。
4、此外,專利文獻(xiàn)cn111507918a公布了一種基于深度學(xué)習(xí)技術(shù)的醫(yī)學(xué)x光圖像增強(qiáng)方法,該方法使用vgg16網(wǎng)絡(luò)與denseunet網(wǎng)絡(luò)構(gòu)建了一個(gè)圖像增強(qiáng)網(wǎng)絡(luò),使用vgg16網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行特征提取,然后使用denseunet網(wǎng)絡(luò)用于多尺度的特征融合,最后輸出增強(qiáng)結(jié)果圖。但該方法需要大量的圖像對(duì)進(jìn)行模型訓(xùn)練,針對(duì)x光的高清晰圖像往往難以獲取,同時(shí)方法所采用的decode-encode網(wǎng)絡(luò)結(jié)構(gòu)在進(jìn)行圖像分辨率恢復(fù)時(shí),可能會(huì)丟失圖像細(xì)節(jié)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的是提供一種基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,通過建立x光成像反演增強(qiáng)模型,可以有效性地對(duì)圖像進(jìn)行降噪處理,并對(duì)圖像進(jìn)行銳化,具有較好的魯棒性與通用性。
2、為實(shí)現(xiàn)上述目的,采用以下技術(shù)方案:
3、一種基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,包括如下步驟:
4、s1:構(gòu)建光管焦斑-圖像效果模型;
5、s2:構(gòu)建噪聲-圖像效果模型;
6、s3:基于構(gòu)建的光管焦斑-圖像效果模型、噪聲-圖像效果模型對(duì)x光圖像集進(jìn)行退化,得到退化后的x光圖像集;
7、s4:構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的x光成像反演模型,并使用退化前的x光圖像與退化后的x光圖像作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù),對(duì)x光成像反演模型進(jìn)行訓(xùn)練;
8、s5:基于訓(xùn)練后的x光成像反演模型,對(duì)待處理的x光圖像進(jìn)行反演增強(qiáng)。
9、進(jìn)一步的,所述s1具體包括以下步驟:
10、s11:生成隨機(jī)的高斯核,其中,高斯核的尺寸為(2k+1)×(2k+1),針對(duì)高斯核的每個(gè)元素,其計(jì)算公式如下:
11、其中,i和j表示核矩陣的索引,δ為標(biāo)準(zhǔn)差;
12、s12:歸一化高斯核,其中,對(duì)高斯核進(jìn)行歸一化的公式為:
13、
14、s13:基于高斯核對(duì)x光圖像進(jìn)行高斯模糊,以模擬不同光管焦斑對(duì)x光圖像清晰度的影響。
15、進(jìn)一步的,所述s13中,對(duì)x光圖像進(jìn)行高斯模糊的計(jì)算公式如下:
16、其中,i為原圖,iblur為高斯模糊后的圖像,x與y為圖像的坐標(biāo)值,i和j表示核矩陣的索引;同時(shí),所述光管焦斑-圖像效果模型可以用下式進(jìn)行描述:
17、iblur=fspot(i,δ,k),其中,δ為標(biāo)準(zhǔn)差,k為核半徑。
18、進(jìn)一步的,所述s2具體包括如下步驟:
19、s21:使用泊松噪聲模擬量子噪聲,其中,泊松分布的概率質(zhì)量函數(shù)如下:
20、其中,x是觀察到的光子計(jì)數(shù),λ是光子計(jì)數(shù)的期望值;
21、s22:將泊松噪聲疊加到x光圖像中。
22、進(jìn)一步的,所述s22中,還需對(duì)疊加泊松噪聲后的圖像的像素灰度值進(jìn)行限制,具體公式為:
23、其中,id為疊加泊松噪聲后的圖像,同時(shí),噪聲-圖像效果模型可以用下式進(jìn)行描述:id=fnoise(i,λ)。
24、進(jìn)一步的,所述s3具體包括如下步驟:
25、s31:基于光管焦斑-圖像效果模型,隨機(jī)選取合適的高斯函數(shù)的標(biāo)準(zhǔn)差σ與高斯模糊的核半徑k,模擬光管焦斑尺寸對(duì)x光圖像進(jìn)行模糊退化;
26、s32:針對(duì)模糊退化后的圖像,使用噪聲-圖像效果模型,對(duì)圖像添加量子噪聲。
27、進(jìn)一步的,所述s4中,在構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的x光成像反演模型時(shí),需要基于esrgan超分網(wǎng)絡(luò),將其中的生成網(wǎng)絡(luò)替換成rdn網(wǎng)絡(luò),以使網(wǎng)絡(luò)適用于當(dāng)前場(chǎng)景。
28、進(jìn)一步的,所述s4中,x光成像反演模型的訓(xùn)練數(shù)據(jù)的構(gòu)建具體包括如下步驟:
29、使用div2k與flickr2k公開的數(shù)據(jù)集作為模型的圖像數(shù)據(jù)集drgb;
30、將圖像數(shù)據(jù)集drgb轉(zhuǎn)換為灰度圖像數(shù)據(jù)集ds;
31、對(duì)灰度圖像數(shù)據(jù)集ds進(jìn)行成像退化,得到退化后的圖像數(shù)據(jù)集dd,其可以用下式進(jìn)行描述:
32、dd(i)=fnoise(fspot(ds(i),δ′,k′),λ′),其中,ds(i)為灰度圖像數(shù)據(jù)集中的第i張圖像;dd(i)為退化圖像數(shù)據(jù)集中的第i張圖像;δ′為隨機(jī)賦值的高斯核標(biāo)準(zhǔn)差,取值范圍為[0.2,3];k′為隨機(jī)賦值的高斯核半徑,取值范圍為[5,25];λ′為隨機(jī)賦值的泊松噪聲參數(shù),取值范圍為[0.1,3]。
33、進(jìn)一步的,在訓(xùn)練所述x光成像反演模型時(shí),將退化后的圖像數(shù)據(jù)集dd作為成像反演模型的輸入,將灰度圖像數(shù)據(jù)集ds作為成像反演模型的目標(biāo)輸出;同時(shí),采用隨機(jī)梯度下降優(yōu)化器,設(shè)置學(xué)習(xí)率為0.001,動(dòng)量參數(shù)為0.9,epoch設(shè)置為2000。
34、采用上述方案,本發(fā)明的有益效果是:
35、本方法從x光成像原理出發(fā),構(gòu)建x光圖像退化模型,建立基于卷積神經(jīng)網(wǎng)絡(luò)的x光成像反演模型以對(duì)圖像進(jìn)行增強(qiáng),相比于傳統(tǒng)圖像增強(qiáng)算法,本方法對(duì)x光圖像具有更好的魯棒性,且增強(qiáng)效果明顯優(yōu)于傳統(tǒng)圖像增強(qiáng)算法,此外,本方法除了對(duì)2d的x光圖像具有較好的增強(qiáng)效果,對(duì)ct的切片圖像也有較好的增強(qiáng)效果,通用性強(qiáng)。
1.一種基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,包括如下步驟:
2.根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,所述s1具體包括以下步驟:
3.根據(jù)權(quán)利要求2所述的基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,所述s13中,對(duì)x光圖像進(jìn)行高斯模糊的計(jì)算公式如下:
4.根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,所述s2具體包括如下步驟:
5.根據(jù)權(quán)利要求4所述的基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,所述s22中,還需對(duì)疊加泊松噪聲后的圖像的像素灰度值進(jìn)行限制,具體公式為:其中,id為疊加泊松噪聲后的圖像,同時(shí),噪聲-圖像效果模型可以用下式進(jìn)行描述:id=fnoise(i,λ)。
6.根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,所述s3具體包括如下步驟:
7.根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,所述s4中,在構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的x光成像反演模型時(shí),需要基于esrgan超分網(wǎng)絡(luò),將其中的生成網(wǎng)絡(luò)替換成rdn網(wǎng)絡(luò),以使網(wǎng)絡(luò)適用于當(dāng)前場(chǎng)景。
8.根據(jù)權(quán)利要求7所述的基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,所述s4中,x光成像反演模型的訓(xùn)練數(shù)據(jù)的構(gòu)建具體包括如下步驟:
9.根據(jù)權(quán)利要求8所述的基于深度神經(jīng)網(wǎng)絡(luò)的x光圖像反演增強(qiáng)方法,其特征在于,在訓(xùn)練所述x光成像反演模型時(shí),將退化后的圖像數(shù)據(jù)集dd作為成像反演模型的輸入,將灰度圖像數(shù)據(jù)集ds作為成像反演模型的目標(biāo)輸出;同時(shí),采用隨機(jī)梯度下降優(yōu)化器,設(shè)置學(xué)習(xí)率為0.001,動(dòng)量參數(shù)為0.9,epoch設(shè)置為2000。