本發(fā)明屬于醫(yī)學(xué)圖像以及計(jì)算機(jī)視覺(jué)技術(shù)，具體涉及一種基于泊松流生成模型的ct圖像質(zhì)量評(píng)估方法。

背景技術(shù)：

1、計(jì)算機(jī)斷層掃描(ct)是最常用的醫(yī)學(xué)成像技術(shù)之一，在醫(yī)生的診斷過(guò)程中起著不可或缺的作用。然而，ct掃描期間的高劑量輻射會(huì)對(duì)患者的身體造成一定的損害，具有較大的健康風(fēng)險(xiǎn)。因此，以較低的輻射劑量進(jìn)行成像已成為降低輻射暴露風(fēng)險(xiǎn)的重要技術(shù)。然而，低劑量ct輻射減少的同時(shí)也會(huì)降低圖像質(zhì)量，圖像中含有噪聲和偽影等因素，這可能會(huì)干擾醫(yī)生的準(zhǔn)確診斷，還會(huì)影響后續(xù)的圖像處理任務(wù)，例如圖像分割、恢復(fù)和增強(qiáng)。因此，推進(jìn)精確的圖像質(zhì)量評(píng)估(iqa)方法對(duì)于優(yōu)化ct掃描的輻射劑量、確?；颊甙踩驮\斷結(jié)果的可靠性至關(guān)重要。

2、對(duì)于給定的圖像，iqa的目標(biāo)是使用圖像質(zhì)量評(píng)估算法預(yù)測(cè)盡可能接近人類平均主觀評(píng)分(mos)的分?jǐn)?shù)。根據(jù)是否需要參考圖像，iqa可以分為完全參考圖像質(zhì)量評(píng)估、部分參考圖像質(zhì)量評(píng)估和無(wú)參考圖像質(zhì)量評(píng)估。完全參考圖像質(zhì)量評(píng)估使用來(lái)自參考圖像和失真圖像的信息來(lái)計(jì)算質(zhì)量分?jǐn)?shù)，而部分參考圖像質(zhì)量評(píng)估使用失真圖像信息和部分參考圖像信息來(lái)計(jì)算質(zhì)量分?jǐn)?shù)。由于依賴參考圖像來(lái)計(jì)算圖像質(zhì)量分?jǐn)?shù)，完全參考和部分參考圖像質(zhì)量評(píng)估表現(xiàn)出良好的性能。因此，峰值信噪比(psnr)和結(jié)構(gòu)相似性指數(shù)度量(ssim)被廣泛用作圖像質(zhì)量的標(biāo)準(zhǔn)評(píng)估指標(biāo)，因?yàn)樗鼈兙哂杏?jì)算效率高并且與人類視覺(jué)對(duì)傳統(tǒng)失真類型(如模糊、壓縮和高斯噪聲)的感知具有很強(qiáng)的相關(guān)性。然而，在現(xiàn)實(shí)場(chǎng)景中，參考圖像通常不可用，從而限制了這些方法在實(shí)際情況中的適用性。這個(gè)問(wèn)題在醫(yī)學(xué)領(lǐng)域尤其適用，因?yàn)楂@取高質(zhì)量的參考圖像可能會(huì)對(duì)患者產(chǎn)生不利影響。因此，無(wú)參考圖像質(zhì)量評(píng)估方法不需要參考圖像來(lái)計(jì)算圖像分?jǐn)?shù)，更適合實(shí)際應(yīng)用，值得進(jìn)一步開發(fā)。

3、傳統(tǒng)的無(wú)參考圖像質(zhì)量評(píng)估(nr-iqa)方法主要依賴于手工特征的提取，通過(guò)模擬人類視覺(jué)系統(tǒng)的感知特性來(lái)評(píng)估圖像質(zhì)量。對(duì)圖像進(jìn)行預(yù)處理后，從圖像中提取各種手工特征，包括統(tǒng)計(jì)特征(如均值、方差)、紋理特征(如gabor濾波器)、邊緣特征(如sobel算子)、結(jié)構(gòu)特征(如局部二值模式)，以及頻域特征(如傅里葉變換)。這些特征通過(guò)不同的方法融合，提取特征的統(tǒng)計(jì)分布。最后，設(shè)計(jì)一個(gè)映射函數(shù)，如支持向量回歸，對(duì)輸入圖像的質(zhì)量進(jìn)行預(yù)測(cè)。然而，由于圖像內(nèi)容和失真模式的復(fù)雜性，手工特征的表示能力往往不令人滿意。

4、最近，卷積神經(jīng)網(wǎng)絡(luò)(cnn)因其強(qiáng)大的功能而在nr-iqa任務(wù)中引起了廣泛關(guān)注，hyper-iqa將特征分為低級(jí)和高級(jí)類別，然后對(duì)后者進(jìn)行轉(zhuǎn)換以重塑前者的影響力。sahn開發(fā)了一種自適應(yīng)超級(jí)網(wǎng)絡(luò)來(lái)聚合局部失真特征和全局語(yǔ)義特征。meta-iqa提出了一種用于iqa的元學(xué)習(xí)框架，以提高對(duì)未知的圖像失真的泛化能力。還有一些方法在cnn基礎(chǔ)上加入注意力機(jī)制，豐富局部細(xì)粒度細(xì)節(jié)和多尺度全局語(yǔ)義信息。maniqa提出了用于無(wú)參考圖像質(zhì)量評(píng)估的多維注意力網(wǎng)絡(luò)。musiq提出了一種多尺度圖像質(zhì)量transformer，利用transformer架構(gòu)解決不同尺寸和長(zhǎng)寬比圖像的問(wèn)題。

5、與此同時(shí)，也有不少研究者在醫(yī)學(xué)圖像質(zhì)量評(píng)價(jià)領(lǐng)域展開探索。由于醫(yī)學(xué)成像的特點(diǎn)不同，針對(duì)特定的成像模式，存在許多不同的方法。其中包括mri、超聲成像、x射線等醫(yī)學(xué)圖像類型。在ct圖像質(zhì)量評(píng)價(jià)領(lǐng)域也有很多研究。ssiqa通過(guò)聯(lián)合學(xué)習(xí)噪聲水平估計(jì)和圖像質(zhì)量量化提出了一種用于ct圖像的無(wú)參考iqa模型。md-iqa引入了半監(jiān)督學(xué)習(xí)，并使用未標(biāo)記數(shù)據(jù)的偽標(biāo)簽來(lái)指導(dǎo)模型訓(xùn)練。kfkt-iqa使用類似任務(wù)的自然圖像進(jìn)行遷移學(xué)習(xí)。還有一些方法使用基于任務(wù)的iqa模型來(lái)檢測(cè)具有簡(jiǎn)單幾何形狀的虛擬插入物體并計(jì)算ct圖像的定量質(zhì)量。

6、然而，參考信息的缺乏帶來(lái)了挑戰(zhàn)，使得這些方法相較于fr-iqa始終存在瓶頸，并可能對(duì)其整體性能產(chǎn)生不利影響。因此，一些最近的方法采用基于重建的策略從原始圖像中學(xué)習(xí)質(zhì)量感知特征。在這種背景下，提出了基于生成對(duì)抗網(wǎng)絡(luò)(gan)的框架。例如，lin等人開發(fā)了一種質(zhì)量感知gan來(lái)生成以扭曲圖像為條件的幻覺(jué)參考。類似地，ma等人提出生成扭曲圖像的主要內(nèi)容。另一項(xiàng)研究中，ren等人提出了一種恢復(fù)性對(duì)抗網(wǎng)絡(luò)來(lái)重建輸入的扭曲圖像。最近，d-biqa提出使用條件去噪擴(kuò)散模型來(lái)生成低質(zhì)量圖像的主要內(nèi)容。但這些方法的生成模型比較適合自然圖像中的一些質(zhì)量下降問(wèn)題，對(duì)于ct圖像不太適用，因?yàn)閏t圖像中的噪聲一般都是服從泊松噪聲的量子噪聲，即光子的隨機(jī)漲落會(huì)造成圖像中出現(xiàn)顆粒狀的噪聲。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明的目的在于解決現(xiàn)有技術(shù)中存在的不足，提供一種基于泊松流生成模型的ct圖像質(zhì)量評(píng)估方法，通過(guò)偽參考圖像生成模塊ppfm生成偽參考圖像，以彌補(bǔ)參考圖像的缺失并幫助隨后的得分回歸模型捕獲詳細(xì)的特征，分層特征融合回歸模塊將上層特征與下層特征逐層融合在一起，以便充分利用不同尺度的特征，同時(shí)，最后一層提取特征依次傳遞到vit(vision?transformer模塊)中，將獲得的全局特征與局部特征融合在一起，以預(yù)測(cè)最終的圖像質(zhì)量。

2、技術(shù)方案：本發(fā)明的一種基于泊松流生成模型的ct圖像質(zhì)量評(píng)估方法，包括以下步驟：

3、步驟1、構(gòu)建圖像質(zhì)量評(píng)估網(wǎng)絡(luò)，所述圖像質(zhì)量評(píng)估網(wǎng)絡(luò)包括偽參考圖像生成模塊ppfm和分層特征融合回歸模塊；具體內(nèi)容如下：

4、步驟1.1、偽參考圖像生成模塊ppfm基于泊松流生成模型，將原始低劑量ct圖像id輸入偽參考圖像生成模塊ppfm，去噪處理后得到偽參考圖像gθ(id)；

5、步驟1.2、將原始低劑量ct圖像id和對(duì)應(yīng)的差異圖ie和不相似圖idis進(jìn)行融合，得到三通道圖像h和w分別表示該圖像的高度和寬度；

6、步驟1.3、將三通道圖像e輸入分層特征融合回歸模塊，分層特征融合回歸模塊包括梯形結(jié)構(gòu)的cnn網(wǎng)絡(luò)，梯形結(jié)構(gòu)的cnn網(wǎng)絡(luò)一共設(shè)置n層，每一層中都設(shè)置對(duì)應(yīng)數(shù)量的瓶頸塊，cnn網(wǎng)絡(luò)中最后一層的每個(gè)瓶頸塊后面都加入vision?transformer模塊；

7、三通道圖像e進(jìn)入cnn網(wǎng)絡(luò)后，第i層提取所得特征圖fi通過(guò)瓶頸塊進(jìn)行特征對(duì)齊，得到對(duì)齊特征圖對(duì)齊特征圖與下一層的特征圖fi+1再通過(guò)瓶頸塊進(jìn)行融合對(duì)齊，將前n-1層的各個(gè)對(duì)齊特征通過(guò)vision?transformer模塊處理，所得特征將cnn網(wǎng)絡(luò)最后一層提取的特征圖fn與特征進(jìn)行融合得到特征f，特征f經(jīng)過(guò)池化層得到預(yù)測(cè)質(zhì)量分?jǐn)?shù)；

8、步驟2、構(gòu)建損失函數(shù)ltotal優(yōu)化圖像質(zhì)量評(píng)估網(wǎng)絡(luò)，損失函數(shù)ltotal包括mse損失lquality和圖像相對(duì)排名損失lrelative。

9、進(jìn)一步地，所述差異圖ie和不相似圖idis的計(jì)算方式如下：

10、ie＝|id-gθ(id)|

11、idis＝(1-ssim(id,gθ(id)))

12、上式中θ為網(wǎng)絡(luò)參數(shù)，ssim()是結(jié)構(gòu)相似性度量函數(shù)，此處通過(guò)ssim()來(lái)衡量?jī)蓚€(gè)圖像相似性。

13、由于每一層cnn網(wǎng)絡(luò)的通道數(shù)和維度各不相同，為將各層提取的特征整合到最終的特征表示中，設(shè)置由三次卷積操作組成的瓶頸塊，瓶頸塊依次包括1×1卷積層、3×3卷積層和1×1卷積層，對(duì)齊特征的計(jì)算公式如下：

14、

15、其中，w1×1和w3×3分別表示1×1和3×3卷積層的權(quán)重矩陣；至此特征圖fi的通道數(shù)和分辨率被調(diào)整到合適的水平；

16、cnn網(wǎng)絡(luò)中第i層的瓶頸塊數(shù)量為i；

17、特征f的計(jì)算公式如下：

18、

19、進(jìn)一步地，損失函數(shù)ltotal的計(jì)算公式如下：

20、ltotal＝lquality+lrelative

21、其中mse損失計(jì)算如下：

22、

23、上式中，b表示每個(gè)批次圖像的總數(shù)，sk和分別表示第k張圖像的真實(shí)質(zhì)量分?jǐn)?shù)(主觀質(zhì)量分?jǐn)?shù))和預(yù)測(cè)質(zhì)量分?jǐn)?shù)；

24、其中圖像相對(duì)排名損失計(jì)算如下：

25、lrelative＝ltriplet(qmax,q′max,qmin)+lrriplet(qmin,q′min,qmax)

26、＝max{0,d(q′max,qmax)-d(qmax,qmin)+margin1}+max{0,d(q′min,qmin)-d(qmax,qmin)+margin2}

27、每個(gè)批次內(nèi)的ct圖像中，qmax,q′max,qmin,q′min分別表示主觀質(zhì)量分?jǐn)?shù)最高、次高、最低、次低的圖像的預(yù)測(cè)質(zhì)量分?jǐn)?shù)；

28、表示與預(yù)測(cè)質(zhì)量分?jǐn)?shù)為qmax的圖像相對(duì)應(yīng)的主觀質(zhì)量分?jǐn)?shù)，其余圖像的表示規(guī)則類似；

29、設(shè)置以及

30、有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

31、(1)、本發(fā)明基于泊松流生成模型生成相應(yīng)的偽參考圖像，偽參考圖像與真實(shí)參考圖像之間的差距越小，質(zhì)量回歸網(wǎng)絡(luò)的判斷就越準(zhǔn)確；這有助于隨后的分?jǐn)?shù)回歸模型捕獲詳細(xì)的特征；

32、(2)、本發(fā)明的分層特征融合回歸網(wǎng)絡(luò)包含vit和cnn模塊，以將全局特征與局部特征融合在一起，以預(yù)測(cè)最終的圖像質(zhì)量。cnn模塊整體呈梯形結(jié)構(gòu)，分層整合從中間層提取的特征，使模型能夠充分利用從低層到高層的視覺(jué)信息特征；

33、(3)、由于ct圖像中的偽影是呈輻射狀的，因此本發(fā)明在cnn特征提取的最后一層之后加入vision?transformer，以將獲取到的全局特征與局部特征進(jìn)行融合；

34、(4)、本發(fā)明引入相對(duì)排名損失來(lái)構(gòu)建總的損失函數(shù)，以充分利用數(shù)據(jù)之間的相對(duì)關(guān)系。