本發(fā)明屬于計算機視覺領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的醫(yī)學(xué)角膜圖像采集與增強方法。

背景技術(shù)：

1、在現(xiàn)代醫(yī)學(xué)影像場景中，角膜共焦顯微鏡(confocal?corneal?microscopy,ccm)作為一種高精度的影像設(shè)備被廣泛應(yīng)用于眼科領(lǐng)域，尤其是角膜疾病的診斷和研究。ccm能夠以微米級的分辨率捕捉角膜細(xì)胞、神經(jīng)纖維和其他微觀結(jié)構(gòu)，為醫(yī)生提供詳盡的角膜微觀圖像，從而有助于早期發(fā)現(xiàn)和評估諸如角膜神經(jīng)病變、干眼癥、糖尿病視網(wǎng)膜病變等疾病。

2、然而，盡管ccm在眼科診斷中發(fā)揮了重要作用，但在實際應(yīng)用中其采集的圖像質(zhì)量參差不齊，主要面臨以下幾個主要問題：①噪聲干擾：噪聲干擾降低了ccm圖像的清晰度，使病變區(qū)域難以準(zhǔn)確識別；②對比度不足：低對比度使得ccm圖像中重要的細(xì)微結(jié)構(gòu)難以區(qū)分，影響診斷的準(zhǔn)確性；③偽影影響：偽影產(chǎn)生虛假信號，可能誤導(dǎo)醫(yī)生判斷并導(dǎo)致誤診。這些圖像質(zhì)量問題不僅降低了圖像的視覺效果，還直接影響到醫(yī)生對疾病的識別與診斷。為了提高ccm圖像的可用性，現(xiàn)存技術(shù)試圖通過去噪、增強對比度、消除偽影等手段來改善圖像質(zhì)量，主要包括傳統(tǒng)圖像處理方法以及基于機器學(xué)習(xí)的圖像增強方法。

3、傳統(tǒng)圖像處理方法：如高斯濾波、中值濾波、直方圖均衡化和拉普拉斯增強等技術(shù)，通常用于去除噪聲和增強圖像對比度。這些方法在處理簡單噪聲時表現(xiàn)良好，但面對ccm圖像中復(fù)雜、多樣的噪聲類型和偽影時，效果有限。更為重要的是，傳統(tǒng)方法在去噪的同時往往會模糊圖像的細(xì)節(jié)，導(dǎo)致角膜微觀結(jié)構(gòu)的丟失，從而影響醫(yī)生的診斷。

4、基于機器學(xué)習(xí)的圖像增強方法：基于深度學(xué)習(xí)技術(shù)，利用卷積神經(jīng)網(wǎng)絡(luò)(cnn)等深度學(xué)習(xí)模型來實現(xiàn)圖像去噪和增強。這類方法通過大量數(shù)據(jù)的訓(xùn)練，能夠自動提取圖像中的特征，并進(jìn)行有效的去噪和增強。然而，現(xiàn)有的cnn架構(gòu)在處理高分辨率的醫(yī)學(xué)圖像時，往往會出現(xiàn)特征提取不足和過擬合的問題。此外，由于ccm圖像的高分辨率和復(fù)雜性，模型在訓(xùn)練過程中可能難以保留圖像的細(xì)節(jié)，尤其是在去除噪聲的同時保留圖像的重要特征。

5、鑒于現(xiàn)存方法存在的局限性，本發(fā)明提出了一種基于深度學(xué)習(xí)的醫(yī)學(xué)角膜圖像采集與增強方法。該方法結(jié)合了gan以及注意力機制，設(shè)計了多模塊集成的圖像增強模型，旨在顯著提高ccm圖像的去噪效果和細(xì)節(jié)保留能力，從而為眼科疾病的診斷提供更加清晰和可靠的圖像支持。

技術(shù)實現(xiàn)思路

1、一種計算機視覺用圖像采集方法，包括以下步驟：

2、s1、構(gòu)建初始配對圖像數(shù)據(jù)集，包括含有噪聲source圖像數(shù)據(jù)以及去噪增強后的target圖像數(shù)據(jù)；

3、s2、基于gan設(shè)計基礎(chǔ)醫(yī)學(xué)圖像增強模塊，并分別設(shè)計gan的生成器網(wǎng)絡(luò)架構(gòu)和判別器網(wǎng)絡(luò)架構(gòu)；

4、s3、設(shè)計基于注意力機制的輔助增強模塊，該模塊通過target的深層特征，并將其融入gan生成器網(wǎng)絡(luò)中以引導(dǎo)圖像增強過程；基礎(chǔ)醫(yī)學(xué)圖像增強模塊與輔助增強模塊共同構(gòu)成了本發(fā)明的圖像增強模型；

5、s4、設(shè)計醫(yī)學(xué)圖像增強模型的損失函數(shù)，并基于s1構(gòu)建的配對圖像數(shù)據(jù)集進(jìn)行模型訓(xùn)練；

6、s5、部署圖像增強模型并獲取待增強的醫(yī)學(xué)圖像，設(shè)計圖像匹配模塊從初始數(shù)據(jù)集中找到與待增強圖像最相近的增強圖像，將其與待增強的圖像共同輸入圖像增強模型，最終得到采集增強后的醫(yī)學(xué)圖像結(jié)果。

7、如上所述的采集方法，所述步驟s1的初始配對圖像數(shù)據(jù)集的構(gòu)建步驟包括：

8、s1-1、大量收集來自不同年齡、性別、疾病狀態(tài)的ccm圖像數(shù)據(jù)，之后篩選其中對比度高、亮度適中、且包含噪聲和偽影盡可能少的ccm圖像，將其分辨率縮放到1024*1024并作為target圖像數(shù)據(jù)；

9、s1-2、針對s1-1篩選及縮放得到target圖像數(shù)據(jù)，進(jìn)行添加隨機噪聲、增加/減小亮度、添加偽影干擾等操作以獲取source圖像數(shù)據(jù)，并且每一種操作對應(yīng)的source和target圖像均為一組配對數(shù)據(jù)集；

10、s1-3、重復(fù)步驟s1-2，為每個target圖像數(shù)據(jù)添加不同程度的噪聲/偽影，以及調(diào)整不同程度的亮度最終獲取n組配對數(shù)據(jù)集，且包含噪聲的source圖像表示為si，去噪的target圖像表示為ti，i∈[1,n]。

11、如上所述的采集方法，所述步驟s2中基礎(chǔ)醫(yī)學(xué)圖像增強模塊構(gòu)建步驟包括：

12、s2-1、生成器中的編碼器部分基于殘差塊及relu激活函數(shù)構(gòu)成；每個殘差塊由一個3*3的卷積塊、一個1*1的卷積塊、relu激活函數(shù)以及殘差連接構(gòu)成，因此，編碼器的第一個殘差塊計算表示為：

13、me1＝conv1(relu(conv3(si)))?(1)

14、fe1＝relu(concat(me1,si))?(2)

15、其中，si為第i個包含噪聲的source圖像，i∈[1,n]；me1為經(jīng)過兩次卷積后的中間特征表示，fe1為經(jīng)過第一個殘差塊后的特征，conv3(*)和conv1(*)分別為3*3和1*1的卷積操作，relu(*)為激活函數(shù)，concat(*)為通道拼接操作；

16、本發(fā)明設(shè)計的生成器架構(gòu)中的編碼器共包含k個殘差塊，因此編碼器提取得到的特征表示為fek，并將其作為解碼器的輸入特征fd0；

17、s2-2、生成器中的解碼器部分采用與編碼器網(wǎng)絡(luò)相對應(yīng)的反卷積殘差塊構(gòu)成；第一個殘差塊的計算表示為：

18、md1＝convt1(relu(convt3(fd0)))?(3)

19、id1＝relu(concat(md1,fd0))?(4)

20、其中，md1為經(jīng)過兩次反卷積后的中間特征；id1為經(jīng)過解碼器的反卷積塊復(fù)原后的特征，其與fek具有相同維度；convt3(*)和convt1(*)分別為3*3和1*1的反卷積操作；

21、為保證圖像增強前后的內(nèi)容一致性，在編碼器和解碼器之間添加跳層連接；此外，本發(fā)明設(shè)計了輔助增強模塊，通過提取增強圖像的特征細(xì)節(jié)，并將其引入生成器的解碼器中以指導(dǎo)圖像增強過程；因此，解碼器的該層特征輸出結(jié)果為：

22、fd1＝concat(id1,fek,gd1))?(5)

23、其中，gd1為解碼器第1層的輔助引導(dǎo)特征，fek為與解碼器第1層網(wǎng)絡(luò)對應(yīng)的編碼器特征(解碼器第2層網(wǎng)絡(luò)對應(yīng)編碼器第k-1層輸出)；本發(fā)明設(shè)計的生成器架構(gòu)中的解碼器同樣包含k個殘差塊，通過以上計算方法，解碼器提取得到的特征表示為fdk；解碼器最后通過一個1*1的卷積塊得到整體生成器的輸出結(jié)果：

24、gi＝relu(conv1(fdk))?(6)

25、其中，gi表示以待增強圖像si為輸入得到的圖像增強結(jié)果；因此，生成器的整體網(wǎng)絡(luò)處理表示為：

26、gi＝gen(si)?(7)

27、其中，gen(*)為生成器函數(shù)；

28、s2-3、gan的判別器用于在訓(xùn)練過程中判別生成器輸出圖像的質(zhì)量高低；由于ccm圖像的分辨率較高，直接利用判別器對其進(jìn)行判別的精度較差，因此本發(fā)明采用分塊判別的機制進(jìn)行ccm圖像判別；具體地，將待判別的圖像切分為4*4的小區(qū)域塊，之后分別將這16個區(qū)域塊分別輸入判別器網(wǎng)絡(luò)中，最后將判別器的所有結(jié)果取平均作為綜合判別結(jié)果；此外，判別器的網(wǎng)絡(luò)架構(gòu)采用卷積層和dropout層構(gòu)成；

29、

30、其中，imgj為第j個待判別圖像的區(qū)域塊，d為判別器判別結(jié)果，dis(*)為判別器處理函數(shù)。

31、如上所述的采集方法，所述步驟s3中基于注意力機制的輔助增強模塊的構(gòu)建步驟包括：

32、s3-1、針對配對數(shù)據(jù)集中的增強圖像ti，i∈[1,n]，利用在大規(guī)模數(shù)據(jù)集下預(yù)訓(xùn)練得到的vgg19模型的前k層網(wǎng)絡(luò)作為特征提取器，則得到k個層的基礎(chǔ)引導(dǎo)特征：

33、bfk＝vgg19k(ti)?(9)

34、其中，bfk表示第k層的基礎(chǔ)引導(dǎo)特征，vgg19k(*)表示預(yù)訓(xùn)練的vgg19模型的第k層網(wǎng)絡(luò)輸出，且k∈[1,k]；

35、s3-2、基于基礎(chǔ)引導(dǎo)特征bfk，利用空間注意力機制進(jìn)一步獲取空間特征：

36、msk＝σ(conv5(concat(avgpool(bfk),maxpool(bfk))))?(10)

37、afk＝msk⊙bfk?(11)

38、其中，msk表示空間注意權(quán)重，afk為經(jīng)過注意力計算后的空間特征；avgpool(*)和maxpool(*)分別為平均池化層和最大化池化層；conv5(*)為5*5的卷積操作，σ(*)為sigmoid激活函數(shù)，⊙表示逐元素相乘操作；

39、s3-3、利用adaln層標(biāo)準(zhǔn)化對afk進(jìn)行信息特征標(biāo)準(zhǔn)化，并通過3*3的卷積層將其映射到與得到第k層的輔助引導(dǎo)特征gdk：

40、gdk＝conv3(adaln(afk))?(12)

41、其中，adaln(*)為層標(biāo)準(zhǔn)化函數(shù)，且輔助引導(dǎo)特征gdk的維度與解碼器層復(fù)原得到的特征idk具有相同維度，且k∈[1,k]；

42、s3-4、將s3-3獲取的輔助引導(dǎo)特征gdk融入到s2-2的解碼器層中，以引導(dǎo)圖像在細(xì)節(jié)上的增強效果。

43、如上所述的采集方法，所述步驟s4中損失函數(shù)設(shè)計以及模型訓(xùn)練的過程包括：

44、s4-1、首先，基于gan的基礎(chǔ)損失函數(shù)設(shè)計為：

45、

46、其中，和表示計算期望，dis(*)和gen(*)分別是判別器和生成器網(wǎng)絡(luò)函數(shù)，且gi＝gen(si)表示圖像增強模塊以si為輸入圖像得到的去噪增強結(jié)果；ti為真實的增強圖像，且i∈[1,n]；log(*)為對數(shù)函數(shù)；

47、s4-2、為了提升圖像增強模塊的精度和魯棒性，本發(fā)明分別另外設(shè)計了高頻信息損失函數(shù)和深度特征損失函數(shù)；其中，高頻信息損失函數(shù)通過對真實圖像和圖像增強模塊的輸出結(jié)果進(jìn)行haar小波變換，并量化兩者之間的差異得到，即：

48、lhr＝‖haar(gi)-haar(ti)‖1?(14)

49、其中，haar(*)為haar小波算子，‖*‖1為計算l1范數(shù)。

50、s4-3、深度特征損失函數(shù)基于在大數(shù)據(jù)集下預(yù)訓(xùn)練的inceptionv3模型進(jìn)行特征提取，分別得到相應(yīng)的深度特征向量，并量化兩者之間的差異，即：

51、lft＝‖inception(gi)-inception(ti)‖2?(15)

52、其中，inception(*)表示預(yù)訓(xùn)練的inceptionv3模型，‖*‖2為計算l2范數(shù)；

53、s4-4、整體的醫(yī)學(xué)圖像增強模型損失函數(shù)表示為：

54、lossi＝lgan+w1·lhr+w2·lft?(16)

55、其中，w1和w2為損失函數(shù)的權(quán)重因子，且w1＝2，w2＝3；lossi表示第i組訓(xùn)練數(shù)據(jù)計算得到的整體損失函數(shù)，且i∈[1,n]；

56、s4-5、利用s1構(gòu)建的配對圖像數(shù)據(jù)集，以及s2和s3構(gòu)建的整體圖像增強模型進(jìn)行模型訓(xùn)練，并利用adam算法對模型進(jìn)行優(yōu)化，共迭代500次最終得到訓(xùn)練后的圖像增強模型。

57、如上所述的采集方法，所述步驟s5中圖像增強模型的部署和圖像匹配模塊的設(shè)計過程包括：

58、s5-1、將圖像增強模型部署到后端服務(wù)器上，實時接受ccm采集得到的圖像，并將其縮放到1024*1024分辨率得到待增強的圖像testin；

59、s5-2、設(shè)計圖像匹配模塊，具體地，利用預(yù)訓(xùn)練的inceptionv3模型對待增強的圖像，以及數(shù)據(jù)集中的所有target圖像進(jìn)行特征提取，并計算待增強圖像與現(xiàn)存真實圖像之間的匹配系數(shù)：

60、

61、其中，ci為待增強圖像與第i個target圖像之間的匹配系數(shù)，且i∈[1,n]，p為預(yù)訓(xùn)練inceptionv3模型特征提取后的數(shù)據(jù)維度；

62、s5-3、尋找n個匹配系數(shù)的最大值，并將其對應(yīng)的target圖像作為圖像增強的參考引導(dǎo)圖像refin，即：

63、refin＝tgt(max(c1,c2,...,cn))?(18)

64、其中，max(*)為計算最大值，tgt(*)為計算相應(yīng)匹配系數(shù)對應(yīng)的target圖像；

65、s5-4、將待增強的圖像testin和參考引導(dǎo)圖像refin輸入圖像增強模型，得到增強后的圖像結(jié)果testout；

66、s5-5、重復(fù)步驟s5-2至s5-4，實現(xiàn)ccm圖像的實時采集與增強，并將增強后的圖像testout實時反饋至后端。

67、本發(fā)明還提供了一種使用上述方法的設(shè)備。

68、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

69、1、顯著提升圖像采集和增強質(zhì)量：通過引入gan和注意力機制，本發(fā)明在去除噪聲、增強對比度、消除偽影等方面效果顯著，增強后的ccm圖像更加清晰，細(xì)節(jié)更加豐富；

70、2、提高后續(xù)診斷的準(zhǔn)確性：本方法能夠有效保留并增強角膜的微觀結(jié)構(gòu)，使醫(yī)生能夠更準(zhǔn)確地識別病變區(qū)域，從而降低誤診風(fēng)險，提高眼科疾病的診斷準(zhǔn)確性；

71、3、增強模型的魯棒性與細(xì)節(jié)保留能力：本發(fā)明設(shè)計的綜合損失函數(shù)，包括gan基礎(chǔ)損失、高頻信息損失和深度特征損失，優(yōu)化了模型在復(fù)雜噪聲環(huán)境下的性能，并保留了圖像的關(guān)鍵細(xì)節(jié)；

72、4、更靈活的圖像增強機制：利用gan和注意力機制設(shè)計的多模塊集成圖像增強模型，具備更強的適應(yīng)性，并且能夠應(yīng)對不同的噪聲類型和復(fù)雜的圖像結(jié)構(gòu)，使其適用于多種醫(yī)學(xué)影像場景；

73、5、實時圖像處理：通過圖像匹配模塊和優(yōu)化的深度學(xué)習(xí)模型，實現(xiàn)了對ccm圖像的實時采集、增強與反饋，極大地提高了圖像處理的效率和可靠性，以適應(yīng)臨床應(yīng)用的需求。