本發(fā)明屬于數(shù)字圖像處理領域，具體涉及一種基于多實例分類的新生兒眼底圖像分類方法、成像方法及存儲介質(zhì)。

背景技術：

1、隨著經(jīng)濟技術的發(fā)展和人們生活水平的提高，人們對于健康的關注程度也越來越高。因此，醫(yī)療圖像分類的準確性，就成為了人們關注的重點。

2、新生兒的眼底圖像分類結(jié)果，在臨床上和基礎醫(yī)學研究中，都具有重要意義?，F(xiàn)階段，針對新生兒的眼底圖像分類方案，依舊是臨床醫(yī)療影像人員，根據(jù)自身的經(jīng)驗和技術水平，進行眼底圖像分類。但是，這種人工進行新生兒的眼底圖像分類的方案，不僅費時費力，而且可靠性和精確性較差。

3、同時，雖然有研究人員提出了基于神經(jīng)網(wǎng)絡的眼底圖像分類方案，但是該類方案并未針對新生兒的眼底圖像進行專業(yè)設計。新生兒的眼底圖像存在眼底淡色、高透明度、血管稀疏不均以及異常區(qū)域小、特征不明顯等特性，這類特性使得現(xiàn)有的眼底圖像分類方案的分類結(jié)果依舊存在可靠性差和精確性差的缺陷。

技術實現(xiàn)思路

1、本發(fā)明的目的之一在于提供一種可靠性高且精確性好的基于多實例分類的新生兒眼底圖像分類方法。

2、本發(fā)明的目的之二在于提供一種包括了所述基于多實例分類的新生兒眼底圖像分類方法的成像方法。

3、本發(fā)明的目的之三在于提供一種包括了所述基于多實例分類的新生兒眼底圖像分類方法的存儲介質(zhì)。

4、本發(fā)明提供的這種基于多實例分類的新生兒眼底圖像分類方法，包括如下步驟：

5、s1.?獲取現(xiàn)有的新生兒眼底圖像多實例數(shù)據(jù)集，并進行對應的標注；

6、s2.?對步驟s1獲取的圖像數(shù)據(jù)集進行預處理，得到訓練數(shù)據(jù)集；所述的預處理包括尺寸調(diào)整和圖像歸一化；

7、s3.?基于特征提取模型和多頭自注意力機制，構建包括了特征提取模塊、特征聚合模塊、特征融合模塊和分類模塊的新生兒眼底圖像分類初級模型；

8、基于特征提取模型構建特征提取模塊，用于對輸入的圖像數(shù)據(jù)進行離線特征提??；基于多頭自注意力機制構建特征聚合模塊，用于將提取得到的圖像特征進行特征聚合；基于加權求和方案構建特征融合模塊，用于將聚合得到的特征進行特征融合；分類模塊用于根據(jù)融合后的特征，得到最終的新生兒眼底圖像分類結(jié)果；

9、s4.?采用步驟s2得到的訓練數(shù)據(jù)集，基于先驗知識的相似性損失和分類損失，對步驟s3構建的新生兒眼底圖像分類初級模型進行訓練，得到新生兒眼底圖像分類模型；

10、s5.?采用步驟s4得到的新生兒眼底圖像分類模型，完成實際的基于多實例分類的新生兒眼底圖像的分類。

11、所述的步驟s1，具體包括如下步驟：

12、獲取現(xiàn)有的新生兒眼底圖像多實例數(shù)據(jù)；其中，每一個新生兒對應若干張眼底圖像；標注時，僅針對新生兒的類別進行標注，同時不對該新生兒所對應的眼底圖像進行標注。

13、所述的步驟s2，具體包括如下步驟：

14、將步驟s1得到的圖像數(shù)據(jù)，將圖像分辨率統(tǒng)一調(diào)整到設定值；

15、然后，將圖像數(shù)據(jù)進行歸一化操作，得到訓練數(shù)據(jù)集。

16、所述的步驟s3，具體包括如下步驟：

17、基于resnet-50網(wǎng)絡或retfound網(wǎng)絡構建特征提取模塊，用于對輸入的圖像數(shù)據(jù)進行離線特征提??；

18、基于線性映射層和多頭自注意力機制構建特征聚合模塊，用于將提取得到的圖像特征進行特征聚合；

19、基于特征聚合結(jié)果計算得到加權權重值，并采用加權求和方案構建特征融合模塊，用于將聚合得到的特征進行特征融合；

20、基于線性層構建分類模塊，用于根據(jù)融合后的特征，得到最終的新生兒眼底圖像分類結(jié)果。

21、所述的基于resnet-50網(wǎng)絡或retfound網(wǎng)絡構建特征提取模塊，具體包括如下步驟：

22、采用預訓練后的resnet-50網(wǎng)絡作為特征提取模塊，將resnet-50網(wǎng)絡中全局平均池化層的輸入，作為特征提取模塊的輸出；

23、或者

24、采用預訓練后的retfound網(wǎng)絡作為特征提取模塊，將retfound網(wǎng)絡中最后一層的transformer層的輸入，作為特征提取模塊的輸出；

25、在分類模型訓練或?qū)嶋H應用過程中，特征提取模塊中的所有參數(shù)均不改變。

26、所述的基于線性映射層和多頭自注意力機制構建特征聚合模塊，具體包括如下步驟：

27、將特征提取模塊的輸出，拼接待學習的分類令牌和位置編碼，得到中間特征；表示為：式中為中間特征；為待學習的分類令牌；為特征提取模塊的輸出，對應于輸入的某新生兒的第i張眼底圖片的特征提取模塊的輸出；為位置編碼；為拼接操作；

28、將中間特征通過三個線性映射層處理，得到q值特征、k值特征和v值特征；將q值特征、k值特征和v值特征通過多頭自注意力模塊進行信息交互，并將多頭自注意力模塊的輸出再通過第一線性映射層處理，得到線性輸出；最終，將線性輸出與中間特征進行殘差計算，得到特征聚合結(jié)果；表示為：式中為特征聚合結(jié)果；表示第一線性映射層的處理過程；表示多頭自注意力模塊的處理過程；表示三個線性映射層的處理過程。

29、所述的基于特征聚合結(jié)果計算得到加權權重值，并采用加權求和方案構建特征融合模塊，具體包括如下步驟：

30、將特征聚合結(jié)果進行處理，得到特征融合模塊的輸入；所述的處理，具體包括如下步驟：

31、選取的第一個分類令牌所對應的輸出，作為特征融合模塊的輸入；

32、為計算權重值，并采用加權求和的方式計算得到特征融合模塊輸出的特征融合結(jié)果；

33、采用如下算式計算得到權重值：式中為的權重值；w為第一待學習參數(shù)、v為第二待學習參數(shù)；l為輸入的眼底圖像的數(shù)量，對應于輸入的某新生兒的所有眼底圖片總數(shù)；

34、采用如下算式進行加權求和，計算得到特征融合模塊輸出的特征融合結(jié)果：式中為特征融合模塊輸出的特征融合結(jié)果。

35、所述的基于線性層構建分類模塊，用于根據(jù)融合后的特征，得到最終的新生兒眼底圖像分類結(jié)果，具體包括如下步驟：

36、采用線性層構建分類模塊；

37、將特征融合結(jié)果輸入到線性層，得到最終的新生兒眼底圖像分類結(jié)果。

38、步驟s4所述的基于先驗知識的相似性損失和分類損失，對步驟s3構建的新生兒眼底圖像分類初級模型進行訓練，具體包括如下步驟：

39、為輸入的每張眼底圖像，選擇最大的權重值所對應的特征融合結(jié)果和最小的權重值所對應的特征融合結(jié)果；

40、采用如下算式計算和的相似度s：式中為權重最大值對應的實例特征；為權重最小值對應的實例特征；

41、采用如下算式作為相似性損失的計算函數(shù)：式中為相似性損失值；y為類別標簽，其中0代表正常類別；

42、采用如下算式，作為模型訓練的總損失函數(shù)：式中為總損失函數(shù)值；為分類損失值；為設定的權重值；

43、最后，采用總損失函數(shù)，對步驟s3構建的新生兒眼底圖像分類初級模型進行訓練。

44、本發(fā)明還提供了一種包括了所述基于多實例分類的新生兒眼底圖像分類方法的成像方法，還包括如下步驟：

45、s6.?將步驟s5得到的新生兒眼底圖像的分類結(jié)果，在新生兒眼底圖像進行標注和二次成像，得到帶有分類結(jié)果的新生兒眼底圖像。

46、本發(fā)明還提供了一種存儲介質(zhì)，其上存儲有計算機程序；所述計算機程序被處理器執(zhí)行時，實現(xiàn)所述的基于多實例分類的新生兒眼底圖像分類方法。

47、本發(fā)明提供的這種基于多實例分類的新生兒眼底圖像分類方法、成像方法及存儲介質(zhì)，通過多實例圖像來進行特征提取，并基于特征提取機制和多頭自注意力機制構建的分類模型進行眼底圖像的分類，并基于先驗知識的相似性損失和分類損失來實現(xiàn)模型的訓練；因此本發(fā)明不僅能夠?qū)崿F(xiàn)新生兒眼底圖像的分類，而且可靠性更高，精確性更好。