本發(fā)明涉及超聲圖像分割，具體是指一種基于機器學習的骨科超聲圖像分割方法及系統(tǒng)。

背景技術：

1、基于機器學習的骨科超聲圖像分割方法是利用機器學習算法實現(xiàn)對骨科超聲圖像中的像素，按照不同的物體或結構進行分類的過程，骨科超聲圖像分割旨在將骨骼、關節(jié)、肌肉等不同組織結構在圖像中進行分離和定位，這種方法有助于提高對骨科超聲圖像的理解和應用，進一步促進骨科領域的進步。

2、但是，在已有的骨科超聲圖像分割方法中，存在著超聲成像的模式存在多模態(tài)、多級別和多種類的特點，進而需要一種能夠融合多種類型特征的方法的技術問題；在已有的骨科超聲圖像分割方法中，存在著單模態(tài)圖像的分割性能較低，而多模態(tài)特征圖像的特征編解碼和特征融合的聚合難度較高的技術問題；在已有的骨科超聲圖像分割方法中，存在著多模態(tài)特征圖融合過程中，簡單聚合無法提取有效特征而歸一化融合會導致信息冗余的技術問題。

技術實現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術的缺陷，本發(fā)明提供了一種基于機器學習的骨科超聲圖像分割方法及系統(tǒng)，針對在已有的骨科超聲圖像分割方法中，存在著超聲成像的模式存在多模態(tài)、多級別和多種類的特點，進而需要一種能夠融合多種類型特征的方法的技術問題，本方案創(chuàng)造性地采用生成中谷超聲參數(shù)和熵超聲參數(shù)圖像的方法進行邊緣信息增強，突出了邊緣信息，提高了后續(xù)分割任務的準確性；針對在已有的骨科超聲圖像分割方法中，存在著單模態(tài)圖像的分割性能較低，而多模態(tài)特征圖像的特征編解碼和特征融合的聚合難度較高的技術問題，本方案創(chuàng)造性地采用特征編解碼結構結合特征融合模塊的網(wǎng)絡結構，并采用機器學習方法，基于所述超聲參數(shù)圖像數(shù)據(jù)，進行特征編解碼，提高了特征融合的性能；針對在已有的骨科超聲圖像分割方法中，存在著多模態(tài)特征圖融合過程中，簡單聚合無法提取有效特征而歸一化融合會導致信息冗余的技術問題，本方案創(chuàng)造性地采用通道感知融合單元進行特征融合優(yōu)化，提升了特征圖中特征融合的性能，提煉了優(yōu)質的超聲圖像特征，優(yōu)化了圖像分割的整體流程。

2、本發(fā)明采取的技術方案如下：本發(fā)明提供的一種基于機器學習的骨科超聲圖像分割方法，該方法包括以下步驟：

3、步驟s1：數(shù)據(jù)采集；

4、步驟s2：基本預處理；

5、步驟s3：邊緣信息增強；

6、步驟s4：特征編解碼；

7、步驟s5：超聲圖像分割。

8、進一步地，在步驟s1中，所述數(shù)據(jù)采集，用于采集待分割骨科超聲圖像，具體為從超聲成像系統(tǒng)中，通過采集得到骨科超聲圖像原始數(shù)據(jù)。

9、進一步地，在步驟s2中，所述基本預處理，用于對原始超聲圖像進行數(shù)據(jù)預處理，具體為對所述骨科超聲圖像原始數(shù)據(jù)進行濾波去噪和歸一化操作，得到預處理超聲圖像數(shù)據(jù)。

10、進一步地，在步驟s3中，所述邊緣信息增強，用于通過生成超聲參數(shù)圖像增強超聲圖像的邊緣信息，具體為通過基于預處理超聲圖像數(shù)據(jù)生成中谷參數(shù)圖像和熵參數(shù)圖像，進行邊緣信息增強，得到超聲圖像數(shù)據(jù)，包括以下步驟：

11、步驟s31：中谷參數(shù)圖像生成，用于生成描述超聲圖像和回聲強度的分布統(tǒng)計，并獲取不同圖像區(qū)域的回聲特征信息，具體包括以下步驟：

12、步驟s311：構建中谷參數(shù)概率密度函數(shù)，計算公式為：

13、；

14、式中，f(·)是中谷參數(shù)概率密度函數(shù)，r是距離變量，用于表示所述預處理超聲圖像數(shù)據(jù)中的像素點到圖像中心的距離，m是形狀參數(shù)，是歐拉伽馬函數(shù)，是縮放參數(shù)，exp(·)是自然指數(shù)函數(shù)，u(·)是單位階躍函數(shù)；

15、步驟s312：構建形狀參數(shù)，計算公式為：

16、；

17、式中，m是形狀參數(shù)，e(·)是期望函數(shù)，r是超聲反向散射包絡線，所述超聲反向散射包絡線r，用于表示不同距離處回聲信號的強度值；

18、步驟s313：生成中谷參數(shù)圖像，具體為通過所述構建概率密度函數(shù)和所述構建形狀參數(shù)，進行中谷參數(shù)圖像生成，得到超聲中谷參數(shù)圖像數(shù)據(jù)；

19、步驟s32：熵參數(shù)圖像生成，用于增強超聲圖像的紋理信息，具體包括以下步驟：

20、步驟s321：熵值計算，具體為采用滑動窗口算法，從波束形成的模擬信號數(shù)據(jù)中獲取局部信號信息，并通過構建熵值概率密度函數(shù)計算得到熵值，所述熵值的計算公式為：

21、；

22、式中，h是熵值，x是所述預處理超聲圖像數(shù)據(jù)中的像素值，xmax是像素值最大值，xmin是像素值最小值，f(·)是概率密度函數(shù)；

23、步驟s322：新像素值賦值，具體為將滑動窗口算法中的方形窗口的中心像素值，賦值為所述熵值h的值；

24、步驟s323：窗口移動，具體為將滑動窗口算法中的窗口在數(shù)據(jù)范圍內進行移動，重復步驟s321和步驟s322所述操作，進行超聲熵參數(shù)圖像生成；

25、步驟s324：生成超聲熵參數(shù)圖像，具體為通過所述熵值計算、所述新像素值賦值和所述窗口移動進行超聲熵參數(shù)圖像生成，得到超聲熵參數(shù)圖像數(shù)據(jù)；

26、步驟s33：邊緣信息增強，具體為通過所述中谷參數(shù)圖像生成和所述熵參數(shù)圖像生成，進行超聲圖像邊緣信息增強，得到超聲參數(shù)圖像數(shù)據(jù)。

27、進一步地，在步驟s4中，所述特征編解碼，用于進行特征融合并提取多模態(tài)圖像特征，具體為采用特征編解碼結構結合特征融合模塊的網(wǎng)絡結構，并采用機器學習方法，基于所述超聲參數(shù)圖像數(shù)據(jù)，進行特征編解碼，得到超聲圖像特征數(shù)據(jù)；

28、所述特征編解碼結構結合特征融合模塊的網(wǎng)絡結構，包括特征編碼器子塊、特征融合子塊和特征解碼器子塊；

29、所述特征編碼器子塊，用于提取多模態(tài)圖像的特征，具體包括一個輸入層和四個編碼層；

30、所述特征融合子塊，用于將相同維度的特征融合，具體包括最大融合單元、求和融合單元、卷積融合單元和通道感知融合單元；

31、所述特征解碼器子塊，用于將融合特征恢復為高級語義特征，具體包括四個解碼層和一個輸出層；

32、所述采用特征編解碼結構結合特征融合模塊的網(wǎng)絡結構，并采用機器學習方法，基于所述超聲參數(shù)圖像數(shù)據(jù)，進行特征編解碼，得到超聲圖像特征數(shù)據(jù)的步驟，包括：

33、步驟s41：構建特征編碼器子塊，包括以下步驟：

34、步驟s411：構建圖像編碼器基本結構，具體為采用預訓練的resnet-34網(wǎng)絡作為圖像編碼器，刪除所述resnet-34網(wǎng)絡的平均池化層和全連接層，并構建一個輸入層和四個編碼層，所述構建圖像編碼器基本結構的計算公式為：

35、；

36、式中，q(·)是編碼層表示函數(shù)，x是層數(shù)索引，q1是第一編碼層，q2是第二編碼層，q3是第三編碼層，q4是第四編碼層；

37、步驟s412：生成多模態(tài)五階段特征圖，具體指二維超聲模態(tài)特征圖、中谷超聲參數(shù)模態(tài)特征圖和熵超聲參數(shù)模態(tài)特征圖，計算公式為：

38、；

39、式中，fi是多模態(tài)五階段特征圖，i是特征圖階段索引，i的取值范圍為{1，2，3，4，5}，是二維超聲模態(tài)特征圖，是中谷超聲參數(shù)模態(tài)特征圖，是熵超聲參數(shù)模態(tài)特征圖；

40、步驟s413：特征編碼，具體為通過所述構建圖像編碼器基本結構和所述生成多模態(tài)五階段特征圖，進行特征編碼，得到超聲圖像編碼特征；

41、步驟s42：構建特征融合子塊，包括以下步驟：

42、步驟s421：構建最大融合單元，計算公式為：

43、；

44、式中，是最大融合單元輸出的融合特征圖，i是特征圖階段索引，max(·)是求最大值函數(shù)，是二維超聲模態(tài)特征圖，是中谷超聲參數(shù)模態(tài)特征圖，是熵超聲參數(shù)模態(tài)特征圖；

45、步驟s422：構建求和融合單元，計算公式為：

46、；

47、式中，是求和融合單元輸出的融合特征圖，i是特征圖階段索引，是二維超聲加權參數(shù)，是二維超聲模態(tài)特征圖，是中谷加權參數(shù)，是中谷超聲參數(shù)模態(tài)特征圖，是熵加權參數(shù)，是熵超聲參數(shù)模態(tài)特征圖；

48、步驟s423：構建卷積融合單元，計算公式為：

49、；

50、式中，是串聯(lián)特征圖，i是特征圖階段索引，是卷積融合單元輸出的融合特征圖，concat(·)是串聯(lián)操作運算符，conv3×3?(·)是對應大小為3×3的卷積層的卷積運算符，是二維超聲模態(tài)特征圖，是中谷超聲參數(shù)模態(tài)特征圖，是熵超聲參數(shù)模態(tài)特征圖；

51、步驟s424：構建通道感知融合單元，具體為通過采用全劇平均池化操作和全局最大池化操作，得到級聯(lián)特征圖的全局通道信息，并采用共享多層感知層生成通道參數(shù)，使用通道參數(shù)并采用通道感知融合生成融合特征圖，具體包括以下步驟：

52、步驟s4241：構建通道參數(shù)，計算公式為：

53、；

54、式中，是平均池化通道系數(shù)，是最大池化通道系數(shù)，i是特征圖階段索引，mr(·)是共享多層感知操作函數(shù)，所述共享多層感知操作，用于構建全連接層的輸出通道，其中，r是平衡系數(shù)，取值為4，用于平衡性能和計算損失，pavg(·)是全局平均池化操作函數(shù)，pmax(·)是全局最大池化操作函數(shù)，是二維超聲模態(tài)特征圖，是中谷超聲參數(shù)模態(tài)特征圖，是熵超聲參數(shù)模態(tài)特征圖，[·:·]是串聯(lián)操作運算符；

55、步驟s4242：計算全局通道注意力，計算公式為：

56、；

57、式中，ai是全局通道注意力，是s型函數(shù)，是平均池化通道系數(shù)，是最大池化通道系數(shù)，是逐元素求和運算符；

58、步驟s4243：計算融合特征圖，計算公式為：

59、；

60、步驟s425：特征融合，具體為通過所述構建最大融合單元、所述構建求和融合單元、所述構建卷積融合單元進行特征融合和所述構建通道感知融合單元，得到融合特征圖；

61、步驟s43：構建特征解碼器子塊，包括以下步驟：

62、步驟s431：構建解碼層，所述解碼層，用于將所述包括2個大小為1×1的卷積層和1個大小為3×3的反卷積層，所述構建解碼層的計算公式為：

63、；

64、式中，dj是解碼層標識符，j是解碼層索引，其中，j的取值范圍是{1，2，3，4}，conv1×1(·)是對應大小為1×1的卷積層的卷積運算符，dc3×3(·)是對應大小為3×3的反卷積層的卷積運算符，dj-1是第j-1層的解碼層標識符，是逐元素求和運算符，是對應第6-j階段的融合特征圖；

65、步驟s432：構建輸出層，所述輸出層，用于計算最終輸出值，包括2個大小為3×3的卷積層和1個大小為4×4的反卷積層，所述構建輸出層的計算公式為：

66、；

67、式中，是編解碼輸出值，用于分割圖像，conv3×3?(·)是對應大小為3×3的卷積層的卷積運算符，dc4×4(·)是對應大小為4×4的反卷積層的卷積運算符，d4是第4層解碼層標識符，是逐元素求和運算符，是第1階段的融合特征圖；

68、步驟s44：特征編解碼模型訓練，具體為通過所述構建特征編碼器子塊、所述構建特征融合子塊和所述構建特征解碼器子塊，進行特征編解碼模型訓練，得到特征編解碼模型modelca；

69、步驟s45：特征信息處理，具體為采用所述特征編解碼模型modelca，基于所述超聲參數(shù)圖像數(shù)據(jù)，進行特征編解碼，得到超聲圖像特征數(shù)據(jù)。

70、進一步地，在步驟s5中，所述超聲圖像分割，用于依據(jù)超聲圖像信息進行超聲圖像分割，具體為使用所述特征編解碼中的特征信息處理方法和機器學習神經(jīng)網(wǎng)絡模型進行超聲圖像分割，得到骨科超聲圖像分割數(shù)據(jù)。

71、本發(fā)明提供的一種基于機器學習的骨科超聲圖像分割系統(tǒng)，包括數(shù)據(jù)采集模塊、基本預處理模塊、邊緣信息增強模塊、特征編解碼模塊和超聲圖像分割模塊；

72、所述數(shù)據(jù)采集模塊，用于數(shù)據(jù)采集，通過采集得到骨科超聲圖像原始數(shù)據(jù)，并將所述骨科超聲圖像原始數(shù)據(jù)發(fā)送至基本預處理模塊；

73、所述基本預處理模塊，用于基本數(shù)據(jù)預處理，通過基本數(shù)據(jù)預處理，得到預處理超聲圖像數(shù)據(jù)，并將所述預處理超聲圖像數(shù)據(jù)發(fā)送至邊緣信息增強模塊；

74、所述邊緣信息增強模塊，用于邊緣信息增強，通過邊緣信息增強，得到超聲參數(shù)圖像數(shù)據(jù)，并將所述超聲參數(shù)圖像數(shù)據(jù)發(fā)送至特征編解碼模塊；

75、所述特征編解碼模塊，用于特征編解碼，通過特征編解碼，得到超聲圖像特征數(shù)據(jù)，并將所述超聲圖像特征數(shù)據(jù)發(fā)送至超聲圖像分割模塊；

76、所述超聲圖像分割模塊，用于超聲圖像分割，通過超聲圖像分割，得到骨科超聲圖像分割數(shù)據(jù)。

77、采用上述方案本發(fā)明取得的有益效果如下：

78、（1）針對在已有的骨科超聲圖像分割方法中，存在著超聲成像的模式存在多模態(tài)、多級別和多種類的特點，進而需要一種能夠融合多種類型特征的方法的技術問題，本方案創(chuàng)造性地采用生成中谷超聲參數(shù)和熵超聲參數(shù)圖像的方法進行邊緣信息增強，突出了邊緣信息，提高了后續(xù)分割任務的準確性；

79、（2）針對在已有的骨科超聲圖像分割方法中，存在著單模態(tài)圖像的分割性能較低，而多模態(tài)特征圖像的特征編解碼和特征融合的聚合難度較高的技術問題，本方案創(chuàng)造性地采用特征編解碼結構結合特征融合模塊的網(wǎng)絡結構，并采用機器學習方法，基于所述超聲參數(shù)圖像數(shù)據(jù)，進行特征編解碼，提高了特征融合的性能；

80、（3）針對在已有的骨科超聲圖像分割方法中，存在著多模態(tài)特征圖融合過程中，簡單聚合無法提取有效特征而歸一化融合會導致信息冗余的技術問題，本方案創(chuàng)造性地采用通道感知融合單元進行特征融合優(yōu)化，提升了特征圖中特征融合的性能，提煉了優(yōu)質的超聲圖像特征，優(yōu)化了圖像分割的整體流程。