本發(fā)明屬于深度學習、醫(yī)學圖像、語義分割，具體涉及一種基于牙根邊緣加權(quán)損失的牙齒圖像分割方法。

背景技術(shù)：

1、隨著人工智能的發(fā)展，計算機視覺與深度學習技術(shù)在自動全景x光片分析中取得顯著進展，旨在協(xié)助牙醫(yī)進行精準診斷，顯著提高了全景x光片的診斷效率和準確性。卷積神經(jīng)網(wǎng)絡(luò)（cnn）通過自動學習和提取圖像中的層次化特征，改變了醫(yī)學圖像分析的格局，廣泛應用于圖像分類、分割和檢測任務(wù)，尤其在乳腺腫瘤、肺部病變和心臟病的檢測中取得了重要突破。近年來，深度學習在牙科圖像分割領(lǐng)域也取得進展，faster?r-cnn和mask?r-cnn廣泛應用于牙齒分割，但這些方法依賴于預先定位的牙齒。mslpnet通過引入多尺度結(jié)構(gòu)，解決了邊界預測問題，實現(xiàn)了牙齒的精準定位。此外，transunet結(jié)合了u-net與transformer架構(gòu)，提升了圖像分割性能。

2、當前的牙齒實例分割方法主要集中在牙齒的核心區(qū)域進行分割，這往往面臨兩個主要問題：一是牙齒圖像的實例分割精度較低，二是由于牙齒種類繁多，導致不同類型的牙齒難以區(qū)分，這使得牙齒分割的邊界模糊，分割精度亟待提高。因此，融入邊緣的細節(jié)信息特征對于提升牙齒分割的精度顯得尤為重要。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)的不足，實現(xiàn)提高牙齒實例分割精度，避免實例分割中牙根邊界模糊的目的，本發(fā)明采用如下的技術(shù)方案：

2、一種基于牙根邊緣加權(quán)損失的牙齒圖像分割方法，包括如下步驟：

3、步驟1：獲取口腔牙齒x光片圖像，并將數(shù)據(jù)集劃分為訓練集、驗證集和測試集；

4、步驟2：通過嵌入精煉特征增強模塊的主干網(wǎng)絡(luò)resnet-101，對所述口腔牙齒x光片圖像進行特征提取，得到牙齒特征圖，再經(jīng)牙根邊緣特征增強模塊，得到牙根特征增強后的牙齒特征圖；通過在resnet-101網(wǎng)絡(luò)嵌入精煉特征增強模塊，進一步提升了模型對重要特征的關(guān)注和提取能力；

5、步驟3：將特征提取和牙根邊緣特征增強的牙齒特征圖，經(jīng)感興趣區(qū)域預測模塊生成潛在預測對象感興趣區(qū)域roi的候選區(qū)域的坐標；

6、步驟4：將所述候選區(qū)域，經(jīng)掩碼分割網(wǎng)絡(luò)后，結(jié)合牙根邊緣加權(quán)交叉熵損失函數(shù)，生成關(guān)于牙齒牙根的像素級別的清晰分割掩碼結(jié)果；對訓練模型的分割效果進行評估，尤其是牙根缺失指標mr，若符合要求，則輸出分割掩碼結(jié)果，否則重新進行掩碼分割；

7、步驟5：將所述候選區(qū)域坐標經(jīng)全連接層，分別得到關(guān)于每顆牙齒的實例分割標簽、邊界框等信息；基于所述牙齒牙根的清晰分割掩碼結(jié)果、每個牙齒的實例分割標簽及邊界框信息，得到牙齒的實例分割結(jié)果；將待分割的牙齒圖像輸入至完成訓練的牙齒圖像實例分割過程中，最終輸出牙齒的實例分割結(jié)果。

8、進一步地，所述步驟2中的精煉特征增強模塊，將輸入的有效特征通過自適應平均池化操作進行壓縮，將h×w大小的特征進行聚合，得到聚合信息特征圖，經(jīng)線性層壓縮維度后，再經(jīng)過激活函數(shù)，并通過通道權(quán)重分配機制激活特定的通道特征，最后控制每個通道的激活，將輸入的有效特征與對應通道權(quán)重相乘，得到增強后的特征。精煉特征增強模塊主要用于強化每個通道的重要性，通過殘差學習機制優(yōu)化特征提取，使模型能夠更精準地識別和利用有價值的信息。

9、進一步地，執(zhí)行所述精煉特征增強模塊的計算公式如下：

10、

11、

12、

13、

14、其中，f表示輸入的有效特征，avg()表示對輸入特征向量進行平均池化操作，rs1()表示自適應平均池化，linear1（）表示第一線性變換層，表示f經(jīng)過自適應平均池化和線性層處理后的特征圖，用于對特征圖f進行壓縮，得到聚合特征，relu表示relu激活函數(shù)，linear2（）表示第二線性變換層，表示?經(jīng)過激活和線性層處理后的特征圖，pcbr-2表示零填充處理，即經(jīng)過2次conv-batchnormational-relu操作，conv1表示一個卷積核大小為1的卷積操作，sigmoid表示sigmoid激活函數(shù)，用于將卷積后的結(jié)果映射到[0,1]區(qū)間內(nèi)，表示?經(jīng)過零填充、卷積和激活操作的特征圖，表示增強后的特征；

15、所述平均池化操作，通過計算一個k*k的池化窗口所覆蓋的像素值的平均值，具體表達方法如下：

16、。

17、進一步地，所述步驟2中的牙根邊緣特征增強模塊，其執(zhí)行過程包括如下步驟：

18、步驟2.1：獲取牙齒特征圖與牙根部分區(qū)域掩碼，分別得到四維張量frf與rm，為獲取其共有特征信息，將張量frf與rm逐元素相乘后得到合并后的張量rf；

19、步驟2.2：對張量frf進行1×1卷積對其通道進行壓縮，經(jīng)過relu激活函數(shù)引入非線性，使模型能夠擬合更復雜的關(guān)系，再引入3×3卷積用于捕捉空間信息，特別是牙根區(qū)域的特征，再經(jīng)過relu激活函數(shù)后，再次進入1×1卷積，將通道數(shù)恢復到原始的輸入通道數(shù)；然后使用sigmoid激活函數(shù)生成特征權(quán)重，用于加權(quán)輸入特征圖的每個通道，最后將特征權(quán)重fse與原始輸入的張量frf進行逐元素相乘得到特征fout；具體表達方法如下：

20、

21、其中的表示為第一個1×1卷積的權(quán)重，代表的時第二個1×1卷積的權(quán)重，表示為3×3卷積的權(quán)重，relu和sigmoid均為激活函數(shù)；

22、步驟2.3：將特征fout與合并后的張量rf通過加法器得到融合后的特征fout1，以融合這兩個特征的相關(guān)信息，使融合特征結(jié)合了牙齒目標特征和牙根特征的相關(guān)性，為后續(xù)步驟提供了更豐富的特征信息，對合并后的特征fout1進行1×1卷積處理得到特征fout2，以調(diào)整通道數(shù)并引入非線性，通過這個操作，模型能夠提取出更深層次的特征表示，同時降低計算復雜度，再將合并后的特征fout1與特征fout2通過乘法器得到特征fout3，以加強特征的互補性，這一過程通過逐元素相乘，進一步增強特征的表達能力，保留了fout1與fout2之間的互補性，將特征fout3通過反轉(zhuǎn)器得到特征fout4，對特征進行空間上的變換，以增強特征的可分辨性，fout4經(jīng)過反轉(zhuǎn)器處理的特征圖，能夠有效地增強特征的邊緣信息和細節(jié)，將特征fout3與特征fout4通過加法器進得到牙根邊緣增強后的特征fout5，完成了對牙根邊緣特征的增強，融合了牙齒和牙根特征的信息，提高了模型對牙根細節(jié)特征的感知能力；具體表達方法如下：

23、

24、

25、

26、

27、。

28、進一步地，所述步驟3中，通過區(qū)域興趣對齊模塊將所有感興趣區(qū)域roi變換成相同的輸出尺寸，包括如下步驟：

29、步驟3.1：由于特征圖的分辨率比原圖低，所以首先需要將感興趣區(qū)域roi的坐標按比例縮放到特征圖上；

30、步驟3.2：對每個感興趣區(qū)域roi，在其區(qū)域內(nèi)進行固定數(shù)量的網(wǎng)格采樣；

31、步驟3.3：由于感興趣區(qū)域roi坐標點不是整數(shù)，使用雙線性插值通過多個相鄰點的加權(quán)計算，計算出原始圖像中的感興趣區(qū)域的值；

32、步驟3.4：聚合采樣結(jié)果，對于每個感興趣區(qū)域roi網(wǎng)格中的每個采樣格子，使用所述值作為該位置的特征值，得到相同尺寸的感興趣區(qū)域roi。

33、進一步地，所述步驟3.1中，輸入的圖像尺寸為高h×寬w，對應特征圖尺寸為hf×wf；

34、

35、其中，(x,y)表示原始圖像中的感興趣區(qū)域roi坐標，(xf,yf)表示特征圖中的對應坐標；

36、所述步驟3.2中，對于輸出hf×wf大小的特征圖，會在感興趣區(qū)域roi內(nèi)部劃分為hf×wf個小格子，每個格子需要從特征圖中采樣一個值；

37、所述步驟3.4中，對于每個感興趣區(qū)域roi的hf?×wf網(wǎng)格中的每個采樣格子，使用雙線性插值獲取的值會作為該位置的特征值，這些特征被拼接為大小為k*k的統(tǒng)一特征圖。

38、進一步地，所述步驟3.3中，使用雙線性插值通過四個相鄰點的加權(quán)計算，準確地為目標位置(x,y)計算出值公式為：

39、

40、其中，v表示通過雙線性插值得到的特征圖上的值，(x,y)表示原始圖像中的感興趣區(qū)域roi坐標，δx和δy是浮點坐標與其整數(shù)點之間的距離，該公式計算的是目標位置(x,y)在相對于其他三個點(x1,y1),(x2,y1),(x1,y2)和(x2,y2)的位置變化情況。

41、進一步地，所述步驟4中，候選區(qū)域經(jīng)掩碼分割網(wǎng)絡(luò)u-kan，通過編碼器及解碼器的處理，得到候選區(qū)域的預測掩碼，將預測掩碼與真實掩碼共同進行加權(quán)交叉熵損失及形狀不一致懲罰項的計算，并將兩者結(jié)合得到牙根邊緣損失函數(shù)，并進行基于牙根邊緣不匹配程度自適應變化權(quán)重wq的循環(huán)運算，最后生成關(guān)于牙齒的像素級別掩碼。

42、進一步地，所述加權(quán)交叉熵損失定義為：

43、

44、其中，表示真實掩碼中像素q屬于牙根區(qū)域的概率，表示對像素q屬于牙根區(qū)域的預測概率，root表示牙根像素集，wq表示基于牙根邊緣不匹配程度自適應變化權(quán)重，若像素q屬于牙根區(qū)域，則將高權(quán)重賦值給所述自適應變化權(quán)重wq=wroot，否則：

45、

46、其中，β(q,σ(q))表示用于度量牙根的像素q以及預測的牙根像素σ(q)的形狀不一致程度，λ表示控制懲罰力度的超參數(shù)；

47、所述形狀不一致懲罰項定義為，將形狀不一致度與整體損失進行非線性組合，通過冪函數(shù)的形式來增加對高誤差區(qū)域的懲罰：

48、

49、其中，g表示牙齒像素集，k表示控制懲罰強度的參數(shù)，當k>1時，大的形狀不一致將得到更大的懲罰，β(o,σ(o))表示用于度量牙齒的像素o以及預測的牙齒像素σ(o)的形狀不一致程度；

50、所述牙根邊緣損失函數(shù)reloss被定義為一個加權(quán)的交叉熵損失函數(shù)，真實對象與預測對象在牙根邊緣區(qū)域的像素位置被賦予一個高的權(quán)重wroot（通常wroot>1），以增強模型對牙根邊緣像素的關(guān)注，公式如下：

51、

52、其中，α表示控制加權(quán)交叉熵和形狀懲罰項的相對權(quán)重，γ表示控制非線性程度的超參數(shù)，用于在損失值較大時，顯著增加整體懲罰。

53、為進一步提升分割的精準度，牙根邊緣損失函數(shù)reloss采用自適應權(quán)重機制，即牙根區(qū)域的權(quán)重不再是固定的，而是根據(jù)形狀不一致度β(q,σ(q))動態(tài)調(diào)整，從而更好地捕捉不匹配的區(qū)域；此外，牙根邊緣損失函數(shù)reloss通過非線性組合的方式，使用冪函數(shù)控制整體損失，對高誤差區(qū)域施加更大的懲罰，使得模型能夠更有效地減少牙根區(qū)域的分割錯誤；為應對形狀不一致問題，reloss還引入了形狀懲罰顯著增強機制，通過β(o,σ(o))的冪次函數(shù)，進一步加強模型對形狀不一致區(qū)域的學習。

54、進一步地，所述步驟4中，對分割效果的評估，引入牙根缺失指標mr進行評估，同時引入miou度量值、dice系數(shù)、nsd指標進行輔助評估，若評估效果達到要求，則將分割圖像輸出，否則，重新進行掩碼分割；

55、所述牙根缺失指標mr，用以計算統(tǒng)計預測掩碼圖中牙根缺失部分與正確掩碼圖中牙根數(shù)量的比例，公式如下：

56、

57、其中，s表示預測掩碼缺失的牙根管數(shù)量，c表示真實掩碼的牙根管數(shù)量；mr比例越大，則表示對牙根分割的精度越低；

58、所述dice系數(shù)指標，公式如下：

59、

60、其中，x表示預測結(jié)果，y表示真實結(jié)果；當dice系數(shù)越大，則預測正確的結(jié)果和真實結(jié)果越相近，表示對牙齒分割的精度越高；

61、所述miou度量值指標，公式如下：

62、

63、其中，k表示類別的數(shù)量，圖像中存在的背景和目標的數(shù)量，i表示真實值，j表示預測值，pij表示將i預測成j時的值；當miou度量值越大，則預測正確的結(jié)果和真實結(jié)果越相近，則表示對牙齒分割的精度越高；

64、所述nsd指標，公式如下：

65、

66、其中，n表示數(shù)據(jù)點的總數(shù)，fi表示第i個數(shù)據(jù)點上的函數(shù)ｆ的值，gi表示第i個數(shù)據(jù)點上的函數(shù)g的值。

67、本發(fā)明的優(yōu)勢和有益效果在于：

68、（1）本發(fā)明在resnet-101網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合了精煉特征增強模塊，通過自適應平均池化操對特征進行壓縮，有效提高牙齒分割的準確性；

69、（2）本發(fā)明提出的牙根邊緣特征增強模塊，引入了牙根邊界輪廓對訓練過程進行監(jiān)督，采用特定復雜計算方式根據(jù)邊界線索對牙根輪廓特征進行增強，顯著提升了牙根邊緣的特征的提??；

70、（3）本發(fā)明提出了牙根邊緣損失函數(shù)對訓練過程進行監(jiān)督，通過對加權(quán)交叉熵和形狀不一致懲罰項的聯(lián)合計算，提高了模型的訓練效果。

71、（4）本發(fā)明提出了牙根缺失指標mr進行評估，對牙齒掩碼分割的精度進行評估，尤其是針對牙根部分在經(jīng)歷分割后，是否存在牙根缺失情況。