本發(fā)明涉及電子設(shè)備,具體涉及鼻內(nèi)翻性乳頭狀瘤識別系統(tǒng)、電子設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、鼻內(nèi)翻性乳頭狀瘤(sip),作為鼻腔與鼻竇區(qū)域最為普遍的良性腫瘤類型,占據(jù)了該類原發(fā)性腫瘤總數(shù)的7%。尤為關(guān)鍵的是,sip患者群體中約有7%至11%面臨著向鱗狀細(xì)胞癌(sip-scc)惡性轉(zhuǎn)化的風(fēng)險。鑒于sip與sip-scc在治療策略上的顯著差異及sip-scc預(yù)后較差的情況,對兩者的精確區(qū)分在治療決策中至關(guān)重要。sip-scc的治療往往要求更廣泛的手術(shù)切除,并可能伴隨術(shù)后輔助放療或放化療。然而,sip-scc的高局部復(fù)發(fā)率部分歸因于術(shù)前誤診,這導(dǎo)致部分患者未能接受適宜的治療方案。因此,在手術(shù)前的階段,準(zhǔn)確地將sip與sip-scc區(qū)分開來變得極其重要。盡管術(shù)前穿刺活檢目前被視為診斷的金標(biāo)準(zhǔn),但其局限性不容忽視,包括準(zhǔn)確性不足、取樣誤差以及給患者帶來的創(chuàng)傷等。此外,依賴人眼進(jìn)行醫(yī)學(xué)圖像分析亦有其限制,如難以全面捕捉圖像中的關(guān)鍵信息且易受評估者個人經(jīng)驗(yàn)和主觀判斷的影響。鑒于此,開發(fā)一種能夠精確識別鼻內(nèi)翻性乳頭狀瘤相關(guān)采集圖像的技術(shù)方案顯得尤為迫切。這樣的技術(shù)不僅能夠提高診斷的準(zhǔn)確率,減少誤診風(fēng)險,還能為患者提供更加個性化和精準(zhǔn)的治療方案,從而改善整體治療效果和患者的生活質(zhì)量。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)的目的在于提供鼻內(nèi)翻性乳頭狀瘤識別系統(tǒng)、電子設(shè)備及存儲介質(zhì),可以實(shí)現(xiàn)對鼻內(nèi)翻性乳頭狀瘤相關(guān)采集圖像準(zhǔn)確識別的方案。
2、根據(jù)本技術(shù)實(shí)施例的第一方面,提供一種鼻內(nèi)翻性乳頭狀瘤系統(tǒng),所述
3、數(shù)據(jù)預(yù)處理模塊,用于對輸入的第一鼻內(nèi)鏡圖像和第一t2w-mri圖像進(jìn)行標(biāo)準(zhǔn)化處理,得到第二鼻內(nèi)鏡圖像和第二t2w-mri圖像;其中,所述第一鼻內(nèi)鏡圖像和所述第一t2w-mri圖像是從同一目標(biāo)對象鼻部采集到的圖像;
4、圖像分割模型,用于對所述第二鼻內(nèi)鏡圖像和所述第二t2w-mri圖像進(jìn)行分割處理,標(biāo)記鼻內(nèi)翻性乳頭狀瘤區(qū)域;
5、圖像分類模型,用于對被標(biāo)記出所述鼻內(nèi)翻性乳頭狀瘤區(qū)域的所述第二鼻內(nèi)鏡圖像和所述第二t2w-mri圖像進(jìn)行分類處理,分別得到第一預(yù)測分類結(jié)果和第二預(yù)測分類結(jié)果;
6、融合模塊,用于對所述第一預(yù)測分類結(jié)果和所述第二預(yù)測分類結(jié)果進(jìn)行融合處理,得到對所述目標(biāo)對象的鼻內(nèi)翻性乳頭狀瘤的圖像識別結(jié)果。
7、在一種實(shí)施方式中,所述圖像分割模型包括:第一圖像分割模型和第二圖像分割模型;
8、所述系統(tǒng)還包括:圖像分割模型訓(xùn)練模塊,用于:
9、將鼻內(nèi)鏡圖像樣本輸入到第一待訓(xùn)練模型,訓(xùn)練得到用于對所述第二鼻內(nèi)鏡圖像分割的第一圖像分割模型;
10、將t2w-mri圖像樣本輸入到第二待訓(xùn)練模型,訓(xùn)練得到用于對所述第二t2w-mri圖像分割的第二圖像分割模型。
11、在一種實(shí)施方式中,所述圖像分類模型包括:第一圖像分類模型和第二圖像分類模型;
12、所述系統(tǒng)還包括:圖像分類模型訓(xùn)練模塊,用于:
13、將鼻內(nèi)鏡分割圖像樣本輸入到第三待訓(xùn)練模型,訓(xùn)練得到用于對所述第二鼻內(nèi)鏡圖像分類處理的第一圖像分類模型;
14、將t2w-mri分割圖像樣本輸入到第四待訓(xùn)練模型,訓(xùn)練得到用于對所述第二圖像分類模型。
15、在一種實(shí)施方式中,所述數(shù)據(jù)預(yù)處理模塊,還用于將所述t2w-mri圖像及其分割標(biāo)簽的解剖方向統(tǒng)一標(biāo)準(zhǔn)化為ras坐標(biāo)系,并對圖像和分割標(biāo)簽進(jìn)行重采樣處理,使所述t2w-mri圖像及其分割標(biāo)簽體素大小一致。
16、在一種實(shí)施方式中,所述圖像分割模型訓(xùn)練模塊,用于:訓(xùn)練過程中使用,diceloss和交叉熵?fù)p失(cross-entropy?loss)的組合得到diceceloss作為損失函數(shù)
17、。
18、
19、在一種實(shí)施方式中,所述圖像分割模型訓(xùn)練模塊,用于采用滑動窗口技術(shù)和keeplargestconnectedcomponent函數(shù)對分割結(jié)果進(jìn)行后處理,清理錯誤識別的散亂體素。
20、在一種實(shí)施方式中,所述分類模型訓(xùn)練模塊采用余弦衰減學(xué)習(xí)率策略進(jìn)行訓(xùn)練,動態(tài)調(diào)整學(xué)習(xí)率以提高模型的訓(xùn)練效果和穩(wěn)定性。
21、在一種實(shí)施方式中,所述系統(tǒng)還包括用戶交互界面,用于顯示輸入的鼻內(nèi)鏡圖像和t2w-mri圖像、分割結(jié)果、分類預(yù)測結(jié)果以及輔助識別信息。。
22、根據(jù)本技術(shù)實(shí)施例的第二方面,提供一種電子設(shè)備,包括存儲器與處理器,所述存儲器用于存儲所述處理器可執(zhí)行的計算機(jī)程序;所述處理器用于執(zhí)行所述存儲器中的計算機(jī)程序,以用于:
23、對輸入的第一鼻內(nèi)鏡圖像和第一t2w-mri圖像進(jìn)行標(biāo)準(zhǔn)化處理,得到第二鼻內(nèi)鏡圖像和第二t2w-mri圖像;其中,所述第一鼻內(nèi)鏡圖像和所述第一t2w-mri圖像是從同一目標(biāo)對象鼻部采集到的圖像;
24、對所述第二鼻內(nèi)鏡圖像和所述第二t2w-mri圖像進(jìn)行分割處理,標(biāo)記鼻內(nèi)翻性乳頭狀瘤區(qū)域;
25、對被標(biāo)記出所述鼻內(nèi)翻性乳頭狀瘤區(qū)域的所述第二鼻內(nèi)鏡圖像和所述第二t2w-mri圖像進(jìn)行分類處理,分別得到第一預(yù)測分類結(jié)果和第二預(yù)測分類結(jié)果;
26、對所述第一預(yù)測分類結(jié)果和所述第二預(yù)測分類結(jié)果進(jìn)行融合處理,得到對所述目標(biāo)對象的鼻內(nèi)翻性乳頭狀瘤的圖像識別結(jié)果。
27、根據(jù)本技術(shù)實(shí)施例的第三方面,提供一種計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,其特征在于,當(dāng)所述存儲介質(zhì)中的可執(zhí)行的計算機(jī)程序由處理器執(zhí)行時,能夠用于:
28、對輸入的第一鼻內(nèi)鏡圖像和第一t2w-mri圖像進(jìn)行標(biāo)準(zhǔn)化處理,得到第二鼻內(nèi)鏡圖像和第二t2w-mri圖像;其中,所述第一鼻內(nèi)鏡圖像和所述第一t2w-mri圖像是從同一目標(biāo)對象鼻部采集到的圖像;
29、對所述第二鼻內(nèi)鏡圖像和所述第二t2w-mri圖像進(jìn)行分割處理,標(biāo)記鼻內(nèi)翻性乳頭狀瘤區(qū)域;
30、對被標(biāo)記出所述鼻內(nèi)翻性乳頭狀瘤區(qū)域的所述第二鼻內(nèi)鏡圖像和所述第二t2w-mri圖像進(jìn)行分類處理,分別得到第一預(yù)測分類結(jié)果和第二預(yù)測分類結(jié)果;
31、對所述第一預(yù)測分類結(jié)果和所述第二預(yù)測分類結(jié)果進(jìn)行融合處理,得到對所述目標(biāo)對象的鼻內(nèi)翻性乳頭狀瘤的圖像識別結(jié)果。
32、與現(xiàn)有技術(shù)相比,本技術(shù)的有益效果在于:數(shù)據(jù)預(yù)處理模塊,用于對輸入的第一鼻內(nèi)鏡圖像和第一t2w-mri圖像進(jìn)行標(biāo)準(zhǔn)化處理,得到第二鼻內(nèi)鏡圖像和第二t2w-mri圖像;其中,所述第一鼻內(nèi)鏡圖像和所述第一t2w-mri圖像是從同一目標(biāo)對象鼻部采集到的圖像;圖像分割模型,用于對所述第二鼻內(nèi)鏡圖像和所述第二t2w-mri圖像進(jìn)行分割處理,標(biāo)記鼻內(nèi)翻性乳頭狀瘤區(qū)域;圖像分類模塊,用于對被標(biāo)記出所述鼻內(nèi)翻性乳頭狀瘤區(qū)域的所述第二鼻內(nèi)鏡圖像和所述第二t2w-mri圖像進(jìn)行分類處理,分別得到第一預(yù)測分類結(jié)果和第二預(yù)測分類結(jié)果;融合模塊,用于對所述第一預(yù)測分類結(jié)果和所述第二預(yù)測分類結(jié)果進(jìn)行融合處理,得到對所述目標(biāo)對象的鼻內(nèi)翻性乳頭狀瘤的圖像識別結(jié)果。通過上述方案,在分割與分類階段,將內(nèi)鏡模型的預(yù)測結(jié)果與t2w-mri模型的預(yù)測結(jié)果相結(jié)合,通過邏輯回歸方法評估這兩種模態(tài)圖像聯(lián)合預(yù)測的準(zhǔn)確率。