本申請(qǐng)涉及計(jì)算機(jī)視覺，具體涉及一種文本交互式微創(chuàng)手術(shù)器械分割方法及系統(tǒng)。

背景技術(shù)：

1、微創(chuàng)手術(shù)是指借助內(nèi)鏡設(shè)備以較小的創(chuàng)傷切口進(jìn)入體內(nèi)進(jìn)行操作的手術(shù)方案，是消化內(nèi)科、心胸外科、普外科、泌尿外科等學(xué)科的首選治療方法。近年來，隨著新一代信息技術(shù)和醫(yī)療行業(yè)的深度融合，微創(chuàng)手術(shù)開始向智能化方向演進(jìn)。微創(chuàng)手術(shù)機(jī)器人可以提升醫(yī)生操作的靈活度、穩(wěn)定性、和精確度，并協(xié)助醫(yī)生進(jìn)行更困難、更精準(zhǔn)的手術(shù)。考慮到患者體內(nèi)操作空間狹小、脆弱易傷，機(jī)器人輔助微創(chuàng)手術(shù)必須使用手術(shù)器械分割算法獲取手術(shù)器械的精確位置和位姿，從而提升醫(yī)生對(duì)手術(shù)過程的感知和理解，保障手術(shù)的安全穩(wěn)定運(yùn)行。

2、隨著深度神經(jīng)網(wǎng)絡(luò)與醫(yī)學(xué)影像分析技術(shù)的發(fā)展，相關(guān)領(lǐng)域的研究人員提出了多種手術(shù)器械分割的技術(shù)方案。近年來的相關(guān)研究表明，現(xiàn)有分割模型雖然能提供較為準(zhǔn)確的包含器械的二進(jìn)制前景掩膜預(yù)測(cè)結(jié)果，卻難以區(qū)分不同器械的類別，原因如下：現(xiàn)今最先進(jìn)的方法(如：s3net、trasetr及matis等)均聚焦于視覺端，先采用圖像編碼器提取輸入影像的視覺特征，并采用實(shí)例分割解碼器將所提取視覺特征轉(zhuǎn)換為二進(jìn)制手術(shù)器械掩膜，再通過視覺語義特征對(duì)所預(yù)測(cè)掩膜進(jìn)行分類。然而，由于這些模型未能考慮到有關(guān)器械描述的文本語義，僅通過視覺特征去理解抽象的類別信息，受限于手術(shù)器械的相似性以及像素標(biāo)注的稀缺性，其分割性能仍不理想，無法滿足臨床手術(shù)的精度和安全性需求；此外，隨著微創(chuàng)手術(shù)的快速發(fā)展，所使用的器械種類數(shù)量激增，目前的微創(chuàng)手術(shù)器械分割算法不足以適應(yīng)不斷增加的手術(shù)器械種類，每當(dāng)引入新的器械類別時(shí)就需要重新標(biāo)注數(shù)據(jù)和訓(xùn)練模型，這嚴(yán)重阻礙了手術(shù)器械分割技術(shù)在微創(chuàng)手術(shù)領(lǐng)域的實(shí)際應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┝艘环N文本交互式微創(chuàng)手術(shù)器械分割方法，以解決現(xiàn)有技術(shù)中，現(xiàn)有方法器械間區(qū)分能力弱以及預(yù)測(cè)標(biāo)簽空間固定不可變的的問題。

2、相應(yīng)的，本申請(qǐng)還提供了一種文本交互式微創(chuàng)手術(shù)器械分割系統(tǒng)、一種電子設(shè)備、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于保證上述方法的實(shí)現(xiàn)及應(yīng)用。

3、為了解決上述技術(shù)問題，本申請(qǐng)公開了一種文本交互式微創(chuàng)手術(shù)器械分割方法，所述方法包括：

4、生成器械的文本提示信息；文本提示信息包括器械類別名稱、器械外觀描述和器械功能描述；

5、基于視覺-語言大模型對(duì)手術(shù)影像和文本提示信息進(jìn)行特征提取，獲得視覺-文本特征對(duì)；視覺-文本特征對(duì)包括視覺特征和文本特征；

6、根據(jù)文本特征對(duì)視覺特征進(jìn)行強(qiáng)化與精煉，生成對(duì)應(yīng)各類器械的掩膜概率圖；

7、對(duì)同一器械類別的不同文本提示信息對(duì)應(yīng)的多個(gè)掩膜概率圖進(jìn)行加權(quán)融合，獲得融合掩膜概率圖；

8、對(duì)手術(shù)影像中的困難分割區(qū)域進(jìn)行掩碼后輸入預(yù)設(shè)圖像編碼器，并添加對(duì)應(yīng)的解碼器執(zhí)行圖像重構(gòu)；其中，困難分割區(qū)域通過解析融合掩膜概率圖和預(yù)設(shè)標(biāo)簽之間的對(duì)應(yīng)關(guān)系獲得。

9、本申請(qǐng)還公開了一種文本交互式微創(chuàng)手術(shù)器械分割系統(tǒng)，所述系統(tǒng)包括：

10、文本提示生成模塊，用于生成器械的文本提示信息；文本提示信息包括器械類別名稱、器械外觀描述和器械功能描述；

11、編碼器模塊，用于基于視覺-語言大模型對(duì)手術(shù)影像和文本提示信息進(jìn)行特征提取，獲得視覺-文本特征對(duì)；視覺-文本特征對(duì)包括視覺特征和文本特征；

12、掩膜解碼器模塊，用于根據(jù)文本特征對(duì)視覺特征進(jìn)行強(qiáng)化與精煉，生成對(duì)應(yīng)各類器械的掩膜概率圖；

13、混合提示預(yù)測(cè)融合模塊，用于對(duì)同一器械類別的不同文本提示信息對(duì)應(yīng)的多個(gè)掩膜概率圖進(jìn)行加權(quán)融合，獲得融合掩膜概率圖；

14、困難分割區(qū)域強(qiáng)化模塊，用于對(duì)手術(shù)影像中的困難分割區(qū)域進(jìn)行掩碼后輸入預(yù)設(shè)圖像編碼器，并添加對(duì)應(yīng)的解碼器執(zhí)行圖像重構(gòu)；其中，困難分割區(qū)域通過解析融合掩膜概率圖和預(yù)設(shè)標(biāo)簽之間的對(duì)應(yīng)關(guān)系獲得。

15、本申請(qǐng)還公開了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行程序時(shí)實(shí)現(xiàn)本申請(qǐng)中一個(gè)或多個(gè)所述的方法。

16、本申請(qǐng)還公開了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本申請(qǐng)中一個(gè)或多個(gè)所述的方法。

17、本申請(qǐng)中，生成包括器械類別名稱、器械外觀描述和器械功能描述的文本提示信息，從輸入文本端幫助緩解了手術(shù)器械的相似以及像素標(biāo)注的稀缺帶來的模型語義分割性能不理想的問題，為文本交互式微創(chuàng)手術(shù)器械分割提供了重要的文本提示?；谝曈X-語言大模型對(duì)手術(shù)影像和文本提示信息進(jìn)行特征提取，獲得包括視覺特征和文本特征的視覺-文本特征對(duì)，實(shí)現(xiàn)了視覺和文本特征的對(duì)齊。根據(jù)文本特征對(duì)視覺特征進(jìn)行強(qiáng)化與精煉，生成對(duì)應(yīng)各類器械的掩膜概率圖，使模型能夠更準(zhǔn)確地識(shí)別出手術(shù)器械的位置與類別，以提高微創(chuàng)手術(shù)器械分割的精度。對(duì)同一器械類別的不同文本提示信息對(duì)應(yīng)的多個(gè)掩膜概率圖進(jìn)行加權(quán)融合，獲得融合掩膜概率圖，從而提升模型對(duì)于多樣化輸入文本的適應(yīng)能力。通過解析融合掩膜概率圖和預(yù)設(shè)標(biāo)簽之間的對(duì)應(yīng)關(guān)系，挖掘出困難分割區(qū)域，進(jìn)而對(duì)手術(shù)影像中的困難分割區(qū)域進(jìn)行掩碼后輸入預(yù)設(shè)圖像編碼器，并添加對(duì)應(yīng)的解碼器執(zhí)行圖像重構(gòu)，增強(qiáng)了模型對(duì)手術(shù)器械的困難分割區(qū)域及邊緣細(xì)節(jié)的分割預(yù)測(cè)精度。

18、本申請(qǐng)中的方法能夠在輸入手術(shù)影像上對(duì)不同手術(shù)器械進(jìn)行靈活而精確的掩膜分割預(yù)測(cè)。并且，本申請(qǐng)中的方法除了能在標(biāo)準(zhǔn)數(shù)據(jù)集上經(jīng)過訓(xùn)練的基礎(chǔ)類上獲得精確的預(yù)測(cè)結(jié)果外，也能夠在訓(xùn)練階段未見的新類別上獲得可觀的分割精度，突破了現(xiàn)有方法分割精度低、泛化能力差以及預(yù)測(cè)類別固定的限制。

19、本申請(qǐng)附加的方面和優(yōu)點(diǎn)將在下面的描述部分中給出，這些將從下面的描述中變得明顯，或通過本申請(qǐng)的實(shí)踐了解到。

技術(shù)特征：

1.一種文本交互式微創(chuàng)手術(shù)器械分割方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的文本交互式微創(chuàng)手術(shù)器械分割方法，其特征在于，所述生成器械的文本提示信息，包括：

3.根據(jù)權(quán)利要求1所述的文本交互式微創(chuàng)手術(shù)器械分割方法，其特征在于，所述視覺-語言大模型包括圖像編碼器和文本編碼器；

4.根據(jù)權(quán)利要求1所述的文本交互式微創(chuàng)手術(shù)器械分割方法，其特征在于，所述根據(jù)所述文本特征對(duì)所述視覺特征進(jìn)行強(qiáng)化與精煉，生成對(duì)應(yīng)各類器械的掩膜概率圖，包括：

5.根據(jù)權(quán)利要求2所述的文本交互式微創(chuàng)手術(shù)器械分割方法，其特征在于，所述基于注意力機(jī)制對(duì)所述視覺特征和所述文本特征進(jìn)行解碼，獲得基于注意力的文本提示特征，包括：

6.根據(jù)權(quán)利要求4所述的文本交互式微創(chuàng)手術(shù)器械分割方法，其特征在于，所述基于卷積操作對(duì)所述文本提示特征進(jìn)行處理，獲得所述掩膜概率圖，包括：

7.根據(jù)權(quán)利要求1所述的文本交互式微創(chuàng)手術(shù)器械分割方法，其特征在于，所述對(duì)同一器械類別的不同文本提示信息對(duì)應(yīng)的多個(gè)掩膜概率圖進(jìn)行加權(quán)融合，獲得融合掩膜概率圖，包括：

8.一種文本交互式微創(chuàng)手術(shù)器械分割系統(tǒng)，其特征在于，所述系統(tǒng)包括：

9.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，公開了一種文本交互式微創(chuàng)手術(shù)器械分割方法及系統(tǒng)，生成器械的文本提示信息，基于視覺?語言大模型對(duì)手術(shù)影像和文本提示信息進(jìn)行特征提??；根據(jù)文本特征對(duì)視覺特征進(jìn)行強(qiáng)化與精煉，生成對(duì)應(yīng)各類器械的掩膜概率圖；對(duì)同一器械類別的不同文本提示信息對(duì)應(yīng)的多個(gè)掩膜概率圖進(jìn)行加權(quán)融合；通過解析融合掩膜概率圖和預(yù)設(shè)標(biāo)簽之間的對(duì)應(yīng)關(guān)系獲得困難分割區(qū)域，對(duì)手術(shù)影像中的困難分割區(qū)域進(jìn)行掩碼后輸入預(yù)設(shè)圖像編碼器，并添加對(duì)應(yīng)的解碼器執(zhí)行圖像重構(gòu)。該方法能夠在輸入手術(shù)影像上對(duì)不同手術(shù)器械進(jìn)行靈活而精確的掩膜分割預(yù)測(cè)，并且突破了現(xiàn)有方法分割精度低、泛化能力差以及預(yù)測(cè)類別固定的限制。

技術(shù)研發(fā)人員：史淼晶,周子鍵,李婧瑤,岳子杰
受保護(hù)的技術(shù)使用者：同濟(jì)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2