本公開涉及圖像分割，尤其涉及一種圖像分割方法、裝置、設備及介質(zhì)。

背景技術：

1、在醫(yī)療機器人控制領域，機器人通常需要對采集的圖像進行分割后來制定規(guī)劃方案，然后，通過人工審核方式對規(guī)劃方案進行審核，以確保規(guī)劃方案的準確性和基于規(guī)劃方案進行作業(yè)的安全性。

2、目前，機器人通常僅根據(jù)采集的圖像的圖像特征來分割圖像，這種分割方式的分割準確性較低，導致制定的規(guī)劃方案不準確，進而需要人工修正規(guī)劃方案或者重新標注規(guī)劃方案。因此，有必要提供一種新的圖像分割方法，以提高分割精度，進而提高規(guī)劃方案的準確性并降低規(guī)劃方案的審核成本。

技術實現(xiàn)思路

1、為了解決上述技術問題，本公開提供了一種圖像分割方法、裝置、設備及介質(zhì)。

2、第一方面，本公開提供了一種圖像分割方法，包括：

3、獲取原始圖像的圖像位置編碼、原始圖像上用戶觸發(fā)信息的提示位置編碼以及原始圖像的描述文本；

4、利用預先獲取的編碼器，對所述圖像位置編碼、所述提示位置編碼和所述描述文本進行處理，獲取圖像位置編碼對應的圖像編碼特征、提示位置編碼對應的提示編碼特征以及描述文本對應的文本編碼特征；

5、對所述圖像編碼特征、所述提示編碼特征和所述文本編碼特征進行特征融合處理，生成融合編碼特征；

6、利用預先獲取的解碼器，對所述融合編碼特征進行處理，生成所述原始圖像的目標分割結果。

7、第二方面，本公開提供了一種圖像分割裝置，包括：

8、信息獲取模塊，用于獲取原始圖像的圖像位置編碼、原始圖像上用戶觸發(fā)信息的提示位置編碼以及原始圖像的描述文本；

9、編碼模塊，用于利用預先獲取的編碼器，對所述圖像位置編碼、所述提示位置編碼和所述描述文本進行處理，獲取圖像位置編碼對應的圖像編碼特征、提示位置編碼對應的提示編碼特征以及描述文本對應的文本編碼特征；

10、特征融合模塊，用于對所述圖像編碼特征、所述提示編碼特征和所述文本編碼特征進行特征融合處理，生成融合編碼特征；

11、解碼模塊，用于利用預先獲取的解碼器，對所述融合編碼特征進行處理，生成所述原始圖像的目標分割結果。

12、第三方面，本公開實施例還提供了一種電子設備，該設備包括：

13、一個或多個處理器；

14、存儲裝置，用于存儲一個或多個程序，

15、當一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)第一方面所提供的方法。

16、第四方面，本公開實施例還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)第一方面所提供的方法。

17、本公開實施例提供的技術方案與現(xiàn)有技術相比具有如下優(yōu)點：

18、本公開實施例的一種圖像分割方法、裝置、設備及介質(zhì)，包括：獲取原始圖像的圖像位置編碼、原始圖像上用戶觸發(fā)信息的提示位置編碼以及原始圖像的描述文本；利用預先獲取的編碼器，對圖像位置編碼、提示位置編碼和描述文本進行處理，獲取圖像位置編碼對應的圖像編碼特征、提示位置編碼對應的提示編碼特征以及描述文本對應的文本編碼特征；對圖像編碼特征、提示編碼特征和文本編碼特征進行特征融合處理，生成融合編碼特征；利用預先獲取的解碼器，對融合編碼特征進行處理，生成原始圖像的目標分割結果。由此，首先對由原始圖像、原始圖像的標注信息以及原始圖像的描述信息構成的多模態(tài)信息進行編碼處理，再對編碼結果融合后進行解碼處理，以實現(xiàn)圖像分割。因此，利用了圖像的多模態(tài)信息進行圖像分割，提高了圖像分割的準確性，進而提高規(guī)劃方案的準確性并降低規(guī)劃方案的審核成本。

技術特征：

1.一種圖像分割方法，其特征在于，包括：

2.根據(jù)權利要求1所述的方法，其特征在于，所述獲取原始圖像的圖像位置編碼、原始圖像上用戶觸發(fā)信息的提示位置編碼，包括：

3.根據(jù)權利要求1所述的方法，其特征在于，所述對所述圖像編碼特征、所述提示編碼特征和所述文本編碼特征進行特征融合處理，生成融合編碼特征，包括：

4.根據(jù)權利要求3所述的方法，其特征在于，所述提示編碼特征包括關鍵點編碼特征和檢測框編碼特征；

5.根據(jù)權利要求3所述的方法，其特征在于，所述利用預先獲取的特征融合器，對所述提示編碼特征和所述圖像編碼特征進行特征融合處理，生成所述融合編碼特征，包括：

6.根據(jù)權利要求1所述的方法，其特征在于，所述利用預先獲取的解碼器，對所述融合編碼特征進行處理，生成所述原始圖像的目標分割結果，包括：

7.根據(jù)權利要求1所述的方法，其特征在于，還包括：

8.一種圖像分割裝置，其特征在于，包括：

9.一種電子設備，其特征在于，包括：

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述存儲介質(zhì)存儲有計算機程序，當所述計算機程序被處理器執(zhí)行時，使得處理器實現(xiàn)上述權利要求1-7中任一項所述的方法。

技術總結
本公開涉及一種圖像分割方法、裝置、設備及介質(zhì)。包括：獲取原始圖像的圖像位置編碼、原始圖像上用戶觸發(fā)信息的提示位置編碼以及原始圖像的描述文本；利用預先獲取的編碼器，對圖像位置編碼、提示位置編碼和描述文本進行處理，獲取圖像位置編碼對應的圖像編碼特征、提示位置編碼對應的提示編碼特征以及描述文本對應的文本編碼特征；對圖像編碼特征、提示編碼特征和文本編碼特征進行特征融合處理，生成融合編碼特征；利用預先獲取的解碼器，對融合編碼特征進行處理，生成原始圖像的目標分割結果。這樣，利用了圖像的多模態(tài)信息進行圖像分割，提高了圖像分割的準確性，進而提高規(guī)劃方案的準確性并降低規(guī)劃方案的審核成本。

技術研發(fā)人員：王琪,李春陽,張鑫,楊靜宇,包云凱
受保護的技術使用者：北京納通醫(yī)用機器人科技有限公司
技術研發(fā)日：
技術公布日：2025/1/2