背景技術(shù)：

1、在醫(yī)療程序期間捕獲的基于光的圖像數(shù)據(jù)在此類程序期間和之后具有許多用途。例如，在醫(yī)療程序期間可以顯示來(lái)自內(nèi)窺鏡的醫(yī)療圖像數(shù)據(jù)，以幫助醫(yī)療人員執(zhí)行該程序。作為另一個(gè)示例，在醫(yī)療程序期間捕獲的醫(yī)療圖像數(shù)據(jù)可以用作計(jì)算機(jī)輔助醫(yī)療系統(tǒng)的控制信號(hào)。作為另一個(gè)示例，在醫(yī)療程序期間捕獲的醫(yī)療圖像數(shù)據(jù)也可以在醫(yī)療程序之后用于術(shù)后評(píng)估、診斷、指導(dǎo)等。

2、各種照射和圖像感測(cè)技術(shù)已被用于捕獲醫(yī)療程序的圖像。可見光譜發(fā)光源和圖像傳感器已被用于捕獲醫(yī)療程序的彩色(白光)圖像。不可見光譜圖像傳感器，有時(shí)與不可見光譜發(fā)光源配對(duì)，已被用于捕獲醫(yī)療程序的不可見光譜圖像。

技術(shù)實(shí)現(xiàn)思路

1、以下描述呈現(xiàn)了本文所述系統(tǒng)和方法的一個(gè)或多個(gè)方面的簡(jiǎn)化
技術(shù)實(shí)現(xiàn)要素：
。本發(fā)明內(nèi)容不是對(duì)所有預(yù)期方面的廣泛概述，并且既不旨在識(shí)別所有方面的關(guān)鍵或重要元件/元素(element)，也不旨在勾勒任何或所有方面的范圍。其唯一目的是呈現(xiàn)本文所述系統(tǒng)和方法的一個(gè)或多個(gè)方面，作為下文呈現(xiàn)的具體實(shí)施方式的前奏。

2、一種說(shuō)明性系統(tǒng)包括：存儲(chǔ)指令的存儲(chǔ)器；和一個(gè)或多個(gè)處理器，其通信地耦合到存儲(chǔ)器，并被配置為執(zhí)行所述指令以執(zhí)行包括以下項(xiàng)的過(guò)程：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；訪問在醫(yī)療程序期間由成像裝置捕獲的第二圖像序列，第二圖像序列包括第二圖像，第二圖像基于使用不可見光譜光的場(chǎng)景的照射；以及使用機(jī)器學(xué)習(xí)模塊處理第一圖像序列和第二圖像序列。

3、另一個(gè)說(shuō)明性系統(tǒng)包括：存儲(chǔ)指令的存儲(chǔ)器；和一個(gè)或多個(gè)處理器，其通信地耦合到存儲(chǔ)器，并被配置為執(zhí)行所述指令以執(zhí)行包括以下項(xiàng)的過(guò)程：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；將第一圖像提供給經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型，其中經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型已經(jīng)使用包括第二圖像的第二圖像序列進(jìn)行了訓(xùn)練；以及基于機(jī)器學(xué)習(xí)模型的輸出，對(duì)第一圖像序列執(zhí)行操作。

4、另一個(gè)說(shuō)明性系統(tǒng)包括：存儲(chǔ)指令的存儲(chǔ)器；和一個(gè)或多個(gè)處理器，其通信地耦合到存儲(chǔ)器，并被配置為執(zhí)行所述指令以執(zhí)行包括以下項(xiàng)的過(guò)程：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于通過(guò)可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；將第一圖像提供給經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型，其中經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型已經(jīng)使用包括第二圖像的第二圖像序列進(jìn)行了訓(xùn)練；以及基于機(jī)器學(xué)習(xí)模型的輸出生成預(yù)測(cè)。

5、一種說(shuō)明性方法包括：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；訪問在醫(yī)療程序期間由成像裝置捕獲的第二圖像序列，第二圖像序列包括第二圖像，第二圖像基于使用不可見光譜光的場(chǎng)景的照射；以及使用機(jī)器學(xué)習(xí)模塊處理第一圖像序列和第二圖像序列。

6、另一個(gè)說(shuō)明性方法包括：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；以及將第一圖像提供給經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型，其中經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型已經(jīng)使用包括第二圖像的第二圖像序列進(jìn)行了訓(xùn)練；以及基于機(jī)器學(xué)習(xí)模型的輸出，對(duì)第一圖像序列執(zhí)行操作。

7、另一個(gè)說(shuō)明性方法包括：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；將第一圖像提供給經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型，其中經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型已經(jīng)使用包括第二圖像的第二圖像序列進(jìn)行了訓(xùn)練；以及基于機(jī)器學(xué)習(xí)模型的輸出生成預(yù)測(cè)。

8、一種說(shuō)明性非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)可以存儲(chǔ)指令，所述指令在執(zhí)行時(shí)指導(dǎo)計(jì)算裝置的處理器：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；訪問在醫(yī)療程序期間由成像裝置捕獲的第二圖像序列，第二圖像序列包括第二圖像，第二圖像基于使用不可見光譜光的場(chǎng)景的照射；以及使用機(jī)器學(xué)習(xí)模塊處理第一圖像序列和第二圖像序列。

9、另一個(gè)說(shuō)明性非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)可以存儲(chǔ)指令，所述指令在執(zhí)行時(shí)指導(dǎo)計(jì)算裝置的處理器：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；以及將第一圖像提供給經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型，其中經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型已經(jīng)使用包括第二圖像的第二圖像序列進(jìn)行了訓(xùn)練；以及基于機(jī)器學(xué)習(xí)模型的輸出，對(duì)第一圖像序列執(zhí)行操作。

10、另一個(gè)說(shuō)明性非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)可以存儲(chǔ)指令，所述指令在執(zhí)行時(shí)指導(dǎo)計(jì)算裝置的處理器：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；將第一圖像提供給經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型，其中經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型已經(jīng)使用包括第二圖像的第二圖像序列進(jìn)行了訓(xùn)練；以及基于機(jī)器學(xué)習(xí)模型的輸出生成預(yù)測(cè)

技術(shù)特征：

1.一種系統(tǒng)，包括：

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述第二圖像基于紅外光的感測(cè)。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述紅外光包括由被照射的熒光團(tuán)發(fā)射的光。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述機(jī)器學(xué)習(xí)模塊包括機(jī)器學(xué)習(xí)算法，并且其中所述處理包括通過(guò)所述機(jī)器學(xué)習(xí)算法基于所述第一圖像序列和所述第二圖像序列訓(xùn)練機(jī)器學(xué)習(xí)模型。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述機(jī)器學(xué)習(xí)模塊包括經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型，并且其中所述處理包括通過(guò)所述經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型基于所述第一圖像序列和所述第二圖像序列生成預(yù)測(cè)。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中所述預(yù)測(cè)包括以下中的一個(gè)或多個(gè)：預(yù)測(cè)圖像、指示所述第一圖像序列或所述第二圖像序列中的一個(gè)或多個(gè)中的特征的預(yù)測(cè)標(biāo)簽、圖像分割、醫(yī)療程序的預(yù)測(cè)階段或與所述場(chǎng)景對(duì)應(yīng)的預(yù)測(cè)幾何形狀。

7.根據(jù)權(quán)利要求5所述的系統(tǒng)，所述過(guò)程還包括將所述預(yù)測(cè)提供給基于所述預(yù)測(cè)執(zhí)行操作的計(jì)算機(jī)輔助醫(yī)療系統(tǒng)。

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述處理包括基于所述第二圖像序列為所述第一圖像序列生成標(biāo)簽。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中所述處理還包括基于所述第一圖像序列和所述標(biāo)簽訓(xùn)練機(jī)器學(xué)習(xí)模型。

10.一種系統(tǒng)，包括：

11.根據(jù)權(quán)利要求10所述的系統(tǒng)，所述過(guò)程還包括基于所述機(jī)器學(xué)習(xí)模型的所述輸出，生成用于與計(jì)算機(jī)輔助醫(yī)療系統(tǒng)一起使用的預(yù)測(cè)。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，所述過(guò)程還包括基于所述預(yù)測(cè)，通過(guò)所述計(jì)算機(jī)輔助醫(yī)療系統(tǒng)的顯示器顯示用戶接口。

13.根據(jù)權(quán)利要求11所述的系統(tǒng)，所述過(guò)程還包括基于所述預(yù)測(cè)，控制所述計(jì)算機(jī)輔助醫(yī)療系統(tǒng)的部件的移動(dòng)。

14.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述輸出包括所述第一圖像中的圖像的修改版本，并且其中所述操作包括顯示所述圖像的所述修改版本。

15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述圖像的所述修改版本包括所述圖像的分割。

16.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述操作包括以下中的一個(gè)或多個(gè)：分割所述第一圖像中的圖像、標(biāo)記所述圖像、對(duì)所述圖像進(jìn)行分類、重建所述場(chǎng)景的幾何形狀或度量，或識(shí)別所述圖像中描繪的特征。

17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述輸出包括與所述圖像相關(guān)聯(lián)的標(biāo)簽，并且其中所述標(biāo)簽包括組織的類型、器官的識(shí)別中的至少一個(gè)的指示或?qū)ο蟮念愋偷闹甘尽?/p>

18.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述操作包括以下中的一個(gè)或多個(gè)：在所述第一圖像中的圖像中標(biāo)記解剖特征或增強(qiáng)所述圖像中的解剖特征。

19.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述操作包括確定與第一圖像相關(guān)聯(lián)的類別。

20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述類別包括所述醫(yī)療程序的階段。

21.根據(jù)權(quán)利要求10所述的系統(tǒng)，所述過(guò)程還包括：

22.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述第二圖像基于使用不可見光譜光的所述場(chǎng)景的照射。

23.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述第二圖像基于使用不可見光譜光的與不同醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射。

24.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述第二圖像包括具有基于不可見光圖像生成的標(biāo)簽的可見光圖像。

25.一種系統(tǒng)，包括：

26.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述預(yù)測(cè)被提供給計(jì)算機(jī)輔助醫(yī)療系統(tǒng)。

27.根據(jù)權(quán)利要求26所述的系統(tǒng)，其中所述計(jì)算機(jī)輔助醫(yī)療系統(tǒng)基于所述預(yù)測(cè)執(zhí)行操作。

28.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述過(guò)程還包括基于所述預(yù)測(cè)對(duì)計(jì)算機(jī)輔助醫(yī)療系統(tǒng)執(zhí)行操作。

29.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中執(zhí)行所述操作包括以下中的一個(gè)或多個(gè)：通過(guò)所述計(jì)算機(jī)輔助醫(yī)療系統(tǒng)的顯示器顯示圖形用戶接口，通過(guò)所述計(jì)算機(jī)輔助醫(yī)療系統(tǒng)的所述顯示器顯示被包括在所述第一圖像中的圖像，或者控制所述計(jì)算機(jī)輔助醫(yī)療系統(tǒng)的部件的移動(dòng)。

30.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述預(yù)測(cè)被提供給被配置為生成的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。

31.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述預(yù)測(cè)包括以下中的一個(gè)或多個(gè)：解剖標(biāo)簽、第一圖像的分割、組織內(nèi)解剖特征的記號(hào)或增強(qiáng)的第一圖像。

32.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述經(jīng)訓(xùn)練機(jī)器學(xué)習(xí)模型包括回歸模型、決策樹模型、隨機(jī)森林模型、邏輯回歸模型、支持向量機(jī)模型、樸素貝葉斯分類器模型、線性回歸模型或神經(jīng)網(wǎng)絡(luò)模型。

33.根據(jù)權(quán)利要求25所述的系統(tǒng)，還包括基于所述預(yù)測(cè)，修改或標(biāo)記被包括在所述第一圖像中的圖像。

34.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中所修改或標(biāo)記的圖像被提供給計(jì)算機(jī)輔助醫(yī)療系統(tǒng)。

35.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述第二圖像基于使用不可見光譜光的所述場(chǎng)景的照射。

36.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述第二圖像基于使用不可見光譜光的與不同醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射。

37.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述第二圖像包括具有基于不可見光圖像生成的標(biāo)簽的可見光圖像。

38.一種由一個(gè)或多個(gè)計(jì)算裝置執(zhí)行的方法，所述方法包括：

39.一種由一個(gè)或多個(gè)計(jì)算裝置執(zhí)行的方法，所述方法包括：

40.一種由一個(gè)或多個(gè)計(jì)算裝置執(zhí)行的方法，所述方法包括：

41.一種存儲(chǔ)指令的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述指令在執(zhí)行時(shí)指導(dǎo)計(jì)算裝置的處理器：

42.一種存儲(chǔ)指令的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述指令在執(zhí)行時(shí)指導(dǎo)計(jì)算裝置的處理器：

43.一種存儲(chǔ)指令的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述指令在執(zhí)行時(shí)指導(dǎo)計(jì)算裝置的處理器：

技術(shù)總結(jié)
說(shuō)明性系統(tǒng)可以訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關(guān)聯(lián)的場(chǎng)景的照射；訪問在醫(yī)療程序期間由成像裝置捕獲的第二圖像序列，第二圖像序列包括第二圖像，第二圖像基于使用不可見光譜光的場(chǎng)景的照射；并將第一圖像序列和第二圖像序列提供給機(jī)器學(xué)習(xí)模塊。

技術(shù)研發(fā)人員：A·M·扎克,T·W·羅杰斯
受保護(hù)的技術(shù)使用者：直觀外科手術(shù)操作公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/28