專利名稱：用于外科手術干預的臨床上重要的解剖標志的視覺跟蹤和注釋的制作方法
技術領域：
本發(fā)明的當前要求保護的實施方式的領域涉及一種在外科手術過程中獲取并顯 示信息的系統(tǒng)及方法，更具體地涉及一種獲取和顯示信息的系統(tǒng)和方法，獲取和顯示信息包括對外科手術裝置的視覺跟蹤和對所顯示信息的注釋。
2.
背景技術：
當前，外科醫(yī)生使用用于對小組織區(qū)域進行手術的許多手術間診斷設備及外科手術設備和/或治療設備，例如，腹腔鏡超聲設備和/或射頻(RF)消融設備。外科醫(yī)生通過視頻饋送觀察設備相對于解剖結構的位置。在診斷裝置的情況下，外科醫(yī)生必須記錄該位置和成像結果并隨時間推移利用解剖結構跟蹤該位置。隨時間推移，外科醫(yī)生為了介入或檢查會想要再訪特定解剖結構。如果外科醫(yī)生記不起或不確定與特定區(qū)相關聯(lián)的先前診斷圖像的位置或內容，則診斷設備可能必須被再引入到手術場，這會耗費時間。在外科手術設備的情況下，外科醫(yī)生必須相對于一些可見標志給已經治療的區(qū)繪圖。這在治療處于目標組織內部或不改變組織的外觀時是困難的。要避免遺漏的治療位置、過度治療的治療位置或不正確的治療位置。外科醫(yī)生可以選擇檢查或治療可以稀疏地定位的多個解剖區(qū)域，例如10個標志。這在已具有挑戰(zhàn)性的微創(chuàng)過程中給外科醫(yī)生增加了認知負擔。此外，解剖結構可能自然地或由于介入本身而扭曲或改變顏色，這增加了跟蹤相關標志和相關聯(lián)的手術間信息的困難。例如，在玻璃體視網膜外科手術的情況下，用眼內成像探針詢問視網膜是非常罕見的。然而，在發(fā)現(xiàn)新的實時的手術間成像模態(tài)(自聚焦(GRIN)透鏡內窺鏡、光譜學、超聲、光學相干斷層掃描(0CT))、兼容探針和多功能裝置的情況下，新的外科手術技術會是可能的。這些新的技術使組織以非常接近的距離和非常小的體積來成像。最終的數據被稀疏地定位，從而需要外科醫(yī)生利用顯微鏡視圖中的對應的解剖位置跟蹤多掃描或圖像，這給已具有挑戰(zhàn)性的外科手術任務增加了明顯的認知負擔。這在由于外科手術處理、流血、生物標記、腫脹以及視場、照明方法和/或方向及眼內流體條件的內在變化而造成的改變的解剖結構的情況下會變得更困難。因此，仍需要用于外科手術干預的改善的視覺跟蹤和注釋系統(tǒng)及方法。

發(fā)明內容
根據本發(fā)明的一些實施方式的一種用于外科手術干預的視覺跟蹤和注釋系統(tǒng)具有圖像獲取和顯示系統(tǒng)，該圖像獲取和顯示系統(tǒng)被布置成獲得關注的外科手術區(qū)域的圖像流和與關注的外科手術區(qū)域接近的外科手術裝置的圖像流并向用戶顯示獲取的圖像；跟蹤系統(tǒng)，該跟蹤系統(tǒng)被配置成相對于關注的外科手術區(qū)域跟蹤外科手術裝置；數據存儲系統(tǒng)，該數據存儲系統(tǒng)與圖像獲取和顯示系統(tǒng)以及跟蹤系統(tǒng)通信；以及數據處理系統(tǒng)，該數據處理系統(tǒng)與數據存儲系統(tǒng)、圖像獲取和顯示系統(tǒng)以及跟蹤系統(tǒng)通信。數據處理系統(tǒng)被配置成響應于來自用戶的輸入信號對顯示給用戶的圖像進行注釋。根據本發(fā)明的一些實施方式的一種用于外科手術干預的視覺跟蹤和注釋方法包括獲取關注的外科手術區(qū)域的圖像和與關注的外科手術區(qū)域接近的外科手術裝置的圖像，相對于關注的外科手術區(qū)域跟蹤外科手術裝置、以及顯示關注的外科手術區(qū)域和外科手術裝置。顯示包括響應于來自用戶的輸入信號增加的注釋。根據本發(fā)明的一些實施方式的一種計算機可讀介質包括用于外科手術干預的視 覺跟蹤和注釋的軟件的非瞬態(tài)存儲器，當被計算機系統(tǒng)執(zhí)行時，該軟件包括處理關注的外科手術區(qū)域的圖像數據和與關注的外科手術區(qū)域接近的外科手術裝置的圖像數據以提供關注的外科手術區(qū)域的圖像和外科手術裝置的圖像；處理圖像數據以相對于關注的外科手術區(qū)域跟蹤外科手術裝置；處理圖像數據和來自用戶的輸入信號以對圖像進行注釋；以及顯示具有該注釋的關注的外科手術區(qū)域的圖像和外科手術裝置的圖像。


結合描述、附圖和示例，另外的目的和優(yōu)點將變得明顯。圖I是根據本發(fā)明的實施方式的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)的示意圖。圖2示出了根據本發(fā)明的實施方式的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)的顯示的圖像的示例。圖3示出了根據本發(fā)明的實施方式的外科手術裝置的實施方式。圖4示出了根據本發(fā)明的實施方式的具有集成的光纖OCT探針的顯微外科揀選器(pick)的CAD側視圖(左上)；實際原型的圖片(左下)；使用原型的樣本的A掃描數據(右)。圖5左側提供了根據本發(fā)明的實施方式的外科手術系統(tǒng)的示意圖。右側示出了軸向OCT掃描數據。圖6是根據本發(fā)明的實施方式的外科手術裝置的示意圖。圖7示出了根據本發(fā)明的實施方式的包括外科手術裝置和手持機器人的外科手術系統(tǒng)。圖8是根據本發(fā)明的實施方式的外科手術系統(tǒng)的示意圖。
具體實施例方式以下詳細描述本發(fā)明的一些實施方式。在描述的實施方式中，為了清楚起見使用特定術語。然而，本發(fā)明不限于所選擇的特定術語。相關領域內的技術人員將認識到，在不偏離本發(fā)明的廣義概念的情況下可以使用其他的等同部件并研發(fā)其他的方法。在本說明書中任何地方列舉的所有參考好像每個參考單獨地被合并一樣通過參引方式被合并。本發(fā)明的一些實施方式涉及用于將手術時采集的在外科手術上相關的數據顯示為增加有覆蓋注釋的視頻的系統(tǒng)和方法。手術時的成像信息和/或治療信息可以被登記在外科手術進行時的視頻中的對應的解剖標志位置，并且隨時間推移在視頻中以各種表示法被跟蹤且被可視化。另外，根據本發(fā)明的一些實施方式也可以包括外部工具跟蹤系統(tǒng)和/或機器人。在該情況下，它們也需要登記到視頻系統(tǒng)。根據本發(fā)明的一些實施方式的系統(tǒng)可以與在外科手術視頻視場中可見的任何裝置一起使用。在簡單的情況下，裝置可以是被用來描繪接著在后續(xù)視頻(遠程圖解(telestration))中被跟蹤的關注的區(qū)域的點擊設備。在較復雜的情況下，裝置可以是外科手術進行時的任何診斷設備和/或成像設備，諸如超聲設備、光譜學探針設備、氧化傳感器設備、光學相干斷層掃描設備、共焦顯微鏡設備、內窺鏡設備、自聚焦(GRIN)內窺鏡設備、神經功能測量設備、自發(fā)熒光設備或介入治療設備，諸如射頻(RF)肝臟消融激光器、電刺激裝置、冷凍消融裝置等等。來自這些設備的信息可以被鏈接至采集信息的位置或鏈接在應用信息的治療的情況中。例如，信息可以作為畫中畫圖像顯示在與實時外科手術視頻饋入的同一屏幕中或在單獨的屏幕上顯示。

各個注釋可以被外科醫(yī)生增加至集合或被移除。注釋基于其時間性質可以具有多個狀態(tài)注釋的相關聯(lián)的解剖結構是可見的(閉塞，來自工具)、過程導致的變形還是一定量的自然變化。這些狀態(tài)可以用顏色、強度、可見度或文本注釋來表示。注釋本身可以是點、線、區(qū)域、體積、文本注釋、與裝置的形狀對應的圖像、或成像區(qū)或體積的形狀的形式。這些注釋可以基于標志、組織類型(從手術時成像本身被詢問或治療的組織的基本性能)、或設備類型產生或者是特定的或者是上下文的內在關系。在本發(fā)明的一些實施方式中，來自多設備的信息可以被注釋在同一視頻上。本發(fā)明的一些實施方式可以包括用戶接口，諸如踏板、計算機鼠標、觸摸屏、語音識別輸入端，或者其可鏈接至被使用的裝置上的傳感器活動級別。在一些實施方式中，可以包括在視頻中的裝置的姿態(tài)識別。此外，根據本發(fā)明的實施方式，視頻中的工具位置跟蹤可以使系統(tǒng)能夠從簡單傳感器提供較豐富的信息。本發(fā)明的實施方式可以包括手術時光學相干斷層掃描(0CT)，其中系統(tǒng)根據A掃描產生B掃描圖像并根據視頻工具跟蹤模塊產生對應的姿勢估計。例如另外的實施方式可以將這樣的方法擴展至像立體C掃描這樣的信息表
/Jn ο本發(fā)明的一些方面包括但不限于以下I.跨圖像流(視頻)相對于解剖結構獲取注釋。我們用傳感器流數據注釋解剖結構(即，器官)上的位置。2. “信息融合”:傳感器數據是可以在視頻上相關聯(lián)的序列數據或相對于解剖結構空間上跟蹤的姿勢序列。在關注的區(qū)域上移動的傳感器位置可以被跟蹤，并且該時間同步的工具位置可以與工具傳感器數據流組合以通過視頻序列產生圖像。例如，被轉換成B掃描和/或M掃描數據的A掃描流。3.注釋的檢查可以包括用戶與注釋交互。簡單的交互可以包括通過用跟蹤的工具點擊、或通過其他的輸入(聲音、踏板等等)來選擇“有效”注釋。較復雜的交互可以指出裝置在注釋本身當中的什么地方。4.傳感器流可以在多視頻圖像序列上被關聯(lián)。
圖I提供了根據本發(fā)明的實施方式的用于外科手術的視覺跟蹤和注釋系統(tǒng)10的示意圖。視覺跟蹤和注釋系統(tǒng)10包括圖像獲取和顯示系統(tǒng)12，該圖像獲取和顯示系統(tǒng)12被布置成獲得關注的外科手術區(qū)域的圖像流和與關注的外科手術區(qū)域接近的外科手術裝置的圖像流并向用戶顯示獲取的圖像。圖像獲取和顯示系統(tǒng)12可以包括光學部件，諸如但不限于例如外科手術顯微鏡、以及內窺鏡和/或攝像機。圖像獲取和顯示系統(tǒng)12也可以包括一個或更多個顯示器，諸如但不限于視頻顯示器或頭戴式顯示器。視覺跟蹤和注釋系統(tǒng)10還包括跟蹤系統(tǒng)14，該跟蹤系統(tǒng)14被配置成相對于關注的外科手術區(qū)域跟蹤外科手術裝置；數據存儲系統(tǒng)16，該數據存儲系統(tǒng)16與圖像獲取和顯示系統(tǒng)12及跟蹤系統(tǒng)14通信；以及數據處理系統(tǒng)18，該數據處理系統(tǒng)18與數據存儲系統(tǒng)16、圖像顯示系統(tǒng)12和跟蹤系統(tǒng)14通信。數據處理系統(tǒng)18可以包括一個或更多個個人計算機的處理器，例如，該處理器可以如特定應用所需要的是本地的、集群式的和/或分布式的。在本發(fā)明的一些實施方式中跟蹤系統(tǒng)14可以在計算機上實現(xiàn)并且可以使用常規(guī)上可獲得的圖像識別算法和跟蹤算法。在一些實施方式中，跟蹤系統(tǒng)可以在數據處理系統(tǒng)18上實現(xiàn)，或者跟蹤系統(tǒng)在其他的實施方式中可以是獨立的系統(tǒng)。可以根據特定的應用從廣范圍可獲得的數據存儲設備中的一個或多個選擇數據存儲系統(tǒng)16。數據處理系統(tǒng)18被配置成響應于來自用戶的輸入信號 對顯示給用戶的圖像進行注釋。根據本發(fā)明的一些實施方式，視覺跟蹤和注釋系統(tǒng)10也可以包括用戶輸入設備20，該用戶輸入設備20與數據處理系統(tǒng)通信以提供輸入信號。根據本發(fā)明的一些實施方式，輸入設備20可以是但不限于一個或更多個踏板、小鍵盤、開關、麥克風、眼睛跟蹤系統(tǒng)或外科手術裝置。在本發(fā)明的一些實施方式中，數據處理系統(tǒng)18可以被配置成對顯示給用戶的圖像進行注釋以包括外科手術裝置的位置或軌跡的至少一個。圖2示出了根據本發(fā)明的實施方式的用標注為A、B和C的三條OCT路徑注釋的圖像的示例。圖2也示出了響應于用戶對外科手術裝置的放置所顯示的OCT M-模式數據的畫中畫。這只是可以包括在本發(fā)明的各個實施方式中的廣范圍可能的注釋中的一個示例。本發(fā)明的廣義概念不限于該特定示例。在一些實施方式中，數據處理系統(tǒng)18可以被配置成對顯示給用戶的圖像進行注釋以顯示來自數據存儲系統(tǒng)的與外科手術裝置的位置對應的信息。例如，圖2中的M-模式數據用OCT設備通過掃描來捕獲，并且當OCT設備放置在先前被掃描的路徑上時圖2中的M-模式數據從數據存儲系統(tǒng)16中被再調用以顯示。在本發(fā)明的一些實施方式中，用戶輸入設備20可以是適合于被跟蹤系統(tǒng)跟蹤的外科手術裝置。外科手術裝置可以包括被構造并布置成提供與關注的外科手術區(qū)域的局部部分相關的數據流的傳感器系統(tǒng)，并且可以與數據存儲系統(tǒng)通信使得被外科手術裝置獲得的數據可以被保存用于以后檢索。在本發(fā)明的一些實施方式中，傳感器系統(tǒng)可以包括光學傳感器系統(tǒng)、超聲傳感器系統(tǒng)、或力感測系統(tǒng)中的至少一個。根據本發(fā)明的一些實施方式的外科手術裝置可以允許同時成像和外科手術干預功能性集成到單個裝置中。根據本發(fā)明的實施方式，可以通過裝置的在光學傳感器的視場中可見的參考部分來實現(xiàn)裝置登記到光學傳感器。此外，根據本發(fā)明的其他實施方式，多成像探針可以被集成到裝置中用于增大的成像體積、多成像方向、增大的分辨率，或用于提供其他類型的用于同時多模態(tài)成像功能性的成像。在一些實施方式中，多成像點探針(多芯纖維、或多纖維束)可以改善工具端部到光學傳感器的登記。圖3中示出了根據本發(fā)明的實施方式的外科手術裝置100。根據本發(fā)明的一些實施方式，這樣的外科手術裝置可以被用作用戶輸入設備20。外殼手術裝置100包括具有近端104和遠端106的外科手術工具102，以及具有附接到外科手術工具102的至少一部分的光學傳感器。在圖3中，不是直接可見的光纖沿著外科手術工具102內的腔延伸并附接至外科手術工具102。光纖被包在保護性線纜108內，在該示例中，該保護性線纜108具有標準的纖維耦合器110。如我們在圖4中可以更清楚地看到的，外科手術工具102具有適合于提供外科手術工具102的參考部分112的部分。光學傳感器114 (見圖5)具有相對于外科手術工具102的參考部分112固定的端116，使得外科手術工具102的參考部分112可以與在使用時與外科手術工具102的遠端106接近或接觸的組織118 —起被檢測到。在圖3的示例中，以可以通過纖維耦合器110連接至光學傳感器的剩余部分的一部分示出了外科手術裝置100。在圖5的示例中，光學傳感器114是光學相干斷層掃描(OCT)系統(tǒng)。在其他的實施方式中，在本發(fā)明的廣義概念內，我們可以將多于一個的OCT或 其他類型的光學傳感器包括到外科手術裝置100中。另外，盡管對于許多應用將光學傳感器114的大部分設置在如圖3至圖5的示例中示出的工具的外部是有利的，但是本發(fā)明的廣義概念還包括整個傳感器或多個傳感器包括在外科手術工具內的實施方式。圖5的實施方式中的光學相干斷層掃描系統(tǒng)包括提供光學傳感器114的固定端116的單模式光纖，單模式光纖被布置成將光導向到外科手術工具102的參考部分112和與外科手術工具102的遠端106接近或接觸的組織118 二者，并檢測從外科手術工具102的參考部分112和組織118 二者反射回來的光以提供與外科手術工具102的遠端106到組織118的選定部分的相對距離相關的信息。術語“反射回來”意在具有廣泛意義，包括鏡面反射和散射二者，只要光被反射回來。另外，術語“光”意在具有廣泛含義，包括可見光和對于人類不可見的光(諸如紅外光(IR)和紫外光)。在本發(fā)明的一些實施方式中，例如，OCT系統(tǒng)可以利用IR源以提供與可見光相比對組織的明顯較大的穿透深度。本發(fā)明的一些實施方式例如可以在OCT系統(tǒng)中包括寬帶源(見圖6)。然而，本發(fā)明的總體概念不限于光學傳感器114中使用的光源的特定類型。已經發(fā)現(xiàn)頻域OCT檢測系統(tǒng)適用于本發(fā)明的一些特別應用；然而，本發(fā)明的總體概念不排除時域OCT系統(tǒng)的使用。此外，光學傳感器的一些實施方式可以沒有光源而依靠環(huán)境光源或外部光源?？商娲?，或者除作為光學傳感器114示出的OCT系統(tǒng)之外，光學傳感器114可以是或可以包括視覺成像系統(tǒng)。例如，光學成像系統(tǒng)可以包括光纖或一束光纖以對外科手術工具102的參考部分112和與外科手術工具102的遠端106接近或接觸的組織118同時成像。在一些實施方式中，外科手術工具102可以例如是適合眼外科手術中使用的揀選器。然而，本發(fā)明的總體概念不限于外科手術工具的特定類型?？梢韵胂蟮竭m合用于外科手術工具102的廣泛類型的外科手術工具，諸如但不限于揀選器、鑷子、刀、光傳輸設備、剪刀、注射器、玻璃體切除工具或其他的顯微外科工具。外科手術工具適于集成到諸如在圖5中由外科手術系統(tǒng)200不出的或在圖7中由手持機器人300不出的機器人系統(tǒng)中。在本發(fā)明的實施方式中，投射在組織上的激光可以被用來方便視覺跟蹤或改善用戶交互。在一些實施方式中，傳感器相對于工具的體的位置是已知的，所以可以通過工具跟蹤來跟蹤傳感器位置。
圖8是根據本發(fā)明的實施方式的可以包括視覺跟蹤和注釋系統(tǒng)的外科手術系統(tǒng)400的示意圖。外科手術系統(tǒng)400包括外科手術裝置402、與外科手術裝置402通信的數據處理器404，以及與數據處理器404通信并被布置成在外科手術過程中向外科醫(yī)生顯示信息的顯示系統(tǒng)406。根據本發(fā)明的一些實施方式，外科手術裝置402可以例如是如以上描述的外科手術裝置100。在圖8的示例中，外科手術裝置402具有專用數據處理器，諸如OCT個人計算機(PC)408。然而，本發(fā)明的廣義概念不限于僅在圖8中示出的特定結構。例如，數據處理器可以執(zhí)行用于外科手術系統(tǒng)400的OCT系統(tǒng)和用于外科手術系統(tǒng)400的其他部分的處理。外科手術系統(tǒng)400也包括機器人系統(tǒng)410。機器人系統(tǒng)410可以例如具有專用數據處理器412，或者機器人系統(tǒng)410可以例如與OCT處理器一起包括在單個多用途處理器上。一般應認為數據處理器404包括一個或更多個數據處理器，包括一個或更多個遠程處理器。外科手術系統(tǒng)400示出了作為顯示系統(tǒng)406的示例的視頻顯示器。然而，本發(fā)明的總體概念不限于該特定示例。顯示器可以是或包括頭戴式顯示器、用于傳達信息的觸覺設備或音頻設備和/或向外科醫(yī)生提供信息的裝置。機器人系統(tǒng)400可以是但不限于例如穩(wěn)手(steady-hand)機器人系統(tǒng)或手持機器人系統(tǒng)。在本發(fā)明的一些實施方式中，數據處理器404可以被配置成基于外科手術裝置的遠端到組織的相對位置的值來提供警告信號或反饋 響應信號的至少一個。在本發(fā)明的一些實施方式中，數據處理器404可以被配置成基于外科手術裝置的遠端與組織的相對距離或裝置的位置中的至少一個的值來向機器人系統(tǒng)提供反饋響應信號，使得機器人系統(tǒng)提供反饋響應。示例以下是根據本發(fā)明的一些實施方式的視覺跟蹤和注釋系統(tǒng)的使用的幾個示例。提供這些示例用于說明而不意在限制本發(fā)明的廣義范圍。玻璃體視網膜外科手術(VitroRetinal Surgery) 外科醫(yī)生將OCT探針放在關注區(qū)的附近。 當腳踏板被按壓(或語音命令致動)時，外科醫(yī)生將探針掃過關注區(qū)。 相對于組織跟蹤掃描的位置，并通過視覺的和/或外部的工具跟蹤將掃描的位置投射在視頻饋送上。時間同步的傳感器數據流與該路徑相關聯(lián)。 從這時開始，標記的解剖區(qū)被跟蹤從而被注釋。 外科醫(yī)生可以選擇產生另外的掃描或研究再檢查現(xiàn)有的掃描。 外科醫(yī)生可以口頭請求使用外科手術工具重新檢查“掃描數3 ”或懸停在“掃描數3”上。本說明書中示出并討論的實施方式僅意在將本發(fā)明人所了解的用于完成并使用本發(fā)明的最佳方式教導給本領域內技術人員。在描述本發(fā)明的實施方式中，為了清楚起見使用了特定術語。然而，本發(fā)明不意在限于所選定的特定術語。鑒于以上教導，本領域內技術人員應理解，在不脫離本發(fā)明的情況下可以修改或改變本發(fā)明的上述實施方式。因此應理解在權利要求及其等同內容的范圍內，本發(fā)明可以以除所具體描述之外的方式來實施。
權利要求
1.一種用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，包括 圖像獲取和顯示系統(tǒng)，被布置成獲得關注的外科手術區(qū)域的圖像流和與所述關注的外科手術區(qū)域接近的外科手術裝置的圖像流，并向用戶顯示獲取的圖像； 跟蹤系統(tǒng)，被配置成相對于所述關注的外科手術區(qū)域跟蹤所述外科手術裝置； 數據存儲系統(tǒng)，所述數據存儲系統(tǒng)與所述圖像獲取和顯示系統(tǒng)以及所述跟蹤系統(tǒng)通信；以及 數據處理系統(tǒng)，所述數據處理系統(tǒng)與所述數據存儲系統(tǒng)、所述圖像獲取和顯示系統(tǒng)以及所述跟蹤系統(tǒng)通信， 其中，所述數據處理系統(tǒng)被配置成響應于來自所述用戶的輸入信號對顯示給所述用戶的圖像進行注釋。
2.根據權利要求I所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，還包括用戶輸入設備，所述用戶輸入設備與所述數據處理系統(tǒng)通信以提供所述輸入信號。
3.根據權利要求2所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述輸入設備包括以下中的至少一個踏板、小鍵盤、麥克風、眼睛跟蹤系統(tǒng)、開關或外科手術裝置。
4.根據權利要求I所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述數據處理系統(tǒng)被配置成對顯示給所述用戶的圖像進行注釋以包括所述外科手術裝置相對于所述關注的外科手術區(qū)域的位置或軌跡中的至少一個。
5.根據權利要求I所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述數據處理系統(tǒng)被配置成對顯示給所述用戶的圖像進行注釋，存儲注釋用于以后檢索，并顯示從所述數據存儲系統(tǒng)檢索的與所述外科手術裝置的位置對應的信息。
6.根據權利要求I所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，還包括適于被所述跟蹤系統(tǒng)跟蹤的外科手術裝置。
7.根據權利要求6所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述外科手術裝置包括傳感器系統(tǒng)，所述傳感器系統(tǒng)被構造并布置成采集關于所述關注的外科手術區(qū)域的局部部分的數據，所述外科手術裝置與所述數據存儲系統(tǒng)通信以使得能夠保存由所述外科手術裝置獲得的數據以用于以后檢索。
8.根據權利要求7所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述傳感器系統(tǒng)是光學傳感器系統(tǒng)、超聲傳感器系統(tǒng)、或力感測系統(tǒng)中的至少一個。
9.根據權利要求7所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述傳感器系統(tǒng)是光學相干斷層掃描系統(tǒng)。
10.根據權利要求6所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述外科手術裝置包括 具有近端和遠端的外科手術工具；以及 至少一部分與所述外科手術工具附接的光學傳感器， 其中，所述外科手術工具具有適合于提供所述外科手術工具的參考部分的部分，以及 其中所述光學傳感器具有相對于所述外科手術工具的所述參考部分固定的端，使得所述外科手術工具的所述參考部分可以連同在使用時與所述外科手術工具的所述遠端接近或接觸的組織一起被檢測。
11.根據權利要求10所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述光學傳感器包括視覺成像系統(tǒng)。
12.根據權利要求11所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述視覺成像系統(tǒng)包括光纖，所述視覺成像系統(tǒng)被配置成對所述外科手術工具的所述參考部分和與所述外科手術工具的所述遠端接近或接觸的所述組織同時成像。
13.根據權利要求10所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述光學傳感器包括光學相干斷層掃描系統(tǒng)。
14.根據權利要求13所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述光學相干斷層掃描系統(tǒng)包括光纖，所述光纖提供所述光學傳感器的所述固定的端，所述光纖被布置成將光引導到所述外科手術工具的所述參考部分和與所述外科手術工具的所述遠端接近或接觸的所述組織二者，并檢測從所述外科手術工具的所述參考部分和所述組織二者反射回來的光，以提供與所述外科手術工具的所述遠端到所述組織的選定部分的相對距 離相關的信息。
15.根據權利要求14所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述外科手術工具是適于眼外科手術中使用的揀選器。
16.根據權利要求14所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述外科手術工具是以下中的至少一個揀選器、鑷子、刀、光傳輸設備、剪刀、注射器或玻璃體切除工具。
17.根據權利要求15所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述外科手術工具的所述遠端適于由進行人工外科手術的外科醫(yī)生握持。
18.根據權利要求15所述的用于外科手術干預的視覺跟蹤和注釋系統(tǒng)，其中，所述外科手術工具的所述遠端適于附接至用于機器人外科手術或機器人輔助的外科手術中的至少一個的機器人系統(tǒng)。
19.一種用于外科手術干預的視覺跟蹤和注釋方法，包括 獲取關注的外科手術區(qū)域的圖像和與所述關注的外科手術區(qū)域接近的外科手術裝置的圖像； 相對于所述關注的外科手術區(qū)域跟蹤所述外科手術裝置；以及 顯示所述關注的外科手術區(qū)域和所述外科手術裝置， 其中，所述顯示包括響應于來自用戶的輸入信號增加的注釋。
20.根據權利要求19所述的用于外科手術干預的視覺跟蹤和注釋方法，其中，所述注釋包括所述外科手術裝置的位置或軌跡中的至少一個。
21.根據權利要求19所述的用于外科手術干預的視覺跟蹤和注釋方法，其中，所述注釋包括從數據存儲系統(tǒng)檢索的與所述外科手術裝置的位置對應的信息。
22.—種計算機可讀介質，所述計算機可讀介質包括用于外科手術干預的視覺跟蹤和注釋的軟件的非瞬態(tài)存儲器，當被計算機系統(tǒng)執(zhí)行時，所述軟件包括 處理關注的外科手術區(qū)域的圖像數據和與所述關注的外科手術區(qū)域接近的外科手術裝置的圖像數據，以提供所述關注的外科手術區(qū)域的圖像和所述外科手術裝置的圖像； 處理所述圖像數據以相對于所述關注的外科手術區(qū)域跟蹤所述外科手術裝置； 處理所述圖像數據和來自用戶的輸入信號以對所述圖像進行注釋；以及 顯示具有所述注釋的所述關注的外科手術區(qū)域的圖像和所述外科手術裝置的圖像。
23.根據權利要求22所述的計算機可讀介質，其中，所述注釋包括所述外科手術裝置的位置或軌跡中的至少一個。
24.根據權利要求22所述的計算機可讀介質，其中，所述注釋包括從數據存儲系統(tǒng)檢索的與所述外科手術裝置的位置對應的信息。
全文摘要
一種用于外科手術干預的視覺跟蹤和注釋系統(tǒng)包括圖像獲取和顯示系統(tǒng)，該圖像獲取和顯示系統(tǒng)被布置成獲得關注的外科手術區(qū)域的圖像流和與關注的外科手術區(qū)域接近的外科手術裝置的圖像流，并向用戶顯示獲取的圖像；跟蹤系統(tǒng)，該跟蹤系統(tǒng)被配置成相對于關注的外科手術區(qū)域跟蹤外科手術裝置；數據存儲系統(tǒng)，該數據存儲系統(tǒng)與圖像獲取和顯示系統(tǒng)以及跟蹤系統(tǒng)通信；以及數據處理系統(tǒng)，該數據處理系統(tǒng)與數據存儲系統(tǒng)、圖像獲取和顯示系統(tǒng)以及跟蹤系統(tǒng)通信。數據處理系統(tǒng)被配置成響應于來自用戶的輸入信號對顯示給用戶的圖像進行注釋。
文檔編號A61B8/10GK102781336SQ201080060214
公開日2012年11月14日 申請日期2010年11月1日 優(yōu)先權日2009年10月30日
發(fā)明者彼得·L·吉爾巴赫, 拉塞爾·H·泰勒, 拉杰什·庫馬爾, 格里戈里·D·黑格, 詹姆斯·T·漢達, 馬爾欽·A·巴利茨基 申請人:約翰霍普金斯大學