專利名稱：通過(guò)機(jī)械微創(chuàng)外科手術(shù)過(guò)程中聯(lián)合傳感器和/或照相機(jī)導(dǎo)出數(shù)據(jù)實(shí)現(xiàn)3-d刀具跟蹤的方法 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及微創(chuàng)外科手術(shù)，且具體地說(shuō)涉及利用機(jī)械微創(chuàng)外科手術(shù)過(guò)程中傳感器和/或照相機(jī)導(dǎo)出數(shù)據(jù)(例如刀具位置、速度)的聯(lián)合實(shí)現(xiàn)3-D刀具跟蹤的方法與系統(tǒng)。
背景技術(shù)：
微創(chuàng)外科手術(shù)技術(shù)旨在減少在診斷或手術(shù)過(guò)程中破壞的外源組織的數(shù)量，從而縮短患者康復(fù)時(shí)間，減輕不適感，降低毒副作用。因此，使用微創(chuàng)外科手術(shù)技術(shù)，可以使標(biāo)準(zhǔn)外科手術(shù)的醫(yī)院駐留平均時(shí)長(zhǎng)顯著縮短。同樣地，微創(chuàng)外科手術(shù)也可以降低患者康復(fù)時(shí)間和離開(kāi)工作的時(shí)間，減輕患者不適，降低手術(shù)副作用。微創(chuàng)外科手術(shù)的常見(jiàn)形式是內(nèi)窺鏡檢查，內(nèi)窺鏡的常見(jiàn)形式是腹腔鏡檢查，其為對(duì)腹腔內(nèi)部的微創(chuàng)檢查和外科手術(shù)。在標(biāo)準(zhǔn)腹腔鏡檢查手術(shù)中，向患者的腹部注入氣體，通過(guò)小(大約1/2英寸或更小)切口傳遞套袖來(lái)提供腹腔鏡手術(shù)器械的入口。腹腔鏡檢查手術(shù)器械主要包含腹腔鏡或內(nèi)窺鏡(用于觀測(cè)手術(shù)區(qū)域)以及工作刀具。所述工作刀具與用于傳統(tǒng)(開(kāi)腹)手術(shù)的刀具相似，區(qū)別是，每個(gè)刀具的工作端或末端執(zhí)行器與其把手用延長(zhǎng)管分離開(kāi)。在這里使用的術(shù)語(yǔ)“末端執(zhí)行器”是指手術(shù)器械的實(shí)際工作部分且可以包含例如夾子 、抓緊器、剪刀、訂書(shū)機(jī)、圖像采集透鏡以及測(cè)針夾持器。要完成手術(shù)，外科醫(yī)生將這些工作刀具或器械通過(guò)套袖傳遞到內(nèi)部手術(shù)部位并從腹部外操縱它們。外科醫(yī)生利用監(jiān)視器來(lái)觀測(cè)過(guò)手術(shù)，所述監(jiān)視器顯示腹腔鏡所拍攝的手術(shù)部位的圖像。相似的內(nèi)窺鏡檢查技術(shù)應(yīng)用于例如關(guān)節(jié)鏡檢查、后腹膜腔鏡檢查、骨盆鏡檢查、腎鏡檢查、膀胱鏡檢查、腦鏡檢查(cisternoscopy)、鼻內(nèi)窺鏡檢查(sinoscopy)、子宮鏡檢查、尿道鏡檢查等類似檢查技術(shù)。微創(chuàng)遠(yuǎn)程外科機(jī)械系統(tǒng)正被開(kāi)發(fā)以提高外科醫(yī)生在內(nèi)部手術(shù)部位工作的靈活性，也允許外科醫(yī)生在較遠(yuǎn)的地方對(duì)患者進(jìn)行手術(shù)。在遠(yuǎn)程外科系統(tǒng)中，經(jīng)常在計(jì)算機(jī)工作站將手術(shù)部位的圖像提供給外科醫(yī)生。當(dāng)在觀察器或顯示器觀測(cè)手術(shù)部位的三維圖像時(shí)，夕卜科醫(yī)生通過(guò)控制主輸入或工作站控制設(shè)備來(lái)完成對(duì)患者的手術(shù)。每個(gè)主輸入設(shè)備都控制自動(dòng)控制裝置運(yùn)行的手術(shù)器械的運(yùn)動(dòng)。在手術(shù)過(guò)程中，遠(yuǎn)程外科系統(tǒng)可以提供含有末端執(zhí)行器的各種手術(shù)器械或刀具的機(jī)械驅(qū)動(dòng)和控制，所述末端執(zhí)行器為手術(shù)執(zhí)行各種功能，例如把持或推動(dòng)針、抓緊血管或解剖組織或者類似功能以響應(yīng)主輸入設(shè)備的控制。然而，在手術(shù)過(guò)程中，外科醫(yī)生可以操縱刀具以使得其末端執(zhí)行器移到內(nèi)窺鏡的視野之外，或者所述末端執(zhí)行器可能因?yàn)榱黧w或其他干涉物的阻塞而變得不易看到。在這些情況下，能夠在定位和/或識(shí)別工作站的顯示屏上的末端執(zhí)行器方面給外科醫(yī)生提供幫助，將是有用的。各種用于識(shí)別照相機(jī)圖像中刀具的技術(shù)已被開(kāi)發(fā)。例如，一種這樣的技術(shù)在Guo-Qing We1、Klaus Arbter 和 Gerd Hizinger 的 “Real-Time Visual Servoing forLaparoscopic Surgery,，，IEEE Engineering in Medicine and Biology, Vol.16, N0.1,PP.40-45,1997中描述，其中顏色標(biāo)記用來(lái)識(shí)別照相機(jī)中的刀具，以便照相機(jī)可以被自動(dòng)操作，從而保持刀具位于器視覺(jué)圖像的中間。再例如，另一種這樣的機(jī)構(gòu)在Xiaoli Zhang和 Shahram Payandeh 的“Application of Visual Tracking for Robot-AssistedLaparoscopic Surgery,，，Journal of Robotics Systems,Vol.19,N0.7,pp.315-328,2002中描述，其中有條紋的標(biāo)記用于識(shí)別照相機(jī)中的刀具及其深度，以使得照相機(jī)可以被自動(dòng)操作以直觀地跟蹤刀具。然而，當(dāng)末端執(zhí)行器在內(nèi)窺鏡的視野之外時(shí)或當(dāng)其被流體或某物體阻塞時(shí)，這些技術(shù)一般就沒(méi)用了。在這兩種中的任何一種情況下，這種標(biāo)志都不能被發(fā)現(xiàn)，刀具不可能被識(shí)別。第二，簡(jiǎn)單的顏色標(biāo)記和其他置于刀具上的方向獨(dú)立標(biāo)記都不便確定刀具方向和位姿。第三，識(shí)別和跟蹤刀具標(biāo)記的計(jì)算復(fù)雜性可使得實(shí)時(shí)跟蹤困難。具體地，處理每個(gè)視頻采集畫面所增加的時(shí)間將會(huì)降低視頻采集發(fā)生的頻率，可能導(dǎo)致從一個(gè)圖像突然轉(zhuǎn)移到另一個(gè)圖像。第四，未校正的照相機(jī)校準(zhǔn)和/或其他系統(tǒng)測(cè)量誤差在根據(jù)照相機(jī)的視覺(jué)圖像確定刀具位置和方向時(shí)可能引起誤差。

發(fā)明內(nèi)容
要使多種刀具中的每一種對(duì)于外科醫(yī)生在工作站顯示屏上和對(duì)于患者旁邊的工作人員容易區(qū)分，則可使用許多計(jì)算機(jī)輔助技術(shù)，例如:預(yù)測(cè)刀具的位置和方向，并將刀具的計(jì)算機(jī)輔助設(shè)計(jì)(“CAD”)模型，或其他虛擬標(biāo)記或指示器，覆蓋在 顯示屏中刀具的預(yù)測(cè)位置和方向；預(yù)測(cè)刀具的位置和方向，并惟一標(biāo)識(shí)每個(gè)刀具在其預(yù)測(cè)位置和方向以使其在顯示屏上可與其他刀具區(qū)別開(kāi)來(lái)；以及預(yù)測(cè)刀具的位置和方向，并且當(dāng)以某種方式突出顯示刀具的末端執(zhí)行器以便末端執(zhí)行器在顯示屏上看上去浮動(dòng)并突出時(shí)，擦除或刷除掉刀具的軸。例如，惟一標(biāo)識(shí)每個(gè)刀具在其預(yù)測(cè)位置和方向使其在顯示屏上可于其他刀具區(qū)別開(kāi)來(lái)的一個(gè)優(yōu)勢(shì)，是其:a)使外科醫(yī)生(只看見(jiàn)身體內(nèi)的刀具)更易于與患者一側(cè)的工作人員(只看見(jiàn)身體外的刀具)就具體刀具進(jìn)行交流，b)確保外科醫(yī)生意識(shí)到可能在視野之外的刀具。當(dāng)有多于兩個(gè)刀具時(shí)，這是特別重要的，因?yàn)橥饪漆t(yī)生只可能看到兩個(gè)，假定那兩個(gè)是他用兩只手控制的兩個(gè)，而實(shí)際上他在視野之外控制(即移動(dòng))著另一個(gè)刀具，潛在地破壞著組織。同樣地，例如，預(yù)測(cè)刀具的位置和方向并在以某種方式突出顯示刀具的末端執(zhí)行器以便末端執(zhí)行器在顯示屏上看上去浮動(dòng)并突出顯示時(shí)擦除或刷除掉刀具的軸，這樣的一個(gè)優(yōu)勢(shì)是它使更多的潛在組織能被外科醫(yī)生觀測(cè)到。然而，注意，這種潛在組織的視圖是定義合成的，因?yàn)榻M織的當(dāng)前狀態(tài)被刀具弄得模糊。因此擦除刀具的軸需要存儲(chǔ)手術(shù)部位的先前圖像，以便模糊的區(qū)域或許以一種昏暗或變灰的方式(又叫戰(zhàn)爭(zhēng)霧)可被該區(qū)域的最后可知的不模糊視圖替代，以指示數(shù)據(jù)不是當(dāng)前的。刀具跟蹤是指刀具狀態(tài)隨時(shí)間的確定。刀具狀態(tài)一般包括其在參考系中的位置和方向以及其他相關(guān)參數(shù)例如其平動(dòng)和轉(zhuǎn)動(dòng)速度。在優(yōu)選實(shí)施例中，刀具跟蹤在照相機(jī)參考系中完成。刀具跟蹤使得在刀具在內(nèi)窺鏡視圖中不可見(jiàn)或阻塞時(shí)的時(shí)間點(diǎn)上有助于刀具位置和方向的預(yù)測(cè)，這是利用刀具可見(jiàn)或可識(shí)別時(shí)的先前時(shí)間的位置和方向、和/或使用在那個(gè)時(shí)間點(diǎn)及之前的時(shí)間從內(nèi)窺鏡源導(dǎo)出的位置和方向估計(jì)實(shí)現(xiàn)的。對(duì)刀具位置和方向的確定，除對(duì)刀具在工作站的顯示屏上定位之外，還有很多方面的用處。例如，刀具位置和方向信息可用來(lái)生成圖形覆蓋，其包含外科醫(yī)生所關(guān)心的信息。這些覆蓋可包含:動(dòng)態(tài)或靜態(tài)視頻圖象(telestration)、刀具間的距離、刀具與患者解剖之間的距離、在照相機(jī)參考系中解剖構(gòu)造的測(cè)量、或在另一參考系中解剖結(jié)構(gòu)的測(cè)量。此夕卜，刀具的位置和方向可用來(lái)根據(jù)在固定或世界參考系中提供的術(shù)前或計(jì)劃數(shù)據(jù)，對(duì)齊當(dāng)前的刀具和照相機(jī)位置，或大體提高操縱刀具的機(jī)械機(jī)構(gòu)的安全性和可控性。但對(duì)于又一個(gè)示例，對(duì)刀具位置和方向的確定，也對(duì)在外科手術(shù)過(guò)程中從傳感器收集的數(shù)據(jù)的注冊(cè)有用，所述傳感器安裝在刀具本身，例如超聲傳感器。在這種情況下，如果支持傳感器的刀具的位置和方向公知在照相機(jī)參考系中(即內(nèi)窺鏡的參考系)，那么從安裝在刀具上的超聲傳感器收集的任何數(shù)據(jù)的位置和方向可被顯示在工作站顯示屏，完全根據(jù)外科手術(shù)圖像來(lái)注冊(cè)，以在外科手術(shù)過(guò)程中協(xié)助外科醫(yī)生。在這些特定注冊(cè)示例中，有必要在固定(或世界)參考系中確定刀具的位置和方向。所以，如果內(nèi)窺鏡的位置和方向公知在固定參考系中，那么內(nèi)窺鏡觀測(cè)的刀具位置和方向可從照相機(jī)參考系轉(zhuǎn)換到固定參考系?；蛘?，如果刀具的位置和方向在固定參考系中獨(dú)立確定，所述獨(dú)立確定不僅避免這 種參考系轉(zhuǎn)換過(guò)程，而且它也提供在參考系中確定內(nèi)窺鏡位置和方向的另一種方法。因此，本發(fā)明所涉及方面的目的是，提供在微創(chuàng)外科手術(shù)過(guò)程中，即使在一部分甚至整個(gè)刀具在內(nèi)窺鏡視圖之內(nèi)或之外被阻塞時(shí)，實(shí)現(xiàn)刀具跟蹤的方法和系統(tǒng)。本發(fā)明所涉及方面的又一個(gè)目的是，提供實(shí)現(xiàn)刀具跟蹤的方法和系統(tǒng)，所述刀具跟蹤包括，使用方向相關(guān)的標(biāo)記來(lái)進(jìn)行視覺(jué)跟蹤，以便確定刀具的位姿。本發(fā)明所涉及方面的又一個(gè)目的是，提供實(shí)現(xiàn)準(zhǔn)確、可靠和/或計(jì)算快捷的刀具跟蹤的方法和系統(tǒng)。本發(fā)明所涉及方面的又一個(gè)目的是，提供實(shí)現(xiàn)刀具跟蹤的方法和系統(tǒng)，所述刀具跟蹤在確定后的刀具位置和方向上實(shí)時(shí)運(yùn)行并最小化突然的轉(zhuǎn)移，以提供刀具的光滑跟
足示O本發(fā)明所涉及方面的又一個(gè)目的是，提供實(shí)現(xiàn)刀具跟蹤的方法和系統(tǒng)，所述刀具跟蹤校正或補(bǔ)償校準(zhǔn)誤差。這些以及附加的目的由本發(fā)明所涉及的各個(gè)方面實(shí)現(xiàn)，其中簡(jiǎn)要地?cái)⑹觯粋€(gè)方面是刀具跟蹤方法，其包括:通過(guò)處理非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息和內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息來(lái)跟蹤刀具，其中所述兩種刀具狀態(tài)信息在刀具通過(guò)在身體中的微創(chuàng)切口被插入并正被操縱時(shí)生成。
通過(guò)使用這種復(fù)合式方法，當(dāng)?shù)毒咴趤?lái)自被插入進(jìn)患者身體以觀測(cè)手術(shù)部位的內(nèi)窺鏡的視頻幀中完全被阻塞時(shí)，其狀態(tài)(例如其位置、方向以及平動(dòng)和轉(zhuǎn)動(dòng)速度)仍然可以根據(jù)非內(nèi)窺鏡導(dǎo)出刀具位置信息來(lái)確定，所述非內(nèi)窺鏡導(dǎo)出刀具位置信息例如由以下方式生成:使用來(lái)自正在操縱刀具的機(jī)械機(jī)構(gòu)的關(guān)節(jié)位置的系統(tǒng)運(yùn)動(dòng)學(xué)；使用電磁、聲學(xué)或從刀具(或者操縱刀具的機(jī)械機(jī)構(gòu))發(fā)射或反射以確定其位置的其他種類的檢測(cè)信號(hào)；使用由外部照相機(jī)生成的圖像，所述外部照相機(jī)觀測(cè)從患者身體延伸出來(lái)的刀具的末端。同樣地，假如非內(nèi)窺鏡導(dǎo)出刀具位置信息在抽樣速率持續(xù)可用，對(duì)非內(nèi)窺鏡導(dǎo)出刀具位置信息以及內(nèi)窺鏡導(dǎo)出刀具位置信息在確定位置和方向中的附加的使用，趨向于最小化或至少顯著減小圖像信息的參考系之間的確定后的位置和方向的任何突然的轉(zhuǎn)移。進(jìn)一步，內(nèi)窺鏡導(dǎo)出刀具位置信息以及非內(nèi)窺鏡導(dǎo)出刀具位置信息的用途，提供用于確定刀具狀態(tài)的信息的冗余源，這可被利用以確定刀具的位置和方向隨時(shí)間的更多精確刀具跟
足示O又一個(gè)方面是刀具跟蹤方法，其包括:接收傳感器信息，其在刀具通過(guò)在身體中切口被插入時(shí)，指示刀具的位置和方向；接收刀具的圖像信息；以及使用傳感器和圖像信息來(lái)確定刀具的位置和方向。又一個(gè)方面是具有刀具跟蹤的微創(chuàng)機(jī)械外科手術(shù)系統(tǒng)，其包含:一個(gè)或更多非內(nèi)窺鏡設(shè)備，其提供數(shù)據(jù)，在刀具通過(guò)身體中的切口被插入并正在被機(jī)械操縱時(shí)根據(jù)所述數(shù)據(jù)生成非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息；內(nèi)窺鏡采集的圖像，在刀具插入到身體里時(shí)根據(jù)所述采集圖像為身體內(nèi)的區(qū)域生成內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息；以及處理器，所述處理器被配置成處理用于跟蹤所述刀具的狀態(tài)的非內(nèi)窺鏡以及內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息。

又一個(gè)方面是具有刀具跟蹤的微創(chuàng)機(jī)械外科手術(shù)系統(tǒng)，其包含:一個(gè)或更多傳感器，其提供傳感器數(shù)據(jù)，在刀具通過(guò)身體中的切口被插入并正在被機(jī)械操縱時(shí)根據(jù)所述傳感器數(shù)據(jù)生成刀具的非視覺(jué)導(dǎo)出刀具狀態(tài)信息；至少一個(gè)照相機(jī)，其在所述刀具插入進(jìn)去時(shí)采集所述刀具圖像信息；以及處理器，所述處理器被配置成處理用于跟蹤所述刀具的狀態(tài)的所述非視覺(jué)導(dǎo)出刀具狀態(tài)息和圖像信息。又一個(gè)方面是刀具跟蹤方法，其包括:確定刀具的計(jì)算機(jī)模型；接收包含所述刀具的視圖的采集圖像；根據(jù)所述采集圖像確定所述刀具的估計(jì)位置和方向，按照關(guān)于所述采集圖像的估計(jì)位置和方向給所述計(jì)算機(jī)模型定位置和方向；以及參照在所述采集圖像中的刀具的圖像，修改所述計(jì)算機(jī)模型的估計(jì)位置和方向，直到所述計(jì)算機(jī)模型近似覆蓋所述圖像，從而為所述采集圖像校正所述刀具的估計(jì)位置和方向。又一個(gè)方面是刀具跟蹤方法，其包括:確定指示刀具狀態(tài)的傳感器數(shù)據(jù)是否在時(shí)間點(diǎn)可用；確定指示所述刀具狀態(tài)的圖像數(shù)據(jù)是否在所述時(shí)間點(diǎn)可用；以及
確定所述刀具狀態(tài)，其方式為如果所述傳感器數(shù)據(jù)和所述圖像數(shù)據(jù)都在所述時(shí)間點(diǎn)可用則使用此兩者，如果只有傳感器數(shù)據(jù)可用則只使用傳感器數(shù)據(jù)，如果只有圖像數(shù)據(jù)可用則只使用圖像數(shù)據(jù)。又一個(gè)方面是刀具跟蹤方法，其包括:使用指示在時(shí)間點(diǎn)的刀具狀態(tài)的第一傳感器數(shù)據(jù)，確定有關(guān)時(shí)間點(diǎn)的界標(biāo)的第一估計(jì)刀具狀態(tài)；使用指示在所述時(shí)間點(diǎn)的所述照相機(jī)狀態(tài)的第二傳感器數(shù)據(jù)，確定與所述時(shí)間點(diǎn)的所述界標(biāo)有關(guān)的估計(jì)照相機(jī)狀態(tài)；使用由所述照相機(jī)生成的且指示在所述時(shí)間點(diǎn)的所述刀具狀態(tài)的圖像數(shù)據(jù)，確定有關(guān)所述時(shí)間點(diǎn)的所述照相機(jī)的第二估計(jì)刀具狀態(tài)；轉(zhuǎn)換所述第一估計(jì)刀具狀態(tài)，以使其與所述照相機(jī)有關(guān)而不是與所述界標(biāo)有關(guān)；以及計(jì)算所述第一與第二估計(jì)刀具狀態(tài)之間的誤差轉(zhuǎn)換，使得在后續(xù)時(shí)間點(diǎn)如果指示在后續(xù)時(shí)間點(diǎn)所述刀具狀態(tài)的圖像數(shù)據(jù)不可用，則所述刀具狀態(tài)通過(guò)應(yīng)用所述誤差轉(zhuǎn)換到第三估計(jì)刀具狀態(tài)來(lái)確定，所述第三估計(jì)刀具狀態(tài)使用傳感器數(shù)據(jù)來(lái)確定，所述傳感器數(shù)據(jù)指示在所述后續(xù)時(shí)間點(diǎn)的所述轉(zhuǎn)換后刀具狀態(tài)，以使其與所述照相機(jī)有關(guān)而不是與所述界標(biāo)有關(guān)。又一個(gè)方面是刀具跟蹤方法，其包括:確定在給定時(shí)間的刀具的非內(nèi)窺鏡導(dǎo)出估計(jì)狀態(tài)信息；確定在所述給定時(shí)間的所述刀具的內(nèi)窺鏡估計(jì)的狀態(tài)信息；以及提供所述非內(nèi)窺鏡導(dǎo)出估計(jì)狀態(tài)信息和內(nèi)窺鏡導(dǎo)出估計(jì)狀態(tài)信息到貝葉斯濾波器，所述貝葉斯濾波器被配置以生成所述刀具的狀態(tài)的最優(yōu)估計(jì)。又一個(gè)方面是刀具跟蹤和校準(zhǔn)方法，其包括:根據(jù)從觀測(cè)刀具的照相機(jī)接收的圖像數(shù)據(jù)，生成視覺(jué)導(dǎo)出狀態(tài)信息；通過(guò)將一組照相機(jī)參數(shù)的初始值與所述視覺(jué)導(dǎo)出狀態(tài)信息組合，來(lái)生成狀態(tài)向量/[目息;以及提供所述狀態(tài)向量信息到貝葉斯濾波器用于處理，以生成所述刀具的狀態(tài)的最優(yōu)估計(jì)和該組照相機(jī)參數(shù)的校正值。又一個(gè)方面是照相機(jī)跟蹤方法，其包括:根據(jù)非視覺(jué)導(dǎo)出刀具狀態(tài)信息，確定在固定參考系中刀具的位置，所述非視覺(jué)導(dǎo)出刀具狀態(tài)信息根據(jù)指示所述刀具位置的傳感器數(shù)據(jù)生成；使用視覺(jué)導(dǎo)出刀具狀態(tài)信息，來(lái)確定在可隨照相機(jī)移動(dòng)的照相機(jī)參考系中所述刀具的位置，所述視覺(jué)導(dǎo)出刀具狀態(tài)信息根據(jù)所述照相機(jī)在觀測(cè)所述刀具時(shí)所提供圖像數(shù)據(jù)生成；以及使用在所述固定參考系中所述刀具的位置和在可移動(dòng)照相機(jī)參考系中所述刀具的位置，來(lái)確定在所述固定參考系中所述照相機(jī)的位置。又一個(gè)方面是刀具跟蹤方法，其包括:
根據(jù)非視覺(jué)導(dǎo)出照相機(jī)狀態(tài)信息，確定在固定參考系中照相機(jī)的位置，所述非視覺(jué)導(dǎo)出照相機(jī)狀態(tài)信息根據(jù)指示所述照相機(jī)位置的傳感器數(shù)據(jù)生成；
使用視覺(jué)導(dǎo)出刀具狀態(tài)信息，來(lái)確定在可隨照相機(jī)移動(dòng)的照相機(jī)參考系中刀具的位置，所述視覺(jué)導(dǎo)出刀具狀態(tài)信息根據(jù)所述照相機(jī)在觀測(cè)所述刀具時(shí)所提供的圖像數(shù)據(jù)生成；以及使用在所述固定參考系中的所述照相機(jī)位置和所述可移動(dòng)照相機(jī)參考系中所述刀具的位置，來(lái)確定在所述固定參考系中所述刀具的位置。又一個(gè)方面是刀具跟蹤,其包括:當(dāng)所述刀具通過(guò)身體中的切口被插入并正被操縱時(shí)，生成多個(gè)時(shí)間點(diǎn)中每個(gè)點(diǎn)的多個(gè)估計(jì)刀具狀態(tài)；以及通過(guò)使用貝葉斯技術(shù)來(lái)處理所述多個(gè)估計(jì)刀具狀態(tài)，來(lái)確定所述多個(gè)時(shí)間點(diǎn)中每個(gè)點(diǎn)的最優(yōu)估計(jì)刀具狀態(tài)。本發(fā)明所涉及的各方面的附加的目的、特點(diǎn)和優(yōu)勢(shì)，將隨著以下其優(yōu)選實(shí)施例的描述變得明顯，這些描述應(yīng)與附圖一起參考。


圖1利用本發(fā)明所涉及的方面，說(shuō)明微創(chuàng)機(jī)械外科手術(shù)系統(tǒng)。圖2利用本發(fā)明所涉及的方面，說(shuō)明與微創(chuàng)機(jī)械外科手術(shù)系統(tǒng)相關(guān)的三維參考
系O圖3利用本發(fā)明所 涉及的方面，說(shuō)明一種刀具跟蹤方法的流程圖，所述刀具跟蹤方法用刀具傳感器和刀具圖像數(shù)據(jù)中的任一個(gè)或兩者來(lái)確定刀具狀態(tài)。圖4利用本發(fā)明所涉及的方面，說(shuō)明一種刀具跟蹤方法的流程圖，所述刀具跟蹤方法用刀具傳感器和刀具圖像數(shù)據(jù)來(lái)確定刀具狀態(tài)。圖5利用本發(fā)明所涉及的方面，說(shuō)明用于確定刀具狀態(tài)的卡爾曼濾波器刀具跟蹤方法的功能框圖。圖6說(shuō)明用于使三維空間中位置與三維像面中對(duì)應(yīng)位置相關(guān)聯(lián)的立體式投影。圖7說(shuō)明剛性體上三維點(diǎn)的投影。圖8利用本發(fā)明所涉及的方面，說(shuō)明用于實(shí)現(xiàn)刀具跟蹤的方向相關(guān)的第一刀具標(biāo)記。圖9利用本發(fā)明所涉及的方面，說(shuō)明用于實(shí)現(xiàn)刀具跟蹤的方向相關(guān)的第二刀具標(biāo)記。圖10利用本發(fā)明所涉及的方面，說(shuō)明計(jì)算機(jī)模型刀具跟蹤方法的流程圖。
具體實(shí)施例圖1說(shuō)明作為不例的微創(chuàng)機(jī)械外科手術(shù)(MIRS)系統(tǒng)100,其包含一個(gè)控制臺(tái)(“C”)，在對(duì)躺在手術(shù)臺(tái)(“O”)上的患者(“P”)完成微創(chuàng)診斷或手術(shù)時(shí)，所述控制臺(tái)被外科醫(yī)生(“S”)利用，所述診斷或手術(shù)通常需要一個(gè)或更多助手(“A”)的幫助來(lái)進(jìn)行。控制臺(tái)包含支架102、向外科醫(yī)生顯示手術(shù)部位圖像的監(jiān)視器104以及一個(gè)或更多控制設(shè)備108。控制設(shè)備108可包含多種輸入設(shè)備中的任何一種或更多種，例如操縱桿、手套、觸發(fā)槍、手動(dòng)控制器、語(yǔ)音識(shí)別設(shè)備等。外科醫(yī)生通過(guò)操縱若干個(gè)控制設(shè)備108來(lái)完成手術(shù)，在外科醫(yī)生通過(guò)監(jiān)視器104觀測(cè)手術(shù)部位時(shí)，所述控制設(shè)備108輪流引起機(jī)械機(jī)構(gòu)114通過(guò)所述患者身體中的微創(chuàng)切口操縱它們各自的可摘除耦合器械或刀具組件110 (以下簡(jiǎn)單稱作“刀具”)。同時(shí)使用的外科手術(shù)刀具110的數(shù)量并因此在系統(tǒng)100中使用的機(jī)械機(jī)構(gòu)114的數(shù)量，一般將取決于(除其它因素外)診斷或手術(shù)程序以及手術(shù)室內(nèi)的空間限制。如果有必要改變用于手術(shù)過(guò)程中的一個(gè)或更多的刀具110中，則所述助手可從其機(jī)械機(jī)構(gòu)114摘除此時(shí)不再使用的刀具110，并用手術(shù)室里的盤(“T”)中的另一個(gè)刀具100替換它。外科醫(yī)生的控制臺(tái)通常與患者位于同一間屋，以便外科醫(yī)生可以直接監(jiān)視手術(shù)，如果必要可親自上陣，以及直接向助手說(shuō)話而不是通過(guò)電話或其他通信媒介。然而，需要理解的是，外科醫(yī)生也可以在不同的屋、完全不同的樓或需要考慮遙控外科手術(shù)的遠(yuǎn)離患者其他位置。優(yōu)選地，控制設(shè)備108將被提供與其相關(guān)刀具110相同的自由度，從而提供給外科醫(yī)生臨場(chǎng)感或如下感知:即控制設(shè)備108與刀具110形成一體以便外科醫(yī)生對(duì)直接控制刀具110有強(qiáng)烈的感覺(jué)。為此，位置、力和觸覺(jué)型反饋傳感器(圖中未顯示)優(yōu)選地被應(yīng)用在刀具100上，從而在外科醫(yī)生運(yùn)行控制設(shè)備108時(shí)，將位置、力和觸覺(jué)型感覺(jué)從刀具110傳回到他/她的手。監(jiān)視器104適當(dāng)耦合到觀測(cè)視野組件112，包含一個(gè)或更多照相機(jī)，經(jīng)過(guò)處理器101，并定位在控制臺(tái)的支架102上，以便手術(shù)部位的圖像能被提供到外科醫(yī)生的手邊。優(yōu)選地，監(jiān)視器104將在顯示器106上顯示倒轉(zhuǎn)的圖像，所述顯示器106如圖確定方向，以便外科醫(yī)生感覺(jué)他或她實(shí)際上正在直接俯視手術(shù)部位。為此，刀具110的圖像顯得基本就在手術(shù)員的雙手所在的位置，即使觀察點(diǎn)(即內(nèi)窺鏡或觀測(cè)照像機(jī))可能并不來(lái)自所述圖像的視圖的點(diǎn)。 此外，實(shí)時(shí)圖像優(yōu)選地變換為透視圖像，以便手術(shù)員可以操縱刀具110的末端執(zhí)行器，通過(guò)刀具的對(duì)應(yīng)控制設(shè)備108，就像基本真實(shí)在場(chǎng)觀測(cè)工作空間一樣。對(duì)于真實(shí)在場(chǎng)，指的是圖像呈現(xiàn)的是真實(shí)的透視圖像，所述真實(shí)的透視圖像模擬親身操作刀具110的手術(shù)員的觀點(diǎn)。因此，處理器101 (或控制臺(tái)中另一個(gè)處理器)將刀具110的坐標(biāo)變換到能感知到的位置，以使得如果觀測(cè)視野組件112直接位于刀具110的后面，所述透視圖像就是我們將看到的圖像。處理器101完成系統(tǒng)100中的各種功能。優(yōu)選地，它被用來(lái)將控制設(shè)備108的機(jī)械運(yùn)動(dòng)，經(jīng)由例如CSl和CS2的控制信號(hào)，轉(zhuǎn)換到與刀具110連接的機(jī)械機(jī)構(gòu)114。此外，它還優(yōu)選地被用來(lái)實(shí)現(xiàn)刀具跟蹤方法，所述刀具跟蹤方法可輪流地用于經(jīng)由信號(hào)CS3來(lái)控制觀測(cè)視野組件112運(yùn)動(dòng)通過(guò)其機(jī)械機(jī)構(gòu)115，以便其跟蹤一個(gè)或更多的刀具110以及其他目的，例如那些前述的。處理器101可與機(jī)械機(jī)構(gòu)114和115分離或被適當(dāng)集成進(jìn)機(jī)械機(jī)構(gòu)114和115，或者它可被整個(gè)地或部分地集成進(jìn)所述控制臺(tái)，作為其處理器或其處理器的協(xié)處理器的。處理器101也優(yōu)選地將來(lái)自刀具110的力和力矩反饋提供給手動(dòng)控制設(shè)備108。此外，它優(yōu)選地實(shí)現(xiàn)安全性監(jiān)視功能，所述安全性監(jiān)視功能凍結(jié)或至少阻止所有機(jī)械運(yùn)動(dòng)以響應(yīng)識(shí)別條件，例如過(guò)多的力施加在患者身上或機(jī)械機(jī)構(gòu)114或115的“失控”。雖然被描述為處理器，但需要理解的是，處理器101實(shí)際上可以通過(guò)硬件、軟件和固件的任何組合實(shí)現(xiàn)。同樣地，這里描述的其功能可以被一個(gè)裝置或分成不同的組件完成，所述不同組件中的每一個(gè)都可以輪流被硬件、軟件和固件的任何組合實(shí)現(xiàn)。系統(tǒng)100關(guān)于其對(duì)刀具110的操作和控制的一般操作和結(jié)構(gòu)的附加細(xì)節(jié)作為示例被描述在名為 “Mult1-Component Telepresence System and Method” 的共有美國(guó)專利第6，346，072號(hào)中，其通過(guò)引用參考被并入于此。圖2作為示例說(shuō)明了與微創(chuàng)機(jī)械外科手術(shù)系統(tǒng)100相關(guān)的各種參考系。世界參考系201是固定參考系，此固定參考系其以例如微創(chuàng)診斷或手術(shù)正在發(fā)生的手術(shù)室中的固定點(diǎn)(即界標(biāo))為中心。另一方面，刀具參考系202是移動(dòng)參考系，此移動(dòng)參考戲以例如例如所述刀具上的固定點(diǎn)為中心,并因此隨所述刀具移動(dòng)。相似地，照相機(jī)參考系203也是移動(dòng)參考系，此移動(dòng)參考系以例如照相機(jī)上的固定點(diǎn)為中心，并因此隨所述照相機(jī)移動(dòng)。所述刀具參考系202和所述照相機(jī)參考系203相對(duì)于所述世界參考系201的位置和方向，優(yōu)選地根據(jù)傳感器數(shù)據(jù)確定，所述傳感器數(shù)據(jù)與用于操縱它們各自位置和方向的機(jī)械機(jī)構(gòu)相關(guān)聯(lián)。又一個(gè)刀具參考系204表示根據(jù)照相機(jī)參考系203確定的刀具參考系的位置和方向。在沒(méi)有系統(tǒng)誤差的情況下，刀具參考系202和204會(huì)精確重合。患者參考系205是半固定參考系，此半固定參考系以例如患者身上的固定點(diǎn)為中心，并因此當(dāng)患者移動(dòng)時(shí)，隨該點(diǎn)移動(dòng)。所述照相機(jī)定義的照相機(jī)參考系203，優(yōu)選地是立體式照相機(jī)，其被校準(zhǔn)以便在其左右像面的每一對(duì)對(duì)應(yīng)點(diǎn)都映射到其照相機(jī)參考系208中的三維點(diǎn)。由所述照相機(jī)感知的刀具的位置(例如所述刀具參考系204)，可以以如下方式被確定，例如先識(shí)別所述照相機(jī)的左右像面中的刀具，再使用校準(zhǔn)信息來(lái)確定照相機(jī)參考系203中的刀具位置。一般地，照相機(jī)參考系203與內(nèi)窺鏡相關(guān)聯(lián)，所述內(nèi)窺鏡被插入在手術(shù)部位，以便能夠在手術(shù)過(guò)程中觀測(cè)到刀具的執(zhí)行器端。如上所示，在這種情況下，所述內(nèi)窺鏡優(yōu)選地是立體式內(nèi)窺鏡。第二照相機(jī)參考系(圖中未顯示)也可以被定義并與位于所述患者身體外的外部照相機(jī)裝置相關(guān)聯(lián)，但要在足夠鄰近的位置，以便能夠觀測(cè)到在手術(shù)過(guò)程中從患者身體延伸出的刀具的后端。所述外部照相機(jī)裝置也優(yōu)選地是立體式照相機(jī)，從而使3-D確定變得容易。 如前所描述，所述刀具和內(nèi)窺鏡都優(yōu)選地通過(guò)所述患者身體中的切口、使用機(jī)械機(jī)構(gòu)從而被操縱。每個(gè)這樣的機(jī)械機(jī)構(gòu)都包含關(guān)節(jié)和連桿，所述關(guān)節(jié)和連桿允許其各自的刀具或內(nèi)窺鏡以五或六自由度運(yùn)動(dòng)。刀具(如刀具參考系202的位置和方向所描述)和內(nèi)窺鏡(如照相機(jī)參考系的位置和方向所描述)的位置和方向，可以通過(guò)將傳感器附在它們各自的機(jī)械機(jī)構(gòu)的關(guān)節(jié)和/或連桿來(lái)感覺(jué)它們的運(yùn)動(dòng)，被確定在世界參考系201。這種技術(shù)在機(jī)械中眾所周知，還伴隨著一個(gè)事實(shí)，即它們的結(jié)果取決于所述機(jī)械機(jī)構(gòu)獨(dú)特的構(gòu)建和運(yùn)行。附加的細(xì)節(jié)可以例如在John J.Craig的“Introduction to Robotics—Mechanics and Control，，第二版,AddisonWesley Longman, 1986 中找到。又一個(gè)用于在世界參考系201中確定刀具和內(nèi)窺鏡位置和方向的方法，包括感覺(jué)電磁、聲學(xué)或從刀具或內(nèi)窺鏡發(fā)射或正被反射以便指示其位置和方向的其他可識(shí)別信號(hào)。又一個(gè)在世界參考系201中確定刀具和內(nèi)窺鏡位置和方向的方法，包括對(duì)上述外部立體式內(nèi)窺鏡的使用，這可以觀測(cè)從患者身體延伸出的刀具和內(nèi)窺鏡的后端，并通過(guò)基于其左右像面的計(jì)算來(lái)確定其位置和方向。
通過(guò)確定由世界參考系中的傳感器所確定的內(nèi)窺鏡(如照相機(jī)參考系203描述)和刀具(由刀具參考系202描述)的位置和方向，在世界參考系201中刀具位置和方向的確定可以使用傳統(tǒng)三角測(cè)量技術(shù)被檢驗(yàn)，所述傳統(tǒng)三角測(cè)量技術(shù)使用在世界參考系201中確定的內(nèi)窺鏡位置和方向以及在內(nèi)窺鏡的照相機(jī)參考系203中確定的刀具位置和方向(如刀具參考系204描述)。反之，在世界參考系201中內(nèi)窺鏡位置和方向(如照相機(jī)參考系203描述)的確定可以使用傳統(tǒng)三角測(cè)量技術(shù)被檢驗(yàn)，所述傳統(tǒng)三角測(cè)量技術(shù)使用在世界參考系201中確定的刀具位置和方向(如刀具參考系202描述)以及在內(nèi)窺鏡的照相機(jī)參考系203中確定的刀具位置和方向(如刀具參考系204描述)。含有用于確定刀具和內(nèi)窺鏡位置和方向的附加裝置，可提供更多檢查它們各自位置和方向的途徑，并提供更準(zhǔn)確的確定。圖3說(shuō)明作為示例一種刀具跟蹤方法的流程圖，所述刀具跟蹤方法通過(guò)處理刀具的可用傳感器和圖像數(shù)據(jù)來(lái)跟蹤刀具，所述數(shù)據(jù)在刀具通過(guò)身體中的微創(chuàng)切口被插入并正被操縱時(shí)生成。在這種情況下，所述傳感器數(shù)據(jù)來(lái)自位置傳感器，例如用來(lái)檢測(cè)在操縱刀具的機(jī)械機(jī)構(gòu)中的關(guān)節(jié)位置的傳感器，或者用來(lái)檢測(cè)電磁、聲學(xué)或從刀具發(fā)射或正被反射以便指示其位置的其他可識(shí)別信號(hào)的傳感器。為了適當(dāng)?shù)匾黄鹛幚硭鰯?shù)據(jù)，傳感器和圖像數(shù)據(jù)都優(yōu)選地以某種方式記時(shí)打印，以便與相同時(shí)間點(diǎn)相關(guān)聯(lián)的數(shù)據(jù)可以被互相處理。在301中，確定是否刀具目前在用戶的活動(dòng)控制之下，例如受由用戶打開(kāi)的對(duì)應(yīng)控制設(shè)備控制。如果在301中的確定是否，則該方法保持周期性循環(huán)，直到在301中的確定結(jié)果為是，此時(shí)，在302中就做出確定是否指示刀具狀態(tài)的傳感器數(shù)據(jù)可用。如果在302中的確定是否，則在303中做出確定是否指示刀具狀態(tài)的圖像數(shù)據(jù)可用。如果在303中的確定也是否，則沒(méi)有信息在此時(shí)可用于確定刀具狀態(tài)，該方法跳回到301以在另一時(shí)間再次開(kāi)始此過(guò)程。另一方面，如果在303中的確定為是，則在304中刀具的狀態(tài)只使用此時(shí)的圖像數(shù)據(jù)被確定，在這樣的確定之后，該方法跳回到301以在另一時(shí)間重新開(kāi)始此過(guò)程。如果在302中的確定為是，但其指示傳感器數(shù)據(jù)可用，則在305中，確定是否刀具的位置從其上次確定以來(lái)改變過(guò)。此時(shí)進(jìn)行該確定是有優(yōu)勢(shì)的，因?yàn)樵摯_定實(shí)現(xiàn)起來(lái)相對(duì)容易和快捷，如果刀具沒(méi)有移動(dòng)，它避免確定新的刀具位置和方向的不必要計(jì)算。作為用來(lái)實(shí)現(xiàn)在305中確定的一種技術(shù)的示例:(i)關(guān)節(jié)速度根據(jù)傳感器被確定，所述傳感器使用在正操縱刀具的機(jī)械機(jī)構(gòu)的關(guān)節(jié)，(ii)所述關(guān)節(jié)速度每個(gè)都是平方的，
(iii)所述平方關(guān)節(jié)速度被相加在一起，(iv)所得到的值與門限值進(jìn)行比較，使得僅當(dāng)?shù)玫降闹荡笥陂T限值時(shí)，刀具被確定移動(dòng)過(guò)。如果在305中的確定是否，則該方法跳回到301以在另一時(shí)間再次開(kāi)始此過(guò)程。另一方面，如果在305中的確定為是，則在306中做出確定是否指示刀具狀態(tài)的圖像數(shù)據(jù)可用。如果在306中的確定是否，則在308中刀具的狀態(tài)在此時(shí)只使用傳感器數(shù)據(jù)被確定，在這樣的確定之后，該方法就跳回到301以在另一時(shí)間重新開(kāi)始此過(guò)程。然而，如果在306中的確定為是，則在307中刀具的狀態(tài)在此時(shí)使用傳感器和圖像數(shù)據(jù)被確定，在這樣的確定之后，該方法就跳回到301以在另一時(shí)間重新開(kāi)始此過(guò)程。在參照?qǐng)D3如上描述的方法中，沒(méi)有關(guān)于所述傳感器或圖像數(shù)據(jù)的可用性做出假設(shè)。所以，這里描述的方法獨(dú)立檢驗(yàn)是否兩種數(shù)據(jù)都可用，并因此確定刀具的位置。雖然傳感器數(shù)據(jù)的可用性在此方法中檢驗(yàn)圖像數(shù)據(jù)的可用性之前被檢驗(yàn)，但需要理解的是，此檢驗(yàn)過(guò)程可逆，并且仍在本 發(fā)明此方面的范圍之內(nèi)。
所述傳感器數(shù)據(jù)可從如下傳感器或編碼器接收，所述傳感器或編碼器位于在手術(shù)過(guò)程中操縱刀具的機(jī)械機(jī)構(gòu)上的關(guān)節(jié)和/或連桿上，或者所述傳感器數(shù)據(jù)可從如下傳感器接收，所述傳感器檢測(cè)電磁、聲學(xué)或從刀具發(fā)射或正被反射以指示其位置的其他可識(shí)別信號(hào)。所述圖像數(shù)據(jù)可從如下內(nèi)窺鏡接收，所述內(nèi)窺鏡觀測(cè)患者身體內(nèi)的刀具的執(zhí)行器端，或者所述圖像數(shù)據(jù)可從如下外部照相機(jī)接收，所述外部照相機(jī)觀測(cè)在手術(shù)過(guò)程中延伸出患者身體以外的刀具的暴露端。圖4說(shuō)明作為示例的刀具跟蹤方法，其使用刀具傳感器和可用的刀具圖像數(shù)據(jù)來(lái)確定刀具狀態(tài)。在該方法中，一般在手術(shù)之前離線完成401和402，在手術(shù)過(guò)程中在線完成403-410。在401中，離線校準(zhǔn)立體式內(nèi)窺鏡，以便可在其左右2-D像面和所述3-D照相機(jī)系203之間完成點(diǎn)映射。在這種情況下校準(zhǔn)包括，確定本征照相機(jī)參數(shù)，例如立體式像對(duì)的每個(gè)照相機(jī)的焦距(例如，見(jiàn)圖6中長(zhǎng)度“F”)、主點(diǎn)、歪斜和畸變。此外，立體式像對(duì)中兩個(gè)照相機(jī)之間的轉(zhuǎn)動(dòng)和平動(dòng)可以被確定?？梢酝瓿梢淮握障鄼C(jī)校準(zhǔn)，例如在微創(chuàng)機(jī)械外科手術(shù)系統(tǒng)100的初始建立過(guò)程中，或者可以周期性完成照相機(jī)校準(zhǔn)，例如只在完成微創(chuàng)診斷或手術(shù)之前。一種完成校準(zhǔn)的技術(shù)是在多個(gè)位置和方向采集若干校準(zhǔn)網(wǎng)格圖像。這些圖像可以饋入商業(yè)可用的(或自家種植的)校準(zhǔn)包，所述校準(zhǔn)包在所屬校準(zhǔn)網(wǎng)格圖像中提取角位置，完成校準(zhǔn)/優(yōu)化過(guò)程以獲得所需參數(shù)。在402中，誤差轉(zhuǎn)換的初始值在每個(gè)手術(shù)開(kāi)始時(shí)被確定。誤差轉(zhuǎn)換被定義為在第一估計(jì)刀具狀態(tài)(如刀具參考系202所描述)的參考系中第二估計(jì)刀具狀態(tài)(如刀具參考系204所描述)的位置和方向，所述第一估計(jì)刀具狀態(tài)在世界參考系201中根據(jù)傳感器被確定并被轉(zhuǎn)換到立體式照相機(jī)的照相機(jī)參考系203，所述第二估計(jì)刀具狀態(tài)在照相機(jī)參考系203中根據(jù)立體式照相機(jī)的左右像面被確定。根據(jù)之前引用的“Introduction toRobotics - Mechanics and Control”中定義的變換表示法,這可以被表示為=J1。此過(guò)程開(kāi)始于例如通過(guò)根據(jù)傳感器數(shù)據(jù)來(lái)應(yīng)用初始轉(zhuǎn)換到刀具位置，以便此轉(zhuǎn)換后的刀具位置的立體式投影以左右像面為中心。用戶將刀具移動(dòng)到立體式圖像的四角，點(diǎn)擊在左右圖像中的2D刀具位置。將初始轉(zhuǎn)換、刀具的3-D傳感器位置和刀具的2-D圖像位置組合，這給出根據(jù)傳感器確定的刀具位置(例如刀具參考系202所描述)與根據(jù)立體式圖像確定的刀具位置(例如刀具參考系204所描述)之間的誤差轉(zhuǎn)換孟Γ的初始值。在它們確定之后，所述初始值正好在開(kāi)始403-410之前被裝入短期存儲(chǔ)器中。在403中，在世界參考系201中的刀具狀態(tài)根據(jù)所述傳感器數(shù)據(jù)被確定。對(duì)于刀具狀態(tài)只由位置和方向構(gòu)成的標(biāo)稱情況，這可以被表示為所述變換巧Γ(詳見(jiàn)“IntiOductionto Robotics一Mechanics and Control”)。這可以以如下方式被確定，例如，根據(jù)系統(tǒng)運(yùn)動(dòng)學(xué)，使用根據(jù)與操縱刀具的機(jī)械機(jī)構(gòu)相關(guān)聯(lián)的關(guān)節(jié)或連桿位置傳感器來(lái)提供的數(shù)據(jù)來(lái)確定，或者通過(guò)計(jì)算在世界參考系201中的刀具位置，使用從刀具發(fā)射或正被反射并指示其位置的信號(hào)來(lái)確定。雖然兩個(gè)示例都提供狀態(tài)信息，但對(duì)系統(tǒng)運(yùn)動(dòng)學(xué)的使用是完成此功能的優(yōu)選，因?yàn)樗话惚戎甘镜毒呶恢玫男盘?hào)提供更多刀具狀態(tài)信息。在404中 ，在世界參考系201中的照相機(jī)狀態(tài)也根據(jù)所述傳感器數(shù)據(jù)被確定。對(duì)于刀具狀態(tài)只由位置和方向構(gòu)成的標(biāo)稱情況，這可以被表示為所述變換(詳見(jiàn)“Introduction to Robotics一Mechanics and Control”)。正如在 403 中的刀具狀態(tài)的確定的情況，這可以以如下方式被確定，例如，根據(jù)系統(tǒng)運(yùn)動(dòng)學(xué)，使用根據(jù)與操縱照相機(jī)的機(jī)械機(jī)構(gòu)相關(guān)聯(lián)的關(guān)節(jié)或連桿位置傳感器來(lái)提供的數(shù)據(jù)來(lái)確定，或者通過(guò)計(jì)算在世界參考系201中的照相機(jī)位置，使用從照相機(jī)發(fā)射或正被反射并指示其位置的信號(hào)來(lái)確定。在405中，使用傳統(tǒng)參考系轉(zhuǎn)換技術(shù)，將在403中確定的估計(jì)狀態(tài)信息從世界參考系201轉(zhuǎn)換到照相機(jī)的照相機(jī)參考系203，所述傳統(tǒng)參考系轉(zhuǎn)換技術(shù)使用在404中確定的估計(jì)照相機(jī)狀態(tài)(在世界參考系201中)。=(I)在406中，做出確定是否刀具的圖像數(shù)據(jù)在對(duì)應(yīng)時(shí)間點(diǎn)可用，在所述對(duì)應(yīng)時(shí)間點(diǎn)刀具狀態(tài)在403中被確定。如果圖像不被對(duì)應(yīng)時(shí)間點(diǎn)的照相機(jī)采集，或者刀具在被對(duì)應(yīng)時(shí)間點(diǎn)的照相機(jī)所采集的圖像中不可識(shí)別，則所述圖像數(shù)據(jù)可能不可用。當(dāng)由于手術(shù)過(guò)程中外科醫(yī)生操縱刀具而使刀具移入或移出照相機(jī)視圖時(shí)，后一種情況可能發(fā)生。為了在采集圖像中協(xié)助識(shí)別刀具，各種刀具識(shí)別技術(shù)可被使用，包括對(duì)這里描述的特殊標(biāo)記進(jìn)行使用。作為上述的細(xì)化，即使刀具在圖像數(shù)據(jù)中可識(shí)別，其可被識(shí)別為異常值，所以如果其狀態(tài)落到最佳擬合曲線的容許范圍之外，則其被丟棄，所述最佳擬合曲線是根據(jù)先前確定的在之前時(shí)間點(diǎn)的刀具狀態(tài)生成。如果在406中的確定為是，則在407中，在照相機(jī)參考系203中的刀具狀態(tài)(例如刀具參考系204所描述)的估計(jì)直接被確定。對(duì)于刀具狀態(tài)只由位置和方向構(gòu)成的標(biāo)稱情況，這可以被表示為所述變換ο作為用于完成此任務(wù)的一種技術(shù)的示例，控制點(diǎn)在從立體式照相機(jī)接收的左右2-D像面中的刀具上被識(shí)別，之后該點(diǎn)在3-D照相機(jī)參考系203中的對(duì)應(yīng)位置使用先前生成的校準(zhǔn)數(shù)據(jù)被確定。作為所述控制點(diǎn)如何在所述兩像面中被識(shí)別的示例，包含所述控制點(diǎn)的小窗可在左圖像中被選擇，并與右圖像中的小窗交叉相關(guān)，從而以最高相關(guān)因數(shù)確定該圖像中的窗，這就導(dǎo)致對(duì)該圖像中的 控制點(diǎn)的匹配和識(shí)別。在407中確定刀具狀態(tài)之后，修改后的誤差轉(zhuǎn)換在408中被計(jì)算為在405中確定的刀具狀態(tài)與在407中確定的刀具狀態(tài)之間的變換，并被存儲(chǔ)到短期存儲(chǔ)器中，替換其中存儲(chǔ)的任何初始值。在407中確定的估計(jì)刀具狀態(tài)在409中被確定為該時(shí)間點(diǎn)的刀具狀態(tài)。該方法跳回到403，在照相機(jī)參考系203中為另一時(shí)間點(diǎn)確定刀具狀態(tài)。22 Sd⑵另一方面，如果在406中的確定是否，則在410中，在照相機(jī)參考系203中的刀具狀態(tài)(例如刀具參考系204所描述)就被確定為，在405中確定的、被對(duì)應(yīng)在402中確定的刀具狀態(tài)的誤差轉(zhuǎn)換所調(diào)節(jié)的估計(jì)刀具狀態(tài)。在這種情況下，所述誤差轉(zhuǎn)換未被更新。該方法跳回到403，在照相機(jī)參考器203中為另一時(shí)間點(diǎn)確定刀具狀態(tài)。⑴ 注意，所述誤差轉(zhuǎn)換可在完成任務(wù)408中的手術(shù)過(guò)程中被更新，因?yàn)樗稣`差轉(zhuǎn)換由于多種因素可隨時(shí)間緩慢變動(dòng)，所述多種因素例如在所述初始誤差轉(zhuǎn)換估計(jì)、初始關(guān)聯(lián)、系統(tǒng)運(yùn)動(dòng)學(xué)或照相機(jī)校準(zhǔn)中的誤差，也有其他因素例如應(yīng)用到刀具或其操縱的機(jī)械機(jī)構(gòu)的外力或者機(jī)械機(jī)構(gòu)中的磁滯或其他非線性。
圖5說(shuō)明作為示例的另一刀具跟蹤方法的功能框圖。在這種情況下的所述刀具跟蹤方法使用擴(kuò)展的卡爾曼濾波器(“EKF”)，其有如下目的，即通過(guò)將例如zm_k和z.k(通過(guò)處理與刀具相關(guān)聯(lián)的傳感器和/或外部照相機(jī)數(shù)據(jù)，分別在方框501和502中被生成)的一個(gè)或更多非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息與例如zvi_k、zv2_k和zV3_k(通過(guò)處理從使用對(duì)應(yīng)視覺(jué)算法的立體式內(nèi)窺鏡接收的刀具的圖像信息，分別在方框511、512和513中生成)的一個(gè)或更過(guò)內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息組合，并使用系統(tǒng)動(dòng)力學(xué)模型，來(lái)產(chǎn)生正被跟蹤的刀具狀態(tài)的最優(yōu)估計(jì)。 在此方法中，對(duì)是否非內(nèi)窺鏡導(dǎo)出或內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息可用的確定并不必要(例如在圖3中在302和306中為傳感器數(shù)據(jù)和圖像數(shù)據(jù)所完成)，因?yàn)槿绻我庖环N信息在計(jì)算時(shí)間不可用，則這種情況通過(guò)包含保持先前值(即不在此時(shí)被更新)的測(cè)量值的不可用信息進(jìn)行考慮。由于這個(gè)和其他原因，參照?qǐng)D5描述的該方法被認(rèn)為是用于確定刀具狀態(tài)的優(yōu)選技術(shù)。注意，雖然EKF用于此示例，但其他貝葉斯濾波器或技術(shù)例如卡爾曼濾波器或粒子濾波器也可被使用，并完全仔細(xì)考慮它們?cè)诒景l(fā)明的范圍之內(nèi)。貝葉斯濾波器是指基于貝葉斯估計(jì)技術(shù)的統(tǒng)計(jì)濾波器一族。

同樣地，注意，被稱為傳感器數(shù)據(jù)、外部照相機(jī)數(shù)據(jù)或內(nèi)窺鏡圖像數(shù)據(jù)的所有輸入可被認(rèn)為是測(cè)量，其中被測(cè)量的數(shù)量是在對(duì)應(yīng)傳感器、外部照相機(jī)或內(nèi)窺鏡參考系中的刀具狀態(tài)(一般是位置和方向)的某子集。一般地，刀具狀態(tài)的所有傳感器測(cè)量包括一定量的處理，例如，一般需要前向運(yùn)動(dòng)學(xué)計(jì)算來(lái)計(jì)算來(lái)自機(jī)械關(guān)節(jié)位置傳感器的刀具狀態(tài)。進(jìn)一步，所有測(cè)量一般都是異步的，但通過(guò)時(shí)間戳稱為絕對(duì)時(shí)鐘。每個(gè)測(cè)量一般都被例如零均值噪聲的某隨機(jī)誤差惡化，并可能在某時(shí)間點(diǎn)(確失)不可用或可能完全錯(cuò)誤(異常值)。因此所述EKF減弱刀具狀態(tài)估計(jì)上的測(cè)量噪聲效應(yīng)。每個(gè)傳感器、外部照相機(jī)或內(nèi)窺鏡參考系之間的額定變化被用于融合所述測(cè)量。功能方框501根據(jù)傳感器數(shù)據(jù)生成非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息zm_k并將所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息提供到EKF加以處理。如前所描述，所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息可來(lái)自關(guān)節(jié)位置傳感器、刀具位置信號(hào)檢測(cè)器或外部照相機(jī)。附加的功能方塊，例如功能方框502，可以非必要地被包含，從而根據(jù)相同的或其他傳感器數(shù)據(jù)或外部照相機(jī)來(lái)生成附加的非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息并將所述附加的非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息提供到EKF521加以處理。另一方面，功能方框511根據(jù)內(nèi)窺鏡圖像數(shù)據(jù)來(lái)生成內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息zvl-k，并將所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)提供到EKF521加以處理。如前所描述，所述內(nèi)窺鏡圖像數(shù)據(jù)可以是來(lái)自立體式內(nèi)窺鏡左右像面。附加的功能方框，例如功能方框512和513，可以非必要地被包含，從而一般根據(jù)相同的內(nèi)窺鏡圖像數(shù)據(jù)來(lái)生成附加的內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息并將所述附加的內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息提供到EKF521加以處理。功能方框501-502和511-513完成一些普遍任務(wù)以及它們各體的特殊處理，以生成它們各自的刀具狀態(tài)信息。作為示例，每個(gè)功能方框都跟蹤置于其接收的傳感器或圖像數(shù)據(jù)的時(shí)間戳，這指示數(shù)據(jù)在什么時(shí)候被感測(cè)或采集，從而使在任何給定時(shí)間由功能方框提供到EKF521的所有刀具狀態(tài)信息都大體與時(shí)間戳上指示的相同時(shí)間對(duì)應(yīng)。作為示例，每個(gè)功能方框優(yōu)選地在其接收的傳感器或圖像數(shù)據(jù)中濾去噪聲，以使得被提供到EKF521的刀具狀態(tài)信息大體具有零均值噪聲。以下是EKF521如何在微創(chuàng)診斷或手術(shù)過(guò)程中被用于刀具跟蹤的簡(jiǎn)化示例。一般對(duì)于 EKF 的更深入描述，例如，見(jiàn) Greg Welch 和 Gary Bishop 的 “Introduction to theKalman Filter,，，TR95-041, Department of Computer Science, University of NorthCarolina at Chapel Hill, April5, 2004。眾所周知，EKF框架由兩個(gè)明顯的階段，被稱為“時(shí)間更新”(或“預(yù)測(cè)”)階段和“測(cè)量更新”(或“校正”)階段。在卡爾曼濾波器更新循環(huán)的第一階段，來(lái)自濾波器先前迭代的狀態(tài)估計(jì)用來(lái)基于系統(tǒng)動(dòng)力學(xué)的(可能)非線性模型f和施力函數(shù)Uk+根據(jù)如下方程式(4)，產(chǎn)生對(duì)該循環(huán)<的新?tīng)顟B(tài)估計(jì)的預(yù)測(cè):Xt =Z(Vl3Us^l3O)(4)其中方程式(4)中的‘0’是用于產(chǎn)生預(yù)測(cè)后的狀態(tài)估計(jì)的過(guò)程噪聲估計(jì)。關(guān)于點(diǎn)線性化非線性系統(tǒng)模型f，獲得被線性化的狀態(tài)轉(zhuǎn)移矩陣A。之后，使用來(lái)自濾波器先前迭代的誤差協(xié)方差矩陣Plri，根據(jù)如下方程式(5)，對(duì)此循環(huán)產(chǎn)生對(duì)新誤差協(xié)方差矩陣的預(yù)測(cè)^，Pk = AkPk-X- + WiQG1Wj( 5 )其中所述矩陣W表示關(guān)于所述過(guò)程噪聲的系統(tǒng)動(dòng)力學(xué)的雅可比行列式w，Q是可調(diào)增益矩陣。物理地思考，如果矩陣P描述具有許多與系統(tǒng)狀態(tài)秩相等的維度的誤差橢圓，則通過(guò)應(yīng)用方程式(5)，所述誤差橢圓的大小可使用我們的系統(tǒng)動(dòng)力學(xué)模型來(lái)擴(kuò)展，所述系統(tǒng)動(dòng)力學(xué)模型在被線性化的狀態(tài)轉(zhuǎn)移矩陣A和過(guò)程噪聲的尺度估計(jì)中被編碼，這表示系統(tǒng)動(dòng)力學(xué)模型中的不確定度。擴(kuò)大所述誤差橢圓等同于說(shuō)明在系統(tǒng)狀態(tài)的估計(jì)中有更大的不確定度。在卡爾曼濾波器更新循環(huán)的第二階段中，預(yù)測(cè)過(guò)的狀態(tài)估計(jì)和預(yù)測(cè)過(guò)的誤差協(xié)方差矩陣可以通過(guò)對(duì)系統(tǒng)進(jìn)行一個(gè)或更多測(cè)量來(lái)校正。此時(shí)卡爾曼增益被計(jì)算出。本質(zhì)上，卡爾曼增益加權(quán)來(lái)自一個(gè)或更多測(cè)量的貢獻(xiàn)(基值)，以便它們對(duì)新?tīng)顟B(tài)估計(jì)的影響反映對(duì)它們可靠性的當(dāng)前估計(jì)。此外，它允許對(duì)模型相比測(cè)量的可靠性進(jìn)行加權(quán)。換句話說(shuō)，來(lái)自可靠測(cè)量的貢獻(xiàn)(基值)可被更多地加權(quán)，來(lái)自不可靠測(cè)量的貢獻(xiàn)(基值)可被較少地加權(quán)。要做到這點(diǎn)，應(yīng)用如下方程式(6)。Kt = Ρ4Η；(Η,Ρ,Η:+V,R.,V/) \
解釋方程式(6)，首先提出有函數(shù)h，其公知為測(cè)量函數(shù)，這將可在系統(tǒng)中被測(cè)量的(被觀察的)數(shù)量Z與實(shí)際系統(tǒng)狀態(tài)X聯(lián)系起來(lái)。在方程式(6)中，由方程式(5)得到的新誤差協(xié)方差矩陣的估計(jì)Pfc被使用。矩陣H是關(guān)于系統(tǒng)狀態(tài)X的所述^則量’函數(shù)h的雅可比行列式。本質(zhì)上，H矩陣描述正被測(cè)量的數(shù)量中的變化將如何改變實(shí)際系統(tǒng)狀態(tài)。矩陣V表示測(cè)量噪聲的估計(jì)，其包含傳感器噪聲和所述測(cè)量噪聲h中的不確定度。R矩陣是可調(diào)增益。一旦卡爾曼增益是根據(jù)方程式(6)計(jì)算得到的，系統(tǒng)狀態(tài)的估計(jì)就可以使用預(yù)測(cè)過(guò)的系統(tǒng)狀態(tài)估計(jì)€和所述測(cè)量來(lái)被更新。在這種情況下，所屬預(yù)測(cè)過(guò)的系統(tǒng)狀態(tài)估計(jì)由實(shí)際測(cè)量Zk與預(yù)測(cè)過(guò)的測(cè)量^之間的卡爾曼增益加權(quán)誤差根據(jù)如下方程式(7)來(lái)進(jìn)行調(diào)節(jié)。
權(quán)利要求
1.一種刀具跟蹤方法，其包括: 確定刀具的計(jì)算機(jī)模型； 接收包含所述刀具的視圖的采集圖像； 從所述采集圖像中確定所述刀具的估計(jì)位置和方向，并根據(jù)所述采集圖像將所述計(jì)算機(jī)模型定位和定向成該估計(jì)位置和方向；以及 相對(duì)于所述采集圖像中所述刀具的圖像，修改所述計(jì)算機(jī)模型的估計(jì)位置和方向直到所述計(jì)算機(jī)模型近似覆蓋所述圖像，從而為所述采集圖像校正所述刀具的估計(jì)位置和方向。
2.根據(jù)權(quán)利要求1所述的方法，其中相對(duì)于所述采集圖像中所述刀具的圖像對(duì)所述計(jì)算機(jī)模型的估計(jì)位置和方向的修改包括: 通過(guò)最小化所述計(jì)算機(jī)模型與所述刀具的圖像之間的差異，確定近似覆蓋所述刀具的圖像的所述計(jì)算機(jī)模型的修改后的位置和方向。
3.根據(jù)權(quán)利要求1所述的方法，其中所述采集圖像由插入到所述身體區(qū)域中的立體式內(nèi)窺鏡米集。
4.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 提取所述刀具的計(jì)算機(jī)模型的輪廓； 提取在所述采集圖像中的所述刀具的圖像的邊緣；以及 定位和旋轉(zhuǎn)所述計(jì)算機(jī)模型的所述輪廓直到所述計(jì)算機(jī)模型的所述輪廓近似覆蓋所述采集圖像內(nèi)的所述刀具的圖像的邊緣。
5.根據(jù)權(quán)利要求4所述的方法，其進(jìn)一步包括:在定位和旋轉(zhuǎn)所述計(jì)算機(jī)模型的所述輪廓直到所述計(jì)算機(jī)模型的所述輪廓近似覆蓋所述采集圖像內(nèi)的所述刀具的圖像的邊緣之前，去掉在所述刀具的所述計(jì)算機(jī)模型的所述輪廓中的線，其對(duì)應(yīng)于在所述采集圖像內(nèi)的所述刀具的圖像中的隱線。
6.根據(jù)權(quán)利要求4所述的方法，其中所述定位和旋轉(zhuǎn)所述計(jì)算機(jī)模型的所述輪廓直到所述輪廓近似覆蓋所述采集圖像內(nèi)的所述刀具的圖像的邊緣，包括: 確定所述計(jì)算機(jī)模型的所述輪廓與所述采集圖像中的所述刀具的圖像之間的差異；以及 定位和旋轉(zhuǎn)所述計(jì)算機(jī)模型的所述輪廓直到所述差異最小化。
7.根據(jù)權(quán)利要求6所述的方法，其中待最小化的所述差異是從所述刀具圖像和其最近輪廓邊緣中提取的邊緣像素之間的絕對(duì)差異的總和。
8.根據(jù)權(quán)利要求6所述的方法，其中所述刀具插入的區(qū)域的視圖，由插入在所述區(qū)域的至少一個(gè)照相機(jī)以網(wǎng)格像素的方式采集。
9.一種刀具跟蹤方法包括: 確定指示刀具狀態(tài)的傳感器數(shù)據(jù)是否在某一時(shí)間點(diǎn)可用； 確定指示所述刀具狀態(tài)的圖像數(shù)據(jù)是否在所述時(shí)間點(diǎn)可用；以及 如果所述傳感器數(shù)據(jù)和所述圖像數(shù)據(jù)都在所述時(shí)間點(diǎn)可用則使用這兩者來(lái)確定所述刀具狀態(tài)，如果只有所述傳感器數(shù)據(jù)可用則只使用所述傳感器數(shù)據(jù)來(lái)確定，如果只有所述圖像數(shù)據(jù)可用則只使用所述圖像數(shù)據(jù)來(lái)確定。
10.根據(jù)權(quán)利要求9所述的方法，進(jìn)一步包括:確定用戶是否正在所述時(shí)間點(diǎn)操縱所述刀具；以及 只有在所述用戶被確定正在所述時(shí)間點(diǎn)操縱所述刀具時(shí)才進(jìn)行所述傳感器數(shù)據(jù)和圖像數(shù)據(jù)的可用性確定。
11.根據(jù)權(quán)利要求9所述的方法，其中進(jìn)一步包括: 使用所述傳感器數(shù)據(jù)，確定所述刀具的狀態(tài)相對(duì)于先前時(shí)間點(diǎn)是否已改變；以及 只有在所述刀具的狀態(tài)被確定為已改變時(shí)才進(jìn)行所述圖像數(shù)據(jù)可用性和刀具狀態(tài)確定。
12.根據(jù)權(quán)利要求9所述的方法，其中由所述傳感器數(shù)據(jù)指示的所述刀具狀態(tài)，包含所述刀具在固定參考系中的位置和方向。
13.根據(jù)權(quán)利要求12所述的方法，其中所述圖像數(shù)據(jù)由照相機(jī)裝置生成，所述傳感器數(shù)據(jù)進(jìn)一步指示在所述固定參考系中所述照相機(jī)裝置的位置和方向，并且由所述圖像數(shù)據(jù)指示的所述刀具狀態(tài)包含在關(guān)于所述照相機(jī)裝置的參考系中所述刀具的位置和方向。
14.根據(jù)權(quán)利要求13所述的方法，其中使用所述傳感器數(shù)據(jù)和所述圖像數(shù)據(jù)對(duì)所述刀具狀態(tài)的確定，包括: 在當(dāng)用所述傳感器數(shù)據(jù)和所述圖像數(shù)據(jù)來(lái)確定所述刀具狀態(tài)之前，將由所述傳感器數(shù)據(jù)指示的所述刀具的位置和方向從所述固定參考系轉(zhuǎn)換到與所述照相機(jī)裝置有關(guān)的所述參考系。
15.一種刀具跟蹤方法，其包括: 使用指示在時(shí)間點(diǎn)的刀具狀態(tài)的第一傳感器數(shù)據(jù)，確定與所述時(shí)間點(diǎn)的界標(biāo)有關(guān)的第一估計(jì)所述刀具狀態(tài)； 使用指示在所述時(shí)間點(diǎn)的照相機(jī)狀態(tài)的第二傳感器數(shù)據(jù)，確定與所述時(shí)間點(diǎn)的所述界標(biāo)有關(guān)的估計(jì)照相機(jī)狀態(tài)； 使用由所述照相機(jī)生成的且指示在所述時(shí)間點(diǎn)的所述刀具狀態(tài)的圖像數(shù)據(jù)，確定與所述時(shí)間點(diǎn)的所述照相機(jī)有關(guān)的第二估計(jì)刀具狀態(tài)； 轉(zhuǎn)換所述第一估計(jì)刀具狀態(tài)以使其與所述照相機(jī)有關(guān)而不是與所述界標(biāo)有關(guān)；以及 計(jì)算在轉(zhuǎn)換后的第一與第二估計(jì)刀具狀態(tài)之間的誤差轉(zhuǎn)換，使得在后續(xù)時(shí)間點(diǎn)如果指示在所述后續(xù)時(shí)間點(diǎn)的所述刀具狀態(tài)的圖像數(shù)據(jù)不可用，則所述刀具狀態(tài)通過(guò)應(yīng)用所述誤差轉(zhuǎn)換到用傳感器數(shù)據(jù)所確定的第三估計(jì)刀具狀態(tài)來(lái)確定，所述傳感器數(shù)據(jù)指示在所述后續(xù)時(shí)間點(diǎn)轉(zhuǎn)換后的所述刀具狀態(tài)，以使其與所述照相機(jī)有關(guān)而不是與所述界標(biāo)有關(guān)。
16.根據(jù)權(quán)利要求15所述的方法，其進(jìn)一步包括如果指示在所述后續(xù)時(shí)間點(diǎn)的所述刀具狀態(tài)的所述圖像數(shù)據(jù)可用，則: 使用由所述照相機(jī)生成的且指示在所述后續(xù)時(shí)間點(diǎn)的所述刀具狀態(tài)的圖像數(shù)據(jù)，確定在所述后續(xù)時(shí)間點(diǎn)與所述照相機(jī)有關(guān)的第四估計(jì)刀具狀態(tài)；以及 確定在所述后續(xù)時(shí)間點(diǎn)的所述刀具狀態(tài)為所述第四估計(jì)刀具狀態(tài)。
17.根據(jù)權(quán)利要求16所述的方法，進(jìn)一步包括如果指示在所述后續(xù)時(shí)間點(diǎn)的所述刀具狀態(tài)的所述圖像數(shù)據(jù)可用，則: 計(jì)算在轉(zhuǎn)換后的第三與第四估計(jì)刀具狀態(tài)之間的第二誤差轉(zhuǎn)換，使得在再后續(xù)時(shí)間點(diǎn)如果指示在所述再后續(xù)時(shí)間點(diǎn)的所述刀具狀態(tài)的所述圖像數(shù)據(jù)不可用，則所述刀具狀態(tài)通過(guò)應(yīng)用所述第二誤差轉(zhuǎn)換到第五估計(jì)刀具狀態(tài)來(lái)確定，所述第五估計(jì)刀具狀態(tài)使用傳感器數(shù)據(jù)來(lái)確定，所述傳感器數(shù)據(jù)指示在所述再后續(xù)時(shí)間點(diǎn)的轉(zhuǎn)換后的刀具狀態(tài)，以使其與所述照相機(jī)有關(guān)而不是與所述界標(biāo)有關(guān)。
18.一種刀具跟蹤方法，其包括: 確定在給定時(shí)間的刀具的非內(nèi)窺鏡導(dǎo)出估計(jì)狀態(tài)信息； 確定在所述給定時(shí)間的所述刀具的內(nèi)窺鏡估計(jì)的狀態(tài)信息；以及 提供所述刀具的所述非內(nèi)窺鏡和內(nèi)窺鏡導(dǎo)出估計(jì)狀態(tài)到貝葉斯濾波器，所述貝葉斯濾波器被配置以生成所述刀具的狀態(tài)的最優(yōu)估計(jì)。
19.根據(jù)權(quán)利要求18所述的方法，其中將非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)與內(nèi)窺鏡導(dǎo)出刀具狀態(tài)之間的平均差異的初始估計(jì)提供給所述貝葉斯濾波器。
20.根據(jù)權(quán)利要求19所述的方法，其中所述貝葉斯濾波器更新所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)與所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)之間的所述平均差異的所述估計(jì)，同時(shí)使用所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)和所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)來(lái)估計(jì)所述刀具的狀態(tài)。
21.根據(jù)權(quán)利要求18所述的方法，其中所述非內(nèi)窺鏡導(dǎo)出估計(jì)狀態(tài)信息是根據(jù)傳感器數(shù)據(jù)生成的，所述傳感器數(shù)據(jù)指示至少在所述給定時(shí)間所述刀具在固定參考系中的位置。
22.根據(jù)權(quán)利要求21所述的方法，其中所述內(nèi)窺鏡導(dǎo)出估計(jì)狀態(tài)信息是根據(jù)圖像數(shù)據(jù)生成的，所述圖像數(shù)據(jù)從至少一個(gè)照相機(jī)接收，所述照相機(jī)在所述刀具插入到所述身體時(shí)采集所述身體區(qū)域的圖像信息。
23.根據(jù)權(quán)利要求18所述的方法，其中所述貝葉斯濾波器是卡爾曼濾波器。
24.根據(jù)權(quán)利要求23所述的方法，其中所述卡爾曼濾波器是擴(kuò)展卡爾曼濾波器。
25.根據(jù)權(quán)利要求18所述的方法，其中所述貝葉斯濾波器是粒子濾波器。
26.一種刀具跟蹤和校準(zhǔn)方法，其包括: 根據(jù)從觀測(cè)刀具的照相機(jī)所接收的圖像數(shù)據(jù)，生成視覺(jué)導(dǎo)出狀態(tài)信息； 通過(guò)將一組照相機(jī)參數(shù)的初始值與所述視覺(jué)導(dǎo)出狀態(tài)信息組合，來(lái)生成狀態(tài)向量信息；以及 提供所述狀態(tài)向量信息到貝葉斯濾波器進(jìn)行處理，以生成所述刀具的狀態(tài)的最優(yōu)估計(jì)和該組照相機(jī)參數(shù)的校正值。
27.根據(jù)權(quán)利要求26所述的方法，進(jìn)一步包括: 根據(jù)從一個(gè)或更多傳感器接收的傳感器數(shù)據(jù)，生成非視覺(jué)導(dǎo)出狀態(tài)信息，所述傳感器數(shù)據(jù)包含指示所述刀具的位置的信息；以及 通過(guò)將所述非視覺(jué)導(dǎo)出狀態(tài)信息與該組照相機(jī)參數(shù)的所述初始值和所述視覺(jué)導(dǎo)出狀態(tài)信息組合，生成所述狀態(tài)向量信息。
28.根據(jù)權(quán)利要求27所述的方法，其中所述照相機(jī)是內(nèi)窺鏡。
29.根據(jù)權(quán)利要求27所述的方法，其中所述一個(gè)或更多傳感器與機(jī)械機(jī)構(gòu)有關(guān)，所述機(jī)械機(jī)構(gòu)用來(lái)通過(guò)身體中的微創(chuàng)切口操縱所述刀具。
30.一種照相機(jī)跟蹤方法，其包括: 根據(jù)非視覺(jué)導(dǎo)出刀具狀態(tài)信息確定在固定參考系中刀具的位置，所述非視覺(jué)導(dǎo)出刀具狀態(tài)信息根據(jù)指示所述刀具的所述位置的傳感器數(shù)據(jù)生成； 使用視覺(jué)導(dǎo)出刀具狀態(tài)信息來(lái)確定在可隨照相機(jī)移動(dòng)的照相機(jī)參考系中所述刀具的位置，所述視覺(jué)導(dǎo)出刀具狀態(tài)信息根據(jù)所述照相機(jī)在觀測(cè)所述刀具時(shí)所提供的圖像數(shù)據(jù)生成；以及 使用在所述固定參考系中所述刀具的位置和在可移動(dòng)照相機(jī)參考系中所述刀具的位置，來(lái)確定在所述固定參考系中所述照相機(jī)的位置。
31.一種刀具跟蹤方法，其包括: 根據(jù)非視覺(jué)導(dǎo)出照相機(jī)狀態(tài)信息確定在固定參考系中照相機(jī)的位置，所述非視覺(jué)導(dǎo)出照相機(jī)狀態(tài)信息根據(jù)指示所述照相機(jī)的位置的傳感器數(shù)據(jù)生成； 使用視覺(jué)導(dǎo)出刀具狀態(tài)信息來(lái)確定在可隨照相機(jī)移動(dòng)的照相機(jī)參考系中刀具的位置，所述視覺(jué)導(dǎo)出刀 具狀態(tài)信息根據(jù)所述照相機(jī)在觀測(cè)所述刀具時(shí)所提供的圖像數(shù)據(jù)生成；以及 使用在所述固定參考系中所述照相機(jī)的位置和在可移動(dòng)照相機(jī)參考系中所述刀具的位置，來(lái)確定在所述固定參考系中所述刀具的位置。
32.一種刀具跟S示系統(tǒng)，其包括: 用于通過(guò)處理非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息和內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息跟蹤刀具的裝置，這兩種刀具狀態(tài)信息是當(dāng)所述刀具通過(guò)身體中的微創(chuàng)切口被插入并進(jìn)行操縱時(shí)生成的。
33.根據(jù)權(quán)利要求32所述的系統(tǒng)，其中所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息和內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息的處理是用貝葉斯濾波器實(shí)現(xiàn)的。
34.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中與所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息相比，所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息較不頻繁地被提供給所述貝葉斯濾波器。
35.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息被以抽樣速率連續(xù)地提供給所述貝葉斯濾波器加以處理，并且所述內(nèi)窺鏡導(dǎo)出狀態(tài)信息被非連續(xù)地提供給所述貝葉斯濾波器加以處理。
36.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中將非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)與內(nèi)窺鏡導(dǎo)出刀具狀態(tài)之間的平均差異的初始估計(jì)提供給所述貝葉斯濾波器。
37.根據(jù)權(quán)利要求36所述的系統(tǒng)，其中所述貝葉斯濾波器更新所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)與所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)之間的平均差異的所述估計(jì)，同時(shí)使用所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)和所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)來(lái)估計(jì)所述刀具的狀態(tài)。
38.根據(jù)權(quán)利要求32所述的系統(tǒng)，其中所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息由傳感器數(shù)據(jù)生成，所述傳感器數(shù)據(jù)指示所述刀具在固定參考系中的至少一個(gè)位置。
39.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中所述傳感器數(shù)據(jù)指示所述刀具在所述固定參考系中的方向。
40.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中所述傳感器數(shù)據(jù)由位置傳感器提供，所述位置傳感器耦合到一種通過(guò)所述身體中的切口操縱所述刀具的機(jī)構(gòu)，并且所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息是利用所述傳感器數(shù)據(jù)根據(jù)所述機(jī)構(gòu)的運(yùn)動(dòng)學(xué)生成的。
41.根據(jù)權(quán)利要求40所述的系統(tǒng)，其中所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息和內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息的所述處理是用貝葉斯濾波器實(shí)現(xiàn)的。
42.根據(jù)權(quán)利要求42所述的系統(tǒng)，其中分別對(duì)所述非內(nèi)窺鏡和所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)導(dǎo)出定性度量，并且所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)和所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)在所述貝葉斯濾波器中的貢獻(xiàn)的權(quán)重由所述定性度量確定。
43.根據(jù)權(quán)利要求42所述的系統(tǒng)，其中所述非內(nèi)窺鏡導(dǎo)出狀態(tài)信息的所述定性度量從由所述傳感器數(shù)據(jù)所指示的固定參考系中的位置和由命令信號(hào)所指示的固定參考系中的位置之間的差異確定，所述命令信號(hào)控制用于操縱所述刀具的機(jī)械機(jī)構(gòu)。
44.根據(jù)權(quán)利要求42所述的系統(tǒng)，其中所述傳感器數(shù)據(jù)由檢測(cè)信號(hào)的檢測(cè)器提供，所述信號(hào)指示所述刀具在固定參考系中的位置。
45.根據(jù)權(quán)利要求44所述的系統(tǒng)，其中所述信號(hào)從所述刀具發(fā)射。
46.根據(jù)權(quán)利要求44所述的系統(tǒng)，其中所述信號(hào)從所述刀具反射出來(lái)。
47.根據(jù)權(quán)利要求42所述的系統(tǒng)，其中處理所述傳感器數(shù)據(jù)以確定此時(shí)是否操縱所述刀具，使得只有當(dāng)此時(shí)操縱所述刀具時(shí)才進(jìn)行所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息的處理。
48.根據(jù)權(quán)利要求32所述的系統(tǒng)，其中所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息源自外部照相機(jī)，所述外部照相機(jī)觀測(cè)從所述身體中延伸出的所述刀具的末端。
49.根據(jù)權(quán)利要求32所述的系統(tǒng)，其中所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息從圖像數(shù)據(jù)生成，所述圖像數(shù)據(jù)由內(nèi)窺鏡提供，所述內(nèi)窺鏡當(dāng)其通過(guò)所述身體中的所述微創(chuàng)切口被插入并正被操縱時(shí)觀測(cè)所述刀具。
50.根據(jù)權(quán)利要求49所述的系統(tǒng)，其中所述內(nèi)窺鏡是提供左側(cè)像面和右側(cè)像面的立體式內(nèi)窺鏡，并且所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息的生成包括通過(guò)處理所述左側(cè)像面和所述右側(cè)像面的信息來(lái)確定所述刀具至少在所述內(nèi)窺鏡的參考系中的位置。
51.根據(jù)權(quán)利要求50所述的系統(tǒng)，其進(jìn)一步包括: 用于確定所述內(nèi)窺鏡在固定參考系中的位置的裝置；以及 用于從所述刀具在所述內(nèi)窺鏡的參考系中的位置以及所述內(nèi)窺鏡在所述固定參考系中的位置的信息中確定所述刀具在所述固定參考系中的位置的裝置。
52.根據(jù)權(quán)利要求49所述的系統(tǒng)，其中所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息的生成包括: 在所述圖像數(shù)據(jù)中識(shí)別方向相關(guān)的刀具標(biāo)記；以及 通過(guò)對(duì)所述圖像數(shù)據(jù)中的所述方向相關(guān)的刀具標(biāo)記的信息進(jìn)行處理，確定所述刀具的至少方向的內(nèi)窺鏡導(dǎo)出估計(jì)。
53.根據(jù)權(quán)利要求49所述的系統(tǒng)，其中對(duì)所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息和所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息的處理包括: 生成所述刀具的計(jì)算機(jī)模型，所述刀具被定位和定向在像面內(nèi)，所述像面由根據(jù)所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息的所述圖像數(shù)據(jù)定義；以及 修改所述計(jì)算機(jī)模型與所述像面中所述刀具的圖像相對(duì)的位置和方向，直到所述計(jì)算機(jī)模型近似覆蓋所述刀具的圖像以生成所述刀具的經(jīng)校正的位置和方向。
54.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中所述計(jì)算機(jī)模型與所述刀具的圖像相對(duì)的位置和方向的修改直到所述計(jì)算機(jī)模型近似覆蓋所述刀具的圖像，包括: 確定所述計(jì)算機(jī)模型的修改后的位置和方向，所述計(jì)算機(jī)模型通過(guò)最小化所述計(jì)算機(jī)模型與所述刀具的圖像之間的差異來(lái)近似覆蓋所述刀具圖像。
55.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中所述貝葉斯濾波器是卡爾曼濾波器。
56.根據(jù)權(quán)利要求55所述的系統(tǒng)，其中所述卡爾曼濾波器是擴(kuò)展卡爾曼濾波器。
57.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中所述貝葉斯濾波器是粒子濾波器。
58.一種刀具跟蹤系統(tǒng)，其包括:用于當(dāng)?shù)毒咄ㄟ^(guò)身體中的切口插入時(shí)接收指示所述刀具的位置和方向的信息的裝置； 用于接收所述刀具的圖像信息的裝置；以及 用于使用所述傳感器和所述圖像信息確定所述刀具的位置和方向的裝置。
59.根據(jù)權(quán)利要求58所述的系統(tǒng),其中所述傳感器信息與一種機(jī)構(gòu)有關(guān),該機(jī)構(gòu)用于通過(guò)所述身體中的所述切口機(jī)械地操縱所述刀具。
60.根據(jù)權(quán)利要求59所述的系統(tǒng)，其中所述機(jī)構(gòu)包含: 一個(gè)機(jī)械手，其用來(lái)操縱所述刀具；以及 多個(gè)傳感器，其生成與所述機(jī)械手的運(yùn)動(dòng)有關(guān)的數(shù)據(jù)，其中運(yùn)動(dòng)學(xué)信息來(lái)自所述機(jī)械手。
61.根據(jù)權(quán)利要求58所述的系統(tǒng)，其中所述圖像信息由至少一個(gè)照相機(jī)生成，所述照相機(jī)插入在所述身體中以便采集所述刀具當(dāng)插入其中時(shí)的圖像。
62.根據(jù)權(quán)利要求61所述的系統(tǒng)，其中所述至少一個(gè)照相機(jī)包含在一個(gè)或更多內(nèi)窺鏡中。
63.根據(jù)權(quán)利要求61所述的系統(tǒng)，其中所述至少一個(gè)照相機(jī)由立體式內(nèi)窺鏡中包含的兩個(gè)照相機(jī)構(gòu)成。
64.根據(jù)權(quán)利要求58所述的系統(tǒng)，其中所述圖像信息由至少一個(gè)照相機(jī)生成，所述照相機(jī)在所述身體外部以便在所述刀具的一端插入其中時(shí)采集從所述身體中延伸出的所述刀具的另一端的圖像。
65.根據(jù)權(quán)利要求58所述的系統(tǒng)，其中所述刀具位置和方向的確定包括: 從所述傳感器信息中確定所述刀具相對(duì)于固定參考系的一個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向； 從所述圖像信息中確定所述刀具相對(duì)于照相機(jī)參考系的一個(gè)或更多圖像估計(jì)的位置和方向； 將所述刀具的該個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向從所述固定參考系轉(zhuǎn)換到所述照相機(jī)參考系；以及 處理該個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向以及該個(gè)或更多圖像估計(jì)的位置和方向，以生成所述刀具相對(duì)于所述照相機(jī)參考系的位置和方向。
66.根據(jù)權(quán)利要求65所述的系統(tǒng)，其中該個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向以及該個(gè)或更多圖像估計(jì)的位置和方向的處理包括: 將該個(gè)或更多運(yùn)動(dòng)學(xué)的位置和方向以及該個(gè)或更多圖像估計(jì)的位置和方向提供給貝葉斯濾波器。
67.根據(jù)權(quán)利要求66所述的系統(tǒng)，其中與該個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向相比，該個(gè)或更多圖像估計(jì)的位置和方向被較不頻繁地確定。
68.根據(jù)權(quán)利要求66所述的系統(tǒng)，其中將傳感器導(dǎo)出刀具狀態(tài)與圖像導(dǎo)出刀具狀態(tài)之間的平均差異的初始估計(jì)提供給所述貝葉斯濾波器。\
69.根據(jù)權(quán)利要求68所述的系統(tǒng)，其中所述貝葉斯濾波器更新所述傳感器導(dǎo)出刀具狀態(tài)與所述圖像導(dǎo)出刀具狀態(tài)之間的平均差異的所述估計(jì)，同時(shí)使用所述傳感器導(dǎo)出刀具狀態(tài)和所述圖像導(dǎo)出刀具狀態(tài)來(lái)估計(jì)所述刀具的狀態(tài)。
70.根據(jù)權(quán)利要求67所述的系統(tǒng)，其中該個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向從時(shí)間采樣信息中導(dǎo)出，所述時(shí)間采樣信息由一個(gè)或更多傳感器提供，所述傳感器耦合到通過(guò)所述的身體中切口操縱所述刀具的機(jī)構(gòu)；該個(gè)或更多圖像估計(jì)的位置和方向從抽樣圖像中導(dǎo)出，所述抽樣圖像由一個(gè)或更多用以采集所述刀具的圖像的照相機(jī)提供。
71.根據(jù)權(quán)利要求70所述的系統(tǒng)，其中對(duì)該個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向以及所述的一個(gè)或更多圖像估計(jì)的位置和方向分別導(dǎo)出定性度量，在所述貝葉斯濾波器中的該個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向以及該個(gè)或更多圖像估計(jì)的位置和方向的貢獻(xiàn)的權(quán)值，由所述定性度量確定。
72.根據(jù)權(quán)利要求71所述的系統(tǒng)，其中該個(gè)或更多運(yùn)動(dòng)學(xué)估計(jì)的位置和方向的所述定性度量根據(jù)所述運(yùn)動(dòng)學(xué)估計(jì)位置中的一個(gè)位置與命令信號(hào)所命令的位置之間的差異進(jìn)行確定，所述命令信號(hào)控制用于操縱所述刀具的所述機(jī)構(gòu)。
73.根據(jù)權(quán)利要求72所述的系統(tǒng)，其中該個(gè)或更多照相機(jī)包含在位于所述身體內(nèi)的內(nèi)窺鏡中以采集伸入到所述身體中的所述刀具的末端的圖像。
74.根據(jù)權(quán)利要求72所述的系統(tǒng)，其中該個(gè)或更多照相機(jī)位于所述身體之外以采集延伸出所述身體的所述刀具的末端的圖像。
75.根據(jù)權(quán)利要求68所述的系統(tǒng)，其中所述貝葉斯濾波器是卡爾曼濾波器。
76.根據(jù)權(quán)利要求75所述的系統(tǒng)，其中所述卡爾曼濾波器是擴(kuò)展卡爾曼濾波器。
77.根據(jù)權(quán)利要求68所述的系統(tǒng)，其中所述貝葉斯濾波器是粒子濾波器。
78.根據(jù)權(quán)利要求58所述的系統(tǒng)，其中所述刀具位置和方向的確定包括: 處理所述圖像信息以識(shí)別所述刀具上的標(biāo)記并用所述標(biāo)記來(lái)確定所述刀具的方向。
79.根據(jù)權(quán)利要求58所述的系統(tǒng)，其中所述刀具位置和方向的確定包括: 用所述傳感器信息來(lái)生成所述刀具的計(jì)算機(jī)模型，以使其在像面內(nèi)進(jìn)行定位和定向，所述像面定義在所述圖像信息中；以及 修改所述計(jì)算機(jī)模型與所述像面中的所述刀具的圖像相對(duì)的位置和方向，直到所述計(jì)算機(jī)模型基本覆蓋所述圖像。
80.根據(jù)權(quán)利要求79所述的系統(tǒng)，其中在所述像面中所述計(jì)算機(jī)模型的位置和方向是所述計(jì)算機(jī)模型的修改后的位置和方向，所述計(jì)算機(jī)模型的修改后的位置和方向被確定用于時(shí)間在先的像面。
81.根據(jù)權(quán)利要求79所述的系統(tǒng)，其中所述像面中所述計(jì)算機(jī)模型的位置和方向從至少與該像面時(shí)間對(duì)應(yīng)的所述運(yùn)動(dòng)學(xué)信息中導(dǎo)出。
82.根據(jù)權(quán)利要求80所述的系統(tǒng)，其中所述圖像信息由內(nèi)窺鏡生成，所述內(nèi)窺鏡插入到所述身體中以采集插入其中的所述刀具的末端的圖像。
83.根據(jù)權(quán)利要求82所述的系統(tǒng)，其中所述內(nèi)窺鏡是立體式內(nèi)窺鏡。
84.根據(jù)權(quán)利要求80所述的系統(tǒng)，其中所述圖像信息由位于所述身體之外的至少一個(gè)照相機(jī)生成，以便在所述刀具的一端插入到所述身體里時(shí)采集從所述身體中延伸出的所述刀具的另一端的圖像。
85.一種刀具跟蹤系統(tǒng)，其包括: 用于當(dāng)所述刀具通過(guò)身體中的切口被插入并正被操縱時(shí)，為多個(gè)時(shí)間點(diǎn)中的每個(gè)點(diǎn)生成多個(gè)估計(jì)刀具狀態(tài)的裝置；以及用于通過(guò)使用貝葉斯技術(shù)來(lái)處理所述多個(gè)估計(jì)刀具狀態(tài)來(lái)確定所述多個(gè)時(shí)間點(diǎn)中每個(gè)點(diǎn)的最優(yōu)估計(jì)刀具狀態(tài)的裝置。
86.根據(jù)權(quán)利要求85所述的系統(tǒng)，其中所述多個(gè)估計(jì)刀具狀態(tài)包含只用傳感器數(shù)據(jù)所確定的估計(jì)刀具狀態(tài)，所述傳感器數(shù)據(jù)與用于操縱所述刀具的機(jī)械機(jī)構(gòu)有關(guān)以使其指示所述機(jī)械機(jī)構(gòu)的運(yùn)動(dòng)。
87.根據(jù)權(quán)利要求86所述的系統(tǒng)，其中所述機(jī)械機(jī)構(gòu)包含一些關(guān)節(jié)和連桿，且所述傳感器數(shù)據(jù)指示所述關(guān)節(jié)和連桿的運(yùn)動(dòng)。
88.根據(jù)權(quán)利要求85所述的系統(tǒng)，其中所述多個(gè)估計(jì)刀具狀態(tài)包含只用傳感器數(shù)據(jù)所確定的估計(jì)刀具狀態(tài)，所述這種傳感器數(shù)據(jù)與所述刀具有關(guān)以使其指示所述刀具的位置。
89.根據(jù)權(quán)利要求88所述的系統(tǒng)，其中所述傳感器數(shù)據(jù)進(jìn)一步指示所述刀具的方向。
90.根據(jù)權(quán)利要求85所述的系統(tǒng)，其中所述多種估計(jì)刀具狀態(tài)包含只用圖像數(shù)據(jù)所確定的估計(jì)刀具狀態(tài)，所述這種圖像數(shù)據(jù)由內(nèi)窺鏡生成，所述內(nèi)窺鏡被定位成使得在所述刀具通過(guò)所述身體中的所述切口被插入并正被操縱時(shí)觀測(cè)所述刀具的執(zhí)行器末端。
91.根據(jù)權(quán)利要求85所述的系統(tǒng)，其中所述多個(gè)估計(jì)刀具狀態(tài)包含只用圖像數(shù)據(jù)所確定的估計(jì)刀具狀態(tài)，所述這種圖像數(shù)據(jù)由外部照相機(jī)生成，所述外部照相機(jī)被定位成使得在所述刀具通過(guò)所述身體中的所述切口被插入并正被操縱時(shí)觀測(cè)從所述身體延伸出的所述刀具的露出末端。
92.根據(jù)權(quán)利要求85所述的系統(tǒng)，其 中所述貝葉斯技術(shù)是一種卡爾曼濾波技術(shù)。
93.根據(jù)權(quán)利要求85所述的系統(tǒng)，其中所述貝葉斯技術(shù)是一種粒子濾波技術(shù)。
全文摘要
在機(jī)械微創(chuàng)外科手術(shù)中實(shí)現(xiàn)刀具跟蹤的方法和系統(tǒng)。使用三角測(cè)量技術(shù)或貝葉斯濾波器，從非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息和內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息中的兩者或任意一個(gè)或者從非視覺(jué)導(dǎo)出刀具狀態(tài)信息和視覺(jué)導(dǎo)出刀具狀態(tài)信息中的兩者或任意一個(gè)，來(lái)確定刀具狀態(tài)。所述非內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息從傳感器數(shù)據(jù)中導(dǎo)出，所述傳感器數(shù)據(jù)由與用來(lái)操縱刀具的機(jī)構(gòu)有關(guān)的傳感器提供，或由能夠檢測(cè)從刀具發(fā)射或反射并指示其位置的可識(shí)別信號(hào)的傳感器提供，或由用來(lái)觀測(cè)從身體延伸出的刀具的末端的外部照相機(jī)提供。所述內(nèi)窺鏡導(dǎo)出刀具狀態(tài)信息從圖像數(shù)據(jù)中導(dǎo)出，所述圖像數(shù)據(jù)由插入在身體中以觀測(cè)刀具的內(nèi)窺鏡提供。
文檔編號(hào)A61B1/00GK103211563SQ20131005478
公開(kāi)日2013年7月24日 申請(qǐng)日期2006年5月8日 優(yōu)先權(quán)日2005年5月16日
發(fā)明者B·D·霍夫曼, D·Q·拉金, G·普里斯科, G·G·張, R·庫(kù)馬爾 申請(qǐng)人:直觀外科手術(shù)操作公司