專利名稱：基于視頻的擴(kuò)增實(shí)境增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)的精度評(píng)估的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于視頻的真實(shí)性增強(qiáng)的增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)，并且更具體地涉及評(píng)估該系統(tǒng)的精度的方法和系統(tǒng)。
背景技術(shù)：
圖像導(dǎo)引系統(tǒng)已經(jīng)越來(lái)越多地被用在外科手術(shù)過(guò)程中。該系統(tǒng)已經(jīng)被證實(shí)增加了各種外科手術(shù)過(guò)程的精度并降低了手術(shù)創(chuàng)傷。同時(shí)，圖像導(dǎo)引外科手術(shù)系統(tǒng)(“外科手術(shù)導(dǎo)航系統(tǒng)”)是基于獲得了手術(shù)前的掃描或成像數(shù)據(jù)序列，例如核磁共振成像(“MRI”)，計(jì)算機(jī)X射線斷層造影術(shù)(“CT”)等，接著可以通過(guò)各種方式把它們配準(zhǔn)至實(shí)體世界中的患者。
在許多傳統(tǒng)的圖像導(dǎo)引手術(shù)中，從手術(shù)前掃描圖像中生成的容積測(cè)定數(shù)據(jù)或三維(“3D”)數(shù)據(jù)被顯示作為三個(gè)正交平面中的二維圖像，其中該二維圖像根據(jù)由外科醫(yī)生控制的跟蹤探頭尖端的三維位置而發(fā)生變化。當(dāng)這樣的探頭被導(dǎo)入外科手術(shù)區(qū)域中時(shí)，其尖端的位置通常被表示為在該圖像上繪制的圖標(biāo)，因此專業(yè)人員實(shí)際上看到的就是三個(gè)2D視圖1的每一個(gè)中的移動(dòng)圖標(biāo)。通過(guò)將預(yù)先獲得的成像數(shù)據(jù)1該顯示的視圖一般為穿過(guò)所感興趣的區(qū)域的軸向、冠狀以及傾斜的切片。與實(shí)際的外科手術(shù)區(qū)域(即，給定的3D實(shí)體空間中真實(shí)世界可見的人體)相關(guān)聯(lián)，該導(dǎo)航系統(tǒng)能夠?yàn)橥饪漆t(yī)生或其他專業(yè)人員提供有價(jià)值的信息，而該信息對(duì)于他來(lái)說(shuō)在外科手術(shù)區(qū)域中并不能立即被看到。例如，該導(dǎo)航系統(tǒng)能夠計(jì)算和顯示當(dāng)前手持工具在患者體內(nèi)相對(duì)于周圍結(jié)構(gòu)的精確位置。在AR系統(tǒng)中，例如攝像頭探頭應(yīng)用(Camera ProbeApplication)中描述的，周圍結(jié)構(gòu)可以是部分掃描圖像。通過(guò)配準(zhǔn)處理，將它們與患者的相應(yīng)實(shí)際結(jié)構(gòu)對(duì)準(zhǔn)。這樣，我們?cè)诒O(jiān)視器上看到的就是手持探頭相對(duì)于掃描圖像中患者的解剖結(jié)構(gòu)(解剖結(jié)構(gòu)上的某點(diǎn)與患者身上等同點(diǎn)之間的位置差異就是這一點(diǎn)處的配準(zhǔn)誤差)的類似點(diǎn)(它與實(shí)際尖端的位置差異就是跟蹤誤差)。這有助于在手術(shù)區(qū)域的實(shí)際組織與手術(shù)前計(jì)劃中使用的圖像(那些組織以及它們周圍結(jié)構(gòu))之間建立聯(lián)系。
在該方法中有一個(gè)固有的缺陷。由于在傳統(tǒng)的系統(tǒng)中，該被顯示的圖像只是二維的，為了被充分地利用，當(dāng)外科醫(yī)生(或其他用戶)工作時(shí)，必須在心里使得這些二維顯示圖像與三維圖像相一致。這樣，會(huì)共同遇到一個(gè)問(wèn)題，該問(wèn)題對(duì)于所有的傳統(tǒng)導(dǎo)航系統(tǒng)來(lái)是共同的，即2D正交切片中出現(xiàn)手術(shù)前的成像數(shù)據(jù)，因此外科醫(yī)生不得不付出很大的精神努力將手術(shù)前的圖像序列中的空間信息與感興趣的患者區(qū)域的物理定位關(guān)聯(lián)在一起。這樣，例如，神經(jīng)外科醫(yī)生通常必須將患者的實(shí)際頭部(在手術(shù)期間，其經(jīng)常幾乎都被蓋住)以及其中的各種組織與根據(jù)手術(shù)前的掃描獲得的分立的軸向的、矢狀的以及冠狀的圖像切片關(guān)聯(lián)在一起。
為解決這個(gè)問(wèn)題，一些傳統(tǒng)的系統(tǒng)在第四顯示窗口中顯示三維(“3D”)數(shù)據(jù)集。但是，在該系統(tǒng)中，顯示的3D視圖只不過(guò)是手術(shù)前掃描數(shù)據(jù)的3D透視圖，并且根本沒有與外科手術(shù)區(qū)域中外科醫(yī)生的實(shí)際視角關(guān)聯(lián)起來(lái)，更不用說(shuō)與醫(yī)生的實(shí)際視角相結(jié)合了。結(jié)果，使用該系統(tǒng)的外科醫(yī)生仍舊不得不在心里使得顯示的3D視圖與其實(shí)際區(qū)域的實(shí)時(shí)視角相一致。這就通常會(huì)導(dǎo)致外科醫(yī)生在感興趣對(duì)象的3D透視圖(通常被表示作為相對(duì)于黑背景的“抽象”對(duì)象)和他正在操作或操作附近的實(shí)際真實(shí)世界對(duì)象之間持續(xù)地切換視角。
為了克服這些不足，擴(kuò)增實(shí)境(AR，Augmented Reality)可以被用于增強(qiáng)圖像導(dǎo)引外科手術(shù)。擴(kuò)增實(shí)境生成一個(gè)環(huán)境，在該環(huán)境中，計(jì)算機(jī)生成的虛擬對(duì)象的圖像能夠與真實(shí)世界中真實(shí)對(duì)象的用戶的視角結(jié)合在一塊。這可以通過(guò)如下方式實(shí)現(xiàn)，例如將虛擬對(duì)象的3D透視圖與從視頻攝像頭(基于視頻的AR)獲得的實(shí)時(shí)視頻信號(hào)結(jié)合在一起，將該虛擬對(duì)象投影至頭戴式顯示器(HMD)裝置中，或者甚至是將該虛擬對(duì)象直接投影至用戶的視網(wǎng)膜上。
基于視頻的AR增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)一般使用視頻攝像頭來(lái)提供患者的實(shí)時(shí)圖像，以及使用計(jì)算機(jī)根據(jù)通過(guò)手術(shù)前掃描而獲得的患者的三維圖像數(shù)據(jù)生成虛擬結(jié)構(gòu)的圖像。該計(jì)算機(jī)生成的圖像被重疊在現(xiàn)場(chǎng)視頻上，提供了能夠被用于外科手術(shù)導(dǎo)航的擴(kuò)增顯示。為了在實(shí)時(shí)視頻圖像中使得計(jì)算機(jī)生成的圖像與它們的實(shí)際等同物精確一致，(i)可以使虛擬結(jié)構(gòu)(組織)與該患者進(jìn)行配準(zhǔn)，以及(ii)視頻攝像頭相對(duì)于患者的位置和方位可以被輸入至計(jì)算機(jī)。在配準(zhǔn)之后，可以確定患者與參考系統(tǒng)之間的幾何關(guān)系。該參考系統(tǒng)可以是，例如與3D跟蹤裝置相連的坐標(biāo)系統(tǒng)，或者與患者剛性鏈接的參考系統(tǒng)。這樣就可以通過(guò)與患者以及視頻攝像頭相連的3D跟蹤裝置來(lái)確定攝像頭與患者之間的關(guān)系。
在共同未決的“攝像頭探頭應(yīng)用”的申請(qǐng)中描述了這種外科手術(shù)導(dǎo)航系統(tǒng)。其中描述的該系統(tǒng)包括微型攝像頭，該微型攝像頭位于能夠被跟蹤系統(tǒng)跟蹤的手持導(dǎo)航探頭中。這樣就能夠通過(guò)查看由微型攝像頭獲取的該實(shí)時(shí)圖像從而在給定的手術(shù)區(qū)域中進(jìn)行導(dǎo)航，其中，根據(jù)描述了感興趣結(jié)構(gòu)的先前的掃描數(shù)據(jù)，將這些實(shí)時(shí)圖像與計(jì)算機(jī)生成的3D虛擬對(duì)象結(jié)合在一起。通過(guò)改變實(shí)時(shí)圖像與疊加的3D圖形的透明度設(shè)置，該系統(tǒng)能夠使用戶的立體感(深度感知，depth perception)得到加強(qiáng)。另外，探頭與疊加的3D虛擬對(duì)象之間的距離可以被動(dòng)態(tài)地顯示在該組合圖像中或其附近。使用該攝像頭探頭技術(shù)，通過(guò)利用手術(shù)前獲得的多模式CT以及MRI數(shù)據(jù)，虛擬真實(shí)系統(tǒng)可以被用于設(shè)計(jì)外科手術(shù)方案，并且能夠隨后將外科手術(shù)設(shè)計(jì)情節(jié)轉(zhuǎn)換為實(shí)際外科手術(shù)區(qū)域的實(shí)時(shí)圖像。
虛擬與真實(shí)結(jié)構(gòu)的重疊；重疊誤差在該外科手術(shù)導(dǎo)航系統(tǒng)中，在該實(shí)時(shí)合并的圖像中，虛擬結(jié)構(gòu)(即，從患者手術(shù)前的容積測(cè)定數(shù)據(jù)生成的那些虛擬結(jié)構(gòu))的疊加圖像與它們的實(shí)際等同物精確一致是至關(guān)重要的。容積測(cè)定數(shù)據(jù)中的各種誤差源，包括配準(zhǔn)誤差、校準(zhǔn)誤差以及幾何誤差，都會(huì)在與實(shí)際圖像相關(guān)的疊加的圖像的某個(gè)區(qū)域的顯示位置中產(chǎn)生不準(zhǔn)確的情況。結(jié)果，當(dāng)患者的容積測(cè)定數(shù)據(jù)的3D透視圖覆蓋在該患者的實(shí)時(shí)照相圖像上時(shí)，在3D透視圖中出現(xiàn)的某些區(qū)域或結(jié)構(gòu)可能會(huì)與該患者實(shí)時(shí)圖像中的相應(yīng)區(qū)域或結(jié)構(gòu)存在些許位置差異。這樣，參照在3D透視圖中的位置而被導(dǎo)引的外科手術(shù)器械就無(wú)法準(zhǔn)確地對(duì)準(zhǔn)在實(shí)際外科手術(shù)區(qū)域中所希望的相應(yīng)位置。
在William Hoff和Tyrone Vincent所著的“Analysis of Head PoseAccuracy in Augmented Reality”(《IEEE Transactions on Visualizationand Computer Graphics》，第6卷第4期，2000年10-12月)中詳細(xì)論述在外科手術(shù)導(dǎo)航系統(tǒng)中出現(xiàn)的各種類型的誤差。
這里為了便于描述，在擴(kuò)增圖像中虛擬結(jié)構(gòu)相對(duì)于它們的實(shí)際等同物的位置誤差被稱為“重疊誤差”。對(duì)于擴(kuò)增實(shí)境增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)來(lái)說(shuō)，為了提供精確的導(dǎo)航和導(dǎo)引信息，該重疊誤差應(yīng)該被限制在可接受的標(biāo)準(zhǔn)2之內(nèi)。
2該可接受標(biāo)準(zhǔn)的例子可以是，例如，理想應(yīng)用條件下，在貫穿AR系統(tǒng)的整個(gè)工作空間的擴(kuò)增圖像中，虛擬結(jié)構(gòu)與它們的真實(shí)世界等同物之間重疊誤差的兩個(gè)像素標(biāo)準(zhǔn)偏差。這里使用的“理想應(yīng)用條件”可以指(i)系統(tǒng)配置和設(shè)置與評(píng)估中的一樣；(ii)沒有出現(xiàn)由于例如模型誤差以及組織變形的應(yīng)用而引起的誤差；以及(iii)配準(zhǔn)誤差與評(píng)估中的一樣小。
目測(cè)傳統(tǒng)的重疊精確評(píng)估方法是目測(cè)。在該方法中，一個(gè)簡(jiǎn)單的對(duì)象，例如盒子或立方體，被作為模型并著色(render)。在一些情況下，通過(guò)CT或MRI對(duì)帶有標(biāo)志的人頭實(shí)體模型進(jìn)行掃描，并且使用3D數(shù)據(jù)空間中具有3D坐標(biāo)的虛擬標(biāo)志來(lái)代替。所著色的圖像隨即被疊加在真實(shí)對(duì)象的實(shí)時(shí)圖像上。通過(guò)從不同的攝像頭位置及角度來(lái)檢查重疊誤差，從而估計(jì)出該重疊精度。為了顯示出該系統(tǒng)的精確程度，通常記錄多個(gè)圖像或短視頻作為證據(jù)。
該方法的缺點(diǎn)在于簡(jiǎn)單的目測(cè)無(wú)法提供定量的評(píng)估。雖然這個(gè)缺點(diǎn)可以通過(guò)如下方式而被改進(jìn)通過(guò)測(cè)量擴(kuò)增圖像中虛擬對(duì)象與實(shí)際對(duì)象的共同特征之間的重疊誤差——這是通過(guò)在合成的AR圖像中測(cè)量實(shí)際對(duì)象上的特征與虛擬對(duì)象上的相應(yīng)特征之間的位置差異來(lái)實(shí)現(xiàn)的，但是該測(cè)量的有效性通常都是受到制約的，這是因?yàn)?1)這些特征的數(shù)量通常是有限的；(2)被選中的特征僅僅對(duì)工作空間的有限部分進(jìn)行采樣；以及(3)在特征的建模、配準(zhǔn)以及定位中缺乏精度。
進(jìn)一步的缺點(diǎn)就是該方法無(wú)法將評(píng)估過(guò)程中引入的誤差與由AR系統(tǒng)生成的重疊誤差分開。重疊誤差的可能的來(lái)源可能包括例如CT或MRI成像誤差、虛擬結(jié)構(gòu)建模誤差、特征定位誤差、在對(duì)真實(shí)對(duì)象和虛擬對(duì)象進(jìn)行配準(zhǔn)時(shí)發(fā)生的誤差、校準(zhǔn)誤差以及跟蹤誤差。并且，由于某些誤差源，例如那些與虛擬結(jié)構(gòu)建模和特征位置相關(guān)的誤差源并不是由于AR系統(tǒng)而引起的，因此它們對(duì)于評(píng)估中重疊誤差所起到的作用應(yīng)該被去除或得到有效的抑制。
此外，該方法無(wú)法區(qū)分各種誤差源的影響，并且這樣就幾乎無(wú)法在改進(jìn)系統(tǒng)精度方面提供思路。
數(shù)值模擬另一種用于對(duì)重疊精度進(jìn)行評(píng)估的傳統(tǒng)方法就是“數(shù)值模擬”法。該方法尋求通過(guò)將誤差源分成不同的類別，例如校準(zhǔn)誤差，跟蹤誤差以及配準(zhǔn)誤差，來(lái)評(píng)估各種誤差源對(duì)于重疊精度的影響。該模擬一般使用手術(shù)前的圖像中隨機(jī)生成的一組目標(biāo)點(diǎn)。通常由鑒別器從實(shí)驗(yàn)數(shù)據(jù)集中確定的典型配準(zhǔn)、跟蹤以及校準(zhǔn)矩陣能夠被用于將這些點(diǎn)從手術(shù)前的圖像坐標(biāo)轉(zhuǎn)換為重疊坐標(biāo)。(關(guān)于該矩陣的細(xì)節(jié)在前面的Hoff和Vincent的論著中提供)。在這些不同的坐標(biāo)空間中，這些點(diǎn)的位置經(jīng)常被用作無(wú)誤差基線或“黃金標(biāo)準(zhǔn)”。接著可以通過(guò)在確定這些矩陣時(shí)將各誤差也包含進(jìn)去來(lái)計(jì)算一組新的略有不同的配準(zhǔn)、跟蹤以及校準(zhǔn)矩陣?？梢愿鶕?jù)從實(shí)驗(yàn)數(shù)據(jù)集中估計(jì)的它們的標(biāo)準(zhǔn)偏差(SD)來(lái)隨機(jī)地確定各誤差。例如，配準(zhǔn)處理中定位誤差的SD可以為0.2mm。使用這組新的轉(zhuǎn)換矩陣再一次對(duì)這些目標(biāo)點(diǎn)進(jìn)行轉(zhuǎn)換。目標(biāo)點(diǎn)與“黃金標(biāo)準(zhǔn)”在不同坐標(biāo)空間中的位置差異就是各種階段的誤差。該過(guò)程可以被重復(fù)很多次，例如1000次，以得到一個(gè)模擬結(jié)果。
對(duì)于數(shù)值模擬(方法)存在很多問(wèn)題。首先，很難確定SD誤差的值。對(duì)于某些誤差源來(lái)說(shuō)，可能非常困難以至于無(wú)法獲得SD值，并且這樣就無(wú)法在模擬中將這些源包含進(jìn)去。其次，誤差可能不是正常分布，由此該模擬可能會(huì)不準(zhǔn)確。第三，模擬需要實(shí)時(shí)測(cè)量數(shù)據(jù)以對(duì)模擬結(jié)果進(jìn)行驗(yàn)證。因此，沒有驗(yàn)證，就很難證明某個(gè)模擬能夠有一定把握地模仿出真實(shí)世界的情況。最后，但是最重要的——該模擬無(wú)法告知一個(gè)給定的AR系統(tǒng)的精確程度，這是因?yàn)樵撃M結(jié)果是一個(gè)統(tǒng)計(jì)數(shù)字，而該統(tǒng)計(jì)數(shù)字一般只按照類型給出關(guān)于該系統(tǒng)精度的概率(例如，95％的該系統(tǒng)將比0.5mm更精確)。實(shí)際上，每個(gè)給定類型或種類的實(shí)際系統(tǒng)應(yīng)該被評(píng)估為證明它的誤差低于某一標(biāo)準(zhǔn)，例如SD0.5mm以下，因此如果沒有低于該標(biāo)準(zhǔn)，則該系統(tǒng)能夠被重新校準(zhǔn)，或者甚至是修改，直到它符合該標(biāo)準(zhǔn)。
這樣，本領(lǐng)域內(nèi)所需要的就是一個(gè)評(píng)估過(guò)程，該過(guò)程能夠定量地評(píng)估給定的AR增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)的重疊精度，并且能夠進(jìn)一步評(píng)估該重疊精度是否符合可接受的標(biāo)準(zhǔn)。并且，該系統(tǒng)應(yīng)該評(píng)估以及量化各種誤差源對(duì)于總的重疊精度的單獨(dú)貢獻(xiàn)。
發(fā)明概要因此，提出了在基于視頻的擴(kuò)增實(shí)境增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)中，用于對(duì)重疊誤差進(jìn)行測(cè)量的系統(tǒng)和方法。在本發(fā)明的示例性實(shí)施例中，該系統(tǒng)和方法包括提供測(cè)試對(duì)象；創(chuàng)建虛擬對(duì)象，其中該虛擬對(duì)象為測(cè)試對(duì)象的計(jì)算機(jī)模型；配準(zhǔn)該測(cè)試對(duì)象；在擴(kuò)增實(shí)境系統(tǒng)的測(cè)量空間中，在各個(gè)位置處捕捉測(cè)試對(duì)象上控制點(diǎn)的圖像；以及從所捕捉的圖像中提取測(cè)試對(duì)象上控制點(diǎn)的位置；計(jì)算虛擬圖像中控制點(diǎn)的位置，以及計(jì)算測(cè)試對(duì)象的各個(gè)視頻和虛擬圖像之間相應(yīng)各控制點(diǎn)位置的位置差異。該方法和系統(tǒng)可以進(jìn)一步評(píng)估該重疊精度是否滿足可接受的標(biāo)準(zhǔn)。在本發(fā)明的示例性實(shí)施例中，提供了一種方法和系統(tǒng)，用于識(shí)別該系統(tǒng)中的各種誤差源，并且評(píng)估它們對(duì)于系統(tǒng)精度的影響。在本發(fā)明的示例性實(shí)施例中，在確定了AR系統(tǒng)的精度之后，該AR系統(tǒng)可以被用作一個(gè)工具，用于評(píng)估給定的應(yīng)用中其他處理的精度，例如配準(zhǔn)(重合)誤差。


圖1示出了根據(jù)本發(fā)明示例性實(shí)施例的精度評(píng)估示例性方法的處理流程圖；圖2示出了在本發(fā)明的示例性實(shí)施例中使用的圖像平面誤差(IPE)以及對(duì)象空間誤差(OSE)的定義；圖3示出了根據(jù)本發(fā)明示例性實(shí)施例的示例性雙平面測(cè)試對(duì)象；圖4示出了根據(jù)本發(fā)明示例性實(shí)施例的圖3的測(cè)試對(duì)象的虛擬對(duì)應(yīng)物；圖5示出了根據(jù)本發(fā)明示例性實(shí)施例的規(guī)定的精確空間；圖6示出了根據(jù)本發(fā)明示例性實(shí)施例的示例性配準(zhǔn)處理流程；圖7示出了根據(jù)本發(fā)明示例性實(shí)施例的示例性屏幕截圖，該示例性屏幕截圖示出了由于基于配準(zhǔn)處理的基準(zhǔn)而導(dǎo)致的配準(zhǔn)誤差。
圖8(a)(增強(qiáng)灰度)和(b)(初始顏色下的相同圖像)示出了根據(jù)本發(fā)明示例性實(shí)施例的精度已經(jīng)被確定的AR系統(tǒng)的應(yīng)用，其中該AR系統(tǒng)的精度被作為評(píng)估工具用以對(duì)某個(gè)對(duì)象的配準(zhǔn)誤差進(jìn)行評(píng)估；圖9(a)(增強(qiáng)灰度)和(b)(初始顏色下的相同圖像)示出了根據(jù)本發(fā)明示例性實(shí)施例的精度已經(jīng)被確定的AR系統(tǒng)的應(yīng)用，其中該AR系統(tǒng)的精度被作為評(píng)估工具用以對(duì)內(nèi)部目標(biāo)對(duì)象的配準(zhǔn)誤差進(jìn)行評(píng)估；圖10示出了根據(jù)本發(fā)明示例性實(shí)施例的用于對(duì)示例性測(cè)試對(duì)象進(jìn)行配準(zhǔn)的27個(gè)示例點(diǎn)；圖11(a)-(c)示出了根據(jù)本發(fā)明示例性實(shí)施例的從示例性平面測(cè)試對(duì)象的示例性重疊顯示的各種不同攝像頭位置的截圖，其中該示例性平面測(cè)試對(duì)象被用于對(duì)AR系統(tǒng)進(jìn)行評(píng)估；圖12示出了根據(jù)本發(fā)明示例性實(shí)施例的用9個(gè)控制點(diǎn)表示的示例性平面測(cè)試對(duì)象；以及圖13示出了根據(jù)本發(fā)明示例性實(shí)施例的使用圖12中的示例性平面測(cè)試對(duì)象的示例性評(píng)估系統(tǒng)。
本發(fā)明的詳細(xì)描述在本發(fā)明的示例性實(shí)施例中，提供了用于對(duì)AR增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)的重疊精度進(jìn)行評(píng)估的系統(tǒng)和方法。在本發(fā)明的示例性實(shí)施例中，該方法能夠另外被用于確定給定的AR系統(tǒng)的重疊精度是否滿足規(guī)定的標(biāo)準(zhǔn)或規(guī)范。
在本發(fā)明的示例性實(shí)施例中，為了對(duì)AR系統(tǒng)進(jìn)行優(yōu)化的目的，方法以及相應(yīng)的設(shè)備可以更容易地對(duì)各種單獨(dú)誤差源對(duì)于整體精度的影響作出評(píng)估。
使用本發(fā)明的方法，一旦建立了給定的AR系統(tǒng)的重疊精度，則該AR系統(tǒng)本身就能夠被用作評(píng)估工具，用以對(duì)其他處理的精度進(jìn)行評(píng)估，其中所述的其他處理能夠影響給定應(yīng)用的重疊精度，例如先前對(duì)于患者的掃描數(shù)據(jù)的配準(zhǔn)。
圖1示出了根據(jù)本發(fā)明示例性實(shí)施例的示例性精度評(píng)估過(guò)程。該過(guò)程能夠被用于例如對(duì)給定的AR增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)進(jìn)行評(píng)估，其中該導(dǎo)航系統(tǒng)可以是例如在“攝像頭探頭應(yīng)用”中所描述的。
參照?qǐng)D1，要被評(píng)估的示例性AR系統(tǒng)包括光學(xué)跟蹤裝置101，跟蹤探頭102，以及計(jì)算機(jī)105或其他數(shù)據(jù)處理系統(tǒng)。該探頭含有參照系103以及微型視頻攝像頭104。該參照系103可以是，如在“攝像頭探頭應(yīng)用”中所述的，例如一組三個(gè)反射球，其可以被跟蹤裝置所檢測(cè)。這樣，這三個(gè)球，或者本領(lǐng)域中已知的其他參照系，就可以確定加在探頭上的參照系。
該跟蹤裝置可以是例如光學(xué)的，例如NDI Polaris系統(tǒng)，或者其他可接受的跟蹤系統(tǒng)。這樣，就能夠確定在跟蹤裝置的坐標(biāo)系統(tǒng)中探頭參照系的3D位置和方位?？梢约僭O(shè)該示例性AR系統(tǒng)已經(jīng)被恰當(dāng)?shù)匦?zhǔn)，并且該校準(zhǔn)結(jié)果已經(jīng)被輸入至計(jì)算機(jī)105中。該校準(zhǔn)結(jié)果一般包括攝像頭的內(nèi)部參數(shù)，例如攝像頭的焦距fx和fy，圖像中心Cx和Cy，以及失真參數(shù)K(1)，K(2)，K(3)和K(4)，以及從攝像頭到探頭參照系的變換矩陣TMcr=Rcr0Tcr1.]]>在該變換矩陣中，Rcr是指在參照系的坐標(biāo)系統(tǒng)中攝像頭的方位，而Tcr是指在參照系的坐標(biāo)系統(tǒng)中攝像頭的位置。這樣，該矩陣就在該探頭參照系內(nèi)提供了攝像頭106的位置和方位。因此虛擬攝像頭107就能夠由這些參數(shù)構(gòu)成，并且被存儲(chǔ)在計(jì)算機(jī)105中。
該AR外科手術(shù)導(dǎo)航系統(tǒng)能夠?qū)崟r(shí)地對(duì)由探頭102中微型攝像頭104獲得的患者的實(shí)時(shí)視頻圖像以及從患者的手術(shù)前成像數(shù)據(jù)中產(chǎn)生的計(jì)算機(jī)生成的虛擬圖像進(jìn)行合成。為了確保虛擬圖像中的虛擬結(jié)構(gòu)與在實(shí)時(shí)視頻中看到的它們的現(xiàn)實(shí)世界中的等同物相一致，該手術(shù)前的成像數(shù)據(jù)可以被配準(zhǔn)到該患者，并且可以通過(guò)例如對(duì)該探頭進(jìn)行跟蹤來(lái)實(shí)時(shí)地更新與患者相關(guān)的視頻攝像頭的位置和方位。
在本發(fā)明的示例性實(shí)施例中，測(cè)試對(duì)象110可以被用于例如對(duì)上述的示例性AR外科手術(shù)導(dǎo)航系統(tǒng)的重疊精度進(jìn)行評(píng)估。(需要注意的是，測(cè)試對(duì)象在這里有些時(shí)候被稱為“真實(shí)測(cè)試對(duì)象”，以清楚地與“虛擬測(cè)試對(duì)象”進(jìn)行區(qū)分，例如圖1的110)。該測(cè)試對(duì)象可以是，例如具有大量控制點(diǎn)或參考點(diǎn)的三維對(duì)象?？刂泣c(diǎn)就是測(cè)試對(duì)象上的點(diǎn)，它的在與該測(cè)試對(duì)象相關(guān)的坐標(biāo)系統(tǒng)中的3D位置能夠被精確地確定，并且它的由視頻攝像頭捕捉的測(cè)試對(duì)象的圖像中的2D位置也能夠被精確地確定。例如，黑白方塊的各個(gè)拐角就可以被用作圖3的示例性測(cè)試對(duì)象的示例性控制點(diǎn)。為了在給定的測(cè)量容積上精確地測(cè)定給定AR系統(tǒng)的精度，控制點(diǎn)可以例如分布在其整個(gè)范圍內(nèi)。另外，在本發(fā)明的示例性實(shí)施例中，在由被評(píng)估的AR系統(tǒng)的攝像頭所獲取的測(cè)試對(duì)象圖像中，控制點(diǎn)需要是可見的，并且它們?cè)谠搱D像中的位置需要很容易識(shí)別以及非常精確地定位。
在本發(fā)明的示例性實(shí)施例中，可以生成例如虛擬測(cè)試對(duì)象111，以對(duì)例如上述的示例性AR外科手術(shù)系統(tǒng)的重疊精度進(jìn)行評(píng)估。可以按照與AR系統(tǒng)在給定應(yīng)用中對(duì)其他虛擬結(jié)構(gòu)進(jìn)行著色(render)的相同方式，使用AR系統(tǒng)的虛擬攝像頭107來(lái)生成虛擬測(cè)試對(duì)象111的虛擬圖像109。虛擬攝像頭107模擬真實(shí)攝像頭的成像過(guò)程。這是真實(shí)攝像頭的計(jì)算機(jī)模型，該模型由例如通過(guò)校準(zhǔn)過(guò)程獲得的一組參數(shù)來(lái)描述?！疤摂M測(cè)試對(duì)象”111也是計(jì)算機(jī)模型，其可以被虛擬攝像頭成像，并且其輸出是虛擬對(duì)象111的“虛擬圖像”109。為了在下面進(jìn)行清楚的討論，計(jì)算機(jī)生成的圖像在這里被稱為“虛擬圖像”，并且來(lái)自視頻攝像頭的圖像(一般為“實(shí)時(shí)的”)被稱為“視頻圖像”。在本發(fā)明的示例性實(shí)施例中，真實(shí)測(cè)試對(duì)象110與虛擬測(cè)試對(duì)象111上的控制點(diǎn)的數(shù)量相同。虛擬測(cè)試對(duì)象111上的控制點(diǎn)可以在由計(jì)算機(jī)生成的虛擬圖像109中看到。它們?cè)趫D像中的位置可以很容易地被識(shí)別并且可以很精確地被定位。
如上面所指出的，虛擬測(cè)試對(duì)象111是真實(shí)測(cè)試對(duì)象110由計(jì)算機(jī)生成的模型。例如，可以通過(guò)使用來(lái)自測(cè)試對(duì)象的測(cè)量結(jié)果來(lái)生成虛擬測(cè)試對(duì)象?；蛘撸纾梢允莵?lái)自CAD設(shè)計(jì)的模型并且該測(cè)試對(duì)象可以由CAD模型作成。本質(zhì)上，在本發(fā)明的示例性實(shí)施例中，測(cè)試對(duì)象以及相應(yīng)的虛擬測(cè)試對(duì)象在幾何上是等同的。特別地，每個(gè)測(cè)試對(duì)象和虛擬測(cè)試對(duì)象上的控制點(diǎn)都必須在幾何上是等同的。測(cè)試對(duì)象的其他部分最好也與虛擬測(cè)試對(duì)象的等同，但這不是必須的。
需要注意的是，生成虛擬測(cè)試對(duì)象的過(guò)程會(huì)引入建模誤差。但是，可以通過(guò)目前的技術(shù)將該建模誤差控制為小于0.01mm(需要注意的是，利用現(xiàn)有技術(shù)，例如，在半導(dǎo)體芯片制造業(yè)中，可以測(cè)量和制造的容差為10-7m)，這比AR重疊精度領(lǐng)域情形的一般范圍更精確。這樣，在本發(fā)明的示例性實(shí)施例中，該建模誤差一般可以忽略不計(jì)。
在本發(fā)明的示例性實(shí)施例中，在評(píng)估的開始，可以通過(guò)配準(zhǔn)處理112將虛擬測(cè)試對(duì)象111配準(zhǔn)至相應(yīng)的真實(shí)測(cè)試對(duì)象110。為了實(shí)現(xiàn)該配準(zhǔn)，例如在“攝像頭探頭應(yīng)用”的示例性AR系統(tǒng)中，3D探頭可以被跟蹤裝置跟蹤，并且被用于逐個(gè)地指向測(cè)試對(duì)象上的各控制點(diǎn)，同時(shí)記錄每個(gè)這樣的點(diǎn)在跟蹤裝置的坐標(biāo)系統(tǒng)中的3D位置。在本發(fā)明的示例性實(shí)施例中，該3D探頭可以是例如特殊設(shè)計(jì)以及精確校準(zhǔn)的探頭，因此其指向精度比例如在“攝像頭探頭應(yīng)用”中所述的AR應(yīng)用中通常使用的3D探頭更高。
例如，該特定探頭可以(1)具有最優(yōu)形狀的尖端，使得它能夠更精確地接觸到測(cè)試對(duì)象上的控制點(diǎn)，(2)通過(guò)使用校準(zhǔn)裝置精確地確定它的尖端在探頭參照系內(nèi)的坐標(biāo)，和/或(3)具有參照系，其包括多于3個(gè)的標(biāo)記，分布在多于一個(gè)的平面中，并且在各標(biāo)記之間具有較大的距離。該標(biāo)記可以是任何標(biāo)記，鈍態(tài)的(passive)或者活動(dòng)的(active)，可以通過(guò)跟蹤裝置對(duì)它們進(jìn)行非常精確的跟蹤。這樣，通過(guò)使用該探頭，就可以很精確地通過(guò)該探頭尖端對(duì)真實(shí)測(cè)量對(duì)象上的控制點(diǎn)進(jìn)行定位。這就能夠很精確地確定它們?cè)诟櫻b置的坐標(biāo)系統(tǒng)中各自的3D坐標(biāo)。最低限度，在本發(fā)明的示例性實(shí)施例中，為了配準(zhǔn)至少應(yīng)該收集三個(gè)控制點(diǎn)的3D位置。但是，在可選示例性實(shí)施例中，可以使用更多的控制點(diǎn)(例如20-30個(gè))，使得可以通過(guò)使用例如最小二乘法的優(yōu)化方法來(lái)改進(jìn)配準(zhǔn)的精度。
為了降低指向誤差從而進(jìn)一步地改進(jìn)配準(zhǔn)精度，在制造真實(shí)測(cè)試對(duì)象時(shí)，可以制造例如多個(gè)支點(diǎn)(pivot)3。該支點(diǎn)可以例如精確地與部分控制點(diǎn)對(duì)準(zhǔn)，或者如果它們沒有精確地對(duì)準(zhǔn)，則可以精確地測(cè)量出它們相對(duì)于各控制點(diǎn)的位置。支點(diǎn)例如可以設(shè)計(jì)成特殊的形狀，使得它能夠精確地與探頭的尖端對(duì)準(zhǔn)。在本發(fā)明的示例性實(shí)施例中，在測(cè)試對(duì)象上至少有3個(gè)這樣的支點(diǎn)，但是如上面指出的，可選地，也可以使用更多的支點(diǎn)以改進(jìn)配準(zhǔn)精度。通過(guò)指向這些支點(diǎn)而不是指向控制點(diǎn)來(lái)進(jìn)行配準(zhǔn)。
在配準(zhǔn)之后，虛擬測(cè)試對(duì)象可以例如與真實(shí)測(cè)試對(duì)象對(duì)準(zhǔn)，并且可以確定該真實(shí)測(cè)試對(duì)象與跟蹤裝置之間的幾何關(guān)系。例如，可以用如下的變換矩陣來(lái)表示該幾何關(guān)系TMot=Rot0Tot1.]]>在該矩陣中，Rot是指測(cè)試對(duì)象在跟蹤裝置的坐標(biāo)系統(tǒng)中的方位，而Tot是指測(cè)試對(duì)象在跟蹤裝置的坐標(biāo)系統(tǒng)中的位置。
該探頭102例如可以被保持在相對(duì)于跟蹤裝置101的某個(gè)位置上，在該位置上，它可以更好地被跟蹤?？梢酝ㄟ^(guò)視頻攝像頭來(lái)捕捉測(cè)試對(duì)象110的視頻圖像108。同時(shí)，可以記錄探頭上參照系的跟蹤數(shù)據(jù)，并且可以確定從參照系到跟蹤裝置的變換矩陣，即TMrt=Rrt0Trt1.]]>在3支點(diǎn)為錐形凹陷，用以將3D探頭的尖端設(shè)陷(trap)到某一位置，而與探頭的旋轉(zhuǎn)無(wú)關(guān)。為了使得該指向更精確，可以使得該支點(diǎn)的形狀與探頭尖端的形狀相匹配。該等式中，Rrt是指探頭的參照系在跟蹤裝置的坐標(biāo)系統(tǒng)中的方位，而Trt是指探頭的參照系在跟蹤裝置的坐標(biāo)系統(tǒng)中的位置。
接著，在本發(fā)明的示例性實(shí)施例中，可以根據(jù)跟蹤數(shù)據(jù)、配準(zhǔn)數(shù)據(jù)、以及校準(zhǔn)結(jié)果，通過(guò)使用公式TMco=TMcr·TMrt·TMot-1]]>來(lái)計(jì)算從攝像頭到真實(shí)測(cè)試對(duì)象TMco的變換矩陣，其中TMco包括攝像頭到測(cè)試對(duì)象的方位和位置。使用TMco的值、虛擬攝像頭的存儲(chǔ)數(shù)據(jù)(即如上所述的校準(zhǔn)參數(shù))以及虛擬測(cè)試對(duì)象，計(jì)算機(jī)例如可以按照與例如“攝像頭探頭”的應(yīng)用中相同的方式生成虛擬測(cè)試對(duì)象的虛擬圖像109。
可以使用本領(lǐng)域內(nèi)已知的方法，例如使用拐角作為控制點(diǎn)、Harrie拐角查找方法、或者本領(lǐng)域內(nèi)已知的其他拐角查找方法，來(lái)提取視頻圖像108中各控制點(diǎn)113的2D位置。可以從制造或測(cè)量測(cè)試對(duì)象中知道控制點(diǎn)在測(cè)試對(duì)象坐標(biāo)系統(tǒng)中的3D位置(Xo，Yo，Zo)?？梢酝ㄟ^(guò)表達(dá)式(XcYcZc)＝(XoYoZo)·TMco來(lái)獲得它相對(duì)于攝像頭的3D位置(Xc，Yc，Zc)。這樣，在本發(fā)明的示例性實(shí)施例中，可以由計(jì)算機(jī)105直接給出虛擬圖像109中控制點(diǎn)114的2D位置。
由于重疊圖像中相應(yīng)點(diǎn)之間的距離遠(yuǎn)遠(yuǎn)小于與任何其他點(diǎn)的距離，因此找出視頻圖像108中給定控制點(diǎn)與相應(yīng)虛擬圖像109中它的對(duì)應(yīng)點(diǎn)之間的對(duì)應(yīng)關(guān)系一般來(lái)說(shuō)并不成問(wèn)題。并且，即使重疊誤差很大，也仍舊可以很容易地通過(guò)例如比較視頻圖像與虛擬圖像中的特征來(lái)解決控制點(diǎn)的對(duì)應(yīng)問(wèn)題。
繼續(xù)參看圖1，在115處，在比較過(guò)程115中，例如，視頻圖像中控制點(diǎn)的2D位置可以與虛擬圖像中它們的相應(yīng)點(diǎn)的2D位置進(jìn)行比較。這樣就可以計(jì)算視頻圖像108和虛擬圖像109中每對(duì)控制點(diǎn)之間的位置差異。
該重疊誤差可以被定義為視頻圖像108和虛擬圖像109中各控制點(diǎn)之間的2D位置差。為了下面更清楚的論述，該重疊誤差在這里應(yīng)該被稱為圖像平面誤差(IPE)。對(duì)于單獨(dú)的控制點(diǎn)，該IPE可以被定義為IPE=(Δx)2+(Δy)2,]]>其中，Δx和Δy為視頻圖像108和虛擬圖像109之間該控制點(diǎn)的位置在X和Y方向上的位置差。
該IPE可以被映射為3D對(duì)象空間誤差(OSE)。對(duì)于OSE可以有不同的定義。例如，OSE可以被定義為測(cè)試對(duì)象上控制點(diǎn)與通過(guò)在虛擬圖像中相應(yīng)控制點(diǎn)的圖像的反投影形成的視線之間的最小距離。為了簡(jiǎn)單起見，術(shù)語(yǔ)OSE在這里就是指控制點(diǎn)和上述交叉點(diǎn)之間的距離，所述交叉點(diǎn)是所述視線與對(duì)象平面的交叉點(diǎn)。該對(duì)象平面被定義為穿過(guò)測(cè)試對(duì)象上的控制點(diǎn)并與圖像平面平行的平面，如圖2中所示。
對(duì)于單獨(dú)的控制點(diǎn)，該OSE可以被定義為OSE=(ΔxZc/fx)2+(ΔyZc/fy)2,]]>其中，fx和fy是視頻攝像頭在X和Y方向上的有效焦距，這可以從攝像頭校準(zhǔn)中獲知。Zc為從視頻攝像頭的觀察點(diǎn)到對(duì)象平面的距離，并且Δx和Δy為視頻圖像和虛擬圖像之間該控制點(diǎn)在X和Y方向上的位置差，這與定義IPE的方式相同。
這樣，使用本發(fā)明的示例性實(shí)施例的方法，就可以通過(guò)根據(jù)視頻圖像和虛擬圖像中相應(yīng)控制點(diǎn)位置差異所計(jì)算出的IPE和OSE誤差進(jìn)行統(tǒng)計(jì)分析，從而確定AR外科手術(shù)導(dǎo)航系統(tǒng)的重疊精度。在本領(lǐng)域內(nèi)有多種方式來(lái)報(bào)告重疊精度，例如IPE和OSE的最大值、平均值、以及均方根(RMS)值。對(duì)于由本發(fā)明人評(píng)估的示例性AR系統(tǒng)(攝像頭探頭應(yīng)用中所述的DEX-Ray系統(tǒng)的版本)，以像素為單位，IPE的最大值、平均值、以及RMS值分別為2.24312、0.91301以及0.34665，并且相應(yīng)的OSE的最大值、平均值、以及RMS值分別為0.36267、0.21581以及0.05095mm。這個(gè)比用于神經(jīng)外科的當(dāng)前IGS系統(tǒng)的應(yīng)用誤差大約要好上10倍。需要注意的是，該結(jié)果表示系統(tǒng)精度。在任何給定的應(yīng)用中使用該評(píng)估過(guò)的系統(tǒng)，整體應(yīng)用誤差可能會(huì)由于該應(yīng)用中固有的其他誤差源而更高一些。
在本發(fā)明的示例性實(shí)施例中，虛擬測(cè)試對(duì)象可以是例如數(shù)據(jù)集，其中包括控制點(diǎn)相對(duì)于測(cè)試對(duì)象坐標(biāo)系統(tǒng)的3D位置。虛擬測(cè)試對(duì)象的虛擬圖像可以例如只由虛擬控制點(diǎn)構(gòu)成?；蛘?，作為選擇，可以使用一些圖形指示器例如十字標(biāo)線、虛擬形象(avatar)、星號(hào)等來(lái)顯示虛擬控制點(diǎn)?；蛘撸鳛榱硪贿x擇，可以使用圖形將該虛擬控制點(diǎn)“投影”在視頻圖像上?；蛘?，作為另一選擇，例如，根本無(wú)需顯示它們的位置，因?yàn)樵谌魏吻闆r下，它們的位置都是由計(jì)算機(jī)計(jì)算的，由于虛擬圖像是由計(jì)算機(jī)生成的，因此該計(jì)算機(jī)已經(jīng)“知道了”該虛擬圖像的屬性，其中包括了它的虛擬控制點(diǎn)的位置。
在本發(fā)明的示例性實(shí)施例中，(真實(shí))測(cè)試對(duì)象可以是例如如圖3中所示的雙平面測(cè)試對(duì)象。該示例性測(cè)試對(duì)象包括兩個(gè)相連的具有棋盤圖案的平面。這些平面彼此呈直角(所以稱“雙平面”)。該測(cè)試對(duì)象的控制點(diǎn)可以被例如精確地制造或精確地測(cè)量，并且這樣該控制點(diǎn)的3D位置對(duì)于某一精度來(lái)說(shuō)是已知的。
在本發(fā)明的示例性實(shí)施例中，例如可以從圖4中所示的雙平面測(cè)試對(duì)象的屬性中創(chuàng)建虛擬測(cè)試對(duì)象。該虛擬測(cè)試對(duì)象是雙平面測(cè)試對(duì)象的計(jì)算機(jī)模型。例如，它可以根據(jù)雙平面測(cè)試對(duì)象的已測(cè)得的數(shù)據(jù)來(lái)生成，因此該控制點(diǎn)的3D位置對(duì)于雙平面測(cè)試對(duì)象的預(yù)定義的坐標(biāo)系統(tǒng)來(lái)說(shuō)是已知的。測(cè)試對(duì)象和虛擬測(cè)試對(duì)象上的各控制點(diǎn)在幾何上是等同的。這樣，它們就具有相同的點(diǎn)間距離，并且到測(cè)試對(duì)象邊界的距離也分別相同。
在本發(fā)明的示例性實(shí)施例中，測(cè)試對(duì)象可以由單個(gè)平面上的控制點(diǎn)構(gòu)成。在這種情況下，可以通過(guò)一個(gè)精確移動(dòng)裝置，例如線性移動(dòng)平臺(tái)(stage)，使得該測(cè)試對(duì)象可以，例如步進(jìn)地穿過(guò)測(cè)量容積。例如可以按照與已經(jīng)為容積測(cè)定(volumetric)的測(cè)試對(duì)象描述的方式相同的方式，在例如逐面的基礎(chǔ)上進(jìn)行精度評(píng)估。可以通過(guò)移動(dòng)該平面測(cè)試對(duì)象來(lái)達(dá)到橫穿該測(cè)量容積的多個(gè)點(diǎn)，并且可以通過(guò)本領(lǐng)域內(nèi)各種已知的方式來(lái)確定這些點(diǎn)相對(duì)于該移動(dòng)裝置的坐標(biāo)。接著，可以通過(guò)類似于在上述使用容積測(cè)定的測(cè)試對(duì)象中描述的配準(zhǔn)處理那樣——即通過(guò)使用3D探頭來(lái)檢測(cè)在某些不同位置處的各控制點(diǎn)的3D位置，從而確定這些點(diǎn)相對(duì)于光學(xué)或其他跟蹤裝置的坐標(biāo)。在這種情況下，該3D探頭可以保持在能夠被跟蹤裝置檢測(cè)到的適當(dāng)位置。在配準(zhǔn)之后，可以按照例如與上述用于容積測(cè)定的測(cè)量對(duì)象相同的方式來(lái)確定控制點(diǎn)相對(duì)于視頻攝像頭的坐標(biāo)?？梢酝ㄟ^(guò)存儲(chǔ)在計(jì)算機(jī)中的配準(zhǔn)結(jié)果、跟蹤數(shù)據(jù)以及AR系統(tǒng)校準(zhǔn)數(shù)據(jù)，按照與上述用于容積測(cè)定的測(cè)量對(duì)象相同的方式來(lái)確定在每次給定步進(jìn)時(shí)各控制點(diǎn)的幾何關(guān)系。這樣就可以由計(jì)算機(jī)來(lái)生成在每次步進(jìn)時(shí)各控制點(diǎn)的虛擬圖像。例如，也可以在每次步進(jìn)時(shí)捕捉視頻圖像，并隨后通過(guò)計(jì)算視頻圖像中的控制點(diǎn)與相應(yīng)虛擬圖像中的相同控制點(diǎn)之間的位置差來(lái)確定該步進(jìn)處的重疊精度。
在本發(fā)明的示例性實(shí)施例中，測(cè)試對(duì)象甚至是可以由單個(gè)控制點(diǎn)構(gòu)成。在這種情況下，可以通過(guò)一個(gè)精確移動(dòng)裝置，例如坐標(biāo)測(cè)量?jī)x(CMM)，例如DEA Inc.的Delta 34.06，其具有0.0225mm的容積測(cè)定精度，使得該測(cè)試對(duì)象步進(jìn)地穿過(guò)測(cè)量容積。至于使用容積測(cè)試對(duì)象，例如可以使用與上述的逐點(diǎn)原則相同的原則進(jìn)行精度評(píng)估?？梢酝ㄟ^(guò)移動(dòng)該測(cè)試對(duì)象來(lái)到達(dá)遍及該測(cè)量容積的多個(gè)點(diǎn)，并且可以通過(guò)本領(lǐng)域內(nèi)各種已知的方式來(lái)確定它們相對(duì)于該移動(dòng)裝置的坐標(biāo)?？梢酝ㄟ^(guò)類似于在上述用于容積測(cè)定的測(cè)試對(duì)象中描述的配準(zhǔn)處理那樣——即通過(guò)使用3D探頭來(lái)檢測(cè)在某些不同位置處各控制點(diǎn)的3D位置，從而確定它們相對(duì)于跟蹤裝置的坐標(biāo)。在這種情況下，該3D探頭可以保持在能夠被跟蹤裝置檢測(cè)到的適當(dāng)位置。在配準(zhǔn)之后，可以按照例如與平面測(cè)試對(duì)象相同的方式來(lái)確定控制點(diǎn)相對(duì)于視頻攝像頭的坐標(biāo)?？梢酝ㄟ^(guò)存儲(chǔ)在計(jì)算機(jī)中的配準(zhǔn)結(jié)果、跟蹤數(shù)據(jù)以及AR系統(tǒng)校準(zhǔn)數(shù)據(jù)，按照與上述用于容積測(cè)定的測(cè)量對(duì)象相同的方式來(lái)確定每次步進(jìn)時(shí)各控制點(diǎn)的幾何關(guān)系。這樣就可以由計(jì)算機(jī)來(lái)生成每次移動(dòng)步進(jìn)時(shí)各控制點(diǎn)的虛擬圖像。例如，可以在每次步進(jìn)時(shí)捕捉視頻圖像，并接著通過(guò)對(duì)視頻圖像中的控制點(diǎn)與相應(yīng)虛擬圖像中的控制點(diǎn)之間的位置差進(jìn)行計(jì)算，來(lái)確定該步進(jìn)處的重疊精度。
在根據(jù)本發(fā)明的示例性實(shí)施例中，該方法可以被用于評(píng)估該重疊精度是否符合規(guī)定的可接受標(biāo)準(zhǔn)。
AR外科手術(shù)導(dǎo)航系統(tǒng)的生產(chǎn)者通常定義這樣一個(gè)可接受的標(biāo)準(zhǔn)。該可接受的標(biāo)準(zhǔn)，有時(shí)被稱為“可接受規(guī)范”，一般需要使系統(tǒng)具有可以出售的合格證明。在根據(jù)本發(fā)明的示例性實(shí)施例中，典型的可接受標(biāo)準(zhǔn)可以被規(guī)定如下當(dāng)使用本發(fā)明的示例性實(shí)施例的評(píng)估方法確定時(shí)，整個(gè)預(yù)定義容積的OSE值＜＝0.5mm。這就是有時(shí)所說(shuō)的“亞毫米精度”。
在根據(jù)本發(fā)明的示例性實(shí)施例中，預(yù)先定義的容積可以被稱為“精確空間”。如圖5中所述，示例性的精確空間也可以被定義為與視頻攝像頭相關(guān)的錐形空間。該示例性精確空間的近平面到該攝像頭的視點(diǎn)的距離為130mm。該錐形的深度為170mm。近平面的高度和寬度都為75mm，并且遠(yuǎn)平面的高度和寬度都是174mm，相當(dāng)于圖像中的512×512的像素區(qū)域。
對(duì)于相對(duì)于跟蹤裝置的不同的攝像頭位置和方位，該重疊誤差可能是不同的。這是因?yàn)樵摳櫨瓤梢匀Q于參照系相對(duì)于跟蹤裝置的位置和方位。由于探頭的方位，該跟蹤精度可以受到制造者系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)(例如DEX-Ray探頭上的三個(gè)反射球)的限制。在本領(lǐng)域中可以知道的是，對(duì)于大多數(shù)跟蹤系統(tǒng)來(lái)說(shuō)，最好使得參照系的平面與跟蹤系統(tǒng)的視線垂直。但是，由于探頭位置的改變而引起的跟蹤精度的變化可以由用戶來(lái)控制。這樣，在本發(fā)明的示例性實(shí)施例中，由于用戶可以通過(guò)調(diào)整探頭的方位使得參照系面對(duì)應(yīng)用中的跟蹤裝置，從而獲得相似的探頭方位，因此可以在優(yōu)選的探頭方位上完成精度評(píng)估。由于虛擬控制點(diǎn)的虛擬圖像可以被重疊在真實(shí)控制點(diǎn)的視頻圖像上，因此也可以在對(duì)重疊精度進(jìn)行評(píng)估的同時(shí)目測(cè)到該重疊精度。
這樣，由于能夠通過(guò)一應(yīng)用來(lái)移動(dòng)探頭，由此可以通過(guò)移動(dòng)探頭在AR顯示器上可視地對(duì)任何探頭位置和方位處的重疊精度進(jìn)行評(píng)估。
在本發(fā)明的示例性實(shí)施例中，為了對(duì)AR系統(tǒng)進(jìn)行優(yōu)化，精度評(píng)估方法和設(shè)備可以被用于評(píng)估各個(gè)單獨(dú)的誤差源對(duì)整體精度所產(chǎn)生的影響。
上述的測(cè)試對(duì)象可以被用于對(duì)AR系統(tǒng)進(jìn)行校準(zhǔn)。在校準(zhǔn)之后，相同的測(cè)試對(duì)象可以被用于對(duì)該AR系統(tǒng)的重疊精度進(jìn)行評(píng)估。也可以單獨(dú)地對(duì)由不同的誤差源(例如校準(zhǔn)或跟蹤誤差源)對(duì)重疊精度產(chǎn)生的影響進(jìn)行評(píng)估。
如上所述，基于視頻的AR外科手術(shù)導(dǎo)航系統(tǒng)的校準(zhǔn)包括校準(zhǔn)攝像頭的固有參數(shù)，以及校準(zhǔn)從攝像頭到探頭上的參照系的變換矩陣。攝像頭校準(zhǔn)可以是本領(lǐng)域內(nèi)所周知的。它的作用就是找出描述該攝像頭屬性的固有參數(shù)，例如焦距、圖像中心和失真，以及非固有參數(shù)，即攝像頭相對(duì)于用于校準(zhǔn)的測(cè)試對(duì)象的位置和方位。在校準(zhǔn)過(guò)程中，該攝像頭捕捉測(cè)試對(duì)象的圖像。提取出圖像中各控制點(diǎn)的2D位置，并找出它們相對(duì)于測(cè)試對(duì)象與控制點(diǎn)的3D位置的對(duì)應(yīng)關(guān)系。接著，通過(guò)使用控制點(diǎn)的3D和2D位置作為輸入，利用本領(lǐng)域公知的校準(zhǔn)程序來(lái)求解攝像頭的固有和非固有參數(shù)。
對(duì)于來(lái)自AR系統(tǒng)的示例性攝像頭的示例性攝像頭校準(zhǔn)可以表示如下固有參數(shù)圖像大小Nx＝768，Ny＝576焦距fx＝885.447580，fy＝888.067052圖像中心Cx＝416.042786，Cy＝282.107896失真kc(1)＝-0.440297，kc(2)＝0.168759，kc(3)＝-0.002408，kc(4)＝-0.002668非固有參數(shù)Tco＝-174.5458519.128410-159.505843Rco＝0.635588 0.015614-0.771871-0.212701 0.964643-0.1556340.742150 0.2630970.616436在本發(fā)明的示例性實(shí)施例中，如上面所指出的，可以通過(guò)校準(zhǔn)來(lái)確定從攝像頭到測(cè)試對(duì)象的變換矩陣。無(wú)需跟蹤，可以利用該校準(zhǔn)后的參數(shù)來(lái)生成測(cè)試對(duì)象的虛擬圖像。該虛擬圖像可以與用于校準(zhǔn)的視頻圖像進(jìn)行比較，并能夠計(jì)算該重疊誤差。由于在該點(diǎn)處的重疊精度僅僅涉及由攝像頭校準(zhǔn)而引入的誤差，因此該重疊誤差就可以被用作該攝像頭校準(zhǔn)對(duì)總體重疊誤差的影響的指示器。在本發(fā)明的示例性實(shí)施例中，該重疊精度起到基線或標(biāo)準(zhǔn)的作用，利用該基線或標(biāo)準(zhǔn)，通過(guò)在虛擬圖像的成像過(guò)程中逐個(gè)地加入其他誤差源，就可以評(píng)估所述其他誤差源的影響。
通過(guò)如上所述的配準(zhǔn)處理，可以得到從測(cè)試對(duì)象到跟蹤裝置的變換矩陣。由于探頭上的參照系是由制造者定義的，因此可以直接通過(guò)跟蹤來(lái)得到從測(cè)試對(duì)象到跟蹤裝置的變換矩陣，例如由跟蹤裝置跟蹤的三個(gè)反射球。這樣，就可以計(jì)算從攝像頭到參照系的變換矩陣TMcr=TMco·TMot·TMrt-1.]]>
在校準(zhǔn)之后，就可以從跟蹤該參照系中獲得從攝像頭到測(cè)試對(duì)象的變換矩陣。為了評(píng)估跟蹤誤差對(duì)于重疊精度的影響，該攝像頭和測(cè)試對(duì)象例如可以在校準(zhǔn)和跟蹤裝置中保持在相同的位置，并且可以例如移動(dòng)至各種位置和方位，優(yōu)選地就是在跟蹤裝置的整個(gè)跟蹤容積中對(duì)該探頭進(jìn)行定位。從等式TMco=TMcr·TMrt·TMot-1]]>中可以看出，通過(guò)在每個(gè)希望的位置和方位記錄真實(shí)和虛擬校準(zhǔn)對(duì)象的一對(duì)圖像，并隨后分別對(duì)各個(gè)真實(shí)和虛擬圖像中各控制點(diǎn)之間的差異進(jìn)行比較，就可以評(píng)估出，在攝像頭相對(duì)于跟蹤裝置具有不同的位置和方位的情況下，跟蹤精度在穿過(guò)整個(gè)跟蹤容積時(shí)對(duì)于重疊誤差的影響。
使用評(píng)估后的AR系統(tǒng)作為評(píng)估工具在根據(jù)本發(fā)明的示例性實(shí)施例中，在已經(jīng)對(duì)重疊精度進(jìn)行了評(píng)估并且證明了其在某一標(biāo)準(zhǔn)內(nèi)是精確的之后，AR系統(tǒng)本身接著就可以被用作一個(gè)工具，用以對(duì)可能影響該重疊精度的其他誤差源進(jìn)行評(píng)估。
例如，在根據(jù)本發(fā)明的示例性實(shí)施例中，該評(píng)估后的AR系統(tǒng)(“EAR”)可以例如被用于評(píng)估某個(gè)應(yīng)用中的配準(zhǔn)精度。
已經(jīng)有了許多已知的配準(zhǔn)方法，用于將患者的以前3D圖像數(shù)據(jù)與患者對(duì)準(zhǔn)。它們都依賴于使用3D圖像數(shù)據(jù)和患者中的共同特征。例如，基準(zhǔn)點(diǎn)、標(biāo)志或表面通常都被用于嚴(yán)格的對(duì)象配準(zhǔn)。對(duì)于傳統(tǒng)的圖像導(dǎo)引外科手術(shù)以及AR增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)來(lái)說(shuō)，配準(zhǔn)都是關(guān)鍵的步驟。但是，為了實(shí)現(xiàn)高精度的配準(zhǔn)卻是相當(dāng)困難的，并且對(duì)配準(zhǔn)精度進(jìn)行評(píng)估也同樣困難。
但是，使用AR系統(tǒng)對(duì)配準(zhǔn)誤差的影響進(jìn)行評(píng)估卻是非常容易的。這樣，在本發(fā)明的示例性實(shí)施例中，在配準(zhǔn)之后，可以很容易地看到出現(xiàn)在真實(shí)和虛擬圖像中的特征或標(biāo)志之間的重疊誤差，并且超過(guò)了精度標(biāo)準(zhǔn)的任何重疊誤差都可以被假設(shè)為是由配準(zhǔn)所引起的，其中該精度標(biāo)準(zhǔn)是對(duì)AR系統(tǒng)進(jìn)行評(píng)估后的精度標(biāo)準(zhǔn)。并且，通過(guò)計(jì)算真實(shí)和虛擬圖像中這些特征的位置差異也可以進(jìn)行定量的評(píng)估。
在根據(jù)本發(fā)明的示例性實(shí)施例中，本發(fā)明人使用了具有6個(gè)基準(zhǔn)點(diǎn)的人頭骨的仿真模型來(lái)闡述該原理。分別為錐形、球形、圓柱形以及立方體的4個(gè)幾何對(duì)象分別被安裝在該仿真模型中作為配準(zhǔn)精度評(píng)估的目標(biāo)。對(duì)該模型(含有四個(gè)目標(biāo)對(duì)象)進(jìn)行CT掃描。從CT數(shù)據(jù)中對(duì)該模型以及4個(gè)幾何對(duì)象的表面進(jìn)行截取。
對(duì)CT掃描數(shù)據(jù)中的基準(zhǔn)點(diǎn)進(jìn)行識(shí)別，并且記錄了它們?cè)趻呙鑸D像坐標(biāo)系統(tǒng)中的3D位置。因此，如上所述，通過(guò)使用被跟蹤的3D探頭逐一地指向它們，就可以檢測(cè)到它們?cè)诠鈱W(xué)跟蹤裝置的坐標(biāo)系統(tǒng)中的3D位置。接著進(jìn)行已知的基于基準(zhǔn)點(diǎn)的配準(zhǔn)處理，如圖6的615所示。圖7中示出了來(lái)自于該過(guò)程的配準(zhǔn)誤差，這是由新加坡的VolumeInteractions Pte Ltd提供的DEX-RayTMAR系統(tǒng)的示例性界面的屏幕截圖，其被用于進(jìn)行該測(cè)試。
該獲得的配準(zhǔn)誤差顯示出了非常好的配準(zhǔn)結(jié)果。該虛擬圖像與視頻圖像的重疊非常好。如圖8(圖8(a)為增強(qiáng)灰度圖像，圖8(b)為初始彩色圖像)中所示，這可以從對(duì)截取后的模型表面與該模型視頻圖像的重疊圖像進(jìn)行檢測(cè)而得到驗(yàn)證。
圖8為虛擬和真實(shí)圖像的重疊的很好的示例。由于沒有虛擬對(duì)象，可以很容易地在那里看到背景的視頻圖像。盡管它完全被虛擬圖像所覆蓋，但是仍然可以看到真實(shí)頭骨的視頻圖像(能夠很容易地被區(qū)分開頭骨前面的小孔以及頭骨上的其他清楚特征，例如圖的中央附近的彎彎曲曲的黑線、虛擬頭骨中的孔的右邊緣上的垂直黑線、以及基準(zhǔn)點(diǎn))。由于虛擬頭骨的某個(gè)部分沒有被著色，因此虛擬頭骨的虛擬圖像中有個(gè)孔(如曲折邊緣包圍的部分所示)，這是因?yàn)樵摬糠直榷x在探頭尖端位置并與攝像頭垂直所的切面更接近于攝像頭?？梢钥吹絻?nèi)部對(duì)象的虛擬圖像，在這里就是在視頻圖像中無(wú)法看到的虛擬頭骨中的孔的左上方處的虛擬球。
按照如下方式找出目標(biāo)對(duì)象處的配準(zhǔn)誤差。如圖9(圖9(a)為增強(qiáng)灰度圖像，圖9(b)為初始彩色圖像)中所示，在可視的情況下，可以很容易地評(píng)估虛擬和真實(shí)目標(biāo)對(duì)象的重疊誤差。
目標(biāo)對(duì)象上的配準(zhǔn)誤差一般很難評(píng)估。但是，由于已經(jīng)使用了本發(fā)明的方法對(duì)AR系統(tǒng)的重疊精度進(jìn)行了評(píng)估，并且已經(jīng)證明該重疊精度遠(yuǎn)遠(yuǎn)小于圖9中所示的重疊(誤差)，因此該配準(zhǔn)誤差被確定為對(duì)整個(gè)誤差起到主要作用。并且，由于已經(jīng)知道，對(duì)于高精度來(lái)說(shuō)，虛擬幾何對(duì)象是真實(shí)對(duì)象的精確模型，因此在該示例性測(cè)試中可以較確切地得出如下結(jié)論即，該重疊誤差主要是有配準(zhǔn)誤差引起的。
例子下面的例子說(shuō)明了使用根據(jù)本發(fā)明示例性實(shí)施例的方法和設(shè)備對(duì)AR系統(tǒng)進(jìn)行的示例性評(píng)估。
1.精確空間該精確空間被定義為與攝像頭相關(guān)的錐形空間。它的近平面距離攝像頭的視點(diǎn)(與探頭尖端相同)為130mm。該錐形的深度為170mm。如圖5中所示，近平面的高度和寬度都為75mm，遠(yuǎn)平面的高度和寬度均為174mm，相當(dāng)于圖像中的512×512像素區(qū)域。
通過(guò)從為了進(jìn)行評(píng)估而收集的數(shù)據(jù)集中去除精確空間外部的控制點(diǎn)來(lái)評(píng)估精確空間中的重疊精度。
2.使用的設(shè)備1.電機(jī)驅(qū)動(dòng)的線性平臺(tái)(stage)，包括KS312-300Suruga Z軸機(jī)動(dòng)平臺(tái)，DFC 1507P Oriental Stepper驅(qū)動(dòng)器，M1500，MicroE線性編碼器，以及MPC3024Z JAC移動(dòng)控制卡。適配器板被安裝在該平臺(tái)上，它的表面與移動(dòng)方位垂直。該平臺(tái)的行進(jìn)距離為300mm，精度為0.005mm。
2.平面測(cè)試對(duì)象，其通過(guò)將打印的棋盤方塊圖案粘貼在平面玻璃板上而制成。在圖12的特寫角度以及圖13的整個(gè)測(cè)試設(shè)備的背景中對(duì)該測(cè)試對(duì)象進(jìn)行了描述。該圖形中有17×25個(gè)方塊，每個(gè)方塊的大小為15×15mm。該棋盤方塊的拐角被用作各控制點(diǎn)，如圖12中的箭頭所表示。
3.Polaris混合跟蹤系統(tǒng)4.Traxtal TA-200探頭5.待評(píng)估的DEX-Ray攝像頭。需要注意的是，DEX-Ray是由Volume Interactions Pte Ltd開發(fā)的AR外科手術(shù)導(dǎo)航系統(tǒng)3.評(píng)估方法根據(jù)本發(fā)明的示例性實(shí)施例的評(píng)估方法，用于計(jì)算視頻和虛擬圖像中各個(gè)控制點(diǎn)位置之間的位置差或重疊誤差。以像素和毫米(mm)為單位來(lái)報(bào)告重疊誤差。
該線性平臺(tái)被定位在Polaris跟蹤空間中的適當(dāng)位置。該測(cè)試對(duì)象被放置在適配器板上。由支架將該校準(zhǔn)后的DEX-Ray攝像頭固定在測(cè)試對(duì)象上方的適當(dāng)位置。整個(gè)裝置如圖13所示。通過(guò)利用線性平臺(tái)來(lái)移動(dòng)平面對(duì)象，控制點(diǎn)均勻地分布在整個(gè)容積中，其被稱為測(cè)量容積(measurement volume)，并且可以獲得它們?cè)跍y(cè)量容積內(nèi)的3D位置。在評(píng)估中，要確保DEX-RayTM的精確空間位于測(cè)量容積之內(nèi)。對(duì)不同移動(dòng)步進(jìn)處的校準(zhǔn)對(duì)象的一系列圖像進(jìn)行捕捉。通過(guò)從這些圖像中提取出拐角，就收集到了真實(shí)圖像中各控制點(diǎn)的位置。
通過(guò)在測(cè)試對(duì)象上已知的拐角的位置以及移動(dòng)距離，就能夠確定測(cè)試對(duì)象上定義的參考坐標(biāo)系統(tǒng)中各控制點(diǎn)的相應(yīng)的3D位置。通過(guò)檢測(cè)某些控制點(diǎn)在Polaris坐標(biāo)系統(tǒng)中的3D位置，通過(guò)如上所述的配準(zhǔn)處理，創(chuàng)建了從該參考坐標(biāo)系統(tǒng)到Polaris坐標(biāo)的變換矩陣。通過(guò)跟蹤可以獲知該參照系在探頭上的位置和方位。這樣，使用該攝像頭的校準(zhǔn)數(shù)據(jù)，按照在DEX-Ray系統(tǒng)中進(jìn)行的相同的方式，當(dāng)為了外科手術(shù)導(dǎo)航的目的(有時(shí)也被稱為“應(yīng)用”，與這里所述的評(píng)估過(guò)程相反)而將虛擬對(duì)象與實(shí)際視頻圖像相結(jié)合時(shí)，生成了控制點(diǎn)的虛擬圖像并將其重疊在真實(shí)圖像上。
上面的方法可以被用于非常精確地評(píng)估在一個(gè)或多個(gè)攝像頭位置處的重疊誤差。通過(guò)在移動(dòng)攝像頭的同時(shí)實(shí)時(shí)地更新該重疊顯示，也可以看到Polaris跟蹤空間中位于不同攝像頭的旋轉(zhuǎn)和位置處的重疊誤差。在不同攝像頭位置處的截圖被用作顯示重疊精度的另一種方式。圖11示出了在各種示例性攝像頭位置處的重疊。
4.校準(zhǔn)結(jié)果在評(píng)估之前，使用安裝在線性平臺(tái)上的相同測(cè)試對(duì)象來(lái)對(duì)DEX-RayTM攝像頭進(jìn)行校準(zhǔn)。所獲得的校準(zhǔn)結(jié)果如下攝像頭固有參數(shù)焦距fc＝[883.67494 887.94350]±
主點(diǎn)cc＝[396.62511 266.49077]±[1.28467 1.00112]扭曲alpha_c＝
±
失真kc＝[-0.43223 0.19703 0.00004 -0.00012 0.00000]±
攝像頭非固有參數(shù)方位omc＝[-0.31080 0.27081 0.07464]±
位置Tc＝[-86.32009 -24.31987 160.59892]±
標(biāo)準(zhǔn)像素誤差err＝
攝像頭到標(biāo)志(marker)的變換矩陣Tcm＝0.5190 -22.1562 117.3592Rcm＝-0.9684 -0.0039 0.25010.0338 -0.9929 0.11540.2479 0.1202 0.96155.評(píng)估結(jié)果5.1測(cè)試對(duì)象的配準(zhǔn)Traxtal TA-200探頭被用于檢測(cè)在Polaris坐標(biāo)系統(tǒng)中控制點(diǎn)的坐標(biāo)。拾取了9個(gè)控制點(diǎn)的3D位置，其中所述各控制點(diǎn)以90mm的距離均勻地分布在測(cè)試對(duì)象上。該測(cè)試對(duì)象被向下移動(dòng)80mm以及160mm，并且重復(fù)相同的過(guò)程。因此如圖10所示，總共有27個(gè)點(diǎn)被用于確定測(cè)試對(duì)象相對(duì)于Polaris的姿態(tài)。可以按照如下方式計(jì)算從評(píng)估對(duì)象到Polaris的變換矩陣Tot＝93.336 31.891 -1872.9Rot＝-0.88879 -0.25424 0.38135-0.45554 0.39842 -0.796080.050458 -0.88126 -0.46992在Matlab中使用的示例性配準(zhǔn)算法如下X＝測(cè)試對(duì)象坐標(biāo)系統(tǒng)中各控制點(diǎn)的坐標(biāo)Y＝在Polaris坐標(biāo)系統(tǒng)中各控制點(diǎn)的坐標(biāo)Ymean＝mean(Y)’；Xmean＝mean(X)’；K＝(Y’-Ymean*ones(1，length(Y)))*(X’-Xmean*ones(1，length(X)))’；[U，S，V]＝svd(K)；D＝eye(3，3)；D(3，3)＝det(U*V’)；
R＝U*D*V’；T＝Y(jié)mean-R*Xmean；Rot＝R’；Tot＝T’；％％％配準(zhǔn)誤差配準(zhǔn)誤差＝(Y-ones(length(X)，1)*Tot)*inv(Rot)-X；如下面的表A中所示，X表示測(cè)試對(duì)象坐標(biāo)系統(tǒng)中27個(gè)控制點(diǎn)的坐標(biāo)，Y表示Polaris坐標(biāo)系統(tǒng)中27個(gè)控制點(diǎn)的坐標(biāo)，

表A
5.2跟蹤數(shù)據(jù)該攝像頭被固定在測(cè)試對(duì)象上方的適當(dāng)位置。在整個(gè)評(píng)估過(guò)程中它一直保持靜止。Polaris傳感器在評(píng)估期間也保持靜止。在DEX-RayTM上的參照系中，探頭相對(duì)于Polaris的位置和方位為Trt＝180.07269.53-1829.5Rrt＝0.89944 -0.40944 -0.151590.09884 -0.14717 0.98396-0.42527 -0.90017 -0.0919225.3視頻圖像在配準(zhǔn)后，該測(cè)試對(duì)象向攝像頭移近。由計(jì)算機(jī)通過(guò)編碼器的反饋?zhàn)詣?dòng)檢測(cè)它被移動(dòng)的距離。捕捉并存儲(chǔ)視頻圖像。隨后該測(cè)試對(duì)象被向下移動(dòng)20mm并停下來(lái)，捕捉并存儲(chǔ)另一個(gè)視頻圖像。連續(xù)進(jìn)行該過(guò)程，直到該對(duì)象超出了測(cè)量容積的范圍。在該評(píng)估中，移動(dòng)的總距離為160mm。一共得到8個(gè)視頻圖像(160mm處的圖像超出了測(cè)量容積的范圍，因此沒有被使用)。
5.4評(píng)估結(jié)果通過(guò)使用該校準(zhǔn)后的數(shù)據(jù)、配準(zhǔn)數(shù)據(jù)測(cè)試對(duì)象、參照系的跟蹤數(shù)據(jù)以及測(cè)試對(duì)象的移動(dòng)距離，確定了各控制點(diǎn)相對(duì)于攝像頭的位置，并且如上所述，生成了在每次移動(dòng)步進(jìn)處各控制點(diǎn)的虛擬圖像。
計(jì)算出每次移動(dòng)步進(jìn)時(shí)視頻圖像中的各控制點(diǎn)與該移動(dòng)步進(jìn)時(shí)虛擬圖像中相應(yīng)的各控制點(diǎn)之間的位置差異。使用上述的方法計(jì)算重疊精度。
在貫穿該DEX-Ray系統(tǒng)的整個(gè)工作空間中評(píng)估該重疊精度。在探頭位置處評(píng)估的最大值、平均值、以及RMS誤差為2.24312、0.91301以及0.34665，單位是像素。映射至對(duì)象空間，相應(yīng)的值為0.36267、0.21581以及0.05095mm。
需要注意的是，上述的過(guò)程可以被用于在各種攝像頭位置和方位處對(duì)重疊精度進(jìn)行評(píng)估。還可以按照與實(shí)際應(yīng)用中類似的方式動(dòng)態(tài)地看到該重疊精度。圖11中示出了在一些位于不同攝像頭位置處的重疊顯示的截圖。雖然該評(píng)估結(jié)果只是在一個(gè)攝像頭位置上獲得的，但是這些截圖表明在通常條件下也是成立的。
在這里，下面的每篇參考文件通過(guò)引用被全文并入本文。說(shuō)明了該申請(qǐng)中與每篇參考文件相關(guān)的部分。
P J.Edward等所著的“Design and Evaluation of a System forMicroscope-Assisted Guided Interventions(MAGI)”，IEEE Transactionson Medical Imaging，第19卷第11期，2000年11月，參看標(biāo)題為“VRError Analysis”的部分。
W.Birkfeller等所著的“Current status of the Varioscope AR，ahead-mounted operating microscope for computer-aided surgery”，IEEEand ACM International Symposium on Augmented Reality(ISAR’01)，2001年10月29-30日，紐約，參看標(biāo)題為“Results”的部分。
W.Grimson等所著的“An Automatic Registration Method forFrameless Stereotaxy，Image Guided Surgery，and Enhanced RealityVisualization”，Transactions on Medical Imaging，第15卷第2期，1996年4月，參看部分1“Motivating Problem”。
William Hoff，Tyrone Vincent所著的“Analysis of Head PoseAccuracy in Augmented Reality”，IEEE Transactions on Visualization andComputer Graphics，第6卷第4期，2000年10-12月，參看全文。
A.P.King等所著的“An Analysis of calibration and RegistrationErrors in an Augmented Reality System for Microscope-Assisted GuidedIntervention，Proc.”，Medical Image Understanding and Analysis 1999，參看部分3“Accuracy”。
前文中僅僅說(shuō)明了本發(fā)明的原理，因此可以理解的是，本領(lǐng)域內(nèi)的技術(shù)人員可以設(shè)計(jì)出許多可選的裝置，盡管在這里沒有對(duì)這些可選的配置進(jìn)行明確的描述，但是本發(fā)明原理的具體體現(xiàn)落入了本發(fā)明的精神和保護(hù)范疇之內(nèi)。
權(quán)利要求
1.一種測(cè)量擴(kuò)增實(shí)境系統(tǒng)中重疊誤差的方法，包括提供測(cè)試對(duì)象；對(duì)該測(cè)試對(duì)象進(jìn)行配準(zhǔn)；在規(guī)定的工作空間中的各種位置處捕捉所述測(cè)試對(duì)象上各參考點(diǎn)的圖像；從所捕捉的圖像中提取出所述測(cè)試對(duì)象上各參考點(diǎn)的位置；計(jì)算該參考點(diǎn)的再投影位置；以及計(jì)算所提取出的各參考點(diǎn)以及再投影的參考點(diǎn)之間的差異。
2.根據(jù)權(quán)利要求1的方法，其中該測(cè)試對(duì)象是雙平面的。
3.根據(jù)權(quán)利要求1的方法，其中該測(cè)試對(duì)象是平面的。
4.根據(jù)權(quán)利要求3的方法，其中在規(guī)定的工作空間內(nèi)將該測(cè)試對(duì)象移動(dòng)精確的已知增量，從而為多個(gè)參考點(diǎn)的每一個(gè)獲取多個(gè)位置。
5.根據(jù)權(quán)利要求1的方法，其中對(duì)該測(cè)試對(duì)象進(jìn)行精確地制造或測(cè)量，使得相繼的各參考點(diǎn)之間的距離基本上處于已知的容差范圍內(nèi)。
6.根據(jù)權(quán)利要求1的方法，其中該測(cè)試對(duì)象具有1個(gè)或多個(gè)支點(diǎn)，并且其中精確地知道從所述支點(diǎn)到參考點(diǎn)之間的距離在規(guī)定的容差范圍內(nèi)。
7.根據(jù)權(quán)利要求1的方法，其中使用了各參考點(diǎn)的至少三個(gè)位置。
8.根據(jù)權(quán)利要求1的方法，其中對(duì)于每個(gè)參考點(diǎn)都計(jì)算所提取出的參考點(diǎn)和再投影的參考點(diǎn)之間的差異，并且這些參考點(diǎn)的差異計(jì)算包括在規(guī)定的工作空間范圍內(nèi)的全部參考點(diǎn)上計(jì)算最小、最大、平均以及標(biāo)準(zhǔn)偏差中的一個(gè)或多個(gè)。
9.根據(jù)權(quán)利要求1-8中任何一個(gè)的方法，進(jìn)一步包括確定該擴(kuò)增實(shí)境系統(tǒng)的所有提取出的參考點(diǎn)和再投影的參考點(diǎn)之間的全部給定差異是否符合給定標(biāo)準(zhǔn)。
10.根據(jù)權(quán)利要求1-8中任何一個(gè)的方法，進(jìn)一步包括使用所有提取出的參考點(diǎn)和再投影的參考點(diǎn)之間的差異作為基線，并通過(guò)該基線來(lái)測(cè)量重疊誤差的其他源。
11.根據(jù)權(quán)利要求10的方法，其中所述重疊誤差的其他源包括配準(zhǔn)誤差。
12.一種測(cè)量擴(kuò)增實(shí)境系統(tǒng)中重疊誤差的方法，包括提供真實(shí)測(cè)試對(duì)象；生成虛擬測(cè)試對(duì)象將該真實(shí)測(cè)試對(duì)象配準(zhǔn)至虛擬測(cè)試對(duì)象；在規(guī)定的工作空間范圍內(nèi)的各位置處，捕捉測(cè)試對(duì)象上各參考點(diǎn)的圖像，并生成虛擬測(cè)試對(duì)象上相應(yīng)點(diǎn)的虛擬圖像；從所捕捉的圖像中提取出所述真實(shí)測(cè)試對(duì)象上所述各參考點(diǎn)的位置；從所述虛擬圖像中提取出所述虛擬測(cè)試對(duì)象上所述各參考點(diǎn)的相應(yīng)位置；以及計(jì)算所述各真實(shí)參考點(diǎn)和虛擬參考點(diǎn)之間的位置差異。
13.根據(jù)權(quán)利要求12的方法，其中該測(cè)試對(duì)象是雙平面的。
14.根據(jù)權(quán)利要求12的方法，其中該測(cè)試對(duì)象是平面的。
15.根據(jù)權(quán)利要求14的方法，其中在規(guī)定的工作空間內(nèi)將該測(cè)試對(duì)象移動(dòng)精確已知的增量，從而為多個(gè)參考點(diǎn)的每一個(gè)獲取多個(gè)位置。
16.根據(jù)權(quán)利要求13的方法，其中對(duì)該測(cè)試對(duì)象進(jìn)行精確地制造或測(cè)量，使得相繼的各參考點(diǎn)之間的距離基本上處在已知的容差范圍內(nèi)。
17.根據(jù)權(quán)利要求13的方法，其中該測(cè)試對(duì)象具有一個(gè)或多個(gè)支點(diǎn)，并且其中精確地知道從所述支點(diǎn)到所述各參考點(diǎn)之間的距離是在規(guī)定的容差范圍之內(nèi)。
18.根據(jù)權(quán)利要求13的方法，其中使用了各參考點(diǎn)的至少三個(gè)位置。
19.根據(jù)權(quán)利要求13的方法，其中對(duì)于每個(gè)參考點(diǎn)，計(jì)算所提取出的參考點(diǎn)和再投影的參考點(diǎn)之間的差異，并且該計(jì)算包括在規(guī)定的工作空間內(nèi)的全部參考點(diǎn)上計(jì)算最小、最大、平均以及標(biāo)準(zhǔn)偏差中的一個(gè)或多個(gè)。
20.一種用于測(cè)量擴(kuò)增實(shí)境系統(tǒng)中重疊誤差的系統(tǒng)，包括具有多個(gè)規(guī)定參考點(diǎn)的測(cè)試對(duì)象；跟蹤裝置；數(shù)據(jù)處理器；在AR系統(tǒng)中使用的攝像頭或成像裝置，其中可以在跟蹤系統(tǒng)的跟蹤空間中跟蹤該測(cè)試對(duì)象和攝像頭中的每一個(gè)，并且其中在操作中，該攝像頭或成像系統(tǒng)生成一個(gè)或多個(gè)測(cè)試對(duì)象的圖像，并且在規(guī)定工作空間中各種位置處，該數(shù)據(jù)處理器相應(yīng)于虛擬測(cè)試對(duì)象生成相同數(shù)量的虛擬圖像，并計(jì)算各相應(yīng)參考點(diǎn)之間的位置差異。
21.根據(jù)權(quán)利要求20的系統(tǒng)，其中該測(cè)試對(duì)象是雙平面的。
22.根據(jù)權(quán)利要求20的系統(tǒng)，其中該測(cè)試對(duì)象是平面的。
23.根據(jù)權(quán)利要求20的系統(tǒng)，其中在運(yùn)行中，在規(guī)定的工作空間內(nèi)將該測(cè)試對(duì)象移動(dòng)精確已知的增量，從而為所述多個(gè)參考點(diǎn)中的每一個(gè)獲取多個(gè)位置。
24.根據(jù)權(quán)利要求20的系統(tǒng)，其中對(duì)該測(cè)試對(duì)象進(jìn)行精確地制造或測(cè)量，使得相繼的各參考點(diǎn)之間的距離基本上處于已知的容差范圍之內(nèi)。
25.根據(jù)權(quán)利要求20的系統(tǒng)，其中該測(cè)試對(duì)象具有一個(gè)或多個(gè)支點(diǎn)，并且其中精確地知道從所述支點(diǎn)到所述參考點(diǎn)之間的距離處于規(guī)定的容差范圍之內(nèi)。
26.根據(jù)權(quán)利要求20-25中任何一個(gè)的系統(tǒng)，其中在運(yùn)行中，將該攝像頭或成像裝置保持固定在相對(duì)于所述跟蹤裝置的規(guī)定位置上，同時(shí)生成一個(gè)或多個(gè)圖像。
27.根據(jù)權(quán)利要求1的方法，其中該測(cè)試對(duì)象是測(cè)定容積的。
28.根據(jù)權(quán)利要求27的方法，其中所述各參考點(diǎn)分布在測(cè)試對(duì)象的整個(gè)容積內(nèi)。
29.根據(jù)權(quán)利要求1的方法，其中該測(cè)試對(duì)象具有單個(gè)參考點(diǎn)。
30.根據(jù)權(quán)利要求29的方法，其中在規(guī)定的工作空間中的各種精確已知的位置處對(duì)該單個(gè)參考點(diǎn)進(jìn)行成像。
31.根據(jù)權(quán)利要求20的系統(tǒng)，其中該測(cè)試對(duì)象為測(cè)定容積的。
32.根據(jù)權(quán)利要求20的系統(tǒng)，其中該測(cè)試對(duì)象具有單個(gè)參考點(diǎn)。
33.根據(jù)權(quán)利要求32的系統(tǒng)，其中通過(guò)CMM使得該測(cè)試對(duì)象在整個(gè)規(guī)定的工作空間中步進(jìn)。
34.根據(jù)權(quán)利要求1-8中任何一個(gè)的方法，其中該規(guī)定的工作空間是與攝像頭或成像系統(tǒng)相關(guān)的空間。
35.根據(jù)權(quán)利要求20-25或31-33中任何一個(gè)的系統(tǒng)，其中該規(guī)定的工作空間是與攝像頭或成像系統(tǒng)相關(guān)的空間。
全文摘要
提出了用于對(duì)基于視頻的擴(kuò)增實(shí)境增強(qiáng)型外科手術(shù)導(dǎo)航系統(tǒng)中的重疊誤差進(jìn)行測(cè)量的系統(tǒng)和方法。在本發(fā)明的示例性實(shí)施例中，該系統(tǒng)和方法包括提供一個(gè)測(cè)試對(duì)象，生成一個(gè)虛擬對(duì)象，其中該虛擬對(duì)象為測(cè)試對(duì)象的計(jì)算機(jī)模型，配準(zhǔn)該測(cè)試對(duì)象，在擴(kuò)增實(shí)境系統(tǒng)的測(cè)量空間中捕捉各個(gè)位置的測(cè)試對(duì)象上控制點(diǎn)的圖像，以及從被捕捉的圖像中提取出測(cè)試對(duì)象上控制點(diǎn)的位置，計(jì)算虛擬圖像中控制點(diǎn)的位置，以及計(jì)算測(cè)試對(duì)象的各個(gè)視頻和虛擬圖像之間相應(yīng)控制點(diǎn)的位置的位置差異。該方法和系統(tǒng)可以進(jìn)一步評(píng)估該重疊精度是否符合可接受的標(biāo)準(zhǔn)。在本發(fā)明的示例性實(shí)施例中，提供了一種方法和系統(tǒng)，用于識(shí)別該系統(tǒng)中的各種誤差源，并且評(píng)估它們對(duì)于系統(tǒng)精度的影響。在本發(fā)明的示例性實(shí)施例中，在確定了AR系統(tǒng)的精度之后，該AR系統(tǒng)可以被用作一個(gè)工具，用于評(píng)估給定的應(yīng)用中其他處理的精度，例如配準(zhǔn)誤差。
文檔編號(hào)A61B5/05GK1957373SQ200580008042
公開日2007年5月2日 申請(qǐng)日期2005年3月14日 優(yōu)先權(quán)日2004年3月12日
發(fā)明者朱傳貴 申請(qǐng)人:布拉科成像S.P.A.公司