專利名稱：：手術(shù)中二維圖像與手術(shù)前三維圖像的仿射配準方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及用于使手術(shù)中圖像與手術(shù)前圖像配準的方法和系統(tǒng)，并且更具體地涉及用于使手術(shù)中二維圖像與手術(shù)前三維圖像配準的基于特征的方法和系統(tǒng)。
背景技術(shù)：
：人體組織和器官的成像是用于幫助診斷和治療許多醫(yī)療狀況的重要手段。諸如磁共振成像(MRI)和計算機斷層掃描(CT)這樣的成像模態(tài)產(chǎn)生高質(zhì)量的三維(3D)圖像。這些成像模態(tài)典型地被用于在手術(shù)前使患者成像。的確，在乳腺癌、前列腺癌和腦腫瘤手術(shù)中，由于能夠執(zhí)行動態(tài)成像、參數(shù)建模、和擴散或具有對于交互式手術(shù)中成像來說不切實際的采集時間的其它功能性MR或CT成像方法，手術(shù)前成像更好地描繪腫瘤范圍。典型地在手術(shù)期間獲取二維(2D)熒光圖像。盡管這些圖像有益于提供對介入裝置的實時監(jiān)控，但是并不具有閉合磁體MR和CT的圖像質(zhì)量和組織對比。介入熒光成像或手術(shù)中熒光成像用來引導用于診斷或微創(chuàng)治療介入的器械。介入和外科手術(shù)要求醫(yī)生可以使用關(guān)于患者解剖組織構(gòu)造或活動器官的變化位置的更新。(在沒有配準的情況下)介入期間的實時成像建立患者和圖像之間的必要關(guān)系。熒光圖像的較低圖像質(zhì)量阻止它們用于各種手術(shù)。存在對配準過程的需要，該配準過程利用來自傳統(tǒng)高場磁體MRI系統(tǒng)或CT系統(tǒng)的高質(zhì)量手術(shù)前體積/圖像來增加熒光手術(shù)中圖像(體積被視為三維圖像并且在下文中被稱為圖像)。
發(fā)明內(nèi)容本發(fā)明涉及一種用于使目標特征的手術(shù)中二維(2D)醫(yī)學圖像的序列與所述目標特征的手術(shù)前三維(3D)醫(yī)學圖像配準的系統(tǒng)和方法。目標特征的3D圖像被轉(zhuǎn)換為第一骨架圖形。目標特征的2D圖像被轉(zhuǎn)換為第二骨架圖形。執(zhí)行第一和第二骨架圖形的圖形匹配以獲得圖形的粗對準，并且使第一與第二骨架圖形配準。下面將參考附圖更詳細地描述本發(fā)明的優(yōu)選實施例，其中相似的參考數(shù)字表示相似的元件圖1是根據(jù)本發(fā)明的典型磁共振成像(MRI)系統(tǒng)的系統(tǒng)結(jié)構(gòu)的示意圖；圖2是根據(jù)本發(fā)明的用于獲得二維手術(shù)中圖像的典型C臂龍門架的示意圖；圖3是示出根據(jù)本發(fā)明的用于使三維手術(shù)前圖像與二維手術(shù)中圖像配準的系統(tǒng)的示意性框圖；圖4a-b是示出根據(jù)本發(fā)明的用于使手術(shù)前與手術(shù)中圖像配準的過程的流程圖；圖5是根據(jù)本發(fā)明的目標特征的骨架圖形和相應(yīng)3D圖形的表示；圖6是根據(jù)本發(fā)明如何在第一時間段上在一系列血管中監(jiān)控造影劑流的表示；以及圖7是根據(jù)本發(fā)明如何在第二時間段上在一系列血管中監(jiān)控造影劑流的表示。具體實施例方式本發(fā)明涉及一種用于使手術(shù)前三維圖像與手術(shù)中二維圖像配準以幫助引導介入手術(shù)的方法。不同模態(tài)、例如磁共振成像(MRI)或計算機斷層掃描可以被用于獲得三維圖像。這種可以被用于獲得圖像的裝置的例子是MAGNETOMSymphony和SONATOMSensation，兩者都是由SiemensAG制造的。圖1示出根據(jù)本發(fā)明的、可以被用于獲得高質(zhì)量手術(shù)前3D圖像的典型MRI系統(tǒng)的部件的圖示。MRI系統(tǒng)位于掃描室100中。磁體108產(chǎn)生用于成像過程的第一磁場。梯度線圈110在磁體108內(nèi)以用于在磁場中在X、Y和Z方向上產(chǎn)生梯度。射頻(RF)線圈112在梯度線圈110內(nèi)。RF線圈112產(chǎn)生使自旋旋轉(zhuǎn)90°或180°所必需的第二磁場。RF線圈112也檢測來自身體內(nèi)自旋的信號?；颊?02通過計算機控制的患者治療臺(patienttable)106被定位在磁體108內(nèi)。治療臺106具有1mm的定位精度。掃描室100被RF屏蔽104圍繞。屏蔽104防止高功率RF脈沖輻射到醫(yī)院外面。它也防止來自電視和無線電臺的各種RF信號被MRI系統(tǒng)檢測到。一些掃描室也被磁屏蔽圍繞，所述磁屏蔽包含延伸太遠而進入到醫(yī)院內(nèi)的磁場。在較新的磁體中，磁屏蔽是磁體的主要的部分。MRI系統(tǒng)的中心元件是計算機126。計算機126控制MRI系統(tǒng)上的所有部件。在計算機126的控制下的RF部件是射頻源138和脈沖編程器134。射頻源138產(chǎn)生所期望的頻率的正弦波。脈沖編程器134使RF脈沖成形為變跡sinc脈沖。RF放大器136使脈沖功率從毫瓦特增加到千瓦特。計算機126也控制梯度脈沖編程器122，該梯度脈沖編程器設(shè)置三個梯度場中的每一個的形狀和幅度。梯度放大器120使梯度脈沖的功率增加到足以驅(qū)動梯度線圈110的電平。MRI系統(tǒng)的操作者通過控制臺128將輸入提供給計算機126。從控制臺128選擇和定制成像序列。操作者可以在位于控制臺128上的視頻顯示器上查看圖像或者可以在(未示出的)膠片打印機上進行圖像的硬拷貝。根據(jù)本發(fā)明，在外科手術(shù)之前將通過諸如所述的MRI系統(tǒng)之類的高模態(tài)成像系統(tǒng)使患者成像。在外科手術(shù)期間獲取附加的較低質(zhì)量的二維圖像。典型地，X射線系統(tǒng)被用于獲取這些圖像。這樣的系統(tǒng)的例子是AXIOMArtisMP，其是由SiemensAG制造的。圖2是熒光X射線成像系統(tǒng)的示意圖。C臂212在圍繞患者的軌道(例如圓形路徑)中攜帶X射線源208和圖像增強器210。如本領(lǐng)域技術(shù)人員已知的那樣，X射線圖像是對象到平面上的X射線照相投影。它可以被視為x和y的二維函數(shù)，以便它在每個點(x，y)處記錄沿著從X射線源208輻射到圖像平面上的點(x，y)的射線的所有吸收的總量。通過使X射線裝置的C臂龍門架圍繞其與在場患者的等角點旋轉(zhuǎn)來采集3D血管造影數(shù)據(jù)。圖3是根據(jù)本發(fā)明的用于使手術(shù)前3D圖像與手術(shù)中2D圖像配準的典型系統(tǒng)的框圖。本發(fā)明利用手術(shù)前圖像和手術(shù)中圖像來提供目標特征的更有用和便宜的配準圖像，所述目標特征例如為特定組織區(qū)域內(nèi)的血管，其為微創(chuàng)治療介入的對象。例如可以在手術(shù)前使用閉合MRI系統(tǒng)或CT系統(tǒng)并且在手術(shù)中使用熒光檢查系統(tǒng)來使腫瘤成像。圖像被配準和拼接，以提供關(guān)于腫瘤和受影響的組織區(qū)域的結(jié)構(gòu)的和功能的信息。在手術(shù)中使用熒光檢查系統(tǒng)所獲取的后續(xù)圖像然后可以隨著時間推移與手術(shù)前圖像拼接，以便幫助醫(yī)生。在手術(shù)中檢測到變形的情況下，本發(fā)明也可以被用于在與手術(shù)中圖像配準之前修改手術(shù)前圖像以模仿變形。通過使用閉合MRI系統(tǒng)(圖1)或CT系統(tǒng)(未示出)(例如商業(yè)上可從SiemensMedicalSolutions得到的1.5TMAGNETOMSonata掃描器)來獲得所期望的組織區(qū)域或器官的三維(3D)圖像。從組織區(qū)域或器官的圖像中收集并且存儲數(shù)據(jù)以用于由處理器304進一步處理。特別地，從圖像中分割目標特征、例如與特定組織區(qū)域相關(guān)的血管的一部分，并且存儲骨架圖形，如將在下文中更詳細地進行描述的那樣。在任何手術(shù)過程之前獲取該圖像。其它器官或內(nèi)部結(jié)構(gòu)必要時也可以被成像。然后通過使用熒光檢查系統(tǒng)302獲取相同的所期望的目標特征的二維(2D)圖像。在手術(shù)過程期間，獲得初始圖像并且將其存儲在處理器304中。執(zhí)行來自熒光檢查系統(tǒng)的2D圖像與來自閉合MRI的手術(shù)前3D圖像的嚴格配準。優(yōu)選地，3D手術(shù)前圖像和2D手術(shù)中圖像處于相對相似的狀態(tài)。例如，被成像的內(nèi)部器官對于兩個成像過程來說應(yīng)當處于近似相同的狀態(tài)(例如位置和透視)以保證正確配準。如上所述，3D圖像數(shù)據(jù)和2D圖像數(shù)據(jù)被輸入到處理器304。處理器304可以包括圖形用戶界面(GUI)，該圖形用戶界面允許用戶在圖像中手工繪制圍繞感興趣區(qū)域的邊界或輪廓。替代地，分割算法可以在無用戶交互的情況下被用于區(qū)分感興趣區(qū)域并且繪制圖像的輪廓?？梢允褂帽绢I(lǐng)域技術(shù)人員已知的分割算法。處理器304包括存儲圖像的數(shù)據(jù)庫306。包括顯示器310以用于顯示圖像以及顯示配準圖像。也包括接口裝置或裝置308，例如鍵盤、鼠標或本領(lǐng)域中已知的其它裝置。圖4a-4b是示出根據(jù)本發(fā)明的用于使手術(shù)前3D圖像與手術(shù)中2D圖像配準的方法的流程圖。在手術(shù)過程之前患者經(jīng)歷MRI或CT掃描以獲得目標特征的手術(shù)前3D圖像(步驟402)。來自掃描的3D圖像被存儲以供以后使用。根據(jù)本發(fā)明，目標特征是血管。通過觀察血管和周圍組織，可以診斷各種狀況。例如，這樣的方法可以用于檢測肝中的癌細胞、腦狀況、和心臟狀況。從3D圖像中分割目標特征(步驟404)。由于在介入手術(shù)期間造影劑通常被注射到目標區(qū)域中，因此分割血管相當容易。通過血管的造影劑流也被用于從熒光圖像序列中提取3D血管，如將在下文中進一步詳細描述的那樣。3D圖像提供所期望的區(qū)域的高分辨率視圖，并且允許用戶觀察所述區(qū)域中的軟組織以及能夠進行深度測量。接著，從所分割的3D圖像中提取中心線(步驟406)。根據(jù)本發(fā)明，用于3D對象細化的并行細化算法被用來識別中心線。這樣的算法的例子在Tsao和Fu的文章“AParallelThinningAlgorithmor3-DPictures”(ComputerGraphicsandImageProcessing，17315-331，1981年)中進行了描述，其整體被引入作為參考。提取中心線提供一組位于血管的中軸上的體素。對用于識別血管段和分支的連通性進行測試。例如，作為血管段的一部分的體素典型地僅僅具有兩個鄰居，而分支體素通常具有更多的鄰居，如下所示xxxxxxxxxxxxxoxxxxxxxx其中o為分支體素，而x為相鄰體素。根據(jù)細化算法獲得3D骨架樹并將其作為3D圖形存儲在數(shù)據(jù)庫306中(步驟408)。這種表示的例子在圖5中示出。通過將每個血管段表示為骨架圖形中的節(jié)點來產(chǎn)生骨架圖形。關(guān)于血管段的附加信息也被存儲在數(shù)據(jù)庫306中。這樣的信息可以包括作為節(jié)點屬性的、血管段的長度和直徑。血管段之間的連通性信息在骨架圖形中被表示為邊。由于血管的固有結(jié)構(gòu)，所以骨架圖形總是為樹格式。更特別地，所述圖形通常為有限的有根樹。通過基于造影劑流(其將如下文中所述的那樣從2D圖形中獲得)并且從較大直徑血管節(jié)點到較小直徑血管節(jié)點(針對3D圖形)為邊指定方向，骨架圖形被轉(zhuǎn)換為有向無環(huán)圖。接著，在手術(shù)過程開始時使用2D熒光檢查系統(tǒng)掃描患者(步驟410)。優(yōu)選地，患者被定位在與手術(shù)前3D成像系統(tǒng)掃描患者時基本相同的位置并且掃描的角度和透視是類似的。來自2D掃描的圖像也被存儲。然后從2D圖像中分割目標特征(步驟412)。這通過從零對比度圖像中減去特征來實現(xiàn)。一旦目標特征已經(jīng)被分割，則希望獲得2D圖像的3D圖形。然而，這不是一項簡單的任務(wù)。由于2D圖像并不在圖像中提供對象深度的任何指示，因此難以辨別重疊對象是否被連接。例如，在目標特征是一系列血管的情況下，不可能在2D圖像中辨別出某些血管段是否重疊并且因此是否是分離的血流，或者重疊段是否指示所連接的血管的分叉。為了進行該辨別，在給定時間段內(nèi)研究通過血管的造影劑流(步驟414)?？梢酝ㄟ^使用與用于匹配有根有向無環(huán)圖的方法類似的方法來實現(xiàn)通過血管的造影劑流。這樣的方法在H.Sundar等人的“SkeletonBasedShapeMatchingandRetrieval”(theProceedings，ShapeModelingandApplicationConference，SMI2003)中進行了描述，其整體被引入以作參考。通過記錄來自血管的每個交叉點或分支點的造影劑流的到達時間和離開時間來產(chǎn)生血管的圖形。通過監(jiān)控該流，可以進行深度確定。根據(jù)本發(fā)明，記錄來自每個交叉點或分支點的造影劑流的到達時間和離開時間(步驟416)。圖6是如何跟蹤通過血管的造影劑流的圖示。在第一時間點上，確定造影劑的起始點。接著，以預定的時間間隔跟蹤通過血管的造影劑流。以預定的時間間隔重復該監(jiān)控，以便可以分析造影劑流，以確定血管的結(jié)構(gòu)。圖像602顯示在沒有造影劑的情況下包含血管的組織區(qū)域。圖像604顯示相同的組織區(qū)域，其中造影劑已被注射到血管中并且在預定時間段上被監(jiān)控。當造影劑流過血管的特定段時，血管被加亮以指示特定段是否被連接到相鄰段上或者所述兩個段是否重疊。盡管圖6以變化的灰度級亮度示出血管以顯示該關(guān)系，但是本領(lǐng)域技術(shù)人員應(yīng)當理解可以使用其它表示、例如不同的色彩方案。血管606-614的每個分支具有不同亮度。圖7示出相同的組織區(qū)域602和圖像704，圖像704示出在比圖像604的時間點更晚的時間點上的造影劑流。從該圖像中可以看出，血管606和608重疊并且不連接。這樣的確定有助于確定組織區(qū)域中的深度測量并且有助于使2D熒光圖像與3D圖像配準。一旦通過血管的造影劑流已被分析，就根據(jù)2D骨架樹產(chǎn)生3D圖形(步驟418)。該3D圖形示出組織區(qū)域中的血管的結(jié)構(gòu)，并且澄清在重疊的血管和偽交叉方面的不明確性。接著，通過粗對準來自2D和3D圖像的骨架樹來執(zhí)行3D圖形的圖形匹配(步驟420)。通常用于匹配有根有向無環(huán)圖的方法可以被用于實現(xiàn)該步驟。這樣的方法的一個例子在上述的H.Sundar等人的“SkeletonBasedShapeMatchingandRetrieval”中進行了描述。一旦獲得粗對準，就使用迭代最近點(ICP)算法來精化骨架樹的配準(步驟422)。單平面熒光圖像被用于執(zhí)行2D-3D配準。圖形匹配不僅提供粗對準；它也提供2D和3D骨架之間的血管一致性。當將ICP算法應(yīng)用于中心線(點的集合)時所述一致性被用作約束。這有助于在使算法非常穩(wěn)健的配準過程期間避免局部最小值。另外，在監(jiān)控造影劑流期間所獲得的2D圖像的整個序列在2D-3D配準期間被使用。該信息主要被用于避免在3D圖像的單平面投影時的不明確性。通過使用2D特征中的所有對應(yīng)點和3D特征的投影的平方差之和來優(yōu)化配準參數(shù)(步驟424)。對六個參數(shù)(即三個平移和三個旋轉(zhuǎn)參數(shù))執(zhí)行優(yōu)化。雖然已描述了用于使3D手術(shù)前圖像與2D手術(shù)中圖像配準的方法的實施例，但需要注意的是，本領(lǐng)域的技術(shù)人員可以按照以上教導進行修改和改變。例如本發(fā)明主要涉及圖像的嚴格配準，然而也可以執(zhí)行可變形的配準。在這樣的情況下，優(yōu)化步驟將包括用于控制變形的參數(shù)。一旦實現(xiàn)了2D和3D圖像之間的初步配準，就可以通過跟蹤2D圖像中的特征來保持配準。任何已知的運動跟蹤算法可以被用于該目的。也可以通過從3D圖像中或從以前的2D圖像序列中獲得形狀模型來使用形狀模型。該形狀模型可以被用于引導骨架提取并用于優(yōu)化步驟。因此應(yīng)當理解的是，可以在處于如所附的權(quán)利要求所限定的本發(fā)明的范圍和精神內(nèi)的、所公開的本發(fā)明的特定實施例中進行改變。因此，雖然已描述了具有專利法所要求的細節(jié)和特征的本發(fā)明，但在所附的權(quán)利要求中闡述了專利特許證所要求的和所期望保護的內(nèi)容。權(quán)利要求1.一種用于使目標特征的手術(shù)中二維(2D)醫(yī)學圖像的序列與所述目標特征的手術(shù)前三維(3D)醫(yī)學圖像配準的方法，該方法包括以下步驟將所述目標特征的3D圖像轉(zhuǎn)換為第一骨架圖形；將所述目標特征的2D圖像轉(zhuǎn)換為第二骨架圖形；執(zhí)行所述第一和第二骨架圖形的圖形匹配以獲得圖形的粗對準；以及使所述第一與第二骨架圖形配準。2.根據(jù)權(quán)利要求1的方法，其中所述目標特征是特定組織區(qū)域中的血管。3.根據(jù)權(quán)利要求1的方法，其中將所述目標特征的3D圖像轉(zhuǎn)換為第一骨架圖形的步驟進一步包括以下步驟從所述3D圖像中分割所述目標特征；以及從所分割的3D圖像中提取中心線。4.根據(jù)權(quán)利要求3的方法，其中使用并行細化算法來提取所述中心線。5.根據(jù)權(quán)利要求1的方法，其中將所述目標特征的2D圖像轉(zhuǎn)換為第二骨架圖形的步驟進一步包括以下步驟從所述2D圖像中分割所述目標特征；以及研究通過所述目標特征的造影劑流。6.根據(jù)權(quán)利要求5的方法，其中研究造影劑流的步驟進一步包括以下步驟記錄在所述目標特征的每個交叉點處造影劑流的到達時間和離開時間；基于所述到達時間和離開時間確定所述交叉點是連接交叉點還是重疊交叉點。7.根據(jù)權(quán)利要求1的方法，其中執(zhí)行圖形匹配的步驟進一步包括使用有根有向無環(huán)圖。8.根據(jù)權(quán)利要求1的方法，其中使所述第一與第二骨架圖形配準的步驟進一步包括以下步驟使用迭代最近點算法來精化配準。9.根據(jù)權(quán)利要求1的方法，其中通過跟蹤所述2D圖像中的所述目標特征來保持所述第一與第二骨架圖形的配準。10.根據(jù)權(quán)利要求1的方法，其中單平面熒光圖像被用于執(zhí)行所述2D與3D圖像的配準。11.根據(jù)權(quán)利要求1的方法，其中2D圖像的序列在時間上是連續(xù)的。12.根據(jù)權(quán)利要求1的方法，其中所述目標特征與人類器官相關(guān)。13.根據(jù)權(quán)利要求12的方法，其中所述器官是肝。14.一種用于使目標特征的手術(shù)中二維(2D)圖像的序列與所述目標特征的手術(shù)前三維(3D)圖像配準的系統(tǒng)，所述系統(tǒng)包括用于使目標特征成像的2D成像系統(tǒng)；用于存儲所述目標特征的3D圖像的數(shù)據(jù)庫；用于接收和處理所述2D圖像的處理器，該處理器執(zhí)行以下步驟i).將所述目標特征的3D圖像轉(zhuǎn)換為第一骨架圖形；ii).將所述目標特征的2D圖像轉(zhuǎn)換為第二骨架圖形；iii).執(zhí)行所述第一和第二骨架圖形的圖形匹配以獲得圖形的粗對準；以及iv).使所述第一與第二骨架圖形配準；以及用于顯示配準圖像的顯示器。15.根據(jù)權(quán)利要求14的系統(tǒng)，其中所述目標特征是特定組織區(qū)域中的血管。16.根據(jù)權(quán)利要求14的系統(tǒng)，其中將所述目標特征的3D圖像轉(zhuǎn)換為第一骨架圖形的步驟進一步包括以下步驟從所述3D圖像中分割所述目標特征；以及從所分割的3D圖像中提取中心線。17.根據(jù)權(quán)利要求16的系統(tǒng)，其中使用并行細化算法來提取所述中心線。18.根據(jù)權(quán)利要求14的系統(tǒng)，其中將所述目標特征的2D圖像轉(zhuǎn)換為第二骨架圖形的步驟進一步包括以下步驟從所述2D圖像中分割所述目標特征；以及研究通過所述目標特征的造影劑流。19.根據(jù)權(quán)利要求18的系統(tǒng)，其中研究造影劑流的步驟進一步包括以下步驟記錄在所述目標特征的每個交叉點處造影劑流的到達時間和離開時間；基于所述到達時間和離開時間確定所述交叉點是連接交叉點還是重疊交叉點。20.根據(jù)權(quán)利要求14的系統(tǒng)，其中執(zhí)行圖形匹配的步驟進一步包括使用有根有向無環(huán)圖。21.根據(jù)權(quán)利要求14的系統(tǒng)，其中使所述第一與第二骨架圖形配準的步驟進一步包括以下步驟使用迭代最近點算法來精化配準。22.根據(jù)權(quán)利要求14的系統(tǒng)，其中通過跟蹤所述2D圖像中的所述目標特征來保持所述第一與第二骨架圖形的配準。23.根據(jù)權(quán)利要求14的系統(tǒng)，其中單平面熒光圖像被用于執(zhí)行所述2D與3D圖像的配準。24.根據(jù)權(quán)利要求14的系統(tǒng)，其中2D圖像的序列在時間上是連續(xù)的。25.根據(jù)權(quán)利要求14的系統(tǒng)，其中所述目標特征與人類器官相關(guān)。26.根據(jù)權(quán)利要求25的系統(tǒng)，其中所述器官是肝。全文摘要本發(fā)明公開了一種用于使目標特征的手術(shù)中二維(2D)醫(yī)學圖像的序列與所述目標特征的手術(shù)前三維(3D)醫(yī)學圖像配準的系統(tǒng)和方法。目標特征的3D圖像被轉(zhuǎn)換為第一骨架圖形。目標特征的2D圖像被轉(zhuǎn)換為第二骨架圖形。執(zhí)行第一和第二骨架圖形的圖形匹配以獲得圖形的粗對準，并且使第一與第二骨架圖形配準。文檔編號G06T7/00GK1910616SQ200580002997公開日2007年2月7日申請日期2005年1月18日優(yōu)先權(quán)日2004年1月21日發(fā)明者H·森達,C·徐,F·紹爾申請人:美國西門子醫(yī)療解決公司