專利名稱：多模態(tài)體積圖像的基于模型的融合的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多模態(tài)體積醫(yī)學(xué)圖像的融合，并且更特別地，涉及術(shù)前和術(shù)中體積醫(yī) 學(xué)圖像的基于模型的融合。
背景技術(shù)：
近年來，心臟治療的主要趨勢已朝向微創(chuàng)經(jīng)導(dǎo)管過程，以減少利用傳統(tǒng)外科技術(shù) 所涉及的風(fēng)險。不是全胸骨切開術(shù)，而是器材和設(shè)備通過小切口被引入，通過脈管前進(jìn)，并 且被定位來執(zhí)行各種過程。在不需要直接接入和觀察受影響的結(jié)構(gòu)的情況下，這樣的介入 通常在所謂的混合手術(shù)室(配備有高級成像裝備的手術(shù)室)中被執(zhí)行。使用這樣的高級成 像裝備，諸如經(jīng)導(dǎo)管主動脈瓣置換術(shù)(TAV)的過程經(jīng)由通過C-臂X射線和經(jīng)食管超聲心動 圖系統(tǒng)所提供的實時術(shù)中圖像來引導(dǎo)。
照慣例，醫(yī)學(xué)圖像分析領(lǐng)域已集中在根據(jù)成熟的診斷成像模態(tài)(例如，計算機(jī)斷 層掃描(CT)和磁共振(MR))來構(gòu)造患者特定的解剖模型，以幫助疾病分析和治療計劃。例 如，在瓣膜病管理的環(huán)境中，已提出用于在CT和/或MR圖像中構(gòu)建主動脈和二尖瓣的模型 的技術(shù)。然而，這樣的技術(shù)還未被開發(fā)來應(yīng)對術(shù)中圖像的降低的質(zhì)量和對比度特征。因此， 這樣的技術(shù)的使用被限于術(shù)前決策。發(fā)明內(nèi)容
本發(fā)明提供一種用于通過根據(jù)多個成像模態(tài)來聯(lián)合地估計解剖模型而融合術(shù)前 和術(shù)中圖像信息的方法和系統(tǒng)。術(shù)前和術(shù)中圖像信息的融合允許高質(zhì)量的患者特定的模型 被集成到手術(shù)室的成像環(huán)境中，以引導(dǎo)心臟介入。本發(fā)明的實施方式通過依靠機(jī)器學(xué)習(xí)技 術(shù)來實現(xiàn)穩(wěn)健性(robustness)和效率，以驅(qū)動聯(lián)合估計過程，由此利用了多個成像模態(tài)之 間的相似性。本發(fā)明的實施方式采用在概率估計框架之內(nèi)的統(tǒng)計學(xué)解剖模型，以確保生理 適應(yīng)的結(jié)果(physiological compliant result)。
在本發(fā)明的一個實施方式中，接收使用第一成像模態(tài)來捕獲的第一圖像，以及接 收使用第二成像模態(tài)來捕獲的第二圖像。根據(jù)第一和第二圖像聯(lián)合地估計模型和目標(biāo)解剖 結(jié)構(gòu)的模型以及變換。該模型表示目標(biāo)解剖結(jié)構(gòu)在第一圖像中的模型，而變換將目標(biāo)解剖 結(jié)構(gòu)在第二圖像中的模型投影到第一圖像中的模型。第一和第二圖像能夠基于所估計的變 換進(jìn)行融合。


參照如下詳細(xì)描述和附圖，本發(fā)明的這些以及其它優(yōu)點對于本領(lǐng)域普通技術(shù)人員 將是顯而易見的。
圖1圖示了依照本發(fā)明實施方式的用于多模態(tài)圖像的基于模型的融合的方法；
圖2圖示了多模態(tài)圖像的基于模型的融合的概觀；
圖3圖示了依照本發(fā)明實施方式的用于聯(lián)合地估計第一和第二多模態(tài)圖像中的 模型和變換的方法；
圖4圖示了使用圖3的方法來估計模型和變換的基于模型的融合方法；
圖5圖示了示例性的多模態(tài)圖像融合結(jié)果；以及
圖6是能夠?qū)嵤┍景l(fā)明的計算機(jī)的高級框圖。
具體實施方式
本發(fā)明涉及多模態(tài)體積圖像的基于模型的融合。本發(fā)明的實施方式可以被用于融 合多個成像模態(tài)中的圖像信息，諸如融合計算機(jī)斷層掃描(CT)、Dyna CT、超聲心動圖數(shù)據(jù)、 突光透視圖像(fluoroscopic image)數(shù)據(jù)以及磁共振成像(MRI)中的圖像信息。在此描述 本發(fā)明的實施方式，以給出對基于模型的圖像融合方法的視覺理解。數(shù)字圖像常常包括一 個或多個對象(或形狀)的數(shù)字表示。對象的數(shù)字表示在此常常在標(biāo)識和操縱對象方面來 描述。這樣的操縱是在計算機(jī)系統(tǒng)的存儲器或其他電路/硬件中完成的虛擬操縱。因此， 應(yīng)理解的是，本發(fā)明的實施方式可以在計算機(jī)系統(tǒng)之內(nèi)使用存儲在該計算機(jī)系統(tǒng)之內(nèi)的數(shù) 據(jù)來執(zhí)行。
本發(fā)明的實施方式提供了一種用于多模態(tài)體積圖像的基于模型的融合的方法。該 方法的益處包括完整性，通過利用被多個模態(tài)補充的信息；穩(wěn)健性，通過利用來自多個模 態(tài)的冗余信息來減少估計不確定性；以及融合，通過獲得多個模態(tài)的模型敏感的集成。本發(fā) 明的實施方式可以被應(yīng)用于經(jīng)導(dǎo)管瓣膜過程的術(shù)前和術(shù)中圖像的基于模型的融合，但是本 發(fā)明并不限于此。
圖1圖示了依照本發(fā)明的實施方式的用于多模態(tài)圖像的基于模型的融合的方法。 圖1的方法在此被描述為融合術(shù)前和術(shù)中圖像信息，但是本發(fā)明并不限于此。在步驟102， 接收第一醫(yī)學(xué)圖像。該第一醫(yī)學(xué)圖像通過使用第一成像模態(tài)來捕獲。該第一醫(yī)學(xué)圖像可以 直接從圖像捕獲設(shè)備中接收到，諸如從CT掃描儀接收到。還可能通過從計算機(jī)系統(tǒng)的存儲 器或內(nèi)存中加載所存儲的醫(yī)學(xué)圖像而接收到第一醫(yī)學(xué)圖像。在有利的實施方式中，第一醫(yī) 學(xué)圖像可以是患者的術(shù)前體積(3D)圖像。例如，第一醫(yī)學(xué)圖像可以是術(shù)前CT或MR圖像。
在步驟104，接收第二醫(yī)學(xué)圖像。該第二醫(yī)學(xué)圖像通過使用第二成像模態(tài)來捕獲。 該第二醫(yī)學(xué)圖像可以直接從圖像捕獲設(shè)備中接收到，諸如從C-臂圖像捕獲設(shè)備接收到。還 可能通過從計算機(jī)系統(tǒng)的存儲器或內(nèi)存中加載所存儲的醫(yī)學(xué)圖像而接收到第二醫(yī)學(xué)圖像。 在有利的實施方式中，第二醫(yī)學(xué)圖像可以是患者的術(shù)中體積(3D)圖像。例如，第二第一醫(yī) 學(xué)圖像可以是在諸如經(jīng)導(dǎo)管主動瓣膜置換術(shù)之類的手術(shù)期間從圖像捕獲設(shè)備接收到的術(shù) 中C-臂CT圖像或經(jīng)食管超聲心動圖(TEE)圖像。
在步驟106，在第一和第二圖像中聯(lián)合地估計目標(biāo)解剖結(jié)構(gòu)的解剖模型。第一和 第二圖像中的聯(lián)合地估計的解剖模型可被表達(dá)為模型和變換。模型對應(yīng)于該目標(biāo)解剖結(jié)構(gòu) 在第一圖像中的經(jīng)過估計的解剖模型，而變換將第二圖像中的經(jīng)過估計的解剖模型投影到 第一圖像中的經(jīng)過估計的解剖模型。在將術(shù)前3D圖像和術(shù)中3D圖像融合的情況下，該步 驟聯(lián)合地估計目標(biāo)結(jié)構(gòu)的術(shù)前和術(shù)中模型，以便提供術(shù)前和術(shù)中圖像信息的模型敏感的集成。
圖2圖示了多模態(tài)圖像的基于模型的融合的概觀。圖2的實例聯(lián)合地估計了術(shù)前和術(shù)中圖像數(shù)據(jù)中的主動脈瓣模型。如圖2中所示，以統(tǒng)計學(xué)主動脈瓣模型202開始，目的是根據(jù)體積數(shù)據(jù)集I1和I2估計3D解剖學(xué)的患者特定模型M和變換Φ，其中I1是術(shù)前圖像 204以及I2是術(shù)中圖像206，所述變換Φ將術(shù)中模型M2映射到術(shù)前模型Mp在圖2中，聯(lián)合地估計的患者特定模型M在所融合的圖像208中被示出。最優(yōu)的聯(lián)合地估計的患者特定模型和變換可以被表達(dá)為
權(quán)利要求
1.一種用于多模態(tài)圖像的融合的方法，其包括接收使用第一成像模態(tài)來捕獲的第一圖像；接收使用第二成像模態(tài)來捕獲的第二圖像；以及根據(jù)第一和第二圖像聯(lián)合地估計模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計變換。
2.權(quán)利要求1的方法，其中，目標(biāo)解剖結(jié)構(gòu)的模型包括目標(biāo)解剖結(jié)構(gòu)在第一圖像中的第一模型，以及變換包括將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的第二模型投影到目標(biāo)解剖結(jié)構(gòu)的第一模型的變換。
3.權(quán)利要求2的方法，其中，變換包括仿射變換和非線性卷繞變換。
4.權(quán)利要求1的方法,進(jìn)一步包括通過使用變換而根據(jù)第一和第二圖像生成被融合的圖像。
5.權(quán)利要求1的方法，其中，根據(jù)第一和第二圖像聯(lián)合地估計模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計變換的步驟包括在第一和第二圖像中的每個圖像中獨立地檢測界標(biāo)；使用第一和第二圖像中所檢測到的界標(biāo)來估計最初的變換；基于在第一圖像中檢測到的界標(biāo)初始化第一圖像中的模型；使用最初的變換初始化第二圖像中的所投影的模型；以及至少基于針對模型和所投影的模型的相對應(yīng)的點所檢測到的聯(lián)合概率更新模型和變換。
6.權(quán)利要求5的方法，其中，至少基于針對模型和所投影的模型的相對應(yīng)的點所檢測到的聯(lián)合概率更新模型和變換的步驟包括基于針對模型和所投影的模型上的每個點所計算的相應(yīng)單模態(tài)概率和針對模型和所投影的模型上的相對應(yīng)的點所計算的聯(lián)合概率，更新模型和所投影的模型的點；以及基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型，正則化模型和變換。
7.權(quán)利要求6的方法，其中，基于針對模型和所投影的模型上的每個點所計算的相應(yīng)單模態(tài)概率和針對模型和所投影的模型上的相對應(yīng)的點所計算的聯(lián)合概率來更新模型和所投影的模型的點的步驟包括對于模型的每個點，沿著垂直于模型上點的線在第一圖像中采集多個候選，以及沿著垂直于所投影的模型上的相對應(yīng)的點的線在第二圖像中采集多個候選；使用相應(yīng)的經(jīng)過訓(xùn)練的檢測器，計算針對第一圖像中的多個候選中的每個和第二圖像中的多個候選中的每個的單模態(tài)概率；使用經(jīng)過訓(xùn)練的推進(jìn)分類器來計算針對第一和第二圖像中的每個可能的候選對的聯(lián)合概率；以及通過乘以第一圖像中的候選的單模態(tài)概率、第二圖像中的候選的單模態(tài)概率以及候選對的聯(lián)合概率，計算針對第一和第二圖像中的每個可能候選對的總概率；以及選擇第一和第二圖像中具有最高總概率的候選對。
8.權(quán)利要求6的方法，其中，變換包括仿射變換和非線性卷繞變換，以及基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型而正則化模型和變換的步驟包括基于所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型，計算模型和變換的后驗概率；通過將模型投影到所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型的主成分分析(PCA)形狀空間來更新模型，以改進(jìn)后驗概率；基于第一圖像中的更新過的模型和第二圖像中的所投影的模型，更新仿射變換和非線性卷繞變換。
9.權(quán)利要求6的方法，其中，至少基于針對模型和所投影的模型的相對應(yīng)的點所檢測到的聯(lián)合概率來更新模型和變換的步驟進(jìn)一步包括重復(fù)更新模型和所投影的模型的點以及正則化模型和變換的步驟，直到模型和變換收斂。
10.權(quán)利要求1的方法，其中，第一圖像是術(shù)前圖像，而第二圖像是術(shù)中圖像。
11.權(quán)利要求10的方法，其中，術(shù)前圖像是計算機(jī)斷層掃描(CT)圖像，以及術(shù)中圖像是 C-臂CT圖像和經(jīng)食管超聲心動圖(TEE)圖像中的一個。
12.權(quán)利要求1的方法，其中，目標(biāo)解剖結(jié)構(gòu)是主動脈瓣。
13.一種用于多模態(tài)圖像的融合的設(shè)備，其包括用于接收使用第一成像模態(tài)來捕獲的第一圖像的裝置；用于接收使用第二成像模態(tài)來捕獲的第二圖像的裝置；以及用于根據(jù)第一和第二圖像聯(lián)合地估計模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計變換的裝置。
14.權(quán)利要求13的設(shè)備，其中，目標(biāo)解剖結(jié)構(gòu)的模型包括目標(biāo)解剖結(jié)構(gòu)在第一圖像中的第一模型，以及變換包括將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的第二模型投影到目標(biāo)解剖結(jié)構(gòu)的第一模型的變換。
15.權(quán)利要求14的設(shè)備，其中，變換包括仿射變換和非線性卷繞變換。
16.權(quán)利要求13的設(shè)備，進(jìn)一步包括用于通過使用變換而根據(jù)第一和第二圖像生成被融合的圖像的裝置。
17.權(quán)利要求13的設(shè)備，其中，用于根據(jù)第一和第二圖像聯(lián)合地估計模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計變換的裝置包括用于在第一和第二圖像中的每個圖像中獨立地檢測界標(biāo)的裝置；用于使用在第一和第二圖像中檢測到的界標(biāo)來估計最初的變換的裝置；用于基于在第一圖像中檢測到的界標(biāo)來初始化第一圖像中的模型的裝置；用于使用最初的變換初始化第二圖像中的所投射的模型的裝置；以及用于至少基于針對模型和所投影的模型的相對應(yīng)的點檢測到的聯(lián)合概率來更新模型和變換的裝置。
18.權(quán)利要求17的設(shè)備，其中，用于至少基于針對模型和所投影的模型的相對應(yīng)的點檢測到的聯(lián)合概率來更新模型和變換的裝置包括用于基于針對模型和所投影的模型上的每個點所計算的相應(yīng)單模態(tài)概率和針對模型和所投影的模型上的相對應(yīng)的點所計算的聯(lián)合概率來更新模型和所投影的模型的點的裝置；以及用于基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型來正則化模型和變換的裝置。
19.權(quán)利要求18的設(shè)備，其中，用于基于針對模型和所投影的模型上的每個點所計算的相應(yīng)單模態(tài)概率和針對模型和所投影的模型上的相對應(yīng)的點所計算的聯(lián)合概率來更新模型和所投影的模型的點的裝置包括針對模型的每個點，用于沿著垂直于模型上的點的線在第一圖像中采集多個候選以及沿著垂直于所投影的模型上的相對應(yīng)的點的線在第二圖像中采集多個候選的裝置；用于使用相應(yīng)的經(jīng)過訓(xùn)練的檢測器來計算針對第一圖像中的多個候選中的每個和第二圖像中的多個候選中的每個的單模態(tài)概率的裝置；用于使用經(jīng)過訓(xùn)練的推進(jìn)分類器來計算針對第一和第二圖像中的每個可能候選對的聯(lián)合概率的裝置；以及用于通過乘以第一圖像中的候選的單模態(tài)概率、第二圖像中的候選的單模態(tài)概率以及候選對的聯(lián)合概率來計算第一和第二圖像中的每個可能候選對的總概率的裝置；以及用于選擇第一和第二圖像中具有最高總概率的候選對的裝置。
20.權(quán)利要求18的設(shè)備，其中，變換包括仿射變換和非線性卷繞變換，以及用于基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型來正則化模型和變換的裝置包括用于基于所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型來計算模型和變換的后驗概率的裝置；用于通過將模型投影到所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型的主成分分析(PCA)形狀空間來更新模型以改進(jìn)后驗概率的裝置；基于第一圖像中的更新過的模型和第二圖像中的所投影的模型，更新仿射變換和非線性卷繞變換。
21.一種非瞬時性計算機(jī)可讀介質(zhì)，其利用用于多模態(tài)圖像的融合的計算機(jī)可執(zhí)行指令來編碼，所述計算機(jī)可執(zhí)行指令限定了包括如下步驟的方法接收使用第一成像模態(tài)來捕獲的第一圖像；接收使用第二成像模態(tài)來捕獲的第二圖像；以及根據(jù)第一和第二圖像聯(lián)合地估計模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計變換。
22.權(quán)利要求21的非瞬時性計算機(jī)可讀介質(zhì)，其中，目標(biāo)解剖結(jié)構(gòu)的模型包括目標(biāo)解剖結(jié)構(gòu)在第一圖像中的第一模型，以及變換包括將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的第二模型投影到目標(biāo)解剖結(jié)構(gòu)的第一模型的變換。
23.權(quán)利要求22的非瞬時性計算機(jī)可讀介質(zhì)，其中，變換包括仿射變換和非線性卷繞變換。
24.權(quán)利要求21的非瞬時性計算機(jī)可讀介質(zhì)，其中，所述方法進(jìn)一步包括通過使用變換而根據(jù)第一和第二圖像來生成被融合的圖像。
25.權(quán)利要求21的非瞬時性計算機(jī)可讀介質(zhì)，其中，根據(jù)第一和第二圖像來聯(lián)合地估計模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計變換的步驟包括在第一和第二圖像中的每個圖像中獨立地檢測界標(biāo)；使用在第一和第二圖像中檢測到的界標(biāo)來估計最初的變換；基于在第一圖像中檢測到的界標(biāo)來初始化第一圖像中的模型；使用最初的變換來初始化第二圖像中的所投影的模型；以及至少基于針對模型和所投影的模型的相對應(yīng)的點所檢測到的聯(lián)合概率來更新模型和變換。
26.權(quán)利要求25的非瞬時性計算機(jī)可讀介質(zhì)，其中，至少基于針對模型和所投影的模型的相對應(yīng)的點檢測到的聯(lián)合概率來更新模型和變換的步驟包括基于針對模型和所投影的模型上的每個點所計算的相應(yīng)單模態(tài)概率和針對模型和所投影的模型上的相對應(yīng)的點所計算的聯(lián)合概率，更新模型和所投影的模型的點；以及基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型，正則化模型和變換。
27.權(quán)利要求26的非瞬時性計算機(jī)可讀介質(zhì)，其中，基于針對模型和所投影的模型上的每個點所計算的相應(yīng)單模態(tài)概率和針對模型和所投影的模型上的相對應(yīng)的點所計算的聯(lián)合概率來更新模型和所投影的模型的點的步驟包括針對模型的每個點，沿著垂直于模型上的點的線在第一圖像中采集多個候選，以及沿著垂直于所投影的模型上的相對應(yīng)的點的線在第二圖像中采集多個候選；使用相應(yīng)的經(jīng)過訓(xùn)練的檢測器，計算針對第一圖像中的多個候選的每個和第二圖像中的多個候選的每個的單模態(tài)概率；使用經(jīng)過訓(xùn)練的推進(jìn)分類器來計算第一和第二圖像中的每個可能候選對的聯(lián)合概率;以及通過乘以第一圖像中的候選的單模態(tài)概率、第二圖像中的候選的單模態(tài)概率以及候選對的聯(lián)合概率，計算針對第一和第二圖像中的每個可能候選對的總概率；以及選擇第一和第二圖像中具有最高總概率的候選對。
28.權(quán)利要求26的非瞬時性計算機(jī)可讀介質(zhì)，其中，變換包括仿射變換和非線性卷繞變換，并且基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型來正則化模型和變換的步驟包括基于所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型，計算模型和變換的后驗概率；通過將模型投影到所學(xué)習(xí)到的統(tǒng)計學(xué)形狀模型的主成分分析(PCA)形狀空間來更新模型，以改進(jìn)后驗概率；基于第一圖像中的更新過的模型和第二圖像中的所投影的模型，更新仿射變換和非線性卷繞變換。
29.權(quán)利要求26的非瞬時性計算機(jī)可讀介質(zhì)，其中，至少基于針對模型和所投影的模型的相對應(yīng)的點所檢測到的聯(lián)合概率來更新模型和變換的步驟進(jìn)一步包括重復(fù)更新模型和所投影的模型的點以及正則化模型和變換的步驟，直到模型和變換收斂。
30.權(quán)利要求21的非瞬時性計算機(jī)可讀介質(zhì)，其中，第一圖像是術(shù)前圖像，而第二圖像是術(shù)中圖像。
31.權(quán)利要求30的非瞬時性計算機(jī)可讀介質(zhì)，其中，術(shù)前圖像是計算機(jī)斷層掃描(CT) 圖像，以及術(shù)中圖像是C-臂CT圖像和經(jīng)食管超聲心動圖(TEE)圖像中的一個。
32.權(quán)利要求21的方法，其中，目標(biāo)解剖結(jié)構(gòu)是主動脈瓣。
全文摘要
本發(fā)明涉及多模態(tài)體積圖像的基于模型的融合的方法和系統(tǒng)。公開了一種用于多模態(tài)體積圖像的融合的方法和系統(tǒng)。接收使用第一成像模態(tài)來捕獲的第一圖像。接收使用第二成像模態(tài)來捕獲的第二圖像。根據(jù)第一和第二圖像聯(lián)合地估計模型和目標(biāo)解剖結(jié)構(gòu)的模型以及變換。該模型表示目標(biāo)解剖結(jié)構(gòu)在第一圖像中的模型，并且變換將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的模型投影到第一圖像中的模型。第一和第二圖像能夠基于經(jīng)過估計的變換來融合。
文檔編號G06K9/62GK102999938SQ201210120120
公開日2013年3月27日 申請日期2012年3月9日 優(yōu)先權(quán)日2011年3月9日
發(fā)明者S·格爾比克, R·I·約納塞克, 王洋, B·喬治斯庫, T·曼西, D·科馬尼丘, 鄭冶楓, 周少華, M·約翰, J·貝澤 申請人:西門子公司