專利名稱：二維圖像序列三維重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種用于圖像處理技術(shù)領(lǐng)域的圖像重建的方法，特別是一種二維圖像序列三維重建方法。
背景技術(shù)：
二維圖像序列是指表示物體不同位置截面信息的一系列二維圖像，它們的大小、分辨率和顏色信息都相同，而且圖像所表現(xiàn)的位置在空間上是相鄰的，所以二維圖像序列具備物體的部分三維特征，如核磁共振設(shè)備采集的人體器官斷層掃描圖像序列。二維圖像序列的三維重建是根據(jù)輸入的斷層圖像序列，經(jīng)分割和提取后，構(gòu)建出待建組織的三維數(shù)據(jù)。這可以展現(xiàn)物體的三維結(jié)構(gòu)和形態(tài)，從而提供很多用傳統(tǒng)手段無法獲得的信息。
三維重建的算法已經(jīng)有很多種，典型的有以下四種等值面繪制法、直接體繪制法、最大強(qiáng)度投影法和非真實(shí)感繪制法。這些方法適用于不同特征的二維圖像序列，綜合起來使用會得到很好的三維顯示效果。經(jīng)文獻(xiàn)檢索發(fā)現(xiàn)，H.Hauser，L.Mroz，G.I.Bischi，M.E.Groller在IEEE Transactions onVisualization And Computer Graphics(《IEEE可視化及計算機(jī)圖形學(xué)》)7(3)242-252，July-September 2001上發(fā)表的“Two-Level Volume Rendering”(《兩層體繪制算法》)一文提出了一種兩層體繪制算法，該算法綜合利用了上述的四種三維重建方法，利用各種算法的特點(diǎn)，在物體中不同的對象上進(jìn)行實(shí)現(xiàn)，最大程度上顯示了三維物體。但是該算法存在著下列缺點(diǎn)(1)不同的物體有不同的數(shù)據(jù)特征，從而可以對應(yīng)使用不同的三維重建方法，但該文并沒有給出如何根據(jù)不同的對象來選擇不同的方法，這一點(diǎn)在三維繪制中很重要；(2)該文使用的是單一繪制通道，這在繪制三維物體時的計算量很大，不適宜在普通的個人計算機(jī)上使用；(3)該算法繪制出來的三維物體是一個統(tǒng)一的整體，無法直觀的觀察物體的內(nèi)部結(jié)構(gòu)。

發(fā)明內(nèi)容
本發(fā)明針對背景技術(shù)的不足之處，提出一種二維圖像序列三維重建方法，利用已分割出對象的二維圖像序列，針對各對象的數(shù)據(jù)特征，采用不同的三維重建算法，使其能夠充分利用各算法的優(yōu)點(diǎn)，并使用多個繪制模型優(yōu)化繪制效率，從而自二維圖像序列中很好的重建出三維物體，并實(shí)現(xiàn)對三維物體的切割，顯示其內(nèi)部的信息。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明步驟如下步驟一對二維圖像序列進(jìn)行分割，分割出圖像序列中感興趣的對象，將分割后的圖像序列構(gòu)造成一個三維體數(shù)據(jù)，并按對象的特征進(jìn)行分類，構(gòu)造對象表；步驟二根據(jù)步驟一處理好的圖像序列，建立三維顯示的全局繪制模型和局部繪制模型，其中全局繪制模型用于圖像序列的整體三維重建，局部繪制模型用于圖像數(shù)據(jù)中具體對象的三維重建；步驟三按步驟二建立的全局和局部繪制模型對二維圖像序列進(jìn)行三維重建，對步驟一建立的三維體數(shù)據(jù)，應(yīng)用全局繪制模型，然后根據(jù)步驟一建立的對象表，對體數(shù)據(jù)中的各個對象應(yīng)用局部繪制模型；步驟四采用光照、渲染、透視、色彩和不透明度增減這些計算機(jī)繪制手段將三維物體繪制出來并顯示在計算機(jī)屏幕上；步驟五在步驟四中繪制出的三維物體中放置兩個切割平面，自由平移和旋轉(zhuǎn)切割平面，實(shí)現(xiàn)對三維物體進(jìn)行任意方向的切割，以觀察物體的內(nèi)部信息。
以下對本發(fā)明作進(jìn)一步的說明，具體內(nèi)容如下所述的步驟一，具體為(1) 采用基于灰度的FuzzyConnectness(模糊連通性)圖像分割算法分割二維圖像序列，獲得圖像內(nèi)的各個對象。
(2) 將分割后的二維圖像序列構(gòu)造成一個三維體數(shù)據(jù)，即三維空間中的一個長方體，上下兩層切片中，每八個相鄰像素點(diǎn)構(gòu)成的一個空間立方體(體素)是空間體數(shù)據(jù)的最小單位。
(3) 構(gòu)造對象表，每一表項代表二維圖像序列的一個切片，各表項包括該切片內(nèi)的所有對象，各對象則包含屬于該對象的所有體素的位置、灰度值、不透明度和顏色對照表，各體素?fù)碛型粚ο驣D。分析各對象的特征，標(biāo)記適用的三維重建算法。如對象有明顯的邊界，則用等值面繪制法；如對象的內(nèi)部信息比較重要，則用直接體繪制法；如對象為血管，則用最大強(qiáng)度投影法；如需表現(xiàn)對象在圖像中未顯示的隱藏信息，則用非真實(shí)感繪制法。
所述的步驟二，具體為(1) 對二維圖像序列建立全局繪制模型，采用光線投射法的思想，即按照視線的方向投射一條光線穿過體數(shù)據(jù)，在光線上按照一定的步長取采樣點(diǎn)，將各采樣點(diǎn)按射線的方向進(jìn)行疊加，即繪制出三維物體；(2) (1)中所取的采樣點(diǎn)不會都位于同一對象之中，根據(jù)對象的特征，建立不同的繪制模型。按對象表中所標(biāo)記的算法，建立各算法的繪制模型。
所述的步驟三，具體為(1) 將全局繪制模型應(yīng)用到三維體數(shù)據(jù)之中，計算各投射光線上的采樣點(diǎn)，由采樣點(diǎn)所處體素的對象ID來區(qū)分對象，將對象作為全局繪制模型中的基本單位；(2) 按照對象表，根據(jù)對象表中各對象所適用的算法，將各局部繪制模型分別應(yīng)用于各對象。
(3) 將全局模型中的各條光線進(jìn)行疊加，計算每條光線疊加后的色彩和不透明度，繪制出最后的三維物體。
本發(fā)明方法主要具有以下特點(diǎn)和作用(1)綜合了全局特征和局部特征來繪制三維數(shù)據(jù)，優(yōu)化了效率；(2)強(qiáng)調(diào)了數(shù)據(jù)特征，針對不同數(shù)據(jù)特征的對象和采用與之相適應(yīng)的各重建算法，完善了繪制效果，增強(qiáng)了數(shù)據(jù)信息。本發(fā)明適用于需要仔細(xì)了解圖像中各物體特征的場合，所采用的圖像中應(yīng)該有復(fù)雜的數(shù)據(jù)特征，只有通過仔細(xì)的分析才能提取出其中的感興趣區(qū)域。
具體實(shí)施例方式
結(jié)合本發(fā)明方法的具體內(nèi)容提供以下實(shí)施例核磁共振設(shè)備采集的人體器官二維圖像序列是滿足具有多種復(fù)雜特征的二維斷層掃描圖像序列。在實(shí)際應(yīng)用中，醫(yī)生通過觀察該序列中每張圖像所表現(xiàn)出來的特征來判斷人體各組織器官的位置，重點(diǎn)確定病變組織的位置，從而制定出射線治療和手術(shù)的方案。本發(fā)明可以應(yīng)用在這種場合。
本實(shí)例所使用的二維圖像序列為某某醫(yī)院利用馬可尼醫(yī)療設(shè)備公司1.5T核磁共振影像設(shè)備(Eclipse 1.5T，Marconi Medical Systems，Inc，)采集的17歲男孩的腿部(含骨肉瘤)的二維圖像序列。
運(yùn)行本發(fā)明方法的設(shè)備為普通個人計算機(jī)，其具體配置為P42.0G，256M內(nèi)存，80G硬盤。軟件平臺為Windows 2000以及一個自設(shè)計的數(shù)字影像處理系統(tǒng)。
具體實(shí)施情況如下步驟一，分割出二維圖像序列中的感興趣區(qū)域并構(gòu)造對象表(1) 對步驟一得到的圖像數(shù)據(jù)，采用基于灰度的FuzzyConnectness圖像分割算法，分割出感興趣組織，如肌肉、血管、骨頭以及骨肉瘤組織，其中腫瘤組織包括腫瘤實(shí)質(zhì)、壞死和腫瘤骨；(2) 將分割后的二維圖像序列建成為一個三維空間立方體，每個像素則成為空間中的一個點(diǎn)，每相鄰兩層間的八個相鄰點(diǎn)就構(gòu)成一個空間立方體，即體素，它是空間數(shù)據(jù)中的最小單位；(3) 對分割出的對象構(gòu)造對象表，將每一切片上的所有對象作為一個表項，對象則按鏈表的方式連接起來，鏈表項包括對象中所有體素的位置信息、灰度值、不透明度和顏色對照表。分析各個對象的特征，并標(biāo)記相適應(yīng)的三維重建算法。對于有明顯邊界特征的對象，即對象邊界像素的灰度值與外相鄰像素的灰度值差異很大，則標(biāo)記為使用等值面繪制算法，實(shí)例中采用移動立方體法；對于需要表現(xiàn)內(nèi)部信息的對象，則標(biāo)記為使用直接體繪制算法，實(shí)例中采用光線投射法；對于灰度值較大的對象，如血管，采用最大強(qiáng)度投影法；對于需要表現(xiàn)圖像沒有表達(dá)出來的隱藏信息的對象，采用非真實(shí)感繪制法。
步驟二，建立全局繪制模型和局部繪制模型(1) 從視線的方向引出光線穿過由二維圖像序列構(gòu)成的三維空間長方體，按一定的步長在光線上采樣取點(diǎn)，并按三線性插值算法計算這些采樣點(diǎn)的灰度值；(2) 對(1)中所取的各采樣點(diǎn)，根據(jù)對象表，統(tǒng)計各采樣點(diǎn)所處的對象在對象表中標(biāo)記的算法種類，并建立各算法的繪制模型。對于移動立方體法，在對象中建立等值面，并用三角形擬合等值面；對于光線投射法，則按光線的方向疊加各采樣點(diǎn)的色彩和不透明度；對于最大強(qiáng)度投影法，也是按光照模型，只是取光線上最大的灰度的像素點(diǎn)；對于非真實(shí)感繪制法，設(shè)置色彩和不透明度的轉(zhuǎn)換方程，增強(qiáng)圖像的特征信息。
步驟三，對于步驟一中建立的三維數(shù)據(jù)，應(yīng)用全局繪制模型和局部繪制模型(1) 在全局繪制模型中輸入步驟一中建立的三維體數(shù)據(jù)，開始計算各投射線所經(jīng)過的采樣點(diǎn)，以采樣點(diǎn)所處體素在對象表中的對象ID來區(qū)分所處的對象，將對象看作基本單位；(2) 對于各個對象所對應(yīng)的局部繪制模型，將對象數(shù)據(jù)輸入，各自計算繪制過程；(3) 在全局模型上，對整條光線上的像素進(jìn)行疊加，合成像素的色彩和不透明度，合成公式是Cacc＝(1-Oacc)CnewOnew+CaccOacc＝(1-Oacc)Onew+Oacc①其中，Cnew和Onew表示沿著疊加順序最新遇到的體素的色彩與非透明度，等號左邊的Cacc和Oacc是疊加后的色彩和不透明度，等號右邊的Cacc和Oacc是上次疊加后的色彩和不透明度。
步驟四，利用計算機(jī)繪制手段，在計算機(jī)屏幕上顯示三維物體利用OpenGL(一種到圖形硬件的軟件接口)，對繪制結(jié)果進(jìn)行光照、渲染、上色、添加不透明度以及轉(zhuǎn)換視角等計算機(jī)繪制操作，在計算機(jī)屏幕上顯示最終的三維圖像。
步驟五，對步驟四得到的三維物體進(jìn)行任意切割(1)在三維物體中放置兩個切割平面，初始位置為物體的中心，相互垂直放置；(2)分別平移或旋轉(zhuǎn)兩個平面，計算兩平面的相交區(qū)域，把三維體數(shù)據(jù)模型中在該區(qū)域中的相應(yīng)部分去除，得到切割后的三維圖像，可以顯示三維物體的內(nèi)部信息。
本發(fā)明方法取得了較好的實(shí)施效果最終結(jié)果圖像顯示出了骨肉瘤組織、肌肉、血管、骨頭以及皮膚，病變組織在腿部的位置很清楚。并且可以對三維圖像進(jìn)行任意方向和角度的切割，通過切割，內(nèi)部組織的信息也得到了直觀的顯示。
權(quán)利要求
1.一種二維圖像序列三維重建方法，其特征在于，步驟如下步驟一對二維圖像序列進(jìn)行分割，分割出圖像序列中感興趣的對象，將分割后的圖像序列構(gòu)造成一個三維體數(shù)據(jù)，并按對象的特征進(jìn)行分類，構(gòu)造對象表；步驟二根據(jù)步驟一處理好的圖像序列，建立三維顯示的全局繪制模型和局部繪制模型，其中全局繪制模型用于圖像序列的整體三維重建，局部繪制模型用于圖像數(shù)據(jù)中具體對象的三維重建；步驟三按步驟二建立的全局和局部繪制模型對二維圖像序列進(jìn)行三維重建，對步驟一建立的三維體數(shù)據(jù)，應(yīng)用全局繪制模型，然后根據(jù)步驟一建立的對象表，對體數(shù)據(jù)中的各個對象應(yīng)用局部繪制模型；步驟四采用光照、渲染、透視、色彩和不透明度計算機(jī)繪制手段將三維物體繪制出來并顯示在計算機(jī)屏幕上；步驟五在步驟四中繪制出的三維物體中放置兩個切割平面，自由平移和旋轉(zhuǎn)切割平面，實(shí)現(xiàn)對三維物體進(jìn)行任意方向的切割，以觀察物體的內(nèi)部信息。
2.根據(jù)權(quán)利要求1所述的二維圖像序列三維重建方法，其特征是，所述的步驟一，具體為(1)采用基于灰度的FuzzyConnectness圖像分割算法分割二維圖像序列，獲得圖像內(nèi)的各個對象；(2)將分割后的二維圖像序列構(gòu)造成一個三維體數(shù)據(jù)，即三維空間中的一個長方體，上下兩層切片中，每八個相鄰像素點(diǎn)構(gòu)成的一個空間立方體是空間體數(shù)據(jù)的最小單位；(3)構(gòu)造對象表，每一表項代表二維圖像序列的一個切片，各表項包括該切片內(nèi)的所有對象，各對象則包含屬于該對象的所有體素的位置、灰度值、不透明度和顏色對照表，各體素?fù)碛型粚ο驣D，分析各對象的特征，標(biāo)記適用的三維重建算法，如對象有明顯的邊界，則用等值面繪制法；如對象的內(nèi)部信息比較重要，則用直接體繪制法；如對象為血管，則用最大強(qiáng)度投影法；如需表現(xiàn)對象在圖像中未顯示的隱藏信息，則用非真實(shí)感繪制法。
3.根據(jù)權(quán)利要求1所述的二維圖像序列三維重建方法，其特征是，所述的步驟二，具體為(1)對二維圖像序列建立全局繪制模型，按照視線的方向投射一條光線穿過體數(shù)據(jù)，在光線上按照一定的步長取采樣點(diǎn)，將各采樣點(diǎn)按射線的方向進(jìn)行疊加，即繪制出三維物體；(2)所取的采樣點(diǎn)不會都位于同一對象之中，根據(jù)對象的特征，建立不同的繪制模型，按對象表中所標(biāo)記的算法，建立各算法的繪制模型。
4.根據(jù)權(quán)利要求1所述的二維圖像序列三維重建方法，其特征是，所述的步驟三，具體為(1)將全局繪制模型應(yīng)用到三維體數(shù)據(jù)之中，計算各投射光線上的采樣點(diǎn)，由采樣點(diǎn)所處體素的對象ID來區(qū)分對象，將對象作為全局繪制模型中的基本單位；(2)按照對象表，根據(jù)對象表中各對象所適用的算法，將各局部繪制模型分別應(yīng)用于各對象；(3)將全局模型中的各條光線進(jìn)行疊加，計算每條光線疊加后的色彩和不透明度，繪制出最后的三維物體。
全文摘要
一種二維圖像序列三維重建方法，用于圖像處理技術(shù)領(lǐng)域。步驟如下對二維圖像序列進(jìn)行分割，分割出圖像序列中感興趣的對象，將分割后的圖像序列構(gòu)造成一個三維體數(shù)據(jù)，并按對象的特征進(jìn)行分類，構(gòu)造對象表；根據(jù)處理好的圖像序列，建立三維顯示的全局繪制模型和局部繪制模型；按全局和局部繪制模型對二維圖像序列進(jìn)行三維重建，對建立的三維體數(shù)據(jù)應(yīng)用全局繪制模型，然后根據(jù)對象表中的各個對象應(yīng)用局部繪制模型；采用計算機(jī)繪制手段將三維物體繪制出來并顯示在計算機(jī)屏幕上；在三維物體中放置兩個切割平面，自由平移和旋轉(zhuǎn)切割平面，實(shí)現(xiàn)對三維物體進(jìn)行任意方向的切割。本發(fā)明能充分利用各算法的優(yōu)點(diǎn)，自二維圖像序列中很好的重建出三維物體。
文檔編號G06T11/00GK1588452SQ200410053489
公開日2005年3月2日 申請日期2004年8月5日 優(yōu)先權(quán)日2004年8月5日
發(fā)明者李明祿, 梅炯, 孫皓, 趙永強(qiáng) 申請人:上海交通大學(xué)