專利名稱：生物圖像的呈現(xiàn)裝置、呈現(xiàn)方法、程序和呈現(xiàn)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種生物圖像呈現(xiàn)裝置(presentation device)、生物圖像呈現(xiàn)方法、 程序以及生物圖像呈現(xiàn)系統(tǒng)。本發(fā)明適用于圖像處理領(lǐng)域。
背景技術(shù)：
通過將從離體組織切片的組織切片固定在載玻片上并在必要時對組織切片進行 染色來產(chǎn)生病理標本，并將其保存。通常，如果病理標本保存很長時間，則顯微鏡的可見度 由于組織切片的劣化或退色而劣化。病理標本用于在制作病理標本的諸如醫(yī)院的機構(gòu)以外 的機構(gòu)進行診斷，并且病理標本通常通過郵寄遞送。因此，遞送病理標本會花費一定的時 間。考慮到這樣的情況，提出了一種這樣的計算機系統(tǒng)將病理標本中組織 切片的放大圖像儲存為圖像數(shù)據(jù)，并將該放大的圖像呈現(xiàn)在顯示屏上(例如，參見 JP-T-2006-292999)。

發(fā)明內(nèi)容
針對從離體組織的表層至深層的多個位置的組織切片來制作病理標本，然而，需 要進行復雜的作，以通過使用顯示畫面從與有關(guān)層不同的層的組織切片中尋找任何一層 的組織切片的特定細胞。為此，需要對從表層至深層的各個層析成像層(斷層成像層， tomographic layer)的組織切片圖像進行三維觀。然而，當三維地觀從表層至深層的各個層析成像層的組織切片圖像時，各個層析 成像層的組織切片沒有進行處理，例如切片、染色、固定等，所以組織切片是不相同的。為此，當從任意層析成像層的組織切片圖像來顯示不同層析成像層的組織切片圖 像時，即使兩種圖像是相同的，有關(guān)組織切片圖像也可能被觀為完全不同的圖像。從而，期望提供一種能夠改善可見度的生物圖像呈現(xiàn)裝置、生物圖像呈現(xiàn)方法、程 序以及生物圖像呈現(xiàn)系統(tǒng)。本發(fā)明的實施方式提供了一種生物圖像呈現(xiàn)裝置。該裝置包括獲取單元，在作為 生物部位(biological region)的基準的軸上的多個位置處獲取垂直于軸的截面的圖像； 確定單元，從由獲取單元獲取的多個圖像中，確定作為基準的圖像和用于與作為基準的圖 像比較的圖像；提取單元，從作為基準的圖像中提取出呈現(xiàn)等于或大于規(guī)定值的亮度值變 化的位置；檢測單元，從用于比較的圖像中檢測出與由提取單元提取的位置相對應的位置； 分割單元，基于由提取單元提取的位置來分割作為基準的圖像；映射單元(mapping unit), 將用于比較的圖像映射至對應于作為基準的圖像的各個分割區(qū)域的區(qū)域，同時進行修改(modifying，變形)使得與分割區(qū)域的形狀一致；以及顯示控制單元，通過使用作為基準的 圖像和由映射單元映射的圖像，切換并顯示用于在顯示區(qū)域中顯示的圖像。本發(fā)明的另一實施方式提供了一種生物圖像呈現(xiàn)方法。該方法包括以下步驟在 作為生物部位的基準的軸上的多個位置處獲取垂直于軸的截面的圖像；從在獲取圖像的步 驟中獲取的多個圖像中，確定作為基準的圖像和用于與作為基準的圖像比較的圖像；從作 為基準的圖像中提取出呈現(xiàn)等于或大于規(guī)定值的亮度值變化的位置；從用于比較的圖像中 檢測與在提取位置的步驟中提取的位置相對應的位置；基于在提取位置的步驟中所提取的 位置來分割作為基準的圖像；將用于比較的圖像映射至與作為基準的圖像的各個分割區(qū) 域相對應的區(qū)域，同時進行修改使得與分割區(qū)域的形狀一致；以及通過使用作為基準的圖 像和在映射用于比較的圖像的步驟中映射的圖像，切換并顯示用于在顯示區(qū)域中顯示的圖 像。本發(fā)明的又一實施方式提供了一種程序。該程序使計算機執(zhí)行以下步驟在作為 生物部位的基準的軸上的多個位置處獲取垂直于軸的截面的圖像；從多個獲取的圖像中， 確定作為基準的圖像和用于與作為基準的圖像比較的圖像；從作為基準的圖像中提取呈現(xiàn) 等于或大于規(guī)定值的亮度值變化的位置；從用于比較的圖像中檢測與提取的位置相對應的 位置；基于所提取的位置來分割作為基準的圖像；將用于比較的圖像映射至與作為基準的 圖像的每個分割區(qū)域相對應的區(qū)域，同時進行修改使得與分割區(qū)域的形狀一致；以及通過 使用作為基準的圖像和映射的圖像，切換并顯示用于在顯示區(qū)域中顯示的圖像。本發(fā)明的又一實施方式提供了一種生物圖像呈現(xiàn)系統(tǒng)。該系統(tǒng)包括顯微鏡和數(shù)據(jù) 處理器。數(shù)據(jù)處理器包括獲取單元，其從顯微鏡獲取在從生物部位切除的組織的深度方向 上的多個位置切片的組織切片的放大圖像；確定單元，從通過獲取單元獲取的多個圖像中， 確定作為基準的圖像和用于與作為基準的圖像比較的圖像；提取單元，從作為基準的圖像 中提取出呈現(xiàn)等于或大于規(guī)定值的亮度值變化的位置；檢測單元，從用于比較的圖像中檢 測與由提取單元提取的位置相對應的位置；分割單元，基于由提取單元提取的位置來分割 作為基準的圖像；映射單元，將用于比較的圖像映射至與作為基準的圖像的各個分割區(qū)域 相對應的區(qū)域，同時進行修改使得與分割區(qū)域的形狀一致；以及顯示控制單元，通過使用作 為基準的圖像和由映射單元映射的圖像而切換并顯示用于在顯示區(qū)域中顯示的圖像。根據(jù)本發(fā)明的實施方式，將比較圖像映射至基于特征點的各個區(qū)域，同時與基準 圖像的區(qū)域形狀一致。為此，即使生物體各個截面的圖像(層析圖像)彼此對應但形狀不 同，差異也可以被修正同時可以維持內(nèi)部器官自身的形狀。因此，當切換用于在顯示區(qū)域中 顯示的圖像時，可以避免切換前和切換后的圖像被觀察為完全不同的圖像，即使圖像是相 同的。結(jié)果，可以實現(xiàn)能夠改善可見度的生物圖像呈現(xiàn)裝置、生物圖像呈現(xiàn)方法、程序以及 生物圖像呈現(xiàn)系統(tǒng)。


圖1是示意性地示出了生物圖像呈現(xiàn)裝置的構(gòu)成的示圖。圖2是示出了在深度方向上固定有各組織切片的載玻片組的示意圖。圖3是示出了數(shù)據(jù)處理器的構(gòu)成的框圖。圖4是示出了執(zhí)行獲取處理的CPU的功能構(gòu)成的框圖。
5
圖5是示出了組織切片的每個區(qū)域的圖像獲取的示意圖。圖6是示出了執(zhí)行圖像處理的CPU的功能構(gòu)成的框圖。圖7是示出了特征點的提取結(jié)果的照片。圖8是示出了對應點的搜索的照片。 圖9是示出了三角剖分(triangulation)的照片。圖10是示出了三角形片(triangular patch)的映射的照片。
具體實施例方式在下文中，將描述本發(fā)明的實施方式。將按照以下順序來提供描述。<1.實施方式〉[1-1.生物圖像呈現(xiàn)裝置的構(gòu)成][1-2.數(shù)據(jù)處理器的構(gòu)成][1_3·組織切片圖像的獲取處理][1-4.組織切片圖像的圖像處理][1-5.組織切片圖像的顯示處理][1-6.效果等]<2.其它實施方式><1.實施方式〉[1-1.生物圖像呈現(xiàn)裝置的構(gòu)成]圖1示出了生物圖像呈現(xiàn)系統(tǒng)1。生物圖像呈現(xiàn)系統(tǒng)1包括顯微鏡10和數(shù)據(jù)處理 器20。顯微鏡10具有其上設置有載玻片SG的表面(在下文中，還稱作載片安裝面 (slide setting surface))，并且包括相對于載片安裝面可以平行或垂直(xyz軸方向)移 動的鏡臺(stage)(在下文中，也稱作活動鏡臺)11?；顒隅R臺11設置有將容納在載玻片容器(未示出)中的多個載玻片SG逐個地設 定在載片安裝面的安裝位置的機構(gòu)(在下文中，也稱作載片安裝機構(gòu))12。在該實施方式中，通過預定的固定方法將組織切片固定在載玻片SG上。如圖2所 示，將在深度(深部分)方向上從生物體的離體組織切割的所有或部分組織切片固定在各 自的載玻片上，并且例如，從其上固定有表層側(cè)(淺切割位置)組織切片的載玻片開始，按 順序?qū)⑤d玻片容納在載玻片容器中。組織切片在必要時進行染色。染色包括由HE(蘇木精_伊紅)染色、吉姆薩染色 或帕帕尼科拉烏染色表示的一般染色，以及諸如FISH(熒光原位雜交)或酶抗體技術(shù)的熒 光染色。光學系統(tǒng)13布置在活動鏡臺11的一個表面上，并且照明燈14布置在活動鏡臺11 的另一個表面上。照明燈14的光從在載片安裝面上的安裝位置處形成的開口，作為對于布 置在活動鏡臺11的一個表面上的生物標本SPL照明光而到達。顯 10通過光學系統(tǒng)13的第一物 13A和第二物 13B，以預定的放大率來 放大通過照明光獲得的組織切片的一部分的圖像，并且在成像單元15的成像面上形成圖像。
顯 10還具有相對于熒光染色照射發(fā)光的發(fā)光源16。當從發(fā)光源16照 射發(fā)光時，顯 10使發(fā)光被設置在第一物13A與第二物13B之間的二向色13C 反射并且指向第一物13A。顯 10通過第一物13A將發(fā)光聚集在布置在活動臺 11上的載玻片SG上。
當固定在載玻片SG上的生物標本SPL經(jīng)歷熒光染色時，熒光料由于發(fā)光而發(fā) 射光。由光發(fā)射產(chǎn)生的光(在下文中，也稱作著色光)通過第一物 13A傳到二向色 13C。著色光通過設置在二向色13C與第二物13B之間的吸收過濾板13D而到達第二物 13B。顯 10通過第一物13A來放大著色光的圖像，并且通過吸收過濾板13D來吸收 除了著色光之外的光(在下文中，也稱作外光)。然后，顯 10通過第二物 13B來放大 沒有外光的著色光的圖像，并在成像單元15的成像面上形成圖像。數(shù)據(jù)處理20被構(gòu)造成將在深度(深部分)方向上的多個位置處的離體組織的組 織切片(圖2)的放大圖像(在下文中，也稱作放大的切片圖像)存成預定格式的數(shù)據(jù)。因此，與保存載玻片SG本身相比，生物圖像呈現(xiàn)系統(tǒng)1可以長期保存組織切片，而 不存在固定狀態(tài)或著色狀態(tài)劣化。數(shù)據(jù)處理20被配置為用于構(gòu)造放大的切片圖像的三維組合圖像(在下文中，也 稱作三維組織圖像)，并且呈現(xiàn)三維組織圖像或放大的切片圖像。因此，生物圖像呈現(xiàn)系統(tǒng)1可以呈現(xiàn)在不同的時間點離體組織的狀態(tài)，并且結(jié)果， 可以精確地確定病理變化的侵入深度(侵入的程度)等。[1-2.數(shù)據(jù)處理器的構(gòu)成]圖3示出了數(shù)據(jù)處理器20的構(gòu)成。數(shù)據(jù)處理器20具有各種硬件連接至CPU(中 央處理單元)21的構(gòu)成，其執(zhí)行生物圖像顯示系統(tǒng)1的全面控制。具體地，R0M(只讀存儲器)22、作為CPU 21的工作存儲器的RAM(隨機存取存儲 器)23、緩沖存儲器24、用于根據(jù)用戶的操作輸入命令的操作輸入單元25、接口 26、顯示單 元27和存儲單元28通過總線29連接至CPU 21。ROM 22存儲用于執(zhí)行各種處理的程序?；顒隅R臺11、載片安裝機構(gòu)12、照明燈14、 成像單元15和激發(fā)光源16通過預定的通信路徑連接至接口 26。對于顯示單元27，使用液晶顯示器、EL (電致發(fā)光)顯示器或等離子體顯示器。對 于存儲單元28，使用由HD (硬盤)、半導體存儲器或光盤表示的磁盤?？梢允褂帽銛y式存儲 器，例如USB (通用串行總線)存儲器或CF (緊湊式閃速)存儲器。CPU 21從存儲在ROM 22中的多個程序中，將與來自操作輸入單元25的命令相對 應的程序加載到RAM 23上，并且根據(jù)加載的程序適當?shù)乜刂凭彌_存儲器24、顯示單元27和 存儲單元28。CPU 21還被構(gòu)造成根據(jù)加載的程序通過接口 26適當?shù)乜刂苹顒隅R臺11、載片安 裝機構(gòu)12、照明燈14、成像單元15和激發(fā)光源16。[1-3.組織切片圖像的獲取處理]當從操作輸入單元25接收放大的切片圖像的獲取命令時，根據(jù)與獲取命令相對 應的程序，如圖4所示，CPU 21起載片安裝控制單元41、放大切片圖像獲取單元42和數(shù)據(jù) 存儲單元43的作用。
載片安裝控制單元41控制載片安裝機構(gòu)12以將容納在載玻片容器中的多個載玻 片SG逐個地設置在載片安裝面的安裝位置。每當通過載片安裝控制單元41來設置載玻片SG時，放大切片圖像獲取單元42就 獲取固定在安裝的載玻片SG上的組織切片的放大切片圖像。具體地，作為第一步驟，放大切片圖像獲取單元42調(diào)整光學系統(tǒng)13的焦點位置以 及成像單元15的靈敏度。關(guān)于焦點位置的調(diào)整，例如，使用一種這樣的方法，其中基于由從成像單元15輸 出的拍攝數(shù)據(jù)表示的像素值來控制活動鏡臺11，使得光學系統(tǒng)13和成像單元15的成像面 在光軸方向上的相對位置改變。關(guān)于成像單元15的靈敏度的調(diào)整，例如，使用了這樣的一種方法，其中改變照明 燈14或激發(fā)光源16的激發(fā)光的全部或部分照射量(光強度)、在成像單元15中的光時間 和孔徑光闌的孔徑比。作為第二步驟，例如，如圖5所示，放大切片圖像獲取單元42沿著載片安裝面移動 活動鏡臺11，使得將通過物鏡13A和13B放大的組織切片ETS (放大的切片圖像)分配給成 像范圍AR。在圖5中，分配給成像范圍AR的組織切片ETS的區(qū)域并不與其它區(qū)域重疊，但 是相鄰區(qū)域的一部分可能會與組織切片ETS的區(qū)域重疊。作為第三步驟，放大切片圖像獲取單元42通過使用分配給成像范圍AR的區(qū)域的 獲取數(shù)據(jù)來連接該區(qū)域，使得生成放大的切片圖像。作為第四步驟，放大切片圖像獲取單元42產(chǎn)生放大的切片圖像，作為針對每一水 平的不同分辨率的圖像，并且根據(jù)預定的塊(在下文中，也稱作片(tile))來分割每一水平 的放大的切片圖像。以這種方式，放大切片圖像獲取單元42被構(gòu)造成產(chǎn)生固定在載玻片SG上的組織 切片的放大的切片圖像，以對應應該在顯示區(qū)域中顯示的每一水平的分辨率。當產(chǎn)生與每一水平的分辨率相對應的放大的切片圖像時，數(shù)據(jù)存儲單元43產(chǎn)生 與定義水平的分辨率相對應的放大切片圖像的縮小圖像(在下文中，也稱作縮略切片圖 像)以及關(guān)于放大的切片圖像的識別信息。數(shù)據(jù)存儲單元43被構(gòu)造成將與每一水平的分辨率相對應的放大的切片圖像和縮 略的切片圖像作為與識別信息有關(guān)的預定數(shù)據(jù)格式記錄在存儲單元28中。識別信息是包括例如載片號碼、采集組織切片的人(患者)的名稱、分配號碼、性 別和年齡、采集日期等的信息。載片號碼是例如根據(jù)組織切片采集的人，從其上固定有離體 組織的淺切割面的組織切片(早期切割的組織切片)的的載玻片開始按順序給出的。作為獲取識別信息的方法，例如，使用了這樣的一種方法，其中識別信息從附著至 安裝在安裝位置的載玻片SG的條形碼獲取，或在預定的定時從操作輸入單元25輸入識別 信息。獲取識別信息的方法并不限于該示例。以這種方式，當放大的切片圖像的獲取命令給定時，CPU 21被構(gòu)造成將深度(深 部分)方向上多個切片面處的組織切片(圖2)的放大圖像存儲為數(shù)據(jù)。[1-4.組織切片圖像的圖像處理]當上述獲取處理結(jié)束時，根據(jù)關(guān)于圖像處理 程序，如圖6所示，CPU 21起三維圖 像生成單元51和不同分辨率圖像生成單元52的作用。
三維圖像生成單元51從每個組織切片采集的人的各自切片面上的放大切片圖像 產(chǎn)生三維圖像，并且其被功能上分成圖像確定單元61、模板匹配單元62、特征點提取單元 63、對應點檢測單元64、分割單元65以及組織(texture)映射單元66。圖像確定單元61從多個放大的切片圖像中確定作為標準的放大切片圖像(在下 文中，也稱作標準層析圖像)以及用于與標準層析圖像比較的放大切片圖像(在下文中，也 稱作參考層析圖像)。在該實施方式中，各自的放大切片圖像按照從切割位置較淺的放大切片圖像開始 的順序被確定為標準層析圖像，并且相對于標準層析圖像的切割位置被定位在表層側(cè)或深 層側(cè)的放大切片圖像被確定為參考層析圖像。模板匹配單元62相對于基準層析成像層來定位參考層析成像層。對于定位方法， 例如，使用了一種這樣的方法，其中參考層析圖像平行移動或旋轉(zhuǎn)，使得與標準層析圖像處 的像素級的相關(guān)性最小化。特征點提取單元63通過使用被稱為Harris角點(Harris corner)的提取算法來 提取亮度值的變化突出的位置(呈現(xiàn)等于或小于規(guī)定值的亮度值變化的位置)作為來自標 準層析圖像的特征點。圖7示出了從放大的切片圖像提取的以黑點表示的特征點的照片。根據(jù)圖7顯而 易見的是，該提取算法的優(yōu)點在于，沒有特征點提取自呈現(xiàn)梯度(gradation)的部分。該提 取算法的優(yōu)點還在于，對于待提取圖片的旋轉(zhuǎn)，它是穩(wěn)定的。對應點檢測單元64從參考層析圖像檢測出標準層析圖像中對應于特征點的點 (在下文中，稱作對應點)。具體地，作為第一步驟，對應點檢測單元64將標準層析圖像中的每個特征點順序 地確定為關(guān)注對象的點(在下文中，稱作關(guān)注點)。作為第二步驟，如圖8所示，對應點檢測單元64識別出確定的關(guān)注點AP周圍的預 定尺寸的塊(在下文中，稱作關(guān)注塊)ABL。對應點檢測單元64基于對應于關(guān)注點AP的參考層析圖像的位置，例如，通過歸一 化相關(guān)法從尺寸大于關(guān)注塊ABL的搜索范圍AR中搜索出與關(guān)注塊ABL具有最高相似度的 塊。作為第三步驟，當塊DBL相對于關(guān)注塊ABL的最高相似度(相關(guān)值)等于或大于 設定值時，對應點檢測單元64檢測出相關(guān)塊DBL的中心作為關(guān)注點AP的對應點XP。同時，當關(guān)注塊ABL和塊DBL的最高相似度(相關(guān)值)小于該設定值時，對應點檢 測單元64被構(gòu)造成確定，沒有關(guān)注點AP的對應點XP并且刪除關(guān)注點AP。因此，即使當因為在切割、染色和固定過程中組織切片損壞、膨脹/縮小或產(chǎn)生氣 泡，通過特征點提取單元63提取沒有作為組織形態(tài)的特征的部分作為特征點時，相關(guān)點也 可以通過對應點檢測單元64刪除。如上所述，三維圖像生成單元51被構(gòu)造成精確地提取真正具有作為組織形態(tài)的 特征的部分作為特征點。當檢測出參考層析圖像中的對應點時，分割單元65通過使用稱作Delaimay三角 剖分法的分割算法將標準層析圖像分割成具有特征點作為頂點的三角形區(qū)域(在下文中， 也稱作三角形片)。
9
圖9示出了分割標準層析圖像的以黑線表示的分割邊界的照片。根據(jù)圖9顯而易 見的是，作為特征點的數(shù)量，存在復雜的組織形態(tài)，并且更精細地分割了相關(guān)形態(tài)。組織映射單元66基于參考層析圖像中的對應點來識別對應于標準層析圖像的每 個三角形片的區(qū)域。如果組織切片損壞、膨脹/縮小或者產(chǎn)生氣泡，則由于對應點和標準層 析圖像的特征點的絕對位置不同，各個區(qū)域不與對應三角形片的形狀一致。如圖10所示，組織映射單元66將參考層析圖像的每個像素映射到三維物體的對 應位置，同時修改每個區(qū)域以與對應三角形片的形狀一致。因此，即使各自層析圖像中的區(qū)域彼此對應但形狀不同，在維持內(nèi)部器官自身的 形狀的同時差異也可以被修正。另外，離體組織在深層方向上的切割位置之間的間隙根據(jù) 試切割或技能而不同，并且差異反映在各自層析圖像的區(qū)域的形狀中，即使它們彼此對應， 但是在維持內(nèi)部器官自身形狀的同時這種差異也可以被修正。由于存在復雜的組織形態(tài)，因此修正單元(三角形片)變得更好，使得不管組織形 態(tài)的復雜性如何，均能確地維持層析成像層之間的內(nèi)部官的形狀。以這種方式，三維圖像生成單元51被構(gòu)造成針對每個組織切片采集的人映射在 各個切片面上的放大切片圖像，并且將映射的放大切片圖像(在下文中，也稱作三維切片 圖像)作為與識別信息有關(guān)的預定格式的數(shù)據(jù)存在存單元28中。為了比較，映射的放大切片圖像包括其切割位置最淺的放大切片圖像(標準層析 圖像)。當從放大的切片圖像中產(chǎn)生三維切片圖像時，不同分率圖像生成單元52產(chǎn)生 三維切片圖像，作為每一水平的不同分率的圖像，并且按照片來分割每一水平的三維切 片圖像。不同分率圖像生成單元52被構(gòu)造成將對應于每一水平分率的三維圖像作為與 識別信息相關(guān)的預定格式的數(shù)據(jù)存在存單元28中。[1-5.組織切片圖像的呈現(xiàn)處理]當從作入單元25給出組織圖像的呈現(xiàn)命令時，CPU 21根據(jù)對應于呈現(xiàn)命令 的程序，在顯示單元27上顯示畫面(在下文中，也稱作略圖像)，所述畫面示出了根據(jù)組 織切片采集的人存的略切片圖像。當選擇應該作為放大的切片圖像顯示的略切片圖像時，CPU21根據(jù)作入單 元25的作來顯示略切片圖像和能移動略切片圖像的指示。在這種情況下，CPU 21從對應于與用于選擇的縮略切片圖像有關(guān)的各自水平的分 辨率的放大切片圖像中選擇對應于初始分辨率的放大的切片圖像。CPU 21從所選的放大切 片圖像中讀取對應于顯示區(qū)域的部分(在下文中，也稱作用于顯示的圖像)中的片，并顯示 該片。當從操作輸入單元25指定用于顯示的位置時(當指示器的位置改變時)，CPU 21 基于指定的位置來讀取用于顯示的圖像并顯示該片。當指定用于顯示的分辨率時，CPU 21基于指定時指示器的位置，從對應于指定分 辨率的放大切片圖像中讀取用于顯示的圖像中的片并顯示該片。以這種方式，CPU 21被構(gòu)造成根據(jù)來自操作輸入單元25的指示，切換用于在顯示 區(qū)域中顯示的放大切片圖像的表面方向中的位置或分辨率。
10
通過切換縮略畫面或者在高于縮略畫面的顯示層的層中，將用于選擇的縮略切片 圖像、指示器以及用于顯示的圖像作為同一顯示層顯示。同時，當選擇作為三維組織圖像的用于顯示的縮略切片圖像時，CPU 21根據(jù)操作 輸入單元25的操作來顯示三維物體和能夠移動三維物體的指示器。在這種情況下，CPU 21從對應于與用于選擇的縮略切片圖像有關(guān)的各個水平的分 辨率的三維切片圖像中選擇對應于初始分辨率和初始層析成像面的三維切片圖像。CPU 21 從存儲單元28中讀取對應于來自所選的三維切片圖像的顯示區(qū)域的部分(在下文中，也稱 作用于顯示的圖像)中的片并將該片顯示在顯示區(qū)域中。當從操作輸入單元25指定用于顯示的位置時(當指示器的位置改變時)，CPU 21 基于指定的位置，從存儲單元28中讀取來自對應于指定位置的層析成像面的三維切片圖 像的用于顯示的圖像中的片。然后，CPU 21將從存儲單元28讀取的片顯示在顯示區(qū)域中。當指定用于顯示的分辨率時，CPU 21基于在指定時間指示器的位置，在對應于指 定分辨率的三維切片圖像之中，從在指定時間對應于層析成像面的三維切片圖像讀取用于 顯示的圖像中的片并且顯示該片。如上所示，CPU 21被構(gòu)造成根據(jù)來自操作輸入單元25的指示，切換用于在顯示區(qū) 域中顯示的三維切片圖像的深度方向或表面方向上的位置或者分辨率。通過切換縮略畫面或者在高于縮略畫面的顯示層的層中，將三維物體、指示器以 及用于顯示的圖像作為同一顯示層顯示。在該實施方式中，當用于在顯示區(qū)域中顯示的圖像被顯示在顯示區(qū)域中時，CPU 21根據(jù)當前用于顯示的圖像預測下一幅用于顯示的圖像(在下文中，也稱作顯示預測圖 像)。CPU 21從存儲單元28讀取顯示預測圖像中的片，并將該片存儲在緩沖存儲器24中。然后，CPU 21從緩沖存儲器24讀取下一幅用于在顯示區(qū)域中顯示的圖像中的與 顯示預測圖像相同的部分的片，從存儲單元28中讀取與顯示預測圖像不同的部分的片，并 且將該片顯示在顯示區(qū)域中。因此，CPU 21被構(gòu)造成平穩(wěn)地顯示深度方向或?qū)游龀上衩娣较蛏嫌糜陲@示的相鄰 圖像。[1-6 效果等]利用上述的構(gòu)造，當獲得在離體組織深度方向上多個位置處切割的組織切片的放 大切片圖像時，生物圖像呈現(xiàn)系統(tǒng)1映射放大的切片圖像，同時按照三角形片修改放大的 切片圖像(參見圖10)。然后，生物圖像呈現(xiàn)系統(tǒng)1根據(jù)來自操作輸入單元25的指示，切換用于在顯示區(qū) 域中顯示的三維圖像深度方向上的位置。因此，即使當各個層析圖像中的區(qū)域彼此對應但形狀或相對于離體組織在深度方 向上的切割位置之間的間隙不同時，生物圖像顯示系統(tǒng)1也可以修正差異同時維持內(nèi)部器 官自身的形狀。這種差異是由于在制作病理標本的過程中許多人為步驟(例如切割、染色、固定 等)而造成的。因此，放大的切片圖像被映射，同時按照三角形片被修改，這對于病理標本 是尤其有用的。在熒光標記與組織的特定基因結(jié)合(FISH 熒光原位雜交)的病理標本的情況下，
11即使當熒光標記在深層方向上重疊時，生物圖像呈現(xiàn)系統(tǒng)1也可以精確地檢測出基因數(shù)量 的增加/減少。[2 其他實施方式]在上述實施方式中，獲得了在生物體的離體組織的深度方向上多個位置切割的組 織切片的放大圖像。然而，待獲取的層析圖像并不限于此。例如，在身體軸線上的多個位置，例如頭部、胸部或腹部，都可以獲得垂直于身體 軸線的截面的CT (計算斷層照相法)圖像、MRI (磁共振成像)圖像、PET (正電子發(fā)射X射 線層析照相術(shù))圖像或超聲圖像。重要的是，在生物部位中作為基準的軸上的多個位置處， 獲得了垂直于軸的截面的圖像(層析圖像)。關(guān)于層析圖像的獲取，使用放大切片圖像獲取單元42，其實時地從顯微鏡10獲取 層析圖像。然而，層析圖像的獲取單元并不限于此。例如，可以使用這樣的獲取單元，其在作為基準的軸上的多個位置處以不同的放 大率獲取垂直于軸的截面的圖像(層析圖像)。利用該獲取單元，可以將離體組織的狀態(tài)呈 現(xiàn)在視圖的更多點上，所以有用的是，其可以精確地確定病理變化的侵入深度(侵入的程
度)等o此外，可以使用這樣的獲取單元，其從數(shù)據(jù)存儲介質(zhì)中獲取圖像，其中存儲表示作 為基準的軸上的多個位置處垂直于軸的截面的圖像(層析圖像)的數(shù)據(jù)。這種獲取單元是 特別有用的，例如當獲取層析圖像的位置遠離診斷位置時。此外，可以使用這樣的獲取單 元，其中從相應的裝置(顯微鏡、CT裝置、PET裝置或超聲裝置)和數(shù)據(jù)存儲介質(zhì)中選擇性 地獲取層析圖像，諸如放大的切片圖像、CT圖像、PET圖像或超聲圖像。作為數(shù)據(jù)存儲介質(zhì)，例如，可以使用封裝介質(zhì)(如軟盤、CD-ROM(只讀型緊湊光盤) 或DVD (數(shù)字通用光盤))、或數(shù)據(jù)臨時或永久存儲的半導體存儲器或磁盤。關(guān)于從數(shù)據(jù)存儲 介質(zhì)獲取數(shù)據(jù)的方法，可以使用有線或無線通信媒體，例如局域網(wǎng)或因特網(wǎng)、或數(shù)字衛(wèi)星廣 播。在上述實施方式中，將各個放大的切片圖像按照從切割位置較淺的放大切片圖像 開始的順序確定為標準層析圖像。然而，最淺切割面的組織切片的放大切片圖像等可以被 固定作為標準層析圖像。在這種情況下，剩下的放大切片圖像可以被確定為參考層析圖像。標準層析圖像并不限于單一層。例如，最淺切割面的組織切片的放大切片圖像和 最深切割面的組織切片的放大切片圖像可以被用作標準層析圖像。在這種情況下，可以作 出應該指定標準層析圖像的通知，并且由操作輸入單元25選擇的放大切片圖像可以被確 定為標準層析圖像。當各個放大的切片圖像按照從切割位置較淺(或較深)的放大切片圖像開始的順 序被確定為標準層析圖像時，參考層析圖像是相對于標準層析圖像的切割位置位于鄰近表 層側(cè)或深層側(cè)的放大切片圖像。在這種情況下，可以設定多個參考層析圖像。當發(fā)生這種 情況時，可以獲得更合適的特征點。確定標準層析圖像和參考層析圖像的方法并不限于示例，并且可以以多種方式進 行修改。在上述實施方式中，在給出組織切片圖像的呈現(xiàn)命令之前，進行三維圖像生成單 元51和不同分辨率圖像生成單元52中的處理。然而，進行處理的時間并不限于該實施方式。例如，可以在從存儲單元28讀取用于在顯示區(qū)域中顯示的圖像時進行處理。三維圖像 生成單元51和不同分辨率圖像生成單元52中的部分處理可以在給出組織切片圖像的呈現(xiàn) 命令之前執(zhí)行，并且剩下的處理可以在給出呈現(xiàn)命令之后執(zhí)行。在上述實施方式中，根據(jù)操作輸入單元25的指示(指示器的位置)來切換用于在 顯示區(qū)域中顯示的圖像。然而，切換方法并不限于該實施方式。例如，可以使用這樣的切換方法，其中從最外層或最深層以預定順序，諸如光柵掃 描順序來切換用于在顯示區(qū)域顯示的圖像。利用該切換方法，如果在從操作輸入單元25接 收到停止命令時用于顯示的圖像的切換停止，則與上述實施方式相比，相對于觀察者的操 作可以被簡化。在上述實施方式中，當從放大切片圖像中提取特征點時，使用稱作Harris角點 的提取算法。然而，提取算法并不限于此。例如，可以使用諸如Moravec、向量跟蹤器、 SUSAN((Smallest Univalue Segment Assymilating Nucleus)) ^ SIFT(變尺度特征檢測(Scale Invariant Feature Transformation))的提取算法。當然， 可以使用其它提取算法?？梢允褂萌魏嗡惴ǎ灰梢蕴崛×炼戎档淖兓怀龅奈恢?呈 現(xiàn)等于或大于規(guī)定值的變化的位置)即可。在上述實施方式中，當分割放大切片圖像時，使用稱作Delaimay三角剖分的分割 算法。然而，分割算法并不限于此。例如，可以使用諸如Voronoi的分割算法。當然，可以 使用其它分割算法?？梢允褂萌魏嗡惴ǎ灰谔卣鼽c能將圖像分割成多個區(qū)域即可。雖然在上述實施方式中，單個緩沖存儲器24連接至總線29，但也可以連接多個緩 沖存儲器24。當發(fā)生這種情況時，不管用于顯示的圖像數(shù)據(jù)的量或顯示移動速度如何，用于 顯示的圖像都可以平穩(wěn)地移動。在上述實施方式中，三維圖像通過總線29存儲在數(shù)據(jù)處理器20的存儲單元28 中。存儲單元28可以不設置在數(shù)據(jù)處理器20中，而設置在數(shù)據(jù)處理器20的外部。相對于 存儲單元28的數(shù)據(jù)的通信媒介并不限于總線29，并且例如，可以使用有線或無線通信媒介 (例如局域網(wǎng)或因特網(wǎng)、或數(shù)字衛(wèi)星廣播)。本發(fā)明可以用于基于生物技術(shù)的工業(yè)，例如生物實驗、醫(yī)學的開發(fā)和患者的隨訪。本領(lǐng)域的普通技術(shù)人員應當理解，根據(jù)設計要求和其它因素，可以進行各種變形、 組合、子組合以及改變，只要它們在所附權(quán)利要求書的范圍內(nèi)或其等同范圍內(nèi)。
1權(quán)利要求
一種生物圖像呈現(xiàn)裝置，包括獲取單元，在作為生物部位的基準的軸上的多個位置處獲取垂直于所述軸的截面的圖像；確定單元，從由所述獲取單元獲取的多個圖像中確定作為基準的圖像和用于與所述作為基準的圖像比較的圖像；提取單元，從所述作為基準的圖像中提取出現(xiàn)等于或大于規(guī)定值的亮度值變化的位置；檢測單元，從所述用于比較的圖像中檢測與由所述提取單元提取的位置相對應的位置；分割單元，基于由所述提取單元提取的位置，分割所述作為基準的圖像；映射單元，將所述用于比較的圖像映射到與所述作為基準的圖像的各個分割區(qū)域相對應的區(qū)域，同時進行修改使得與所述分割區(qū)域的形狀一致；以及顯示控制單元，通過使用所述作為基準的圖像和由所述映射單元映射的圖像，切換并顯示用于在顯示區(qū)域中顯示的圖像。
2.根據(jù)權(quán)利要求1所述的裝置，其中，所述獲取單元獲取在從所述生物部位切除的組織中的深度方向上的多個位置處 切片的組織切片的放大圖像。
3.根據(jù)權(quán)利要求2所述的裝置，其中，對于每個由所述提取單元提取的位置，所述檢測單元搜索相對于以相關(guān)位置為 基準的搜索塊具有最大相似度的塊，當所述相似度等于或大于設定值時，檢測所述塊的預 定位置作為所述對應位置，并且當所述相似度小于所述設定值時，刪除所述位置。
4.根據(jù)權(quán)利要求2所述的裝置，還包括顯示單元分割單元，將所述作為基準的圖像和由所述映射單元映射的圖像分割為顯示 單元塊，其中，當所述用于在顯示區(qū)域中顯示的圖像被顯示時，所述顯示控制單元根據(jù)當前圖 像來預測用于顯示的下一幅圖像，將預測圖像的所述顯示單元塊存儲在緩沖存儲器中，從 所述緩沖存儲器中讀取下一幅用于在顯示區(qū)域中顯示的圖像中的、與所述預測圖像相同的 部分的顯示單元塊，并且從存儲單元中讀取與所述預測圖像不同的部分的顯示單元塊。
5.根據(jù)權(quán)利要求4所述的裝置，其中，所述顯示單元分割單元產(chǎn)生所述作為基準的圖像和由所述映射單元映射的圖 像，作為與多個水平的分辨率相對應的圖像，并且將對應于各個水平的分辨率的圖像分割 成所述顯示單元塊。
6.一種生物圖像呈現(xiàn)方法，包括以下步驟在作為生物部位的基準的軸上的多個位置處獲取垂直于所述軸的截面的圖像； 從在獲取圖像的步驟中獲取的多個圖像中確定作為基準的圖像和用于與所述作為基 準的圖像比較的圖像；從所述作為基準的圖像中提取出現(xiàn)等于或大于規(guī)定值的亮度值變化的位置； 從所述用于比較的圖像中檢測與在提取位置的步驟中提取的位置相對應的位置； 基于在提取位置的步驟中所提取的位置來分割所述作為基準的圖像；將所述用于比較的圖像映射到與所述作為基準的圖像的各個分割區(qū)域相對應的區(qū)域， 同時進行修改使得與所述分割區(qū)域的形狀一致；以及通過使用所述作為基準的圖像和在映射所述用于比較的圖像的步驟中映射的圖像，切 換并顯示用于在顯示區(qū)域中顯示的圖像。
7.一種程序，該程序使計算機執(zhí)行以下步驟在作為生物部位的基準的軸上的多個位置處獲取垂直于所述軸的截面的圖像； 從多個獲取的圖像中確定作為基準的圖像和用于與所述作為基準的圖像比較的圖像；從所述用作基準的圖像中提取出現(xiàn)等于或大于規(guī)定值的亮度值變化的位置； 從所述用于比較的圖像中檢測與提取的位置相對應的位置； 基于所述提取的位置來分割所述作為基準的圖像；將所述用于比較的圖像映射到與所述作為基準的圖像的各個分割區(qū)域相對應的區(qū)域， 同時進行修改使得與所述分割區(qū)域的形狀一致；通過使用所述作為基準的圖像和映射的圖像，切換并顯示用于在顯示區(qū)域中顯示的圖像。
8.一種生物圖像呈現(xiàn)系統(tǒng)，包括 顯微鏡；以及數(shù)據(jù)處理器，其中，所述數(shù)據(jù)處理器包括獲取單元，從所述顯微鏡獲取在從生物部位切除的組織的深度方向上的多個位置處切 片的組織切片的放大圖像，確定單元，從由所述獲取單元獲取的多個圖像中確定作為基準的圖像和用于與所述作 為基準的圖像比較的圖像；提取單元，從所述作為基準的圖像中提取出現(xiàn)等于或大于規(guī)定值的亮度值變化的位置；檢測單元，從所述用于比較的圖像中檢測與由所述提取單元提取的位置相對應的位置；分割單元，基于由所述提取單元提取的位置來分割所述作為基準的圖像； 映射單元，將所述用于比較的圖像映射到與所述作為基準的圖像的各個分割區(qū)域相對 應的區(qū)域，同時進行修改使得與所述分割區(qū)域的形狀一致；以及顯示控制單元，通過使用所述作為基準的圖像和由所述映射單元映射的圖像，切換并 顯示用于在顯示區(qū)域中顯示的圖像。
全文摘要
本發(fā)明涉及生物圖像的呈現(xiàn)裝置、呈現(xiàn)方法、程序及呈現(xiàn)系統(tǒng)。生物圖像呈現(xiàn)裝置包括獲取單元，在作為生物部位的基準的軸上的不同位置處獲取垂直于軸的截面的圖像；確定單元，從獲取的多個圖像中確定基準圖像和與基準圖像比較的圖像；提取單元，從基準圖像中提取呈現(xiàn)等于或大于規(guī)定值的亮度值變化的位置；檢測單元，從用于比較的圖像中檢測與由提取單元提取的位置相對應的位置；分割單元，基于由提取單元提取的位置來分割基準圖像；映射單元，將用于比較的圖像映射到與基準圖像的每個分割區(qū)域相對應的區(qū)域，同時進行修改以與分割區(qū)域的形狀一致；顯示控制單元，通過使用基準圖像和由映射單元映射的圖像，切換并顯示用于在顯示區(qū)域中顯示的圖像。
文檔編號G02B21/36GK101858835SQ20101014051
公開日2010年10月13日 申請日期2010年3月25日 優(yōu)先權(quán)日2009年4月1日
發(fā)明者吉岡重篤, 福士岳步 申請人:索尼公司