專利名稱：醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法，尤其涉及 可以檢測體腔內(nèi)的生物體組織的三維模型中的凸起形狀的醫(yī)療用圖像處 理裝置和醫(yī)療用圖像處理方法。
背景技術(shù)：
構(gòu)成為具有內(nèi)窺鏡和醫(yī)療用圖像處理裝置的內(nèi)窺鏡系統(tǒng)被廣泛用在 醫(yī)療領(lǐng)域等中。具體而言，內(nèi)窺鏡系統(tǒng)構(gòu)成為例如具有內(nèi)窺鏡，其構(gòu) 成為具有用于插入到作為生物體的體腔內(nèi)的插入部、設(shè)置在該插入部的 前端部的物鏡光學(xué)系統(tǒng)、以及對(duì)由該物鏡光學(xué)系統(tǒng)所成的體腔內(nèi)的像進(jìn) 行攝像并將其作為攝像信號(hào)來輸出的攝像部；以及醫(yī)療用圖像處理裝置， 其根據(jù)該攝像信號(hào)，進(jìn)行用于使作為顯示部的監(jiān)視器等圖像顯示該體腔 內(nèi)的像的處理。而且，用戶例如根據(jù)由作為顯示部的監(jiān)視器等所圖像顯 示的體腔內(nèi)的像，來觀察體腔內(nèi)的作為被攝體的內(nèi)臟器官等。并且，具有上述結(jié)構(gòu)的內(nèi)窺鏡系統(tǒng)例如還可以將大腸等消化管粘膜 的像作為體腔內(nèi)的被攝體來進(jìn)行攝像。因此，用戶例如能夠全面觀察粘 膜的色調(diào)、病變的形狀以及粘膜表面的細(xì)微的結(jié)構(gòu)等各種觀察結(jié)果。而且，近年來，例如，提出有如日本特開平11一337845號(hào)公報(bào)所記 載的內(nèi)窺鏡裝置，該內(nèi)窺鏡裝置可以根據(jù)與內(nèi)窺鏡所攝像的被攝體的像 的攝像信號(hào)對(duì)應(yīng)的二維圖像的數(shù)據(jù)，來生成該被攝體的三維模型。另一方面，作為在三維模型中用于對(duì)息肉等病變部位進(jìn)行檢測的方 法，例如提出了在US Patent ApplicationNo.20030223627中所記載的如下 方法，即利用形態(tài)指標(biāo)(Shapelndex)和彎曲程度(Curvedness)這樣 的基于曲率的形狀特征量來進(jìn)行該三維模型的形狀的評(píng)價(jià)，由此可以對(duì) 該三維模型中的病變部位進(jìn)行檢測。尤其，作為由內(nèi)窺鏡所攝像的具有凸起形狀的生物體組織的像的、 例如包含大腸的褶皺或息肉等生物體組織的像的二維圖像在許多情況下 在該內(nèi)窺鏡的視野方向上包含不可視區(qū)域。而且，上述二維圖像中的不可視區(qū)域通常被稱為遮擋(occlusion),是很難進(jìn)行準(zhǔn)確的三維模型的估 計(jì)的區(qū)域。因此，例如在產(chǎn)生二維圖像的遮擋的部分，會(huì)產(chǎn)生在基于該 二維圖像的三維模型的對(duì)應(yīng)位置處不存在估計(jì)結(jié)果，或者，在基于該二 維圖像的三維模型的對(duì)應(yīng)位置處計(jì)算出可靠性較低的估計(jì)結(jié)果的情況。其結(jié)果，當(dāng)使用通過以往的圖像處理、例如在日本特開平11一337845 號(hào)公報(bào)的內(nèi)窺鏡裝置中進(jìn)行的圖像處理所估計(jì)出的被攝體的三維模型來 觀察該被攝體的情況下，會(huì)產(chǎn)生用戶在觀察息肉等病變部位時(shí)的負(fù)擔(dān)變 大的問題。并且，US Patent Application No.20030223627所提出的用于檢測息肉 等病變部位的方法是設(shè)想為應(yīng)用于例如通過利用CT (Computed Tomography:計(jì)算機(jī)斷層成像)的觀察而獲得的不產(chǎn)生成為遮擋部分的 三維模型的方法。因此，US Patent ApplicationNo.20030223627所提出的 用于檢測息肉等病變部位的方法，例如在被應(yīng)用于通過利用內(nèi)窺鏡的觀 察而獲得的根據(jù)具有成為遮擋部分的二維圖像而估計(jì)出的三維模型的情 況下，對(duì)息肉等病變部位的檢測精度下降。其結(jié)果，在利用采用了 US Patent Application No.20030223627所提出的方法的內(nèi)窺鏡系統(tǒng)來觀察被 攝體的情況下，會(huì)產(chǎn)生用戶在觀察息肉等病變部位時(shí)的負(fù)擔(dān)變大的問題。發(fā)明內(nèi)容本發(fā)明是鑒于上述問題而完成的，其目的在于提供一種在使用被攝 體的三維模型的觀察中，可以防止用戶漏掉對(duì)息肉等病變部位的觀察從 而能夠減輕用戶的負(fù)擔(dān)的醫(yī)療用圖像處理裝置和醫(yī)療用圖像處理方法。本發(fā)明的第1醫(yī)療用圖像處理裝置的特征在于，該醫(yī)療用圖像處理 裝置具有三維模型估計(jì)部，其根據(jù)從醫(yī)療用攝像裝置輸入的體腔內(nèi)的生物體組織的像的二維圖像，來估計(jì)該生物體組織的三維模型；體素檢 測部，其檢測所述三維模型所具有的體素中的、相對(duì)于所述醫(yī)療用攝像裝置的視野方向存在于最近側(cè)的一個(gè)體素；以及凸起形狀檢測部，其獲 取包含所述一個(gè)體素的一個(gè)曲平面，檢測在該一個(gè)曲平面中產(chǎn)生梯度變 動(dòng)的位置，并且判斷在所述三維模型中的該位置處是否存在具有局部凸 起形狀的生物體組織。本發(fā)明的第2醫(yī)療用圖像處理裝置的特征在于，在所述第1醫(yī)療用 圖像處理裝置中，所述凸起形狀檢測部沿著被設(shè)定為與規(guī)定的軸方向平 行的多條軌跡線來描繪所述一個(gè)曲平面，并且當(dāng)在所述規(guī)定的軸方向上 的一個(gè)位置處檢測到所述多條軌跡線中產(chǎn)生亮度梯度變動(dòng)的軌跡線的數(shù) 量大于等于1且小于等于規(guī)定的閾值時(shí)，判斷為在所述一個(gè)位置處存在 具有所述局部凸起形狀的生物體組織。本發(fā)明的第3醫(yī)療用圖像處理裝置的特征在于，在所述第2醫(yī)療用 圖像處理裝置中，所述規(guī)定的軸方向是所述體腔內(nèi)的管腔的中心軸方向。本發(fā)明的第4醫(yī)療用圖像處理裝置的特征在于，該醫(yī)療用圖像處理 裝置具有邊緣提取部，其根據(jù)被輸入的體腔內(nèi)的生物體組織的像的二 維圖像，來提取該二維圖像的邊緣；三維模型估計(jì)部，其根據(jù)所述二維 圖像，來估計(jì)所述生物體組織的三維模型；矢量計(jì)算部，其檢測被估計(jì) 為所述三維模型的一部分的、具有所述邊緣的一個(gè)體素組，并且在該一 個(gè)體素組中的按照每隔規(guī)定間隔而存在的各體素處計(jì)算法線矢量和使該 法線矢量的方向反轉(zhuǎn)180度的矢量即逆法線矢量；凸起形狀判定部，其 根據(jù)所述法線矢量彼此的交叉狀態(tài)和所述逆法線矢量彼此的交叉狀態(tài)， 來檢測成為凸起開始位置的第1體素和成為凸起結(jié)束位置的第2體素， 由此判斷被估計(jì)為所述一個(gè)體素組的生物體組織是否是具有局部凸起形 狀的生物體組織；以及病變判定部，其計(jì)算所述第1體素和所述第2體 素之間的距離，并且在該距離小于等于規(guī)定的距離時(shí)，將被估計(jì)為所述 一個(gè)體素組的生物體組織判斷為是具有因病變而引起的局部凸起形狀的 生物體組織。本發(fā)明的第5醫(yī)療用圖像處理裝置的特征在于，在所述第4醫(yī)療用 圖像處理裝置中，所述凸起形狀判定部將在規(guī)定的矢量大小以內(nèi)法線矢 量彼此幵始不交叉、并且在該規(guī)定的矢量大小以內(nèi)逆法線矢量的交叉條數(shù)大于等于第1閾值的最初體素作為所述第1體素。本發(fā)明的第6醫(yī)療用圖像處理裝置的特征在于，在所述第5醫(yī)療用 圖像處理裝置中，所述凸起形狀判定部將在規(guī)定的矢量大小以內(nèi)法線矢 量彼此開始交叉、并且在該規(guī)定的矢量大小以內(nèi)逆法線矢量的交叉條數(shù) 小于第2閾值的最初體素作為所述第2體素。本發(fā)明的第7醫(yī)療用圖像處理裝置的特征在于，在所述第6醫(yī)療用 圖像處理裝置中，所述第1閾值是與所述第2閾值相等的值。本發(fā)明的第1醫(yī)療用圖像處理方法的特征在于，該醫(yī)療用圖像處理 方法具有以下步驟三維模型估計(jì)步驟，在該步驟中，根據(jù)從醫(yī)療用攝 像裝置輸入的體腔內(nèi)的生物體組織的像的二維圖像，來估計(jì)該生物體組 織的三維模型；體素檢測步驟，在該步驟中，檢測所述三維模型所具有 的體素中的、相對(duì)于所述醫(yī)療用攝像裝置的視野方向存在于最近側(cè)的一 個(gè)體素；以及凸起形狀檢測步驟，在該步驟中，獲取包含所述一個(gè)體素 的一個(gè)曲平面，檢測在該一個(gè)曲平面中產(chǎn)生梯度變動(dòng)的位置，并且判斷 在所述三維模型中的該位置處是否存在具有局部凸起形狀的生物體組 織。本發(fā)明的第2醫(yī)療用圖像處理方法的特征在于，在所述第1醫(yī)療用 圖像處理方法中，在所述凸起形狀檢測步驟中，沿著被設(shè)定為與規(guī)定的 軸方向平行的多條軌跡線來描繪所述一個(gè)曲平面，并且當(dāng)在所述規(guī)定的 軸方向上的一個(gè)位置處檢測到所述多條軌跡線中產(chǎn)生亮度梯度變動(dòng)的軌 跡線的數(shù)量大于等于1且小于等于規(guī)定的閾值時(shí)，判斷為在所述一個(gè)位 置處存在具有所述局部凸起形狀的生物體組織。本發(fā)明的第3醫(yī)療用圖像處理方法的特征在于，在所述第2醫(yī)療用 圖像處理方法中，所述規(guī)定的軸方向是所述體腔內(nèi)的管腔的中心軸方向。本發(fā)明的第4醫(yī)療用圖像處理方法的特征在于，該醫(yī)療用圖像處理 方法具有以下步驟邊緣提取步驟，在該步驟中，根據(jù)被輸入的體腔內(nèi) 的生物體組織的像的二維圖像，來提取該二維圖像的邊緣；三維模型估 計(jì)步驟，在該步驟中，根據(jù)所述二維圖像，來估計(jì)所述生物體組織的三 維模型；矢量計(jì)算步驟，在該步驟中，檢測被估計(jì)為所述三維模型的一部分的、具有所述邊緣的一個(gè)體素組，并且在該一個(gè)體素組中的按照每 隔規(guī)定間隔而存在的各體素處計(jì)算法線矢量和使該法線矢量的方向反轉(zhuǎn) 180度的矢量即逆法線矢量；凸起形狀判定步驟，在該步驟中，根據(jù)所述 法線矢量彼此的交叉狀態(tài)和所述逆法線矢量彼此的交叉狀態(tài)，來檢測成 為凸起開始位置的第1體素和成為凸起結(jié)束位置的第2體素，由此判斷 被估計(jì)為所述一個(gè)體素組的生物體組織是否是具有局部凸起形狀的生物 體組織；以及病變判定步驟，在該步驟中，計(jì)算所述第1體素和所述第2體素之間的距離，并且在該距離小于等于規(guī)定的距離時(shí)，將被估計(jì)為所 述一個(gè)體素組的生物體組織判斷為是具有因病變而引起的局部凸起形狀的生物體組織。本發(fā)明的第5醫(yī)療用圖像處理方法的特征在于，在所述第4醫(yī)療用 圖像處理方法中，在所述凸起形狀判定步驟中，將在規(guī)定的矢量大小以 內(nèi)法線矢量彼此開始不交叉、并且在該規(guī)定的矢量大小以內(nèi)逆法線矢量 的交叉條數(shù)大于等于第1閾值的最初體素作為所述第1體素。本發(fā)明的第6醫(yī)療用圖像處理方法的特征在于，在所述第5醫(yī)療用 圖像處理方法中，在所述凸起形狀判定步驟中，將在規(guī)定的矢量大小以 內(nèi)法線矢量彼此開始交叉、并且在該規(guī)定的矢量大小以內(nèi)逆法線矢量的 交叉條數(shù)小于第2閾值的最初體素作為所述第2體素。本發(fā)明的第7醫(yī)療用圖像處理方法的特征在于，在所述第6醫(yī)療用 圖像處理方法中，所述第1閾值是與所述第2閾值相等的值。


圖1是示出使用本發(fā)明的實(shí)施方式的醫(yī)療用圖像處理裝置的內(nèi)窺鏡 系統(tǒng)的整體結(jié)構(gòu)的一例的圖。圖2是示出將圖1的內(nèi)窺鏡插入管狀器官內(nèi)時(shí)的狀態(tài)的示意圖。圖3是示出圖1的醫(yī)療用圖像處理裝置在第1實(shí)施方式中進(jìn)行處理 的步驟的流程圖。圖4是示出由圖1的醫(yī)療用圖像處理裝置所估計(jì)的生物體組織的三 維模型的一例的圖。圖5是示出由圖1的醫(yī)療用圖像處理裝置所估計(jì)的生物體組織的三維模型的、與圖4不同的示例的圖。圖6是示出圖4的三維模型中的各軌跡線的梯度變動(dòng)的圖。 圖7是示出圖5的三維模型中的各軌跡線的梯度變動(dòng)的圖。 圖8是示出圖1的醫(yī)療用圖像處理裝置在第2實(shí)施方式中進(jìn)行的處理的步驟的流程圖。圖9是示意性地示出由圖1的醫(yī)療用圖像處理裝置所估計(jì)的一個(gè)生物體組織的三維模型的剖面圖。圖10是示出圖9中的法線矢量和逆法線矢量的圖。
具體實(shí)施方式
下面，參照

本發(fā)明的實(shí)施方式。 (第1實(shí)施方式)圖1至圖7涉及本發(fā)明的第1實(shí)施方式。圖1是示出使用本發(fā)明的 實(shí)施方式的醫(yī)療用圖像處理裝置的內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)的一例的圖。 圖2是示出將圖1的內(nèi)窺鏡插入管狀器官內(nèi)時(shí)的狀態(tài)的示意圖。圖3是 示出圖1的醫(yī)療用圖像處理裝置在第1實(shí)施方式中進(jìn)行的處理的步驟的 流程圖。圖4是示出由圖1的醫(yī)療用圖像處理裝置所估計(jì)的生物體組織 的三維模型的一例的圖。圖5是示出由圖1的醫(yī)療用圖像處理裝置所估 計(jì)的生物體組織的三維模型的、與圖4不同的示例的圖。圖6是示出圖4 的三維模型中的各軌跡線的梯度變動(dòng)的圖。圖7是示出圖5的三維模型 中的各軌跡線的梯度變動(dòng)的圖。如圖1所示，內(nèi)窺鏡系統(tǒng)1由以下主要部分構(gòu)成醫(yī)療用觀察裝置2， 其對(duì)被攝體進(jìn)行攝像，并且輸出該被攝體的像的二維圖像；醫(yī)療用圖像 處理裝置3，其由個(gè)人計(jì)算機(jī)等構(gòu)成，對(duì)從醫(yī)療用觀察裝置2輸出的二維 圖像的影像信號(hào)進(jìn)行圖像處理，并且將進(jìn)行該圖像處理后的影像信號(hào)作 為圖像信號(hào)輸出；以及監(jiān)視器4，其顯示基于從醫(yī)療用圖像處理裝置3輸 出的圖像信號(hào)的圖像。并且，醫(yī)療用觀察裝置2由以下主要部分構(gòu)成內(nèi)窺鏡6，其被插入到體腔內(nèi)，對(duì)該體腔內(nèi)的被攝體進(jìn)行攝像并將其作為攝像信號(hào)輸出；光 源裝置7，其提供照明光，該照明光用于對(duì)由內(nèi)窺鏡6所攝像的被攝體進(jìn) 行照明；照相機(jī)控制單元(Camera Control Unit ;之后簡稱為CCU) 8， 其對(duì)內(nèi)窺鏡6進(jìn)行各種控制，并且對(duì)從內(nèi)窺鏡6輸出的攝像信號(hào)進(jìn)行信 號(hào)處理，將其作為二維圖像的影像信號(hào)輸出；以及監(jiān)視器9，其根據(jù)從 CCU 8輸出的二維圖像的影像信號(hào)，來圖像顯示由內(nèi)窺鏡6所攝像的被 攝體的像。內(nèi)窺鏡6構(gòu)成為具有用于插入到體腔內(nèi)的插入部11;以及設(shè)置在 插入部11的基端部上的操作部12。并且，在從插入部11內(nèi)的基端側(cè)到 插入部11內(nèi)的前端側(cè)的前端部14的部分中，貫穿有用于傳送從光源裝 置7提供的照明光的光導(dǎo)13。光導(dǎo)13的前端側(cè)配置在內(nèi)窺鏡6的前端部14上，同時(shí)后端側(cè)與光 源裝置7連接。通過使光導(dǎo)13具有這樣的結(jié)構(gòu)，從光源裝置7提供的照 明光在由光導(dǎo)13傳送后，從設(shè)置在插入部11的前端部14的前端面上的 未圖示的照明窗射出。而且，通過使照明光從未圖示的照明窗射出，來 照明作為被攝體的生物體組織等。在內(nèi)窺鏡6的前端部14上設(shè)置有攝像部17，該攝像部17具有物 鏡光學(xué)系統(tǒng)15，其安裝在與未圖示的照明窗鄰接的未圖示觀察窗上；以 及例如由CCD (Charge Coupled Device:電荷耦合元件)等構(gòu)成的攝像 元件16，其配置在物鏡光學(xué)系統(tǒng)15的成像位置處。根據(jù)這種結(jié)構(gòu)，由物 鏡光學(xué)系統(tǒng)15所成的被攝體的像在通過攝像元件16攝像后，作為攝像 信號(hào)被輸出。攝像元件16通過信號(hào)線與CCU 8連接。而且，攝像元件16根據(jù)從 CCU 8輸出的驅(qū)動(dòng)信號(hào)而驅(qū)動(dòng)，并向CCU 8輸出攝像信號(hào)。并且，在設(shè)置于CCU 8內(nèi)部的未圖示的信號(hào)處理電路中對(duì)輸入到 CCU 8的攝像信號(hào)進(jìn)行信號(hào)處理，由此將輸入到CCU 8的攝像信號(hào)變換 為二維圖像的影像信號(hào)并輸出。從CCU 8輸出的二維圖像的影像信號(hào)被 輸出給監(jiān)視器9和醫(yī)療用圖像處理裝置3。由此，在監(jiān)視器9上將基于從 CCU 8輸出的影像信號(hào)的被攝體的像顯示為二維圖像。醫(yī)療用圖像處理裝置3具有圖像輸入部21，其對(duì)從醫(yī)療用觀察裝 置2輸出的二維圖像的影像信號(hào)進(jìn)行A/D變換并輸出；作為中央運(yùn)算處理裝置的CPU 22，其對(duì)從圖像輸入部21輸出的影像信號(hào)進(jìn)行圖像處理；處理程序存儲(chǔ)部23，其被寫入與該圖像處理相關(guān)的處理程序；圖像存儲(chǔ)部24，其存儲(chǔ)從圖像輸入部21輸出的影像信號(hào)等；以及信息存儲(chǔ)部25， 其存儲(chǔ)作為CPU22的圖像處理結(jié)果的圖像數(shù)據(jù)等。并且，醫(yī)療用圖像處理裝置3具有存儲(chǔ)裝置接口26;作為存儲(chǔ)裝 置的硬盤27，其通過存儲(chǔ)裝置接口 26存儲(chǔ)作為CPU 22的圖像處理結(jié)果 的圖像數(shù)據(jù)等；顯示處理部28，其根據(jù)作為CPU 22的圖像處理結(jié)果的 圖像數(shù)據(jù)，進(jìn)行用于使該圖像數(shù)據(jù)圖像顯示到監(jiān)視器4上的顯示處理， 并且將進(jìn)行該顯示處理后的圖像數(shù)據(jù)作為圖像信號(hào)輸出；以及由鍵盤等 構(gòu)成的操作部29，用戶可以通過該操作部29輸入CPU 22所進(jìn)行的圖像 處理中的參數(shù)和針對(duì)醫(yī)療用圖像處理裝置3的操作指示。而且，監(jiān)視器4 顯示基于從顯示處理部28輸出的圖像信號(hào)的圖像。另外，醫(yī)療用圖像處理裝置3的圖像輸入部21、 CPU22、處理程序 存儲(chǔ)部223、圖像存儲(chǔ)部24、信息存儲(chǔ)部25、存儲(chǔ)裝置接口 26、顯示處 理部28以及輸入操作部29彼此通過數(shù)據(jù)總線30連接。接下來，說明內(nèi)窺鏡系統(tǒng)l的作用。首先，如圖2所示，例如用戶將內(nèi)窺鏡6的插入部11插入大腸等管 狀器官31內(nèi)。而且，在用戶將插入部11插入到管狀器官31內(nèi)后，通過 設(shè)置在前端部14的攝像部17來對(duì)例如存在于管狀器官31的內(nèi)壁上的生 物體組織31A和31B的像進(jìn)行攝像。然后，由攝像部17所攝像的生物 體組織31A的31B的像被作為攝像信號(hào)輸出給CCU 8。CCU 8通過在未圖示的信號(hào)處理電路中對(duì)從攝像部17的攝像元件16 輸出的攝像信號(hào)進(jìn)行信號(hào)處理，來將該攝像信號(hào)變換為二維圖像的影《象 信號(hào)并輸出。然后，監(jiān)視器9根據(jù)從CCU8輸出的影像信號(hào)來將生物體 組織31A和31B的像顯示為二維圖像。并且，CCU 8將通過對(duì)從攝像部 17的攝像元件16輸出的攝像信號(hào)進(jìn)行信號(hào)處理而得到的二維圖像的影〈象 信號(hào)輸出給醫(yī)療用圖像處理裝置3。輸出到醫(yī)療用圖像處理裝置3的二維圖像的影像信號(hào)在圖像輸入部21中進(jìn)行A/D變換后，被輸入到CPU22。然后，作為三維模型估計(jì)部的CPU 22例如通過幾何學(xué)的變換等處 理，并根據(jù)從圖像輸入部21輸出的二維圖像的影像信號(hào)的亮度信息等， 來估計(jì)具有生物體組織31A和31B的管狀器官31的三維模型。進(jìn)而，CPU22根據(jù)具有生物體組織31A和31B的管狀器官31的三 維模型，通過進(jìn)行后面敘述的那樣的處理來檢測生物體組織31A和3IB 的凸起形狀，并且判斷所檢測到的該凸起形狀是由何種生物體組織所引 起的。首先，CPU 22根據(jù)所估計(jì)的三維模型來獲取管狀器官31的三維模 型中的管腔的中心軸Lc (圖3的步驟S1)。接著，作為體素檢測部和凸起形狀檢測部的CPU 22檢測所估計(jì)的三 維模型中存在的體素中的、相對(duì)于內(nèi)窺鏡6的視野方向存在于最近側(cè)的 一個(gè)體素即z軸坐標(biāo)為最小值Minz的一個(gè)體素Ps，并且獲取包含該一個(gè) 體素Ps所具有的z軸坐標(biāo)Minz的一個(gè)曲平面和該一個(gè)曲平面的基準(zhǔn)線 L，其中，該z軸是與內(nèi)窺鏡6的視野方向大致平行的軸(圖3的步驟S2)。之后，CPU 22將對(duì)基準(zhǔn)線L進(jìn)行了 N等分后的N個(gè)坐標(biāo)分別設(shè)定 為基準(zhǔn)點(diǎn)(圖3的步驟S3)，并且判斷獲取到的基準(zhǔn)線L是否是閉合曲 線。然后，在獲取到的基準(zhǔn)線L是閉合曲線的情況下(圖3的步驟S4)， 例如如圖4所示，CPU 22根據(jù)所設(shè)定的基準(zhǔn)線L上的N個(gè)基準(zhǔn)點(diǎn)來分別 設(shè)定與管腔的中心軸Lc平行的直線，作為包含一個(gè)體素Ps的一個(gè)曲平 面中的軌跡線(圖3的步驟S5)。并且，在獲取到的基準(zhǔn)線L不是閉合曲線的情況下(圖3的步驟S4)， 例如如圖5所示，CPU22根據(jù)所設(shè)定的基準(zhǔn)線L上的N個(gè)基準(zhǔn)點(diǎn)來分別 設(shè)定呈放射線狀(或者與管腔的中心軸Lc平行地)延伸的直線，作為包 含一個(gè)體素Ps的一個(gè)曲平面中的軌跡線(圖3的步驟S6)。作為凸起形狀檢測部的CPU 22根據(jù)如上所述的通過進(jìn)行圖3的步驟 S5或步驟S6的處理而設(shè)定的各軌跡線，來描繪出存在于包含一個(gè)體素PS的一個(gè)曲平面中的該各軌跡線上的各體素，并根據(jù)該各體素所具有的亮度信息，依次計(jì)算軌跡方向上的梯度(亮度梯度)(圖3的步驟S7)。然后，在將管腔的中心軸Lc設(shè)v軸的情況下，CPU22獲取在管腔 的中心軸Lc方向的坐標(biāo)v-k處產(chǎn)生梯度變動(dòng)的軌跡線的條數(shù)M (k) (0 《M (k)《N的整數(shù))(圖3的步驟S8)。換言之，通過進(jìn)行這樣的處理， CPU 22檢測在包含一個(gè)體素Ps的一個(gè)曲平面中產(chǎn)生梯度變動(dòng)的位置。例如，在分別對(duì)圖4所示的8個(gè)基準(zhǔn)點(diǎn)設(shè)定軌跡線(圖4中，N=8)， 并且將軌跡方向設(shè)為從視野方向的近側(cè)到里側(cè)的方向的情況下，CPU 22 將包含一個(gè)體素Ps的一個(gè)曲平面中的該各個(gè)軌跡線在v軸方向上的梯度 變動(dòng)檢測為圖6所示的變動(dòng)。并且，作為不同的示例，在分別對(duì)圖5所 示的8個(gè)基準(zhǔn)點(diǎn)設(shè)定軌跡線(圖5中，N=8)，并且將軌跡方向設(shè)為從視 野方向的近側(cè)到里側(cè)的方向的情況下，CPU 22將包含一個(gè)體素Ps的一 個(gè)曲平面中的該各個(gè)軌跡線在v軸方向上的梯度變動(dòng)檢測為圖7所示的 變動(dòng)。然后，CPU22判斷在M(k)的值是O的v-k的位置處不存在凸起 形狀(圖3的步驟S9和步驟S10)。進(jìn)而，CPU22在M(k)的值大于等于l的v二k的各個(gè)位置處，對(duì) 該M (k)的值與閾值thp進(jìn)行比較(圖3的步驟S9和步驟S11)。之后，作為凸起形狀檢測部的CPU22在檢測到M (k)的值小于等 于閾值thp時(shí)(圖3的步驟S11)，判斷為在提供該M (k)的值的v-k 的位置處存在作為在管狀器官31的內(nèi)壁上具有周部凸起形狀的生物體組 織的病變部位(圖3的步驟S12)。作為一例，使用圖4和圖6進(jìn)行具體說明，CPU22判斷為在M (c) =2的v=c的位置處存在如圖4所示的生物體組織31A那樣的、作為在 管狀器官31的內(nèi)壁上具有局部凸起形狀的生物體組織的病變部位。并且， 作為不同的示例，使用圖5和圖7進(jìn)行具體說明，CPU 22判斷為在M(d) =2的v=d的位置處存在如圖5所示的生物體組織31A那樣的、作為在 管狀器官31的內(nèi)壁上具有局部凸起形狀的生物體組織的病變部位。并且，CPU 22在檢測到M (k)的值大于閾值thp時(shí)(圖3的步驟Sll)，判斷為在提供該M (k)的值的v=k的位置處存在作為沿管狀器 官31的內(nèi)壁全周具有凸起形狀的生物體組織的大腸等的褶皺(圖3的步 驟S13)。作為一例，使用圖4和圖6進(jìn)行具體說明，CPU22判斷為在M (a) =8的v = a和M (b) =8的v=b的位置處存在如圖4所示的生物體組 織31B那樣的、作為沿管狀器官31的內(nèi)壁全周具有凸起形狀的生物體組 織的大腸等的褶皺。并且，作為不同的示例，使用圖5和圖7進(jìn)行具體 說明，CPU22判斷為在M (e) 二8的v-e的位置處存在如圖5所示的 生物體組織31B那樣的、作為沿管狀器官31的內(nèi)壁全周具有凸起形狀的 生物體組織的大腸等的褶皺。而且，CPU 22除了上述處理之外，還對(duì)顯示處理部28進(jìn)行如下控 制，艮卩將用于表示例如圖4或圖5所示的生物體組織31A那樣的、在 管狀器官31的內(nèi)壁上具有局部凸起形狀的生物體組織所存在的位置的字 符串或著色等與三維模型重疊。由此，在監(jiān)視器4上，在不會(huì)將生物體 組織31A那樣的、作為在管狀器官31的內(nèi)壁上具有局部凸起形狀的生物 體組織的病變部位與生物體組織3'1B那樣的、作為沿管狀器官31的內(nèi)壁 全周具有凸起形狀的生物體組織的大腸等的褶皺混同的情況下，來對(duì)能 夠使用戶容易地發(fā)現(xiàn)病變部位的、具有生物體組織31A和31B的管狀器 官31的三維模型進(jìn)行圖像顯示。并且，CPU 22也可以根據(jù)被判斷為存在具有局部凸起形狀的生物體 組織的各體素的位置，來檢測與該各體素的位置對(duì)應(yīng)的位置處所存在的 二維圖像上的各體素，并且對(duì)顯示處理部28進(jìn)行如下控制，g卩將用于 表示生物體組織31A是凸起形狀的字符串或著色等與具有該各體素的該 二維圖像重疊。本實(shí)施方式的醫(yī)療用圖像處理裝置3通過進(jìn)行以上所述的一系列的 處理，可以防止用戶在使用被攝體的三位模型來進(jìn)行觀察時(shí)，漏掉對(duì)息 肉等病變部位的觀察，從而能夠減輕用戶的負(fù)擔(dān)。 (第2實(shí)施方式)圖8至圖10涉及本發(fā)明的第2實(shí)施方式。另外，省略對(duì)具有與第l實(shí)施方式相同結(jié)構(gòu)的部分的詳細(xì)說明。并且，對(duì)于與第1實(shí)施方式相同 的結(jié)構(gòu)要素，使用相同的符號(hào)并省略其說明。并且，本實(shí)施方式所使用 的內(nèi)窺鏡系統(tǒng)1的結(jié)構(gòu)與第1實(shí)施方式相同。圖S是示出圖1的醫(yī)療用圖像處理裝置在第2實(shí)施方式中進(jìn)行的處 理的步驟的流程圖。圖9是示意性地示出由圖1的醫(yī)療用圖像處理裝置 所估計(jì)的一個(gè)生物體組織的三維模型的剖面圖。圖10是示出圖9中的法 線矢量和逆法線矢量的圖。首先，作為邊緣提取部的CPU22根據(jù)從圖像輸入部21輸出的、對(duì) 管狀器官31進(jìn)行攝像而得到的二維圖像的影像信號(hào)，對(duì)例如該二維圖像 的紅色成分應(yīng)用帶通濾波器，由此來提取該二維圖像所包含的所有邊緣 部。并且，CPU22使與被提取出了邊緣部的體素組的位置相關(guān)的信息即 邊緣信息暫時(shí)存儲(chǔ)到信息存儲(chǔ)部25中。然后，作為三維模型估計(jì)部的CPU 22例如利用幾何學(xué)的變換等處 理，并根據(jù)從圖像輸入部21輸出的二維圖像的影像信號(hào)的亮度信息等， 來估計(jì)管狀器官31的三維模型，并且根據(jù)存儲(chǔ)在信息存儲(chǔ)部25中的邊 緣信息來檢測在該三維模型中具有邊緣部的一個(gè)體素組。進(jìn)而，CPU 22 通過對(duì)所述一個(gè)體素組進(jìn)行后面敘述的那樣的處理，來判斷根據(jù)所述一 個(gè)體素組而進(jìn)行了三維模型化的一個(gè)生物體組織是否具有因病變而引起 的凸起形狀。首先，作為矢量計(jì)算部的CPU 22對(duì)在管狀器官31的三維模型中具 有邊緣部的一個(gè)體素組進(jìn)行檢測，并且計(jì)算該體素組中的按照每隔規(guī)定 間隔而存在的各體素處的法線矢量和使該法線矢量的方向反轉(zhuǎn)180度的 矢量即逆法線矢量(圖8的步驟S21)。更具體地講，例如在檢測到具有 圖9所示的剖面形狀的生物體組織31C的三維模型的情況下，如圖10所 示，計(jì)算按照每隔規(guī)定間隔而存在的各體素處的法線矢量和逆法線矢量。接著，作為凸起形狀判定部的CPU22根據(jù)所述各體素所具有的法線 矢量和逆法線矢量，對(duì)在規(guī)定的矢量大小以內(nèi)法線矢量彼此開始不交叉、 并且在該規(guī)定的矢量大小以內(nèi)逆法線矢量的交叉條數(shù)大于等于閾值thvl 的最初體素即例如圖IO中所示的體素S進(jìn)行檢測，并將其作為成為凸起開始位置的體素(圖8的步驟S22)。并且，作為凸起形狀判定部的CPU 22根據(jù)所述各體素所具有的法線矢量和逆法線矢量，對(duì)在規(guī)定的矢量大 小以內(nèi)法線矢量彼此開始交叉、并且在該規(guī)定的矢量大小以內(nèi)逆法線矢 量的交叉條數(shù)小于閾值thv2的最初體素即例如圖10中所示的體素T進(jìn) 行檢測，并將其作為成為凸起結(jié)束位置的體素(圖8的步驟S23)。另外，在本實(shí)施方式中，閾值thvl于閾值thv2可以是各自不同的值， 或者，也可以是相等的值。之后，作為凸起形狀判定部的CPU 22判斷在生物體31C的三維模 型中是否檢測到體素S和體素T這兩個(gè)體素。然后，在檢測到體素S和 體素T這兩個(gè)體素的雙方的情況下(圖8的步驟S24)， CPU 22進(jìn)一步計(jì) 算體素S和體素T之間的距離La(圖8的步驟S25)。并且，在沒有檢測 到體素S和體素T這兩個(gè)體素中的任一方或者雙方的情況下(圖8的步 驟S24)， CPU 22判斷為被三維模型化成具有邊緣部的一個(gè)體素組的生物 體組織31C不是具有因病變而引起的局部凸起形狀的生物體組織，而例 如是具有存在于管狀器官31內(nèi)的階差等形狀的部位，或者是沿著管狀器 官31的內(nèi)壁全周具有凸起形狀的褶皺等生物體組織(圖8的步驟S28)， 從而結(jié)束一系列的處理。進(jìn)而，作為病變判定部的CPU 22對(duì)所計(jì)算出的體素S和體素T之 間的距離La和閾值thLa進(jìn)行比較。然后，作為病變判定部的CPU22在 檢測到體素S和體素T之間的距離La小于等于閾值thLa的情況時(shí)，判 斷為被三維模型化成具有邊緣部的一個(gè)體素組的生物體組織31C是具有 因病變而引起的局部凸起形狀的生物體組織(圖8的步驟S27)，從而結(jié) 束一系列的處理。并且，CPU 22在檢測到體素S和體素T之間的距離 La大于閾值thLa的情況時(shí)，判斷為被三維模型化成具有邊緣部的一個(gè)體 素組的生物體組織31C不是具有因病變而引起的局部凸起形狀的生物體 組織，而例如是具有存在于管狀器官31內(nèi)的階差等形狀的部位，或者是 沿著管狀器官31的內(nèi)壁全周具有凸起形狀的褶皺等生物體組織(圖8的 步驟S28)，從而結(jié)束一系列的處理。而且，CPU 22除了上述處理之外，還對(duì)顯示處理部28進(jìn)行如下控制，即將用于表示具有因病變引起的凸起形狀的生物體組織31C所存 在的位置的字符串或著色等與該三維模型重疊。由此，在監(jiān)視器4上， 在不會(huì)將因病變而引起的凸起形狀與具有階差等形狀的部位或褶皺等生 物體組織混同的情況下，來對(duì)能夠使用戶容易地發(fā)現(xiàn)因病變引起的凸起形狀的、具有生物體組織31C的管狀器官31的三維模型進(jìn)行圖像顯示。 并且，CPU22也可以根據(jù)被判斷為存在具有局部凸起形狀的生物體 組織的各體素的位置，來檢測與該各體素的位置對(duì)應(yīng)的位置處所存在的 二維圖像上的各體素，并且對(duì)顯示處理部28進(jìn)行如下控制，即將用于 表示生物體組織31A是凸起形狀的字符串或著色等與具有該各體素的該 二維圖像重疊。本實(shí)施方式的醫(yī)療用圖像處理裝置3通過進(jìn)行以上所述的一系列的 處理，可以防止用戶在使用被攝體的三維模型來進(jìn)行觀察時(shí)，漏掉對(duì)息 肉等病變部位的觀察，從而能夠減輕用戶的負(fù)擔(dān)。另外，在本實(shí)施方式中，CPU22所進(jìn)行的一系列的處理不限于應(yīng)用 于管狀器官31的三維模型，例如，也可以應(yīng)用于管狀器官31的二維圖 像。另外，本發(fā)明并不限定為上述各實(shí)施方式，顯然，在不脫離發(fā)明的 主旨的范圍內(nèi)，可以進(jìn)行各種變更和應(yīng)用。本申請(qǐng)以2006年3月28日在日本申請(qǐng)的特愿2006—89118號(hào)作為 優(yōu)先權(quán)主張的基礎(chǔ)，上述公開內(nèi)容被引用到本申請(qǐng)的說明書、權(quán)利要求 書以及附圖中。
權(quán)利要求
1.一種醫(yī)療用圖像處理裝置，其特征在于，該醫(yī)療用圖像處理裝置具有三維模型估計(jì)部，其根據(jù)從醫(yī)療用攝像裝置輸入的體腔內(nèi)的生物體組織的像的二維圖像，來估計(jì)該生物體組織的三維模型；體素檢測部，其檢測所述三維模型所具有的體素中的、相對(duì)于所述醫(yī)療用攝像裝置的視野方向存在于最近側(cè)的一個(gè)體素；以及凸起形狀檢測部，其獲取包含所述一個(gè)體素的一個(gè)曲平面，檢測在該一個(gè)曲平面中產(chǎn)生梯度變動(dòng)的位置，并且判斷在所述三維模型中的該位置處是否存在具有局部凸起形狀的生物體組織。
2. 根據(jù)權(quán)利要求l所述的醫(yī)療用圖像處理裝置，其特征在于，所述凸起形狀檢測部沿著被設(shè)定為與規(guī)定的軸方向平行的多條軌跡線來描繪 所述一個(gè)曲平面，并且當(dāng)在所述規(guī)定的軸方向上的一個(gè)位置處檢測到所 述多條軌跡線中產(chǎn)生亮度梯度變動(dòng)的軌跡線的數(shù)量大于等于1且小于等 于規(guī)定的閾值時(shí)，判斷為在所述一個(gè)位置處存在具有所述局部凸起形狀 的生物體組織。
3. 根據(jù)權(quán)利要求2所述的醫(yī)療用圖像處理裝置，其特征在于，所述 規(guī)定的軸方向是所述體腔內(nèi)的管腔的中心軸方向。
4. 一種醫(yī)療用圖像處理裝置，其特征在于，該醫(yī)療用圖像處理裝置具有邊緣提取部，其根據(jù)被輸入的體腔內(nèi)的生物體組織的像的二維圖像，來提取該二維圖像的邊緣；三維模型估計(jì)部，其根據(jù)所述二維圖像，來估計(jì)所述生物體組織的 三維模型；矢量計(jì)算部，其檢測被估計(jì)為所述三維模型的一部分的、具有所述 邊緣的一個(gè)體素組，并且在該一個(gè)體素組中的按照每隔規(guī)定間隔而存在 的各體素處計(jì)算法線矢量和使該法線矢量的方向反轉(zhuǎn)180度的矢量即逆 法線矢量；凸起形狀判定部，其根據(jù)所述法線矢量彼此的交叉狀態(tài)和所述逆法 線矢量彼此的交叉狀態(tài)，來檢測成為凸起開始位置的第1體素和成為凸起結(jié)束位置的第2體素，由此判斷被估計(jì)為所述一個(gè)體素組的生物體組 織是否是具有局部凸起形狀的生物體組織；以及病變判定部，其計(jì)算所述第1體素和所述第2體素之間的距離，并 且在該距離小于等于規(guī)定的距離時(shí)，將被估計(jì)為所述一個(gè)體素組的生物 體組織判斷為是具有因病變而引起的局部凸起形狀的生物體組織。
5. 根據(jù)權(quán)利要求4所述的醫(yī)療用圖像處理裝置，其特征在于，所述 凸起形狀判定部將在規(guī)定的矢量大小以內(nèi)法線矢量彼此開始不交叉、并 且在該規(guī)定的矢量大小以內(nèi)逆法線矢量的交叉條數(shù)大于等于第1閾值的 最初體素作為所述第1體素。
6. 根據(jù)權(quán)利要求5所述的醫(yī)療用圖像處理裝置，其特征在于，所述 凸起形狀判定部將在規(guī)定的矢量大小以內(nèi)法線矢量彼此開始交叉、并且 在該規(guī)定的矢量大小以內(nèi)逆法線矢量的交叉條數(shù)小于第2閾值的最初體 素作為所述第2體素。
7. 根據(jù)權(quán)利要求6所述的醫(yī)療用圖像處理裝置，其特征在于，所述 第1閾值是與所述第2閾值相等的值。
8. —種醫(yī)療用圖像處理方法，其特征在于，該醫(yī)療用圖像處理方法 具有以下步驟三維模型估計(jì)步驟，在該步驟中，根據(jù)從醫(yī)療用攝像裝置輸入的體 腔內(nèi)的生物體組織的像的二維圖像，來估計(jì)該生物體組織的三維模型；體素檢測步驟，在該步驟中，檢測所述三維模型所具有的體素中的、 相對(duì)于所述醫(yī)療用攝像裝置的視野方向存在于最近側(cè)的一個(gè)體素；以及凸起形狀檢測步驟，在該步驟中，獲取包含所述一個(gè)體素的一個(gè)曲 平面，檢測在該一個(gè)曲平面中產(chǎn)生梯度變動(dòng)的位置，并且判斷在所述三 維模型中的該位置處是否存在具有局部凸起形狀的生物體組織。
9. 根據(jù)權(quán)利要求8所述的醫(yī)療用圖像處理方法，其特征在于，在所 述凸起形狀檢測步驟中，沿著被設(shè)定為與規(guī)定的軸方向平行的多條軌跡 線來描繪所述一個(gè)曲平面，并且當(dāng)在所述規(guī)定的軸方向上的一個(gè)位置處檢測到所述多條軌跡線中產(chǎn)生亮度梯度變動(dòng)的軌跡線的數(shù)量大于等于1 且小于等于規(guī)定的閾值時(shí)，判斷為在所述一個(gè)位置處存在具有所述局部 凸起形狀的生物體組織。
10. 根據(jù)權(quán)利要求9所述的醫(yī)療用圖像處理方法，其特征在于，所 述規(guī)定的軸方向是所述體腔內(nèi)的管腔的中心軸方向。
11. 一種醫(yī)療用圖像處理方法，其特征在于，該醫(yī)療用圖像處理方法具有以下步驟邊緣提取步驟，在該步驟中，根據(jù)被輸入的體腔內(nèi)的生物體組織的 像的二維圖像，來提取該二維圖像的邊緣；三維模型估計(jì)步驟，在該步驟中，根據(jù)所述二維圖像，來估計(jì)所述 生物體組織的三維模型；矢量計(jì)算步驟，在該步驟中，檢測被估計(jì)為所述三維模型的一部分 的、具有所述邊緣的一個(gè)體素組，并且在該一個(gè)體素組中的按照每隔規(guī) 定間隔而存在的各體素處計(jì)算法線矢量和使該法線矢量的方向反轉(zhuǎn)180 度的矢量即逆法線矢量；凸起形狀判定步驟，在該步驟中，根據(jù)所述法線矢量彼此的交叉狀 態(tài)和所述逆法線矢量彼此的交叉狀態(tài)，來檢測成為凸起開始位置的第1 體素和成為凸起結(jié)束位置的第2體素，由此判斷被估計(jì)為所述一個(gè)體素 組的生物體組織是否是具有局部凸起形狀的生物體組織；以及病變判定步驟，在該步驟中，計(jì)算所述第1體素和所述第2體素之 間的距離，并且在該距離小于等于規(guī)定的距離時(shí)，將被估計(jì)為所述一個(gè) 體素組的生物體組織判斷為是具有因病變而引起的局部凸起形狀的生物 體組織。
12. 根據(jù)權(quán)利要求ll所述的醫(yī)療用圖像處理方法，其特征在于，在 所述凸起形狀判定步驟中，將在規(guī)定的矢量大小以內(nèi)法線矢量彼此開始 不交叉、并且在該規(guī)定的矢量大小以內(nèi)逆法線矢量的交叉條數(shù)大于等于 第1閾值的最初體素作為所述第1體素。
13. 根據(jù)權(quán)利要求12所述的醫(yī)療用圖像處理方法，其特征在于，在 所述凸起形狀判定步驟中，將在規(guī)定的矢量大小以內(nèi)法線矢量彼此開始交叉、并且在該規(guī)定的矢量大小以內(nèi)逆法線矢量的交叉條數(shù)小于第2閾值的最初體素作為所述第2體素。
14.根據(jù)權(quán)利要求13所述的醫(yī)療用圖像處理方法，其特征在于，所 述第1閾值是與所述第2閾值相等的值。
全文摘要
本發(fā)明的醫(yī)療用圖像處理裝置具有三維模型估計(jì)部，其根據(jù)從醫(yī)療用攝像裝置輸入的體腔內(nèi)的生物體組織的像的二維圖像，來估計(jì)該生物體組織的三維模型；體素檢測部，其檢測所述三維模型所具有的體素中的、相對(duì)于所述醫(yī)療用攝像裝置的視野方向存在于最近側(cè)的一個(gè)體素；以及凸起形狀檢測部，其獲取包含所述一個(gè)體素的一個(gè)曲平面，檢測在該一個(gè)曲平面中產(chǎn)生梯度變動(dòng)的位置，并且判斷在所述三維模型中的該位置處是否存在具有局部凸起形狀的生物體組織。
文檔編號(hào)G06T1/00GK101404924SQ20078000986
公開日2009年4月8日 申請(qǐng)日期2007年2月9日 優(yōu)先權(quán)日2006年3月28日
發(fā)明者中村健次, 井上涼子, 沢美穗, 田中秀樹, 西村博一 申請(qǐng)人:奧林巴斯醫(yī)療株式會(huì)社