專利名稱：醫(yī)用圖像處理裝置、管腔圖像處理裝置、管腔圖像處理方法及用于上述裝置和方法的程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)對(duì)生物體的大量的圖像數(shù)據(jù)而高效地進(jìn)行關(guān)注的性 狀的判定的醫(yī)用圖像處理裝置、基于管腔內(nèi)圖像來(lái)檢測(cè)賁門(mén)部的管腔圖 像處理裝置、管腔圖像處理方法及用于上述裝置和方法的程序。
背景技術(shù)：
以往通常在使用內(nèi)窺鏡的內(nèi)窺鏡檢查中，由內(nèi)窺鏡裝置或內(nèi)窺鏡觀
察裝置拍攝的生物體內(nèi)的圖像數(shù)據(jù)，在CRT等顯示裝置上進(jìn)行即時(shí)顯示，
并且在外部存儲(chǔ)為動(dòng)態(tài)圖像數(shù)據(jù)，醫(yī)師在檢查過(guò)程中或者檢查后作為動(dòng) 態(tài)圖像來(lái)進(jìn)行觀察診斷，或者將動(dòng)態(tài)圖像內(nèi)的幀圖像作為靜態(tài)圖像來(lái)進(jìn) 行觀察診斷。
近年來(lái)的情況是使用吞入型的膠囊內(nèi)窺鏡。
例如日本特開(kāi)2004—645號(hào)公報(bào)所述，使用膠囊內(nèi)窺鏡在體內(nèi)拍攝 到的圖像數(shù)據(jù)依次通過(guò)無(wú)線通信在外部存儲(chǔ)為動(dòng)態(tài)圖像數(shù)據(jù)，醫(yī)師作為 動(dòng)態(tài)圖像或者將動(dòng)態(tài)圖像內(nèi)的幀圖像作為靜態(tài)圖像來(lái)進(jìn)行觀察診斷。
另外如日本特開(kāi)2004—188026號(hào)公報(bào)所述，存在對(duì)靜態(tài)圖像適用圖 像解析處理，并將其解析結(jié)果在內(nèi)窺鏡圖像上或者其它顯示區(qū)域上顯示 的裝置。
醫(yī)師利用這種圖像解析結(jié)果，能夠不依賴于主觀判斷，而在IHb、 血管解析等圖像解析值這樣的客觀判定基準(zhǔn)下進(jìn)行診斷。
但是在醫(yī)師在內(nèi)窺鏡檢查后的動(dòng)態(tài)圖像的觀察或者使用膠囊內(nèi)窺鏡 的動(dòng)態(tài)圖像的觀察中，由于動(dòng)態(tài)圖像中所含的幀圖像的張數(shù)膨大，因此 從動(dòng)態(tài)圖像中找出病變疑似部位的攝像位置，同時(shí)將該位置的幀圖像逐 張地提取出以適用圖像解析處理，并基于各個(gè)圖像解析結(jié)果來(lái)進(jìn)行診斷
的作業(yè)非常耗費(fèi)勞力。
對(duì)這個(gè)問(wèn)題可以應(yīng)用所述針對(duì)靜態(tài)圖像的圖像解析裝置，來(lái)實(shí)現(xiàn)對(duì) 動(dòng)態(tài)圖像中所含的全部幀圖像一并使用相同的圖像解析處理并存儲(chǔ)其結(jié) 果的系統(tǒng)。
但是由于對(duì)全部幀圖像一并使用相同的圖像解析處理，因此導(dǎo)致處 理時(shí)間增加而必須等待長(zhǎng)時(shí)間才能得到處理結(jié)果。另外，在改變參數(shù)來(lái) 應(yīng)用圖像解析處理的情況下，也需要長(zhǎng)時(shí)間才能得到適當(dāng)?shù)奶幚斫Y(jié)果。 此外還存在在得到適當(dāng)?shù)慕馕鎏幚斫Y(jié)果之前需要存儲(chǔ)的數(shù)據(jù)量也增大的 缺點(diǎn)。
另外，在使用內(nèi)窺鏡裝置的食道檢査的篩選中，檢查是否有巴雷特
(Barrett)粘膜或者巴雷特(Barrett)食道等。巴雷特粘膜是在作為食道 和胃的連接部的胃食道接合部(EG接合部)，由于逆流性食道炎等的影 響而使形成食道的扁平上皮被置換成胃粘膜，因此也稱為圓柱上皮。當(dāng) 該巴雷特粘膜超過(guò)正常的粘膜邊界3cm以上，對(duì)于食道管腔截面全周性 地發(fā)生時(shí)則診斷為患有巴雷特食道這樣的疾病。
巴雷特食道特別在歐美人中的發(fā)病例在增加，并以高概率導(dǎo)致腺癌， 從而成為嚴(yán)重的問(wèn)題，因此巴雷特粘膜的早期發(fā)現(xiàn)非常重要。
因此希望有能夠客觀判定巴雷特食道和巴雷特粘膜等的生物體特征 量并向手術(shù)醫(yī)生提供該判定結(jié)果的醫(yī)用圖像處理裝置。
并且如上所述在醫(yī)療領(lǐng)域中廣泛使用具有圖像拍攝功能的醫(yī)療設(shè)備 來(lái)進(jìn)行體腔內(nèi)的內(nèi)臟器官的觀察和診斷。
例如在食道疾患的診斷中，在進(jìn)行胃和食道的邊界部分即賁門(mén)部的 上部的EG接合部(胃食道接合部)附近的巴雷特食道的疾患診斷的情況 卜，存在如上所述由巴雷特食道引起腺癌的情況，因此在食道部的診斷 中內(nèi)窺鏡檢查非常重要。醫(yī)生將內(nèi)窺鏡從患者的口部插入并通過(guò)觀察監(jiān) 視器畫(huà)面上顯示的內(nèi)窺鏡圖像來(lái)進(jìn)行食道的疾患診斷。
并且如上所述，近年來(lái)開(kāi)發(fā)了膠囊型內(nèi)窺鏡，醫(yī)生能夠邊觀察由膠 囊型內(nèi)窺鏡獲得的圖像邊進(jìn)行食道疾患的診斷。提出了能夠基于由膠囊 型內(nèi)窺鏡獲得的生物體圖像來(lái)進(jìn)行病變檢測(cè)的系統(tǒng)(例如參照WO
02/073507 A2號(hào)公報(bào))。
但是在上述方案的系統(tǒng)中，對(duì)于根據(jù)從食道到胃的圖像來(lái)進(jìn)行賁門(mén) 部或者賁門(mén)邊界部附近的檢測(cè)的技術(shù)并未提及。
例如若能夠?qū)S門(mén)部或者賁門(mén)部的邊界部進(jìn)行檢測(cè)，則醫(yī)生能夠?qū)?檢測(cè)出的賁門(mén)部或賁門(mén)部的邊界部的生物體組織圖像進(jìn)行詳細(xì)的觀察， 從而能夠迅速診斷巴雷特食道等病變。

發(fā)明內(nèi)容
本發(fā)明針對(duì)上述問(wèn)題而完成，目的在于提供一種能夠根據(jù)大量的圖 像數(shù)據(jù)高效地進(jìn)行關(guān)注的性狀的判定的醫(yī)用圖像處理裝置。
并且本發(fā)明目的在于提供一種能夠根據(jù)管腔內(nèi)圖像進(jìn)行賁門(mén)部的檢 測(cè)的管腔圖像處理裝置。
本發(fā)明的第一方式的醫(yī)用圖像處理裝置具有圖像提取部，其從由 體內(nèi)攝像裝置拍攝的體內(nèi)的動(dòng)態(tài)圖像數(shù)據(jù)或者連續(xù)拍攝的多幅靜態(tài)圖像 數(shù)據(jù)中提取幀圖像；以及圖像解析部，其對(duì)由所述圖像提取部提取出的 幀圖像進(jìn)行圖像解析并輸出圖像解析結(jié)果，所述圖像解析部具有第一 生物體特征檢測(cè)部，其檢測(cè)第一生物體特征；第二生物體特征檢測(cè)部， 其基于所述第一生物體特征檢測(cè)部的檢測(cè)結(jié)果，對(duì)時(shí)間上在所述第一生 物體特征檢測(cè)部在檢測(cè)中使用的圖像之前或之后所拍攝的幀圖像，檢測(cè) 第二生物體特征；以及性狀判定部，其根據(jù)所述第二生物體特征檢測(cè)部 的檢測(cè)結(jié)果，判定生物體的性狀并輸出判定結(jié)果。
本發(fā)明的第二方式的醫(yī)用圖像處理方法具有以下步驟從由體內(nèi)攝 像裝置拍攝的體內(nèi)的動(dòng)態(tài)圖像數(shù)據(jù)或者連續(xù)拍攝的多幅靜態(tài)圖像數(shù)據(jù)中 提取幀圖像的步驟；對(duì)提取出的幀圖像進(jìn)行圖像解析，檢測(cè)第一生物體 特征的步驟；基于所述第一生物體特征的檢測(cè)結(jié)果，對(duì)時(shí)間上在所述第 一生物體特征檢測(cè)部在檢測(cè)中使用的圖像之前或之后拍攝的幀圖像，檢 測(cè)第二生物體特征的步驟；基于所述第二生物體特征的檢測(cè)的檢測(cè)結(jié)果， 判定生物體的性狀并輸出判定結(jié)果的步驟。
本發(fā)明的第三方式的程序用于使計(jì)算機(jī)實(shí)現(xiàn)以下功能從由體內(nèi)攝
像裝置拍攝的體內(nèi)的動(dòng)態(tài)圖像數(shù)據(jù)或者連續(xù)拍攝的多幅靜態(tài)圖像數(shù)據(jù)中 提取幀圖像的功能；對(duì)提取出的幀圖像進(jìn)行圖像解析，檢測(cè)第一生物體
特征的功能；基于所述第一生物體特征的檢測(cè)結(jié)果，對(duì)時(shí)間上在所述第
一生物體特征檢測(cè)部在檢測(cè)中使用的圖像之前或之后拍攝的幀圖像，檢
測(cè)第二生物體特征的功能；基于所述第二生物體特征的檢測(cè)的檢測(cè)結(jié)果， 判定生物體的性狀并輸出判定結(jié)果的功能。
本發(fā)明的第四方式的管腔圖像處理裝置具有特征量計(jì)算部，其根 據(jù)對(duì)消化道進(jìn)行拍攝所得到的一幅或者多幅管腔內(nèi)圖像，通過(guò)圖像處理 來(lái)計(jì)算規(guī)定的特征量；以及邊界部檢測(cè)部，其根據(jù)計(jì)算出的所述特征量 來(lái)檢測(cè)消化道的邊界部。
本發(fā)明的第四方式的管腔圖像處理方法具有以下步驟根據(jù)對(duì)消化 道進(jìn)行拍攝所得到的一幅或者多幅管腔內(nèi)圖像，通過(guò)圖像處理來(lái)計(jì)算規(guī) 定的特征量的步驟；以及基于計(jì)算出的所述特征量來(lái)檢測(cè)消化道的邊界 部的步驟。
本發(fā)明的第四方式的程序用于使計(jì)算機(jī)實(shí)現(xiàn)以下功能根據(jù)對(duì)消化 道進(jìn)行拍攝所得到的一幅或者多幅管腔內(nèi)圖像，計(jì)算規(guī)定的特征量的功 能；以及基于計(jì)算出的所述特征量來(lái)檢測(cè)消化道的邊界部的功能。


圖1是表示具有第一實(shí)施方式的內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)的框圖。 圖2是表示將內(nèi)窺鏡從口部插入來(lái)實(shí)施內(nèi)窺鏡檢查的上部消化道的 各個(gè)部分的示意圖。
圖3是表示拍攝食道和胃的邊界附近所得到的內(nèi)窺鏡圖像例子的圖。
圖4是表示圖像處理裝置的主要部分的功能結(jié)構(gòu)的圖。 圖5是表示將在圖像存儲(chǔ)部中存儲(chǔ)的動(dòng)態(tài)圖像數(shù)據(jù)分別作為靜態(tài)圖 像數(shù)據(jù)集而存儲(chǔ)的圖。
圖6A是表示在解析信息存儲(chǔ)部中存儲(chǔ)的解析結(jié)果的圖。
圖6B是表示在通過(guò)處理程序存儲(chǔ)部23進(jìn)行解析處理時(shí)使用或者設(shè)
定的信息例的圖。
圖7是表示將解析結(jié)果與內(nèi)窺鏡圖像一起顯示的監(jiān)視器顯示例的圖。
圖8是進(jìn)行巴雷特食道的性狀判定的處理步驟的流程圖。 圖9是將進(jìn)行胃食道接合部的檢測(cè)處理的處理步驟與使用或生成的 圖像等的信息一起表示的流程圖。
圖IOA是表示柵狀血管端點(diǎn)邊界的圖。
圖10B表示柵狀血管端點(diǎn)邊界與上皮邊界的圖。
圖10C是將柵狀血管端點(diǎn)邊界等的圖像以8條放射線劃分的狀態(tài)的圖。
圖11是詳細(xì)表示圖9中柵狀血管提取處理的流程圖。
圖12A是表示用于說(shuō)明進(jìn)行圖11的處理時(shí)的動(dòng)作的圖像例的圖。
圖12B是表示用于說(shuō)明進(jìn)行圖11的處理時(shí)的動(dòng)作的圖像例的圖。
圖12C是表示用于說(shuō)明進(jìn)行圖11的處理時(shí)的動(dòng)作的圖像例的圖。
圖13是詳細(xì)表示圖10中巴雷特粘膜判定處理的流程圖。
圖14是圖9的變形例的流程圖。
圖15A是表示在圖14等的動(dòng)作說(shuō)明中使用的圖像例的圖。 圖15B是表示在圖14等的動(dòng)作說(shuō)明中使用的圖像例的圖。 圖16是詳細(xì)表示圖14中的巴雷特粘膜判定處理的流程圖。 圖17是表示第二實(shí)施方式的圖像處理裝置的主要部分的功能結(jié)構(gòu) 的圖。
圖18是表示第二實(shí)施方式的進(jìn)行巴雷特食道的性狀判定的處理步
驟的流程圖。
圖19是將進(jìn)行賁門(mén)檢測(cè)處理的處理步驟與使用或生成的圖像等的 信息一起表示的流程圖。
圖20A是圖19的動(dòng)作說(shuō)明圖。
圖20B是圖19的動(dòng)作說(shuō)明圖。
圖21是詳細(xì)表示圖19的集中度計(jì)算處理的流程圖。
圖22是表示圖19的閉口賁門(mén)判定處理的流程圖。
圖23是將變形例中的進(jìn)行賁門(mén)檢測(cè)處理的處理順序與使用或生成 的圖像等的信息一起表示的流程圖。
圖24A是圖23和圖25的動(dòng)作說(shuō)明圖。 圖24B是圖23和圖25的動(dòng)作說(shuō)明圖。 圖24C是圖23和圖25的動(dòng)作說(shuō)明圖。
圖25是詳細(xì)表示圖23中的邊緣成分生成角度計(jì)算處理的流程圖。
圖26是表示圖23的開(kāi)口賁門(mén)判定處理的流程圖。
圖27是表示實(shí)施例2的圖像處理裝置的主要部分的功能結(jié)構(gòu)的圖。
圖28是進(jìn)行巴雷特食道的性狀判定的處理步驟的流程圖。
圖29是變形例的進(jìn)行巴雷特食道的性狀判定的處理步驟的流程圖。
圖30A是表示第四實(shí)施方式的膠囊型內(nèi)窺鏡裝置的概略結(jié)構(gòu)的框圖。
圖30B是表示作為第四實(shí)施方式的管腔圖像處理裝置的終端裝置的 概略結(jié)構(gòu)的框圖。
圖31是說(shuō)明第四實(shí)施方式的膠囊型內(nèi)窺鏡的概略結(jié)構(gòu)的說(shuō)明圖。
圖32是在終端裝置中執(zhí)行的利用胃食道接合部的通過(guò)來(lái)進(jìn)行賁門(mén) 部檢測(cè)的處理流程例的流程圖。
圖33是用于說(shuō)明所得到的一系列內(nèi)窺鏡圖像中的色調(diào)變化的示意 曲線圖。
圖34是表示圖32中步驟S203的處理流程例的流程圖。
圖35是表示通過(guò)計(jì)算平均色調(diào)特征量的微分值來(lái)檢測(cè)平均色調(diào)特 征量的變化的處理流程例的流程圖。
圖36是說(shuō)明第四實(shí)施方式的第七變形例中所得到的一系列內(nèi)窺鏡 圖像中色調(diào)特征量的標(biāo)準(zhǔn)偏差或者離散值的變化的曲線圖。
圖37是表示在各幀的圖像中第四實(shí)施方式和變形例中進(jìn)行圖像處 理的區(qū)域的例子的圖。
圖38是用于說(shuō)明第五實(shí)施方式中所得到的一系列內(nèi)窺鏡圖像中的 明暗變化具體而言即亮度變化的示意曲線圖。
圖39是表示第五實(shí)施方式中基于所得到的一系列內(nèi)窺鏡圖像在終
端裝置中執(zhí)行的在通過(guò)胃食道接合部時(shí)檢測(cè)賁門(mén)部的處理流程例的流程 圖。
圖40是表示圖39中步驟S33的處理流程例的流程圖。
圖41是用于說(shuō)明取代根據(jù)上述RGB三個(gè)像素值計(jì)算的亮度，而使 用G或者B的像素?cái)?shù)據(jù)作為圖像的明暗信息時(shí)的一系列內(nèi)窺鏡圖像中G 或B的像素?cái)?shù)據(jù)的變化的示意曲線圖。
圖42是表示第五實(shí)施方式中通過(guò)計(jì)算平均亮度值的微分值來(lái)檢測(cè) 明暗變化的處理流程例的流程圖。
圖43是表示第六實(shí)施方式中膠囊型內(nèi)窺鏡位于打開(kāi)的賁門(mén)部的近 前側(cè)時(shí)的圖像例的圖。
圖44是表示第六實(shí)施方式中基于所得到的一系列內(nèi)窺鏡圖像來(lái)檢 測(cè)打開(kāi)的賁門(mén)部的處理流程例的流程圖。
圖45是表示第七實(shí)施方式中膠囊型內(nèi)窺鏡通過(guò)打開(kāi)的賁門(mén)部時(shí)的 圖像例的圖。
圖46是表示第七實(shí)施方式中基于所得到的一系列內(nèi)窺鏡圖像來(lái)檢 測(cè)打開(kāi)的賁門(mén)部的處理流程例的流程圖。
圖47是表示第七實(shí)施方式中帶通濾波處理的濾波器特性的圖。
圖48是表示對(duì)圖45的圖像實(shí)施規(guī)定的帶通濾波處理和2值化處理 所得到的結(jié)果的圖像例的圖。
圖49是表示第八實(shí)施方式中基于所得到的一系列內(nèi)窺鏡圖像來(lái)檢 測(cè)賁門(mén)部的處理流程例的流程圖。
圖50是表示第八實(shí)施方式中的提取出的邊界圖像的圖。
圖51是表示第八實(shí)施方式中對(duì)處理對(duì)象的圖像實(shí)施規(guī)定的帶通濾 波處理和2值化處理所得到的結(jié)果的圖像例的圖。
圖52是表示第九實(shí)施方式中基于所得到的一系列內(nèi)窺鏡圖像來(lái)檢 測(cè)賁門(mén)部的處理流程例的流程圖。
圖53是表示第九實(shí)施方式中通過(guò)暗部區(qū)域重心坐標(biāo)計(jì)算處理而算 出的重心位置的圖。
圖54是第九實(shí)施方式中全周性評(píng)價(jià)的說(shuō)明圖。
圖55是第九實(shí)施方式的第四變形例中基于區(qū)域比率來(lái)進(jìn)行全周性 評(píng)價(jià)的說(shuō)明圖。
圖56是第十實(shí)施方式的第四變形例中基于角度范圍來(lái)進(jìn)行全周性 評(píng)價(jià)的說(shuō)明圖。
圖57是表示第十實(shí)施方式中膠囊型內(nèi)窺鏡位于關(guān)閉的賁門(mén)部的近 前側(cè)時(shí)的圖像例的圖。
圖58是表示第十實(shí)施方式中基于所得到的一系列內(nèi)窺鏡圖像來(lái)檢 測(cè)關(guān)閉的賁門(mén)部的處理流程例的流程圖。
圖59是表示第十一實(shí)施方式中基于所得到的一系列內(nèi)窺鏡圖像來(lái) 檢測(cè)關(guān)閉的賁門(mén)部的處理流程例的流程圖。
圖60是表示用于說(shuō)明第十一實(shí)施方式中根據(jù)關(guān)閉的賁門(mén)部的圖像 而細(xì)線化的賁門(mén)形狀的圖像例的圖。
圖61是表示第十一實(shí)施方式中計(jì)算集中度的參數(shù)即離散值的處理 流程例的流程圖。
圖62是表示第十一實(shí)施方式中用于說(shuō)明分支點(diǎn)的圖像例的圖。
具體實(shí)施例方式
以下參照

本發(fā)明的實(shí)施方式。 (第一實(shí)施方式)
圖1至圖16表示第一實(shí)施方式，圖1表示具有本實(shí)施方式的內(nèi)窺鏡 系統(tǒng)的整體結(jié)構(gòu)。圖2示意表示將內(nèi)窺鏡從口部插入來(lái)實(shí)施內(nèi)窺鏡檢查 的上部消化道的各個(gè)部分。圖3表示拍攝食道和胃的邊界附近所得到的 內(nèi)窺鏡圖像例子。圖4表示本實(shí)施方式的圖像處理裝置的功能結(jié)構(gòu)。圖5 表示將在圖像存儲(chǔ)部中存儲(chǔ)的動(dòng)態(tài)圖像數(shù)據(jù)分別作為靜態(tài)圖像數(shù)據(jù)集而 存儲(chǔ)的情況。
圖6A和圖6B表示在解析信息存儲(chǔ)中存儲(chǔ)的解析結(jié)果和在處理程序 存儲(chǔ)部中存儲(chǔ)的信息等。圖7表示將解析結(jié)果與內(nèi)窺鏡圖像一起顯示的 監(jiān)視器顯示例。圖8是表示本實(shí)施方式中進(jìn)行巴雷特食道的性狀判定的 處理步驟的流程圖。圖9 一起表示進(jìn)行胃食道接合部的檢測(cè)處理的處理
步驟和使用或生成的圖像等的信息。
圖10A至圖10C表示柵狀血管端點(diǎn)邊界等。圖11表示圖9中柵狀
血管提取處理的流程圖。圖12A至圖12C表示用于說(shuō)明進(jìn)行圖11中的處 理時(shí)的動(dòng)作的圖像例。圖13表示圖10中巴雷特粘膜判定處理的流程圖。 圖14表示圖9的變形例的流程圖。圖15A和圖15B表示用于圖14等的 動(dòng)作說(shuō)明的圖像例。圖16表示圖14中巴雷特粘膜判定處理的流程圖。
圖1所示的內(nèi)窺鏡系統(tǒng)1構(gòu)成為包括內(nèi)窺鏡觀察裝置2;對(duì)通過(guò) 該內(nèi)窺鏡觀察裝置2所得到的圖像實(shí)施圖像處理的由個(gè)人計(jì)算機(jī)等構(gòu)成
的醫(yī)用圖像處理裝置(以下簡(jiǎn)稱為圖像處理裝置)3;對(duì)由該圖像處理裝
置3實(shí)施了圖像處理的圖像進(jìn)行顯示的監(jiān)視器4。
內(nèi)窺鏡觀察裝置2具有能夠插入體腔內(nèi)而形成對(duì)體內(nèi)進(jìn)行拍攝的 體內(nèi)攝像裝置的內(nèi)窺鏡6;對(duì)該內(nèi)窺鏡6供給照明光的光源裝置7;對(duì)內(nèi)
窺鏡6的攝像單元執(zhí)行信號(hào)處理的照相機(jī)控制單元(以下簡(jiǎn)稱為CCU)8; 通過(guò)輸入由該CCU 8輸出的視頻信號(hào)來(lái)顯示由攝像元件拍攝的內(nèi)窺鏡圖 像的監(jiān)視器9。
內(nèi)窺鏡6具有能夠插入體腔內(nèi)的插入部11和設(shè)置于該插入部11的 后端的操作部12。并且在插入部11內(nèi)插通有傳輸照明光的光導(dǎo)管13。
該光導(dǎo)管13的后端連接于光源裝置7。而由該光源裝置7供給的照 明光通過(guò)光導(dǎo)管13來(lái)進(jìn)行傳輸，并從在設(shè)置于插入部11的前端部14上 的照明窗上安裝的前端面射出(傳輸?shù)恼彰鞴?，來(lái)對(duì)患部等被攝體進(jìn)行 照明。
設(shè)有攝像裝置I7,其構(gòu)成為包括安裝在與照明窗相鄰的觀察窗上 的物鏡15;以及配置在該物鏡15的成像位置上的作為固態(tài)攝像元件的例 如電荷耦合元件(以下簡(jiǎn)稱為CCD) 16。另外，在該CCD 16的攝像面 上成像的光學(xué)像由該CCD 16進(jìn)行光電轉(zhuǎn)換。
該CCD16經(jīng)由信號(hào)線與CCU8連接，并通過(guò)施加來(lái)自該CCU8的 CCD驅(qū)動(dòng)信號(hào)，CCD 16輸出光電轉(zhuǎn)換后的圖像信號(hào)。該圖像信號(hào)通過(guò) CCU 8內(nèi)的視頻處理電路被進(jìn)行信號(hào)處理，而轉(zhuǎn)換為視頻信號(hào)。該視頻 信號(hào)輸出至監(jiān)視器9而在監(jiān)視器9的顯示面上顯示內(nèi)窺鏡圖像。該視頻
信號(hào)也被輸入圖像處理裝置3。
在本實(shí)施方式中，內(nèi)窺鏡6在如下情況使用將其插入部ll的前端 部14從口部插入，從食道插入至胃的邊界附近，進(jìn)行在該邊界附近是否 存在作為檢測(cè)對(duì)象粘膜的食道的普通粘膜(具體而言為扁平上皮)發(fā)生 變性、而呈現(xiàn)胃粘膜部分的性狀的粘膜即巴雷特粘膜的內(nèi)窺鏡檢查。
該情況下，與拍攝體內(nèi)的生物體粘膜表面所得到的內(nèi)窺鏡圖像對(duì)應(yīng) 的視頻信號(hào)，也輸入圖像處理裝置3，對(duì)該視頻信號(hào)通過(guò)下述的圖像處理 方法實(shí)施用于檢測(cè)(判定)巴雷特粘膜是否存在或者是否成為巴雷特食 道等疾患的狀態(tài)的處理。
該圖像處理裝置3具有輸入與從內(nèi)窺鏡觀察裝置2輸入的內(nèi)窺鏡 圖像對(duì)應(yīng)的視頻信號(hào)的圖像輸入部21;對(duì)從該圖像輸入部21輸入的圖像
數(shù)據(jù)實(shí)施圖像處理的中央運(yùn)算處理裝置即CPU 22;存儲(chǔ)通過(guò)該CUP 22 進(jìn)行圖像處理的處理程序(控制程序)的處理程序存儲(chǔ)部23。
此外該圖像處理裝置3具有存儲(chǔ)從圖像輸入部21輸入的圖像數(shù)據(jù) 等的圖像存儲(chǔ)部24;存儲(chǔ)通過(guò)CPU 22進(jìn)行了處理的解析信息等的解析 信息存儲(chǔ)部25;經(jīng)由存儲(chǔ)裝置接口 26來(lái)存儲(chǔ)通過(guò)CPU22進(jìn)行了處理的 圖像數(shù)據(jù)和解析信息等的存儲(chǔ)裝置即硬盤(pán)27;進(jìn)行用于顯示通過(guò)CPU 22 處理過(guò)的圖像數(shù)據(jù)等的顯示處理的顯示處理部28;使用者進(jìn)行圖像處理 的參數(shù)等的數(shù)據(jù)輸入和指示操作的由鍵盤(pán)等構(gòu)成的輸入操作部29。
另外，由該顯示處理部28生成的視頻信號(hào)輸出到顯示監(jiān)視器4，而 在該顯示監(jiān)視器4的顯示面上顯示經(jīng)過(guò)圖像處理的處理圖像。另外，圖 像輸入部21、 CPU 22、處理程序存儲(chǔ)部23、圖像存儲(chǔ)部24、解析信息 存儲(chǔ)部25、存儲(chǔ)裝置接口26、顯示處理部28以及輸入操作部29經(jīng)由數(shù) 據(jù)總線30而彼此連接。
本實(shí)施方式中檢查或者診斷對(duì)象部位是食道和胃的接合部周邊部， 通過(guò)對(duì)由內(nèi)窺鏡6所得到的圖像進(jìn)行圖像解析，從而進(jìn)行該周邊部是否 存在可能發(fā)生巴雷特食道的部位的性狀判定。
為此，將內(nèi)窺鏡6的插入部11從其前端側(cè)插入患者的口內(nèi)來(lái)進(jìn)行攝 像。圖2是表示在將內(nèi)窺鏡6從口部插入患者體腔內(nèi)時(shí)內(nèi)窺鏡前端所處
的體腔部分的圖。內(nèi)窺鏡6的前端部14通過(guò)插入口 31內(nèi)而從食道入口
32進(jìn)入食道33內(nèi)，途中經(jīng)過(guò)上皮邊界34和胃食道接合部35而進(jìn)入胃 36側(cè)，進(jìn)而經(jīng)過(guò)賁門(mén)37到達(dá)胃36內(nèi)部。
通過(guò)進(jìn)行插入內(nèi)窺鏡6的操作，從而能夠取得按照上述順序拍攝的 動(dòng)態(tài)圖像數(shù)據(jù)。這樣取得的動(dòng)態(tài)圖像數(shù)據(jù)存儲(chǔ)在圖像存儲(chǔ)部24中，并且 對(duì)構(gòu)成該動(dòng)態(tài)圖像數(shù)據(jù)的靜態(tài)圖像的幀圖像進(jìn)行圖像解析。
圖3是在食道33和胃36的邊界附近拍攝到的內(nèi)窺鏡圖像的例子的 概略圖。在該內(nèi)窺鏡圖像中，賁門(mén)37在朝向胃內(nèi)部的入口處開(kāi)閉。
在該賁門(mén)37的外側(cè)大致放射狀延伸的柵狀血管38是僅存在于食道 33側(cè)并且沿著食道33的管腔縱向延伸的血管。
另外，從作為食道33側(cè)的粘膜組織和胃36側(cè)的粘膜組織的邊界的 t皮邊界(圖中點(diǎn)劃線表示)34到賁門(mén)為紅色強(qiáng)的粘膜色調(diào)(分布的上 皮稱為圓柱上皮)，其相反方向?yàn)槠咨恼衬ど{(diào)(分布的上皮稱為扁 平上皮)，從而能夠通過(guò)內(nèi)窺鏡觀察來(lái)判別上皮邊界。
連接?xùn)艩钛?8的端點(diǎn)的線(圖中虛線表示)是在內(nèi)窺鏡觀察中不 易識(shí)別的邊界線(實(shí)際上并不存在線)，這稱為胃食道接合部35,是胃 36和食道33的組織上的邊界。
在正常情況下，上皮邊界34位于胃食道接合部35附近，但是當(dāng)由 于受到逆流性食道炎等的影響而使形成食道33的扁平上皮被置換為胃36 的粘膜(圓柱上皮或巴雷特粘膜)時(shí)，而該上皮邊界39上升到食道33
另外，當(dāng)該巴雷特粘膜超過(guò)正常粘膜邊界3cm以上而對(duì)于食道管腔 截面全周性地發(fā)生時(shí)，診斷為巴雷特食道疾患。
圖4表示圖像處理裝置3的主要部分的功能結(jié)構(gòu)。
由內(nèi)窺鏡6拍攝到而輸入圖像處理裝置3的動(dòng)態(tài)的圖像數(shù)據(jù)，在作 為圖像存儲(chǔ)(圖像記錄)單元的圖像存儲(chǔ)部24中存儲(chǔ)為動(dòng)態(tài)圖像數(shù)據(jù) Vml、 Vm2、…等。
此時(shí)，動(dòng)態(tài)圖像數(shù)據(jù)Vml、 Vm2、…為按照時(shí)間的經(jīng)過(guò)存儲(chǔ)了靜態(tài) 圖像的數(shù)據(jù)結(jié)構(gòu)。因此，各個(gè)動(dòng)態(tài)圖像數(shù)據(jù)Vml、 Vm2、…例如如圖5
所示，按照幀編號(hào)0、 1、…、MAX—COUNT的靜態(tài)圖像數(shù)據(jù)Vs0、 Vsl、…、 VsM (其中M二MAX一COUNT)那樣進(jìn)行分配并存儲(chǔ)于圖像存儲(chǔ)部24。
并且同時(shí)也存儲(chǔ)在圖像存儲(chǔ)部24中所存儲(chǔ)的幀的時(shí)間。另外，靜態(tài) 圖像數(shù)據(jù)也可以以通過(guò)JPEG等進(jìn)行了壓縮的圖像數(shù)據(jù)來(lái)存儲(chǔ)。
另外，當(dāng)圖像處理開(kāi)始后，從圖像存儲(chǔ)部24讀出的例如動(dòng)態(tài)圖像數(shù) 據(jù)Vml中的指定的幀編號(hào)范圍的靜態(tài)圖像數(shù)據(jù)，通過(guò)CPU 22和處理程 序而被由軟件構(gòu)成的圖像提取塊41提取讀出。圖像提取塊41構(gòu)成從體 內(nèi)的動(dòng)態(tài)圖像數(shù)據(jù)或連續(xù)拍攝的多幅靜態(tài)圖像數(shù)據(jù)中提取幀圖像數(shù)據(jù)的 圖像提取部。
然后，提取出的各靜態(tài)圖像數(shù)據(jù)依次輸送到圖像解析塊42和顯示處 理塊43。
圖像解析塊42具有檢測(cè)上皮邊界的上皮邊界檢測(cè)塊44;檢測(cè)胃 食道接合部的胃食道接合部檢測(cè)塊45;判定是否為巴雷特食道的巴雷特 食道判定塊46。圖像解析塊42構(gòu)成對(duì)由圖像提取塊41提取出的幀圖像 進(jìn)行圖像解析并輸出圖像解析結(jié)果的圖像解析部。
上皮邊界檢測(cè)塊44例如通過(guò)將圖像中的粘膜色調(diào)的不同檢測(cè)為邊 緣，從而將圖像內(nèi)存在的上皮邊界線檢測(cè)為點(diǎn)列。
胃食道接合部檢測(cè)塊45例如將連接?xùn)艩钛艿亩它c(diǎn)的線檢測(cè)為點(diǎn) 列(其檢測(cè)方法將在后面詳細(xì)敘述)。
巴雷特食道判定塊46對(duì)上皮邊界的形狀、扁平上皮的條紋狀殘留、 上皮邊界與胃食道接合部的距離、距離的標(biāo)準(zhǔn)偏差、距離的最大值/最小 值等特征量進(jìn)行計(jì)算，判定所拍攝的對(duì)象部位是否為巴雷特食道。
通過(guò)該巴雷特食道判定塊46判定的判定結(jié)果信息存儲(chǔ)于解析信息 存儲(chǔ)部25中，并且發(fā)送至顯示處理塊43，并且在經(jīng)過(guò)圖像提取塊41而 顯示于監(jiān)視器4上的靜態(tài)圖像中，顯示通過(guò)圖像解析塊42進(jìn)行解析所得 到的判定結(jié)果的信息。
圖6A表示在解析信息存儲(chǔ)部25內(nèi)存儲(chǔ)的解析結(jié)果的例子，圖6B 表示通過(guò)處理程序存儲(chǔ)部23在進(jìn)行解析處理時(shí)使用或者設(shè)定的信息的例 子。
而圖7表示在監(jiān)視器4上將判定結(jié)果的信息顯示在進(jìn)行了該解析的 靜態(tài)圖像中的顯示例。
在本實(shí)施方式中，如參照?qǐng)D8進(jìn)行說(shuō)明的那樣，在根據(jù)動(dòng)態(tài)圖像數(shù)
據(jù)來(lái)進(jìn)行是否存在包含巴雷特食道的靜態(tài)圖像數(shù)據(jù)的性狀判定時(shí)，進(jìn)行 判定是否正在對(duì)時(shí)間上在拍攝要進(jìn)行巴雷特食道的性狀判定的判定對(duì)象 部位所得到的圖像之前或之后(也包含大致同時(shí)的情況)所拍攝的具有 第一生物體特征(量)的基準(zhǔn)部位(在本實(shí)施方式中為胃食道接合部)
進(jìn)行拍攝的處理。胃食道接合部檢測(cè)塊45構(gòu)成檢測(cè)第一生物體特征的第 一生物體特征檢測(cè)部。
另外特征在于，在通過(guò)該判定處理判定為正在對(duì)該基準(zhǔn)部位進(jìn)行拍 攝的情況下，對(duì)該幀的后方側(cè)或前方側(cè)的幀的靜態(tài)圖像檢測(cè)第二生物體 特征(量)(本實(shí)施方式中為上皮邊界的特征)，并基于第二生物體特征 的檢測(cè)結(jié)果，通過(guò)采用進(jìn)行巴雷特食道判定的圖像處理步驟，從而高效 地進(jìn)行作為性狀判定對(duì)象的巴雷特食道的性狀判定。上皮邊界檢測(cè)塊44 構(gòu)成第二生物體特征檢測(cè)部，該第二生物體特征檢測(cè)部基于胃食道接合 部檢測(cè)塊45的檢測(cè)結(jié)果，對(duì)時(shí)間上在胃食道接合部檢測(cè)塊45在檢測(cè)中 使用的圖像之前或之后拍攝的幀圖像，檢測(cè)第二生物體特征。
通過(guò)進(jìn)行該圖像解析處理，對(duì)不具有第一生物體特征的圖像，可以 省略檢測(cè)第二生物體特征的處理等，并且能夠在短時(shí)間內(nèi)高效地獲得針 對(duì)作為目標(biāo)的性狀判定對(duì)象的性狀判定結(jié)果，即使在存在大量圖像數(shù)據(jù) 的情況下也能夠應(yīng)對(duì)。
下面參照?qǐng)D8的流程圖來(lái)對(duì)本實(shí)施方式的圖像處理裝置3的動(dòng)作進(jìn) 行說(shuō)明。
當(dāng)使用者對(duì)按照處理程序進(jìn)行處理的CPU 22從輸入操作部29指定 了動(dòng)態(tài)圖像數(shù)據(jù)的文件名時(shí)，CPU 22從圖像存儲(chǔ)部24讀出所指定的動(dòng) 態(tài)圖像數(shù)據(jù)的最大幀數(shù)，并且如圖6B所示代入到表示最大幀數(shù)的參數(shù) MAX—COUNT，按照處理程序開(kāi)始處理。
在最初的步驟S1中，CPU22進(jìn)行幀編號(hào)變量COUNT的初始設(shè)定， 即設(shè)定為COUNT二0。
在下一步驟S2中，CPU 22將幀編號(hào)變量COUNT和MAX—COUNT 進(jìn)行比較，如果COUNPMAX—COUNT則結(jié)束該處理。
當(dāng)該步驟S2的判定為相反結(jié)果即COUNT《MAX_COUNT時(shí)，進(jìn) 入步驟S3，在該步驟S3中，圖像提取塊41提取出幀編號(hào)二COUNT的圖像。
另外，在下一步驟S4中，胃食道接合部檢測(cè)塊45在本實(shí)施方式中 進(jìn)行胃食道接合部檢測(cè)的處理，作為根據(jù)該幀編號(hào)的圖像進(jìn)行檢測(cè)第一 生物體特征(以下將生物體特征簡(jiǎn)稱為特征)的處理。
根據(jù)檢測(cè)處理的結(jié)果是否獲得表示胃食道接合部35的線的點(diǎn)列，如 步驟S5所示進(jìn)行是否存在胃食道接合部35的判定。
然后，在該步驟S5中，當(dāng)判定為不存在胃食道接合部35時(shí)，中斷 步驟S3、 S4的處理而進(jìn)入下一步驟S6，使幀編號(hào)變量COUNT的值增加 1并返回步驟S2，重復(fù)從步驟S2到步驟S6的處理。
另一方面，當(dāng)在步驟S5中判定為存在胃食道接合部35時(shí)，轉(zhuǎn)入步 驟S7的檢測(cè)第二特征，并基于該檢測(cè)結(jié)果進(jìn)行是否為作為性狀判定對(duì)象 的巴雷特食道的性狀判定處理側(cè)的處理。
在該步驟S7中，為了開(kāi)始巴雷特食道的判定處理，進(jìn)行變量N的 設(shè)定，具體而言是設(shè)定為變量N-0。
然后，在下一步驟S8中，對(duì)N和規(guī)定的常數(shù)MAX一N進(jìn)行比較， 該MAX_N具體而言是需要進(jìn)行是否為巴雷特食道的判定處理的最大的 幀編號(hào)。另外，如果比較結(jié)果為N〉MAX—N則結(jié)束該處理。在本實(shí)施方 式中，對(duì)于在這樣預(yù)先設(shè)定的最大的幀編號(hào)之后的幀編號(hào)不進(jìn)行是否為 巴雷特食道的判定。
另一方面，當(dāng)步驟S8的比較為相反結(jié)果，即N《MAX一X時(shí)，進(jìn)入 步驟S9，在該步驟S9中，圖像提取塊41提取出幀編號(hào)-COUNT+N的 圖像。即，從檢測(cè)到胃食道接合部35的圖像中提取出在時(shí)間上經(jīng)過(guò)了N 幀的圖像(在此時(shí)刻，由于N是初始設(shè)定的0的狀態(tài)，所以最初從檢測(cè) 出胃食道接合部35的圖像開(kāi)始進(jìn)行巴雷特食道的判定處理，像通過(guò)以后 的處理可知的那樣對(duì)時(shí)間上后拍攝的圖像依次進(jìn)行是否為巴雷特食道的
判定處理)。
然后，在步驟S10中，胃食道接合部檢測(cè)塊45根據(jù)該幀編號(hào)的圖像
進(jìn)行胃食道接合部35的檢測(cè)處理。
然后，在下一步驟Sll中，上皮邊界檢測(cè)塊44根據(jù)該幀編號(hào)的圖像 來(lái)進(jìn)行第二特征檢測(cè)處理即上皮邊界34的檢測(cè)處理。另外，檢測(cè)上皮邊 界34的處理，通過(guò)例如日本特愿2004—360319號(hào)中圖4的步驟Sl到S4 的處理來(lái)檢測(cè)上皮邊界34。具體而言，由于食道側(cè)的扁平上皮和胃?jìng)?cè)的 圓柱上皮如上所述色調(diào)存在差異，因此在對(duì)內(nèi)窺鏡圖像數(shù)據(jù)實(shí)施邊緣處 理和細(xì)線化處理之后，通過(guò)獲得連接所生成的邊界的點(diǎn)列的、沿著邊界 的坐標(biāo)點(diǎn)列，從而能夠算出(檢測(cè))上皮邊界34的坐標(biāo)。
在下一步驟S12中，巴雷特食道判定塊46使用表示在步驟S10中檢
測(cè)出的胃食道接合部35的線的點(diǎn)列、以及表示在步驟sn中檢測(cè)出的上
皮邊界34的線的點(diǎn)列，來(lái)判定所拍攝的圖像中的成為性狀判定對(duì)象的部 位是否為巴雷特食道。巴雷特食道判定塊46構(gòu)成性狀判定部，該性狀判 定部基于上皮邊界檢測(cè)部44的檢測(cè)結(jié)果，來(lái)判定生物體的性狀并輸出判 定結(jié)果。
具體而言，通過(guò)在后述的圖13的巴雷特粘膜的判定處理中所說(shuō)明的 處理，從而能夠判定是否為巴雷特食道。
然后，該巴雷特食道判定塊46在步驟S13中將是否為巴雷特食道的 判定結(jié)果和幀編號(hào)發(fā)送給顯示處理塊43。顯示處理塊43從其內(nèi)部未圖示 的緩存內(nèi)將指定的幀編號(hào)所表示的圖像數(shù)據(jù)提取出，并在該圖像數(shù)據(jù)上 疊加判定結(jié)果。然后，將該圖像數(shù)據(jù)傳輸?shù)奖O(jiān)視器4，在顯示面上一并顯 示該圖像和判定結(jié)果。
例如在判定為巴雷特食道的情況下，如圖6B所示，在該判定對(duì)象的 圖像中，例如顯示"疑似巴雷特食道"。
該步驟S13的處理后，在下一步驟S14中使變量N增加1后返回步 驟S8。另外，重復(fù)從步驟S8到步驟S14的處理。這樣，當(dāng)變量N超過(guò) 其最大值MAX—N時(shí)結(jié)束該處理。
根據(jù)實(shí)現(xiàn)這樣的結(jié)構(gòu)和處理的本實(shí)施方式，在對(duì)構(gòu)成所拍攝的內(nèi)窺
鏡圖像的動(dòng)態(tài)圖像數(shù)據(jù)的作為解析對(duì)象的靜態(tài)圖像數(shù)據(jù)進(jìn)行是否為巴雷 特食道的圖像解析時(shí)，按照拍攝順序來(lái)進(jìn)行檢測(cè)圖像的處理，該圖像具 有作為存在于進(jìn)行巴雷特食道判定的部位的周邊部的柵狀血管端點(diǎn)的胃 食道接合部35的特征。然后，對(duì)于通過(guò)該處理檢測(cè)為具有該特征的圖像 后面的圖像，進(jìn)行巴雷特食道的性狀判定所需的上皮邊界34的特征檢測(cè)
處理以及根據(jù)其檢測(cè)結(jié)果與胃食道接合部35的位置關(guān)系等來(lái)判定是否為
巴雷特食道，因此能夠高效地判定是否為巴雷特食道等。
另外，如下所述也能夠?qū)Π屠滋厥车篮桶l(fā)生該巴雷特食道疾患之前
的前期癥狀即巴雷特粘膜(巴雷特上皮)進(jìn)行判定，從而能夠進(jìn)行有利
于早期治療等的判定。
另外，在本實(shí)施方式中，預(yù)先設(shè)定進(jìn)行是否為巴雷特食道的性狀判
定的最大幀編號(hào)，對(duì)于該最大幀編號(hào)之后的幀編號(hào)的圖像，不進(jìn)行是否
為巴雷特食道的性狀判定，從而能夠防止對(duì)不需要進(jìn)行是否為巴雷特食
道的性狀判定的圖像浪費(fèi)時(shí)間。
艮P,在如圖2所示從口 31側(cè)按照順序?qū)κ车?3內(nèi)進(jìn)行拍攝，直到 拍攝了胃36的內(nèi)部即賁門(mén)37的內(nèi)部的情況下，對(duì)于胃內(nèi)部側(cè)的圖像， 成為不需要進(jìn)行是否為巴雷特食道的性狀判定的圖像。在這種情況下， 通過(guò)預(yù)先將該圖像的幀編號(hào)設(shè)定為MAX—N，從而能夠不進(jìn)行是否為巴雷 特食道的性狀判定。
下面參照?qǐng)D9到圖13對(duì)胃食道接合部35的檢測(cè)處理進(jìn)行說(shuō)明。下 面對(duì)在檢測(cè)出胃食道接合部35之后進(jìn)一步進(jìn)行到上皮邊界34的檢測(cè)以 及巴雷特粘膜判定處理的圖像解析處理的情況進(jìn)行說(shuō)明。該圖像解析處 理的目的在于提供適當(dāng)?shù)嘏卸ㄊ欠駷榘屠滋卣衬さ难b置以及方法，通過(guò) 進(jìn)行這樣的圖像解析處理，從而能夠適當(dāng)?shù)嘏卸ㄊ欠駷榘屠滋卣衬ぁ?br> 此時(shí)的處理步驟以及所生成的數(shù)據(jù)等如圖9所示。圖9中左側(cè)表示 處理內(nèi)容，而右側(cè)框內(nèi)表示使用或生成的圖像等的信息。
開(kāi)始圖像解析的處理后，在最初的步驟S21中，對(duì)處理對(duì)象圖像進(jìn) 行邊緣提取處理。該邊緣提取處理例如對(duì)RGB圖像中的G色成分圖像應(yīng) 用帶通濾波器來(lái)生成邊緣圖像。
使用帶通濾波器的邊緣提取方法是公知技術(shù)。另外，也可以根據(jù)處 理對(duì)象圖像并使用亮度成分來(lái)生成邊緣圖像。在除了血管的邊緣以外也 提取其它形狀(輪廓)的邊緣的情況下，如果將對(duì)于處理對(duì)象圖像的R 成分應(yīng)用帶通濾波器提取的形狀的邊緣除外，則能夠僅提取出血管的邊 緣。
另外，與圖8的步驟S4的胃食道檢測(cè)處理相當(dāng)?shù)奶幚聿糠郑褂脠D
9中的步驟S21到步驟S26。
在圖9的下一步驟S22中，對(duì)邊緣圖像進(jìn)行2值化處理，生成2值 化圖像。本實(shí)施方式中的2值化處理通過(guò)將邊緣圖像的各個(gè)像素的像素 值與規(guī)定的閾值進(jìn)行大小比較，從而確定2值化圖像的各個(gè)像素為0或 為1。
在下一步驟S23中，對(duì)2值化圖像應(yīng)用公知的細(xì)線化方法，進(jìn)行細(xì) 線化處理而生成細(xì)線化圖像。
在下一步驟S24中，對(duì)該細(xì)線化圖像進(jìn)行提取食道33所特有的柵狀 血管的柵狀血管提取處理，并保存所提取出的柵狀血管信息。該處理的 流程如圖11所示(其說(shuō)明將在后面進(jìn)行)。
在下一步驟S25中，取得在上述柵狀血管提取處理中保存的柵狀血 管的端點(diǎn)坐標(biāo)，在步驟S26中進(jìn)行利用線段連接端點(diǎn)坐標(biāo)點(diǎn)列的邊界線 生成處理，生成(取得)邊界線信息。通過(guò)該處理所生成的邊界線信息， 具體而言柵狀血管端點(diǎn)邊界如圖IOA所示。
另外，在步驟S27中，生成包含通過(guò)上述邊界線圖像生成處理取得 的邊界線信息(柵狀血管端點(diǎn)邊界)、預(yù)先取得的暗部和上皮邊界34的 邊界線圖像。該圖像如圖10B所示。
在下一步驟S28中，根據(jù)預(yù)先取得的扁平上皮與圓柱上皮的上皮邊 界34的位置關(guān)系信息，進(jìn)行判定是否為巴雷特食道或者巴雷特粘膜的巴 雷特食道判定處理。對(duì)于該處理將在后面參照?qǐng)D13進(jìn)行詳細(xì)敘述。
這樣，進(jìn)行巴雷特食道或巴雷特粘膜的判定，顯示其判定結(jié)果而結(jié) 束該處理。
下面參照?qǐng)D11對(duì)圖9的步驟S24的柵狀血管提取處理進(jìn)行說(shuō)明。
開(kāi)始該柵狀血管提取處理后，在最初的步驟S31中，從細(xì)線化圖像 取得未處理的線段。此時(shí)的圖像例如圖12A所示。
在下一步驟S32中將線段的像素?cái)?shù)作為線段長(zhǎng)度L進(jìn)行計(jì)算。然后， 在下一步驟S33中對(duì)算出的線段長(zhǎng)度L和規(guī)定的閾值threl進(jìn)行比較而判 定其大小。在該判定處理中，如果L〉therl則進(jìn)入下一步驟S34，而如果 L《thed則判定為該線段不是柵狀血管而轉(zhuǎn)入步驟S41。在本實(shí)施方式中 例如therl二50。
在步驟S34中計(jì)算線段的分支/交叉點(diǎn)數(shù)C、彎折點(diǎn)數(shù)B，并且在步 驟S35中判定與規(guī)定的閾值e的大小。如果C《Cth且B< e則進(jìn)入下一 步驟S36，當(dāng)OCth或者B》e則判定為該線段并非作為提取對(duì)象的柵 狀血管，而是樹(shù)枝狀血管并轉(zhuǎn)入步驟S41。在本實(shí)施方式中，設(shè)定成Cth =0， e =3。
在步驟S36中，從線段的兩個(gè)端點(diǎn)中取得更接近預(yù)先取得的圖像暗 部的一個(gè)端點(diǎn)，在步驟S37中計(jì)算連接端點(diǎn)和暗部中心的矢量v。
在下一步驟S38中計(jì)算矢量v與連接線段終點(diǎn)和起點(diǎn)的直線所成的 角6 。然后在下一步驟S39中判定算出的角6與規(guī)定的閾值thre2之間的 大小。
然后在步驟S39的判定處理中，如果G <thre2 (例如圖12B中的e 1)則進(jìn)入下一步驟S40，相反地當(dāng)9》thre2 (例如圖12B中的0 2)則 判定為該線段不是柵狀血管而轉(zhuǎn)入步驟S41。在本實(shí)施方式中，設(shè)定成 thre2=45度。
在步驟S40中，對(duì)于在步驟S31中提取出的線段，將滿足步驟S39 的判定條件的線段判定為柵狀血管，將與該線段有關(guān)的信息(所述的線 段長(zhǎng)度L、線段的分支/交叉點(diǎn)數(shù)C、彎折點(diǎn)數(shù)B、線段的坐標(biāo)點(diǎn)列、端 點(diǎn)坐標(biāo)、角9 )保存為柵狀血管信息。這樣，能夠如圖12C所示提取柵 狀血管。
如上所述，從步驟S31到S35的處理，在胃食道接合部檢測(cè)塊45 中構(gòu)成處理部，該處理部對(duì)柵狀血管考慮對(duì)幀圖像數(shù)據(jù)實(shí)施細(xì)線化處理 所得到的線段的分支點(diǎn)數(shù)、交叉點(diǎn)數(shù)、彎折點(diǎn)數(shù)，來(lái)判定線段是否為柵
狀血管。另外，從步驟S36到S39的處理，在胃食道接合部檢測(cè)塊45中 構(gòu)成處理部，該處理部對(duì)柵狀血管進(jìn)一步考慮連接對(duì)幀圖像數(shù)據(jù)實(shí)施細(xì) 線化處理所得到的線段的兩端的線段、與連接幀圖像的圖像暗部的暗部 中心和兩端中更接近所述圖像暗部的一個(gè)端部的矢量所成的角度，來(lái)判 定線段是否為柵狀血管。
另外，在步驟S41中判定是否有未處理的線段，如果有未處理的線 段則實(shí)施到步驟S31的循環(huán)處理，如果沒(méi)有未處理的線段則結(jié)束該處理。
另外，在步驟S36 步驟S39中，也可以使用匹配濾波器而僅提取 在暗部方向上延伸的血管。
下面參照?qǐng)D13說(shuō)明圖9的步驟S28的巴雷特粘膜判定處理。在步驟 S51中取得通過(guò)所述的邊界線圖像生成處理所生成的邊界線圖像。如圖 IOB所示。
在下一步驟S52中以規(guī)定的條數(shù)即N條放射線來(lái)劃分該圖像整體。 例如N=8時(shí)的劃分情況如圖10C所示。
在下一步驟S53中，將表示第i條放射線[i]的變量i設(shè)定為初始值1 。
然后，在下一步驟S54中，計(jì)算第i條放射線[i]與上皮邊界34的交 點(diǎn)Pl和第i條放射線[i]與形成的邊界的交點(diǎn)P2。計(jì)算出點(diǎn)Pl和點(diǎn)P2的 圖像如圖IOC所示。
在下一步驟S55中計(jì)算點(diǎn)Pl和點(diǎn)P2間的距離Q[i]。
在下一步驟S56中判定是否對(duì)全部的放射線進(jìn)行了處理。g卩，判定 i是否為放射線數(shù)N，當(dāng)未達(dá)到N時(shí)在步驟S57中使i增加1，然后返回 步驟S54，實(shí)施同樣的處理，當(dāng)對(duì)全部放射線完成了處理后進(jìn)入步驟S58。
這樣對(duì)全部放射線即N條放射線計(jì)算了點(diǎn)Pl和P2間的距離Q[i]后， 在步驟S58中使用該N個(gè)距離Q[i]來(lái)計(jì)算離散值o 。
在下一步驟S59中，判定離散值o與規(guī)定的閾值thre3之間的大小。 然后，當(dāng)o >thre3時(shí)進(jìn)入步驟S60，反之當(dāng)o《thre3時(shí)判定為該圖像不 是觀察到巴雷特粘膜的圖像而結(jié)束該處理。本實(shí)施方式中thre3 = 5。
在步驟S60中對(duì)于在步驟S51中取得的圖像，當(dāng)滿足步驟S59的判 定條件時(shí)判定為是觀察到巴雷特粘膜的圖像，并對(duì)該判定結(jié)果進(jìn)行顯示或通知以及保存等處理后結(jié)束該處理。
根據(jù)圖9至圖13所示的處理來(lái)判定是否為巴雷特粘膜(巴雷特上 皮)，從而能夠進(jìn)行高精度的判定。
艮口，在這樣的處理中，對(duì)胃食道接合部35和上皮邊界34分別進(jìn)行
檢測(cè)，根據(jù)其檢測(cè)結(jié)果來(lái)判定是否為巴雷特粘膜，從而能夠進(jìn)行適當(dāng)?shù)?且高精度的判定。
另外，也可以對(duì)圖13的部分處理作以下變更，計(jì)算(推定)圖像中 食道33的半徑(或直徑)，采用已知的統(tǒng)計(jì)值作為該半徑值，從而能夠 近似定量地判定是否包含巴雷特粘膜和巴雷特食道。
在圖13中例如步驟S55和S56之間進(jìn)行還計(jì)算暗部中央0到點(diǎn)Pl (或暗部中央0到點(diǎn)P2)的距離(為了清楚地說(shuō)明而表示為R[i])的處 理。
另外，經(jīng)過(guò)步驟S56的判定處理對(duì)全部放射線[i]計(jì)算點(diǎn)Pl和P2間 的距離Q[i]以及距離R[i]。然后不進(jìn)行圖13的步驟S58的距離Q[i]的離 散值o的計(jì)算，而是計(jì)算上述距離R[i]的平均值Rav，將該平均值Rave 作為食道33中的上皮邊界34附近的半徑的評(píng)價(jià)值(推定值)。
預(yù)先將與普通成年人或者患者的體型類似的人的食道33的統(tǒng)計(jì)上 的半徑值Rs (cm)存儲(chǔ)于存儲(chǔ)器等中，將半徑值Rs用作上述平均值Rav 來(lái)評(píng)價(jià)上述點(diǎn)Pl和P2間的距離Q[i]的平均值。
然后，判定該距離Q[i]的平均值是否為3.0cm以上，在3.0cm以上 的情況下判定為巴雷特食道。
艮P，考慮分別與從規(guī)定的點(diǎn)即暗部中央O放射狀放射的多條放射線 相交的上皮邊界和暗部中央O之間的各距離或者胃食道接合部與暗部中 央O之間的各距離，來(lái)判定是否存在巴雷特食道。
另外，當(dāng)距離Q[i]的平均值為例如1.5cm左右時(shí)，判定為巴雷特粘 膜已經(jīng)有相當(dāng)?shù)陌l(fā)展的狀態(tài)。另外，當(dāng)距離Q[i]的平均值為例如0.5cm左 右時(shí)，則能夠判定為出現(xiàn)巴雷特粘膜化的早期癥狀等。
這樣根據(jù)本變形例，能夠以近似定量的狀態(tài)判定是否為巴雷特食道，
并且能夠在巴雷特粘膜的情況下定量地判定巴雷特粘膜的癥狀的發(fā)展程
度，通過(guò)顯示其判定結(jié)果等而易于進(jìn)行早期治療。
另外，也可以代替圖9的巴雷特粘膜判定處理，而執(zhí)行圖14所示的 變形例的流程圖。
本變形例與前述處理流程圖的不同點(diǎn)在于，代替圖9中的步驟S25 的血管端點(diǎn)提取處理、步驟S26的邊界線生成處理以及步驟S27的邊界 線圖像生成處理，而如圖14所示執(zhí)行步驟S61的上皮邊界柵狀血管圖像 生成處理。使用通過(guò)該處理生成的上皮邊界柵狀血管圖像，來(lái)進(jìn)行步驟 S62的巴雷特粘膜判定處理。
在步驟S61的上皮邊界柵狀血管圖像生成處理中，如圖15A所示生 成上皮邊界柵狀血管圖像，該上皮邊界柵狀血管圖像包含在上述柵狀 血管提取處理中取得的柵狀血管，以及預(yù)先取得的暗部和上皮邊界線。
然后，在下一步驟62中，使用在前一步驟S61中生成的上皮邊界柵 狀血管圖像，來(lái)進(jìn)行巴雷特粘膜判定處理。該巴雷特粘膜判定處理的流 程圖如圖16所示。
如圖16所示在最初的步驟S63中，取得包含預(yù)先取得的上皮邊界 34和柵狀血管的圖像。
在下一步驟S64中，對(duì)與上皮邊界線交叉的柵狀血管數(shù)J進(jìn)行初始 化，即設(shè)定為J二0。
在下--步驟S65中，從Q條柵狀血管中取得處理對(duì)象血管。進(jìn)而在 下一步驟S66中，判定處理對(duì)象血管是否與上皮邊界34相交。當(dāng)相交時(shí)， 進(jìn)入下一步驟S67而使柵狀血管數(shù)J增加1 ，在不相交的情況下則返回步 驟S65的處理而取得下一處理對(duì)象血管并重復(fù)相同的處理。
在進(jìn)行步驟S67之后，在下一步驟S68中判定是否對(duì)全部的柵狀血 管進(jìn)行了處理，如果有未處理的柵狀血管則返回步驟S65并重復(fù)相同的 處理，反之如果對(duì)全部的柵狀血管完成了處理則進(jìn)入下一步驟S69。
這樣計(jì)算與上皮邊界34相交的柵狀血管數(shù)J的圖像例如圖15B所 示。在該圖15B的情況下，柵狀血管數(shù)Q為7，其中有6 (二J)條與上 皮邊界34相交。
在步驟S69中，判定J/Q與規(guī)定的閾值thre4之間的大小。并且，當(dāng)
J/Q>thre4時(shí)進(jìn)入下一步驟S70,反之如果J/Q《thre4，則判定為該圖像沒(méi) 有觀察到巴雷特粘膜而結(jié)束該處理。在本實(shí)施方式中，設(shè)定成thre4-0.5。
在步驟S70中，當(dāng)在步驟S63中取得的圖像滿足步驟S66和步驟S69 的判定條件時(shí)，判定為是觀察到巴雷特粘膜的圖像，并在監(jiān)視器4上進(jìn) 行顯示等而結(jié)束該處理。
在本變形例中，能夠根據(jù)在上皮邊界34的內(nèi)側(cè)存在什么樣程度的柵 狀血管的端點(diǎn)，來(lái)判定是否為巴雷特粘膜。
如上所述根據(jù)本實(shí)施方式，在對(duì)于構(gòu)成內(nèi)窺鏡圖像的動(dòng)態(tài)圖像數(shù)據(jù) 的大量的靜態(tài)圖像數(shù)據(jù)進(jìn)行是否為巴雷特食道的解析時(shí)，進(jìn)行檢測(cè)具有 胃食道接合部35的特征的圖像的處理，該胃食道接合部35為存在于進(jìn) 行巴雷特食道判定的部位的周邊部的作為第一特征部位的柵狀血管的胃 側(cè)端點(diǎn)，并對(duì)通過(guò)該處理檢測(cè)出的圖像之后的圖像，進(jìn)行作為第二特征 部位的上皮邊界34的檢測(cè)處理等，判定是否為巴雷特食道，從而能夠高 效地進(jìn)行是否為巴雷特食道等的性狀判定。因此能夠獲得可減少通過(guò)手 動(dòng)作業(yè)進(jìn)行提取作業(yè)的勞動(dòng)量的效果。
另外，如上所述被設(shè)定為最初檢測(cè)該特征的第一特征部位的胃食道 接合部35，也能夠用于巴雷特食道的性狀判定，從而可有效地利用該特 征的檢測(cè)。
另外，由于也能夠進(jìn)行成為巴雷特食道的疾患之前的前期癥狀的巴 雷特粘膜(巴雷特上皮)的判定，從而能夠進(jìn)行適合于早期治療等的判定。
另外，能夠?qū)Σ恍枰M(jìn)行是否為巴雷特食道的判定的圖像不進(jìn)行該 處理。
另外，雖然在本實(shí)施方式中使用動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行了說(shuō)明，但是對(duì) 于在一次檢查中連續(xù)的多個(gè)靜態(tài)圖像數(shù)據(jù)也能夠適用(同樣地也能夠適 用于其它實(shí)施方式)。 (第二實(shí)施方式)
下面參照?qǐng)D17至圖26對(duì)第二實(shí)施方式進(jìn)行說(shuō)明。在上述第一實(shí)施 方式中，為了進(jìn)行是否為巴雷特食道的判定，最初通過(guò)進(jìn)行胃食道接合
部35的檢測(cè)處理，從而對(duì)包含胃食道接合部35的圖像進(jìn)行檢測(cè)。
胃食道接合部35的檢測(cè)處理由于檢測(cè)處理的負(fù)荷大，因而處理速度
慢，尚存在改善處理速度和檢測(cè)速度的余地。作為能夠以更快的處理速
度來(lái)進(jìn)行胃食道接合部35的檢測(cè)，可預(yù)測(cè)到檢測(cè)精度高的生物體部位的 檢測(cè)處理，考慮賁門(mén)檢測(cè)處理。
在本實(shí)施方式中著眼于這一點(diǎn)來(lái)提高處理速度等。 本實(shí)施方式的圖像處理裝置的硬件結(jié)構(gòu)能夠與第一實(shí)施方式同樣地 采用圖l。另外，本實(shí)施方式的通過(guò)處理程序由CPU22構(gòu)成的功能性結(jié) 構(gòu)如圖17所示。圖17所示的結(jié)構(gòu)在圖4的結(jié)構(gòu)中的圖像解析塊42內(nèi)還 具有賁門(mén)檢測(cè)塊47。賁門(mén)檢測(cè)塊47構(gòu)成檢測(cè)第一生物體特征的第一生物 體特征檢測(cè)部。
本實(shí)施方式的處理流程圖如圖18所示。按照該流程圖進(jìn)行巴雷特食 道的判定并顯示判定結(jié)果等。
上述賁門(mén)檢測(cè)塊47例如進(jìn)行暗部的檢測(cè)、以及根據(jù)檢測(cè)到的暗部的 形狀和暗部的邊緣附近的亮度變化的劇烈程度來(lái)檢測(cè)在圖像數(shù)據(jù)內(nèi)存在 的賁門(mén)37。其具體內(nèi)容將在后面參照?qǐng)D19進(jìn)行說(shuō)明。
圖18所示的處理步驟，是在圖8的流程圖的處理步驟中，代替步驟 S4的胃食道接合部35的檢測(cè)處理，而進(jìn)行步驟S4'的賁門(mén)37的檢測(cè)處 理，并且代替步驟S4之后的步驟S5的胃食道接合部35的存在判定處理， 而變更為進(jìn)行步驟S5'的賁門(mén)37的存在判定處理。
另夕卜，代替在圖8的處理步驟中的步驟S9的提取幀編號(hào)-COUNT 十N的圖像，而如圖18的步驟S9'所示，提取幀圖像-COUNT—N的 圖像。
艮P，在第一實(shí)施方式中，由于胃食道接合部35是判定巴雷特食道的 部位周邊部，因此通過(guò)檢查時(shí)間上處于在圖像中檢測(cè)到該部位的狀態(tài)之 后的圖像，從而獲得與該部位周邊部更接近的圖像，因此能夠應(yīng)對(duì)邊將 內(nèi)窺鏡6的前端部14插入邊進(jìn)行攝像時(shí)的攝像條件。
與此相對(duì)，由圖2可知，賁門(mén)37是作為通過(guò)胃食道接合部35和上 皮邊界34而進(jìn)入胃內(nèi)部的入口的部位，因此提取在時(shí)間上從進(jìn)行了該賁
門(mén)檢測(cè)的圖像往回追溯N幀的幀圖像。然后，按照從該圖像開(kāi)始向更早 拍攝的圖像追溯的方向來(lái)依次進(jìn)行是否為巴雷特食道的判定。'
根據(jù)本實(shí)施方式，在進(jìn)行了檢測(cè)處理的負(fù)荷比胃食道接合部35的檢
測(cè)小的賁門(mén)37的檢測(cè)后，根據(jù)檢測(cè)到該賁門(mén)37的圖像來(lái)進(jìn)行巴雷特食 道的判定處理，從而能夠在更短的時(shí)間內(nèi)進(jìn)行巴雷特食道的判定。
因此，能夠更高效地轉(zhuǎn)入巴雷特食道的判定處理側(cè)，并以更短的時(shí) 間獲得與第一實(shí)施方式相同的效果。
下面參照?qǐng)D19至圖22對(duì)賁門(mén)37的檢測(cè)處理進(jìn)行說(shuō)明。圖19 一并 表示進(jìn)行關(guān)閉時(shí)的閉口賁門(mén)檢測(cè)的處理流程和使用的數(shù)據(jù)或者生成的數(shù) 據(jù)。
幵始賁門(mén)37的檢測(cè)處理后，如步驟S71所示對(duì)處理對(duì)象圖像進(jìn)行邊 緣檢測(cè)處理，生成邊緣圖像。
該邊緣提取處理在本實(shí)施方式中，通過(guò)對(duì)R色成分圖像應(yīng)用帶通濾 波器來(lái)生成邊緣圖像。
使用帶通濾波器的邊緣提取方法是公知技術(shù)。另外，也可以根據(jù)處 理對(duì)象圖像并使用亮度成分來(lái)生成邊緣圖像。
在下一步驟S72中，對(duì)邊緣圖像進(jìn)行2值化處理，生成2值化圖像。 本實(shí)施方式的2值化處理，通過(guò)對(duì)邊緣圖像的各個(gè)像素的像素值與規(guī)定 的閾值進(jìn)行大小比較，從而確定2值化圖像的各個(gè)像素為0或?yàn)?。
在下一步驟S73中，對(duì)2值化圖像應(yīng)用公知的細(xì)線化方法，進(jìn)行細(xì) 線化處理而生成細(xì)線化圖像。所生成的細(xì)線化圖像例如圖20A所示。
在下一步驟S74中，進(jìn)行計(jì)算該細(xì)線化圖像中的全部細(xì)線的分支/交 叉點(diǎn)的分支/交叉點(diǎn)計(jì)算處理。圖20B表示對(duì)圖20A的細(xì)線化圖像計(jì)算的 分支/交叉點(diǎn)的例子。在該圖20B中示出了分支/交叉點(diǎn)數(shù)Nc為5的情況。
將通過(guò)該步驟S74的分支/交叉點(diǎn)計(jì)算處理算出的分支/交叉點(diǎn)的坐 標(biāo)保存為分支/交叉點(diǎn)信息。
在下一步驟S75中，進(jìn)行根據(jù)上述分支/交叉點(diǎn)的坐標(biāo)值來(lái)計(jì)算分支 /交叉點(diǎn)的集中度的集中度計(jì)算處理，計(jì)算集中度信息。
按照?qǐng)D21的流程圖對(duì)該集中度計(jì)算處理進(jìn)行說(shuō)明。在最初的步驟
S77中，取得上述Nc個(gè)分支/交叉點(diǎn)的坐標(biāo)值。在下一步驟S78中，針對(duì) Nc個(gè)分支/交叉點(diǎn)的x坐標(biāo)值的離散值ox、 y坐標(biāo)值的離散值oy，計(jì)算 這兩個(gè)離散值ox, oy。然后，在下一步驟S79中，將算出的這兩個(gè)離 散值ox、 。y保存為集中度信息而結(jié)束該處理。
另外，也可以代替在該集中度計(jì)算處理中進(jìn)行的離散值計(jì)算，而求 出標(biāo)準(zhǔn)偏差或者變化系數(shù)或者距Nc個(gè)分支/交叉點(diǎn)的重心的距離的平均 值等，并將其作為集中度信息。
返回圖19，使用通過(guò)步驟S75的集中度計(jì)算處理算出的集中度信息， 在下一步驟S76中進(jìn)行閉口賁門(mén)判定處理。
該閉口賁門(mén)判定處理如圖22的步驟S76a所示，分別對(duì)分支/交叉點(diǎn) 數(shù)Nc和集中度信息(o x、 cj y)與各自的規(guī)定的閾值thre—N和thre—x、 threj之間的大小關(guān)系進(jìn)行比較判定。
然后，在步驟S76a中，當(dāng)判定為滿足Nothre一N且ox々hre—x且o y<thre_y的條件時(shí)，如步驟S76b所示判定為是閉口賁門(mén)37。另一方面， 當(dāng)判定為不滿足步驟S76a的條件時(shí)，即在Nc《thre_N或者o x》thre—x 或者oy》thre一y的情況下，如步驟S76c所示判定為不是閉口賁門(mén)37。
在這樣進(jìn)行了賁門(mén)判定處理后，結(jié)束圖19所示的賁門(mén)檢測(cè)處理。
這樣能夠檢測(cè)賁門(mén)37。
如上所述根據(jù)本實(shí)施方式，最初進(jìn)行檢測(cè)賁門(mén)37的處理，在檢測(cè)到 賁門(mén)37的情況下，對(duì)在時(shí)間上往回追溯的圖像進(jìn)行判定作為判定對(duì)象的 巴雷特食道的處理，因此即使對(duì)于大量圖像數(shù)據(jù)的情形，也能夠高效地 進(jìn)行巴雷特食道的判定。
另外，如同在第一實(shí)施方式中說(shuō)明的那樣，在進(jìn)行巴雷特食道的判 定時(shí)，也能夠進(jìn)行巴雷特粘膜的判定，該判定對(duì)于早期治療非常有效。
另外，圖23示出了變形例中的賁門(mén)檢測(cè)的流程圖處理。
本變形例在圖19所示的處理流程圖中，代替步驟S74的分支/交叉 點(diǎn)計(jì)算處理以及下一步驟S75的集中度計(jì)算處理，而進(jìn)行以檢測(cè)開(kāi)口賁 門(mén)為目的的步驟S81的邊緣成分生成角度計(jì)算處理，并根據(jù)通過(guò)該邊緣 成分生成角度計(jì)算處理算出的生成角度信息，來(lái)進(jìn)行步驟S82的檢測(cè)(判
定)開(kāi)口賁門(mén)的開(kāi)口賁門(mén)判定處理。
圖23所示的處理與圖19中的步驟S71到步驟S73相同。
如步驟S71所示，對(duì)處理對(duì)象圖像進(jìn)行邊緣提取處理，生成邊緣圖 像，進(jìn)而對(duì)邊緣圖像進(jìn)行步驟S72的2值化處理，生成2值化圖像，進(jìn) 而通過(guò)步驟S73的細(xì)線化處理生成圖24A所示的細(xì)線化圖像。
下面，將為了預(yù)先提取圖像暗部而對(duì)包含暗部的圖像使用暗部提取 的閾值進(jìn)行暗部2值化處理后的圖像，疊加在通過(guò)上述細(xì)線化處理所取 得的細(xì)線化圖像上，而得到圖24B所示的圖像，對(duì)該圖像進(jìn)行步驟S81 的邊緣成分生成角度計(jì)算處理，算出大的邊緣角度的生成角度信息。
然后，通過(guò)步驟S82的開(kāi)口賁門(mén)判定處理進(jìn)行是否為開(kāi)口賁門(mén)的判定。
圖25是詳細(xì)表示圖23的步驟S81的邊緣成分生成角度計(jì)算處理的 流程圖。
在最初的步驟S83中，對(duì)圖像中的暗部的特征點(diǎn)選擇一點(diǎn)。在本實(shí) 施方式中，例如計(jì)算暗部的重心點(diǎn)，作為圖像中的暗部的特征點(diǎn)。
在下一步驟S84中，通過(guò)放射狀的線將以該算出的重心點(diǎn)或者中心 點(diǎn)等特征點(diǎn)為中心的圖像在周向上劃分為多個(gè)、例如M個(gè)區(qū)域。
在下一步驟S85中，從上述圖24A所示的細(xì)線化圖像內(nèi)的細(xì)線中， 提取(取得) 一條線段i。
在下一步驟S86中，計(jì)算所提取出的線段i存在的角度0 [i]。艮P， 對(duì)線段i存在的區(qū)域數(shù)Ni進(jìn)行計(jì)數(shù)，通過(guò)該計(jì)數(shù)并根據(jù)e[i]二Nix (360/M) ° ，來(lái)計(jì)算線段i存在的角度e[i]。
這樣算出的例子如圖24C所示。在圖24C中表示了從線段i為0° 的分割線的區(qū)域到270。的分割線的區(qū)域的區(qū)域數(shù)Ni為6的情況。艮口， 在圖24C中，邊緣存在的區(qū)域(斜線部分)跨越270°的范圍。
在下一步驟S87中，判定是否有未處理的線段，如果存在未處理的 線段則返回步驟S85，取得未處理的線段并進(jìn)行相同的處理。
另一方面，當(dāng)不存在未處理的線段時(shí)，結(jié)束該邊緣成分生成角度計(jì) 算的處理。返回圖23，使用通過(guò)步驟S81的邊緣成分生成角度計(jì)算處理
所生成的角度e[i]的角度信息，并通過(guò)下一步驟S82的開(kāi)口賁門(mén)判定處
理，來(lái)判定是否為開(kāi)口的賁門(mén)。
該開(kāi)口賁門(mén)判定處理例如如圖26的步驟S82a所示，來(lái)判定角度6 [i]與規(guī)定的閾值thre5之間的大小關(guān)系。即，判定是否滿足9 [i]>thre5的 條件。另外，當(dāng)滿足0[i]〉thre5的條件時(shí)，如步驟S82b所示，判定為是 幵口賁門(mén)的邊緣，反之當(dāng)不滿足該條件時(shí)，判定為不是開(kāi)口賁門(mén)的邊緣。 這樣，結(jié)束檢測(cè)賁門(mén)的處理。
這樣能夠檢測(cè)開(kāi)口的賁門(mén)。
另外，通過(guò)根據(jù)檢測(cè)到賁門(mén)的圖像來(lái)進(jìn)行檢測(cè)巴雷特食道的處理， 從而能夠高效地進(jìn)行巴雷特食道等的判定。 (第三實(shí)施方式)
下面參照?qǐng)D27至圖29對(duì)本發(fā)明第三實(shí)施方式進(jìn)行說(shuō)明。本實(shí)施方 式的圖像處理裝置的硬件結(jié)構(gòu)與第一實(shí)施方式相同，可采用圖l。另外， 由執(zhí)行本實(shí)施方式中的處理程序的CPU 22所構(gòu)成的主要部分的功能性 結(jié)構(gòu)如圖27所示。圖27所示的結(jié)構(gòu)構(gòu)成為，在圖4的結(jié)構(gòu)中的圖像解 析塊42內(nèi)，還具有處理繼續(xù)判定塊48。處理繼續(xù)判定塊48構(gòu)成檢測(cè)第 --生物體特征的第一生物體特征檢測(cè)部。
該處理繼續(xù)判定塊48判定是否有上皮邊界檢測(cè)塊44檢測(cè)出的上皮 邊界線的點(diǎn)列，并根據(jù)判定結(jié)果來(lái)控制圖像解析塊42的動(dòng)作。
本實(shí)施方式的處理步驟的流程圖如圖28所示。根據(jù)該流程圖來(lái)進(jìn)行 巴雷特食道的判定，并顯示該判定結(jié)果等。
圖28所示流程圖的處理方法，在第一實(shí)施方式中的圖8的處理步驟 中，代替檢測(cè)胃食道接合部35的處理，而進(jìn)行能夠通過(guò)更簡(jiǎn)單的處理來(lái) 檢測(cè)的檢測(cè)上皮邊界34的處理。
首先，檢索進(jìn)行上皮邊界34檢測(cè)的圖像，在能檢索到進(jìn)行上皮邊界 34檢測(cè)的圖像之后，轉(zhuǎn)入進(jìn)行巴雷特食道的判定的處理側(cè)。
下面參照?qǐng)D28的流程圖來(lái)說(shuō)明該處理步驟。另外，最初的步驟Sl 至S3是與圖8的流程圖相同的處理，因此省略其說(shuō)明。
進(jìn)行步驟S3的提取幀編號(hào)為COUNT的圖像的處理，進(jìn)行下--步驟
S91的上皮邊界34的檢測(cè)處理。
然后，對(duì)進(jìn)行了檢測(cè)處理的上皮邊界34，在下一步驟S92中，由處 理繼續(xù)判定塊48判定是否通過(guò)步驟S91獲得了表示上皮邊界34的線的 點(diǎn)列，從而判定是否存在上皮邊界34。
通過(guò)該步驟S92的判定，當(dāng)判定為不存在上皮邊界34時(shí)，進(jìn)入步驟 S6而使幀編號(hào)變量COUNT的值增加1并返回步驟S2，繼續(xù)進(jìn)行步驟S2 到步驟S92的處理即檢測(cè)上皮邊界34的解析動(dòng)作。
另一方面，當(dāng)通過(guò)步驟S92的判定，判定為存在上皮邊界34時(shí)，從 檢測(cè)上皮邊界34的解析動(dòng)作轉(zhuǎn)入步驟S93側(cè)，轉(zhuǎn)入判定巴雷特食道的解 析動(dòng)作。
在該步驟S93中，胃食道接合部檢測(cè)塊45根據(jù)該幀編號(hào)的圖像來(lái)進(jìn) 行胃食道接合部35的檢測(cè)處理。
在該胃食道接合部35的檢測(cè)處理后，在下一步驟S94中，巴雷特食 道判定塊46使用表示在步驟S93中檢測(cè)出的胃食道接合部35的線的點(diǎn) 列以及表示在步驟S91中檢測(cè)出的上皮邊界34的線的點(diǎn)列，來(lái)判定所拍 攝的圖像中的對(duì)象部位是否為巴雷特食道。
然后，當(dāng)判定為是巴雷特食道時(shí)，巴雷特食道判定塊46在步驟S95 中將該判定結(jié)果和幀編號(hào)傳遞給顯示處理塊43。該顯示處理塊43從緩存 中提取指定的幀編號(hào)的圖像，在該圖像數(shù)據(jù)上疊加判定結(jié)果。例如圖7 所示進(jìn)行顯示。
在下一步驟S96中，使COUNT增加l。然后，在下一步驟S97中， 重新取得下一個(gè)幀編號(hào)(=COUNT)的圖像。然后，對(duì)該圖像進(jìn)行上皮 邊界34的檢測(cè)處理。
在下- -步驟S98中，判定通過(guò)前面的檢測(cè)處理是否檢測(cè)出存在上皮 邊界34。
在該步驟S98中，處理繼續(xù)判定塊48通過(guò)判定是否通過(guò)前一步驟 S97獲得了表示上皮邊界34的線的點(diǎn)列，從而判定是否存在上皮邊界34。
根據(jù)該步驟S98的判定，當(dāng)判定為不存在上皮邊界34時(shí)，跳出從步 驟S93到步驟S98的處理循環(huán)、即巴雷特食道判定處理側(cè)的解析處理動(dòng)
作，而結(jié)束該處理。
另一方面，當(dāng)判定為存在上皮邊界34時(shí)，返回步驟S93而進(jìn)行檢測(cè)
胃食道接合部35的處理，繼續(xù)進(jìn)行巴雷特食道的判定處理。這樣，在檢 測(cè)到上皮邊界34的存在時(shí)，重復(fù)進(jìn)行上述處理循環(huán)內(nèi)的處理，當(dāng)不能檢 測(cè)出上皮邊界34的存在時(shí)，結(jié)束該處理。g卩，僅對(duì)檢測(cè)出上皮邊界的幀 圖像，進(jìn)行生物體性狀的判定。
根據(jù)這樣動(dòng)作的本實(shí)施方式，最初進(jìn)行上皮邊界34的檢測(cè)處理，轉(zhuǎn) 入根據(jù)通過(guò)該檢測(cè)處理檢測(cè)出上皮邊界34的圖像來(lái)判定是否存在巴雷特 食道的處理側(cè)，在該處理側(cè)如果無(wú)法再次檢測(cè)出上皮邊界34的存在，則 結(jié)束該處理，從而能夠高效地進(jìn)行巴雷特食道的判定。
艮P，根據(jù)本實(shí)施方式，設(shè)置處理繼續(xù)判定部，其進(jìn)行如下控制僅 檢測(cè)巴雷特食道的性狀判定所需要的上皮邊界34的周邊部的圖像，并且 當(dāng)無(wú)法在該圖像中檢測(cè)出上皮邊界34時(shí)，結(jié)束巴雷特食道的判定處理， 因而可以不費(fèi)功夫地提取巴雷特食道的判定處理所需的圖像，進(jìn)行巴雷 特食道的判定處理。
艮P，與第一實(shí)施方式相比，能夠在更短的時(shí)間內(nèi)、且不費(fèi)功夫地進(jìn) 行巴雷特食道的判定處理。
另外，雖然在本實(shí)施方式中，在根據(jù)幀圖像來(lái)檢測(cè)上皮邊界34后， 將時(shí)間上與幀圖像連續(xù)的后方的幀圖像作為下一個(gè)上皮邊界檢測(cè)的對(duì)象 圖像，但是也可以根據(jù)按時(shí)間拍攝的方向等，在時(shí)間上往前追溯取得幀 圖像來(lái)作為檢測(cè)對(duì)象圖像。
另外，也可以使連續(xù)的幀圖像的取得間隔為N(其中，N為自然數(shù)1， 2， 3，…)，在步驟S97中COUNT—COUNT+N,來(lái)指定下一個(gè)取得幀 圖像。
下面對(duì)本實(shí)施方式的變形例進(jìn)行說(shuō)明。如果對(duì)每一幅圖像逐個(gè)進(jìn)行 是否為巴雷特食道的判定，則存在如下可能性由于圖像數(shù)據(jù)中所含的 噪聲、光暈、光量經(jīng)時(shí)變化、暗影等的影響，而導(dǎo)致雖然原本拍攝了巴 雷特食道，但卻作出并非巴雷特食道的誤判。
因此在本變形例中通過(guò)圖29所示的處理步驟進(jìn)行了改善。圖29所
示流程圖的處理步驟，在圖28的處理步驟中，步驟S1至步驟S94為相 同的處理(但是由于在圖29中還使用了幀編號(hào)變量Nb，因此在步驟S1 中將該變量Nb初始化為0)。
在圖28中根據(jù)步驟S94的判定結(jié)果，在下一步驟S95中顯示判定結(jié) 果，但是在本變形例中，在步驟S94的判定處理后，變?yōu)橄乱粋€(gè)幀編號(hào) 而進(jìn)行上皮邊界34的檢測(cè)處理和胃食道接合部35的檢測(cè)處理等，來(lái)進(jìn) 行巴雷特食道的判定處理。
這樣，在為不存在上皮邊界34的圖像的情況下，根據(jù)到此為止進(jìn)行 了是否為巴雷特食道的判定所得到的全部判定結(jié)果，來(lái)綜合判定是否為 巴雷特食道，并顯示該判定結(jié)果。
下面參照?qǐng)D29說(shuō)明處理步驟。另外，步驟Sl到S94與圖28相同(但 是如上所述在步S1中需要使另一個(gè)幀編號(hào)變量Nb也初始化為O)，因此 省略其說(shuō)明。
在步驟S94中，根據(jù)步驟S92中的上皮邊界34的存在位置和步驟 S93的胃食道接合部35的檢測(cè)處理結(jié)果，來(lái)判定是否為巴雷特食道。然 后，將該巴雷特食道的判定結(jié)果臨時(shí)存儲(chǔ)，并通過(guò)下一步驟S101使幀編 號(hào)Nb的變量增加1。然后，在下一步驟S102中，提取使該Nb增加l的 幀編號(hào)為COUNT+Nb的圖像。
在下一步驟S103中，進(jìn)行上皮邊界34的檢測(cè)處理。在該檢測(cè)處理 后，在下一步驟S104中，判定是否存在上皮邊界34，當(dāng)存在時(shí)返回步驟 S93，進(jìn)行胃食道接合部35的檢測(cè)處理，同樣地進(jìn)行是否為巴雷特食道 的判定等處理。
另一方面，當(dāng)判定為不存在上皮邊界34時(shí)，轉(zhuǎn)入步驟S105，取得 通過(guò)步驟S93到步驟S104的處理所取得的全部的巴雷特食道的判定結(jié) 果。
然后，在下一步驟S106中，根據(jù)該全部的巴雷特食道的判定結(jié)果， 來(lái)綜合判定是否為巴雷特食道。另外，在下一步驟S107中，將綜合判定 結(jié)果疊加于圖像來(lái)進(jìn)行顯示，結(jié)束該處理。
巴雷特食道判定塊46如下進(jìn)行步驟S106中的綜合性的是否為巴雷
特食道的判定。
例如計(jì)算判定為巴雷特食道的圖像的幅數(shù)Na和進(jìn)行了是否為巴雷 特食道的判定的圖像幅數(shù)Nb的比率Na/Nb。巴雷特食道判定塊46在該 比率Na/Nb大于0.8的情況下，判定為拍攝對(duì)象為巴雷特食道，在步驟 S107中，對(duì)在巴雷特食道判定中使用的全部Nb幅圖像，疊加"疑似巴 雷特食道"的信息。
根據(jù)這樣進(jìn)行處理動(dòng)作的本變形例，具有與第三實(shí)施方式相同的效 果，并且使用多幅圖像各自的是否為巴雷特食道的判定結(jié)果信息來(lái)進(jìn)一 步進(jìn)行綜合判定，從而能夠在可靠性更高的狀態(tài)下判定是否為巴雷特食 道。
另外，在上述說(shuō)明中，以針對(duì)將具有細(xì)長(zhǎng)插入部的內(nèi)窺鏡6插入體 內(nèi)進(jìn)行拍攝所得到的內(nèi)窺鏡圖像的情況進(jìn)行圖像處理的情況來(lái)進(jìn)行了說(shuō) 明，但是上述各個(gè)實(shí)施方式和各個(gè)變形例的處理內(nèi)容，同樣能夠適用于 通過(guò)從口吞入而對(duì)體內(nèi)進(jìn)行拍攝的膠囊型內(nèi)窺鏡所拍攝到的內(nèi)窺鏡圖像 的情況。
在膠囊型內(nèi)窺鏡的情況下，通常是以恒定間隔等連續(xù)拍攝靜態(tài)圖像 的體內(nèi)攝像裝置。另外，在這種情況下，在從口吞入后不再返回，而是 邊向食道33、胃、小腸、大腸移動(dòng)邊進(jìn)行拍攝。此時(shí)也可以應(yīng)用上述各 個(gè)實(shí)施方式和各個(gè)變形例。
另外，本發(fā)明也包含對(duì)上述各個(gè)實(shí)施方式等進(jìn)行部分等地組合而構(gòu) 成的實(shí)施方式的情況。
如上所述，根據(jù)上述各個(gè)實(shí)施方式和各個(gè)變形例，在判定生物體性 狀的情況下，能夠在檢測(cè)了第一生物體特征后，進(jìn)行第二生物體特征的 檢測(cè)，因此能夠高效地根據(jù)大量的圖像數(shù)據(jù)來(lái)進(jìn)行巴雷特食道等關(guān)注的 性狀的判定。即，在未檢測(cè)出第一生物體特征的情況下，省略第二生物 體特征的檢測(cè)，而可以高效地進(jìn)行圖像解析處理。因此，在大量圖像數(shù) 據(jù)的情況下，也能夠高效地進(jìn)行巴雷特食道等關(guān)注的性狀的判定。
下面參照附圖對(duì)實(shí)施方式涉及的管腔圖像處理裝置進(jìn)行說(shuō)明。 (第四實(shí)施方式)
首先參照附圖對(duì)第四實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的管腔圖像
處理裝置及其方法進(jìn)行說(shuō)明。首先，參照?qǐng)D30A、圖30B和圖31對(duì)本發(fā) 明第四實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的管腔圖像處理裝置進(jìn)行說(shuō) 明。圖30A和圖30B是表示本實(shí)施方式的膠囊型內(nèi)窺鏡裝置101和作為 管腔圖像處理裝置的終端裝置107的概略結(jié)構(gòu)的框圖。
使用本實(shí)施方式的圖像處理方法的膠囊型內(nèi)窺鏡裝置101 ，如圖30A 所示具有膠囊型內(nèi)窺鏡103、天線單元104以及外部裝置105。膠囊型內(nèi) 窺鏡103將在后面詳細(xì)說(shuō)明，其形成為能夠從被檢體即患者102的口部 吞入到體腔內(nèi)并在食道和消化道內(nèi)前進(jìn)的形狀，并且內(nèi)部具有可以對(duì)食 道和消化道內(nèi)部進(jìn)行拍攝并生成其攝像圖像信息的攝像功能以及將該攝 像圖像信息發(fā)送至體外的發(fā)送功能。天線單元104設(shè)置于患者102的身 體表面上，具有對(duì)從所述膠囊型內(nèi)窺鏡103發(fā)送的攝像圖像信息進(jìn)行接 收的多個(gè)接收天線111。外部裝置105的外形形成為箱子狀，并且具有對(duì) 所述天線單元104所接收的攝像圖像信息進(jìn)行各種處理、記錄攝像圖像 信息以及使用攝像圖像信息來(lái)進(jìn)行攝像圖像顯示等的功能。在該外部裝 置105的外殼的表面上設(shè)有用于顯示所述攝像圖像的液晶監(jiān)視器112以 及用于進(jìn)行各種功能的操作指示的操作部113。另外，該外部裝置105還 設(shè)有進(jìn)行關(guān)于驅(qū)動(dòng)電源用電池的余量的警告顯示用的LED以及作為操作 部113的電源開(kāi)關(guān)。
該外部裝置105安裝于患者102的身體上，并且如圖30B所示，通 過(guò)安裝在托架106上而與終端裝置107連接。管腔圖像處理裝置即作為 賁門(mén)檢測(cè)裝置的終端裝置107例如采用個(gè)人電腦，其包括具有各種數(shù) 據(jù)的處理功能和存儲(chǔ)功能的終端本體109、用于各種操作處理輸入的鍵盤(pán) 108a和鼠標(biāo)108b以及顯示各種處理結(jié)果的顯示器108c。該終端裝置107 的基本功能在于進(jìn)行如下圖像處理經(jīng)由托架106將在所述外部裝置105 中存儲(chǔ)的攝像圖像信息取入，并寫(xiě)入記錄到內(nèi)置于終端本體109中的可 改寫(xiě)的存儲(chǔ)器或者與終端本體109可自由裝卸的能夠改寫(xiě)的半導(dǎo)體存儲(chǔ) 器等移動(dòng)存儲(chǔ)器中，并且將該記錄的攝像圖像信息顯示于顯示器108c。 另外，終端裝置107通過(guò)后述實(shí)施方式涉及的圖像處理方法，來(lái)執(zhí)行賁
門(mén)檢測(cè)處理。另外，存儲(chǔ)在所述外部裝置105中的攝像圖像信息，也可
以不通過(guò)所述托架106而通過(guò)USB電纜等而取入到終端裝置107。該托 架106等是用于輸入膠囊型內(nèi)窺鏡3所拍攝的圖像的圖像輸入部。
下面使用圖31對(duì)所述膠囊型內(nèi)窺鏡103的外形和內(nèi)部結(jié)構(gòu)進(jìn)行說(shuō) 明。膠囊型內(nèi)窺鏡103形成為膠囊形狀，且包括截面為U字狀的外殼 部件114，以及在該外殼部件114的前端側(cè)的開(kāi)放端通過(guò)粘接劑水密安裝 的、由透明部件形成的大致半球形的蓋部件114a。
在由該外殼部件114和蓋部件114a構(gòu)成的膠囊形的內(nèi)部中空部中， 在所述蓋部件114a的半球圓弧的中央部分的內(nèi)部，在鏡頭架116中收納 配置有物鏡115，該物鏡115將經(jīng)由蓋部件114a入射的觀察部位像取入。 在該物鏡115的成像位置上，配置有攝像元件即電荷耦合元件(以下稱 為CCD) 117。在收納所述物鏡115的鏡頭架116的周圍，在同一平面上 配置有四個(gè)能夠發(fā)出照明光的白色系的LED118(圖中僅示出兩個(gè)LED)。 在所述CCD 117的后端側(cè)的所述外殼部件114的中空部?jī)?nèi)配置有處理 電路119，該處理電路119進(jìn)行驅(qū)動(dòng)控制所述CCD 117進(jìn)行光電轉(zhuǎn)換所 得到的攝像信號(hào)的生成處理、對(duì)該攝像信號(hào)實(shí)施規(guī)定的信號(hào)處理而生成 攝像圖像信號(hào)的攝像處理以及控制所述LED 118的點(diǎn)亮/熄滅動(dòng)作的LED 驅(qū)動(dòng)處理；通信處理電路120，其將通過(guò)所述處理電路119的攝像處理所 生成的攝像圖像信號(hào)轉(zhuǎn)換為無(wú)線信號(hào)來(lái)進(jìn)行發(fā)送；發(fā)送天線123，其將來(lái) 自所述通信處理電路120的無(wú)線信號(hào)發(fā)送到外部；以及提供所述處理電 路119和通信處理電路120的驅(qū)動(dòng)用電源的多個(gè)紐扣電池121。另外，CCD 117、 LED 118、處理電路119、通信處理電路120以及發(fā)送天線123配置 于未圖示的基板上，在這些基板之間通過(guò)撓性基板連接。
膠囊型內(nèi)窺鏡103在患者102體內(nèi)移動(dòng)，同時(shí)將以規(guī)定的時(shí)間間隔 所拍攝的體內(nèi)圖像發(fā)送給外部裝置105，外部裝置105在內(nèi)置的存儲(chǔ)裝置 中記錄接收到的內(nèi)窺鏡圖像。記錄于外部裝置105中的內(nèi)窺鏡圖像，經(jīng) 由托架106而傳輸至終端裝置107并存儲(chǔ)于未圖示的存儲(chǔ)裝置中，終端 裝置107根據(jù)被傳輸而存儲(chǔ)的內(nèi)窺鏡圖像來(lái)進(jìn)行賁門(mén)部的檢測(cè)處理。該 賁門(mén)檢測(cè)處理通過(guò)對(duì)內(nèi)窺鏡圖像的圖像數(shù)據(jù)進(jìn)行圖像處理的圖像處理軟
件即程序來(lái)進(jìn)行。該圖像處理軟件通過(guò)終端裝置107的CPU等處理裝置 來(lái)執(zhí)行。
以下說(shuō)明的圖像處理通過(guò)軟件來(lái)實(shí)現(xiàn)，因此在所述膠囊型內(nèi)窺鏡
103、外部裝置105或者終端裝置107中都可以執(zhí)行該圖像處理，但是這 里以在采用個(gè)人電腦的終端裝置107中執(zhí)行為例來(lái)進(jìn)行說(shuō)明。另外，在 圖像處理內(nèi)容的說(shuō)明中， 一幀圖像的尺寸由ISXXISY (1《ISX、 ISY。 例如ISX二640、 ISY=480)的紅(R)、綠(G)、藍(lán)(B)的三個(gè)平面構(gòu) 成，各個(gè)平面的像素的灰度數(shù)為8比特即取0至255的值。
另夕卜，所述膠囊型內(nèi)窺鏡103例如在檢査食道時(shí)，以每秒15 30幅 圖像的速度(15fys 30fps)進(jìn)行拍攝。即，膠囊型內(nèi)窺鏡103在通過(guò)食 道后，進(jìn)行攝像功能控制以成為每秒拍攝幅數(shù)少的低速攝像狀態(tài)。這可 以通過(guò)設(shè)置未圖示的定時(shí)電路，進(jìn)行控制以使得當(dāng)該定時(shí)電路的定時(shí)計(jì) 數(shù)在規(guī)定時(shí)間以內(nèi)時(shí)，以每秒拍攝幅數(shù)多的高速攝像狀態(tài)來(lái)拍攝，而當(dāng) 經(jīng)過(guò)規(guī)定時(shí)間后則以每秒拍攝幅數(shù)少的低速攝像狀態(tài)來(lái)拍攝等來(lái)實(shí)現(xiàn)。
圖32是表示根據(jù)所得到的一系列內(nèi)窺鏡圖像，在終端裝置107中執(zhí) 行的通過(guò)胃食道接合部的通過(guò)來(lái)進(jìn)行賁門(mén)部的檢測(cè)的處理流程的例子的 流程圖。從被檢者口部進(jìn)入后進(jìn)行拍攝所得到的一系列的內(nèi)窺鏡圖像， 由多個(gè)幀構(gòu)成，對(duì)各個(gè)幀進(jìn)行圖32的處理。另外，各個(gè)內(nèi)窺鏡圖像的圖 像數(shù)據(jù)在實(shí)施圖32的處理之前，進(jìn)行逆Gamma校正、噪聲除去等預(yù)處 理。
為了從要實(shí)施圖32的處理的一系列圖像中的最開(kāi)始的幀開(kāi)始進(jìn)行 處理，首先使幀編號(hào)i為l (步驟S201)。 i為l到n的整數(shù)。
接著從終端裝置107的存儲(chǔ)裝置(未圖示)讀出幀編號(hào)為i的圖像 Fi的圖像數(shù)據(jù)(步驟S202)。圖像Fi由RGB三個(gè)平面構(gòu)成。
根據(jù)讀出的圖像Fi的圖像數(shù)據(jù)，來(lái)計(jì)算色調(diào)的特征量，在這里計(jì)算 平均色調(diào)特征量iU，作為內(nèi)窺鏡圖像的規(guī)定的特征量(步驟S203)。平 均色調(diào)特征量iU為各個(gè)圖像中所含的全部像素的色調(diào)特征量的平均值。 步驟S203構(gòu)成根據(jù)關(guān)于各個(gè)圖像Fi的全部像素的值來(lái)計(jì)算作為色調(diào)特 征量的平均色調(diào)特征量的特征量計(jì)算步驟或者特征量計(jì)算部。
接著判定平均色調(diào)特征量y i是否超過(guò)規(guī)定的閾值Th (步驟S204)。 當(dāng)色調(diào)特征量使用后述的R/(R+G+B)的值時(shí)，閾值Th例如為0.5。
另外，通過(guò)對(duì)該閾值Th的值進(jìn)行調(diào)整，能夠判定讀出的圖像Fi是 對(duì)進(jìn)入了消化道的邊界部即胃食道接合部(EG接合部)的附近進(jìn)行拍攝 所得到的圖像，或者是對(duì)胃食道接合部的中央部進(jìn)行拍攝所得到的圖像， 還是對(duì)進(jìn)入了胃的部分進(jìn)行拍攝所得到的圖像。關(guān)于這一點(diǎn)，將在后面 使用圖33進(jìn)行說(shuō)明。
當(dāng)在步驟S204中為"是"時(shí)，即平均色調(diào)特征量ui超過(guò)規(guī)定的閾 值Th時(shí)，為膠囊型內(nèi)窺鏡103將要進(jìn)入胃食道接合部(EG接合部)，或 者正在通過(guò)胃食道接合部(EG接合部)時(shí)，因此判定為讀出的圖像Fi 為此時(shí)拍攝的圖像(步驟S205)。步驟S204和S205構(gòu)成根據(jù)算出的平 均色調(diào)特征量P i來(lái)檢測(cè)消化道的邊界部的邊界部檢測(cè)部，以及根據(jù)邊界 部即胃食道接合部的檢測(cè)結(jié)果來(lái)判定管腔內(nèi)圖像為從食道到賁門(mén)部的部 分的圖像的判定部。
當(dāng)在步驟S204中為"否"時(shí)，即平均色調(diào)特征量iii未超過(guò)規(guī)定的 閾值Th時(shí)，判定是否對(duì)全部要實(shí)施圖32的處理的一系列圖像完成了圖 32的處理(步驟S206)，當(dāng)全部完成時(shí)，在步驟S206中為"是"，結(jié)束 處理。當(dāng)在步驟S206中為"否"時(shí)，由于尚存未處理的圖像，進(jìn)行i二i + 1的處理(步驟S207)，此后對(duì)下一圖像重復(fù)進(jìn)行步驟S202到S204的 處理。
另外，如上所述，在步驟S205中，當(dāng)平均色調(diào)特征量ui超過(guò)規(guī)定 的閾值Th時(shí)，判定為是膠囊型內(nèi)窺鏡103正在通過(guò)胃食道接合部(EG接 合部)、或者將要進(jìn)入胃食道接合部(EG接合部)的時(shí)刻，換言之，能 夠判定為此后將要到達(dá)賁門(mén)部、或者此后將要到達(dá)胃內(nèi)部。因此能夠進(jìn) 行賁門(mén)部的檢測(cè)。
這里，對(duì)從食道至胃的生物體組織的色調(diào)進(jìn)行說(shuō)明。圖33是用于說(shuō) 明所得到的一系列內(nèi)窺鏡圖像中的色調(diào)變化的示意曲線圖。在圖33中， 橫軸表示沿著從食道扁平上皮部經(jīng)過(guò)胃食道接合部到達(dá)胃所得到的內(nèi)窺 鏡圖像的時(shí)序的圖像編號(hào)(幀編號(hào))，縱軸表示與各個(gè)圖像編號(hào)對(duì)應(yīng)的內(nèi)
窺鏡圖像的色調(diào)特征量。
通過(guò)從被檢者口部進(jìn)入的膠囊型內(nèi)窺鏡103所得到的各個(gè)圖像的色
調(diào)，如圖33所示變化。艮P，食道的扁平上皮部RA和圓柱上皮的胃部RC 的色調(diào)不同，在它們之間的胃食道接合部RB有級(jí)地逐漸變化。在圖33 中，例如在根據(jù)后述的RGB三個(gè)像素值算出的色調(diào)特征量R/(R+G+B) 中，食道扁平上皮部RA為白色調(diào)因而色調(diào)特征量小，在胃部RC中為紅 色調(diào)因而色調(diào)特征量大。在它們之間的胃食道接合部RB中，色調(diào)特征量 從白色調(diào)逐漸變化為紅色調(diào)。
因此，在圖32的步驟S204那樣的色調(diào)特征量在該逐漸變化的過(guò)程 中當(dāng)超過(guò)規(guī)定的閾值Th時(shí)(色調(diào)變?yōu)榧t色時(shí))，判定為該圖像是當(dāng)膠囊 型內(nèi)窺鏡103將要進(jìn)入胃食道接合部(EG接合部)時(shí)、或者正在通過(guò)胃 食道接合部(EG接合部)時(shí)拍攝的圖像等，換言之，能夠進(jìn)行消化道的 邊界部即賁門(mén)部的檢測(cè)。即，根據(jù)從食道粘膜到胃粘膜的色調(diào)的差異， 而進(jìn)行賁門(mén)部的檢測(cè)。具體而言，為了可靠地進(jìn)行該通過(guò)等的判斷而采 用色調(diào)特征量的平均值等。
下面對(duì)在圖32中說(shuō)明的平均色調(diào)特征量U i的具體例子進(jìn)行說(shuō)明。
圖34是表示對(duì)各個(gè)幀的圖像進(jìn)行的、使用根據(jù)RGB三個(gè)像素值計(jì) 算的R/(R+G+B)作為平均色調(diào)特征量y i時(shí)的圖32的步驟S203的處理 流程的例子的流程圖。在圖34的處理中，根據(jù)一幀的每個(gè)像素的RGB 三個(gè)像素值rj、 gj、 bj來(lái)計(jì)算色度rj/ (rj+gj+bj)，而算出平均色調(diào)特征 量iU。 j表示用于在各個(gè)幀的圖像數(shù)據(jù)中確定像素的編號(hào)。
最初，設(shè)為j二l, val=0， count-O (步驟S2U)。其中，val為用于 求出色調(diào)特征量的總和的變量，count為用于求出在平均色調(diào)特征量yi 的計(jì)算中使用的像素?cái)?shù)的變量。
接著在步驟S212中判定第j個(gè)像素是否是屬于暗部的像素。具體而 言，當(dāng)R圖像、G圖像和B圖像的各圖像中的第j個(gè)像素的值為rj、 gj 和bj時(shí)，如果rj《thd、 gj《thd、 bj《thd，則判定為該像素是屬于暗部的 像素。這里，thd為用于判定是否為暗部像素的各色的閾值，在本實(shí)施方 式中，例如設(shè)定為thd^10。當(dāng)判定為第j個(gè)像素是屬于暗部的像素時(shí)，
進(jìn)入步驟S216，而當(dāng)判定為第j個(gè)像素是不屬于暗部的像素時(shí)，進(jìn)入步 驟S213。
接著在步驟S213中，判定第j個(gè)像素是否為非常明亮的像素即是否 是屬于光暈部的像素。具體而言，如果rj》thh、 gj》thh、 bj》thh，則判 定為是光暈像素。這里，thh為用于判定是否為光暈像素的各色的閾值， 在本實(shí)施方式中，例如設(shè)定為T(mén)h二200。當(dāng)判定為第j個(gè)像素是光暈像素 時(shí)，進(jìn)入步驟S216，而當(dāng)判定為第j個(gè)像素不是光暈像素時(shí)，進(jìn)入步驟 S214。
另外，在步驟S212和S213中，關(guān)于R圖像、G圖像和B圖像的闞 值thd和thh對(duì)于各個(gè)像素rj、 gj和bj分別為相同的值，但是由于生物體 粘膜總的來(lái)說(shuō)具有R圖像最明亮的傾向，因此例如也可以將針對(duì)rj的閾 值設(shè)定為比針對(duì)gj和bj的閾值高。另外，也可以分別將針對(duì)rj、 gj和bj 的閾值設(shè)定為不的同值。
在步驟S214中進(jìn)行val-val+rj/(rj+gj+bj)和count=count+1的運(yùn) 算。對(duì)用于求解色調(diào)特征量的總和的變量val加上色調(diào)特征量 rj/(rj+gj+bj)，使變量count增加l。
另外，在步驟S215中，判定是否對(duì)全部像素進(jìn)行了步驟S212到步 驟S214的處理。具體而言，當(dāng)j〈ISXXISY時(shí)，在步驟S216中使用于確 定像素的編號(hào)j加l (j=j + l)，對(duì)下一個(gè)像素執(zhí)行前述步驟S212到步驟 S214。在j二ISXXISY時(shí)，即對(duì)全部像素進(jìn)行了步驟S212到步驟S214 的處理時(shí)，判定count是否比規(guī)定的閾值the大(步驟S217)。閾值the 表示對(duì)于色調(diào)評(píng)價(jià)不充分的像素?cái)?shù)，如果為該閾值thc以上的數(shù)量，則為 存在充分?jǐn)?shù)量的對(duì)色調(diào)評(píng)價(jià)有效的像素。在步驟S217中，在"是"的情 況下，即存在充分?jǐn)?shù)量的對(duì)色調(diào)評(píng)價(jià)有效的像素時(shí)，通過(guò)利用在平均色 調(diào)特征量y i的計(jì)算中使用的像素?cái)?shù)count除以色調(diào)特征量總和val，來(lái)計(jì) 算平均色調(diào)特征量lU (步驟S218)。具體而言，ixi=val/count。以上， 對(duì)管腔內(nèi)圖像中的除了暗部像素和光暈像素以外的像素，計(jì)算平均色調(diào) 特征量ui。
在步驟S217中為"否"時(shí)，即不存在充分?jǐn)?shù)量的對(duì)色調(diào)評(píng)價(jià)有效的
像素時(shí)，該幀的圖像為錯(cuò)誤即異常圖像(步驟S219)，使平均色調(diào)特征量
"i例如為0 (零)，在圖32的步驟S204中判斷為沒(méi)有超過(guò)閾值Th。 下面對(duì)本實(shí)施方式的各種變形例進(jìn)行說(shuō)明。
關(guān)于第一變形例，在上述圖32到圖34中，根據(jù)各個(gè)幀的圖像，進(jìn) 行胃食道接合部的通過(guò)、賁門(mén)部的通過(guò)等的判斷，但是也可以當(dāng)連續(xù)的 多個(gè)圖像、或者連續(xù)的多個(gè)圖像中的規(guī)定比率(例如80%)以上的圖像 在步驟S4的判定結(jié)果為U i>Th時(shí)，判斷為膠嚢內(nèi)窺鏡103通過(guò)了胃食道 接合部等。
另外，關(guān)于第二變形例，雖然以上的說(shuō)明是對(duì)連續(xù)的多個(gè)圖像進(jìn)行 了處理，但是圖32的處理也可以對(duì)特定的一幅圖像進(jìn)行。
另外，關(guān)于第三變形例，也可以計(jì)算連續(xù)的多個(gè)圖像中的平均色調(diào) 特征量^i的移動(dòng)平均，根據(jù)該移動(dòng)平均值是否超過(guò)規(guī)定的閾值，進(jìn)行膠 囊型內(nèi)窺鏡103是否通過(guò)胃食道接合部等的判定。例如，當(dāng)m=2， 3， 4，… 且i〉二m+l時(shí)(即從n幅圖像中取出連續(xù)的m幅圖像，此時(shí)(m+l) 為i以下)，從連續(xù)的m幅的各圖像取得的圖像F (i—m)，根據(jù)Fi的平 均色調(diào)特征量"i來(lái)計(jì)算移動(dòng)平均值，判斷該移動(dòng)平均值是否超過(guò)規(guī)定的 閾值。根據(jù)使用這樣的移動(dòng)平均的情況，即使是由于因觀察距離、角度 等的不同而導(dǎo)致的照明條件的變化而產(chǎn)生的紅色強(qiáng)的食道內(nèi)的圖像等， 也可以除去平均色調(diào)特征量的小的變化的影響，以更高的精度檢測(cè)膠囊 型內(nèi)窺鏡103是否通過(guò)胃食道接合部等。
另外，關(guān)于第四變形例，在以上的例子中，使用作為根據(jù)RGB的三 個(gè)像素值算出的像素值的比率的R/(R+G+B)作為色調(diào)特征量，但是也可 以采用其它參數(shù)。作為其它的色調(diào)特征量的參數(shù)，例如可以是G/(R+G+B) 或者IHb (=321og2 (R/G))、色相、彩度等。
另外，關(guān)于第五變形例，也可以采用多個(gè)色調(diào)特征量。例如在圖32 的步驟S203中，使用作為根據(jù)RGB的三個(gè)像素值算出的像素值的比率 的R/(R+G+B)和G/(R+G+B)，計(jì)算它們的平均值即各個(gè)圖像中的全部像 素的色調(diào)特征量(R/(R+G+B))的平均值nli以及色調(diào)特征量 (G/(R+G+B))的平均值y2i。然后，也可以在步驟S204中判斷平均值
"li和平均值u2i是否為y li>Thl且u2KTh2。
另外，關(guān)于第六變形例，也可以根據(jù)平均色調(diào)特征量的變化量，來(lái) 檢測(cè)膠囊型內(nèi)窺鏡103是否通過(guò)胃食道接合部等。即，不是判定從連續(xù) 的一系列圖像的各個(gè)圖像獲得的平均色調(diào)特征量是否超過(guò)規(guī)定的閾值， 而是判定兩幅圖像的平均色調(diào)特征量的變化量是否超過(guò)規(guī)定的閾值。艮卩， 對(duì)于各個(gè)圖像的平均色調(diào)特征量，也可以例如與前一個(gè)圖像或者后一個(gè) 圖像的平均色調(diào)特征量進(jìn)行比較，如果這兩個(gè)平均色調(diào)特征量的差超過(guò) 規(guī)定的閾值，則判定為例如膠囊型內(nèi)窺鏡103從食道進(jìn)入了胃食道接合 部、從胃食道接合部進(jìn)入了胃等。判斷圖像F (i—ml)和圖像Fi的平均 色調(diào)特征量P (i—ml)和yi的差分值(ui—n (i一ml))是否發(fā)生了 規(guī)定閾值以上的變化。ml為l， 2， 3…。
這是由于，由于粘膜顏色的個(gè)人差異、巴雷特食道等病變部的存在、 攝像系統(tǒng)的偏差等原因，粘膜的色調(diào)并不總是恒定的，因此在不受這種 個(gè)人差異等的影響的條件下，能夠判定膠囊型內(nèi)窺鏡103是否通過(guò)了胃 食道接合部等。
另外，此時(shí)也可以通過(guò)計(jì)算平均色調(diào)特征量的微分值來(lái)檢測(cè)平均色 調(diào)特征量的變化。
圖35是表示通過(guò)計(jì)算該平均色調(diào)特征量的微分值來(lái)檢測(cè)平均色調(diào) 特征量的變化的處理流程的例子的流程圖。
另外，各個(gè)圖像的圖像數(shù)據(jù)也如在圖32的處理中說(shuō)明的那樣，在進(jìn) 行圖35的處理之前實(shí)施逆Gamma校正、噪聲除去等預(yù)處理。步驟S201 到步驟S203的處理與圖32的處理的步驟S201到步驟S203的處理相同。 即，為了從最開(kāi)始的幀幵始進(jìn)行處理，首先使幀編號(hào)i為l (步驟S201)。 接著將幀編號(hào)i的圖像Fi的圖像數(shù)據(jù)從終端裝置7的存儲(chǔ)裝置(未圖示) 讀出(步驟S202)。根據(jù)讀出的圖像Fi的圖像數(shù)據(jù)來(lái)計(jì)算平均色調(diào)特征 量"(步驟S203)。
判定是否對(duì)全部圖像進(jìn)行了處理，即是否完成了全部圖像(步驟 S221)，如果沒(méi)有完成全部圖像，在步驟S221中為"否"，使i二i+l (步 驟S207)，處理轉(zhuǎn)入步驟S202。
當(dāng)完成了全部圖像時(shí)，在步驟S221中為"是"，對(duì)于所得到的多個(gè) 平均色調(diào)特征量lii，為了平滑化而在規(guī)定的范圍即連續(xù)的規(guī)定幅數(shù)的圖
像的范圍內(nèi)計(jì)算移動(dòng)平均值f (步驟S222)。然后，根據(jù)移動(dòng)平均
值f (ui)的時(shí)間經(jīng)過(guò)來(lái)計(jì)算微分值A(chǔ)f (Ui)(步驟S223)。
然后，確定檢測(cè)與超過(guò)規(guī)定的閾值thf的微分值A(chǔ)f (ui)對(duì)應(yīng)的圖
像Fi (步驟S224)。步驟S3到S24構(gòu)成檢測(cè)消化道的邊界部的檢測(cè)部。 如上所述，能夠在多個(gè)圖像間檢測(cè)出色調(diào)的變化量超過(guò)規(guī)定閾值的 圖像，因此即使存在粘膜顏色的個(gè)人差異等，也能夠不受個(gè)人差異等的 影響，來(lái)進(jìn)行膠囊型內(nèi)窺鏡103是否通過(guò)胃食道接合部等的判定。
另外，關(guān)于第七變形例，也可以使用標(biāo)準(zhǔn)偏差或者離散值，而不使 用色調(diào)特征量的平均值。
例如，圖36是用于說(shuō)明所得到的一系列內(nèi)窺鏡圖像的色調(diào)特征量的 標(biāo)準(zhǔn)偏差或者離散值的變化的曲線圖。在圖36中，橫軸表示沿著從食道 扁平上皮部經(jīng)過(guò)胃食道接合部到胃而得到的內(nèi)窺鏡圖像的時(shí)序的圖像編 號(hào)(幀編號(hào))，縱軸表示與各個(gè)圖像編號(hào)對(duì)應(yīng)的內(nèi)窺鏡圖像的色調(diào)特征量 的標(biāo)準(zhǔn)偏差oi或者離散值vi。
由從被檢者口部進(jìn)入的膠囊型內(nèi)窺鏡103所得到的各個(gè)圖像的色調(diào) 如圖33所示變化，計(jì)算得到的色調(diào)特征量R/(R+G+B)的標(biāo)準(zhǔn)偏差或離散 值如圖36所示變化。g卩，由于食道的扁平上皮部RA和圓柱上皮的胃部 RC的圖像的色調(diào)分別相同，因此色調(diào)特征量R/(R+G+B)的標(biāo)準(zhǔn)偏差o i 或者離散值vi小，但是在它們之間的胃食道接合部RB中，該標(biāo)準(zhǔn)偏差 oi或者離散值vi大。
因此，根據(jù)各個(gè)圖像的色調(diào)特征量的標(biāo)準(zhǔn)偏差oi或者離散值vi，能 夠判定膠囊型內(nèi)窺鏡103是否將要通過(guò)胃食道接合部等。
此外也可以代替色調(diào)特征量的標(biāo)準(zhǔn)偏差o i或者離散值vi，而使用它 們的變化系數(shù)(二標(biāo)準(zhǔn)偏差oi/平均色調(diào)特征量iU)。
另外，關(guān)于第八變形例，雖然在以上說(shuō)明的例子中使用各個(gè)幀的圖 像的全部像素的像素?cái)?shù)據(jù)，但是也可以如圖37所示，不以全部像素為處 理對(duì)象，而僅對(duì)各個(gè)幀的規(guī)定區(qū)域內(nèi)的像素進(jìn)行采樣而作為處理對(duì)象。
圖37是表示在各個(gè)幀的圖像131中進(jìn)行上述本實(shí)施方式和變形例中的圖
像處理的區(qū)域的例子的圖。
將各個(gè)幀的圖像131劃分為規(guī)定的區(qū)域。在圖37中，各個(gè)圖像131 被劃分為16部分而使各個(gè)分割的區(qū)域?yàn)榫匦?，在該分割的區(qū)域中，僅對(duì) 規(guī)定的區(qū)域(R2、 R3、 R5、 R8、 R9、 R12、 R14、 R15)，即僅對(duì)關(guān)心區(qū) 域(ROI)進(jìn)行上述處理。特別是由于食道為管腔內(nèi)臟器官，因此為了更 準(zhǔn)確地計(jì)算粘膜表面的色調(diào)，也可以除去視野的中央部來(lái)設(shè)定關(guān)心區(qū)域 (ROI)。
因此，如果僅以關(guān)心區(qū)域(ROI)為處理對(duì)象，則能夠減少運(yùn)算量而 實(shí)現(xiàn)處理的高速化。
另外，為了進(jìn)一步實(shí)現(xiàn)處理的高速化，當(dāng)僅以關(guān)心區(qū)域(ROI)為處 理對(duì)象時(shí)，也可以不是對(duì)全部的幀進(jìn)行處理，而是按照間隔k幅(k=l， 2， 3，…)的每一幀，僅將關(guān)心區(qū)域(ROI)的像素作為處理對(duì)象。這是 由于特別是在食道內(nèi)，由于每秒拍攝的幅數(shù)多，因此即使有時(shí)進(jìn)行間隔 若干幅的間隔采樣，也能夠準(zhǔn)確地進(jìn)行判定。
如上所述，根據(jù)本實(shí)施方式(包含變形例)，能夠根據(jù)管腔圖像的色 調(diào)特征量，來(lái)判定各個(gè)圖像是否為膠囊型內(nèi)窺鏡將要進(jìn)入胃食道接合部 (EG接合部)時(shí)、或者正在通過(guò)胃食道接合部(EG接合部)時(shí)的圖像。
另外，在本實(shí)施方式中，通過(guò)對(duì)算出的特征量應(yīng)用閾值處理，來(lái)檢 測(cè)各個(gè)圖像是否為膠囊型內(nèi)窺鏡將要進(jìn)入胃食道接合部(EG接合部)時(shí)、 或者正在通過(guò)胃食道接合部(EG接合部)時(shí)的圖像，但是也可以使用例 如公知的線性判段函數(shù)等識(shí)別函數(shù)來(lái)進(jìn)行該檢測(cè)。另外，也可以組合使 用其它實(shí)施方式中的特征量。 (第五實(shí)施方式)
下面參照附圖對(duì)第五實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的賁門(mén)檢測(cè) 裝置及其方法進(jìn)行說(shuō)明。在本實(shí)施方式中作為圖像處理對(duì)象的內(nèi)窺鏡圖 像與第四實(shí)施方式同樣，是由膠囊型內(nèi)窺鏡裝置101獲得的連續(xù)的一系 列的內(nèi)窺鏡圖像，因此賁門(mén)檢測(cè)裝置的結(jié)構(gòu)與第四實(shí)施方式相同而省略 說(shuō)明。
在上述第四實(shí)施方式中使用色調(diào)特征量，但是本實(shí)施方式的管腔圖 像處理裝置即賁門(mén)檢測(cè)裝置不同于第四實(shí)施方式的方面是，其使用各個(gè) 圖像的明暗信息，判定各個(gè)圖像是否為膠囊型內(nèi)窺鏡通過(guò)胃食道接合部 (EG接合部)等時(shí)的圖像。
圖38是用于說(shuō)明所得到的一系列內(nèi)窺鏡圖像中的明暗變化、具體而 言是亮度變化的示意曲線圖。在圖38中，橫軸表示沿著從食道扁平上皮 部經(jīng)過(guò)胃食道接合部到達(dá)胃所得到的內(nèi)窺鏡圖像的時(shí)序的圖像編號(hào)(幀 編號(hào))，縱軸表示與各個(gè)圖像編號(hào)對(duì)應(yīng)的內(nèi)窺鏡圖像的亮度。
通過(guò)從被檢者口部進(jìn)入的膠囊型內(nèi)窺鏡103所得到的各個(gè)圖像的亮 度表示圖像的明暗，如圖38所示變化。g卩，食道的扁平上皮部RA和圓 柱上皮的胃部RC中的亮度不同，進(jìn)而在它們之間的胃食道接合部RB中 的亮度與食道的扁平上皮部RA和圓柱上皮的胃部RC不同。如圖38所 示，例如在根據(jù)RGB的三個(gè)像素值算出的亮度中，食道扁平上皮部RA 由于是比較狹窄的管腔內(nèi)臟器官、距離粘膜壁的距離近，因此若除去暗 部和光暈部，則平均亮度值大，而在胃部RC內(nèi)相對(duì)地亮度小。在它們之 間的胃食道接合部RB中，在食道這樣的管腔內(nèi)由于正面觀察關(guān)閉的賁門(mén) 部，所以亮度值比食道扁平上皮部RA大。
因此，當(dāng)圖像的明暗信息在逐漸變化的過(guò)程中超過(guò)規(guī)定的閾值Thl 時(shí)，可以判定為正在通過(guò)胃食道接合部(EG接合部)、或?qū)⒁M(jìn)入胃食 道接合部(EG接合部)等。g卩，根據(jù)所拍攝的圖像中的明暗信息的差異， 能夠在膠囊型內(nèi)窺鏡103將要進(jìn)入胃食道接合部(EG接合部)時(shí)、或者 正在通過(guò)胃食道接合部(EG接合部)時(shí)進(jìn)行關(guān)閉的賁門(mén)部的檢測(cè)。具體 而言，為了可靠地進(jìn)行該通過(guò)等的判斷，可以利用平均亮度值等作為明 暗信息。
圖39與圖32同樣，是表示根據(jù)所得到的一系列內(nèi)窺鏡圖像在終端 裝置107中執(zhí)行的在通過(guò)胃食道接合部時(shí)檢測(cè)賁門(mén)部的處理流程的例子 的流程圖。圖39的處理與圖32的處理基本相同，從被檢者口部進(jìn)入后 拍攝所得到的一系列內(nèi)窺鏡圖像由多個(gè)幀構(gòu)成，對(duì)各個(gè)幀進(jìn)行圖39的處 理。另外，各個(gè)內(nèi)窺鏡圖像的圖像數(shù)據(jù)在實(shí)施圖39的處理之前，進(jìn)行逆
Gamma校正、噪聲除去等預(yù)處理。在圖39中與圖,32相同的處理賦予相 同的步驟編號(hào)而簡(jiǎn)化說(shuō)明。另外，以下雖然以使用亮度值作為明暗信息 的情況進(jìn)行說(shuō)明，但是在將G或B的像素?cái)?shù)據(jù)值用作明暗信息的情況下， 僅閾值數(shù)據(jù)不同以及判斷像素?cái)?shù)據(jù)是否低于閾值的情況不同，因此省略 說(shuō)明。
首先，為了從要實(shí)施圖39的處理的一系列圖像中的最開(kāi)始的幀開(kāi)始 進(jìn)行處理，使幀編號(hào)i為l (步驟S201)，接著從終端裝置107的存儲(chǔ)裝 置(未圖示)讀出幀編號(hào)為i的圖像Fi的圖像數(shù)據(jù)(步驟S202)。
根據(jù)讀出的圖像Fi的圖像數(shù)據(jù)計(jì)算平均亮度值Ii (步驟S233)。平 均亮度值Ii為各個(gè)圖像中所含的全部像素的亮度值的平均值。這里，亮 度值I如上所述為表示圖像的明暗的特征量，例如通過(guò)亮度值1 = 0.6R+0.3G+0.1B來(lái)進(jìn)行計(jì)算。步驟S233構(gòu)成對(duì)各個(gè)圖像Fi根據(jù)全部像 素的亮度值來(lái)計(jì)算平均亮度值作為明暗信息的特征量的特征量計(jì)算步驟 或者特征量計(jì)算部。
接著判斷平均亮度值Ii是否超過(guò)規(guī)定的閾值Thll (步驟S234)。
另夕卜，通過(guò)對(duì)該閾值Thll的值進(jìn)行調(diào)整，能夠判定讀出的圖像Fi 是否為在進(jìn)入了胃食道接合部(EG接合部)的附近所拍攝的圖像，或者 是否為在胃食道接合部的中央部所拍攝的圖像。
當(dāng)在步驟S234中為"是"時(shí)，即平均亮度值Ii超過(guò)規(guī)定的閾值Thll 時(shí)，判定為該圖像Fi為膠囊型內(nèi)窺鏡103將要進(jìn)入胃食道接合部(EG 接合部)時(shí)、或者正在通過(guò)胃食道接合部(EG接合部)時(shí)拍攝的圖像(步 驟S205)。步驟S234和S205構(gòu)成根據(jù)算出的平均亮度值Ii來(lái)檢測(cè)消化 道的邊界部的邊界部檢測(cè)部、以及根據(jù)邊界部即胃食道接合部的檢測(cè)結(jié) 果來(lái)判定管腔內(nèi)圖像為從食道到賁門(mén)部的部分的圖像的判定部。
當(dāng)在步驟S234中為"否"時(shí)，即平均亮度值Ii未超過(guò)規(guī)定的閾值 Thll時(shí)，判定是否對(duì)全部需要實(shí)施圖39的處理的一系列圖像完成了圖 39的處理(步驟S206)，當(dāng)全部完成時(shí)，在步驟S206中為"否"，結(jié)束 處理。當(dāng)在步驟S206中為"否"時(shí)，由于尚存未處理的圖像，因而進(jìn)行 i二i+l的處理(步驟S207),此后重復(fù)進(jìn)行步驟S202到S234的處理。
步驟S233到S205構(gòu)成檢測(cè)消化道的邊界部的檢測(cè)部。
另外，在本實(shí)施方式中也是在步驟S205中，當(dāng)明暗信息即平均亮度 值Ii超過(guò)規(guī)定的閾值Thll時(shí)，判定為該圖像Fi為膠囊型內(nèi)窺鏡103將 要進(jìn)入胃食道接合部(EG接合部)時(shí)、或者正在通過(guò)胃食道接合部(EG 接合部)時(shí)拍攝的圖像，換言之，能夠判定為此后將要通過(guò)關(guān)閉的賁門(mén) 部、或者將要到達(dá)胃內(nèi)部。因此能夠進(jìn)行賁門(mén)部的檢測(cè)。 下面說(shuō)明在圖39中說(shuō)明的平均亮度值Ii的具體例子。 圖40是表示對(duì)各個(gè)幀的圖像實(shí)施的使用根據(jù)RGB的三個(gè)像素值算 出的(0.6R+0.3G+0.1B)作為平均亮度值Ii時(shí)的圖39的步驟S233的處 理流程的例子的流程圖。在圖40的處理中，根據(jù)一幀的每個(gè)像素的RGB 的三個(gè)各像素值rj、 gj、 bj來(lái)計(jì)算亮度值(0.6R+0.3G+0.1B),從而算出 平均亮度值Ii。
另外，由于圖40包含與圖34相同的處理步驟，因此對(duì)于相同的處 理賦予相同的步驟編號(hào)而簡(jiǎn)化說(shuō)明。j表示在各個(gè)幀的圖像數(shù)據(jù)中用于確 定像素的編號(hào)。
最初，設(shè)為〗=1， vall=0， countl = 0 (步驟S241)。其中，vall為 用于求明暗特征量的總和的變量，countl為用于求在平均亮度值Ii的計(jì) 算中使用的像素?cái)?shù)的變量。
接下來(lái)在步驟S212中，判定第j個(gè)像素是否是屬于暗部的像素。當(dāng) 判定為第j個(gè)像素是屬于暗部的像素時(shí)進(jìn)入步驟S216,而當(dāng)判定為第j 個(gè)像素是不屬于暗部的像素時(shí)進(jìn)入步驟S213。
接著在步驟S213中，判定第j個(gè)像素是否為非常明亮的像素即是否 是屬于光暈部的像素。當(dāng)判定為第j個(gè)像素為光暈像素時(shí)進(jìn)入步驟S216， 而當(dāng)判定為第j個(gè)像素不是光暈像素時(shí)進(jìn)入步驟S244。
另外，在步驟S212和S213中，關(guān)于R圖像、G圖像和B圖像的閾 值thd和thh對(duì)于各個(gè)像素rj、 gj和bj分別是相同的值，但是由于生物體 粘膜總的來(lái)說(shuō)具有R圖像最為明亮的傾向，因此例如也可以將針對(duì)rj的 閾值設(shè)定為比針對(duì)gj和bj的閾值高。另外，也可以將針對(duì)rj、 gj和bj 的閾值分別設(shè)定為不同的值。
在步驟S244中進(jìn)行vail =vall十(0.6rj+0.3gj+0.1bj)和countl =countl + 1的運(yùn)算。對(duì)用于求明暗特征量的總和的變量vail加上明暗特征量即 亮度值(0.6rj+0.3gj+0.1bj)，使變量countl增加1。
然后，在步驟S215中，判定是否對(duì)于全部像素進(jìn)行了步驟S212到 步驟S244的處理。當(dāng)沒(méi)有對(duì)全部像素進(jìn)行了步驟S212到步驟S244的處 理時(shí)，在步驟S216中，對(duì)用于確定像素的編號(hào)j加1 (j=j + l)，對(duì)下一 個(gè)像素執(zhí)行從所述步驟S212到步驟S244的處理。在對(duì)全部像素進(jìn)行了 從步驟S212到步驟S244的處理時(shí)，判定countl是否比規(guī)定的閾值the 大(步驟S217)。當(dāng)存在充分?jǐn)?shù)量的對(duì)明暗評(píng)價(jià)有效的像素時(shí)，用變量 countl除以變量vall來(lái)計(jì)算平均亮度值Ii (步驟218)。具體而言，Ii= vail/ countl 。
當(dāng)不存在充分?jǐn)?shù)量的對(duì)明暗評(píng)價(jià)有效的像素時(shí)，判斷為該幀的圖像 為錯(cuò)誤即異常圖像(步驟S219)，使平均亮度值li例如為0 (零)，在圖 39的步驟S234中，判斷為沒(méi)有超過(guò)閾值Thll。
另外，在以上的說(shuō)明中，對(duì)賁門(mén)部關(guān)閉的情況進(jìn)行了說(shuō)明，但是對(duì)
3二打開(kāi)的情況也能夠適用本實(shí)施方式的處理，能夠根據(jù)亮度值是否超過(guò)
規(guī)定的閾值而檢測(cè)賁門(mén)部。
下面對(duì)本實(shí)施方式的各種變形例進(jìn)行說(shuō)明。
關(guān)于第一變形例，在上述圖39到圖40中，根據(jù)各個(gè)幀的圖像，進(jìn) 行胃食道接合部的通過(guò)、賁門(mén)部的通過(guò)等的判斷，但也可以當(dāng)連續(xù)的多 個(gè)圖像、或者連續(xù)的多個(gè)圖像中的規(guī)定比率(例如80%)以上的圖像在 步驟S234的判定結(jié)果為Ii>Thll時(shí)，判斷為膠囊內(nèi)窺鏡103通過(guò)了胃食 道接合部等。
另外，關(guān)于第二變形例，雖然以上的說(shuō)明對(duì)連續(xù)的多個(gè)圖像進(jìn)行了 處理，但是圖39的處理也可以對(duì)特定的一幅圖像進(jìn)行。
另外，關(guān)于第三變形例，也可以計(jì)算連續(xù)的多個(gè)圖像中的平均亮度 值Ii的移動(dòng)平均，根據(jù)該移動(dòng)平均值是否超過(guò)規(guī)定的閾值，進(jìn)行膠囊型 內(nèi)窺鏡103是否通過(guò)胃食道接合部等的判定。例如，當(dāng)m二2， 3， 4，… 且〉二m+l時(shí)(即從n幅圖像中取出連續(xù)的m幅圖像，此時(shí)(m+l)
為i以下)，從連續(xù)的m幅的各圖像取得的圖像F (i—m)，根據(jù)Fi的平 均亮度值來(lái)計(jì)算移動(dòng)平均值，判斷該移動(dòng)平均值是否超過(guò)規(guī)定的閾值。 根據(jù)使用這樣的移動(dòng)平均，即使是由于觀察距離、角度等的不同引起的 照明條件的變化而產(chǎn)生的紅色強(qiáng)的食道內(nèi)的圖像等，也可以除去平均亮 度值的小的變化的影響，以更高的精度檢測(cè)膠囊型內(nèi)窺鏡103的胃食道 接合部的通過(guò)等。
另外，關(guān)于第四變形例，在以上的例子中，對(duì)于明暗特征量，也可 以替代根據(jù)上述的RGB的三個(gè)像素值計(jì)算出的亮度，而使用G或B的 像素?cái)?shù)據(jù)。
圖41是表示用于說(shuō)明代替根據(jù)上述的RGB的三個(gè)像素值計(jì)算出的 亮度而使用G或B的像素?cái)?shù)據(jù)作為圖像的明暗信息時(shí)的一系列內(nèi)窺鏡圖 像中的G或B的像素?cái)?shù)據(jù)的變化的示意曲線圖。在圖41中，橫軸表示 沿著從食道扁平上皮部經(jīng)過(guò)胃食道接合部到達(dá)胃所得到的內(nèi)窺鏡圖像的 時(shí)序的圖像編號(hào)(幀編號(hào))，縱軸表示與各個(gè)圖像編號(hào)對(duì)應(yīng)的內(nèi)窺鏡圖像 的G或B的像素?cái)?shù)據(jù)值。
艮口，如圖41所示，在食道的扁平上皮部RA和圓柱上皮的胃部RC 中，G或B的像素?cái)?shù)據(jù)值不同，進(jìn)而在它們之間的胃食道接合部RB， G 或B的像素?cái)?shù)據(jù)值與食道的扁平上皮部RA和圓柱上皮的胃部RC不同。 具體而言，在胃食道接合部RB，從像素?cái)?shù)據(jù)值大的白色調(diào)的食道的扁平 上皮部RA，到像素?cái)?shù)據(jù)值小的圓柱上皮和胃底腺粘膜的胃部RC， G或 B的像素?cái)?shù)據(jù)值逐漸降低。
因此，當(dāng)圖像的明暗信息在逐漸變化的過(guò)程中低于規(guī)定的閾值Th12 時(shí)，判定為膠囊型內(nèi)窺鏡103正在通過(guò)胃食道接合部(EG接合部)、或 者將要進(jìn)入胃食道接合部(EG接合部)等。即，根據(jù)拍攝的圖像的明暗 信息的不同，判定膠囊型內(nèi)窺鏡103的胃食道接合部的通過(guò)等。具體而 言，為了可靠地進(jìn)行該通過(guò)等的判斷，可以采用G或B的像素?cái)?shù)據(jù)值的 平均值等作為明暗信息。
另外，關(guān)于第五變形例，也可以采用多個(gè)明暗信息。例如在圖39的 步驟S233中，使用根據(jù)RGB的三個(gè)像素值算出的像素的亮度值和G的
像素?cái)?shù)據(jù)，計(jì)算它們的平均值即各個(gè)圖像中的全部像素的平均亮度值Ili 以及G的像素?cái)?shù)據(jù)的平均值I2i。然后，也可以在步驟S234中，判斷平 均亮度值Ili以及G的像素?cái)?shù)據(jù)的平均值I2i是否為Il^Thl3且I2KTh14。 另外，關(guān)于第六變形例，也可以根據(jù)明暗信息的變化量，來(lái)檢測(cè)膠 囊型內(nèi)窺鏡103的胃食道接合部的通過(guò)等。即，也可以不是判定從連續(xù) 的一系列圖像的各個(gè)圖像獲得的明暗信息是否超過(guò)規(guī)定的閾值，而是判 定連續(xù)的兩幅圖像的明暗信息的變化量是否超過(guò)規(guī)定的閾值。即，也可 以對(duì)于各個(gè)圖像的明暗信息，例如與前一個(gè)圖像或者后一個(gè)圖像的平均 亮度值進(jìn)行比較，如果這兩個(gè)平均亮度值的差超過(guò)規(guī)定的閾值，則進(jìn)行 例如膠囊型內(nèi)窺鏡103從食道進(jìn)入了胃食道接合部、從胃食道接合部進(jìn) 入了胃等的判定。判斷圖像F (i—ml)和圖像Fi的平均亮度值I (i一ml) 與Ii的差分值(Ii—I (i一ml))是否發(fā)生了規(guī)定閾值以上的變化。ml為 1， 2， 3…。
這是由于粘膜顏色的個(gè)人差異、巴雷特食道等病變部的存在、攝像 系統(tǒng)的偏差等原因，粘膜的色調(diào)并不總是恒定的，因此在不受這種個(gè)人 差異等的影響的條件下，能夠判定膠囊型內(nèi)窺鏡3是否通過(guò)了胃食道接 合部等。
另外，此時(shí)也可以通過(guò)計(jì)算平均亮度值的微分值來(lái)檢測(cè)明暗信息的 變化。
圖42是表示通過(guò)計(jì)算該平均亮度值的微分值來(lái)檢測(cè)明暗變化的處 理流程的例子的流程圖。由于是與圖35相同的處理，因此賦予相同的步 驟編號(hào)而簡(jiǎn)化說(shuō)明。
另外，各個(gè)圖像的圖像數(shù)據(jù)也如在圖39的處理中說(shuō)明的那樣，在進(jìn) 行圖42的處理之前實(shí)施逆Gamma校正、噪聲除去等預(yù)處理。步驟S201 到步驟S233的處理與圖39的處理的步驟S201到步驟S233的處理相同。
判定是否對(duì)全部圖像進(jìn)行了處理，即是否完成了全部圖像(步驟 S221)，如果沒(méi)有完成全部圖像，則在步驟S221中為"否"，使i二i + l (步驟S207)，處理轉(zhuǎn)入步驟S202。
當(dāng)完成了全部圖像時(shí)，在步驟S221中為"是"，對(duì)于所得到的多個(gè)
平均亮度值Ii，為了平滑化而在規(guī)定的范圍即連續(xù)的規(guī)定幅數(shù)的圖像的范
圍內(nèi)計(jì)算移動(dòng)平均值f (Ii)(步驟S252)。然后，根據(jù)移動(dòng)平均值f (Ii) 的時(shí)間經(jīng)過(guò)來(lái)計(jì)算微分值A(chǔ)f (Ii)(步驟S253)。
然后，確定檢測(cè)與超過(guò)規(guī)定的閾值thfl的微分值A(chǔ)f (Ii)對(duì)應(yīng)的圖 像Fi (步驟S254)。步驟S233到S254構(gòu)成檢測(cè)消化道的邊界部的檢測(cè)部。
如上所述，能夠在多個(gè)圖像間檢測(cè)明暗的變化量超過(guò)規(guī)定閾值的圖 像，因此即使存在粘膜顏色的個(gè)人差異等，也能夠不受個(gè)人差異等的影 響，來(lái)進(jìn)行膠囊型內(nèi)窺鏡103的胃食道接合部的通過(guò)等的判定。
另外，關(guān)于第七變形例，也可以根據(jù)明暗的分布來(lái)檢測(cè)關(guān)閉狀態(tài)的 賁門(mén)部。例如也可以不使用明暗信息的平均值，而是與第四實(shí)施方式同 樣，使用標(biāo)準(zhǔn)偏差或者離散值。根據(jù)所得到的一系列內(nèi)窺鏡圖像中的明 暗信息的標(biāo)準(zhǔn)偏差或者離散值，能夠判定膠囊型內(nèi)窺鏡103將要通過(guò)胃 食道接合部等。具體而言，求出R圖像數(shù)據(jù)的明暗的標(biāo)準(zhǔn)偏差，如果該 標(biāo)準(zhǔn)偏差比規(guī)定的閾值小，則判定為正面觀察關(guān)閉的賁門(mén)部。這是由于 在正面觀察關(guān)閉狀態(tài)的賁門(mén)部時(shí)的圖像的明暗比較均勻。另外，也可以 代替平均亮度值的標(biāo)準(zhǔn)偏差或離散值，而采用它們的變化系數(shù)(-標(biāo)準(zhǔn) 偏差/平均亮度值)。
另外，關(guān)于第八變形例，雖然在以上說(shuō)明的例子中使用各個(gè)幀的圖 像的全部像素的像素?cái)?shù)據(jù)，但是如第四實(shí)施方式的根據(jù)圖37所說(shuō)明的那 樣，也可以不以全部像素為處理對(duì)象，而僅對(duì)各個(gè)幀的規(guī)定區(qū)域內(nèi)的像 素進(jìn)行采樣而作為處理對(duì)象。圖37是表示在各個(gè)幀的圖像中進(jìn)行上述本 實(shí)施方式和變形例中的圖像處理的區(qū)域的例子的圖。
將各個(gè)幀的圖像劃分為規(guī)定的區(qū)域。在圖37中，各個(gè)圖像被劃分為 16部分而使各個(gè)分割的區(qū)域?yàn)榫匦危谠摲指畹膮^(qū)域中，僅對(duì)預(yù)先設(shè)定 的區(qū)域(R2、 R3、 R5、 R8、 R9、 R12、 R14、 R15)，即僅對(duì)關(guān)心區(qū)域(ROI) 進(jìn)行上述處理。特別是由于食道為管腔內(nèi)臟器官，因此為了更準(zhǔn)確地計(jì) 算粘膜表面的色調(diào)，可以除去些許視野的中央部來(lái)設(shè)定關(guān)心區(qū)域(ROI)。
因此，如果僅以關(guān)心區(qū)域(ROI)為處理對(duì)象，則能夠減少運(yùn)算量而
實(shí)現(xiàn)處理的高速化。
另夕卜，為了進(jìn)一步實(shí)現(xiàn)處理的高速化，當(dāng)僅以關(guān)心區(qū)域(ROI)為處
理對(duì)象時(shí)，也可以不是對(duì)全部的幀進(jìn)行處理，而是針對(duì)間隔k幅(k=l， 2， 3，…)的每一幀，僅將關(guān)心區(qū)域(ROI)的像素作為處理對(duì)象。這是 由于特別是在食道內(nèi)由于每秒拍攝的幅數(shù)多，因此即使有時(shí)進(jìn)行間隔若 干幅的間隔采樣，也能夠準(zhǔn)確地進(jìn)行判定。.
如上所述，根據(jù)本實(shí)施方式(包含變形例)，能夠根據(jù)圖像的明暗信 息，來(lái)判定各個(gè)圖像是否為膠囊型內(nèi)窺鏡將要進(jìn)入胃食道接合部(EG接 合部)時(shí)、或者正在通過(guò)胃食道接合部(EG接合部)等時(shí)的圖像。
另外，在本實(shí)施方式中，通過(guò)對(duì)算出的特征量應(yīng)用閾值處理，來(lái)檢 測(cè)各個(gè)圖像是否為膠囊型內(nèi)窺鏡將要進(jìn)入胃食道接合部(EG接合部)時(shí)、 或者正在通過(guò)胃食道接合部(EG接合部)時(shí)的圖像，但是也可以使用例 如公知的線性判別函數(shù)等識(shí)別函數(shù)來(lái)進(jìn)行該檢測(cè)。另外，也可以組合使 用其它實(shí)施方式中的特征量。 (第六實(shí)施方式)
下面參照附圖對(duì)第六實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的賁門(mén)檢測(cè) 裝置及其方法進(jìn)行說(shuō)明。在本實(shí)施方式中作為圖像處理對(duì)象的內(nèi)窺鏡圖 像與第四實(shí)施方式同樣，是由膠囊型內(nèi)窺鏡裝置101獲得的連續(xù)的一系 列的內(nèi)窺鏡圖像，因此賁門(mén)檢測(cè)裝置的結(jié)構(gòu)與第四實(shí)施方式相同而省略 說(shuō)明。
在上述第四實(shí)施方式中使用色調(diào)特征量，但是本實(shí)施方式的管腔圖 像處理裝置即賁門(mén)檢測(cè)裝置的特征在于，通過(guò)進(jìn)行打開(kāi)狀態(tài)的賁門(mén)部的 檢測(cè)，判定各個(gè)圖像是否為當(dāng)膠囊型內(nèi)窺鏡處于從食道朝向胃的賁門(mén)部 的近前側(cè)的附近處等時(shí)的圖像。
圖43是表示膠囊型內(nèi)窺鏡103位于打開(kāi)的賁門(mén)部的近前側(cè)時(shí)的圖像 的例子的圖。
當(dāng)膠囊型內(nèi)窺鏡103在管腔內(nèi)，拍攝打開(kāi)的賁門(mén)部時(shí)，在打開(kāi)的賁 門(mén)部中，與周邊部相比亮度顯著降低。如圖43所示，當(dāng)賁門(mén)部132打開(kāi) 著時(shí)，在膠囊型內(nèi)窺鏡103拍攝的圖像131中，打開(kāi)的賁門(mén)部132成為
暗部區(qū)域。因此，隨著膠囊型內(nèi)窺鏡103從食道通過(guò)胃食道接合部(EG
接合部)而接近賁門(mén)，圖像131中的賁門(mén)部132的面積增大。本實(shí)施方
式中，當(dāng)打開(kāi)的賁門(mén)部區(qū)域的面積超過(guò)規(guī)定大小時(shí)，則判定為膠囊型內(nèi)
窺鏡103從胃的食道側(cè)將要通過(guò)賁門(mén)部。
圖44表示根據(jù)所得到的一系列內(nèi)窺鏡圖像，進(jìn)行打開(kāi)的賁門(mén)部的檢 測(cè)的處理流程的例子的流程圖。從被檢者口部進(jìn)入后拍攝得到的一系列 的內(nèi)窺鏡圖像由多個(gè)幀構(gòu)成，對(duì)各個(gè)幀進(jìn)行圖44的處理。另外，各個(gè)內(nèi) 窺鏡圖像的圖像數(shù)據(jù)在實(shí)施圖44的處理之前，進(jìn)行逆Gamma校正、噪 聲除去等預(yù)處理。
為了從需要實(shí)施圖44的處理的一系列圖像中的最開(kāi)始的幀開(kāi)始進(jìn) 行處理，首先使幀編號(hào)i為l (步驟S261)。 i為l到n的整數(shù)。
接著從終端裝置7的存儲(chǔ)裝置(未圖示)讀出幀編號(hào)為i的圖像Fi 的R圖像數(shù)據(jù)(步驟S262)。圖像Fi由RGB的三個(gè)平面構(gòu)成。這里，僅 讀出R圖像數(shù)據(jù)。
另外，這里為了后述的賁門(mén)部的判定而讀出R圖像數(shù)據(jù)，但是也可 以使用圖像Fi的G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)。
對(duì)讀出的圖像Fi的R圖像數(shù)據(jù)的全部像素，實(shí)施暗部像素的2值化 處理(步驟S263)。具體而言，對(duì)各個(gè)像素的像素值，與規(guī)定的閾值Th2 進(jìn)行比較而實(shí)施2值化處理，并且使暗部像素為1而使除此之外的像素 為0 (零)。如果使j為用于在各個(gè)幀的圖像數(shù)據(jù)中確定像素的編號(hào)，則 通過(guò)檢查各個(gè)像素的值rj是否小于閾值Th2，從而使小于閾值Th2的像 素為l，使除此之外的像素為O (零)。
下面計(jì)算暗部像素相對(duì)于全部像素的比率s (步驟S264)。換言之 比率e為圖像中的暗部的面積比率。具體而言，對(duì)通過(guò)步驟S263的2值 化處理而成為暗部像素的像素?cái)?shù)進(jìn)行計(jì)數(shù)，將該數(shù)除以R圖像數(shù)據(jù)的全 部像素?cái)?shù)，從而算出比率e。如果設(shè)暗部像素?cái)?shù)為pl，設(shè)圖像Fi的尺寸 為ISXXISY，則比率e為pl/(ISXXISY)。步驟S264構(gòu)成對(duì)各個(gè)圖像Fi 計(jì)算暗部像素的比率的暗部比率計(jì)算步驟或者暗部比率計(jì)算部。
然后，對(duì)暗部像素的比率e和規(guī)定的閾值Thr進(jìn)行比較，判斷暗部
像素的比率e是否超過(guò)規(guī)定的閾值Thr(步驟S265)。閾值Thr例如為0.8。 當(dāng)在步驟S265中為"是"時(shí)，即整個(gè)圖像超過(guò)80%為暗部時(shí)，判 定為檢測(cè)到打開(kāi)的賁門(mén)部(步驟S266)，結(jié)束處理。
當(dāng)在步驟S265中為"否"時(shí)，即暗部為整個(gè)圖像的80%以下時(shí)則 判定為不是賁門(mén)(步驟S267)，判定是否對(duì)全部需要實(shí)施圖44的處理的 一系列圖像完成了圖44的處理(步驟S268),當(dāng)全部完成時(shí)，在步驟S268 中為"是"，結(jié)束處理。當(dāng)在步驟S268中為"否"時(shí)，由于尚存未處理 的圖像，因此進(jìn)行i-i + l的處理(步驟S269),此后對(duì)下一個(gè)圖像重復(fù) 進(jìn)行步驟S262到S265的處理。
另外，在步驟S266中，當(dāng)暗部像素的比率e超過(guò)規(guī)定的閾值Thr時(shí)， 則判定為檢測(cè)到打開(kāi)的賁門(mén)部，換言之，能夠判定為此后將通過(guò)賁門(mén)部， 或者將要到達(dá)胃內(nèi)部。步驟S263到S266構(gòu)成檢測(cè)消化道的邊界部的檢 測(cè)部。
下面對(duì)本實(shí)施方式的各種變形例進(jìn)行說(shuō)明。
在上述例子中，為了賁門(mén)部的判定，僅讀出R圖像數(shù)據(jù)，但是還可 以讀出G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)，或者讀出G圖像數(shù)據(jù)和B圖像數(shù)據(jù)， 對(duì)兩個(gè)以上的圖像數(shù)據(jù)進(jìn)行暗部像素的2值化處理，當(dāng)兩個(gè)以上的圖像 數(shù)據(jù)中的暗部像素的比率e全部超過(guò)規(guī)定的閾值Thr時(shí)，判定為檢測(cè)到 賁門(mén)部。
另外，關(guān)于第二變形例，在上述圖44中，根據(jù)各個(gè)幀的圖像來(lái)檢測(cè) 賁門(mén)部，但是也可以當(dāng)連續(xù)的多個(gè)圖像或者連續(xù)的多個(gè)圖像中的規(guī)定比 率(例如80%)以上的圖像的步驟S265的判定結(jié)果為e >Thr時(shí)，判定 為檢測(cè)到賁門(mén)部。
關(guān)于第三變形例，雖然以上的說(shuō)明對(duì)連續(xù)的多個(gè)圖像進(jìn)行了處理， 但是圖44的處理也可以對(duì)一幅圖像進(jìn)行。
另外，關(guān)于第四變形例，也可以不是計(jì)算暗部像素相對(duì)于全部像素 的比率e，而是對(duì)非暗部的像素、在上述例子中是不小于閾值Th2的像 素PO的總數(shù)進(jìn)行計(jì)數(shù)，將該數(shù)除以全部像素?cái)?shù)，計(jì)算非暗部的像素的比 率e 1，或者計(jì)算非暗部像素?cái)?shù)pO相對(duì)于暗部像素?cái)?shù)pl的比率(p0/pl。其中，pl不為0 (零))等，進(jìn)行賁門(mén)檢測(cè)的判定。
另外，關(guān)于第五變形例，能夠根據(jù)檢測(cè)賁門(mén)部時(shí)的膠囊型內(nèi)窺鏡103 與賁門(mén)之間的距離來(lái)改變閾值Thr。換言之，可以根據(jù)希望檢測(cè)賁門(mén)部時(shí) 的膠囊型內(nèi)窺鏡3與賁門(mén)之間的距離而改變閾值Thr。例如使Thr為0.5， 從而與上述的Thr為0.8時(shí)相比，能夠更早地檢測(cè)到賁門(mén)。
如上所述，根據(jù)本實(shí)施方式，能夠根據(jù)圖像中的暗部的面積來(lái)檢測(cè) 打開(kāi)的賁門(mén)部。
另外，在本實(shí)施方式中，通過(guò)對(duì)算出的特征量應(yīng)用閾值處理，來(lái)檢 測(cè)打開(kāi)的賁門(mén)部，但是也可以使用例如公知的線性判別函數(shù)等識(shí)別函數(shù) 來(lái)進(jìn)行該檢測(cè)。另外，也可以組合使用其它實(shí)施方式中的特征量。 (第七實(shí)施方式)
下面參照附圖對(duì)本發(fā)明第七實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的賁 門(mén)檢測(cè)裝置及其方法進(jìn)行說(shuō)明。在本實(shí)施方式中的特征在于，根據(jù)形狀 來(lái)檢測(cè)打開(kāi)的賁門(mén)部。在本實(shí)施方式中作為圖像處理對(duì)象的內(nèi)窺鏡圖像 與第四實(shí)施方式同樣，是由膠囊型內(nèi)窺鏡裝置101獲得的連續(xù)的一系列 的內(nèi)窺鏡圖像，因此賁門(mén)檢測(cè)裝置的結(jié)構(gòu)與第四實(shí)施方式相同而省略說(shuō) 明。
本實(shí)施方式的管腔圖像處理裝置即賁門(mén)檢測(cè)裝置的特征在于，通過(guò) 檢測(cè)打開(kāi)狀態(tài)的賁門(mén)部的形狀，來(lái)判定各個(gè)圖像是否為當(dāng)從食道朝向胃 的膠囊型內(nèi)窺鏡處于賁門(mén)部的近前側(cè)附近等時(shí)的圖像。
圖45是表示膠囊型內(nèi)窺鏡103通過(guò)打開(kāi)的賁門(mén)部時(shí)的圖像的例子的 圖。在圖像131A內(nèi)包含有作為暗部圖像的打開(kāi)的賁門(mén)部132A。
圖46是表示根據(jù)所得到的一系列內(nèi)窺鏡圖像來(lái)檢測(cè)打開(kāi)的賁門(mén)部 的處理流程的例子的流程圖。從被檢者口部進(jìn)入后拍攝得到的一系列的 內(nèi)窺鏡圖像由多個(gè)幀構(gòu)成，對(duì)各個(gè)幀進(jìn)行圖46的處理。另外，各個(gè)內(nèi)窺 鏡圖像的圖像數(shù)據(jù)在實(shí)施圖46的處理之前，進(jìn)行逆Gamma校正、噪聲 除去等預(yù)處理。
為了從需要實(shí)施圖46的處理的一系列圖像中的最開(kāi)始的幀開(kāi)始進(jìn) 行處理，首先使幀編號(hào)i為l (步驟S271)。 i為l到n的整數(shù)。
接著從終端裝置7的存儲(chǔ)裝置(未圖示)讀出幀編號(hào)為i的圖像Fi
的R圖像數(shù)據(jù)(步驟S272)。圖像Fi由RGB的三個(gè)平面構(gòu)成，這里僅讀 出R圖像數(shù)據(jù)。
對(duì)讀出的圖像Fi的R圖像數(shù)據(jù)實(shí)施帶通濾波處理(步驟S273)。帶 通濾波處理可以通過(guò)使用公知的數(shù)字濾波器的巻積處理或者在傅立葉面 上進(jìn)行應(yīng)用。
帶通濾波器的特性例如具有圖47所示的特性。圖47是表示帶通濾 波處理中的濾波器特性的圖。該濾波器特性如圖47所示，由于不易受到 血管等細(xì)微的邊緣成分的影響，所以具有在稍低的頻帶中通過(guò)成分多的 特性。濾波器特性例如在空間頻率從0 (零)到k (md)的頻率中，在 n/4頻率上具有通過(guò)特性的峰值(1.0)。
下面對(duì)帶通濾波處理的處理結(jié)果圖像使用閾值實(shí)施邊緣成分的2值 化處理(步驟S274)。 2值化處理例如使規(guī)定的閾值Th3為10.0，提取具 有比該閾值Th3大的變化的邊緣成分。使具有比閾值Th3大的變化的邊 緣成分的像素為1，除此之外的像素為0 (零)。如果使j為用于在各個(gè)幀 的圖像數(shù)據(jù)中確定像素的編號(hào)，則通過(guò)檢查各個(gè)像素的邊緣成分是否超 過(guò)閾值Th3，從而使超過(guò)閾值Th3的像素rj為l，使除此之外的像素為0 (零)。如上所述在圖像中包含賁門(mén)部的情況下，由于該圖像具有急劇的 明暗變化，因此通過(guò)將閾值Th3設(shè)定為較大的值，能夠排除其它邊緣成 分例如由粘膜的變形所引起的褶皺等。
然后，通過(guò)判定提取的邊緣成分的圖像是否為因賁門(mén)所產(chǎn)生的圖像 的賁門(mén)判定處理，判定是否為賁門(mén)(步驟S275)。在本實(shí)施方式中，使提 取的邊緣成分細(xì)線化，將與近似圓的一致度作為評(píng)價(jià)值，根據(jù)邊緣成分 是否為大致圓形，能夠判定是否為賁門(mén)。邊緣成分是否為大致圓形可以 通過(guò)半變換處理來(lái)進(jìn)行判定。
圖48是表示對(duì)圖45的圖像實(shí)施規(guī)定的帶通濾波和2值化處理的結(jié) 果的圖像的例子的圖。如圖48所示，打開(kāi)的賁門(mén)部具有大致圓形的形狀 132B。因此，對(duì)圖48的邊緣成分圖像131B實(shí)施半變換等，判定邊緣成 分132B是否為圓形。
根據(jù)賁門(mén)判定處理的結(jié)果，當(dāng)為賁門(mén)時(shí)，在步驟S275中為"是"， 判定為檢測(cè)出賁門(mén)部(步驟S276)，結(jié)束處理。
當(dāng)在步驟S275中為"否"時(shí)，即在不是賁門(mén)時(shí)判定為不是賁門(mén)(步 驟S277)，判斷是否對(duì)全部需要實(shí)施圖46的處理的一系列圖像完成了圖 46的處理(步驟S278)，當(dāng)全部完成時(shí)，在步驟S278中為"是"，結(jié)束 處理。當(dāng)在步驟S278中為"否"時(shí)，由于尚存未處理的圖像，進(jìn)行i二i 十l的處理(步驟S279)，此后對(duì)下一個(gè)圖像重復(fù)進(jìn)行步驟S272到S274 的處理。步驟S273到S276構(gòu)成特征量計(jì)算部、檢測(cè)消化道的邊界部的 檢測(cè)部。
下面對(duì)本實(shí)施方式中的各種變形例進(jìn)行說(shuō)明。
在上述例子中，為了進(jìn)行賁門(mén)部的判定，僅讀出R圖像數(shù)據(jù)，但是 還可以讀出G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)，或者讀出G圖像數(shù)據(jù)和B圖像 數(shù)據(jù)，對(duì)兩個(gè)以上的圖像數(shù)據(jù)進(jìn)行暗部像素的2值化處理，當(dāng)兩個(gè)以上 的圖像數(shù)據(jù)中的暗部像素的形狀為圓形時(shí)，判定為檢測(cè)出賁門(mén)部。
另外，關(guān)于第二變形例，在上述圖46中根據(jù)各個(gè)幀的圖像來(lái)檢測(cè)賁 門(mén)部，但是也可以在連續(xù)的多個(gè)圖像或者連續(xù)的多個(gè)圖像中的規(guī)定比率 (例如80%)以上的圖像中的暗部像素的形狀為圓形時(shí)，判定為檢測(cè)出 賁門(mén)部。
關(guān)于第三變形例，雖然以上的說(shuō)明對(duì)連續(xù)的多個(gè)圖像進(jìn)行了處理， 但是圖46的處理也可以對(duì)一幅圖像進(jìn)行。
如上所述，根據(jù)本實(shí)施方式，能夠根據(jù)圖像中的打開(kāi)的賁門(mén)部的形 狀來(lái)檢測(cè)賁門(mén)部。
另外，在本實(shí)施方式中，通過(guò)對(duì)算出的特征量應(yīng)用閾值處理，來(lái)檢 測(cè)打開(kāi)的賁門(mén)部，但是也可以使用例如公知的線性判別函數(shù)等識(shí)別函數(shù) 來(lái)進(jìn)行該檢測(cè)。另外，也可以組合使用其它實(shí)施方式中的特征量。 (第八實(shí)施方式)
下面參照附圖對(duì)本發(fā)明第八實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的賁 門(mén)檢測(cè)裝置及其方法進(jìn)行說(shuō)明。本實(shí)施方式中的特征在于，在根據(jù)形狀 來(lái)檢測(cè)打開(kāi)的賁門(mén)部時(shí)，利用暗部區(qū)域的邊界檢測(cè)和在第七實(shí)施方式中
說(shuō)明的邊緣檢測(cè)雙方，來(lái)判定拍攝到的圖像中是否有打開(kāi)的賁門(mén)部。在 本實(shí)施方式中作為圖像處理對(duì)象的內(nèi)窺鏡圖像與第四實(shí)施方式同樣，是 由膠囊型內(nèi)窺鏡裝置1獲得的連續(xù)的一系列的內(nèi)窺鏡圖像，因此管腔圖 像處理裝置即賁門(mén)檢測(cè)裝置的結(jié)構(gòu)與第四實(shí)施方式相同而省略說(shuō)明。
圖49是表示根據(jù)所得到的一系列內(nèi)窺鏡圖像，來(lái)進(jìn)行賁門(mén)部的檢測(cè) 的處理流程的例子的流程圖。從被檢者口部進(jìn)入后拍攝所得到的一系列
的內(nèi)窺鏡圖像由多個(gè)幀構(gòu)成，對(duì)各個(gè)幀進(jìn)行圖49的處理。另外，各個(gè)內(nèi) 窺鏡圖像的圖像數(shù)據(jù)在實(shí)施圖49的處理之前，進(jìn)行逆Gamma校正、噪 聲除去等預(yù)處理。
為了從需要實(shí)施圖49的處理的一系列圖像中的最開(kāi)始的幀開(kāi)始進(jìn) 行處理，首先使幀編號(hào)i為l (步驟S281)。 i為l到n的整數(shù)。
接著從終端裝置7的存儲(chǔ)裝置(未圖示)讀出幀編號(hào)為i的圖像Fi 的R圖像數(shù)據(jù)(步驟S282)。圖像Fi由RGB的三個(gè)平面構(gòu)成，這里，僅 讀出R圖像數(shù)據(jù)。
對(duì)讀出的圖像Fi的R圖像數(shù)據(jù)的全部像素，實(shí)施暗部像素的2值化 處理(步驟S283)。具體而言，將各個(gè)像素的像素值與規(guī)定的閾值Th2 進(jìn)行比較而實(shí)施2值化處理，并且使暗部像素為1而使此外的像素為0 (零)。如果使j為用于在各個(gè)幀的圖像數(shù)據(jù)中確定像素的編號(hào)，則通過(guò) 檢查各個(gè)像素的值rj是否低于閾值Th2，而使低于閾值Th2的像素為1 ， 使此外的像素為0 (零)。
接著，提取出被提取出的暗部區(qū)域的邊界，換言之進(jìn)行提取邊緣的 邊界提取處理(步驟S284)。邊界提取處理例如使值為1的像素(暗部像 素)為關(guān)注像素，設(shè)定以該關(guān)注像素為中心的3X3尺寸的遮蔽(mask) 區(qū)域，當(dāng)在遮蔽區(qū)域內(nèi)的8個(gè)像素中至少有1個(gè)值為0 (零)的像素時(shí)， 將該關(guān)注像素作為邊界像素而使其值為1來(lái)進(jìn)行處理。步驟S284構(gòu)成對(duì) 各個(gè)圖像Fi提取暗部像素的邊界的暗部邊界提取步驟或者暗部邊界提取 部。對(duì)全部的暗部像素實(shí)施該邊界提取處理。圖50表示提取的邊界的圖 像。在圖50的圖像131C中，當(dāng)進(jìn)行了邊界提取后，形成沿著打開(kāi)的賁 門(mén)部的邊界的大致圓形的形狀132C。
接著，對(duì)讀出的圖像Fi的R圖像數(shù)據(jù)實(shí)施帶通濾波處理(步驟S285)。 帶通濾波處理可以如同在第七實(shí)施方式中說(shuō)明的那樣，通過(guò)使用公知的 數(shù)字濾波器的巻積處理或者在傅立葉面上進(jìn)行應(yīng)用。
這里，帶通濾波器的特性例如具有上述圖47所示的特性，為了不易 受到血管等細(xì)微的邊緣成分的影響，具有在稍低的頻帶中通過(guò)成分多的 特性。
下面對(duì)帶通濾波處理的處理結(jié)果圖像，使用閾值實(shí)施邊緣成分的2 值化處理(步驟S286)。該2值化處理也如同在第七實(shí)施方式中說(shuō)明的那 樣，例如提取具有比規(guī)定的閾值Th3大的變化的邊緣成分。使作為邊緣 成分提取出的像素為1，此外的像素為0 (零)。如果使j為用于在各個(gè)幀 的圖像數(shù)據(jù)中確定像素的編號(hào)，則通過(guò)檢查各個(gè)像素的邊緣成分是否超 過(guò)閾值Th3，而使超過(guò)閾值Th3的像素rj為1，使此外的像素為0 (零)。 如上所述在圖像中包含有賁門(mén)部的情況下，由于該圖像具有急劇的明暗 變化，因此通過(guò)將閾值Th3設(shè)定為較高值，能夠排除其它邊緣成分例如 由粘膜的變形所引起的褶皺等。另外，為了不易受到暗部邊界的檢測(cè)偏 差的影響，也可以對(duì)提取出的像素進(jìn)行膨脹處理。
然后，計(jì)算在步驟S284中提取出的邊界像素與在步驟S286中作為 邊緣成分提取出的邊緣成分提取像素之間的一致度(步驟S287)。具體而 言，例如對(duì)于各個(gè)提取出的邊界像素ekl (kl = l， 2， 3，…，K。 K是 被檢測(cè)為邊界像素的像素的總數(shù)。)，判定圖像上的相同坐標(biāo)的像素是否 為也被作為邊緣成分像素而提取出，對(duì)作為邊界像素ekl且也被作為邊 緣成分像素而提取出的像素的個(gè)數(shù)nl進(jìn)行計(jì)數(shù)。該判定例如通過(guò)取邊界 像素ekl與圖像上的相同坐標(biāo)的像素的邊緣成分的"與"值(AND)來(lái) 進(jìn)行。另外，計(jì)算該個(gè)數(shù)nl相對(duì)于邊界像素的總數(shù)K的比率(nl/K)。
接著，根據(jù)表示邊界像素與邊緣成分提取像素之間的一致度的比率 (nl/K)，判斷圖像是否包含賁門(mén)部(步驟S288)。圖51是表示對(duì)處理對(duì) 象圖像實(shí)施規(guī)定的帶通濾波和2值化處理的結(jié)果的圖像的例子的圖。打 幵的賁門(mén)部具有大致圓形的形狀32B，而在圖51中圓的一部分上有缺口 。 此時(shí)，計(jì)算圖50的暗部區(qū)域的邊界部分與圖51的邊緣部分的比率，判
定是否為賁門(mén)。
根據(jù)賁門(mén)判定處理的結(jié)果，當(dāng)為賁門(mén)時(shí)，在步驟S288中為"是"， 判定為檢測(cè)出賁門(mén)部(步驟S289)，結(jié)束處理。具體而言，當(dāng)比率(nl/K) 超過(guò)規(guī)定的閾值the時(shí)，在步驟S288中為"是"，判定為賁門(mén)(步驟S289)， 結(jié)束處理。
在步驟S288中為"否"時(shí)，即比率(nl/K)未超過(guò)規(guī)定的閾值the 時(shí)則判定為不是賁門(mén)(步驟S290)，判定是否對(duì)需要實(shí)施圖49的處理的 一系列圖像的全部完成了圖49的處理(步驟S291)，當(dāng)全部完成時(shí)，在 步驟S291中為"是"，結(jié)束處理。當(dāng)在步驟S291中為"否"時(shí)，由于尚 存未處理的圖像，進(jìn)行i-i+l的處理(步驟S292)，此后對(duì)下一個(gè)圖像 重復(fù)進(jìn)行步驟S282到S288的處理。步驟S283到S289構(gòu)成特征量計(jì)算 部、檢測(cè)消化道的邊界部的檢測(cè)部。
下面對(duì)本實(shí)施方式中的各種變形例進(jìn)行說(shuō)明。
在上述例子中，為了進(jìn)行賁門(mén)部的判定，僅讀出R圖像數(shù)據(jù)，但是 還可以讀出G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)，或者讀出G圖像數(shù)據(jù)和B圖像 數(shù)據(jù)，對(duì)兩個(gè)以上的圖像數(shù)據(jù)進(jìn)行暗部像素的2值化處理，當(dāng)兩個(gè)以上 的圖像數(shù)據(jù)中的一致度超過(guò)規(guī)定的閾值時(shí)，判定為檢測(cè)出賁門(mén)部。
另外，關(guān)于第二變形例，在上述圖49中，根據(jù)各個(gè)幀的圖像來(lái)檢測(cè) 賁門(mén)部，但是也可以當(dāng)在連續(xù)的多個(gè)圖像或者連續(xù)的多個(gè)圖像中的規(guī)定 比率(例如80%)以上的圖像中一致度超過(guò)規(guī)定的閾值時(shí)，判定為檢測(cè) 出賁門(mén)部。
關(guān)于第三變形例，雖然以上的說(shuō)明對(duì)連續(xù)的多個(gè)圖像進(jìn)行了處理， 但是圖49的處理也可以對(duì)一幅圖像進(jìn)行。
根據(jù)本實(shí)施方式，判斷作為暗部提取出的區(qū)域是否伴隨大的邊緣， 從而能夠高精度地進(jìn)行賁門(mén)判定。
另外，即使當(dāng)賁門(mén)部處于未打幵成圓形的狀態(tài)時(shí)，或者膠囊型內(nèi)窺 鏡3距離賁門(mén)的距離遠(yuǎn)，賁門(mén)部為遠(yuǎn)景像時(shí)，也能夠高精度地進(jìn)行賁門(mén) 判定。
另外，在本實(shí)施方式中，通過(guò)對(duì)算出的特征量應(yīng)用閾值處理，來(lái)檢
測(cè)打開(kāi)的賁門(mén)部，但是也可以使用例如公知的線性判別函數(shù)等識(shí)別函數(shù) 來(lái)進(jìn)行該檢測(cè)。另外，也可以組合使用其它實(shí)施方式中的特征量。 (第九實(shí)施方式)
下面參照附圖對(duì)第九實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的賁門(mén)檢測(cè) 裝置及其方法進(jìn)行說(shuō)明。在本實(shí)施方式中的特征在于，在根據(jù)形狀來(lái)檢 測(cè)賁門(mén)部時(shí)，利用暗部區(qū)域的重心檢測(cè)和在第七實(shí)施方式中說(shuō)明的邊緣 檢測(cè)雙方，來(lái)判定拍攝所得到的圖像中是否有打開(kāi)的賁門(mén)部。在本實(shí)施 方式中作為圖像處理對(duì)象的內(nèi)窺鏡圖像與第四實(shí)施方式同樣，是由膠囊 型內(nèi)窺鏡裝置101獲得的連續(xù)的一系列的內(nèi)窺鏡圖像，因此管腔圖像處 理裝置即賁門(mén)檢測(cè)裝置的結(jié)構(gòu)與第四實(shí)施方式相同而省略說(shuō)明。
另外，對(duì)于和第八實(shí)施方式相同的處理步驟，賦予相同的步驟編號(hào) 而簡(jiǎn)化說(shuō)明。
圖52是表示根據(jù)所得到的一系列內(nèi)窺鏡圖像，來(lái)進(jìn)行賁門(mén)部的檢測(cè)
的處理流程的例子的流程圖。另外，在圖52中，對(duì)于和第八實(shí)施方式相
同的處理步驟，賦予相同的步驟編號(hào)而簡(jiǎn)化說(shuō)明。
從被檢者口部進(jìn)入后拍攝所得到的一系列的內(nèi)窺鏡圖像由多個(gè)幀構(gòu)
成，對(duì)各個(gè)幀進(jìn)行圖52的處理。另外，各個(gè)內(nèi)窺鏡圖像的圖像數(shù)據(jù)在實(shí) 施圖52的處理之前，進(jìn)行逆Gamma校正、噪聲除去等預(yù)處理。
為了從需要實(shí)施圖52的處理的一系列圖像中的最開(kāi)始的幀開(kāi)始進(jìn) 行處理，首先使幀編號(hào)i為l (步驟S281)。 i為l到n的整數(shù)。
接著從終端裝置7的存儲(chǔ)裝置(未圖示)讀出幀編號(hào)為i的圖像Fi 的R圖像數(shù)據(jù)(步驟S282)。
對(duì)讀出的圖像Fi的R圖像數(shù)據(jù)的全部像素實(shí)施暗部像素的2值化處 理(步驟S283)。具體而言，將各個(gè)像素的像素值與規(guī)定的閾值Th2進(jìn) 行比較而實(shí)施2值化處理，使暗部像素為1而使此外的像素為0 (零)。 如果使j為用于在各個(gè)幀的圖像數(shù)據(jù)中確定像素的編號(hào)，則通過(guò)檢查各個(gè) 像素的值rj是否低于閾值Th2,從而使低于閾值Th2的像素為1，使此外 的像素為0 (零)。
下面根據(jù)通過(guò)2值化處理檢測(cè)出的暗部區(qū)域的坐標(biāo)數(shù)據(jù)，計(jì)算暗部
區(qū)域的重心坐標(biāo)(步驟S301)。步驟S301構(gòu)成對(duì)圖像Fi計(jì)算暗部區(qū)域的 重心坐標(biāo)的暗部區(qū)域重心坐標(biāo)計(jì)算步驟或者暗部區(qū)域重心坐標(biāo)計(jì)算部。 圖53是表示通過(guò)暗部區(qū)域重心坐標(biāo)計(jì)算處理算出的重心位置的圖。在圖 53的圖像131E中，大致圓形的打開(kāi)的賁門(mén)部的暗部區(qū)域132E的重心 132Ec被示出于算出的重心坐標(biāo)的位置上。
接著，如同在第八實(shí)施方式中說(shuō)明的那樣，對(duì)讀出的圖像Fi的R圖 像數(shù)據(jù)實(shí)施帶通濾波處理(步驟S285)，并且對(duì)帶通濾波處理的處理結(jié)果 圖像使用閾值來(lái)實(shí)施邊緣成分的2值化處理(步驟S286)。
然后，進(jìn)行判定步驟S286中提取出的邊緣成分的像素是否以包圍暗 部區(qū)域的形式存在的全周性的評(píng)價(jià)(步驟S307)。具體而言，如圖54所 示，檢查從算出的重心坐標(biāo)132Ec放射狀延伸的規(guī)定的方向是否透過(guò)提 取出的邊緣成分像素。圖54是用于說(shuō)明全周性的評(píng)價(jià)的圖。在圖54所 示的例子中，若對(duì)從重心坐標(biāo)132Ec延伸的放射狀的多條線132Ed中與 邊緣成分像素交叉的線段的數(shù)量(以下稱為交叉數(shù))m2進(jìn)行計(jì)數(shù)，貝廿由 于在8個(gè)方向中132Ed線與7個(gè)邊緣成分交叉或者透過(guò)邊緣成分，因此 交叉數(shù)m2為7。
接著，根據(jù)交叉數(shù)m2，判斷圖像是否含有賁門(mén)部(步驟288)。如 圖54所示，即使在邊緣成分像素描繪的圓的一部分上有缺口，當(dāng)交叉數(shù) m2相對(duì)于多條線132Ed的數(shù)m3的比率(m2/m3)超過(guò)規(guī)定的閾值Thm 時(shí)，判定為圖像含有賁門(mén)部。換言之，根據(jù)從圖53的暗部區(qū)域的重心位 置放射狀延伸的多條線段與圖54的邊緣成分像素交叉的比率(m2/m3)， 來(lái)判定是否為賁門(mén)。
當(dāng)交叉數(shù)m2相對(duì)于多條線段132Ed的數(shù)m3的比率超過(guò)規(guī)定的閾值 Thm時(shí)，在步驟S288中為"是"，判定為檢測(cè)出賁門(mén)部(步驟S289)， 結(jié)束處理。具體而言，當(dāng)表示全周性的評(píng)價(jià)值的比率(m2/m3)超過(guò)規(guī)定 的閾值thm例如0.7時(shí)，在步驟S88中為"是"，判定為賁門(mén)(步驟S289)， 結(jié)束處理。
在步驟S288中為"否"時(shí)，即比率(m2/m3)沒(méi)有超過(guò)規(guī)定的閾值 thm時(shí)判定為不是賁門(mén)(步驟S290)，判定是否對(duì)需要實(shí)施圖52的處理
的一系列圖像的全部完成了圖52的處理(步驟S291)，當(dāng)全部完成時(shí)， 在步驟S291中為"是"，結(jié)束處理。當(dāng)在步驟S291中為"否"時(shí)，由于 尚存未處理的圖像，進(jìn)行i二i+l的處理(步驟S292),此后對(duì)下一個(gè)圖 像重復(fù)進(jìn)行圖52的步驟S282到S288的處理。步驟S283到S289構(gòu)成特 征量計(jì)算部、檢測(cè)消化道的邊界部的檢測(cè)部。
下面對(duì)本實(shí)施方式中的各種變形例進(jìn)行說(shuō)明。
在上述例子中，為了進(jìn)行賁門(mén)部的判定，僅讀出R圖像數(shù)據(jù)，但是 還可以讀出G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)，或者讀出G圖像數(shù)據(jù)和B圖像 數(shù)據(jù)，對(duì)兩個(gè)以上的圖像數(shù)據(jù)進(jìn)行暗部像素的2值化處理，當(dāng)兩個(gè)以上 的圖像數(shù)據(jù)中的全周性的評(píng)價(jià)值超過(guò)規(guī)定的閾值時(shí)，判定為檢測(cè)出賁門(mén) 部。
另外，關(guān)于第二變形例，在上述圖52中，根據(jù)各個(gè)幀的圖像來(lái)檢測(cè) 賁門(mén)部，但是也可以當(dāng)在連續(xù)的多個(gè)圖像或者連續(xù)的多個(gè)圖像中的規(guī)定 比率(例如80 ^)以上的圖像中全周性的評(píng)價(jià)值超過(guò)規(guī)定的閾值時(shí)，判 定為檢測(cè)出賁門(mén)部。
關(guān)于第三變形例，雖然以上的說(shuō)明對(duì)連續(xù)的多個(gè)圖像進(jìn)行了處理， 但是圖52的處理也可以對(duì)一幅圖像進(jìn)行。
關(guān)于第四變形例，也可以根據(jù)在規(guī)定的多個(gè)區(qū)域內(nèi)的幾個(gè)區(qū)域或者 某種比率的區(qū)域中是否存在邊緣成分圖像，來(lái)進(jìn)行全周性的評(píng)價(jià)。圖55 是用于說(shuō)明根據(jù)區(qū)域的比率來(lái)進(jìn)行第四變形例的全周性的評(píng)價(jià)的情況的 圖。例如圖55所示，以求出的重心132Ec為中心，例如劃分為八個(gè)區(qū)域 即0度到45度、45度到90度、90度到135度、135度到180度、180 度到225度、225度到270度、270度到315度、315度到360度這八個(gè)。 然后，也可以判定在該各區(qū)域中是否含有在步驟S286中獲得的邊緣成分 像素，當(dāng)含有邊緣成分像素132G的區(qū)域數(shù)為規(guī)定的閾值以上時(shí)，判定為 檢測(cè)出賁門(mén)部。在圖56中示出了在以斜線表示的六個(gè)區(qū)域內(nèi)存在邊緣成 分像素的情況。當(dāng)閾值為6時(shí)，在圖55的情況下，判定為檢測(cè)出賁門(mén)部。
另外，也可以不根據(jù)區(qū)域數(shù)，而是根據(jù)邊緣成分像素存在的角度范 圍，判定為檢測(cè)出賁門(mén)部。例如圖56所示，也可以求出在重心132Ec的
周圍邊緣成分像素存在的角度范圍e ，根據(jù)該角度范圍e是否為規(guī)定的
閾值例如270度以上，而判定為檢測(cè)出賁門(mén)部。圖56是用于進(jìn)一步說(shuō)明 根據(jù)角度范圍來(lái)進(jìn)行全周性的評(píng)價(jià)的情況的圖。另外，當(dāng)存在多個(gè)邊緣 成分像素的線時(shí)，也可以將最大角度范圍的邊緣成分像素與規(guī)定的閾值 進(jìn)行比較來(lái)判定為檢測(cè)出賁門(mén)部。
如上所述，在暗部區(qū)域的2值化處理中，邊界的位置根據(jù)閾值Th2 而變化，根據(jù)本實(shí)施方式，即使存在這樣的邊界位置的變化，也能夠不 受該變化的影響，而高精度地進(jìn)行賁門(mén)判定。
另外，當(dāng)賁門(mén)部處于未打開(kāi)成圓形的狀態(tài)時(shí)，或者膠囊型內(nèi)窺鏡3 距離賁門(mén)的距離遠(yuǎn)，賁門(mén)部為遠(yuǎn)景像時(shí)，也能夠高精度地進(jìn)行賁門(mén)判定。
另外，在本實(shí)施方式中，通過(guò)對(duì)算出的特征量應(yīng)用閾值處理，來(lái)檢 測(cè)打幵的賁門(mén)部，但是也可以使用例如公知的線性判別函數(shù)等識(shí)別函數(shù) 來(lái)進(jìn)行該檢測(cè)。另外，也可以組合使用其它實(shí)施方式中的特征量。 (第十實(shí)施方式)
下面參照附圖對(duì)第十實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的賁門(mén)檢測(cè) 裝置及其方法進(jìn)行說(shuō)明。在本實(shí)施方式中作為圖像處理對(duì)象的內(nèi)窺鏡圖 像與第四實(shí)施方式同樣，是由膠囊型內(nèi)窺鏡裝置101獲得的連續(xù)的一系 列的內(nèi)窺鏡圖像，因此管腔圖像處理裝置即賁門(mén)檢測(cè)裝置的結(jié)構(gòu)與第四 實(shí)施方式相同而省略說(shuō)明。
在上述第六實(shí)施方式到第九實(shí)施方式中，雖然是檢測(cè)打開(kāi)狀態(tài)的賁 門(mén)部的情況，但是有時(shí)也存在賁門(mén)部關(guān)閉的狀態(tài)。本實(shí)施方式的賁門(mén)檢 測(cè)裝置的特征在于，通過(guò)檢測(cè)關(guān)閉狀態(tài)的賁門(mén)部，判定各個(gè)圖像是否為 當(dāng)從食道朝向胃的膠囊型內(nèi)窺鏡處于賁門(mén)部的近前側(cè)附近等時(shí)的圖像。
圖57是表示膠囊型內(nèi)窺鏡103處于關(guān)閉的賁門(mén)部的近前側(cè)時(shí)的圖像 的例子的圖。
當(dāng)膠囊型內(nèi)窺鏡103在管腔內(nèi)對(duì)關(guān)閉的賁門(mén)部進(jìn)行拍攝時(shí)，由于賁 門(mén)部關(guān)閉，所以在拍攝所得到的圖像中不存在明確的暗部區(qū)域，并且由 于在食道的末端正面觀察賁門(mén)部的周邊，所以畫(huà)面內(nèi)的明暗為比較均勻 的狀態(tài)。本實(shí)施方式中，當(dāng)關(guān)閉的賁門(mén)部區(qū)域的面積未達(dá)到規(guī)定大小時(shí)，
判定為檢測(cè)出關(guān)閉的賁門(mén)部。
圖58是表示根據(jù)所得到的一系列內(nèi)窺鏡圖像來(lái)檢測(cè)關(guān)閉的賁門(mén)部 的處理流程的例子的流程圖。從被檢者口部進(jìn)入后拍攝所得到的一系列
的內(nèi)窺鏡圖像由多個(gè)幀構(gòu)成，對(duì)各個(gè)幀進(jìn)行圖58的處理。另夕卜，各個(gè)內(nèi) 窺鏡圖像的圖像數(shù)據(jù)在實(shí)施圖58的處理之前，進(jìn)行逆Gamma校正、噪 聲除去等預(yù)處理。另外，由于圖58的處理包含與圖44的處理相同的處 理步驟，因此對(duì)于和圖44相同的處理賦予相同的步驟編號(hào)而簡(jiǎn)化說(shuō)明。
為了從需要實(shí)施圖58的處理的一系列圖像中的最開(kāi)始的幀開(kāi)始進(jìn) 行處理，首先使幀編號(hào)i為l (步驟S261)。 i為l到n的整數(shù)。
接著從終端裝置7的存儲(chǔ)裝置(未圖示)讀出幀編號(hào)為i的圖像Fi 的R圖像數(shù)據(jù)(步驟S262)。圖像Fi由RGB的三個(gè)平面構(gòu)成，而這里僅 讀出R圖像數(shù)據(jù)。
另外，這里為了進(jìn)行后述的賁門(mén)部的判定而讀出R圖像數(shù)據(jù)，但是 也可以使用圖像Fi的G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)。
對(duì)讀出的圖像Fi的R圖像數(shù)據(jù)的全部像素實(shí)施暗部像素的2值化處 理(步驟S263)。具體而言，將各個(gè)像素的像素值與規(guī)定的閾值Th2進(jìn) 行比較而實(shí)施2值化處理,并且使暗部像素為1而使此外的像素為O(零)。 如果使j為用于在各個(gè)幀的圖像數(shù)據(jù)中確定像素的編號(hào)，則通過(guò)檢査各個(gè) 像素的值rj是否低于閾值Th2，而使低于閾值Th2的像素為1，使此外的 像素為0 (零)。
下面通過(guò)對(duì)暗部像素的多個(gè)區(qū)域進(jìn)行標(biāo)示處理，來(lái)進(jìn)行標(biāo)示并確定 其中最大面積D的暗部區(qū)域(步驟S314)。步驟S314構(gòu)成確定各個(gè)圖像 Fi的最大面積D的暗部區(qū)域的最大暗部區(qū)域確定步驟或者最大暗部區(qū)域 確定部。在圖57中，在圖像1321中示出了最大面積D的暗部區(qū)域1321。
然后，判斷最大面積D是否小于規(guī)定的閾值Thdl (步驟S315)。閾 值Thdl例如為0.1。
在步驟S315中為"是"時(shí)，即存在不足整個(gè)圖像的10%的暗部時(shí)， 判定為檢測(cè)出賁門(mén)部(步驟S266)而結(jié)束處理。
在步驟S315中為"否"時(shí)，即存在整個(gè)圖像的10%以上的暗部時(shí)，判定為不是賁門(mén)(步驟S267)，判定是否對(duì)需要實(shí)施圖58的處理的一系 列圖像的全部完成了圖58的處理(步驟S268)，當(dāng)全部完成時(shí)，在步驟 S268中為"是"，結(jié)束處理。當(dāng)在步驟S268中為"否"時(shí)，由于尚存未 處理的圖像，進(jìn)行i-i+l的處理(步驟S269)，此后對(duì)下一個(gè)圖像重復(fù) 進(jìn)行步驟S262到S264的處理。
另外，在步驟S266中，當(dāng)最大的暗部區(qū)域的面積D小于規(guī)定的閾 值Thdl時(shí)，判定為檢測(cè)出賁門(mén)部，換言之，也能夠判定為圖像為膠囊型 內(nèi)窺鏡之后將要通過(guò)賁門(mén)部、或者將要到達(dá)胃內(nèi)部時(shí)的圖像。步驟S263 到S266構(gòu)成特征量計(jì)算部、檢測(cè)消化道的邊界部的檢測(cè)部。
下面對(duì)本實(shí)施方式中的各種變形例進(jìn)行說(shuō)明。
在上述例子中，為了進(jìn)行賁門(mén)部的判定，僅讀出R圖像數(shù)據(jù)，但是 還可以讀出G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)，或者讀出G圖像數(shù)據(jù)和B圖像 數(shù)據(jù)，對(duì)兩個(gè)以上的圖像數(shù)據(jù)進(jìn)行暗部像素的2值化處理，當(dāng)兩個(gè)以上 的圖像數(shù)據(jù)中的最大面積的暗部區(qū)域的面積D全部小于規(guī)定的閾值Thdl
時(shí)，判定為檢測(cè)出賁門(mén)部。
另外，關(guān)于第二變形例，在上述圖58中，根據(jù)各個(gè)幀的圖像來(lái)檢測(cè) 賁門(mén)部，但是也可以當(dāng)連續(xù)的多個(gè)圖像或者連續(xù)的多個(gè)圖像中的規(guī)定比 率(例如80Q/0以上的圖像在歩驟S315的判定結(jié)果為D〈Thdl時(shí)，判定 為檢測(cè)出賁門(mén)部。
關(guān)于第三變形例，雖然以上的說(shuō)明對(duì)連續(xù)的多個(gè)圖像進(jìn)行了處理， 但是圖58的處理也可以對(duì)一幅圖像進(jìn)行。
關(guān)于第四變形例，也可以在上述最大面積的暗部區(qū)域的周邊，設(shè)定 圖57中虛線所示的規(guī)定大小的關(guān)心區(qū)域(ROI)，計(jì)算該關(guān)心區(qū)域(ROI) 內(nèi)的明暗的標(biāo)準(zhǔn)偏差、離散值或者變化系數(shù)值，根據(jù)該算出的標(biāo)準(zhǔn)偏差 等的值是否小于規(guī)定的閾值，來(lái)檢測(cè)關(guān)閉狀態(tài)的賁門(mén)部。
如上所述，根據(jù)本實(shí)施方式，能夠根據(jù)圖像中的暗部面積來(lái)檢測(cè)關(guān) 閉狀態(tài)的賁門(mén)部。
另外，在本實(shí)施方式中，通過(guò)對(duì)算出的特征量應(yīng)用閾值處理，來(lái)檢 測(cè)關(guān)閉的賁門(mén)部，但是也可以使用例如公知的線性判別函數(shù)等識(shí)別函數(shù)
來(lái)進(jìn)行該檢測(cè)。另外，也可以組合使用其它實(shí)施方式中的特征量。 (第十一實(shí)施方式) 下面參照附圖對(duì)本發(fā)明第十一實(shí)施方式的采用膠囊型內(nèi)窺鏡裝置的 賁門(mén)檢測(cè)裝置及其方法進(jìn)行說(shuō)明。在本實(shí)施方式中作為圖像處理對(duì)象的 內(nèi)窺鏡圖像與第四實(shí)施方式同樣，是由膠囊型內(nèi)窺鏡裝置101獲得的連 續(xù)的一系列的內(nèi)窺鏡圖像，因此賁門(mén)檢測(cè)裝置的結(jié)構(gòu)與第四實(shí)施方式相 同而省略說(shuō)明。
本實(shí)施方式的管腔圖像處理裝置即賁門(mén)檢測(cè)裝置的特征在于，通過(guò) 進(jìn)行關(guān)閉狀態(tài)的賁門(mén)部的檢測(cè)，判定各個(gè)圖像是否為當(dāng)從食道朝向胃的 膠囊型內(nèi)窺鏡處于賁門(mén)部的近前側(cè)附近等時(shí)的圖像。
圖59是表示根據(jù)所得到的一系列內(nèi)窺鏡圖像，來(lái)進(jìn)行關(guān)閉的賁門(mén)部 的檢測(cè)的處理流程的例子的流程圖。從被檢者口部進(jìn)入后拍攝所得到的
一系列的內(nèi)窺鏡圖像由多個(gè)幀構(gòu)成，對(duì)各個(gè)幀進(jìn)行圖59的處理。另外， 各個(gè)內(nèi)窺鏡圖像的圖像數(shù)據(jù)在實(shí)施圖59的處理之前，進(jìn)行逆Gamma校 正、噪聲除去等預(yù)處理。
為了從需要實(shí)施圖59的處理的一系列圖像中的最開(kāi)始的幀開(kāi)始進(jìn) 行處理，首先使幀編號(hào)i為l (步驟S321)。 i為l到n的整數(shù)。
接著從終端裝置7的存儲(chǔ)裝置(未圖示)讀出幀編號(hào)為i的圖像Fi 的R圖像數(shù)據(jù)(步驟S322)。圖像Fi由RGB的三個(gè)平面構(gòu)成，而這里僅 讀出R圖像數(shù)據(jù)。
另外，這里為了進(jìn)行后述的賁門(mén)部的判定而讀出R圖像數(shù)據(jù)，但是 也可以使用圖像Fi的G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)。
對(duì)讀出的圖像Fi的R圖像數(shù)據(jù)的全部像素實(shí)施暗部像素的2值化處 理(步驟S323)。具體而言，將各個(gè)像素的像素值與規(guī)定的閾值Th2進(jìn) 行比較而實(shí)施2值化處理，并且使暗部像素為1而使此外的像素為O(零)。 如果使j為用于在各個(gè)幀的圖像數(shù)據(jù)中確定像素的編號(hào)，則通過(guò)檢查各個(gè) 像素的值rj是否低于閾值Th2，而使低于閾值Th2的像素為1，使此外的 像素為0 (零)。
接著對(duì)實(shí)施了 2值化處理的圖像進(jìn)行細(xì)線化處理(步驟S324)。在
圖60中，在圖像131J中示出了根據(jù)關(guān)閉的賁門(mén)部的圖像實(shí)施了細(xì)線化
的賁門(mén)形狀132J。圖60是用于說(shuō)明根據(jù)關(guān)閉的賁門(mén)部的圖像實(shí)施了細(xì)線 化的賁門(mén)形狀的圖。然后，在經(jīng)過(guò)細(xì)線化而生成的各條線中，計(jì)算分支 或者交叉的點(diǎn)(以下稱為分支點(diǎn))(步驟S325)，將該分支點(diǎn)的坐標(biāo)數(shù)據(jù) 作為表示集中度的數(shù)據(jù)存儲(chǔ)于存儲(chǔ)裝置中。
接著，計(jì)算所算出的分支點(diǎn)的集中度(步驟S326)。步驟S326構(gòu)成 計(jì)算各個(gè)圖像Fi的分支點(diǎn)的集中度的集中度計(jì)算步驟或者集中度計(jì)算 部。集中度例如將分支點(diǎn)的坐標(biāo)值的離散值用作參數(shù)來(lái)計(jì)算。
圖61是表示計(jì)算集中度的參數(shù)即離散值的處理的流程例子的流程 圖。首先，從存儲(chǔ)裝置取得算出的分支點(diǎn)的坐標(biāo)數(shù)據(jù)(步驟S341)。例如 如果計(jì)算取得N個(gè)分支點(diǎn)，則分別計(jì)算N個(gè)分支點(diǎn)的x坐標(biāo)值的離散值 vx和y坐標(biāo)值的離散值vy (步驟S342)。對(duì)于N個(gè)分支點(diǎn)，分別將離散 值vx、 vy存貯于存儲(chǔ)裝置中。
返回圖59，根據(jù)表示集中度的數(shù)據(jù)即離散值vx、 vy是否分別小于 規(guī)定的閾值thvl、 thv2來(lái)判定集中度是否高(步驟S327)。
當(dāng)步驟S327中為"是"時(shí)，即離散值vx、 vy分別小于規(guī)定的閾值 thvl、 thv2時(shí)，判定為檢測(cè)出賁門(mén)部(步驟S328)而結(jié)束處理。
當(dāng)在步驟S327中為"否"時(shí)，即離散值vx、 vy分別大于等于規(guī)定 的閾值thW、 thv2時(shí)，判定為不是賁門(mén)(步驟S329)，判定是否對(duì)需要實(shí) 施圖59的處理的一系列圖像的全部完成了圖59的處理(步驟S330),當(dāng) 全部完成時(shí)，在步驟S330中為"是"，結(jié)束處理。當(dāng)在步驟S330中為"否" 時(shí)，由于尚存未處理的圖像，進(jìn)行i-i+l的處理(步驟S331)，此后對(duì) 下一個(gè)圖像重復(fù)進(jìn)行步驟S322到S327的處理。步驟S323到S328構(gòu)成 特征量計(jì)算部、檢測(cè)消化道的邊界部的檢測(cè)部。
圖62是表示用于說(shuō)明分支點(diǎn)的圖像的例子的圖。在圖62中，在關(guān) 閉的賁門(mén)部的情況下，圖像131J的線的分支點(diǎn)133J集中于圖像131J的 --部分。利用上述離散值將該集中程度數(shù)值化，例如求出上述的離散值, 并且通過(guò)將其離散程度例如離散值與規(guī)定的閾值進(jìn)行比較，從而判定是 否檢測(cè)出關(guān)閉的賁門(mén)部。在本實(shí)施方式中，由于將關(guān)閉的賁門(mén)部細(xì)線化
時(shí)的分支點(diǎn)集中，因此當(dāng)集中時(shí)判定為檢測(cè)出賁門(mén)部。
另外，在步驟S328中，當(dāng)離散值小于規(guī)定的閾值時(shí)，判定為檢測(cè)出
關(guān)閉的賁門(mén)部，換言之，也能夠判定為膠囊內(nèi)窺鏡103此后將要通過(guò)賁
門(mén)部、或者將要到達(dá)胃內(nèi)部。
下面對(duì)本實(shí)施方式的各種變形例進(jìn)行說(shuō)明。
在上述例子中，為了進(jìn)行賁門(mén)部的判定，僅讀出R圖像數(shù)據(jù)，但是 還可以讀出G圖像數(shù)據(jù)或者B圖像數(shù)據(jù)，或者讀出G圖像數(shù)據(jù)和B圖像 數(shù)據(jù)，對(duì)兩個(gè)以上的圖像數(shù)據(jù)計(jì)算集中度，根據(jù)兩個(gè)以上的圖像數(shù)據(jù)的 集中度，判定為檢測(cè)出關(guān)閉的賁門(mén)部。
另外，關(guān)于第二變形例，在上述圖59中，根據(jù)各個(gè)幀的圖像來(lái)檢測(cè) 賁門(mén)部，但是也可以當(dāng)連續(xù)的多個(gè)圖像或者連續(xù)的多個(gè)圖像中的規(guī)定比 率(例如80%)以上的圖像在步驟S327的判定結(jié)果為"是"時(shí)，判定為 檢測(cè)出關(guān)閉的賁門(mén)部。
關(guān)于第三變形例，雖然以上的說(shuō)明對(duì)連續(xù)的多個(gè)圖像進(jìn)行了處理， 但是圖29的處理也可以對(duì)一幅圖像進(jìn)行。
另外，在本實(shí)施方式中，通過(guò)對(duì)算出的特征量應(yīng)用閾值處理，來(lái)檢 測(cè)關(guān)閉的賁門(mén)部，但是也可以使用例如公知的線性判別函數(shù)等識(shí)別函數(shù) 來(lái)進(jìn)行該檢測(cè)。另外，也可以組合使用其它實(shí)施方式中的特征量。
分別根據(jù)以上說(shuō)明的多個(gè)實(shí)施方式，能夠根據(jù)一幅或者連續(xù)的一系 列內(nèi)窺鏡圖像，來(lái)檢測(cè)該圖像為通過(guò)了胃食道接合部時(shí)、將要到達(dá)賁門(mén) 部等時(shí)的圖像，從而能夠從大量拍攝的內(nèi)窺鏡圖像中選擇食道疾患的診 斷所需的圖像而迅速進(jìn)行食道疾患的診斷。
因此，根據(jù)以上說(shuō)明的多個(gè)實(shí)施方式，可以實(shí)現(xiàn)能夠檢測(cè)賁門(mén)部的 管腔圖像處理裝置。
例如，巴雷特食道的判定根據(jù)胃食道接合部附近的圖像來(lái)進(jìn)行。因 此，如果能夠進(jìn)行上述的賁門(mén)部的檢測(cè)，則僅通過(guò)觀察該圖像或者該圖 像前后的圖像便能夠仔細(xì)地進(jìn)行診斷，從而使診斷迅速化。
雖然以上說(shuō)明了采用通過(guò)膠囊型內(nèi)窺鏡3獲得的圖像的處理的例 子，但是對(duì)于由普通的內(nèi)窺鏡即具有細(xì)長(zhǎng)撓性的插入部的內(nèi)窺鏡所獲得
的圖像，當(dāng)然也能夠進(jìn)行上述處理。這是因?yàn)槟z囊型內(nèi)窺鏡和普通的內(nèi) 窺鏡均可以獲得管腔內(nèi)的圖像。
另外，雖然在上述的多個(gè)實(shí)施方式的方法(含變形例)的每一個(gè)方 法中，都可以檢測(cè)賁門(mén)部，但是也可以組合使用多個(gè)方法來(lái)檢測(cè)賁門(mén)部。
根據(jù)上述第四到第十一實(shí)施方式以及它們的各變形例，可以提供能 夠根據(jù)管腔內(nèi)圖像來(lái)檢測(cè)賁門(mén)部的管腔圖像處理裝置。
為了根據(jù)對(duì)食道內(nèi)部等進(jìn)行拍攝得到的大量的內(nèi)窺鏡圖像數(shù)據(jù)來(lái)判 定食道巴雷特等情況的性狀，在判定出該部位周邊部的胃食道接合部、 上皮邊界的存在之前順次改變幀編號(hào)而重復(fù)執(zhí)行檢測(cè)該胃食道接合部、 上皮邊界等的第一特征的處理，再轉(zhuǎn)入從判定為具有該特征的圖像開(kāi)始 對(duì)其后的圖像進(jìn)行檢測(cè)作為判定對(duì)象的食道巴雷特等的第二特征的檢測(cè) 處理。通過(guò)進(jìn)行這樣的處理，與從最開(kāi)頭開(kāi)始進(jìn)行第二特征的檢測(cè)處理 及其判定處理的情況相比，能夠更加高效地進(jìn)行處理。
權(quán)利要求
1.一種醫(yī)用圖像處理裝置，其特征在于，該醫(yī)用圖像處理裝置具有圖像提取部，其從由體內(nèi)攝像裝置拍攝的體內(nèi)的動(dòng)態(tài)圖像數(shù)據(jù)或者連續(xù)拍攝的多幅靜態(tài)圖像數(shù)據(jù)中提取幀圖像；以及圖像解析部，其對(duì)由所述圖像提取部提取出的幀圖像進(jìn)行圖像解析并輸出圖像解析結(jié)果，所述圖像解析部具有第一生物體特征檢測(cè)部，其檢測(cè)第一生物體特征；第二生物體特征檢測(cè)部，其基于所述第一生物體特征檢測(cè)部的檢測(cè)結(jié)果，對(duì)時(shí)間上在所述第一生物體特征檢測(cè)部在檢測(cè)中使用的圖像之前或之后所拍攝的幀圖像，檢測(cè)第二生物體特征；以及性狀判定部，其根據(jù)所述第二生物體特征檢測(cè)部的檢測(cè)結(jié)果，判定生物體的性狀并輸出判定結(jié)果。
2. 根據(jù)權(quán)利要求1所述的醫(yī)用圖像處理裝置，其特征在于，所述第 二生物體特征檢測(cè)部基于所述第一生物體特征檢測(cè)部的檢測(cè)結(jié)果，取得 規(guī)定幅數(shù)的幀圖像，對(duì)該幀圖像進(jìn)行第二生物體特征的檢測(cè)處理。
3. 根據(jù)權(quán)利要求1所述的醫(yī)用圖像處理裝置，其特征在于，所述第 .二牛.物體特征檢測(cè)部基于所述第一生物體特征檢測(cè)部的檢測(cè)結(jié)果，依次 獲取時(shí)間上在所述第一生物體特征檢測(cè)部所處理的幀圖像之前或之后所 拍攝的幀圖像，根據(jù)所述第一生物體特征檢測(cè)部對(duì)所取得的幀圖像進(jìn)行處理時(shí)的檢 測(cè)結(jié)果，而中斷幀圖像的獲取。
4. 根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的醫(yī)用圖像處理裝置，其特征 在于，所述性狀判定部判定是否存在作為食道內(nèi)疾患的巴雷特食道作為 所述生物體的性狀。
5. 根據(jù)權(quán)利要求4所述的醫(yī)用圖像處理裝置，其特征在于，通過(guò)所 述第一生物體特征檢測(cè)部進(jìn)行檢測(cè)的所述第一生物體特征是所述食道內(nèi) 的作為胃與所述食道的邊界的胃食道接合部。
6. 根據(jù)權(quán)利要求5所述的醫(yī)用圖像處理裝置，其特征在于，在所述 第一生物體特征檢測(cè)部中，提取柵狀血管的端點(diǎn)坐標(biāo)，通過(guò)由連接所提 取出的各個(gè)所述端點(diǎn)坐標(biāo)的線段所形成的柵狀血管端點(diǎn)邊界線來(lái)檢測(cè)所 述胃食道接合部。
7. 根據(jù)權(quán)利要求6所述的醫(yī)用圖像處理裝置，其特征在于，在所述第一生物體特征檢測(cè)部中，針對(duì)所述柵狀血管，當(dāng)對(duì)所述幀圖像進(jìn)行細(xì) 線化處理所得到的線段的長(zhǎng)度為規(guī)定長(zhǎng)度以上時(shí)，判定該線段為所述柵 狀血管。
8. 根據(jù)權(quán)利要求7所述的醫(yī)用圖像處理裝置，其特征在于，在所述 第一生物體特征檢測(cè)部中，針對(duì)所述柵狀血管，還考慮對(duì)所述幀圖像數(shù) 據(jù)進(jìn)行細(xì)線化處理所得到的線段的分支點(diǎn)數(shù)、交叉點(diǎn)數(shù)和彎折點(diǎn)數(shù)，來(lái) 判定所述線段為所述柵狀血管。
9. 根據(jù)權(quán)利要求8所述的醫(yī)用圖像處理裝置，其特征在于，在所述 第一生物體特征檢測(cè)部中，針對(duì)所述柵狀血管，還考慮連接對(duì)所述幀圖 像數(shù)據(jù)進(jìn)行細(xì)線化處理所得到的線段的兩端的線段，與連接所述幀圖像 的圖像暗部的暗部中心和所述兩端中的更接近所述圖像暗部的一端的矢 量所成的角度，來(lái)判定所述線段為所述柵狀血管。
10. 根據(jù)權(quán)利要求5至9中任一項(xiàng)所述的醫(yī)用圖像處理裝置，其特征 在于，通過(guò)所述第二生物體特征檢測(cè)部進(jìn)行檢測(cè)的所述第二生物體特征 是所述食道內(nèi)的上皮邊界。
11. 根據(jù)權(quán)利要求IO所述的醫(yī)用圖像處理裝置，其特征在于，所述性 狀判定部根據(jù)與從規(guī)定的點(diǎn)放射狀地放射出來(lái)的多條放射線分別相交的 所述上皮邊界和所述胃食道接合部的多個(gè)交點(diǎn)間的距離，來(lái)判定是否存 在所述巴雷特食道。
12. 根據(jù)權(quán)利要求11所述的醫(yī)用圖像處理裝置，其特征在于，所述性 狀判定部考慮與從規(guī)定的點(diǎn)放射狀地放射出來(lái)的多條放射線分別相交的 所述上皮邊界與所述規(guī)定的點(diǎn)之間的各個(gè)距離、或者與從規(guī)定的點(diǎn)放射 狀地放射出來(lái)的多條放射線分別相交的所述胃食道接合部與所述規(guī)定的 點(diǎn)之間的各個(gè)距離，來(lái)判定是否存在所述巴雷特食道。
13. 根據(jù)權(quán)利要求10所述的醫(yī)用圖像處理裝置，其特征在于，所述 性狀判定部還根據(jù)柵狀血管與上皮邊界交叉的交叉數(shù)來(lái)判定是否存在所 述巴雷特食道。
14. 根據(jù)權(quán)利要求13所述的醫(yī)用圖像處理裝置，其特征在于，在所 述第一生物體特征檢測(cè)部中，針對(duì)所述柵狀血管，當(dāng)對(duì)所述幀圖像進(jìn)行 細(xì)線化處理所得到的線段的長(zhǎng)度為規(guī)定長(zhǎng)度以上時(shí)，判定該線段為所述 柵狀血管。
15. 根據(jù)權(quán)利要求14所述的醫(yī)用圖像處理裝置，其特征在于，在所 述第一生物體特征檢測(cè)部中，針對(duì)所述柵狀血管，還考慮對(duì)所述幀圖像 數(shù)據(jù)進(jìn)行細(xì)線化處理所得到的線段的分支點(diǎn)數(shù)、交叉點(diǎn)數(shù)和彎折點(diǎn)數(shù)， 來(lái)判定所述線段為所述柵狀血管。
16. 根據(jù)權(quán)利要求15所述的醫(yī)用圖像處理裝置，其特征在于，在所 述第一生物體特征檢測(cè)部中，針對(duì)所述柵狀血管，還考慮連接對(duì)所述幀 圖像數(shù)據(jù)進(jìn)行細(xì)線化處理所得到的線段的兩端的線段，與連接所述幀圖 像的圖像暗部的暗部中心和所述兩端中的更接近所述圖像暗部的一端的 矢量所成的角度，來(lái)判定所述線段為所述柵狀血管。
17. 根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的醫(yī)用圖像處理裝置，其特征在于，通過(guò)所述第一生物體特征檢測(cè)部進(jìn)行檢測(cè)的所述第一生物體特征是 作為從食道到胃的入口的賁門(mén)，所述第二生物體特征檢測(cè)部基于所述第一生物體特征檢測(cè)部的檢測(cè) 結(jié)果，對(duì)于時(shí)間上在所述第一生物體特征檢測(cè)部在檢測(cè)中使用的圖像之 前拍攝的幀圖像，來(lái)檢測(cè)第二生物體特征。
18. 根據(jù)權(quán)利要求17所述的醫(yī)用圖像處理裝置，其特征在于，在所 述第一生物體特征檢測(cè)部中，根據(jù)針對(duì)對(duì)所述幀圖像進(jìn)行細(xì)線化處理所 得到的細(xì)線而計(jì)算出的分支點(diǎn)數(shù)或者交叉點(diǎn)數(shù)的集中度，將所述賁門(mén)檢 測(cè)為閉口賁門(mén)。
19. 根據(jù)權(quán)利要求18所述的醫(yī)用圖像處理裝置，其特征在于，在所 述第一生物體特征檢測(cè)部中，根據(jù)對(duì)所述幀圖像進(jìn)行邊緣提取處理和2 值化處理而生成的細(xì)線化圖像、以及對(duì)所述幀圖像進(jìn)行提取圖像暗部的 暗部提取處理所得到的暗部圖像，將所述賁門(mén)檢測(cè)為開(kāi)口賁門(mén)。
20.根據(jù)權(quán)利要求19所述的醫(yī)用圖像處理裝置，其特征在于，根據(jù) 所述細(xì)線化圖像的細(xì)線以所述暗部的特征點(diǎn)為中心在周向上存在的區(qū)域 或者角度，來(lái)檢測(cè)所述賁門(mén)。
21.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的醫(yī)用圖像處理裝置，其特征 在于，通過(guò)所述第一生物體特征檢測(cè)部進(jìn)行檢測(cè)的所述第一生物體特征 是作為食道側(cè)的扁平上皮與胃?jìng)?cè)的圓柱上皮的邊界的上皮邊界。
22.根據(jù)權(quán)利要求21所述的醫(yī)用圖像處理裝置，其特征在于，所述 性狀判定部?jī)H對(duì)于檢測(cè)到了所述上皮邊界的幀圖像，基于所述第二生物 體特征檢測(cè)部的檢測(cè)結(jié)果來(lái)判定所述生物體的性狀。
23.--種醫(yī)用圖像處理方法，其特征在于，該醫(yī)用圖像處理方法具有 以下步驟-從由體內(nèi)攝像裝置拍攝的體內(nèi)的動(dòng)態(tài)圖像數(shù)據(jù)或者連續(xù)拍攝的多幅 靜態(tài)圖像數(shù)據(jù)中提取幀圖像的步驟；對(duì)提取出的幀圖像進(jìn)行圖像解析，檢測(cè)第一生物體特征的步驟；基于所述第一生物體特征的檢測(cè)結(jié)果，對(duì)時(shí)間上在所述第一生物體 特征檢測(cè)部在檢測(cè)中使用的圖像之前或之后拍攝的幀圖像，檢測(cè)第二生 物體特征的步驟；以及基于所述第二生物體特征的檢測(cè)的檢測(cè)結(jié)果，判定生物體的性狀并 輸出判定結(jié)果的步驟。
24.—種用于使計(jì)算機(jī)執(zhí)行以下功能的程序，從由體內(nèi)攝像裝置拍攝的體內(nèi)的動(dòng)態(tài)圖像數(shù)據(jù)或者連續(xù)拍攝的多幅 靜態(tài)圖像數(shù)據(jù)中提取幀圖像的功能；對(duì)提取出的幀圖像進(jìn)行圖像解析，檢測(cè)第一生物體特征的功能；基于所述第一生物體特征的檢測(cè)結(jié)果，對(duì)時(shí)間上在所述第一生物體 特征檢測(cè)部在檢測(cè)中使用的圖像之前或之后拍攝的幀圖像，檢測(cè)第二生 物體特征的功能；以及基于所述第二生物體特征的檢測(cè)的檢測(cè)結(jié)果，判定生物體的性狀并 輸出判定結(jié)果的功能。
25. —種管腔圖像處理裝置，其特征在于，該管腔圖像處理裝置具有: 特征量計(jì)算部，其根據(jù)對(duì)消化道進(jìn)行拍攝所得到的一幅或者多幅管腔內(nèi)圖像，通過(guò)圖像處理來(lái)計(jì)算規(guī)定的特征量；以及邊界部檢測(cè)部，其根據(jù)計(jì)算出的所述特征量來(lái)檢測(cè)消化道的邊界部。
26. 根據(jù)權(quán)利要求25所述的管腔圖像處理裝置，其特征在于，該管 腔圖像處理裝置還具有判定部，該判定部基于所述邊界部檢測(cè)部的檢測(cè) 結(jié)果，判定所述管腔內(nèi)圖像為從食道至賁門(mén)部的部分的圖像。
27. 根據(jù)權(quán)利要求25或26所述的管腔圖像處理裝置，其特征在于， 所述規(guī)定的特征量為所述一幅或多幅管腔內(nèi)圖像的色調(diào)。
28. 根據(jù)權(quán)利要求25或25所述的管腔圖像處理裝置，其特征在于， 所述規(guī)定的特征量為所述一幅或多幅管腔內(nèi)圖像的明暗度。
29. 根據(jù)權(quán)利要求25至28中任一項(xiàng)所述的管腔圖像處理裝置，其特 征在于，所述邊界部是胃食道接合部。
30. 根據(jù)權(quán)利要求25至29中任一項(xiàng)所述的管腔圖像處理裝置，其特 征在于，所述特征量計(jì)算部對(duì)于所述一幅或者多幅管腔內(nèi)圖像中的除了 暗部像素和光暈像素以外的像素計(jì)算所述特征量。
31. 根據(jù)權(quán)利要求25至30中任一項(xiàng)所述的管腔圖像處理裝置，其特 征在于，所述判定部在根據(jù)所述多幅管腔內(nèi)圖像來(lái)計(jì)算所述規(guī)定的特征 量的情況下，當(dāng)計(jì)算出的所述規(guī)定的特征量的移動(dòng)平均的微分值在規(guī)定 的閾值以上時(shí)，判定為是所述邊界部。
32. 根據(jù)權(quán)利要求25至31中任一項(xiàng)所述的管腔圖像處理裝置，其特 征在于，所述特征量計(jì)算部對(duì)所述一幅或多幅管腔內(nèi)圖像的各個(gè)圖像中 的規(guī)定區(qū)域內(nèi)的像素進(jìn)行圖像處理，計(jì)算所述規(guī)定的特征量。
33. 根據(jù)權(quán)利要求25或26所述的管腔圖像處理裝置，其特征在于， 所述規(guī)定的特征量為所述一幅或多幅管腔內(nèi)圖像中的暗部區(qū)域或非暗部 區(qū)域的面積。
34. 根據(jù)權(quán)利要求33所述的管腔圖像處理裝置，其特征在于， 所述邊界部為開(kāi)口賁門(mén)， 所述邊界部檢測(cè)部通過(guò)比較所述面積和規(guī)定的閾值，來(lái)檢測(cè)所述邊 界部。
35. 根據(jù)權(quán)利要求25或26所述的管腔圖像處理裝置，其特征在于， 所述規(guī)定的特征量為所述一幅或多幅管腔內(nèi)圖像中的暗部區(qū)域的形狀。
36. 根據(jù)權(quán)利要求35所述的管腔圖像處理裝置，其特征在于，所述 邊界部檢測(cè)部根據(jù)所述形狀是否為圓形來(lái)檢測(cè)所述邊界部。
37. 根據(jù)權(quán)利要求35所述的管腔圖像處理裝置，其特征在于， 所述暗部區(qū)域的形狀包括所述暗部區(qū)域的邊界形狀和邊緣部， 所述邊界部檢測(cè)部通過(guò)將所述邊界與所述邊緣部的一致度與規(guī)定的閾值進(jìn)行比較，來(lái)檢測(cè)所述邊界部。
38. 根據(jù)權(quán)利要求35所述的管腔圖像處理裝置，其特征在于， 所述暗部區(qū)域的形狀包括所述暗部區(qū)域的邊緣部， 所述邊界部檢測(cè)部通過(guò)將所述邊緣部在所述暗部區(qū)域內(nèi)的規(guī)定點(diǎn)的周圍存在的比率與規(guī)定的閾值進(jìn)行比較，來(lái)檢測(cè)所述邊界部。
39. 根據(jù)權(quán)利要求38所述的管腔圖像處理裝置，其特征在于，所述 邊界部檢測(cè)部根據(jù)在所述一幅或多幅管腔內(nèi)圖像的各個(gè)圖像中的規(guī)定的 多個(gè)區(qū)域內(nèi)是否存在所述邊緣部，來(lái)確定所述比率。
40. 根據(jù)權(quán)利要求38所述的管腔圖像處理裝置，其特征在于，所述 邊界部檢測(cè)部根據(jù)所述邊緣部在所述暗部區(qū)域內(nèi)的規(guī)定的點(diǎn)的周圍存在 的角度范圍，來(lái)確定所述比率。
41. 根據(jù)權(quán)利要求25或26所述的管腔圖像處理裝置，其特征在于， 所述規(guī)定的特征量是所述一幅或多幅管腔內(nèi)圖像中的暗部區(qū)域的面積。
42. 根據(jù)權(quán)利要求33所述的管腔圖像處理裝置，其特征在于， 所述邊界部為閉口賁門(mén)，所述邊界部檢測(cè)部通過(guò)將所述面積與規(guī)定的閾值進(jìn)行比較，來(lái)檢測(cè) 所述邊界部。
43. 根據(jù)權(quán)利要求42所述的管腔圖像處理裝置，其特征在于，所述 邊界部檢測(cè)部針對(duì)所述一幅或多幅管腔內(nèi)圖像的各個(gè)圖像，通過(guò)標(biāo)示處 理來(lái)對(duì)暗部像素的多個(gè)區(qū)域進(jìn)行標(biāo)示，并根據(jù)經(jīng)過(guò)標(biāo)示的所述多個(gè)區(qū)域 中的最大面積的區(qū)域的面積是否小于所述規(guī)定的閾值，來(lái)檢測(cè)所述邊界部。
44. 根據(jù)權(quán)利要求25或26所述的管腔圖像處理裝置，其特征在于， 所述邊界部檢測(cè)部對(duì)所述一幅或多幅管腔內(nèi)圖像的各個(gè)圖像進(jìn)行暗部像 素的細(xì)線化處理，計(jì)算通過(guò)該細(xì)線化處理所得到的各個(gè)細(xì)線的分支點(diǎn)或 者交叉點(diǎn)，根據(jù)該分支點(diǎn)或交叉點(diǎn)在所述各個(gè)圖像中的集中度來(lái)檢測(cè)所 述邊界部。
45. 根據(jù)權(quán)利要求44所述的管腔圖像處理裝置，其特征在于， 所述邊界部為閉口賁門(mén)，所述邊界部檢測(cè)部通過(guò)對(duì)所述集中度和規(guī)定的閾值進(jìn)行比較，來(lái)檢 測(cè)所述邊界部。
46. —種管腔圖像處理方法，其特征在于，該管腔圖像處理方法具有 以下步驟根據(jù)對(duì)消化道進(jìn)行拍攝所得到的一幅或者多幅管腔內(nèi)圖像，通過(guò)圖 像處理來(lái)計(jì)算規(guī)定的特征量的步驟；以及根據(jù)計(jì)算出的所述特征量來(lái)檢測(cè)消化道的邊界部的步驟。
47. —種用于使計(jì)算機(jī)執(zhí)行以下功能的程序，根據(jù)對(duì)消化道進(jìn)行拍攝所得到的一幅或者多幅管腔內(nèi)圖像，來(lái)計(jì)算 規(guī)定的特征量的功能；以及根據(jù)計(jì)算出的所述特征量來(lái)檢測(cè)消化道的邊界部的功能。
全文摘要
本發(fā)明提供醫(yī)用圖像處理裝置、管腔圖像處理裝置、管腔圖像處理方法及用于上述裝置和方法的程序。本發(fā)明的實(shí)施方式涉及的醫(yī)用圖像處理裝置具有從由體內(nèi)攝像裝置拍攝的體內(nèi)的動(dòng)態(tài)圖像數(shù)據(jù)或者連續(xù)拍攝的多幅靜態(tài)圖像數(shù)據(jù)中提取幀圖像的圖像提取部；以及對(duì)提取的幀圖像進(jìn)行圖像解析并輸出圖像解析結(jié)果的圖像解析部。圖像解析部具有檢測(cè)第一生物體特征的第一生物體特征檢測(cè)部；基于第一生物體特征檢測(cè)部的檢測(cè)結(jié)果，對(duì)時(shí)間上在第一生物體特征檢測(cè)部在檢測(cè)中使用的圖像之前或之后拍攝的幀圖像，檢測(cè)第二生物體特征的第二生物體特征檢測(cè)部；以及基于所述第二生物體特征檢測(cè)部的檢測(cè)結(jié)果來(lái)判定生物體的性狀并輸出判定結(jié)果的性狀判定部。
文檔編號(hào)A61B1/04GK101115435SQ200680004468
公開(kāi)日2008年1月30日 申請(qǐng)日期2006年2月10日 優(yōu)先權(quán)日2005年2月15日
發(fā)明者井上涼子, 田中秀樹(shù), 西村博一, 野波徹緒, 長(zhǎng)谷川潤(rùn) 申請(qǐng)人:奧林巴斯株式會(huì)社