本發(fā)明涉及一種對由被導入被檢體內(nèi)來拍攝該被檢體內(nèi)的膠囊型內(nèi)窺鏡獲取到的圖像進行顯示的圖像顯示裝置、圖像顯示方法以及圖像顯示程序。
背景技術:
近年來,在內(nèi)窺鏡的領域中,已知一種使用被導入患者等被檢體內(nèi)來進行拍攝的膠囊型內(nèi)窺鏡的檢查。膠囊型內(nèi)窺鏡是在形成為能夠?qū)氡粰z體的消化道內(nèi)的大小的膠囊形狀的殼體內(nèi)內(nèi)置有攝像功能、無線通信功能等的裝置,將通過對被檢體內(nèi)進行拍攝而生成的圖像數(shù)據(jù)依次向被檢體外無線發(fā)送。從膠囊型內(nèi)窺鏡無線發(fā)送的圖像數(shù)據(jù)暫時被累積于設置在被檢體外的接收裝置,從接收裝置被傳輸(下載)到工作站等的圖像顯示裝置,在圖像顯示裝置中被施加各種圖像處理。
在對這樣獲取到的一系列圖像進行觀察時,醫(yī)生等用戶通常一邊使圖像進行運動圖像再現(xiàn)或靜止圖像的連續(xù)再現(xiàn)等來粗略瀏覽一邊將拍到臟器的邊界、手術痕等特征性的地方的圖像設定為特征點。之后,基于設定的特征點,抽出期望的圖像來詳細地進行觀察,或者基于從設定的多個特征點中的某個特征點至其它的特征點為止的、相當于膠囊型內(nèi)窺鏡的移動時間的攝像時刻之差,來進行判斷臟器的運動功能這樣的診斷。因而,為了進行準確的診斷,對適當?shù)膱D像設定特征點是重要的。
作為與從由膠囊型內(nèi)窺鏡獲取到的一系列圖像中抽出圖像有關的技術,在專利文獻1中公開了如下技術:對一系列圖像的各圖像上所設定的多個像素區(qū)域的相關值進行計算,運算多個像素區(qū)域的運動向量,對在相鄰圖像間多個像素區(qū)域的相關值為規(guī)定值以上的、圖像連續(xù)的連續(xù)圖像群進行檢測,從連續(xù)圖像群中確定一個以上的代表圖像,以與除了該一個以上的代表圖像以外的剩余圖像不同的顯示幀頻顯示該一個以上的代表圖像。
專利文獻1:日本特開2006-280792號公報
技術實現(xiàn)要素:
發(fā)明要解決的問題
另外,在膠囊型內(nèi)窺鏡被導入患者等被檢體內(nèi)的情況下,通過蠕動運動而在管腔內(nèi)被動地移動,因此并不是始終沿正向(從口朝向肛門的方向)行進,有時進行暫時沿反向行進再沿正向行進的往復移動。在進行了這樣的往復移動的區(qū)間內(nèi)包含特征性的地方的情況下,一般地推薦將在膠囊型內(nèi)窺鏡最初或最后通過該區(qū)間時所拍攝到的圖像設定為特征點。
然而,在進行特征點的設定作業(yè)時,用戶由于只是粗略觀察圖像,因此難以把握自己所抽出的圖像是否為在膠囊型內(nèi)窺鏡最初或最后通過往復移動區(qū)間時所拍攝到的圖像。其結(jié)果,存在雖然不是在最初或最后通過時所拍攝到的圖像卻被設定為特征點的情況。
本發(fā)明是鑒于上述情形而完成的,目的在于提供一種用戶能夠容易地針對由膠囊型內(nèi)窺鏡獲取到的一系列圖像設定適當?shù)奶卣鼽c的圖像顯示裝置、圖像顯示方法以及圖像顯示程序。
用于解決問題的方案
為了解決上述的問題而實現(xiàn)目的,本發(fā)明所涉及的圖像顯示裝置顯示由膠囊型內(nèi)窺鏡獲取到的一系列圖像,該圖像顯示裝置的特征在于,具備:位置信息獲取部,其獲取所述膠囊型內(nèi)窺鏡拍攝包含在所述一系列圖像中的圖像時的位置即膠囊位置;輸入部,其接受與來自外部的操作相應的選擇信號的輸入;圖像確定部,其將根據(jù)由所述輸入部接受到的所述選擇信號選擇出的所述圖像確定為確定圖像;判定部,其對所述確定圖像是否為在所述膠囊型內(nèi)窺鏡的往復移動中所獲取到的圖像進行判定;候選圖像抽出部,其在由所述判定部判定為所述確定圖像是在所述膠囊型內(nèi)窺鏡的往復移動中獲取到的圖像的情況下,將在該往復移動中所獲取到的圖像群中的、在最初的往路或最后的往路中獲取到的圖像抽出;以及顯示部,其顯示由所述候選圖像抽出部抽出的圖像。
在上述圖像顯示裝置中,特征在于,所述判定部基于圖像在所述一系列圖像中的攝像順序和所述膠囊位置來對所述確定圖像是否為在所述往復移動中獲取到的圖像進行判定。
在上述圖像顯示裝置中,特征在于,所述判定部具備確定部,該確定部確定所述膠囊位置或攝像時刻相對于所述確定圖像的所述膠囊位置或攝像時刻在規(guī)定范圍內(nèi)的多個圖像,在由所述確定部確定的多個圖像中包含兩個以上按時間序列正向連續(xù)且按位置序列正向連續(xù)的圖像群的情況下,所述判定部判定為所述確定圖像是在所述往復移動中獲取到的圖像。
在上述圖像顯示裝置中,特征在于,所述判定部具備相似度判定部,該相似度判定部對所述膠囊位置或攝像時刻相對于所述確定圖像的所述膠囊位置或攝像時刻在規(guī)定范圍內(nèi)的所述多個圖像的各個圖像與所述確定圖像之間的相似性進行判定,在所述多個圖像中包含兩個以上的、包含由所述相似度判定部判定為與所述確定圖像相似的圖像且圖像序號連續(xù)的圖像群的情況下,所述判定部判定為所述確定圖像是在所述往復移動中獲取到的圖像。
在上述圖像顯示裝置中,特征在于,所述候選圖像抽出部將所述在最初的往路或最后的往路中獲取到的圖像中的被判定為與所述確定圖像相似的圖像抽出。
本發(fā)明所涉及的圖像顯示方法是顯示由膠囊型內(nèi)窺鏡獲取到的一系列圖像的圖像顯示裝置所執(zhí)行的圖像顯示方法,該圖像顯示方法的特征在于,包括以下步驟:位置信息獲取步驟,控制部獲取所述膠囊型內(nèi)窺鏡拍攝包含在所述一系列圖像中的圖像時的位置即膠囊位置;輸入步驟,輸入部接受與來自外部的操作相應的選擇信號的輸入;圖像確定步驟,所述控制部將根據(jù)在所述輸入步驟中接受到的所述選擇信號選擇出的所述圖像確定為確定圖像;判定步驟,所述控制部對所述確定圖像是否為在所述膠囊型內(nèi)窺鏡的往復移動中獲取到的圖像進行判定;候選圖像抽出步驟,當在所述判定步驟中判定為所述確定圖像是在所述膠囊型內(nèi)窺鏡的往復移動中獲取到的圖像的情況下,所述控制部將在該往復移動中所獲取到的圖像群中的、在最初的往路或最后的往路中獲取到的圖像抽出;以及顯示步驟,顯示部顯示在所述候選圖像抽出步驟中抽出的圖像。
本發(fā)明所涉及的圖像顯示程序的特征在于,使顯示由膠囊型內(nèi)窺鏡獲取到的一系列圖像的圖像顯示裝置執(zhí)行以下步驟:位置信息獲取步驟,獲取所述膠囊型內(nèi)窺鏡拍攝包含在所述一系列圖像中的圖像時的位置即膠囊位置;輸入步驟,接受與來自外部的操作相應的選擇信號的輸入;圖像確定步驟,將根據(jù)在所述輸入步驟中接受到的所述選擇信號選擇出的所述圖像確定為確定圖像;判定步驟,對所述確定圖像是否為在所述膠囊型內(nèi)窺鏡的往復移動中獲取到的圖像進行判定;候選圖像抽出步驟,當在所述判定步驟中判定為所述確定圖像是在所述膠囊型內(nèi)窺鏡的往復移動中獲取到的圖像的情況下,將在該往復移動中所獲取到的圖像群中的、在最初的往路或最后的往路中獲取到的圖像抽出;以及顯示步驟,顯示在所述候選圖像抽出步驟中抽出的圖像。
發(fā)明的效果
根據(jù)本發(fā)明,對由用戶選擇的圖像是否為在膠囊型內(nèi)窺鏡進行往復移動的期間獲取到的圖像進行判定,在判定為是在膠囊型內(nèi)窺鏡進行往復移動期間獲取到的圖像的情況下,從一系列圖像中抽出更適當?shù)膱D像來作為用于設定特征點的圖像,并作為候選圖像而顯示,因此用戶能夠通過參照候選圖像而容易地設定適當?shù)奶卣鼽c。
附圖說明
圖1是示出包括本發(fā)明的實施方式1所涉及的圖像顯示裝置的膠囊型內(nèi)窺鏡系統(tǒng)的概要結(jié)構的示意圖。
圖2是示出圖1所示的膠囊型內(nèi)窺鏡和接收裝置的概要結(jié)構的圖。
圖3是示出圖1所示的圖像顯示裝置的概要結(jié)構的框圖。
圖4是示出圖1所示的索引制作部所制作的位置序列索引的一例的示意圖。
圖5是示出從圖1所示的接收裝置向圖像顯示裝置傳輸圖像數(shù)據(jù)的處理的流程圖。
圖6是示出圖1所示的圖像顯示裝置所執(zhí)行的特征點設定處理的流程圖。
圖7是示出由圖1所示的膠囊型內(nèi)窺鏡獲取到的一系列圖像的顯示例的示意圖。
圖8是示出候選圖像的顯示例的示意圖。
圖9是示出圖像序號索引的例子的示意圖。
圖10是示出時間序列索引的例子的示意圖。
圖11是示出本發(fā)明的實施方式2所涉及的圖像顯示裝置所執(zhí)行的特征點設定處理的流程圖。
圖12是示出本發(fā)明的實施方式3所涉及的圖像顯示裝置的結(jié)構的框圖。
圖13是示出本發(fā)明的實施方式3所涉及的圖像顯示裝置所執(zhí)行的特征點設定處理的流程圖。
圖14是示出本發(fā)明的實施方式4所涉及的圖像顯示裝置的結(jié)構的框圖。
圖15是示出圖14所示的圖像顯示裝置所執(zhí)行的臟器功能判定處理的流程圖。
具體實施方式
下面,參照附圖來說明本發(fā)明的實施方式所涉及的圖像顯示裝置、圖像顯示方法以及圖像顯示程序。此外,本發(fā)明并不受這些實施方式限定。另外,在各附圖的記載中,對相同部分附加相同的標記來表示。
(實施方式1)
圖1是示出包括本發(fā)明的實施方式1所涉及的圖像顯示裝置的膠囊型內(nèi)窺鏡系統(tǒng)的概要結(jié)構的示意圖。圖1所示的膠囊型內(nèi)窺鏡系統(tǒng)1具備:膠囊型內(nèi)窺鏡2,其被導入到被檢體10內(nèi)來對該被檢體10內(nèi)進行拍攝,由此生成圖像數(shù)據(jù),對無線信號疊加該圖像數(shù)據(jù)后發(fā)送;接收裝置3,其經(jīng)由佩戴在被檢體10的接收天線單元4來接收從膠囊型內(nèi)窺鏡2發(fā)送的無線信號;以及圖像顯示裝置5,其從接收裝置3獲取圖像數(shù)據(jù)來施加規(guī)定的圖像處理并顯示圖像。
圖2是示出膠囊型內(nèi)窺鏡2和接收裝置3的概要結(jié)構的框圖。
膠囊型內(nèi)窺鏡2是在呈被檢體10能夠吞咽的大小的膠囊形狀的殼體中內(nèi)置有攝像元件等各種部件的裝置,具備對被檢體10內(nèi)進行拍攝的攝像部21、對被檢體10內(nèi)進行照明的照明部22、信號處理部23、存儲器24、發(fā)送部25和天線26以及電池27。
攝像部21例如包括根據(jù)在受光面成像得到的光學像來生成表示被檢體10內(nèi)的攝像信號并輸出的CCD(Charge-coupled Device:電荷耦合元件)、CMOS(Complementary Metal Oxide Semiconductor:互補金屬氧化物半導體)等攝像元件和在該攝像元件的受光面?zhèn)扰湓O的物鏡等光學系統(tǒng)。另外,照明部22是通過攝像時朝向被檢體10內(nèi)放射光的LED(Light Emitting Diode(發(fā)光二極管))、LD(Laser Diode(激光器二極管))光源等半導體發(fā)光元件而實現(xiàn)的。膠囊型內(nèi)窺鏡2內(nèi)置有電路基板,在該電路基板形成有用于對這些攝像部21和照明部22分別進行驅(qū)動的驅(qū)動電路等,攝像部21和照明部22以視場從膠囊型內(nèi)窺鏡2的一端部朝向外側(cè)的狀態(tài)固定于該電路基板。
此外,在圖2中,設為將攝像部21和照明部22設置在膠囊型內(nèi)窺鏡2的一端側(cè)而能夠?qū)δz囊型內(nèi)窺鏡2的一側(cè)進行拍攝的結(jié)構,但是也可以設為分別設置多個攝像部21和照明部22而能夠?qū)Χ鄠€方向、例如前方和后方或直視方向和側(cè)視方向進行拍攝的結(jié)構。
信號處理部23對膠囊型內(nèi)窺鏡2內(nèi)的各部進行控制,并且對從攝像部21輸出的攝像信號進行A/D轉(zhuǎn)換而生成數(shù)字的圖像數(shù)據(jù),并進一步施加規(guī)定的信號處理。
存儲器24暫時存儲信號處理部23所執(zhí)行的各種處理程序、模塊以及例程、在信號處理部23中被施加了信號處理的圖像數(shù)據(jù)。
發(fā)送部25和天線26將關聯(lián)信息與存儲器24中所存儲的圖像數(shù)據(jù)一起疊加到無線信號后向外部發(fā)送。
電池27向膠囊型內(nèi)窺鏡2內(nèi)的各部供給電力。此外,在電池27中,設為包含對從按鈕電池等一次電池或二次電池供給的電力進行升壓等的電源電路。
膠囊型內(nèi)窺鏡2在由被檢體10吞咽后,通過臟器的蠕動運動等一邊在被檢體10的消化道內(nèi)移動,一邊例如以0.5秒間隔這樣的規(guī)定的時間間隔依次對食道、胃、小腸以及大腸等生物體部位進行拍攝。然后,將通過該攝像動作所生成的圖像數(shù)據(jù)和關聯(lián)信息依次向接收裝置3無線發(fā)送。在關聯(lián)信息中包含為了識別膠囊型內(nèi)窺鏡2的個體而分配的例如序列號這樣的識別信息等。
接收裝置3經(jīng)由具有多個(圖1中為8個)接收天線4a~4h的接收天線單元4來接收從膠囊型內(nèi)窺鏡2無線發(fā)送的圖像數(shù)據(jù)和關聯(lián)信息。各接收天線4a~4h是例如使用環(huán)形天線而實現(xiàn)的,被配置在被檢體10的體外表面上的規(guī)定位置。作為一例,接收天線4a~4h被配置在與作為膠囊型內(nèi)窺鏡2的通過路徑的被檢體10內(nèi)的臟器對應的位置。
如圖2所示,接收裝置3具備接收部31、信號處理部32、存儲器33、數(shù)據(jù)發(fā)送部34、操作部35、顯示部36、控制部37以及電池38。接收部31經(jīng)由接收天線4a~4h接收從膠囊型內(nèi)窺鏡2無線發(fā)送的圖像數(shù)據(jù)。信號處理部32對由接收部31接收到的圖像數(shù)據(jù)施加規(guī)定的信號處理。存儲器33存儲在信號處理部32中被施加了信號處理的圖像數(shù)據(jù)及其關聯(lián)信息。
數(shù)據(jù)發(fā)送部34是能夠與USB或有線LAN、無線LAN等通信線路連接的接口,在控制部37的控制下,向圖像顯示裝置5發(fā)送存儲器33中所存儲的圖像數(shù)據(jù)和關聯(lián)信息。操作部35在用戶輸入接收裝置3的各種設定信息等時被使用。
顯示部36顯示與檢查有關的登記信息(檢查信息、患者信息等)、由用戶輸入的各種設定信息等??刂撇?7對接收裝置3內(nèi)的各部的這些動作進行控制。電池38向接收裝置3內(nèi)的各部供給電力。
在膠囊型內(nèi)窺鏡2正在進行拍攝的期間、換言之在膠囊型內(nèi)窺鏡2由被檢體10吞咽之后直至被排出為止的期間,接收裝置3由被檢體10以佩戴的方式攜帶。接收裝置3還對這期間經(jīng)由接收天線單元4接收到的圖像數(shù)據(jù)附加在接收到各圖像數(shù)據(jù)的定時的各接收天線4a~4h的接收強度信息、接收時刻信息等關聯(lián)信息。而且,將這些圖像數(shù)據(jù)和關聯(lián)信息存儲于存儲器33。在由膠囊型內(nèi)窺鏡2進行的拍攝結(jié)束后,接收裝置3被從被檢體10卸下,這次與圖像顯示裝置5連接,來將存儲器33中所存儲的圖像數(shù)據(jù)和關聯(lián)信息傳輸?shù)綀D像顯示裝置5。此外,在圖1中,圖像顯示裝置5的USB端口與托架3a連接,將接收裝置3組裝在該托架3a上,由此將接收裝置3與圖像顯示裝置5連接。
圖像顯示裝置5是例如使用工作站、個人計算機而構成的。圖像顯示裝置5對經(jīng)由接收裝置3獲取到的被檢體10內(nèi)的圖像施加規(guī)定的圖像處理,生成規(guī)定形式的觀察畫面并進行顯示。
圖3是示出圖像顯示裝置5的概要結(jié)構的框圖。如圖3所示,圖像顯示裝置5具備輸入部51、圖像數(shù)據(jù)獲取部52、控制部53、存儲部54以及顯示部55。
輸入部51是例如通過鍵盤、鼠標、觸摸面板、各種開關等輸入設備而實現(xiàn)的。輸入部51向控制部53輸入與由用戶從外部進行的操作相應的信號。
圖像數(shù)據(jù)獲取部52是能夠與USB或有線LAN、無線LAN等通信線路連接的接口,包括USB端口、LAN端口等。在實施方式1中,圖像數(shù)據(jù)獲取部52作為經(jīng)由與USB端口連接的托架3a等外部設備、各種通信線路來從接收裝置3獲取圖像數(shù)據(jù)和關聯(lián)信息的數(shù)據(jù)獲取部而發(fā)揮功能。
控制部53是通過CPU等硬件而實現(xiàn)的,將存儲部54中所存儲的各種程序讀入,由此控制部53基于從輸入部51輸入的信號、由圖像數(shù)據(jù)獲取部52獲取到的圖像數(shù)據(jù)等來進行向構成圖像顯示裝置5的各部的指示、數(shù)據(jù)的傳輸?shù)?,對圖像顯示裝置5整體的動作進行綜合控制。更詳細地說,控制部53具備圖像處理部531、位置信息獲取部532、索引制作部533、圖像確定部534、判定部535、候選圖像抽出部536、特征點設定部537以及顯示控制部538。
圖像處理部531對經(jīng)由圖像數(shù)據(jù)獲取部52取入的一系列圖像的圖像數(shù)據(jù)施加白平衡處理、去馬賽克、顏色轉(zhuǎn)換處理、伽馬轉(zhuǎn)換等濃度轉(zhuǎn)換處理、基于噪聲去除等的平滑化處理、基于邊緣強調(diào)等的銳化處理這樣的圖像處理,由此生成用于顯示的圖像數(shù)據(jù)。另外,圖像處理部531基于用于顯示的圖像數(shù)據(jù),來進行計算各圖像的平均顏色的平均顏色計算處理等規(guī)定的圖像處理。
位置信息獲取部532基于各圖像的圖像數(shù)據(jù)的關聯(lián)信息中的、接收天線4a~4h接收到無線信號時的接收強度信息,來對拍攝時膠囊型內(nèi)窺鏡2的位置、即拍到圖像中的被攝體的位置進行檢測。以下,將拍攝時膠囊型內(nèi)窺鏡2的位置簡稱為膠囊位置。膠囊位置的檢測方法并不限定于基于無線信號的接收強度的方法,例如能夠使用日本特開2009-226080號公報中公開了的使用磁場的方法、其它公知的各種方法。
索引制作部533制作表示由膠囊型內(nèi)窺鏡2獲取到的一系列圖像的攝像順序與膠囊位置之間的關系的位置序列索引。圖4是表示位置序列索引的一例的示意圖。位置序列索引100是按照從規(guī)定的基準位置至膠囊位置為止的距離來將表示圖像的攝像順序的圖像序號排列起來的二維排列表。作為基準位置,將吞咽膠囊型內(nèi)窺鏡2的被檢體10的口的位置設定為一例。
圖4所示的位置序列索引100的最上層所記載的數(shù)值是表示距基準位置的距離的參數(shù)。以下將表示距基準位置的距離的參數(shù)簡稱為距離參數(shù)。在本實施方式1中,將距基準位置的距離(cm)本身設為距離參數(shù)。另外,位置序列參數(shù)100的第二層以后所記載的數(shù)值是圖像序號,各圖像序號被記載在與圖像的膠囊位置對應的距離參數(shù)的列。例如,圖像序號(i-6)的圖像表示在與距離參數(shù)100對應的位置所拍攝到的圖像。另外,在相鄰的框內(nèi)所記載的圖像序號(i-6)與(i-5)的圖像之間膠囊位置的間隔為2cm,在跳過一個框的框內(nèi)所記載的圖像序號(i-5)與(i-4)的圖像之間膠囊位置的間隔為4cm。此外,后面記述位置序列索引100的制作方法。以下還將附加有圖像序號i的圖像記為圖像(i)。
圖像確定部534在根據(jù)對輸入部51進行的用戶操作而從輸入部51輸入選擇一系列圖像中包含的任一圖像的選擇信號的情況下,將與選擇信號對應的圖像數(shù)據(jù)確定為確定圖像數(shù)據(jù)。以下將與確定圖像數(shù)據(jù)對應的圖像即用戶所選擇的圖像稱為確定圖像。
判定部535基于圖4所例示的位置序列索引100來對由圖像確定部534確定出的確定圖像是否為在膠囊型內(nèi)窺鏡2在被檢體內(nèi)進行來來回回的往復移動的區(qū)間內(nèi)所獲取到的圖像進行判定。
更詳細地說,判定部535具備確定部535a,該確定部535a確定膠囊位置或攝像時刻相對于確定圖像的膠囊位置或攝像時刻在規(guī)定范圍內(nèi)的多個圖像。在由確定部535a確定出的多個圖像中包含兩個以上的按時間序列正向連續(xù)且按位置序列正向連續(xù)的圖像群情況下,判定部535判定為上述確定圖像是在進行往復移動的區(qū)間內(nèi)獲取到的圖像。
候選圖像抽出部536在由判定部535判定為確定圖像是在膠囊型內(nèi)窺鏡2往復移動的過程中所獲取到的圖像的情況下,從在該往復移動的過程中所獲取到的圖像群中抽出更適當?shù)膱D像來作為用于設定特征點的圖像。以下將由候選圖像抽出部536抽出的圖像稱為候選圖像。
特征點設定部537按照從輸入部51輸入的信號,來將由圖像確定部534確定出的確定圖像或由候選圖像抽出部536抽出的候選圖像設定為表示特征點的圖像,并且將表示該特征點的圖像的膠囊位置設定為特征點。以下將表示特征點的圖像稱為特征點圖像。
顯示控制部538基于由圖像處理部531施加了圖像處理所得到的用于顯示的圖像數(shù)據(jù)來以規(guī)定的形式使一系列圖像顯示在顯示部55中且以規(guī)定的形式顯示由候選圖像抽出部536抽出的候選圖像。
存儲部54是通過快閃存儲器、RAM(Random-Access Memory:隨機存取存儲器)、ROM(Read-only Memory:只讀存儲器)等半導體存儲器、HDD(Hard Disk Drive:硬盤驅(qū)動器)、MO(Magneto-Optical:光磁盤)、CD-R(Compact Disk-Recordable:可記錄式光盤)、DVD-R(DVD-Recordable:可記錄式DVD)等記錄介質(zhì)以及向該記錄介質(zhì)進行信息的寫入和讀取的寫入讀取裝置等而實現(xiàn)的。存儲部54具備:圖像數(shù)據(jù)存儲部541,其存儲由圖像處理部531施加圖像處理所得到的用于顯示的圖像數(shù)據(jù),且與圖像數(shù)據(jù)相關聯(lián)地存儲各圖像的膠囊位置;存儲由索引制作部533制作的位置序列索引的索引存儲部542;存儲與特征點圖像有關的信息的特征點存儲部543;存儲抽出候選圖像時所使用的條件的設定條件存儲部544;以及存儲用于使圖像顯示裝置5動作來執(zhí)行各種功能的程序和各種信息的程序存儲部545。
其中,設定條件存儲部544存儲膠囊型內(nèi)窺鏡2在被檢體10內(nèi)進行了往復移動的區(qū)間的設定條件、從膠囊型內(nèi)窺鏡2進行了往復移動的區(qū)間抽出候選圖像時的條件。以下將膠囊型內(nèi)窺鏡2進行了往復移動的區(qū)間簡稱為往復移動區(qū)間。在往復移動區(qū)間的設定條件中,包含往復移動區(qū)間的長度、換言之往復移動區(qū)間的距離、往復移動區(qū)間內(nèi)獲取的圖像個數(shù)或往復移動區(qū)間內(nèi)移動所需要的時間、與確定圖像相對的往復移動區(qū)間的位置這樣的條件。另外,作為候選圖像的抽出條件,能夠舉出將膠囊型內(nèi)窺鏡2最初通過往復移動區(qū)間時的圖像設為候選圖像或者將最后通過時的圖像設為候選圖像這樣的條件。設定條件存儲部544預先存儲規(guī)定的初始條件來作為往復移動區(qū)間的設定條件、候選圖像的抽出條件,但是也可以設為用戶通過使用輸入部51的操作而能夠替換期望的往復移動區(qū)間的設定條件、候選圖像的抽出條件。
顯示部55是通過CRT(Cathode Ray Tube:陰極射線管)顯示器、液晶顯示器、EL(Electro-Luminescence:電致發(fā)光)顯示器等顯示裝置而實現(xiàn)的。顯示部55在顯示控制部538的控制下以規(guī)定的形式將一系列圖像、由候選圖像抽出部536抽出的候選圖像、其它關聯(lián)的信息等顯示在畫面上。
接著,對圖像顯示裝置5的動作進行說明。圖5是示出將通過使用膠囊型內(nèi)窺鏡2的檢查而獲取到的圖像數(shù)據(jù)從接收裝置3向圖像顯示裝置5傳輸(下載)的處理的流程圖。
首先,在步驟S10中,通過將接收裝置3組裝在與圖像顯示裝置5連接的托架3a上(參照圖1),來從接收裝置3向圖像顯示裝置5傳輸圖像數(shù)據(jù)?;蛘咭部梢越?jīng)由各種通信線路來從接收裝置3向圖像顯示裝置5傳輸圖像數(shù)據(jù)。
在接下來的步驟S11中,圖像處理部531通過對與從接收裝置3傳輸來的圖像數(shù)據(jù)對應的各圖像施加白平衡處理、去馬賽克、顏色轉(zhuǎn)換、濃度轉(zhuǎn)換、平滑化、銳化等圖像處理,來制作用于顯示的圖像數(shù)據(jù)。此時,圖像處理部531還可以同時進行各圖像的平均顏色的計算等圖像處理。
在接下來的步驟S12中,位置信息獲取部532基于圖像數(shù)據(jù)的關聯(lián)信息中的接收強度信息來進行各圖像的膠囊位置的檢測。
在接下來的步驟S13中,索引制作部533基于步驟S12中檢測出的一系列圖像的膠囊位置來制作位置序列索引。具體地說,如圖4所例示那樣,按升序?qū)⒁幌盗袌D像的圖像序號依次輸入到與圖像的膠囊位置對應的距離參數(shù)的列。此時,在距離參數(shù)與緊挨著的前一個圖像序號的距離參數(shù)相同或者距離參數(shù)相對于緊挨著的前一個圖像序號的距離參數(shù)的變化例如增減反轉(zhuǎn)的情況下,在位置序列索引100中追加行,這之后將圖像序號輸入到追加的行中。
例如,在圖4中在輸入圖像序號(i-1)的情況下,緊挨著的前一個圖像序號(i-2)的距離參數(shù)(112)相對于其前的圖像序號(i-3)的距離參數(shù)(108)增加,與此相對,圖像序號(i-1)的距離參數(shù)(110)相對于圖像序號(i-2)的距離參數(shù)(112)轉(zhuǎn)為減少。在該情況下,圖像序號(i-1)以后的圖像序號被輸入到所追加的行(第二行)。另外,在輸入圖像序號(i+2)的情況下,緊挨著的前一個圖像序號(i+1)的距離參數(shù)(102)相對于其前的圖像序號(i)的距離參數(shù)(104)減少,與此相對,圖像序號(i+2)的距離參數(shù)(104)相對于圖像序號(i+1)的距離參數(shù)(102)轉(zhuǎn)為增加。在該情況下,圖像序號(i+2)以后的圖像序號被輸入到所追加的行(第三行)。并且,由于圖像序號(i+3)的距離參數(shù)(104)與緊挨著的前一個圖像序號(i+2)的距離參數(shù)相同,因此圖像序號(i+3)以后的圖像序號被輸入到所追加的行(第四行)。
在接下來的步驟S14中,存儲部54存儲在步驟S11中施加了圖像處理的圖像數(shù)據(jù),并將在步驟S12中檢測出的膠囊位置與圖像數(shù)據(jù)相關聯(lián)地存儲,還存儲在步驟S13中制作出的位置序列索引。由此,從接收裝置3向圖像顯示裝置5的圖像數(shù)據(jù)的傳輸處理結(jié)束。
接著,說明對一系列圖像進行的特征點設定處理。圖6是示出圖像顯示裝置5所執(zhí)行的特征點設定處理的流程圖。另外,以下設為圖4所示的位置序列索引已被制作并存儲于存儲部54而進行說明。
首先,在步驟S20中,控制部53從設定條件存儲部544獲取候選圖像的抽出條件。具體地說,獲取如下條件中的任一條件:將“最初”通過膠囊型內(nèi)窺鏡2進行往復移動的區(qū)間時的圖像抽出來作為候選圖像,以及將“最后”通過膠囊型內(nèi)窺鏡2進行往復移動的區(qū)間時的圖像抽出來作為候選圖像。
在接下來的步驟S21中,控制部53從設定條件存儲部544獲取往復移動區(qū)間的設定條件。在本實施方式1中,對將以確定圖像為中心且膠囊位置為±Δ的范圍設為往復移動區(qū)間的情況進行說明。在圖4中,作為一例,設為Δ=4cm。
在接下來的步驟S22中,控制部53從圖像數(shù)據(jù)存儲部541讀出圖像數(shù)據(jù),基于該圖像數(shù)據(jù)來使由膠囊型內(nèi)窺鏡2獲取到的一系列圖像以規(guī)定的形式依次顯示在顯示部55中。
圖7是示出由膠囊型內(nèi)窺鏡2獲取到的一系列圖像的顯示例的示意圖。圖7所示的顯示畫面M1包括:檢查信息顯示欄m11,其顯示檢查ID、檢查日等檢查信息;患者信息顯示欄m12,其顯示患者ID、患者名、出生年月日等患者信息;主顯示區(qū)域m13,一系列圖像以模擬動態(tài)圖像形式依次顯示于該主顯示區(qū)域m13;操作按鈕群m14,其在針對要顯示于主顯示區(qū)域m13的圖像進行再現(xiàn)動作的操作時使用;特征點設定按鈕m15,其用于輸入將主顯示區(qū)域m13中正在顯示的圖像選擇為特征點圖像的指示;軌跡顯示區(qū)域m16,其顯示膠囊型內(nèi)窺鏡2在被檢體內(nèi)的軌跡;平均顏色條m17;以及總覽(Overview)按鈕m18,其用于輸入將一系列圖像的顯示形式從模擬運動圖像形式切換為靜止圖像一覽顯示形式的指示。此外,在設為膠囊型內(nèi)窺鏡2(參照圖2)中設置有多個攝像部21而能夠?qū)Χ鄠€方向進行拍攝的結(jié)構的情況下,最好與這些攝像部21對應地設置多個主顯示區(qū)域m13。
特征點設定按鈕m15在用戶選擇拍到了想要設定為特征點的地方的圖像時使用。當使用輸入部51來對特征點設定按鈕m15例如進行點擊等規(guī)定的指示操作時,用于將在該定時顯示于主顯示區(qū)域m13的圖像選擇為特征點圖像的選擇信號從輸入部51被輸入到控制部53。
在軌跡顯示區(qū)域m16,顯示有將與由位置信息獲取部532獲取到的各圖像相關聯(lián)的膠囊位置連結(jié)而成的軌跡m19和表示與主顯示區(qū)域m13中正在顯示的圖像對應的膠囊位置的標記m20。用戶能夠通過參照標記m20在軌跡m19上的位置,來大致把握主顯示區(qū)域m13中正在顯示的圖像的膠囊位置。
平均顏色條m17是沿著圖像的排序順序即攝像時刻順序?qū)⒂蓤D像處理部531針對各圖像計算出的平均顏色配置成帶狀區(qū)域所得到的。在平均顏色條m17上設置有滑塊m21,該滑塊m21表示與主顯示區(qū)域m13中正在顯示的圖像對應的位置。用戶能夠通過參照滑塊m21在平均顏色條m17上的位置來大致把握主顯示區(qū)域m13中正在顯示的圖像在被檢體內(nèi)的位置。另外,根據(jù)使用輸入部51的規(guī)定的指示操作來使滑塊m21沿著平均顏色條m17移動,由此能夠使主顯示區(qū)域m13中顯示的圖像遷移。
在平均顏色條m17的下方,作為縮略圖而顯示有將特征點圖像縮小得到的縮小圖像m22。用線將各縮小圖像m22與平均顏色條m17上的對應位置連接。
在接下來的步驟S23中,控制部53對是否從輸入部51輸入了用于將主顯示區(qū)域m13中正在顯示的圖像選擇為特征點圖像的選擇信號進行判定。在沒有輸入圖像的選擇信號的情況(步驟S23:“否(No)”)下,處理轉(zhuǎn)移到后述的步驟S38。
另一方面,在輸入了圖像的選擇信號的情況(步驟S23:“是(Yes)”)下,圖像確定部534獲取與該選擇信號對應的圖像(即確定圖像)的圖像序號(步驟S24)。
在接下來的步驟S25中,判定部535從索引存儲部542讀出位置序列索引,獲取確定圖像的圖像序號在位置序列索引中的配置。例如,在將確定圖像的圖像序號設為i的情況下,圖4所示的位置序列索引100中的圖像序號i位于距離參數(shù)(104)的列的第二行。
在接下來的步驟S26中,判定部535針對確定圖像設定往復移動區(qū)間,將在該往復移動區(qū)間內(nèi)存在圖像序號的全部行抽出。例如,如圖4所示,在將以確定圖像i為中心且膠囊位置為±4cm的范圍設為往復移動區(qū)間的情況下,從距離參數(shù)(100)的列至距離參數(shù)(108)的列為止成為往復移動區(qū)間。在該情況下,判定部535將在上述往復移動區(qū)間內(nèi)存在圖像序號的第一行至第四行從位置序列索引中抽出。
在接下來的步驟S27中,判定部535獲取在步驟S26中所抽出的各行的膠囊型內(nèi)窺鏡2的運動信息。在此,運動信息是表示與各行所記載的圖像序號對應的圖像被獲取時的膠囊型內(nèi)窺鏡2進行的來來回回的往復運動的信息,包含表示沿正向即從口朝向肛門的方向的移動的“往”、表示沿反向即從肛門朝向口的方向的移動的“復”以及這兩者均不是的滯留。在圖4中,將滯留記為標記“-”。能夠根據(jù)各行所記載的圖像序號和距離參數(shù)來辨別運動信息。具體地說,在位置序列參數(shù)的每行中將連續(xù)的圖像序號按相當于正向的升序排列時,在與各圖像序號對應的距離參數(shù)增加的情況下,該行的運動信息為“往”。相反地,在將連續(xù)的圖像序號按相當于正向的升序排列時,在與各圖像序號對應的距離參數(shù)減少的情況下,該行的運動信息為“復”。另外,在一行中只輸入了一個圖像序號的情況下,運動信息為滯留(“-”)。
具體地說,在圖4的情況下,判定為包含圖像序號(i-6)~(i-3)的第一行的運動信息為“往”、包含圖像序號(i)~(i+1)的第二行的運動信息為“復”、包含圖像序號(i+2)的第三行的運動信息為滯留、包含圖像序號(i+3)~(i+4)的第四行的運動信息為“往”。由此,能夠把握與輸入到各行的圖像序號對應的圖像群被獲取時的膠囊型內(nèi)窺鏡2的運動。
在接下來的步驟S28中,判定部535對在步驟S27中所獲取到的運動信息中是否包含兩個以上的“往”進行判定。例如,在圖4所示的往復移動區(qū)間內(nèi),第一行和第四行的運動信息為“往”,因此符合“往”為兩個以上。
在不存在兩個以上的“往”的情況(步驟S28:“否”)下,認為在該往復移動區(qū)間內(nèi)膠囊型內(nèi)窺鏡2僅沿正向行進。因而,在該情況下,特征點設定部537基于確定圖像、即由用戶選擇出的圖像來設定特征點(步驟S29)。具體地說,對確定圖像附加表示是特征點圖像的標志,并且將該特征點圖像的膠囊位置設定為特征點。之后,處理轉(zhuǎn)移到后述的步驟S38。
另一方面,在存在兩個以上的“往”的情況(步驟S28:“是”)下,認為在該往復移動區(qū)間內(nèi)膠囊型內(nèi)窺鏡2進行了往復移動或在同一地方暫時滯留。在該情況下,存在如下可能性:存在拍到了與確定圖像相同的地方或確定圖像的附近地方的其它圖像。因此,候選圖像抽出部536將作為特征點圖像更適當?shù)膱D像抽出來作為候選圖像。
在步驟S30中,候選圖像抽出部536對在步驟S20中獲取到的候選圖像的抽出條件是否為“最初”通過膠囊型內(nèi)窺鏡2進行往復移動的區(qū)間時的圖像進行判定。
在候選圖像的抽出條件為“最初”的情況(步驟S30:“是”)下,候選圖像抽出部536獲取往復移動區(qū)間的首行即最初的往路中包含的全部的圖像序號(步驟S31)。另一方面,在候選圖像的抽出條件不是“最初”的情況(步驟S30:“否”)下、即候選圖像的抽出條件為“最后”的情況下,候選圖像抽出部536獲取往復移動區(qū)間的最終行即最后的往路中包含的全部的圖像序號(步驟S32)。
在接下來的步驟S33中,候選圖像抽出部536對在步驟S31或S32中獲取到的圖像序號中是否包含確定圖像的圖像序號即與在步驟S23中輸入的選擇信號對應的圖像序號進行判定。
當在步驟S31或S32中獲取到的圖像序號中包含確定圖像的圖像序號的情況(步驟S33:“是”)下,處理轉(zhuǎn)移到步驟S29。
另一方面,當在步驟S31或S32中獲取到的圖像序號中不包含確定圖像的圖像序號的情況(步驟S33:“否”)下,候選圖像抽出部536從圖像數(shù)據(jù)存儲部541獲取與在步驟S31或S32中獲取到的全部的圖像序號對應的圖像數(shù)據(jù)(步驟S34)。
在接下來的步驟S35中,顯示控制部538將與在步驟S34中由候選圖像抽出部536獲取到的圖像數(shù)據(jù)對應的圖像作為候選圖像而顯示在顯示部55中。
圖8是示出候選圖像的顯示例的示意圖。在圖8所示的顯示畫面M2中,對圖7所示的顯示畫面M1重疊地顯示有包含多個候選圖像m31的窗口m32。在窗口m32中,同時還顯示有針對用戶的消息顯示欄m33和取消按鈕m34。在消息顯示欄m33中,顯示有促使從候選圖像m31內(nèi)選擇特征點圖像的消息。當使用輸入部51來對該窗口m32所顯示出的候選圖像m31中的任一個例如進行點擊等規(guī)定的指示操作時,用于選擇被進行了指示操作的候選圖像的信號被從輸入部51輸入到控制部53。另外,當使用輸入部51對取消按鈕m34例如進行點擊等規(guī)定的指示操作時,用于指示取消特征點的設定的信號被從輸入部51輸入到控制部53。
在步驟S36中,特征點設定部537判定是否從輸入部51輸入了用于選擇窗口m32中顯示的候選圖像m31中的任一個的信號。在輸入了用于選擇候選圖像m31中的任一個的信號的情況(步驟S36:“是”)下,特征點設定部537基于選擇出的候選圖像來設定特征點(步驟S37)。具體地說,對選擇出的候選圖像附加表示是特征點圖像的標志,并且將該特征點圖像的膠囊位置設定為特征點。
另一方面,在沒有輸入用于選擇候選圖像m31中的任一個的信號的情況(步驟S36:“否”)下,即輸入了用于指示取消特征點的設定的信號的情況下,處理轉(zhuǎn)移到步驟S38。
在步驟S38下,控制部53判定是否存在接著顯示的圖像。在存在接著顯示的圖像的情況(步驟S38:“是”)下,處理返回步驟S22。另一方面,在不存在接著顯示的圖像的情況(步驟S38:“否”)下,結(jié)束一系列的處理。
如以上所說明那樣,根據(jù)本發(fā)明的實施方式1,在通過用戶操作來將在膠囊型內(nèi)窺鏡2進行往復移動的期間獲取到的圖像選擇為特征點圖像的情況下,如果在一系列圖像內(nèi)存在作為特征點圖像更適當?shù)膱D像,則將該圖像作為候選圖像而顯示在畫面上,因此用戶能夠通過參照畫面上顯示出的候選圖像來設定更適當?shù)奶卣鼽c。
另外,根據(jù)本發(fā)明的實施方式1,通過使用表示圖像的排序順序的圖像序號和表示圖像的膠囊位置的距離參數(shù),能夠以簡單的處理準確地抽出膠囊型內(nèi)窺鏡2進行往復移動的區(qū)間。
(變形例1)
接著,說明本發(fā)明的實施方式1的變形例1。圖9是示出對膠囊型內(nèi)窺鏡2的運動信息進行判定時所使用的索引的其它的例子的示意圖。圖9所示的圖像序號索引200是基于從規(guī)定的基準位置至圖像的膠囊位置為止的距離的增減來排列表示圖像的攝像順序的圖像序號而成的二維排列表。圖像序號索引200的最上層所記載的數(shù)值是表示從基準位置至膠囊位置為止的距離的增減的參數(shù)。以下將表示從基準位置至膠囊位置為止的距離的增減的參數(shù)簡稱為增減參數(shù)。另外,在圖像序號索引200的第二層以后所輸入的數(shù)值是圖像序號,在相同的行所記載的圖像序號之間增減參數(shù)的值越大,則表示從基準位置至膠囊位置為止的距離越長。
在該圖像序號索引200中,在從基準位置至膠囊位置為止的距離與緊挨著的前一個圖像的該距離相同、從增加轉(zhuǎn)為減少或從減少轉(zhuǎn)為增加時,追加行。例如,由于到圖像序號(i-1)為止增加的距離轉(zhuǎn)為減少,因此圖像序號(i-1)被輸入到新追加的行。另外,由于到圖像序號(i+2)為止減少的距離轉(zhuǎn)為增加,因此圖像序號(i+2)被輸入到新追加的行。并且,與緊挨著的前一個圖像序號(i+2)相比,圖像序號(i+3)的距離沒有變化,因此圖像序號(i+3)被輸入到新追加的行。另外,在各行,與從基準位置至膠囊位置為止的距離的絕對值無關地將連續(xù)的圖像序號輸入到相鄰的欄中。
在這樣的圖像序號索引200的情況下,將包含確定圖像的圖像序號i的k列設為基準來例如以±Δ列這樣的形式設定往復移動區(qū)間。在圖9中,將k±2列設為往復移動區(qū)間。基于這樣設定的往復移動區(qū)間,能夠與上述實施方式1同樣地對各行的運動信息進行判定并進行候選圖像的抽出。
(變形例2)
接著,說明本發(fā)明的實施方式1的變形例2。圖10是示出對膠囊型內(nèi)窺鏡2的運動信息進行判定時所使用的索引的又一其它例子的示意圖。圖10所示的時間序列索引300是根據(jù)表示從攝像開始時刻至該圖像的攝像時刻為止的經(jīng)過時間的攝像時間來排列表示從規(guī)定的基準位置至各圖像的膠囊位置為止的距離的攝像距離而成的二維排列表。在此,如果攝像幀頻是固定的,則由于攝像時間是與攝像順序?qū)?,因此能夠使用表示各圖像的攝像順序的圖像序號來作為表示攝像時間的時間參數(shù)。
在該時間序列索引300中,在攝像距離(cm)與緊挨著之前拍攝到的圖像的攝像距離相同、從增加轉(zhuǎn)為減少或從減少轉(zhuǎn)為增加時,追加行。例如,關于與時間參數(shù)(i-1)對應的攝像距離110cm,由于到此為止增加的攝像距離轉(zhuǎn)為減少,因此該攝像距離110cm被輸入到新追加的行。另外,關于與時間參數(shù)(i+2)對應的攝像距離104cm,由于到此為止減少的攝像距離轉(zhuǎn)為增加,因此該攝像距離104cm被輸入到新追加的行。并且,關于與時間參數(shù)(i+3)對應的攝像距離104cm,由于與緊挨著的前一個的圖像序號(i+2)的攝像距離相比沒有變化,因此該攝像距離104cm被輸入到新追加的行。
在這樣的時間序列索引300的情況下,將確定圖像的時間參數(shù)i設為基準來例如以±Δ這樣的形式設定往復移動區(qū)間。在圖10中,將i±4設為往復移動區(qū)間。通過這樣設定往復移動區(qū)間,能夠與上述實施方式1同樣地對各行的運動信息進行判定并進行候選圖像的抽出。
(變形例3)
接著,說明本發(fā)明的實施方式1的變形例3。在上述實施方式1中,設為在從接收裝置3向圖像顯示裝置5傳輸圖像數(shù)據(jù)時制作位置序列索引。然而,只要是在進行特征點的設定處理之前,可以在任意定時進行位置序列索引的制作。例如,也可以設為在用戶為了進行特征點的設定或用戶為了觀察圖像而打開圖像數(shù)據(jù)的文件時,制作位置序列索引。在代替制作位置序列索引而制作變形例1所說明的圖像序號索引200、變形例2所說明的時間序列索引300的情況下也是同樣的。
(實施方式2)
接著,說明本發(fā)明的實施方式2。在上述實施方式1中,判定在針對通過用戶操作選擇出的確定圖像的往復移動區(qū)間內(nèi)是否包含兩個以上的運動信息為“往”的行,由此對膠囊型內(nèi)窺鏡2是否在該往復移動區(qū)間進行了往復移動或是否滯留過進行判定。然而,也可以不是分別地對各行的運動信息進行判定,而是根據(jù)往復移動區(qū)間直接對膠囊型內(nèi)窺鏡2的運動進行判定。
圖11是示出本發(fā)明的實施方式2所涉及的圖像顯示裝置所執(zhí)行的特征點設定處理的流程圖。此外,本實施方式2的膠囊型內(nèi)窺鏡系統(tǒng)整體的結(jié)構和圖像顯示裝置的結(jié)構與圖1~圖3所示的實施方式1相同。另外,圖11所示的步驟S20~S26與實施方式1相同。
在接著步驟S26之后的步驟S41中,判定部535對在往復移動區(qū)間內(nèi)包含的圖像中是否包含兩個以上的、圖像序號按時間序列正向排列即圖像序號為升序且按位置序列正向排列的行即圖像序號群進行判定。
當在往復移動區(qū)間內(nèi)沒有包含兩個以上的圖像序號按時間序列正向排列且按位置序列正向排列的行的情況(步驟S41:“否”)下,處理轉(zhuǎn)移到步驟S29。另一方面,在包含兩個以上的圖像序號按時間序列正向排列且按位置序列正向排列的行的情況(步驟S41:“是”)下,處理轉(zhuǎn)移到步驟S30。步驟S29~S38的處理與實施方式1相同。
如以上所說明那樣,根據(jù)本發(fā)明的實施方式2,代替針對位置序列索引100的每行判定運動信息,而基于往復移動區(qū)間內(nèi)包含的圖像序號的排序順序來對膠囊型內(nèi)窺鏡2是否在該往復移動區(qū)間內(nèi)進行了往復移動進行判定,因此能夠使處理簡單化。
在代替制作位置序列索引而制作變形例1所說明的圖像序號索引200、變形例2所說明的時間序列索引300的情況下,也能夠通過同樣的處理來對膠囊型內(nèi)窺鏡2的運動進行判定。
(實施方式3)
接著,說明本發(fā)明的實施方式3。在本發(fā)明的實施方式3所涉及的膠囊型內(nèi)窺鏡系統(tǒng)中,代替圖1所示的圖像顯示裝置5而具備圖12所示的圖像顯示裝置6。圖12是示出本發(fā)明的實施方式3所涉及的圖像顯示裝置的結(jié)構的框圖。代替圖3所示的控制部53,圖12所示的圖像顯示裝置6具備控制部61。此外,除了控制部61以外的圖像顯示裝置6的各部的結(jié)構和動作以及膠囊型內(nèi)窺鏡系統(tǒng)整體的結(jié)構與圖1及圖2所示的實施方式1相同。
代替圖3所示的控制部53所具備的判定部535,控制部61具備判定部611。判定部611具備相似度判定部611a,該相似度判定部611a對膠囊位置或攝像時刻相對于由圖像確定部534確定出的確定圖像的膠囊位置或攝像時刻在規(guī)定范圍內(nèi)的多個圖像的各個圖像與上述確定圖像之間的相似性進行判定。在該多個圖像中包含兩個以上的、包含由相似度判定部611a判定為與確定圖像相似的圖像且圖像序號連續(xù)的圖像群的情況下,判定部61判定為上述確定圖像是在進行往復移動的區(qū)間內(nèi)獲取到的圖像。除了判定部611以外的控制部61的各部的結(jié)構和動作與實施方式1相同。
圖13是示出圖像顯示裝置6所執(zhí)行的特征點設定處理的流程圖。此外,圖13所示的步驟S20~S25與實施方式1相同。
在接著步驟S25之后的步驟S51中,判定部611針對確定圖像設定往復移動區(qū)間,將在該往復移動區(qū)間內(nèi)存在圖像序號的全部的行抽出,從圖像數(shù)據(jù)存儲部541獲取與各圖像序號對應的圖像數(shù)據(jù)。
在接下來的步驟S52中,判定部611獲取確定圖像的圖像數(shù)據(jù)。
在接下來的步驟S53中,相似度判定部611a基于在步驟S51和S52中獲取到的圖像數(shù)據(jù)來對確定圖像與其它圖像之間的相似性進行判定。作為相似性的判定方法,能夠應用公知的各種方法。具體地說,使用基于模板匹配的歸一化互相關(NCC)、SSD(Sum of Squared Difference:差值的平方和)、SAD(Sum of Absolute Difference:絕對差值和)等來作為表示相似性的指標。此外,NCC的值越大則表示圖像間的相似性越高,SSD和SAD的值越小則表示圖像間的相似性越高。因而,判定為NCC為規(guī)定值以上的圖像、SSD或SAD為規(guī)定值以下的圖像與確定圖像相似。
在接下來的步驟S54中,判定部611對包含一個以上的與確定圖像相似的圖像的圖像序號的行是否存在兩個以上進行判定。換言之,對包含與確定圖像相似的圖像且圖像序號連續(xù)的圖像群是否存在兩個以上進行判定。
在包含與確定圖像相似的圖像的圖像序號的行不存在兩個以上情況(步驟S54:“否”)下,特征點設定部537基于確定圖像(與在步驟S23中輸入的選擇信號對應的圖像)來設定特征點(步驟S29)。之后,處理轉(zhuǎn)移到后述的步驟S38。
另一方面,在包含與確定圖像相似的圖像的圖像序號的行存在兩個以上情況(步驟S54:“是”)下,候選圖像抽出部536對在步驟S20中獲取到的候選圖像的抽出條件是否為“最初”通過膠囊型內(nèi)窺鏡2進行往復移動的區(qū)間時的圖像進行判定(步驟S55)。
在候選圖像的抽出條件為“最初”的情況(步驟S55:“是”)下,候選圖像抽出部536將與確定圖像相似的圖像中的圖像序號被包含在往復移動區(qū)間的首行即最初的往路中的圖像抽出(步驟S56)。另一方面,在候選圖像的抽出條件不是“最初”的情況(步驟S55:“否”)下,候選圖像抽出部536將與確定圖像相似的圖像中的圖像序號被包含在往復移動區(qū)間的最終行即最后的往路中的圖像抽出(步驟S57)。
在接下來的步驟S58中,候選圖像抽出部536將在步驟S56或S57中抽出的圖像作為候選圖像而顯示在顯示部55中。接下來的步驟S36~S38與參照圖6所說明的實施方式1相同。
如以上所說明那樣,根據(jù)本發(fā)明的實施方式3,基于與確定圖像之間的相似性的判定結(jié)果來抽出候選圖像,因此能夠?qū)⒏m當?shù)暮蜻x圖像提示給用戶。
(實施方式4)
接著,說明本發(fā)明的實施方式4。在本發(fā)明的實施方式4所涉及的膠囊型內(nèi)窺鏡系統(tǒng)中,代替圖1所示的圖像顯示裝置5而具備圖14所示的圖像顯示裝置7。圖14是示出本發(fā)明的實施方式4所涉及的圖像顯示裝置的結(jié)構的框圖。代替圖3所示的控制部53和存儲部54,圖14所示的圖像顯示裝置7分別具備控制部71和存儲部72。
相對于圖3所示的控制部53,控制部71還具備通過時間計算部711和臟器功能判定部712。通過時間計算部711對膠囊型內(nèi)窺鏡2在互不相同的特征點間通過的通過時間進行計算。臟器功能判定部712基于由通過時間計算部711計算出的通過時間來對被檢體內(nèi)的臟器的功能進行判定。除了通過時間計算部711和臟器功能判定部712以外的控制部71的各部的結(jié)構和動作與實施方式1相同。
相對于圖3所示的存儲部54,存儲部72還具備統(tǒng)計值存儲部721。統(tǒng)計值存儲部721將膠囊型內(nèi)窺鏡2在被檢體內(nèi)通過的通過時間的統(tǒng)計值按胃、小腸、大腸這樣的臟器的種類進行存儲。更優(yōu)選的是,最好按作為被檢體的患者的年齡、性別、病例對各臟器的通過時間的統(tǒng)計值進行累積。另外,作為統(tǒng)計值,可以是平均值、最頻值、中央值中的任一個。除了統(tǒng)計值存儲部721以外的存儲部72的各部的結(jié)構與實施方式1相同。
接著,說明圖像顯示裝置7的動作。圖像顯示裝置7具有如下功能:在與實施方式1同樣地進行來自接收裝置3的圖像數(shù)據(jù)的傳輸(參照圖5)和特征點的設定(參照圖6)之后,追加地進行被檢體的臟器的功能判定。此外,圖像顯示裝置7所執(zhí)行的圖像數(shù)據(jù)的傳輸處理和特征點的設定處理與實施方式1相同?;蛘?,也可以與實施方式2或3同樣地進行特征點的設定處理。
圖15是示出圖像顯示裝置7所執(zhí)行的臟器功能判定處理的流程圖。首先,在步驟S60中,臟器功能判定部712判定是否已針對一系列圖像將胃的入口和小腸的入口設定為特征點。在沒有將胃的入口和小腸的入口設定為特征點的情況(步驟S60:“否”)下,處理轉(zhuǎn)移到后述的步驟S65。
另一方面,在已將胃的入口和小腸的入口設定為特征點的情況(步驟S60:“是”)下,通過時間計算部711對膠囊型內(nèi)窺鏡2的胃的通過時間進行計算(步驟S61)。胃的通過時間是通過對被設定為胃的入口的特征點的圖像的攝像時刻與被設定為小腸的入口的特征點的圖像的攝像時刻之差進行計算來求出的。
在接下來的步驟S62中,臟器功能判定部712從統(tǒng)計值存儲部721讀出胃的通過時間的統(tǒng)計值,將在步驟S61中計算出的胃的通過時間與該統(tǒng)計值進行比較。當在步驟S61中計算出的胃的通過時間為統(tǒng)計值以下的情況(步驟S63:“否”)下,結(jié)束處理。
另一方面,當在步驟S61中計算出的胃的通過時間比統(tǒng)計值長的情況(步驟S63:“是”)下,認為被檢體的胃功能(蠕動運動)降低。在該情況下,臟器功能判定部712使表示胃功能降低的意思的消息顯示在顯示部55中(步驟S64)。作為消息的具體例,能夠舉出“胃的通過時間比正常長。存在胃功能降低的可能性?!钡取?/p>
在接下來的步驟S65中,通過時間計算部711判定是否已將小腸的入口和大腸的入口設定為特征點。在沒有將小腸的入口和大腸的入口設定為特征點的情況(步驟S65:“否”)下,結(jié)束處理。
另一方面,在已將小腸的入口和大腸的入口設定為特征點的情況(步驟S65:“是”)下,通過時間計算部711對膠囊型內(nèi)窺鏡2的小腸的通過時間進行計算(步驟S66)。小腸的通過時間是通過對被設定為小腸的入口的特征點的圖像的攝像時刻與被設定為大腸的入口的特征點的圖像的攝像時刻之差進行計算來求出的。
在接下來的步驟S67中,臟器功能判定部712從統(tǒng)計值存儲部721讀出小腸的通過時間的統(tǒng)計值,將在步驟S66中計算出的小腸的通過時間與該統(tǒng)計值進行比較。當在步驟S66中計算出的小腸的通過時間為統(tǒng)計值以下的情況(步驟S68:“否”)下,結(jié)束處理。
另一方面,當在步驟S66中計算出的小腸的通過時間比統(tǒng)計值長的情況(步驟S68:“是”)下,認為被檢體的小腸功能、具體地說是蠕動運動降低。在該情況下,臟器功能判定部712使表示小腸功能降低的意思的消息顯示在顯示部55中(步驟S69)。作為消息的具體例,能夠舉出“小腸的通過時間比正常長。存在小腸功能降低的可能性”等。之后,結(jié)束處理。
如以上所說明那樣,根據(jù)本發(fā)明的實施方式4,能夠基于適當?shù)卦O定的特征點,高精度地計算膠囊型內(nèi)窺鏡2在各臟器通過的通過時間。因而,在根據(jù)臟器的通過時間與統(tǒng)計值之間的比較結(jié)果而預測為臟器功能降低的情況下,向用戶通知該意思,由此用戶能夠?qū)⑴K器功能降低放在心上來進行圖像觀察。
關于以上所說明的本發(fā)明,并不限定于實施方式1~4以及它們的變形例,能夠通過將各實施方式、變形例所公開的多個結(jié)構要素進行適當組合來形成各種發(fā)明。例如,也可以從各實施方式、變形例所示的全部結(jié)構要素中去除幾個結(jié)構要素來形成,還可以將不同的實施方式、變形例所示的結(jié)構要素進行適當組合來形成。
以上假定將膠囊型內(nèi)窺鏡使用于醫(yī)療領域的情況來對本發(fā)明的實施方式1~4以及它們的變形例進行了說明,但是還可以應用于在除了醫(yī)療領域以外的領域使用膠囊型內(nèi)窺鏡的情況。
附圖標記說明
1:膠囊型內(nèi)窺鏡系統(tǒng);2:膠囊型內(nèi)窺鏡;3:接收裝置;3a:托架;4:接收天線單元;4a~4h:接收天線;5、6、7:圖像顯示裝置;10:被檢體;21:攝像部;22:照明部;23、32:信號處理部;24、33:存儲器;25:發(fā)送部;26:天線;27、38:電池;31:接收部;34:數(shù)據(jù)發(fā)送部;35:操作部;36:顯示部;37:控制部;51:輸入部;52:圖像數(shù)據(jù)獲取部;53、61、71:控制部;54、72:存儲部;55:顯示部;100:位置序列索引;200:圖像序號索引;300:時間序列索引;531:圖像處理部;532:位置信息獲取部;533:索引制作部;534:圖像確定部;535、611:判定部;535a:確定部;536:候選圖像抽出部;537:特征點設定部;538:顯示控制部;541:圖像數(shù)據(jù)存儲部;542:索引存儲部;543:特征點存儲部;544:設定條件存儲部;545:程序存儲部;611a:相似度判定部;711:通過時間計算部;712:臟器功能判定部;721:統(tǒng)計值存儲部。