圖像處理裝置和內(nèi)窺鏡裝置制造方法
【專(zhuān)利摘要】本發(fā)明配備有：采集裝置、色彩空間轉(zhuǎn)換裝置、病變像素確定裝置、疊加處理裝置以及疊加圖像顯示裝置，其中，所述采集裝置用于采集內(nèi)窺鏡彩色圖像數(shù)據(jù)；所述色彩空間轉(zhuǎn)換裝置用于將內(nèi)窺鏡彩色圖像數(shù)據(jù)的色彩空間轉(zhuǎn)換至基于色調(diào)、飽和度和強(qiáng)度的HSI色彩空間，或基于色調(diào)、飽和度和亮度的HSV色彩空間；所述病變像素確定裝置對(duì)于每個(gè)組成內(nèi)窺鏡彩色圖像的像素，基于其色調(diào)和飽和度而確定每個(gè)像素是否處于病變區(qū)域；所述疊加處理裝置用于執(zhí)行疊加處理，所述疊加處理用于調(diào)整由病變像素確定裝置確定為處于病變區(qū)域中的像素的像素的顏色；所述疊加圖像顯示裝置用于顯示使內(nèi)窺鏡彩色圖像經(jīng)過(guò)疊加過(guò)程而得到的疊加圖像。
【專(zhuān)利說(shuō)明】圖像處理裝置和內(nèi)窺鏡裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于內(nèi)窺鏡診斷的圖像處理裝置和設(shè)置有圖像處理裝置的醫(yī)用內(nèi)窺鏡裝置，更具體地，涉及一種基于彩色內(nèi)窺鏡圖像的彩色信息而具有獲得并顯示病變部分信息的功能的裝置。

【背景技術(shù)】
[0002]一般而言，病變部分會(huì)與正常的粘膜組織顯示出不同的顏色。由于彩色內(nèi)窺鏡裝置性能的提升，已經(jīng)可以識(shí)別顏色輕微不同于正常組織顏色的病變部分。然而，為了基于內(nèi)窺鏡圖像上顏色的輕微差別而能夠精確地從正常組織中識(shí)別出病變部分，醫(yī)生需要在專(zhuān)業(yè)人員的指導(dǎo)下進(jìn)行長(zhǎng)期的訓(xùn)練。并且，即使對(duì)于經(jīng)過(guò)訓(xùn)練的醫(yī)生，也不能輕易地基于顏色上的輕微差別而識(shí)別出病變部分，所以需要細(xì)致認(rèn)真地工作。因此，提出了這樣的電子內(nèi)窺鏡裝置:對(duì)于使用白光得到的內(nèi)窺鏡圖像數(shù)據(jù)，能夠執(zhí)行用于突出顏色上差別的色彩轉(zhuǎn)換處理，從而輕易地識(shí)別出病變部分，例如，日本專(zhuān)利臨時(shí)出版物第2009-106424A號(hào)(在下文中稱(chēng)作專(zhuān)利文件I)。


【發(fā)明內(nèi)容】

[0003]可以說(shuō)專(zhuān)利文獻(xiàn)I中描述的電子內(nèi)窺鏡產(chǎn)生的圖像在與正常內(nèi)窺鏡圖像的比較中，很容易識(shí)別出病變部分等。然而，在正常黏膜和病變部分等的邊界上的顏色改變是連續(xù)的，并且依據(jù)疾病的類(lèi)型，正常粘膜和病變部分的顏色差別變得非常小。因此，即使在使用專(zhuān)利文獻(xiàn)I描述的電子內(nèi)窺鏡裝置時(shí)，也無(wú)法解決難以識(shí)別病變部分等的問(wèn)題。此外，即使在使用專(zhuān)利文獻(xiàn)I描述的電子內(nèi)窺鏡裝置時(shí)，是否為病變部分的判斷最終也交付于醫(yī)生基于色彩感知的主觀(guān)判斷，而色彩感知是一種模棱兩可的感覺(jué)，所以無(wú)法得到具有客觀(guān)性和再現(xiàn)性(這不取決于醫(yī)生的技能)的診斷結(jié)果。
[0004]根據(jù)本發(fā)明的實(shí)施方案，提供了一種圖像處理裝置，其包括獲取裝置、色彩空間(色空間)轉(zhuǎn)換裝置、病變像素判斷裝置、疊加處理裝置以及疊加圖像顯示裝置，其中，所述獲取裝置獲得彩色內(nèi)窺鏡圖像數(shù)據(jù)；所述色彩空間轉(zhuǎn)換裝置將彩色內(nèi)窺鏡圖像數(shù)據(jù)的色彩空間轉(zhuǎn)換至基于色調(diào)(色相)、飽和度(彩度)和強(qiáng)度(輝度)的HSI色彩空間，或基于色調(diào)、飽和度和明度的HSV色彩空間；所述病變像素判斷裝置對(duì)于組成彩色內(nèi)窺鏡圖像的每個(gè)像素，基于色調(diào)和飽和度而判斷每個(gè)像素是否為病變部分；所述疊加處理裝置執(zhí)行改變由病變像素判斷裝置判斷為病變部分的像素的顏色；所述疊加圖像顯示裝置顯示使彩色內(nèi)窺鏡圖像經(jīng)過(guò)疊加過(guò)程而得到的疊加圖像。
[0005]利用該配置，由于是在病變部分和正常部分之間出現(xiàn)明顯差異的HSV色彩空間中對(duì)病變部分做出的判斷，所以可以對(duì)病變部分和正常部分做出準(zhǔn)確的判斷。另外，通過(guò)顯示病變部分的像素顏色改變的疊加圖像，可以使醫(yī)生更清晰地識(shí)別病變部分，進(jìn)而可以進(jìn)行具有尚準(zhǔn)確性和再現(xiàn)性的診斷。
[0006]對(duì)于多種病變類(lèi)型中的每一種，病變像素判斷裝置可以判斷每個(gè)像素是否為病變部分的像素，并且疊加圖像顯示裝置可以依據(jù)病變類(lèi)型而改變病變部分像素的顏色。
[0007]利用該配置，可以對(duì)附帶有多種病變類(lèi)型中的表現(xiàn)的疾病(例如炎癥性腸病)進(jìn)行更適當(dāng)?shù)脑\斷。
[0008]在上述的圖像處理裝置中，疊加處理裝置可以將對(duì)應(yīng)于病變類(lèi)型的預(yù)定的值加在判斷為病變部分的像素的像素值上。
[0009]利用該配置，根據(jù)其顏色而顯示不同類(lèi)型的病變部分，可以直觀(guān)并準(zhǔn)確地識(shí)別疾病狀態(tài)的更詳細(xì)的信息。
[0010]在上述圖像處理裝置中，疊加圖像顯示裝置可以同時(shí)顯示彩色內(nèi)窺鏡圖像和疊加圖像。
[0011]利用該配置，很容易對(duì)拍攝在彩色內(nèi)窺鏡圖像上的病變部分進(jìn)行識(shí)別。
[0012]在上述圖像處理裝置中，圖像處理裝置可以進(jìn)一步包括有效像素判斷裝置和病變像素判斷裝置，其中，所述有效像素判斷裝置對(duì)于組成彩色內(nèi)窺鏡圖像的每個(gè)像素，通過(guò)判斷像素值是否在預(yù)定的范圍內(nèi)而判斷每個(gè)像素是否是有效的；所述病變像素判斷裝置對(duì)于由有效像素判斷裝置判斷為有效的像素，可以判斷每個(gè)像素是否為病變部分的像素。
[0013]利用該配置，通過(guò)從判斷目標(biāo)中排除無(wú)效像素(例如，具有低精確度的像素值的像素，比如極高的像素值或極低的像素值)，可以對(duì)病變部分進(jìn)行更準(zhǔn)確的識(shí)別。
[0014]在上述圖像處理裝置中，圖像處理裝置可以進(jìn)一步包括色調(diào)增強(qiáng)裝置，其將非線(xiàn)性增益應(yīng)用至像素值而執(zhí)行色調(diào)增強(qiáng)過(guò)程，從而對(duì)于判斷為病變部分的像素，擴(kuò)大接近像素值的邊界區(qū)域的動(dòng)態(tài)范圍，并且病變像素判斷裝置可以在色調(diào)增強(qiáng)過(guò)程后基于像素值而做出判斷。
[0015]利用該配置，擴(kuò)大了在病變部分接近判斷的邊界(閾值)的動(dòng)態(tài)范圍，可以對(duì)病變部分進(jìn)行更精確的判斷。
[0016]在上述圖像處理裝置中，在RGB色彩空間中經(jīng)過(guò)色調(diào)增強(qiáng)過(guò)程后，彩色內(nèi)窺鏡圖像數(shù)據(jù)可以轉(zhuǎn)換至HSI色彩空間或HSV色彩空間。
[0017]在上述圖像處理裝置中，色調(diào)增強(qiáng)裝置可以在將不同的增益曲線(xiàn)分別應(yīng)用至原色R、G和B的強(qiáng)度值時(shí)執(zhí)行色調(diào)增強(qiáng)過(guò)程。
[0018]利用該配置，可以通過(guò)具有高自由度的色調(diào)增強(qiáng)過(guò)程而對(duì)病變部分進(jìn)行更準(zhǔn)確的判斷。
[0019]在上述圖像處理裝置中，病變可以包括炎癥性腸病中的發(fā)炎和潰瘍。
[0020]根據(jù)本發(fā)明的實(shí)施方案的配置，提供了一種內(nèi)窺鏡裝置，其包括上述的圖像處理裝置和內(nèi)窺鏡，所述內(nèi)窺鏡生成彩色內(nèi)窺鏡圖像數(shù)據(jù)并將所述彩色內(nèi)窺鏡圖像數(shù)據(jù)輸出至圖像處理裝置。
[0021]如上所述，根據(jù)本發(fā)明的實(shí)施方案，可以在病變部分和正常部分之間進(jìn)行準(zhǔn)確的識(shí)別。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0022]圖1為顯示了根據(jù)本發(fā)明的實(shí)施方案的電子內(nèi)窺鏡裝置的常規(guī)配置的方框圖。
[0023]圖2為顯示了根據(jù)本發(fā)明的實(shí)施方案的圖像處理單元的常規(guī)配置的方框圖。
[0024]圖3為顯示了圖像存儲(chǔ)器224的存儲(chǔ)區(qū)域的常規(guī)配置的示意圖。
[0025]圖4為顯示了存儲(chǔ)器226的存儲(chǔ)區(qū)域的常規(guī)配置的示意圖。
[0026]圖5為顯示了通過(guò)圖像處理單元執(zhí)行過(guò)程的順序的流程圖。
[0027]圖6為用于TE過(guò)程的增益曲線(xiàn)的示例。
[0028]圖7為顯示了有效像素判斷過(guò)程的順序的流程圖。
[0029]圖8為顯示了病變判斷過(guò)程的順序的流程圖。
[0030]圖9為繪制于HS坐標(biāo)中的活組織圖像的像素值的散布圖。
[0031]圖10為顯示了疊加過(guò)程的順序的流程圖。
[0032]圖11為畫(huà)面顯示過(guò)程產(chǎn)生的顯示畫(huà)面的示例。

【具體實(shí)施方式】
[0033]在下文中，將參考附圖對(duì)本發(fā)明的實(shí)施方案進(jìn)行詳細(xì)的解釋。
[0034]圖1為顯示了根據(jù)本發(fā)明的實(shí)施方案的電子內(nèi)窺鏡裝置I的常規(guī)配置的方框圖。如圖1所示，根據(jù)實(shí)施方案的電子內(nèi)窺鏡裝置I包括電子鏡(電子只3 —7°) 100、用于電子內(nèi)窺鏡的處理器200、監(jiān)視器300以及打印機(jī)400。
[0035]用于電子內(nèi)窺鏡的處理器200包括系統(tǒng)控制器202和時(shí)間控制器206。系統(tǒng)控制器202執(zhí)行存儲(chǔ)在存儲(chǔ)器204中的各個(gè)程序，并且完全控制整個(gè)電子內(nèi)窺鏡裝置I。另外，系統(tǒng)控制器202根據(jù)使用者(醫(yī)生或輔助人員)輸入至操作面板208的命令而改變電子內(nèi)窺鏡裝置I的各個(gè)設(shè)定。時(shí)間控制器206將用于調(diào)整每個(gè)部分的操作時(shí)間的時(shí)鐘脈沖輸出至電子內(nèi)窺鏡裝置I中的各個(gè)電路。
[0036]另外，用于電子內(nèi)窺鏡的處理器200包括光源230，其將為白色光束的照明光供應(yīng)至電子鏡100的LCB(光導(dǎo)束(Light Carrying Bundle)) 102。光源230包括燈232、燈電源234、聚光透鏡236以及調(diào)光器控制裝置240。燈232為高亮度燈，其在由燈電源供應(yīng)器234供應(yīng)驅(qū)動(dòng)電力時(shí)發(fā)出照明光，并且使用例如氙燈、金屬鹵素?zé)?、汞燈或鹵素?zé)簟?32發(fā)出的照明光線(xiàn)通過(guò)聚光透鏡236而匯聚，經(jīng)由調(diào)光器控制裝置240而被引導(dǎo)至LCB102。
[0037]調(diào)光器控制裝置240是基于系統(tǒng)控制器202的控制，對(duì)引導(dǎo)至LCB102的照明光線(xiàn)的光量進(jìn)行調(diào)節(jié)的裝置，其包括孔徑光柵(絞*9 ) 242、電機(jī)243以及驅(qū)動(dòng)器244。驅(qū)動(dòng)器244產(chǎn)生用于驅(qū)動(dòng)電機(jī)243的驅(qū)動(dòng)電流，并將驅(qū)動(dòng)電流供應(yīng)至電機(jī)243。孔徑光柵242由電機(jī)243驅(qū)動(dòng)，并且改變照明光線(xiàn)行進(jìn)通過(guò)的孔徑，進(jìn)而控制經(jīng)過(guò)孔徑的照明光線(xiàn)的光量。
[0038]被引導(dǎo)至LCB102照明光線(xiàn)從入口面?zhèn)鞑ネㄟ^(guò)LCB102的內(nèi)部，從設(shè)置于電子鏡100的尖端部分的LCB102的出口面射出，并且經(jīng)由配光透鏡104而照亮對(duì)象。從對(duì)象反射的光經(jīng)由物鏡106而在固態(tài)攝像裝置108的光接收表面上形成光學(xué)圖像。
[0039]固態(tài)攝像裝置108為例如具有各種濾光片(例如IR(紅外)截止濾光片108a和拜耳陣列彩色濾光片108b)的單片彩色CCD (電荷耦合裝置)圖像傳感器，所述濾光片設(shè)置于所述固態(tài)攝像裝置108的光接收表面上，并且產(chǎn)生響應(yīng)于匯聚在光接收表面上的光學(xué)圖像的每個(gè)三原色的圖像捕捉信號(hào)。產(chǎn)生的圖像捕捉信號(hào)通過(guò)設(shè)置在電子鏡100的連接部分的驅(qū)動(dòng)器信號(hào)處理電路112而放大，隨后轉(zhuǎn)換至由亮度信號(hào)Y以及色差信號(hào)Cb和Cr組成的圖像信號(hào)。轉(zhuǎn)換至亮度信號(hào)Y和色差信號(hào)Cb和Cr的圖像信號(hào)進(jìn)一步轉(zhuǎn)換至數(shù)字信號(hào)，隨后傳輸至用于電子內(nèi)窺鏡的處理器200的圖像處理單元220。另外，驅(qū)動(dòng)器信號(hào)處理電路112通過(guò)訪(fǎng)問(wèn)存儲(chǔ)器114而讀出對(duì)于電子鏡100獨(dú)特的獨(dú)特信息。記錄在存儲(chǔ)器114上的電子鏡100的獨(dú)特信息包括例如固態(tài)攝像裝置108的像素?cái)?shù)和敏感度、可操作的幀速度等。驅(qū)動(dòng)器信號(hào)處理電路112將從存儲(chǔ)器114讀取的獨(dú)特信息輸出至系統(tǒng)控制器202。
[0040]系統(tǒng)控制器202基于電子鏡100的獨(dú)特信息而執(zhí)行各種計(jì)算，并產(chǎn)生控制信號(hào)。利用產(chǎn)生的控制信號(hào)，系統(tǒng)控制器202在用于電子內(nèi)窺鏡的處理器200中控制各個(gè)電路的操作和時(shí)間，從而執(zhí)行適用于電子鏡100的過(guò)程，所述電子鏡100連接至用于電子內(nèi)窺鏡的處理器200。
[0041]時(shí)間控制器206根據(jù)系統(tǒng)控制器202的時(shí)間控制，將時(shí)鐘脈沖供應(yīng)至驅(qū)動(dòng)器信號(hào)處理電路112和圖像處理單元220。驅(qū)動(dòng)器信號(hào)處理電路112在時(shí)間與視頻的幀速度同步時(shí)，根據(jù)從時(shí)間控制器206供應(yīng)的時(shí)鐘脈沖而驅(qū)動(dòng)和控制固態(tài)攝像裝置108，所述視頻是由用于電子內(nèi)窺鏡側(cè)的處理器200處理的。
[0042]在系統(tǒng)控制器202的控制下，用于電子內(nèi)窺鏡的處理器200的圖像處理單元220產(chǎn)生用于監(jiān)視器的視頻信號(hào)，并且將視頻信號(hào)輸出至監(jiān)視器300，所述監(jiān)視器基于從電子鏡100的驅(qū)動(dòng)器信號(hào)處理電路112傳輸來(lái)的圖像信號(hào)而顯示內(nèi)窺鏡圖像等。當(dāng)檢查到內(nèi)窺鏡圖像顯示在監(jiān)視器300上時(shí)，醫(yī)生對(duì)例如消化道的內(nèi)部進(jìn)行觀(guān)察或治療。
[0043]用于電子內(nèi)窺鏡的處理器200經(jīng)由NIC(網(wǎng)絡(luò)接口卡)210和網(wǎng)絡(luò)500而連接至服務(wù)器600。用于電子內(nèi)窺鏡的處理器200從服務(wù)器600獲得關(guān)于內(nèi)窺鏡檢查的信息(例如，病人的電子病歷或醫(yī)生的信息)，并且將信息顯示在監(jiān)視器300或操作面板208上。另外，用于電子內(nèi)窺鏡的處理器200將內(nèi)窺鏡檢查結(jié)果(內(nèi)窺鏡圖像數(shù)據(jù)、檢查條件、下文將描述的圖像分析結(jié)果、醫(yī)生的意見(jiàn)等)傳輸至服務(wù)器600，以使服務(wù)器600存儲(chǔ)內(nèi)窺鏡檢查結(jié)果。
[0044]另外，電子鏡裝置I包括記錄多個(gè)與捕捉部分(即，在圖像捕捉時(shí)，電子鏡100的尖端部分的位置(插入長(zhǎng)度))的信息相關(guān)的內(nèi)窺鏡圖像的靜止圖像的功能。在電子鏡100的插入單元130的外圓周表面上，多個(gè)光學(xué)傳感器132以恒定的間隔(例如，間隔5厘米)設(shè)置在長(zhǎng)度方向上。光學(xué)傳感器132為光接收裝置(例如光電二極管)，并檢測(cè)外部光線(xiàn)(在進(jìn)行內(nèi)窺鏡檢查的房間中的室內(nèi)光線(xiàn))。設(shè)置在插入單元130的插入消化道的部分上的光學(xué)傳感器130不對(duì)外部光線(xiàn)進(jìn)行檢測(cè)，設(shè)置在插入單元130的不插入消化道的部分上的光學(xué)傳感器132對(duì)外部光線(xiàn)進(jìn)行檢測(cè)。所以，通過(guò)判斷不檢測(cè)光線(xiàn)的光學(xué)傳感器的長(zhǎng)度分布為插入消化道內(nèi)部的插入單元130的長(zhǎng)度，可以得到關(guān)于電子鏡100的尖端部分位置的信息(插入長(zhǎng)度)。光學(xué)傳感器132連接至驅(qū)動(dòng)器信號(hào)處理電路112，并且將表明檢測(cè)的光的量的傳感器信號(hào)傳輸至驅(qū)動(dòng)器信號(hào)處理電路112。驅(qū)動(dòng)器信號(hào)處理電路112基于來(lái)自光學(xué)傳感器132的傳感器信號(hào)而計(jì)算電子鏡100的尖端部分的位置Pos (插入長(zhǎng)度)。
[0045]當(dāng)對(duì)于電子鏡100的操作單元120實(shí)施用于指示獲得靜止圖像的操作時(shí)，將操作信號(hào)從操作單元120傳輸至驅(qū)動(dòng)器信號(hào)處理電路112。當(dāng)系統(tǒng)控制器202從操作單元120獲得用于獲取靜止圖像的操作信號(hào)時(shí)，系統(tǒng)控制器202將用于獲取靜止圖像的指令與電子鏡100的尖端部分的當(dāng)前位置信息(插入長(zhǎng)度)Pos —起傳輸至圖像處理單元202。結(jié)果，在圖像處理單元220中，對(duì)內(nèi)窺鏡觀(guān)察圖像的靜止圖像進(jìn)行記錄，而所述內(nèi)窺鏡觀(guān)察圖像與圖像捕捉時(shí)電子鏡100的位置信息Pos有關(guān)。隨后將對(duì)圖像處理單元220記錄靜止圖像的過(guò)程進(jìn)行詳細(xì)描述。
[0046]圖2為顯示了圖像處理單元220的常規(guī)配置的方框圖。圖像處理單元220包括第一圖像處理電路222、圖像存儲(chǔ)器224、存儲(chǔ)器226以及第二圖像處理電路228。第一圖像處理電路222對(duì)來(lái)自驅(qū)動(dòng)器信號(hào)處理電路112的圖像信號(hào)執(zhí)行各個(gè)類(lèi)型的圖像處理，并將信號(hào)輸出至圖像存儲(chǔ)器224。
[0047]如圖2所示，第一圖像處理電路222包括RGB轉(zhuǎn)換單元222a、TE處理單元222b、有效像素判斷單元222c、色彩空間轉(zhuǎn)換單元222d、病變判斷單元(閾值處理單元)222e以及疊加處理單元222f。另外，第二圖像處理電路228包括顯示畫(huà)面生成單元228a。隨后將對(duì)第一圖像處理電路222和第二圖像處理電路228的每個(gè)單元執(zhí)行的具體過(guò)程進(jìn)行解釋。
[0048]圖3顯示了設(shè)置在圖像存儲(chǔ)器224中的存儲(chǔ)區(qū)域的常規(guī)配置。在根據(jù)實(shí)施方案的圖像存儲(chǔ)器224中，設(shè)置了七組存儲(chǔ)器Pk(k = O至6)。每個(gè)存儲(chǔ)區(qū)域組Pk包括:正常圖像存儲(chǔ)區(qū)域KnR, KnG, KnB (k = O至6)、色調(diào)增強(qiáng)圖像存儲(chǔ)區(qū)域KeR, KeG, KeB (k = O至6)以及疊加圖像存儲(chǔ)區(qū)域KsR、KsG、KsB(k = O至6)，其中，所述正常圖像存儲(chǔ)區(qū)域KnR、KnG、KnB(k = O至6)分別存儲(chǔ)正常觀(guān)察圖像數(shù)據(jù)N的三原色信號(hào)R、G、B ;所述色調(diào)增強(qiáng)圖像存儲(chǔ)區(qū)域KeR、KeG, KeB (k = O至6)分別存儲(chǔ)TE過(guò)程S3產(chǎn)生的色調(diào)增強(qiáng)的圖像數(shù)據(jù)E的原色信號(hào)R’、G’、B’，隨后將對(duì)TE過(guò)程S3進(jìn)行描述；所述疊加圖像存儲(chǔ)區(qū)域KsR、KsG, KsB (k=O至6)分別存儲(chǔ)疊加過(guò)程S7產(chǎn)生的疊加圖像數(shù)據(jù)S的三原色R”、G”、B”，隨后將對(duì)疊加過(guò)程S7進(jìn)行描述。也就是說(shuō)，圖像存儲(chǔ)器224最多可以存儲(chǔ)七組正常觀(guān)察圖像數(shù)據(jù)N、色調(diào)增強(qiáng)的圖像數(shù)據(jù)E和疊加圖像數(shù)據(jù)S。圖像存儲(chǔ)器224配置為根據(jù)系統(tǒng)控制器202的控制，在存儲(chǔ)區(qū)域組PO至P6中的一個(gè)中存儲(chǔ)第一圖像處理電路222輸出的圖像數(shù)據(jù)(正常觀(guān)察圖像數(shù)據(jù)N、色調(diào)增強(qiáng)的圖像數(shù)據(jù)E或疊加圖像數(shù)據(jù)S)。應(yīng)該注意的是存儲(chǔ)區(qū)域PO被從第一圖像處理電路222順序輸出的圖像數(shù)據(jù)重寫(xiě)，從而使組成實(shí)時(shí)視頻圖像的圖像數(shù)據(jù)在其上保留。另一方面，只有當(dāng)指令從系統(tǒng)控制器202輸入時(shí)，從第一圖像處理電路222輸出至存儲(chǔ)器Pl至P6的圖像數(shù)據(jù)才被寫(xiě)入。即，圖像存儲(chǔ)器224最多可以記錄六個(gè)靜止圖像。
[0049]圖4顯示了設(shè)置在存儲(chǔ)器226中的存儲(chǔ)區(qū)域的常規(guī)配置。存儲(chǔ)器226包括RGB矩陣存儲(chǔ)區(qū)域226a、標(biāo)識(shí)存儲(chǔ)區(qū)域226b、以及設(shè)定信息存儲(chǔ)區(qū)域226c。在RGB矩陣存儲(chǔ)區(qū)域226a中，存儲(chǔ)用于RGB轉(zhuǎn)換過(guò)程SI中的RGB轉(zhuǎn)換矩陣系數(shù)M，隨后將對(duì)RGB轉(zhuǎn)換過(guò)程SI進(jìn)行描述。在標(biāo)識(shí)存儲(chǔ)區(qū)域226b內(nèi)，存儲(chǔ)用于第一圖像處理電路222中的過(guò)程的標(biāo)識(shí)表F。標(biāo)識(shí)表F為由標(biāo)識(shí)f(x，y)組成的數(shù)值表，標(biāo)識(shí)f(x，y)表示關(guān)于組成圖像數(shù)據(jù)的每個(gè)像素(x，y)的分析結(jié)果。在設(shè)定信息存儲(chǔ)區(qū)域226c中，存儲(chǔ)用于圖像處理單元220的過(guò)程中的各個(gè)類(lèi)型的設(shè)定。
[0050]存儲(chǔ)器區(qū)域組Pk與電子鏡100的尖端部分的位置信息(插入長(zhǎng)度)Pos有關(guān)。特別地，存儲(chǔ)區(qū)域組Pl對(duì)應(yīng)于在檢查區(qū)域中最深部分(例如，接近橫結(jié)腸的結(jié)腸右曲的部分)的插入長(zhǎng)度Pos的范圍，并且插入長(zhǎng)度Pos隨著k值的增加而變短。存儲(chǔ)區(qū)域組P6對(duì)應(yīng)于插入長(zhǎng)度Pos的范圍，所述插入長(zhǎng)度Pos對(duì)應(yīng)于直腸周?chē)膮^(qū)域。也就是說(shuō)，在從檢查區(qū)域的最深部分牽引電子鏡100的插入單元130而得到靜止圖像時(shí)，將靜止圖像記錄在k = I至6的存儲(chǔ)區(qū)域內(nèi)。從而得到靜止圖像。將定義了位置信息Pos和存儲(chǔ)區(qū)域組Pk(k= I至6)之間的對(duì)應(yīng)關(guān)系的設(shè)定信息記錄在設(shè)定信息存儲(chǔ)區(qū)域226c中。記錄了圖像數(shù)據(jù)的存儲(chǔ)區(qū)域組Pk依據(jù)圖像數(shù)據(jù)的位置信息Pos (在圖像捕捉時(shí)電子鏡100的尖端部分的位置)而被確定。
[0051]第二圖像處理電路228利用存儲(chǔ)在圖像存儲(chǔ)器224中的圖像信號(hào)而產(chǎn)生用于監(jiān)視器顯示的視頻信號(hào)，并且將視頻信號(hào)輸出至監(jiān)視器300。
[0052]接下來(lái)，將詳細(xì)解釋圖像處理單元220執(zhí)行的過(guò)程。圖5為顯示了圖像處理單元220執(zhí)行的過(guò)程的順序的流程圖。當(dāng)圖像處理單元220的過(guò)程開(kāi)始時(shí)，由第一圖像處理電路222的RGB轉(zhuǎn)換電路222a執(zhí)行第一 RGB轉(zhuǎn)換過(guò)程SI。在RGB轉(zhuǎn)換過(guò)程SI中，RGB轉(zhuǎn)換單元222a分別放大從驅(qū)動(dòng)器信號(hào)處理電路112傳輸來(lái)的照明信號(hào)Y以及色差信號(hào)Cb和Cr，并隨后將信號(hào)轉(zhuǎn)換為三原色信號(hào)R、G、B。使用存儲(chǔ)在RGB矩陣存儲(chǔ)區(qū)域226a中的RGB轉(zhuǎn)換矩陣系數(shù)M執(zhí)行RGB轉(zhuǎn)換過(guò)程SI。根據(jù)用于圖像捕捉的照明光線(xiàn)的光譜特性而提前設(shè)定RGB轉(zhuǎn)換矩陣系數(shù)M，并且同時(shí)進(jìn)行對(duì)照明光線(xiàn)的光譜特性的修正與信號(hào)格式從Y、Cr、Cb信號(hào)至R、G、B信號(hào)的轉(zhuǎn)換。另外，當(dāng)RGB轉(zhuǎn)換過(guò)程SI結(jié)束時(shí)，將產(chǎn)生的正常觀(guān)察圖像數(shù)據(jù)N的三原色信號(hào)R、G、B輸出至圖像存儲(chǔ)器224，并且分別存儲(chǔ)在正常圖像存儲(chǔ)區(qū)域0nR、0nG、OnB 中。
[0053]接下來(lái)，確定模式是否設(shè)定為圖像分析模式(S2)。根據(jù)本發(fā)明的實(shí)施方案的圖像分析模式為這樣的操作模式:分析用于圖像數(shù)據(jù)的每個(gè)像素的色彩信息(特別是色調(diào)和飽和度)，從色彩信息的分析結(jié)果，基于預(yù)定的判定準(zhǔn)則而判斷是否為病變部分的像素，并且以差別方式顯示病變部分的像素。待判斷的病變的類(lèi)型可以依據(jù)檢查內(nèi)容而選擇。在下述解釋的示例中，提取出在色彩區(qū)域(色域)中分別針對(duì)于潰瘍(包括白色苔蘚(白苔)或粘液的白色病變)和發(fā)炎(包括水腫或出血的紅色病變)的觀(guān)察圖像的像素，所述潰瘍?yōu)檠装Y性腸病(IBD)的病變，并以差別方式顯示所述像素。
[0054]根據(jù)實(shí)施方案的電子內(nèi)窺鏡裝置I配置為在兩種操作模式下工作，所述兩種操作模式包括圖像分析模式和正常觀(guān)察模式。通過(guò)使用者對(duì)電子鏡100的操作單元120或?qū)τ糜陔娮觾?nèi)窺鏡的處理器200的操作面板208的操作而改變操作模式。當(dāng)操作模式被設(shè)定為正常觀(guān)察模式時(shí)(S2:否)，流程前進(jìn)至S9。
[0055]當(dāng)選擇圖像分析模式時(shí)(S2:是)，隨后通過(guò)色調(diào)增強(qiáng)(TE)處理單元222b而執(zhí)行TE過(guò)程S3。TE過(guò)程S3是這樣的過(guò)程:為了提升病變判斷的準(zhǔn)確性，執(zhí)行用于為每個(gè)原色信號(hào)R、G、B提供非線(xiàn)性增益的增益調(diào)整，針對(duì)于待判斷的病變的色彩區(qū)域周?chē)膭?dòng)態(tài)區(qū)域(特別是邊界區(qū)域)大幅擴(kuò)大，并且提升了用于色彩表示的有效分辨率。特別地，在TE過(guò)程S3中，執(zhí)行將如圖6所示的單調(diào)增加非線(xiàn)性增益提供給原色信號(hào)R、G、B中的每一個(gè)，從而得到原色信號(hào)R’、G’、B’(色調(diào)增強(qiáng)的圖像數(shù)據(jù)E)的過(guò)程。例如，當(dāng)邊界區(qū)域^表示針對(duì)于R空間潰瘍的彩色區(qū)域邊界的映射，邊界區(qū)域Rb表示針對(duì)于R空間發(fā)炎的彩色區(qū)域邊界的映射時(shí)，增益曲線(xiàn)的斜率在邊界區(qū)域RdP Rb的周?chē)兊米疃?。通過(guò)根據(jù)這樣的增益曲線(xiàn)設(shè)置增益，可以大幅增加邊界區(qū)域RdP R 圍的原色信號(hào)R’ (通過(guò)使原信號(hào)R處于TE過(guò)程S3中而得到此信號(hào))的動(dòng)態(tài)范圍，進(jìn)而可以更加精確地進(jìn)行閾值判斷。
[0056]這里，對(duì)于原色信號(hào)R、G、B將分別進(jìn)行不同的增益調(diào)整。并且，可以執(zhí)行給原色信號(hào)G、B提供相同的非線(xiàn)性增益并且給原色信號(hào)R提供不同的非線(xiàn)性增益的過(guò)程。另外，將TE過(guò)程S3生成的三原色信號(hào)R’、G’、B’(色調(diào)增強(qiáng)的圖像數(shù)據(jù)E)輸出至圖像存儲(chǔ)器224，并且分別存儲(chǔ)在色調(diào)增強(qiáng)圖像存儲(chǔ)區(qū)域0eR、0eG、0eB中。
[0057]通過(guò)TE過(guò)程S3，發(fā)炎部分改變?yōu)榧t色，潰瘍部分改變?yōu)榘咨⑶艺２糠指淖優(yōu)榫G色。所以，當(dāng)由TE過(guò)程S3生成的色調(diào)增強(qiáng)的圖像數(shù)據(jù)E顯示在監(jiān)視器300上時(shí)，相對(duì)于正常觀(guān)察圖像數(shù)據(jù)N，可以輕易通過(guò)視覺(jué)識(shí)別出病變部分(發(fā)炎部分或潰瘍部分)。
[0058]當(dāng)TE過(guò)程S3完成時(shí)，接下來(lái)通過(guò)有效像素判斷單元222c而對(duì)于色調(diào)增強(qiáng)的圖像數(shù)據(jù)E執(zhí)行有效像素判斷過(guò)程S4。圖7為顯示了有效像素判斷過(guò)程S4的順序的流程圖。對(duì)于所有的組成圖像數(shù)據(jù)的像素(x，y)順序執(zhí)行顯示在圖7中的有效像素判斷過(guò)程S4。在有效像素判斷過(guò)程S4中，對(duì)于每個(gè)像素(1，7)，根據(jù)下述公式1，由原色信號(hào)1?’(x，y)、G’(x，y)、B，(x，y)計(jì)算第一修正強(qiáng)度 int (x，y) (S41)。
[0059](表達(dá)式I)
[0060]int (x, y) = 0.3*R，(x, y)+0.59*G，(x, y)+0.11*B，(x, y)
[0061]計(jì)算出的修正強(qiáng)度int(x，y)的值用于適當(dāng)曝光判斷S42。另外，可以從表達(dá)式I中看出，不是以簡(jiǎn)單的原色信號(hào)R’(X，y)、G’(X，y)、B’(x，y)的平均值而獲得修正強(qiáng)度int (x，y)，而是以基于個(gè)人(醫(yī)生)的相對(duì)照明效率性能的加權(quán)平均值而獲得修正強(qiáng)度
int (X，y) ο
[0062]隨后，基于在過(guò)程S41中計(jì)算出的修正強(qiáng)度int (x，y)和色調(diào)增強(qiáng)的圖像數(shù)據(jù)E的原色信號(hào)R’(X，y)、G’(X，y)、B’(x，y)而判斷曝光的適用性(是否為圖像分析要求的曝光等級(jí))(S42)。在適當(dāng)曝光判斷過(guò)程S42中，當(dāng)滿(mǎn)足以下兩個(gè)條件(表達(dá)式2和表達(dá)式3)中的至少一個(gè)時(shí)，判斷為適當(dāng)曝光(S42:是)。應(yīng)該注意的是，修正強(qiáng)度int(x，y)的上限是通過(guò)表達(dá)式2而定義的，原色信號(hào)R’(x，y)、G’(x，y)、B’ (x, y)中的每一個(gè)的下限是通過(guò)表達(dá)式3而定義的。
[0063](表達(dá)式2)
[0064]int (X，y) <235
[0065](表達(dá)式3)
[0066]Max {R，(x，y)，G，(x，y)，B，(x, y)} >20
[0067]對(duì)于像素(X，y)，當(dāng)滿(mǎn)足表達(dá)式(2)和(3)并且判斷為適當(dāng)曝光(S42:是)時(shí)，有效像素判斷單元222c將對(duì)應(yīng)于標(biāo)識(shí)表F的像素(X，y)的標(biāo)識(shí)f(x，y)的值改變?yōu)椤?”，所述標(biāo)識(shí)表F存儲(chǔ)在存儲(chǔ)器226的標(biāo)識(shí)存儲(chǔ)區(qū)域226b中(S43)。標(biāo)識(shí)f (x，y)在O至3中取一個(gè)值。下面對(duì)每個(gè)標(biāo)識(shí)值進(jìn)行定義。
[0068]O:無(wú)效圖像數(shù)據(jù)
[0069]1:無(wú)病變(正常)或沒(méi)有判斷病變(圖像數(shù)據(jù)有效)
[0070]2:病變A (發(fā)炎)
[0071]3:病變B (潰瘍)
[0072]當(dāng)不滿(mǎn)足表達(dá)式2和表達(dá)式3，且在適當(dāng)曝光判斷S42中判斷曝光為不適當(dāng)時(shí)(S42:否)，有效像素判斷單元222c將標(biāo)識(shí)表F的標(biāo)識(shí)f (X，y)的值改變?yōu)椤癘” (S44)。
[0073]接下來(lái)，在過(guò)程S45中，判斷是否對(duì)于所有像素(x，y)均完成此過(guò)程。重復(fù)上述過(guò)程S41至S45，直到對(duì)于所有像素(X，y)均完成此過(guò)程。
[0074]當(dāng)有效像素判斷過(guò)程S4完成時(shí)，接下來(lái)通過(guò)色彩空間轉(zhuǎn)換單元222d執(zhí)行色彩空間轉(zhuǎn)換過(guò)程S5。色彩空間轉(zhuǎn)換過(guò)程S5是這樣的過(guò)程:在RGB空間中由RGB三原色定義的色調(diào)增強(qiáng)的圖像數(shù)據(jù)被轉(zhuǎn)換為由色調(diào)、飽和度和強(qiáng)度三個(gè)元素所定義的HSI (色調(diào)-飽和度-強(qiáng)度)空間中的圖像數(shù)據(jù)。具體而言，在色彩空間轉(zhuǎn)換過(guò)程S5中，將色調(diào)增強(qiáng)的圖像數(shù)據(jù)E的每個(gè)像素(X，y)的原色信號(hào)R’(X，y)、G’(x，y)、B’(x，y)轉(zhuǎn)換為色調(diào)H(x，y)、飽和度S(x，y)、強(qiáng)度(x，y)。由于在此實(shí)施方案的下述過(guò)程中不使用強(qiáng)度I (x，y)，所以不進(jìn)行對(duì)強(qiáng)度I(x，y)的計(jì)算，只計(jì)算色調(diào)H(x，y)和飽和度S (x，y)，從而提高了處理效率。
[0075]曝光短或過(guò)度的像素的數(shù)據(jù)準(zhǔn)確性較低，會(huì)使分析結(jié)果的可靠性變差。所以，只對(duì)標(biāo)識(shí)f (x，y)的值設(shè)定為“I”的像素(x，y)(也即，在上述有效像素判斷過(guò)程S4中判斷像素(x，y)為適當(dāng)曝光)執(zhí)行色彩空間轉(zhuǎn)換過(guò)程S5。
[0076]當(dāng)完成色彩空間轉(zhuǎn)換過(guò)程S5時(shí)，隨后通過(guò)病變判斷單元222e執(zhí)行病變判斷過(guò)程S6。根據(jù)本發(fā)明實(shí)施方案的病變判斷過(guò)程S6是這樣的過(guò)程:對(duì)于內(nèi)窺鏡圖像的每個(gè)像素(x，y)，依據(jù)在下面描述的圖9中像素(x，y)繪制在的區(qū)域I至III中的哪個(gè)區(qū)域而判斷對(duì)應(yīng)于像素的部分的預(yù)測(cè)狀態(tài)(正常、發(fā)炎、潰瘍)。
[0077]圖8為顯示了病變判斷過(guò)程S6的順序的流程圖。對(duì)于所有的組成圖像數(shù)據(jù)的像素(x，y)順序執(zhí)行顯示在圖8中的病變判斷過(guò)程S6。在病變判斷過(guò)程S6中，首先參考標(biāo)識(shí)表F而判斷每個(gè)像素(X，y)的數(shù)據(jù)是否有效(S61)。當(dāng)標(biāo)識(shí)f(x，y)的值為“I”時(shí)(圖像數(shù)據(jù)有效)，隨后執(zhí)行發(fā)炎判斷過(guò)程S62。當(dāng)標(biāo)識(shí)f (X，y)的值為“O”時(shí)(圖像數(shù)據(jù)無(wú)效)，在不執(zhí)行發(fā)炎判斷過(guò)程S62的情況下，流程前進(jìn)至過(guò)程S66。
[0078]這里解釋了隨后將描述的發(fā)炎判斷過(guò)程S62和潰瘍判斷過(guò)程S64。圖9為繪制了從多個(gè)炎癥性腸炎患者的內(nèi)窺鏡圖像數(shù)據(jù)中提取的活組織圖像的圖像數(shù)據(jù)(由色調(diào)H(x，y)和飽和度S(x，y)組成的成對(duì)數(shù)據(jù))的散布圖。圖9的散布圖分為在左側(cè)由虛線(xiàn)包圍的區(qū)域II1、在右下側(cè)被點(diǎn)劃線(xiàn)包圍的區(qū)域II和其他區(qū)域的區(qū)域I。通過(guò)本發(fā)明的發(fā)明人的研宄，發(fā)現(xiàn)對(duì)于炎癥性腸病，在內(nèi)窺鏡診斷中由專(zhuān)業(yè)醫(yī)生判斷為潰瘍部分的像素的主要部分繪制在圖9的區(qū)域III中，由專(zhuān)業(yè)醫(yī)生判斷為發(fā)炎部分的像素的主要部分繪制在圖9的區(qū)域II中，由專(zhuān)業(yè)醫(yī)生判斷為正常部分的像素的主要部分繪制在區(qū)域I中。這表示可以從通過(guò)捕捉活組織而得到的內(nèi)窺鏡觀(guān)察圖像的色調(diào)(顏色的色調(diào))和飽和度(生動(dòng))這兩種信息而對(duì)活組織(潰瘍或發(fā)炎)的狀態(tài)進(jìn)行高精度的判斷。
[0079]在發(fā)炎判斷過(guò)程S62中，判斷是否每個(gè)像素值(H(x，y)、S(x，y))均繪制在圖9的區(qū)域II中。特別地，當(dāng)像素值(H(x，y)、S(x，y))滿(mǎn)足下述表達(dá)式4和表達(dá)式5時(shí)，判斷像素值繪制在區(qū)域II中(也即，發(fā)炎部分的像素)。應(yīng)當(dāng)注意的是SH1、Ssi和δ 32是醫(yī)生可以設(shè)定的修正值，并且通過(guò)設(shè)定修正值，可以適當(dāng)調(diào)整判斷的嚴(yán)重性(敏感度)。
[0080](表達(dá)式4)
[0081]130+δ J11^ H(x, y)
[0082](表達(dá)式5)
[0083]60+ δ S1 彡 S (X，y)彡 100+ δ S2
[0084]當(dāng)像素值(H(x，y)、S(x，y))繪制在區(qū)域II中時(shí)(S62:是)，對(duì)應(yīng)于像素(x，y)的標(biāo)識(shí)f(x，y)被重寫(xiě)為“2”(發(fā)炎)(S63)，并且流程前進(jìn)至過(guò)程S66。當(dāng)像素值(H(x，y)、S(x，y))沒(méi)有繪制在區(qū)域II中時(shí)(S62:否)，順序執(zhí)行潰瘍判定過(guò)程S64。
[0085]在潰瘍判斷過(guò)程S64中，判斷是否像素值(H(x，y)、S (x，y))均繪制在圖9的區(qū)域III中。特別地，當(dāng)H(x，y)和S(x，y)滿(mǎn)足表達(dá)式6或表達(dá)式7和表達(dá)式8時(shí)，判斷像素值(H(x，y)、S(x, y))繪制在區(qū)域III中(也就是說(shuō)，其為潰瘍區(qū)域的像素)。應(yīng)當(dāng)注意的是\3、\4、δΗ2和δ Η3是醫(yī)生設(shè)定的修正值，并且通過(guò)這些修正值的設(shè)定，可以適當(dāng)調(diào)整判斷的嚴(yán)重性(敏感度)。
[0086](表達(dá)式6)
[0087]S (x, y) ( 65+ δ S3
[0088](表達(dá)式7)
[0089]S (x, y) ( 85+ δ s4
[0090](表達(dá)式8)
[0091 ] 120+δ H2^ H (X，y)彡 200+ δ Η3
[0092]當(dāng)像素值(H(x，y)、S(x，y))繪制在區(qū)域III中時(shí)(S64:是)，對(duì)應(yīng)于像素(x，y)的標(biāo)識(shí)f(x，y)的值被重寫(xiě)為“3”(潰瘍)(S65)，并且流程前進(jìn)至過(guò)程S66。當(dāng)像素值(H(x，y)、S(x，y))沒(méi)有繪制在區(qū)域III中時(shí)(S64:否)，判斷像素為正常部分，流程直接前進(jìn)至過(guò)程S66而不重寫(xiě)標(biāo)識(shí)f (X，y)的值“ I ”。
[0093]在過(guò)程S66中，判斷是否對(duì)于所有像素(X，y)均完成此過(guò)程。重復(fù)上述過(guò)程S61至S66，直到對(duì)于所有像素(x，y)均完成此過(guò)程。
[0094]當(dāng)完成病變判斷過(guò)程S6時(shí)，接下來(lái)由疊加過(guò)程單元222f執(zhí)行根據(jù)本發(fā)明的實(shí)施方案的疊加過(guò)程S7。疊加過(guò)程S7是這樣的過(guò)程:對(duì)于通過(guò)病變判斷過(guò)程S6判斷為病變部分的像素(例如發(fā)炎或潰瘍)，顏色改變?yōu)榕c病變(標(biāo)識(shí)值)相關(guān)的色調(diào)，從而可以將所述病變部分的像素區(qū)別于判斷為正常的像素(沒(méi)有病變)。在此實(shí)施方案中執(zhí)行如下過(guò)程:對(duì)于判斷為潰瘍的像素增強(qiáng)紅色(具體而言，增加紅色組分)，對(duì)于判斷為發(fā)炎的像素增強(qiáng)黃色(具體而言，增強(qiáng)綠色和藍(lán)色組分)。
[0095]圖10為顯示了疊加過(guò)程S7的順序的流程圖。對(duì)于組成正常觀(guān)察圖像數(shù)據(jù)N的所有像素(x，y)順序執(zhí)行顯示在圖10中的疊加過(guò)程S7。在疊加過(guò)程S7中，首先參考標(biāo)識(shí)表F判斷對(duì)應(yīng)于每個(gè)像素(X，y)的標(biāo)識(shí)f (X，y)的值(S71，S72，S74)。當(dāng)標(biāo)識(shí)值為“O”時(shí)(圖像數(shù)據(jù)無(wú)效)(S71:是)，流程直接前進(jìn)至過(guò)程S77。當(dāng)標(biāo)識(shí)值f (x，y)為“I”時(shí)(正常)(S71:否，S72:是)，在不做改變的情況下將正常觀(guān)察圖像數(shù)據(jù)N的原色信號(hào)R(x，y)、G(x，y)、B(x，y)定義為覆蓋圖像數(shù)據(jù)S的原色信號(hào)R”(X，y)、G”(x，y)、B”(x，y) (S73)，并且流程前進(jìn)至過(guò)程S77。當(dāng)標(biāo)識(shí)f(x，y)的值為“2”時(shí)(發(fā)炎)(S71:否，S72:否，S74:是)，將通過(guò)在正常觀(guān)察圖像數(shù)據(jù)N的原色信號(hào)R(x，y)的值上加上100而得到的值定義為疊加圖像數(shù)據(jù)S的原色信號(hào)R”(X，y)，在不做改變的情況下將正常觀(guān)察圖像數(shù)據(jù)N的原色信號(hào)G(x，y)和B(x，y)定義為疊加圖像數(shù)據(jù)S的原色信號(hào)G”(x，y)和B”(x，y) (S75)，并且流程前進(jìn)至過(guò)程S77。當(dāng)標(biāo)識(shí)f(x，y)的值為“3”時(shí)(潰瘍)(S71:否，S72:否，S74:否)，將通過(guò)在正常觀(guān)察圖像數(shù)據(jù)N的原色信號(hào)G(x，y)和B(x，y)的值上加上100而得到的值定義為疊加圖像數(shù)據(jù)S的G”(x，y)和B”(x，y)的值，在不做改變的情況下將正常觀(guān)察圖像數(shù)據(jù)N的原色信號(hào)R(x，y)定義為疊加圖像數(shù)據(jù)S的原色信號(hào)R”(X，y) (S76)，并且流程前進(jìn)至過(guò)程S77。這里，盡管在此實(shí)施方案中將正常觀(guān)察圖像數(shù)據(jù)N的三原色信號(hào)R、G、B用于疊加過(guò)程S7，但是在另一個(gè)實(shí)施方案中可以使用色調(diào)增強(qiáng)的圖像數(shù)據(jù)E的原色信號(hào)R’(X，y)、G，(X，y)、B，(x，y)。
[0096]在過(guò)程S77中，判斷是否對(duì)于所有像素(X，y)均完成此過(guò)程。重復(fù)上述過(guò)程S71至S77，直到對(duì)于所有像素(x，y)均完成此過(guò)程。
[0097]當(dāng)疊加過(guò)程S7完成時(shí)，將由疊加過(guò)程S7生成的覆蓋圖像數(shù)據(jù)S輸出至圖像存儲(chǔ)器224，并且分別存儲(chǔ)在疊加圖像存儲(chǔ)區(qū)域0成、0$、0成& = O至6)中。
[0098]接下來(lái)，執(zhí)行是否發(fā)出存儲(chǔ)靜止圖像的指令的判斷S8 (圖5)。當(dāng)圖像處理單元220接收電子鏡100的尖端部分的位置信息Pos和來(lái)自驅(qū)動(dòng)器信號(hào)處理電路112的存儲(chǔ)靜止圖像的指令時(shí)(S8:是)，圖像處理單元220將存儲(chǔ)在圖像存儲(chǔ)器224的存儲(chǔ)區(qū)域組PO中的正常觀(guān)察圖像數(shù)據(jù)N、色調(diào)增強(qiáng)的圖像數(shù)據(jù)E和疊加圖像數(shù)據(jù)S的拷貝存儲(chǔ)至對(duì)應(yīng)于位置信息Pos的存儲(chǔ)區(qū)域組Pl至P6中的一個(gè)中(S9)。隨后，執(zhí)行畫(huà)面顯示過(guò)程S10。當(dāng)未從驅(qū)動(dòng)器信號(hào)處理電路112接收到用于存儲(chǔ)靜止圖像的信號(hào)時(shí)(S8:否)，在不執(zhí)行過(guò)程S9的情況下流程前進(jìn)至畫(huà)面顯示過(guò)程SlO。
[0099]隨后的畫(huà)面顯示過(guò)程SlO為這樣的過(guò)程:生成用于在監(jiān)視器300上顯示的畫(huà)面顯示數(shù)據(jù)，并且將所述畫(huà)面顯示數(shù)據(jù)轉(zhuǎn)換為視頻信號(hào)并輸出，所述過(guò)程由第二圖像處理電路228的顯示畫(huà)面生成單元228a執(zhí)行。顯示畫(huà)面生成單元228a可以根據(jù)系統(tǒng)控制器202的控制而生成多種類(lèi)型的顯示畫(huà)面數(shù)據(jù)。
[0100]圖11是由畫(huà)面顯示過(guò)程SlO生成顯示畫(huà)面的示例，并且為在圖像分析模式中在內(nèi)窺鏡觀(guān)察期間顯示的分析模式觀(guān)察畫(huà)面320。分析模式觀(guān)察畫(huà)面320包括顯示圖像捕捉的數(shù)據(jù)和時(shí)間的數(shù)據(jù)和時(shí)間顯示區(qū)域321、顯示關(guān)于診斷的基本信息(例如，病歷號(hào)、患者姓名和醫(yī)生姓名)的基本信息顯示區(qū)域322、顯示正常觀(guān)察圖像數(shù)據(jù)N(或色調(diào)增強(qiáng)的圖像數(shù)據(jù)E)的正常圖像顯示區(qū)域324以及顯示疊加圖像數(shù)據(jù)S(在疊加過(guò)程S7后的觀(guān)察圖像)的分析圖像顯示區(qū)域325。
[0101]在畫(huà)面顯示過(guò)程SlO中，顯示畫(huà)面生成單元228a從圖像存儲(chǔ)器224的存儲(chǔ)區(qū)域組PO讀取實(shí)時(shí)正常觀(guān)察圖像數(shù)據(jù)N和疊加圖像數(shù)據(jù)S，并且分別將所述數(shù)據(jù)顯示在正常圖像顯示區(qū)域324和分析圖像顯示區(qū)域325上。而且，在數(shù)據(jù)和時(shí)間顯示區(qū)域321和基本信息顯示區(qū)域322上顯示了由系統(tǒng)控制器202所提供的信息。
[0102]醫(yī)生在檢視分析模式觀(guān)察畫(huà)面320時(shí)進(jìn)行內(nèi)窺鏡觀(guān)察。具體而言，醫(yī)生在檢視顯示在正常圖像顯示區(qū)域324上的正常觀(guān)察圖像數(shù)據(jù)N(或者色調(diào)增強(qiáng)的圖像數(shù)據(jù)E)并參考顯示在分析圖像顯示區(qū)域325上的疊加圖像數(shù)據(jù)S時(shí)，進(jìn)行內(nèi)窺鏡觀(guān)察。通過(guò)對(duì)疊加圖像數(shù)據(jù)S的仔細(xì)觀(guān)察(特別是對(duì)于彩色部分)，可以進(jìn)行準(zhǔn)確的診斷而不忽視病變部分。
[0103]隨后，判斷內(nèi)窺鏡觀(guān)察是否應(yīng)該繼續(xù)(Sll)。重復(fù)上述過(guò)程SI至S11，直到對(duì)用于電子內(nèi)窺鏡的處理器的操作面板208實(shí)施用于指示停止內(nèi)窺鏡檢查或停止電子內(nèi)窺鏡裝置I的工作的用戶(hù)操作(Sll:否)。
[0104]上述是關(guān)于實(shí)施方案的解釋?zhuān)蝗欢?，本發(fā)明并不限于上述實(shí)施方案，而可以在權(quán)利要求表達(dá)的技術(shù)準(zhǔn)則的范圍內(nèi)變化。
[0105]盡管在上述實(shí)施方案中，在HSI空間中進(jìn)行了對(duì)于病變的判斷，但是也可以由基于色調(diào)、飽和度和明度(或亮度)的HSV(HSB)空間內(nèi)代替HSI空間而做出判斷。
[0106]在上述實(shí)施方案中，在RGB空間內(nèi)執(zhí)行TE過(guò)程S3 ;然而，可以在色彩空間轉(zhuǎn)換過(guò)程S5之后在HSI空間中執(zhí)行TE過(guò)程S3。
[0107]在上述實(shí)施方案中，配置為利用光學(xué)傳感器132而得到電子鏡100的尖端部分位置(圖像捕捉位置)的信息；然而，本發(fā)明并不限于這樣的配置，并且可以使用通過(guò)其他方式而得到圖像捕捉位置的信息的配置。例如，可以使用設(shè)置在電子鏡100的插入單元130中的具有光源的光學(xué)接近度傳感器和光接收元件的配置而代替光學(xué)傳感器132。在此情況下，當(dāng)光學(xué)接近度傳感器插入消化道時(shí)，通過(guò)光接收元件檢測(cè)到從消化道的內(nèi)壁反射的光，從而檢測(cè)出接近度。所以，對(duì)比上述實(shí)施方案，通過(guò)判斷光學(xué)接近度傳感器的分布長(zhǎng)度為插入消化道的插入單元130的長(zhǎng)度，所述光學(xué)接近度傳感器的光接收元件接收光線(xiàn)，可以得到電子鏡100的尖端部分的位置信息。
[0108]可以使用將移動(dòng)量傳感器設(shè)置在電子鏡100的插入單元130中而代替光學(xué)傳感器132的配置，所述移動(dòng)量傳感器通過(guò)與光電鼠標(biāo)相同的原理而檢測(cè)移動(dòng)量(移動(dòng)的距離和方向)。在此情況下，只有一個(gè)移動(dòng)量傳感器可以設(shè)置為接近插入單元130的尖端。
[0109]應(yīng)當(dāng)注意的是，作為光學(xué)接近度傳感器或移動(dòng)量傳感器的光源，可以使用波長(zhǎng)在近紅外線(xiàn)至可見(jiàn)光區(qū)域內(nèi)的光源(LD或LED);然而，通過(guò)在活組織的表面使用具有高度反射率的紅光區(qū)域的光源，可以獲得高水平的檢測(cè)精度。
[0110]而且，通過(guò)在內(nèi)窺鏡檢查期間，從患者的身體外得到核磁共振圖像、X射線(xiàn)圖像或超聲圖像，可以從這些圖像中得到電子鏡的尖端部分的位置。另外，通過(guò)由內(nèi)窺鏡圖像的圖像分析而計(jì)算內(nèi)窺鏡的尖端部分在消化道內(nèi)的移動(dòng)量，可以確定內(nèi)窺鏡的尖端部分的位置。
[0111]上述實(shí)施方案為本發(fā)明應(yīng)用于對(duì)于炎癥性疾病的內(nèi)窺鏡檢查中的示例；然而，本發(fā)明自然可以應(yīng)用至對(duì)于其他疾病的內(nèi)窺鏡檢查中。
[0112]盡管配置了上述實(shí)施方案，從而通過(guò)醫(yī)生的人為操作而記錄了靜止圖像，但是也可以使用如下配置:當(dāng)插入單元130的尖端部分到達(dá)預(yù)定的靜止圖像獲得位置(觀(guān)察點(diǎn))而電子鏡100的插入部分130從檢查區(qū)域的最深位置退出時(shí)，驅(qū)動(dòng)器信號(hào)處理電路112自動(dòng)地發(fā)出用于存儲(chǔ)靜止圖像的指令，并且自動(dòng)地存儲(chǔ)靜止圖像。
[0113]在上述實(shí)施方案中，CXD圖像傳感器用作固態(tài)攝像裝置108 ;然而，也可以使用具有不同配置的固態(tài)攝像裝置的配置，例如CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)。
[0114]在上述實(shí)施方案中，使用了具有RGB拜耳陣列彩色濾光片108b的固態(tài)攝像裝置108 ;然而，也可以使用具有Cy(藍(lán)綠色)、Mg(洋紅色)、Ye(黃色)和G(綠色)的互補(bǔ)色濾光片的固態(tài)攝像裝置的配置。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 獲取裝置，其獲取彩色內(nèi)窺鏡圖像數(shù)據(jù)； 色彩空間轉(zhuǎn)換裝置，其將彩色內(nèi)窺鏡圖像數(shù)據(jù)的色彩空間轉(zhuǎn)換至基于色調(diào)、飽和度和強(qiáng)度的HSI色彩空間或基于色調(diào)、飽和度和明度的HSV色彩空間； 病變像素判斷裝置，其對(duì)于組成彩色內(nèi)窺鏡圖像的每個(gè)像素，基于色調(diào)和飽和度而判斷每個(gè)像素是否為病變部分； 疊加處理裝置，其執(zhí)行改變由所述病變像素判斷裝置判斷為病變部分的像素的顏色的疊加過(guò)程；以及 疊加圖像顯示裝置，其顯示通過(guò)使彩色內(nèi)窺鏡圖像經(jīng)過(guò)疊加過(guò)程而獲得的疊加圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中: 病變像素判斷裝置，其對(duì)于多種病變類(lèi)型的每種，判斷每個(gè)像素是否為病變部分的像素；以及 疊加圖像顯示裝置，其依據(jù)病變類(lèi)型而改變病變部分的像素的顏色。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述疊加處理裝置將對(duì)應(yīng)于病變類(lèi)型的預(yù)定的值加在判斷為病變部分的像素的像素值上。
4.根據(jù)權(quán)利要求1至3中任意一項(xiàng)所述的圖像處理裝置， 其中所述疊加圖像顯示裝置同時(shí)顯示彩色內(nèi)窺鏡圖像和疊加圖像。
5.根據(jù)權(quán)利要求1至4中任意一項(xiàng)所述的圖像處理裝置， 進(jìn)一步包括有效像素判斷裝置，其對(duì)于組成彩色內(nèi)窺鏡圖像的每個(gè)像素，通過(guò)判斷像素值是否在預(yù)定的范圍內(nèi)而判斷每個(gè)像素是否有效；以及 病變像素判斷裝置，其對(duì)于由所述有效像素判斷裝置判斷為有效的像素，判斷每個(gè)像素是否為病變部分的像素。
6.根據(jù)權(quán)利要求1至5中任意一項(xiàng)所述的圖像處理裝置， 進(jìn)一步包括色調(diào)增強(qiáng)裝置，其將非線(xiàn)性增益應(yīng)用至像素值而執(zhí)行色調(diào)增強(qiáng)過(guò)程，從而對(duì)于判斷為病變部分的像素?cái)U(kuò)大接近像素值的邊界區(qū)域的動(dòng)態(tài)范圍， 其中所述病變判斷裝置在色調(diào)增強(qiáng)過(guò)程后基于像素值而作出判斷。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置， 其中在RGB色彩空間中經(jīng)過(guò)色調(diào)增強(qiáng)過(guò)程后，所述彩色內(nèi)窺鏡圖像數(shù)據(jù)被轉(zhuǎn)換至HSI色彩空間或HSV色彩空間。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中所述色調(diào)增強(qiáng)裝置在將不同的增益曲線(xiàn)分別應(yīng)用至原色R、G和B的強(qiáng)度值時(shí)執(zhí)行色調(diào)增強(qiáng)過(guò)程。
9.根據(jù)權(quán)利要求1至8中任意一項(xiàng)所述的圖像處理裝置，其中病變包括炎癥性腸病中的發(fā)炎和潰瘍。
10.一種內(nèi)窺鏡裝置，包括: 根據(jù)權(quán)利要求1至9所述的圖像處理裝置；以及 內(nèi)窺鏡，其生成彩色內(nèi)窺鏡圖像數(shù)據(jù)，并且將所述彩色內(nèi)窺鏡圖像數(shù)據(jù)輸出至所述圖像處理裝置。
【文檔編號(hào)】A61B1/04GK104470416SQ201380037982
【公開(kāi)日】2015年3月25日 申請(qǐng)日期:2013年5月14日 優(yōu)先權(quán)日:2012年7月17日
【發(fā)明者】池本洋祐 申請(qǐng)人:Hoya株式會(huì)社