本發(fā)明涉及一種計算規(guī)定的評價值的內窺鏡系統(tǒng)以及評價值計算裝置。
背景技術:
一般而言,病變部會顯示出與正常的粘膜組織不同的顏色。近年來,伴隨彩色內窺鏡裝置性能的提升,手術者已經能夠有把握地診斷出顏色上與正常組織存在細微不同的病變部。然而,手術者為了能夠基于內窺鏡的拍攝圖像上的顏色的細微差別而正確并且有把握地從正常組織中診斷出病變部,需要在熟練技術人員的指導下接受長期的訓練。并且,即使對于熟練的手術者來說,也不能輕易地基于顏色上的細微差別而有把握地診斷出病變部,要求謹慎的作業(yè)。
因此,例如在日本特開2014-18332號公報(以下,記為“專利文獻1”)中記載有一種裝置,為了輔助手術者進行病變部的診斷,對拍攝圖像上顯示的病變部進行評分。具體而言,在專利文獻1所記載的裝置中,對構成內窺鏡的拍攝圖像的各像素,進行對于像素值賦予非線性的增益的色調增強處理,擴大被判定為病變部的像素值的區(qū)域的邊界附近的動態(tài)范圍,之后,將由rgb三原色定義的rgb空間的經色調增強的像素數(shù)據(jù)轉換于hsi色彩空間、hsv色彩空間等規(guī)定的色彩空間,取得色相和飽和度的信息,基于所取得的色相和飽和度的信息來判定是否為病變部的像素,并且基于被判定的像素的數(shù)量來計算評價值(病變指數(shù))。
技術實現(xiàn)要素:
但是,由于色調增強處理等非線性的計算處理和色彩空間的轉換處理負荷重,因此,存在為了執(zhí)行處理而需要多量的硬件資源這樣的問題。另外,也存在如下問題:進行色調增強處理的結果是,拍攝圖像的評價值取決于對圖像的明亮度產生影響的拍攝條件(例如照射光的照射情況等)而產生變動。
本發(fā)明是鑒于上述的問題而完成的,其目的在于提供一種內窺鏡系統(tǒng)以及評價值計算裝置,能夠抑制由于圖像的明亮度而導致的評價值的變動,同時,能夠抑制評價值計算的處理負荷。
由本發(fā)明的一實施方式提供的內窺鏡系統(tǒng),具備:光源裝置,朝向被攝體照射照明光;圖像取得部,通過拍攝元件拍攝來自被攝體的反射光,取得包含至少三種以上的色彩成分的彩色圖像;評價部,在由至少三種以上的色彩成分中的至少兩種色彩成分定義的色彩平面內,基于連結色彩平面內設定的規(guī)定的基準點以及構成由圖像取得部取得的彩色圖像的各像素的色彩平面內的像素對應點的線段和與對象疾病具有相關性的基準軸所形成的角度,求得各像素的與對象疾病有關的評價結果;基準軸以穿過規(guī)定的基準點的方式設定。
根據(jù)上述構成,能夠抑制由于圖像的明亮度所導致的評價值的變動,同時,能夠抑制評價值計算的處理負荷。
基準軸為在色彩平面內與重癥度為規(guī)定值以下的對象疾病具有相關性的軸以及與重癥度為規(guī)定值以上的對象疾病具有相關性的軸的至少一方。
基準軸可以至少包括第一軸和第二軸,所述第一軸在色彩平面內與對象疾病中重癥度為規(guī)定以上的高重度癥疾病具有相關性,所述第二軸在色彩平面內與重癥度低于高重癥度疾病并且重癥度為規(guī)定以下的低重癥度疾病具有相關性。在這種情況下,評價部基于第一軸以及第二軸的至少一方和上述線段所形成的角度求得評價結果。
作為一例,基準點可以為第一軸和第二軸的交點。
評價部可以上述線段和第一軸所形成的角度為零時取最大值并且上述線段和第一軸所形成的角度與第一軸和第二軸之間的角度相等時取最小值的方式,將上述線段和第一軸所形成的角度標準化,并且基于經標準化的對應于各像素的角度求得與對象疾病有關的評價結果。
內窺鏡系統(tǒng)還可以進一步具備顯示部,所述顯示部將評價結果與由圖像取得部取得的普通圖像重疊顯示。
作為一例,評價結果可以是關于炎癥的重癥度的評價結果。
作為一例,第一軸可以是與體腔內的其他的構成物質相比較與血紅蛋白色素相關性高的軸。
作為一例,第二軸可以是與體腔內的其他的構成物質相比較與體腔內的粘膜的顏色相關性高的軸。
內窺鏡系統(tǒng)可以進一步具備顯示部,所述顯示部將所述評價結果與由圖像取得部取得的普通圖像重疊顯示。在這種情況下,評價部分別求得與多個對象疾病有關的評價結果,色彩平面、基準點和基準軸對多個對象疾病的每個進行設定。另外,在這種情況下,顯示部將多個評價結果能夠識別地與普通圖像重疊顯示。
色彩成分可以除去色相以及飽和度。換言之,色彩成分也可以不包括色相以及飽和度。
本發(fā)明的一實施方式所涉及的評價值計算裝置具備:配置單元,將與構成具有r(紅)、g(綠)、b(藍)的各色彩成分的彩色圖像的各像素對應的像素對應點按照其色彩成分配置在包括r成分的軸即第一軸和與該第一軸正交的g成分或者b成分的軸即第二軸的平面內;角度算出單元,在平面內設定與重癥度最高的病變部相關性高的第三軸,對于各像素,算出連結位于該第三軸上的規(guī)定的基準點和像素對應點的線段和該第三軸所形成的角度;評價值計算單元,基于算出的與各像素對應的角度,計算對于彩色圖像的規(guī)定的評價值。
另外,在本發(fā)明的一實施方式中,也可以為如下構成:角度算出單元在平面內設定與重癥度最低的病變部相關性高的第四軸,將該第四軸和第三軸的交點作為基準點,算出與各像素對應的角度。
另外,在本發(fā)明的一實施方式中,可以為如下構成:評價值計算單元以當通過角度算出算元算出的角度為零時取最大值并且當該角度與第三軸和第四軸之間的角度相等時取最小值的方式,將通過該角度算出單元算出的角度標準化,并且基于經標準化的對應于各像素的角度計算對于彩色圖像的規(guī)定的評價值。
另外,在本發(fā)明的一實施方式中,第三軸為例如與體腔內的其他的構成物質相比較血紅蛋白色素相關性高的值。
另外,在本發(fā)明的一實施方式中,第四軸為例如與體腔內的其他的構成物質相比較與粘膜的顏色相關性高的軸。
另外,在本發(fā)明的一實施方式中,規(guī)定的評價值為例如將體腔內的異常部數(shù)值化表示的值。
另外,本發(fā)明的一實施方式所涉及的評價值計算裝置可以為組裝于電子內窺鏡系統(tǒng)的構成。
另外,本發(fā)明的一實施方式所涉及的評價值計算裝置具備:配置單元,將與構成具有r、g、b的各色彩成分的彩色圖像的各像素對應的像素對應點按照其色彩成分配置在包括r成分的軸即第一軸和與該第一軸正交的g成分或者b成分的軸即第二軸的平面內;角度算出單元,在平面內設定與重癥度最低的病變部相關性高的第三軸,對于各像素,算出連結位于該第三軸上的規(guī)定的基準點和像素對應點的線段和該第三軸所形成的角度;評價值計算單元,基于算出的與各像素對應的角度,計算對于彩色圖像的規(guī)定的評價值。
根據(jù)本發(fā)明的一實施方式,提供一種內窺鏡系統(tǒng)以及評價值計算裝置,能夠抑制由于圖像的明亮度所導致的評價中的變動,同時,能夠抑制評價值計算的處理負荷。
附圖說明
圖1為示出本發(fā)明的一實施方式所涉及的電子內窺鏡系統(tǒng)的構成的框圖。
圖2為示出利用本發(fā)明的一實施方式所涉及的處理器所具備的特殊圖像處理電路進行的特殊圖像生成處理的流程的圖。
圖3為示出在發(fā)明的一實施方式中標繪有像素對應點的rg平面的圖。
圖4為對rg平面內設定的基準軸進行說明的圖。
圖5為示出在本發(fā)明的一實施方式中當特殊模式時監(jiān)視器的顯示畫面上顯示的顯示畫面例子的圖。
符號說明
1電子內窺鏡系統(tǒng)
100電子鏡
102lcb
104配光透鏡
106物鏡
108固體拍攝元件
112驅動器信號處理電路
114存儲器
200處理器
202系統(tǒng)控制器
204時序控制器
206燈電源點火器
208燈
210聚光透鏡
212光圈
214電機
216驅動器
218操作面板
220前級信號處理電路
222存儲器
230特殊圖像處理電路
240后級信號處理電路。
具體實施方式
以下,參照附圖對本發(fā)明的實施方式進行說明。另外,在以下的說明中,作為本發(fā)明的一實施方式,以電子內窺鏡系統(tǒng)為例進行說明。
[電子內窺鏡系統(tǒng)1的構成]
圖1為示出本發(fā)明的一實施方式所涉及的電子內窺鏡系統(tǒng)1的構成的框圖。如圖1所示,電子內窺鏡系統(tǒng)1為專門用于醫(yī)療的系統(tǒng),包括電子鏡100、處理器200以及監(jiān)視器300。電子鏡100具有插入部,插入部具有前端部以及彎曲部。在插入部內延設有l(wèi)cb(光導纖維束,lightcarryingbundle)102,另外,在前端部配置有配光透鏡104、物鏡106、固體拍攝元件108等。監(jiān)視器300為本實施方式的電子內窺鏡系統(tǒng)所具備的顯示部的一例。此外,以下列舉圖1所示的電子內窺鏡系統(tǒng)進行了說明,但是本發(fā)明的電子內窺鏡系統(tǒng)并不限定于圖1所示的電子內窺鏡系統(tǒng)。另外,以下列舉了炎癥作為求得評價值的對象疾病進行說明,但是,對象疾病并不限定于炎癥,只要是能夠通過色彩成分進行評價的疾病,都能夠應用本發(fā)明。
處理器200具備系統(tǒng)控制器202和時序控制器204。系統(tǒng)控制器202執(zhí)行存儲在存儲器222中的各種程序,并且統(tǒng)一控制電子內窺鏡系統(tǒng)1整體。另外,系統(tǒng)控制器202連接于操作面板218。系統(tǒng)控制器202根據(jù)從操作面板218輸入的來自手術者的指示而變更電子內窺鏡系統(tǒng)1的各動作以及用于各動作的參數(shù)。在手術者的輸入指示中存在例如電子內窺鏡系統(tǒng)1的動作模式的切換指示。在本實施方式中,作為動作模式,有普通模式和特殊模式。時序控制器204將調整各部分的動作的時刻的時鐘脈沖輸出至電子內窺鏡系統(tǒng)1內的各電路。
電子內窺鏡系統(tǒng)1具備光源裝置。作為光源裝置,例如能夠應用燈208、半導體發(fā)光元件等,但是其種類并無特別限定。圖1所示的燈208在利用燈電源點火器206開始動作后射出白色光l。燈208例如為氙燈、鹵素燈、汞燈、金屬鹵化物燈等高亮度燈。從燈208射出的白色光l被聚光透鏡210聚光并且經由光圈212被限制為適當?shù)墓饬?。此外,?08可以調換為ld(激光二極管,laserdiode)或者led(發(fā)光二極管,lightemittingdiode)等半導體發(fā)光元件。此外,關于半導體發(fā)光元件,與其他的光源相比較,由于具有低消耗電力、發(fā)熱量小等特征,因此,具有能夠抑制消耗電力和發(fā)熱量并且取得明亮的圖像的優(yōu)點。能夠取得明亮的圖像與提高后述的炎癥評價值的精度相關。半導體發(fā)光元件并不限于內置于處理器200,也可以內置于電子鏡100。作為一例,半導體發(fā)光元件可以位于電子鏡100的前端部內。
電機214經由省略圖示的臂部或者齒輪等傳遞機構而機械連接于光圈212。電機214為例如dc電機,在驅動器216的驅動控制下進行驅動。就光圈212而言,為了使顯示在監(jiān)視器300的顯示畫面的影像為適當?shù)牧炼龋ㄟ^電機214進行動作而改變開度。從燈208照射的白色光l的光量根據(jù)光圈212的開度而被限制。適當?shù)挠跋竦拿髁炼鹊幕鶞矢鶕?jù)手術者對操作面板218的亮度調節(jié)操作來設定變更。此外,控制驅動器216而進行亮度調整的調光電路是公知的電路,在本說明書中省略其說明。
通過光圈212的白色光l匯聚在lcb(光導纖維束,lightcarryingbundle)102的入射端面并射入lcb102內。從入射端面入射至lcb102內的白色光l在lcb102內傳播。在lcb102內傳播的白色光l從配置于電子鏡100的前端的lcb102的射出端面射出,經由配光透鏡104照射生物體組織。來自被白色光l照射的生物體組織的返回光經由物鏡106在固體拍攝元件108的受光面上形成光學圖像。
固體拍攝元件108為例如具有拜耳型像素配置的單板式彩色ccd(電荷耦合裝置,chargecoupleddevice)圖像傳感器。固體拍攝元件108將由受光面上的各像素成像的光學圖像作為對應于光量的電荷進行蓄積,生成r(red,紅色)、g(green,綠色)、b(blue,藍色)的圖像信號并輸出。以下,將由固體拍攝元件108依次輸出的各像素(各像素地址)的圖像信號記為“像素信號”。此外,固體拍攝元件108并不限于ccd圖像傳感器,也可以調換為cmos(complementarymetaloxidesemiconductor,互補金屬氧化物半導體)圖像傳感器或其他種類的拍攝裝置。固定拍攝元件108可以搭載原色系(rgb)濾光器,或者也可以搭載補色系濾光器。作為補色系濾光器的一例,可舉出cmyg(青色、品紅色、黃色、綠色)濾光器。
原色系(rgb)濾光器與補色系濾光器相比較,顯色性好。因此,如果將由搭載原色系濾光器的拍攝元件拍攝的rgb圖像信號用于算出評價值的話,則能夠提高評價精度。另外,通過使用原色系濾光器,在后述的評價值計算的處理中無需進行信號的轉換。因此,能夠抑制評價值計算的處理負荷。
在電子鏡100的連接部內具備驅動器信號處理電路112。以幀周期通過固體拍攝元件108向驅動器信號處理電路112輸入被白色光l照射的生物體組織的像素信號。驅動器信號處理電路112將由固體拍攝元件108輸入的像素信號向處理器200的前級信號處理電路220輸出。此外,在以后的說明中,“幀”也可以調換為“半幀”。在本實施方式中,幀周期、半幀周期分別為1/30秒、1/60秒。
驅動器信號處理電路112還訪問存儲器114并讀取電子鏡100的固有信息。存儲器114中所記錄的電子鏡100的固有信息包括例如固體拍攝器件108的像素數(shù)或敏感度、可操作的幀速率、型號等。驅動器信號處理電路112將從存儲器114讀出的固有信息輸出至系統(tǒng)控制器202。
系統(tǒng)控制器202基于電子鏡100的固有信息進行各種運算,并生成控制信號。系統(tǒng)控制器202使用所生成的控制信號控制處理器200內的各種電路的動作和時序,從而進行適合與處理器200連接的電子鏡的處理。
時序控制器204根據(jù)系統(tǒng)控制器202的時序控制向驅動器信號處理電路112供應時鐘脈沖。驅動器信號處理電路112根據(jù)從時序控制器204供應的時鐘脈沖,按照與在處理器200側所處理的影像的幀速率同步的時序來驅動控制固體拍攝元件108。
[普通模式時的動作]
對普通模式時的處理器200進行的信號處理動作進行說明。
前級信號處理電路220對以幀周期通過驅動器信號處理電路112輸入的r、g、b的各像素信號實施去馬賽克處理。具體而言,對r的各像素信號實施利用g、b的周邊像素的插值處理,對g的各像素信號實施利用r、b的周邊像素的插值處理,對b的各像素信號實施利用r、g的周邊像素的插值處理。由此,僅具有一個色彩成分的信息的像素信號全部被轉換為具有r、g、b三個色彩成分的信息的像素數(shù)據(jù)。此外,在本實施方式中,對于去馬賽克后的像素數(shù)據(jù),r、g、b的每個色彩成分具有8位(0~255)的信息。
前級信號處理電路220對去馬賽克處理后的像素數(shù)據(jù)實施矩陣運算、白平衡調整處理、灰度矯正處理等規(guī)定的信號處理,并向特殊圖像處理電路230輸出。
特殊圖像處理電路230將通過前級信號處理電路220輸入的像素數(shù)據(jù)向后級信號處理電路240直通輸出。
后級信號處理電路240對通過特殊圖像處理電路230輸入的像素數(shù)據(jù)實施規(guī)定的信號處理,從而生成監(jiān)視器顯示用的畫面數(shù)據(jù),并且將所生成的監(jiān)視器顯示用的畫面數(shù)據(jù)轉換為規(guī)定的視頻格式信號。被轉換的視頻格式信號被輸出至監(jiān)視器300。由此,生物體組織的彩色圖像顯示在監(jiān)視器300的顯示畫面上。此外,所謂的上述生物體組織的彩色圖像為普通圖像。另外,生物體組織的彩色圖像至少包含三種以上的色彩成分。
通過固體拍攝元件108拍攝被攝體并且取得被攝體的彩色圖像的上述動作通過圖像取得部進行。
[特殊模式時的動作]
接著,對特殊模式時的處理器200進行的信號處理動作進行說明。
在本實施方式中,在由生物體組織的彩色圖像所包含的色彩成分中的至少兩種色彩成分定義的色彩平面內,基于連結色彩平面內設定的規(guī)定的基準點以及構成通過圖像取得部取得的彩色圖像的各像素的色彩平面內的像素對應點的線段和與對象疾病具有相關性的基準軸所形成的角度,求得各像素的與對象疾病有關的評價結果。以下,列舉r成分和g成分作為定義色彩平面的色彩成分,并且列舉與炎癥疾病具有相關性的軸作為基準軸進行說明,但是本發(fā)明并不限定于該實施方式。
前級信號處理電路220對以幀周期通過驅動器信號處理電路112輸入的像素信號實施去馬賽克處理、矩陣運算、白平衡調整處理、灰度矯正處理等規(guī)定的信號處理,并向特殊圖像處理電路230輸出。
[特殊圖像生成處理]
圖2為示出利用特殊圖像處理電路230進行的特殊圖像生成處理的流程的例子。在圖2的特殊圖像生成處理中,在電子內窺鏡系統(tǒng)1的動作模式切換為特殊模式的時刻開始。
[圖2的s11(當前幀的像素數(shù)據(jù)的輸入)]
在本處理步驟s11中,通過前級信號處理電路220輸入當前幀的各像素的像素數(shù)據(jù)。
[圖2的s12(向rg平面的標繪)]
在圖3中示出由彼此正交的r軸和g軸定義的rg平面(更詳細而言,由r軸、g軸兩個軸規(guī)定的rg平面內的區(qū)劃)。此外,r軸為r成分(r的像素值)的軸,g軸為g成分(g的像素值)的軸。在本處理步驟s12中,將由rgb三原色定義的rgb空間的各像素的像素數(shù)據(jù)(三維數(shù)據(jù))轉換為rg的二維數(shù)據(jù),如圖3所示,對應r、g的像素值而標繪(正投影)在rg平面內。以下,為了便于說明,將標繪在rg平面內的像素數(shù)據(jù)的點記為“像素對應點”。此外,在圖3中,為了便于使附圖明了化,未示出所有的像素的像素對應點,而僅示出一部分的像素的像素對應點。
這樣,在本處理步驟s12中,將色彩空間的像素數(shù)據(jù)(三維數(shù)據(jù))正投影在色彩平面上,從對應于該像素數(shù)據(jù)的色彩空間內的點朝向色彩平面的垂線的點為像素對應點(二維數(shù)據(jù))。
[圖2的s13(基準軸的設定)]
在本處理步驟s13中,設定計算炎癥強度所需的rg平面內的基準軸。圖4中示出輔助基準軸的說明的圖。
在成為拍攝對象的患者的體腔內,由于血紅蛋白色素等的影響,r成分相對于其他的成分(g成分以及b成分)是支配性的,典型特點是,炎癥越強,紅色(r成分)相對于其他的顏色(g成分以及b成分)就越深。但是,對于體腔內的拍攝圖像,根據(jù)影響明亮度的拍攝條件(例如白色光l的照射情況),顏色產生變化。舉例說明,白色光l沒有照射到的陰影部分變黑(無彩色,例如r、g、b為零或者為接近零的值),白色光l強烈照射并進行正反射的部分變白(無彩色,例如r、g、b為255或者為接近255的值)。也就是說,即使在拍攝產生炎癥的相同的異常部位的情況下,白色光l照射的越強,該異常部位圖像的像素值越大。因此,根據(jù)白色光l的照射情況,有時像素值會取得與炎癥的強度不相關的值。
通常來說,未產生炎癥的體腔內的正常部位被足夠的粘膜覆蓋。與之相對,產生炎癥的體腔內的異常部位未被足夠的粘膜覆蓋。在病變部等異常部位,炎癥越強則粘膜越薄。粘膜基本上為白色調,顏色略偏黃,顯示在圖像上的顏色(黃色的顏色)因其濃淡(粘膜的厚度)而產生變化。因此,認為粘膜的濃淡也是評價炎癥的強度的指標之一。
因此,在本處理步驟s13中,如圖4所示,例如在rg平面內,將穿過(50,0)以及(255,76)的直線設定為基準軸之一,同時,將穿過(0,0)以及(255,192)的直線設定為基準軸之一。為了便于說明,將前者的基準軸記為“血紅蛋白變化軸ax1”,將后者的基準軸記為“粘膜變化軸ax2”。也可以將所述血紅蛋白變化軸ax1以及粘膜變化軸ax2的設定數(shù)據(jù)預先存儲于存儲器222等存儲介質。另外,作為基準軸穿過的點,列舉了(50,0)以及(255,76)、(0,0)以及(255,192),但是并不限定于此。上述點能夠適當變更。
圖4所示的標繪是本發(fā)明人對體腔內的多個樣本圖像進行分析得到的結果。用于分析的樣本圖像中包括重癥度最高的炎癥圖像例和重癥度最低的炎癥圖像例(實際上被視為正常部位的圖像例)等各階段的炎癥圖像例。此外,在圖4的例中,為了便于使附圖明了化,得到的分析結果的標繪僅示出一部分。實際所得到分析結果的標繪遠遠多于圖4所示的標繪的數(shù)量。
如上所述,炎癥越強的異常部位,r成分相對于其他的成分(g成分以及b成分)越強。因此,將分布有標繪的區(qū)域和未分布標繪的區(qū)域的邊界線并且與g軸相比接近r軸的邊界線上的軸,即在圖4的例子中穿過(50,0)以及(255,76)的邊界線上的軸,設定為與炎癥的重癥度最高的病變部(重癥度最高的炎癥(異常)部分)相關性高的軸。該軸為血紅蛋白變化軸ax1。在血紅蛋白變化軸ax1上,重疊有與在各種拍攝條件(例如白色光l的照射情況)下拍攝的重癥度最高的炎癥部位相對應的標繪。
另一方面,越接近正常部位,g成分(或者b成分)相對于r成分越強。因此,將分布有標繪的區(qū)域和未分布的區(qū)域的邊界線并且與r軸相比接近g軸的邊界線上的軸,即在圖4的例子中穿過(0,0)以及(255,192)的邊界線上的軸,設定為與重癥度最低的病變部(重癥度最低的炎癥(異常)部位即實際上被視為正常部位的部位)相關性高的軸。該軸為粘膜變化軸ax2。在粘膜變化軸ax2上,重疊有與在各種拍攝條件(例如白色光l的照射情況)下拍攝的重癥度最低的炎癥部位相對應的標繪。
補足說明,重癥度最高的炎癥部位有時伴有出血。另一方面,重癥度最低的炎癥部位由于為實際正常部位,因此被足夠的粘膜覆蓋。因此,當圖4所示的rg平面內的標繪分布在被與血液(血紅蛋白色素)相關性最高的軸和與粘膜的顏色相關性最高的軸所夾的區(qū)域內時能夠捕捉。因此,分布有標繪的區(qū)域和未分布標繪的區(qū)域的邊界線中接近r軸(r成分強的)一方的邊界線相當于表示重癥度最高的炎癥部位的軸(血紅蛋白變化軸ax1),接近g軸(g成分強的)一方的邊界線相當于表示重癥度最低的炎癥部位的軸(粘膜變化軸ax2)。
此外,在上述內容中,舉出了設定表示重癥度最高的炎癥部位的軸和表示重癥度最低的炎癥部位的軸作為基準軸的例子進行說明,但是本發(fā)明并不限定于該方式。
基準軸只要是至少與成為評價對象的炎癥具有相關性的軸即可。例如,可以將色彩平面內與表示炎癥的重癥度為規(guī)定值以下的部位的像素具有相關性的軸和與表示炎癥的重癥度為規(guī)定值以上的部位的像素具有相關性的軸中的至少一方設定為基準軸。
另外,在使炎癥的重癥度為規(guī)定值以上的部位為高重癥度炎癥,并且使炎癥的重癥度為規(guī)定值以下且重癥度低于高重癥度炎癥的部位為低重癥度炎癥的情況下,可以將基準軸設定為表示高重癥度炎癥的部位的軸和表示低重癥度炎癥的部位的軸。
另外,在設定多個基準軸的情況下,優(yōu)選的是,該多個基準軸彼此之間所形成的角小于定義色彩平面的色彩成分所示的軸彼此之間所形成的角?;鶞瘦S彼此之間所形成的角越小,分辨率越高,從而能夠得到精度高的評價值?;鶞瘦S彼此之間所形成的角優(yōu)選為不到90度,更優(yōu)選為60度以下。
[圖2的s14(注目像素的選擇)]
在本處理步驟s14中,按照規(guī)定的順序從所有的像素中選擇一個注目像素。
[圖2的s15(角度的算出)]
在本處理步驟s15中,算出用于對在處理步驟s14(注目像素的選擇)中選擇的注目像素計算炎癥強度的角度。具體而言,在本處理步驟s15中,算出連結血紅蛋白變化軸ax1與粘膜變化軸ax2的交點(基準點)o’和注目像素的像素對應點的線段l和血紅蛋白變化軸ax1所形成的角度θ(參照圖3)。此外,基準點o’位于坐標(﹣150,﹣75)。
另外,雖然列舉了將基準點o’設為坐標(﹣150,﹣75),但是并不限定于此。上述基準點o’能夠適當變更。
作為基準點,合適的坐標位置為例如能夠減小明亮度的變動所導致的評價結果的誤差的位置。具體而言,優(yōu)選的是,通過預先求得使在暗部(亮度不到規(guī)定值)的評價結果和在非暗部(亮度在規(guī)定值以上)的評價結果的誤差為最小的點來設定基準點。
另外,例如,當將基準點o’設定在坐標(﹣10,﹣10)至(10,10)之間時,與將坐標(﹣150,﹣75)等設定為基準點o’的情況相比較,像素對應點產生變化的情況下的角度θ的變化量變大,因此,分辨率提高,從而能夠得到精度高的評價結果。
另一方面,通過將基準點o’設定在坐標(﹣50,﹣50)至(﹣200,﹣200)之間,能夠減小通過評價部求得的評價結果的干擾的影響。
[圖2的s16(標準化處理)]
當體腔內的拍攝圖像的明亮度根據(jù)白色光l的照射情況產生變化時,雖然拍攝圖像的顏色存在個人差異、拍攝部位、炎癥的狀態(tài)等的影響,但在rg平面內,基本上,在重癥度最高的炎癥部位,沿著血紅蛋白變化軸ax1上變化,在重癥度最低的炎癥部位,沿著粘膜變化軸ax2上變化。另外,能夠推定中間的重癥度的炎癥部位的拍攝圖像的顏色也以相同的傾向產生變化。也就是說,當對應于炎癥部位的像素對應點根據(jù)白色光l的照射情況變化時,在以基準點o’為起點的方位角方向上產生位移。換言之,當對應于炎癥部位的像素對應點根據(jù)白色光l的照射情況變化時,在角度θ保持固定的情況下移動,與基準點o’的距離改變。這意味著角度θ是實際上不受拍攝圖像的明亮度的變化影響的參數(shù)。
角度θ越小,r成分相對于g成分越強,表示炎癥部位的重癥度高。另外,角度θ越大,g成分相對于r成分越強,表示炎癥部位的重癥度低。因此,在本處理步驟s16中對角度θ進行標準化,以使得角度θ為零時值為255,角度θ為θmax時值為零。此外,θmax與血紅蛋白變化軸ax1和粘膜變化軸ax2所形成的角度相等。由此,對于注目像素,得到在0~255的范圍內的炎癥強度(8位的信息)。
[圖2的s17(色彩表圖像上的顯示色的確定)]
在本實施方式中,能夠通過對應于炎癥強度的顯示色來顯示將拍攝圖像馬賽克化得到的色彩表圖像。為了能夠顯示色彩表圖像,將炎癥強度的值和規(guī)定的顯示色對應得到的表被存儲于存儲器222等的存儲區(qū)域。在本表中,例如,以值5刻度對應不同的顯示色。舉例說明,在炎癥強度的值為0~5的范圍內對應黃色,該值每增加5,按照色相環(huán)中顏色的排列順序對應不同的顯示色,該值在250~255的范圍內對應紅色。
在本處理步驟s17中,在處理步驟s14(注目像素的選擇)中選擇的注目像素的、在色彩表圖像上的顯示色基于上述表被確定為對應于在處理步驟s16(標準化處理)中得到的注目像素的炎癥強度的值的顏色。
[圖2的s18(對全像素的處理的執(zhí)行完成判定)]
在本處理步驟s18中,判定是否對當前幀的所有的像素執(zhí)行了處理步驟s14~s17。
在殘留未執(zhí)行處理步驟s14~s17的像素的情況下(s18:否),圖2的特殊圖像生成處理為了對下一個注目像素執(zhí)行處理步驟s14~s17而返回到處理步驟s14(注目像素的選擇)。
[圖2的s19(炎癥評價值的計算)]
在判定為于處理步驟s18(對全像素的處理的執(zhí)行完成判定)中對當前幀的所有的像素執(zhí)行了處理步驟s14~s17的情況下(s18:是),執(zhí)行本處理步驟s19。在本處理步驟s19中,將當前幀的所有的像素的炎癥強度平均化得到的平均值作為拍攝圖像整體的炎癥評價值計算,生成計算出的炎癥評價值的顯示數(shù)據(jù)(顯示數(shù)據(jù)例:評分:○○)。求得作為對象疾病的評價結果的上述的炎癥評價值的動作通過評價部進行。
[圖2的s20(疊加處理)]
在本處理步驟s20中,將基于由前級信號處理電路220輸入的像素數(shù)據(jù)(即,具有rgb三個色彩成分的像素數(shù)據(jù))的普通圖像、和基于在處理步驟s17(色彩表圖像上的顯示色的確定)中確定為規(guī)定的顯示色的像素數(shù)據(jù)的色彩表圖像疊加的比例作為系數(shù),將前者的像素數(shù)據(jù)(普通的像素數(shù)據(jù))和后者的像素數(shù)據(jù)(色彩表用的像素數(shù)據(jù))相加。系數(shù)的設定能夠通過用戶操作進行適當設定變更。在想要較濃地顯示普通圖像的情況下,較高地設定普通的像素數(shù)據(jù)的系數(shù),在想要較濃地顯示色彩表圖像的情況下,較高地設定色彩表用的像素數(shù)據(jù)的系數(shù)。
[圖2的s21(結束判定)]
在本處理步驟s21中,判定電子內窺鏡系統(tǒng)1的動作模式是否被切換為不同于特殊模式的另一模式。在判定為未切換為另一模式的情況下(s21:否),圖2的特殊圖像生成處理返回到處理步驟s11(當前幀的像素數(shù)據(jù)的輸入)。另一方面,在判定為切換為另一模式的情況下(s21:是),圖2的特殊圖像生成處理結束。
[畫面顯示例]
后級信號處理電路240基于在圖2的處理步驟s20(疊加處理)中進行加法處理得到的像素數(shù)據(jù),在生成普通圖像和色彩表圖像的疊加圖像的顯示數(shù)據(jù)的同時進行將監(jiān)視器300的顯示畫面的周邊區(qū)域(圖像顯示區(qū)域的周圍)掩蔽的掩蔽處理,進一步,在通過掩蔽處理生成的掩蔽區(qū)域生成重疊了炎癥評價值的、監(jiān)視器顯示用的畫面數(shù)據(jù)。后級信號處理電路240將所生成的監(jiān)視器顯示用的畫面數(shù)據(jù)轉換為規(guī)定的視頻格式信號,并向監(jiān)視器300輸出。
圖5中示出特殊模式時的畫面顯示例。如圖5例示,在監(jiān)視器300的顯示畫面中,在其中央?yún)^(qū)域顯示體腔內的拍攝圖像(將普通圖像和色彩表圖像疊加顯示的疊加圖像),同時,顯示圖像顯示區(qū)域的周圍被掩蔽的畫面。另外,在掩蔽區(qū)域顯示炎癥評價值(評分)。
這樣,根據(jù)本實施方式,無需進行色調增強處理等非線性的計算處理和復雜的色彩空間轉換處理等而僅進行單純的計算處理,即可求出炎癥評價值(在此為與拍攝部位的血紅蛋白色素的增減存在相關性的值)。也就是說,大幅度地抑制了炎癥評價值的計算所需的硬件資源。另外,由于炎癥評價值并未因影響體腔內的拍攝圖像的明亮度的拍攝條件(例如照射光的照射情況等)而產生實質上的變動,因此,手術者對炎癥能夠更加客觀地做出正確的判斷。
另外,本實施方式所涉及的電子內窺鏡系統(tǒng)帶來該技術領域中的如下效果以及問題的解決。
第一,本實施方式所涉及的電子內窺鏡系統(tǒng)為用于早期發(fā)現(xiàn)炎癥性疾病的診斷輔助。
第二,根據(jù)本實施方式的構成,能夠畫面顯示炎癥程度或者增強發(fā)生炎癥的區(qū)域的圖像,以使得手術者能夠發(fā)現(xiàn)難以肉眼識別的輕度炎癥。特別地,由于輕度炎癥與正常部的判別較難,因此,關于輕度炎癥的評價,本實施方式的構成所帶來的效果顯著。
第三,根據(jù)本實施方式的構成,作為炎癥度的評價能夠為手術者提供客觀的評價值,因此,能夠降低手術者之間的診斷差。特別地,對于經驗尚淺的手術者,根據(jù)本實施方式的構成能夠提供客觀的評價值的優(yōu)勢較大。
第四,根據(jù)本實施方式的構成,通過減輕圖像處理的負荷,能夠將炎癥部作為圖像而實時顯示。因此,能夠提高診斷精度。
第五,根據(jù)本實施方式的構成,與上述的背景技術相比較,減輕了評價值計算的處理負荷,因此,能夠沒有延遲地排列或者合成顯示色彩表圖像(示出炎癥度的圖像)和普通圖像。因此,能夠在不延長檢查時間的情況下顯示色彩表圖像,進而,能夠避免增加患者負擔。
本實施方式中的觀察的對象部位為例如呼吸器官等、消化器官等。呼吸器官等為例如肺、耳鼻咽喉。消化器官等為例如大腸、小腸、胃、十二指腸、子宮等??紤]在觀察對象為大腸的情況下,本實施方式所涉及的電子內窺鏡系統(tǒng)的效果更加顯著。關于這一點,具體而言有如下理由。
大腸存在能夠將炎癥作為基準進行評價的病,發(fā)現(xiàn)發(fā)炎部位的優(yōu)勢與其他的器官相比較更大。特別地,作為以潰瘍性大腸炎為代表的炎癥性腸疾病(ibd)的指標,根據(jù)本實施方式的炎癥評價值是有效的。由于潰瘍性大腸炎并未確立治療法,因此,通過本實施方式的構成的電子內窺鏡系統(tǒng)的使用而早期發(fā)現(xiàn)并抑制其發(fā)展的效果非常大。
大腸與胃等相比為細長的器官,所得到的圖像有縱深,并且越深越暗。根據(jù)本實施方式的構成,能夠控制因圖像內的明亮度的變化而導致的評價值的變動。因此,當將本實施方式所涉及的電子內窺鏡系統(tǒng)應用于大腸的觀察時,根據(jù)本實施方式的效果顯著。也就是說,本實施方式所涉及的電子內窺鏡系統(tǒng)優(yōu)選為呼吸器官用電子內窺鏡系統(tǒng)或者消化器官用電子內窺鏡系統(tǒng),更加優(yōu)選為大腸用電子內窺鏡系統(tǒng)。
另外,雖然輕度的炎癥通常難以診斷,但是根據(jù)本實施方式的構成,例如,通過將評價了炎癥度的結果顯示在畫面上,能夠避免手術者漏診輕度炎癥。特別地,關于輕度的炎癥,由于其判斷基準并不明了,因此,成為加大手術者之間的個人差異的主要原因。關于這一點,根據(jù)本實施方式的構成,由于能夠為手術者提供客觀的評價值,因此,能夠降低因個人差異而導致的診斷的偏差。
此外,本實施方式的上述構成不僅適用于炎癥度,也能夠適用于癌癥、息肉等其他伴有顏色變化的各種病變的評價值的算出,在上述情況下,也能夠帶來與上述同樣的有利的效果。即,優(yōu)選的是本實施方式的評價值為伴有顏色變化的病變的評價值,包含炎癥度、癌癥、息肉的至少任一個的評價值。
以上為本發(fā)明的例示性的實施方式的說明。本發(fā)明的實施方式并不限于上述所說明的方式,在本發(fā)明的技術思想的范圍內能夠進行各種各樣的變形。例如,將說明書中例示性明示的實施方式等或者顯而易見的實施方式等進行適當組合而得到的內容也包含在本發(fā)明的實施方式中。
在上述的實施方式中,使用各像素所包括的r成分和g成分來計算炎癥評價值,而在另一實施方式中,代替r成分和g成分而使用r成分和b成分,也能夠計算有別于上述的實施方式的與被檢對象有關的評價值。此外,在這種情況下,例如樣本圖像的標繪的分布與圖4所示的例子不同,因此,在圖2的處理步驟s13(基準軸的設定)中設定的基準軸也與上述的實施方式不同。
在上述的實施方式中,使用r、g、b的原色成分算出炎癥等的評價值,然而本發(fā)明的用于評價值算出的構成并不限定于r、g、b的原色成分的使用。也可以使用例如c、m、y、g(青色、品紅色、黃色、綠色)的補色系成分代替r、g、b原色成分,并且通過與上述的實施方式同樣的手法算出炎癥等的評價值。
在上述的實施方式中,將rgb色彩空間的像素數(shù)據(jù)轉換為rg平面像素數(shù)據(jù),使用經轉換的像素數(shù)據(jù)所包括的r成分和g成分計算炎癥評價值,然而在另一實施方式中,代替rgb色彩空間,通過使用將cie1976l*a*b色彩空間、cielch色彩空間、cie1976l*u*v*色彩空間、hsb色彩空間、srgb色彩空間、cmk色彩空間、cmyk色彩空間、cmyg色彩空間等其他的色彩空間(由n(n≥3)種色彩成分定義的色彩空間)的像素數(shù)據(jù)轉換成比其層次低的色彩空間(由m(n>m≥2)種色彩成分定義的色彩空間)的像素數(shù)據(jù)得到的成分,能夠計算對應于各個色彩空間的、有別于上述的實施方式的與對象疾病(胃的萎縮或大腸腫瘤等)有關的評價值。
此外,優(yōu)選的是,基準軸根據(jù)使用的色彩空間、色彩平面、成為評價對象的疾病的種類等而選擇設定適當?shù)妮S。另外,也可以將基準軸設定為穿過色彩平面的(0,0)的軸。由此,具有能夠使安裝簡單化的效果。
在上述的實施方式中,將包括燈電源點火器206、燈208、聚光透鏡210、光圈212、電機214等的光源部與處理器一體地設置,但是光源部也可以作為與處理器分開的裝置設置。
如上述的實施方式中所說明,可以使用cmos圖像傳感器來代替ccd圖像傳感器作為固體拍攝元件108。通常,cmos圖像傳感器與ccd圖像傳感器相比較,存在圖像整體地變暗的傾向。因此,根據(jù)上述的實施方式的構成的、能夠抑制由于圖像的明亮度而導致的評價值的變動這樣的有利的效果,在使用cmos圖像傳感器作為固體拍攝元件的狀況下表現(xiàn)的更加顯著。
優(yōu)選的是,為了高精度地進行診斷而得到高精細的圖像。因此,在進一步提高診斷的精度的觀點中,圖像的分辨率優(yōu)選為100萬像素以上,更加優(yōu)選為200萬像素,進一步優(yōu)選為800萬像素以上。圖像的分辨率越高,用于對全像素進行上述的評價值計算的處理負荷越重。但是,根據(jù)上述的實施方式的構成,由于能夠抑制評價值計算的處理負荷,因此,在處理高精細的圖像的狀況下,利用本實施方式的構成的有利的效果顯著地表現(xiàn)出來。
在上述的實施方式中的特殊圖像生成處理中,將圖像中的所有像素作為處理的對象,但也可以將例如極高亮度的像素以及極低亮度的像素等從處理的對象中除去。具體而言,例如,僅將被判定為具有預先設定的基準亮度范圍的亮度的像素作為評價值算出的對象,由此,能夠提高評價值的精度。
如在上述的實施方式的說明中所述,作為電子內窺鏡系統(tǒng)1中使用的光源,能夠使用各種類型的光源。另一方面,根據(jù)電子內窺鏡系統(tǒng)1的觀察目的等也可以將光源的類型進行限定(例如,作為光源的類型除去激光等)。
另外,關于使用于評價值算出的色彩成分,也有排除使用色相和飽和度算出評價值的方法的方式。
另外,在上述實施方式中,算出連結基準軸o’和注目像素的像素對應點的線段l和血紅蛋白變化軸ax1所形成的角度θ,并且基于所算出的角度θ計算炎癥評價值,但是本發(fā)明并不限于此。例如,也可以算出線段l和粘膜變化軸ax2所形成的角度,并且基于所算出的角度計算炎癥評價值。在這種情況下,算出角度越小,g成分相對于r成分越強,表示炎癥部位的重癥度越低,算出角度越大,r成分相對于g成分越強,表示炎癥部位的重癥度越高。因此,在圖2的處理步驟s16(標準化處理)中對算出角度進行標準化,以使得算出角度為零時值為0,算出角度為θmax時值為255。
即,基準軸可以為在色彩平面內與重癥度為規(guī)定值以下的對象疾病具有相關性的軸以及與重癥度為規(guī)定值以上的對象疾病具有相關性的軸的至少一方。更具體而言,基準軸可以至少包括第一軸和第二軸。所述第一軸在色彩平面內與對象疾病中重癥度為規(guī)定值以上的高重癥度疾病具有相關性,所述第二軸在色彩平面內與重癥度低于高重癥度疾病并且重癥度為規(guī)定值以下的低重癥度疾病具有相關性。在這種情況下,求得評價結果的評價部為基于第一軸以及第二軸的至少一方和上述的線段(在由生物體組織的彩色圖像所包括的色彩成分中至少兩種色彩成分定義的色彩平面內,連結色彩平面內設定的規(guī)定的基準點以及構成由圖像取得部取得的彩色圖像的各像素的色彩平面內的像素對應點的線段)所形成的角度求得評價結果的構成。
另外,在上述的實施方式中,為了盡力抑制拍攝圖像的明亮度所導致的對炎癥評價值的影響,將血紅蛋白變化軸ax1和粘膜變化軸ax2的交點設定為基準點o’,但是本發(fā)明并不限于此。例如,也可以將位于粘膜變化軸ax2上的rg平面的原點(0,0)設定為基準點o’。在這種情況下,最低限度需要的基準軸為一個軸(粘膜變化軸ax2)足以,因此,圖2的特殊圖像生成處理的負荷變輕,處理速度提高。
評價部也可以構成為分別求得與多個對象疾病有關的評價結果。在這種情況下,色彩平面、基準點和基準軸對多個對象疾患的每一個進行設定。另外,在這種情況下,多個評價結果也可以能夠識別地與普通圖像重疊顯示在構成顯示部的監(jiān)視器上。根據(jù)這樣的構成,手術者能夠在不切換設定等的情況下通過一個畫面識別存在多個疾病的可能性的部位。其結果是,能夠在不增加患者的負擔的情況下輔助手術者的診斷。