圖像處理裝置、內(nèi)窺鏡裝置、程序和圖像處理方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像處理裝置、內(nèi)窺鏡裝置、程序和圖像處理方法等。
【背景技術(shù)】
[0002]以往，在內(nèi)窺鏡診斷中存在希望提高體腔內(nèi)的病變檢測精度這樣的要求，一般公知有具有如下放大光學(xué)系統(tǒng)的內(nèi)窺鏡(以后記為放大內(nèi)窺鏡)，其通過以與顯微鏡相當(dāng)?shù)谋堵蕦Σ∽儾亢驼２康慕M織上的差異進行接近放大觀察，實現(xiàn)檢測精度的提高。
[0003]這種放大內(nèi)窺鏡具有數(shù)十倍?數(shù)百倍的倍率，通過與基于色素散布的對比度強調(diào)一并使用，能夠?qū)φ衬け韺拥奈⒓殬?gòu)造進行觀察。公知在病變部和正常部中它們的圖案(pattern)表現(xiàn)出差異，成為病變診斷的一個判定基準。
[0004]并且，嘗試了不進行色素散布，而通過圖像處理進一步對表層粘膜的構(gòu)造賦予對比度來進行顯示。例如在專利文獻I中公開了如下手法:對局部的提取區(qū)域的關(guān)注像素的亮度級別與其周邊像素的亮度級別進行比較，在關(guān)注區(qū)域比周邊區(qū)域暗的情況下進行著色。該手法是基于如下的假定:在距離較遠的情況下，從活體表面反射過來的反射光量減少，所以較暗地進行攝像。
[0005]并且，考慮如下手法，即通過選擇性地強調(diào)顯示病變部來提供防止了病變部的遺漏且提高了質(zhì)的診斷精度的觀察圖像。例如在專利文獻2中公開了如下手法:通過針對拍攝檢體組織而得到的圖像的網(wǎng)格分割和特征量提取來進行分類范疇化，按照每個分類進行不同形式的顯示。
[0006]現(xiàn)有技術(shù)文獻
[0007]專利文獻
[0008]專利文獻1:日本特開2003-088498號公報
[0009]專利文獻2:日本特開2011-215680號公報

【發(fā)明內(nèi)容】

[0010]發(fā)明要解決的課題
[0011]例如，在通過內(nèi)窺鏡裝置進行接近放大觀察的情況下，具有如下特征:隨著成為高倍率，與通常觀察時相比，景深變得極端的淺。S卩，在接近放大觀察時的攝像圖像中，可能產(chǎn)生處于對焦?fàn)顟B(tài)的區(qū)域和未對焦的區(qū)域。這種情況下，針對未對焦的區(qū)域，從圖像中得到的信息不充分，所以很難準確地進行病變部的強調(diào)顯示。
[0012]例如，作為對活體表面的腺管構(gòu)造(被稱為麻點圖案(pit pattern))進行強調(diào)顯示的手法，考慮如下手法:對已知的麻點圖案形狀和圖像進行匹配處理，對圖像上的麻點圖案進行分類，顯示該分類結(jié)果。在圖像上的非對焦區(qū)域中，即使是實際上存在麻點圖案的場所，通過匹配處理，也無法檢測到麻點圖案，成為錯誤的分類結(jié)果，顯示的可靠性降低。
[0013]根據(jù)本發(fā)明的若干個方式，能夠提供能夠提高強調(diào)顯示的可靠性的圖像處理裝置、內(nèi)窺鏡裝置、程序和圖像處理方法等。
[0014]用于解決課題的手段
[0015]本發(fā)明的一個方式涉及一種圖像處理裝置，該圖像處理裝置包括:圖像取得部，其取得包含被攝體像的攝像圖像；距離信息取得部，其取得基于攝像時的從攝像部到所述被攝體的距離的距離信息；對焦判定部，其根據(jù)所述距離信息，判定在所述攝像圖像的像素或區(qū)域中所述被攝體是否處于對焦?fàn)顟B(tài)；分類部，其進行所述被攝體的構(gòu)造物的分類處理，根據(jù)所述像素或所述區(qū)域的所述判定的結(jié)果，對所述分類處理的對象進行控制；以及強調(diào)處理部，其根據(jù)所述分類處理的結(jié)果進行所述攝像圖像的強調(diào)處理。
[0016]根據(jù)本發(fā)明的一個方式，進行被攝體的構(gòu)造物的分類處理，根據(jù)在攝像圖像的像素或區(qū)域中被攝體是否處于對焦?fàn)顟B(tài)的判定結(jié)果對該分類處理的對象進行控制，根據(jù)該分類處理的結(jié)果進行強調(diào)處理。由此，能夠提高強調(diào)顯示的可靠性。
[0017]并且，本發(fā)明的另一個方式涉及一種內(nèi)窺鏡裝置，該內(nèi)窺鏡裝置包括上述中記載的圖像處理裝置。
[0018]并且，本發(fā)明的又一個方式涉及一種程序，該程序使計算機執(zhí)行以下步驟:取得包含被攝體的像的攝像圖像；取得基于攝像時的從攝像部到所述被攝體的距離的距離信息；根據(jù)所述距離信息，判定在所述攝像圖像的像素或區(qū)域中所述被攝體是否處于對焦?fàn)顟B(tài)；進行所述被攝體的構(gòu)造物的分類處理，根據(jù)所述像素或所述區(qū)域的所述判定的結(jié)果對所述分類處理的對象進行控制；以及根據(jù)所述分類處理的結(jié)果進行所述攝像圖像的強調(diào)處理。
[0019]并且，本發(fā)明的又一個方式涉及一種圖像處理方法，取得包含被攝體的像的攝像圖像；取得基于攝像時的從攝像部到所述被攝體的距離的距離信息；根據(jù)所述距離信息，判定在所述攝像圖像的像素或區(qū)域中所述被攝體是否處于對焦?fàn)顟B(tài)；進行所述被攝體的構(gòu)造物的分類處理，根據(jù)所述像素或所述區(qū)域的所述判定的結(jié)果對所述分類處理的對象進行控制；以及根據(jù)所述分類處理的結(jié)果進行所述攝像圖像的強調(diào)處理。
【附圖說明】
[0020]圖1(A)是示出對異常部進行觀察時的攝像部與被攝體的關(guān)系的圖。圖1 (B)是所取得的圖像的例子。
[0021]圖2是圖像處理裝置的結(jié)構(gòu)例。
[0022]圖3是第I實施方式中的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
[0023]圖4是第I實施方式中的外部I/F部的結(jié)構(gòu)例。
[0024]圖5是示出相對于變焦桿的操作，攝像系統(tǒng)的景深的變化的圖。
[0025]圖6是圖像處理部的詳細結(jié)構(gòu)例。
[0026]圖7是第I實施方式中的對焦判定部的詳細結(jié)構(gòu)例。
[0027]圖8是分類處理的說明圖。
[0028]圖9是第2實施方式中的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
[0029]圖10是第2實施方式中的外部I/F部的結(jié)構(gòu)例。
[0030]圖11是對焦控制部的詳細結(jié)構(gòu)例。
[0031]圖12是第2實施方式中的對焦判定部的詳細結(jié)構(gòu)例。
[0032]圖13是第2實施方式中的分類處理的說明圖。
[0033]圖14是分類部的詳細結(jié)構(gòu)例。
[0034]圖15(A)、圖15(B)是表面形狀計算部進行的處理的說明圖。
[0035]圖16(A)是基本腺管開口的例子。圖16(B)是修正腺管開口的例子。
[0036]圖17是表面形狀計算部的詳細結(jié)構(gòu)例。
[0037]圖18是第I分類處理手法中的分類處理部的詳細結(jié)構(gòu)例。
[0038]圖19(A)?圖19(F)是分類處理的具體例的說明圖。
[0039]圖20是第2分類處理手法中的分類處理部的詳細結(jié)構(gòu)例。
[0040]圖21是使用多個分類類型的情況下的分類類型的例子。
[0041]圖22㈧?圖22(F)是麻點圖案的例子。
【具體實施方式】
[0042]下面，對本實施方式進行說明。另外，以下說明的本實施方式并非不合理地限定權(quán)利要求范圍所記載的本發(fā)明的內(nèi)容。并且，本實施方式中說明的全部結(jié)構(gòu)不一定是本發(fā)明的必需結(jié)構(gòu)要件。
[0043]1.本實施方式的概要
[0044]以通過內(nèi)窺鏡裝置進行麻點圖案的分類處理的情況為例對本實施方式的概要進行說明。
[0045]圖1㈧示出對異常部(例如早期病變)進行觀察時的攝像部200與被攝體的關(guān)系。并且，圖1(B)示出此時取得的圖像的例子。正常腺管40表示正常的麻點圖案，異常腺管50表示呈現(xiàn)不規(guī)整形狀的異常的麻點圖案，腺管消失區(qū)域60表示由于病變而使麻點圖案消失的異常區(qū)域。
[0046]如圖1(A)所示，當(dāng)手術(shù)醫(yī)生發(fā)現(xiàn)異常部(異常腺管50、腺管消失區(qū)域60)時，使攝像部200接近異常部，極力使攝像部200和異常部正面對。如圖1(B)所示，在正常部(正常腺管40)的麻點圖案中，規(guī)則的構(gòu)造以同樣的排列進行并列。
[0047]在本實施方式中，為了通過圖像處理來檢測這種正常部，事前登記或?qū)W習(xí)正常的麻點圖案構(gòu)造作為已知特性信息(預(yù)見信息)，通過匹配處理等來檢測正常部。另一方面，針對麻點圖案呈現(xiàn)不規(guī)整形狀或消失的異常部，例如將未檢測到正常的麻點圖案的區(qū)域視為異常部來進行分類。這樣，將麻點圖案分類為正常部和異常部，通過對該分類結(jié)果進行強調(diào)顯示，能夠防止異常部的遺漏并使診斷精度有質(zhì)的提高。
[0048]但是，在通過匹配處理等進行分類的情況下，在圖像的信息量較少的區(qū)域中，可能產(chǎn)生錯誤分類。具體而言，如圖1(A)所示，在使攝像部200接近被攝體而進行放大觀察的情況下，景深DA非常淺(例如幾毫米)。因此，如圖1(B)所示，容易在圖像內(nèi)產(chǎn)生非對焦的區(qū)域RB。在這種區(qū)域RB中，匹配處理的精度降低，所以，即使是本來應(yīng)該分類為正常部的區(qū)域，也可能誤分類為異常部并作為異常部進行顯示。
[0049]因此，如圖2所示，本實施方式的圖像處理裝置包括:圖像取得部305，其取得包含被攝體像的攝像圖像；距離信息取得部340，其取得基于攝像時的從攝像部200到被攝體的距離的距離信息；對焦判定部370，其根據(jù)該距離信息，判定在攝像圖像的像素或區(qū)域中被攝體是否處于對焦?fàn)顟B(tài)；分類部310，其進行被攝體的構(gòu)造物的分類處理，根據(jù)像素或區(qū)域中的判定的結(jié)果對分類處理的對象進行控制；以及強調(diào)處理部330，其根據(jù)該分類處理的結(jié)果進行攝像圖像的強調(diào)處理。
[0050]這樣，通過判定被攝體的局部的對焦/非對焦，能夠檢測由于在景深的范圍外而使分類結(jié)果的可靠性降低的區(qū)域RB。然后，通過根據(jù)該檢測結(jié)果進行分類處理，能夠根據(jù)可靠性高的分類結(jié)果進行強調(diào)顯示。
[0051]例如，在本實施方式中，作為分類處理的對象的控制，將判定為非對焦的像素或區(qū)域從匹配處理的對象中排除，將其分類為表示麻點圖案的分類不明的“不明”類型?；蛘撸c對焦判定的結(jié)果無關(guān)地進行匹配處理，將判定為非對焦的像素或區(qū)域重新分類為“不明”。通過這樣根據(jù)對焦判定來進行分類處理，能夠防止由于匹配處理的精度降低而導(dǎo)致的誤顯不O
[0052]這里，距離信息是將攝像圖像的各位置和該各位置處的與被攝體之間的距離對應(yīng)起來的信息，例如是將攝像部200的光軸方向上的距離與各像素對應(yīng)起來的距離映射圖。另外，如后所述，距離信息不限于距離映射圖，只要是根據(jù)從攝像部200到被攝體的距離而取得的各種信息即可。
[0053]并且，分類處理不限于麻點圖案的分類處理，只要是根據(jù)例如種類或狀態(tài)等對被攝體的構(gòu)造物進行分類的處理即可。所謂構(gòu)造物是指能夠通過對用戶提示分類結(jié)果來輔助用戶的觀察和診斷的物體，例如如果采用活體用的內(nèi)窺鏡裝置，則不限于麻點圖案，也可以是粘膜中產(chǎn)生的息肉、消化道的褶皺、血管、癌等病變。在分類處理中，分類為與它們的種類、例如正常/異常等的狀態(tài)或異常度對應(yīng)的劃分。
[0054]另外，作為具體的分類處理，可以假定各種分類處理。例如，可以如后述分類手法那樣，根據(jù)距離信息求出被攝體表面的形狀，對結(jié)合該形狀進行變形后的基準麻點圖案與圖像進行匹配處理，根據(jù)該匹配結(jié)果對圖像上的麻點圖案進行分類。或者，也可以不進行使用距離信息的變形，通過例如POC (Phase Only Correlat1n，相位限定相關(guān))等對基準麻點圖案與圖像進行匹配處理，對麻點圖案進行分類。
[0055]或者，也可以通過提取息肉或槽等特定構(gòu)造，對被攝體進行分類。例如，對立體圖像進行立體匹配處理而取得距離映射圖，通過對該距離映射圖進行低通濾波處理或形態(tài)處理等，取得被攝體的全局性的形狀信息。然后，從距