內(nèi)窺鏡系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及通過攝像單元對被檢體內(nèi)進行攝像的內(nèi)窺鏡系統(tǒng)。
【背景技術(shù)】
[0002]近年來，具有能夠插入到體腔內(nèi)等的插入部的內(nèi)窺鏡廣泛應(yīng)用于醫(yī)療領(lǐng)域等中。
[0003]另一方面，在插入到體腔內(nèi)的支氣管這樣的復(fù)雜分支的管腔臟器內(nèi)對管腔臟器的末梢側(cè)的目標(biāo)部位(的患部組織)進行檢查或基于處置器械的活檢和處置的情況下，僅利用插入時得到的內(nèi)窺鏡圖像有時很難將插入部前端導(dǎo)入到目標(biāo)部位附近。
[0004]因此，提出了用于支援將內(nèi)窺鏡的插入部前端導(dǎo)入到目標(biāo)部位附近的操作的系統(tǒng)或裝置。
[0005]例如，作為第I現(xiàn)有例的W02007-129493號公報的醫(yī)療圖像觀察支援裝置公開了具有CT圖像數(shù)據(jù)取入部、CT圖像數(shù)據(jù)存儲部、信息提取部、解剖學(xué)的信息數(shù)據(jù)庫、視點位置/視線方向設(shè)定部、管腔臟器圖像生成部、解剖學(xué)的名稱信息產(chǎn)生部、分支指定部、圖像合成顯示部和用戶I/F控制部的結(jié)構(gòu)。視點位置/視線方向設(shè)定部根據(jù)信息提取部提取出的管腔臟器的構(gòu)造信息，設(shè)定將視點鎖定在管腔臟器的大致中心軸上來觀察管腔臟器的外觀的視點位置和視線方向。
[0006]并且，作為第2現(xiàn)有例的日本特開2011-212244號公報的內(nèi)窺鏡系統(tǒng)公開了如下內(nèi)容:假想視野決定部根據(jù)由關(guān)注位置確定部確定的關(guān)注構(gòu)造物的位置、內(nèi)窺鏡的對應(yīng)位置和姿勢、由內(nèi)窺鏡視場角取得部取得的內(nèi)窺鏡的視場角，決定與由內(nèi)窺鏡位置姿勢檢測部檢測到的內(nèi)窺鏡的位置對應(yīng)的三維醫(yī)用圖像中的位置所配置的假想內(nèi)窺鏡的假想視野，以使得關(guān)注構(gòu)造物的位置包含在假想視野內(nèi)，并且與內(nèi)窺鏡的視野具有連續(xù)性，假想內(nèi)窺鏡圖像生成部輸入由三維醫(yī)用圖像形成部形成的三維醫(yī)用圖像，將內(nèi)窺鏡的對應(yīng)位置作為視點，生成具有所決定的假想視野的假想內(nèi)窺鏡圖像，顯示控制部使WS顯示器顯示所生成的假想內(nèi)窺鏡圖像。
[0007]在估計內(nèi)窺鏡的插入部前端的位置的情況下，通過比較由內(nèi)窺鏡的攝像單元進行攝像而得到的內(nèi)窺鏡圖像(實際圖像)和根據(jù)基于CT的管腔臟器的三維數(shù)據(jù)而生成的假想內(nèi)窺鏡圖像(假想圖像)來進行估計。因此，最初進行基于兩個圖像的比較的位置對齊。
[0008]然后，在位置的估計精度降低的情況下，需要進行用于設(shè)定為能夠確保規(guī)定的精度的狀態(tài)的再次位置對齊，但是，上述現(xiàn)有例存在進行再次位置對齊花費時間的缺點。
[0009]更具體進行說明時，例如第I現(xiàn)有例公開了在三維圖像上對內(nèi)窺鏡前端位置進行坐標(biāo)轉(zhuǎn)換并對與芯線之間的距離進行比較的觀點、以及對分支部的實際圖像和假想圖像進行比較的觀點，但是，沒有明確公開以適于進行再次位置對齊的信息量進行記錄。
[0010]并且，第2現(xiàn)有例也同樣沒有公開以適于進行再次位置對齊的信息量進行記錄。
[0011]這樣，在現(xiàn)有例中，由于多數(shù)情況下作為比較候選的假想圖像過多，所以，產(chǎn)生再次位置對齊花費時間的缺點。因此，期望記錄適于再次位置對齊的信息量的信息。并且，在現(xiàn)有例中，由于在視覺上很難確認進行記錄的條件，所以，期望以容易確認的條件進行記錄，提高針對用戶的便利性。
[0012]本發(fā)明是鑒于上述情況而完成的，其目的在于，提供以視覺上容易掌握的條件記錄適于進行再次位置對齊的信息量的信息的內(nèi)窺鏡系統(tǒng)。

【發(fā)明內(nèi)容】

[0013]用于解決課題的手段
[0014]本發(fā)明的一個方式的內(nèi)窺鏡系統(tǒng)具有:圖像記錄部，其記錄預(yù)先取得的被檢體中的三維圖像信息；管腔臟器提取部，其從所述三維圖像信息中提取規(guī)定的管腔臟器；假想內(nèi)窺鏡圖像生成部，其針對由所述管腔臟器提取部提取出的所述規(guī)定的管腔臟器的信息，生成從規(guī)定的視點位置以內(nèi)窺鏡的角度描繪的假想內(nèi)窺鏡圖像；攝像部，其設(shè)置在內(nèi)窺鏡內(nèi)，對所述規(guī)定的管腔臟器內(nèi)進行攝像；位置信息取得部，其取得所述內(nèi)窺鏡的插入部的前端的位置的信息作為位置信息；距離比較部，其將由所述管腔臟器提取部提取出的所述規(guī)定管腔臟器中的特征區(qū)域和從由所述位置信息取得部取得的所述內(nèi)窺鏡的插入部的前端的位置到所述特征區(qū)域的距離與設(shè)定距離進行比較；變化量檢測部，其在由所述攝像部進行攝像而得到的內(nèi)窺鏡圖像內(nèi)檢測與所述規(guī)定的管腔臟器有關(guān)的特征部的變化量；以及信息記錄部，其根據(jù)所述距離比較部的比較結(jié)果和所述變化量檢測部的檢測結(jié)果，記錄包含所述內(nèi)窺鏡的插入部的前端的位置和與該位置對應(yīng)的所述假想內(nèi)窺鏡圖像的位置和圖像信息。
【附圖說明】
[0015]圖1是示出本發(fā)明的第I實施方式的內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)的圖。
[0016]圖2A是示出支氣管的一部分和支氣管形狀圖像的圖。
[0017]圖2B是示出插入到支氣管內(nèi)并對支氣管徑進行經(jīng)時計算的狀況的圖。
[0018]圖2C是示出計算支氣管徑的位置和計算出的支氣管徑的大小的圖。
[0019]圖2D是示出在指示了進行再次位置對齊的情況下在監(jiān)視器中顯示的候選信息的圖。
[0020]圖3A是示出具有進行立體計測的立體內(nèi)窺鏡的內(nèi)窺鏡裝置的結(jié)構(gòu)的圖。
[0021]圖3B是示出進行立體計測的計測對象的位置在左右攝像元件的攝像面上成像的關(guān)系的說明圖。
[0022]圖3C是示出在監(jiān)視器畫面中顯示使用立體內(nèi)窺鏡對支氣管內(nèi)進行攝像而得到的圖像的一例的圖。
[0023]圖3D是用于根據(jù)圖3C的圖像計算支氣管徑的說明圖。
[0024]圖3E是用于通過使用了單一攝像裝置的立體計測來計算支氣管徑的說明圖。
[0025]圖4A是示出第I實施方式中的處理內(nèi)容的一例的流程圖。
[0026]圖4B是示出圖4A中的一部分的處理內(nèi)容的詳細情況的流程圖。
[0027]圖5是示出插入部的前端的位置與分支點之間的距離的計算(計測)例的圖。
[0028]圖6是示出計算(計測)支氣管徑的例子的圖。
[0029]圖7是示出針對插入部的前端的位置與支線之間的距離設(shè)定設(shè)定距離并進行插入的狀況的圖。
[0030]圖8是示出圖7的情況下的處理內(nèi)容的一部分的流程圖。
[0031]圖9A是示出利用最短距離來計算插入部的前端的位置與支線之間的距離的例子的圖。
[0032]圖9B是示出根據(jù)插入部的前端的位置計算作為最短距離的芯線上的位置與支線之間的距離的例子的圖。
[0033]圖9C是示出沿著三維數(shù)據(jù)的某個坐標(biāo)面計算距離的例子的圖。
[0034]圖10是監(jiān)視插入部的前端位置與芯線之間的距離并將插入部插入的情況的說明圖。
[0035]圖1lA是計算插入部的前端的位置與芯線之間的距離等的情況的說明圖。
[0036]圖1lB是利用與圖1lA不同的方法計算距離的情況的說明圖。
[0037]圖12是用戶設(shè)定設(shè)定區(qū)域并將插入部插入的情況的說明圖。
[0038]圖13是在插入到支氣管內(nèi)的情況下根據(jù)內(nèi)窺鏡圖像中的暗部的面積等監(jiān)視明亮度的變化量的動作的說明圖。
[0039]圖14是在插入到支氣管內(nèi)的情況下監(jiān)視內(nèi)窺鏡圖像中的支氣管的分支形狀的變化量的動作的說明圖。
[0040]圖15是示出在插入到支氣管內(nèi)的情況下監(jiān)視內(nèi)窺鏡圖像中的支線的長度的變化量的動作、以及移動插入部的前端的位置時的支線的長度的變化的狀況的圖。
[0041]圖16是示出在插入到支氣管內(nèi)的情況下監(jiān)視內(nèi)窺鏡圖像中的支線的角度的變化量的動作、以及支線的角度變化的狀況的圖。
[0042]圖17是在插入到支氣管內(nèi)的情況下監(jiān)視內(nèi)窺鏡圖像中的視野不良的產(chǎn)生情況的動作的說明圖。
[0043]圖18是在插入到支氣管內(nèi)的情況下監(jiān)視內(nèi)窺鏡圖像中的分支以外的變化的動作的說明圖。
[0044]圖19是計算內(nèi)窺鏡圖像中的抖動量的結(jié)構(gòu)的說明圖。
【具體實施方式】
[0045]下面，參照附圖對本發(fā)明的實施方式進行說明。
[0046](第I實施方式)
[0047]如圖1所示，本發(fā)明的第I實施方式的內(nèi)窺鏡系統(tǒng)I主要由以下部分構(gòu)成:內(nèi)窺鏡裝置4A，其具有插入到作為檢查對象的被檢體即患者中的作為規(guī)定的管腔臟器的支氣管2 (圖2A)內(nèi)的內(nèi)窺鏡3A ;以及插入支援裝置5，其與該內(nèi)窺鏡裝置4A —起使用，用于進行內(nèi)窺鏡3A的插入支援。
[0048]內(nèi)窺鏡裝置4A具有內(nèi)窺鏡3A、對該內(nèi)窺鏡3A供給照明光的光源裝置6、對搭載于內(nèi)窺鏡3A中的構(gòu)成攝像單元的攝像元件7進行信號處理的作為信號處理裝置的照相機控制單元(簡記為(XU) 8A、以及顯示由CXU 8A生成的內(nèi)窺鏡圖像的監(jiān)視器9A。
[0049]內(nèi)窺鏡3A具備具有撓性的細長的插入部(或內(nèi)窺鏡插入部)11以及設(shè)置在該插入部11的后端的操作部12，在插入部11的前端部13設(shè)有照明窗和觀察窗。在插入部11、操作部12內(nèi)貫穿插入有傳遞照明光的光導(dǎo)14，該光導(dǎo)14的入射端與光源裝置6連接，由光源裝置6內(nèi)的未圖示的光源燈或LED產(chǎn)生的照明光入射到入射端。由該光導(dǎo)14傳遞的照明光從安裝在照明窗上的出射端(前端面)向前方出射。
[0050]并且，在觀察窗上安裝有形成用于對被攝體進行成像的物鏡光學(xué)系統(tǒng)的物鏡15，在其成像位置配置有CCD等攝像元件7，通過物鏡15和攝像元件7形成作為攝像單元(或攝像部)的攝像裝置16，該攝像裝置16對作為供插入部11插入的規(guī)定的管腔臟器的支氣管2內(nèi)進行攝像。
[0051]攝像元件7經(jīng)由貫穿插入到插入部11、操作部12內(nèi)的信號線而與CXU 8A連接。CCU 8A通過其內(nèi)部的未圖示的圖像信號生成電路生成與攝像元件7的攝像面上形成的光學(xué)像對應(yīng)的攝像圖像的圖像信號，將該圖像信號輸出到監(jiān)視器9A。監(jiān)視器9A顯示圖像信號的圖像(動態(tài)圖像)作為內(nèi)窺鏡圖像(也稱為攝像圖像)。
[0052]在內(nèi)窺鏡3A的插入部11中，在前端部13的后端設(shè)有彎曲自如的彎曲部19，手術(shù)醫(yī)生通過進行使設(shè)置在操作部12上的彎曲操作旋鈕20旋轉(zhuǎn)的操作，能夠使彎曲部19向上下左右的任意方向彎曲。另外，彎曲操作旋鈕20具有用于向上下方向彎曲的上下方向用彎曲操作旋鈕、以及用于向左右方向彎曲的左右方向用彎曲操作旋鈕。
[0053]也可以代替圖1所示的內(nèi)窺鏡裝置4A而采用圖3A所示的內(nèi)窺鏡裝置4B。
[0054]內(nèi)窺鏡裝置4B具有能夠進行立體計測的立體內(nèi)窺鏡3B、光源裝置6、對設(shè)置在立體內(nèi)窺鏡3B中的兩個攝像元件7a、7b進行信號處理的CXU 8B、以及顯示由(XU8B生成的立體圖像信號的立體顯示用監(jiān)視器9B。
[0055]在立體內(nèi)窺鏡3B的插入部11的前端部13，在左右方向上分開規(guī)定的間隔配置有左右物鏡15a、15b，在各自的成像位置配置有左右攝像元件7a、7b，構(gòu)成具有左右攝像裝置16a、16b的立體攝像裝置16'。另外，左右物鏡15a、15b和左右攝像裝置16a、16b分別使用特性一致的部件。
[0056]并且，在插入部11內(nèi)貫穿插入有傳送來自光源裝置6的照明光的光導(dǎo)14。光導(dǎo)14的前端安裝在前端部13的照明窗上，從照明窗出射所傳送的照明光，對體腔內(nèi)的患部等被攝體進行照明。
[0057]對被照明的被攝體進行攝像的左右攝像元件7a、7b將光電轉(zhuǎn)換后的攝像信號輸入到CXU 8B內(nèi)的攝像控制部18a、18b，攝像控制部18a、18b生成左右圖像信號并將其輸出到立體圖像信號生成部18c。
[0058]立體圖像信號生成部18c根據(jù)左右圖像信號生成立體顯示用的圖像信號，并將其輸出到立體顯示用監(jiān)視器9B。然后，立體顯示用監(jiān)視器9B顯示立體顯示用的圖像信號，手術(shù)醫(yī)生等用戶能夠通過立體顯示用的圖像信號的顯示對被攝體進行立體觀察。
[0059]并且，由攝像控制部l8a、18b生成的左右圖像信號被輸入到計測運算部18d，使用左右圖像信號，通過利用了三角測量原理的立體計測，能夠計測進行攝像而得到的內(nèi)窺鏡圖像上的2點間的距離等。如后所述，例如能夠計測(計算)支氣管徑Da。由計測運算部18d計算出的支氣管徑Da等信息被輸出到圖像處理部25。另外，根據(jù)內(nèi)窺鏡圖像計測(計算)出的支氣管徑Da不是支氣管2的平均內(nèi)徑，而是根據(jù)管腔中的2點計算出的內(nèi)徑的值。因此，在支氣管2分支的分支區(qū)域附近，有時計測(計算)出大于支氣管的實際內(nèi)徑的支氣管徑Da。在圖3A中，由攝像控制部18a(或18b)生成的影像信號也輸出到圖像處理部25。
[0060]接著，使用圖3B對基于立體計測的計測對象的點(位置)的三維坐標(biāo)的求解方法進行說明。使用左右物鏡15a、15b，針對攝像元件7a、7b的攝像面的圖像，通過三角測量的方法，利用以下的⑴式?(3)式計算計測點60的三維坐標(biāo)(X、Y、Z)。其中，設(shè)實施了失真校正的左右圖像上的計測點61、62的二維坐標(biāo)分別為(XpYJ、(XK、YK)，設(shè)左右物鏡15a、15b的光學(xué)中心63、64之間的距離為D，設(shè)焦距為F，設(shè)t = D/(\-XK)。于是，以下的關(guān)系式成立。
[0061]X = tXXK+D/2…(I)
[0062]Y = tXYf.(2)
[0063]Z = tXF...(3)
[0064]如上所述，當(dāng)決定針對計測點60的圖像上的二維坐標(biāo)的計測點61、62后，使用作為參數(shù)的距離D和焦距F求出計測點60的三維坐標(biāo)。
[0065]通過求出幾個點的三維坐標(biāo)，能夠進行這幾個點中的2點間的距離、連接2點的線與I點的距離、面積、深度、表面形狀等各種計測。并且，還能夠求出從左物鏡15a的光學(xué)中心63或右物鏡15b的光學(xué)中心64到被攝體的距離(物體距離)。為了進行上述立體計測，使用表示內(nèi)窺鏡3B的前端部13和物鏡15a、15b的特性的光學(xué)數(shù)據(jù)。另外，在圖3B中，利用PL表示包含2個攝像面的面，并且，利用(\、Ok表示(圖3B中未顯示的物鏡15a、15b的光軸上的)右攝像面的中心。
[0066]作為根據(jù)立體圖像運算三維坐標(biāo)的方法，存在日本特開2011-027911號公報所示的方法等。
[0067]在本實施方式中，在計測后述支氣管徑Da的情況下，通過指定圖3B的攝像面上的與支氣管徑的一個計測點60對應(yīng)的點61和62和與另一個計測點對應(yīng)的點來計算所指定的2點間的支氣管徑Da。
[0068]使用圖3C和圖3D對該方法進行說明。示出在監(jiān)視器9B的顯示畫面71中顯示內(nèi)窺鏡圖像中的支氣管72以及作為該支氣管72的末梢側(cè)的下一個支氣管分支部73的狀況。相對于該畫面71的范圍，利用網(wǎng)格74所示的塊進行劃分，提取各塊內(nèi)的平均亮度為規(guī)定值以下的區(qū)。圖3D中標(biāo)注斜線示出這樣提取出的檢測塊75。
[0069]然后，將檢測塊7