手術(shù)用圖像系統(tǒng)以及圖像顯示方法
【專利摘要】一種手術(shù)用圖像系統(tǒng)(1)包括：三維攝像單元(5)，其通過(guò)拍攝部分(B)的圖像來(lái)獲取具有視差的兩個(gè)圖像；顯示單元(7)，其針對(duì)左眼和右眼二者分別顯示由所述三維攝像單元(5)獲取的兩個(gè)圖像，或者針對(duì)左眼和右眼二者顯示相同的圖像；檢測(cè)單元(9)，其檢測(cè)所述三維攝像單元(5)或?qū)λ霾糠?B)執(zhí)行處置的處置裝置(3)處于開(kāi)始對(duì)所述部分(B)的處置的操作狀態(tài)；以及顯示控制單元(10)，當(dāng)所述檢測(cè)單元(9)檢測(cè)到所述三維攝像單元(5)或所述處置裝置(3)處于開(kāi)始對(duì)所述部分(B)的處置的操作狀態(tài)時(shí)，該顯示控制單元從在所述顯示單元(7)上顯示一個(gè)圖像切換為在所述顯示單元(7)上顯示兩個(gè)圖像。
【專利說(shuō)明】手術(shù)用圖像系統(tǒng)以及圖像顯示方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及手術(shù)用圖像系統(tǒng)以及圖像顯示方法。

【背景技術(shù)】
[0002]傳統(tǒng)上，已知有這樣的立體內(nèi)窺鏡裝置，其在通過(guò)經(jīng)由通向插入部的末端的前方的通道引入的處置裝置(treatment device)執(zhí)行處置的同時(shí)，顯示通過(guò)設(shè)置在裝置的插入部的末端的多個(gè)相機(jī)獲取的對(duì)象的視差圖像，以使得觀察者能夠立體地觀察對(duì)象(例如，參見(jiàn)專利文獻(xiàn)I)。
[0003]這種立體內(nèi)窺鏡裝置使得能夠在正常狀態(tài)下通過(guò)視差圖像來(lái)進(jìn)行立體觀察，并在檢測(cè)到處置裝置被插入到通道中的情況下提供視差圖像內(nèi)出現(xiàn)設(shè)置在最近距離處的處置裝置的一部分范圍的二維圖像。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)I日本特許第4170042號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0007]技術(shù)問(wèn)題
[0008]專利文獻(xiàn)I的立體內(nèi)窺鏡裝置需要手術(shù)者在處置裝置未被引入體內(nèi)的狀態(tài)下一直通過(guò)視差圖像執(zhí)行立體觀察，在包括搜索患部在內(nèi)的整個(gè)手術(shù)過(guò)程持續(xù)很長(zhǎng)時(shí)間的情況下，不利地引起伴隨立體觀察的眼睛疲勞。
[0009]鑒于上述情況而做出本發(fā)明，本發(fā)明的目的在于提供一種能夠減輕手術(shù)中的疲勞的手術(shù)用圖像系統(tǒng)以及利用該系統(tǒng)的圖像顯示方法。
[0010]問(wèn)題的解決方案
[0011]為了實(shí)現(xiàn)上述目的，本發(fā)明提供以下解決方案。
[0012]本發(fā)明的一方面提供了一種手術(shù)用圖像系統(tǒng)，該手術(shù)用圖像系統(tǒng)包括:三維攝像單元，其通過(guò)拍攝手術(shù)目標(biāo)部的圖像來(lái)獲取具有視差的兩個(gè)圖像；顯示單元，其分別針對(duì)左眼和右眼二者顯示由所述三維攝像單元獲取的兩個(gè)圖像，或者針對(duì)左眼和右眼二者顯示相同的圖像；操作狀態(tài)檢測(cè)單元，其檢測(cè)所述三維攝像單元或?qū)λ鍪中g(shù)目標(biāo)部執(zhí)行處置的處置裝置是否處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)；以及顯示控制單元，當(dāng)所述操作狀態(tài)檢測(cè)單元檢測(cè)到所述三維攝像單元或所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)時(shí)，該顯示控制單元從在所述顯示單元上顯示相同的一個(gè)圖像切換為在所述顯示單元上顯示兩個(gè)圖像。
[0013]根據(jù)這一方面，通過(guò)三維攝像單元拍攝手術(shù)目標(biāo)部，并且獲取具有視差的兩個(gè)圖像。在手術(shù)者未操作三維攝像單元或?qū)κ中g(shù)目標(biāo)部執(zhí)行處置的處置裝置的狀態(tài)下，顯示控制單元控制顯示單元以在左眼和右眼二者上顯示從三維攝像單元所獲取的圖像獲取的相同圖像。這使得手術(shù)者能夠通過(guò)對(duì)眼睛的負(fù)擔(dān)較小的二維圖像來(lái)觀察手術(shù)目標(biāo)部。
[0014]另一方面，在手術(shù)者操作處置裝置或三維攝像單元并且通過(guò)操作狀態(tài)檢測(cè)單元檢測(cè)到處置裝置或三維攝像單元處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)的情況下，顯示控制單元控制控制單元以分別針對(duì)左眼和右眼二者顯示由三維攝像單元獲取的兩個(gè)圖像。這使得手術(shù)者能夠在利用立體圖像獲取手術(shù)目標(biāo)部的深度方向上的信息的同時(shí)，通過(guò)處置裝置適當(dāng)?shù)貙?duì)手術(shù)目標(biāo)部執(zhí)行處置。
[0015]換言之，根據(jù)這一方面，由于僅在實(shí)際對(duì)手術(shù)目標(biāo)部執(zhí)行處置的情況下顯示立體圖像，在其它情況下顯示二維圖像。因此，手術(shù)者無(wú)需長(zhǎng)時(shí)間連續(xù)觀察立體圖像，可減輕手術(shù)中的疲勞。
[0016]在上述方面中，操作狀態(tài)檢測(cè)單元可被配置為檢測(cè)處置裝置的位移、速度或加速度。
[0017]利用這種配置，可容易地檢測(cè)處置裝置是否處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。換言之，當(dāng)處置裝置移位時(shí)，當(dāng)處置裝置按照預(yù)定大小或更高的速度移動(dòng)時(shí)，或者預(yù)定值或更大的加速度作用于處置裝置，這是由于手術(shù)者為了開(kāi)始對(duì)手術(shù)目標(biāo)部的處置而進(jìn)行的操作。在這種情況下，通過(guò)切換為利用立體圖像進(jìn)行觀察，可通過(guò)處置裝置對(duì)手術(shù)目標(biāo)部執(zhí)行適當(dāng)?shù)奶幹谩?br> [0018]另外，在上述方面中，當(dāng)操作狀態(tài)檢測(cè)單元對(duì)由三維攝像單元獲取的任何圖像進(jìn)行處理而在所述圖像內(nèi)檢測(cè)到處置裝置時(shí)，操作狀態(tài)檢測(cè)單元可確定處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。
[0019]利用這種配置，在不設(shè)置用于檢測(cè)處置裝置的操作狀態(tài)等的單獨(dú)的傳感器的情況下，可從由三維攝像單元獲取的圖像檢測(cè)處置裝置的操作狀態(tài)。
[0020]另外，在檢測(cè)上述處置裝置的位移、速度或加速度的配置中，操作狀態(tài)檢測(cè)單元可對(duì)由三維攝像單元獲取的任何圖像進(jìn)行處理而計(jì)算所述圖像內(nèi)的處置裝置的位移、速度或加速度，并且當(dāng)所計(jì)算出的位移、速度或加速度超過(guò)預(yù)定閾值時(shí)，確定處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。
[0021]利用這種配置，可在對(duì)手術(shù)目標(biāo)部執(zhí)行處置時(shí)在處置裝置在圖像內(nèi)移動(dòng)的情況下實(shí)現(xiàn)立體觀察。
[0022]另外，在上述方面中，操作狀態(tài)檢測(cè)單元可被設(shè)置在操作處置裝置的操作單元上，并檢測(cè)對(duì)操作單元的接觸或操作單元的操作。
[0023]利用這種配置，由于檢測(cè)到最初傳達(dá)了手術(shù)者的意圖的對(duì)操作單元的接觸或操作，可快速執(zhí)行從二維圖像至立體圖像的切換。
[0024]另外，在具有操作單元的上述配置中，操作單元可被設(shè)置在主裝置上，該主裝置被設(shè)置在遠(yuǎn)離處置裝置的位置處并通過(guò)遠(yuǎn)程操作來(lái)對(duì)處置裝置進(jìn)行操作。
[0025]利用這種配置，在找到將進(jìn)行處置的患部的情況下，手術(shù)者甚至可在通過(guò)從遠(yuǎn)處觀察來(lái)執(zhí)行處置時(shí)利用二維圖像觀察手術(shù)目標(biāo)部，并且設(shè)置在主裝置中的操作單元被操作，檢測(cè)對(duì)操作單元的接觸或操作以將顯示切換為立體圖像。因此，可通過(guò)具有深度的手術(shù)目標(biāo)部的圖像利用處置裝置執(zhí)行適當(dāng)處置。
[0026]在上述方面中，操作狀態(tài)檢測(cè)單元可檢測(cè)操作單元的位移量或位移方向，并且在所檢測(cè)到的位移量超過(guò)預(yù)定閾值的情況下或者在檢測(cè)到位移方向是預(yù)定位移方向的情況下，確定處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。
[0027]利用這種配置，可通過(guò)操作單元的位移量或位移方向來(lái)更可靠地確定手術(shù)者是否開(kāi)始對(duì)手術(shù)目標(biāo)部的處置。
[0028]另外，在上述方面中，操作狀態(tài)檢測(cè)單元可被設(shè)置在用于使得處置裝置能夠從體外插入體內(nèi)的套管(trocar)上，并且當(dāng)處置裝置的末端經(jīng)由所述套管插入體內(nèi)時(shí)，確定處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。
[0029]利用這種配置，可通過(guò)檢測(cè)處置裝置經(jīng)由套管插入體內(nèi)來(lái)更可靠地確定處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的準(zhǔn)備狀態(tài)。
[0030]另外，在上述方面中，操作狀態(tài)檢測(cè)單元可測(cè)量處置裝置的末端位置與手術(shù)目標(biāo)部之間的距離，并且當(dāng)所測(cè)量的距離小于預(yù)定閾值時(shí)，確定處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。
[0031]利用這種配置，當(dāng)手術(shù)者打算對(duì)手術(shù)目標(biāo)部執(zhí)行處置時(shí)，將處置裝置靠近手術(shù)目標(biāo)部設(shè)置。因此，可測(cè)量手術(shù)目標(biāo)部與處置裝置的末端之間的距離，并且在所述距離變得小于預(yù)定閾值的情況下，可更可靠地檢測(cè)處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。
[0032]在上述方面中，三維攝像單元可包括變焦光學(xué)系統(tǒng)，操作狀態(tài)檢測(cè)單元可檢測(cè)所述變焦光學(xué)系統(tǒng)的倍率，并且當(dāng)檢測(cè)到所述倍率超過(guò)預(yù)定閾值時(shí)，確定處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。
[0033]利用這種配置，當(dāng)手術(shù)者將要對(duì)手術(shù)目標(biāo)部執(zhí)行處置時(shí)，由于手術(shù)者增大變焦光學(xué)系統(tǒng)的倍率以對(duì)手術(shù)目標(biāo)部執(zhí)行更詳細(xì)的觀察，當(dāng)變焦光學(xué)系統(tǒng)的倍率變得大于預(yù)定閾值時(shí)，三維攝像單元可更可靠地檢測(cè)處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)。
[0034]在上述方面中，存儲(chǔ)單元存儲(chǔ)關(guān)于手術(shù)者的哪一只眼是主視眼的主視眼信息，并且在未檢測(cè)到三維攝像單元或處置裝置處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)的情況下，顯示控制單元基于存儲(chǔ)在所述存儲(chǔ)單元中的主視眼信息在所述顯示單元上在所述主視眼一側(cè)顯示圖像。
[0035]利用這種配置，在從二維圖像至立體圖像切換顯示的情況下，可防止手術(shù)目標(biāo)部(關(guān)注焦點(diǎn))的范圍偏移并且手術(shù)者可執(zhí)行處置而不會(huì)有不適感。
[0036]本發(fā)明的另一方面提供了一種圖像顯示方法，該方法包括以下步驟:檢測(cè)對(duì)手術(shù)目標(biāo)部執(zhí)行處置的處置裝置或者通過(guò)拍攝手術(shù)目標(biāo)部的圖像來(lái)獲取具有視差的兩個(gè)圖像的攝像單元是否處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)，并且當(dāng)檢測(cè)到處置裝置或攝像單元不處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)時(shí)，針對(duì)左眼和右眼二者僅顯示由攝像單元獲取的圖像中的一個(gè)，當(dāng)檢測(cè)到處置裝置或攝像單元處于開(kāi)始對(duì)手術(shù)目標(biāo)部的處置的操作狀態(tài)時(shí)，分別針對(duì)左眼和右眼二者顯示由攝像單元獲取的兩個(gè)圖像。
[0037]本發(fā)明的有益效果
[0038]根據(jù)本發(fā)明，實(shí)現(xiàn)了能夠減輕手術(shù)中的疲勞的效果。

【專利附圖】

【附圖說(shuō)明】
[0039]圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施方式的手術(shù)用圖像系統(tǒng)的總體配置的示意圖。
[0040]圖2示出說(shuō)明使用圖1的手術(shù)用圖像系統(tǒng)的根據(jù)本發(fā)明的一個(gè)實(shí)施方式的圖像顯示方法的流程圖。
[0041]圖3是示出作為圖1的手術(shù)用圖像系統(tǒng)的變型示出的處置裝置的末端處設(shè)置的識(shí)別標(biāo)記的局部放大圖。
[0042]圖4示出通過(guò)圖1的手術(shù)用圖像系統(tǒng)的圖像顯示方法的改型的流程圖。
[0043]圖5是示出處置裝置的操作單元的局部放大圖，其示出接觸傳感器(圖1的手術(shù)用圖像系統(tǒng)的操作狀態(tài)檢測(cè)單元的改型)。
[0044]圖6是示出具有圖5的接觸傳感器的手術(shù)用圖像系統(tǒng)的改型的示圖。
[0045]圖7是手術(shù)用圖像系統(tǒng)的總體配置的示意圖，該系統(tǒng)是圖1的手術(shù)用圖像系統(tǒng)的改型并包括主裝置和從裝置。
[0046]圖8是示出手術(shù)用圖像系統(tǒng)的總體配置的示意圖，該手術(shù)用圖像系統(tǒng)測(cè)量處置裝置與手術(shù)目標(biāo)部之間的距離，并且是圖1的手術(shù)用圖像系統(tǒng)的另一改型。
[0047]圖9是手術(shù)用圖像系統(tǒng)的總體配置的示意圖，該手術(shù)用圖像系統(tǒng)檢測(cè)處置裝置插入套管，并且是圖1的手術(shù)用圖像系統(tǒng)的另一改型。
[0048]圖10是手術(shù)用圖像系統(tǒng)的總體配置的示意圖，該手術(shù)用圖像系統(tǒng)檢測(cè)處置裝置的加速度，并且是圖1的手術(shù)用圖像系統(tǒng)的另一改型。
[0049]圖11是手術(shù)用圖像系統(tǒng)的總體配置的示意圖，該手術(shù)用圖像系統(tǒng)檢測(cè)三維攝像單元的變焦倍率，并且是圖1的手術(shù)用圖像系統(tǒng)的另一改型。
[0050]圖12是手術(shù)用圖像系統(tǒng)的總體配置的示意圖，該手術(shù)用圖像系統(tǒng)在主視眼一側(cè)顯示二維圖像作為二維圖像，并且是圖1的手術(shù)用圖像系統(tǒng)的另一改型。

【具體實(shí)施方式】
[0051]以下將參照附圖描述根據(jù)本發(fā)明的一個(gè)實(shí)施方式的手術(shù)用圖像系統(tǒng)I。
[0052]如圖1所示，根據(jù)本實(shí)施方式的手術(shù)用圖像系統(tǒng)I是與從體外經(jīng)由套管2插入體內(nèi)的處置裝置3 —起使用的系統(tǒng)，并且包括經(jīng)由套管4從體外插入體內(nèi)的三維攝像單元5、通過(guò)處理由三維攝像單元5獲取的圖像信號(hào)來(lái)輸出并顯示圖像的圖像處理單元6以及顯示由圖像處理單元6輸出的圖像的顯示單元7。在圖1中，標(biāo)號(hào)A指代體表組織，標(biāo)號(hào)B指代位于體內(nèi)的手術(shù)目標(biāo)部。
[0053]三維攝像單元5是棒狀觀測(cè)儀器(scope)并能夠插入到套管4中，在其末端上設(shè)置有可獲取具有視差的兩個(gè)圖像的相機(jī)(圖中未示出)。
[0054]圖像處理單元6包括從由三維攝像單元5獲取的圖像信號(hào)生成圖像的圖像形成單元8、通過(guò)處理由圖像形成單元8形成的圖像來(lái)檢測(cè)處置裝置3的操作狀態(tài)的操作狀態(tài)檢測(cè)單元9、根據(jù)操作狀態(tài)檢測(cè)單元9的檢測(cè)結(jié)果切換輸出至顯示單元7的圖像的顯示控制單元10。
[0055]操作狀態(tài)檢測(cè)單元9包括在從圖像形成單元8發(fā)送來(lái)的圖像內(nèi)提取特征的特征提取單元11、存儲(chǔ)處置裝置3的特征的處置裝置信息存儲(chǔ)單元12、將由特征提取單元11提取的特征與存儲(chǔ)在處置裝置信息存儲(chǔ)單元12中的處置裝置3的特征進(jìn)行比較的確定單元13。
[0056]例如，特征提取單元11被配置為通過(guò)處理圖像來(lái)在圖像內(nèi)提取處置裝置3的形狀的特征。另外，處置裝置信息存儲(chǔ)單元12存儲(chǔ)處置裝置3的形狀的各種特征。確定單元13將所提取的形狀的特征與所存儲(chǔ)的形狀的特征進(jìn)行比較，并確定它們是否彼此一致(換言之，處置裝置3是否存在于圖像內(nèi))。
[0057]例如，顯示單元7是安裝在手術(shù)者的頭部上的頭戴型顯示裝置，并且具有分別被設(shè)置為與左眼和右眼相對(duì)的兩個(gè)顯示器(圖中未示出)。
[0058]在確定單元13確定處置裝置3存在于圖像內(nèi)的情況下，顯示控制單元10輸出由圖像形成單元8形成的具有視差的兩個(gè)圖像，使得這兩個(gè)圖像被分別顯示在顯示單元7的右眼顯示器和左眼顯示器上。顯示單元7可通過(guò)針對(duì)左圖像和右圖像分別獨(dú)立地顯示具有視差的兩個(gè)圖像來(lái)向手術(shù)者顯示立體圖像。
[0059]另一方面，在確定單元13確定處置裝置3不存在于圖像內(nèi)的情況下，顯示控制單元10將由圖像形成單元8形成的具有視差的兩個(gè)圖像中的任一個(gè)輸出給顯示單元7的右眼顯示器和左眼顯示器，使得這兩個(gè)圖像被同時(shí)或交替地顯示。顯示單元7被配置為通過(guò)在左右顯示相同的圖像來(lái)向手術(shù)者顯示二維圖像。
[0060]以下將描述通過(guò)如上所述配置的根據(jù)本實(shí)施方式的手術(shù)用圖像系統(tǒng)I的圖像顯示方法。
[0061]為了利用根據(jù)本實(shí)施方式的手術(shù)用圖像系統(tǒng)I執(zhí)行手術(shù)，如圖1所示，經(jīng)由穿透患者的體表組織A安裝的套管4將三維攝像單元5從體外插入體內(nèi)，并將三維攝像單元5的末端設(shè)置為插入體內(nèi)，以與體內(nèi)的手術(shù)目標(biāo)部B相對(duì)。
[0062]如圖2所示，通過(guò)將裝置設(shè)定為從顯示控制單元10輸出二維圖像作為輸出圖像(步驟SI)，開(kāi)始通過(guò)三維攝像單元5拍攝手術(shù)目標(biāo)部B的圖像(步驟S2)。當(dāng)通過(guò)三維攝像單元5獲取圖像信號(hào)時(shí)，所獲取的具有視差的圖像信號(hào)被發(fā)送給圖像處理單元6的圖像形成單元8，在那里形成具有視差的兩個(gè)圖像。由于顯示控制單元10被設(shè)定為輸出二維圖像，所以顯示單元7的右顯示器和左顯示器同時(shí)或交替地顯示所獲取的具有視差的兩個(gè)圖像中的任一個(gè)(步驟S3)。這使得手術(shù)者能夠利用二維圖像來(lái)觀察手術(shù)目標(biāo)部B。
[0063]當(dāng)通過(guò)圖像形成單元8形成具有視差的圖像時(shí)，圖像中的一個(gè)被發(fā)送給操作狀態(tài)檢測(cè)單元9。在操作狀態(tài)檢測(cè)單元9中，在特征提取單元11中處理發(fā)送來(lái)的圖像。由此，提取圖像內(nèi)的特征(步驟S4)，并且將所提取的特征發(fā)送給確定單元13。在確定單元13中，將從特征提取單元11發(fā)送來(lái)的特征以及存儲(chǔ)在處置裝置信息存儲(chǔ)單元12中的處置裝置3的各種特征進(jìn)行比較，以確定從圖像內(nèi)提取的特征是否指示處置裝置3 (步驟S5)。
[0064]作為確定的結(jié)果，在確定處置裝置3存在于圖像內(nèi)的情況下，顯示控制單元10控制顯示單元7以在被設(shè)置為與左眼和右眼二者相對(duì)的顯示單元7的兩個(gè)顯示器上顯示從圖像形成單元8發(fā)送來(lái)的具有視差的兩個(gè)圖像(步驟S7)。結(jié)果，手術(shù)者可利用立體圖像觀察手術(shù)目標(biāo)部B。
[0065]處置裝置3出現(xiàn)在圖像內(nèi)表示手術(shù)者意圖操作處置裝置3以開(kāi)始對(duì)目標(biāo)部B的處置操作。通過(guò)在此時(shí)將顯示在顯示單元7上的圖像切換為立體圖像，可向手術(shù)者提供立體圖像，手術(shù)者可通過(guò)該立體圖像容易地獲得關(guān)于執(zhí)行處置的深度感。
[0066]相反，在圖像內(nèi)沒(méi)有處置裝置3的情況下，手術(shù)者不打算通過(guò)操作處置裝置3來(lái)開(kāi)始處置，可向手術(shù)者提供二維圖像(提供較少深度感)(步驟S6)。在確定觀察是否結(jié)束，并且觀察未結(jié)束的情況下，重復(fù)從步驟S2開(kāi)始的處理(步驟S8)。
[0067]這樣，根據(jù)依據(jù)本實(shí)施方式的手術(shù)用圖像系統(tǒng)1，可使得手術(shù)者能夠在處置裝置3還未出現(xiàn)在圖像內(nèi)的狀態(tài)下利用二維圖像來(lái)觀察手術(shù)目標(biāo)部B，并且在處置裝置3出現(xiàn)在圖像內(nèi)時(shí)利用立體圖像來(lái)觀察手術(shù)目標(biāo)部B。這種配置的有益效果在于:即使手術(shù)持續(xù)很長(zhǎng)時(shí)間，也防止手術(shù)者長(zhǎng)時(shí)間連續(xù)觀察立體圖像，并減輕手術(shù)者的疲勞。
[0068]在本實(shí)施方式中，利用特征提取單元11提取處置裝置3的形狀的特征，在確定單元13中將這些特征與存儲(chǔ)在處置裝置信息存儲(chǔ)單元12中的處置裝置3的形狀的各種特征進(jìn)行比較，確定處置裝置3是否存在于圖像內(nèi)。然而，代替這種配置，可將結(jié)構(gòu)配置為使得如圖3所示，可在處置裝置3的末端附近附著識(shí)別標(biāo)記14 (例如，條形碼或二維條形碼)，特征提取單元11可提取識(shí)別標(biāo)記14，并將識(shí)別標(biāo)記14和識(shí)別信息彼此關(guān)聯(lián)地存儲(chǔ)在處置裝置信息存儲(chǔ)單元12中。
[0069]利用這種配置，與通過(guò)識(shí)別處置裝置3的形狀的特征以對(duì)它們進(jìn)行比較來(lái)執(zhí)行比較的情況相比，可更容易地確定圖像內(nèi)的處置裝置3的存在。
[0070]另外，通過(guò)為識(shí)別標(biāo)記14 (例如，條形碼)添加關(guān)聯(lián)信息，除了處置裝置3的識(shí)別信息以外，可將另一關(guān)聯(lián)信息(例如，處置裝置3的使用狀態(tài)等)彼此關(guān)聯(lián)地存儲(chǔ)。
[0071]另外，作為識(shí)別標(biāo)記14，可使用體內(nèi)不存在的顏色，以代替條形碼。
[0072]另外，在本實(shí)施方式中，作為檢測(cè)處置裝置3開(kāi)始處置手術(shù)目標(biāo)部B的操作狀態(tài)的操作狀態(tài)檢測(cè)單元9，檢測(cè)處置裝置3是否存在于圖像內(nèi)。然而，代替這種配置，可檢測(cè)圖像內(nèi)提取的處置裝置3是否移動(dòng)。
[0073]在這種情況下，如圖4所示，當(dāng)在步驟S5中檢測(cè)到處置裝置3時(shí)，存儲(chǔ)圖像內(nèi)的處置裝置3的位置(步驟S10)，并且在已經(jīng)存儲(chǔ)處置裝置3的位置的情況下，計(jì)算新存儲(chǔ)的位置的移動(dòng)量(步驟S11)。確定計(jì)算出的移動(dòng)量是否超出預(yù)定閾值(步驟S12)，系統(tǒng)在移動(dòng)量超過(guò)閾值的情況下切換為顯示立體圖像(步驟S7)，在移動(dòng)量等于或小于閾值的情況下切換為顯示二維圖像(步驟S6)。
[0074]在圖像中，在處置裝置3移動(dòng)的情況下，更明顯的是，處置裝置3處于手術(shù)者開(kāi)始處置手術(shù)目標(biāo)部B的操作狀態(tài)。通過(guò)檢測(cè)這種狀態(tài)并切換為顯示立體圖像，可使得更容易獲得關(guān)于執(zhí)行處置的深度感并使處置變得容易。
[0075]另外，在本實(shí)施方式中，通過(guò)處理所獲取的圖像，根據(jù)處置裝置3的存在或位移，在立體圖像和二維圖像之間切換顯示。然而，代替這種配置，如圖5所示，通過(guò)將接觸傳感器15設(shè)置到用于對(duì)處置裝置3進(jìn)行操作的操作單元3a，并利用接觸傳感器15檢測(cè)手術(shù)者已握住操作單元3a，系統(tǒng)可檢測(cè)處置裝置3轉(zhuǎn)向開(kāi)始處置手術(shù)目標(biāo)部B的操作狀態(tài)。在這種情況下，如圖6所示，接觸傳感器15的輸出可被直接輸入到顯示控制單元10，并且在通過(guò)接觸傳感器15檢測(cè)到對(duì)操作單元3a的接觸時(shí)，系統(tǒng)可切換為顯示立體圖像。
[0076]利用這種配置，可不再需要對(duì)處置裝置3的形狀的圖像處理或識(shí)別，并且可更容易且更直接地檢測(cè)處置裝置3處于開(kāi)始處置手術(shù)目標(biāo)部B的操作狀態(tài)。
[0077]可代替接觸傳感器采用壓力傳感器。在這種情況下，系統(tǒng)可根據(jù)施加到壓力傳感器的壓力值在顯示立體圖像和顯示二維圖像之間切換。
[0078]作為處置裝置3的操作單元3a，除了如圖6所示連接到處置裝置3以直接操作處置裝置3的操作單元3a以外，可如圖7所示在主從方案的系統(tǒng)上安裝處置裝置3和處置裝置的操作單元(圖中未示出)。在這種情況下，處置裝置3被安裝在從側(cè)的機(jī)械手(從機(jī)械手)16上，操作單元被安裝在主側(cè)的機(jī)械手(主機(jī)械手)17上。在這種配置中，接觸傳感器15可被設(shè)置到操作單元。
[0079]另外，在這種情況下，在手術(shù)者操作主機(jī)械手17上的操作部的情況下，從機(jī)械手16進(jìn)行操作以將處置裝置3設(shè)定在開(kāi)始處置的操作狀態(tài)。因此，系統(tǒng)可通過(guò)經(jīng)由接觸傳感器15檢測(cè)對(duì)主機(jī)械手17的操作單元的操作來(lái)切換圖像顯示。
[0080]在圖7所示的示例中，在設(shè)置有患者C所躺的手術(shù)臺(tái)18的從側(cè)，兩個(gè)處置裝置3分別安裝在兩個(gè)從機(jī)械手16上。三維攝像單元5安裝在從側(cè)的觀察機(jī)械手19上。
[0081]在主側(cè)，手術(shù)者對(duì)其執(zhí)行操作的主機(jī)械手17、用于向手術(shù)者提供圖像的顯示單元7 (例如，頭戴式顯示器)、檢測(cè)手術(shù)者的視野所在的方向的數(shù)字化儀20以及檢測(cè)手術(shù)者對(duì)操作單元的操作的接觸傳感器15被設(shè)置在主機(jī)械手17上。
[0082]在主側(cè)與從側(cè)之間設(shè)置有控制存儲(chǔ)器21?？刂拼鎯?chǔ)器21包括基于來(lái)自主機(jī)械手17的信號(hào)控制從機(jī)械手16和處置裝置3的處置裝置控制單元22、基于來(lái)自數(shù)字化儀20的信號(hào)控制觀察機(jī)械手19的觀察部控制單元23、以及圖像控制單元6，圖像控制單元6包括通過(guò)處理由三維攝像單元5獲取的圖像信號(hào)來(lái)生成具有視差的兩個(gè)圖像的圖像形成單元8以及根據(jù)來(lái)自接觸傳感器15的信號(hào)在立體圖像和二維圖像之間切換圖像并將切換的圖像輸出給顯示單元7的顯示控制單元10。
[0083]盡管以接觸傳感器15為例對(duì)檢測(cè)手術(shù)者對(duì)主機(jī)械手17的操作單元的操作的傳感器進(jìn)行了說(shuō)明，但是代替這種配置，也可采用下述傳感器。
[0084]壓力傳感器:檢測(cè)握住操作單元的壓力，系統(tǒng)在壓力大于閾值的情況下切換為立體圖像，在壓力小于閾值的情況下切換為二維圖像。
[0085]持握手指?jìng)鞲衅?針對(duì)各個(gè)持握手指設(shè)置接觸傳感器15，系統(tǒng)在三根手指與傳感器接觸的情況下切換為顯示立體圖像，在兩根手指與傳感器接觸的情況下切換為顯示二維圖像。
[0086]主機(jī)械手17的臂靠(arm rest)上的接觸傳感器(圖中未示出):系統(tǒng)在手術(shù)者將其肘部放在該臂靠上以便操作主機(jī)械手17的情況下切換為顯示立體圖像，在其肘部未放在該臂靠上的情況下切換為顯示二維圖像。
[0087]用于檢測(cè)操作單元上的特定操作模式的傳感器:例如，系統(tǒng)檢測(cè)操作單元被連續(xù)操作兩次的操作模式，并在每次檢測(cè)到該模式時(shí)在立體圖像和二維圖像之間切換。或者，可檢測(cè)處置的正常操作上未執(zhí)行的操作模式。
[0088]用于檢測(cè)主機(jī)械手17的行程(stroke)的傳感器:系統(tǒng)在行程超過(guò)閾值的情況下切換為顯示立體圖像，在行程為閾值或更小的情況下切換為顯示二維圖像。在行程方向是使處置裝置3更靠近手術(shù)目標(biāo)部B的方向的情況下，圖像可被切換為立體圖像。
[0089]另外，可在兩個(gè)處置裝置3上設(shè)置接觸傳感器(圖中未示出)，并且在每次檢測(cè)到接觸時(shí)切換圖像。
[0090]另外，在圖1中，確定單元13確定圖像內(nèi)是否存在處置裝置3。然而，代替這種配置，在圖像內(nèi)提取處置裝置3之后，可基于具有視差的兩個(gè)圖像計(jì)算(立體測(cè)量)在圖像內(nèi)的深度方向上處置裝置3和手術(shù)目標(biāo)部B的位置關(guān)系，并且可確定處置裝置3的末端與手術(shù)目標(biāo)部B之間的距離是否超過(guò)閾值。作為確定的結(jié)果，系統(tǒng)可在它們彼此靠近超過(guò)閾值的情況下切換為顯示立體圖像，或者可在所述距離為閾值或更大時(shí)切換為二維圖像。
[0091]例如，立體測(cè)量方法可使用通過(guò)公知的多邊形或線框來(lái)獲取三維信息的方法(如日本特開(kāi)2003-6616號(hào)公報(bào)中所公開(kāi)的)。另外，可在處置裝置3的末端設(shè)置可容易識(shí)別的標(biāo)記。通過(guò)如上配置，可計(jì)算標(biāo)記與手術(shù)目標(biāo)部B之間在深度方向上的位置關(guān)系，而無(wú)需識(shí)別處置裝置3的形狀。
[0092]在上文中，基于由三維攝像單元5獲取的具有視差的兩個(gè)圖像檢測(cè)手術(shù)目標(biāo)部B的位置。然而，代替這種配置，如圖8所示，系統(tǒng)可利用通過(guò)MRI設(shè)備24等預(yù)先測(cè)量的手術(shù)目標(biāo)部B的位置信息來(lái)計(jì)算處置裝置3與手術(shù)目標(biāo)部B之間的距離。在圖8所示的示例中，陀螺儀傳感器25被設(shè)置在處置裝置3和三維攝像單元5中，陀螺儀傳感器25的輸出和來(lái)自MRI設(shè)備24的輸出被輸入到確定單元13。確定單元13基于由陀螺儀傳感器25檢測(cè)的處置裝置3的位置以及從MRI設(shè)備24輸入的手術(shù)目標(biāo)部B的位置來(lái)計(jì)算處置裝置3與手術(shù)目標(biāo)部B之間的距離，并將該距離與閾值進(jìn)行比較以切換圖像的顯示。
[0093]另外，如圖9所示，傳感器26檢測(cè)處置裝置3經(jīng)過(guò)套管2處以將處置裝置3插入體內(nèi)，在通過(guò)傳感器26檢測(cè)到處置裝置3經(jīng)過(guò)的情況下，顯示控制單元10可將顯示單元7上顯示的圖像從二維圖像切換為立體圖像。
[0094]另外，如圖10所示，加速度傳感器27可被設(shè)置在處置裝置3的末端，在檢測(cè)到預(yù)定大小或更大的加速度的情況下，確定處置裝置3處于開(kāi)始處置手術(shù)目標(biāo)部B的操作狀態(tài)，顯示控制單元10可將顯示單元7上顯示的圖像從二維圖像切換為立體圖像?？苫谟杉铀俣葌鞲衅?7檢測(cè)的加速度計(jì)算位移量，在位移量變?yōu)轭A(yù)定值或更大的情況下，可確定系統(tǒng)處于所述操作狀態(tài)，并且顯示可從二維圖像切換為立體圖像。
[0095]在上述各個(gè)實(shí)施方式中，通過(guò)各種方法確定處置裝置3是否處于開(kāi)始對(duì)手術(shù)目標(biāo)部B處置的操作狀態(tài)，并且切換顯示圖像。然而，代替這種配置，可確定三維攝像單元5是否處于開(kāi)始對(duì)手術(shù)目標(biāo)部B的處置的操作狀態(tài)。
[0096]例如，如圖11所示，確定單元13可確定手術(shù)者是否通過(guò)操作變焦調(diào)節(jié)單元28而將變焦倍率設(shè)定為大于預(yù)定閾值，在所設(shè)定的變焦倍率超過(guò)預(yù)定閾值的情況下，顯示控制單元10可將顯示從二維圖像切換為顯示立體圖像，并且可在倍率為閾值或更小的情況下從顯示立體圖像切換為顯示二維圖像。
[0097]在手術(shù)者將變焦倍率設(shè)定得較大的情況下，可將這種情況視為手術(shù)者打算在通過(guò)放大手術(shù)目標(biāo)部B精確觀察手術(shù)目標(biāo)部B的同時(shí)執(zhí)行處置。因此，通過(guò)僅在這種情況下將顯示單元7上的圖像顯示切換為立體圖像，可使處置更容易，同時(shí)使長(zhǎng)時(shí)間觀察立體圖像所伴隨的疲勞降至最低。
[0098]除了在確定單元13確定變焦倍率大于預(yù)定閾值的情況下將顯示從二維圖像切換為立體圖像以外，顯示控制單元10可在切換變焦倍率的操作期間將顯示單元7上顯示的圖像維持為二維圖像。利用這種配置，可防止手術(shù)者由于在改變變焦倍率期間觀察立體圖像而感覺(jué)暈眩。
[0099]另外，盡管通過(guò)由手術(shù)者操作變焦調(diào)節(jié)單元28來(lái)根據(jù)變焦倍率切換顯示，代替這種配置，可通過(guò)圖像處理確定手術(shù)目標(biāo)部B的狀態(tài)(例如，腫瘤的大小等)，并且在變焦倍率自動(dòng)改變?yōu)檫m當(dāng)值的情況下切換為顯示立體圖像。這里，依據(jù)將要使用的處置裝置3的適當(dāng)變焦倍率可被選為適當(dāng)?shù)淖兘贡堵省?br> [0100]另外，在以上描述中，二維圖像和立體圖像通過(guò)各種方法彼此切換。然而，如圖12所示，可設(shè)置主視眼輸入單元29，手術(shù)者通過(guò)主視眼輸入單元29來(lái)輸入其主視眼。優(yōu)選的是，當(dāng)通過(guò)將主視眼的輸入信息發(fā)送給顯示控制單元10，顯示控制單元10切換為顯示二維圖像時(shí)，切換為在顯示單元7上的主視眼一側(cè)顯示二維圖像。
[0101]利用這種配置，優(yōu)點(diǎn)在于，手術(shù)者可觀察圖像而沒(méi)有任何不適的感覺(jué)，因?yàn)樵谕ㄟ^(guò)立體圖像觀察期間將顯示切換為二維圖像時(shí)，在圖像中的手術(shù)者的主視眼一側(cè)沒(méi)有引起偏移。當(dāng)顯示從二維圖像切換為立體圖像時(shí)(與以上情況相反的情況)，也可獲得相同的優(yōu)點(diǎn)。存儲(chǔ)關(guān)于主視眼的信息的存儲(chǔ)單元可用作主視眼輸入單元29。
[0102]在以上描述中，當(dāng)顯示二維圖像時(shí)，從由三維攝像單元獲取的兩個(gè)圖像中選擇的一個(gè)圖像被呈現(xiàn)給雙眼。然而，可采用任何元件，只要它向雙眼呈現(xiàn)相同的圖像(例如，通過(guò)對(duì)兩個(gè)圖像執(zhí)行2D圖像合成而獲得的圖像)即可。
[0103]標(biāo)號(hào)列表
[0104]B 手術(shù)目標(biāo)部
[0105]I 手術(shù)用圖像系統(tǒng)
[0106]2 套管
[0107]3a 操作單元
[0108]5 三維攝像單元
[0109]7 顯示單元
[0110]9 操作狀態(tài)檢測(cè)單元
[0111]10 顯示控制單元
[0112]13 確定單元(操作狀態(tài)檢測(cè)單元)
[0113]15 接觸傳感器(操作狀態(tài)檢測(cè)單元)
[0114]17 主機(jī)械手(主裝置)
[0115]24 MRI設(shè)備(操作狀態(tài)檢測(cè)單元)
[0116]25 陀螺儀傳感器(操作狀態(tài)檢測(cè)單元)
[0117]26 傳感器(操作狀態(tài)檢測(cè)單元)
[0118]27 加速度傳感器(操作狀態(tài)檢測(cè)單元)
[0119]28 變焦調(diào)節(jié)單元(操作狀態(tài)檢測(cè)單元)
[0120]29 主視眼輸入單元(存儲(chǔ)單元)
【權(quán)利要求】
1.一種手術(shù)用圖像系統(tǒng)，該手術(shù)用圖像系統(tǒng)包括: 三維攝像單元，該三維攝像單元通過(guò)拍攝手術(shù)目標(biāo)部的圖像來(lái)獲取具有視差的兩個(gè)圖像； 顯示單元，該顯示單元針對(duì)左眼和右眼二者分別顯示由所述三維攝像單元獲取的兩個(gè)圖像，或者針對(duì)左眼和右眼二者顯示相同的圖像； 操作狀態(tài)檢測(cè)單元，該操作狀態(tài)檢測(cè)單元檢測(cè)所述三維攝像單元或?qū)λ鍪中g(shù)目標(biāo)部執(zhí)行處置的處置裝置是否處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)；以及 顯示控制單元，當(dāng)所述操作狀態(tài)檢測(cè)單元檢測(cè)到所述三維攝像單元或所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)時(shí)，該顯示控制單元從在所述顯示單元上顯示相同的一個(gè)圖像切換為在所述顯示單元上顯示兩個(gè)圖像。
2.根據(jù)權(quán)利要求1所述的手術(shù)用圖像系統(tǒng)，其中，所述操作狀態(tài)檢測(cè)單元檢測(cè)所述處置裝置的位移、速度或加速度。
3.根據(jù)權(quán)利要求1或2所述的手術(shù)用圖像系統(tǒng)，其中，當(dāng)所述操作狀態(tài)檢測(cè)單元對(duì)由所述三維攝像單元獲取的任何圖像進(jìn)行處理而在所述圖像內(nèi)檢測(cè)到所述處置裝置時(shí)，所述操作狀態(tài)檢測(cè)單元確定所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)。
4.根據(jù)權(quán)利要求2所述的手術(shù)用圖像系統(tǒng)，其中，所述操作狀態(tài)檢測(cè)單元對(duì)由所述三維攝像單元獲取的任何圖像進(jìn)行處理而計(jì)算所述圖像內(nèi)的所述處置裝置的位移、速度或加速度，并且當(dāng)所計(jì)算出的位移、速度或加速度超過(guò)預(yù)定閾值時(shí)，確定所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)。
5.根據(jù)權(quán)利要求1所述的手術(shù)用圖像系統(tǒng)，其中，所述操作狀態(tài)檢測(cè)單元被設(shè)置在操作所述處置裝置的操作單元上，并檢測(cè)對(duì)所述操作單元的接觸或所述操作單元的操作。
6.根據(jù)權(quán)利要求5所述的手術(shù)用圖像系統(tǒng)，其中，所述操作單元被設(shè)置在主裝置上，該主裝置被設(shè)置在遠(yuǎn)離所述處置裝置的位置處并通過(guò)遠(yuǎn)程操作對(duì)所述處置裝置進(jìn)行操作。
7.根據(jù)權(quán)利要求5或6所述的手術(shù)用圖像系統(tǒng)，其中，所述操作狀態(tài)檢測(cè)單元檢測(cè)所述操作單元的位移量或位移方向，并且在所檢測(cè)到的位移量超過(guò)預(yù)定閾值的情況下或者在所檢測(cè)到的位移方向是預(yù)定位移方向的情況下，確定所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)。
8.根據(jù)權(quán)利要求1所述的手術(shù)用圖像系統(tǒng)，其中，所述操作狀態(tài)檢測(cè)單元被設(shè)置在用于使得所述處置裝置能夠從體外插入體內(nèi)的套管上，并且當(dāng)所述處置裝置的末端經(jīng)由所述套管插入體內(nèi)時(shí)，確定所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)。
9.根據(jù)權(quán)利要求1所述的手術(shù)用圖像系統(tǒng)，其中，所述操作狀態(tài)檢測(cè)單元測(cè)量所述處置裝置的末端位置與所述手術(shù)目標(biāo)部之間的距離，并且當(dāng)所測(cè)量出的距離小于預(yù)定閾值時(shí)，確定所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)。
10.根據(jù)權(quán)利要求1所述的手術(shù)用圖像系統(tǒng)，其中， 所述三維攝像單元包括變焦光學(xué)系統(tǒng)， 所述操作狀態(tài)檢測(cè)單元檢測(cè)所述變焦光學(xué)系統(tǒng)的倍率，并且當(dāng)檢測(cè)到所述倍率超過(guò)預(yù)定閾值時(shí)，確定所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)。
11.根據(jù)權(quán)利要求1至10中的任一項(xiàng)所述的手術(shù)用圖像系統(tǒng)，該手術(shù)用圖像系統(tǒng)還包括: 存儲(chǔ)單元，該存儲(chǔ)單元存儲(chǔ)關(guān)于手術(shù)者的哪一只眼是主視眼的主視眼信息， 其中，當(dāng)未檢測(cè)到所述三維攝像單元或所述處置裝置處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)時(shí)，所述顯示控制單元基于存儲(chǔ)在所述存儲(chǔ)單元中的主視眼信息來(lái)在所述顯示單元上的所述主視眼一側(cè)顯示圖像。
12.—種圖像顯示方法，該圖像顯示方法包括以下步驟: 檢測(cè)對(duì)手術(shù)目標(biāo)部執(zhí)行處置的處置裝置或者通過(guò)拍攝所述手術(shù)目標(biāo)部的圖像來(lái)獲取具有視差的兩個(gè)圖像的攝像單元是否處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)；以及當(dāng)檢測(cè)到所述處置裝置或所述攝像單元不處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)時(shí)，針對(duì)左眼和右眼二者僅顯示由所述攝像單元獲取的相同的圖像，當(dāng)檢測(cè)到所述處置裝置或所述攝像單元處于開(kāi)始對(duì)所述手術(shù)目標(biāo)部的處置的操作狀態(tài)時(shí)，針對(duì)左眼和右眼二者分別顯示由所述攝像單元獲取的兩個(gè)圖像。
【文檔編號(hào)】A61B1/00GK104135962SQ201380010153
【公開(kāi)日】2014年11月5日 申請(qǐng)日期:2013年3月19日 優(yōu)先權(quán)日:2012年3月21日
【發(fā)明者】今野治, 小林裕昌, 池田浩, 菊池悟, 宮崎靖浩, 二梃木昌夫, 吉村克彥 申請(qǐng)人:奧林巴斯株式會(huì)社