專利名稱：用于手術(shù)機器人的放大立體可視化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的各方面涉及內(nèi)窺鏡成像，更具體地涉及融合可見光和備用圖像(visible and alternate image)以便給外科醫(yī)生提供增強的實時視頻顯示。
背景技術(shù)：
加利福尼亞州Sunnyvale的Intuitive Surgical (直觀外科手術(shù))公司制造的da Vinci 手術(shù)系統(tǒng)是微創(chuàng)遙控機器人手術(shù)系統(tǒng)，它給病人帶來許多益處，如身體傷疤減少、 恢復較快和住院時間較短。da Vinci 手術(shù)系統(tǒng)的一個關(guān)鍵的構(gòu)成要素是提供三維(3D) 可見光圖像的雙通道(即，左和右)視頻捕獲和顯示能力，為外科醫(yī)生提供了立體視圖。此種電子立體成像系統(tǒng)可以向外科醫(yī)生輸出高清晰度視頻圖像，并可以允許諸如圖像縮放(zoom)的功能從而提供“放大”視圖，使得外科醫(yī)生得以識別特殊組織的類型和特性以及以增大的精確度操作。但是，在典型的手術(shù)視野(surgical field)中，某些組織的類型很難識別，或者感興趣的組織可能被其它組織至少部分地遮蓋。

發(fā)明內(nèi)容
在一方面，機器人手術(shù)系統(tǒng)握持和設(shè)置內(nèi)窺鏡?？梢姽獬上裣到y(tǒng)耦合到該內(nèi)窺鏡。 該可見光成像系統(tǒng)捕獲組織的可見光圖像。備用成像系統(tǒng)也耦合到該內(nèi)窺鏡。該備用成像系統(tǒng)捕獲該組織至少一部分的熒光圖像。立體視頻顯示系統(tǒng)耦合到該可見光成像系統(tǒng)和該備用成像系統(tǒng)。該立體視頻顯示系統(tǒng)輸出實時立體圖像，該實時立體圖像包含與所捕獲的熒光圖像關(guān)聯(lián)的熒光圖像和該可見光圖像的融合的三維展示(presentation)。因而，通過合并立體可見光圖像和立體備用成像模態(tài)圖像，手術(shù)機器人的立體視頻捕獲和查看能力被增強，從而在手術(shù)期間實時識別臨床感興趣的組織。除了外科醫(yī)生在采用遙控手術(shù)系統(tǒng)進行手術(shù)操作時正常使用的立體可見光圖像以外，本發(fā)明的各方面同時還提供了識別臨床感興趣的組織的立體備用模態(tài)圖像。這種立體可見光和備用圖像結(jié)合提供了益處，其包括但不局限于，允許外科醫(yī)生實時為患病組織切除識別陽性腫瘤邊緣以及識別神經(jīng)以便避免切割那些神經(jīng)。這種成像結(jié)合可以是立體可見光和備用圖像的連續(xù)覆蓋(continuous overlay),或者該立體備用圖像的覆蓋可以間歇地切換(toggl on and off)。并且，在一方面，可見光圖像和另一熒光圖像的實時三維融合僅在該立體圖像的一只眼中展示。在另一方面，該可見光成像系統(tǒng)以第一幀率捕獲該可見光圖像，而該備用成像系統(tǒng)以第二幀率捕獲該熒光圖像。第一幀率與第二幀率不同。該備用成像系統(tǒng)通過生成人工熒光圖像以第一幀率將熒光圖像提供給該立體視頻顯示系統(tǒng)，從而使該熒光圖像與該可見光圖像同步。因而，在一個方面，方法包括從由機器人手術(shù)系統(tǒng)的機器人操縱臂握持和設(shè)置的內(nèi)窺鏡中捕獲組織的可見光圖像。這種方法也從該內(nèi)窺鏡中捕獲該組織的至少一部分的備用圖像。該備用圖像包含熒光圖像。在這種方法中，將與所捕獲的熒光圖像關(guān)聯(lián)的另一個熒光圖像和該可見光圖像的融合以實時立體視頻顯示輸出。在另一方面，該方法利用與所捕獲的熒光圖像關(guān)聯(lián)的信息生成第二熒光圖像。該第二熒光圖像是另一熒光圖像。在又一方面，該方法利用與可見光圖像關(guān)聯(lián)的信息生成第二可見光圖像。該可見光圖像和第二可見光圖像包含可見光圖像的立體像對。在這個方面，該方法也利用與熒光圖像關(guān)聯(lián)的信息生成第二熒光圖像。該第二熒光圖像是另一個熒光圖像。在一個方面，照射通道由機器人手術(shù)系統(tǒng)握持和設(shè)置。來自照射通道的光照射組織。立體光通道也由機器人手術(shù)系統(tǒng)握持和設(shè)置。該立體光通道傳輸(transport)來自該組織的第一光。另一個光通道也由機器人手術(shù)系統(tǒng)握持和設(shè)置。這個光通道傳輸來自該組織的第二光。該立體光通道與另一個光通道不同。圖像捕獲系統(tǒng)包括耦合到立體光通道的第一捕獲單元。該第一捕獲單元從第一光中捕獲立體可見光圖像。該圖像捕獲系統(tǒng)也包括耦合到另一個光通道的第二捕獲單元。該第二捕獲單元從第二光中捕獲熒光圖像。智能圖像處理系統(tǒng)耦合到該第一捕獲單元和該第二捕獲單元。該智能圖像處理系統(tǒng)接收所捕獲的立體可見光圖像和所捕獲的熒光圖像。該智能圖像處理系統(tǒng)生成熒光圖像立體像對。放大立體顯示系統(tǒng)耦合到該智能圖像處理系統(tǒng)和該圖像捕獲系統(tǒng)。該放大立體顯示系統(tǒng)輸出實時立體圖像，所述實時立體圖像包含該立體可見光圖像與該熒光圖像立體像對的融合的三維展示。在另一方面，方法包括從由機器人手術(shù)系統(tǒng)握持和設(shè)置的立體光通路(optical path)中捕獲組織的立體可見光圖像。這種方法也包括從由機器人手術(shù)系統(tǒng)握持和設(shè)置的另一個光通道(optical channel)中捕獲組織的熒光圖像。該立體光通道與另一個光通道不同。該方法利用來自所捕獲的立體可見光圖像的信息處理所捕獲的熒光圖像，從而生成熒光圖像立體像對。生成該組織的實時放大立體圖像，所述實時放大立體圖像包含該立體可見光圖像與該熒光圖像立體像對的融合的三維展示。在一個方面，內(nèi)窺鏡由機器人手術(shù)系統(tǒng)握持和設(shè)置。該內(nèi)窺鏡包括立體光通道，其具有傳輸來自組織的第一光的第一通道和傳輸來自組織的第二光的第二通道。第一捕獲單元耦合到該第一通道。該第一捕獲單元從第一光中捕獲與熒光左圖像結(jié)合的可見光左圖像的可見光第一顏色分量；從第一光中捕獲該可見光左圖像的可見光第二顏色分量；和從第一光中捕獲該可見光左圖像的可見光第三顏色分量。第二捕獲單元耦合到該第二通道。該第二捕獲單元從第二光中捕獲與熒光右圖像結(jié)合的可見光右圖像的可見光第一顏色分量；從第二光中捕獲該可見光右圖像的可見光第二顏色分量；和從第二光中捕獲該可見光右圖像的可見光第三顏色分量。該兩個捕獲單元都包括在圖像捕獲系統(tǒng)中。放大立體顯示系統(tǒng)耦合到該圖像捕獲系統(tǒng)。該放大立體顯示系統(tǒng)輸出該組織至少一部分的實時立體圖像。該實時立體圖像包括包含該可見光左和右圖像以及該熒光左和右圖像的三維展示。該第一捕獲單元包括棱鏡。該棱鏡將第一光分成(1)該可見光左圖像的可見光第一顏色分量、(2)該可見光左圖像的可見光第二顏色分量、(3)該可見光左圖像的第三顏色分量，和(4)從該第一、第二和第三顏色分量中分離并去除的第四分量，其具有第一顏色分量的顏色，其中第四分量是熒光左圖像。在一個方面，該第二捕獲單元包括類似棱鏡。在再一方面，方法從由機器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲與組織至少一部分的熒光左圖像結(jié)合的該組織可見光左圖像的可見光第一顏色分量。該方法也從該立體光通路中捕獲該可見光左圖像的可見光第二顏色分量；從該立體光通路中捕獲該可見光左圖像的可見光第三顏色分量；從由機器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲與組織至少一部分的熒光右圖像結(jié)合的該組織可見光右圖像的可見光第一顏色分量；從該立體光通路中捕獲該可見光右圖像的可見光第二顏色分量；和從該立體光通路中捕獲該可見光右圖像的可見光第三顏色分量。該方法生成了該組織的實時放大立體圖像。該實時放大立體圖像包括包含可見光左和右圖像及熒光左和右圖像的三維展示。這種方法利用棱鏡將來自立體光通路的光分成(1)該可見光第一顏色分量、(2) 該可見光第二顏色分量、( 該可見光第三顏色分量，和(4)從該第一、第二和第三顏色分量中分離并去除的第四分量，其具有第一顏色分量的顏色。該第四分量是熒光圖像。在一個方面，內(nèi)窺鏡也由機器人手術(shù)系統(tǒng)握持和設(shè)置。該內(nèi)窺鏡包括傳輸來自組織的光的立體光通道。捕獲單元耦合到該立體光通道。該捕獲單元從該光中捕獲(1)可見光第一圖像和( 與熒光第二圖像結(jié)合的可見光第二圖像。該第一圖像是左圖像和右圖像中的一個。該第二圖像是左圖像和右圖像中的另一個。智能圖像處理系統(tǒng)耦合到該捕獲單元，從而接收(1)可見光第一圖像和( 與熒光第二圖像結(jié)合的可見光第二圖像。該智能圖像處理系統(tǒng)可以生成熒光圖像立體像對的至少一個熒光圖像，和可見光第二圖像。放大立體顯示系統(tǒng)耦合到該智能圖像處理系統(tǒng)和該圖像捕獲系統(tǒng)。該放大立體顯示系統(tǒng)輸出包括三維展示的實時立體圖像。該三維展示包括在一只眼中熒光圖像立體像對的至少一個熒光圖像與可見光第一和第二圖像中的一個的融合，和在另一只眼中可見光第一和第二圖像中的另一個。在又一個方面，方法從由機器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲該組織的可見光第一圖像。該方法也從由機器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲與該組織的熒光第二圖像結(jié)合的可見光第二圖像。該第一圖像是該左圖像和該右圖像中的一個。該第二圖像是該左圖像和該右圖像中的另一個。
該方法處理該可見光第一圖像和與該熒光第二圖像結(jié)合的可見光第二圖像，從而生成熒光圖像立體像對的至少一個熒光圖像，和可見光第二圖像。生成包含三維展示的實時立體圖像。該三維展示包括在一只眼中熒光圖像立體像對的至少一個熒光圖像與該可見光第一和第二圖像中的一個的融合，和在另一只眼中可見光第一和第二圖像中的另一個。在一個方面，內(nèi)窺鏡還由機器人手術(shù)系統(tǒng)握持和設(shè)置。該內(nèi)窺鏡包括傳輸來自組織的光的立體光通道。捕獲單元耦合到該立體光通道。該捕獲單元(1)在第一時間從該光中捕獲第一圖像，并且( 在不同于第一時間的第二時間從該光中捕獲第二圖像。該第一圖像和第二圖像中僅有一個包括熒光圖像與可見光圖像的結(jié)合。該第一圖像和第二圖像中的另一個是可見光圖像。智能圖像處理系統(tǒng)耦合到該捕獲單元。該智能圖像處理系統(tǒng)利用所捕獲的熒光圖像生成人工熒光圖像。放大立體顯示系統(tǒng)耦合到該智能圖像處理系統(tǒng)。該放大立體顯示系統(tǒng)輸出包含人工熒光圖像的該組織至少一部分的放大立體圖像。在一個方面，該熒光圖像包括熒光左圖像和熒光右圖像。該第一圖像包含圖像的立體像對，其包括與熒光左圖像結(jié)合的可見光左圖像，和與熒光右圖像結(jié)合的可見光右圖像。該機器人手術(shù)系統(tǒng)利用該熒光左和右圖像生成第二時間的熒光圖像的人工立體像對， 以便該熒光圖像的人工立體像對為人工熒光圖像。該智能圖像處理系統(tǒng)也包括使該第一圖像和第二圖像配準的時間圖像配準。在另一方面，該第一圖像包括可見光圖像，該可見光圖像又包括可見光第一顏色分量、可見光第二顏色分量和可見光第三顏色分量。該第二圖像包括與熒光圖像結(jié)合的可見光圖像，其包括與熒光圖像結(jié)合的可見光第一顏色分量、可見光第二顏色分量和可見光第三顏色分量。該智能圖像處理系統(tǒng)進一步包含熒光圖像和偽影生成器 (artifactgenerator)，用于生成(1)可見光第二和第三顏色分量的偽影，和( 熒光圖像加可見光第一顏色分量的偽影。在這個方面，該智能圖像處理系統(tǒng)還包括耦合到該熒光圖像和偽影生成器的熒光圖像提取器(extractor)。該熒光圖像提取器生成第二時間的第一熒光圖像。熒光圖像增強系統(tǒng)耦合到該熒光圖像生成器。該熒光圖像增強系統(tǒng)接收該第一熒光圖像并生成人工熒光圖像。在再一個方面，方法包括在第一時間從在第一時間由機器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路的光中捕獲第一圖像，其中該光來自組織。這個方法也包括在不同于第一時間的第二時間從該光中捕獲第二圖像，其中該第一圖像和第二圖像中僅有一個包括熒光圖像和可見光圖像的結(jié)合，該第一圖像和第二圖像中的另一個是可見光圖像。人工熒光圖像利用所捕獲的熒光圖像生成。還生成該組織至少一部分的放大立體圖像，其包括人工熒光圖像。


圖1是用于微創(chuàng)手術(shù)機器人的放大立體可視化系統(tǒng)的簡圖。圖2是利用例如圖1中用于微創(chuàng)手術(shù)機器人的放大立體可視化系統(tǒng)執(zhí)行的過程的過程流程圖。
圖3A是示出利用兩個獨立光通路(但熒光成像有一個攝像機單元)的硬件和軟件(圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機器人系統(tǒng)中用于捕獲、處理和輸出融合的實時立體可見光和熒光圖像。圖IBB是示出內(nèi)窺鏡的更詳細的視圖，該內(nèi)窺鏡具有兩個獨立光通路和耦合到每個光通路的獨立攝像機單元。圖3C示出連接到光纖電纜的組合照射源的一個方面。圖3D示出空間圖像配準系統(tǒng)的一個方面。圖3E是示出利用兩個獨立光通路和立體攝像機的硬件和軟件(圖像處理和用戶界面)方面的替換示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機器人系統(tǒng)中用于捕獲、處理和輸出融合的實時立體可見光和熒光圖像。圖4是利用例如圖3A中用于微創(chuàng)手術(shù)機器人的放大立體可視化系統(tǒng)執(zhí)行的過程的過程流程圖。圖5A是示出利用具有獨立攝像機的單個立體光通路的硬件和軟件(圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機器人系統(tǒng)中用于捕獲、處理和輸出融合的立體實時可見光和熒光圖像。圖5B是示出內(nèi)窺鏡的更詳細的視圖，該內(nèi)窺鏡具有耦合到它的兩個獨立攝像機單元。圖5C 5E和圖5G示出組合光源的方面和用于傳輸來自該組合光源的光的一個光纖束或多個光纖束的方面。圖5F示出從組織中分離可見光和熒光圖像的一個方面。圖6是利用例如圖5A中用于微創(chuàng)手術(shù)機器人的放大立體可視化系統(tǒng)執(zhí)行的過程的過程流程圖。圖7A是利用具有單個立體光通路的通道劃分(channel division)的硬件和軟件 (圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機器人系統(tǒng)中用于捕獲、處理和輸出融合的實時立體可見光和熒光圖像。圖7B是示出內(nèi)窺鏡的更詳細的視圖，該內(nèi)窺鏡具有耦合到它的單個攝像機單元。圖8是利用例如圖7A中用于微創(chuàng)手術(shù)機器人的放大立體可視化系統(tǒng)執(zhí)行的過程的過程流程圖。圖9A和圖9B是示出利用具有單個立體光通路的時分(timedivision)的硬件和軟件(圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機器人系統(tǒng)中用于捕獲、處理和輸出融合的立體可見光和熒光圖像。圖9C示出圖9A和圖9B中系統(tǒng)的定時、同步和捕獲的一個方面。圖9D是示出利用具有單個立體光通路的時分(time division)的硬件和軟件 (圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機器人系統(tǒng)中用于捕獲，替換地處理和輸出融合的立體可見光和熒光圖像。圖9E是示出智能圖像處理系統(tǒng)的替換方面的示意圖。圖IOA是利用例如圖9A中用于微創(chuàng)手術(shù)機器人的放大立體可視化系統(tǒng)執(zhí)行的過程的過程流程圖。圖IOB示出利用圖IOA的過程產(chǎn)生的定時、同步、捕獲和人工熒光幀的方面。
圖1IA示出利用時分以及利用單個立體光通路捕獲具有可見光顏色分量之一的熒光圖像、在微創(chuàng)手術(shù)機器人系統(tǒng)中處理和輸出融合的立體可見光和熒光圖像的硬件和軟件方面。圖IlB示出圖IlA中系統(tǒng)的定時、同步和捕獲的一方面。圖12是圖IlA中智能圖像處理系統(tǒng)的一個方面的過程流程圖。圖13A是示出利用單個立體光通路、在微創(chuàng)手術(shù)機器人系統(tǒng)中用具有改進型棱鏡 (modified prism)的攝像機單元捕獲、處理和輸出實時立體可見光和熒光圖像的硬件和軟件(圖像處理和用戶界面)方面的示意圖。圖1 示出來自棱鏡的光譜，該棱鏡將來自組織的可見光和熒光分成可見光圖像的第一顏色分量、可見光圖像的第二顏色分量、可見光圖像的第三顏色分量和從第一、第二和第三顏色分量分離和去除的第四分量，其中第四分量具有顏色分量之一的顏色。圖14是利用例如圖13A中用于微創(chuàng)手術(shù)機器人的放大立體可視化系統(tǒng)執(zhí)行的過程的過程流程圖。圖15示出利用具有1-芯片CCD傳感器的立體內(nèi)窺鏡的在微創(chuàng)手術(shù)機器人的放大立體可視化系統(tǒng)中時間和通道劃分的定時、同步和捕獲的一個方面。在圖中，單位數(shù)圖號的圖號中第一個數(shù)字和雙位數(shù)圖號的圖號中前兩個數(shù)字表示其中具有那個圖號的元件第一次出現(xiàn)的圖。
具體實施例方式如本文使用的，“機器人”應(yīng)在廣義上解讀，其包括遙控機器人系統(tǒng)。如本文使用的，電子立體成像包括兩個成像通道(即，左圖像和右圖像的通道)的使用。如本文使用的，立體光通路包括用于傳輸來自組織的光的內(nèi)窺鏡中的兩個通道 (例如，左圖像和右圖像的通道)。在每個通道中傳輸?shù)墓獗硎驹摻M織的不同視圖，所以有時稱為第一光和第二光，用以區(qū)分該兩個通道中的光。該光可以包括一個或多個圖像。如本文使用的，照射通路包括向組織提供照射的內(nèi)窺鏡中的通路。如本文使用的，在可見光譜內(nèi)捕獲的圖像稱為可見光圖像。如本文使用的，以備用成像模態(tài)捕獲的不包括可見光圖像的圖像稱為備用圖像。 備用成像模態(tài)的示例是捕獲組織熒光的圖像。如本文使用的，因為熒光而被捕獲的圖像在本文稱為熒光圖像。存在多種熒光成像模態(tài)。熒光可以利用例如可注射染料、熒光蛋白或熒光標記抗體生成。熒光可以由例如激光或其它能源的激發(fā)引起。熒光圖像可以提供對手術(shù)至關(guān)重要的病人體內(nèi)重要信息，如病理信息(例如，發(fā)熒光腫瘤)或解剖信息(例如，發(fā)熒光的示蹤神經(jīng))。如本文使用的，長通濾波器讓高于波長數(shù)的所有波長通過。例如，510nm長通濾波器讓高于510nm的所有波長通過該濾波器。典型地，長通濾波器在熒光中用作屏障濾波器。 長通濾波器有時用來使熒光通過該濾波器而不讓激發(fā)光通過。如本文使用的，短通濾波器讓波長低于該濾波器波長的光通過該濾波器。例如， 480nm短通濾波器讓波長低于480nm(小于480nm)的光通過該濾波器。短通濾波器有時用作熒光的激發(fā)濾波器。
如本文使用的，帶通濾波器僅允許一組波長通過。該波長數(shù)稱為帶通濾波器的中心波長。該中心波長是允許在將通過該濾波器的波長范圍內(nèi)的大部分光通過的波長。這常常是該濾波器的中心波長。帶通濾波器由中心波長和通帶或?qū)挾仍u定(rate)。
本發(fā)明的各方面可以放大手術(shù)機器人(例如加利福尼亞州Surmywale的 Intuitive Surgical公司制造的da Vinci 手術(shù)機器人系統(tǒng))的立體視圖捕獲和查看能力，其通過合并立體可見光圖像和立體備用成像模態(tài)圖像實現(xiàn)，從而在手術(shù)期間實時識別臨床感興趣的組織。(da Vinci 是加利福尼亞州Surmywale的htuitive Surgical公司的注冊商標)。除了外科醫(yī)生在采用遙控手術(shù)系統(tǒng)進行手術(shù)操作時正常使用的立體可見光圖像以外，本發(fā)明各方面同時還提供了識別臨床感興趣的組織的立體備用模態(tài)圖像。立體可見光圖像和備用圖像的這種結(jié)合提供了這種益處，其包括但不限于，允許外科醫(yī)生實時為患病組織切除識別陽性腫瘤邊緣和識別神經(jīng)以避免切割那些神經(jīng)。這種成像結(jié)合可以是立體可見光圖像和備用圖像的連續(xù)覆蓋(overlay)，或者該立體備用圖像的覆蓋可以間歇地切換(例如，通過使用腳踏板或通過雙擊da Vinci 手術(shù)系統(tǒng)外科醫(yī)生控制臺上的主控指狀抓取器(master finger grip))。圖1是一個包括放大立體可視化系統(tǒng)100的機器人手術(shù)系統(tǒng)，例如da Vinci 手術(shù)系統(tǒng)的高級簡圖。在這個示例中，外科醫(yī)生利用外科醫(yī)生控制臺114，使用機器人操縱臂 113遠程操縱內(nèi)窺鏡112。還有與da Vinci 手術(shù)系統(tǒng)關(guān)聯(lián)的其它零件、電纜等，但為了避免削弱本公開，所以未將它們示出在圖1中。如下面更完整地解釋，照射系統(tǒng)(未示出)耦合到內(nèi)窺鏡112。典型地，該照射系統(tǒng)提供白色光和至少一種熒光激發(fā)光。這種光的全部或部分通過光纖束耦合到內(nèi)窺鏡112 中的至少一個照射通路中。該光通過內(nèi)窺鏡112中的至少一個照射通路并照射病人111的組織103。在一方面，內(nèi)窺鏡112還包括使來自該組織的光，例如反射的白色光和熒光通過的兩個光通道。該反射的白色光是可見光圖像，而該熒光是熒光圖像。從組織103反射的白色光作為可見光立體圖像121被捕獲在圖像捕獲系統(tǒng)120 中。類似地，一個熒光圖像或多個熒光圖像122也被捕獲在圖像捕獲硬件120中。如下面更完整地解釋，立體顯示所需的各種圖像的捕獲有多種方式。典型地，圖像捕獲硬件120包括至少一個攝像機，該攝像機包括電荷耦合器件(CCD)傳感器。圖像的捕獲同時或幾乎同時發(fā)生在圖像捕獲系統(tǒng)120中。在一方面，智能圖像處理系統(tǒng)130與圖像捕獲系統(tǒng)120配合運行，從而從由光通道提供的信息中提取熒光圖像。例如，考慮用于激發(fā)熒光的激光頻率，濾波處理和光譜均衡器 (spectrum balancer) 一起工作從而補償在去除熒光圖像的過程中可見光圖像的任何退化 (degradation) 0并且，處理所捕獲的圖像以便隨后在智能成像處理系統(tǒng)130中立體顯示。例如，當利用具有固定關(guān)系的獨立光通道將熒光圖像和反射的白色光圖像傳輸?shù)街悄軋D像處理系統(tǒng)130中時，可以基于獨立光通道的固定相對位置采用一步校準。智能圖像處理系統(tǒng)130適當時也執(zhí)行(多個)熒光圖像與可見光圖像的空間圖像配準。該空間圖像配準允許該熒光圖像在放大立體顯示系統(tǒng)140中適當覆蓋。在另一方面，智能圖像處理系統(tǒng)130執(zhí)行左通道和右通道可見光圖像的立體匹配。在又一個方面，智能圖像處理生成人工可見光和/或熒光圖像，以便可以向外科醫(yī)生展示放大的立體顯示。因而，對于采用具有放大的立體可視化系統(tǒng)100的手術(shù)機器人系統(tǒng)執(zhí)行微創(chuàng)手術(shù)的外科醫(yī)生，組織103在照射組織過程201中被照射(圖2、從而允許捕獲可見光圖像和備用圖像(如熒光圖像)。技術(shù)人員應(yīng)理解，當組織本身受特定波長的光激發(fā)時，或者替換地當附加到組織 103上的組織特異性熒光團受到特定波長的光激發(fā)時，熒光可以自然發(fā)生。因而，本文描述的熒光圖像可以通過任一技術(shù)獲得。技術(shù)人員也應(yīng)理解，一些熒光團放出可見光譜內(nèi)的能量，而其他熒光團放出可見光譜范圍之外的能量(例如，在約830nm處的)。本發(fā)明的方面包括，在照射組織的過程201中利用可見光圖像用的寬光譜白色光源和備用圖像用的另一種光源照射組織。例如，激發(fā)組織特異性熒光團的窄帶光(narrow band light)可以用作備用圖像用的光源。對于熒光備用圖像，如果激發(fā)波長存在于可見光譜內(nèi)，則白色光可以起作用從而激發(fā)熒光團。如果激發(fā)波長存在于可見光譜范圍之外(例如，在近紅外(IR)中)或如果該可見光譜內(nèi)的波長處需要另外的激發(fā)能量，則在照射組織過程201中使用激光模塊(或其它能源，例如發(fā)光二極管或過濾的白色光)同時照射該組織。這種同時照射可以各種方式完成，如下面更完整地討論。在預(yù)處理來自組織的光的過程202中限定(condition)來自組織103的反射和發(fā)射光。例如，過濾該光從而增強立體視頻顯示中的圖像對比。如果該反射和發(fā)射光包括在單個光通道中，則預(yù)處理來自組織的光的過程202將該光分成反射光和放射光。預(yù)處理來自組織的光的過程202是可選的，并且在某些方面可以不采用它。因而， 來自組織103的預(yù)處理光或來自組織103的原始光通過捕獲圖像的過程203。預(yù)處理來自組織的光的過程202的輸出作為可見光圖像和(多個)備用圖像被捕獲在捕獲圖像的過程203中。參見例如上述圖像捕獲系統(tǒng)120。智能處理204對所捕獲圖像執(zhí)行必要過程，從而提供立體顯示用的整組可見光和熒光圖像。在生成組織立體視頻顯示的過程205中，該組可見光和熒光圖像按需要融合從而生成該組織的三維展示。該三維展示排除了現(xiàn)有技術(shù)中有關(guān)組織相對于內(nèi)窺鏡變化的距離和幾何結(jié)構(gòu)的問題。特別地，具有備用圖像和/或可見光圖像的組織實時立體顯示提供了該組織的準確三維視圖，外科醫(yī)生可以用其確定手術(shù)范圍，例如患病組織位置、神經(jīng)或其它器官等的位置。來自組織的兩個獨立光通路在圖3A的實施例中，機器人手術(shù)系統(tǒng)(未示出)包括兩個獨立而且不同的光通路，用于將來自組織303的光傳輸?shù)椒糯罅Ⅲw視覺系統(tǒng)300中。來自兩個光通路的光用來生成組織303的實時立體視頻顯示以供外科醫(yī)生操作機器人手術(shù)系統(tǒng)。在一方面，該立體視頻顯示包括用一個或多個備用圖像放大的組織303的正常三維視圖，從而突出(highlight)組織中感興趣的區(qū)域(如組織303的患病部分)和/或特定組織(如不同于被操作部分的神經(jīng)或器官)。典型地，備用圖像以特定色彩，例如藍色展
7J\ ο
在這個示例中，示出兩個獨立的內(nèi)窺鏡301、302，其提供了立體光通路和從組織 303到硬件320的至少一個其它光通路。內(nèi)窺鏡302包括構(gòu)成立體光通路的兩個光通道，而內(nèi)窺鏡301包括至少一個光通道。或者，所有光通道都可以在單個內(nèi)窺鏡中。因此，圖3A 的各方面僅是說明性的而不是要將這個實施例局限于所示出的特定方面。在這個示例中，內(nèi)窺鏡301和302各自包括用于把來自組合光源310的光提供給組織303的照射通路?；蛘撸梢岳脝蝹€照射通路來將該光提供給組織303。雖然未示出，但是在一方面，內(nèi)窺鏡301和302各自通過機器人手術(shù)系統(tǒng)以固定關(guān)系握持和移動。例如，參見圖1?？商鎿Q地，可以利用不同的機器人手臂分別握持和移動該兩個內(nèi)窺鏡。在這個方面，來自機器人手臂的實時運動學信息(kinematicinformation)用于對準該兩個內(nèi)窺鏡。在這個示例中，放大立體視覺系統(tǒng)300包括組合光源310、硬件320和多個基于計算機的方法390。如圖3A所示，硬件320的一部分構(gòu)成圖像捕獲系統(tǒng)120A。硬件320的另一部分和多個基于計算機的方法390的一部分構(gòu)成智能圖像處理系統(tǒng)130A。硬件320的又一部分和多個基于計算機的方法390的另一部分構(gòu)成放大立體顯示系統(tǒng)140A。在圖像捕獲系統(tǒng)120A和智能圖像處理系統(tǒng)130A內(nèi)，處理可見光圖像的部分構(gòu)成可見光成像系統(tǒng)，而處理熒光圖像的部分構(gòu)成備用成像系統(tǒng)。并且，在一方面，圖4的方法400可以利用放大立體視覺系統(tǒng)300實施。如圖4所示，方法400包括多個單獨的過程。方法400是方法200的一種實施方式(圖2)。在一個方面，硬件320包括至少兩個攝像機單元331、332(圖3B)。一個攝像機單元332包括兩個3-芯片電荷耦合器件(CXD)高分辨率攝像機，而另一個攝像機單元331包括1-芯片CXD攝像機。在這個方面，攝像機單元331通過包括濾波器的濾波塊(filterblock)333耦合到內(nèi)窺鏡301，如下面針對預(yù)處理來自內(nèi)窺鏡301的光的更完整的描述。類似地，攝像機單元 332通過包括濾波器的濾波塊334耦合到內(nèi)窺鏡302，如下面針對預(yù)處理來自內(nèi)窺鏡302的光的更完整的描述。在另一方面，濾波器可以合并在攝像機單元中或替換地可以不被使用。 硬件320還包括執(zhí)行下面更完整地描述的功能的硬件電路。多個基于計算機的方法390是例如在計算機處理器上執(zhí)行的軟件。技術(shù)人員應(yīng)理解，基于計算機的方法也可以僅利用硬件實施、部分用硬件和部分用可執(zhí)行計算機代碼實施，或全部用可執(zhí)行計算機代碼實施。類似地，本文描述的硬件也可以以基于計算機的方法或硬件與基于計算機的方法的結(jié)合形式實現(xiàn)。因此，本文使用的關(guān)于硬件和基于計算機的方法的特征僅為說明性的而不限制于描述的具體方面。兩個單獨光通路-照射組合光源310、310A(圖3A和圖3C)包括白色光源312A和另一種光源311A。組合光源310結(jié)合內(nèi)窺鏡中的照射通路使用從而執(zhí)行照射組織過程201A(圖4)。白色光源 312A提供照射組織303的白色光，例如第一光。另一種光源311提供激發(fā)組織303的備用圖像的光，例如第二光。例如，來自光源311A的窄帶光用來激發(fā)組織特異性熒光團以便該備用圖像是組織303內(nèi)特殊組織的熒光圖像。對于備用圖像為熒光圖像的情況，如果該熒光激發(fā)波長存在于可見光譜內(nèi)，則白色光源312A(圖3B)可以用作白色光源和用作激發(fā)熒光團的光源。如果該熒光激發(fā)波長存在于可見光譜范圍之外(例如，在近紅外(IR)中)或如果可見光譜內(nèi)的波長處需要另外的激發(fā)能量，則使用激光模塊317(或其它能源，如發(fā)光二極管或過濾的白色光)同時照射組織 303。因而，在一方面，熒光由來自激光模塊317的光觸發(fā)。例如，從Medarex公司獲得的抗體劑利用525nm(納米)激光激發(fā)。根據(jù)使用的熒光團或多個熒光團，為組合光源310A選擇特定備用光源。各種FDA 批準體內(nèi)使用的熒光染料的最大激發(fā)和發(fā)射波長在表1中給出。表權(quán)利要求
1.一種機器人手術(shù)系統(tǒng)，其包含由所述機器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡，其中所述內(nèi)窺鏡包括立體光通道，所述立體光通道包括傳輸來自組織的第一光的第一通道和傳輸來自所述組織的第二光的第二通道；圖像捕獲系統(tǒng)，包含耦合到所述第一通道的第一捕獲單元，其中所述第一捕獲單元從所述第一光中捕獲與熒光左圖像結(jié)合的可見光左圖像的可見光第一顏色分量，從所述第一光中捕獲所述可見光左圖像的可見光第二顏色分量，和從所述第一光中捕獲所述可見光左圖像的可見光第三顏色分量；和耦合到所述第二通道的第二捕獲單元，其中所述第二捕獲單元從所述第二光中捕獲與熒光右圖像結(jié)合的可見光右圖像的可見光第一顏色分量，從所述第二光中捕獲所述可見光右圖像的可見光第二顏色分量，和從所述第二光中捕獲所述可見光右圖像的可見光第三顏色分量；和耦合到所述圖像捕獲系統(tǒng)的放大立體顯示系統(tǒng)，其中所述放大立體顯示系統(tǒng)輸出所述組織至少一部分的實時立體圖像，所述實時立體圖像包括包含所述可見光左和右圖像以及所述熒光左和右圖像的三維展示。
2.根據(jù)權(quán)利要求1所述的機器人手術(shù)系統(tǒng) 其中所述第一捕獲單元包括棱鏡；其中所述棱鏡將所述第一光分成與所述熒光左圖像的熒光波長范圍分量結(jié)合的可見光左圖像的可見光第一顏色分量、所述可見光左圖像的可見光第二顏色分量，和所述可見光左圖像的可見光第三顏色分量；和其中所述熒光左圖像的熒光波長范圍分量是從所述第一、第二和第三可見光顏色分量的波長范圍中分離和去除的。
3.根據(jù)權(quán)利要求1所述的機器人手術(shù)系統(tǒng) 其中所述第二捕獲單元包括棱鏡；其中所述棱鏡將所述第二光分成與所述熒光右圖像的熒光波長范圍分量結(jié)合的可見光右圖像的可見光第一顏色分量、所述可見光右圖像的可見光第二顏色分量，和所述可見光右圖像的可見光第三顏色分量；和其中所述熒光右圖像的熒光波長范圍分量是從所述第一、第二和第三可見光顏色分量的波長范圍中分離和去除的。
4.根據(jù)權(quán)利要求1所述的機器人手術(shù)系統(tǒng)其中所述可見光第一顏色分量包含藍色或綠色分量。
5.根據(jù)權(quán)利要求1所述的機器人手術(shù)系統(tǒng) 其中所述內(nèi)窺鏡進一步包含照射通道；其中所述機器人手術(shù)系統(tǒng)進一步包含耦合到所述照射通道的組合光源；和其中所述組合光源包含 提供第一照射光的第一光源；和提供第二照射光的第二光源； 其中所述第二照射光不同于所述第一照射光；和其中所述第二照射光激發(fā)所述熒光。
6.根據(jù)權(quán)利要求5所述的機器人手術(shù)系統(tǒng)，其進一步包含 使所述照射通道連接到所述組合光源的光纖束。
7.根據(jù)權(quán)利要求5所述的機器人手術(shù)系統(tǒng)，其進一步包含 第三光源；其中所述第三光源在不同于所述第二光源激發(fā)的所述熒光的波長處激發(fā)第二熒光；和其中當保持所述光纖束連接到所述照射通道和所述組合光源時，可以交換所述第二和所述第三光源。
8.根據(jù)權(quán)利要求5所述的機器人手術(shù)系統(tǒng)其中所述放大立體顯示系統(tǒng)進一步包含耦合到所述第二照射光源的顯示模式選擇； 其中所述顯示模式選擇包含多個可選擇模式；其中在選擇第一模式之后，所述放大立體顯示系統(tǒng)輸出所述實時立體圖像；和其中在選擇第二模式之后，所述第二照射光中止，僅所述第一照射光被提供給所述組織；和其中所述放大立體顯示系統(tǒng)輸出僅包含可見光左和右圖像的另一個實時立體圖像。
9.根據(jù)權(quán)利要求5所述的機器人手術(shù)系統(tǒng)其中所述放大立體顯示系統(tǒng)進一步包含耦合到所述第一照射光源的顯示模式選擇； 其中所述顯示模式選擇包含多個可選擇模式；其中在選擇第一模式之后，所述放大立體顯示系統(tǒng)輸出所述實時立體圖像；和其中在選擇第二模式之后，所述第一照射光中止，僅所述第二照射光被提供給所述組織；和其中所述放大立體顯示系統(tǒng)輸出僅包含熒光左和右圖像的另一個實時立體圖像。
10.一種機器人手術(shù)系統(tǒng)，其包含捕獲左立體組織圖像和右立體組織圖像的立體內(nèi)窺鏡；其中所述左和右立體組織圖像各自包含第一可見光顏色分量波長范圍內(nèi)的光、第二可見光顏色分量波長范圍內(nèi)的光、第三可見光顏色分量波長范圍內(nèi)的光和熒光分量波長范圍中的光；并且其中所述熒光分量波長范圍與所述第一、第二和第三可見光顏色分量波長范圍基本不同；包含第一傳感器、第二傳感器和第三傳感器的左圖像捕獲單元； 其中所述第一傳感器基本上僅接收所述第一可見光顏色分量波長范圍內(nèi)的光和所述熒光分量波長范圍內(nèi)的光；其中所述第二傳感器基本上僅接收所述第二可見光顏色分量波長范圍內(nèi)的光，并且其中所述第三傳感器基本上僅接收所述第三可見光顏色分量波長范圍內(nèi)的光；并且包含第四傳感器、第五傳感器和第六傳感器的右圖像捕獲單元； 其中所述第四傳感器基本上僅接收所述第一可見光顏色分量波長范圍內(nèi)的光和所述熒光分量波長范圍內(nèi)的光；其中所述第五傳感器基本上僅接收所述第二可見光顏色分量波長范圍內(nèi)的光，和其中所述第六傳感器基本上僅接收所述第三可見光顏色分量波長范圍內(nèi)的光。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)其中所述第一可見光顏色分量波長范圍包含藍色波長峰；和其中所述熒光分量波長范圍包含可見光譜范圍之外的波長峰。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)其中所述第一可見光顏色分量波長范圍包含綠色波長峰；和其中所述熒光分量波長范圍包含可見光譜范圍之外的波長峰。
13.根據(jù)權(quán)利要求10所述的系統(tǒng)其中所述左圖像捕獲單元和所述右圖像捕獲單元中的一個或兩個都包含棱鏡組件，所述棱鏡組件將相應(yīng)的立體組織圖像分成與所述熒光分量波長范圍結(jié)合的第一可見光顏色分量波長范圍、所述第二可見光顏色分量波長范圍和所述第三可見光顏色分量波長范圍。
14.根據(jù)權(quán)利要求10所述的系統(tǒng)其中所述內(nèi)窺鏡由所述機器人手術(shù)系統(tǒng)握持和設(shè)置。
15.一種方法，其包含；捕獲左立體組織圖像和右立體組織圖像，其中所述左和右立體組織圖像各自包含第一可見光顏色分量波長范圍內(nèi)的光、第二可見光顏色分量波長范圍內(nèi)的光、第三可見光顏色分量波長范圍內(nèi)的光和熒光分量波長范圍內(nèi)的光，和其中所述熒光分量波長范圍與所述第一、第二和第三可見光顏色分量波長范圍基本不同；通過以下操作感測所捕獲的左圖像，即，通過基本上只將所述第一可見光顏色分量波長范圍內(nèi)的光和所述熒光分量波長范圍內(nèi)的光導向到第一傳感器，基本上只將所述第二可見光顏色分量波長范圍內(nèi)的光導向到第二傳感器，和基本上只將所述第三可見光顏色分量波長范圍內(nèi)的光導向到第三傳感器；和通過以下操作感測所捕獲的右圖像，即，通過基本上只將所述第一可見光顏色分量波長范圍內(nèi)的光和所述熒光分量波長范圍內(nèi)的光導向到第四傳感器，基本上只將所述第二可見光顏色分量波長范圍內(nèi)的光導向到第五傳感器，和基本上只將所述第三可見光顏色分量波長范圍內(nèi)的光導向到第六傳感器。
16.根據(jù)權(quán)利要求15所述的方法，其進一步包含利用一個或多個棱鏡將來自組織圖像的光分成所述第一可見光顏色分量波長范圍、第二可見光顏色分量波長范圍、第三可見光顏色分量波長范圍和熒光分量波長范圍。
17.根據(jù)權(quán)利要求15所述的方法其中所述第一可見光顏色分量波長范圍內(nèi)中的光包含藍色波長峰。
18.根據(jù)權(quán)利要求15所述的方法其中所述第一可見光顏色分量波長范圍中的光包含綠色波長峰。
19.根據(jù)權(quán)利要求15所述的方法，其進一步包含在第一情況下用第一光源和第二光源照射組織；和在第二情況下僅用所述第一光源照射組織；其中所述第一光源照射所述組織，用于感測所述第一、第二和第三可見光顏色分量波長范圍；和其中所述第二光源照射所述組織，用于感測所述熒光分量波長范圍。
20.根據(jù)權(quán)利要求15所述的方法，其進一步包含 在第一情況下用第一光源和第二光源照射組織；和在第二情況下僅用所述第二光源照射組織；其中所述第一光源照射所述組織，用于感測所述第一、第二和第三可見光顏色分量波長范圍；和其中所述第二光源照射所述組織，用于感測所述熒光分量波長范圍。
21.根據(jù)權(quán)利要求15所述的方法，其進一步包含 在第一情況下用第一光源和第二光源照射組織；和在第二情況下用所述第一光源和第三光源照射組織；其中所述第一光源照射所述組織，用于感測所述第一、第二和第三可見光顏色分量波長范圍；其中所述第二光源照射所述組織，用于感測第一熒光分量波長范圍；和其中所述第三光源照射所述組織，用于感測不同于所述第一熒光波長范圍的第二熒光分量波長范圍。
全文摘要
本發(fā)明涉及一種機器人手術(shù)系統(tǒng)，其設(shè)置和握持內(nèi)窺鏡?？梢姽獬上裣到y(tǒng)耦合到該內(nèi)窺鏡。該可見光成像系統(tǒng)捕獲組織的可見光圖像。備用成像系統(tǒng)也耦合到該內(nèi)窺鏡。該備用成像系統(tǒng)捕獲該組織至少一部分的熒光圖像。立體視頻顯示系統(tǒng)耦合到該可見光成像系統(tǒng)和備用成像系統(tǒng)。該立體視頻顯示系統(tǒng)輸出實時立體圖像，其包含與所捕獲的熒光圖像關(guān)聯(lián)的熒光圖像和可見光圖像的融合的三維展示。
文檔編號A61B1/313GK102197991SQ20111009220
公開日2011年9月28日 申請日期2009年4月9日 優(yōu)先權(quán)日2008年4月26日
發(fā)明者B·D·霍弗曼, C·J·哈瑟, C·J·莫爾, D·D·斯考特, I·M·麥克度威爾, J·D·斯特恩, P·E·利拉根, T·趙, W·趙 申請人:直觀外科手術(shù)操作公司