用于優(yōu)化視頻流的方法和系統(tǒng)的制作方法
【專利說(shuō)明】
[0001] 本申請(qǐng)要求2012年8月15日提交的美國(guó)臨時(shí)申請(qǐng)No. 61/683493的權(quán)益，其全部 內(nèi)容通過(guò)引用并入本文。
技術(shù)領(lǐng)域
[0002] 本公開(kāi)總體涉及處理視頻數(shù)據(jù)。更具體地，本公開(kāi)的各個(gè)方面涉及在微創(chuàng)外科手 術(shù)過(guò)程期間處理在遠(yuǎn)程部位處（例如遠(yuǎn)程外科手術(shù)部位處）捕獲的視頻數(shù)據(jù)的方法和系 統(tǒng)。
【背景技術(shù)】
[0003] 微創(chuàng)外科手術(shù)技術(shù)通常試圖執(zhí)行各種外科手術(shù)過(guò)程，并將對(duì)健康組織的損傷減到 最小。微創(chuàng)外科手術(shù)器械（包括，例如，手動(dòng)或遙控機(jī)器人控制的）可以在各種操作中使用， 并且可以具有各種配置。許多這種器械包括，但不限于，安裝在長(zhǎng)軸的遠(yuǎn)端處的外科末端執(zhí) 行器，其經(jīng)配置（例如，腹腔鏡地或胸腔鏡地）被插入通過(guò)開(kāi)口（例如，體壁切口、自然孔口 等）以到達(dá)患者體內(nèi)的遠(yuǎn)程外科手術(shù)部位。在某些器械中，鉸接腕機(jī)構(gòu)被安裝到器械的軸 的遠(yuǎn)端，以支撐末端執(zhí)行器并且根據(jù)軸的縱向軸線改變末端執(zhí)行器的取向（例如，俯仰和/ 或偏轉(zhuǎn)）。
[0004] 這種外科手術(shù)器械的末端執(zhí)行器可以經(jīng)配置執(zhí)行各種功能，包括在開(kāi)放式外科手 術(shù)過(guò)程中常規(guī)地執(zhí)行的任何各種外科手術(shù)過(guò)程。示例包括，但不限于，密封、切割、燒灼、燒 蝕、縫合、裝訂等。為控制末端執(zhí)行器的動(dòng)作，力或轉(zhuǎn)矩能夠從外科手術(shù)器械的近端并且沿 著器械的軸向下傳送到末端執(zhí)行器。
[0005] 在遙控機(jī)器人外科手術(shù)系統(tǒng)中，外科醫(yī)生在外科醫(yī)生側(cè)控制臺(tái)處操縱各種輸入裝 置（有時(shí)在本文中稱為主輸入）以在遠(yuǎn)程外科手術(shù)部位處控制一個(gè)或更多個(gè)相應(yīng)的遠(yuǎn)程控 制的外科手術(shù)器械。在外科醫(yī)生側(cè)控制臺(tái)處的輸入被傳遞到與遠(yuǎn)程控制的外科手術(shù)器械接 合的患者側(cè)推車(chē)，其中進(jìn)行外科手術(shù)器械的相應(yīng)的遙控/遙控機(jī)器人操縱，以在遠(yuǎn)程外科 手術(shù)部位處對(duì)患者執(zhí)行外科手術(shù)和/或其他過(guò)程。
[0006] 當(dāng)例如經(jīng)由遙控機(jī)器人控制的外科手術(shù)系統(tǒng)或其他微創(chuàng)外科手術(shù)器械遠(yuǎn)程地執(zhí) 行微創(chuàng)外科手術(shù)過(guò)程（例如，常規(guī)的手動(dòng)腹腔鏡或內(nèi)窺鏡過(guò)程）時(shí)，視頻顯示器（例如，監(jiān) 測(cè)器）能夠用于顯示經(jīng)由內(nèi)窺鏡攝像機(jī)在外科手術(shù)部位處捕獲的圖像。在機(jī)器人外科手術(shù) 系統(tǒng)中，例如，內(nèi)窺鏡攝像機(jī)可以被安裝在患者側(cè)推車(chē)處并經(jīng)由在外科醫(yī)生側(cè)控制臺(tái)處的 輸入來(lái)操縱。
[0007] 希望在外科手術(shù)部位處捕獲的視頻圖像以相對(duì)規(guī)律性并且以在視頻圖像的捕獲 和視頻圖像的顯示之間的極小延遲或無(wú)延遲（例如，以盡可能高的幀速率）到達(dá)視頻顯示 器。然而，也希望在視頻顯示器處提供相對(duì)高保真的視頻圖像。以這種方式，視頻處理和顯 示系統(tǒng)可以顯示外科手術(shù)部位的高保真不間斷的"實(shí)時(shí)"視頻，并且因此將外科手術(shù)部位的 相對(duì)清晰和準(zhǔn)確的視頻圖像提供給外科醫(yī)生。
[0008] 如果在外科手術(shù)部位處捕獲的視頻圖像不以相對(duì)規(guī)律性和極小延遲到達(dá)視頻系 統(tǒng)，則視頻顯示器可能不顯示外科手術(shù)部位的基本不間斷的實(shí)時(shí)視頻。例如，當(dāng)數(shù)據(jù)網(wǎng)絡(luò)被 依賴用于將在外科手術(shù)部位處捕獲的視頻圖像傳遞到視頻顯示器時(shí)，到達(dá)的視頻圖像的規(guī) 律性可能受通常與數(shù)據(jù)網(wǎng)絡(luò)（諸如，例如，網(wǎng)絡(luò)擁塞和/或網(wǎng)絡(luò)節(jié)點(diǎn)故障）相關(guān)聯(lián)的狀況的 影響。如果預(yù)定的延遲超過(guò)大多數(shù)或所有的數(shù)據(jù)時(shí)延（例如，基于網(wǎng)絡(luò)的時(shí)延），則維持在 外科手術(shù)部位處的視頻圖像的捕獲和在視頻顯示器處的視頻圖像的顯示之間的預(yù)定的延 遲可減少或消除由網(wǎng)絡(luò)狀況引起的中斷。然而，在其中期望低延遲或無(wú)延遲的應(yīng)用中（例 如，諸如在外科手術(shù)應(yīng)用中），長(zhǎng)到足以減少或消除大多數(shù)或所有的中斷的預(yù)定的延遲可能 超過(guò)這種應(yīng)用所期望考慮的延遲。
[0009] 此外，如果外科手術(shù)部位和顯示器之間的視頻圖像的傳遞是帶寬受限的，如通常 當(dāng)這種傳遞通過(guò)共享介質(zhì)（諸如數(shù)據(jù)網(wǎng)絡(luò)）進(jìn)行的情況下，則視頻圖像可能需要編碼/壓 縮，以減少用于傳遞視頻圖像的視頻流的平均的數(shù)據(jù)速率。然而，已知的視頻編碼/解碼標(biāo) 準(zhǔn)（其使用減少用于傳遞視頻流的數(shù)據(jù)量的技術(shù)）（諸如，例如，國(guó)際電信聯(lián)盟（ITU)電信 標(biāo)準(zhǔn)化部門(mén)（ITU-T)建議/標(biāo)準(zhǔn)H. 264(也稱為國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)（ISO/ IEC))、運(yùn)動(dòng)圖像專家組第4版（MPEG-4))高級(jí)視頻編碼（AVC)標(biāo)準(zhǔn)（或ISO/IEC MPEG-4AVC 標(biāo)準(zhǔn)）），在某些情況下可能無(wú)法提供足夠高保真的視頻圖像。例如，對(duì)于捕獲的連續(xù)視頻圖 像的相對(duì)較大的差異（例如，由于在部位處發(fā)生的大的動(dòng)作或其他變化），由視頻編碼/解 碼標(biāo)準(zhǔn)所使用的數(shù)據(jù)簡(jiǎn)化技術(shù)可產(chǎn)生相對(duì)低的保真度圖像。當(dāng)連續(xù)的視頻圖像之間的差異 不可預(yù)測(cè)時(shí)，這會(huì)更成問(wèn)題。
[0010] 存在提供一種視頻處理系統(tǒng)和方法的需要，其提供相對(duì)低的延遲（用于其中期望 基本實(shí)時(shí)顯示的應(yīng)用），以及在部位處捕獲的并且用于在視頻顯示器處顯示而傳遞的圖像 的高保真度。還存在提供一種微創(chuàng)外科手術(shù)系統(tǒng)的需要（諸如，例如，遙控機(jī)器人外科手術(shù) 系統(tǒng)），其在外科醫(yī)生側(cè)控制臺(tái)顯示器處以低延遲顯現(xiàn)外科手術(shù)部位的基本不間斷的高保 真視頻圖像。

【發(fā)明內(nèi)容】

[0011] 本公開(kāi)解決了一個(gè)或多個(gè)上述問(wèn)題且/或例證了一個(gè)或多個(gè)上述期望的特征。其 他特征和/或優(yōu)點(diǎn)可以根據(jù)下面的說(shuō)明中變得顯而易見(jiàn)。
[0012] 根據(jù)至少一個(gè)示例性實(shí)施例，本公開(kāi)考慮一種用于處理視頻的方法，其包括響應(yīng) 于接收到與執(zhí)行過(guò)程的系統(tǒng)的狀態(tài)變化（諸如執(zhí)行外科手術(shù)過(guò)程的外科手術(shù)系統(tǒng)的狀態(tài) 變化）相關(guān)聯(lián)的輸入，調(diào)整視頻編碼器的編碼配置。該方法可以進(jìn)一步包括在狀態(tài)變化之 后基于調(diào)整的編碼配置對(duì)捕獲的外科手術(shù)的圖像數(shù)據(jù)進(jìn)行編碼。
[0013] 根據(jù)至少另一個(gè)示例性實(shí)施例，本公開(kāi)考慮一種外科手術(shù)系統(tǒng)，其包括內(nèi)窺鏡圖 像捕獲裝置以及視頻處理器，其用于產(chǎn)生視頻編碼配置數(shù)據(jù)以對(duì)圖像數(shù)據(jù)進(jìn)行編碼，其中 處理器經(jīng)配置以接收與外科手術(shù)系統(tǒng)的狀態(tài)變化相關(guān)聯(lián)的輸入以及基于輸入輸出調(diào)整的 視頻編碼配置數(shù)據(jù)。
[0014] 另外的目的和優(yōu)點(diǎn)將在下面的描述中部分被闡述，并且根據(jù)描述一部分將是顯而 易見(jiàn)的，或可以通過(guò)本公開(kāi)和/或權(quán)利要求的實(shí)踐中而得知。這些目的和優(yōu)點(diǎn)中的至少一 些可以由在所附的權(quán)利要求書(shū)中特別指出的元件和組合來(lái)實(shí)現(xiàn)和獲得。
[0015] 應(yīng)當(dāng)理解，如所公開(kāi)的或要求保護(hù)的，前述總體描述和以下的【具體實(shí)施方式】都僅 是示例性和解釋性的，而不限制本發(fā)明。權(quán)利要求應(yīng)當(dāng)有權(quán)達(dá)到其范圍的整個(gè)廣度，包括等 同物。
【附圖說(shuō)明】
[0016] 單獨(dú)或結(jié)合附圖，本公開(kāi)根據(jù)下面的【具體實(shí)施方式】能夠被理解。附圖被包括以提 供本公開(kāi)的進(jìn)一步理解，并且被并入本說(shuō)明書(shū)并構(gòu)成本說(shuō)明書(shū)的一部分。被并入本說(shuō)明書(shū) 并構(gòu)成本說(shuō)明書(shū)的一部分的附圖示出了本公開(kāi)的一個(gè)或更多個(gè)實(shí)施例，并且與說(shuō)明書(shū)一起 用于解釋某些原理和操作。在附圖中，
[0017] 圖1是根據(jù)本公開(kāi)的至少一個(gè)示例性實(shí)施例的機(jī)器人外科手術(shù)系統(tǒng)的示例性實(shí) 施例的圖解視圖；
[0018] 圖2是根據(jù)本公開(kāi)的至少一個(gè)示例性實(shí)施例的機(jī)器人外科手術(shù)系統(tǒng)的攝像機(jī)臂 的一部分的透視圖；
[0019] 圖3是根據(jù)本公開(kāi)的至少一個(gè)示例性實(shí)施例的視頻編碼系統(tǒng)的功能塊圖；
[0020] 圖4是根據(jù)本公開(kāi)的至少一個(gè)示例性實(shí)施例的用于例示視頻處理技術(shù)的潛在的 操作的表格；
[0021] 圖5是根據(jù)本公開(kāi)的另一個(gè)示例性實(shí)施例的用于例示視頻處理技術(shù)的潛在的操 作的表格；
[0022] 圖6是根據(jù)本公開(kāi)的至少一個(gè)示例性實(shí)施例的示出用于處理視頻的方法的流程 圖；
[0023] 圖7是根據(jù)本公開(kāi)的另一個(gè)示例性實(shí)施例的示出用于處理視頻的方法的流程圖；
[0024] 圖8是根據(jù)本公開(kāi)的又一個(gè)示例性實(shí)施例的示出用于處理視頻的方法的流程圖； 并且
[0025] 圖9根據(jù)本公開(kāi)的至少一個(gè)示例性實(shí)施例示意性地示出視頻處理系統(tǒng)。
【具體實(shí)施方式】
[0026] 本說(shuō)明書(shū)和附圖示出了示例性實(shí)施例，并且不應(yīng)該被視為限制，權(quán)利要求限定本 公開(kāi)的范圍，包括等同物。各種機(jī)械、組成、結(jié)構(gòu)、電氣和操作上的改變（包括等同物）可以 在不脫離本說(shuō)明書(shū)和權(quán)利要求書(shū)的范圍的情況下做出。在一些情況下，公知的結(jié)構(gòu)和技術(shù) 沒(méi)有被詳細(xì)示出或描述，以免模糊本公開(kāi)。在兩個(gè)或更多個(gè)附圖中的相同的數(shù)字標(biāo)號(hào)代表 相同或相似的元件。此外，只要切實(shí)可行，參考一個(gè)實(shí)施例，可以詳細(xì)描述的元件和它們的 關(guān)聯(lián)的方面可以被包括在其中它們沒(méi)有具體示出或描述的其他實(shí)施例中。例如，如果元件 參考一個(gè)實(shí)施例詳細(xì)描述而不參考第二實(shí)施例描述，該元件仍可被要求為包括在第二實(shí)施 例中。此外，本文的描繪僅用于說(shuō)明性的目的并且不一定反映系統(tǒng)或電外科手術(shù)器械的實(shí) 際的形狀、大小或尺寸。
[0027] 應(yīng)當(dāng)指出，如在本說(shuō)明書(shū)和所附權(quán)利要求書(shū)中所使用的，單數(shù)形式的"一種/個(gè) (a/an) "和"該"以及任何詞的任何單數(shù)使用包括復(fù)數(shù)對(duì)象，除非明確地并且不含糊地限于 一個(gè)對(duì)象。如本文所用，術(shù)語(yǔ)"包括"及其語(yǔ)法變體旨在為非限制性的，使得在列表中的項(xiàng) 目的敘述不排除其他能夠被取代或添加到所列項(xiàng)目的類似的項(xiàng)目。
[0028] 根據(jù)各種示例性實(shí)施例，本公開(kāi)考慮這樣的方法和系統(tǒng)，即處理用于其中在部位 處捕獲視頻數(shù)據(jù)的視頻應(yīng)用的實(shí)時(shí)視頻數(shù)據(jù)，以及具體地，用于微創(chuàng)外科手術(shù)系統(tǒng)（諸如， 例如，遙控機(jī)器人或遙控外科手術(shù)系統(tǒng)）的實(shí)時(shí)視頻數(shù)據(jù)。因此，各種示例性實(shí)施例涉及這 樣的方法和系統(tǒng)，即用于在視頻顯示器處提供在部位處由例如內(nèi)窺鏡攝像機(jī)捕獲的視頻圖 像的相對(duì)不間斷、高保真以及"實(shí)時(shí)"視頻流。例如，各種示例性實(shí)施例可提供一種視頻顯 示器，其具有足夠高的圖像幀速率以提供相對(duì)不間斷的視頻，例如，每秒大于15幀，以及自 相應(yīng)的圖像被捕獲以基本上瞬時(shí)出現(xiàn)的時(shí)間的足夠低的延遲，諸如，例如，小于1. 5秒。
[0029] 根據(jù)各種示例性實(shí)施例，對(duì)應(yīng)于外科手術(shù)系統(tǒng)的總體使用的各種狀態(tài)變化能夠被 監(jiān)測(cè)并被依賴作為足夠早的指示，即圖像捕獲裝置的視場(chǎng)內(nèi)的外科手術(shù)部位處可能的變化 被預(yù)期，其可以影響在視場(chǎng)中的圖像內(nèi)容數(shù)據(jù)。通過(guò)監(jiān)測(cè)外科手術(shù)系統(tǒng)內(nèi)發(fā)生的各種操作 命令或其他狀態(tài)變化，并依賴于各種功能的知識(shí)和它們對(duì)那些操作命令/狀態(tài)變化的外科 手術(shù)部位的可能的影響，根據(jù)各種示例性實(shí)施例的視頻處理方法和系統(tǒng)能夠提前配置編碼 器，以有源方式而不是無(wú)源方式優(yōu)化正被捕獲的視頻圖像的編碼。
[0030]