的比特（bps))以及總fps (即每秒產(chǎn)生的所 有幀的總和）。H. 264視頻解碼器執(zhí)行解碼的互補(bǔ)過(guò)程、反變換以及重建H. 264比特流，以 產(chǎn)生所顯示的視頻圖像。
[0061] 如上面所指出的，圖4是用于描述VQI算法的操作的表格。B列和C列分別提供i 幀和P幀的示例性大小，其可以根據(jù)上面提及的H. 264視頻壓縮標(biāo)準(zhǔn)被產(chǎn)生以編碼并且傳 送編碼的視頻圖像。然而，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，根據(jù)本公開(kāi)的各種示例性實(shí)施例可以 依賴于其他編碼/解碼算法，或者可以依賴于H. 264標(biāo)準(zhǔn)的不同的實(shí)施方式（例如，H. 264 標(biāo)準(zhǔn)和本公開(kāi)不限于僅產(chǎn)生i幀和p幀，并且本公開(kāi)的示例性實(shí)施例還可以產(chǎn)生b幀）。
[0062] 另外，為了簡(jiǎn)明起見(jiàn)，在圖4的整體描述中，并且具體地在B列和C列中，已經(jīng)假定 所有i幀都大小相同并且所有P幀都大小相同。然而，本領(lǐng)域技術(shù)人員將理解，這些幀的大 小可以取決于例如由相應(yīng)的視頻捕獲裝置（諸如圖3的視頻捕獲裝置305)捕獲的視頻圖 像的特性以及連續(xù)的視頻圖像之間差異的量而變化。在表格4中還假定p幀是i幀的大小 的一半。然而，本領(lǐng)域技術(shù)人員還將理解，在不脫離本公開(kāi)的范圍的情況下，編碼配置的i 幀對(duì)P幀的比率可以從一個(gè)實(shí)施方式到另一個(gè)實(shí)施方式變化，并且甚至可以在單個(gè)實(shí)施方 式中變化。
[0063] D列提供了從狀態(tài)監(jiān)測(cè)器的視場(chǎng)到VQI處理器的相應(yīng)的視頻捕獲裝置（VCD)的視 場(chǎng)的圖像內(nèi)容的預(yù)期變化程度的輸入。在D列，級(jí)別1指示VCD的視場(chǎng)的圖像內(nèi)容的小的 變化的期望并且級(jí)別9指示VCD的視場(chǎng)的圖像內(nèi)容的大的變化的期望。
[0064] 視場(chǎng)的圖像內(nèi)容的預(yù)期變化程度可以由例如圖3的狀態(tài)監(jiān)測(cè)器315提供到VQI處 理器，并且可以基于來(lái)自在外科醫(yī)生控制臺(tái)處的用戶/外科醫(yī)生（諸如，例如，圖3的輸入 裝置345)的一個(gè)或更多個(gè)輸入。在輸入裝置345處收到要求能夠?qū)е略趫D3的V⑶305 的視場(chǎng)的圖像內(nèi)容的變化的操作的輸入時(shí)，狀態(tài)監(jiān)測(cè)器315能夠預(yù)期接收到的輸入可導(dǎo)致 的變化程度。視場(chǎng)的圖像內(nèi)容的變化程度可以基于可改變視場(chǎng)的圖像內(nèi)容的一個(gè)或多個(gè)事 件。在不脫離本公開(kāi)的范圍的情況下，這種事件能夠包括，但不限于，VCD的配置（例如，放 大/縮小和/或使攝像機(jī)處于"跟隨"）、VCD的視場(chǎng)內(nèi)的一個(gè)或更多個(gè)外科手術(shù)器械（例 如，末端執(zhí)行器）的操作、到外科手術(shù)部位的液體、氣體或其他物質(zhì)/材料的引入和/或去 除、以及在視場(chǎng)中的對(duì)象（例如，身體部分和/或外科手術(shù)裝置）的移動(dòng)。
[0065] 根據(jù)本公開(kāi)的各種示例性實(shí)施例，VQI處理器可以基于V⑶305的視場(chǎng)的圖像內(nèi) 容的預(yù)期變化動(dòng)態(tài)地配置捕獲的視頻圖像的編碼。根據(jù)底層系統(tǒng)內(nèi)的一個(gè)或多個(gè)輸入將被 預(yù)期對(duì)視場(chǎng)的圖像內(nèi)容具有影響的知識(shí)，在各種示例性實(shí)施例中，使預(yù)測(cè)視場(chǎng)的圖像內(nèi)容 的變化變得可能。
[0066] 例如，在機(jī)器人控制的外科手術(shù)的背景內(nèi)，來(lái)自遠(yuǎn)程外科醫(yī)生控制臺(tái)（諸如圖3的 外科醫(yī)生控制臺(tái)345)的輸入可以在這種輸入導(dǎo)致視場(chǎng)的圖像內(nèi)容的變化之前由圖3的狀 態(tài)監(jiān)測(cè)器315來(lái)檢測(cè)。具體地，如上相對(duì)于圖3所解釋的，對(duì)于某些遠(yuǎn)程控制的外科手術(shù)操 作，在特定外科手術(shù)元件能夠被激活和/或移動(dòng)之前，可需要外科醫(yī)生提供多個(gè)輸入命令， 這允許預(yù)期通過(guò)特定的外科手術(shù)元件的移動(dòng)產(chǎn)生的視場(chǎng)的圖像內(nèi)容的變化。V⑶（諸如圖1 的內(nèi)窺鏡攝像機(jī)126)可以經(jīng)配置以"跟隨"模式操作，其中外科醫(yī)生能夠操作攝像機(jī)以跟 隨主夾具輸入中的一個(gè)的動(dòng)作，或者在其他示例性實(shí)施例中以自動(dòng)"跟隨"特定的外科手術(shù) 器械（諸如，例如，切割外科手術(shù)元件和/或夾持外科手術(shù)元件）的移動(dòng)。
[0067] 當(dāng)特定的外科手術(shù)器械和/或攝像機(jī)在外科醫(yī)生控制臺(tái)處被主動(dòng)地控制和/或基 于在外科醫(yī)生控制臺(tái)處的輸入被自動(dòng)地控制，該系統(tǒng)能夠提前知道，如相對(duì)于圖3所解釋 的，能夠預(yù)期影響視場(chǎng)的圖像內(nèi)容的移動(dòng)和/或其他功能。另外，能夠依賴于關(guān)于特定外科 手術(shù)元件和它們的動(dòng)作和/或功能以及其對(duì)視場(chǎng)的圖像內(nèi)容的相應(yīng)的影響的知識(shí)，預(yù)期其 對(duì)視場(chǎng)的可變的影響。例如，外科手術(shù)器械的有鉗口的末端執(zhí)行器的夾持動(dòng)作可以比例如 引入和/或去除視場(chǎng)中的液體、氣體或其他物質(zhì)/材料更小地改變視場(chǎng)的圖像內(nèi)容（例如， 以較慢的速率）。類似地，這種夾持動(dòng)作可以比處于跟隨的內(nèi)窺鏡攝像機(jī)的動(dòng)作對(duì)視場(chǎng)的圖 像內(nèi)容具有較小的變化，例如，以將視場(chǎng)從身體的一個(gè)位置移動(dòng)到另一個(gè)位置。
[0068] 在從狀態(tài)監(jiān)測(cè)器315接收關(guān)于導(dǎo)致對(duì)視場(chǎng)的圖像內(nèi)容的預(yù)期影響的這種狀態(tài)變 化的信息時(shí)，VQI處理器325可以配置視頻編碼器310,以在視場(chǎng)的圖像內(nèi)容的期望變化發(fā) 生之前產(chǎn)生視場(chǎng)的圖像內(nèi)容的圖像的高保真編碼幀。例如，VQI處理器325可配置視頻編 碼器310,以增加i幀速率，從而增加捕獲的視頻圖像的編碼質(zhì)量。編碼質(zhì)量的優(yōu)先增加可 避免視場(chǎng)的圖像內(nèi)容的預(yù)期變化將以其他方式導(dǎo)致的質(zhì)量的降低。然而，如前面所提到的， i幀速率的增加自動(dòng)增加通過(guò)網(wǎng)絡(luò)傳送編碼的視頻圖像的比特率。當(dāng)各個(gè)示例性實(shí)施例中 分配的帶寬被限制時(shí)，目標(biāo)比特率必須基于可用帶寬被維持。因此，視頻傳送的總的幀速率 (幀/秒）必須降低，以便補(bǔ)償增加的i幀速率。在這種情況下，根據(jù)各種示例性實(shí)施例， p幀速率可以降低，以補(bǔ)償增加的i幀速率。注意，fps的降低也是有限的，因?yàn)檫^(guò)低的fps 可能增加延遲，并且因此，破壞應(yīng)用的實(shí)時(shí)性。
[0069] E列和F列提供基于根據(jù)本公開(kāi)的各種示例性實(shí)施例的VCD的視場(chǎng)的圖像內(nèi)容的 預(yù)期變化程度的i幀對(duì)P幀的比率。
[0070] 為了簡(jiǎn)明起見(jiàn)，以10個(gè)為一組的圖形（GOP)已被選擇以說(shuō)明i幀對(duì)p幀的比率 (GOP -般表示多少圖形/圖像可以通過(guò)依賴于一個(gè)i幀被提供）。然而，本公開(kāi)的各個(gè)示 例性實(shí)施例并不局限于此，并且可以依賴于不同的GOP。
[0071 ] 如所示的，如果存在預(yù)期的VCD的視場(chǎng)的圖像內(nèi)容的小的變化程度，則i幀對(duì)p幀 的比率處于其最低（1/9)，因?yàn)檩^少的i幀必須提供所捕獲的視頻圖像的高保真的實(shí)時(shí)復(fù) 制。另一方面，如果預(yù)期VCD的視場(chǎng)的圖像內(nèi)容的大的變化程度，則i幀對(duì)p幀的比率處于 其最高（9/1)，因?yàn)檩^多的i幀必須提供所捕獲的視頻圖像的高保真的實(shí)時(shí)復(fù)制。
[0072] 如前面提到的，然而，由于可用的有限的帶寬，i幀對(duì)p幀的比率的增加將需要減 少能夠提供的幀的總數(shù)量，這可能增加延遲并且破壞應(yīng)用的實(shí)時(shí)性。例如，圖4示出的是， 在相對(duì)低的i幀對(duì)P幀比率，如表格的行1所示，9fps的i幀速率和81fps的p幀速率可 以實(shí)現(xiàn)，這產(chǎn)生總共90fps，并維持所使用的帶寬在最大帶寬1Mbps (參見(jiàn)J列，使用的帶寬 變?yōu)?. 99Mbps)之下。另一方面，如果預(yù)期VCD的視場(chǎng)的圖像內(nèi)容的顯著變化程度，如表 格的行5所示，45fps的i幀速率和只有5fps的p幀速率可需要維持高的保真度。然而， 這種配置產(chǎn)生50fps以維持所使用的帶寬在最大帶寬1Mbps (參見(jiàn)J列，使用的帶寬變?yōu)?0. 95Mbps)之下。
[0073] 本公開(kāi)的上述相對(duì)于圖4的數(shù)字/值都是說(shuō)明性和非限制性的，并且本領(lǐng)域技術(shù) 人員理解，本公開(kāi)的示例性實(shí)施例可以支持在此未示出的其他數(shù)字/值。例如，對(duì)于微創(chuàng)外 科手術(shù)過(guò)程，15fps的速率可以提供足夠的保真度而20-30fps的速率或更高的速率可提供 最佳的保真度。對(duì)于其他的應(yīng)用，然而，在不脫離本公開(kāi)的范圍的情況下，可以期望與上面 所指出的用于微創(chuàng)外科手術(shù)過(guò)程的那些不同的fps速率。
[0074] 因此，根據(jù)本公開(kāi)的各種示例性實(shí)施例，監(jiān)測(cè)可以預(yù)測(cè)影響VCD的視場(chǎng)的圖像內(nèi) 容的狀況，并且因此編碼器經(jīng)配置對(duì)通過(guò)視頻捕獲裝置捕獲的視頻圖像進(jìn)行編碼。具體地， 在發(fā)生視場(chǎng)的圖像內(nèi)容的變化之前，在預(yù)期由于監(jiān)測(cè)和檢測(cè)的整個(gè)系統(tǒng)的狀態(tài)變化而引起 的視場(chǎng)的圖像內(nèi)容的期望變化的情況下，編碼器能夠經(jīng)配置對(duì)通過(guò)VCD捕獲的視頻圖像進(jìn) 行編碼。因此，在保真度降低事件發(fā)生之前，高保真編碼可以在預(yù)期這種事件時(shí)實(shí)現(xiàn)，這可 以避免通常與反動(dòng)地配置視頻編碼器相關(guān)聯(lián)的低保真度圖像周期（即，在保真度降低事件 發(fā)生后）。
[0075] 圖5是根據(jù)本公開(kāi)的各種示例性實(shí)施例的用于例示由VQI處理器（諸如，例如，圖 3的VQI處理器325)執(zhí)行的VQI算法的潛在的操作的表格。具體地，圖5示出編碼器（諸 如，例如，圖3的視頻編碼器310)的配置，所述配置基于預(yù)期影響視場(chǎng)中捕獲的圖像內(nèi)容并 且傳送到如由例如圖3的網(wǎng)絡(luò)監(jiān)測(cè)器320監(jiān)測(cè)的顯示器的網(wǎng)絡(luò)狀況的變化。圖5根據(jù)本公 開(kāi)的各種示例性實(shí)施例基于視場(chǎng)的恒定圖像內(nèi)容（在這種情況下，相應(yīng)的VCD (諸如圖3的 VCD 305)的視場(chǎng)的圖像內(nèi)容的小的變化）。
[0076] A列提供從網(wǎng)絡(luò)監(jiān)測(cè)器至VQI處理器的分配給本公開(kāi)的示例性實(shí)施例的預(yù)期最大 帶寬的輸入，用于將編碼的視頻圖像從例如視頻編碼器310傳送到圖3的顯示器360。然 而，對(duì)比圖4闡述的示例性狀況，其中A列保持不變，圖5示出在導(dǎo)致跨過(guò)通信網(wǎng)絡(luò)335的 可變帶寬的不同的網(wǎng)絡(luò)狀況下的VQI算法的操作。
[0077] 如在圖4中，B列和C列分別提供i幀和p幀的示例性大小，其可以根據(jù)例如H. 264 視頻壓縮標(biāo)準(zhǔn)被產(chǎn)生以編碼并且傳送編碼的視頻圖像。因此，在此這些列不被描述。
[0078] 對(duì)于D列，如在圖4中，其提供來(lái)自狀態(tài)監(jiān)測(cè)器的視場(chǎng)的相應(yīng)的VCD的視場(chǎng)的圖像 內(nèi)容的預(yù)期變化程度的輸入。然而，如上面所指出的，圖5示出在不同的網(wǎng)絡(luò)狀況下的VQI 算法的示例性操作。因此，為具體說(shuō)明獨(dú)立于其他狀態(tài)變化的不同的網(wǎng)絡(luò)狀況的影響，在圖 5中，D列貫穿行1-5保持不變。
[0079] 本領(lǐng)域技術(shù)人員將理解，圖5示出來(lái)自狀態(tài)監(jiān)測(cè)器315的不變的狀態(tài)狀況，為了簡(jiǎn) 明起見(jiàn)，VCD變化程度為示例性監(jiān)測(cè)的狀態(tài)狀況，以提供對(duì)如下的理解，即各種示例性實(shí)施 例如何實(shí)施VQI算法以便適應(yīng)網(wǎng)絡(luò)狀況的變化（例如，如由網(wǎng)絡(luò)監(jiān)測(cè)器320所監(jiān)測(cè)的）。
[0080] E列和F列基于V⑶的視場(chǎng)的圖像內(nèi)容的預(yù)期變化程度提供i幀對(duì)p幀的比率。 因?yàn)?，如上所指出的，圖5涉及在不同的網(wǎng)絡(luò)狀況下的VQI算法的操作，而不涉及影響VCD 的視場(chǎng)的圖像內(nèi)容的狀態(tài)變化（例如，諸如外科手術(shù)元件的操作），D列沿行1-5保持不變。 因此，由于E列和F列取決于D列所闡述的值，E列和F列也貫穿行1-5仍保持不變。
[0081] 圖5的G列、H列和I