專利名稱：用以提供數(shù)字視頻內(nèi)容錯(cuò)誤復(fù)原的方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于一種數(shù)字視頻的系統(tǒng)和方法，尤指一種可應(yīng)用于錯(cuò)誤復(fù)原和實(shí)時(shí)數(shù)字視頻傳輸?shù)臄?shù)字視頻的系統(tǒng)和方法。
背景技術(shù)：
今日無線服務(wù)的需求(例如無線視頻傳輸)與日俱增。從簡(jiǎn)單的單向傳呼機(jī)到全功能的手機(jī)與視頻傳輸，消費(fèi)者與使用者持續(xù)地堅(jiān)持最快速與最功能廣泛的科技。使用者在家庭、辦公室或工業(yè)應(yīng)用上的無線音頻與視頻的內(nèi)容的傳輸需求如同行動(dòng)電話、智能型手機(jī)、個(gè)人數(shù)字助理(personal digital assistant, PDA)、筆記型計(jì)算機(jī)或其它可攜式裝置一樣與日俱增。例如，一個(gè)地方的活動(dòng)(像是視頻錄像活動(dòng)、家庭內(nèi)的嬰兒動(dòng)態(tài)、商店內(nèi)消費(fèi)者動(dòng)態(tài)以及工廠內(nèi)生產(chǎn)活動(dòng))可被實(shí)時(shí)且不失真的傳送到還一個(gè)地方。還一個(gè)例子是新聞、運(yùn)動(dòng)競(jìng)技以及娛樂節(jié)目可不需要通過糾結(jié)的傳輸線傳送出去。然而，在具有可接受的效率、成本及/或質(zhì)量下，傳送音頻與視頻的內(nèi)容并不是一件簡(jiǎn)單的任務(wù)。不論是通過有線或是無線傳輸形式，在以封包形式傳送視頻或其它內(nèi)容中，對(duì)于實(shí)時(shí)音頻或視頻的傳輸?shù)囊粋€(gè)主要問題即是遺失封包。在音頻與視頻的傳輸過程中，封包可因各種不同原因而遺失，例如，封包可因網(wǎng)絡(luò)實(shí)體連結(jié)，網(wǎng)絡(luò)節(jié)點(diǎn)的干擾、緩沖與處理能力，以及傳送通道的狀況等所造成的位錯(cuò)誤而遺失。在無線傳輸環(huán)境，可因?yàn)榈孛?例如山岳、建筑等)、天氣狀況、其它無線信號(hào)的干擾與重迭或是距離等，造成無線傳輸信號(hào)被干擾或影響，或是遺失封包。因此，使用者需要一個(gè)可改善傳送到一個(gè)或多個(gè)裝置(例如無線裝置)的內(nèi)容(例如實(shí)時(shí)音頻及/或視頻內(nèi)容)質(zhì)量的系統(tǒng)或是方法
發(fā)明內(nèi)容
本發(fā)明的一實(shí)施例提供一種用以提供數(shù)字視頻內(nèi)容錯(cuò)誤復(fù)原的方法。該方法包括接收對(duì)應(yīng)于多個(gè)視頻幀的視頻數(shù)據(jù)；利用編碼器編碼該視頻數(shù)據(jù)以產(chǎn)生代表視頻幀的多個(gè)封包；傳送該多個(gè)封包中的第一組封包至至少二個(gè)接收器；從該至少二個(gè)接收器接收關(guān)于該多個(gè)封包的個(gè)別封包的接收狀態(tài)的回授信息，其中該回授信息是沒有接收正確的封包的指標(biāo)；根據(jù)從該至少二個(gè)接收器接收的回授信息，檢查關(guān)于該至少二個(gè)接收器的錯(cuò)誤指標(biāo)；如果該至少二個(gè)接收器間的該錯(cuò)誤指標(biāo)的變異是低于第一錯(cuò)誤臨界值，則執(zhí)行第一錯(cuò)誤更正政策，以及如果該至少二個(gè)接收器間的該錯(cuò)誤指標(biāo)的變異是高于該第一錯(cuò)誤臨界值，則執(zhí)行第二錯(cuò)誤更正政策，其中該第一和第二錯(cuò)誤更正政策的至少一個(gè)錯(cuò)誤更正政策包括利用不同于已用于編碼該多個(gè)封包的機(jī)制的編碼機(jī)制傳送或重傳至少一個(gè)封包。


圖1是為本發(fā)明的一實(shí)施例說明視頻傳輸系統(tǒng)結(jié)構(gòu)的示意圖。圖2是為本發(fā)明的還一實(shí)施例說明編碼、傳送和譯碼視頻幀的時(shí)序示意圖。
圖3是為說明具有嵌入式譯碼器和以區(qū)塊為基礎(chǔ)、混合式的視頻編譯碼器的功能方塊的示意圖。圖4是為本發(fā)明的一實(shí)施例說明在編碼器端的錯(cuò)誤隱藏的示意圖。圖5和圖6是為說明數(shù)種不同的重傳機(jī)制的示意圖。圖7是為說明結(jié)合本發(fā)明的重傳機(jī)制以組成通道自適應(yīng)地重傳機(jī)制所繪的狀態(tài)示意圖。圖8是為說明遺失的宏區(qū)塊的空間內(nèi)插的示意圖。圖9是為說明對(duì)于時(shí)間錯(cuò)誤隱藏的譯碼器的運(yùn)動(dòng)向量估計(jì)的示意圖。圖10是為說明結(jié)合空間和時(shí)間的錯(cuò)誤隱藏的示意圖。圖11是為本發(fā)明的還一實(shí)施例說明用以編碼I幀步驟的流程圖。圖12A及圖12B是為本發(fā)明的還一實(shí)施例描繪編碼P幀步驟的流程圖。圖13是為本發(fā)明的還一實(shí)施例說明包括編碼器與多個(gè)譯碼器的視頻傳輸系統(tǒng)的示意圖。圖14是為本發(fā)明的還一實(shí)施例說明多接收器系統(tǒng)的錯(cuò)誤更正政策的流程圖。其中，附圖標(biāo)記說明如下102、1302攝像機(jī)104、1304編碼器106、1306傳輸器108、1308a_1308n無線通道110、1310a_1310n接收器112、1312a_1312n譯碼器113嵌入式譯碼器114、1314a_1314n顯示器120、1320a_1320n回授信息302色彩轉(zhuǎn)換/取樣模塊304離散余弦轉(zhuǎn)換模塊306量化模塊308可變長(zhǎng)度的編碼模塊310編碼控制312移動(dòng)估計(jì)模塊320逆向的量化裝置322逆向的離散余弦轉(zhuǎn)換器324移動(dòng)補(bǔ)償預(yù)測(cè)模塊1308無線網(wǎng)絡(luò)1400流程圖1002-1016、1102-1128、1202-1252、 步驟1402-143具體實(shí)施方式
請(qǐng)參考圖1。圖1是為本發(fā)明的一實(shí)施例說明視頻傳輸系統(tǒng)結(jié)構(gòu)的示意圖。攝像機(jī)102可以特定幀速率(例如每秒25個(gè)視頻幀)獲取視頻幀以及傳送對(duì)應(yīng)于被獲取到的視頻幀的視頻數(shù)據(jù)至編碼器104。然后，編碼器104可對(duì)對(duì)應(yīng)于被獲取到的視頻幀的視頻數(shù)據(jù)編碼。在本發(fā)明的還一實(shí)施例中，攝像機(jī)102并不包括于視頻傳輸系統(tǒng)，因此編碼器104是由一個(gè)或多個(gè)來源接收視頻數(shù)據(jù)或是視頻幀。編碼器104可以是以區(qū)塊為基礎(chǔ)、混合式的視頻編碼架構(gòu)(例如MPEG-X，H. 26X)。例如，編碼器104可利用移動(dòng)補(bǔ)償預(yù)測(cè)(motion compensated prediction, MCP)以及轉(zhuǎn)換編碼的(transform coding)方法(例如離散余弦轉(zhuǎn)換，discretecosine transform, DCT)編碼(或稱壓縮)視頻幀。編碼后的視頻幀可利用傳輸器106通過媒介(例如無線信道108)傳輸。另外，視頻傳輸系統(tǒng)可能有多個(gè)接收器在接收器這端，但在圖1中僅說明接收器110。—旦接收器110接收到視頻封包，即產(chǎn)生確認(rèn)(acknowledgement)，例如回授信息120)，以及通過無線回授通道傳送確認(rèn)至傳輸器106。在圖1的視頻傳輸系統(tǒng)中，每個(gè)封包都可有形式和格式不同的確認(rèn)。在本發(fā)明的還一實(shí)施例中，回授信息120中的回授信息可以是有關(guān)于一個(gè)或多個(gè)傳送或接收的封包的接收狀態(tài)，以及亦可是沒有正確接收的封包的指標(biāo)。例如回授信息120可通知傳輸器106或編碼器104是否被傳輸?shù)囊曨l封包已經(jīng)成功地被接收器110接收，或者是在無線通道108中被損毀。如圖1所示，視頻封包可被譯碼器112解碼和重建(例如因?yàn)橐曨l數(shù)據(jù)經(jīng)壓縮、解壓縮、編碼或譯碼后，一些視頻數(shù)據(jù)損毀)后，送至顯示器114顯示。雖然圖1中譯碼器104以及傳輸器106是為兩個(gè)裝置，但它們也可以被整合為具有與二者相同功能的單一組件。同樣地，接收器110以及譯碼器112也可以被整合為具有與二者相同功能單一組件。在本發(fā)明的還一實(shí)施例中，傳送 端(例如傳輸器106、編碼器104、或處理器)可根據(jù)來自一個(gè)或多個(gè)接收器的回授信息，檢查有關(guān)于至少二個(gè)接收器的錯(cuò)誤指標(biāo)。因此，傳送端(例如傳輸器106、編碼器104、或處理器)可決定如何處理被遺失的封包，以及如何編碼下一個(gè)獲取到的視頻幀。例如 ，可根據(jù)多個(gè)接收器的錯(cuò)誤指標(biāo)實(shí)現(xiàn)不同的錯(cuò)誤更正政策，以及已實(shí)現(xiàn)的錯(cuò)誤更正政策可包括使用編碼機(jī)制傳送或是重傳至少一個(gè)封包，其中編碼機(jī)制可不同于之前用以編碼已傳送的封包的編碼機(jī)制。在本發(fā)明的還一實(shí)施例中，為了避免移動(dòng)補(bǔ)償預(yù)測(cè)中的不匹配，視頻編碼器和譯碼器112須以同樣的方式對(duì)遺失或錯(cuò)誤的封包或稱單片(slices)進(jìn)行錯(cuò)誤隱藏，以及視頻幀的隱藏版本可用以移動(dòng)補(bǔ)償預(yù)測(cè)。本發(fā)明的系統(tǒng)及方法可基于無線信道質(zhì)量、無線信道傳輸情況或是譯碼器112以及接收端處理已傳送封包的能力，通過來自接收器110的回授信息調(diào)整編碼器104的編碼機(jī)制，以維持編碼器104及譯碼器112之間的同步(或是匹配)。在本發(fā)明的一實(shí)施例中，無線通道可以是4點(diǎn)對(duì)點(diǎn)(point-to-point)的無線通道，或者具有四接收裝置與傳送裝置的用戶/服務(wù)器(client/server)的無線通道。不同的無線傳輸機(jī)制包括無線保真(Wireless Fidelity, WiFi)、藍(lán)芽(Bluetooth)或超寬帶(ultra wide band，UWB)等，都可為本發(fā)明的無線信道的傳輸媒介。另外非標(biāo)準(zhǔn)的無線網(wǎng)絡(luò)或有線的點(diǎn)對(duì)點(diǎn)的傳輸架構(gòu)亦可應(yīng)用于本發(fā)明。在本發(fā)明的不同實(shí)施例中，接收器必須能夠接收已傳輸?shù)姆獍?，并且回傳關(guān)于所收到封包的確認(rèn)(acknowledgements, ACKs)或負(fù)向確認(rèn) NACK(negative acknowledgements, NACKs)的回傳信息。在本發(fā)明的不同實(shí)施例中，一個(gè)視頻幀可被分割成多個(gè)宏區(qū)塊(macroblocks, MBs),而每個(gè)宏區(qū)塊如何編碼(內(nèi)部模式(intra mode)、相互模式(intermode)、或者忽略模式(skip mode)),則由編碼控制來決定。幾個(gè)宏區(qū)塊組成一個(gè)單片，一個(gè)單片具有固定的大小或可變的大小，且同一視頻幀的每一個(gè)單片均可被獨(dú)立地譯碼。因此，在被壓縮的視頻數(shù)據(jù)流中，任何錯(cuò)誤的位不會(huì)對(duì)整個(gè)重建后的視頻圖像質(zhì)量，造成很大的影響。傳輸器106將被壓縮后的視頻數(shù)據(jù)流放入固定大小，或可變大小的視頻封包中(例如一個(gè)單片可被放入封包)，并通過無線通道108傳送至接收器110。接收器110可以是任何能接收被壓縮的視頻數(shù)據(jù)流的裝置(例如計(jì)算機(jī)、電話、個(gè)人數(shù)字助理或其它裝置等)。在接收器110中的(無線)調(diào)制解調(diào)器可用以回傳回授信息120。本發(fā)明的一個(gè)目的是為實(shí)時(shí)或近乎實(shí)時(shí)顯示上述被譯碼的數(shù)據(jù)，如同熟知本領(lǐng)域者可儲(chǔ)存上述被譯碼的數(shù)據(jù)于緩沖器(buffer)、其它揮發(fā)性的內(nèi)存或儲(chǔ)存裝置中一小段時(shí)間或一段長(zhǎng)時(shí)間，等待接下來的播放。請(qǐng)參照?qǐng)D2，圖2是為本發(fā)明的一實(shí)施例說明編碼、傳送和譯碼視頻幀的時(shí)序示意圖。在本發(fā)明的一實(shí)施例中，第一獲取幀202a可被獨(dú)立編碼為I幀，而接下來的其它幀根據(jù)先前的幀，被編碼為P幀。例如，壓縮的視頻幀可被放入數(shù)個(gè)固定大小或可變大小的視頻封包中，且數(shù)個(gè)視頻封包可通過無線通道108傳送至接收器110。因?yàn)榫幋aI幀的壓縮效率比編碼P幀的壓縮效率低很多，所以在本發(fā)明的一些實(shí)施例中，為了保持幀質(zhì)量一定，I幀所占的位需求須為P幀的兩倍。亦即意味著也就是在通道中傳輸I幀的時(shí)間是P幀的兩倍。為了達(dá)到實(shí)時(shí)傳輸?shù)哪康模琁幀之后的獲取視頻幀(例如，第二獲取幀)可被跳過，而第二獲取幀的傳輸時(shí)間是被I幀所使用。然后，下一個(gè)獲取幀將利用I幀為參考幀來進(jìn)行編碼，且在I幀之后立即被送出，例如第三獲取幀204a。在I幀的下一個(gè)幀被送出之后，接
下來的圖像幀均以適當(dāng)?shù)捻樞颍?06a、208a等被傳送出去。這些幀在接收端--相對(duì)`應(yīng)地被解碼為202b、204b (對(duì)應(yīng)于第三獲取幀204a) ,206b等。另外，本發(fā)明的實(shí)施例可提供錯(cuò)誤復(fù)原及/或錯(cuò)誤回復(fù)。例如，具有單片結(jié)構(gòu)、以區(qū)塊為基礎(chǔ)、混合式的視頻編譯碼器(CODEC)可被利用以提供錯(cuò)誤復(fù)原及/或錯(cuò)誤回復(fù)。在本發(fā)明的一實(shí)施例中，視頻編譯碼器是基于眾所周知的以區(qū)塊(blocks)為基礎(chǔ)、混合式的視頻編譯碼器的結(jié)構(gòu)(MPEG-X、H. 26X)，其中以區(qū)塊(blocks)為基礎(chǔ)、混合式的視頻編譯碼器是利用移動(dòng)補(bǔ)償預(yù)測(cè)和離散余弦轉(zhuǎn)換的方式編碼。請(qǐng)參照?qǐng)D3，圖3是為本發(fā)明的一實(shí)施例說明具有嵌入式譯碼器和以區(qū)塊為基礎(chǔ)、混合式的視頻編譯碼器的功能方塊示意圖。如圖3所示，編碼器104包括嵌入式譯碼器113 (功能與譯碼器112相同)、色彩轉(zhuǎn)換/取樣模塊302、離散余弦轉(zhuǎn)換模塊304、量化模塊306和可變長(zhǎng)度的編碼模塊308。離散余弦轉(zhuǎn)換模塊304是耦接于量化模塊306 ;量化模塊306是用以產(chǎn)生量化系數(shù)，并傳送量化系數(shù)至可變長(zhǎng)度的編碼模塊308。如圖3所示，編碼器104還包括編碼控制310，用以和量化模塊306溝通。嵌入式譯碼器113包括逆向的量化裝置320、逆向的離散余弦轉(zhuǎn)換器322和移動(dòng)補(bǔ)償預(yù)測(cè)模塊324。受到編碼控制310控制的內(nèi)部模式/相互模式的開關(guān)326可被用來選擇獨(dú)立的視頻幀編碼(內(nèi)部模式)，或選擇使用移動(dòng)補(bǔ)償預(yù)測(cè)編碼(相互模式)。移動(dòng)估計(jì)模塊312提供移動(dòng)補(bǔ)償預(yù)測(cè)模塊324的輸入，也與編碼控制310進(jìn)行溝通。
在本發(fā)明的一實(shí)施例中，從攝像機(jī)102獲取到的每一個(gè)視頻幀可被分割成多個(gè)固定大小的宏區(qū)塊(MBs)，例如16*16像素，而每一個(gè)宏區(qū)塊不是可被獨(dú)立編碼(內(nèi)部模式)，就是利用移動(dòng)估計(jì)從被編碼的前一參考幀進(jìn)行預(yù)測(cè)(相互模式)，或是忽略(忽略模式)。如前述，第一獲取視頻幀202a(I幀)可利用內(nèi)部模式編碼，而接下來幀(P幀)中的宏區(qū)塊則視整體的情況，從內(nèi)部模式，相互模式，或者忽略模式中，選擇效率較高的編碼模式進(jìn)行編碼。每個(gè)宏區(qū)塊的編碼模式是由編碼控制310來決定，有關(guān)編碼控制310的進(jìn)一步說明，將留到后面再討論。幾個(gè)宏區(qū)塊組成一個(gè)單片，幾個(gè)單片又組成視頻幀。在本發(fā)明的一實(shí)施例中，視頻幀所包括的每一個(gè)單片，都可單獨(dú)地被解碼。在本發(fā)明的實(shí)施例中，每個(gè)單片具有相同的大小，且一個(gè)單片可被封裝入視頻封包。將單片的結(jié)構(gòu)放入錯(cuò)誤復(fù)原視頻編碼的理由之一，是因?yàn)橐挂曨l幀的不同部分彼此不相依，如此一來，當(dāng)同一幀的部份(一個(gè)單片)被遺失時(shí)，就不會(huì)影響到同一幀的其它部分(其它單片)。如果不使用上述單片結(jié)構(gòu)，將整個(gè)視頻幀放入視頻封包內(nèi)，則即使無線通道108中只產(chǎn)生單一位的錯(cuò)誤，都將影響整個(gè)視頻幀的質(zhì)量。因此，單片的大小越小，則整個(gè)系統(tǒng)的傳輸錯(cuò)誤越容易復(fù)原。但是將視頻幀編碼為單片會(huì)增加系統(tǒng)的工作量，且限制單片間的相依會(huì)導(dǎo)致壓縮的效率被降低。再者，單片的結(jié)構(gòu)越小，壓縮的效率越差。因此，單片的大小需經(jīng)過適當(dāng)?shù)剡x擇，以適應(yīng)無線通道的特性，使整體效能表現(xiàn)最佳。例如，一個(gè)單片最佳的大小可能是無線信道質(zhì)量的函數(shù)，也可以是觀察到的封包錯(cuò)誤率(packet error rate)的函數(shù)。在本發(fā)明的一實(shí)施例中，是利用使用固定大小的單片或封包。在本發(fā)明的實(shí)施例中，可基于錯(cuò)誤隱藏的參考幀來決定模式。如所述的例子，P幀中的宏區(qū)塊可依照內(nèi)部模式、相互模式或忽略模式中效率較高的模式進(jìn)行編碼。如何選擇效率較高的編碼模式，則由編碼控制310進(jìn)行啟發(fā)式的模式?jīng)Q策過程來決定，詳細(xì)操作步驟如下在本發(fā)明的一實(shí)施例中，為了決定使用內(nèi)部模式、相互模式或忽略模式中哪一種模式對(duì)給定的宏區(qū)塊進(jìn)行編碼，首先編碼控制310檢查要被編碼的宏區(qū)塊和前一幀同一位置的宏區(qū)塊的絕對(duì)誤差的和(sum of absolute differences, SAD)。如果絕對(duì)誤差的和低于臨界值時(shí)，要被編碼的宏區(qū)塊將會(huì)被忽略，且譯碼器可從前一幀復(fù)制宏區(qū)塊。否則，執(zhí)行移動(dòng)估計(jì)，并計(jì)算要被編碼的宏區(qū)塊和前一幀中所發(fā)現(xiàn)與要被編碼的宏區(qū)塊最匹配的宏區(qū)塊之間的絕對(duì)誤差的和。在本發(fā)明的一實(shí)施例中，如果絕對(duì)誤差的和(加上特定偏移量)小于宏區(qū)塊的平均數(shù)標(biāo)準(zhǔn)差(deviation of mean)，則宏區(qū)塊將被編碼為相互模式。如果絕對(duì)誤差的和大于平均數(shù)標(biāo)準(zhǔn)差，則該宏區(qū)塊將被編碼為內(nèi)部模式。模式?jīng)Q定的信號(hào)會(huì)夾在視頻數(shù)據(jù)流當(dāng)中，很清楚地被傳送到編碼器104以及傳輸器106。另外，模式?jīng)Q定的信號(hào)會(huì)清楚地夾在視頻數(shù)據(jù)流中，傳送到編碼器104以及傳輸器106。在譯碼器112中只有參考幀的隱藏版本，而編碼器104可基于隱藏錯(cuò)誤的參考幀執(zhí)行決定編碼模式的移動(dòng)估計(jì)，以防止在移動(dòng)補(bǔ)償預(yù)測(cè)過程中產(chǎn)生不匹配。另外，錯(cuò)誤隱藏過程被稱為錯(cuò)誤回傳移動(dòng)估計(jì)(Error Resilient MotionEstimation, ERME)。請(qǐng)參照?qǐng)D4,圖4是為本發(fā)明的一實(shí)施例說明在編碼器端的錯(cuò)誤隱藏的示意圖，其中編碼器端的錯(cuò)誤隱藏被稱為多巾貞移動(dòng)補(bǔ)償預(yù)測(cè)(Multiframe Motion Compensated Prediction, MFMCP)。如圖4所示，當(dāng)幀i_l(參考幀)的視頻封包被遺失，被 遺失的單片(視頻封包)可以通過從較早幀(例如幀i_2)借一個(gè)單片來隱藏。在本發(fā)明的一實(shí)施例中，被遺失的單片可以通過從較早幀(例如幀1-n)借一個(gè)單片來隱藏。其中η是用以獲得參考幀的臨界值。因此，在本發(fā)明的還一實(shí)施例中，可以通過從較早幀(例如幀i_2至幀1-n)中借良好匹配的單片來隱藏幀i_l的遺失單片。然后，幀i就基于隱藏錯(cuò)誤的幀i_l，利用正常的移動(dòng)補(bǔ)償預(yù)測(cè)(MCP)進(jìn)行編碼。在本發(fā)明的一實(shí)施例中，如果錯(cuò)誤隱藏成功，幀i中大部分的宏區(qū)塊都可在幀1-Ι中發(fā)現(xiàn)適當(dāng)?shù)膮⒖己陞^(qū)塊。在本發(fā)明的還一實(shí)施例中，如果錯(cuò)誤隱藏不成功，則移動(dòng)補(bǔ)償預(yù)測(cè)將不能良好地執(zhí)行，且在受影響的區(qū)域中大部分的宏區(qū)塊，都會(huì)被編碼為內(nèi)部模式。另外，本發(fā)明的一實(shí)施例可提供宏區(qū)塊層級(jí)的速率控制。在傳輸通道中，每秒所能傳輸?shù)奈粩?shù)目是有一定的限制，且在本發(fā)明的實(shí)施例中，傳輸位速率通常是固定的。但是以區(qū)塊為基礎(chǔ)、混合式的視頻編碼器對(duì)每一個(gè)編碼后的幀所產(chǎn)生的位數(shù)卻是不一定的。也就是說，移動(dòng)補(bǔ)償預(yù)測(cè)在產(chǎn)生位數(shù)較少的幀中運(yùn)作較好。因此，在本發(fā)明的一實(shí)施例中，編碼器104可執(zhí)行速率控制，以產(chǎn)生具有略低于信道的位速率限制的固定位速率的編碼視頻流。速率控制的準(zhǔn)確性對(duì)系統(tǒng)效能有很重要的影響。速率控制越準(zhǔn)確，信道的位速率就越能有效地被利用，以及重建后的視頻質(zhì)量會(huì)越佳。因此，在本發(fā)明的一實(shí)施例中，系統(tǒng)應(yīng)執(zhí)行宏區(qū)塊層級(jí)的速率控制，以獲得更佳的效能。宏區(qū)塊層級(jí)的速率控制的一實(shí)施例執(zhí)行如下當(dāng)編碼器104 —個(gè)一個(gè)編碼宏區(qū)塊時(shí)，編碼器104可監(jiān)控目前幀所使用的位數(shù)。如果位數(shù)是高于臨界值，則編碼器104會(huì)增加量化參數(shù)，以粗略地量化下一宏區(qū)塊的編碼，使得目前幀整體的位速率降低。如果位數(shù)太少，則編碼器104會(huì)減少量化參數(shù)，以細(xì)致地量化下一宏區(qū)塊的編碼，使得目前幀整體的位速率增加。但在實(shí)際執(zhí)行時(shí)，速率控制幾乎無法完全匹配預(yù)定的目標(biāo)位值。因此，在本發(fā)明的一實(shí)施例中，可選擇略低于數(shù)字傳輸系統(tǒng)所提供的位速率作為目標(biāo)位值。 另外，本發(fā)明的一實(shí)施例可提供通道自適應(yīng)地重傳。在視頻封包經(jīng)由無線通道108傳輸至接收器110時(shí)，常見視頻封包被毀壞或遺失。和本發(fā)明的不同實(shí)施例一樣，接收器110可通過回授通道傳送每 個(gè)視頻封包的實(shí)時(shí)回授信息120給傳輸器106,通知傳輸器106是否由傳輸器106傳出的封包已被成功地接收或被毀壞。例如，一個(gè)正確認(rèn)代表由傳輸器106傳出的封包被成功地接收/解碼,一個(gè)負(fù)確認(rèn)代表由傳輸器106傳出的封包沒有被成功地接收/譯碼，或者沒有任何確認(rèn)回傳時(shí)，編碼器104將視由傳輸器106傳出的封包為沒有被接收到，以及視由傳輸器106傳出的封包為被回傳負(fù)確認(rèn)的封包。如此，基于從接收器110所傳來的回授信息120，傳輸器106可知道每個(gè)視頻封包的狀態(tài)并考慮是否重傳被遺失的封包。特別的是，在本發(fā)明的一實(shí)施例中，通道自適應(yīng)地重傳機(jī)制可用以決定傳輸器106是否重傳遺失的封包，以及如何分配整體的傳輸預(yù)算位為來源編碼的預(yù)算位，以及重傳遺失封包的預(yù)算位。重傳機(jī)制的一實(shí)施例執(zhí)行如下視頻幀的所有封包只在第一回合傳輸時(shí)被傳送一次。如果整個(gè)傳輸位速率高于來源編碼的位速率，傳輸器106可在第一回合就重傳在第一回合傳輸時(shí)就遺失的封包。如果在第二回合之后，仍然不是所有的封包都被成功地接收到，且還有多余的位預(yù)算可用來重傳，則遺失的封包可在進(jìn)行第三回合時(shí)重傳。在本發(fā)明的一實(shí)施例中，重傳過程在一個(gè)幀的所有傳輸位速率都用完時(shí)結(jié)束，或是所有的封包都成功地被接收器110接收到后結(jié)束。在本發(fā)明的一實(shí)施例中，通道自適應(yīng)地重傳過程包括了四種不同的重傳機(jī)制，四種不同的重傳機(jī)制將在3.1到3. 4節(jié)中，參考圖5和圖6，詳細(xì)地描述。另外，在圖7的狀態(tài)圖中，描述如何將四種不同的重傳機(jī)制結(jié)合，以形成通道自適應(yīng)地重傳的例子。3. 5節(jié)將提供本發(fā)明的一實(shí)施例。3.1重傳機(jī)制O本發(fā)明的一實(shí)施例是提供重傳機(jī)制0，重傳機(jī)制O是為在編碼新的視頻幀之前，本發(fā)明的系統(tǒng)、方法或過程首先在傳輸前一幀時(shí)，先檢查無線通道108中的封包錯(cuò)誤率(packet error rate, PER),并在傳輸目前新巾貞時(shí),利用封包錯(cuò)誤率來估計(jì)無線通道108的狀況。如果前一幀的封包錯(cuò)誤率低于特定臨界值(例如10%，特定臨界值是通過從接收器110傳來的回授所建立的)，在傳輸新幀時(shí)，系統(tǒng)將視無線信道108的狀況為”良好”。因此并不考慮重傳目前幀遺失的封包，也就是同步的錯(cuò)誤隱藏機(jī)制(后面會(huì)描述)，在編碼器和譯碼器端都提供了令人滿意的重建的幀質(zhì)量。如此，如圖5所示的重傳機(jī)制0，全部的傳輸位速率都被用于來源編碼，且每個(gè)視頻封包都只被傳輸一次。3. 2重傳機(jī)制I本發(fā)明的還一實(shí)施例是提供重傳機(jī)制I。在重傳機(jī)制I中，系統(tǒng)在傳輸目前幀時(shí)，系統(tǒng)亦利用前一幀的封包錯(cuò) 誤率估計(jì)無線通道108的狀況。舉例來說，如果前一幀的封包錯(cuò)誤率，介于109Γ30%之間，則在傳輸目前幀之時(shí)，系統(tǒng)將視無線信道108的狀況為”中等”。在這種情形下，僅使用同步的錯(cuò)誤隱藏，將無法提供令人滿意的重建的幀質(zhì)量，因此便需考慮重傳目前幀遺失的封包。在本發(fā)明的一實(shí)施例中，為了節(jié)省重傳的位速率，通過較粗略地量化值來編碼目前的幀，以減少來源編碼的位速率。如此，舉例來說，如圖5所示的重傳機(jī)制1，在時(shí)隙i中，幀i的某部份就在同一時(shí)隙i中進(jìn)行重傳。遺失封包的重傳會(huì)降低目前中貞的剩余封包錯(cuò)誤率(residual packet error rate, RPER)(例如重傳的封包錯(cuò)誤率)，并增加重建的幀質(zhì)量。另外，重傳機(jī)制I的重傳類型被稱做“空間重傳”。但在沒有錯(cuò)誤的傳輸情形下，如同熟知本領(lǐng)域者所知悉，本重傳機(jī)制I的重建的幀質(zhì)量反而較整體的傳輸位速率都被用于來源編碼的重傳機(jī)制O差。在本發(fā)明的一實(shí)施例中，重傳機(jī)制I中保留給來源編碼的位預(yù)算是根據(jù)前一幀的封包錯(cuò)誤率來計(jì)算K =---(I)
■丨 + Pf-R1.., + (Pl-1t.,Y + …r如式(I)所亍R是為編碼幀i的位預(yù)算，是為傳輸幀i的全部傳輸位速率，PERp1是為傳輸幀i_l時(shí)的無線通道108上的封包錯(cuò)誤率，η為預(yù)期重傳幀i的回合數(shù)，但η不能使得剩余封包錯(cuò)誤率超過某臨界值(例如5%),其中η的計(jì)算方式如下(PERh) ω=0· 05 (臨界值)------公式(2)舉例來說，假設(shè)在時(shí)隙i中預(yù)期的封包錯(cuò)誤率是10%(PER=0.1)。再假設(shè)時(shí)隙i的整體傳輸位速率是lOOkbit。如果僅重傳一次(n=l)，亦即第一回合傳輸?shù)姆獍杏蠭O %的封包必須重傳。因此，戽和祀的關(guān)系是為圮+ PM * ^ = ^。如此，來源編碼的速率變成圮=90.91kbit，且保留給重傳的傳輸速率變成c4-1 ;) = 9.09 kbit。因此，預(yù)期的剩余封包錯(cuò)誤率為(PER)2=1%。如果預(yù)計(jì)重傳兩次(n=2)，貝和祀的關(guān)系變成Ris +PER*Rls +(PhR)2 *R'S =Ric。則來源編碼的速率變成圮=90.09kbit，預(yù)期的剩余封包錯(cuò)誤率為(PER)3=0. 1%，其余依此類推。3. 3重傳機(jī)制2本發(fā)明的還一實(shí)施例是提供重傳機(jī)制2。在重傳機(jī)制2中，如果無線通道108被判斷在”壞”的狀況，且前一幀的封包錯(cuò)誤率很高(例如大于30%)，則重傳機(jī)制I中保留給來源編碼的位預(yù)算就太低了，以至于無法提供令人滿意的重建的幀質(zhì)量。因此，例如在圖5的重傳機(jī)制2中，目前幀的下一個(gè)幀就被跳過，整個(gè)用來傳輸目前幀的傳輸位速率被加倍，其中被加倍的傳輸位速率被分成來源編碼的位預(yù)算，以及重傳遺失封包的位預(yù)算。因此，可利用公式(I)及(2)計(jì)算來源編碼的位預(yù)算，其中^^為加倍后的整體傳輸位速率。另外，重傳機(jī)制2的重傳類型被稱做“時(shí)間重傳(temporal retransmission)”。在本發(fā)明的一實(shí)施例中，依此結(jié)果所計(jì)算出的來源編碼的位預(yù)算必須大于特定最小值，以維持因?yàn)閬碓淳幋a受限所產(chǎn)生的失真于可接受范圍。另外，相較于重傳機(jī)制0，根據(jù)實(shí)際的封包錯(cuò)誤率，在無線通道108沒有錯(cuò)誤的情形下，重傳機(jī)制2的幀i的重建的幀質(zhì)量可能較佳、較差或相同。此夕卜，因?yàn)楸局貍鳈C(jī)制2中的某些幀會(huì)被跳過，因此有效的幀速率會(huì)降低。總而言之，在重傳機(jī)制O中，不考慮遺失封包的重傳，所以全部的位速率都用在來源編碼上。在重傳機(jī)制I中，全部的位速率被分為來源編碼的位預(yù)算以及重傳的位預(yù)算(采用粗略的量化編碼方式)。另外，重傳機(jī)制I的重傳類型被稱做“空間重傳”。在重傳機(jī)制2中，目前幀的下一個(gè)幀(幀i+Ι)被跳過，全部的傳輸位速率加倍。而被加倍的傳輸位速率被分成來源編碼的位預(yù)算，以及重傳的位預(yù)算。另外，重傳機(jī)制2的重傳類型被稱做“時(shí)間重傳”。3. 3重傳機(jī)制3 在本發(fā)明的一實(shí)施例中，如果在全部的傳輸位預(yù)算都用完后，目前幀的剩余封包錯(cuò)誤率(RPER)仍然高于臨界值，則系統(tǒng)會(huì)跳過接下來的幀，且利用可使用的位速率來進(jìn)行重傳，直到剩余封包錯(cuò)誤率是低于特定臨界值(例如15%)。重傳機(jī)制3是以目前幀的剩余封包錯(cuò)誤率為基礎(chǔ)，可分別與重傳機(jī)制0、1和2相結(jié)合(如圖6所示)。例如，在第I例中，在編碼幀i之前，在傳輸前一幀時(shí)，無線通道的狀況被判斷為”中等”，因此幀i決定使用重傳機(jī)制I。但是實(shí)際上在傳輸幀i時(shí)，無線通道的狀況比預(yù)期的更糟，即使在時(shí)隙i用完之前，幀i的剩余封包錯(cuò)誤率仍高于15%。因此決定使用重傳機(jī)制3，其中幀i+Ι被略過以及時(shí)隙i+Ι被用來重傳幀i遺失的封包。經(jīng)過了時(shí)隙i+Ι的重傳之后，幀i的剩余封包錯(cuò)誤率低于15%，所以后續(xù)不再有幀需要為了幀i的重傳被略過。然后，在編碼幀i+2之前，根據(jù)幀i的封包錯(cuò)誤率，可選擇適當(dāng)?shù)闹貍鳈C(jī)制給幀i+2。3. 5通道自適應(yīng)地重傳圖7中所繪的狀態(tài)示意圖，是根據(jù)本發(fā)明的實(shí)施例顯示前述的四種重傳機(jī)制是如何地被結(jié)合，以組成通道自適應(yīng)地重傳機(jī)制。在本發(fā)明的一實(shí)施例中，在編碼新視頻幀之前，可根據(jù)目前通道狀況(例如在傳輸前一幀時(shí)，估計(jì)封包錯(cuò)誤率)，決定新視頻幀的重傳機(jī)制為0、1、或2。在新視頻幀用以重傳的全部可用的傳輸位速率用完之后，檢查剩余封包錯(cuò)誤率以決定是否需要更進(jìn)一步的重傳遺失封包。如果需要重傳，接下來的幀會(huì)被略過，所有可用的傳輸位速率將被用于重傳(重傳機(jī)制3)，直到剩余封包錯(cuò)誤率低于臨界值，例如低于15%。如果不需要進(jìn)一步的重傳，則下一個(gè)幀將根據(jù)被選擇的重傳機(jī)制編碼及傳送。
使用重傳機(jī)制3，可增加一個(gè)幀的剩余封包錯(cuò)誤率低于特定臨界值的可能性，如此，將使得被顯示幀具有令人滿意的質(zhì)量。當(dāng)無線通道108突然變成非常糟的時(shí)候，重傳機(jī)制3可以大大地改善系統(tǒng)的效能。舉例來說，當(dāng)接收器110偏離收信的范圍時(shí)，在這種情形下，使用者將會(huì)擁有靜止但質(zhì)量令人滿意的幀，直到通道恢復(fù)(例如接收器110回到收信的范圍內(nèi))。在本發(fā)明的一實(shí)施例中，新的視頻幀可被編碼(大概是使用內(nèi)部模式)，并傳送到接收器110?？赏ㄟ^編碼器的模式?jīng)Q定算法來決定如何編碼。例如，如果最近一次播放的幀距離目前的幀有相當(dāng)?shù)臅r(shí)間，模式?jīng)Q定算法會(huì)為大部分的宏區(qū)塊選取內(nèi)部模式。如果只有少部分的幀遺失，一般而言選擇相互模式。另外，本發(fā)明的實(shí)時(shí)重傳的機(jī)制并不會(huì)增加端點(diǎn)對(duì)端點(diǎn)的傳輸延遲，因此本發(fā)明的視頻傳輸系統(tǒng)是為實(shí)時(shí)系統(tǒng)。例如，如果利用重傳機(jī)制1，將目前的幀粗略地量化以重傳遺失的封包，則只有幀的質(zhì)量降低。如果跳過一個(gè)幀以執(zhí)行重傳機(jī)制2或3，則只有幀傳輸速率會(huì)減少。3. 6通道自適應(yīng)地重傳一量化的控制在本發(fā)明的一實(shí)施例中，本系統(tǒng)是利用信道自適應(yīng)地重傳，以處理視頻封包在無線通道108中傳輸時(shí)所遺失的封包。在本發(fā)明的一實(shí)施例中，視頻幀的所有封包只在傳輸?shù)牡谝换睾媳粋鬏斠淮?。如果可用的傳輸位速率是高于編碼的位速率，則可以在第一回合進(jìn)行重傳遺失封包。在本發(fā)明的一實(shí)施例中，如果在第二回合之后，并非所有的封包都被成功地接收，但仍有可用的位速率可用來重傳，仍然遺失的封包就可在第三回合再進(jìn)行重傳。在本發(fā)明的還一實(shí)施例中，當(dāng)所有可用的傳輸位速率都用完時(shí)，結(jié)束一個(gè)幀的重傳過程，或是在所有的封包都成功地被接收器110接收到后結(jié)束。在本發(fā)明的一實(shí)施例中，為了節(jié)省重傳的位速率，系統(tǒng)可以使用粗略地量化值編碼目前的幀，或是跳過下一個(gè)幀。至于是使用粗略地量化值編碼目前的幀，或是跳過下一個(gè)幀，則由通道的狀況決定。在編碼新幀之前，系統(tǒng)可得到接收器110實(shí)時(shí)回傳的關(guān)于傳輸前一幀時(shí)的通道內(nèi)的封包錯(cuò)誤率的回授信息。
`
如同熟知本領(lǐng)域者所知悉，任何其它能夠傳送到傳送端，并估計(jì)目前通道狀況的方法，都適用于本發(fā)明。如前述，利用前一時(shí)隙所觀察到的遺失速率作為目前時(shí)隙的估計(jì)遺失速率，并不是唯一的選擇。總而言之，時(shí)隙i的通道狀況評(píng)估越正確，系統(tǒng)的效能越佳。通過接收器110以及譯碼器112所回傳的回授信息可決定封包錯(cuò)誤率以及剩余封包錯(cuò)誤率。在本發(fā)明的一實(shí)施例中，在編碼目前幀的過程中，在參考單片以進(jìn)行移動(dòng)補(bǔ)償預(yù)測(cè)之前，回授信息要實(shí)時(shí)進(jìn)入收到的封包/單片的正認(rèn)知或負(fù)認(rèn)知。換言之，在本發(fā)明的一實(shí)施例中，關(guān)于特定單片的回授信息需要在前一幀所相對(duì)應(yīng)的區(qū)域被用來當(dāng)成移動(dòng)補(bǔ)償預(yù)測(cè)的參考之前被收到。在本發(fā)明中，任何形式的回授信息在被用來當(dāng)成目前幀的宏區(qū)塊的移動(dòng)補(bǔ)償預(yù)測(cè)的參考之前，隱藏前一幀相對(duì)應(yīng)的部份，就可以被視為”實(shí)時(shí)回授信息”。在本發(fā)明的一實(shí)施例中，為了實(shí)現(xiàn)實(shí)時(shí)回授信息，每個(gè)封包必須被單獨(dú)地認(rèn)知，或數(shù)個(gè)回授信息被結(jié)合成一個(gè)回傳封包。最后，值得注意的是，因?yàn)榍耙粠^低處的單片的實(shí)時(shí)回授信息只要被當(dāng)成目前幀較低處的宏區(qū)塊的參考，所以前一幀較低處的單片的實(shí)時(shí)回授信息，可能在目前幀已經(jīng)開始編碼之后才到達(dá)。3. 7編碼器和譯碼器端的同步錯(cuò)誤隱藏
如果重傳后仍有一些視頻封包遺失，譯碼器可隱藏遺失的單片(相對(duì)應(yīng)于遺失的封包)。另外，在本發(fā)明的一實(shí)施例中，在編碼器亦進(jìn)行相同的錯(cuò)誤隱藏。圖4是為本發(fā)明的還一實(shí)施例說明錯(cuò)誤隱藏的實(shí)施方式。在圖4中，隱藏的參考幀可被儲(chǔ)存在參考幀緩沖器，以及在必須在編碼器和譯碼器使用，以避免移動(dòng)補(bǔ)償預(yù)測(cè)中產(chǎn)生不匹配。空間錯(cuò)誤隱藏S. Aign和K. Fazel在”層級(jí)式的MPEG-2視頻編譯碼的時(shí)間和空間的錯(cuò)誤隱藏技術(shù)”(“Temporal and spatial 錯(cuò)誤隱藏 techniques for hierarchicalMPEG-2video codec”)一文中(1995年發(fā)表于”電機(jī)電子工程協(xié)會(huì)通信國際會(huì)議”期刊上(IEEEinternational conference on communication),第 3 冊(cè),第 1778-1783 頁)所述的從鄰近被正確地接收到的宏區(qū)塊或被隱藏的宏區(qū)塊的像素中，選取像素插入遺失的宏區(qū)塊中的技術(shù)，可適用于本發(fā)明。請(qǐng)參考圖8，對(duì)一個(gè)N*N大小的宏區(qū)塊而言，插入的公式如式(3)= -j++ 1)+1- —j) +—p(N +1, j)| (3)如果部分鄰近的宏區(qū)塊也遺失，則只從那些可得的鄰近的宏區(qū)塊中計(jì)算插入的像素。譯碼器的運(yùn)動(dòng)向量估計(jì)(decodermotion vector estimation, DMVE)譯碼器的運(yùn)動(dòng)向量估計(jì)，如J. Zhang, J. F. Arnold和M. R. Frater在”以MPEG-2編碼的視頻巾貞的遺失封包隱藏技術(shù)”(“A cell-loss concealmenttechnique for MPEG-2 codedvideo”)一文中，2000年6月發(fā)表于”電機(jī)電子工程協(xié)會(huì)傳輸線路系統(tǒng)的視頻技術(shù)”期刊上(IEEE Trans. Circuits Syst. VideoTechno1.),第 10冊(cè),第 4 號(hào),第 659 665 頁,所提供的時(shí)間的錯(cuò)誤隱藏機(jī)制，是為可用前一幀在移動(dòng)補(bǔ)償?shù)奈恢蒙系暮陞^(qū)塊取代遺失的宏區(qū)塊(如圖9所示)。在譯碼器的運(yùn)動(dòng)向量估計(jì)中，可通過檢查少量的候補(bǔ)運(yùn)動(dòng)向量(motionvector)來決定前一巾貞中相對(duì)應(yīng)的 位置，運(yùn)動(dòng)向量包括——前一幀中同一宏區(qū)塊的運(yùn)動(dòng)向量；可獲得的鄰近宏區(qū)塊的運(yùn)動(dòng)向量；----零運(yùn)動(dòng)向量；除了這組候補(bǔ)的運(yùn)動(dòng)向量之外，亦可選擇在該將被隱藏的宏區(qū)塊周圍8個(gè)像素寬的圖像區(qū)域中，導(dǎo)致最小錯(cuò)誤的運(yùn)動(dòng)向量來隱藏。結(jié)合空間和時(shí)間的錯(cuò)誤隱藏本發(fā)明可利用結(jié)合空間和時(shí)間的錯(cuò)誤隱藏，亦即結(jié)合譯碼器的運(yùn)動(dòng)向量估計(jì)(時(shí)間錯(cuò)誤隱藏)與空間插入(空間錯(cuò)誤隱藏)。請(qǐng)參照?qǐng)D10，圖10是為說明結(jié)合空間和時(shí)間的錯(cuò)誤隱藏的示意圖。譯碼器的運(yùn)動(dòng)向量估計(jì)中的錯(cuò)誤測(cè)量可被用來評(píng)估譯碼器的運(yùn)動(dòng)向量估計(jì)的效能，以及用來做為結(jié)合空間和時(shí)間的錯(cuò)誤隱藏的權(quán)重因子(weighting factor)。尤其是，在步驟1002中，從遺失的宏區(qū)塊開始。在步驟1004中，執(zhí)行利用譯碼器的運(yùn)動(dòng)向量估計(jì)的時(shí)間錯(cuò)誤隱藏。本實(shí)施例可采用使用絕對(duì)誤差的和的錯(cuò)誤匹配以及像素層次的邊界錯(cuò)誤(pixel-wise boundary error, PBE)。在步驟1006中，判斷譯碼器的運(yùn)動(dòng)向量估計(jì)是否運(yùn)作良好(例如，如果絕對(duì)誤差的和是小于或等于預(yù)定臨界值)。如果譯碼器的運(yùn)動(dòng)向量估計(jì)運(yùn)作良好，則跳至步驟1014。在步驟1014中，錯(cuò)誤隱藏可完全使用時(shí)間錯(cuò)誤隱藏而不使用空間錯(cuò)誤隱藏。
在步驟1006中，如果譯碼器的運(yùn)動(dòng)向量估計(jì)并非運(yùn)作良好，則進(jìn)行步驟1008。在步驟1008中，判斷是否有足夠的資信可以進(jìn)行空間錯(cuò)誤隱藏。在步驟1008中的判斷可基于遺失的宏區(qū)塊的左和右相鄰的宏區(qū)塊，或上和下相鄰的宏區(qū)塊是否存在。在步驟1008中，如果沒有足夠的資信可以進(jìn)行空間錯(cuò)誤隱藏，則進(jìn)行步驟1014。在步驟1008中，如果有足夠的資信可以進(jìn)行空間錯(cuò)誤隱藏，則進(jìn)行步驟1010。在步驟1010中，執(zhí)行空間錯(cuò)誤隱藏，例如使用遺失的宏區(qū)塊的周圍可獲得的像素的加權(quán)平均來執(zhí)行空間錯(cuò)誤隱藏。然后，在步驟1012中，遺失的宏區(qū)塊(同時(shí)執(zhí)行時(shí)間和空間的錯(cuò)誤隱藏的宏區(qū)塊)的像素層次的加權(quán)和(加權(quán)值是基于像素層次的邊界錯(cuò)誤)，可被用于遺失的宏區(qū)塊。在步驟1016中，考慮下一個(gè)遺失的宏區(qū)塊的錯(cuò)誤隱藏。另外，本發(fā)明并不受限于前述所舉的譯碼器的運(yùn)動(dòng)向量估計(jì)的時(shí)間錯(cuò)誤隱藏方法和空間錯(cuò)誤隱藏方法。因此，如同熟知本領(lǐng)域者所知悉，其它錯(cuò)誤隱藏的方法也可以用于本發(fā)明的實(shí)施例。請(qǐng)參照?qǐng)D11，圖11是為本發(fā)明的還一實(shí)施例說明用以編碼I幀步驟的流程圖。如圖11所示，在步驟1102中，獲取目前幀的數(shù)據(jù)。在步驟1104中，執(zhí)行離散余弦轉(zhuǎn)換的編碼和搜集速率控制的資信。例如，判斷有多少個(gè)編碼系數(shù)不為零。然后，在步驟1106中，利用在步驟1108中所得到的前一幀 的封包錯(cuò)誤率，執(zhí)行速率控制的起始并決定自適應(yīng)地重傳。步驟1106是為建立用以編碼目前的幀的條件。然后，在步驟1110中，目前的幀被分成多個(gè)宏區(qū)塊，以及在步驟1112中，為目前的宏區(qū)塊設(shè)定速率控制參數(shù)。在步驟1114中，執(zhí)行量化。在步驟1116中，采用可變長(zhǎng)度(variable length coding, VLC)的熵編碼(entropy coding)。然后，在步驟 1118 中，更新速率控制參數(shù)。在步驟1120中，判斷是否一個(gè)單片的末端已經(jīng)被編碼。如果否，在步驟1122中，判斷是否所有宏區(qū)塊都已經(jīng)被編碼。如果所有宏區(qū)塊都已經(jīng)被編碼，進(jìn)行步驟1128。如果并非所有宏區(qū)塊都已經(jīng)被編碼，然后，在步驟1124中，處理下一個(gè)宏區(qū)塊。如果，在步驟1120中，判斷一個(gè)單片的末端已經(jīng)被編碼，則進(jìn)行步驟1126，開始新的單片。如此，如圖11所示，給定幀的所有宏區(qū)塊/單片都是以內(nèi)部模式編碼，且可根據(jù)上述自適應(yīng)地重傳方法來控制速率控制參數(shù)。請(qǐng)參照?qǐng)D12A及圖12B，圖12A及圖12B是為本發(fā)明的還一實(shí)施例描繪編碼P幀步驟的流程圖。在步驟1202中，獲取目前幀的圖像數(shù)據(jù)。在步驟1204中，提供隱藏的參考幀。在步驟1203中，利用步驟1204的參考幀，執(zhí)行每一個(gè)宏區(qū)塊的移動(dòng)估計(jì)以及決定編碼模式(內(nèi)部模式、相互模式、忽略模式)。在步驟1206中，目前幀被分割為多個(gè)宏區(qū)塊。在步驟1208中，決定每一個(gè)宏區(qū)塊的編碼模式，以及對(duì)每一個(gè)宏區(qū)塊執(zhí)行適當(dāng)?shù)靥幚?。更特別的是，在步驟1210中，如果宏區(qū)塊要依照內(nèi)部模式編碼，那么會(huì)對(duì)宏區(qū)塊執(zhí)行離散余弦轉(zhuǎn)換的編碼，且收集速率控制的資信。在步驟1212中，如果宏區(qū)塊要依照忽略模式編碼，則只有收集速率控制的資信。在步驟1214中，如果宏區(qū)塊要依照相互模式編碼，那么會(huì)對(duì)宏區(qū)塊執(zhí)行移動(dòng)補(bǔ)償，以及在步驟1216中，會(huì)對(duì)宏區(qū)塊執(zhí)行離散余弦轉(zhuǎn)換的編碼，且收集速率控制的資信。值得注意的是，在步驟1214中，步驟1204的隱藏的參考幀亦可提供給移動(dòng)補(bǔ)償使用。然后，在步驟1218中，判斷是否所有的宏區(qū)塊都已經(jīng)被處理。如果否，在步驟1220中，處理下一個(gè)宏區(qū)塊。
在步驟1222中，如果所有的宏區(qū)塊都已經(jīng)被處理，則根據(jù)在步驟1222中從前一幀回傳的資信，決定自適應(yīng)地重傳機(jī)制，以及初始化速率控制。在步驟1226中，根據(jù)前述的資信，建立速率控制，以及在步驟1228中，每一個(gè)宏區(qū)塊被標(biāo)示它的適當(dāng)處理。特別的是，在步驟1230中，如果宏區(qū)塊要依照內(nèi)部模式編碼，則對(duì)宏區(qū)塊執(zhí)行量化。然后，在步驟1232中，執(zhí)行可變長(zhǎng)度的熵編碼以及收集速率控制資信。在步驟1234中，如果宏區(qū)塊要依照忽略模式編碼，則收集速率控制資信。在步驟1236中，如果宏區(qū)塊要依照相互模式編碼，則對(duì)宏區(qū)塊執(zhí)行量化。在步驟1238中，判斷是否宏區(qū)塊需要被跳過。如果否，在步驟1240中，執(zhí)行可變長(zhǎng)度的熵編碼以及收集速率控制資信。如果在步驟1238中判斷宏區(qū)塊需要被跳過，那么就不會(huì)執(zhí)行可變長(zhǎng)度的熵編碼，回到步驟1234 (如12B圖所示)。一旦給定宏區(qū)塊完成適當(dāng)?shù)奶幚?，則在步驟1242中，更新速率控制參數(shù)。接著在步驟1244中，判斷是否一個(gè)單片的末端已經(jīng)被編碼。如果是，在步驟1250中，開始新的單片；如果否，在步驟1246中，判斷是否所有的宏區(qū)塊是否都已經(jīng)編碼完成。如果是，在步驟1248中，則關(guān)于本幀的處理已經(jīng)完成；如果不是所有的宏區(qū)塊都已經(jīng)編碼完成，則在步驟1252中，繼續(xù)選擇下一個(gè)宏區(qū)塊，并回到步驟1226，開始下一個(gè)宏區(qū)塊的處理。在本發(fā)明的一實(shí)施例中，參考圖片管理(reference picture management, RPM)可被用于系統(tǒng)的一個(gè)或多個(gè)參考幀緩沖器的動(dòng)態(tài)管理。例如，編碼器104可包括參考幀緩沖器，其中參考幀緩沖器儲(chǔ)存先前傳送至接收器110的參考幀。譯碼器112亦包括參考幀緩沖器，其中參考幀緩沖器儲(chǔ)存先前傳送到接收器110的參考幀。通過舉例方式，儲(chǔ)存于編碼器104和譯碼器112的參考幀緩沖器的參考幀可被用以實(shí)施系統(tǒng)內(nèi)不同實(shí)施例中一個(gè)或多個(gè)錯(cuò)誤更正政策。

在一些實(shí)施例中，儲(chǔ)存于譯碼器112內(nèi)的參考幀緩沖器的幀可能不同于被編碼器104傳送的幀。例如，被編碼器104傳送的幀在到達(dá)譯碼器112之前可能已經(jīng)被損害或毀損。在這實(shí)施例中，譯碼器112可對(duì)已收到的幀執(zhí)行在前述不同的實(shí)施例中所提供的錯(cuò)誤隱藏，以及還儲(chǔ)存隱藏的參考幀在譯碼器112的參考幀緩沖器。在本發(fā)明的一實(shí)施例中，因?yàn)樵谧g碼器112中僅可得到參考幀的隱藏版本，所以在編碼器104的移動(dòng)估計(jì)決策可根據(jù)隱藏參考幀，避開移動(dòng)補(bǔ)償預(yù)測(cè)過程的不匹配。例如，儲(chǔ)存在編碼器104內(nèi)的參考幀緩沖器的參考幀可被更新以對(duì)應(yīng)于儲(chǔ)存在譯碼器112內(nèi)的參考幀緩沖器的隱藏參考幀。在本發(fā)明的一實(shí)施例中，編碼器104可根據(jù)有關(guān)于接收器110所接收的特定參考幀的回授信息，更新儲(chǔ)存在編碼器104內(nèi)的參考幀緩沖器的特定參考幀。在本發(fā)明的一些實(shí)施例中，參考圖片管理(RPM)可被用于編碼器104和譯碼器112的參考幀緩沖器的動(dòng)態(tài)管理。舉例來說，系統(tǒng)可決定儲(chǔ)存于編碼器104和譯碼器112的參考幀緩沖器的參考幀應(yīng)該被刪除(例如，一個(gè)或多個(gè)參考幀緩沖器是滿的)。在一個(gè)或多個(gè)參考幀緩沖器是滿的情況下，可根據(jù)參考幀的狀況，選擇可被刪除的一個(gè)幀。在本發(fā)明的丨實(shí)施例中，儲(chǔ)存于編碼器104內(nèi)的參考巾貞緩沖器的參考巾貞的情況可在編碼一個(gè)巾貞以傳輸之前計(jì)算出來。在本發(fā)明的一實(shí)施例中，上述情況可為特定參考幀包括Θ值，其中Θ值是如式⑷所定義Θ = Afn+AxRPERΘ =Affl+λ XRPER(4)如式⑷所示，Afn代表在下一個(gè)編碼幀和儲(chǔ)存在參考幀緩沖器的特定幀之間的幀數(shù)的差異，RPER代表通道的剩余封包錯(cuò)誤率，以及λ代表平衡因子。例如，λ是為用以平衡Θ值和RPER的平衡因子。舉例來說，具有最高Θ值的參考幀，或一個(gè)或多個(gè)具有超過預(yù)定臨界值的Θ值的參考幀可被刪除。在本發(fā)明的一實(shí)施例中，當(dāng)特定參考幀從編碼器104內(nèi)的參考幀緩沖器刪除時(shí)，譯碼器112內(nèi)的參考幀緩沖器可接收更新指示，其中更新指示是用以指出特定參考幀不再被用以錯(cuò)誤隱藏。請(qǐng)參照?qǐng)D13，圖13是為本發(fā)明的還一實(shí)施例說明包括編碼器與多個(gè)譯碼器的視頻傳輸系統(tǒng)的示意圖。如圖13所示，攝像機(jī)1302可以特定幀速率(例如每秒25個(gè)視頻幀)獲取視頻幀以及傳送被獲取到的視頻幀至編碼器1304。然后，編碼器1304可對(duì)接收到的視頻幀編碼。在本發(fā)明的一些實(shí)施例中，視頻傳輸系統(tǒng)并不包括攝像機(jī)1302，以及編碼器1304是用以接收一個(gè)或多個(gè)來源的視頻幀。然后，編碼后的視頻可做為視頻封包利用傳輸器1306通過無線網(wǎng)絡(luò)1308傳輸。多個(gè)接收器1310a-1310n可通過個(gè)別的無線通道1308a-1308n連結(jié)至無線網(wǎng)絡(luò)1308。在本發(fā)明的丨實(shí)施例中，一個(gè)或多個(gè)接收器可通過相同個(gè)別的無線信道連結(jié)至無線網(wǎng)絡(luò)。如圖13所示，在接收器端，接收器1310a-1310n可接收視頻封包以及還用以產(chǎn)生確認(rèn)(例如回授信息1320a-1320n)。例如，接收器1310a_1310n可通過一個(gè)或多個(gè)無線回授通道送出個(gè)別的確認(rèn)至傳輸器1306?；厥谛畔?320a-1320n可通知傳輸器1306或編 碼器1304是否被傳輸?shù)囊曨l封包已經(jīng)成功地或不成功地被接收器1310a-1310n接收。接收器1310a_1310n接收的視頻封包可被譯碼器1312a_1312n解碼，以及被譯碼器1312a-1312n解碼和重建的視頻可被送至顯示器1314a_1314n顯示。雖然圖13中編碼器1304和傳輸器1306是為兩個(gè)裝置，但它們也可以被整合為具有與二者相同功能的單一組件。同樣地，接收器1310a-1310n中的每一個(gè)接收器以及與譯碼器1312a_1312n中的相對(duì)應(yīng)的譯碼器也可以被整合為具有與二者相同功能單一組件。在本發(fā)明的一實(shí)施例中，多個(gè)接收器系統(tǒng)包括較小數(shù)目的接收器(例如，2到8個(gè)接收器)。然而，在本發(fā)明的一些實(shí)施例中，多個(gè)接收器系統(tǒng)亦可包括超過8個(gè)以上的接收器。如圖13所示，多個(gè)接收器系統(tǒng)的編碼器是類似于圖3中編碼器。接收器1310a-1310n是可為任一個(gè)可接收編碼視頻流的裝置(例如，計(jì)算機(jī)、電話、個(gè)人數(shù)字助理等)。(無線)調(diào)制解調(diào)器可用以回傳回授信息1320a-1320n。在本發(fā)明的一實(shí)施例中，可分別計(jì)算相對(duì)應(yīng)于無線通道1308a_1308n中的每一個(gè)無線通道的封包錯(cuò)誤率。例如，可在編碼下一視頻幀之前，分別計(jì)算相對(duì)應(yīng)于無線通道1308a-1308n中的每一個(gè)無線通道的封包錯(cuò)誤率。在本發(fā)明的還丨實(shí)施例中，亦可計(jì)算相對(duì)應(yīng)于無線通道1308a-1308n中的封包錯(cuò)誤率的變異。例如，可在編碼下一視頻幀之前，計(jì)算相對(duì)應(yīng)于無線通道1308a-1308n中的封包錯(cuò)誤率的變異。在本發(fā)明的一實(shí)施例中，傳輸器1306或編碼器1304可根據(jù)視頻幀從接收器1310a-1310n接收的回授信息、從無線通道1308a-1308n中的個(gè)別無線通道的封包錯(cuò)誤率和無線通道1308a_1308n中的封包錯(cuò)誤率的變異的組合，決定如何最好地處理任何遺失封包和如何編碼下一封包。和上述所提供的實(shí)施例一樣，視頻幀可被分割成多個(gè)固定大小的宏區(qū)塊(MBs)，以及通過編碼控制決定如何編碼宏區(qū)塊(內(nèi)部模式、相互模式或忽略模式)。傳輸器1306可被壓縮后的視頻數(shù)據(jù)流放入固定大小，或可變大小的視頻封包中，并通過無線網(wǎng)絡(luò)1308傳送至接收器1310a-1310n。如前述實(shí)施例所提供，第一獲取幀可被獨(dú)立編碼為I幀，而接下來的其它幀可根據(jù)先前的幀，被編碼為P幀。
和上述所提供的實(shí)施例一樣，接收器1310a_1310n可對(duì)接收幀執(zhí)行錯(cuò)誤隱藏。例如，接收器可執(zhí)行空間錯(cuò)誤隱藏和時(shí)間錯(cuò)誤隱藏的組合。在本發(fā)明的一實(shí)施例中，編碼器1304和譯碼器1312a_1312n中的每一個(gè)譯碼器可包括參考幀緩沖器。例如，儲(chǔ)存于編碼器1304和譯碼器1312a-1312n的參考幀緩沖器的參考幀可被用以實(shí)施和系統(tǒng)內(nèi)不同實(shí)施例一致的一個(gè)或多個(gè)錯(cuò)誤更正政策。在本發(fā)明的丨些實(shí)施例中，儲(chǔ)存于譯碼器1312a_1312n內(nèi)的參考幀緩沖器的幀可能不同于被編碼器1304傳送的幀。例如，被編碼器1304傳送的幀在到達(dá)譯碼器1312a-1312n之前可能已經(jīng)被損害或毀損。在這實(shí)施例中，特定譯碼器可執(zhí)行錯(cuò)誤隱藏在已收到的幀，以及還儲(chǔ)存隱藏的參考幀在特定譯碼器的參考幀緩沖器。在本發(fā)明的一實(shí)施例中，因?yàn)樵谔囟ㄗg碼器中僅可得到參考幀的隱藏版本，所以在編碼器1304的移動(dòng)估計(jì)決策可根據(jù)隱藏參考幀，避開移動(dòng)補(bǔ)償預(yù)測(cè)過程的不匹配。例如，儲(chǔ)存在編碼器1304內(nèi)的參考幀緩沖器的參考幀可被更新以對(duì)應(yīng)于儲(chǔ)存在特定譯碼器內(nèi)的參考幀緩沖器的隱藏參考幀。在本發(fā)明的還一實(shí)施例中，決策可根據(jù)情況，對(duì)儲(chǔ)存于編碼器1304內(nèi)的參考幀緩沖器的相對(duì)應(yīng)的參考幀執(zhí)行相同的錯(cuò)誤隱藏。例如，上述情況可以是對(duì)應(yīng)特定接收器的無線通道執(zhí)行錯(cuò)誤隱藏的封包錯(cuò)誤率低于特·定臨界值、剩余無線通道的封包錯(cuò)誤率低于特定臨界值、無線通道的封包錯(cuò)誤率的變異低于特定臨界值或上述情況的組合。和上述所提供的實(shí)施例一樣，編碼器1304或傳輸器1306可執(zhí)行通道自適應(yīng)地重傳。例如，編碼器1304或傳輸器1306可執(zhí)行空間錯(cuò)誤隱藏和時(shí)間錯(cuò)誤隱藏的組合。在本發(fā)明的一實(shí)施例中，可根據(jù)情況，執(zhí)行空間錯(cuò)誤隱藏和時(shí)間錯(cuò)誤隱藏的組合的決策。例如，需要進(jìn)行封包重傳的特定無線通道的封包錯(cuò)誤率低于特定臨界質(zhì)、剩余無線通道的封包錯(cuò)誤率低于特定臨界值、無線通道的封包錯(cuò)誤率的變異低于特定臨界值或上述情況的組合。如上述討論，在本發(fā)明的不同實(shí)施例中，錯(cuò)誤隱藏和重傳的格式可被用以視頻傳輸?shù)腻e(cuò)誤更正(例如，封包遺失或毀損)。請(qǐng)參照?qǐng)D14，圖14是為本發(fā)明的還一實(shí)施例說明多接收器系統(tǒng)的錯(cuò)誤更正政策的流程圖。流程圖1400是為說明本發(fā)明的還一實(shí)施例的錯(cuò)誤更正政策。在步驟1402中，決定無線通道的封包錯(cuò)誤率和封包錯(cuò)誤率變異(無線通道的封包錯(cuò)誤率的變異)。例如，可根據(jù)從接收器得到的回授信息，決定封包錯(cuò)誤率和封包錯(cuò)誤率變異。在步驟1404中，比較封包錯(cuò)誤率變異和臨界值。如果封包錯(cuò)誤率變異是低于臨界值，則進(jìn)行步驟1406以執(zhí)行第一錯(cuò)誤更正政策。如果封包錯(cuò)誤率變異是高于臨界值，則進(jìn)行步驟1414以執(zhí)行第二錯(cuò)誤更正政策。在步驟1406中，當(dāng)有需要時(shí)，一個(gè)幀可被執(zhí)行編碼、傳送以及空間重傳。例如，編碼器和傳輸器可和前述提供的實(shí)施例一樣編碼和傳輸巾貞。另外，可和前述提供的實(shí)施例一樣執(zhí)行空間重傳。例如，通過粗略地量化目前幀的編碼以降低編碼位速率，所以剩下的位可被用以重傳遺失或損壞的封包。在一些實(shí)施例中，僅有對(duì)應(yīng)于在具有低于臨界值的封包錯(cuò)誤率的通道內(nèi)從接收器所發(fā)出的回授信息的遺失或損壞的封包才可被重傳。在還一實(shí)施例中，可基于在具有低于臨界值的封包錯(cuò)誤率的無線通道內(nèi)從接收器所發(fā)出的回授信息，決定通過粗略地量化以降低編碼位速率。在步驟1408中，可決定無線通道的剩余封包錯(cuò)誤率，以及比較剩余封包錯(cuò)誤率和臨界值。例如，可將每一個(gè)無線通道的剩余封包錯(cuò)誤率和臨界值比較，以及可決定任何高于臨界值的剩余封包錯(cuò)誤率，并進(jìn)行至步驟1410。在步驟1410中，執(zhí)行時(shí)間重傳。在步驟1408中，如果剩余封包錯(cuò)誤率是低于臨界值，則進(jìn)行步驟1412。在步驟1412中，更新參考幀緩沖器。在步驟1410中，可和前述提供的實(shí)施例一樣執(zhí)行時(shí)間重傳，然后跳回步驟1408，以再次決定無線通道的更新剩余封包錯(cuò)誤率是否低于臨界值。在一實(shí)施例中，時(shí)間重傳可被重復(fù)執(zhí)行直到無線通道的剩余封包錯(cuò)誤率低于臨界值。然后，進(jìn)行步驟1412。在步驟1412中，更新編碼器內(nèi)的參考幀緩沖器。例如，編碼器內(nèi)的參考幀緩沖器可利用從接收器發(fā)出的錯(cuò)誤隱藏資信和回授信息(例如遺失或損壞的封包資信)更新。在本發(fā)明的還一實(shí)施例中，儲(chǔ)存在編碼器內(nèi)的參考幀緩沖器的參考幀可被執(zhí)行在接收器內(nèi)相對(duì)應(yīng)參考幀的相同的錯(cuò)誤隱藏所更新。在本發(fā)明的還一實(shí)施例中，儲(chǔ)存在編碼器內(nèi)的參考幀緩沖器的參考幀可被來自接收器用于參考幀的遺失或損壞的封包資信所更新。然后，進(jìn)行步驟1428以計(jì)算儲(chǔ)存在編碼器內(nèi)參考幀緩沖器的參考幀的Θ值。在步驟1428中，可計(jì)算儲(chǔ)存在編碼器內(nèi)參考幀緩沖器的參考幀的Θ值。例如，儲(chǔ)存在編碼器內(nèi)參考幀緩沖器的參考幀的Θ值可和前述提供的實(shí)施例一樣計(jì)算得到。在一實(shí)施例中，具有最聞Θ值的參考巾貞可和如述提供的實(shí)施例一樣從編碼器內(nèi)參考巾貞緩沖器刪除。然后，進(jìn)行步驟1430。在步驟1430中，可決定是否編碼下一幀。例如，如果下一幀要被編碼，則跳回步驟1402以及重復(fù)上述步驟。在本發(fā)明的還一實(shí)施例中，如果決定下一幀不用被編碼，則進(jìn)行步驟1432，結(jié)束。在步驟1414中，可決定是否多數(shù)通道具有低于臨界值的封包錯(cuò)誤率。例如，如果多數(shù)通道具有低于臨界值的封包錯(cuò)誤率，則進(jìn)行步驟1416以執(zhí)行第三錯(cuò)誤更正政策。如果多數(shù)通道具有高于臨界值的封包錯(cuò)誤率，則進(jìn)行步驟1420以執(zhí)行第四錯(cuò)誤更正政策。在步驟1416中，當(dāng)有需`要時(shí)，一個(gè)幀可被執(zhí)行編碼、傳送以及空間重傳。例如，編碼器或傳送器可和前述提供的實(shí)施例一樣編碼和傳送幀。另外，空間重傳亦可和前述提供的實(shí)施例一樣被執(zhí)行。例如，可通過粗略地量化目前幀的編碼以降低編碼位速率，所以剩余位可被用以重傳遺失或損壞的封包。在一些實(shí)施例中，對(duì)應(yīng)于在通道內(nèi)從接收器發(fā)出的回授信息且具有低于臨界值的封包錯(cuò)誤率的遺失或損壞的封包才可被重傳。在還一實(shí)施例中，在具有高于臨界值的封包錯(cuò)誤率的通道中的接收器可被選擇執(zhí)行錯(cuò)誤隱藏，或是如果幀的圖像質(zhì)量仍然太差，則選擇不顯示具有較差圖像質(zhì)量的幀。在還一實(shí)施例中，可基于在具有低于臨界值的封包錯(cuò)誤率的無線通道內(nèi)從接收器發(fā)出的回授信息，決定通過粗略地量化以降低編碼位速率。然后，進(jìn)行步驟1418。在步驟1418中，更新編碼器內(nèi)的參考幀緩沖器。例如，編碼器內(nèi)的參考幀緩沖器可利用從接收器發(fā)出的錯(cuò)誤隱藏資信和回授信息(例如遺失或損壞的封包資信)更新。在本發(fā)明的還一實(shí)施例中，儲(chǔ)存在編碼器內(nèi)的參考幀緩沖器的參考幀可被執(zhí)行在接收器內(nèi)相對(duì)應(yīng)參考幀的相同的錯(cuò)誤隱藏所更新。在本發(fā)明的還一實(shí)施例中，儲(chǔ)存在編碼器內(nèi)的參考幀緩沖器的參考幀可被來自接收器用于參考幀的遺失或損壞的封包資信所更新。在本發(fā)明的還一實(shí)施例中，僅有對(duì)應(yīng)于在具有低于臨界值的封包錯(cuò)誤率的通道內(nèi)的接收器才被更新。然后，進(jìn)行步驟1428計(jì)算在編碼器內(nèi)參考幀緩沖器的參考幀的Θ值。另外，從步驟1418進(jìn)行到步驟1428的過程就如同從步驟1412進(jìn)行到步驟1428的過程一樣。
在步驟1420中，當(dāng)有需要時(shí)，一個(gè)幀可被執(zhí)行編碼、傳送以及空間重傳。例如，編碼器和傳輸器可和前述提供的實(shí)施例一樣編碼和傳輸巾貞。另外，可和前述提供的實(shí)施例一樣執(zhí)行空間重傳。例如，通過粗略地量化目前幀的編碼以降低編碼位速率，所以剩下的位可被用以重傳遺失或損壞的封包。在一些實(shí)施例中，僅有對(duì)應(yīng)于在具有低于臨界值的封包錯(cuò)誤率的通道內(nèi)從接收器所發(fā)出的回授信息的遺失或損壞的封包才可被重傳。在還一實(shí)施例中，在具有高于臨界值的封包錯(cuò)誤率的通道中的接收器可被選擇執(zhí)行錯(cuò)誤隱藏，或是如果幀的圖像質(zhì)量仍然太差，則選擇不顯示具有較差圖像質(zhì)量的幀。在還一實(shí)施例中，可基于在具有低于臨界值的封包錯(cuò)誤率的無線通道內(nèi)從接收器發(fā)出的回授信息，決定通過粗略地量化以降低編碼位速率。然后，進(jìn)行步驟1422。在步驟1422中，可決定無線通道的剩余封包錯(cuò)誤率，以及比較剩余封包錯(cuò)誤率和臨界值。例如，可將每一個(gè)無線通道的剩余封包錯(cuò)誤率和臨界值比較，以及可決定任何高于臨界值的剩余封包錯(cuò)誤率，并進(jìn)行至步驟1424以執(zhí)行時(shí)間重傳。在步驟1422中，如果剩余封包錯(cuò)誤率是低于臨界值，則進(jìn)行步驟1426以執(zhí)行更新參考幀緩沖器。在步驟1424中，執(zhí)行時(shí)間重傳。例如，可和前述提供的實(shí)施例一樣執(zhí)行時(shí)間重傳，然后跳回步驟1422以再次決定無線通道的更新剩余封包錯(cuò)誤率是否低于臨界值。在一實(shí)施例中，時(shí)間重傳可被重復(fù)執(zhí)行直到無線通道的剩余封包錯(cuò)誤率低于臨界值。然后，進(jìn)行步驟 1426。在步驟1426中，更新編碼器內(nèi)的參考幀緩沖器。例如，編碼器內(nèi)的參考幀緩沖器可利用從接收器發(fā)出的錯(cuò)誤隱藏資信和回授信息(例如遺失或損壞的封包資信)更新。在本發(fā)明的還一實(shí)施例中，儲(chǔ)存在編碼器內(nèi)的參考幀緩沖器的參考幀可被執(zhí)行在接收器內(nèi)相對(duì)應(yīng)參考幀的相同的錯(cuò)誤隱藏所更新。在本發(fā)明的還一實(shí)施例中，儲(chǔ)存在編碼器內(nèi)的參考幀緩沖器的參考幀可被來自接收器用于參考幀的遺失或損壞的封包資信所更新。在本發(fā)明的還一實(shí)施例中，僅有對(duì)應(yīng)于在具有低于臨界值的封包錯(cuò)誤率的通道內(nèi)的接收器才被更新。然后，進(jìn)行步驟1428計(jì)算在編碼器內(nèi)參考幀緩沖器的參考幀的Θ值。另外，從步驟1426進(jìn)行到步驟1428的過程就如同從步驟1412進(jìn)行到步驟1428的過程一樣。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種用以提供數(shù)字視頻內(nèi)容錯(cuò)誤復(fù)原的方法，包括 接收對(duì)應(yīng)于多個(gè)視頻幀的視頻數(shù)據(jù)； 利用編碼器編碼該視頻數(shù)據(jù)以產(chǎn)生代表視頻幀的多個(gè)封包； 該方法的特征在于還包括 傳送該多個(gè)封包中的第一組封包至至少二個(gè)接收器； 從該至少二個(gè)接收器接收關(guān)于該多個(gè)封包的個(gè)別封包的接收狀態(tài)的回授信息，其中該回授信息是沒有接收正確的封包的指標(biāo)； 根據(jù)從該至少二個(gè)接收器接收的回授信息，檢查關(guān)于該至少二個(gè)接收器的錯(cuò)誤指標(biāo)；及 如果該至少二個(gè)接收器間的該錯(cuò)誤指標(biāo)的變異是低于第一錯(cuò)誤臨界值，則執(zhí)行第一錯(cuò)誤更正政策，以及如果該至少二個(gè)接收器間的該錯(cuò)誤指標(biāo)的變異是高于該第一錯(cuò)誤臨界值，則執(zhí)行第二錯(cuò)誤更正政策，其中該第一和第二錯(cuò)誤更正政策的至少一個(gè)錯(cuò)誤更正政策包括利用不同于已用于編碼該多個(gè)封包的機(jī)制的編碼機(jī)制傳送或重傳至少一個(gè)封包。
2.如權(quán)利要求1所述的方法，其特征在于，檢查關(guān)于該至少二個(gè)接收器的錯(cuò)誤指標(biāo)包括 根據(jù)該回授信息，計(jì)算該至少二個(gè)接收器的封包錯(cuò)誤率，以及該錯(cuò)誤指標(biāo)的變異包括該至少二個(gè)接收器的該封包錯(cuò)誤率的變異。
3.如權(quán)利要求1所述的方法，其特征在于，對(duì)于該視頻幀的至少一個(gè)重傳封包的編碼執(zhí)行該第一和第二錯(cuò)誤更正政策的錯(cuò)誤更正政策，以及編碼接續(xù)視頻幀的多個(gè)封包。
4.如權(quán)利要求1所述的方法，其特征在于，該第一錯(cuò)誤更正政策包括 根據(jù)該至少二個(gè)接收器的該錯(cuò)誤指標(biāo)，決定是否在接續(xù)視頻幀的相同的時(shí)隙中重傳一個(gè)或多個(gè)沒有接收正確的封包。
5.如權(quán)利要求1所述的方法，其特征在于，執(zhí)行該第二錯(cuò)誤更正政策還包括 如果該至少二個(gè)接收器的大部分接收器具有低于第二錯(cuò)誤臨界值的錯(cuò)誤指標(biāo)，則執(zhí)行第三錯(cuò)誤更正政策，以及如果該至少二個(gè)接收器的大部分接收器具有高于該第二錯(cuò)誤臨界值的錯(cuò)誤指標(biāo)，則執(zhí)行第四錯(cuò)誤更正政策。
6.如權(quán)利要求5所述的方法，其特征在于，該第一和第四錯(cuò)誤更正政策的至少一個(gè)錯(cuò)誤更正政策還包括 根據(jù)該至少二個(gè)接收器的該錯(cuò)誤指標(biāo)，決定量化參數(shù)。
7.如權(quán)利要求5所述的方法，其特征在于，該第一、第三和第四錯(cuò)誤更正政策的至少一個(gè)錯(cuò)誤更正政策包括 在該編碼器中，對(duì)使用在編碼該視頻數(shù)據(jù)的參考視頻幀執(zhí)行錯(cuò)誤隱藏。
8.如權(quán)利要求7所述的方法，其特征在于，對(duì)于該第一和第四錯(cuò)誤更正政策的至少一個(gè)錯(cuò)誤更正政策執(zhí)行該錯(cuò)誤隱藏包括 根據(jù)在接收器端譯碼器執(zhí)行的錯(cuò)誤隱藏，執(zhí)行同步的錯(cuò)誤隱藏。
9.如權(quán)利要求7所述的方法，其特征在于，對(duì)于該第三錯(cuò)誤更正政策執(zhí)行該錯(cuò)誤隱藏包括 根據(jù)在對(duì)應(yīng)于該些具有低于該第二錯(cuò)誤臨界值的錯(cuò)誤指標(biāo)的接收器的接收器端譯碼器所執(zhí)行的錯(cuò)誤隱藏，執(zhí)行同步的錯(cuò)誤隱藏。
10.如權(quán)利要求5所述的方法，其特征在于，該第三錯(cuò)誤更正政策包括 根據(jù)對(duì)于具有低于該第二錯(cuò)誤臨界值的錯(cuò)誤指標(biāo)的接收器的該錯(cuò)誤指標(biāo)，決定該視頻數(shù)據(jù)的接續(xù)幀的量化參數(shù)。
11.如權(quán)利要求5所述的方法，其特征在于，該第三錯(cuò)誤更正政策包括 根據(jù)對(duì)于具有低于該第二錯(cuò)誤臨界值的錯(cuò)誤指標(biāo)的接收器的該錯(cuò)誤指標(biāo)，決定是否在該視頻數(shù)據(jù)的接續(xù)幀的相同的時(shí)隙中重傳一個(gè)或多個(gè)遺失的封包。
12.如權(quán)利要求1所述的方法，其特征在于，還包括 動(dòng)態(tài)調(diào)整參考幀緩沖器，其中動(dòng)態(tài)調(diào)整該參考幀緩沖器還包括根據(jù)該些接收器的剩余封包錯(cuò)誤率以及參考幀和編碼幀之間的關(guān)系，從該參考幀緩沖器移動(dòng)該參考幀。
13.如權(quán)利要求1所述的方法，其特征在于，包括執(zhí)行錯(cuò)誤隱藏的該第一、第三和第四錯(cuò)誤更正政策的至少一個(gè)錯(cuò)誤更正政策包括 辨識(shí)該視頻幀遺失的部份； 從前一幀定位該視頻幀遺失的部份，其中該前一幀包括(1-1)幀至(1-n)幀的其中一幀，其中i和η是為正整數(shù)；及 從該前一幀隱藏該幀的定位部份。
全文摘要
本發(fā)明公開了一種用以提供數(shù)字視頻內(nèi)容錯(cuò)誤復(fù)原的方法。該方法包括接收對(duì)應(yīng)于多個(gè)視頻幀的視頻數(shù)據(jù)；利用編碼器編碼該視頻數(shù)據(jù)以產(chǎn)生代表視頻幀的多個(gè)封包；傳送該多個(gè)封包中的第一組封包至至少二個(gè)接收器；從該至少二個(gè)接收器接收關(guān)于該多個(gè)封包的個(gè)別封包的接收狀態(tài)的回授信息；根據(jù)從該至少二個(gè)接收器接收的回授信息，檢查關(guān)于該至少二個(gè)接收器的錯(cuò)誤指標(biāo)；根據(jù)該二接收器間的該錯(cuò)誤指標(biāo)的變異是否低于第一錯(cuò)誤臨界值，執(zhí)行第一錯(cuò)誤更正政策或第二錯(cuò)誤更正政策。因此，本發(fā)明可應(yīng)用于錯(cuò)誤復(fù)原數(shù)字視頻，以改善視頻質(zhì)量。
文檔編號(hào)H04N7/64GK103051902SQ20121039089
公開日2013年4月17日 申請(qǐng)日期2012年10月15日 優(yōu)先權(quán)日2011年10月14日
發(fā)明者艾克哈德勾茲·史汀班區(qū), 張帆, 彭?xiàng)? 鄧維康 申請(qǐng)人:立積電子股份有限公司