專利名稱:基于反饋的自適應(yīng)錯誤恢復(fù)裝置、視頻通信系統(tǒng)和方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖像信息傳輸和處理領(lǐng)域,具體涉及一種自適應(yīng)的、具有抗 信道錯誤的視頻通信系統(tǒng)和方法,以及其中的錯誤恢復(fù)裝置和方法。
背景技術(shù):
隨著有線寬帶網(wǎng)絡(luò)和無線網(wǎng)絡(luò)的發(fā)展和用戶需求的驅(qū)動,多媒體技術(shù)和 相關(guān)的應(yīng)用得到了越來越多的關(guān)注,被認(rèn)為是未來高速網(wǎng)絡(luò)的主流應(yīng)用之
一。多i某體應(yīng)用,尤其是-見頻應(yīng)用,相對于Internet的傳統(tǒng)應(yīng)用,如WWW、 E-mail等,其對實時性要求更嚴(yán)格,對帶寬的需求更大。由于視頻應(yīng)用中大 多采用了高壓縮率的編碼技術(shù),其對傳輸誤碼的要求尤為苛刻,但是有線或 者無線網(wǎng)絡(luò)不提供傳輸?shù)腝oS (QualityofServices)保證,因此,提高視頻 應(yīng)用對傳輸誤碼的抗干擾和恢復(fù)能力 一直是多4某體通信領(lǐng)域的研究熱點。
常用的視頻傳輸抗差錯方法包括①在編碼器端進行冗余編碼,使編碼 碼流對信道錯誤具有更強的抗千擾能力;②在信道傳輸過程中加入冗余數(shù) 據(jù),例如前向糾錯,提高傳輸數(shù)據(jù)對信道錯誤的抗干擾能力;③在解碼器端 進行錯誤隱蔽后處理,盡可能恢復(fù)出由于信道錯誤引起的受損數(shù)據(jù)。方法① 和方法②都會造成數(shù)據(jù)冗余,增加對傳輸帶寬的要求,特別是在信道狀況較 好時占用不必要的傳輸帶寬;方法③雖然不會增加傳輸冗余數(shù)據(jù),但是對信 '道錯誤的抗干擾能力有限,特別是對無線信道傳輸條件下的高比特錯誤和突 發(fā)性錯誤無能為力。
因此,交互式的視頻抗差錯處理一一根據(jù)網(wǎng)絡(luò)信道的狀況調(diào)整編碼策略 或者傳輸策略一一是一種有效的自適應(yīng)視頻通信方法。在網(wǎng)絡(luò)狀況較差時, 例如信道比特錯誤率或者丟包率較大時,可以增加編碼或者傳輸過程中的冗 余數(shù)據(jù);當(dāng)網(wǎng)絡(luò)狀況較好時,例如信道比特錯誤率或者丟包率較低,可以降 低編碼或者傳輸過程中的冗余數(shù)據(jù)。
這種交互式的視頻抗差錯方法的一個重要特征是需要得到網(wǎng)絡(luò)狀況或 者解碼端解碼圖像狀態(tài)的反饋信息,然后根據(jù)反饋信息調(diào)整編碼或者傳輸策 略。但是在實際的通信系統(tǒng)中,從解碼器的反饋解碼狀態(tài)信息到編碼端存在 時延,時延的大小與網(wǎng)絡(luò)狀況有關(guān)。若時延較大,編碼端接收到錯誤反饋信 息時,錯誤圖像已經(jīng)在解碼器端擴散較長時間,對用戶造成明顯的視覺體驗 下降。而且在這種情況下,編碼端的容錯處理能力會發(fā)生明顯下降。
發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于,提供一種基于反饋的自適應(yīng)錯誤恢復(fù) 裝置、視頻通信系統(tǒng)和方法,能夠快速接收錯誤視頻反饋信息,在較短的反 饋時延內(nèi)進行錯誤恢復(fù)。
本發(fā)明提供一種基于反饋的自適應(yīng)錯誤恢復(fù)裝置,包括數(shù)據(jù)接收模塊、
錯誤信息處理模塊、錯誤補償模塊及控制模塊,其中
數(shù)據(jù)接收模塊,用于接收正常數(shù)據(jù)流,并對數(shù)據(jù)進行緩存;錯誤信息處 理模塊,用于檢測接收數(shù)據(jù)是否發(fā)生錯誤,以及檢測從反饋信道獲取的反饋 信息是否有錯誤信息;控制模塊,用于接收檢測結(jié)果,若未發(fā)生錯誤也沒有 檢測到錯誤信息,則控制所述數(shù)據(jù)接收模塊直接將緩存數(shù)據(jù)輸出;若發(fā)生錯 誤或者檢測到錯誤信息,則控制所述數(shù)據(jù)接收模塊將所緩存數(shù)據(jù)送至錯誤補 償模塊,錯誤信息處理模塊將錯誤信息送至錯誤補償模塊,啟動所述錯誤補 償模塊根據(jù)錯誤信息對待輸出的下一個數(shù)據(jù)包進行錯誤補償后輸出。
其中,所述錯誤補償模塊,進行錯誤補償時是對接收的視頻碼流解碼, 然后進行重新編碼,在重新編碼過程中進行容錯處理,所述容錯處理包括I 幀更新、或宏塊幀內(nèi)更新、或參考幀選擇、或發(fā)送冗余幀。
其中,所述錯誤補償模塊,進行錯誤補償時是在變換域?qū)磳l(fā)送的數(shù) 據(jù)碼流進行錯誤補償,在得到第N幀圖像出錯的信息時,確定所述錯誤恢 復(fù)裝置待發(fā)送的數(shù)據(jù)幀;根據(jù)接收的錯誤信息位置,采取基于象素的跟蹤或 者基于宏塊的跟蹤,對錯誤進行跟蹤,找到待發(fā)送的數(shù)據(jù)幀的錯誤擴散區(qū)域; 對待發(fā)送的數(shù)據(jù)幀中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼處理,得到重新編碼的 碼流。
所述錯誤補償模塊,進行跳幀轉(zhuǎn)發(fā)處理時,在重新編碼的碼流中,錯誤 擴散區(qū)域以發(fā)生錯誤之前的第N - 1幀作為參考幀進行重新編碼,阻止錯誤 擴散。
所述錯誤信息處理模塊發(fā)送至錯誤補償模塊的錯誤信息包括從反饋信 道獲得的錯誤信息、以及根據(jù)錯誤信息從緩存數(shù)據(jù)中提取的數(shù)據(jù)錯誤信息, 其包括圖像幀號、或錯誤宏塊位置、或解碼器端錯誤隱蔽算法。
本發(fā)明還提供一種基于上述錯誤恢復(fù)裝置的自適應(yīng)錯誤恢復(fù)方法,包括
如下步驟
(1)數(shù)據(jù)接收模塊接收正常數(shù)據(jù)流,并對數(shù)據(jù)進行緩存;
(2 )錯誤信息處理模塊對緩存的數(shù)據(jù)進行檢測,同時檢測反饋信道是 否存在錯誤信息;
(3) 控制模塊接收檢測結(jié)果,若檢測到緩存數(shù)據(jù)有錯或者檢測到反饋 信道發(fā)送了錯誤信息,則進行啟動錯誤補償模塊;
(4) 控制模塊指示錯誤信息處理模塊將錯誤信息送至錯誤補償模塊, 數(shù)據(jù)接收模塊將緩存數(shù)據(jù)送至錯誤補償模塊,錯誤補償模塊根據(jù)錯誤信息及 緩存數(shù)據(jù),對待輸出的下一個數(shù)據(jù)包進行錯誤補償后輸出。
其中,步驟(3)進一步包括
若沒有檢測到緩存數(shù)據(jù)有錯,而且沒有檢測到反饋信道發(fā)送了錯誤信 息,則指示數(shù)據(jù)接收模塊直接將緩存數(shù)據(jù)發(fā)送至下一網(wǎng)絡(luò)節(jié)點或者終端接收 設(shè)備。
步驟(4)中錯誤補償模塊進行錯誤補償?shù)牟襟E包括
對接收的視頻碼流解碼,然后進行重新編碼,在重新編碼過程中進行容 錯處理,所述容錯處理包括I幀更新、或宏塊幀內(nèi)更新、或參考幀選擇、或 發(fā)送冗余幀。
步驟(4)中錯誤補償模塊進行錯誤補償?shù)牟襟E是在變換域?qū)磳l(fā)送 的數(shù)據(jù)碼流進行錯誤補償,包括如下步驟
在得到第N幀圖像出錯的信息時,確定所述錯誤恢復(fù)裝置待發(fā)送的數(shù) 據(jù)幀;
根據(jù)接收的錯誤信息位置,采取基于象素的跟蹤或者基于宏塊的跟蹤,
對錯誤進行跟蹤,找到待發(fā)送的數(shù)據(jù)幀的錯誤擴散區(qū)域;
對待發(fā)送的數(shù)據(jù)幀中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼處理,得到重新編 碼的碼流。其中,所述對待發(fā)送的數(shù)據(jù)幀中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼
處理步驟,是在重新編碼的碼流中,錯誤擴散區(qū)域以發(fā)生錯誤之前的第N-1幀作為參考幀進行重新編碼,阻止錯誤擴散。
本發(fā)明還提供一種基于反饋的自適應(yīng)視頻通信系統(tǒng),包括發(fā)送側(cè)終端、 第一、第二無線接入設(shè)備、第一、第二i某體網(wǎng)關(guān)、核心網(wǎng)、接收側(cè)終端,發(fā)
送側(cè)終端編碼無線輸出數(shù)據(jù)碼流,經(jīng)第一無線接入設(shè)備、第一媒體網(wǎng)關(guān)、核 心網(wǎng)、第二媒體網(wǎng)關(guān)、第二無線接入設(shè)備傳輸至接收側(cè)終端,由其無線接收 所述數(shù)據(jù)碼流,其中
所述無線接入設(shè)備或媒體網(wǎng)關(guān)中具有一個錯誤恢復(fù)裝置,對數(shù)據(jù)流進行 錯誤檢測及錯誤補償處理;
所述錯誤恢復(fù)裝置,在發(fā)送側(cè)終端與第一無線接入設(shè)備之間的無線連接 上發(fā)生信道錯誤時,用于將錯誤信息送回發(fā)送側(cè)終端,發(fā)送側(cè)終端根據(jù)錯誤 信息對即將發(fā)送的數(shù)據(jù)采取容錯編碼策略后編碼輸出,或者發(fā)送側(cè)終端將錯 誤數(shù)據(jù)重發(fā)至第一無線接入設(shè)備或第一媒體網(wǎng)關(guān),該錯誤恢復(fù)裝置對錯誤數(shù) 據(jù)進行錯誤補償處理后輸出;
所述錯誤恢復(fù)裝置,在接收側(cè)終端與第二無線接入設(shè)備之間的無線連接 上發(fā)生信道錯誤時,用于檢測錯誤信息,對錯誤數(shù)據(jù)進行錯誤補償后輸出至 接收側(cè)終端,或者在接收側(cè)終端檢測到錯誤信息、將錯誤信息反饋至該錯誤 恢復(fù)裝之后,該錯誤恢復(fù)裝置對數(shù)據(jù)碼流進行錯誤補償后輸出至接收側(cè)終端。
所述錯誤恢復(fù)裝置包括數(shù)據(jù)接收模塊、錯誤信息處理模塊、錯誤補償模 塊及控制模塊,其中
數(shù)據(jù)接收模塊,用于接收正常數(shù)據(jù)流,并對數(shù)據(jù)進行緩存;錯誤信息處
理模塊,用于檢測接收數(shù)據(jù)是否發(fā)生錯誤,以及檢測從反饋信道獲取的反饋
信息是否有錯誤信息;控制模塊,用于接收檢測結(jié)果,若未發(fā)生錯誤也沒有 錯誤信息,則控制所述數(shù)據(jù)接收模塊直接將緩存數(shù)據(jù)輸出;若發(fā)生錯誤或者 檢測到錯誤信息,則控制所述數(shù)據(jù)接收模塊將所緩存數(shù)據(jù)送至錯誤補償模 塊,錯誤信息處理模塊將錯誤信息送至錯誤補償模塊,啟動所述錯誤補償模 塊根據(jù)錯誤信息對待輸出的下一個數(shù)據(jù)包進行錯誤補償后輸出。
所述錯誤補償模塊,在進行錯誤補償時,是對接收的視頻碼流解碼,然 后進行重新編碼,在重新編碼過程中進行容錯處理,所述容錯處理包括I幀 更新、或宏塊幀內(nèi)更新、或參考幀選擇、或發(fā)送冗余幀;
或者,所述錯誤補償模塊,在進行錯誤補償時,是在變換域?qū)磳l(fā)送 的數(shù)據(jù)碼流進行錯誤補償,在得到第N幀圖像出錯的信息時,確定所述錯 誤恢復(fù)裝置待發(fā)送的數(shù)據(jù)幀;根據(jù)接收的錯誤信息位置,采取基于象素的跟 蹤或者基于宏塊的跟蹤,對錯誤進行跟蹤,找到待發(fā)送的數(shù)據(jù)幀的錯誤擴散 區(qū)域;對待發(fā)送的數(shù)據(jù)幀中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼處理,得到重新 編碼的碼流;
其中,所述錯誤補償模塊,進行跳幀轉(zhuǎn)發(fā)處理時,在重新編碼的碼流中, 錯誤擴散區(qū)域以發(fā)生錯誤之前的第N - 1幀作為參考幀進行重新編碼,阻止 錯誤擴散;所述錯誤信息處理模塊發(fā)送至錯誤補償模塊的錯誤信息包括從反 饋信道獲得的錯誤信息、以及根據(jù)錯誤信息從緩存數(shù)據(jù)中提取的數(shù)據(jù)錯誤信 息,其包括圖像幀號、或錯誤宏塊位置、或解碼器端錯誤隱蔽算法。
所述無線接入設(shè)備包括基站BTS和基站控制器BSC/RNC。
本發(fā)明進一步還一種基于上述自適應(yīng)視頻通信系統(tǒng)的基于反饋的自適 應(yīng)錯誤恢復(fù)方法,在鄰近發(fā)送側(cè)終端的無線連接發(fā)生信道錯誤時進行錯誤恢 復(fù),包括如下步驟
(1 )錯誤恢復(fù)裝置檢測數(shù)據(jù)碼流,檢測到數(shù)據(jù)出錯后,利用反饋信道 將錯誤信息發(fā)送至發(fā)送側(cè)終端;
(2)發(fā)送側(cè)終端根據(jù)錯誤信息,查找出錯的數(shù)據(jù)包,并重傳該數(shù)據(jù)包,
并將當(dāng)前待發(fā)送的下一數(shù)據(jù)幀發(fā)送至錯誤恢復(fù)裝置;
(3 )錯誤恢復(fù)裝置對所接收的所述待發(fā)送的下一數(shù)據(jù)幀進行錯誤補償 處理,對由重傳數(shù)據(jù)包對應(yīng)的數(shù)據(jù)幀造成的錯誤擴散進行補償,恢復(fù)出無錯 誤的視頻碼流數(shù)據(jù),進行輸出。
步驟(1)中所述錯誤信息包括丟失的數(shù)據(jù)包號或數(shù)據(jù)幀號。
本發(fā)明還提供一種基于上述自適應(yīng)視頻通信系統(tǒng)的基于反饋的自適應(yīng) 錯誤恢復(fù)方法,在鄰近接收側(cè)終端的無線連接發(fā)生信道錯誤時進行錯誤恢 復(fù),包括如下步驟
(1) 接收側(cè)終端檢測到錯誤信息時,將信道錯誤信息反饋至無線接收 設(shè)備或媒體網(wǎng)關(guān)上的錯誤恢復(fù)裝置;
(2) 錯誤恢復(fù)裝置根據(jù)錯誤信息查找錯誤信息對應(yīng)的數(shù)據(jù),對當(dāng)前待 發(fā)送的數(shù)據(jù)幀進行錯誤補償處理,對錯誤信息對應(yīng)的數(shù)據(jù)幀造成的錯誤擴散 進行補償,恢復(fù)出無錯誤的視頻數(shù)據(jù)碼流。
其中,所述錯誤信息包括出錯的數(shù)據(jù)包號、數(shù)據(jù)幀號、對應(yīng)的圖像幀號、 對應(yīng)的宏塊號、解碼器使用的錯誤隱蔽方法。
應(yīng)用本發(fā)明提出的錯誤恢復(fù)裝置,在包括該錯誤恢復(fù)裝置的視頻通信系 統(tǒng)中,該錯誤恢復(fù)裝置可以放置在不同的網(wǎng)絡(luò)節(jié)點上,包括BTS/BSC/RNC 或者媒體網(wǎng)關(guān)等;可以在不同的網(wǎng)絡(luò)節(jié)點上檢測或者接收視頻數(shù)據(jù)錯誤信 息,并對錯誤信息做出相應(yīng)的處理;可以在較小的反饋時延內(nèi)進行錯誤恢復(fù) 處理,從而以最快的速度恢復(fù)視頻解碼端的受損圖像質(zhì)量;可以將需要較大 計算資源的容錯處理操作與終端的編碼/解碼分離,降低終端的計算資源需 求。
圖l是典型無線視頻通信系統(tǒng)的結(jié)構(gòu)示意圖2是本發(fā)明實施例中的錯誤恢復(fù)裝置的組成示意圖3是本發(fā)明實施例中在鄰近發(fā)送端連接發(fā)生信道錯誤的示意圖4是本發(fā)明實施例中在鄰近發(fā)送端連接發(fā)生信道錯誤時的一種錯誤 恢復(fù)流程示意圖5是本發(fā)明實施例中在鄰近接收端連接發(fā)生信道錯誤的示意圖6是本發(fā)明實施例中在鄰近接收端連接發(fā)生信道錯誤時的一種錯誤 恢復(fù)流程示意圖7是本發(fā)明實施例中錯誤恢復(fù)裝置中,錯誤補償模塊在變換域?qū)磳?發(fā)送的碼流進行錯誤補償?shù)牧鞒淌疽鈭D。
具體實施例方式
下面結(jié)合附圖及具體實施例對本發(fā)明作進一步詳細(xì)描述。
如圖l所示,在典型的無線視頻通信系統(tǒng)中,終端與BTS/BSC/RNC之 間是通過無線連接傳輸數(shù)據(jù),BTS/BSC/RNC之間的連接則是通過有線連接, 包括核心網(wǎng)或者軟交換網(wǎng)絡(luò),以及核心網(wǎng)上的媒體網(wǎng)關(guān)等網(wǎng)絡(luò)節(jié)點設(shè)備。在 進行數(shù)據(jù)傳輸時,無線網(wǎng)絡(luò)發(fā)生信道錯誤的概率遠(yuǎn)大于有線網(wǎng)絡(luò)。因此,在 圖1所示的典型無線視頻通信系統(tǒng)中,無線連接是造成數(shù)據(jù)丟失的主要部 分,例如圖1中的A和B兩處是最容易發(fā)生數(shù)據(jù)丟失的位置。
本發(fā)明所提供的解決方法,是在BTS/BSC/RNC或者4某體網(wǎng)關(guān)處引入一 個新的設(shè)備一一如圖2所示的錯誤恢復(fù)裝置。該錯誤恢復(fù)裝置能夠從反饋信 道中獲取視頻圖像的錯誤信息,并利用已經(jīng)接收的正確視頻碼流進行錯誤恢 復(fù)處理。
圖2中,該錯誤恢復(fù)裝置包括錯誤信息處理模塊、數(shù)據(jù)接收模塊、錯誤 補償模塊,以及一個控制模塊,其中
錯誤信息處理模塊,用于在接收到從反饋信道獲取的錯誤信息后,提取 出對應(yīng)的視頻幀錯誤信息,例如圖像幀號、錯誤宏塊(Macro Block)位置、 解碼器端錯誤隱蔽算法等。
數(shù)據(jù)接收模塊,用于將接收的數(shù)據(jù)流進行緩存。
控制模塊接收錯誤信息處理模塊的檢測結(jié)果,若反饋信息中不包含錯誤
信息,表明解碼端沒有發(fā)生數(shù)據(jù)丟失,此時,可以控制數(shù)據(jù)接收^t塊直接將
待發(fā)送數(shù)據(jù)包的輸出;若檢測到反饋信息中包含錯誤視頻幀信息,表明解碼
端發(fā)現(xiàn)數(shù)據(jù)丟失,不能正常解碼,此時可以啟動錯誤補償模塊,控制數(shù)據(jù)接 收模塊、錯誤信息處理模塊分別將緩存的數(shù)據(jù)、錯誤檢測信息送至錯誤補償 模塊,由錯誤補償;f莫塊對待輸出的下一個數(shù)據(jù)包進行錯誤補償后輸出。
錯誤信息處理模塊,還可以檢測接收到的緩存數(shù)據(jù)是否發(fā)生錯誤,如杲 檢測到錯誤,則將控制模塊啟動錯誤補償模塊對待輸出的下一個數(shù)據(jù)包進行 錯誤補償后輸出。
錯誤補償模塊,根據(jù)錯誤信息對待輸出的下一個數(shù)據(jù)包進行錯誤補償后輸出。
上述的數(shù)據(jù)接收、錯誤信息處理、錯誤補償三個模塊在不同條件下需要
使用的功能不一樣。在沒有檢測到錯誤的情況下,錯誤補償模塊不工作;而 在檢測到錯誤的情況下,三個模塊都要工作,控制模塊則協(xié)調(diào)前面三個模塊 之間的工作流程。
該錯誤恢復(fù)裝置可以設(shè)置在不同的網(wǎng)絡(luò)節(jié)點上,包括基站(BTS)、基站 控制器(BSC/RNC)、 i某體網(wǎng)關(guān)、個人計算機或者服務(wù)器。
下面以典型的單向視頻電話業(yè)務(wù)為例,來解釋本發(fā)明的錯誤恢復(fù)裝置的 功能和實施方法,但是并不局限于該應(yīng)用。
如圖1所示,終端1將接收到的視頻源數(shù)據(jù)進行編碼,發(fā)送到鄰近的 BTS/BSC/RNC 1,然后由BTS/BSC/RNC 1通過核心網(wǎng)或者軟交換網(wǎng)絡(luò)將編 碼數(shù)據(jù)發(fā)送到接收端鄰近的BTS/BSC/RNC 2,最后由終端2對從 BTS/BSC/RNC 2接收的數(shù)據(jù)進行解碼,并顯示視頻圖像。在數(shù)據(jù)傳輸?shù)倪^ 程中,可能需要經(jīng)過媒體網(wǎng)關(guān)進行數(shù)據(jù)格式轉(zhuǎn)換或者其它數(shù)據(jù)處理操作。
由于無線連接是最有可能發(fā)生信道錯誤的部分,因此,本發(fā)明提出的錯 誤恢復(fù)裝置可以放置在鄰近無線連接A或者無線連接B的位置。其中,在 鄰近無線連接A的位置是用于處理終端1的上行連接信道錯誤,在鄰近無 線連接B的位置用于處理終端2的下行連接信道錯誤。下面對這兩種情況
分別進行介紹。
在鄰近發(fā)送端連接發(fā)生信道錯誤時,例如囝3中終端1編碼的視頻碼流
在發(fā)送至BTS/BSC/RNC 1時發(fā)生信道錯誤,部分一見頻碼流數(shù)據(jù)不能正確到 達BTS/BSC/RNC 1。此時,可以在BTS/BSC/RNC 1或者媒體網(wǎng)關(guān)1處放置 錯誤恢復(fù)裝置,錯誤恢復(fù)裝置的錯誤信息處理模塊可以檢測接收的視頻碼流 數(shù)據(jù)是否發(fā)生錯誤,并將錯誤信息通過反饋信道發(fā)送至終端1。再由終端1 根據(jù)接收的反饋信道錯誤信息對即將發(fā)送的編碼視頻碼流進行容錯處理。此 時,錯誤恢復(fù)裝置的錯誤補償模塊不啟動。
在這種情況下,上行連接信道錯誤被及時反饋至編碼端,編碼端可以在 最短的反饋時延內(nèi)作出相應(yīng)處理。
在鄰近發(fā)送端連接發(fā)生信道錯誤時, 一種錯誤恢復(fù)裝置的處理方法是在 BTS/BSC/RNC 1或者々某體網(wǎng)關(guān)1處進行錯誤檢測,并將錯誤信息,例如丟 失RTP包號或者數(shù)據(jù)幀號,送回至終端1。在終端1根據(jù)接收的RTP包號 或者數(shù)據(jù)幀號找到對應(yīng)的視頻圖像位置,然后在編碼端對即將編碼的圖像采 取容錯編碼策略,例如幀內(nèi)更新、錯誤跟蹤、參考幀選擇、發(fā)送冗余碼流等。 在這種情況下,在BTS/BSC/RNC 1或者媒體網(wǎng)關(guān)1處已經(jīng)接收的錯誤視頻 碼流數(shù)據(jù)將繼續(xù)送到下一個網(wǎng)絡(luò)節(jié)點或者終端,此時,這些數(shù)據(jù)在終端2不 能正常解碼,在解碼圖像上產(chǎn)生馬賽克或者拖影等瑕疵。但是在檢測到信道 錯誤之后接收的視頻碼流數(shù)據(jù),則是在終端1進行了容錯處理的編碼數(shù)據(jù), 能夠阻止錯誤信息在視頻圖像序列上的擴散,恢復(fù)正常圖像。終端1進行容 錯后,直接發(fā)送帶有容錯信息的下一幀數(shù)據(jù),例如,如果不進行容錯,發(fā)送 的數(shù)據(jù)為data[N + M〗(表示第N + M幀數(shù)據(jù)),容錯處理后還是第N+M幀 數(shù)據(jù),但不是data[N + M],而是data,[N + M]。
這種處理方法的優(yōu)點是能夠在終端1采取有效的容錯編碼方法對錯誤 信息進行處理,錯誤恢復(fù)能力很好,但是需要終端l有較大的緩存和較高的 計算能力。
在鄰近發(fā)送端連接發(fā)生信道錯誤時,錯誤恢復(fù)裝置的另 一種處理方法是
在BTS/BSC/RNC 1或者媒體網(wǎng)關(guān)1處進行錯誤檢測,并將錯誤信息,例如 丟失RTP包號或者數(shù)據(jù)幀號,送回至終端1。在終端1根據(jù)接收的RTP包 號或者數(shù)據(jù)幀號將錯誤數(shù)據(jù)重發(fā)至BTS/BSC/RNC l或者媒體網(wǎng)關(guān)l。然后 在BTS/BSC/RNC 1或者媒體網(wǎng)關(guān)1處的錯誤恢復(fù)裝置進行錯誤補償處理。 此時,在錯誤恢復(fù)裝置的數(shù)據(jù)接收模塊中存儲的碼流包括檢測到信道錯誤之 前接收到的數(shù)據(jù)包(有錯視頻碼流)、檢測到錯誤之后重發(fā)的錯誤數(shù)據(jù)包和 即將發(fā)送的下一個視頻數(shù)據(jù)包。參照圖3、圖4,此時的錯誤恢復(fù)處理方法, 包括
(1 )錯誤恢復(fù)裝置在接收的第N幀圖像中檢測到數(shù)據(jù)出錯。為了不影 響編碼視頻碼流的正常傳輸,第N幀的錯誤數(shù)據(jù)仍然被發(fā)送到下一網(wǎng)絡(luò)節(jié)點。
(2) 錯誤恢復(fù)裝置在檢測到數(shù)據(jù)出錯后,立即通過反饋信道將出錯數(shù) 據(jù)包號或者數(shù)據(jù)幀號發(fā)送到終端1。
(3) 終端1根據(jù)數(shù)據(jù)包號或者數(shù)據(jù)幀號,查找對應(yīng)的丟失或者錯誤數(shù) 據(jù),并重傳該數(shù)據(jù)包。
(4 )終端1將下一幀(第N + M幀)準(zhǔn)備發(fā)送的視頻圖像包含的數(shù)據(jù) 包或者數(shù)據(jù)幀發(fā)送到錯誤恢復(fù)裝置。
(5 )錯誤恢復(fù)裝置在接收到重傳數(shù)據(jù)時,已經(jīng)發(fā)送了第N + M - 1幀圖 像包含的所有數(shù)據(jù)包。下一幀準(zhǔn)備發(fā)送的圖像是第N + M幀。
(6 )錯誤恢復(fù)裝置對第N + M幀圖像進行錯誤補償處理,對由第N幀 圖像數(shù)據(jù)出錯造成的錯誤擴散進行補償,恢復(fù)出無錯誤的視頻碼流數(shù)據(jù)。
其中,終端重發(fā)第N幀的出錯數(shù)據(jù)時, 一并發(fā)送第N+M幀到錯誤恢復(fù) 裝置,在錯誤恢復(fù)裝置對第N+M幀進行錯誤補償后輸出該幀,而在第N+M 幀之前的數(shù)據(jù)則不必糾錯,而僅保證之后的數(shù)據(jù)能構(gòu)得到糾錯,從而達到阻 止第N幀錯誤擴散的目的。發(fā)送端重發(fā)時,只要將第N幀的出錯數(shù)據(jù)發(fā)送 給錯誤恢復(fù)裝置就可以而不必進行容錯處理,此時錯誤恢復(fù)裝置的錯誤補償 模塊需要啟動。
這種錯誤恢復(fù)方法的優(yōu)點在于(1 )終端1與錯誤恢復(fù)裝置之間的反饋時間很短,可以對信道錯誤作
出快速反應(yīng),發(fā)送冗余數(shù)據(jù)或者錯誤修復(fù)數(shù)據(jù);
(2) 生成冗余數(shù)據(jù)或者錯誤修復(fù)數(shù)據(jù)不會影響終端1的正常編碼流程, 因此,不會給終端造成太大的計算壓力,此時并沒有進行實質(zhì)性的容錯編碼;
(3) 真正的容錯編碼,即需要較大計算資源的部分,放在錯誤恢復(fù)裝 置處進行處理;
(4) 錯誤恢復(fù)裝置發(fā)送的錯誤補償后數(shù)據(jù)已經(jīng)把所有或者大部分由于 信道錯誤引起的錯誤擴散阻止,而且不會影響后續(xù)編碼碼流的正常解碼。
在鄰近接收端連接發(fā)生錯誤時,例如圖5中終端2在接收從 BTS/BSC/RNC 2發(fā)送的編碼視頻碼流時發(fā)生信道錯誤,部分視頻碼流數(shù)據(jù) 不能正確到達終端2。此時可以在BTS/BSC/RNC 2或者々某體網(wǎng)關(guān)2處放置 錯誤恢復(fù)裝置,錯誤恢復(fù)裝置的錯誤信息接收模塊可以接收從反饋信道獲取 解碼端錯誤信息,并在該裝置所在位置進行錯誤恢復(fù)處理。
在鄰近接收端連接發(fā)生信道錯誤時, 一種錯誤恢復(fù)裝置的處理方法是
在終端2處進行錯誤檢測,將檢測到的信道錯誤信息,例如受損數(shù)據(jù)包、 受損圖像幀號、受損宏塊位置等,反饋至BTS/BSC/RNC 2或者媒體網(wǎng)關(guān)2 處的錯誤恢復(fù)裝置;然后,在BTS/BSC/RNC 2或者媒體網(wǎng)關(guān)2處的錯誤恢 復(fù)裝置處對碼流數(shù)據(jù)進行錯誤補償處理。
此時,在錯誤恢復(fù)裝置的數(shù)據(jù)接收模塊中存儲的碼流包括檢測到信道錯 誤之前接收到的數(shù)據(jù)包(正確接收的視頻碼流)和即將發(fā)送的下一個視頻數(shù) 據(jù)包。
如圖6所示,此時的錯誤恢復(fù)處理方法,包括
(1 )終端2在進行解碼時檢測到第N幀圖像的數(shù)據(jù)出錯。為了不影響 視頻碼流的正常播放,第N幀圖像的錯誤數(shù)據(jù)仍然被解碼顯示。
(2 )終端2在檢測到第N幀圖像出錯后,立即將出錯信息通過反饋信 道發(fā)送到錯誤恢復(fù)裝置,錯誤信息包括出錯的數(shù)據(jù)包號、數(shù)據(jù)幀號、對應(yīng)的 圖像幀號、對應(yīng)的宏塊號、解碼器使用的錯誤隱蔽方法等。(3) 錯誤恢復(fù)裝置在接收到反饋信息時,已經(jīng)發(fā)送了第N + M- 1幀圖 像的所有數(shù)據(jù)包或者數(shù)據(jù)幀。下一幀準(zhǔn)備發(fā)送的圖像是第N + M幀。
(4) 錯誤恢復(fù)裝置根據(jù)反饋的出錯信息,查找對應(yīng)的丟失或者錯誤數(shù)據(jù)。
(5) 錯誤恢復(fù)裝置對第N + M幀圖像進行錯誤補償處理,對由第N幀 圖像數(shù)據(jù)出錯造成的錯誤擴散進行補償,恢復(fù)出無錯誤的視頻碼流數(shù)據(jù)。
這種錯誤恢復(fù)方法的優(yōu)點在于
(1 )終端2與錯誤恢復(fù)裝置之間的反饋時間很短,可以對信道錯誤作 出快速反應(yīng),將錯誤信息反饋到錯誤恢復(fù)裝置;
(2) 終端2的解碼過程不受到信道錯誤的影響,如有需要可以對發(fā)生 錯誤的第N幀圖像進行錯誤隱蔽后處理,在接收到第N + M幀圖像的碼流 時,由于第N幀圖像出錯造成的錯誤擴散會被阻止;
(3) 錯誤補償處理,即需要較大計算資源的部分,放在錯誤恢復(fù)裝置 處進行處理;
(4) 錯誤恢復(fù)裝置發(fā)送的錯誤補償后數(shù)據(jù)已經(jīng)把所有或者大部分由于 信道錯誤引起的錯誤擴散阻止,而且不會影響后續(xù)編碼碼流的正常解碼;
錯誤恢復(fù)裝置中的錯誤補償模塊的一種常見方法,是對接收的視頻碼流 解碼,然后進行重新編碼。在重新編碼過程中進行容錯處理,例如I幀更新、 宏塊幀內(nèi)更新、參考幀選擇、發(fā)送冗余幀等。但是這種重新編碼方法需要實 時保持對接收碼流的解碼處理,占用大量的計算資源。
錯誤恢復(fù)裝置中的錯誤補償模塊的另外一種實施方法,是不進行重新編 碼操作,而是在變換域?qū)磳l(fā)送的碼流進行錯誤補償。
下面結(jié)合圖7說明該方法的實施步驟
(1 )錯誤恢復(fù)裝置得到第N幀圖像出錯的信息(第N幀中的陰影部分), 其中第N幀圖像為預(yù)測編碼幀,它會造成錯誤在已經(jīng)發(fā)送的第N+1幀圖像 擴散(第N+l幀中的半陰影部分)。錯誤恢復(fù)裝置準(zhǔn)備發(fā)送的是第N + 2 幀圖像。
(2) 根據(jù)接收的錯誤信息位置,對錯誤進行跟蹤,錯誤跟蹤方法可以
采取基于象素的跟蹤或者基于宏塊的跟蹤,找到第N + 2幀圖像錯誤擴散區(qū) 域(第N + 2幀中半陰影部分)。
(3) 對第N + 2幀圖像中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼處理,得到 重新編碼的碼流。在重新編碼的碼流中,錯誤擴散區(qū)域不再以第N+1幀的 圖像作為參考幀,而是以第N-1幀作為參考幀,從而可以阻止錯誤擴散。
但是,由于系統(tǒng)是RTP實時系統(tǒng),從第N幀開始出錯,直到第N + M 幀為止,其間的錯誤幀不能恢復(fù)。
視頻通信過程中的信道錯誤是造成終端解碼的視頻圖像下降的主要原 因,對于無線信道而言信道錯誤更加嚴(yán)重,在出錯時的解碼圖像質(zhì)量退化更 加嚴(yán)重。
本發(fā)明針對視頻通信過程中由于信道錯誤引起的數(shù)據(jù)丟失或者受損造 成的解碼圖像質(zhì)量下降問題,提出了一種錯誤恢復(fù)裝置。該錯誤恢復(fù)裝置可 以放置在不同的網(wǎng)絡(luò)節(jié)點上,包括BTS/BSC/RNC或者媒體網(wǎng)關(guān)等。該錯誤 恢復(fù)裝置可以在不同的網(wǎng)絡(luò)節(jié)點上檢測或者接收視頻數(shù)據(jù)錯誤信息,并對錯 誤信息做出相應(yīng)的處理。該錯誤恢復(fù)裝置可以在較小的反饋時延內(nèi)進行錯誤 恢復(fù)處理,從而以最快的速度恢復(fù)視頻解碼端的受損圖像質(zhì)量。該錯誤恢復(fù) 裝置及方法可以將需要較大計算資源的容錯處理操作與終端的編碼/解碼分 離,降低終端的計算資源需求。
權(quán)利要求
1、一種基于反饋的自適應(yīng)錯誤恢復(fù)裝置,其特征在于,包括數(shù)據(jù)接收模塊、錯誤信息處理模塊、錯誤補償模塊及控制模塊,其中數(shù)據(jù)接收模塊,用于接收正常數(shù)據(jù)流,并對數(shù)據(jù)進行緩存;錯誤信息處理模塊,用于檢測接收數(shù)據(jù)是否發(fā)生錯誤,以及檢測從反饋信道獲取的反饋信息是否有錯誤信息;控制模塊,用于接收檢測結(jié)果,若未發(fā)生錯誤也沒有檢測到錯誤信息,則控制所述數(shù)據(jù)接收模塊直接將緩存數(shù)據(jù)輸出;若發(fā)生錯誤或者檢測到錯誤信息,則控制所述數(shù)據(jù)接收模塊將所緩存數(shù)據(jù)送至錯誤補償模塊,錯誤信息處理模塊將錯誤信息送至錯誤補償模塊,啟動所述錯誤補償模塊根據(jù)錯誤信息對待輸出的下一個數(shù)據(jù)包進行錯誤補償后輸出。
2、 如權(quán)利要求1所述的自適應(yīng)錯誤恢復(fù)裝置,其特征在于,所述錯誤 補償模塊,進行錯誤補償時是對接收的視頻碼流解碼,然后進行重新編碼, 在重新編碼過程中進行容錯處理,所述容錯處理包括I幀更新、或宏塊幀內(nèi) 更新、或參考幀選擇、或發(fā)送冗余幀。
3、 如權(quán)利要求1所述的自適應(yīng)錯誤恢復(fù)裝置,其特征在于,所述錯誤 補償模塊,進行錯誤補償時是在變換域?qū)磳l(fā)送的數(shù)據(jù)碼流進行錯誤補 償,在得到第N幀圖像出錯的信息時,確定所述錯誤恢復(fù)裝置待發(fā)送的數(shù) 據(jù)幀;根據(jù)接收的錯誤信息位置,采取基于象素的跟蹤或者基于宏塊的跟蹤, 對錯誤進行跟蹤,找到待發(fā)送的數(shù)據(jù)幀的錯誤擴散區(qū)域;對待發(fā)送的數(shù)據(jù)幀 中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼處理,得到重新編碼的碼流。
4、 如權(quán)利要求3所述的自適應(yīng)錯誤恢復(fù)裝置,其特征在于,所述錯誤 補償模塊,進行跳幀轉(zhuǎn)發(fā)處理時,在重新編碼的碼流中,錯誤擴散區(qū)域以發(fā) 生錯誤之前的第N - 1幀作為參考幀進行重新編碼,阻止錯誤擴散。
5、 如權(quán)利要求1所述的自適應(yīng)錯誤恢復(fù)裝置,其特征在于,所述錯誤 信息處理模塊發(fā)送至錯誤補償模塊的錯誤信息包括從反饋信道獲得的錯誤 信息、以及根據(jù)錯誤信息從緩存數(shù)據(jù)中提取的數(shù)據(jù)錯誤信息,其包括圖像幀 號、或錯誤宏塊位置、或解碼器端錯誤隱蔽算法。
6、 一種基于權(quán)利要求1所述錯誤恢復(fù)裝置的自適應(yīng)錯誤恢復(fù)方法,其特征在于,包纟舌如下步驟(1 )數(shù)據(jù)接收模塊接收正常數(shù)據(jù)流,并對數(shù)據(jù)進行緩存;(2 )錯誤信息處理模塊對緩存的數(shù)據(jù)進衧檢測,同時拾測反饋信遺是 否存在錯誤信息;(3)控制模塊接收檢測結(jié)果,若檢測到緩存數(shù)據(jù)有錯或者檢測到反饋 信道發(fā)送了錯誤信息,則進行啟動錯誤補償模塊;(4 )控制模塊指示錯誤信息處理模塊將錯誤信息送至錯誤補償模塊, 數(shù)據(jù)接收模塊將緩存數(shù)據(jù)送至錯誤補償模塊,錯誤補償模塊根據(jù)錯誤信息及 緩存數(shù)據(jù),對待輸出的下一個數(shù)據(jù)包進行錯誤補償后輸出。
7、 如權(quán)利要求6所述的自適應(yīng)錯誤恢復(fù)方法,其特征在于,步驟(3 ) 進一步包括若沒有檢測到緩存數(shù)據(jù)有錯,而且沒有檢測到反饋信道發(fā)送了錯誤信 息,則指示數(shù)據(jù)接收模塊直接將緩存數(shù)據(jù)發(fā)送至下一網(wǎng)絡(luò)節(jié)點或者終端接收 設(shè)備。
8、 如權(quán)利要求6所述的自適應(yīng)錯誤恢復(fù)方法,其特征在于,步驟(4) 中錯誤補償模塊進行錯誤補償?shù)牟襟E包括對接收的視頻碼流解碼,然后進行重新編碼,在重新編碼過程中進行容 錯處理,所述容錯處理包括I幀更新、或宏塊幀內(nèi)更新、或參考幀選擇、或 發(fā)送冗余幀。
9、 如權(quán)利要求6所述的自適應(yīng)錯誤恢復(fù)方法,其特征在于,步驟(4) 中錯誤補償模塊進行錯誤補償?shù)牟襟E是在變換域?qū)磳l(fā)送的數(shù)據(jù)碼流進 行錯誤補償,包括如下步驟在得到第N幀圖像出錯的信息時,確定所述錯誤恢復(fù)裝置待發(fā)送的數(shù) 據(jù)幀;根據(jù)接收的錯誤信息位置,采取基于象素的跟蹤或者基于宏塊的跟蹤, 對錯誤進行跟蹤,找到待發(fā)送的數(shù)據(jù)幀的錯誤擴散區(qū)域;對待發(fā)送的數(shù)據(jù)幀中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼處理,得到重新編 碼的碼流。
10、 如權(quán)利要求9所述的自適應(yīng)錯誤恢復(fù)方法,其特征在于,所述對待 發(fā)送的數(shù)據(jù)幀中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼處理步驟,是在重新編碼的 碼流中,錯誤擴散區(qū)域以發(fā)生錯誤之前的第N-1幀作為參考幀進行重新編 碼,阻止錯誤擴散。
11、 一種基于反饋的自適應(yīng)視頻通信系統(tǒng),包括發(fā)送側(cè)終端、第一、第 二無線接入設(shè)備、第一、第二媒體網(wǎng)關(guān)、核心網(wǎng)、接收側(cè)終端,發(fā)送側(cè)終端 編碼無線輸出數(shù)據(jù)碼流,經(jīng)第一無線接入設(shè)備、第一媒體網(wǎng)關(guān)、核心網(wǎng)、第 二媒體網(wǎng)關(guān)、第二無線接入設(shè)備傳輸至接收側(cè)終端,由其無線接收所述數(shù)據(jù) 碼流,其特征在于所述無線接入設(shè)備或媒體網(wǎng)關(guān)中具有一個錯誤恢復(fù)裝置,對數(shù)據(jù)流進行 錯誤檢測及錯誤補償處理;所述錯誤恢復(fù)裝置,在發(fā)送側(cè)終端與第一無線接入設(shè)備之間的無線連接 上發(fā)生信道錯誤時,用于將錯誤信息送回發(fā)送側(cè)終端,發(fā)送側(cè)終端根據(jù)錯誤 信息對即將發(fā)送的數(shù)據(jù)采取容錯編碼策略后編碼輸出,或者發(fā)送側(cè)終端將錯 誤數(shù)據(jù)重發(fā)至第一無線接入設(shè)備或第一媒體網(wǎng)關(guān),該錯誤恢復(fù)裝置對錯誤數(shù) 據(jù)進行錯誤補償處理后輸出;所述錯誤恢復(fù)裝置,在接收側(cè)終端與第二無線接入設(shè)備之間的無線連接 上發(fā)生信道錯誤時,用于檢測錯誤信息,對錯誤數(shù)據(jù)進行錯誤補償后輸出至 接收側(cè)終端,或者在接收側(cè)終端檢測到錯誤信息、將錯誤信息反饋至該錯誤 恢復(fù)裝之后,該錯誤恢復(fù)裝置對數(shù)據(jù)碼流進行錯誤補償后輸出至接收側(cè)終端。
12、 如權(quán)利要求11所述的系統(tǒng),其特征在于,所述錯誤恢復(fù)裝置包括 數(shù)據(jù)接收模塊、錯誤信息處理模塊、錯誤補償模塊及控制模塊,其中數(shù)據(jù)接收模塊,用于接收正常數(shù)據(jù)流,并對數(shù)據(jù)進行緩存;錯誤信息處 理模塊,用于檢測接收數(shù)據(jù)是否發(fā)生錯誤,以及檢測從反饋信道獲取的反饋 信息是否有錯誤信息;控制模塊,用于接收檢測結(jié)果,若未發(fā)生錯誤也沒有 錯誤信息,則控制所述數(shù)據(jù)接收模塊直接將緩存數(shù)據(jù)輸出;若發(fā)生錯誤或者 檢測到錯誤信息,則控制所述數(shù)據(jù)接收模塊將所緩存數(shù)據(jù)送至錯誤補償模 塊,錯誤信息處理模塊將錯誤信息送至錯誤補償模塊,啟動所述錯誤補償模塊根據(jù)錯誤信息對待輸出的下一個數(shù)據(jù)包進行錯誤補償后輸出。
13、 如權(quán)利要求11所述的系統(tǒng),其特征在于所述錯誤補償模塊,在進行錯誤補償時,是對接收的視頻碼流解碼,然 后進行重新編碼,在重新編碼過程中進行容錯處理,所述容錯處理包括I幀 更新、或宏塊幀內(nèi)更新、或參考幀選擇、或發(fā)送冗余幀;或者,所述錯誤補償模塊,在進行錯誤補償時,是在變換域?qū)磳l(fā)送 的數(shù)據(jù)碼流進行錯誤補償,在得到第N幀圖像出錯的信息時,確定所述錯 誤恢復(fù)裝置待發(fā)送的數(shù)據(jù)幀;根據(jù)接收的錯誤信息位置,采取基于象素的跟 蹤或者基于宏塊的跟蹤,對錯誤進行跟蹤,找到待發(fā)送的數(shù)據(jù)幀的錯誤擴散 區(qū)域;對待發(fā)送的數(shù)據(jù)幀中錯誤擴散宏塊區(qū)域進行跳幀轉(zhuǎn)碼處理,得到重新 編碼的碼流;其中,所述錯誤補償模塊,進行跳幀轉(zhuǎn)發(fā)處理時,在重新編碼的碼流中, 錯誤擴散區(qū)域以發(fā)生錯誤之前的第N - 1幀作為參考幀進行重新編碼,阻止 錯誤擴散;所述錯誤信息處理模塊發(fā)送至錯誤補償模塊的錯誤信息包括從反 饋信道獲得的錯誤信息、以及根據(jù)錯誤信息從緩存數(shù)據(jù)中提取的數(shù)據(jù)錯誤信 息,其包括圖像幀號、或錯誤宏塊位置、或解碼器端錯誤隱蔽算法。
14、 如權(quán)利要求11所述的系統(tǒng),其特征在于,所述無線接入設(shè)備包括 基站BTS和基站控制器BSC/RNC。
15、 一種基于權(quán)利要求11所述自適應(yīng)視頻通信系統(tǒng)的基于反饋的自適 應(yīng)錯誤恢復(fù)方法,在鄰近發(fā)送側(cè)終端的無線連接發(fā)生信道錯誤時進行錯誤恢 復(fù),其特征在于,包括如下步驟(1 )錯誤恢復(fù)裝置檢測數(shù)據(jù)碼流,檢測到數(shù)據(jù)出錯后,利用反饋信道 將錯誤信息發(fā)送至發(fā)送側(cè)終端;(2)發(fā)送側(cè)終端根據(jù)錯誤信息,查找出錯的數(shù)據(jù)包,并重傳該數(shù)據(jù)包, 并將當(dāng)前待發(fā)送的下一數(shù)據(jù)幀發(fā)送至錯誤恢復(fù)裝置;(3 )錯誤恢復(fù)裝置對所接收的所述待發(fā)送的下一數(shù)據(jù)幀進行錯誤補償 處理,對由重傳數(shù)據(jù)包對應(yīng)的數(shù)據(jù)幀造成的錯誤擴散進行補償,恢復(fù)出無錯 誤的視頻碼流數(shù)據(jù),進行輸出。
16、 如4又利要求15所述的方法,其特4i在于步驟(1)中所述錯誤信息包括丟失的數(shù)據(jù)包號或數(shù)據(jù)幀號。
17、 一種基于權(quán)利要求11所述自適應(yīng)視頻通信系統(tǒng)的基子反饋的自造 應(yīng)錯誤恢復(fù)方法,在鄰近接收側(cè)終端的無線連接發(fā)生信道錯誤時進行錯誤恢 復(fù),其特征在于,包括如下步驟(1 )接收側(cè)終端檢測到錯誤信息時,將信道錯誤信息反饋至無線接收 設(shè)備或媒體網(wǎng)關(guān)上的錯誤恢復(fù)裝置;(2)錯誤恢復(fù)裝置根據(jù)錯誤信息查找錯誤信息對應(yīng)的數(shù)據(jù),對當(dāng)前待 發(fā)送的數(shù)據(jù)幀進行錯誤補償處理,對錯誤信息對應(yīng)的數(shù)據(jù)幀造成的錯誤擴散 進行補償,恢復(fù)出無錯誤的視頻數(shù)據(jù)碼流。
18、 如權(quán)利要求17所述的錯誤恢復(fù)方法,其特征在于,所述錯誤信息 包括出錯的數(shù)據(jù)包號、數(shù)據(jù)幀號、對應(yīng)的圖像幀號、對應(yīng)的宏塊號、解碼器 使用的錯誤隱蔽方法。
全文摘要
本發(fā)明公開了基于反饋的自適應(yīng)錯誤恢復(fù)裝置、視頻通信系統(tǒng)和方法,在視頻通信系統(tǒng)中,增加一種基于反饋的自適應(yīng)錯誤恢復(fù)裝置,該錯誤恢復(fù)裝置中的數(shù)據(jù)接收模塊接收數(shù)據(jù),錯誤信息處理模塊檢測接收數(shù)據(jù)是否有錯,或反饋信道中是否有錯誤信息,如果有錯誤,控制模塊啟動錯誤補償模塊,對接收的出錯數(shù)據(jù)進行錯誤補償,將補償后的數(shù)據(jù)輸出,否則,由數(shù)據(jù)接收模塊直接將正常數(shù)據(jù)輸出。該錯誤恢復(fù)裝置可以在較小的反饋時延內(nèi)進行錯誤恢復(fù)處理,從而以最快的速度恢復(fù)視頻解碼端的受損圖像質(zhì)量。該錯誤恢復(fù)裝置及方法可以將需要較大計算資源的容錯處理操作與終端的編碼/解碼分離,降低終端的計算資源需求。
文檔編號H04N7/68GK101193312SQ20061014562
公開日2008年6月4日 申請日期2006年11月22日 優(yōu)先權(quán)日2006年11月22日
發(fā)明者戴志軍, 寧 王, 王志英, 睿 陳 申請人:中興通訊股份有限公司