專利名稱：具有高效數(shù)據(jù)恢復(fù)的視頻解多路復(fù)用器和解碼器的制作方法
技術(shù)領(lǐng)域：
本揭示案涉及視頻解碼，且更明確地說，涉及用于限制由于信道錯(cuò)誤引起的視頻數(shù)據(jù)損失的技術(shù)。
背景技術(shù)：
在典型的運(yùn)動(dòng)圖像專家組(MPEG)-4視頻解碼器實(shí)施方案中，當(dāng)檢測到錯(cuò)誤時(shí)，解碼器隱藏受破壞片段的所有宏塊(MB)或整個(gè)幀。隱藏防止了在所顯示的視頻中呈現(xiàn)經(jīng)錯(cuò)誤解碼的MB，所述經(jīng)錯(cuò)誤解碼的MB可能非常明顯且在視覺上令人煩擾。另外，隱藏防止了使用來自經(jīng)錯(cuò)誤解碼的MB的不正確運(yùn)動(dòng)向量，其否則可能將額外錯(cuò)誤傳播到視頻流中。因此，隱藏受破壞片段或幀的所有MB通常提供視覺上較令人愉悅的視頻信號(hào)。
盡管隱藏技術(shù)防止呈現(xiàn)受破壞的MB，但此類技術(shù)也故意丟棄了正確接收的數(shù)據(jù)，所述正確接收的數(shù)據(jù)可能在片段或幀的開始部分含有有用的MB。舉例來說，如果實(shí)際上在給定MB處發(fā)生錯(cuò)誤，那么視頻解碼器認(rèn)為可應(yīng)用的片段或幀內(nèi)所有MB均“可能”受到破壞，并隱藏這些MB。隱藏正確接收的數(shù)據(jù)是效率低的，且可能顯著影響其中信道錯(cuò)誤較為普遍的一些系統(tǒng)(例如無線通信系統(tǒng))中的性能。

發(fā)明內(nèi)容
一般來說，本揭示案針對(duì)一種視頻解多路復(fù)用和解碼技術(shù)，其包含用于在信道錯(cuò)誤的情況下進(jìn)行高效視頻數(shù)據(jù)恢復(fù)的功能件。解多路復(fù)用器檢測物理層數(shù)據(jù)單元之間的邊界并將邊界信息添加到由所述解多路復(fù)用器產(chǎn)生的適應(yīng)層數(shù)據(jù)單元。當(dāng)視頻解碼器遇到視頻數(shù)據(jù)幀中的錯(cuò)誤時(shí)，其使用由解多路復(fù)用器產(chǎn)生的邊界信息來限制待隱藏的數(shù)據(jù)的量。所述邊界信息可采取內(nèi)嵌在視頻數(shù)據(jù)幀中的邊界標(biāo)記的形式。
邊界標(biāo)記允許錯(cuò)誤與視頻數(shù)據(jù)幀內(nèi)的較小數(shù)據(jù)段關(guān)聯(lián)。可基于物理層數(shù)據(jù)單元的位置來識(shí)別所述段，所述物理層數(shù)據(jù)單元通常是在傳輸期間經(jīng)受損失的最小單元。視頻解碼器使用邊界標(biāo)記來隱藏較小數(shù)據(jù)段，而不是所述段所駐留的整個(gè)片段或幀。以此方式，視頻解碼器提供高效數(shù)據(jù)恢復(fù)，從而限制了本來將會(huì)作為隱藏過程的一部分而故意丟棄的有用數(shù)據(jù)的損失。在一些情況下，所述解碼技術(shù)也可依賴于錯(cuò)誤復(fù)原功能件(例如再同步標(biāo)記)與邊界標(biāo)記組合。
在一個(gè)實(shí)施例中，本揭示案提供一種視頻解碼方法，其包括基于物理層數(shù)據(jù)單元產(chǎn)生含有視頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元；將邊界標(biāo)記內(nèi)嵌在多路復(fù)用層數(shù)據(jù)單元中以指示物理層數(shù)據(jù)單元之間的邊界；對(duì)多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用以產(chǎn)生視頻數(shù)據(jù)幀；和使用邊界標(biāo)記將檢測到的解碼錯(cuò)誤與視頻數(shù)據(jù)幀的一段關(guān)聯(lián)。
在另一實(shí)施例中，本揭示案提供一種視頻解碼系統(tǒng)，其包括解多路復(fù)用引擎，用以基于物理層數(shù)據(jù)單元而產(chǎn)生含有視頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元，并對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用；邊界產(chǎn)生器，用以將邊界標(biāo)記內(nèi)嵌在多路復(fù)用層數(shù)據(jù)單元中以指示物理層數(shù)據(jù)單元之間的邊界；和視頻解碼引擎，用以對(duì)含有視頻數(shù)據(jù)的視頻數(shù)據(jù)幀進(jìn)行解碼，并使用邊界標(biāo)記將檢測到的解碼錯(cuò)誤與視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)。
在附加實(shí)施例中，本揭示案提供一種視頻解多路復(fù)用器，其包括解多路復(fù)用引擎，用以基于物理層數(shù)據(jù)單元而產(chǎn)生含有視頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元，并對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用；和邊界產(chǎn)生器，用以將邊界標(biāo)記內(nèi)嵌在多路復(fù)用層數(shù)據(jù)單元中以指示物理層數(shù)據(jù)單元之間的邊界，以允許視頻解碼器使用邊界標(biāo)記將檢測到的解碼錯(cuò)誤與視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)。
在另一實(shí)施例中，本揭示案提供一種無線通信裝置，其包括無線接收器，用以經(jīng)由無線通信接收物理層數(shù)據(jù)單元，所述物理層數(shù)據(jù)單元含有視頻數(shù)據(jù)；解多路復(fù)用引擎，用以基于物理層數(shù)據(jù)單元而產(chǎn)生多路復(fù)用層數(shù)據(jù)單元，并對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用；邊界產(chǎn)生器，用以將邊界標(biāo)記內(nèi)嵌在多路復(fù)用層數(shù)據(jù)單元中以指示物理層數(shù)據(jù)單元之間的邊界；和視頻解碼引擎，用以對(duì)含有視頻數(shù)據(jù)的視頻數(shù)據(jù)幀進(jìn)行解碼，并使用邊界標(biāo)記將檢測到的解碼錯(cuò)誤隔離到視頻數(shù)據(jù)幀的一段。
在附圖和以下描述內(nèi)容中陳述一個(gè)或一個(gè)以上實(shí)施例的細(xì)節(jié)。從所述描述內(nèi)容和附圖以及權(quán)利要求書中將了解其它特征、目的和優(yōu)點(diǎn)。


圖1是說明視頻編碼和解碼系統(tǒng)的方框圖。
圖2是說明視頻解碼器系統(tǒng)的方框圖，所述視頻解碼器系統(tǒng)利用邊界標(biāo)記來識(shí)別視頻數(shù)據(jù)幀中對(duì)應(yīng)于物理層數(shù)據(jù)單元的段。
圖3是說明用于在檢測到錯(cuò)誤時(shí)隱藏視頻數(shù)據(jù)幀中的宏塊的現(xiàn)有技術(shù)的圖。
圖4是說明用于在檢測到錯(cuò)誤時(shí)使用再同步標(biāo)記來隱藏視頻數(shù)據(jù)幀中的宏塊的現(xiàn)有技術(shù)的圖。
圖5是說明示范性現(xiàn)有技術(shù)多路復(fù)用和分包技術(shù)的圖。
圖6A-6D說明用于在檢測到錯(cuò)誤時(shí)隱藏視頻數(shù)據(jù)幀中的宏塊的不同技術(shù)。
圖7是說明利用內(nèi)嵌在視頻數(shù)據(jù)幀中的物理數(shù)據(jù)單元邊界標(biāo)記的解多路復(fù)用和解分包技術(shù)的圖。
圖8是說明當(dāng)物理數(shù)據(jù)單元丟失時(shí)圖7的技術(shù)的圖。
圖9是說明使用邊界標(biāo)記來識(shí)別視頻數(shù)據(jù)幀內(nèi)丟失的物理數(shù)據(jù)單元的替代性解多路復(fù)用和解分包技術(shù)的圖。
圖10A-10D是說明各種解多路復(fù)用和解分包技術(shù)的圖，所述解多路復(fù)用和解分包技術(shù)包含使用再同步標(biāo)記(RM)、標(biāo)頭擴(kuò)展代碼(HEC)和邊界標(biāo)記的技術(shù)。
圖11是說明根據(jù)本揭示案的視頻解碼技術(shù)的流程圖。
具體實(shí)施例方式
圖1是說明視頻編碼和解碼系統(tǒng)10的方框圖。如圖1所示，系統(tǒng)10包含由傳輸信道16連接的編碼器系統(tǒng)12和解碼器系統(tǒng)14。信道16可為適于傳輸視頻信息的任何有線或無線媒介。解碼器系統(tǒng)14使得能夠在信道錯(cuò)誤的情況下進(jìn)行高效視頻數(shù)據(jù)恢復(fù)。如將詳細(xì)描述，解碼器系統(tǒng)14經(jīng)配置以限制通常將在信道錯(cuò)誤的情況下作為隱藏過程的一部分而故意丟棄的有用數(shù)據(jù)的損失。以此方式，解碼器系統(tǒng)14可提供較高效率、增強(qiáng)的解碼性能和改進(jìn)的錯(cuò)誤復(fù)原能力。
編碼器系統(tǒng)12包含多路復(fù)用器(MUX)18、視頻編碼器20和音頻編碼器22。視頻編碼器20根據(jù)視頻壓縮協(xié)議(例如MPEG-4)產(chǎn)生經(jīng)編碼的視頻數(shù)據(jù)?？墒褂闷渌曨l壓縮協(xié)議，例如國際電信同盟(ITU)H.263、ITU H.264或MPEG-2協(xié)議。音頻編碼器22編碼音頻數(shù)據(jù)以伴隨視頻數(shù)據(jù)。多路復(fù)用器18對(duì)視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行多路復(fù)用，以形成一系列多路復(fù)用數(shù)據(jù)單元以供經(jīng)由信道16傳輸。舉例來說，多路復(fù)用器18可根據(jù)由ITU公布的H.223多路復(fù)用器協(xié)議操作。然而，可使用其它協(xié)議，例如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)。
信道16將經(jīng)多路復(fù)用的信息作為物理層數(shù)據(jù)單元攜帶到解碼器系統(tǒng)14。信道16可為編碼器系統(tǒng)12與解碼器系統(tǒng)14之間的任何物理連接。舉例來說，信道16可為有線連接，例如本地或廣域網(wǎng)絡(luò)?；蛘撸绫疚乃枋觯诺?6可為無線連接，例如蜂窩式、衛(wèi)星或光學(xué)連接。
解碼器系統(tǒng)14包含解多路復(fù)用器(DEMUX)26、視頻解碼器28和音頻解碼器30。解多路復(fù)用器26識(shí)別來自物理層數(shù)據(jù)單元的多路復(fù)用數(shù)據(jù)單元，并對(duì)多路復(fù)用層數(shù)據(jù)單元的內(nèi)容進(jìn)行解多路復(fù)用以產(chǎn)生視頻和音頻適應(yīng)層數(shù)據(jù)單元。適應(yīng)層數(shù)據(jù)單元在適應(yīng)層中經(jīng)處理以產(chǎn)生視頻數(shù)據(jù)幀。視頻解碼器28對(duì)應(yīng)用層處的視頻數(shù)據(jù)幀進(jìn)行解碼，以產(chǎn)生用于驅(qū)動(dòng)顯示裝置的視頻數(shù)據(jù)流。音頻解碼器30對(duì)音頻數(shù)據(jù)進(jìn)行解碼以產(chǎn)生音頻。
根據(jù)本揭示案，解多路復(fù)用器26檢測物理層數(shù)據(jù)單元之間的邊界并將邊界信息添加到由所述解多路復(fù)用器產(chǎn)生的位流。解多路復(fù)用器26產(chǎn)生適應(yīng)層數(shù)據(jù)單元，所述適應(yīng)層數(shù)據(jù)單元由適應(yīng)層處理以產(chǎn)生應(yīng)用層位流。當(dāng)視頻解碼器28遇到位流中的錯(cuò)誤時(shí)，其使用邊界信息來限制必須隱藏的視頻數(shù)據(jù)的量。明確地說，在此實(shí)例中，視頻解碼器28(例如)基于物理層數(shù)據(jù)單元的位置而使用邊界信息將錯(cuò)誤隔離到較小數(shù)據(jù)段。視頻解碼器28隱藏較小數(shù)據(jù)段，而不是錯(cuò)誤所駐留的整個(gè)片段或幀。
在操作中，解多路復(fù)用器26基于經(jīng)由信道16接收到的物理層數(shù)據(jù)單元來產(chǎn)生含有視頻和音頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元。解多路復(fù)用器26將一個(gè)或一個(gè)以上邊界標(biāo)記內(nèi)嵌在多路復(fù)用層數(shù)據(jù)單元中以指示物理層數(shù)據(jù)單元之間的邊界，并對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用以產(chǎn)生視頻數(shù)據(jù)幀。接著，當(dāng)檢測到解碼錯(cuò)誤時(shí)，視頻解碼器28使用邊界標(biāo)記將檢測到的解碼錯(cuò)誤與視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)。
在一個(gè)或一個(gè)以上邊界標(biāo)記的幫助下，視頻解碼器28接著隱藏所述視頻數(shù)據(jù)幀中發(fā)生錯(cuò)誤的所述段，而不是整個(gè)片段或幀。在一些實(shí)施例中，視頻解碼器28還可利用內(nèi)嵌在多路復(fù)用層數(shù)據(jù)單元中的再同步標(biāo)記。舉例來說，如果視頻數(shù)據(jù)幀包含再同步標(biāo)記，那么視頻解碼器28可經(jīng)配置以隱藏所述視頻數(shù)據(jù)幀中由邊界標(biāo)記識(shí)別的一段內(nèi)的宏塊(MB)和視頻數(shù)據(jù)幀中直到下一再同步標(biāo)記的MB。
圖2是說明視頻解碼器系統(tǒng)14的實(shí)施例的方框圖，所述視頻解碼器系統(tǒng)14利用邊界標(biāo)記來識(shí)別視頻數(shù)據(jù)幀中對(duì)應(yīng)于物理層數(shù)據(jù)單元的段。視頻解碼器系統(tǒng)14利用一個(gè)或一個(gè)以上視頻邊界標(biāo)記來限制在解碼錯(cuò)誤的情況下被隱藏的數(shù)據(jù)的量。在圖2的實(shí)例中，視頻解碼器系統(tǒng)14包含無線接收器33，以經(jīng)由無線信道接收視頻和音頻數(shù)據(jù)。無線接收器33可經(jīng)配置以根據(jù)多種無線傳輸技術(shù)中的任一者來接收射頻(RF)無線信號(hào)，所述多種無線傳輸技術(shù)例如碼分多址(CDMA)、寬帶CDMA(W-CDMA)或時(shí)分多址(TDMA)。
如圖2所示，解多路復(fù)用器(DEMUX)26包含解多路復(fù)用引擎36、無線電鏈接控制(RLC)邊界檢測器38和邊界代碼產(chǎn)生器40。解多路復(fù)用引擎36基于從無線接收器33接收到的物理層數(shù)據(jù)單元來產(chǎn)生含有視頻和音頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元。在一些實(shí)施例中，物理層數(shù)據(jù)單元可為W-CDMA無線電鏈接控制(RLC)包數(shù)據(jù)單元(PDU)，即RLC PDU?；蛘?，物理層數(shù)據(jù)單元可采取多種不同形式，例如CDMA2000 1x RLP(無線電鏈接協(xié)議)PDU、CDMA2000 1x EV-DO RLP PDU、CDMA2000EV-DV RLP PDU。解多路復(fù)用引擎36根據(jù)解多路復(fù)用協(xié)議(例如H.223)來產(chǎn)生多路復(fù)用層包數(shù)據(jù)單元(MUX PDU)。然而，本文描述的技術(shù)可應(yīng)用于其它視頻傳送協(xié)議，例如使用RTP/UDP/IP(實(shí)時(shí)傳送協(xié)議/用戶數(shù)據(jù)報(bào)協(xié)議/因特網(wǎng)協(xié)議)的基于SIP的和H.323視頻電話協(xié)議。
RLC邊界檢測器38檢測RLC PDU之間的邊界。邊界代碼產(chǎn)生器40為每一邊界產(chǎn)生代碼，并將所述代碼作為邊界標(biāo)記內(nèi)嵌在由解多路復(fù)用引擎36產(chǎn)生的多路復(fù)用層數(shù)據(jù)單元內(nèi)的適當(dāng)位置處。以此方式，解多路復(fù)用器26保存對(duì)于物理層數(shù)據(jù)單元之間的邊界的指示。當(dāng)解多路復(fù)用引擎36產(chǎn)生MUX PDU且適應(yīng)層模塊44產(chǎn)生視頻數(shù)據(jù)幀時(shí)，邊界標(biāo)記保持完好以供視頻解碼器引擎28用來將解碼錯(cuò)誤隔離到視頻數(shù)據(jù)幀的較小段。
對(duì)于使用W-CDMA的MPEG-4無線傳輸來說，RLC PDU是在傳輸期間經(jīng)受損失的最小單元。舉例來說，W-CDMA RLC-PDU每20ms為160字節(jié)長。在邊界標(biāo)記的幫助下，視頻解碼器28可將檢測到的解碼錯(cuò)誤與由解多路復(fù)用器26產(chǎn)生的視頻數(shù)據(jù)幀的較小段進(jìn)行關(guān)聯(lián)。當(dāng)檢測到解碼錯(cuò)誤時(shí)，視頻解碼器28隱藏所述視頻數(shù)據(jù)幀的較小段，而不是過多數(shù)目的MB或甚至在一些情況下整個(gè)視頻數(shù)據(jù)幀。
如圖2進(jìn)一步展示，適應(yīng)層模塊44將由解多路復(fù)用器引擎36產(chǎn)生的MUX PDU轉(zhuǎn)換成視頻數(shù)據(jù)幀以便由視頻解碼器28進(jìn)行處理。在此實(shí)例中，視頻解碼器28包含錯(cuò)誤檢測模塊46、邊界代碼檢測器48、解碼器引擎50和存儲(chǔ)器52。邊界代碼檢測器48掃描傳入的視頻幀位流以檢測邊界標(biāo)記，所述邊界標(biāo)記指示物理層處原始傳輸中RLC PDU之間的邊界。邊界代碼檢測器48從視頻幀位流中去除邊界標(biāo)記，并將邊界標(biāo)記的位置記錄在存儲(chǔ)器52中。當(dāng)錯(cuò)誤檢測模塊46檢測到解碼錯(cuò)誤時(shí)，解碼器引擎50利用所記錄的邊界標(biāo)記位置來依據(jù)物理層處原始傳輸中RLC PDU之間的邊界而確定錯(cuò)誤的位置。解碼器引擎50將位置記錄在存儲(chǔ)器52中，以使得可將被隱藏的MB段的大小(通常)限制為RLC PDU的大小。
因此，解碼器系統(tǒng)14提供獨(dú)特的傳送解碼器交叉層設(shè)計(jì)，其促進(jìn)高效視頻數(shù)據(jù)恢復(fù)。解碼器系統(tǒng)14限制在存在傳輸錯(cuò)誤的情況下必須丟棄的有用數(shù)據(jù)的量。根據(jù)此交叉層設(shè)計(jì)，傳送層將額外信息傳遞到視頻解碼器引擎50，以便恢復(fù)在信道損傷之前正確接收的那些數(shù)據(jù)。
如圖2進(jìn)一步展示，視頻解碼器50產(chǎn)生經(jīng)解碼的視頻位流并將其傳遞到視頻驅(qū)動(dòng)器51。視頻驅(qū)動(dòng)器51驅(qū)動(dòng)顯示裝置53以將視頻圖像呈現(xiàn)給用戶。視頻解碼器系統(tǒng)14可支持多種視頻應(yīng)用，包含串流視頻或視頻電話的傳遞。在每一情況下，解碼器系統(tǒng)14有效地限制有用數(shù)據(jù)的損失，且藉此增強(qiáng)效率和性能。
視頻解碼器系統(tǒng)14可能實(shí)施為在數(shù)字信號(hào)處理器(DSP)或其它處理裝置上運(yùn)行的解碼過程或編碼/解碼(CODEC)過程。視頻解碼器系統(tǒng)14可具有用于存儲(chǔ)指令和數(shù)據(jù)的專用存儲(chǔ)器52，以及專用硬件、軟件、固件或其組合。本文描述的技術(shù)的各方面可以硬件、軟件、固件或其任何組合來實(shí)施。如果以軟件實(shí)施，那么所述技術(shù)可作為指令而包含在例如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃存儲(chǔ)器或類似物的計(jì)算機(jī)可讀媒體上。所述指令可促使一個(gè)或一個(gè)以上處理器執(zhí)行本揭示案中描述的功能性的某些方面。
圖3是說明根據(jù)現(xiàn)有技術(shù)在檢測到錯(cuò)誤時(shí)隱藏視頻數(shù)據(jù)幀中的MB的圖。提供圖3是出于比較目的，以更好地說明本揭示案中描述的技術(shù)。如圖3所示，在典型的現(xiàn)有技術(shù)隱藏過程中，當(dāng)檢測到由于傳輸期間MB損失引起的錯(cuò)誤時(shí)，解碼器隱藏受破壞的片段的所有MB或整個(gè)幀。盡管此方法防止呈現(xiàn)受破壞的MB，但其也故意丟棄了正確接收的數(shù)據(jù)，所述正確接收的數(shù)據(jù)可在錯(cuò)誤位置之前的片段或幀的開始部分處含有幾十個(gè)MB。
圖3中的圖說明隱藏有用數(shù)據(jù)的通常低效率。圖3通過視頻數(shù)據(jù)幀內(nèi)從MB 0延伸到MB 98的序列號(hào)來識(shí)別個(gè)別MB。連續(xù)視頻數(shù)據(jù)幀以視頻對(duì)象平面(VOP)字段為邊界，所述VOP字段表示視頻數(shù)據(jù)字段的末端。在圖3的實(shí)例中，錯(cuò)誤實(shí)際上發(fā)生在MB41處，但視頻解碼器認(rèn)為MB 0到98“可能”受到破壞，并隱藏所有這些MB。這等效于丟棄MB 0到MB 40的數(shù)據(jù)。因此，錯(cuò)誤之后的MB被“丟失”，而錯(cuò)誤之前正確接收的MB被“浪費(fèi)”。顯然，MB 0到40不包含錯(cuò)誤，而是攜帶有用數(shù)據(jù)。然而，現(xiàn)有技術(shù)隱藏技術(shù)導(dǎo)致隱藏所有MB 0到98(即，整個(gè)視頻數(shù)據(jù)幀)。
圖4是說明根據(jù)另一現(xiàn)有技術(shù)在檢測到錯(cuò)誤時(shí)使用再同步標(biāo)記來隱藏視頻數(shù)據(jù)幀中的MB的圖。在圖4的實(shí)例中，再同步標(biāo)記(RM)內(nèi)嵌在數(shù)據(jù)幀中以支持錯(cuò)誤復(fù)原技術(shù)。RM的使用改進(jìn)了在存在錯(cuò)誤的情況下解碼過程的效率，但仍然導(dǎo)致MB被浪費(fèi)。在圖4的實(shí)例中，當(dāng)使用RM時(shí)，視頻解碼器僅可恢復(fù)MB 0到MB 20的數(shù)據(jù)，且仍然必須隱藏正確接收的MB 21到40，這導(dǎo)致?lián)p失20個(gè)MB。盡管在圖4的實(shí)例中錯(cuò)誤發(fā)生在MB41處，但此技術(shù)需要隱藏緊接在錯(cuò)誤之前的最后RM與緊接在錯(cuò)誤之后的第一RM之間的MB，如圖4所說明。因此，以此方式使用再同步標(biāo)記提供效率上的顯著改進(jìn)，但仍然導(dǎo)致大量MB被浪費(fèi)。
與圖3和4所描繪的技術(shù)形成對(duì)比，如本揭示案所描述，使用一個(gè)或一個(gè)以上邊界標(biāo)記支持恢復(fù)定位在錯(cuò)誤之前的正確解碼的MB，但仍足以防止呈現(xiàn)錯(cuò)誤解碼的MB。解多路復(fù)用層(例如，H.223)通過將一個(gè)或一個(gè)以上邊界標(biāo)記內(nèi)嵌在位流中(例如，作為特殊代碼字)而將視頻RLC邊界信息傳遞到解碼器。視頻解碼器28將代碼字解譯為邊界標(biāo)記，所述邊界標(biāo)記允許依據(jù)經(jīng)由信道16接收到的物理數(shù)據(jù)單元來識(shí)別數(shù)據(jù)損失的所有可能位置。利用數(shù)據(jù)損失的較準(zhǔn)確位置，視頻解碼器28可使用此信息來將錯(cuò)誤與視頻數(shù)據(jù)幀的較小段進(jìn)行關(guān)聯(lián)，并恢復(fù)正確接收的MB中的較多MB。
圖5是說明編碼器(例如圖1的編碼器12)內(nèi)現(xiàn)有技術(shù)多路復(fù)用和分包技術(shù)的圖。出于說明目的，將在H.223多路復(fù)用協(xié)議的情境中描述所述過程。在圖5的實(shí)例中，將視頻數(shù)據(jù)分包成H.223包并與音頻數(shù)據(jù)一起進(jìn)行多路復(fù)用。應(yīng)用層(APP)處的視頻位流首先被切割成一個(gè)或一個(gè)以上應(yīng)用層服務(wù)數(shù)據(jù)單元(AL-SDU)。一個(gè)AL-SDU可含有一個(gè)完整的幀或僅僅幀的一片段，這取決于視頻編碼器實(shí)施方案。每一AL-SDU接著傳遞到H.223適應(yīng)層(AL)，在AL處通過在前部添加可選序列號(hào)(SN)并在末端添加16位循環(huán)冗余代碼(CRC)來形成AL-PDU包。
將每一視頻AL-PDU發(fā)送到H.223多路復(fù)用層(ML)以便進(jìn)行分段(如果必要)，且通過插入成幀信息和MUX標(biāo)頭而與音頻(AU)AL-PDU一起多路復(fù)用到MUX-PDU中。視頻AL-PDU的最后MUX-PDU以額外成幀信息(ALT)結(jié)尾，以指示此視頻AL-PDU的終止。所有MUX-PDU均由物理層數(shù)據(jù)單元攜帶。在無線應(yīng)用中，物理層數(shù)據(jù)單元是無線電鏈接包，例如圖5所示的W-CDMA RLC PDU。
在解碼器(例如圖1的解碼器系統(tǒng)14)處，H.223解多路復(fù)用器接收RLC-PDU并通過搜索MUX成幀信息來定位每一MUX-PDU。解多路復(fù)用器根據(jù)MUX標(biāo)頭中的MUX表從MUX-PDU有效負(fù)載中提取視頻和音頻數(shù)據(jù)。一旦發(fā)現(xiàn)終止的成幀信息，解多路復(fù)用器便對(duì)從不同MUX-PDU提取的但屬于同一視頻AL-PDU的所有視頻數(shù)據(jù)進(jìn)行碎片整理，并將經(jīng)碎片整理的視頻數(shù)據(jù)傳遞到AL，以便使用CRC進(jìn)行完整性檢查。如果CRC成功，那么視頻解碼器接收整個(gè)AL-SDU。如果CRC失敗，那么視實(shí)施方案而定，可將受破壞的AL-SDU傳遞到視頻解碼器或?qū)⑵鋪G棄。
圖6A-6D說明用于在檢測到錯(cuò)誤時(shí)隱藏視頻數(shù)據(jù)幀中的宏塊的不同技術(shù)。明確地說，圖6A-6D展示結(jié)合不同隱藏技術(shù)的視頻數(shù)據(jù)幀。圖6A和6C描繪不采用邊界標(biāo)記的現(xiàn)有技術(shù)。圖6B和6D描繪使用邊界標(biāo)記，如本揭示案所描述。
圖6A描繪其中不采用錯(cuò)誤復(fù)原技術(shù)的現(xiàn)有技術(shù)的使用。根據(jù)圖6A的技術(shù)，當(dāng)在MB 41處檢測到錯(cuò)誤時(shí)，隱藏包含宏塊MB
的整個(gè)視頻數(shù)據(jù)幀。圖6B說明根據(jù)本揭示案使用邊界標(biāo)記54來將錯(cuò)誤與視頻數(shù)據(jù)幀的較小段進(jìn)行關(guān)聯(lián)。
在圖6B中，視頻數(shù)據(jù)幀包含邊界標(biāo)記54，其指示鄰近物理層數(shù)據(jù)單元(例如W-CDMA RLC PDU)的視頻部分之間的邊界。明確地說，邊界標(biāo)記54界定本文稱為“視頻RLC”單元的段。舉例來說，一個(gè)視頻RLC單元由邊界標(biāo)記54A、54B指示。視頻RLC單元通常對(duì)應(yīng)于RLC PDU，其為其中可發(fā)生損失的最小單元。在信道錯(cuò)誤的情況下，RLC PDU可用作向?qū)б苑乐闺[藏有用信息。
使用邊界標(biāo)記54允許將錯(cuò)誤與單個(gè)視頻RLC單元進(jìn)行關(guān)聯(lián)。在視頻解碼器引擎50檢測到錯(cuò)誤的情況下，可保存定位在發(fā)生錯(cuò)誤的視頻RLC單元之前的正確接收的MB。明確地說，此技術(shù)允許恢復(fù)定位在邊界標(biāo)記54A之前的正確接收的MB。
使用圖6B的技術(shù)保存正確接收的MB可導(dǎo)致相對(duì)于圖6A的技術(shù)來說，效率增加且性能改進(jìn)。在圖6B的實(shí)例中，如果在MB 41處檢測到錯(cuò)誤，那么隱藏直到視頻數(shù)據(jù)幀末端的MB[41，98]。然而，不需要隱藏在MB 41之前發(fā)生的MB
。邊界標(biāo)記54A用于指示其中檢測到錯(cuò)誤的視頻RLC單元的開始。因此，視頻解碼器引擎50依賴于邊界標(biāo)記54A來確定隱藏哪些MB。
圖6C描繪使用采用再同步標(biāo)記(RM)的錯(cuò)誤復(fù)原技術(shù)。在圖6C中，當(dāng)在MB 41處檢測到錯(cuò)誤時(shí)，僅隱藏前面的RM與隨后的RM之間的MB[21，72]，藉此保存MB
和MB[73，98]。圖6D說明使用邊界標(biāo)記54與RM 56組合來進(jìn)行錯(cuò)誤復(fù)原。在圖6D的實(shí)例中，當(dāng)在MB 41處發(fā)生錯(cuò)誤時(shí)，從視頻RLC單元的開始部分到下一發(fā)生的RM 56B隱藏MB[41，72]。
圖6D的邊界標(biāo)記技術(shù)提供了優(yōu)于圖6C所示的基本錯(cuò)誤復(fù)原技術(shù)的改進(jìn)。明確地說，前面的RM 56A與指示其中檢測到錯(cuò)誤的視頻RLC單元的開始的邊界標(biāo)記54A之間的MB被保留，從而提供優(yōu)于RM的常規(guī)使用的優(yōu)點(diǎn)。然而，同時(shí)，后面的RM 56B與幀末端之間的MB被保留。因此，根據(jù)圖6D的技術(shù)將邊界標(biāo)記54與RM 56組合使用相對(duì)于圖6C的技術(shù)來說導(dǎo)致更高的效率。
可能使用多種不同技術(shù)來提供邊界標(biāo)記54。作為一個(gè)實(shí)例，解多路復(fù)用引擎36可將每一RLC邊界的存儲(chǔ)器地址存儲(chǔ)在存儲(chǔ)器52中。然而，當(dāng)將存儲(chǔ)器內(nèi)容復(fù)制到由視頻解碼器28使用的解碼緩沖器時(shí)，所存儲(chǔ)的信息可能會(huì)丟失。另外，可能難以將所記錄的存儲(chǔ)器地址轉(zhuǎn)換為解碼緩沖器中的地址。因此，作為替代方法，另一方法是將邊界標(biāo)記內(nèi)嵌在視頻數(shù)據(jù)幀中，如本文所描述。明確地說，根據(jù)此方法，解多路復(fù)用器26檢測物理層數(shù)據(jù)單元的邊界，并內(nèi)嵌邊界標(biāo)記，所述邊界標(biāo)記接著被傳遞經(jīng)過多路復(fù)用和適應(yīng)層而到達(dá)應(yīng)用層以供由視頻解碼器引擎使用。
圖7是說明根據(jù)本揭示案的涉及將邊界標(biāo)記內(nèi)嵌在視頻數(shù)據(jù)幀中的解多路復(fù)用和解分包技術(shù)的圖。圖8是說明當(dāng)物理數(shù)據(jù)單元(例如RLC-PDU)丟失時(shí)圖7的技術(shù)的圖。圖7和8所示的功能可由如參看圖2描述的視頻解碼器系統(tǒng)14執(zhí)行。如圖7所示，解多路復(fù)用引擎26接收物理層處的RLC PDU，并將其轉(zhuǎn)換成多路復(fù)用層(ML)處的MUXPDU。舉例來說，在圖2的解碼器實(shí)施方案中，視頻RLC邊界檢測器38檢測RLC PDU之間的邊界，且邊界代碼產(chǎn)生器40將邊界標(biāo)記54內(nèi)嵌在MUX PDU中。
解多路復(fù)用引擎36產(chǎn)生適應(yīng)層(AL)PDU，所述AL PDU接著被轉(zhuǎn)換成AL SDU。以此方式，視頻數(shù)據(jù)被串行化為視頻數(shù)據(jù)幀，以便在應(yīng)用層(APP)處視頻解碼之后進(jìn)行位流預(yù)處理。在多路復(fù)用器和適應(yīng)層處，表示RLC邊界的邊界標(biāo)記54保持完好以便隨后由視頻解碼器引擎50參考。實(shí)際上，多路復(fù)用層跟蹤從物理層拾取的每一RLC-PDU，并在RLC-PDU被連接時(shí)插入特殊代碼字(即，邊界標(biāo)記)。如果RLC-PDU丟失(如圖8所示)，那么視頻解碼器仍然能夠通過追溯到最近邊界所處的MB來恢復(fù)正確接收的數(shù)據(jù)，而不是丟棄受破壞的片段或幀的數(shù)據(jù)。以此方式，視頻解碼器引擎50可使用邊界標(biāo)記54來將檢測到的錯(cuò)誤與視頻數(shù)據(jù)幀內(nèi)較小段(符合原始物理層數(shù)據(jù)單元)進(jìn)行關(guān)聯(lián)，并藉此避免過多且不必要地隱藏視頻數(shù)據(jù)幀中的MB。當(dāng)RLC-PDU完全受到破壞或丟失時(shí)，視頻解碼器引擎50可檢測到錯(cuò)誤。
當(dāng)MUX層拾取RLC-PDU時(shí)，可將邊界標(biāo)記作為特殊代碼字進(jìn)行內(nèi)嵌。再次，可將此邊界信息作為邊界標(biāo)記一直傳遞到達(dá)應(yīng)用層以供由視頻解碼器28(圖2)使用。參看圖2，邊界代碼檢測器48執(zhí)行位流預(yù)篩選處理，以尋找這些充當(dāng)特殊代碼字的邊界標(biāo)記。邊界代碼檢測器48將邊界標(biāo)記的位置記錄在存儲(chǔ)器52中，并在由解碼器引擎50解碼之前從位流中去除邊界標(biāo)記。在解碼期間，一旦跨越RLC邊界，解碼器引擎50便可參考存儲(chǔ)在存儲(chǔ)器52中的位置來記錄哪一MB正被解碼。一旦錯(cuò)誤檢測模塊46檢測到錯(cuò)誤，解碼器引擎50便將隱藏從其已記錄的MB延伸到幀末端或延伸到下一再同步標(biāo)記(RM)代碼字(在也采用錯(cuò)誤復(fù)原技術(shù)與RLC邊界標(biāo)記組合的情況下)的MB。用作邊界標(biāo)記的特定特殊代碼字的特征可服從不同的實(shí)施方案。然而，所述代碼字應(yīng)能容易區(qū)別于由任何視頻壓縮標(biāo)準(zhǔn)產(chǎn)生的位流(例如MPEG-4和H.263位流)中使用的現(xiàn)有位型式。在一些情況下，所述特殊代碼字可使用MPEG-4和H.263標(biāo)準(zhǔn)中界定的保存的開始代碼來實(shí)施。
圖9是說明根據(jù)本揭示案的替代性解多路復(fù)用和解分包技術(shù)的圖，所述技術(shù)使用邊界標(biāo)記來識(shí)別視頻數(shù)據(jù)幀內(nèi)丟失的物理數(shù)據(jù)單元。在圖9的實(shí)例中，解多路復(fù)用器26內(nèi)嵌RLC邊界標(biāo)記55以指示物理層處丟失的RLC-PDU 57。在此情況下，物理層經(jīng)配置以向多路復(fù)用層指示哪一RLC-PDU被丟失。因此，當(dāng)RLC-PDU已丟失時(shí)，解多路復(fù)用器26向視頻解碼器28提供事前警告。此方法與為所有RLC-PDU提供邊界標(biāo)記且使視頻解碼器引擎50在解碼期間解決錯(cuò)誤或丟失的RLC-PDU形成對(duì)比。如果物理層經(jīng)配置以識(shí)別丟失的RLC-PDU來提供此信息，那么解多路復(fù)用器26將標(biāo)記作為特殊代碼字內(nèi)嵌在發(fā)生丟失的RLC-PDU的MUX-PDU內(nèi)。視頻解碼器引擎50接著在存儲(chǔ)器52內(nèi)尋找此特殊代碼字以定位丟失的視頻RLC邊界，并隱藏從所述點(diǎn)到幀末端或到下一RM(如果采用錯(cuò)誤復(fù)原技術(shù))的宏塊。以此方式，直到丟失的RLC-PDU那點(diǎn)的正確接收的MB可被恢復(fù)并保留，而不是被隱藏和浪費(fèi)。
圖10A-10D是說明各種解多路復(fù)用和解分包技術(shù)的圖，所述技術(shù)包含圖10D中使用再同步標(biāo)記(RM)、標(biāo)頭擴(kuò)展代碼(HEC)和邊界標(biāo)記的技術(shù)。為了便于說明，圖10A-10D中每一圖包含垂線以指示界定視頻RLC單元的邊界標(biāo)記的位置，盡管僅圖10D實(shí)際上說明使用視頻RLC邊界標(biāo)記。在圖10A的實(shí)例中，不使用任何錯(cuò)誤復(fù)原工具。因此，當(dāng)在第一視頻數(shù)據(jù)幀末端和第二視頻數(shù)據(jù)幀開始處檢測到錯(cuò)誤時(shí)，整個(gè)第二幀的MB
丟失，而必須隱藏大體上整個(gè)第一視頻數(shù)據(jù)幀直到錯(cuò)誤那點(diǎn)的MB
。因此，圖10A描繪的情形可能導(dǎo)致對(duì)視頻解碼性能產(chǎn)生嚴(yán)重不良影響。
在圖10B的實(shí)例中，根據(jù)現(xiàn)有技術(shù)錯(cuò)誤復(fù)原技術(shù)將RM內(nèi)嵌在視頻數(shù)據(jù)幀中。如圖10B所示，當(dāng)(如圖10A中)在第一視頻數(shù)據(jù)幀末端和第二視頻數(shù)據(jù)幀開始處檢測到錯(cuò)誤時(shí)，RM允許顯著減少第一視頻數(shù)據(jù)幀中被隱藏的MB的數(shù)目。盡管整個(gè)第二視頻數(shù)據(jù)幀中的MB
丟失，且從錯(cuò)誤延伸到第一視頻數(shù)據(jù)幀末端的MB被隱藏，但第一視頻數(shù)據(jù)幀中直到緊接在錯(cuò)誤之前的RM[55，98]點(diǎn)的MB被恢復(fù)，而不是被隱藏。因此，使用錯(cuò)誤復(fù)原技術(shù)可提供相當(dāng)大的性能改進(jìn)。
在圖10C的實(shí)例中，將RM和HEC位內(nèi)嵌在視頻數(shù)據(jù)幀中。在此情形下，可恢復(fù)直到緊接在錯(cuò)誤之前的RM那點(diǎn)的MB。緊接在錯(cuò)誤之前的RM與第一視頻數(shù)據(jù)幀末端之間的MB[55，98]被隱藏。在這些方面，圖10C的情形大體上與圖10B的情形一致。然而，HEC位的存在防止丟失整個(gè)第二視頻數(shù)據(jù)幀。事實(shí)上，如圖10C所示，第二視頻數(shù)據(jù)幀開始處的MB
，而第二視頻數(shù)據(jù)幀中第一HEC字段之后的MB被恢復(fù)。明確地說，在第二視頻數(shù)據(jù)幀中HEC字段開始處，創(chuàng)建新的幀。需要隱藏所述新的幀中的MB
，但可對(duì)MB[45，98]進(jìn)行解碼。
在圖10D的實(shí)例中，解碼器系統(tǒng)14采用先進(jìn)的錯(cuò)誤復(fù)原工具(例如RM和HEC字段)與根據(jù)本揭示案的視頻RLC邊界標(biāo)記組合來進(jìn)一步減少數(shù)據(jù)損失的影響和被丟棄和隱藏的MB的數(shù)目。圖10D大體上與圖10C一致。然而，邊界標(biāo)記的存在允許恢復(fù)在錯(cuò)誤檢測點(diǎn)之前的額外MB。明確地說，如圖10D中所示，恢復(fù)直到其中發(fā)生錯(cuò)誤的段的開始處的邊界標(biāo)記點(diǎn)的MB，以使得第一視頻數(shù)據(jù)字段中僅必須隱藏MB[70，98]。
圖10D的視頻數(shù)據(jù)幀中邊界標(biāo)記的存在允許將錯(cuò)誤與視頻數(shù)據(jù)字段的較小段進(jìn)行關(guān)聯(lián)。所述錯(cuò)誤段顯著小于RM之間的范圍，且實(shí)際上對(duì)應(yīng)于物理層數(shù)據(jù)單元，所述物理層數(shù)據(jù)單元是傳輸期間可發(fā)生損失的最小單元。如從圖10D中了解，與單獨(dú)使用RM和HEC字段相比，添加邊界標(biāo)記在MB恢復(fù)中導(dǎo)致顯著節(jié)省。
圖11是說明根據(jù)本揭示案的視頻解碼技術(shù)的流程圖。如圖10所示，所述技術(shù)涉及接收含有視頻和音頻信息的物理層數(shù)據(jù)單元(58)，和檢測鄰近物理層數(shù)據(jù)單元之間的邊界(60)。在實(shí)例性無線應(yīng)用中，物理層數(shù)據(jù)單元可為W-CDMA RLC-PDU。當(dāng)產(chǎn)生多路復(fù)用層數(shù)據(jù)單元時(shí)(62)，所述技術(shù)進(jìn)一步涉及將一個(gè)或一個(gè)以上邊界標(biāo)記內(nèi)嵌在多路復(fù)用層數(shù)據(jù)單元中以識(shí)別物理數(shù)據(jù)單元邊界(64)。
在產(chǎn)生視頻數(shù)據(jù)幀時(shí)(66)，視頻解碼器對(duì)視頻數(shù)據(jù)幀進(jìn)行解碼(68)并使用內(nèi)嵌的邊界標(biāo)記將任何錯(cuò)誤與視頻數(shù)據(jù)幀的較小段進(jìn)行關(guān)聯(lián)(70)。以此方式，可恢復(fù)(72)而不是隱藏定位在檢測到錯(cuò)誤的段之前(即，在表示錯(cuò)誤段的開始的邊界標(biāo)記之前)的MB。另外，如果使用再同步標(biāo)記(RM)，那么可恢復(fù)在錯(cuò)誤段末端之后發(fā)生的下一RM之后直至可應(yīng)用幀末端的MB。錯(cuò)誤段之后的下一RM可通過參考表示檢測到錯(cuò)誤的段的末端的邊界標(biāo)記來識(shí)別。
已描述了各種實(shí)施例。這些和其它實(shí)施例均在所附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1.一種視頻解碼方法，其包括基于物理層數(shù)據(jù)單元而產(chǎn)生含有視頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元；將邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元之間的邊界；對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用以產(chǎn)生視頻數(shù)據(jù)幀；和使用所述邊界標(biāo)記將檢測到的解碼錯(cuò)誤與所述視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1所述的方法，其中所述邊界標(biāo)記識(shí)別丟失的物理層數(shù)據(jù)單元的開始。
3.根據(jù)權(quán)利要求1所述的方法，其中內(nèi)嵌邊界標(biāo)記包含內(nèi)嵌多個(gè)所述邊界標(biāo)記以識(shí)別多個(gè)所述物理層數(shù)據(jù)單元之間的邊界。
4.根據(jù)權(quán)利要求1所述的方法，其中所述視頻數(shù)據(jù)幀包含視頻數(shù)據(jù)宏塊，所述方法進(jìn)一步包括隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊。
5.根據(jù)權(quán)利要求1所述的方法，其中所述視頻數(shù)據(jù)幀包含再同步標(biāo)記，所述方法進(jìn)一步包括隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊和直到所述視頻數(shù)據(jù)幀中所述檢測到的解碼錯(cuò)誤之后的所述再同步標(biāo)記的下一者的宏塊。
6.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用以產(chǎn)生適應(yīng)層數(shù)據(jù)單元，和基于所述適應(yīng)層數(shù)據(jù)單元產(chǎn)生所述視頻數(shù)據(jù)幀。
7.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括經(jīng)由無線通信接收所述物理層數(shù)據(jù)單元。
8.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括根據(jù)ITU H.223多路復(fù)用/解多路復(fù)用協(xié)議對(duì)所述多路復(fù)用層單元進(jìn)行解多路復(fù)用。
9.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括根據(jù)RTP/UDP/IP多路復(fù)用/解多路復(fù)用協(xié)議對(duì)所述多路復(fù)用層單元進(jìn)行解多路復(fù)用。
10.根據(jù)權(quán)利要求1所述的方法，其中所述視頻數(shù)據(jù)幀包含符合MPEG-4標(biāo)準(zhǔn)的視頻數(shù)據(jù)宏塊。
11.根據(jù)權(quán)利要求1所述的方法，其中所述視頻數(shù)據(jù)幀包含符合ITU H.263、ITU H.264和MPEG-2協(xié)議中的一者的視頻數(shù)據(jù)宏塊。
12.根據(jù)權(quán)利要求1所述的方法，其中所述物理層數(shù)據(jù)單元包含W-CDMA無線電鏈接控制包數(shù)據(jù)單元(RLC PDU)。
13.根據(jù)權(quán)利要求12所述的方法，其中所述多路復(fù)用層數(shù)據(jù)單元符合所述H.223多路復(fù)用/解多路復(fù)用協(xié)議。
14.根據(jù)權(quán)利要求1所述的方法，其中所述物理層數(shù)據(jù)單元包含CDMA2000 1x無線電鏈接協(xié)議包數(shù)據(jù)單元(RLP PDU)、CDMA2000 1x EV-DO RLP PDU或CDMA2000EV-DV RLP PDU。
15.根據(jù)權(quán)利要求1所述的方法，其中所述多路復(fù)用層數(shù)據(jù)單元符合所述RTP/UDP/IP多路復(fù)用/解多路復(fù)用協(xié)議。
16.根據(jù)權(quán)利要求1所述的方法，其中所述物理層數(shù)據(jù)單元包含音頻和視頻數(shù)據(jù)，且內(nèi)嵌邊界標(biāo)記包含將邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元中的視頻信息之間的邊界。
17.一種視頻解碼系統(tǒng)，其包括解多路復(fù)用引擎，用以基于物理層數(shù)據(jù)單元產(chǎn)生含有視頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元，并對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用；邊界產(chǎn)生器，用以將邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元之間的邊界；和視頻解碼引擎，用以對(duì)含有所述視頻數(shù)據(jù)的視頻數(shù)據(jù)幀進(jìn)行解碼，并使用所述邊界標(biāo)記將檢測到的解碼錯(cuò)誤與所述視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述邊界標(biāo)記識(shí)別丟失的物理層數(shù)據(jù)單元的開始。
19.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述邊界產(chǎn)生器內(nèi)嵌多個(gè)所述邊界標(biāo)記以識(shí)別多個(gè)所述物理層數(shù)據(jù)單元之間的邊界。
20.根據(jù)權(quán)利要求17所述的系統(tǒng)，其進(jìn)一步包括邊界檢測器，以檢測所述物理層數(shù)據(jù)單元之間的邊界。
21.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻數(shù)據(jù)幀包含視頻數(shù)據(jù)宏塊，且所述解碼引擎隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊。
22.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻數(shù)據(jù)幀包含再同步標(biāo)記，且所述解碼引擎隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊和直到所述視頻數(shù)據(jù)幀中所述檢測到的解碼錯(cuò)誤之后的所述再同步標(biāo)記中的下一者的宏塊。
23.根據(jù)權(quán)利要求17所述的系統(tǒng)，其進(jìn)一步包括適應(yīng)層模塊，以基于所述經(jīng)解多路復(fù)用的多路復(fù)用層數(shù)據(jù)單元來產(chǎn)生適應(yīng)層數(shù)據(jù)單元，并基于所述適應(yīng)層數(shù)據(jù)單元來產(chǎn)生所述視頻數(shù)據(jù)幀。
24.根據(jù)權(quán)利要求17所述的系統(tǒng)，其進(jìn)一步包括無線接收器，以經(jīng)由無線通信接收所述物理層數(shù)據(jù)單元。
25.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述解多路復(fù)用引擎根據(jù)ITU H.223多路復(fù)用/解多路復(fù)用協(xié)議對(duì)所述多路復(fù)用層單元進(jìn)行解多路復(fù)用。
26.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述解多路復(fù)用引擎根據(jù)RTP/UDP/IP多路復(fù)用/解多路復(fù)用協(xié)議對(duì)所述多路復(fù)用層單元進(jìn)行解多路復(fù)用。
27.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻數(shù)據(jù)幀包含符合MPEG-4標(biāo)準(zhǔn)的視頻數(shù)據(jù)宏塊。
28.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻數(shù)據(jù)幀包含符合ITU H.263、ITU H.264和MPEG-2協(xié)議中的一者的視頻數(shù)據(jù)宏塊。
29.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述物理層數(shù)據(jù)單元包含W-CDMA無線電鏈接控制包數(shù)據(jù)單元(RLC PDU)。
30.根據(jù)權(quán)利要求29所述的系統(tǒng)，其中所述多路復(fù)用層數(shù)據(jù)單元符合所述H.223多路復(fù)用/解多路復(fù)用協(xié)議。
31.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述物理層數(shù)據(jù)單元包含CDMA2000 1x無線電鏈接協(xié)議包數(shù)據(jù)單元(RLP PDU)、CDMA2000 1x EV-DO RLP PDU或CDMA2000EV-DV RLP PDU。
32.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述多路復(fù)用層數(shù)據(jù)單元符合所述RTP/UDP/IP多路復(fù)用/解多路復(fù)用協(xié)議。
33.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述物理層數(shù)據(jù)單元包含音頻和視頻數(shù)據(jù)，且所述邊界產(chǎn)生器將所述邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元中的視頻信息之間的邊界。
34.一種視頻解多路復(fù)用器，其包括解多路復(fù)用引擎，用以基于物理層數(shù)據(jù)單元而產(chǎn)生含有視頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元，并對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用；和邊界產(chǎn)生器，用以將邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元之間的邊界，以允許視頻解碼器使用所述邊界標(biāo)記將檢測到的解碼錯(cuò)誤與視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)。
35.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述邊界標(biāo)記識(shí)別丟失的物理層數(shù)據(jù)單元的開始。
36.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述邊界產(chǎn)生器內(nèi)嵌多個(gè)所述邊界標(biāo)記以識(shí)別多個(gè)所述物理層數(shù)據(jù)單元之間的邊界。
37.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其進(jìn)一步包括邊界檢測器，以檢測所述物理層數(shù)據(jù)單元之間的邊界。
38.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述視頻數(shù)據(jù)幀包含視頻數(shù)據(jù)宏塊，且所述解碼引擎隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊。
39.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述解多路復(fù)用引擎根據(jù)H.223多路復(fù)用/解多路復(fù)用協(xié)議對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用。
40.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述解多路復(fù)用引擎根據(jù)RTP/UDP/IP多路復(fù)用/解多路復(fù)用協(xié)議對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用。
41.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述視頻數(shù)據(jù)幀包含符合MPEG-4標(biāo)準(zhǔn)的視頻數(shù)據(jù)宏塊。
42.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述視頻數(shù)據(jù)幀包含符合ITU H.263、ITU H.264和MPEG-2協(xié)議中的一者的視頻數(shù)據(jù)宏塊。
43.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述物理層數(shù)據(jù)單元包含W-CDMA無線電鏈接控制包數(shù)據(jù)單元(RLC PDU)。
44.根據(jù)權(quán)利要求43所述的解多路復(fù)用器，其中所述多路復(fù)用層數(shù)據(jù)單元符合所述H.223多路復(fù)用/解多路復(fù)用協(xié)議。
45.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述物理層數(shù)據(jù)單元包含CDMA20001x無線電鏈接協(xié)議包數(shù)據(jù)單元(RLP PDU)、CDMA2000 1x EV-DO RLP PDU或CDMA2000EV-DV RLP PDU。
46.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述多路復(fù)用層數(shù)據(jù)單元符合所述RTP/UDP/IP多路復(fù)用/解多路復(fù)用協(xié)議。
47.根據(jù)權(quán)利要求34所述的解多路復(fù)用器，其中所述物理層數(shù)據(jù)單元包含音頻和視頻數(shù)據(jù)，且所述邊界產(chǎn)生器將所述邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元中的視頻信息之間的邊界。
48.一種無線通信裝置，其包括無線接收器，用以經(jīng)由無線通信接收物理層數(shù)據(jù)單元，所述物理層數(shù)據(jù)單元含有視頻數(shù)據(jù)；解多路復(fù)用引擎，用以基于所述物理層數(shù)據(jù)單元而產(chǎn)生多路復(fù)用層數(shù)據(jù)單元，并對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用；邊界產(chǎn)生器，用以將邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元之間的邊界；和視頻解碼引擎，用以對(duì)含有所述視頻數(shù)據(jù)的視頻數(shù)據(jù)幀進(jìn)行解碼，并使用所述邊界標(biāo)記將檢測到的解碼錯(cuò)誤與所述視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)。
49.根據(jù)權(quán)利要求48所述的裝置，其中所述邊界標(biāo)記識(shí)別丟失的物理層數(shù)據(jù)單元的開始。
50.根據(jù)權(quán)利要求48所述的裝置，其中所述邊界產(chǎn)生器內(nèi)嵌多個(gè)所述邊界標(biāo)記以識(shí)別多個(gè)所述物理層數(shù)據(jù)單元之間的邊界。
51.一種視頻解碼系統(tǒng)，其包括用于基于物理層數(shù)據(jù)單元產(chǎn)生含有視頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元的構(gòu)件；用于將邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元之間的邊界的構(gòu)件；用于對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用以產(chǎn)生視頻數(shù)據(jù)幀的構(gòu)件；和用于使用所述邊界標(biāo)記將檢測到的解碼錯(cuò)誤與所述視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)的構(gòu)件。
52.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中所述邊界標(biāo)記識(shí)別丟失的物理層數(shù)據(jù)單元的開始。
53.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中所述內(nèi)嵌構(gòu)件包含用于內(nèi)嵌多個(gè)所述邊界標(biāo)記以識(shí)別多個(gè)所述物理層數(shù)據(jù)單元之間的邊界的構(gòu)件。
54.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中所述視頻數(shù)據(jù)幀包含視頻數(shù)據(jù)宏塊，所述系統(tǒng)進(jìn)一步包括用于隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊的構(gòu)件。
55.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中所述視頻數(shù)據(jù)幀包含再同步標(biāo)記，所述系統(tǒng)進(jìn)一步包括用于隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊和直到所述視頻數(shù)據(jù)幀中所述檢測到的解碼錯(cuò)誤之后的所述再同步標(biāo)記中的下一者的宏塊的構(gòu)件。
56.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中所述解多路復(fù)用構(gòu)件根據(jù)ITU H.223或RTP/UDP/IP多路復(fù)用/解多路復(fù)用協(xié)議對(duì)所述多路復(fù)用層單元進(jìn)行解多路復(fù)用。
57.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中所述視頻數(shù)據(jù)幀包含符合MPEG-4、ITU H.263、ITU H.264或MPEG-2協(xié)議的視頻數(shù)據(jù)宏塊。
58.根據(jù)權(quán)利要求51所述的系統(tǒng)，其中所述物理層數(shù)據(jù)單元包含W-CDMA無線電鏈接控制包數(shù)據(jù)單元(RLC PDU)、CDMA2000 1x無線電鏈接協(xié)議包數(shù)據(jù)單元(RLPPDU)、CDMA2000 1x EV-DO RLP PDU或CDMA2000EV-DV RLP PDU。
59.一種計(jì)算機(jī)可讀媒體，其包括用以促使一個(gè)或一個(gè)以上處理器執(zhí)行以下動(dòng)作的指令基于物理層數(shù)據(jù)單元產(chǎn)生含有視頻數(shù)據(jù)的多路復(fù)用層數(shù)據(jù)單元；將邊界標(biāo)記內(nèi)嵌在所述多路復(fù)用層數(shù)據(jù)單元中以指示所述物理層數(shù)據(jù)單元之間的邊界；對(duì)所述多路復(fù)用層數(shù)據(jù)單元進(jìn)行解多路復(fù)用以產(chǎn)生視頻數(shù)據(jù)幀；和使用所述邊界標(biāo)記將檢測到的解碼錯(cuò)誤與所述視頻數(shù)據(jù)幀的一段進(jìn)行關(guān)聯(lián)。
60.根據(jù)權(quán)利要求59所述的計(jì)算機(jī)可讀媒體，其中所述邊界標(biāo)記識(shí)別丟失的物理層數(shù)據(jù)單元的開始。
61.根據(jù)權(quán)利要求59所述的計(jì)算機(jī)可讀媒體，其進(jìn)一步包括用以促使所述處理器內(nèi)嵌多個(gè)所述邊界標(biāo)記以識(shí)別多個(gè)所述物理層數(shù)據(jù)單元之間的邊界的指令。
62.根據(jù)權(quán)利要求59所述的計(jì)算機(jī)可讀媒體，其中所述視頻數(shù)據(jù)幀包含視頻數(shù)據(jù)宏塊，所述計(jì)算機(jī)可讀媒體進(jìn)一步包括用以促使所述處理器隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊的指令。
63.根據(jù)權(quán)利要求59所述的計(jì)算機(jī)可讀媒體，其中所述視頻數(shù)據(jù)幀包含再同步標(biāo)記，所述計(jì)算機(jī)可讀媒體進(jìn)一步包括用以促使所述處理器隱藏所述視頻數(shù)據(jù)幀的所述段內(nèi)的宏塊和直到所述視頻數(shù)據(jù)幀中所述檢測到的解碼錯(cuò)誤之后的所述再同步標(biāo)記中的下一者的宏塊的指令。
64.根據(jù)權(quán)利要求59所述的計(jì)算機(jī)可讀媒體，其中所述指令促使所述處理器根據(jù)ITUH.223或RTP/UDP/IP多路復(fù)用/解多路復(fù)用協(xié)議對(duì)所述多路復(fù)用層單元進(jìn)行解多路復(fù)用。
65.根據(jù)權(quán)利要求59所述的計(jì)算機(jī)可讀媒體，其中所述視頻數(shù)據(jù)幀包含符合MPEG-4、ITU H.263、ITU H.264或MPEG-2協(xié)議的視頻數(shù)據(jù)宏塊。
66.根據(jù)權(quán)利要求59所述的計(jì)算機(jī)可讀媒體，其中所述物理層數(shù)據(jù)單元包含W-CDMA無線電鏈接控制包數(shù)據(jù)單元(RLC PDU)、CDMA2000 1x無線電鏈接協(xié)議包數(shù)據(jù)單元(RLP PDU)、CDMA2000 1x EV-DO RLP PDU或CDMA2000EV-DV RLP PDU。
全文摘要
本發(fā)明提供一種視頻解多路復(fù)用器和視頻解碼器，其包含用于在信道錯(cuò)誤的情況下進(jìn)行高效視頻數(shù)據(jù)恢復(fù)的功能件。所述解多路復(fù)用器檢測物理層數(shù)據(jù)單元之間的邊界并將邊界信息添加到由所述解多路復(fù)用器產(chǎn)生的位流。所述解多路復(fù)用器產(chǎn)生適應(yīng)層數(shù)據(jù)單元，所述適應(yīng)層數(shù)據(jù)單元由所述適應(yīng)層處理以產(chǎn)生應(yīng)用層位流。當(dāng)所述視頻解碼器遇到所述位流中的錯(cuò)誤時(shí)，其使用所述邊界信息來限制必須隱藏的數(shù)據(jù)的量。明確地說，所述邊界信息允許將所述錯(cuò)誤與小數(shù)據(jù)段進(jìn)行關(guān)聯(lián)。所述視頻解碼器隱藏來自所述數(shù)據(jù)段的開始部分的數(shù)據(jù)，而不是所述段所駐留的整個(gè)片段或幀。以此方式，所述視頻解碼器提供高效數(shù)據(jù)恢復(fù)，從而限制了本來會(huì)出于隱藏目的而故意丟棄的有用數(shù)據(jù)的損失。
文檔編號(hào)H04N7/24GK101057501SQ200580038607
公開日2007年10月17日 申請(qǐng)日期2005年9月22日 優(yōu)先權(quán)日2004年9月22日
發(fā)明者李彥輯, 蔡明章, 葉燕, 凌凡, 哈立德·希勒米·厄勒-馬列 申請(qǐng)人:高通股份有限公司