專利名稱：圖像幀的掩蓋方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像幀處理中的整幀掩蓋技術(shù)，尤其涉及一種圖像幀的掩蓋方 法與裝置。
背景技術(shù)：
現(xiàn)在廣泛應(yīng)用的圖像視頻壓縮標(biāo)準(zhǔn)非常有效地壓縮了圖像數(shù)據(jù)，節(jié)約了圖 像的傳輸帶寬。壓縮數(shù)據(jù)在實(shí)際信道中傳輸時不可避免地會遇到各種噪聲和干 擾，常常出現(xiàn)傳輸誤碼。為了消除和減小傳輸誤碼對重建圖像質(zhì)量的影響，往 往可以采取多種技術(shù)手段來進(jìn)行誤碼消除，如前向糾錯編碼、誤碼控制編碼、 遇錯重傳、誤碼掩蓋等等。其中，基于圖像后處理技術(shù)的誤碼掩蓋是一種只利 用解碼端信息進(jìn)行錯誤掩蓋的技術(shù)。當(dāng)解碼器發(fā)現(xiàn)誤碼時，它利用圖像序列中
殘存的各種空間的、時間的冗余特性盡可能"恢復(fù)"原圖像，改善觀察者的主 觀視覺效果。由于這種技術(shù)和編碼端無關(guān)，不占用額外的傳輸帶寬，可以和編 碼標(biāo)準(zhǔn)無關(guān)，因而它在實(shí)際中有很大的應(yīng)用，尤其是應(yīng)用在傳輸觀賞圖像的情 況下。
傳統(tǒng)誤碼掩蓋方法可在空域、時域和頻域而實(shí)現(xiàn)，其中，時域誤碼掩蓋主
要利用可靠相鄰塊的運(yùn)動矢量(MV， Motion Vector)在前一幀利用塊匹配或邊 界匹配準(zhǔn)則確定丟失塊的MV;空域誤碼掩蓋主要利用受損塊周圍有效信息來 恢復(fù)當(dāng)前塊；頻域誤碼掩蓋主要利用周圍有效宏塊的離散余弦變換(DCT, Discrete Cosine Transform)系數(shù)估計受損塊的DCT系數(shù)。在出現(xiàn)大面積損壞或 整幅圖像丟失時，周圍可用的有效信息較少甚至根本沒有，如果只采用簡單的 替代掩蓋方法，將會導(dǎo)致誤碼擴(kuò)散、延遲。特別是整幀丟失時，上述傳統(tǒng)掩蓋 方法不再適合于整幀的掩蓋。針對整幀丟失的情況，目前的掩蓋方法一般有三種，第一種是直接拷貝前 一幀相應(yīng)宏塊來恢復(fù)當(dāng)前丟失幀，即零運(yùn)動矢量拷貝；第二種是基于塊的掩蓋
方法(CAB， Concealment Algorithm Based Block),該方法先估計出丟失幀每個 塊的運(yùn)動矢量，然后根據(jù)估計出的塊的MV在前一幀進(jìn)行運(yùn)動補(bǔ)償，并將補(bǔ)償 塊拷貝到丟失幀中對應(yīng)位置。第三種是在運(yùn)動不劇烈時，根據(jù)光流場(OP, Optical Flow)方程假設(shè)信息恒定，這種方法稱為基于像素的掩蓋(CAP, Concealment Algorithm Based Pixel)方法，先估計出待映射像素的運(yùn)動矢量， 然后根據(jù)像素的運(yùn)動矢量將其映射到丟失幀中。
上述第一種方法，若圖像中物體轉(zhuǎn)動，將導(dǎo)致圖l象掩蓋的不精確，這將造 成誤差擴(kuò)散，使得掩蓋后的圖像比實(shí)際圖像的運(yùn)動有所延遲。尤其是運(yùn)動劇烈 的視頻序列，這種方法的掩蓋效果更不理想。當(dāng)出現(xiàn)連續(xù)多個整幀丟失時，該 方法等效于重復(fù)拷貝丟失幀的前一幀，直到接收到一個新的幀內(nèi)編碼幀為止。 上述第二種方法，在圖像運(yùn)動劇烈時簡單有效，信噪比也較高，計算量不大， 但是塊效應(yīng)比較明顯。上述第三種方法，在圖像運(yùn)動較小時掩蓋效果較好，方 塊效應(yīng)也較小，但是采用分像素精度運(yùn)動矢量的編碼標(biāo)準(zhǔn)中，存在分像素精度 與整像素失配，以及映射像素重疊，某些像素點(diǎn)沒有映射的問題。
上述三種整幀掩蓋方法雖然均可實(shí)現(xiàn)整幀的掩蓋，但各存在缺點(diǎn)，幀掩蓋 效果不佳。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種圖像幀的掩蓋方法與裝置，以 在整幀丟失時提高丟失幀的掩蓋效果。
為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的 一種圖像幀的掩蓋方法，包括
檢測到圖像幀丟失時，計算丟失幀的前一幀中每個宏塊的運(yùn)動矢量，判斷 宏塊的運(yùn)動矢量是否超過閾值，若超過則根據(jù)宏塊中各塊的運(yùn)動矢量將所述塊 映射到丟失幀中；否則，估算當(dāng)前宏塊中所有像素點(diǎn)的前向運(yùn)動矢量，根據(jù)像素點(diǎn)的前向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中。
其中，所述根據(jù)像素點(diǎn)的前向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中，包
括
判斷像素點(diǎn)的前向運(yùn)動矢量是否為0,若是則不映射該像素點(diǎn)；否則判斷 待映射像素點(diǎn)是否映射到丟失幀的整像素點(diǎn)，若是則直接映射所述像素點(diǎn)，否 則將所述像素點(diǎn)映射到丟失幀中原映射點(diǎn)最臨近的整像素點(diǎn)。
其中，該方法還包括
查找映射后丟失幀中未映射區(qū)域及重疊映射區(qū)域，對重疊映射像素點(diǎn)的色 度和亮度求平均后作為該像素點(diǎn)的色度和亮度；對于未映射區(qū)域，由外至內(nèi)用 相鄰像素點(diǎn)對未映射像素點(diǎn)進(jìn)行插值補(bǔ)償。
其中，所述估算當(dāng)前宏塊中所有像素點(diǎn)的前向運(yùn)動矢量具體是采用光流場 方程進(jìn)行估算的。
其中，所述計算丟失幀的前一幀中每個宏塊的運(yùn)動矢量，包括
確定宏塊中各塊的運(yùn)動矢量，各個塊的運(yùn)動矢量平均值即為宏塊的運(yùn)動矢量。
一種圖像幀的掩蓋裝置，包括 丟失幀檢測單元，用于檢測圖像幀是否丟失；
宏塊運(yùn)動矢量計算單元，用于在丟失幀;險測單元^r測到圖像幀丟失時計算 丟失幀的前一幀中每個宏塊的運(yùn)動矢量；
運(yùn)動矢量判斷單元，用于判斷宏塊的運(yùn)動矢量是否超過閾值，若超過則觸 發(fā)塊映射單元；否則觸發(fā)像素點(diǎn)前向運(yùn)動矢量估算單元；
塊映射單元，用于根據(jù)宏塊中各塊的運(yùn)動矢量將所述塊映射到丟失幀中；
像素點(diǎn)前向運(yùn)動矢量估算單元，用于估算宏塊中所有像素點(diǎn)的前向運(yùn)動矢 量；以及
像素點(diǎn)映射單元，根據(jù)像素點(diǎn)前向運(yùn)動矢量估算單元估算的像素點(diǎn)的前向 運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中。
其中，所述像素點(diǎn)映射單元根據(jù)像素點(diǎn)的前向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中，包括
判斷像素點(diǎn)的前向運(yùn)動矢量是否為0,若是則不映射該像素點(diǎn)；否則判斷 待映射像素點(diǎn)是否映射到丟失幀的整像素點(diǎn)，若是則直接映射所述像素點(diǎn)，否 則將所述像素點(diǎn)映射到丟失幀中原映射點(diǎn)最臨近的整像素點(diǎn)。
其中，該裝置還包括
未映射及重疊映射區(qū)域確定單元，用于查找映射后丟失幀中未映射區(qū)域及 重疊映射區(qū)域；
重疊像素點(diǎn)處理單元，用于對重疊映射像素點(diǎn)的色度和亮度求平均后作為 該像素點(diǎn)的色度和亮度；以及
未映射像素點(diǎn)處理單元，用于由外至內(nèi)用相鄰^f象素點(diǎn)對未映射像素點(diǎn)進(jìn)行 插值補(bǔ)償。
其中，所述像素點(diǎn)前向運(yùn)動矢量估算單元估算當(dāng)前宏塊中所有像素點(diǎn)的前 向運(yùn)動矢量具體是采用光流場方程進(jìn)行估算的。
其中，所述宏塊運(yùn)動矢量計算單元計算丟失幀的前一幀中每個宏塊的運(yùn)動 矢量，包括
確定宏塊中各塊的運(yùn)動矢量，各個塊的運(yùn)動矢量平均值即為宏塊的運(yùn)動矢量。
本發(fā)明根據(jù)圖像幀中每個宏塊的運(yùn)動矢量確定該宏塊的映射方式，當(dāng)宏塊 的運(yùn)動矢量超出設(shè)定閾值時，采用基于塊的掩蓋方式來映射該宏塊；未超出閾 值時采用基于像素的掩蓋方式來映射該宏塊，并對映射至非整像素點(diǎn)的像素進(jìn) 行歸整處理。所有宏塊均映射完畢后，再對丟失幀中未映射區(qū)域進(jìn)行插值補(bǔ)償、 對重疊映射區(qū)域進(jìn)行像素求平均。利用本發(fā)明方法恢復(fù)的圖像質(zhì)量較高，且計 算復(fù)雜度不高，能滿足實(shí)時性的需求，可廣泛應(yīng)用于恢復(fù)整幀的環(huán)境，如移動 電視、手機(jī)電視、視頻會議、視頻電視等等，具有較高的實(shí)用價值。


圖l為本發(fā)明圖像幀的掩蓋裝置組成結(jié)構(gòu)示意圖；圖2為基于塊的映射方式示意圖3為本發(fā)明圖像幀的掩蓋裝置的另一組成結(jié)構(gòu)示意圖4為本發(fā)明圖像幀的掩蓋方法的流程圖。
具體實(shí)施例方式
本發(fā)明的核心思想是針對目前整幀丟失而恢復(fù)不佳的狀況，本發(fā)明根據(jù) 圖像幀中宏塊的運(yùn)動矢量而確定其映射方式，在宏塊運(yùn)動矢量超出設(shè)定閾值時 采用基于塊的映射方式映射該宏塊；未超出閾值時采用基于像素的映射方式映 射該宏塊。本發(fā)明根據(jù)宏塊的運(yùn)動矢量選擇適合的映射方式，可保證所恢復(fù)圖 像的質(zhì)量。當(dāng)宏塊映射完成后，再對未映射區(qū)域進(jìn)行插值補(bǔ)償，對重疊的映射 區(qū)域進(jìn)行像素點(diǎn)求平均，進(jìn)一步提升了所恢復(fù)圖像的質(zhì)量。以下結(jié)合附圖對本 發(fā)明進(jìn)行詳細(xì)描述。
圖1為本發(fā)明圖像幀的掩蓋裝置組成結(jié)構(gòu)示意圖，如圖l所示，本發(fā)明的 圖像幀的掩蓋裝置包括丟失幀檢測單元10、宏塊運(yùn)動矢量計算單元11、運(yùn)動矢 量判斷單元12、塊映射單元13、像素點(diǎn)前向運(yùn)動矢量估算單元14和像素點(diǎn)映 射單元15,其中，丟失幀檢測單元10用于檢測圖像幀是否丟失。作為一種實(shí) 現(xiàn)手段，丟失幀檢測單元IO在解碼圖像幀時通過判斷幀號是否連續(xù)來確定圖像 幀是否丟失，若解碼的幀號連續(xù)則沒有幀丟失，否則即丟失了圖像幀。
宏塊運(yùn)動矢量計算單元11在丟失幀檢測單元IO檢測到圖像幀丟失時，計 算丟失幀的前一幀中每個宏塊的運(yùn)動矢量。在解碼圖像幀時，可確定每個塊的 運(yùn)動矢量，本發(fā)明對宏塊中所有塊的運(yùn)動矢量求均值作為該宏塊的運(yùn)動矢量。 這里，塊的大小可為可以是16x 16、 16x8、 8xl6、 8x8、 8x4、 4x8、 4乂4, 上述表示塊大小的式子中每個因子的單位為像素。
運(yùn)動矢量判斷單元12用于判斷宏塊的運(yùn)動矢量是否超過閾值，若超過閾值 則觸發(fā)塊映射單元13,否則觸發(fā)像素點(diǎn)前向運(yùn)動矢量估算單元14。本領(lǐng)域技術(shù) 人員應(yīng)當(dāng)理解，閾值的設(shè)定是綜合考慮了圖像幀的編碼方式、傳輸圖像幀的信 道質(zhì)量、用戶的圖像質(zhì)量要求等因素而確定的，不同的應(yīng)用環(huán)境下閾值設(shè)定值是不同的。
塊映射單元13用于根據(jù)宏塊中各塊的運(yùn)動矢量將所述塊映射到丟失幀中。 即采用基于塊的映射方式映射每個宏塊，利用丟失幀的前一幀與當(dāng)前塊相同坐 標(biāo)位置的塊運(yùn)動矢量作為丟失幀中的塊的運(yùn)動矢量，然后以前一幀作為參考幀 進(jìn)行1/4像素精度插值，按行的順序?qū)㈩A(yù)測補(bǔ)償后的塊拷貝到丟失圖像幀中，
以便恢復(fù)整幀圖像。圖2為基于塊的映射方式示意圖，如圖2所示，t幀為當(dāng)前 丟失幀，t-l幀和t-2幀為t幀之前的兩幀，〗艮i殳丟失幀t的某一塊坐標(biāo)為(i， j)， 其MV為即認(rèn)為是其前一幀相同位置的塊的MV,即M^/=Mn/7。通過將宏 塊分為不同大小的塊來進(jìn)行映射，以便消除明顯的錯位現(xiàn)象；塊的大小可為可 以是16x16、 16x8、 8xi6、 8x8、 8x4、 4x8、 4x4。在最后階段對映射塊 進(jìn)行濾波，消除運(yùn)動矢量不精確導(dǎo)致的方塊效應(yīng)。當(dāng)圖像中的運(yùn)動物體運(yùn)動不 劇烈時，也可以宏塊為單位來掩蓋丟失幀。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，基于塊 的掩蓋方式為較成熟的整幀掩蓋算法，本發(fā)明并不限于上述的掩蓋方式。
像素點(diǎn)前向運(yùn)動矢量估算單元14用于估算宏塊中所有像素點(diǎn)的前向運(yùn)動 矢量。
像素點(diǎn)映射單元15根據(jù)像素點(diǎn)前向運(yùn)動矢量估算單元14估算的像素點(diǎn)的 前向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中。具體包括判斷像素點(diǎn)的前向運(yùn) 動矢量是否為0,若是則不映射該像素點(diǎn)；否則判斷待映射像素點(diǎn)是否映射到 丟失幀的整像素點(diǎn)，若是則直接映射所述像素點(diǎn)，否則將所述像素點(diǎn)映射到丟 失幀中原映射點(diǎn)最臨近的整像素點(diǎn)。
以下說明本發(fā)明像素點(diǎn)前向運(yùn)動矢量估算單元14和像素點(diǎn)映射單元15是 如何實(shí)現(xiàn)基于像素映射丟失幀的。
本發(fā)明根據(jù)光流場方程估計丟失幀像素的運(yùn)動矢量，即首先分析圖像幀序 列中正確接收的幀即t-l幀之前的幀，目的是了解哪些像素可以用來預(yù)測t-l幀 中的像素，同時估計t-l幀中哪些像素將根據(jù)OF方程估計的前向運(yùn)動矢量FMV 映射到t幀中。當(dāng)t-l幀的參考幀是t-2幀時，有^^化^,=-^^,其中，F(xiàn)M^:^為t-l幀中像素點(diǎn)x。'的前向運(yùn)動矢量，d為t-l幀中像素點(diǎn)《的運(yùn)動矢量。 當(dāng)t-l幀的參考幀是t-2幀之前幀時，則i^《J^-K;/(卜l-《1),其中，i ;)'為 t-l幀的參考幀的幀號。
則有
v好(&， 力=F[x(&， ，f — 1)，…,x(&,W —丄-1),一l)] WO",/)-i^xO^^/-^.","";'/] —1),VyOw，"W — 1)] ( 1 )
由于t-l幀已正確解碼，根據(jù)方程(1 )估計的FMV將t-l幀的像素映射到
t幀中。若fmf;:;^o,說明像素點(diǎn)《/屬于幀內(nèi)編碼宏塊，則不映射該像素點(diǎn)， 對幀內(nèi)編碼宏塊的像素點(diǎn)進(jìn)行標(biāo)記。方程(l)中，L為自然數(shù)，x(&，力為丟 失幀像素點(diǎn)的亮度信息，相應(yīng)的MV丟失，能接收到的正確幀x(&，,卜l)為前 一幀亮度信息，保存在參考緩沖區(qū)幀x(^,^,卜l-M)中，M=l， 2,…，L。 & 、 分別為丟失幀中待映射像素點(diǎn)的坐標(biāo)值； C^, ,卜l)和v,( ,v,卜l)分別為 正確接收幀相應(yīng)像素點(diǎn)的水平和垂直運(yùn)動矢量，水平運(yùn)動矢量^(^,^力、垂直
運(yùn)動矢量K(^,W)和亮度信息x(^, 力是丟失幀需估計的信息。本領(lǐng)域技術(shù)人 員應(yīng)當(dāng)理解，利用光流場方程估計丟失幀像素的運(yùn)動矢量是容易實(shí)現(xiàn)的。
對于F竭y不為0的像素點(diǎn)，需確定其映射到丟失幀中的坐標(biāo)，本發(fā)明采
用1/4像素精度進(jìn)行處理。
若4叚i殳t-l幀中某塊左上角頂點(diǎn)的坐標(biāo)為(x, y)，其MV為(vx, vy)。因?yàn)?MV是l/4像素精度，所以基于整像素的坐標(biāo)值要乘4，即用長和寬都是原始圖 像四倍的圖像來表達(dá)理論上的1/4像素坐標(biāo)，即在原來每兩個像素間插入三個 像素，最后得出的結(jié)果為基于1/4像素的坐標(biāo)。則點(diǎn)(x， y)在t-2幀中的1/4像 素4青度坐標(biāo)為(x x 4-vx, y x 4-vy),該點(diǎn)才艮據(jù)前向運(yùn)動矢量映射到t幀中點(diǎn)(x', y')處，則(x' , y' )=(xx4 + vx, yx4 + vy)。但是在圖像幀中并不需要一個 位于1/4坐標(biāo)處的像素值，而是以整數(shù)坐標(biāo)像素值顯示圖像，故需要根據(jù)1/4 像素點(diǎn)插出整像素點(diǎn)。因此，首先要確定與t幀點(diǎn)(x' , y')最鄰近的整像素點(diǎn)坐標(biāo)位置，以得到最終顯示的整數(shù)像素值。
本發(fā)明對MV為(vx, vy)的歸整方式如下 vx! = vx —vx % 4 (vx%4 <=2 ) vxi = vx + 1 (vx%4 二 3 )
vy! = vy —vy % 4 ( vy%4 <=2 ) vyi = vy + 1 (vy%4 = 3 )
其中MV， (vxP vyi)為MV歸整后的運(yùn)動矢量，％表示取模運(yùn)算，這里還 需注意MV和MV1為前向運(yùn)動矢量，與t幀中的運(yùn)動矢量反向。
假設(shè)t-l幀中某塊的左上角坐標(biāo)為(x, y),運(yùn)動矢量MV為(-4， -2)，在t-2 幀相應(yīng)的1/4像素坐標(biāo)位置為(4x-4, 4y-2),則根據(jù)光流場方程在t幀中映射 的l/4像素位置為(x' ， y' ) = (4x + 4， 4y + 2)。在t幀中要顯示整像素位置 的像素值，因此，需要根據(jù)映射位置的像素值插出整像素位置的像素值。將(4x + 4, 4y + 2)除以4歸一到整像素位置(x+l,y),計算出兩者的距離差，(x' ，y ')的像素值實(shí)際上是t幀中點(diǎn)(x, y)的像素值，歸一整像素位置的像素值實(shí)上 是t幀中點(diǎn)(x, y)加上距離差的像素值即(4x, 4y-2)。這樣，本映射方法充分 利用了前幀的信息，且改善了塊效應(yīng)。
將歸整后的整像素位置像素點(diǎn)作為待求點(diǎn)，F(xiàn)MV指向的象素點(diǎn)作為已知 點(diǎn)，進(jìn)行插值運(yùn)算。插值要用到相鄰的六個點(diǎn)，本發(fā)明按宏塊為單位進(jìn)行插值。 宏塊邊界用相同值擴(kuò)展后再進(jìn)行插值。具體插值方法與H.264的標(biāo)準(zhǔn)基本一致。 根據(jù)分像素點(diǎn)位置，1/2像素點(diǎn)用6抽頭濾波器進(jìn)行插值，1/4像素點(diǎn)是鄰近兩 象素點(diǎn)均值，這里不再贅述。
本發(fā)明中，對丟失幀的前一幀中宏塊的處理方式，可采用并行或串行處理。
圖3為本發(fā)明圖像幀的掩蓋裝置的另一組成結(jié)構(gòu)示意圖，如圖3所示，本
示例中的圖像幀的掩蓋裝置是在圖2的基礎(chǔ)上實(shí)現(xiàn)的，與圖2所示的圖像幀的
掩蓋裝置相比，還包括未映射及重疊映射區(qū)域確定單元16、重疊像素點(diǎn)處理
單元17和未映射像素點(diǎn)處理單元18,其中，未映射及重疊映射區(qū)域確定單元
16用于查找映射后丟失幀中未映射區(qū)域及重疊映射區(qū)域。這里，未映射區(qū)域及重疊映射區(qū)域可能是塊或像素點(diǎn)。
重疊像素點(diǎn)處理單元17用于對重疊映射像素點(diǎn)的色度和亮度求平均后作 為該像素點(diǎn)的色度和亮度。如果是兩個像素點(diǎn)重疊，直接對其求平均即可。而 如果出現(xiàn)多個像素映射到同一個像素點(diǎn)，采用循環(huán)求平均的方式，將最終的平 均值賦值給丟失像素點(diǎn)。
未映射像素點(diǎn)處理單元18用于由外至內(nèi)用相鄰像素點(diǎn)對未映射像素點(diǎn)進(jìn) 行插值補(bǔ)償。若某像素點(diǎn)相鄰四個像素點(diǎn)均有映射，則用其相鄰四個像素點(diǎn)插 值補(bǔ)償，當(dāng)未映射區(qū)域較大時，由最外側(cè)與映射像素點(diǎn)相鄰的像素點(diǎn)開始進(jìn)行 插值補(bǔ)償。本發(fā)明中，也可采用空域平均加權(quán)像素插值算法來實(shí)現(xiàn)插值補(bǔ)償， 其對于色差變化不大的區(qū)域掩蓋效果較好，但在黑白背景處有掩蓋的痕跡。
圖4為本發(fā)明圖像幀的掩蓋方法的流程圖，如圖4所示，本發(fā)明的圖像幀
的掩蓋方法包括以下步驟
步驟401:檢測到圖像幀丟失時，計算丟失幀的前一幀中每個宏塊的運(yùn)動 矢量。這里，根據(jù)解碼圖像幀時獲取的塊的運(yùn)動矢量來計算其平均運(yùn)動矢量， 從而作為宏塊的運(yùn)動矢量。
步驟402:判斷宏塊的運(yùn)動矢量是否超過設(shè)定閾值，若是則進(jìn)入步驟403, 否則進(jìn)入步驟404。關(guān)于閾值的設(shè)定，可參見前文本發(fā)明圖像幀的掩蓋裝置部 分的相關(guān)描述，這里不再贅述。
步驟403:根據(jù)宏塊中各塊的運(yùn)動矢量將所述塊映射到丟失幀中。本步驟 即為基于塊的映射方式實(shí)現(xiàn)宏塊的映射補(bǔ)償，具體可參見前文本發(fā)明圖像幀的 掩蓋裝置部分的相關(guān)描述，這里不再贅述。
步驟404:估算當(dāng)前宏塊中所有像素點(diǎn)的前向運(yùn)動矢量，根據(jù)像素點(diǎn)的前 向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中。本步驟即為基于像素的映射方式， 與現(xiàn)有的基于像素的映射方式相比，作了改進(jìn)，其映射效果更佳。具體可參見 前文本發(fā)明圖像幀的掩蓋裝置部分的相關(guān)描述，這里不再贅述。
步驟405:查找映射后丟失幀中未映射區(qū)域及重疊映射區(qū)域，對重疊映射 像素點(diǎn)的色度和亮度求平均后作為該像素點(diǎn)的色度和亮度；對于未映射區(qū)域，由外至內(nèi)用相鄰像素點(diǎn)對未映射像素點(diǎn)進(jìn)行插值補(bǔ)償。本步驟為優(yōu)選步驟，是 對映射后的丟失圖像幀作了優(yōu)化處理，使恢復(fù)圖像幀質(zhì)量更佳。具體可參見前 文本發(fā)明圖像幀的掩蓋裝置部分的相關(guān)描述，這里不再贅述。
本發(fā)明與傳統(tǒng)的基于塊或者基于像素的整幀掩蓋方法相比，克服了兩者固 有的缺點(diǎn)，通過運(yùn)動檢測自適應(yīng)地選擇相應(yīng)的掩蓋方法，將二者的優(yōu)點(diǎn)結(jié)合起 來，所恢復(fù)圖像幀的質(zhì)量較高。
以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種圖像幀的掩蓋方法，其特征在于，該方法包括檢測到圖像幀丟失時，計算丟失幀的前一幀中每個宏塊的運(yùn)動矢量，判斷宏塊的運(yùn)動矢量是否超過閾值，若超過則根據(jù)宏塊中各塊的運(yùn)動矢量將所述塊映射到丟失幀中；否則，估算當(dāng)前宏塊中所有像素點(diǎn)的前向運(yùn)動矢量，根據(jù)像素點(diǎn)的前向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中。
2、 根據(jù)權(quán)利要求1所述的圖像幀的掩蓋方法，其特征在于，所述根據(jù)像素 點(diǎn)的前向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中，包括判斷像素點(diǎn)的前向運(yùn)動矢量是否為0,若是則不映射該像素點(diǎn)；否則判斷 待映射像素點(diǎn)是否映射到丟失幀的整像素點(diǎn)，若是則直接映射所述像素點(diǎn)，否 則將所述像素點(diǎn)映射到丟失幀中原映射點(diǎn)最臨近的整像素點(diǎn)。
3、 根據(jù)權(quán)利要求1或2所述的圖像幀的掩蓋方法，其特征在于，該方法還 包括查找映射后丟失幀中未映射區(qū)域及重疊映射區(qū)域，對重疊映射像素點(diǎn)的色 度和亮度求平均后作為該像素點(diǎn)的色度和亮度；對于未映射區(qū)域，由外至內(nèi)用 相鄰像素點(diǎn)對未映射像素點(diǎn)進(jìn)行插值補(bǔ)償。
4、 根據(jù)權(quán)利要求3所述的圖像幀的掩蓋方法，其特征在于，所述估算當(dāng)前宏塊中所有像素點(diǎn)的前向運(yùn)動矢量具體是采用光流場方程進(jìn)行估算的。
5、 根據(jù)權(quán)利要求4所述的圖像幀的掩蓋方法，其特征在于，所述計算丟失 幀的前一幀中每個宏塊的運(yùn)動矢量，包括確定宏塊中各塊的運(yùn)動矢量，各個塊的運(yùn)動矢量平均值即為宏塊的運(yùn)動矢量。
6、 一種圖像幀的掩蓋裝置，其特征在于，該裝置包括 丟失幀檢測單元，用于檢測圖像幀是否丟失；宏塊運(yùn)動矢量計算單元，用于在丟失幀檢測單元檢測到圖像幀丟失時計算 丟失幀的前一幀中每個宏塊的運(yùn)動矢量；運(yùn)動矢量判斷單元，用于判斷宏塊的運(yùn)動矢量是否超過閾值，若超過則觸發(fā)塊映射單元；否則觸發(fā)像素點(diǎn)前向運(yùn)動矢量估算單元；塊映射單元，用于根據(jù)宏塊中各塊的運(yùn)動矢量將所述塊映射到丟失幀中； 像素點(diǎn)前向運(yùn)動矢量估算單元，用于估算宏塊中所有像素點(diǎn)的前向運(yùn)動矢量；以及像素點(diǎn)映射單元，根據(jù)像素點(diǎn)前向運(yùn)動矢量估算單元估算的像素點(diǎn)的前向 運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中。
7、 根據(jù)權(quán)利要求6所述的圖像幀的掩蓋裝置，其特征在于，所述像素點(diǎn)映 射單元根據(jù)像素點(diǎn)的前向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中，包括判斷像素點(diǎn)的前向運(yùn)動矢量是否為0,若是則不映射該像素點(diǎn)；否則判斷 待映射像素點(diǎn)是否映射到丟失幀的整像素點(diǎn)，若是則直接映射所述像素點(diǎn)，否 則將所述像素點(diǎn)映射到丟失幀中原映射點(diǎn)最臨近的整像素點(diǎn)。
8、 根據(jù)權(quán)利要求6或7所述的圖像幀的掩蓋裝置，其特征在于，該裝置還 包括未映射及重疊映射區(qū)域確定單元，用于查找映射后丟失幀中未映射區(qū)域及 重疊映射區(qū)域；重疊像素點(diǎn)處理單元，用于對重疊映射像素點(diǎn)的色度和亮度求平均后作為 該像素點(diǎn)的色度和亮度；以及未映射像素點(diǎn)處理單元，用于由外至內(nèi)用相鄰像素點(diǎn)對未映射像素點(diǎn)進(jìn)行 插值補(bǔ)償。
9、 根據(jù)權(quán)利要求8所述的圖像幀的掩蓋裝置，其特征在于，所述^f象素點(diǎn)前 向運(yùn)動矢量估算單元估算當(dāng)前宏塊中所有像素點(diǎn)的前向運(yùn)動矢量具體是釆用光 流場方程進(jìn)行估算的。
10、 根據(jù)權(quán)利要求9所述的圖像幀的掩蓋裝置，其特征在于，所述宏塊運(yùn) 動矢量計算單元計算丟失幀的前一幀中每個宏塊的運(yùn)動矢量，包括確定宏塊中各塊的運(yùn)動矢量，各個塊的運(yùn)動矢量平均值即為宏塊的運(yùn)動矢量。
全文摘要
本發(fā)明公開了一種圖像幀的掩蓋方法，涉及圖像幀處理中的整幀掩蓋技術(shù)，為解決目前的整幀掩蓋效果不佳而提出，為解決上述問題，采用的方案為圖像幀的掩蓋方法，包括檢測到圖像幀丟失時，計算丟失幀的前一幀中每個宏塊的運(yùn)動矢量，判斷宏塊的運(yùn)動矢量是否超過閾值，若超過則根據(jù)宏塊中各塊的運(yùn)動矢量將所述塊映射到丟失幀中；否則，估算當(dāng)前宏塊中所有像素點(diǎn)的前向運(yùn)動矢量，根據(jù)像素點(diǎn)的前向運(yùn)動矢量將所述像素點(diǎn)映射到丟失幀中。本發(fā)明同時公開了一種實(shí)現(xiàn)上述方法的裝置。利用本發(fā)明方法恢復(fù)的圖像質(zhì)量較高，且計算復(fù)雜度不高，能滿足實(shí)時性的需求，可廣泛應(yīng)用于移動電視、手機(jī)電視、視頻會議、視頻電視中，具有較高的實(shí)用價值。
文檔編號H04N7/64GK101370145SQ20071012022
公開日2009年2月18日 申請日期2007年8月13日 優(yōu)先權(quán)日2007年8月13日
發(fā)明者峰 劉, 雯 左, 朱秀昌, 寧 王, 睢世晨, 睿 陳 申請人:中興通訊股份有限公司