本發(fā)明涉及一種視頻處理中的去隔行方法。特別是涉及一種雙向運(yùn)動(dòng)估計(jì)去隔行方法.

背景技術(shù)：

為了節(jié)省傳輸帶寬，一些主流的廣播電視系統(tǒng)使用隔行掃描的格式處理待傳輸?shù)囊曨l信號。但是隔行掃描會(huì)造成邊緣閃爍、鋸齒現(xiàn)象和場間混疊等視覺上的缺陷。目前的技術(shù)愈發(fā)成熟，主流的視頻播放設(shè)備都支持逐行掃描，因此需要將隔行掃描的視頻源轉(zhuǎn)化為逐行掃描的視頻源，這個(gè)轉(zhuǎn)換的過程稱之為去隔行。

針對去隔行研究，前人提出了多種去隔行算法，這些算法可以大致的分為兩類：非運(yùn)動(dòng)補(bǔ)償算法和運(yùn)動(dòng)補(bǔ)償算法。

非運(yùn)動(dòng)補(bǔ)償算法主要包括線性去隔行算法和非線性去隔行算法。線性去隔行算法主要有時(shí)域?yàn)V波、空域?yàn)V波和垂直時(shí)域?yàn)V波等，它們在靜止區(qū)域表現(xiàn)較好，計(jì)算復(fù)雜度低，但是在運(yùn)動(dòng)幅度較大區(qū)域和細(xì)節(jié)豐富區(qū)域表現(xiàn)較差。非線性去隔行算法主要有基于邊緣插值和基于權(quán)值插值等，它們在一些運(yùn)動(dòng)幅度較大區(qū)域表現(xiàn)較好，運(yùn)動(dòng)復(fù)雜度相對較低。

基于運(yùn)動(dòng)補(bǔ)償去隔行算法是目前比較先進(jìn)的去隔行算法，它能夠在一些情況下提供比非運(yùn)動(dòng)補(bǔ)償去隔行算法更好的效果。這種算法一般是通過運(yùn)動(dòng)估計(jì)找出有效的運(yùn)動(dòng)信息，通過有效的運(yùn)動(dòng)信息插值缺失的像素點(diǎn)，從而達(dá)到去隔行的目的。主要的運(yùn)動(dòng)估計(jì)方法有貝葉斯運(yùn)動(dòng)估計(jì)、塊匹配運(yùn)動(dòng)估計(jì)等，其中塊匹配運(yùn)動(dòng)估計(jì)由于相對簡單可行，得到了廣泛的使用。

基于塊重疊的運(yùn)動(dòng)補(bǔ)償去隔行算法使用塊匹配運(yùn)動(dòng)估計(jì)。這種算法在運(yùn)動(dòng)幅度不大區(qū)域能夠提供較好的去隔行效果，但是這種算法有誤差傳遞、插值精度較低等缺陷。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是，提供一種能夠在適當(dāng)計(jì)算復(fù)雜度的情況下提供較好的去隔行效果的新的雙向運(yùn)動(dòng)估計(jì)去隔行方法。

本發(fā)明所采用的技術(shù)方案是：一種雙向運(yùn)動(dòng)估計(jì)去隔行方法，包括如下步驟：

1)針對隔行掃描視頻序列的第一場，采用場內(nèi)信息進(jìn)行插值得到重建的圖像，選取兩個(gè)參考幀和一個(gè)待插值場，所述兩個(gè)參考幀是與所述待插值場在時(shí)間上相鄰的前后各一個(gè)重建的圖像，其中，與所述待插值場在時(shí)間上相鄰的后一個(gè)重建的圖像是采用場內(nèi)信息進(jìn)行插值獲得的重建的圖像，所述的待插值場是基于所述的兩個(gè)參考幀進(jìn)行重建獲得的圖像；

2)從待插值場中選取待匹配塊，待匹配塊的大小為m×(2n+1)，其中m是待匹配塊的列數(shù)，(2n+1)是待匹配塊的行數(shù)，n是大于等于1的整數(shù)，待匹配塊中的奇數(shù)行都是原始像素點(diǎn)位置，偶數(shù)行都是待插值像素點(diǎn)位置，當(dāng)下次選取待匹配塊的時(shí)候，縱向上的兩個(gè)相鄰待匹配塊共用一行；

3)從步驟1)中兩個(gè)所述的參考幀中分別選取一個(gè)矩形搜索窗，使步驟2)中所述的待匹配塊的位置對應(yīng)兩個(gè)所述矩形搜索窗的中心位置；

4)在兩個(gè)所述的矩形搜索窗中分別找到最佳匹配塊，兩個(gè)所述的最佳匹配塊有相應(yīng)的絕對差值和：SAD_forward與SAD_backward，以及相應(yīng)的運(yùn)動(dòng)補(bǔ)償值：I_forward和I_backward，根據(jù)所述的絕對差值和及運(yùn)動(dòng)補(bǔ)償值獲得最終的插值I，最終的插值公式如下：

$I=\frac{1}{{\mathrm{SAD}}_{forward}+{\mathrm{SAD}}_{backward}}\×({\mathrm{SAD}}_{forward}\×I_{backward}+{\mathrm{SAD}}_{bachard}\×I_{forward})---\left(1\right);$

5)針對待插值場邊界情況的處理，包括：當(dāng)待插值場是奇場時(shí)，對于底行的插值，是通過以底行為軸對稱向下擴(kuò)展一行，重復(fù)步驟2)至步驟4)，當(dāng)待插值場是偶場時(shí)，對于頂行的插值，是通過以頂行為軸對稱向上擴(kuò)展一行，重復(fù)步驟2)至步驟4)，直至將所有隔行掃描視頻序列全部處理完，結(jié)束。

步驟2)所述的縱向上的兩個(gè)相鄰待匹配塊共用一行，是縱向上兩個(gè)相鄰待匹配塊中上面的待匹配塊中的最下一行和下面的待匹配塊中的最上一行是同一行。

步驟4)中在矩形搜索窗中找到最佳匹配塊的方式，包括：首先，搜索的過程中只使用待匹配塊中原始像素點(diǎn)和搜索窗中已獲得插值的像素點(diǎn)進(jìn)行搜索，其中將搜索窗中已獲得插值的像素點(diǎn)稱為重建像素點(diǎn)；并進(jìn)行如下操作：

(1)從搜索窗的左上角位置選取與待匹配塊相同大小的匹配塊開始搜索，使待匹配塊中的原始像素點(diǎn)對應(yīng)所述匹配塊中的重建像素點(diǎn)，對一個(gè)所述的匹配塊進(jìn)行匹配操作；

(2)水平向右移一個(gè)重建像素點(diǎn)的位置，重新選取與待匹配塊相同大小的匹配塊進(jìn)行匹配操作，直至這一行的末尾；

(3)然后向下移動(dòng)兩行，在最左位置再重新選取與待匹配塊相同大小的匹配塊由左向右依次進(jìn)行匹配操作，直至搜索窗中所有的重建像素點(diǎn)都完成匹配操作。

第(3)步所述的匹配操作，包括當(dāng)匹配塊中重建像素點(diǎn)的像素值和待匹配塊中與重建像素點(diǎn)相對應(yīng)的原始像素點(diǎn)的像素值之間的絕對差值和SAD最小的時(shí)候，將所述的匹配塊作為最佳匹配塊，把最佳匹配塊中原始像素點(diǎn)的像素值復(fù)制到待匹配塊中與最佳匹配塊中原始像素點(diǎn)對應(yīng)的待插值像素點(diǎn)位置，從而獲得運(yùn)動(dòng)補(bǔ)償?shù)牟逯?/p>

本發(fā)明的一種雙向運(yùn)動(dòng)估計(jì)去隔行方法，有效解決了傳統(tǒng)的基于塊重疊運(yùn)動(dòng)補(bǔ)償去隔行算法的誤差傳遞問題、插值精度較低問題，能夠在適當(dāng)計(jì)算復(fù)雜度的情況下提供較好的去隔行效果。具有如下有益效果：

1、有效遏制了誤差傳遞問題，使得PSNR維持在一個(gè)較高的范圍；

2、考慮到待匹配塊中原始像素值和搜索窗中重建像素值的奇偶性相同，因此只采用這兩類像素值進(jìn)行運(yùn)動(dòng)估計(jì)，插值精度獲得了一定的提升，另外又由于進(jìn)行了雙向運(yùn)動(dòng)估計(jì)，并采用自適應(yīng)的權(quán)值結(jié)合雙向運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)補(bǔ)償值，插值精度進(jìn)一步獲得了一定的提升。其中第二場的PSNR要比傳統(tǒng)的基于塊重疊運(yùn)動(dòng)補(bǔ)償去隔行算法的PSNR高0.5dB左右；

3、在運(yùn)動(dòng)估計(jì)過程中，只使用搜索窗中重建像素值，因此數(shù)據(jù)量大大降低，盡管進(jìn)行了雙向的運(yùn)動(dòng)估計(jì)，但是計(jì)算復(fù)雜度基本沒有提升。

附圖說明

圖1是本發(fā)明雙向運(yùn)動(dòng)估計(jì)去隔行方法中待匹配塊的塊重疊示意圖；

圖2是本發(fā)明雙向運(yùn)動(dòng)估計(jì)去隔行方法中塊匹配方式的示意圖；

圖3是本發(fā)明雙向運(yùn)動(dòng)估計(jì)去隔行方法中雙向運(yùn)動(dòng)估計(jì)的示意圖；

圖4是本發(fā)明雙向運(yùn)動(dòng)估計(jì)去隔行方法測試所用的視頻序列圖；

圖5是本發(fā)明雙向運(yùn)動(dòng)估計(jì)去隔行方法與傳統(tǒng)的基于塊重疊運(yùn)動(dòng)補(bǔ)償去隔行算法(overlappedMC)的重建圖像質(zhì)量對比。

具體實(shí)施方式

下面結(jié)合實(shí)施例和附圖對本發(fā)明的一種雙向運(yùn)動(dòng)估計(jì)去隔行方法做出詳細(xì)說明。

本發(fā)明的一種雙向運(yùn)動(dòng)估計(jì)去隔行方法，包括如下步驟：

1)針對隔行掃描視頻序列的第一場，采用場內(nèi)信息進(jìn)行插值得到重建的圖像，選取兩個(gè)參考幀和一個(gè)待插值場，所述兩個(gè)參考幀是與所述待插值場在時(shí)間上相鄰的前后各一個(gè)重建的圖像，其中，與所述待插值場在時(shí)間上相鄰的后一個(gè)重建的圖像是采用場內(nèi)信息進(jìn)行插值獲得的重建的圖像，所述的待插值場是基于所述的兩個(gè)參考幀進(jìn)行重建獲得的圖像；

2)從待插值場中選取待匹配塊，待匹配塊的大小為m×(2n+1)，其中m是待匹配塊的列數(shù)，(2n+1)是待匹配塊的行數(shù)，n是大于等于1的整數(shù)，待匹配塊中的奇數(shù)行都是原始像素點(diǎn)位置，偶數(shù)行都是待插值像素點(diǎn)位置，當(dāng)下次選取待匹配塊的時(shí)候，縱向上的兩個(gè)相鄰待匹配塊共用一行，所述的縱向上的兩個(gè)相鄰待匹配塊共用一行，是縱向上兩個(gè)相鄰待匹配塊中上面的待匹配塊中的最下一行和下面的待匹配塊中的最上一行是同一行，圖1是針對待匹配塊大小為4×3的情況下，塊重疊的示意圖；

3)從步驟1)中兩個(gè)所述的參考幀中分別選取一個(gè)矩形搜索窗，使步驟2)中所述的待匹配塊的位置對應(yīng)兩個(gè)所述矩形搜索窗的中心位置；

4)如圖3所示，在兩個(gè)所述的矩形搜索窗中分別找到最佳匹配塊，兩個(gè)所述的最佳匹配塊有相應(yīng)的絕對差值和SAD_forward與SAD_backward，以及相應(yīng)的運(yùn)動(dòng)補(bǔ)償值I_forward和I_backward，根據(jù)絕對差值和及運(yùn)動(dòng)補(bǔ)償值獲得最終的插值I，最終的插值公式如下：

$I=\frac{1}{{\mathrm{SAD}}_{forward}+{\mathrm{SAD}}_{backward}}\×({\mathrm{SAD}}_{forward}\×I_{backward}+{\mathrm{SAD}}_{bachard}\×I_{forward})---\left(1\right);$

在矩形搜索窗中找到最佳匹配塊的方式，包括：首先，搜索的過程中只使用待匹配塊中原始像素點(diǎn)和搜索窗中已獲得插值的像素點(diǎn)進(jìn)行搜索，其中將搜索窗中已獲得插值的像素點(diǎn)稱為重建像素點(diǎn)；并進(jìn)行如下操作：

(1)從搜索窗的左上角位置選取與待匹配塊相同大小的匹配塊開始搜索，使待匹配塊中的原始像素點(diǎn)對應(yīng)所述匹配塊中的重建像素點(diǎn)，對一個(gè)所述的匹配塊進(jìn)行匹配操作；

(2)水平向右移一個(gè)重建像素點(diǎn)的位置，重新選取與待匹配塊相同大小的匹配塊進(jìn)行匹配操作，直至這一行的末尾；

(3)然后向下移動(dòng)兩行，在最左位置再重新選取與待匹配塊相同大小的匹配塊由左向右依次進(jìn)行匹配操作，直至搜索窗中所有的重建像素點(diǎn)都完成匹配操作；所述的匹配操作，包括當(dāng)匹配塊中重建像素點(diǎn)的像素值和待匹配塊中與重建像素點(diǎn)相對應(yīng)的原始像素點(diǎn)的像素值之間的絕對差值和SAD最小的時(shí)候，將所述的匹配塊作為最佳匹配塊，把最佳匹配塊中原始像素點(diǎn)的像素值復(fù)制到待匹配塊中與最佳匹配塊中原始像素點(diǎn)對應(yīng)的待插值像素點(diǎn)位置，從而獲得運(yùn)動(dòng)補(bǔ)償?shù)牟逯?/p>

圖2是當(dāng)待匹配塊的大小為4×3時(shí)匹配的示意圖，具體如下，當(dāng)D1～D8與O1～O8之間的絕對差值和SAD最小的時(shí)候，就認(rèn)為該匹配塊是最佳匹配塊，那么待匹配塊中I₁～I(xiàn)₄就由R₁～R₄進(jìn)行填充，進(jìn)而獲得運(yùn)動(dòng)補(bǔ)償?shù)牟逯怠?/p>

5)針對待插值場邊界情況的處理，包括：當(dāng)待插值場是奇場時(shí)，對于底行的插值，是通過以底行為軸對稱向下擴(kuò)展一行，重復(fù)步驟2)至步驟4)，當(dāng)待插值場是偶場時(shí)，對于頂行的插值，是通過以頂行為軸對稱向上擴(kuò)展一行，重復(fù)步驟2)至步驟4)，直至所有隔行掃描視頻序列全部處理完，結(jié)束。

圖5是本發(fā)明雙向運(yùn)動(dòng)估計(jì)去隔行方法與傳統(tǒng)的基于塊重疊運(yùn)動(dòng)補(bǔ)償去隔行算法(overlappedMC)的重建圖像質(zhì)量對比。本發(fā)明衡量指標(biāo)使用PSNR參數(shù)。測試視頻序列采用splash，其分辨率為720×576，如圖4所示。

表1為本發(fā)明雙向運(yùn)動(dòng)估計(jì)去隔行方法(Proposed)和傳統(tǒng)的基于塊重疊運(yùn)動(dòng)補(bǔ)償去隔行算法(overlappedMC)的計(jì)算復(fù)雜度對比。計(jì)量計(jì)算復(fù)雜度的方式采用插值一個(gè)像素所需要的各種運(yùn)算數(shù)量。

表1

下面是本發(fā)明方法的最佳實(shí)施方式：

1、針對隔行掃描視頻序列的第一場，采用行平均插值算法進(jìn)行插值，得到重建圖像，選取一個(gè)待插值場和兩個(gè)參考幀，其中參考幀是與該待插值場時(shí)間上相鄰的前一個(gè)重建圖像和后一個(gè)重建圖像，后一個(gè)重建圖像先使用行平均算法進(jìn)行初次插值。行平均算法的計(jì)算表達(dá)式如下所示，其中I_LA(i,j)是利用行平均算法獲得的插值，I(i-1,j)是與待插值點(diǎn)相鄰的上一行像素值，I(i+1,j)是與待插值點(diǎn)相鄰的下一行像素值。

I_LA(i,j)＝[I(i-1,j)+I(i+1,j)]÷2 (2)

2、從待插值場中選取待匹配塊，待匹配塊的大小為4×3，最上一行和最下一行是原始像素的位置，中間一行是缺失像素的位置。當(dāng)下次選取待匹配塊的時(shí)候，其縱向上的兩個(gè)相鄰待匹配塊共用一行，也就是上面待匹配塊的最下一行和下面待匹配塊的最上一行是同一行，如圖1所示。

3、從前后兩個(gè)參考幀中分別選取一個(gè)搜索窗，搜索窗的大小為16×16，其中待匹配塊左上角的位置都對應(yīng)兩個(gè)搜索窗中(7,7)的位置(假設(shè)兩個(gè)搜索窗的左上角位置都為(0,0))。

4、在前后兩個(gè)搜索窗中分別找到一個(gè)最佳匹配塊，在搜索窗找到最佳匹配塊，是采用如下匹配準(zhǔn)則：

$SAD=\underset{i=1}{\overset{8}{\Σ}}|D_i-O_i|---\left(3\right)$

針對搜索窗中不同的匹配塊，認(rèn)為SAD值最小的塊為最佳匹配塊，那么待匹配塊中I₁～I(xiàn)₄就由R₁～R₄進(jìn)行填充，因而獲得了運(yùn)動(dòng)補(bǔ)償?shù)牟逯担瑘D2是相關(guān)的示意圖。

找到最佳匹配塊后，如圖3所示，獲得相應(yīng)的絕對差值和SAD_forward與SAD_backward，以及相應(yīng)的運(yùn)動(dòng)補(bǔ)償值I_forward和I_backward。根據(jù)絕對差值和、運(yùn)動(dòng)補(bǔ)償值以及最終的插值公式(1)獲得最終的插值I。