本發(fā)明實(shí)施例涉及視頻圖像
技術(shù)領(lǐng)域：
，特別是涉及一種幀速率上轉(zhuǎn)換方法及系統(tǒng)。
背景技術(shù)：
：幀速率上轉(zhuǎn)換為在視頻圖像中的原始幀之間插入新的中間幀實(shí)現(xiàn)視頻圖像速率的提升。如圖1所示為幀速率上轉(zhuǎn)換的原理圖，假設(shè)ft-1和ft+1為原始視頻圖像中的連續(xù)兩幀的圖像，在ft-1和ft+1之間插入新的中間幀圖像ft即為幀速率上轉(zhuǎn)換，由于插入新的中間幀，使得視頻圖像的速率得到了提升?，F(xiàn)有的實(shí)現(xiàn)在原始幀之間插入新的中間幀的方法主要有幀復(fù)制、插黑幀、插灰?guī)?，上述方法完成中間幀的插入的原理為在找到連續(xù)兩個(gè)原始幀的同像素點(diǎn)，找到同像素點(diǎn)之間的估計(jì)點(diǎn)，實(shí)現(xiàn)中間幀的插入。假設(shè)ft-1中的一像素點(diǎn)A經(jīng)過一段時(shí)間的間隔后，有一個(gè)運(yùn)動(dòng)矢量的移動(dòng)，運(yùn)動(dòng)到了ft+1中的像素點(diǎn)B點(diǎn)的位置。利用A點(diǎn)和B點(diǎn)的獲得一C點(diǎn)為幀速率上轉(zhuǎn)換插入的中間幀ft的待插像素點(diǎn)。按照上述方法依次找到其他的待插像素點(diǎn)，最終實(shí)現(xiàn)中間幀的插入。由于上述方法主要是利用前后幀的各種線性組合來完成新的中間幀的插入，對(duì)于靜止場景下的中間幀插入可以得到比較好的效果。如果視頻圖像場景是運(yùn)動(dòng)的，連續(xù)兩幀圖像之間不存在線性關(guān)系，因此繼續(xù)使用上述方法插入新的中間幀就會(huì)使得圖像產(chǎn)生模糊和抖動(dòng)，影響視頻圖像的質(zhì)量。技術(shù)實(shí)現(xiàn)要素：本發(fā)明實(shí)施例中提供了一種幀速率上轉(zhuǎn)換方法及系統(tǒng)，減小幀速率上轉(zhuǎn)換中插入幀的抖動(dòng)性，提升了視頻圖像的質(zhì)量。第一方面，本發(fā)明實(shí)施例提供了一種幀速率上轉(zhuǎn)換方法，所述方法包括：對(duì)視頻圖像中相鄰的兩幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)，獲得第一內(nèi)插幀和第二內(nèi)插幀的運(yùn)動(dòng)矢量；將所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量進(jìn)行幀運(yùn)動(dòng)補(bǔ)償，獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀圖像；將所述第一內(nèi)插幀和第二內(nèi)插幀對(duì)應(yīng)的圖像進(jìn)行圖像融合，獲得插入幀圖像；對(duì)所述插入幀圖像進(jìn)行二次運(yùn)動(dòng)估計(jì)，補(bǔ)償其中的空洞。結(jié)合第一方面的實(shí)現(xiàn)方式，在第一方面第一種可能的實(shí)現(xiàn)方式中，所述對(duì)視頻圖像中相鄰的兩幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)包括：確定相鄰兩幀圖像的時(shí)間先后順序，將前一時(shí)刻的一幀圖像作為第一參考幀，將后一時(shí)刻的一幀圖像作為第二參考幀；將所述第一參考幀作為當(dāng)前幀，并將所述第一參考幀劃分為不重疊的小塊；進(jìn)行后向運(yùn)動(dòng)估計(jì)在所述第二參考幀中尋找與所述第一參考幀每個(gè)小塊的匹配塊；將所述第二參考幀作為當(dāng)前幀，并將所述第二參考幀劃分為不重疊的小塊；進(jìn)行前向運(yùn)動(dòng)估計(jì)在所述第一參考幀中尋找與所述第二參考幀每個(gè)小塊的匹配塊。結(jié)合第一方面第一種可能的實(shí)現(xiàn)方式，在第一方面第二種可能的實(shí)現(xiàn)方式中，所述獲得第一內(nèi)插幀和第二內(nèi)插幀的運(yùn)動(dòng)矢量包括：所述第一參考幀中的小塊與所述第二參考幀中對(duì)應(yīng)的匹配塊鏡像對(duì)稱，獲得第一內(nèi)插幀位置；所述第二參考幀中的小塊與所述第一參考幀中對(duì)應(yīng)的匹配塊鏡像對(duì)稱，獲得第二內(nèi)插幀位置；根據(jù)所述第一內(nèi)插幀位置和所述第二內(nèi)插幀位置獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量。結(jié)合第一方面的實(shí)現(xiàn)方式，在第一方面第三種可能的實(shí)現(xiàn)方式中，將所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量進(jìn)行幀運(yùn)動(dòng)補(bǔ)償，獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀圖像，包括：確定所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量對(duì)應(yīng)的所述第一內(nèi)插幀和所述第二內(nèi)插幀中的遮擋區(qū)和顯露區(qū)；分別對(duì)所述第一內(nèi)插幀和所述第二內(nèi)插幀中的遮擋區(qū)和顯露區(qū)進(jìn)行補(bǔ)償。結(jié)合第一方面的實(shí)現(xiàn)方式，在第一方面第四種可能的實(shí)現(xiàn)方式中，所述將第一內(nèi)插幀和第二內(nèi)插幀對(duì)應(yīng)的圖像進(jìn)行圖像融合，獲得插入幀圖像，包括：確定所述第一內(nèi)插幀和所述第二內(nèi)插幀中的空洞像素和非空洞像素；如果兩個(gè)內(nèi)插幀的對(duì)應(yīng)位置像素有一個(gè)內(nèi)插幀的像素為空洞像素，另一個(gè)內(nèi)插幀對(duì)應(yīng)為非空洞像素，則將插入幀圖像的對(duì)應(yīng)位置像素選擇非空洞像素；或者，如果兩個(gè)內(nèi)插幀對(duì)位置應(yīng)像素均為非空洞像素，則將插入幀圖像的對(duì)應(yīng)位置像素選擇兩個(gè)內(nèi)插幀對(duì)應(yīng)位置像素的平均值。第二方面，本發(fā)明實(shí)施例提供了一種幀速率上轉(zhuǎn)換系統(tǒng)，所述系統(tǒng)包括：運(yùn)動(dòng)估計(jì)模塊，用于對(duì)視頻圖像中相鄰的兩幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)，獲得第一內(nèi)插幀和第二內(nèi)插幀的運(yùn)動(dòng)矢量；運(yùn)動(dòng)補(bǔ)償模塊，用于將所述運(yùn)動(dòng)估計(jì)模塊獲得的第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量進(jìn)行幀運(yùn)動(dòng)補(bǔ)償，獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀圖像；圖像融合模塊，用于將所述運(yùn)動(dòng)補(bǔ)償模塊獲得的第一內(nèi)插幀和第二內(nèi)插幀對(duì)應(yīng)的圖像進(jìn)行圖像融合，獲得插入幀圖像；空洞修復(fù)模塊，用于對(duì)所述插入幀圖像進(jìn)行二次運(yùn)動(dòng)估計(jì)，補(bǔ)償其中的空洞。結(jié)合第二方面的實(shí)現(xiàn)方式，在第二方面第一種可能的實(shí)現(xiàn)方式中，所述運(yùn)動(dòng)估計(jì)模塊包括：第一確定單元，用于確定相鄰兩幀圖像的時(shí)間先后順序，將前一時(shí)刻的一幀圖像作為第一參考幀，將后一時(shí)刻的一幀圖像作為第二參考幀；后向運(yùn)動(dòng)單元，用于將所述第一參考幀作為當(dāng)前幀，并將所述第一參考幀劃分為不重疊的小塊，進(jìn)行后向運(yùn)動(dòng)估計(jì)在所述第二參考幀中尋找與所述第一參考幀每個(gè)小塊的匹配快；前向運(yùn)動(dòng)單元，用于將所述第二參考幀作為當(dāng)前幀，并將所述第二參考幀劃分為不重疊的小塊，進(jìn)行前向運(yùn)動(dòng)估計(jì)在所述第一參考幀中尋找與所述第二參考幀每個(gè)小塊的匹配塊。結(jié)合第二方面第一種可能的實(shí)現(xiàn)方式，在第二方面第二種可能的實(shí)現(xiàn)方式中，所述運(yùn)動(dòng)估計(jì)模塊還包括：第一獲取單元，用于將所述第一參考幀中的小塊與所述第二參考幀中對(duì)應(yīng)的匹配塊鏡像對(duì)稱，獲得第一內(nèi)插幀位置；第二獲取單元，用于將所述第二參考幀中的小塊與所述第一參考幀中對(duì)應(yīng)的匹配塊鏡像對(duì)稱，獲得第二內(nèi)插幀位置；計(jì)算單元，用于根據(jù)所述第一內(nèi)插幀位置和所述第二內(nèi)插幀位置獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量。結(jié)合第二方面的實(shí)現(xiàn)方式，在第二方面第三種可能的實(shí)現(xiàn)方式中，所述運(yùn)動(dòng)補(bǔ)償模塊包括：第二確定單元，用于確定所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量對(duì)應(yīng)的所述第一內(nèi)插幀和所述第二內(nèi)插幀中的遮擋區(qū)和顯露區(qū)；運(yùn)動(dòng)補(bǔ)償單元，分別對(duì)所述第一內(nèi)插幀和所述第二內(nèi)插幀中的遮擋區(qū)和顯露區(qū)進(jìn)行運(yùn)動(dòng)補(bǔ)償。結(jié)合第二方面的實(shí)現(xiàn)方式，在第二方面第四種可能的實(shí)現(xiàn)方式中，所述圖像融合模塊包括：第三確定單元，用于確定所述第一內(nèi)插幀和所述第二內(nèi)插幀中的空洞像素和非空洞像素；判決單元，用于如果兩個(gè)內(nèi)插幀的對(duì)應(yīng)位置像素有一個(gè)內(nèi)插幀的像素為空洞像素，另一個(gè)內(nèi)插幀對(duì)應(yīng)為非空洞像素，則將插入幀圖像的對(duì)應(yīng)位置像素選擇非空洞像素；或者，如果兩個(gè)內(nèi)插幀對(duì)位置應(yīng)像素均為非空洞像素，則將插入幀圖像的對(duì)應(yīng)位置像素選擇兩個(gè)內(nèi)插幀對(duì)應(yīng)位置像素的平均值。由以上技術(shù)方案可見，本發(fā)明實(shí)施例提供的一種幀速率上轉(zhuǎn)換方法，所述方法包括：對(duì)視頻圖像中相鄰的兩幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)，獲得第一內(nèi)插幀和第二內(nèi)插幀的運(yùn)動(dòng)矢量；將所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量進(jìn)行幀運(yùn)動(dòng)補(bǔ)償，獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀圖像；將所述第一內(nèi)插幀和第二內(nèi)插幀對(duì)應(yīng)的圖像進(jìn)行圖像融合，獲得插入幀圖像，對(duì)插入幀圖像進(jìn)行二次運(yùn)動(dòng)估計(jì)補(bǔ)償填補(bǔ)其中的空洞。根據(jù)兩個(gè)相鄰幀的圖形分別進(jìn)行單向運(yùn)動(dòng)估計(jì)，獲得兩個(gè)內(nèi)插幀的運(yùn)動(dòng)矢量，然后通過運(yùn)動(dòng)補(bǔ)償獲得兩個(gè)內(nèi)插幀的圖像，最后對(duì)兩內(nèi)插幀圖像進(jìn)行融合獲得插入幀圖像，對(duì)插入幀中的空洞通過二次運(yùn)動(dòng)估計(jì)補(bǔ)償來填補(bǔ)，獲得的插入幀圖像抖動(dòng)性小、圖像質(zhì)量高，更符合實(shí)際的視頻圖像的運(yùn)動(dòng)。應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。附圖說明為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，對(duì)于本領(lǐng)域普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為一種幀速率上轉(zhuǎn)換的原理圖；圖2為本發(fā)明實(shí)施例提供的一種幀速率上轉(zhuǎn)換方法示意圖；圖3為本發(fā)明實(shí)施例提供的一種單向運(yùn)動(dòng)估計(jì)原理圖；圖4為本發(fā)明實(shí)施例提供的一種區(qū)域劃分示意圖；圖5為為本發(fā)明實(shí)施例提供的一種幀速率上轉(zhuǎn)換系統(tǒng)示意圖。具體實(shí)施方式為了使本
技術(shù)領(lǐng)域：
的人員更好地理解本發(fā)明中的技術(shù)方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。參見圖2，為本發(fā)明實(shí)施例提供的一種幀速率上轉(zhuǎn)換方法示意圖；如圖2所示，本實(shí)施例提供的幀速率上轉(zhuǎn)換方法包括：S101，對(duì)視頻圖像中相鄰的兩幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)，獲得第一內(nèi)插幀和第二內(nèi)插幀的運(yùn)動(dòng)矢量。首先獲得相鄰的兩幀圖像，確定量幀圖像時(shí)間的先后順序，將前一時(shí)刻的一幀圖像作為第一參考幀，后一時(shí)刻的一幀圖像作為第二參考幀。將所述第一參考幀作為當(dāng)前幀，并將所述第一參考幀劃分為不重疊的小塊，進(jìn)行后向運(yùn)動(dòng)估計(jì)在所述第二參考幀中尋找與所述第一參考幀每個(gè)小塊對(duì)應(yīng)的匹配塊。將所述第二參考幀作為當(dāng)前幀，并將所述第二參考幀劃分為不重疊的小塊，進(jìn)行前向運(yùn)動(dòng)估計(jì)在所述第一參考幀中尋找與所述第二參考幀每個(gè)小塊對(duì)應(yīng)的匹配塊。然后將所述第一參考幀中的小塊與所述第二參考幀中對(duì)應(yīng)的匹配塊鏡像對(duì)稱，獲得第一內(nèi)插幀位置。所述第二參考幀中的小塊與所述第一參考幀中對(duì)應(yīng)的匹配快鏡像對(duì)稱，獲得第二內(nèi)插幀位置。根據(jù)所述第一內(nèi)插幀位置和所述第二內(nèi)插幀位置獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量。如圖3所示即為一種后向運(yùn)動(dòng)估計(jì)的原理圖，其中FP幀為所述第一參考幀作為當(dāng)前幀，F(xiàn)N幀為所述第二參考幀。將FP幀劃分為多個(gè)不重疊的小塊，然后在FN幀中尋找FP幀中每個(gè)小塊對(duì)應(yīng)的匹配塊。很據(jù)在FN幀中尋找到的匹配塊與匹配塊在FP幀中的對(duì)應(yīng)小塊的鏡像對(duì)稱獲得第一內(nèi)插幀的位置，即圖3中的FI幀。單向運(yùn)動(dòng)估計(jì)對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償公式如式(1)和式(2)所示。ft(i+12vx,j+12vy)=12[ft-1(i+vx,j+vy)+ft+1(i,j)]---(1)]]>ft(i+12vx,j+12vy)=12[ft-1(i,j)+ft+1(i+vx,j+vy)]---(2)]]>其中ft-1和ft+1分別表示前后時(shí)刻的兩幀圖像，即本實(shí)施例中的所述第一參考幀和第二參考幀，ft表示內(nèi)插幀，v＝(vx,vy)表示兩個(gè)參考幀之間的運(yùn)動(dòng)矢量。在公式(1)中將后一時(shí)刻的一幀圖像作為當(dāng)前幀，在前一時(shí)刻的一幀圖像中尋找匹配塊的運(yùn)動(dòng)估計(jì)，即為前向運(yùn)動(dòng)估計(jì)。公式(2)與公式(1)恰恰相反，是將前一時(shí)刻的一幀圖像作為當(dāng)前幀，到后一時(shí)刻的一幀圖像中尋找匹配塊，即為后向運(yùn)動(dòng)估計(jì)。為了提高運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，在執(zhí)行運(yùn)動(dòng)估計(jì)的過程中，采用相應(yīng)的匹配準(zhǔn)則?？紤]了運(yùn)動(dòng)矢量相關(guān)性和邊緣匹配的匹配準(zhǔn)則，如公式(3)E(ft-1,ft+1,mv)=Σx,y∈G[Dif_f(x,y)+λ·Dif_Hf(x,y)]+ρΣiDif_mvi---(3)]]>公式(3)中，λ和ρ為權(quán)重系數(shù)，G表示運(yùn)動(dòng)估計(jì)的塊所包含的區(qū)域。E(ft-1，ft+1,mv)最小值對(duì)應(yīng)的運(yùn)動(dòng)矢量即為最佳運(yùn)動(dòng)矢量。Dif_Hf(x,y)為邊緣匹配誤差，Dif_mvi為運(yùn)動(dòng)矢量相關(guān)因子，Dif_f(x,y)為塊匹配運(yùn)動(dòng)估計(jì)的平均絕對(duì)差匹配準(zhǔn)則。Dif_f(x,y)＝|ft-1(x,y)-ft+1(x,y,mv)|，Dif_Hf(x,y)＝|Hft-1(x,y)-Hft+1(x,y,mv)|，Hf(x,y)＝|f(x,y)-f(x+1,y)|+|f(x,y)-f(x,y+1)|。其中，Hft-1表示ft-1的高頻信息，即邊緣信息。mv＝(mvx,mvy)表示當(dāng)前塊的運(yùn)動(dòng)矢量。Dif_mvi＝||mvi-mv||＝|mvi,x-mvx|+|mvi,y-mvy|，其中mvi＝(mvi,x,mvi,y)，i＝1,2,3,4表示當(dāng)前塊4個(gè)相鄰快的運(yùn)動(dòng)矢量。為保證整個(gè)估計(jì)過程為順序執(zhí)行，即不需要迭代，相鄰塊取當(dāng)前塊的左上、上、右上和左塊。運(yùn)動(dòng)估計(jì)后的運(yùn)動(dòng)矢量不一定完全準(zhǔn)確，可能存在奇異運(yùn)動(dòng)矢量，所以在運(yùn)動(dòng)估計(jì)過后分別對(duì)獲得的兩個(gè)運(yùn)動(dòng)矢量場進(jìn)行校正，根據(jù)鄰域運(yùn)動(dòng)矢量的空間相關(guān)性去除奇異運(yùn)動(dòng)矢量，對(duì)運(yùn)動(dòng)矢量場進(jìn)行平滑，得到新的運(yùn)動(dòng)矢量場。這里采用選擇性矢量中值濾波，利用運(yùn)動(dòng)矢量相關(guān)性因子Dif_mvi來計(jì)算濾波窗內(nèi)的中值運(yùn)動(dòng)矢量與當(dāng)前塊運(yùn)動(dòng)矢量的差別，Dif_mvi表示輸出的中值運(yùn)動(dòng)矢量與當(dāng)前運(yùn)動(dòng)矢量的1-norm距離。若Dif_mvi大于預(yù)設(shè)閾值，則認(rèn)為該運(yùn)動(dòng)矢量為奇異運(yùn)動(dòng)矢量，需要對(duì)其進(jìn)行運(yùn)動(dòng)矢量平滑處理，否則保留原運(yùn)動(dòng)矢量不變。S102，將所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量進(jìn)行幀運(yùn)動(dòng)補(bǔ)償，獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀圖像；確定所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量對(duì)應(yīng)的所述第一內(nèi)插幀和所述第二內(nèi)插幀中的遮擋區(qū)和顯露區(qū)；分別對(duì)所述第一內(nèi)插幀和所述第二內(nèi)插幀中的遮擋區(qū)和顯露區(qū)進(jìn)行補(bǔ)償。遮擋、顯露問題是幀速率上轉(zhuǎn)換中影響插入幀圖像質(zhì)量的問題之一，遮擋、顯露問題的處理直接影響著最終的插幀圖像質(zhì)量，圖4為遮擋區(qū)和顯露區(qū)示意圖。傳統(tǒng)的遮擋、顯露問題的解決需要用到連續(xù)的3幀圖像，給硬件實(shí)現(xiàn)帶來了存儲(chǔ)和帶寬上的壓力。本文為解決遮擋/顯露問題，采用了一種復(fù)雜度較低且僅需采用2幀的算法，通過計(jì)算鄰域運(yùn)動(dòng)矢量的梯度判斷是否為遮擋/顯露區(qū)，然后對(duì)遮擋/顯露區(qū)采用不同的補(bǔ)償方式。鄰域運(yùn)動(dòng)矢量的梯度計(jì)算公式如下所示：▿mv(x,y)=[mvx(x+δ,y)-mvx(x-δ,y)]+[mvy(x,y+δ)-mvy(x,y-δ)]---(4)]]>δ表示一個(gè)很小的間隔(常數(shù)，可取1)。假設(shè)x軸正方向?yàn)橄蛳?，y軸正方向?yàn)橄蛴??？梢姡绻硎井?dāng)前位置為遮擋區(qū)，其運(yùn)動(dòng)矢量應(yīng)指向前一時(shí)刻的一幀圖像中的相同位置，相應(yīng)地，對(duì)于遮擋區(qū)應(yīng)采用前一時(shí)刻的一幀的圖像進(jìn)行補(bǔ)償。如果則表示當(dāng)前位置為顯露區(qū)，其運(yùn)動(dòng)矢量應(yīng)指向后一時(shí)刻的一幀圖像中的相同位置，相應(yīng)地，對(duì)于顯露區(qū)應(yīng)采用后一時(shí)刻的一幀圖像進(jìn)行補(bǔ)償。由于塊的劃分并不是自適應(yīng)的，即一個(gè)塊中可能既包含背景也包含目標(biāo)，所以這樣補(bǔ)償會(huì)在邊緣產(chǎn)生塊效應(yīng)。為解決這個(gè)問題，在補(bǔ)償時(shí)引入一個(gè)平滑函數(shù)w以改進(jìn)補(bǔ)償方式，以后向運(yùn)動(dòng)估計(jì)為例，補(bǔ)償方式如式(5)所示：ft(x+12mvx,y+12mvy)=(1-w)ft-1(x,y)+wft+1(x+mvx,y+mvy)---(5)]]>w=0,▿mv≤-Th(1Th▿mv+1)/2,|▿mv|<Th1,▿mv≥Th]]>其中，Th為一正的預(yù)設(shè)經(jīng)驗(yàn)閾值。S103，將所述第一內(nèi)插幀和第二內(nèi)插幀對(duì)應(yīng)的圖像進(jìn)行圖像融合，獲得插入幀圖像。由于本實(shí)施例中的的運(yùn)動(dòng)估計(jì)是單向運(yùn)動(dòng)估計(jì)，在獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀過程中是會(huì)產(chǎn)生空洞和疊加。對(duì)于產(chǎn)生的疊加，選擇對(duì)應(yīng)像素絕對(duì)差最小的運(yùn)動(dòng)矢量作為待插像素的運(yùn)動(dòng)矢量。二對(duì)于兩個(gè)內(nèi)插幀中的空洞，分別用掩膜hole_maskf和hole_maskb表示兩個(gè)內(nèi)插幀中的像素，值為1時(shí)表示當(dāng)前像素為空洞像素，0表示非空洞像素。確定所述第一內(nèi)插幀和所述第二內(nèi)插幀中的空洞像素和非空洞像素；如果兩個(gè)內(nèi)插幀的對(duì)應(yīng)位置像素有一個(gè)內(nèi)插幀的像素為空洞像素，另一個(gè)內(nèi)插幀對(duì)應(yīng)為非空洞像素，則將插入幀圖像的對(duì)應(yīng)位置像素選擇非空洞像素；如果兩個(gè)內(nèi)插幀對(duì)位置應(yīng)像素均為非空洞像素，則將插入幀圖像的對(duì)應(yīng)位置像素選擇兩個(gè)內(nèi)插幀對(duì)應(yīng)位置像素的平均值；如果兩個(gè)內(nèi)插幀對(duì)位置應(yīng)像素均為空洞像素，則對(duì)該位置進(jìn)行二次運(yùn)動(dòng)估計(jì)和補(bǔ)償。內(nèi)插完成后，將兩幀內(nèi)插幀進(jìn)行融合以減少空洞并提高圖像質(zhì)量，得到一個(gè)初始的估計(jì)內(nèi)插幀圖像，融合方法可由下式表示：S104，對(duì)所述插入幀圖像進(jìn)行二次運(yùn)動(dòng)估計(jì)，補(bǔ)償其中的空洞。如果兩個(gè)內(nèi)插幀對(duì)位置應(yīng)像素均為空洞像素，則對(duì)該位置進(jìn)行二次運(yùn)動(dòng)估計(jì)和補(bǔ)償來填補(bǔ)空洞。融合后的內(nèi)插幀仍然存在空洞，故需要對(duì)其進(jìn)行空洞的填補(bǔ)。由于空洞的形狀和大小依賴于視頻圖像的內(nèi)容和運(yùn)動(dòng)，并不固定，這使得傳統(tǒng)的填補(bǔ)空洞算法的計(jì)算次數(shù)也變得不固定，從而導(dǎo)致硬件實(shí)現(xiàn)的同步和實(shí)時(shí)性難以控制。因此，本發(fā)明提出了一種適合于硬件實(shí)現(xiàn)的空洞填補(bǔ)算法，利用固定的塊大小根據(jù)空洞周圍的有效像素信息采用二次運(yùn)動(dòng)估計(jì)來填補(bǔ)空洞。具體為將內(nèi)插幀分塊，若塊內(nèi)不存在空洞，則不需重新估計(jì)，否則以內(nèi)插幀中當(dāng)前塊為參考?jí)K，分別在前后幀中再次執(zhí)行單向運(yùn)動(dòng)估計(jì)以搜索最匹配的塊。在執(zhí)行二次單向運(yùn)動(dòng)估計(jì)計(jì)算匹配誤差時(shí)，由于當(dāng)前塊內(nèi)存在空洞所以只計(jì)算其中有效像素(非空洞像素)的對(duì)應(yīng)絕對(duì)差，而對(duì)于空洞像素則不做計(jì)算。如果參考?jí)K內(nèi)有效像素過少，則增加相鄰兩行兩列的像素，即擴(kuò)展m×n大小的匹配塊為(m+2)×(n+2)。得到前后兩幀中的對(duì)應(yīng)的匹配塊后，利用這兩幀中匹配塊對(duì)應(yīng)位置的像素來補(bǔ)償內(nèi)插幀中的空洞。二次估計(jì)得到補(bǔ)償像素的補(bǔ)償公式如下所示：ft,me(x,y)＝wt-1ft-1(x-mvx,t-1,y-mvy,t-1)+wt+1ft+1(x-mvx,t+1,y-mvy,t+1)(7)wt-1=SAD(ft,ft+1)SAD(ft,ft-1)+SAD(ft,ft+1)]]>wt+1=SAD(ft,ft-1)SAD(ft,ft-1)+SAD(ft,ft+1)]]>其中，(mvx,t-1,mvy,t-1)為在前一幀中尋找匹配塊所對(duì)應(yīng)的運(yùn)動(dòng)矢量，(mvx,t+1,mvy,t+1)為在后一幀中尋找匹配塊所對(duì)應(yīng)的運(yùn)動(dòng)矢量。由上述實(shí)施例可見，本發(fā)明實(shí)施例提供的一種幀速率上轉(zhuǎn)換方法，所述方法包括：對(duì)視頻圖像中相鄰的兩幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)，獲得第一內(nèi)插幀和第二內(nèi)插幀的運(yùn)動(dòng)矢量；將所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量進(jìn)行幀運(yùn)動(dòng)補(bǔ)償，獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀圖像；將所述第一內(nèi)插幀和第二內(nèi)插幀對(duì)應(yīng)的圖像進(jìn)行圖像融合，獲得插入幀圖像，對(duì)插入幀內(nèi)的空洞采用二次運(yùn)動(dòng)估計(jì)補(bǔ)償進(jìn)行填補(bǔ)。根據(jù)兩個(gè)相鄰幀的圖形分別進(jìn)行單向運(yùn)動(dòng)估計(jì)，獲得兩個(gè)內(nèi)插幀的運(yùn)動(dòng)矢量，然后通過運(yùn)動(dòng)補(bǔ)償獲得兩個(gè)內(nèi)插幀的圖像，最后對(duì)兩內(nèi)插幀圖像進(jìn)行融合獲得插入幀圖像，采用二次運(yùn)動(dòng)估計(jì)和補(bǔ)償來填補(bǔ)插入幀中的空洞。獲得的插入幀圖像抖動(dòng)性小、圖像質(zhì)量高，更符合實(shí)際的視頻圖像的運(yùn)動(dòng)。與本發(fā)發(fā)明實(shí)施例提供的一種幀速率上轉(zhuǎn)換方法下個(gè)對(duì)應(yīng)，本發(fā)明實(shí)施例還提供了一種幀速率上轉(zhuǎn)換系統(tǒng)的實(shí)施例。如圖5所示，所述幀速率上轉(zhuǎn)換系統(tǒng)包括：運(yùn)動(dòng)估計(jì)模塊201、運(yùn)動(dòng)補(bǔ)償模塊202、圖像融合模塊203和空洞修復(fù)模塊204。運(yùn)動(dòng)估計(jì)模塊201，用于對(duì)視頻圖像中相鄰的兩幀圖像進(jìn)行運(yùn)動(dòng)估計(jì)，獲得第一內(nèi)插幀和第二內(nèi)插幀的運(yùn)動(dòng)矢量；所述運(yùn)動(dòng)估計(jì)模塊包括：第一確定單元，用于確定相鄰兩幀圖像的時(shí)間先后順序，將前一時(shí)刻的一幀圖像作為第一參考幀，將后一時(shí)刻的一幀圖像作為第二參考幀；后向運(yùn)動(dòng)單元，用于將所述第一參考幀作為當(dāng)前幀，并將所述第一參考幀劃分為不重疊的小塊，進(jìn)行后向運(yùn)動(dòng)估計(jì)在所述第二參考幀中尋找與所述第一參考幀每個(gè)小塊的匹配快；前向運(yùn)動(dòng)單元，用于將所述第二參考幀作為當(dāng)前幀，并將所述第二參考幀劃分為不重疊的小塊，進(jìn)行前向運(yùn)動(dòng)估計(jì)在所述第一參考幀中尋找與所述第二參考幀每個(gè)小塊的匹配快。所述運(yùn)動(dòng)估計(jì)模塊還包括：第一獲取單元，用于將所述第一參考幀中的小塊與所述第二參考幀中對(duì)應(yīng)的匹配塊鏡像對(duì)稱，獲得第一內(nèi)插幀位置；第二獲取單元，用于將所述第二參考幀中的小塊與所述第一參考幀中對(duì)應(yīng)的匹配塊鏡像對(duì)稱，獲得第二內(nèi)插幀位置；計(jì)算單元，用于根據(jù)所述第一內(nèi)插幀位置和所述第二內(nèi)插幀位置獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償模塊202，用于將所述運(yùn)動(dòng)估計(jì)模塊獲得的第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量進(jìn)行幀運(yùn)動(dòng)補(bǔ)償，獲得所述第一內(nèi)插幀和所述第二內(nèi)插幀圖像；所述運(yùn)動(dòng)補(bǔ)償模塊包括：第二確定單元，用于確定所述第一內(nèi)插幀和所述第二內(nèi)插幀的運(yùn)動(dòng)矢量對(duì)應(yīng)的所述第一內(nèi)插幀和所述第二內(nèi)插幀中的遮擋區(qū)和顯露區(qū)；運(yùn)動(dòng)補(bǔ)償單元，分別對(duì)所述第一內(nèi)插幀和所述第二內(nèi)插幀中的遮擋區(qū)和顯露區(qū)進(jìn)行運(yùn)動(dòng)補(bǔ)償。圖像融合模塊203，用于將所述運(yùn)動(dòng)補(bǔ)償模塊獲得的第一內(nèi)插幀和第二內(nèi)插幀對(duì)應(yīng)的圖像進(jìn)行圖像融合，獲得插入幀圖像。所述圖像融合模塊包括：第三確定單元，用于確定所述第一內(nèi)插幀和所述第二內(nèi)插幀中的空洞像素和非空洞像素；判決單元，用于如果兩個(gè)內(nèi)插幀的對(duì)應(yīng)位置像素有一個(gè)內(nèi)插幀的像素為空洞像素，另一個(gè)內(nèi)插幀對(duì)應(yīng)為非空洞像素，則將插入幀圖像的對(duì)應(yīng)位置像素選擇非空洞像素；如果兩個(gè)內(nèi)插幀對(duì)位置應(yīng)像素均為非空洞像素，則將插入幀圖像的對(duì)應(yīng)位置像素選擇兩個(gè)內(nèi)插幀對(duì)應(yīng)位置像素的平均值?？斩葱迯?fù)模塊204，用于對(duì)所述插入幀圖像進(jìn)行二次運(yùn)動(dòng)估計(jì)，補(bǔ)償其中的空洞。如果兩個(gè)內(nèi)插幀對(duì)位置應(yīng)像素均為空洞像素，則對(duì)該位置進(jìn)行二次運(yùn)動(dòng)估計(jì)，補(bǔ)充其中的空洞像素。通過以上的方法實(shí)施例的描述，所屬領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實(shí)施方式。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。以上實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，可以根據(jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下，即可以理解并實(shí)施。需要說明的是，在本文中，諸如“第一”和“第二”等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。當(dāng)前第1頁1 2 3