一種應(yīng)用于視頻幀速率上轉(zhuǎn)換的插值幀生成方法
【專利摘要】本發(fā)明涉及視頻圖像處理領(lǐng)域，特別涉及一種應(yīng)用于視頻幀速率上轉(zhuǎn)換的插值幀生成方法，針對現(xiàn)有的塊匹配運(yùn)動(dòng)估計(jì)算法或多或少都會(huì)產(chǎn)生一些錯(cuò)誤的運(yùn)動(dòng)向量，并且局部誤差可能導(dǎo)致插值幀質(zhì)量急劇下降的問題，所提出的方法具有對運(yùn)動(dòng)向量的誤差敏感程度低的特點(diǎn)，從而具有較好的魯棒性。包括：(1)以多分辨率塊匹配算法由粗及精地估計(jì)運(yùn)動(dòng)向量場；(2)根據(jù)可靠性準(zhǔn)則判斷運(yùn)動(dòng)向量的可靠性；(3)運(yùn)動(dòng)向量場作分辨率提升處理，對由不可靠的塊分裂而成的子塊作進(jìn)一步的由候選向量確定初始位置、限制在較小區(qū)域內(nèi)的塊匹配搜索；(4)以運(yùn)動(dòng)補(bǔ)償?shù)男问綄⑤斎雸D像中的塊投影到插值幀，以計(jì)數(shù)圖記錄插值幀中的像素與輸入幀中像素的對應(yīng)關(guān)系，標(biāo)記那些非一一對應(yīng)的像素，以多候選時(shí)間域加權(quán)濾波計(jì)算這些像素的值。
【專利說明】一種應(yīng)用于視頻幀速率上轉(zhuǎn)換的插值幀生成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻圖像處理領(lǐng)域，特別涉及一種應(yīng)用于視頻幀速率上轉(zhuǎn)換的插值幀生成方法。
【背景技術(shù)】
[0002]幀速率上轉(zhuǎn)換是一種具有重要應(yīng)用價(jià)值的視頻圖像處理技術(shù)，通過在時(shí)域內(nèi)插出一些新的幀來提升幀速率，從而改善顯示設(shè)備顯示動(dòng)態(tài)畫面的性能，減少由于設(shè)備的顯示保持特性(以LCD為例，其每個(gè)像素在一幀的持續(xù)時(shí)間內(nèi)保持亮度不變)而引入的拖尾現(xiàn)象。幀速率上轉(zhuǎn)換的應(yīng)用場合包括:視頻格式轉(zhuǎn)換，如24幀/秒的電影在25幀/秒或30幀/秒播放速率的電視上播放；低碼率視頻編碼，即在編碼端以二分之一或更低的幀率編碼，以減少網(wǎng)絡(luò)傳輸對網(wǎng)絡(luò)帶寬的需求，而在解碼端，通過幀速率上轉(zhuǎn)換還原成正常速率的視頻；另外，在慢速回放的應(yīng)用中，幀速率上轉(zhuǎn)換技術(shù)也有其用武之地。
[0003]現(xiàn)有的幀速率上轉(zhuǎn)換算法粗略地可以劃分成兩大類:第一類算法不考慮運(yùn)動(dòng)物體幀間運(yùn)動(dòng)所產(chǎn)生的位置偏移，簡單地采用幀重復(fù)或幀平均產(chǎn)生新的插值幀，對于存在動(dòng)態(tài)區(qū)域的視頻，這一類算法不可避免地將引入幀間抖動(dòng)和運(yùn)動(dòng)模糊；第二類算法試圖在運(yùn)動(dòng)軌跡上插值每個(gè)像素，通過運(yùn)動(dòng)估計(jì)和鄰域?yàn)V波的緊密結(jié)合，實(shí)現(xiàn)減少幀間抖動(dòng)和運(yùn)動(dòng)模糊的目的?？梢灶A(yù)期，在大多數(shù)情況下，這一類算法具有比第一類算法更好的性能。
[0004]毋容置疑，在第二類算法中運(yùn)動(dòng)估計(jì)的精度將決定插值幀的質(zhì)量。解碼器從碼流中提取的運(yùn)動(dòng)向量是由編碼器采用某種快速匹配算法計(jì)算所得，在計(jì)算代價(jià)的角度，這樣的運(yùn)動(dòng)向量由解碼器直接從碼流中獲得，幾乎不耗費(fèi)額外的計(jì)算能力。然而，由于塊匹配搜索以最小化幀間冗余為目標(biāo)，所以很多時(shí)候這些運(yùn)動(dòng)向量并不反映物體的真實(shí)運(yùn)動(dòng)，以這樣的運(yùn)動(dòng)向量構(gòu)建運(yùn)動(dòng)軌跡將在插值幀中產(chǎn)生塊效應(yīng)和“鬼影”現(xiàn)象。為了獲得能更好地反映物體真實(shí)運(yùn)動(dòng)的運(yùn)動(dòng)向量，針對幀速率上轉(zhuǎn)換，解碼器可以采取兩種策略:對從碼流中提取的運(yùn)動(dòng)向量作某種形式的后處理，使得運(yùn)動(dòng)向量場更為平滑；或者，在解碼端重新估計(jì)更為準(zhǔn)確的運(yùn)動(dòng)向量。
[0005] 中國專利CN201110058013.0，將待求的插值幀劃分成較大的塊，以雙向運(yùn)動(dòng)估計(jì)求取各個(gè)大塊的運(yùn)動(dòng)向量，將每個(gè)大塊分解成若干個(gè)小塊，以大塊的運(yùn)動(dòng)向量為預(yù)測值對各個(gè)小塊進(jìn)行雙向運(yùn)動(dòng)估計(jì)，得到各個(gè)小塊的運(yùn)動(dòng)向量。文獻(xiàn)“A Mult1-Pass True MotionEstimation Scheme With Motion Vector Propagation for Frame Rate Up-ConversionApplications”(Tai S._C.等，Journal of Display Technology, 2008 (2):188-197)使用多遍的策略估計(jì)真實(shí)運(yùn)動(dòng)向量。在最初的幾遍，塊尺寸被設(shè)置成32X32，在后續(xù)的搜索過程中，塊尺寸逐步減小到16X16,8X8和4X4。每一遍搜索以后，以相鄰塊之間的運(yùn)動(dòng)向量差值是否小于一個(gè)閾值，以及由此運(yùn)動(dòng)向量產(chǎn)生的匹配誤差是否足夠小作為搜索是否收斂的準(zhǔn)則，進(jìn)而判斷塊的運(yùn)動(dòng)向量是否已具有足夠的精度，無需作進(jìn)一步的局部搜索。文獻(xiàn)“A Multistage Motion Vector Processing Method for Motion-Compensated FrameInterpolation^(IEEE Trans.1mage Process.，2008 (5):694-708)在解碼端以編碼器估計(jì)所得的、隨碼流一起傳送的運(yùn)動(dòng)向量作為輸入，根據(jù)殘差值將運(yùn)動(dòng)向量區(qū)分為不可靠(殘差較大)、可能可靠(殘差不大但至少與一個(gè)不可靠的宏塊相鄰)、可靠三類，合并那些相鄰的不可靠的宏塊，由參與合并的宏塊以及與其相鄰的宏塊的運(yùn)動(dòng)向量構(gòu)成候選運(yùn)動(dòng)向量集合，選擇那個(gè)具有最小匹配誤差的作為合并塊的運(yùn)動(dòng)向量。
[0006]運(yùn)動(dòng)向量場逐幀地給出了各個(gè)圖像塊的運(yùn)動(dòng)軌跡，由運(yùn)動(dòng)向量可將圖像塊以運(yùn)動(dòng)補(bǔ)償?shù)男问酵队暗讲逯祹?。為避免在邊緣產(chǎn)生塊間的不一致，文獻(xiàn)“Multiple HypothesesBayesian Frame Rate Up-Conversion by Adaptive Fusion of Motion-CompensatedInterpolations”(IEEE Trans.Circuits Syst.Video Technol.，2012 (8): 1188-1198)以多階段、且在不同的階段采用不同的塊尺寸的方式估計(jì)運(yùn)動(dòng)向量。這種方法使用多個(gè)向量場，每個(gè)向量場對應(yīng)一個(gè)運(yùn)動(dòng)假設(shè)，采用多假設(shè)Bayesian估計(jì)，且在模型中同時(shí)引入了時(shí)間域和空間域的相關(guān)性約束，以最大化后驗(yàn)概率的方式實(shí)現(xiàn)圖像插值。文獻(xiàn)“Motion-Compensated Frame Rate Up-Conversion—Part II:New Algorithms for FrameInterpolation”(IEEE Trans.Broadcast., 2010 (2):142-149)針對單向運(yùn)動(dòng)估計(jì)容易產(chǎn)生空洞、塊重疊等，以擴(kuò)大的塊進(jìn)行運(yùn)動(dòng)補(bǔ)償，且對塊中的像素按其所在位置設(shè)定不同的權(quán)值。他們的方法計(jì)算兩個(gè)向量場:前向運(yùn)動(dòng)向量場和后向運(yùn)動(dòng)向量場，分別以這兩個(gè)向量場通過運(yùn)動(dòng)補(bǔ)償產(chǎn)生兩個(gè)插值圖像，以加權(quán)合并的形式產(chǎn)生最后的插值圖像。
[0007]需要指出的是，無論使用哪種運(yùn)動(dòng)估計(jì)技術(shù)和后處理修正，或多或少都會(huì)存在一些錯(cuò)誤的運(yùn)動(dòng)向量，一些局部錯(cuò)誤也可能導(dǎo)致插值幀視覺質(zhì)量的急劇下降。

【發(fā)明內(nèi)容】

[0008]本發(fā)明所要解 決的技術(shù)問題在于提供一種應(yīng)用于視頻幀速率上轉(zhuǎn)換的插值幀生成方法，該方法具有對運(yùn)動(dòng)向量的誤差敏感程度較低，從而具有較好的魯棒性的特點(diǎn)。設(shè)輸入的連續(xù)三幀為IclUdP I2，待插值的幀為Ιμ(0〈ΛΚ1)，本發(fā)明所公開的一種應(yīng)用于視頻幀速率上轉(zhuǎn)換的插值幀生成方法，包括:
[0009](I)原圖像、和I1作縮小處理，將低分辨率的輸入圖像劃分成沒有重疊的塊，采用前向運(yùn)動(dòng)估計(jì)，以塊匹配算法搜索每個(gè)圖像塊的運(yùn)動(dòng)向量。
[0010](2)將輸入的未經(jīng)縮小的原始圖像劃分成沒有重疊的塊，且通過設(shè)置低分辨率和原始圖像的塊為合適的尺寸，使得低分辨率圖像的塊在X和Y方向各覆蓋原始圖像的兩個(gè)塊，由低分辨率圖像估計(jì)所得的運(yùn)動(dòng)向量確定初始搜索位置，以塊匹配搜索算法計(jì)算原始圖像各個(gè)塊的運(yùn)動(dòng)向量。
[0011](3)塊在X和Y方向各作一分為二的劃分，評價(jià)每個(gè)運(yùn)動(dòng)向量的可靠性，對不可靠的塊劃分而成的子塊，由其四鄰域中可靠的運(yùn)動(dòng)向量構(gòu)成候選向量集，分別由這些候選向量確定初始搜索位置，在較小的范圍內(nèi)搜索最佳匹配，且評價(jià)這些子塊的運(yùn)動(dòng)向量是否可
靠
[0012](4)采用那些可靠的運(yùn)動(dòng)向量，以運(yùn)動(dòng)補(bǔ)償?shù)男问綄tl中的塊投影到插值幀。并且，以假設(shè)運(yùn)動(dòng)物體在相鄰幀的時(shí)間間隔內(nèi)沿運(yùn)動(dòng)軌跡作平滑運(yùn)動(dòng)為基礎(chǔ)，由參與補(bǔ)償?shù)膲K以及插值幀與輸入幀之間的時(shí)間差值A(chǔ)t，確定插值幀中各個(gè)補(bǔ)償所得塊的運(yùn)動(dòng)向量。
[0013](5)標(biāo)記插值幀中的空洞區(qū)域和重疊區(qū)域，具體地，以計(jì)數(shù)圖C記錄補(bǔ)償所得的圖像像素與輸入圖像像素的對應(yīng)關(guān)系，若C(m，n)==0，則像素(i，j)不與輸入幀的任一個(gè)像素對應(yīng)，屬于空洞區(qū)域；SC(m，n)>l，則屬于重疊區(qū)域。將空洞區(qū)域和重疊區(qū)域的像素值置為NULL，含義為“值待確定”；計(jì)數(shù)值等于I的像素，則根據(jù)運(yùn)動(dòng)向量，直接從輸入幀Itl復(fù)制像素值。
[0014](6)檢測插值幀水平和垂直方向單個(gè)像素寬度的NULL像素，對這些像素采用水平或垂直方向平均的方式計(jì)算其像素值。
[0015](7)以窗口掃描的方式從上到下、從左到右掃描插值幀,若窗口內(nèi)包含值為NULL的像素則觸發(fā)多候選時(shí)間域加權(quán)濾波處理，包括:
[0016](7.1)設(shè)(p，q)是一個(gè)待確定值的像素，該像素所在的塊為Bp,q，以Bp,^塊3X3鄰域內(nèi)的運(yùn)動(dòng)向量為候選向量構(gòu)造候選向量集。
[0017](7.2)設(shè)(vx，vy)是集合中的一個(gè)向量，以Bp,,所在位置為基準(zhǔn)，(vx, vy)為偏移量確定^㈧在^中的對應(yīng)塊以為當(dāng)前塊，I2為參考圖像，(2vx，2vy)為候選向量確定
初始搜索位置，在一個(gè)較小的范圍內(nèi)尋找最佳匹配，記I2中的最佳匹配塊為5?;以為當(dāng)前塊，Itl為參考圖像，(-2vx,-2vy)為候選向量確定初始搜索位置，在一個(gè)較小的范圍內(nèi)尋找最佳匹配，記Itl中的最佳匹配塊為#丨。由此，對于每個(gè)候選向量，將產(chǎn)生兩對匹配塊^
和 5S AX ο
[0018](7.3)計(jì)算這些匹配塊之間的匹配誤差:
【權(quán)利要求】
1.一種應(yīng)用于視頻幀速率上轉(zhuǎn)換的插值幀生成方法，其特征在于，包括: 步驟一:對于輸入的兩幀Itl和I1,以快速塊匹配算法計(jì)算運(yùn)動(dòng)向量場Λ41)，其中的每個(gè)元素對應(yīng)Itl中的一個(gè)圖像塊，以向量的形式給出該塊與其在I1中的最佳匹配塊之間的相對偏移； 步驟二:根據(jù)如下的可靠性準(zhǔn)則判斷Mi0中的各個(gè)運(yùn)動(dòng)向量是否可靠， (1)空間域運(yùn)動(dòng)一致性準(zhǔn)則:按下式計(jì)算Bm,n塊與其四鄰域塊運(yùn)動(dòng)向量差值的最大值
Δ max=max {I vx (m, n) -vx (m+i, n+j) H vy (m, n) -vy (m+i, n+j) |} 其中i，j=0, ±1，且|i| Φ |j|，若Amax小于一個(gè)預(yù)先設(shè)定的閾值，則判定Bm, n塊位于運(yùn)動(dòng)一致區(qū)域，其運(yùn)動(dòng)向量可靠，否則不可靠，可靠的塊，跳過后續(xù)準(zhǔn)則(2)和(3)的判斷； (2)前后向運(yùn)動(dòng)向量一致性準(zhǔn)則:設(shè)Ici幀中左上角坐標(biāo)為(m，n)的塊Bnun的運(yùn)動(dòng)向量為(m+vx，n+vy)為左上角坐標(biāo)，取大小與Bnun相同的圖像塊，尋找該塊在I。幀中的最佳匹配，且計(jì)算兩者之間的相對偏移(ux，uy)，若下式成立，則(vx，vy)是Bm,n塊的可靠的運(yùn)動(dòng)向量，否則該運(yùn)動(dòng)向量不可靠:
Vx+Ux I +1 vy+uy I ( Tmv 其中Tmv是一個(gè)由實(shí)驗(yàn)確定的閾值，對于未被判定為不可靠的塊，以準(zhǔn)則(3)作進(jìn)一步的判斷； (3)匹配誤差準(zhǔn)則:設(shè)定r為不可靠的塊在所有塊中所占的比例，且認(rèn)為不可靠塊的匹配誤差將大于其它的部分，由此確定一個(gè)關(guān)于匹配誤差的閾值，若Bp,,塊的匹配誤差小于該閾值，則對應(yīng)的運(yùn)動(dòng)向量被判定為可靠，否則為不可靠； 使用(2)和(3)準(zhǔn)則判斷的某一塊，當(dāng)兩個(gè)準(zhǔn)則同時(shí)判定其為可靠，才作出肯定的判斷，若有一個(gè)準(zhǔn)則判定其為不可靠，則作出否定的判斷； 步驟三:運(yùn)動(dòng)向量場Mj0作分辨率提升處理，形成運(yùn)動(dòng)向量場，若Mg)的某塊具有可靠的運(yùn)動(dòng)向量，則Mj0)中與其對應(yīng)的四個(gè)子塊復(fù)制該運(yùn)動(dòng)向量，若Bm,η塊的運(yùn)動(dòng)向量不可靠，由其分裂而成的子塊，以其鄰域塊的運(yùn)動(dòng)向量構(gòu)成候選向量集，由候選運(yùn)動(dòng)向量確定初始搜索位置，在一個(gè)較小的搜索范圍內(nèi)作進(jìn)一步的塊匹配搜索； 步驟四:采用中可靠的運(yùn)動(dòng)向量，以運(yùn)動(dòng)補(bǔ)償?shù)男问綐?gòu)建插值幀，以計(jì)數(shù)圖C記錄補(bǔ)償所得圖像的像素和輸入圖像Itl中像素的對應(yīng)關(guān)系，若C(m，n)=l，則根據(jù)運(yùn)動(dòng)向量，直接從輸入幀復(fù)制像素值到插值幀的(m，η)像素，若C(m，n)==0，則將(m，η)歸為空洞區(qū)域，C(m, η) >1，則歸為重疊區(qū)域，將空洞和重疊區(qū)域的像素值置為“NULL”，同時(shí)，假設(shè)運(yùn)動(dòng)物體在相鄰幀的時(shí)間間隔內(nèi)沿運(yùn)動(dòng)軌跡作平滑運(yùn)動(dòng)，由參與補(bǔ)償?shù)膲K以及插值幀與輸入幀之間的時(shí)間差值A(chǔ)t，確定補(bǔ)償所得塊的運(yùn)動(dòng)向量； 步驟五:以塊掃描的形式從上到下、從左到右掃描插值圖像，若塊Bp,,包含了值為NULL的像素，則該像素的值以多候選時(shí)間域加權(quán)濾波的方式計(jì)算。
2.如權(quán)利要求1所述的應(yīng)用于幀速率上轉(zhuǎn)換的插值幀生成方法，其特征在于，所述步驟五以I1為當(dāng)前幀，它的前一幀Itl和后一幀I2作參考幀，對插值幀中值為NULL的像素作時(shí)間域加權(quán)濾波運(yùn)算，具體地，設(shè)塊Bp,q中像素(p，q)的值為NULL，對其的處理包含如下步驟:(1)以Bp,q3 X 3鄰域內(nèi)的運(yùn)動(dòng)向量構(gòu)成候選運(yùn)動(dòng)向量集； (2)對于候選向量集中的向量(vx，vy)，以Bp,,所在位置為基準(zhǔn)，(vx，vy)為偏移量確定Bp,,在I1中的對應(yīng)塊5?，以為當(dāng)前塊，I2為參考圖像，(2vx，2vy)為候選向量確定初始搜索位置，在一個(gè)較小的范圍內(nèi)尋找最佳匹配，記I2中的最佳匹配塊為5?，以5$為當(dāng)前塊，Itl為參考圖像，(-2vx,-2vy)為候選向量確定初始搜索位置，在一個(gè)較小的范圍內(nèi)尋找最佳匹配，記Itl中的最佳匹配塊為由此，對于每個(gè)候選向量，將產(chǎn)生兩對匹配塊:5?和
【文檔編號(hào)】H04N19/577GK103702128SQ201310731712
【公開日】2014年4月2日 申請日期:2013年12月24日 優(yōu)先權(quán)日:2013年12月24日
【發(fā)明者】王勛, 陳衛(wèi)剛, 時(shí)佳佳 申請人:浙江工商大學(xué)