運(yùn)動(dòng)補(bǔ)償幀速率上調(diào)方法和設(shè)備的制作方法
【專利摘要】描述了用一個(gè)當(dāng)前視頻幀、至少一個(gè)先前視頻幀以及一組傳輸運(yùn)動(dòng)矢量進(jìn)行視頻幀內(nèi)插的方法和設(shè)備。根據(jù)該組傳輸運(yùn)動(dòng)矢量，創(chuàng)建第一組運(yùn)動(dòng)矢量。確定一個(gè)中間視頻幀，其中該中間視頻幀包括大量相互不重疊的塊。為每一個(gè)非重疊的塊分配從第一組運(yùn)動(dòng)矢量中選出的至少一個(gè)運(yùn)動(dòng)矢量，以創(chuàng)建一組分配運(yùn)動(dòng)矢量。然后，根據(jù)該組分配運(yùn)動(dòng)矢量，創(chuàng)建第二組運(yùn)動(dòng)矢量。利用第二組運(yùn)動(dòng)矢量，生成一個(gè)視頻幀。
【專利說明】運(yùn)動(dòng)補(bǔ)償幀速率上調(diào)方法和設(shè)備
[0001]本申請(qǐng)是申請(qǐng)日為2005年05月04日、申請(qǐng)?zhí)枮?00580022318.9、發(fā)明名稱為“運(yùn)動(dòng)補(bǔ)償幀速率上調(diào)方法和設(shè)備”的中國(guó)專利申請(qǐng)的分案申請(qǐng)。
[0002]根據(jù)35U.S.C.119要求優(yōu)先權(quán)
[0003]本專利申請(qǐng)要求享受以下申請(qǐng)的優(yōu)先權(quán):
[0004]2004 年 5 月 4 日提交的、題為“METHOD AND APPARATUS FOR MOTION COMPENSATEDFRAME RATE UP CONVERSION FOR BLOCK-BASED LOW BIT-RATE VIDEO APPLICATION”的臨時(shí)申請(qǐng) N0.60/568，328 ；
[0005]2005年 3 月 22 日提交的、題為“METHOD AND APPARATUS FOR MOTION COMPENSATEDFRAME RATE UP CONVERSION FOR BLOCK-BASED LOW BIT-RATE VIDEO” 的臨時(shí)申請(qǐng)N0.60/664，679 ；
[0006]這兩份申請(qǐng)已轉(zhuǎn)讓給本發(fā)明的受讓人，故明確地以引用方式并入本申請(qǐng)。
發(fā)明領(lǐng)域
[0007]本發(fā)明的實(shí)施例一般涉及視頻壓縮，尤其涉及基于塊的低比特率視頻的幀速率上調(diào)方法和設(shè)備。
技術(shù)背景
[0008]由于有限的帶寬資源和可用帶寬的易變性，低比特率視頻壓縮在很多多媒體應(yīng)用(如無線視頻流和視頻電話)中都非常重要?？梢酝ㄟ^降低時(shí)間分辨率(temporalresolution)來實(shí)現(xiàn)以低比特率進(jìn)行帶寬適應(yīng)性視頻編碼。換句話說，可以將時(shí)間分辨率減半至15fps來降低傳輸比特率，以代替壓縮并發(fā)送一個(gè)30巾貞每秒(fps)的比特流。然而，降低時(shí)間分辨率所帶來的問題就是引入時(shí)域贗像(artifacts),如運(yùn)動(dòng)抖動(dòng)(motionjerkiness)，這會(huì)嚴(yán)重降低解碼后的視頻的視覺質(zhì)量。
[0009]為了在接收端顯示完全的幀速率，需要一種叫做幀速率上調(diào)的機(jī)制來重新生成漏掉的幀和降低時(shí)間贗像。
[0010]已經(jīng)提出很多FRUC算法，并可將其分成兩類。第一類算法利用接收到的視頻幀的聯(lián)合體對(duì)丟失幀進(jìn)行內(nèi)插，而不考慮對(duì)象的運(yùn)動(dòng)。幀重復(fù)和幀平均法適于這一類算法。當(dāng)存在運(yùn)動(dòng)時(shí)，這些方法的缺點(diǎn)包括:產(chǎn)生運(yùn)動(dòng)抖動(dòng)；出現(xiàn)“疊影”圖像；移動(dòng)對(duì)象模糊。第二類算法比第一類算法要先進(jìn)一些，其利用了傳輸?shù)倪\(yùn)動(dòng)信息，就是所說的運(yùn)動(dòng)補(bǔ)償(幀)內(nèi)插(MCI)方法。
[0011]如現(xiàn)有技術(shù)的圖1所示，在MCI中，基于重新構(gòu)造的當(dāng)前幀102、所存儲(chǔ)的前一幀104和一組傳輸運(yùn)動(dòng)矢量106，進(jìn)行丟失的幀108的內(nèi)插，所述丟失的幀是要內(nèi)插的幀。重新構(gòu)造的當(dāng)前幀102包括一組非重疊的塊150、152、154和156，后者與一組傳輸運(yùn)動(dòng)矢量106相關(guān)聯(lián)，而這組傳輸運(yùn)動(dòng)矢量106指向所存儲(chǔ)的前一幀104中的相應(yīng)塊?？梢酝ㄟ^對(duì)當(dāng)前幀和前一幀中的相應(yīng)像素進(jìn)行線性合并或者通過非線性運(yùn)算(如中值運(yùn)算)來構(gòu)造針對(duì)要內(nèi)插的幀108的內(nèi)插幀。[0012]基于塊的MCI會(huì)在要內(nèi)插的幀中弓丨入重疊區(qū)域(多個(gè)運(yùn)動(dòng)軌跡通過這個(gè)區(qū)域)和漏洞(沒有運(yùn)動(dòng)軌跡通過這個(gè)區(qū)域)區(qū)域。如圖3所示，要內(nèi)插的幀302包括重疊區(qū)域306和漏洞區(qū)域304。產(chǎn)生這兩類不理想?yún)^(qū)域的主要原因是:
[0013]1.運(yùn)動(dòng)對(duì)象沒有遵循嚴(yán)格的平移運(yùn)動(dòng)模型。
[0014]2.由于在譯碼器端使用的基于塊的快速運(yùn)動(dòng)搜索算法，MCI中所用的傳輸運(yùn)動(dòng)矢量可能并沒有指向?qū)嶋H的運(yùn)動(dòng)軌跡。
[0015]3.當(dāng)前幀和前一幀中存在隱蔽和非隱蔽背景。
[0016]重疊區(qū)域和漏洞區(qū)域的內(nèi)插是傳統(tǒng)的基于塊的運(yùn)動(dòng)補(bǔ)償方法中主要的技術(shù)難題。已提出中值模糊和空間內(nèi)插技術(shù)來填充這些重疊和漏洞區(qū)域。但是，這些方法的缺點(diǎn)是引入了模糊和成塊贗像(blocking artifacts)效應(yīng),并且還加大了內(nèi)插運(yùn)算的復(fù)雜性。

【發(fā)明內(nèi)容】

[0017]本申請(qǐng)的實(shí)施例提供了一個(gè)利用當(dāng)前視頻幀、至少一個(gè)先前視頻幀以及一組傳輸運(yùn)動(dòng)矢量來構(gòu)造內(nèi)插視頻幀的方法和設(shè)備。
[0018]在一個(gè)實(shí)施例中，該方法包括的步驟有:對(duì)該組傳輸運(yùn)動(dòng)矢量進(jìn)行平滑處理；針對(duì)要內(nèi)插的視頻幀中每個(gè)非重疊塊的中心點(diǎn)，定位一個(gè)運(yùn)動(dòng)矢量；針對(duì)當(dāng)前視頻幀和前一視頻幀中的每個(gè)塊，定位一個(gè)中心點(diǎn)；生成一組輸出運(yùn)動(dòng)矢量；對(duì)該組輸出運(yùn)動(dòng)矢量進(jìn)行平滑處理；然后，利用該組輸出運(yùn)動(dòng)矢量構(gòu)造內(nèi)插視頻幀。
[0019]在另一個(gè)實(shí)施例中，該設(shè)備包括存儲(chǔ)有指令的計(jì)算機(jī)可讀介質(zhì)，當(dāng)一個(gè)處理器執(zhí)行所存儲(chǔ)的指令時(shí)，使該處理器執(zhí)行構(gòu)造內(nèi)插視頻幀的方法。該方法包括的步驟有:對(duì)一組傳輸運(yùn)動(dòng)矢量進(jìn)行平滑處理；對(duì)于要內(nèi)插的視頻幀中每個(gè)非重疊塊的中心點(diǎn)，定位一個(gè)運(yùn)動(dòng)矢量；對(duì)于當(dāng)前視頻巾貞和前一視頻巾貞中的每個(gè)塊，定位一個(gè)中心點(diǎn)；生成一組輸出運(yùn)動(dòng)矢量；對(duì)該組輸出運(yùn)動(dòng)矢量進(jìn)行平滑處理；然后，用該組輸出運(yùn)動(dòng)矢量構(gòu)造內(nèi)插的視頻幀。
[0020]在又一個(gè)實(shí)施例中，所述設(shè)備包括視頻幀處理器，其用來接收包含多個(gè)視頻幀的輸入比特流。該視頻幀處理器包括:幀緩沖器，該幀緩沖器存儲(chǔ)了至少一個(gè)先前幀和一個(gè)當(dāng)前幀；運(yùn)動(dòng)矢量緩沖器，該運(yùn)動(dòng)矢量緩沖器存儲(chǔ)了與先前幀相關(guān)聯(lián)的至少一組運(yùn)動(dòng)矢量和當(dāng)前幀對(duì)應(yīng)的多個(gè)傳輸運(yùn)動(dòng)矢量；與運(yùn)動(dòng)矢量緩沖器和幀緩沖器相連接的第一運(yùn)動(dòng)矢量處理器，第一運(yùn)動(dòng)矢量處理器接收多個(gè)傳輸運(yùn)動(dòng)矢量以及產(chǎn)生首批輸出運(yùn)動(dòng)矢量；與第一運(yùn)動(dòng)矢量處理器相連接的運(yùn)動(dòng)估計(jì)模塊；模式確定模塊；一個(gè)幀速率上調(diào)器。
[0021]對(duì)于本領(lǐng)域技術(shù)人員來說，通過下面的詳細(xì)描述，其它目的、特征和優(yōu)點(diǎn)是顯而易見的。但需要明白的是，下面的詳細(xì)描述和具體實(shí)例雖然給出了示例性的實(shí)施例但這些只是說明性的，而不是局限性的。在不脫離本發(fā)明主旨的基礎(chǔ)上，在下面描述的范圍內(nèi)可以做出很多修改，而且，所述描述應(yīng)該理解為包括所有這類修改。
【專利附圖】

【附圖說明】
[0022]通過參照附圖，本發(fā)明將變得更加容易理解，其中:
[0023]圖1示出了用運(yùn)動(dòng)補(bǔ)償幀內(nèi)插值過程來構(gòu)造針對(duì)要內(nèi)插的幀的內(nèi)插幀；
[0024]圖2的圖形示出了分配給一個(gè)視頻幀內(nèi)部的像素的各種類；
[0025]圖3的圖形示出了一個(gè)要內(nèi)插的幀中的重疊區(qū)域和漏洞區(qū)域；[0026]圖4是FRUC系統(tǒng)的框圖；
[0027]圖5是FRUC系統(tǒng)中的運(yùn)動(dòng)矢量處理器的框圖；
[0028]圖6示出了圖4的FRUC系統(tǒng)執(zhí)行的種子雙向運(yùn)動(dòng)搜索；以及
[0029]圖7是FRUC系統(tǒng)的操作的流程圖。
[0030]在所有附圖中，相同的標(biāo)記表示相同的部件。
【具體實(shí)施方式】
[0031]本發(fā)明的實(shí)施例利用解碼器中的運(yùn)動(dòng)估計(jì)提供了一種方法，該方法可以避免在內(nèi)插幀中產(chǎn)生重疊區(qū)域和漏洞區(qū)域。在一個(gè)實(shí)施例中，通過把將要進(jìn)行內(nèi)插的幀(frame-to-be-1nterpolated)分割為非重疊塊并給每個(gè)非重疊塊分配一對(duì)運(yùn)動(dòng)矢量,可以降低在內(nèi)插幀中存在不理想重疊和漏洞區(qū)域的幾率?？梢杂媒獯a器中的運(yùn)動(dòng)估計(jì)模塊對(duì)這些運(yùn)動(dòng)矢量進(jìn)行估計(jì)。
[0032]如上所述，運(yùn)動(dòng)補(bǔ)償幀內(nèi)插算法的性能很大程度上取決于從編碼器傳輸過來的運(yùn)動(dòng)矢量的精確性。傳輸?shù)倪\(yùn)動(dòng)矢量可能由于以下原因并沒有描述出與之相關(guān)聯(lián)的運(yùn)動(dòng)對(duì)象的實(shí)際運(yùn)動(dòng)軌跡:
[0033]1.在所有基于塊的運(yùn)動(dòng)估計(jì)算法中使用的對(duì)僅僅是平移的嚴(yán)格成形的運(yùn)動(dòng)模型的假設(shè)不足以描述出自然運(yùn)動(dòng)的對(duì)象。
[0034]2.運(yùn)動(dòng)估計(jì)是對(duì)計(jì)算要求很高的處理。大部分視頻編碼器都以降低所得運(yùn)動(dòng)矢量的精確性為代價(jià)，采用快速運(yùn)動(dòng)估計(jì)算法來提高運(yùn)動(dòng)估計(jì)的速度。
[0035]3.如果在當(dāng)前或者先前幀中有覆蓋或者未覆蓋的區(qū)域，則運(yùn)動(dòng)估計(jì)可能會(huì)得到不可靠的矢量(即，運(yùn)動(dòng)矢量并沒有精確描述塊的運(yùn)動(dòng))。
[0036]4.很多運(yùn)動(dòng)估計(jì)技術(shù)通過把差的絕對(duì)值之和(SAD) /差的平方之和(SSD)作為失真度量來實(shí)現(xiàn)像素匹配方法。但是，SAD/SSD是統(tǒng)計(jì)學(xué)上的度量，故可能無法表現(xiàn)出在人們視覺感官中的失真。因此，這種運(yùn)動(dòng)估計(jì)可能無法表現(xiàn)出實(shí)際的運(yùn)動(dòng)方向。
[0037]5.很多運(yùn)動(dòng)估計(jì)算法是從速率最小化角度出發(fā)進(jìn)行優(yōu)化的，而不是從可感知的視覺質(zhì)量角度出發(fā)進(jìn)行優(yōu)化的。
[0038]當(dāng)內(nèi)插幀中的誤差與運(yùn)動(dòng)矢量的誤差變化直接相關(guān)時(shí)，基于塊的MCI試圖解決壓縮后運(yùn)動(dòng)矢量的不確定性。通過應(yīng)用運(yùn)動(dòng)矢量平滑技術(shù)，會(huì)減少內(nèi)插幀中由外部運(yùn)動(dòng)矢量引起的成塊贗像。在一個(gè)實(shí)施例中，本申請(qǐng)描述的系統(tǒng)還通過對(duì)運(yùn)動(dòng)矢量級(jí)進(jìn)行中值運(yùn)算而不是對(duì)像素級(jí)進(jìn)行中值運(yùn)算來減少圖像模糊。
[0039]圖4是FRUC系統(tǒng)400的框圖，該系統(tǒng)接收到達(dá)比特流402并且用二進(jìn)制解碼器406來提取:(1)一組運(yùn)動(dòng)矢量408，將其放在一個(gè)已存儲(chǔ)運(yùn)動(dòng)矢量緩沖器416中；(2)余數(shù)。反向量化/反向變換模塊412對(duì)余數(shù)410進(jìn)行處理，將其結(jié)果與已存儲(chǔ)先前幀緩沖器418中存儲(chǔ)的前一幀相結(jié)合來產(chǎn)生當(dāng)前幀。當(dāng)前幀存儲(chǔ)于當(dāng)前幀緩沖器420中。FRUC體系結(jié)構(gòu)400中的子系統(tǒng)450包括已存儲(chǔ)運(yùn)動(dòng)矢量緩沖器416、已存儲(chǔ)幀緩沖器418以及當(dāng)前幀緩沖器420，它包含了與實(shí)現(xiàn)一個(gè)實(shí)施例相關(guān)的特定功能模塊。具體而言，子系統(tǒng)450包括運(yùn)動(dòng)矢量處理器422、種子雙向運(yùn)動(dòng)估計(jì)模塊424、第二運(yùn)動(dòng)矢量處理器426、模式確定模塊428、幀速率上調(diào)器(FRUC)模塊430以及后處理單元432。下面結(jié)合圖5 — 7的描述進(jìn)一步說明子系統(tǒng)450中模塊的工作過程。[0040]圖7是根據(jù)一個(gè)實(shí)施例的FRUC體系結(jié)構(gòu)400的操作的流程圖。從步驟702開始，運(yùn)動(dòng)矢量處理器422對(duì)傳輸運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)矢量平滑操作，這些傳輸運(yùn)動(dòng)矢量來自已存儲(chǔ)運(yùn)動(dòng)矢量緩沖器416中存儲(chǔ)的當(dāng)前和先前幀?；仡檲D5，其中很詳細(xì)地描述了運(yùn)動(dòng)矢量處理器422，運(yùn)動(dòng)矢量處理器422從已存儲(chǔ)運(yùn)動(dòng)矢量緩沖器416接收運(yùn)動(dòng)矢量作為輸入。在一個(gè)實(shí)施例中，這些輸入運(yùn)動(dòng)矢量是當(dāng)前解碼幀的運(yùn)動(dòng)矢量。在另一個(gè)實(shí)施例中，這些輸入運(yùn)動(dòng)矢量既包括當(dāng)前巾貞中的運(yùn)動(dòng)矢量，還包括所有先前解碼巾貞中的運(yùn)動(dòng)矢量，這樣就提供了一個(gè)更實(shí)際和靈活的運(yùn)動(dòng)預(yù)測(cè)模型。該平滑操作包括對(duì)這組傳輸運(yùn)動(dòng)矢量中外部運(yùn)動(dòng)矢量進(jìn)行標(biāo)準(zhǔn)化，后面還將對(duì)此做進(jìn)一步描述。在一個(gè)實(shí)施例中，第一組運(yùn)動(dòng)矢量是根據(jù)這組傳輸運(yùn)動(dòng)矢量產(chǎn)生的，其中，首先將該組傳輸運(yùn)動(dòng)矢量劃分為兩部分，然后，基于第二部分運(yùn)動(dòng)矢量對(duì)第一部分運(yùn)動(dòng)矢量進(jìn)行修改，比如基于中值運(yùn)算，這會(huì)在下面做進(jìn)一步描述。
[0041]通過將當(dāng)前幀的運(yùn)動(dòng)矢量和前一幀的運(yùn)動(dòng)矢量相結(jié)合，可以擴(kuò)展恒定運(yùn)動(dòng)模型，以使其包括運(yùn)動(dòng)加速，這樣就可以比較這些運(yùn)動(dòng)矢量的絕對(duì)值之差來獲取加速度。一個(gè)更靈活的運(yùn)動(dòng)模型可以對(duì)要內(nèi)插的幀進(jìn)行更精確的運(yùn)動(dòng)軌跡構(gòu)造。當(dāng)先前幀的運(yùn)動(dòng)矢量被反轉(zhuǎn)時(shí)(也可以稱之為外插運(yùn)動(dòng)矢量)，反轉(zhuǎn)后的運(yùn)動(dòng)矢量會(huì)從前一幀指向該當(dāng)前幀，故可以用作后向運(yùn)動(dòng)矢量。在一個(gè)實(shí)施例中，如果該運(yùn)動(dòng)是恒定的，則后向運(yùn)動(dòng)矢量和前向運(yùn)動(dòng)矢量(當(dāng)前幀的運(yùn)動(dòng)矢量)需要相互對(duì)準(zhǔn)并且指向相反的方向。如果前向和后向運(yùn)動(dòng)矢量沒有對(duì)準(zhǔn)，則假設(shè)差值是由運(yùn)動(dòng)加速度引起的。在運(yùn)動(dòng)矢量平滑操作完成之后，操作就繼續(xù)進(jìn)行到步驟704。
[0042]運(yùn)動(dòng)矢量處理器422包括運(yùn)動(dòng)矢量縮放模塊502。運(yùn)動(dòng)矢量縮放模塊502根據(jù)要內(nèi)插的幀在當(dāng)前幀和前一幀之間的距離，對(duì)輸入的運(yùn)動(dòng)矢量進(jìn)行縮放，并且還考慮計(jì)算出的運(yùn)動(dòng)加速度。另外，運(yùn)動(dòng)矢量處理器422為支持可變塊尺寸運(yùn)動(dòng)矢量的視頻信號(hào)編解碼器提供了合并功能。一種這樣的標(biāo)準(zhǔn)是H.264標(biāo)準(zhǔn)，其是由國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化組(ITU-T)發(fā)布的，它支持形狀為16xl6、16x8、8xl6、8x8、8x4、4x8和4x4的運(yùn)動(dòng)矢量。合并功能把一些小的塊運(yùn)動(dòng)矢量合并成一個(gè)大的塊運(yùn)動(dòng)矢量。雖然合并功能之后得到的優(yōu)選形狀尺寸依賴于內(nèi)容，但是，在一個(gè)實(shí)施例中，將8x8的塊尺寸用在合并功能中。在一個(gè)實(shí)施例中，將合并功能實(shí)現(xiàn)成平均函數(shù)。對(duì)于線性運(yùn)動(dòng)(速度恒定)模型來說，縮放后的運(yùn)動(dòng)矢量的大小是與當(dāng)前運(yùn)動(dòng)矢量的大小成比例的，該比例與要內(nèi)插的幀和當(dāng)前幀之間的距離同當(dāng)前幀和前一幀之間的距離比率是相關(guān)，同時(shí)它的方向與當(dāng)前幀的運(yùn)動(dòng)矢量的方向相同。對(duì)于非線性運(yùn)動(dòng)(加速運(yùn)動(dòng))模型來說，縮放后的運(yùn)動(dòng)矢量的方向和大小同時(shí)依賴于要內(nèi)插的幀在當(dāng)前幀和前一幀之間的距離以及計(jì)算出來的運(yùn)動(dòng)加速度。在另一個(gè)實(shí)施例中，將合并功能實(shí)現(xiàn)成中值函數(shù)。在又一個(gè)實(shí)施例中，將合并功能實(shí)現(xiàn)成加權(quán)求和函數(shù)。在另外一個(gè)實(shí)施例中，將不同的函數(shù)予以結(jié)合，來實(shí)現(xiàn)合并功能。需要指出的是，本發(fā)明的實(shí)施例也適用于編碼器協(xié)助的FRUC (EA - FRUC)技術(shù)，其中編碼器可以發(fā)送額外的信息來協(xié)助解碼器中的FRUC模塊。比如，編碼器可以發(fā)送運(yùn)動(dòng)矢量、系數(shù)余數(shù)或者對(duì)于FRUC運(yùn)算來說“困難”的宏模塊對(duì)應(yīng)的指令。
[0043]運(yùn)動(dòng)矢量標(biāo)記模塊504對(duì)從運(yùn)動(dòng)矢量縮放模塊502獲取的縮放輸入運(yùn)動(dòng)矢量進(jìn)行分類。在一個(gè)實(shí)施例中，分類是根據(jù)從運(yùn)動(dòng)矢量處理器422的其它輸入端接收到的數(shù)據(jù)，也就是從解碼的幀數(shù)據(jù)中得到的補(bǔ)充信息522進(jìn)行的。補(bǔ)充信息522提供的分類信息包括:像素分類、相關(guān)區(qū)域、紋理信息的變化、亮度背景值的變化等，但又不限于這些。除了用于進(jìn)行運(yùn)動(dòng)矢量分類之外，這些信息還為自適應(yīng)平滑算法提供了指導(dǎo)。
[0044]在一個(gè)實(shí)施例中，根據(jù)運(yùn)動(dòng)矢量的大小和方向，用特定的運(yùn)動(dòng)矢量類標(biāo)記輸入運(yùn)動(dòng)矢量。比如，如果運(yùn)動(dòng)矢量相對(duì)于預(yù)定門限值是一個(gè)小量值的運(yùn)動(dòng)矢量并且該運(yùn)動(dòng)矢量是指向北的，則標(biāo)記所述運(yùn)動(dòng)矢量為小北(Small North)類。在一個(gè)實(shí)施例中，就方向而言，類包括北、南、西和東(以及其組合)，就大小而言，類還包括大、中、小作。在其它實(shí)施例中，可以采用其它適當(dāng)?shù)念悺?br> [0045]內(nèi)容自適應(yīng)運(yùn)動(dòng)矢量分類模塊506判斷輸入運(yùn)動(dòng)矢量是否為外部矢量，這是根據(jù)來自運(yùn)動(dòng)矢量標(biāo)記模塊504的標(biāo)記信息和來自解碼數(shù)據(jù)的內(nèi)容信息實(shí)現(xiàn)的。在一個(gè)實(shí)施例中，將當(dāng)前運(yùn)動(dòng)矢量的大小和方向跟它周圍的其它運(yùn)動(dòng)矢量的大小和方向進(jìn)行比較。比如，如果當(dāng)前運(yùn)動(dòng)矢量被標(biāo)記為小運(yùn)動(dòng)矢量(小量值)并且指向南同時(shí)它的鄰近運(yùn)動(dòng)矢量被標(biāo)記為大運(yùn)動(dòng)矢量(大量值)并且指向北，那么，將當(dāng)前運(yùn)動(dòng)矢量標(biāo)注為外部運(yùn)動(dòng)矢量。在另一個(gè)實(shí)施例中，分析當(dāng)前運(yùn)動(dòng)矢量指向的像素的類型。圖2示出了不同類型像素，包括MCI的運(yùn)動(dòng)對(duì)象(M0)208、未覆蓋的背景(UB)204、覆蓋的背景(CB)210、靜態(tài)背景(SB)202和邊緣206類，其中，一組箭頭212指示了在所示三個(gè)幀F(xiàn) (t-1)、F(t)、F(t+l)中的像素運(yùn)動(dòng)軌跡。具體而言，對(duì)于MCI，視頻幀中的每一個(gè)像素都可以歸為上面列出的五個(gè)類中的一個(gè)。利用分類信息，如果當(dāng)前運(yùn)動(dòng)矢量從當(dāng)前幀中的運(yùn)動(dòng)對(duì)象指向前一相關(guān)幀中的靜態(tài)背景，則將當(dāng)前運(yùn)動(dòng)矢量標(biāo)記為是外部的。
[0046]來自解碼數(shù)據(jù)的內(nèi)容信息和對(duì)處理過的輸入運(yùn)動(dòng)矢量進(jìn)行標(biāo)簽為內(nèi)容自適應(yīng)平滑濾波器508中的自適應(yīng)窗口尺寸選擇算法提供了所需的輸入。從先前處理過程中移除外部運(yùn)動(dòng)矢量以及總體的低通濾波器操作都是基于選中的處理窗口執(zhí)行的。在一個(gè)實(shí)施例中，在圖5中的內(nèi)容自適應(yīng)平滑濾波器508中執(zhí)行的平滑方法是中值運(yùn)算。在其它實(shí)施例中，中值運(yùn)算可以用均值(平均值)或者高斯類型的濾波器來代替。此外，也可以采用其它類型的標(biāo)準(zhǔn)化/線性/非線性濾波器。
[0047]正如下面進(jìn)一步描述的那樣，輸出運(yùn)動(dòng)矢量用于預(yù)測(cè)在種子雙向運(yùn)動(dòng)估計(jì)過程中的運(yùn)動(dòng)矢量的中心。這一步驟的關(guān)鍵是把將要內(nèi)插的幀劃分為非重疊的塊。正如描述的那樣，下面的步驟確定先前和當(dāng)前幀中相應(yīng)的中心像素以及把它們連接起來的運(yùn)動(dòng)軌跡，其中，將要內(nèi)插的幀中每個(gè)塊中心點(diǎn)經(jīng)過該運(yùn)動(dòng)軌跡。在先前和當(dāng)前幀中找到的像素中心的周圍，構(gòu)造與要內(nèi)插的塊大小一樣的塊。在一個(gè)實(shí)施例中，構(gòu)造出的塊可以重疊。在另一個(gè)實(shí)施例中，構(gòu)造出的塊不可以重疊。在又一個(gè)實(shí)施例中，構(gòu)造出的塊可以重疊，也可以不重疊。
[0048]再回到圖7，在步驟704中，對(duì)將要進(jìn)行內(nèi)插的幀中的每個(gè)非重疊塊來說，由種子雙向運(yùn)動(dòng)估計(jì)模塊424確定中心像素的運(yùn)動(dòng)矢量。該中心像素的運(yùn)動(dòng)矢量由圖6中的種子運(yùn)動(dòng)矢量620來表示。然后，繼續(xù)進(jìn)行步驟706的操作。
[0049]在步驟706中，雙向運(yùn)動(dòng)估計(jì)模塊424確定先前和當(dāng)前幀中塊的中心點(diǎn)。所述先前和當(dāng)前幀中的塊對(duì)應(yīng)于要內(nèi)插的幀中的非重疊塊。要內(nèi)插的塊的中心點(diǎn)應(yīng)當(dāng)位于種子運(yùn)動(dòng)矢量620上。
[0050]在步驟708中，通過執(zhí)行雙向運(yùn)動(dòng)搜索，找到集中在種子運(yùn)動(dòng)矢量620周圍的前向和后向運(yùn)動(dòng)矢量。在圖6描述的搜索過程中，示出了當(dāng)前幀602、前一幀604和要內(nèi)插的幀608。在一個(gè)實(shí)施例中，分別將搜索范圍618和616自適應(yīng)地分配到構(gòu)造出的塊614和612周圍，它們分別位于當(dāng)前幀和前一幀中。然后，在集中于構(gòu)造的塊周圍的當(dāng)前幀和前一幀之間執(zhí)行雙向運(yùn)動(dòng)估計(jì)。從當(dāng)前幀到前一幀的所得運(yùn)動(dòng)矢量被稱為前向運(yùn)動(dòng)矢量?；趶漠?dāng)前幀到前一幀的要內(nèi)插的幀距離和估計(jì)的運(yùn)動(dòng)加速模型，對(duì)該運(yùn)動(dòng)矢量進(jìn)行縮放。將分配給要內(nèi)插的塊的縮放運(yùn)動(dòng)矢量標(biāo)記為前向運(yùn)動(dòng)矢量。同樣，將后向運(yùn)動(dòng)矢量分配給從前一幀指向當(dāng)前幀的要內(nèi)插的塊。參照?qǐng)D6，該前向運(yùn)動(dòng)矢量用前向運(yùn)動(dòng)矢量622示出，而該后向運(yùn)動(dòng)矢量用后向運(yùn)動(dòng)矢量624示出。因此，在搜索區(qū)域616中匹配塊614以便將特定的失真度最小化，從而得到前向運(yùn)動(dòng)矢量622。在一個(gè)實(shí)施例中，要最小化的失真度可以是絕對(duì)值之和(SAD)。在另一個(gè)實(shí)施例中，要最小化的失真度是差值平方和(SSD)。在其它實(shí)施例中，也可以采用其它失真度，如基于統(tǒng)計(jì)的和人體視覺系統(tǒng)(HVS)的度量。同樣，在搜索區(qū)域618中匹配塊612，來獲得后向運(yùn)動(dòng)矢量624。在一個(gè)實(shí)施例中，這個(gè)操作可以限定在要內(nèi)插的幀的“漏洞”區(qū)域，從而減少解碼器的復(fù)雜性和降低所需的計(jì)算資源。
[0051]在步驟710中，第二運(yùn)動(dòng)矢量處理器426對(duì)步驟708中獲取的輸出運(yùn)動(dòng)矢量進(jìn)行第二運(yùn)動(dòng)矢量平滑操作。在一個(gè)實(shí)施例中，由于輸入(運(yùn)動(dòng)矢量域)及其執(zhí)行的功能不同，所以采取了兩個(gè)不同的運(yùn)動(dòng)矢量處理器。比如，如上所述，運(yùn)動(dòng)矢量處理器422執(zhí)行運(yùn)動(dòng)矢量縮放和合并功能，但是第二運(yùn)動(dòng)矢量處理器426并不執(zhí)行這些功能。在一個(gè)實(shí)施例中，第二運(yùn)動(dòng)矢量處理器426對(duì)所有輸入運(yùn)動(dòng)矢量執(zhí)行3x3中值濾波，其中，通過中值操作將鄰近當(dāng)前塊的八個(gè)塊的運(yùn)動(dòng)矢量與當(dāng)前塊的運(yùn)動(dòng)矢量結(jié)合起來。在另一個(gè)實(shí)施例中，因?yàn)檫\(yùn)動(dòng)矢量處理器422可以完成運(yùn)動(dòng)矢量處理器426提供的功能，所以可以利用相同的硬件來提供第二運(yùn)動(dòng)矢量的處理步驟。當(dāng)?shù)诙\(yùn)動(dòng)矢量平滑操作執(zhí)行完畢之后，繼續(xù)進(jìn)行步驟712的操作。
[0052]第二階段的運(yùn)動(dòng)矢量處理過程適用于從雙向運(yùn)動(dòng)估計(jì)模塊424得到的要內(nèi)插的幀的前向和后向運(yùn)動(dòng)矢量；比如，前向運(yùn)動(dòng)矢量622和后向運(yùn)動(dòng)矢量624。把平滑后的運(yùn)動(dòng)矢量用于運(yùn)動(dòng)補(bǔ)償內(nèi)插步驟中。根據(jù)失真度，對(duì)要內(nèi)插的塊進(jìn)行模式確定，如下所述。可以為雙向補(bǔ)償情形構(gòu)造出自適應(yīng)濾波器。在一個(gè)實(shí)施例中，最簡(jiǎn)單的濾波器是雙線性濾波器。在其它實(shí)施例中，也可以采用其它濾波器。
[0053]在步驟712中，模式確定模塊428確定在下一步中對(duì)于特定塊要使用哪些運(yùn)動(dòng)矢量。在一個(gè)實(shí)施例中，只使用前向運(yùn)動(dòng)矢量。在另一實(shí)施例中，只使用后向運(yùn)動(dòng)矢量。在又一實(shí)施例中，既使用前向運(yùn)動(dòng)矢量，還使用后向運(yùn)動(dòng)矢量。通常，模式確定模塊428依據(jù)下面各規(guī)則或其組合來確定采用哪些運(yùn)動(dòng)矢量:
[0054]I)與每個(gè)運(yùn)動(dòng)矢量相關(guān)聯(lián)的失真度。比如，在運(yùn)動(dòng)估計(jì)過程中，每個(gè)運(yùn)動(dòng)矢量有一個(gè)SAD值，該SAD值就可以用作上面提到的失真度。利用這個(gè)失真度，可以進(jìn)行簡(jiǎn)單的比較，來決定采用哪個(gè)運(yùn)動(dòng)矢量。在一個(gè)實(shí)施例中，選擇失真度最小的運(yùn)動(dòng)矢量。
[0055]2)內(nèi)容分類信息。具體而言，如果一個(gè)運(yùn)動(dòng)矢量的起始點(diǎn)和結(jié)束點(diǎn)屬于不同的內(nèi)容類，那么，這個(gè)運(yùn)動(dòng)矢量是不可靠的，故不會(huì)選擇它進(jìn)行最終的FRUC內(nèi)插處理。
[0056]3)兩個(gè)(前向和后向)運(yùn)動(dòng)矢量的對(duì)準(zhǔn)。如果兩個(gè)運(yùn)動(dòng)矢量沒有對(duì)準(zhǔn)，則不選擇雙向運(yùn)動(dòng)矢量?jī)?nèi)插，而是選擇失真度較小的運(yùn)動(dòng)矢量。
[0057]在步驟714中，運(yùn)動(dòng)補(bǔ)償內(nèi)插(幀速率上調(diào))是由幀速率上調(diào)器單元430完成的。在一個(gè)實(shí)施例中，內(nèi)插操作會(huì)在當(dāng)前和前一幀之間創(chuàng)建一個(gè)新的幀。在另一個(gè)實(shí)施例中，內(nèi)插操作可以N>2為基礎(chǔ)在FRUC上進(jìn)行，其中，F(xiàn)RUC單元430根據(jù)上下文/內(nèi)容和/或臨時(shí)冗余在多于2個(gè)的幀之間插入幀。一般來說，當(dāng)臨時(shí)冗余在鄰近的幀之間較高時(shí)一比如，運(yùn)動(dòng)域規(guī)則并且保持一個(gè)近似恒定的形狀，那么，可以跳過較多的幀，而且內(nèi)插的N>2個(gè)幀仍保持合理的感知質(zhì)量。通常來說，小運(yùn)動(dòng)(上下文)或者靜態(tài)背景主導(dǎo)的序列(比如，現(xiàn)場(chǎng)訪談剪輯)是N>2FRUC的良好候選方案。在N>2FRUC中，N的值可以是在編碼器端內(nèi)容自適應(yīng)地確定的。
[0058]在步驟716中，后處理單元432對(duì)在步驟712得到的內(nèi)插幀進(jìn)行后處理操作，來減少任何可能的成塊贗像。FRUC算法中的最后一個(gè)階段是對(duì)內(nèi)插幀進(jìn)行后處理，從而移除與基于塊的運(yùn)動(dòng)補(bǔ)償相關(guān)聯(lián)的潛在成塊贗像。在一個(gè)實(shí)施例中，采用了重疊的塊運(yùn)動(dòng)補(bǔ)償(OBMC)0在另一個(gè)實(shí)施例中，可以為此使用去除方塊效應(yīng)濾波。在這一步完成內(nèi)插幀的創(chuàng)建。
[0059]由于采用一種或其它方式的內(nèi)容的可用性或者由于網(wǎng)絡(luò)或運(yùn)營(yíng)商需要或者由于多種視頻編碼技術(shù)的共存，當(dāng)前的應(yīng)用通常需要支持多種編解碼。雙向和交互式視頻通信的出現(xiàn)，如視頻電話、視頻照相機(jī)以及便攜式攝像機(jī)的應(yīng)用，尤其是手持設(shè)備，已經(jīng)產(chǎn)生在多媒體處理器上實(shí)現(xiàn)視頻編碼器和解碼器的需要。
[0060]隨著硬件技術(shù)的發(fā)展，視頻接收設(shè)備的計(jì)算能力愈加強(qiáng)大。一些高端設(shè)備在解碼器中內(nèi)置了運(yùn)動(dòng)估計(jì)硬件模塊。在這種情形下，F(xiàn)RUC處理中的運(yùn)動(dòng)估計(jì)將最優(yōu)化地使用解碼器硬件資源，從而可以提高內(nèi)插幀的視覺質(zhì)量。
[0061]在多個(gè)實(shí)施例中描述的FRUC處理的潛在應(yīng)用包括下面:
[0062]1.通過在低比特率應(yīng)用的接收設(shè)備上提高時(shí)間分辨率，來改善觀看體驗(yàn)。
[0063]2.不同標(biāo)準(zhǔn)之間的或者同一視頻編碼標(biāo)準(zhǔn)的不同等級(jí)之間的視頻格式的轉(zhuǎn)碼。
[0064]結(jié)合本文公開的實(shí)施例所描述的方法或者算法的步驟可直接體現(xiàn)為硬件、由處理器執(zhí)行的軟件模塊或者這二者的組合。軟件模塊可能存在于RAM存儲(chǔ)器、閃存、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、移動(dòng)磁盤、⑶-ROM或者本領(lǐng)域熟知的任何其他形式的存儲(chǔ)介質(zhì)中。一種典型存儲(chǔ)介質(zhì)與處理器耦合，從而使得處理器能夠從該存儲(chǔ)介質(zhì)中讀信息，且可向該存儲(chǔ)介質(zhì)寫信息。在替換實(shí)例中，存儲(chǔ)介質(zhì)是處理器的組成部分。處理器和存儲(chǔ)介質(zhì)可能存在于一個(gè)ASIC中。該ASIC可能存在于一個(gè)用戶終端中。在一個(gè)替換實(shí)例中，處理器和存儲(chǔ)介質(zhì)可以作為用戶終端中的分立組件存在。
[0065]需要注意的是，本領(lǐng)域普通技術(shù)人員可以在多種公知通信硬件、處理器和系統(tǒng)上實(shí)現(xiàn)這里描述的方法。比如，對(duì)于讓客戶機(jī)按本申請(qǐng)所述那樣運(yùn)行的大體要求是，該客戶機(jī)應(yīng)具備:顯示器，用來顯示內(nèi)容和信息；處理器，用來控制客戶機(jī)的操作；存儲(chǔ)器用來存儲(chǔ)與客戶機(jī)操作相關(guān)的數(shù)據(jù)和程序。在一個(gè)實(shí)施例中，客戶機(jī)是蜂窩電話。在另一個(gè)實(shí)施例中，客戶機(jī)是具有通信功能的手持電腦。在又一個(gè)實(shí)施例中，客戶機(jī)是具有通信功能的個(gè)人電腦。另外，可以根據(jù)需要在客戶機(jī)中加入如GPS接收機(jī)這樣的硬件，從而實(shí)現(xiàn)這里描述的多種方案。利用通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或者其他可編程的邏輯器件、分立門或者晶體管邏輯、分立硬件組件或者它們之中的任意組合，可以實(shí)現(xiàn)或執(zhí)行結(jié)合本文公開的實(shí)施例描述的各種示例性的邏輯框圖、模塊和電路。通用處理器可能是微處理器，但是在另一種情況中，該處理器可能是任何常規(guī)的處理器、控制器、微控制器或者狀態(tài)機(jī)。處理器也可能被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如，DSP和微處理器的組合、多個(gè)微處理器、一個(gè)或者更多結(jié)合DSP核心的微處理器或者任何其他此種結(jié)構(gòu)。
[0066]利用通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或者其他可編程的邏輯器件、分立門或者晶體管邏輯、分立硬件組件或者它們之中的任意組合，可以實(shí)現(xiàn)或執(zhí)行結(jié)合本文公開的實(shí)施例描述的各種示例性的邏輯框圖、模塊和電路。通用處理器可能是微處理器，但是在另一種情況中，該處理器可能是任何常規(guī)的處理器、控制器、微控制器或者狀態(tài)機(jī)。處理器也可能被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如，DSP和微處理器的組合、多個(gè)微處理器、一個(gè)或者更多結(jié)合DSP核心的微處理器或者任何其他此種結(jié)構(gòu)。
[0067]上面描述的實(shí)施例是示例性的實(shí)施例。在不違背本申請(qǐng)所公開發(fā)明構(gòu)思的前提下，本領(lǐng)域技術(shù)人員現(xiàn)在可以多種方式使用上述描述的實(shí)施例以及在此基礎(chǔ)上設(shè)計(jì)出新的方案。對(duì)于本領(lǐng)域技術(shù)人員來說，這些實(shí)施例的各種修改是顯而易見的，這里定義的通用原則可以適用于其它實(shí)施例，而不違背這里描述的原理和新穎特征，比如，在即時(shí)消息傳送服務(wù)或者任何普通的無線數(shù)據(jù)通信設(shè)備中。因此，本發(fā)明并不限于本文示出的實(shí)施例，而是與符合本文公開的原理和新穎特征的最廣范圍相一致。本申請(qǐng)中專用的“示例性”一詞意味著“用作例子、例證或說明”。本申請(qǐng)中描述為“示例性的”任何實(shí)施例不應(yīng)解釋為較其他實(shí)施例優(yōu)選或有優(yōu)勢(shì)。
【權(quán)利要求】
1.至少一個(gè)處理器，實(shí)現(xiàn)利用一個(gè)當(dāng)前的視頻幀、至少一個(gè)先前的視頻幀以及一組傳輸運(yùn)動(dòng)矢量進(jìn)行視頻幀內(nèi)插的方法，所述方法包括: 根據(jù)該組傳輸運(yùn)動(dòng)矢量，創(chuàng)建第一組運(yùn)動(dòng)矢量； 確定一個(gè)中間視頻幀，所述中間視頻幀包括多個(gè)非重疊塊； 為每個(gè)非重疊塊分配從所述第一組運(yùn)動(dòng)矢量中選出的至少一個(gè)運(yùn)動(dòng)矢量，以創(chuàng)建一組分配運(yùn)動(dòng)矢量； 根據(jù)該組分配運(yùn)動(dòng)矢量，創(chuàng)建第二組運(yùn)動(dòng)矢量；以及， 利用所述第二組運(yùn)動(dòng)矢量，生成一個(gè)視頻幀。
2.如權(quán)利要求1所述的至少一個(gè)處理器，其中，根據(jù)該組傳輸運(yùn)動(dòng)矢量創(chuàng)建第一組運(yùn)動(dòng)矢量包括: 把該組傳輸運(yùn)動(dòng)矢量劃分為第一部分運(yùn)動(dòng)矢量和第二部分運(yùn)動(dòng)矢量；以及， 根據(jù)所述第二部分運(yùn)動(dòng)矢量，修改所述第一部分運(yùn)動(dòng)矢量。
3.如權(quán)利要求1所述的至少一個(gè)處理器，其中，為每個(gè)非重疊塊分配至少一個(gè)運(yùn)動(dòng)矢量包括: 確定種子運(yùn)動(dòng)矢量；以及， 基于所述種子運(yùn)動(dòng)矢量，執(zhí)行運(yùn)動(dòng)矢量搜索。
4.如權(quán)利要求3所述的至少一個(gè)處理器，其中`，確定種子運(yùn)動(dòng)矢量包括: 對(duì)經(jīng)過所述非重疊塊的中心的運(yùn)動(dòng)矢量進(jìn)行定位。
5.如權(quán)利要求3所述的至少一個(gè)處理器，其中，基于所述種子運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)矢量搜索包括: 執(zhí)行雙向運(yùn)動(dòng)矢量搜索。
6.如權(quán)利要求5所述的至少一個(gè)處理器，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 在所述至少一個(gè)先前視頻幀中構(gòu)造一個(gè)先前視頻幀搜索塊； 將第一搜索范圍分配給所述當(dāng)前視頻幀的一部分；以及， 基于第一預(yù)定標(biāo)準(zhǔn)，在所述第一搜索范圍中搜索與所述先前視頻幀搜索塊相匹配的第一匹配塊。
7.如權(quán)利要求6所述的至少一個(gè)處理器，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 在所述當(dāng)前視頻幀中構(gòu)造一個(gè)當(dāng)前視頻幀搜索塊； 把第二搜索范圍分配給所述至少一個(gè)先前視頻幀的一部分；以及， 基于第二預(yù)定標(biāo)準(zhǔn)，在所述第二搜索范圍中搜索與所述當(dāng)前視頻幀搜索塊相匹配的第二匹配塊。
8.如權(quán)利要求6所述的至少一個(gè)處理器，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 基于所述第一匹配塊，定位第一運(yùn)動(dòng)矢量。
9.如權(quán)利要求9所述的至少一個(gè)處理器，其中，所述第一預(yù)定標(biāo)準(zhǔn)基于失真度。
10.如權(quán)利要求9所述的至少一個(gè)處理器，其中，所述第一預(yù)定標(biāo)準(zhǔn)基于將所述失真度最小化。
11.如權(quán)利要求9所述的至少一個(gè)處理器，其中，所述失真度基于所述第一匹配塊和所述先前視頻幀搜索塊之間的差的絕對(duì)值之和。
12.如權(quán)利要求9所述的至少一個(gè)處理器，其中，所述失真度基于所述第一匹配塊和所述先前視頻幀搜索塊之間的差的平方之和。
13.如權(quán)利要求9所述的至少一個(gè)處理器，其中，所述失真度基于一個(gè)基于人體視覺系統(tǒng)的度量。
14.如權(quán)利要求9所述的至少一個(gè)處理器，其中，所述失真度基于統(tǒng)計(jì)。
15.如權(quán)利要求1所述的至少一個(gè)處理器，其中，該組傳輸運(yùn)動(dòng)矢量包括多個(gè)當(dāng)前幀運(yùn)動(dòng)矢量和多個(gè)先前幀運(yùn)動(dòng)矢量。
16.一種利用一個(gè)當(dāng)前視頻幀、至少一個(gè)先前視頻幀以及一組傳輸運(yùn)動(dòng)矢量進(jìn)行視頻幀內(nèi)插的方法，所述方法包括: 根據(jù)該組傳輸運(yùn)動(dòng)矢量，創(chuàng)建第一組運(yùn)動(dòng)矢量； 確定一個(gè)中間視頻幀，所述中間視頻幀包含多個(gè)非重疊塊； 為每個(gè)非重疊塊分配從所述第一組運(yùn)動(dòng)矢量中選出的至少一個(gè)運(yùn)動(dòng)矢量，以創(chuàng)建一組分配運(yùn)動(dòng)矢量； 根據(jù)該組分配運(yùn)動(dòng)矢量，創(chuàng)建第二組運(yùn)動(dòng)矢量；以及， 利用所述第二組運(yùn)動(dòng)矢量，生成一個(gè)視頻幀。
17.如權(quán)利要求16所述的視頻幀內(nèi)插方法，其中，根據(jù)該組傳輸運(yùn)動(dòng)矢量創(chuàng)建第一組運(yùn)動(dòng)矢量包括: 把該組傳輸運(yùn)動(dòng)矢量劃分為第一部分運(yùn)動(dòng)矢量和第二部分運(yùn)動(dòng)矢量；以及， 根據(jù)所述第二部分運(yùn)動(dòng)矢量，修改所述第一部分運(yùn)動(dòng)矢量。`
18.如權(quán)利要求16所述的視頻幀內(nèi)插方法，其中，為每個(gè)非重疊塊分配至少一個(gè)運(yùn)動(dòng)矢量包括: 確定種子運(yùn)動(dòng)矢量；以及， 基于所述種子運(yùn)動(dòng)矢量，執(zhí)行運(yùn)動(dòng)矢量搜索。
19.如權(quán)利要求18所述的視頻幀內(nèi)插方法，其中，確定種子運(yùn)動(dòng)矢量包括: 對(duì)經(jīng)過所述非重疊塊的中心的運(yùn)動(dòng)矢量進(jìn)行定位。
20.如權(quán)利要求18所的述視頻幀內(nèi)插方法，其中，基于所述種子運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)矢量搜索包括: 執(zhí)行雙向運(yùn)動(dòng)矢量搜索。
21.如權(quán)利要求20所述的視頻幀內(nèi)插方法，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 在所述至少一個(gè)先前視頻幀中構(gòu)造一個(gè)先前視頻幀搜索塊； 把第一搜索范圍分配給所述當(dāng)前視頻幀的一部分；以及， 基于第一預(yù)定標(biāo)準(zhǔn)，在所述第一搜索范圍中搜索與所述先前視頻幀搜索塊相匹配的第一匹配塊。
22.如權(quán)利要求21所述的視頻幀內(nèi)插方法，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 在所述當(dāng)前視頻幀中構(gòu)造一個(gè)當(dāng)前視頻幀搜索塊； 把第二搜索范圍分配給所述至少一個(gè)先前視頻幀的一部分；以及， 基于第二預(yù)定標(biāo)準(zhǔn)，在所述第二搜索范圍中搜索與所述當(dāng)前視頻幀搜索塊相匹配的第二匹配塊。
23.如權(quán)利要求21所述的視頻幀內(nèi)插方法，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 基于所述第一匹配塊，定位第一運(yùn)動(dòng)矢量。
24.如權(quán)利要求21所述的視頻幀內(nèi)插方法，其中，所述第一預(yù)定標(biāo)準(zhǔn)基于失真度。
25.如權(quán)利要求24所述的視頻幀內(nèi)插方法，其中，所述第一預(yù)定標(biāo)準(zhǔn)基于將所述失真度最小化。
26.如權(quán)利要求24所述的視頻幀內(nèi)插方法，其中，所述失真度基于所述第一匹配塊和所述先前視頻幀搜索塊之間的差的絕對(duì)值之和。
27.如權(quán)利要求24所述的視頻幀內(nèi)插方法，其中，所述失真度基于所述第一匹配塊和所述先前視頻幀搜索塊之間的差的平方之和。
28.如權(quán)利要求24所述的視頻幀內(nèi)插方法，其中，所述失真度基于一個(gè)基于人體視覺系統(tǒng)的度量。
29.如權(quán)利要求24所述的創(chuàng)建內(nèi)插視頻幀方法，其中，所述失真度基于統(tǒng)計(jì)。
30.如權(quán)利要求16所述的創(chuàng)建內(nèi)插視頻幀方法，其中，該組傳輸運(yùn)動(dòng)矢量包括多個(gè)當(dāng)前幀運(yùn)動(dòng)矢量和多個(gè)先前幀運(yùn)動(dòng)矢量。
31.一種存儲(chǔ)有指令的計(jì)算機(jī)可讀介質(zhì)，當(dāng)處理器執(zhí)行所存儲(chǔ)的指令時(shí)，使所述處理器執(zhí)行用一個(gè)當(dāng)前視頻幀、至少一個(gè)先前視頻幀以及一組傳輸運(yùn)動(dòng)矢量進(jìn)行視頻幀內(nèi)插的方法，所述方法包括: 根據(jù)該組傳輸運(yùn)動(dòng)矢 量，創(chuàng)建第一組運(yùn)動(dòng)矢量； 確定一個(gè)中間視頻幀，所述中間視頻幀包括多個(gè)非重疊的塊； 為每個(gè)非重疊塊分配從所述第一組運(yùn)動(dòng)矢量中選出的至少一個(gè)運(yùn)動(dòng)矢量，以創(chuàng)建一組分配運(yùn)動(dòng)矢量； 根據(jù)該組分配運(yùn)動(dòng)矢量，創(chuàng)建第二組運(yùn)動(dòng)矢量；以及， 利用所述第二組運(yùn)動(dòng)矢量，生成一個(gè)視頻幀。
32.如權(quán)利要求31所述的計(jì)算機(jī)可讀介質(zhì)，其中，根據(jù)該組傳輸運(yùn)動(dòng)矢量創(chuàng)建第一組運(yùn)動(dòng)矢量包括: 把該組傳輸運(yùn)動(dòng)矢量劃分為第一部分運(yùn)動(dòng)矢量和第二部分運(yùn)動(dòng)矢量；以及， 根據(jù)所述第二部分運(yùn)動(dòng)矢量，修改所述第一部分運(yùn)動(dòng)矢量。
33.如權(quán)利要求31所述的計(jì)算機(jī)可讀介質(zhì)，其中，為每個(gè)非重疊塊分配至少一個(gè)運(yùn)動(dòng)矢量包括: 確定種子運(yùn)動(dòng)矢量；以及， 基于所述種子運(yùn)動(dòng)矢量，執(zhí)行運(yùn)動(dòng)矢量搜索。
34.如權(quán)利要求33所述的計(jì)算機(jī)可讀介質(zhì)，其中，確定種子運(yùn)動(dòng)矢量包括: 對(duì)經(jīng)過所述非重疊塊的中心的運(yùn)動(dòng)矢量進(jìn)行定位。
35.如權(quán)利要求33所述的計(jì)算機(jī)可讀介質(zhì)，其中，基于所述種子運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)矢量搜索包括: 執(zhí)行雙向運(yùn)動(dòng)矢量搜索。
36.如權(quán)利要求35所述的計(jì)算機(jī)可讀介質(zhì)，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 在所述至少一個(gè)先前視頻幀中構(gòu)造一個(gè)先前視頻幀搜索塊； 把第一搜索范圍分配給所述當(dāng)前視頻幀的一部分；以及， 基于第一預(yù)定標(biāo)準(zhǔn)，在所述第一搜索范圍中搜索與所述先前視頻幀搜索塊相匹配的第一匹配塊。
37.如權(quán)利要求36所述的計(jì)算機(jī)可讀介質(zhì)，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 在所述當(dāng)前視頻幀中構(gòu)造一個(gè)當(dāng)前視頻幀搜索塊； 把第二搜索范圍分配給所述至少一個(gè)先前視頻幀的一部分；以及， 基于第二預(yù)定標(biāo)準(zhǔn)，在所述第二搜索范圍中搜索與所述當(dāng)前視頻幀搜索塊相匹配的第二匹配塊。
38.如權(quán)利要求36所述的計(jì)算機(jī)可讀介質(zhì)，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索包括: 基于所述第一匹配塊，定位第一運(yùn)動(dòng)矢量。
39.如權(quán)利要求36所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述第一預(yù)定標(biāo)準(zhǔn)基于失真度。
40.如權(quán)利要求39所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述第一預(yù)定標(biāo)準(zhǔn)基于將所述失真度最小化。
41.如權(quán)利要求39所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述失真度基于所述第一匹配塊和所述先前視頻幀搜索塊之間的差的絕對(duì)值之和。
42.如權(quán)利要求39所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述失真度基于所述第一匹配塊和所述先前視頻幀搜索塊之間的差的平方之和。
43.如權(quán)利要求39所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述失真度基于一個(gè)基于人體視覺系統(tǒng)的度量。
44.如權(quán)利要求39所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述失真度基于統(tǒng)計(jì)。
45.如權(quán)利要求31所述的計(jì)算機(jī)可讀介質(zhì)，其中，該組傳輸運(yùn)動(dòng)矢量包括多個(gè)當(dāng)前幀運(yùn)動(dòng)矢量和多個(gè)先前幀運(yùn)動(dòng)矢量。
46.一種用一個(gè)當(dāng)前視頻幀、至少一個(gè)先前視頻幀以及一組傳輸運(yùn)動(dòng)矢量進(jìn)行視頻幀內(nèi)插的設(shè)備，包括: 根據(jù)該組傳輸運(yùn)動(dòng)矢量創(chuàng)建第一組運(yùn)動(dòng)矢量的模塊； 確定中間視頻幀的模塊，所述中間視頻幀包括多個(gè)非重疊的塊； 為每個(gè)非重疊塊分配從所述第一組運(yùn)動(dòng)矢量中選出的至少一個(gè)運(yùn)動(dòng)矢量以創(chuàng)建一組分配運(yùn)動(dòng)矢量的模塊； 根據(jù)該組分配運(yùn)動(dòng)矢量創(chuàng)建第二組運(yùn)動(dòng)矢量的模塊；以及， 利用所述第二組運(yùn)動(dòng)矢量生成一個(gè)視頻幀的模塊。
47.如權(quán)利要求46所述的視頻幀內(nèi)插設(shè)備，其中，根據(jù)該組傳輸運(yùn)動(dòng)矢量創(chuàng)建第一組運(yùn)動(dòng)矢量的模塊包括: 劃分模塊，把該組傳輸運(yùn)動(dòng)矢量劃分為第一部分運(yùn)動(dòng)矢量和第二部分運(yùn)動(dòng)矢量；以及， 修改模塊，根據(jù)所述第二部分運(yùn)動(dòng)矢量修改所述第一部分運(yùn)動(dòng)矢量。
48.如權(quán)利要求46所述的視頻幀內(nèi)插設(shè)備，其中，為每個(gè)非重疊塊分配至少一個(gè)運(yùn)動(dòng)矢量的模塊包括: 確定種子運(yùn)動(dòng)矢量的模塊；以及， 基于所述種子運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)矢量搜索的模塊。
49.如權(quán)利要求48所述的視頻幀內(nèi)插設(shè)備，其中，確定種子運(yùn)動(dòng)矢量的模塊包括: 對(duì)經(jīng)過所述非重疊塊的中心的運(yùn)動(dòng)矢量進(jìn)行定位的模塊。
50.如權(quán)利要求 48所述的視頻幀內(nèi)插設(shè)備，其中，基于所述種子運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)矢量搜索的模塊包括:執(zhí)行雙向運(yùn)動(dòng)矢量搜索的模塊。
51.如權(quán)利要求50所述的視頻幀內(nèi)插設(shè)備，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索的模塊包括: 在所述至少一個(gè)先前視頻幀中構(gòu)造一個(gè)先前視頻幀搜索塊的模塊； 把第一搜索范圍分配給所述當(dāng)前視頻幀的一部分的模塊；以及， 基于第一預(yù)定標(biāo)準(zhǔn)在所述第一搜索范圍中搜索與所述先前視頻幀搜索塊相匹配的第一匹配塊的模塊。
52.如權(quán)利要求51所述的視頻幀內(nèi)插設(shè)備，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索的模塊包括: 在所述當(dāng)前視頻幀中構(gòu)造一個(gè)當(dāng)前視頻幀搜索塊的模塊； 把第二搜索范圍分配給所述至少一個(gè)先前視頻幀的一部分的模塊；以及， 基于第二預(yù)定標(biāo)準(zhǔn)在所述第二搜索范圍中搜索與所述當(dāng)前視頻幀搜索塊相匹配的第二匹配塊的模塊。
53.如權(quán)利要求51所述的視頻幀內(nèi)插設(shè)備，其中，執(zhí)行雙向運(yùn)動(dòng)矢量搜索的模塊包括: 基于所述第一匹配塊定位第一運(yùn)動(dòng)矢量的模塊。
54.如權(quán)利要求54所述的視頻幀內(nèi)插設(shè)備，其中，所述第一預(yù)定標(biāo)準(zhǔn)基于失真度。
55.如權(quán)利要求54所述的視頻幀內(nèi)插設(shè)備，其中，所述第一預(yù)定標(biāo)準(zhǔn)基于將所述失真度最小化。
56.如權(quán)利要求 54所述的視頻幀內(nèi)插設(shè)備，其中，所述失真度基于所述第一匹配塊和所述先前視頻幀搜索塊之間的差的絕對(duì)值之和。
57.如權(quán)利要求54所述的視頻幀內(nèi)插設(shè)備，其中，所述失真度基于所述第一匹配塊和所述先前視頻幀搜索塊之間的差的平方之和。
58.如權(quán)利要求54所述的視頻幀內(nèi)插設(shè)備，其中，所述失真度基于一個(gè)基于人體視覺系統(tǒng)的度量。
59.如權(quán)利要求54所述的創(chuàng)建內(nèi)插視頻幀的設(shè)備，其中，所述失真度基于統(tǒng)計(jì)。
60.如權(quán)利要求46所述的創(chuàng)建內(nèi)插視頻幀的設(shè)備，其中，該組傳輸運(yùn)動(dòng)矢量包括多個(gè)當(dāng)前幀運(yùn)動(dòng)矢量和多個(gè)先前幀運(yùn)動(dòng)矢量。
【文檔編號(hào)】H04N7/46GK103826133SQ201410072100
【公開日】2014年5月28日 申請(qǐng)日期:2005年5月4日 優(yōu)先權(quán)日:2004年5月4日
【發(fā)明者】維賈亞拉克施密·R·拉維德朗, 史芳 申請(qǐng)人:高通股份有限公司