專利名稱：幀內(nèi)插設(shè)備與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種幀內(nèi)插設(shè)備與方法，用于在輸入的運動圖像的幀之間內(nèi)插新的幀。

背景技術(shù)：
作為用于生成內(nèi)插幀的一種普通方法，通過估計幀之間的運動來計算幀之間的運動矢量(流)。通過使用該運動矢量進行運動補償來生成內(nèi)插幀。然而，在該方法中，如果流被錯誤地估計，則會出現(xiàn)偽像。
接下來，在JP-A No.2005-6275(專利文獻1)中公開了一種用于克服以上缺陷的技術(shù)。對于該技術(shù)而言，在對(編碼的)運動圖像進行解碼的情況下，計算在整個幀中的流(運動矢量)的分布、方向和DCT系數(shù)。通過分布、方向和DCT系數(shù)來評估整個幀中的流的可信度。基于該可信度，控制內(nèi)插/不內(nèi)插新的幀。在可信度低的情況下，不內(nèi)插新的幀。在該情況下，可以抑制偽像。
然而，在專利文獻1中，基于整個幀的統(tǒng)計量來控制內(nèi)插/不內(nèi)插新的幀。因此，難以應(yīng)付幀中的局部偽像。此外，對于整個幀頻繁地進行內(nèi)插/不內(nèi)插的切換。因此，這種頻繁的切換在視覺上被認為是閃爍，并且產(chǎn)生了新的偽像(artifact)。


發(fā)明內(nèi)容
本發(fā)明針對一種幀內(nèi)插設(shè)備與方法，用于通過在運動圖像的幀之間內(nèi)插新的幀來平滑運動圖像。
根據(jù)本發(fā)明的一個方面，提供了一種用于在源圖像與目的圖像之間生成內(nèi)插圖像的設(shè)備，包括運動估計單元，配置為計算從所述源圖像中的源區(qū)域到所述目的圖像中的目的區(qū)域的第一運動矢量、基于在所述源圖像與所述內(nèi)插圖像之間的第一時間距離而從所述第一運動矢量縮放得到的第二運動矢量、以及基于在所述目的圖像與所述內(nèi)插圖像之間的第二時間距離而從所述第一運動矢量縮放得到的第三運動矢量；失真能量計算單元，配置為計算所述源區(qū)域的失真能量，當所述源區(qū)域中像素的像素值與所述目的區(qū)域中對應(yīng)像素的像素值之間的差較小時，所述失真能量較?。粰?quán)重計算單元，配置為使用所述源區(qū)域的失真能量計算所述內(nèi)插圖像的第一內(nèi)插區(qū)域的第一權(quán)重，所述第一內(nèi)插區(qū)域由所述第二運動矢量從所述源區(qū)域所指向；運動補償圖像生成單元，配置為通過使用所述第二運動矢量將所述源區(qū)域補償?shù)剿鰞?nèi)插圖像的時間位置來生成第一運動補償圖像，通過使用所述第三運動矢量將所述目的區(qū)域補償?shù)剿鰰r間位置來生成第二運動補償圖像，并且通過采用所述第一時間距離和所述第二時間距離對所述第一運動補償圖像和所述第二運動補償圖像進行加權(quán)平均來生成第三運動補償圖像；偽像防止圖像生成單元，配置為生成從所述源圖像、所述目的圖像和時間加權(quán)平均圖像中選出的偽像防止圖像，所述時間加權(quán)平均圖像是通過采用所述第一時間距離和所述第二時間距離對所述源圖像和所述目的圖像進行加權(quán)平均來生成的；以及圖像內(nèi)插單元，配置為通過采用所述第一權(quán)重對所述第三運動補償圖像中的一區(qū)域和所述偽像防止圖像中的一區(qū)域進行加權(quán)平均來生成所述內(nèi)插圖像的第二內(nèi)插區(qū)域，所述第三運動補償圖像中的所述區(qū)域和所述偽像防止圖像中的所述區(qū)域每個與所述第二內(nèi)插區(qū)域相對應(yīng)。
根據(jù)本發(fā)明的另一方面，還提供了一種用于在源圖像與目的圖像之間生成內(nèi)插圖像的設(shè)備，包括運動估計單元，配置為計算從所述源圖像中的源區(qū)域到所述目的圖像中的目的區(qū)域的第一運動矢量、基于在所述源圖像與所述內(nèi)插圖像之間的第一時間距離而從所述第一運動矢量縮放得到的第二運動矢量、以及基于在所述目的圖像與所述內(nèi)插圖像之間的第二時間距離而從所述第一運動矢量縮放得到的第三運動矢量；失真能量計算單元，配置為計算所述源區(qū)域的失真能量，當所述源區(qū)域中像素的像素值與所述目的區(qū)域中對應(yīng)像素的像素值之間的差較小時，所述失真能量較??；權(quán)重計算單元，配置為使用所述源區(qū)域的失真能量計算所述內(nèi)插圖像的第一內(nèi)插區(qū)域的第一權(quán)重，所述第一內(nèi)插區(qū)域由所述第二運動矢量從所述源區(qū)域所指向；運動補償圖像生成單元，配置為通過使用所述第二運動矢量將所述源區(qū)域補償?shù)剿鰞?nèi)插圖像的時間位置來生成第一運動補償圖像，通過使用所述第三運動矢量將所述目的區(qū)域補償?shù)剿鰰r間位置來生成第二運動補償圖像，并且通過采用所述第一時間距離和所述第二時間距離對所述第一運動補償圖像和所述第二運動補償圖像進行加權(quán)平均來生成第三運動補償圖像；偽像防止圖像生成單元，配置為使用所述源圖像的矢量提取區(qū)域的全局運動矢量生成偽像防止圖像，所述全局運動矢量表示從所述源圖像到所述目的圖像的幾何變換；以及圖像內(nèi)插單元，配置為通過采用所述第一權(quán)重對所述第三運動補償圖像中的一區(qū)域和所述偽像防止圖像中的一區(qū)域進行加權(quán)平均來生成所述內(nèi)插圖像的第二內(nèi)插區(qū)域，所述第三運動補償圖像中的所述區(qū)域和所述偽像防止圖像中的所述區(qū)域每個都與所述第二內(nèi)插區(qū)域相對應(yīng)。
根據(jù)本發(fā)明的再另一方面，還提供了一種用于在源圖像與目的圖像之間生成內(nèi)插圖像的方法，包括計算從所述源圖像中的源區(qū)域到所述目的圖像中的目的區(qū)域的第一運動矢量、基于在所述源圖像與所述內(nèi)插圖像之間的第一時間距離而從所述第一運動矢量縮放得到的第二運動矢量、以及基于在所述目的圖像與所述內(nèi)插圖像之間的第二時間距離而從所述第一運動矢量縮放得到的第三運動矢量；計算所述源區(qū)域的失真能量，當所述源區(qū)域中像素的像素值與所述目的區(qū)域中對應(yīng)像素的像素值之間的差較小時，所述失真能量較??；使用所述源區(qū)域的失真能量計算所述內(nèi)插圖像的第一內(nèi)插區(qū)域的第一權(quán)重，所述第一內(nèi)插區(qū)域由所述第二運動矢量從所述源區(qū)域所指向；通過使用所述第二運動矢量將所述源區(qū)域補償?shù)剿鰞?nèi)插圖像的時間位置來生成第一運動補償圖像，通過使用所述第三運動矢量將所述目的區(qū)域補償?shù)剿鰰r間位置來生成第二運動補償圖像，并且通過采用所述第一時間距離和所述第二時間距離對所述第一運動補償圖像和所述第二運動補償圖像進行加權(quán)平均來生成第三運動補償圖像；生成從所述源圖像、所述目的圖像和時間加權(quán)平均圖像中選出的偽像防止圖像，所述時間加權(quán)平均圖像是通過采用所述第一時間距離和所述第二時間距離對所述源圖像和所述目的圖像進行加權(quán)平均來生成的；以及通過采用所述第一權(quán)重對所述第三運動補償圖像中的一區(qū)域和所述偽像防止圖像中的一區(qū)域進行加權(quán)平均來生成所述內(nèi)插圖像的第二內(nèi)插區(qū)域，所述第三運動補償圖像中的所述區(qū)域和所述偽像防止圖像中的所述區(qū)域每個都與所述第二內(nèi)插區(qū)域相對應(yīng)。
根據(jù)本發(fā)明的再另一方面，提供了一種用于在源圖像與目的圖像之間生成內(nèi)插圖像的方法，包括計算從所述源圖像中的源區(qū)域到所述目的圖像中的目的區(qū)域的第一運動矢量、基于在所述源圖像與所述內(nèi)插圖像之間的第一時間距離而從所述第一運動矢量縮放得到的第二運動矢量、以及基于在所述目的圖像與所述內(nèi)插圖像之間的第二時間距離而從所述第一運動矢量縮放得到的第三運動矢量；計算所述源區(qū)域的失真能量，當所述源區(qū)域中像素的像素值與所述目的區(qū)域中對應(yīng)像素的像素值之間的差較小時，所述失真能量較小；使用所述源區(qū)域的失真能量計算所述內(nèi)插圖像的第一內(nèi)插區(qū)域的第一權(quán)重，所述第一內(nèi)插區(qū)域由所述第二運動矢量從所述源區(qū)域所指向；通過使用所述第二運動矢量將所述源區(qū)域補償?shù)剿鰞?nèi)插圖像的時間位置來生成第一運動補償圖像，通過使用所述第三運動矢量將所述目的區(qū)域補償?shù)剿鰰r間位置來生成第二運動補償圖像，并且通過采用所述第一時間距離和所述第二時間距離對所述第一運動補償圖像和所述第二運動補償圖像進行加權(quán)平均來生成第三運動補償圖像；使用所述源圖像的矢量提取區(qū)域的全局運動矢量生成偽像防止圖像，所述全局運動矢量表示從所述源圖像到所述目的圖像的幾何變換；以及通過采用所述第一權(quán)重對所述第三運動補償圖像中的一區(qū)域和所述偽像防止圖像中的一區(qū)域進行加權(quán)平均來生成所述內(nèi)插圖像的第二內(nèi)插區(qū)域，所述第三運動補償圖像中的所述區(qū)域和所述偽像防止圖像中的所述區(qū)域每個都與所述第二內(nèi)插區(qū)域相對應(yīng)。



圖1是根據(jù)第一實施例的幀內(nèi)插設(shè)備的框圖； 圖2是根據(jù)第一實施例的概略處理的流程圖； 圖3是根據(jù)第一實施例的失真能量計算的流程圖； 圖4是根據(jù)第一實施例的用于防止偽像的圖像的生成流程圖； 圖5是根據(jù)第一實施例的α圖生成流程圖； 圖6是根據(jù)第一實施例的運動補償?shù)霓D(zhuǎn)變(warping)的流程圖； 圖7是根據(jù)第一實施例的α混合的流程圖； 圖8是根據(jù)第二實施例的失真能量計算的流程圖； 圖9是根據(jù)第三實施例的幀內(nèi)插設(shè)備的框圖； 圖10是具有低準確度的流的示意圖； 圖11是根據(jù)圖10中的流生成的α圖的示意圖； 圖12是根據(jù)第四實施例的幀內(nèi)插設(shè)備的框圖； 圖13是根據(jù)第四實施例的k均值聚類的流程圖；以及 圖14是根據(jù)第四實施例的全局運動的提取處理的示意圖。

具體實施例方式 以下，將參考附圖解釋本發(fā)明的各個實施例。本發(fā)明并不局限于以下實施例。
(第一實施例) 參考圖1-7解釋第一實施例的幀內(nèi)插設(shè)備10。在幀內(nèi)插設(shè)備10中，在輸入了運動圖像的情況下，在兩個(對象)幀之間內(nèi)插新的(內(nèi)插)幀。通過增加每單位時間的幀數(shù)量，來平滑運動圖像。對于運動圖像而言，不管分辨率、大小、幀速率和內(nèi)插幀的數(shù)量如何，都能夠采用本實施例。
(1)幀內(nèi)插設(shè)備10的概述 圖1是第一實施例的幀內(nèi)插設(shè)備10的框圖。對于幀內(nèi)插設(shè)備10而言，在輸入源圖像Isrc和目的圖像Idst過程中或者之后，在像素級上生成內(nèi)插幀。幀內(nèi)插設(shè)備10包括運動估計單元12、失真能量計算單元14、偽像防止圖像生成單元16、α圖生成單元18、運動補償轉(zhuǎn)變(warping)單元20、以及α混合單元22。
如圖2所示，幀內(nèi)插設(shè)備10基于源圖像、目的圖像和估計的流，在局部計算流的可信度。通過使用流將可信度轉(zhuǎn)變到內(nèi)插幀的時間位置上，可以將可信度轉(zhuǎn)換為α值，并且生成α圖。通過使用α值將運動補償圖像與偽像防止圖像混合，能夠去掉局部偽像(質(zhì)量變壞的圖像)。
(2)運動估計單元12 運動估計單元12的流估計方法是例如塊匹配法、光流法、像素遞歸法、以及Bayesian法。在第一實施例中，解釋塊匹配法。然而，流估計方法并不局限于塊匹配法。也可以使用光流法、像素遞歸法、以及Bayesian法。
首先，將源圖像劃分為多個塊，每個塊都具有如下的矩形區(qū)域。
B(i)＝{i+(x，y)T|0≤x＜M1，0≤y＜M2} i∈X塊中的左上角點 M1、M2塊的x大小和y大小 幀 基于SSD(差的平方和)的塊匹配算法表示為如下。
運動搜索區(qū) u(i)∈X塊i的流 對于塊匹配，假設(shè)在同一塊中的每個像素具有相同的流。每個像素的流表示為如下。
(3)失真能量計算單元14 接下來，參考圖3的流程圖解釋失真能量計算單元14。失真能量計算單元14計算每個像素的失真能量。
(3-1)第一失真能量 假設(shè)每個像素的亮度沿著運動而在幀上恒定。獲得以下等式。
Idst(x+u(x))＝Isrc(x) 位移后的像素差(在源圖像中像素的亮度與目的圖像中經(jīng)過流位移的像素的亮度之間的差)表示為如下。
dpd(x)＝Idst(x+u(x))-Isrc(x) 位移后的像素差越小，則流的可信度越高。因此，通過位移后的像素差的失真能量來定義可信度，如下所示。
D(x)＝dpd(x)2 然而，如果僅對一個像素計算可信度，則該像素受到噪聲的影響并且該像素的可信度的可靠性不高。因此，按如下計算通過對相鄰像素的位移后的像素差進行卷積得到的第一失真能量。
第一失真能量越小，則可信度越高。在該等式中，

是與像素x相鄰的像素的集合。例如，包含像素x的9個像素或25個像素是該集合N(x)。
(3-2)第二失真能量 即使是第一失真能量(位移后的像素差的能量)很小，如果與像素x相鄰的其他像素的流在空間上分散，則內(nèi)插幀可能在局部質(zhì)量差。因此，按如下計算其他像素的流的平滑能量。
V(x，s)＝‖u(x+s)-u(x)‖2 每個其他像素的流越接近，則平滑能量越低。簡而言之，平滑能量越低，空間越平滑。換而言之，該流就越可靠。
(3-3)擴展的失真能量 通過考慮第二失真能量(平滑能量)來擴展第一失真能量(位移后的像素差的能量)，如下所示。
在等式(4)中，“λ＞＝0”表示超參數(shù)(hyper parameter)，用于為位移后的像素差和平滑性附加重要性。采用該擴展的失真能量，具有較小的位移后的像素差且在空間中平滑的流被判定具有較高的可信度。
以上等式被定義為L2范數(shù)。然而，也可以將其定義為L1范數(shù)，即如下的絕對值。
D(x)＝|dpt(x)| V(x，s)＝|u(x+s)-u(x)|+|v(x+s)-v(x)| U(x)＝(u(x)，v(x))T u，v矢量u的x坐標和y坐標 (3-4)加權(quán)的情況 以上的卷積在與像素x相鄰的其他像素具有幾乎相同的運動的情況下沒有問題。然而，在所述其他像素包含第一運動和第二運動之間的邊界的情況下，在內(nèi)插的幀中會出現(xiàn)失真。因此，可以通過像素之間的相似性進行加權(quán)，如下所示。
kσ(z)標準偏差σ的正態(tài)分布函數(shù) σs，σI相鄰空間核和相似度核的標準偏差 在等式(5)的第二個等式中，右側(cè)的第一項表示空間核中的高斯權(quán)重。簡而言之，該核的中心像素具有最大權(quán)重。右側(cè)的第二項表示相似度核。在圖像上兩個像素彼此位置越接近，這兩個像素的權(quán)重就越大。因此，僅僅對具有相同運動的像素區(qū)域進行卷積。作為結(jié)果，如果僅僅具有相同運動的像素區(qū)域的邊界覆蓋了圖像中的邊緣，則能夠避免具有不同運動的另一像素區(qū)域的卷積。
(4)偽像防止圖像生成單元16 接下來，參考圖4的流程圖解釋偽像防止圖像生成單元16。偽像防止圖像生成單元16使用偽像防止圖像替代不可信流的區(qū)域作為內(nèi)插幀。
使用了相鄰幀(源幀、目的幀)的空間加權(quán)平均圖像作為內(nèi)插幀。如果內(nèi)插幀的內(nèi)插時間位置為“0≤t≤1”，則按如下計算空間加權(quán)平均圖像。
It(x)＝(1-t)Isrc(x)+tIdst(x) 時間加權(quán)平均圖像在視覺上具有很少的熵和良好的質(zhì)量。然而，可以將源圖像Isrc或者目的圖像Idst用作內(nèi)插幀。
此外，可以按如下使用正常的平均(而不是加權(quán)平均)。
It(x)＝0.5Isrc(x)+0.5Idst(x) (5)α圖生成單元18 接下來，參考圖5的流程圖解釋α圖生成單元18。
(5-1)α值的計算 α圖生成單元18生成α圖，即，可信度圖。α圖具有用于進行α混合的每個像素的系數(shù)。作為該系數(shù)的α值(可信度)所具有取值范圍為“0-1”，并且大小與源圖像相同。
將失真能量U(x)定義為大于“0”的實數(shù)。失真能量越小，可信度越高。對于具有高可信度的區(qū)域，應(yīng)該優(yōu)先使用運動補償圖像(基于流)來進行α混合。簡而言之，對于具有較小失真能量的區(qū)域，α值被設(shè)定為接近“1”。對于具有較大失真能量的區(qū)域，α值被設(shè)定為接近“0”。
因此，通過采用正態(tài)分布函數(shù)，可以將失真能量U(x)轉(zhuǎn)換為取值范圍為“0-1”的α值。
σ轉(zhuǎn)換的標準偏差 在等式(6)中，如果σ較小，則容易地將可信度確定為較低。此外，可以按如下使用對數(shù)映射。
a＞0，b＞0確定該變換的形狀的參數(shù) (5-2)位置偏移 在與源圖像相同的時間位置上計算失真能量。因此，需要偏移α圖的時間位置。時間位置由流來進行偏移。如果內(nèi)插幀的時間位置t為“0≤t≤1”，則所述時間位置表示為如下。



用于對x的x分量和y分量取整的操作符(截斷)。
多個α值經(jīng)常通過偏移而在α圖的同一區(qū)域中交疊。在該情況下，優(yōu)先使用較高的α值，因為較高的α值的可信度比較低的α值的可信度要高。此外，該操作符截斷x分量和y分量。為了保證x元素和y元素的截斷，可以通過偏移來在局部重復(fù)x分量和y分量。
(6)運動補償轉(zhuǎn)變單元20 接下來，參考圖6的流程圖解釋運動補償轉(zhuǎn)變單元20。運動補償轉(zhuǎn)變單元20用流來轉(zhuǎn)變源圖像和目標圖像，并生成運動補償圖像。
采用流的偏移方法與α圖生成單元18相同。在源圖像和目的圖像上的像素x的像素值表示為如下。
I1＝Isrc(x) I2＝Idst(x+u(x)) 如果內(nèi)插幀的時間位置為“0≤t≤1”，則通過時間加權(quán)平均來計算內(nèi)插幀的像素值，如下所示。
Imc＝(1-t)I1+tI2 在以上等式中，“Imc”表示運動補償圖像。
采用與α圖生成單元18相同的方式，多個像素值經(jīng)常通過偏移而在運動補償圖像的同一區(qū)域上交疊。在該情況下，通過比較α值來優(yōu)先使用一個像素值。
此外，在運動補償圖像上經(jīng)常存在不具有像素值的區(qū)域。對于這種情況的小區(qū)域，通過濾波來分配相鄰區(qū)域的像素值。對于這種情況的大區(qū)域，分配在偽像防止圖像上相應(yīng)區(qū)域的像素值。
(7)α混合單元22 接下來，參考圖7的流程圖來解釋α混合單元22。α混合單元22根據(jù)α圖來將運動補償圖像與偽像防止圖像進行合成。該合成是如下的一種普通α混合方法。
I＝α(x)Imc(x)+(1-α(x))It(x) 通過使用上述等式確定內(nèi)插的像素值，來生成要內(nèi)插在源圖像與目的圖像之間的新的(內(nèi)插)幀。
(8)效果 對于第一實施例的幀內(nèi)插設(shè)備10，在輸入運動圖像的情況下，在源幀與目的幀之間內(nèi)插新的幀。通過增加每單位時間的幀數(shù)量，可以在視覺上平滑運動圖像的內(nèi)容。具體而言，去掉了幀中的局部缺陷。
(第二實施例) 接下來，參考圖8解釋第二實施例的幀內(nèi)插設(shè)備10。在第一實施例中，幀內(nèi)插設(shè)備10計算每個像素的失真能量。然而，該計算量可能變得太大。因此，在第二實施例中，幀內(nèi)插設(shè)備10計算每個塊的失真能量。除了圖1中的失真能量計算單元14之外，第二實施例的幀內(nèi)插設(shè)備10的各個單元的功能與第一實施例中的相同，因此省略了對其的解釋。
失真能量計算單元14以塊為單位計算失真能量。源圖像被劃分為多個塊，每個塊都具有如下的矩形區(qū)域。
B(i)＝{i+(x，y)T|0≤x＜M1，0≤y＜M2} i∈X塊中的左上角點 M1、M2塊的x大小和y大小 幀 通過如下的每個塊的SAD(絕對差之和)計算差的能量。
在等式(9)中，使用絕對差之和。然而，可以使用平方和。
平滑能量計算為關(guān)注塊的流與相鄰塊的流之間的差，如下所示。
V(i，j)＝‖u(j)-u(i)‖2 (10) 在等式(10)中，可以使用絕對差之和。平滑能量計算為所有相鄰塊的差之和。通過線性關(guān)聯(lián)等式(9)和(10)，將失真能量定義為如下。
等式(11)的失真能量是以塊為單位計算的。在等式(11)中，“N”表示相鄰塊的數(shù)量(例如，相鄰的4個塊)。
(第三實施例) 接下來，參考圖9解釋第三實施例的幀內(nèi)插設(shè)備10。在第三實施例中，如圖9中所示，傳輸了一個編碼的圖像信號。解碼器24對該編碼的圖像信號進行解碼，并且使用該解碼的圖像信號生成內(nèi)插幀。在該情況下，運動估計單元12不計算流。解碼器24通過對編碼的圖像進行解碼來計算流，并將該流直接用于生成內(nèi)插幀。
(第四實施例) 接下來，參考圖10-14解釋第四實施例的幀內(nèi)插設(shè)備10。在第一實施例中，采用α混合來防止由錯誤流造成的內(nèi)插幀的偽像。然而，如圖10所示，如果流的估計結(jié)果準確率較低(包含很多錯誤流)，則會發(fā)生問題。圖11示出了根據(jù)圖10中的流所生成的α圖。在圖11中，與錯誤流相對應(yīng)的α值很低(圖11中的黑色區(qū)域)。
在第一實施例中，使用時間加權(quán)平均圖像作為偽像防止圖像。如圖11所示，如果具有高α值的第一區(qū)域與具有低α值的第二區(qū)域在α圖中混合(尤其是，在同一運動區(qū)域中)，則運動補償圖像與時間加權(quán)平均圖像在內(nèi)插圖像中混合。作為結(jié)果，該混合區(qū)域在視覺上被看作是閃爍。
然而，具有低α值的區(qū)域的流具有低可靠性，并且不能照原樣使用運動補償圖像。另一方面，即使是將時間加權(quán)平均圖像與運動補償圖像混合，也會觀看到內(nèi)插圖像中的閃爍。該問題是由運動補償圖像與時間加權(quán)平均圖像之間的運動差異所造成的。因此，較佳的是使用與運動補償圖像類似的圖像(與時間加權(quán)平均圖像相比)作為偽像防止圖像進行α混合。
在該情況下，可以將時間加權(quán)平均圖像突然地插入到其中所有區(qū)域都具有相同運動的內(nèi)插圖像中。從源圖像和目的圖像中提取該相同運動，作為全局運動。全局運動是在圖像中幾乎所有區(qū)域的最主要運動。因此，使用全局運動生成用于補償?shù)涂尚哦葏^(qū)域的圖像，并將其用于α混合。還將時間加權(quán)平均圖像看作是靜態(tài)全局運動。作為結(jié)果，全局運動被認為是從α混合的擴展。
(1)幀內(nèi)插設(shè)備10的概要 參考圖12解釋第四實施例的幀內(nèi)插設(shè)備10。如圖12所示，幀內(nèi)插設(shè)備10包括運動估計單元12、失真能量計算單元14、α圖生成單元18、運動補償轉(zhuǎn)變單元20、α混合單元22、全局運動提取單元26、第二失真能量計算單元28、第二α圖生成單元30、以及第二運動補償轉(zhuǎn)變單元32。
第四實施例基本上是α的擴展，并基本上與第一實施例相同。因此，將解釋在第四實施例的幀內(nèi)插設(shè)備中與第一實施例不同的各個單元。在第四實施例中，使用了以下描述。
格空間(lattice space)Λ2 幀 幀中的點x∈X 塊單元i∈Λ2 第i個塊 流u(x)∈R2 (2)全局運動提取單元26 首先，參考圖13和14解釋全局運動提取單元26。通過從二維平面到二維平面的幾何變換來對全局變量進行建模。典型的幾何變換是仿射變換。仿射變換表示平移、旋轉(zhuǎn)、放大和剪切變形(從正方形到菱形的變形)。仿射變換是一種常用的幾何變換，但是比較復(fù)雜，因為其自由度為6個。因此，在以下解釋中，僅僅采用平移作為幾何變換。在該情況下，將幾何變換表示為一個單元的二維流，并且其自由度為2，如下所示 通過計算來自某個區(qū)域的典型流，來確定該幾何變換。該典型流被計算為平均值或者均值。采用k均值法，簡單地解決了從流的域中提取全局運動

的問題。k均值法是用于將流的域聚類到K個單元中的方法。
z(i)∈Z每個流u(i)所歸屬的聚類的標記(14) 初始標記 在該情況下，計算每個聚類的平均值，如下所示。
在等式(15)中，“Num()”是用于計算元素數(shù)量的操作符。右上角的附標“(t)”是迭代。
接下來，按如下確定與平均值之間具有最小距離的聚類，并按如下更新標記。
對于k均值法，將等式(14)和(15)重復(fù)預(yù)定的次數(shù)。在操作了幾次之后輸出值收斂，有時一次就收斂了。
考慮用于設(shè)置初始標記的很多方法。例如，可以任意指定標記k(k＝1，...，K)。在第四實施例中，如圖14所示，將源圖像的聚類結(jié)果(采用k均值得到)用作初始標記。首先，按如下計算源圖像的一個塊中的平均值。
在等式(17)中，適當?shù)卦O(shè)定每個聚類的平均值的初始值

(例如，用K除以“0-255”的除法值)。
用以下標記方法來更新該標記。
接下來，按如下計算每個聚類的平均值。
重復(fù)運算等式(17)和(18)幾次。將源圖像的整個區(qū)域的聚類結(jié)果設(shè)定為流聚類的初始值，如以下所示。
在等式(20)中，“T”是k均值法的迭代次數(shù)。在計算了標記z(i)之后，按照如下，用平均值或者矢量均值來確定全局運動。
(3)第二α圖生成單元30 第二α圖生成單元30使用全局運動

來生成α圖。如果在一個幀中的所有像素都具有全局運動

(整個幀具有一致的流)，則采用與第一實施例相同的方式生成α圖。將α圖表示為αk(x)(k＝1，....，K)。
此外，還生成用于時間加權(quán)平均圖像的另一α圖。將全局運動表示為

(即，靜態(tài)運動)，并生成α圖αt(x)。
(4)第二運動補償轉(zhuǎn)變單元32 第二運動補償轉(zhuǎn)變單元32使用全局運動生成運動補償轉(zhuǎn)變圖像。如果在一個幀中的所有像素都具有全局運動

(整個幀具有一致的流)，則采用與第一實施例相同的方式執(zhí)行運動補償轉(zhuǎn)變。將轉(zhuǎn)變的結(jié)果表示為Ik(x)(k＝1，....，K)。
(5)α混合單元22 α混合單元22混合(合成)運動補償轉(zhuǎn)變圖像Im(x)、全局運動轉(zhuǎn)變圖像Ik(x)(k＝1，....，K)、以及時間加權(quán)平均圖像It(x)。為了正確地進行α混合，將Im(x)，Ik(x)，It(x)的加權(quán)系數(shù)之和設(shè)定為“1”。該模型表示為如下。
在等式(23)中，在“K＝0”的情況下，該模型等價于第一實施例的α混合。因此，第四實施例被看作是該α混合的擴展。右側(cè)第二項是在全局運動轉(zhuǎn)變圖像中的每個α值的加權(quán)平均。在該情況下，優(yōu)先使用在全局運動轉(zhuǎn)變圖像中具有較高α值的區(qū)域。
(修改例1) 在以上實施例中，在內(nèi)插圖像的時間位置上分別對運動補償圖像和時間加權(quán)平均圖像進行加權(quán)平均。然而，當幀內(nèi)插設(shè)備被封裝時，在對幀之間的時間方向進行量化的情況下，可以不量化內(nèi)插圖像的時間位置。在該情況下，在該時間位置附近的任何位置上對運動補償圖像和時間加權(quán)平均圖像進行加權(quán)平均。
(修改例2) 在以上實施例中，α圖計算單元18在生成α圖之后，在內(nèi)插幀的時間位置上偏移α圖。然而，在將每個區(qū)域的失真能量向內(nèi)插幀的時間位置偏移之后，可以生成α圖。
權(quán)利要求
1、一種用于在源圖像與目的圖像之間生成內(nèi)插圖像的設(shè)備，包括
運動估計單元，配置為計算從所述源圖像中的源區(qū)域到所述目的圖像中的目的區(qū)域的第一運動矢量、基于在所述源圖像與所述內(nèi)插圖像之間的第一時間距離而從所述第一運動矢量縮放得到的第二運動矢量、以及基于在所述目的圖像與所述內(nèi)插圖像之間的第二時間距離而從所述第一運動矢量縮放得到的第三運動矢量；
失真能量計算單元，配置為計算所述源區(qū)域的失真能量，當所述源區(qū)域中像素的像素值與所述目的區(qū)域中對應(yīng)像素的像素值之間的差減小時，所述失真能量減小；
權(quán)重計算單元，配置為使用所述源區(qū)域的失真能量計算所述內(nèi)插圖像的第一內(nèi)插區(qū)域的第一權(quán)重，所述第一內(nèi)插區(qū)域由所述第二運動矢量從所述源區(qū)域所指向；
運動補償圖像生成單元，配置為通過使用所述第二運動矢量將所述源區(qū)域補償?shù)剿鰞?nèi)插圖像的時間位置來生成第一運動補償圖像，通過使用所述第三運動矢量將所述目的區(qū)域補償?shù)剿鰰r間位置來生成第二運動補償圖像，并且通過采用所述第一時間距離和所述第二時間距離對所述第一運動補償圖像和所述第二運動補償圖像進行加權(quán)平均來生成第三運動補償圖像；
偽像防止圖像生成單元，配置為生成從所述源圖像、所述目的圖像和時間加權(quán)平均圖像中選出的偽像防止圖像，所述時間加權(quán)平均圖像是通過采用所述第一時間距離和所述第二時間距離對所述源圖像和所述目的圖像進行加權(quán)平均來生成的；以及
圖像內(nèi)插單元，配置為通過采用所述第一權(quán)重對所述第三運動補償圖像中的一區(qū)域和所述偽像防止圖像中的一區(qū)域進行加權(quán)平均來生成所述內(nèi)插圖像的第二內(nèi)插區(qū)域，所述第三運動補償圖像中的所述區(qū)域和所述偽像防止圖像中的所述區(qū)域每個都與所述第二內(nèi)插區(qū)域相對應(yīng)。
2、如權(quán)利要求1所述的設(shè)備，
其中，所述失真能量計算單元計算與所述源區(qū)域相鄰的區(qū)域的失真能量，并且采用第二權(quán)重對所述源區(qū)域的失真能量和所述相鄰區(qū)域的失真能量進行加權(quán)平均。
3、如權(quán)利要求2所述的設(shè)備，
其中，在所述源區(qū)域中像素的像素值與所述相鄰區(qū)域中對應(yīng)像素的像素值之間的差較大時，所述相鄰區(qū)域的失真能量的所述第二權(quán)重較小。
4、如權(quán)利要求1所述的設(shè)備，
其中，所述失真能量計算單元計算與所述源區(qū)域相鄰的區(qū)域的運動矢量，并且使用所述源區(qū)域的運動矢量與所述相鄰區(qū)域的運動矢量之間的差來計算平滑能量，并且將所述平滑能量加到所述失真能量上。
5、如權(quán)利要求1所述的設(shè)備，
其中，所述失真能量計算單元計算與所述源區(qū)域相鄰的區(qū)域的運動矢量，并且使用所述源區(qū)域的運動矢量與所述相鄰區(qū)域的運動矢量之間的差來計算平滑能量，并且采用第三權(quán)重對所述失真能量和所述平滑能量進行加權(quán)平均。
6、如權(quán)利要求5所述的設(shè)備，
其中，在所述源區(qū)域中像素的像素值與所述相鄰區(qū)域中對應(yīng)像素的像素值之間的差較大時，所述平滑能量的所述第三權(quán)重較小。
7、如權(quán)利要求1所述的設(shè)備，
其中，所述失真能量與所述第一權(quán)重一一對應(yīng)，并且
其中，所述權(quán)重計算單元使用單調(diào)遞減函數(shù)變換所述失真能量，采用所述單調(diào)遞減函數(shù)時，所述第一權(quán)重從“0”變到“1”。
8、一種用于在源圖像與目的圖像之間生成內(nèi)插圖像的設(shè)備，包括
運動估計單元，配置為計算從所述源圖像中的源區(qū)域到所述目的圖像中的目的區(qū)域的第一運動矢量、基于在所述源圖像與所述內(nèi)插圖像之間的第一時間距離而從所述第一運動矢量縮放得到的第二運動矢量、以及基于在所述目的圖像與所述內(nèi)插圖像之間的第二時間距離而從所述第一運動矢量縮放得到的第三運動矢量；
失真能量計算單元，配置為計算所述源區(qū)域的失真能量，當所述源區(qū)域中像素的像素值與所述目的區(qū)域中對應(yīng)像素的像素值之間的差較小時，所述失真能量較??；
權(quán)重計算單元，配置為使用所述源區(qū)域的失真能量計算所述內(nèi)插圖像的第一內(nèi)插區(qū)域的第一權(quán)重，所述第一內(nèi)插區(qū)域由所述第二運動矢量從所述源區(qū)域所指向；
運動補償圖像生成單元，配置為通過使用所述第二運動矢量將所述源區(qū)域補償?shù)剿鰞?nèi)插圖像的時間位置來生成第一運動補償圖像，通過使用所述第三運動矢量將所述目的區(qū)域補償?shù)剿鰰r間位置來生成第二運動補償圖像，并且通過采用所述第一時間距離和所述第二時間距離對所述第一運動補償圖像和所述第二運動補償圖像進行加權(quán)平均來生成第三運動補償圖像；
偽像防止圖像生成單元，配置為使用所述源圖像的矢量提取區(qū)域的全局運動矢量生成偽像防止圖像，所述全局運動矢量表示從所述源圖像到所述目的圖像的幾何變換；以及
圖像內(nèi)插單元，配置為通過使用所述第一權(quán)重對所述第三運動補償圖像中的一區(qū)域和所述偽像防止圖像中的一區(qū)域進行加權(quán)平均來生成所述內(nèi)插圖像的第二內(nèi)插區(qū)域，所述第三運動補償圖像中的所述區(qū)域和所述偽像防止圖像中的所述區(qū)域每個都與所述第二內(nèi)插區(qū)域相對應(yīng)。
9、如權(quán)利要求8所述的設(shè)備，
其中，所述失真能量計算單元計算與所述源區(qū)域相鄰的區(qū)域的失真能量，并且采用第二權(quán)重對所述源區(qū)域的失真能量和所述相鄰區(qū)域的失真能量進行加權(quán)平均。
10、如權(quán)利要求9所述的設(shè)備，
其中，在所述源區(qū)域中像素的像素值與所述相鄰區(qū)域中對應(yīng)像素的像素值之間的差較大時，所述相鄰區(qū)域的失真能量的所述第二權(quán)重較小。
11、如權(quán)利要求8所述的設(shè)備，
其中，所述失真能量計算單元計算與所述源區(qū)域相鄰的區(qū)域的運動矢量，并且使用所述源區(qū)域的運動矢量與所述相鄰區(qū)域的運動矢量之間的差來計算平滑能量，并且將所述平滑能量加到所述失真能量上。
12、如權(quán)利要求8所述的設(shè)備，
其中，所述失真能量計算單元計算與所述源區(qū)域相鄰的區(qū)域的運動矢量，并且使用所述源區(qū)域的運動矢量與所述相鄰區(qū)域的運動矢量之間的差來計算平滑能量，并且采用第三權(quán)重對所述失真能量和所述平滑能量進行加權(quán)平均。
13、如權(quán)利要求12所述的設(shè)備，
其中，在所述源區(qū)域中像素的像素值與所述相鄰區(qū)域中對應(yīng)像素的像素值之間的差較大時，所述平滑能量的所述第三權(quán)重較小。
14、如權(quán)利要求8所述的設(shè)備，
其中，所述失真能量與所述第一權(quán)重一一對應(yīng)，并且
其中，所述權(quán)重計算單元使用單調(diào)遞減函數(shù)變換所述失真能量，采用所述單調(diào)遞減函數(shù)時，所述第一權(quán)重從“0”變到“1”。
15、一種用于在源圖像與目的圖像之間生成內(nèi)插圖像的方法，包括
計算從所述源圖像中的源區(qū)域到所述目的圖像中的目的區(qū)域的第一運動矢量、基于在所述源圖像與所述內(nèi)插圖像之間的第一時間距離而從所述第一運動矢量縮放得到的第二運動矢量、以及基于在所述目的圖像與所述內(nèi)插圖像之間的第二時間距離而從所述第一運動矢量縮放得到的第三運動矢量；
計算所述源區(qū)域的失真能量，當所述源區(qū)域中像素的像素值與所述目的區(qū)域中對應(yīng)像素的像素值之間的差較小時，所述失真能量較?。?br> 使用所述源區(qū)域的失真能量計算所述內(nèi)插圖像的第一內(nèi)插區(qū)域的第一權(quán)重，所述第一內(nèi)插區(qū)域由所述第二運動矢量從所述源區(qū)域所指向；
通過使用所述第二運動矢量將所述源區(qū)域補償?shù)剿鰞?nèi)插圖像的時間位置來生成第一運動補償圖像，通過使用所述第三運動矢量將所述目的區(qū)域補償?shù)剿鰰r間位置來生成第二運動補償圖像，并且通過采用所述第一時間距離和所述第二時間距離對所述第一運動補償圖像和所述第二運動補償圖像進行加權(quán)平均來生成第三運動補償圖像；
生成從所述源圖像、所述目的圖像和時間加權(quán)平均圖像中選出的偽像防止圖像，所述時間加權(quán)平均圖像是通過采用所述第一時間距離和所述第二時間距離對所述源圖像和所述目的圖像進行加權(quán)平均來生成的；以及
通過采用所述第一權(quán)重對所述第三運動補償圖像中的一區(qū)域和所述偽像防止圖像中的一區(qū)域進行加權(quán)平均來生成所述內(nèi)插圖像的第二內(nèi)插區(qū)域，所述第三運動補償圖像中的所述區(qū)域和所述偽像防止圖像中的所述區(qū)域每個都與所述第二內(nèi)插區(qū)域相對應(yīng)。
16、一種用于在源圖像與目的圖像之間生成內(nèi)插圖像的方法，包括
計算從所述源圖像中的源區(qū)域到所述目的圖像中的目的區(qū)域的第一運動矢量、基于在所述源圖像與所述內(nèi)插圖像之間的第一時間距離而從所述第一運動矢量縮放得到的第二運動矢量、以及基于在所述目的圖像與所述內(nèi)插圖像之間的第二時間距離而從所述第一運動矢量縮放得到的第三運動矢量；
計算所述源區(qū)域的失真能量，當所述源區(qū)域中像素的像素值與所述目的區(qū)域中對應(yīng)像素的像素值之間的差較小時，所述失真能量較小；
使用所述源區(qū)域的失真能量計算所述內(nèi)插圖像的第一內(nèi)插區(qū)域的第一權(quán)重，所述第一內(nèi)插區(qū)域由所述第二運動矢量從所述源區(qū)域所指向；
通過使用所述第二運動矢量將所述源區(qū)域補償?shù)剿鰞?nèi)插圖像的時間位置來生成第一運動補償圖像，通過使用所述第三運動矢量將所述目的區(qū)域補償?shù)剿鰰r間位置來生成第二運動補償圖像，并且通過采用所述第一時間距離和所述第二時間距離對所述第一運動補償圖像和所述第二運動補償圖像進行加權(quán)平均來生成第三運動補償圖像；
使用所述源圖像的矢量提取區(qū)域的全局運動矢量生成偽像防止圖像，所述全局運動矢量表示從所述源圖像到所述目的圖像的幾何變換；以及
通過采用所述第一權(quán)重對所述第三運動補償圖像中的一區(qū)域和所述偽像防止圖像中的一區(qū)域進行加權(quán)平均來生成所述內(nèi)插圖像的第二內(nèi)插區(qū)域，所述第三運動補償圖像中的所述區(qū)域和所述偽像防止圖像中的所述區(qū)域每個都與所述第二內(nèi)插區(qū)域相對應(yīng)。
全文摘要
第一運動矢量從源圖像的源區(qū)域指向目的圖像的目的區(qū)域。基于源圖像與內(nèi)插圖像之間的第一時間距離，從第一運動矢量縮放得到第二運動矢量?；谀康膱D像與內(nèi)插圖像之間的第二時間距離，從第一運動矢量縮放得到第三運動矢量。使用源區(qū)域的失真能量計算內(nèi)插圖像的第一內(nèi)插區(qū)域的權(quán)重。計算使用第二運動矢量從源區(qū)域補償?shù)絻?nèi)插圖像的時間位置的第一運動補償圖像，以及使用第三運動矢量從目的區(qū)域補償?shù)剿鰰r間位置的第二運動補償圖像。通過對第一運動補償圖像和第二運動補償圖像進行加權(quán)平均來計算第三運動補償圖像。通過對第三運動補償圖像的區(qū)域和具有權(quán)重的偽像防止圖像的區(qū)域進行平均來計算內(nèi)插圖像的第二內(nèi)插區(qū)域。
文檔編號H04N7/01GK101277419SQ200810087279
公開日2008年10月1日 申請日期2008年3月26日 優(yōu)先權(quán)日2007年3月27日
發(fā)明者三島直, 武山泰豐, 伊藤剛 申請人:株式會社東芝