專利名稱：用于運(yùn)動(dòng)補(bǔ)償插值的方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于運(yùn)動(dòng)補(bǔ)償插值的方法與裝置。
對(duì)于有亞象素精度的運(yùn)動(dòng)補(bǔ)償插值(MCI)，丟失的象素需要在運(yùn)動(dòng)補(bǔ)償之前產(chǎn)生或插值。在巴塞羅那奧運(yùn)會(huì)時(shí)，建成了湯姆遜(THOMSON)HDMAC接收器。這種接收器達(dá)到了對(duì)奧林匹克接收器項(xiàng)目(版本2.1，菲利普公司(Philips))設(shè)置的BRD(帶寬恢復(fù)解碼器)芯片組初步的HDMAC指標(biāo)。
所要的象素值用行和象素延遲器來(lái)存儲(chǔ)。用一個(gè)開(kāi)關(guān)矩陣來(lái)選擇當(dāng)前處理所需的這種存儲(chǔ)的象素。為避免亞象素MCI，要在運(yùn)動(dòng)補(bǔ)償之前進(jìn)行插值。因此，運(yùn)動(dòng)補(bǔ)償電路的輸入數(shù)據(jù)速率兩倍于插值電路的速率，導(dǎo)致了高的硬件復(fù)雜性。
亞象素插值的意思是位于有效采樣之間的象素的插值。
本發(fā)明的一個(gè)目的是公開(kāi)一種具有亞象素精度的結(jié)合運(yùn)動(dòng)補(bǔ)償與插值的方法，但只使用由開(kāi)關(guān)矩陣存取的有限數(shù)目的象素。此目的采用權(quán)利要求1公開(kāi)的方法來(lái)達(dá)到。
本發(fā)明的另一目的是公開(kāi)一種實(shí)施上述方法的裝置。此目的采用權(quán)利要求8中公開(kāi)的裝置來(lái)達(dá)到。
本發(fā)明只使用一簡(jiǎn)單開(kāi)關(guān)矩陣，導(dǎo)致用于進(jìn)行亞象素MCI的所存儲(chǔ)數(shù)據(jù)量的減少。使用一種存儲(chǔ)處理所需的象素值的延遲器的特殊排列，以擴(kuò)展現(xiàn)有的延遲器陣列。由于使用了更多數(shù)量的有關(guān)象素，從而實(shí)現(xiàn)改進(jìn)了的亞象素MCI。這可能是因?yàn)榧词瓜噜彽倪\(yùn)動(dòng)矢量不是與當(dāng)前運(yùn)動(dòng)矢量精確地匹配，這種延遲的擴(kuò)展也不明顯地影響解碼的圖象質(zhì)量。本發(fā)明可用在每一個(gè)利用MCI的系統(tǒng)中，尤其是用在基于空間-時(shí)間二次采樣和運(yùn)動(dòng)補(bǔ)償?shù)木幋a系統(tǒng)的解碼器中。運(yùn)動(dòng)補(bǔ)償和插值二者以輸入數(shù)據(jù)流的時(shí)鐘頻率來(lái)同時(shí)完成。因此，本發(fā)明中要處理的數(shù)據(jù)量和所導(dǎo)致的硬件復(fù)雜性要低于以上引用的現(xiàn)有技術(shù)。
開(kāi)關(guān)矩陣連接到行與象素延遲器，在時(shí)刻t存儲(chǔ)一幀(或場(chǎng))的一個(gè)窗口，從行與象素延遲器通過(guò)依賴于運(yùn)動(dòng)矢量的隨機(jī)存取來(lái)完成一個(gè)MCI，以在時(shí)刻(t+/-T)建成一幀(或場(chǎng))。T為幀周期的倍數(shù)。在每一時(shí)鐘周期，由開(kāi)關(guān)矩陣提取出的象素的數(shù)目受硬件復(fù)雜的局限而受到限制。
本發(fā)明以兩組相繼的開(kāi)關(guān)矩陣的輸出是并列的或交叉的前提為基礎(chǔ)。這樣就可以存儲(chǔ)幾組相繼的開(kāi)關(guān)矩陣的輸出，以便使用所有可用象素進(jìn)行插值。這個(gè)假設(shè)已經(jīng)通過(guò)研究在最關(guān)鍵的源材料上的行為被證實(shí)。
本發(fā)明可用在每一個(gè)使用運(yùn)動(dòng)補(bǔ)償?shù)南到y(tǒng)中，尤其適合于基于空間-時(shí)間二次采樣和諸如HDMAC的運(yùn)動(dòng)補(bǔ)償?shù)木幋a/解碼系統(tǒng)。
在HDMAC中，此技術(shù)可直接在二次采樣域上使用。對(duì)要插值的每個(gè)當(dāng)前象素對(duì)(用80_1和80_2表示)，從開(kāi)關(guān)矩陣產(chǎn)生六個(gè)采樣。實(shí)際上，只有4個(gè)采樣貢獻(xiàn)給這些象素之一的插值，而2*4采樣的兩個(gè)采樣是公用的。因此，只需要6個(gè)開(kāi)關(guān)矩陣輸出。由于在開(kāi)關(guān)矩陣的輸出端處有獨(dú)特的延遲器擴(kuò)展，插值濾波器可使用一個(gè)10個(gè)象素的輸入窗，用來(lái)計(jì)算一個(gè)輸出象素值(80_1或80_2)。插值濾波器的垂直大小由開(kāi)關(guān)矩陣所存取的不同行的數(shù)目來(lái)給出，例如為3。其水平大小不受開(kāi)關(guān)矩陣限制，而只依賴于被存儲(chǔ)的開(kāi)關(guān)矩陣輸出端組的數(shù)目。
在現(xiàn)有技術(shù)中，插值濾波器的象素間距比由開(kāi)關(guān)矩陣各輸出給出的象素間距更大。這樣就需要在開(kāi)關(guān)矩陣之前進(jìn)行插值，以達(dá)到所需的精確度。但這種方式的硬件實(shí)現(xiàn)使得在開(kāi)關(guān)矩陣輸入處的采樣速率大了一倍，還需要一個(gè)數(shù)據(jù)解復(fù)用來(lái)保持插值器的輸入頻率。
而插值與運(yùn)動(dòng)補(bǔ)償?shù)慕Y(jié)合，使得對(duì)處理保持了低的輸入頻率，并使極為耗費(fèi)硬件的行延遲器的所需要數(shù)目達(dá)到最佳。這個(gè)數(shù)目只由運(yùn)動(dòng)補(bǔ)償在垂直方向的范圍來(lái)決定。
更為有利的是，本發(fā)明還可應(yīng)用于每一個(gè)使用運(yùn)動(dòng)補(bǔ)償?shù)牟逯狄赃M(jìn)行顯示速率向上變換的系統(tǒng)。
用MPEG(運(yùn)動(dòng)圖象專家組)編碼的系統(tǒng)以半象素精度來(lái)進(jìn)行用運(yùn)動(dòng)矢量的運(yùn)動(dòng)補(bǔ)償。作為結(jié)果，需要在一正交網(wǎng)格(HDMAC中的quincunx網(wǎng)格)上進(jìn)行亞象素運(yùn)動(dòng)補(bǔ)償?shù)牟逯?。由于得到運(yùn)動(dòng)補(bǔ)償?shù)牟逯档姆绞绞荕PEG標(biāo)準(zhǔn)的一部分，在塊的邊界不允許任何近似，因?yàn)橐粔K的編碼的預(yù)測(cè)誤差被加到了運(yùn)動(dòng)補(bǔ)償上。
原則上，在本發(fā)明所述的運(yùn)動(dòng)補(bǔ)償?shù)牟逯档姆椒ㄖ?，輸出象素值是從位于一個(gè)窗內(nèi)的輸入象素值插值而得的，此窗與當(dāng)前輸出象素的空間與/或時(shí)間位置相關(guān)，其中，對(duì)該窗所需的象素值借助使用延遲裝置和開(kāi)關(guān)矩陣裝置來(lái)提供，所述開(kāi)關(guān)矩陣裝置的各輸出響應(yīng)于運(yùn)動(dòng)矢量而在當(dāng)前連接到這種所述延遲裝置上，而該延遲裝置在當(dāng)前正提供所述輸入象素值，并且，其中該開(kāi)關(guān)矩陣裝置的每一個(gè)輸出都至少要再經(jīng)過(guò)一個(gè)進(jìn)一步的延遲單元，以及所述開(kāi)關(guān)矩陣裝置的輸出和所述延遲單元的輸出被用來(lái)形成一增大了的窗，以對(duì)所述輸出象素值進(jìn)行插值。
按照本發(fā)明的方法的其它有利的實(shí)施例源自于相應(yīng)的從屬權(quán)利要求。
原則上，本發(fā)明的裝置適合于運(yùn)動(dòng)補(bǔ)償?shù)牟逯担渲?，輸出象素值是位于一個(gè)窗內(nèi)的輸入象素值插值而得到的，此窗與當(dāng)前輸出象素的空間與/或時(shí)間位置有關(guān)，該裝置包括延遲裝置，它提供對(duì)該窗口所需的象素值；開(kāi)關(guān)矩陣裝置，其輸出響應(yīng)于運(yùn)動(dòng)矢量，在當(dāng)前連接到這種所述延遲裝置上，而該延遲裝置在當(dāng)前正提供所述輸入象素值；在每一個(gè)開(kāi)關(guān)矩陣裝置輸出端至少還有一個(gè)延遲單元，開(kāi)關(guān)矩陣裝置的每一個(gè)輸出都要經(jīng)過(guò)這種延遲單元，其中所述開(kāi)關(guān)矩陣裝置的輸出和所述延遲單元的輸出被用來(lái)形成一個(gè)增大了的窗；插值裝置，跟隨在該延遲單元之后，用于對(duì)所述輸出象素值進(jìn)行插值。
按照本發(fā)明的裝置的其它有利的實(shí)施例源自于相應(yīng)的從屬權(quán)利要求。
以下參照附圖，描述按照本發(fā)明的優(yōu)選實(shí)施例，其中

圖1示出了本發(fā)明的MCI的方框圖；圖2示出了MCI中使用的象素；圖3示出了經(jīng)運(yùn)動(dòng)矢量移位過(guò)的象素在一quincunx采樣網(wǎng)格中的可能位置；圖4更詳細(xì)地給出了水平和垂直延遲器；
圖5示出了插值窗口；圖6示出了使用本發(fā)明的延遲器排列的插值示意圖；圖7示出了插值電路；圖8示出了插值窗口在采樣網(wǎng)格中的位置；圖9示出了在開(kāi)關(guān)矩陣輸入端的窗；圖10為對(duì)場(chǎng)40_A的垂直位置限制表；圖11為對(duì)場(chǎng)40_C的垂直位置限制表；圖12為運(yùn)動(dòng)矢量移位過(guò)的象素在一正交采樣網(wǎng)格中的可能的位置。
在HDMAC HDTV系統(tǒng)中，亮度和色度象素按塊來(lái)處理。依據(jù)在塊的圖象內(nèi)容內(nèi)的運(yùn)動(dòng)大小，不同的處理模式被分配給各個(gè)塊類型模式運(yùn)動(dòng)速度80mS靜止或接近靜止40mS中速20mS快速數(shù)據(jù)的壓縮是通過(guò)空間與時(shí)間二次采樣和運(yùn)動(dòng)補(bǔ)償來(lái)進(jìn)行的。對(duì)每一模式，分配一種特定的二次采樣的圖案(pattern)。在40mS模式中對(duì)每一第二場(chǎng)，使用運(yùn)動(dòng)補(bǔ)償。由于從統(tǒng)計(jì)上看，40mS模式是在HDMAC編碼算法中用得最多的，所以，在BRD(寬帶恢復(fù)解碼器)中進(jìn)行適當(dāng)?shù)?0mS模式的處理就很重要。不把兼容性改進(jìn)電路考慮在內(nèi)，40mS模式的處理在一個(gè)SSPC(二次采樣圖案轉(zhuǎn)換)電路中開(kāi)始，它將所有傳輸?shù)膱D象信息(例如二次采樣象素值)轉(zhuǎn)換成40mS的二次采樣圖案。由于所占場(chǎng)存儲(chǔ)器的數(shù)目的相對(duì)減少，從5個(gè)減到3個(gè)，在40mS與80mS模式之間的一些時(shí)間轉(zhuǎn)換未被合適地處理。這對(duì)運(yùn)動(dòng)補(bǔ)償?shù)膱?chǎng)影響很大，因?yàn)檫\(yùn)動(dòng)補(bǔ)償是對(duì)稱的并可以查到未以40mS模式傳輸?shù)膲K。然后，通過(guò)在奇數(shù)場(chǎng)中使用插值，在偶數(shù)場(chǎng)中使用運(yùn)動(dòng)補(bǔ)償，實(shí)現(xiàn)40mS處理本身。
本發(fā)明的一種有益的簡(jiǎn)化與40mS支路的輸出圖案有關(guān)。在現(xiàn)有BRD技術(shù)中，除了各模式支路之間的補(bǔ)償延遲器，不進(jìn)行處理的電路均大大增加了硬件成本。這尤其是對(duì)繼40mS支路之后引入的補(bǔ)償延遲器在進(jìn)行80mS處理時(shí)是這樣的。為了壓縮這些補(bǔ)償延遲器，40mS支路輸出相應(yīng)于80mS圖案，并允許40mS的塊被80mS插值器所處理。
按照本發(fā)明的另一簡(jiǎn)化與運(yùn)動(dòng)補(bǔ)償處理有關(guān)。在現(xiàn)有BRD技術(shù)中，運(yùn)動(dòng)補(bǔ)償是在對(duì)周?chē)鷥蓚€(gè)奇場(chǎng)插值后進(jìn)行的。輸出為全清晰度的場(chǎng)。而在本發(fā)明中，運(yùn)動(dòng)補(bǔ)償在40mS quincunx網(wǎng)格上進(jìn)行，并且輸出為兩個(gè)80mS模式的圖案80_1和80_2。
現(xiàn)有技術(shù)的40mS支路包括6個(gè)電路兩個(gè)插值器和4個(gè)運(yùn)動(dòng)補(bǔ)償延遲器。在本發(fā)明中，只有兩個(gè)運(yùn)動(dòng)補(bǔ)償?shù)牟逯灯?。這些電路的硬件復(fù)雜性主要源自于所需的開(kāi)關(guān)矩陣。此開(kāi)關(guān)矩陣包括行延遲器和象素延遲器，用于進(jìn)行對(duì)運(yùn)動(dòng)矢量移位后的象素的隨機(jī)存取。
在現(xiàn)有技術(shù)的開(kāi)關(guān)矩陣中，為存取4個(gè)象素，使用9個(gè)行延遲器；在本發(fā)明的開(kāi)關(guān)矩陣中，為存取6個(gè)象素只需要7個(gè)行延遲器。
在圖1中兩個(gè)運(yùn)動(dòng)補(bǔ)償?shù)牟逯灯?1和12接收每?jī)蓚€(gè)相繼幀的第一和第三場(chǎng)的40mS塊40_A和40_C。在一組水平與垂直延遲器DHV后為開(kāi)關(guān)矩陣SM。每個(gè)開(kāi)關(guān)矩陣SM的6個(gè)輸出象元值P、Q、R、S、T和U經(jīng)過(guò)又一個(gè)水平延遲器DH的陣列。為得到對(duì)80mS輸出網(wǎng)格的所有象素值，這些延遲器后跟著插值器INT。
對(duì)于插值，需要單運(yùn)動(dòng)矢量移位的輸出象素的4個(gè)最鄰近的象素P、Q、R和S。相應(yīng)的兩組4個(gè)象素至少有兩個(gè)公用的象素，這是因?yàn)檩敵?0_1和8 0_2的空間位置所致。這意味著使用相同的窗，存取6個(gè)象素P、Q、R、S、T和U，對(duì)于輸出80_1和80 2的運(yùn)動(dòng)補(bǔ)償是足夠的。
40mS支路的計(jì)算的輸出值80_1和80_2在一個(gè)多路復(fù)用器MUX中結(jié)合在一起，該多路復(fù)用器MUX在每一27MHz時(shí)鐘周期將奇場(chǎng)的最終輸出值80_1送至80mS模式圖案，和將偶場(chǎng)的值80_2送至80mS模式圖案中。
在圖3中示出了在80mS網(wǎng)格中的運(yùn)動(dòng)矢量移位的象素的4個(gè)可能的行(30)與列(31)位置IP1、IP2、IP3和IP4，以表示這6個(gè)所需的插值輸入P、Q、R、S、T和U。圓圈○標(biāo)出了輸出值80_1的空間位置，三角△標(biāo)出了輸出值80_2的空間位置。
如上文中所解釋的，當(dāng)運(yùn)動(dòng)矢量移位的象素不在quincunx網(wǎng)格上時(shí)，在quincunx網(wǎng)格上的運(yùn)動(dòng)補(bǔ)償需要一個(gè)插值。在這種情況中，當(dāng)只使用4個(gè)最鄰近的象素P、Q、R和S時(shí)，難于得到正確插值的象素。這個(gè)問(wèn)題的克服采取在水平延遲器DH中存儲(chǔ)3個(gè)相繼的開(kāi)關(guān)矩陣輸出。如圖2a中所示，對(duì)具有10個(gè)不同空間位置Q-1、Q0、Q1、P-1、R-1/P0、R0/P1、R1、S-1、S0與S1的十二個(gè)象素，如果是用相同的矢量來(lái)存取它們，則它們對(duì)于在插值器INT中進(jìn)行輸出象素值80_1和80_2的插值而言是可用的。
如圖2b中所示，在塊邊界20，當(dāng)相鄰塊的運(yùn)動(dòng)矢量不相同時(shí)，會(huì)出現(xiàn)一些問(wèn)題。在這種情況中，在插值器INT中使用的10個(gè)象素中的7個(gè)象素Q0、Q1、P0、R0、R1、S0和S1給出正確的輸入值。為了避免在塊邊界的復(fù)雜控制，要作兩個(gè)假定。這些假定已經(jīng)在提供很忙的運(yùn)動(dòng)圖象區(qū)域的圖象序列上進(jìn)行了仔細(xì)研究。這些研究證明這些假定是允許的。第一種假定是，使用在如圖5中所示的插值窗中包含的10個(gè)象素中的7個(gè)象素(尤其是4個(gè)最鄰近的象素)的插值將不會(huì)給出明顯的誤差，而是可能在一些特殊的圖象內(nèi)容中只給出模糊的象素。
第二個(gè)假定涉及在每一個(gè)由基于塊的運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)器而得到的運(yùn)動(dòng)矢量場(chǎng)中存在的連續(xù)性，這種連續(xù)性會(huì)使得對(duì)當(dāng)前塊外的3個(gè)象素的使用可以進(jìn)行。當(dāng)在一運(yùn)動(dòng)矢量塊中出現(xiàn)不連續(xù)時(shí)，HDMAC編碼器通常選擇20mS模式。如果運(yùn)動(dòng)補(bǔ)償未給出好的結(jié)果，則所述第一個(gè)假定將起作用，因?yàn)?矢量被用到了20mS各塊上。
圖4b更詳細(xì)地示出了水平和垂直延遲器DHV組。輸入值40_A和40-B分別經(jīng)過(guò)一串7行延遲器LD，使得在輸出端PV1到PV8可以使當(dāng)前場(chǎng)的8行的象素并行。這些輸出相應(yīng)于垂直矢量位置VY＝7、VY＝5、VY＝3、……VY＝-7。輸出Pv1到Pv8饋至具有輸出40(Ph1到Ph9)的水平延遲部分HDS的輸入41，輸出40在圖4a中更詳細(xì)地示出，每一塊T是一個(gè)象素的延遲。
如圖4b中所示，4個(gè)水平延遲部分(HDS1、HDS2、HDS3、HDS4)表示一個(gè)隨后的開(kāi)關(guān)矩陣SM對(duì)每個(gè)當(dāng)前象素位置將這些輸出40連接至相應(yīng)的6個(gè)開(kāi)關(guān)矩陣輸出，其分別代表象素P、Q、R、S、T和U。
圖5示出了對(duì)當(dāng)前象素I1的80_1插值窗51和對(duì)當(dāng)前象素I2的80-2插值窗52。
在圖6中，6個(gè)輸入象素P、Q、R、S、T和U中的每一個(gè)經(jīng)過(guò)一串二象素延遲器PD，其輸入和輸出分別以這種方式連接到插值器INT，以便使用插值窗51和52的各象素。
圖7表示插值器INT的一個(gè)可能的硬件實(shí)現(xiàn)。自插值窗51得到的輸入象素值Q-1、Q1、S-1、T0、Q0、S0、P0、R0、P-1和R1通過(guò)使用加法器“t”，乘法器“-2”、“4”、“7”、延遲器T和一除法器或移位器“÷16”而結(jié)合在一起。
值得注意，當(dāng)前40mS支路的輸出端的6個(gè)開(kāi)關(guān)矩陣輸出總是用在80_1窗口51中，因?yàn)榧词乖趬K的右邊界，它們也是正確的當(dāng)前組＝(P0、Q0、R0、S0、T0、V0)但是為了簡(jiǎn)化硬件的緣故，在I1的插值中不使用T0，及在I2的插值中不使用P0。
圖8精確地示出了在當(dāng)前行為奇(圖8a)或偶(圖8b)情形的窗位置。PB為圖象邊界，81和83是80_1窗，而82和84為80_2窗。其中的標(biāo)記有下述意義×傳輸?shù)南笏?40mS)□窗的中心○ 80_1采樣△80_2采樣I1和I2可按下列公式計(jì)算I1=[-2(Q-1+Q1+S-1+S1)+4(Q0+S0)+7(P0+R0)+(P-1+R1)]16]]>I2=[-2(R-1+R1+U-1+U1)+4(R0+U0)+7(S0+T0)+(S-1+T1)]16]]>
奇數(shù)場(chǎng)處理在奇數(shù)場(chǎng)上不加運(yùn)動(dòng)補(bǔ)償，但開(kāi)關(guān)矩陣SM用一個(gè)0矢量工作，以允許在HDMAC BRD中經(jīng)過(guò)一運(yùn)動(dòng)補(bǔ)償插值器(MCI)進(jìn)行處理。只有以40_A輸入的MCI是活動(dòng)的。圖8a和圖8b中的窗口的空間位置依賴于該場(chǎng)內(nèi)的輸出行奇偶性。
奇數(shù)行80_1＝P080_2=I1+S02]]>偶數(shù)行80_1＝I180_2=I2+R02]]>偶數(shù)場(chǎng)處理指向點(diǎn)(Impact Point)IP是指在作為開(kāi)關(guān)矩陣SM的輸出的一組6個(gè)象素(見(jiàn)圖3)內(nèi)的運(yùn)動(dòng)矢量所移位到的象素。實(shí)際上指向點(diǎn)標(biāo)志著一對(duì)點(diǎn)80_1和80_2的位置。運(yùn)動(dòng)矢量(Vx、Vy)和當(dāng)前行奇偶性決定指向點(diǎn)的位置。當(dāng)前行奇偶性指一奇數(shù)場(chǎng)，因?yàn)閷?duì)一個(gè)80mS輸出圖案，隔行掃描(interlace)不再存在。
奇數(shù)行從下式可知指向點(diǎn)IPS=|Vx|+|Vy|2]]>｜Vx｜表示Vx的絕對(duì)值，這些Vx和Vy為整數(shù)，S可為一整數(shù)，也可以不是S為整數(shù) S非整數(shù)，且Vy為負(fù) S非整數(shù)，且Vy為正 I(S)表示S的整數(shù)部分偶數(shù)行從下式可知指向點(diǎn)IPS=|Vx|+|Vy|2]]>S的計(jì)算與對(duì)奇數(shù)行的一樣，但給IP的賦值不同S整數(shù) S為非整數(shù)，Vy為負(fù) S為整數(shù)，Vy為正 要進(jìn)行的插值依賴于指向點(diǎn) 對(duì)一極端負(fù)的垂直矢量分量Vy＝-6和Vy＝-5，以及一極端正的垂直矢量分量Vy＝+6和Vy＝+5，象素U并不總是可用的。圖10和圖11給出了這些情況。因此，插值需要被簡(jiǎn)化當(dāng)缺U時(shí)，則I2=(3S0+3T0+2R0)8]]>當(dāng)缺Q時(shí)，則I1=(3P0+3R0+2S0)8]]>開(kāi)關(guān)矩陣SM的輸出依賴于運(yùn)動(dòng)矢量(對(duì)奇數(shù)場(chǎng)為0矢量)和行的奇偶性(總是和奇數(shù)場(chǎng)有關(guān))。圖9示出了對(duì)一奇數(shù)行(圖9a，PV＝5)和一偶數(shù)行(圖9b，PV＝5)的可訪問(wèn)的象素。標(biāo)記@代表一個(gè)80_1位置，而標(biāo)記○代表80_2位置。為了減少行延遲器的所需數(shù)目，對(duì)極端大的垂直矢量分量，不是所有的對(duì)插值所需的象素在任何情況下都是可用的。
圖10和圖11按圖9的計(jì)數(shù)和場(chǎng)40_A(t-20mS)給出了開(kāi)關(guān)矩陣各輸出的坐標(biāo)。對(duì)于從圖象左邊到右邊的水平位移，水平矢量分量為正。對(duì)于從圖象底部到頂部的位移，垂直矢量分量為正。為得到對(duì)場(chǎng)40_C(t+20mS)的表，這些垂直分量的符號(hào)需要反號(hào)。
圖10a對(duì)奇數(shù)行相應(yīng)于Vy和Vx奇偶標(biāo)志VXP給出了垂直位置PV。
圖10b對(duì)奇數(shù)行相應(yīng)于Vx和S奇偶標(biāo)志SP給出了水平位置PH。
對(duì)奇數(shù)行S奇偶標(biāo)志為S=|Vx|+|Vy|2]]>如S為偶數(shù)，則S奇偶標(biāo)志為偶，如S為非偶數(shù)，則S奇偶標(biāo)志為奇。
圖11a對(duì)偶數(shù)行相應(yīng)于Vy和Vx奇偶標(biāo)志VXP給出了垂直位置PV。
圖11b對(duì)偶數(shù)行相應(yīng)于Vx和S奇偶標(biāo)志SP給出了水平位置PH。
對(duì)偶數(shù)行S奇偶標(biāo)志為S=|Vx|+|Vy|+22]]>如S為偶數(shù)，則S奇偶標(biāo)志為偶，如S不為偶數(shù)，則S奇偶標(biāo)志為奇。
在一正交采樣網(wǎng)格系統(tǒng)中，例如MPEG，通過(guò)使用在可能的運(yùn)動(dòng)矢量指向點(diǎn)周?chē)?個(gè)象素P0、Q0、P1、Q1，運(yùn)動(dòng)補(bǔ)償?shù)牟逯凳请p線性的(即在兩個(gè)空間方向上是線性的)。如圖12中所示，該指向點(diǎn)可在采樣網(wǎng)格內(nèi)有4個(gè)不同的位置0。因此，開(kāi)關(guān)矩陣必須訪問(wèn)四個(gè)象素P0、Q0、P1、Q1。
按照本發(fā)明，對(duì)每個(gè)運(yùn)動(dòng)補(bǔ)償?shù)膲K的每個(gè)輸出象素位置，要訪問(wèn)的象素?cái)?shù)目可以減少為2(P和Q)。由于有延遲器PD(與圖6中所示的類似)，對(duì)一正確插值所需的所有4個(gè)輸入象素值都是可用的。
通過(guò)將運(yùn)動(dòng)補(bǔ)償?shù)奶幚韺?duì)每個(gè)塊行擴(kuò)展一個(gè)象素，可以解決所述塊邊界問(wèn)題。例如，如果要把一矢量用在一16×16塊上，該開(kāi)關(guān)矩陣SM就需要只在一個(gè)17×16塊的每個(gè)象素位置上訪問(wèn)2個(gè)象素(P和Q)。這樣在16×16塊內(nèi)到處用于運(yùn)動(dòng)補(bǔ)償中的四個(gè)象素就用同一矢量來(lái)訪問(wèn)，并且即使在塊邊界，該運(yùn)動(dòng)補(bǔ)償?shù)膲K可被完美地重建。
本發(fā)明可在諸如電視機(jī)和數(shù)字錄象機(jī)(VCR)中使用。
說(shuō)明本國(guó)際申請(qǐng)按條約第二章進(jìn)行過(guò)修改，國(guó)際初步審查報(bào)告中有關(guān)修改替換頁(yè)的譯文如下□原始提出的國(guó)際申請(qǐng)。
說(shuō)明書(shū)，1-14頁(yè)，按原始提出的，頁(yè)，隨要求書(shū)提出的，頁(yè)，隨的信件提出的，
權(quán)利要求，項(xiàng)，按原始提出的，項(xiàng)，按條約第19條修改的，項(xiàng)，隨要求書(shū)提出的，1-9項(xiàng)，隨03.05.95的信件提出的，
附圖，1/8-8/8 ，頁(yè)/圖，按原始要求提出的，頁(yè)/圖，隨要求書(shū)提出的，頁(yè)/圖，隨的信件提出的。
權(quán)利要求書(shū)按照條約第19條的修改1、一種用于對(duì)數(shù)字信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償插值的方法，其中，插值輸出的象素值(80_1、80_2)是用屬于所述視頻信號(hào)的輸入象素(51、52、81-84)的空間窗的象素值(P、Q、R、S)來(lái)插值的，所述窗的位置與要被插值的當(dāng)前輸出象素(80_1、80_2、I1、I2)的空間位置(IP1-IP4)有關(guān)，并且其中，對(duì)所述窗所需的象素值由分別延遲(DHV、LD、T)所述輸入象素來(lái)獲得，其中，對(duì)所述插值所需要的來(lái)自所述窗的這些象素值被提供(SM)，其特征在于，所述插值提供亞象素空間分辨率，所述的提供的象素被進(jìn)一步延時(shí)(PD)，從而所述被提供的象素值和所述進(jìn)一步延時(shí)的象素值構(gòu)成一個(gè)用于對(duì)所述輸出象素值(80_1、80_2)進(jìn)行插值(INT)的擴(kuò)大了的窗，該窗在一側(cè)被水平擴(kuò)展。
2、根據(jù)權(quán)利要求1中所述的方法，其特征在于所述輸出象素(80_1、80_2)構(gòu)成一個(gè)其輸入象素為二次采樣的象素的采樣網(wǎng)格。
3、根據(jù)權(quán)利要求1或2中所述的方法，其特征在于兩個(gè)或更多個(gè)所述輸出象素值(80_1、80_2)被并行插值(INT)，其中對(duì)這些輸出象素(80_1；80_2)的每一個(gè)，需要一組不同的輸入象素值(P、Q、R、S；S、R、T、U)，并且其中所述輸入象素值中的一些象素值(R、S)對(duì)不同組是公用的。
5、根據(jù)權(quán)利要求1至4中之一所述的方法，其特征在于所述運(yùn)動(dòng)補(bǔ)償?shù)牟逯当挥糜陲@示速率的向上變換。
6、根據(jù)權(quán)利要求1至5之一中所述的方法，其特征在于所述運(yùn)動(dòng)補(bǔ)償?shù)牟逯凳窃谝籋DMAC解碼器中進(jìn)行，其中該開(kāi)關(guān)矩陣(SM)在奇數(shù)場(chǎng)中用一個(gè)零矢量(Vx＝0、Vy＝0)工作。
7、根據(jù)權(quán)利要求1至6之一中所述的方法，其特征在于在大的垂直矢量分量(Vy)情況下，所述運(yùn)動(dòng)補(bǔ)償?shù)牟逯当恍薷摹?br> 8、一種用于運(yùn)動(dòng)補(bǔ)償插值的裝置，其中，各輸出象素值(80_1、80_2)從與當(dāng)前輸出象素(80_1、80_2、I1、I2)的空間與/或時(shí)間位置(IP1-IP4)相關(guān)的位于一窗(51、52、81-84)內(nèi)的輸入象素值(P、Q、R、S)來(lái)被插值(INT)，這與根據(jù)權(quán)利要求1至7中之一所述的方法相關(guān)，并且包括延遲裝置(DHV、LD、T)，用來(lái)得到所述窗口所需要的象素值；開(kāi)關(guān)矩陣裝置(SM)，其輸出響應(yīng)于一運(yùn)動(dòng)矢量(Vx、Vy)，在當(dāng)前連接到這種所述延遲裝置上，該延遲裝置在當(dāng)前傳遞所述輸入象素值(P、Q、R、S)；對(duì)每一個(gè)開(kāi)關(guān)矩陣裝置(SM)的輸出(P、Q、R、S、T、U)至少有一個(gè)延遲單元(PD)，該開(kāi)關(guān)矩陣裝置的每一個(gè)輸出都經(jīng)其通過(guò)，其中該開(kāi)關(guān)矩陣裝置的所述各輸出和所述延遲單元的各輸出被用來(lái)構(gòu)成一增大了的窗；繼所述延遲單元之后的插值裝置，用于對(duì)所述各輸出象素值(80_1、80_2)進(jìn)行插值。
9、根據(jù)權(quán)利要求8中所述的裝置，其特征在于該裝置是一電視接收機(jī)的一部分，特別是一HDMAC或MPEG接收機(jī)的一部分，或者是一HDMAC或MPEG解碼器或一數(shù)字錄象機(jī)的一部分。
權(quán)利要求
1.一種用于運(yùn)動(dòng)補(bǔ)償插值的方法，其中，插值輸出的象素值(80_1、80_2)是用與當(dāng)前輸出象素(80_1、80_2、I1、I2)的空間與/或時(shí)間位置(IP1-IP4)相關(guān)的位于一窗口(51、52、81-84)內(nèi)的輸入象素值(P、Q、R、S)來(lái)插值(INT)的，并且其中使用延遲裝置(DHV、LD、T)和開(kāi)關(guān)矩陣裝置(SM)，使得對(duì)該窗口所需的象素值為可用的，該開(kāi)關(guān)矩陣裝置(SM)的各輸出響應(yīng)于一運(yùn)動(dòng)矢量(Vx、Vy)，在當(dāng)前連接到這種所述延遲裝置上，該延遲裝置在當(dāng)前傳送所述輸入象素值(P、Q、R、S)，其特征在于，所述開(kāi)關(guān)矩陣裝置(SM)的每一個(gè)輸出要經(jīng)過(guò)至少一個(gè)另外的延遲單元(PD)，并且所述開(kāi)關(guān)矩陣裝置的各輸出和該延遲單元的各輸出被用來(lái)構(gòu)成用于對(duì)所述輸出象素值(80_1、80_2)進(jìn)行插值的增大了的窗。
2.根據(jù)權(quán)利要求1中所述的方法，其特征在于所述輸出象素(80_1、80_2)構(gòu)成一采樣網(wǎng)格，與之相比，所述輸入象素為二次采樣的象素。
3.根據(jù)權(quán)利要求1或2中所述的方法，其特征在于，兩個(gè)或更多個(gè)所述輸出象素值(80_1、80_2)被并行插值(INT)；其中對(duì)這些輸出象素(80_1；80_2)的每一個(gè)，需要一組不同的輸入象素值(P、Q、R、S；S、R、T、U)，但這些組的一部分包括公用的輸入象素值(R、S)。
4.根據(jù)權(quán)利要求1至3中之一所述的方法，其特征在于，所述插值(INT)以一場(chǎng)(40_A、40_C)為基礎(chǔ)來(lái)進(jìn)行。
5.根據(jù)權(quán)利要求1至4之一中所述的方法，其特征在于所述運(yùn)動(dòng)補(bǔ)償插值被用于顯示速率向上變換。
6.根據(jù)權(quán)利要求1至5之一中所述的方法，其特征在于所述運(yùn)動(dòng)補(bǔ)償播值在一HDMAC解碼器中進(jìn)行，其中所述開(kāi)關(guān)矩陣(SM)在奇數(shù)場(chǎng)中用一零矢量(Vx＝0、Vy＝0)工作。
7.根據(jù)權(quán)利要求1至6之一中所述的方法，其特征在于在大的垂直矢量分量(Vy)情況下，所述運(yùn)動(dòng)補(bǔ)償插值被修改。
8.一種實(shí)施根據(jù)權(quán)利要求1至7之一所述的方法，用于對(duì)一數(shù)字視頻信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償插值的裝置，其中，輸出的象素值(80_1、80_2)自屬于該數(shù)字視頻信號(hào)的輸入象素(51、52、81-84)的一空間窗的各象素值(P、Q、R、S)來(lái)被插值，所述窗的位置與要插值的當(dāng)前輸出象素(80_1、80_2、I1、I2)的空間裝置(IP1-IP4)相關(guān)，并且其中使用延遲裝置(DHV、LD、T)來(lái)得到對(duì)所述窗需要的象素值，以及其中開(kāi)關(guān)矩陣裝置(SM)在其輸出端提供對(duì)所述插值需要的來(lái)自所述窗的這些象素值，其特征在于所述插值提供空間亞象素分辨率；所述開(kāi)關(guān)矩陣裝置(SM)的每一個(gè)輸出都至少再經(jīng)過(guò)一個(gè)進(jìn)一步的延遲單元(PD)，從而所述開(kāi)關(guān)矩陣裝置的輸出和所述進(jìn)一步的象素延遲單元(PD)的輸出構(gòu)成一個(gè)用于對(duì)所述輸出象素值(80_1、80_2)進(jìn)行插值的擴(kuò)大了的窗，該窗在一側(cè)被水平擴(kuò)展。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于該裝置是一電視接收器，尤其是一HDMAC或MPEG接收器的一部分，或是一HDMAC或MPEG解碼器的一部分，或是一數(shù)字錄象機(jī)的一部分。
全文摘要
對(duì)于以亞象素精度的運(yùn)動(dòng)補(bǔ)償?shù)牟逯担瑏G失的象素需要在運(yùn)動(dòng)補(bǔ)償之前被產(chǎn)生或插值出來(lái)。所需的象素值(P、Q、R、S)用行和象素延遲器(DHV)來(lái)儲(chǔ)存。一開(kāi)關(guān)矩陣響應(yīng)于一運(yùn)動(dòng)矢量而選擇這些在當(dāng)前為處理所需的存儲(chǔ)的象素。為避免亞象素MCI，插值(INT)在運(yùn)動(dòng)補(bǔ)償之前進(jìn)行。因此，運(yùn)動(dòng)補(bǔ)償電路的輸入數(shù)據(jù)率兩倍于插值電路的。由此導(dǎo)致了高的硬件復(fù)雜度。本發(fā)明只使用了一簡(jiǎn)單的開(kāi)關(guān)矩陣(SM)，使得用于進(jìn)行亞象素MCI的存儲(chǔ)數(shù)據(jù)量減少。使用了一種特殊的延遲器(DH)的排列來(lái)存儲(chǔ)為處理所需的象素值，以擴(kuò)展延遲器陣列(DHV)。因?yàn)槭褂昧烁鄶?shù)量的有關(guān)象素，所以得到了改進(jìn)的亞象素MCI。這可能是由于這樣的事實(shí)，也就是即使相鄰的運(yùn)動(dòng)矢量不是與當(dāng)前運(yùn)動(dòng)矢量精確地匹配，這種延遲器的擴(kuò)展也沒(méi)有明顯地影響解碼后的圖象質(zhì)量。本發(fā)明可用在每一個(gè)使用MCI的系統(tǒng)中，尤其是用在基于空間-時(shí)間二次采樣和運(yùn)動(dòng)補(bǔ)償?shù)木幋a系統(tǒng)的解碼器中。運(yùn)動(dòng)補(bǔ)償和插值以輸入數(shù)據(jù)流的時(shí)鐘頻率被同時(shí)得到。
文檔編號(hào)H04N7/36GK1125030SQ94192328
公開(kāi)日1996年6月19日 申請(qǐng)日期1994年5月28日 優(yōu)先權(quán)日1993年6月1日
發(fā)明者埃里克·科利特, 米歇爾·克德蘭瓦特 申請(qǐng)人:湯姆森多媒體公司