專利名稱：使用一預(yù)抽取濾波器的下變換系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種將一編碼的高分辨率視頻信號，例如MPEG-2編碼的視頻信號轉(zhuǎn)換并格式化成一解碼的低分辨率輸出視頻信號的解碼器，且更具體地，涉及一種用于該解碼器的下變換系統(tǒng)。
在美國，一標(biāo)準(zhǔn)已被建議用于數(shù)字編碼的高清晰度電視信號(HDTV)。該標(biāo)準(zhǔn)的一部分在本質(zhì)上與由國際標(biāo)準(zhǔn)化組織(ISO)的運(yùn)動圖象專家組(MPEG)建議的MPEG-2是相同的。該標(biāo)準(zhǔn)在題為“信息技術(shù)—運(yùn)動圖象及相關(guān)的音頻的類編碼，建議H.626(InformationTechnology-Generic Coding of Moving Pictures and AssociatedAudio，Recommendation H.626)”，ISO/IEC 13818-2，IS，11/94的可從ISO獲得的國際標(biāo)準(zhǔn)(IS)出版物中被描述，并將它的有關(guān)MPEG-2數(shù)字視頻編碼標(biāo)準(zhǔn)的說明結(jié)合在此作為參考。
MPEG-2標(biāo)準(zhǔn)實際上是幾個不同的標(biāo)準(zhǔn)，在MPEG-2中，幾個不同的輪廓被定義，各對應(yīng)于被編碼圖象的一不同的復(fù)雜度水平。對于各輪廓，不同的水平被定義，各水平對應(yīng)于一不同的圖象分辨率。MPEG-2標(biāo)準(zhǔn)之一被稱之為主輪廓，主水平(Main Profile，Main Level)，其用于對符合現(xiàn)有電視標(biāo)準(zhǔn)(即NTSC或PAL)的視頻信號進(jìn)行編碼。另一標(biāo)準(zhǔn)被稱之為主輪廓，高水平(Main Profile，High Level)，其用于對高清晰度電視圖象進(jìn)行編碼。根據(jù)主輪廓，高水平標(biāo)準(zhǔn)被編碼的圖象具有高達(dá)每圖象幀1152有效行和每行1920個象素。
另一方面，主輪廓，主水平標(biāo)準(zhǔn)定義了每行720個象素和每幀576行的最大畫面尺寸。在每秒30幀的幀速下，根據(jù)該標(biāo)準(zhǔn)被編碼的信號具有每秒720×576×30或12441600個象素的數(shù)據(jù)速率。對比起來，根據(jù)主輪廓，高水平標(biāo)準(zhǔn)被編碼的圖象具有每秒1152×1920×30或66335200個象素的最大數(shù)據(jù)速率。該數(shù)據(jù)速率比根據(jù)主輪廓，主水平標(biāo)準(zhǔn)被編碼的圖象數(shù)據(jù)的數(shù)據(jù)速率的五倍還要大。在美國被建議用于HDTV編碼的標(biāo)準(zhǔn)是該標(biāo)準(zhǔn)的一子組，具有高達(dá)每圖象幀1080行和每行1920個象素，及對于該幀尺寸的每秒30幀的最大幀速。用于該建議的標(biāo)準(zhǔn)的數(shù)據(jù)速率仍遠(yuǎn)大于用于主輪廓，主水平標(biāo)準(zhǔn)的最大數(shù)據(jù)速率。
MPEG-2標(biāo)準(zhǔn)定義了包含數(shù)據(jù)和控制信息的一混合物的一復(fù)合語法。該控制信息的一些被用于使具有幾種不同格式的信號能被該標(biāo)準(zhǔn)所覆蓋。這些格式定義了具有不同的每行圖象元素(象素)數(shù)，不同每幀或每場的行數(shù)，和不同的每秒幀數(shù)或場數(shù)的圖象。而且，MPEG-2主輪廓的基本語法定義了代表在五個層，序列層、圖象群層、圖象層、片(slice)層和宏塊層中的一序列圖象的壓縮的MPEG-2位流。這些層中的各層用控制信息被引導(dǎo)。最后，其他信息，也被稱為輔助信息(例如，幀類型，宏塊圖案，圖象運(yùn)動矢量，系數(shù)Z形圖案和去量化信息)通過該編碼的位流被散置。
一下變換系統(tǒng)將高清晰度輸入圖象變換成低分辨率圖象用于在一低分辨率監(jiān)視器上顯示。高分辨率主輪廓，高水平圖象到主輪廓，主水平圖象，或其他低分辨率圖象格式的下轉(zhuǎn)換已獲得增大的用于減小HDTV的實現(xiàn)成本的重要性。下轉(zhuǎn)換允許用具有低圖象分辨率的便宜的現(xiàn)有的監(jiān)視器來替換使用主輪廓，高水平編碼的圖象的昂貴的高清晰度監(jiān)視器以支持例如主輪廓，主水平編碼的圖象，例如NTSC或525逐行監(jiān)視器。
為有效地接收數(shù)字圖象，解碼器應(yīng)快速地處理視頻信號信息。為使最佳地有效，編碼系統(tǒng)應(yīng)是相對便宜的且還具有充足的能力來實時地解碼這些數(shù)字信號。
現(xiàn)有技術(shù)中的一種下變換的方法簡單地進(jìn)行低通濾波并抽取解碼的高分辨率、主輪廓，高水平圖象以形成適用于在一常規(guī)的電視接收機(jī)上進(jìn)行顯示的圖象。因此，使用現(xiàn)有技術(shù)，采用下變換的解碼器可使用一單個的具有復(fù)雜設(shè)計，很大的存儲量，并以高數(shù)據(jù)速率對空間域圖象起作用的處理器而被實現(xiàn)以執(zhí)行該功能。然而，高分辨率，和高數(shù)據(jù)速率要求非常昂貴的電路，這與成本是主要因素的消費者的電視接收機(jī)中的解碼器的實現(xiàn)是相違背的。
本發(fā)明是在一用于從一代表一視頻圖象的被編碼的視頻信號形成一低分辨率視頻信號的設(shè)備中被實現(xiàn)的。該被編碼的視頻信號是一頻域變換的高分辨率視頻信號。該設(shè)備包括一用于接收該被編碼的視頻信號作為多個高分辨率頻域視頻系數(shù)值的塊。一下變換濾波器對在各塊內(nèi)的高分辨率頻域視頻系數(shù)值中被選擇的系數(shù)值進(jìn)行加權(quán)以生成對應(yīng)的濾波后的頻域視頻系數(shù)的塊。一逆變換處理器將各濾波后的頻域視頻系數(shù)的塊變換成一第一濾波后的象素值的塊。一預(yù)抽取濾波器執(zhí)行多個第一濾波后的象素值的塊的塊間濾波并提供對應(yīng)的第二濾波后的象素值的塊。一抽取裝置刪除各塊內(nèi)的第二濾波后的象素值中的被選擇的象素值以提供低分辨率向下抽樣的視頻信號象素值。
根據(jù)本發(fā)明的一方面，該抽取裝置被耦合至一向上抽樣濾波器，該向上抽樣濾波器將低分辨率向下抽樣的視頻信號象素值的塊轉(zhuǎn)換成低分辨率視頻信號象素值的向上抽樣的塊。一加法器然后將這些低分辨率視頻信號象素值的向上抽樣的塊加至第一濾波后的象素值的塊以提供一通過該預(yù)抽取濾波器被濾波的且然后通過該抽取裝置被抽取的一和。該向上抽樣濾波器和預(yù)抽取濾波器的組合的頻率響應(yīng)特性符合一拉格朗日(lagrange)插值器的響應(yīng)特性。
從以下結(jié)合附圖進(jìn)行的詳細(xì)描述，本發(fā)明的以上及其他的目的和特征將變得顯然。
圖1為現(xiàn)有技術(shù)的一視頻解碼系統(tǒng)的高水平方框圖；圖2為具有一DCT域濾波器和一預(yù)抽取濾波器的一下變換系統(tǒng)的一示例性實施例的高水平方框圖3A示出了3∶1和2∶1下變換系統(tǒng)的示例性實施例的子象素部分和對應(yīng)的預(yù)測的象素；圖3B示出了對一示例性下變換系統(tǒng)的一輸入宏塊的各行執(zhí)行的向上抽樣過程；圖4示出了用于一塊反射鏡濾波器的一示例性實施例的第一和第二輸出象素值的乘法對；圖5A示出了用于使用3∶1抽取的4∶2∶0視頻信號的輸入和抽取的輸出象素；圖5B示出了用于使用2∶1抽取的4∶2∶0視頻信號的輸入和抽取的輸出象素；圖6示出了一向上抽樣濾波器、一預(yù)抽取濾波器的頻率響應(yīng)特性和它們的對于一水平的3∶1下變換系統(tǒng)的級聯(lián)的響應(yīng)；及圖7示出了一向上抽樣濾波器、一預(yù)抽取濾波器的頻率響應(yīng)特性和它們的對于一水平的2∶1下變換系統(tǒng)的級聯(lián)的響應(yīng)。
I.解碼器綜述本發(fā)明的示例性實施例對已根據(jù)MPEG-2標(biāo)準(zhǔn)且更具體地是主輪廓，高水平MPE6-2標(biāo)準(zhǔn)被編碼的解碼的HDTV信號進(jìn)行濾波。
然而，在此所述的本發(fā)明并不限于解碼的HDTV信號的下變換濾波。以下描述的濾波方法還可被使用以對其他類型的頻域編碼的數(shù)字信號(可被劃分成若干部分，被濾波，且然后被重組合)進(jìn)行濾波。
該MPEG-2主輪廓，高水平標(biāo)準(zhǔn)以五個水平序列水平、圖象群水平、圖象水平、片水平和宏塊水平定義了一序列圖象。這些水平中的各個可被認(rèn)為是一數(shù)據(jù)流中的一記錄，后列出的水平出現(xiàn)作為先列出的水平中的嵌套的子水平。各水平的記錄包括一頭部，該頭部包含在解碼其子記錄中被使用的數(shù)據(jù)。
宏塊由六個塊組成，4個亮度塊Y和2個色度塊Cr和Cb。編碼的HDTV信號的各塊包含代表一兩維離散余弦變換(DCT)的64個各自系數(shù)值的數(shù)據(jù)，其中該64個各自系數(shù)值代表HDTV圖象中的64個圖象元素(象素)。
在編碼的過程中，象素數(shù)據(jù)在被進(jìn)行離散余弦變換之前被進(jìn)行運(yùn)動補(bǔ)償差分編碼且這些變換的系數(shù)的塊通過采用行程長度和可變長度編碼技術(shù)而再被編碼。從該數(shù)據(jù)流恢復(fù)該圖象序列的一解碼器逆反該編碼過程。該解碼器采用一熵解碼器(例如，一可變長度編碼器)，一逆離散余弦變換處理器，一運(yùn)動補(bǔ)償處理器，和一插值濾波器。
圖1是現(xiàn)有技術(shù)的一典型的視頻解碼系統(tǒng)的高水平方框圖。該現(xiàn)有技術(shù)的視頻解碼器包括一熵解碼器110(通常是一可變長度解碼器和一行程長度解碼器)，一反量化器120，和一反離散余弦變換(IDCT)處理器130。該示例性系統(tǒng)還包括一相應(yīng)于由熵解碼器110從輸入位流檢索的控制信息來控制該解碼系統(tǒng)的不同元件的控制器170。為處理預(yù)測圖象，該現(xiàn)有技術(shù)的系統(tǒng)還包括一存儲器160，一加法器140，一運(yùn)動補(bǔ)償處理器150，和一塊到光柵(block to raster)轉(zhuǎn)換器180。
可變長度解碼器110接收編碼的視頻圖象信號，并逆轉(zhuǎn)編碼過程以生成包括描述一先前解碼的圖象中的一匹配的宏塊的相對位移的運(yùn)動矢量的控制信息。該匹配的宏塊對應(yīng)于當(dāng)前被解碼的預(yù)測的圖象的一宏塊。該可變長度解碼器110還接收或者被稱之為剩余視頻圖象的當(dāng)前視頻圖象的塊的量化的DCT變換系數(shù)(如果使用幀內(nèi)編碼)，或者接收當(dāng)前和預(yù)測的視頻圖象之間的差(如果使用幀間編碼)。反量化器120接收量化的DCT變換系數(shù)并重構(gòu)用于一具體宏塊的量化的DCT系數(shù)。待被用于一具體塊的量化矩陣被從該可變長度解碼器110接收。
IDCT處理器130將重構(gòu)的DCT系數(shù)變換成空間域中的象素值(用于代表該宏塊的亮度或色度分量的8×8矩陣值的各塊，和用于代表該預(yù)測的宏塊的差分亮度或差分色度分量的8×8矩陣值的各塊)。
如果該當(dāng)前宏塊未被預(yù)測地編碼，則輸出矩陣值是當(dāng)前視頻圖象的對應(yīng)宏塊的象素值。如果該宏塊被進(jìn)行幀間編碼，先前視頻圖象幀(一基準(zhǔn)幀)的對應(yīng)宏塊被存儲在存儲器160中供運(yùn)動補(bǔ)償處理器150使用。運(yùn)動補(bǔ)償處理器150響應(yīng)于從熵解碼器110接收的運(yùn)動矢量，從存儲器160接收先前的宏塊。運(yùn)動補(bǔ)償處理器然后在加法器140中將該先前宏塊加至當(dāng)前IDCT變換的宏塊(對應(yīng)于當(dāng)前預(yù)測地編碼的幀的一剩余分量)以生成用于當(dāng)前視頻圖象的象素的對應(yīng)的宏塊，然后被存入存儲器160。
II.下變換系統(tǒng)A.綜述圖2是一下變換系統(tǒng)的一示例性實施例的高水平方框圖。如圖2中所述，該下變換系統(tǒng)包括一可變長度解碼器(VLD)210，一行程長度(R/L)解碼器212，一反量化器214，和一反離散余弦變換(IDCT)處理器218。而且，該下變換系統(tǒng)還包括一下變換濾波器(DCT濾波器)216，一預(yù)抽取濾波器240，和一用于編碼的圖象的濾波的向下抽樣處理器232。盡管以下描述了用于一主輪廓，高水平編碼的輸入的示例性實施例，該下變換系統(tǒng)可用任何類似的進(jìn)行編碼的高分辨率圖象位流而被實現(xiàn)。
該下變換系統(tǒng)還包括一運(yùn)動矢量(MV)變換器220，包括向上抽樣處理器226和半象素生成器228的一高分辨率運(yùn)動塊生成器224和一基準(zhǔn)幀存儲器222。
而且，該系統(tǒng)包括一顯示轉(zhuǎn)換單元280(包括一垂直可編程濾波器(VPF)282和水平可編程濾波器(HZPF)284)。該顯示轉(zhuǎn)換單元280將一向下抽樣的圖象轉(zhuǎn)換成在具有低分辨率的一具體顯示器上進(jìn)行顯示的圖象。
下變換濾波器216執(zhí)行頻域內(nèi)的高分辨率(例如主輪廓，高水平DCT)系數(shù)的塊內(nèi)低通濾波。預(yù)抽取濾波器240執(zhí)行空間象素值的塊間低通濾波。向下抽樣處理器232通過抽取低通濾波的主輪廓，高水平圖象而消去選擇的空間象素值以生成一組可在具有比要求顯示主輪廓，高水平圖象的分辨率要低的分辨率的監(jiān)視器上顯示的象素值。示例性的基準(zhǔn)幀存儲器222存儲對應(yīng)于具有對應(yīng)于向下抽樣的圖象的一分辨率的至少一先前編碼的基準(zhǔn)幀的空間象素值。對于非宏塊內(nèi)編碼，MV轉(zhuǎn)換器220和分辨率的減少一致地對接收的圖象的各塊運(yùn)動矢量進(jìn)行定標(biāo)，且低分辨率運(yùn)動塊生成器224接收由基準(zhǔn)幀存儲器222提供的抽取的低分辨率運(yùn)動塊，對這些運(yùn)動塊進(jìn)行向上抽樣并生成半象素值從而以半象素精度提供運(yùn)動塊，其呈現(xiàn)與解碼的及濾波的差分象素塊的良好的空間一致。
現(xiàn)描述下變換系統(tǒng)的該示例性實施例的用于宏塊內(nèi)編碼的操作。該主輪廓，高水平位流由VLD210接收及解碼。除了由HDTV系統(tǒng)使用的首部信息外，VLD210提供用于各塊和宏塊的DCT系數(shù)，和運(yùn)動矢量信息。這些DCT系數(shù)在R/L解碼器212中被進(jìn)行行程長度解碼并由反量化器214進(jìn)行反量化。VLD210和R/L解碼器212對應(yīng)于圖1中的熵解碼器。
由于由DCT系數(shù)表示的接收的視頻圖象是高分辨率圖象，各塊的DCT系數(shù)在進(jìn)行高分辨率視頻圖象的抽取之前被低通濾波。反量化器214將這些DCT系數(shù)提供給DCT濾波器216，后者在將它們提供給IDCT處理器218之前通過用預(yù)定的濾波系數(shù)對這些DCT系數(shù)進(jìn)行加權(quán)而執(zhí)行在頻域內(nèi)低通濾波。在一示例性實施例中，該濾波操作在逐塊的基礎(chǔ)上進(jìn)行。
IDCT處理器218通過執(zhí)行濾波的DCT系數(shù)的一反離散余弦變換來提供空間象素值。預(yù)抽取濾波器240對IDCT處理器218提供的這些空間象素值進(jìn)行濾波。向下抽樣處理器232通過根據(jù)一預(yù)定的抽取比消去空間象素值來減小圖象取樣尺寸；因此，該低分辨率圖象的存儲使用相比于存儲較高分辨率的主輪廓，高水平圖象所需的幀存儲器要小的幀存儲器222。
現(xiàn)描述一下變換系統(tǒng)的該示例性實施例用于非宏塊內(nèi)編碼的操作。在該示例性實施例中，按照MPEG標(biāo)準(zhǔn)，當(dāng)前接收的圖象DCT系數(shù)代表預(yù)測的圖象宏塊的剩余分量DCT系數(shù)。由于存儲在基準(zhǔn)幀存儲器222中的先前幀低分辨率參考圖象不具有與高分辨率的預(yù)測的幀(主輪廓，高水平)相同的象素數(shù)，這些運(yùn)動矢量的水平分量被定標(biāo)。
參見圖2由VLD210提供的主輪廓、高水平位流的運(yùn)動矢量被提供給MV變換器220。各運(yùn)動矢量由MV變換器220定標(biāo)以參考基準(zhǔn)幀存儲器222中存儲的一先前圖象的基準(zhǔn)幀的適當(dāng)?shù)念A(yù)測塊。被檢索的塊中的大小(象素值數(shù))限于被用于編碼當(dāng)前圖象的對應(yīng)的高分辨率塊的一塊；因此該被檢索的塊被進(jìn)行向上抽樣以形成具有與IDCT處理器218提供的剩余塊相同數(shù)目的象素的一預(yù)測塊。
該預(yù)測塊通過向上抽樣處理器226響應(yīng)于來自MV變換器220的一控制信號被向上抽樣以生成對應(yīng)于象素的初始高分辨率塊的一塊。然后，生成半象素值，如果由半象素發(fā)生器228中的向上抽樣的預(yù)測塊的運(yùn)動矢量指示，以確保該預(yù)測塊的空間對準(zhǔn)。該被向上抽樣和對準(zhǔn)的預(yù)測塊在加法器230中被加至當(dāng)前濾波的塊，其例如是來自該預(yù)測塊的分辨率降低的剩余分量。所有的處理是在逐宏塊的基礎(chǔ)上進(jìn)行的。在向上抽樣域中完成對當(dāng)前宏塊的運(yùn)動補(bǔ)償處理后，重建的宏塊通過預(yù)抽取濾波器240被濾波且然后在向下抽樣處理器232中被抽取。預(yù)抽取濾波器240以一固定的核(kernel)大小工作以濾波越過塊和宏塊邊界的空間象素值。這樣，預(yù)抽取濾波器240是一塊間濾波器。預(yù)抽取濾波器240的作用是減少例如由塊內(nèi)頻域濾波器216引起的解碼圖象中的成塊人工因素(artifact)。該抽取處理不降低圖象的分辨率而簡單地從低分辨率濾波的圖象中去除剩余象素。
一旦獲得用于一圖象的向下抽樣的宏塊，顯示轉(zhuǎn)換單元280通過分別在VPF282和HZPF294中對該向下抽樣的圖象的垂直和水平分量進(jìn)行濾波來調(diào)節(jié)該圖象以在一低分辨率電視顯示器上進(jìn)行顯示。
B.宏塊預(yù)測由于先前圖象的基準(zhǔn)幀的大小被弄小，接收的針對這些幀的運(yùn)動矢量也可根據(jù)變換比被變換。以下描述例如在水平方向上對亮度塊的運(yùn)動變換。本領(lǐng)域的熟練技術(shù)人員將容易地將以下討論擴(kuò)展至在垂直方向上的運(yùn)動變換(如果使用的話)。標(biāo)記x和y作為初始圖象幀中的當(dāng)前宏塊地址，Dx作為水平抽取因子及mvx作為初始圖象幀的半象素水平運(yùn)動矢量，初始圖象幀中的運(yùn)動塊的左頂象素的地址，以半象素單位被表示為XH，由下式給出XH＝2x+mvx(1)對應(yīng)于該運(yùn)動塊的象素在向下抽樣的圖象中開始，其地址以象素單位被表示為x*和y*，在下式(2)被給出x*=XH2·Dx;y*=y---(2)]]>因為例示的DCT濾波器216和向下抽樣處理器232僅減少該圖象的水平分量，而對運(yùn)動矢量的垂直分量不影響。對于色度，該運(yùn)動矢量是初始圖象中的一亮度運(yùn)動矢量的一半。因此，用于變換色度運(yùn)動矢量的定義也可使用公式(1)和(2)。
運(yùn)動預(yù)測由兩步處理完成首先，在圖2的向上抽樣處理器226中對該向下抽樣的圖象幀進(jìn)行向上抽樣所恢復(fù)的初始圖象幀中的象素精度運(yùn)動估算，然后，半象素發(fā)生器228通過平均最接近的象素值來執(zhí)行一半象素運(yùn)動估算。
對應(yīng)于一初始圖象中的象素的一抽取的圖象中的子象素例如使用向上抽樣處理器226中的一向上抽樣多相濾波器被進(jìn)行內(nèi)插，該向上抽樣處理器226給出初始圖象中的一運(yùn)動預(yù)測。該運(yùn)動預(yù)測在加法器230中被加至IDCT處理器218的一輸出信號。由于加法器230的輸出值對應(yīng)于一初始圖象格式的分辨率降低的圖象，這些值可被向下抽樣用于在一具有低分辨率的顯示器上進(jìn)行顯示。在向下抽樣處理器232中的向下抽樣基本上等同于一圖象幀的子抽樣，但可根據(jù)變換比進(jìn)行調(diào)節(jié)。例如，在3∶1向下抽樣的情況下，對于各輸入宏塊，水平向下抽樣的象素數(shù)是6或5，且第一向下抽樣的象素不總是輸入宏塊中的第一象素。
在從該向下抽樣的圖象獲取正確的運(yùn)動預(yù)測塊后，執(zhí)行向上抽樣以得到初始圖象中的對應(yīng)的預(yù)測塊。因此，運(yùn)動塊預(yù)測中的子象素精度在該向下抽樣的圖象中是所期望的。例如，使用3∶1抽取，在運(yùn)動預(yù)測中具有1/3(或1/6)子象素精度是所期望的，除了向下抽樣的運(yùn)動塊外的，該運(yùn)動矢量所需的一第一象素的該子象素被確定。然后，使用模運(yùn)算確定后繼的子象素位置，如以下所述的。這些子象素位置被表示為xs，如式(3)中給出的Xs=(XH2)%(Dx)---(3)]]>其中“％”代表模除法。
例如，xs的范圍對于3∶1向上抽樣是0，1，2且對于2∶1向上抽樣是0，1。圖3A示出了用于3∶1和2∶1例子的子象素位置和對應(yīng)的17個預(yù)測的象素，且表1給出了圖3A的符號表。
表1
<p>如先前所述，該向上抽樣濾波器可以是向上抽樣多相濾波器，且表2A給出了這些向上抽樣多相濾波器的特性。
表2A
以下的表2B和2C示出了用于例示的3∶1和2∶1向上抽樣多相濾波器的多相濾波系數(shù)。
表2B3∶1向上抽樣濾波器
表2C2∶1向上抽樣濾波器
在一固定點表示中，表2B和2C的括號中的數(shù)是9位的2的補(bǔ)數(shù)表示，帶有左邊的對應(yīng)的雙精度數(shù)。根據(jù)向下抽樣的基準(zhǔn)圖象幀中的運(yùn)動預(yù)測塊的子象素位置，多相內(nèi)插濾波器的一對應(yīng)相位被使用。而且，在一例示實施例中，需要在左和右上的更多象素以在該向下抽樣的圖象幀中內(nèi)插17個水平象素。例如，在3∶1抽取的情況下，有用于各輸入宏塊的最大6個水平地向下抽樣的象素。然而，當(dāng)進(jìn)行向上抽樣時，需要9個水平象素以生成對應(yīng)的運(yùn)動預(yù)測塊值，因為一向上抽取濾波器要求該濾波器的邊界外側(cè)的更多的左和右象素以進(jìn)行工作。由于該例示的實施例采用半象素運(yùn)動估算，需要17個象素以得到可以是第一16個整數(shù)象素或最接近的兩象素值的平均值的16個半象素。一半象素運(yùn)動發(fā)生器處理其。表3示出了子象素位置和多相濾波器元素，與另外需要的用于向上抽樣處理的多個左象素之間的映射。
表3
圖3B概述了對一輸入宏塊的各行執(zhí)行的向向上抽樣處理。首先，在步驟310，接收用于被處理的輸入圖象幀的塊的運(yùn)動矢量。在步驟312，該運(yùn)動矢量被變換以對應(yīng)于存儲器中的向下抽樣的基準(zhǔn)幀。在步驟314，該被定標(biāo)的運(yùn)動矢量被使用以檢索幀存儲器中存儲的預(yù)測塊的坐標(biāo)。在步驟316，用于該塊的子象素點被確定且然后在步驟318檢索用于向上抽取的初始多相濾波器值。然后在步驟320從存儲器檢索用于該存儲的向下抽取的基準(zhǔn)幀的預(yù)測塊的識別的象素。
在濾波步驟324最初通過之前，在步驟322寄存器被初始化，對于該例示性實施例要求用初始3或5個象素值裝載這些寄存器。然后，在濾波步驟324之后，在步驟326該處理確定是否所有的象素已被處理。在該例示性實施例中17個象素被處理。如果所有的象素未被處理，在步驟328更新該相位，且核查該相位是否為0值。在本發(fā)明的一實施例中，如果該相位是零，這些寄存器被更新用于下一組多相濾波系數(shù)。更新寄存器步驟332然后簡單地更新這些輸入象素。在最左象素在該塊邊界外側(cè)的特殊情況下，一先前象素值可以被重復(fù)。
C.采用DCT系數(shù)的加權(quán)的DCT域濾波該下變換系統(tǒng)的示例性實施例包括替換空間域中的低通濾波器的，在頻域中處理DCT系數(shù)的DCT濾波器216。以DCT域濾波替代空間域濾波用于DCT編碼的圖象有幾個優(yōu)點，例如由MPEG或JPEG標(biāo)準(zhǔn)所規(guī)劃。最顯著地，DCT域濾波器在計算上更加有效且比施加于空間象素的空間域濾波器要求更少的硬件。例如，具有N個抽頭的一空間濾波器可使用多達(dá)對個空間象素值的N次乘法和加法。這相當(dāng)于DCT域濾波器中的僅一次乘法。
最簡單的DCT域濾波器是高頻DCT系數(shù)的一截短，然而，高頻DCT系數(shù)的截短不導(dǎo)致一平滑的濾波且具有例如在解碼的圖象中的邊緣附近“形成環(huán)繞”的缺陷。本發(fā)明的示例性實施例的DCT域低通濾波器是從空間域中的一塊反射鏡濾波器導(dǎo)出的。用于該塊反射鏡濾波器的濾波系數(shù)值是例如在空間域中被最優(yōu)化的，且這些值然后被轉(zhuǎn)換成DCT域濾波器的系數(shù)。
盡管該示例性實施例示出了僅在水平方向上的DCT域濾波，DCT域濾波可在水平或垂直任一方向上或通過組合水平和垂直濾波而在兩方向上被進(jìn)行。
D.DCT域濾波器系數(shù)的推導(dǎo)從兩約束中推導(dǎo)本發(fā)明的一示例性濾波器首先，該濾波器不使用來自同一圖象的其他塊或來自先前圖象的信息，對該圖象的各塊在逐塊的基礎(chǔ)上處理圖象數(shù)據(jù)；且其次，該濾波器減少當(dāng)其處理邊界象素值時出現(xiàn)的塊邊界的視見度。
根據(jù)第一個約束，在一MPEG圖象序列的基于DCT的壓縮中，例如，N×NDCT系數(shù)的塊實現(xiàn)N×N空間象素值的塊。因此，本發(fā)明的一示例性實施例實現(xiàn)僅處理當(dāng)前接收的圖象的塊的一DCT域濾波器。
根據(jù)第二個約束，如果該濾波被簡單地施加于空間象素值的一塊，有在塊邊界外的不充足數(shù)的空間象素值引起的在塊邊界上濾波的過渡以填充濾波的剩余。也就是說，一塊的邊界不能被適當(dāng)?shù)貫V波，因為該N抽頭濾波器具有各自用于依據(jù)N是偶數(shù)或奇數(shù)而定的僅N/2或(N/2)-1個抽頭。其余的輸入象素在該塊的邊界外。有幾種提供象素值的方法(1)重復(fù)在一邊界外的預(yù)定的恒定象素值；(2)重復(fù)相同的象素值作為邊界象素值；及(3)反射該塊的象素值以形成相鄰于該被處理塊的先前及后繼塊的象素值。沒有有關(guān)該先前或后繼塊的內(nèi)容的信息，該反射方法被認(rèn)為是一較佳的方法。因此，本發(fā)明的一實施例采用該反射方法用于濾波器且被稱為“塊反射鏡濾波器“。
以下描述執(zhí)行對塊的8個輸入空間象素值進(jìn)行低通濾波的一水平塊反射鏡濾波器。如果該輸入塊的大小為8×8塊矩陣的象素值，則可通過將該塊反射鏡濾波器施加于8個象素值的各行而完成一水平濾波。顯然，對于本領(lǐng)域的熟練技術(shù)人員，可通過施加該塊矩陣的列方向的濾波系數(shù)而執(zhí)行該濾波處理，或可通過濾波這些行且然后濾波該塊矩陣的列來實現(xiàn)多維濾波。
圖4示出了采用由抽頭值h0至h14代表的一15抽頭空間濾波的一示例性反射鏡濾波器的用于8個輸入象素的輸入象素值x0至x7(群X0)之間的對應(yīng)。這些輸入象素在群X0的左側(cè)上被反射，示出為群X1，并在群X0的右側(cè)上被反射，示出為群X2。該濾波器的輸出象素值是這些濾波器抽頭值與對應(yīng)的象素值的15次相乘的和。圖4示出了用于第一和第二輸出象素值的乘法對。
以下示出了空間域中的塊反射鏡濾波器等同于DCT域濾波器。該反射鏡濾波與具有2N(N＝8)個點的一圓周卷積相關(guān)。
如公式(4)所示地定義矢量x’。
x’(n)＝x(n)+x(2N-1-n)；0＜＝n＜＝2N-1(4)在N＝8的情況下，x’＝(x0，x1，x2，x3，x4，x5，x6，x7，x7，x6，x5，x4，x3，x2，x1，x0)重排濾波器抽頭值h0至h14，并由h’表示重排的值h’＝(h7，h8，h9，h10，h11，h12，h13，h14，O，h0，h1，h2，h3，h4，h5，h6)因此反射鏡濾波的輸出y(n)是由公式(5)給出的x’(n)和h’(n)的圓周卷積。
y(n)＝x’(n)h’(n)(5)其等同于公式(6)y(n)=Σk=02N-1x′[n-k]·h′(n)---(6)]]>其中x’[n-k]是x’(n)的圓模且x’[n]＝x’(n) n＞＝0x’[n]＝x’(n+2N)n＜0.
已知公式(5)中所示的空間域中的圓周卷積對應(yīng)于離散傅里葉變換(DFT)域中的標(biāo)量乘法。定義Y(k)作為y(n)的DFT，則公式(5)變?yōu)镈FT域中的公式(7)。
Y(k)＝X’(k)·H’(k)(7)其中X’(k)和H’(k)分別是x’(n)和h’(n)的DFT。
公式(4)至(7)對于帶有少于2N個抽頭的濾波器是有效的。而且，該濾波器被限于是帶有奇數(shù)個抽頭的一對稱濾波器，這些約束H’(k)是一實數(shù)。因此，X’(k)，x’(n)的DFT，可在DFT頻域中被用一實數(shù)H’(k)進(jìn)行加權(quán)來替代在空間域中的2N次乘法和2N次加法運(yùn)算以執(zhí)行該濾波操作。X’(k)的值與初始N-點x(n)的DCT系數(shù)非常緊密地相關(guān)，因為一N-點DCT是通過作為由x(n)及其反射，x(2N-1-n)組成的聯(lián)合序列的x’(n)D的2N-點DFT而獲得的。
以下描述空間濾波器的DFT系數(shù)，H’(k)的推導(dǎo)，通過假定一對稱濾波器具有一奇數(shù)個抽頭，2N-1，其是h(n)＝h(2N-2-n)，并等同地h’(n)＝h’(2N-2-n)且h’(N)＝0。如公式(8)中定義H’(k)。H′(k)=Σn=02N-1h′(n)·W2Nkn=h′(0)+2Σn=1N-1h′(n)·cosπknN---(8)]]>其中W2Nkn＝exp{-2πkn/(2N)}；及H’(k)＝H’(2N-k)。
已知x’(n)的2N一點DFT，X’(k)可由其DCT系數(shù)表示，如在公式(9)中X′(k)=Σn=02N-1x′(n)·W2Nkn=W2N-k/2·Σn=1N-12x(n)·cosπk(2n+1)2N---(9)]]>而x(n)的DCT系數(shù)，C(k)，在公式(10)中被給出。C(k)=Σn=1N-12x(n)·cosπk(2n+1)2N=W2Nk/2·X′(k)0≤k≤N-1---(10)]]>且在另外一處C(k)＝0。
X’(k)的值，x’(n)的DFT系數(shù)，可由C(k)表達(dá)，x’(n)的DCT系數(shù)由公式(11)中的矩陣表示X′(k)=W2N-k/2·C(k)fork≤N-10fork=N-W2N-k/2·C(2N-k)forN+1≤k≤2N-1---(11)]]>初始空間象素值，x(n)，也可通過公式(12)中所示的IDCT(反離散余弦變換處理)被獲得。x(n)=Σk=0N-1α(k)·C(k)·cosπk(n+1/2)N---(12)]]>其中對于k＝0，α(k)＝1/2否則＝1。
對于0＜＝n＜＝N-1的y(n)的值，通過公式(13)中給出的X’(k)H’(k)的IDCT被獲得y(n)=12N·{Σk=02N-1X′(k)·H′(k)·W2N-kn}]]>=12N{Σk=0N-1C(k)·H′(k)·W2N-k(n+1/2)+Σk=N+12N-1-C(2N-k)·H′(2N-k)·W2N-k(n+1/2)}]]>=1NΣk=0N-1α(k)·{C(k)·H′(k)}·cosπk(n+1/2)N---(13)]]>公式(13)的值y(n)是C(k)H’(k)的IDCT的空間值。因此，該空間濾波可由用H’(k)對代表該圖象塊的輸入頻域系數(shù)進(jìn)行DCT加權(quán)且然后執(zhí)行這些被加權(quán)值的IDCT以在空間域中重建被濾波的象素值而被替換。
E.塊反射鏡濾波器的示例性實施例本發(fā)明的該示例性塊反射鏡濾波器的一實施例通過以下步驟被推導(dǎo)出(1)選擇帶有小于2N個抽頭的奇數(shù)個抽頭的一維低通對稱濾波器；(2)這些濾波器系數(shù)通過裝填若干零而被增大至2N個值；(3)這些濾波器系數(shù)被重排以使通過一左圓周移位使初始中間系數(shù)進(jìn)到第零位置；(4)重排的濾波器系數(shù)的DFT系數(shù)被確定；(5)這些DCT濾波器系數(shù)被乘以該輸入塊的實數(shù)個DFT系數(shù)；及(6)通過乘以IDCT系數(shù)執(zhí)行濾波的DCT系數(shù)的反離散余弦變換(IDCT)以提供準(zhǔn)備用于抽取的一低通濾波的象素。
低通濾波器的截止頻率通過抽取比被確定。對于一示例性實施例，對于3∶1抽取，該截止頻率是π/3，而對于2∶1抽取，該截止頻率是π/2，其中π是該抽樣頻率的一半。
MPEG和JPEG解碼器中的一DCT域濾波器允許存儲需求被減少，因為在現(xiàn)有技術(shù)的解碼器中已存在有塊的反量化和IDCT處理，其僅要求附加的DCT系數(shù)與DCT域濾波器系數(shù)的標(biāo)量乘法。因此，在一具體的執(zhí)行中實際上不要求一分離的DCT域濾波器塊乘法；本發(fā)明的另一實施例簡單地將DCT域濾波器系數(shù)與IDCT處理系數(shù)組合。
對于本發(fā)明的示例性的下變換系統(tǒng)，DCT系數(shù)的水平濾波和抽取被考慮；且以下是兩示例性的實現(xiàn)1、1920H乘1080V隔行至640H乘1080V隔行變換(水平3∶1抽取)。
2、1280H乘720V逐行至640H乘720V逐行變換(水平2∶1抽取)。
表4示出了DCT塊反射鏡濾波器(加權(quán))系數(shù)；在表4中括號中的數(shù)是10位2的補(bǔ)數(shù)表示。表4的“*”是指用于10位2的補(bǔ)數(shù)表示的一無約束值(out of bound value)，因為該值大于1；然而，如本技術(shù)領(lǐng)域的熟練技術(shù)人員所知的，塊的列系數(shù)與由“*”指示的值的相乘可容易地通過將該系數(shù)值加至乘以該濾波器值的分?jǐn)?shù)值(余數(shù))的該系數(shù)而被執(zhí)行。
這些水平DCT濾波器系數(shù)加權(quán)被編碼的視頻圖象的8×8DCT系數(shù)的塊中的各列。例如，列零的DCT系數(shù)通過H
被加權(quán)，且第一列的DCT系數(shù)通過H[1]被加權(quán)等。
上述討論說明了使用一維DCT執(zhí)行水平濾波。如數(shù)字信號處理技術(shù)中所知的，這樣的處理可被擴(kuò)展至兩維系統(tǒng)。對于一兩維系統(tǒng)，輸入序列現(xiàn)被表示為多個值的一矩陣，示出該序列在列序列中是周期的，帶有周期M，且在行序列中是周期的，帶有周期N，N和M是整數(shù)?？扇缭谳斎胄蛄械倪@些列上執(zhí)行一維DCT地執(zhí)行一維DCT，且然后在DCT處理的輸入序列的這些行上執(zhí)行第二一維DCT。而且，如現(xiàn)有技術(shù)中已知的，可如一單個處理地執(zhí)行一兩維IDCT。
F.向下抽樣通過向下抽樣處理器232實現(xiàn)向下抽樣以減少下變換的圖象中的象素數(shù)。圖5A示出了3∶1抽取的4∶2∶0色度型的輸入和抽取的輸出象素。圖5B示出了2∶1抽取的4∶2∶0色度型的輸入和抽取的輸出象素。表5給出了用于圖5A和圖5B的亮度和色度象素的圖例標(biāo)識。圖5A和5B的下變換之前和之后的象素位置分別是隔行的(3∶1抽取)和逐行(2∶1抽取)情況。
表5
對于可以是從1920乘1080象素大小到640乘1080象素大小的變換的隔行圖象的向下抽樣，在水平軸上每隔三個象素被抽取。對于3∶1抽取，在下變換處理后有三個不同的宏塊類型。在圖5A中，初始宏塊(MB)由MB0、MB1、MB2表示。MB0中被向下抽樣的亮度象素在初始宏塊中的第一象素開始，但在MB1和MB2中，被向下抽樣的象素在第三和第二象素開始。而且在各宏塊中的被向下抽樣的象素的數(shù)目不是相同的。在MB0中，有水平地6個向下抽樣的象素，而在MB1和MB2中有5個象素。這三個MB類型被重復(fù)，因此模3算術(shù)將被應(yīng)用。表6概述了向下抽樣象素數(shù)和各輸入宏塊MB0、MB1、MB2的偏移。
表6
對于可以是從1280乘720象素大小到640乘720象素大小的變換的逐行格式圖象的向下抽樣，水平地每隔兩個抽樣子抽樣亮度信號。換言之，在水平軸上每隔兩個象素被抽取。對于色度信號，被向下抽樣的象素正是初始象素之下的一半個象素。初始宏塊中的象素和被抽取的象素被示出在圖5B中。
G.使用一預(yù)抽取濾波器的健全下變換由DCT濾波器216執(zhí)行的低通濾波減少了一輸出圖象中的混疊失真。在本發(fā)明的一示例性實施例中，該濾波器操作是在塊內(nèi)的基礎(chǔ)上執(zhí)行。當(dāng)DCT濾波器216在一塊內(nèi)的基礎(chǔ)進(jìn)行濾波時，不考慮對應(yīng)于與被進(jìn)行濾波的該塊相鄰的塊的系數(shù)值而執(zhí)行該濾波。這樣可導(dǎo)致由在塊邊界的非平滑濾波引起的下變換人工因素。當(dāng)初始圖象由具有精細(xì)細(xì)節(jié)的一運(yùn)動景象組成時和當(dāng)有一慢速攝全景和變焦時，這些下變換人工因素在一輸出圖象中是可見的。
如在節(jié)II.D.中所述，一塊反射鏡濾波器可被使用以提供用于在一塊的邊界之外的象素值的象素值。在該DCT塊的中間的象素處，一塊反射鏡濾波器與一FIR濾波器是相同的，但在一塊邊界是不同的，因為假定左和右象素在被反射的一塊之外且然后濾波這些輸入象素以得到一低通輸出。該在一塊邊界的非均勻性可能塊到塊及幀到幀地影響該下變換的圖象。如果該圖象具有帶有精細(xì)細(xì)節(jié)的慢速攝全景或變焦，它是特別明顯的。
預(yù)抽取濾波器240可被使用以減少由DCT濾波器216進(jìn)行塊內(nèi)濾波所引起的塊邊界人工因素。在一示例性實施例中，預(yù)抽取濾波器240在一塊間基礎(chǔ)上濾波象素并具有一頻率響應(yīng)，該頻率響應(yīng)的特點在于在3∶1抽取情況具有一π/3的截止頻率而在2∶1抽取情況具有一π/2的截止頻率，其中π是抽樣頻率的一半。
在圖2所示的下變換系統(tǒng)中，有一剩余DCT信號路徑并有一運(yùn)動預(yù)測信號路徑。預(yù)抽取濾波器240導(dǎo)致一運(yùn)動預(yù)測的信號被低通濾波兩次。首先當(dāng)它被向上抽樣處理器226進(jìn)行向上抽樣時，它被低通濾波，且在加法器230后通過預(yù)抽取濾波器240被再進(jìn)行低通。
一圖象被低通濾波兩次可導(dǎo)致當(dāng)一圖象從一內(nèi)部編碼的幀進(jìn)到下一內(nèi)部編碼的幀時，圖象分辨率的不期望的下降。當(dāng)該編碼方案中的內(nèi)部編碼的幀之間的向前預(yù)測的幀(P-幀)的數(shù)目增多時，該降低的圖象分辨率將更大。
例如，圖象分辨率的降低可通過如公式(14)中所示的在向上抽樣濾波器226和預(yù)抽取濾波器240之間分配期望的濾波特性而被減小h(n)＝h_up(n)*h_dec(n)(14)其中*表示一卷積。在公式(14)中，h(n)代表具有期望的濾波特性的一濾波器的特性并是由h_up(n)代表的向上抽樣濾波器226和由h_dec(n)代表的預(yù)抽取濾波器240特性的一卷積。
當(dāng)該編碼結(jié)構(gòu)由內(nèi)部編碼的幀之間的許多預(yù)測的幀組成時，在下變換的圖象中的一慢速運(yùn)動或慢速變焦圖象的再現(xiàn)可導(dǎo)致具有運(yùn)動人工因素的預(yù)測的幀。這些運(yùn)動人工因素可導(dǎo)致預(yù)測幀在真實運(yùn)動之前或之后。當(dāng)顯示下一內(nèi)部編碼的幀時，具有運(yùn)動人工因素的下變換的預(yù)測圖象與精確地再現(xiàn)的內(nèi)部編碼的圖象之間差別可導(dǎo)致觀看者能看出的非平滑或不平穩(wěn)的運(yùn)動。
在一示例性實施例中，由以上公式(14)中的h(n)代表的濾波是一從拉格朗日內(nèi)插導(dǎo)出的拉格朗日濾波。拉格朗日內(nèi)插是本技術(shù)領(lǐng)域的熟練技術(shù)人員所周知的且可通過Atkinson，An Introduction toNumerical Analysis，107-10(1978)而被告知，其結(jié)合在此作為參考。本發(fā)明人已發(fā)現(xiàn)使用拉格朗日濾波器與使用一等波紋濾波器相比減少了運(yùn)動人工因素。
關(guān)于剩余DCT信號路徑，沒有圖2中所示的DCT域濾波器216，該剩余信號僅通過預(yù)抽取濾波器240被低通濾波。相比于向上抽樣濾波器226和預(yù)抽取濾波器240的組合，預(yù)抽取濾波器240僅部分地濾波信號，且剩余DCT分量可能未被低通濾波到足以充分減少混疊失真。當(dāng)一DCT域濾波器216被與一預(yù)抽取濾波器240組合使用時，DCT域濾波器216提供附加的低通濾波以進(jìn)一步減少混疊失真。
在一示例性實施例中，DCT域濾波器216被設(shè)計得等同于向上抽樣處理器226中的空間域濾波器。這樣導(dǎo)致剩余信號分量和運(yùn)動預(yù)測的信號分量兩者的幾乎等同的濾波。由于DCT域濾波器216在塊內(nèi)基礎(chǔ)上進(jìn)行濾波，該等同性是有限的。
以下描述具有一DCT域濾波器216和一預(yù)抽取濾波器240兩者的一水平3∶1下變換系統(tǒng)的一示例性實施例。該實施例的講授可由本技術(shù)領(lǐng)域的熟練技術(shù)人員被應(yīng)用于其他域及其他定標(biāo)比。
該例中的向上抽樣處理器226可通過對各輸入象素值填充兩零且然后使用帶有π/3的截止頻率的一內(nèi)插濾波器對這些象素進(jìn)行低通濾波，其中π等于抽樣頻率的一半。如本技術(shù)領(lǐng)域的熟練技術(shù)人員所知的，本發(fā)明的講授也可被應(yīng)用于具有一向上抽樣處理器226的一下變換系統(tǒng)，該向上抽樣處理器226是使用一直接在向下抽樣的象素上工作的一多相濾波器而被實現(xiàn)的且相位數(shù)依據(jù)于待被內(nèi)插的子象素位置。
在本發(fā)明的示例性實施例中，一下變換系統(tǒng)具有一DCT域濾波器126和一預(yù)抽取濾波器240。所期望的濾波特性h(n)被示出在以下的公式(15)中h(n)＝(-13，-16，0，95，190，256，190，95，0，-16，-13)/256(15)具有公式(15)中示出的特性h(n)的一濾波器的頻率響應(yīng)(dB vs.頻率，其中π是抽樣頻率的一半)由圖6中的曲線610示出。該濾波器特性h(n)可被表示為兩濾波器的特性的卷積，如以下公式(16)所示h(n)＝h_up(n)*h_dec(n)＝(1，1，1)*(-13，-3，16，82，92，82，16，-3，-13)/256(16)其中*表示一卷積。
向上抽樣濾波器226或預(yù)抽取濾波器240可具有(1，1，1)濾波特性。當(dāng)向上抽樣濾波器226由特性(1，1，1)表示，其等同于重復(fù)一向下抽樣的象素兩次時，實現(xiàn)起來是簡單的。這導(dǎo)致了具有濾波特性h_dec(n)的預(yù)抽取濾波器240，如公式(17)中所示h_dec(n)＝(-13，-3，16，82，92，82，16，-3，-13)/256.(17)由公式(17)中的h_dec(n)所表征的預(yù)抽取濾波器240的頻率響應(yīng)(dB vs.頻率)和由(1，1，1)所表征的向上抽樣濾波器226的頻率響應(yīng)分別由圖6中的曲線620和630示出。
在一示例性實施例中，DCT域濾波器216具有等同于向上抽樣處理器226的一濾波特性。一等同空間域濾波器可由公式(18)中的h_sp(n)表示h_sp(n)＝(1，1，1)/3.(18)如上相對于公式(8)-(13)所述及由Kim等人所著的“DCT DomainFilter for ATV Down Conversion(用于ATV下變換的DCT域濾波器)”，IEEE Transactions on Consumer Electronics，Vol.43(4)1074-8(NOv.1997)所講授的，其結(jié)合在此作為參考，由公式(18)中h_sp(n)表示的空間域濾波器可通過帶有具有公式(19)中所示的DCT域濾波器系數(shù)H_DCT的奇數(shù)個抽頭的一對稱濾波器而在DCT域中被實現(xiàn)H_DCT＝(1，0.9493，0.8047，0.5885，0.3333，0.0782，-0.1381，-0.2826).(19)以下描述具有一DCT域濾波器216和一預(yù)抽取濾波器240兩者的一水平2∶1下變換系統(tǒng)的示例性實施例。該實施例的講授也可由本技術(shù)領(lǐng)域的熟練技術(shù)人員應(yīng)用于其他域及其他定標(biāo)比。
以下例中的向上抽樣處理器226可通過對每個輸入象素值填充一個零且然后使用一帶有帶有π/2的截止頻率的一內(nèi)插濾波器對這些象素進(jìn)行低通濾波，其中π等于抽樣頻率的一半。如本技術(shù)領(lǐng)域的熟練技術(shù)人員所知的，本發(fā)明的講授也可被應(yīng)用于具有一向上抽樣處理器226的一下變換系統(tǒng)，該向上抽樣處理器226是使用一直接在向下抽樣的象素上工作的一多相濾波器而被實現(xiàn)的且相位數(shù)依據(jù)于待被內(nèi)插的子象素位置。
在本發(fā)明的示例性實施例中，一下變換系統(tǒng)具有一DCT域濾波器126和一預(yù)抽取濾波器240。所期望的濾波特性h(n)被示出在以下的公式(20)中h(n)＝(-1/16，0，9/16，1，9/16，0，-1/16).(20)具有特性h(n)的一濾波器的頻率響應(yīng)(dB vs.頻率)由圖7中的曲線710示出。該濾波器特性h(n)可被表示為兩濾波器的特性的卷積，如以下公式(21)所示h(n)＝h_up(n)*h_dec(n)＝(1/2，1，1/2)*(-1/8，1/4，3/4，1/4，-1/8)(21)其中*表示一卷積。
在該示例性實施例中，向上抽樣濾波器226和預(yù)抽取濾波器240各自由h_up(n)和h_dec(n)所表征，如公式(22)和(23)中所示h_up(n)＝(1/2，1，1/2)(22)h_dec(n)＝(-1/8，1/4，3/4，1/4，-1/8).(23)由公式(23)中的h_dec(n)所表征的預(yù)抽取濾波器240的頻率響應(yīng)(dB vs.頻率)和由公式(22)中的h_up(n)所表征的向上抽樣濾波器226的頻率響應(yīng)分別由圖7中的曲線720和730示出。
在一示例性實施例中，DCT域濾波器216具有等同于向上抽樣處理器226的一濾波特性。一等同空間域濾波器可由公式(24)定義的h_sp(n)表示h_sp(n)＝(1/2，1，1/2)/2＝(1/4，1/2，1/4).(24)如上相對于公式(8)-(13)所述及由Kim等人所著的“DCT DomainFilter for ATV Down Conversion(用于ATV下變換的DCT域濾波器)”，IEEE Transactions on Consumer Electronics，Vol.43(4)1074-8(NOv.1997)所講授的，其結(jié)合在此作為參考，由h_sp(n)表示的空間域濾波器可通過帶有具有公式(25)中所示的DCT域濾波器系數(shù)H_DCT的奇數(shù)個抽頭的一對稱濾波器而在DCT域中被實現(xiàn)H_DCT＝(1，0.9619，0.8536，0.6913，0.5000，0.3087，0.1464，0.0381). (25)盡管在此已示出和描述了本發(fā)明的示例性實施例，可理解提供這些實施例僅是舉例。不脫離本發(fā)明的精神，本領(lǐng)域的熟練技術(shù)人員可作出多種變化、改變和替換。因此，期望后附的權(quán)利要求覆蓋落入本發(fā)明的范圍內(nèi)的所有這樣的變化。
權(quán)利要求
1.一種用于從代表一視頻圖象的一編碼的視頻信號形成一低分辨率視頻信號的設(shè)備，該編碼的視頻信號是一頻域變換的高分辨率視頻信號，該設(shè)備包括接收裝置，用于接收該編碼的視頻信號作為多個高分辨率頻域視頻系數(shù)值的塊，其中該多個塊包括一宏塊；下變換濾波裝置，用于對各塊內(nèi)的高分辨率頻域視頻系數(shù)值中被選擇的視頻系數(shù)值進(jìn)行加權(quán)以生成對應(yīng)的濾波的頻域視頻系數(shù)的塊；反變換裝置，用于將濾波的頻域視頻系數(shù)的各塊變換成第一濾波的象素值的一塊；預(yù)抽取濾波裝置，用于對跨越塊邊界的第一濾波的象素值的多個塊的各個中的第一濾波的象素值進(jìn)行濾波以提供對應(yīng)的第二濾波的象素值的塊；及抽取裝置，用于刪除各塊內(nèi)的第二濾波的象素值中被選擇的象素值以提供低分辨率視頻信號象素值的塊。
2.根據(jù)權(quán)利要求1的一種用于形成低分辨率視頻信號的設(shè)備，其中編碼的視頻信號代表一剩余視頻圖象且該抽取裝置提供對應(yīng)于該視頻圖象的一基準(zhǔn)幀的低分辨率視頻信號象素值的一塊且該反變換裝置提供對應(yīng)于該視頻圖象的一當(dāng)前幀的剩余視頻圖象的第一濾波的象素值的一塊，該設(shè)備還包括存儲裝置，用于存儲由該抽取裝置提供的對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該塊；向上抽樣濾波裝置，用于將對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該塊轉(zhuǎn)換成對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的一向上抽樣的塊；及求和裝置，用于將對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該向上抽樣的塊加至對應(yīng)于該當(dāng)前幀的剩余視頻圖象的第一濾波的象素值的該塊以提供對應(yīng)于該視頻圖象的該當(dāng)前幀的象素值的一求和的塊；其中該預(yù)抽取濾波裝置對象素值的該求和的塊進(jìn)行濾波以提供對應(yīng)于該視頻圖象的該當(dāng)前幀的第二濾波的象素值的一塊且該抽取裝置刪除對應(yīng)于該視頻圖象的該當(dāng)前幀的第二濾波的象素值的該塊中選擇的一些并提供對應(yīng)于該視頻圖象的該當(dāng)前幀的低分辨率視頻信號象素值的一塊。
3.根據(jù)權(quán)利要求2的一種用于形成低分辨率視頻信號的設(shè)備，還包括運(yùn)動補(bǔ)償裝置，用于將對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該向上抽樣的塊轉(zhuǎn)換成對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的一運(yùn)動補(bǔ)償?shù)南蛏铣闃拥膲K且該求和裝置將對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該運(yùn)動補(bǔ)償?shù)南蛏铣闃拥膲K加至對應(yīng)于當(dāng)前幀的剩余視頻圖象的第一濾波的象素值的該塊以提供對應(yīng)于該視頻圖象的當(dāng)前幀的象素值的一求和的塊。
4.根據(jù)權(quán)利要求2的一種用于形成低分辨率視頻信號的設(shè)備，其中該下變換濾波裝置和該預(yù)抽取裝置組合以減少低分辨率視頻信號中的混疊失真。
5.根據(jù)權(quán)利要求2的一種用于形成低分辨率視頻信號的設(shè)備，其中該下變換濾波裝置是一塊反射鏡濾波器。
6.根據(jù)權(quán)利要求5的一種用于形成低分辨率視頻信號的設(shè)備，其中該下變換濾波裝置對多個高分辨率頻域視頻系數(shù)值執(zhí)行塊內(nèi)處理且該預(yù)抽取濾波裝置對對應(yīng)于該視頻圖象的當(dāng)前幀的象素值的該求和的塊執(zhí)行塊間處理。
7.根據(jù)權(quán)利要求2的一種用于形成低分辨率視頻信號的設(shè)備，其中該向上抽樣濾波裝置包括一向上抽樣濾波器，該預(yù)抽取濾波裝置包括一預(yù)抽取濾波器，且該向上抽樣濾波器和該預(yù)抽取濾波器的卷積實現(xiàn)了一拉格朗日濾波器。
8.根據(jù)權(quán)利要求2的一種用于形成低分辨率視頻信號的設(shè)備，其中該向上抽樣濾波裝置包括頻域中的一向上抽樣濾波器且該下變換濾波裝置包括一等同于該向上抽樣濾波器的頻域中的下變換濾波器。
9.根據(jù)權(quán)利要求2的一種用于形成低分辨率視頻信號的設(shè)備，其中該向上抽樣濾波裝置包括一向上抽樣濾波器，該預(yù)抽取濾波裝置包括一預(yù)抽取濾波器，且該向上抽樣濾波器和該預(yù)抽取濾波器的卷積實現(xiàn)了具有系數(shù)h(n)的一FIR濾波器h(n)＝(13，-16，0，95，190，256，190，95，0，-16，-13)/256.
10.根據(jù)權(quán)利要求9的一種用于形成低分辨率視頻信號的設(shè)備，其中該預(yù)抽取濾波器是一具有以下系數(shù)的FIR濾波器h_dec(n)＝(-13，-3，16，82，92，82，16，-3，-13)/256，該向上抽樣濾波器是一具有以下系數(shù)的FIR濾波器h_up(n)＝(1，1，1).
11.根據(jù)權(quán)利要求10的一種用于形成低分辨率視頻信號的設(shè)備，其中該下變換濾波裝置包括一具有以下系數(shù)的頻域中的下變換濾波器H_DCT＝(1，0.9493，0.8047，0.5885，0.3333，0.0782，-0.1381，-0.2826).
12.根據(jù)權(quán)利要求2的一種用于形成低分辨率視頻信號的設(shè)備，其中該向上抽樣濾波裝置包括一向上抽樣濾波器，該預(yù)抽取濾波裝置包括一預(yù)抽取濾波器，且該向上抽樣濾波器和該預(yù)抽取濾波器的卷積實現(xiàn)了具有系數(shù)h(n)的一FIR濾波器h(n)＝(-1/16，0，9/16，1，9/16，0，-1/16).
13.根據(jù)權(quán)利要求12的一種用于形成低分辨率視頻信號的設(shè)備，其中該預(yù)抽取濾波器是一具有以下系數(shù)的FIR濾波器h_dec(n)＝(-1/8，1/4，3/4，1/4，-1/8)，該向上抽樣濾波器是一具有以下系數(shù)的FIR濾波器h_up(n)＝(1/2，1，1/2)
14.根據(jù)權(quán)利要求13的一種用于形成低分辨率視頻信號的設(shè)備，其中該下變換濾波裝置包括一具有以下系數(shù)的頻域中的下變換濾波器H_DCT＝(1，0.9619，0.8536，0.6913，0.5000，0.3087，0.1464，0.0381).
15.一種用于從代表一視頻圖象的一編碼的視頻信號形成一低分辨率視頻信號的方法，該編碼的視頻信號是一頻域變換的高分辨率視頻信號，該方法包括有以下步驟(a)接收該編碼的視頻信號作為多個高分辨率頻域視頻系數(shù)值的塊，其中該多個塊包括一宏塊；(b)對各塊內(nèi)的高分辨率頻域視頻系數(shù)值中被選擇的視頻系數(shù)值進(jìn)行加權(quán)以生成對應(yīng)的濾波的頻域視頻系數(shù)的塊；(c)將濾波的頻域視頻系數(shù)的各塊變換成第一濾波的象素值的一塊；(d)對跨越塊邊界的第一濾波的象素值的多個塊的各個中的第一濾波的象素值進(jìn)行濾波以提供對應(yīng)的第二濾波的象素值的塊；及(e)刪除各塊內(nèi)的第二濾波的象素值中被選擇的象素值以提供低分辨率視頻信號象素值的塊。
16.根據(jù)權(quán)利要求15的一種用于形成低分辨率視頻信號的方法，其中編碼的視頻信號代表一剩余視頻圖象且在步驟(e)中提供對應(yīng)于該視頻圖象的一基準(zhǔn)幀的低分辨率視頻信號象素值的一塊且在步驟(c)提供對應(yīng)于該視頻圖象的一當(dāng)前幀的剩余視頻圖象的第一濾波的象素值的一塊，該方法還包括以下步驟(f)存儲在步驟(c)中提供的對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該塊；(g)進(jìn)行濾波以將對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該塊轉(zhuǎn)換成對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的一向上抽樣的塊；及(h)將對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該向上抽樣的塊加至對應(yīng)于該當(dāng)前幀的剩余視頻圖象的第一濾波的象素值的該塊以提供對應(yīng)于該視頻圖象的該當(dāng)前幀的象素值的一求和的塊；其中在步驟(d)中對象素值的該求和的塊進(jìn)行濾波以提供對應(yīng)于該視頻圖象的該當(dāng)前幀的第二濾波的象素值的一塊且在步驟(e)中刪除對應(yīng)于該視頻圖象的該當(dāng)前幀的第二濾波的象素值的該塊中選擇的一些并提供對應(yīng)于該視頻圖象的該當(dāng)前幀的低分辨率視頻信號象素值的一塊。
17.根據(jù)權(quán)利要求16的一種用于形成低分辨率視頻信號的方法，還包括步驟將對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該向上抽樣的塊轉(zhuǎn)換成對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的一運(yùn)動補(bǔ)償?shù)南蛏铣闃拥膲K且在步驟(h)將對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該運(yùn)動補(bǔ)償?shù)南蛏铣闃拥膲K加至對應(yīng)于當(dāng)前幀的剩余視頻圖象的第一濾波的象素值的該塊以提供對應(yīng)于該視頻圖象的當(dāng)前幀的象素值的一求和的塊。
18.根據(jù)權(quán)利要求16的一種用于形成低分辨率視頻信號的方法，其中步驟(b)中的加權(quán)和步驟(d)中的濾波組合以減少低分辨率視頻信號中的混疊失真。
19.根據(jù)權(quán)利要求16的一種用于形成低分辨率視頻信號的方法，其中步驟(b)等同于塊反射鏡濾波。
20.根據(jù)權(quán)利要求19的一種用于形成低分辨率視頻信號的方法，其中在步驟(b)中對多個高分辨率頻域視頻系數(shù)值執(zhí)行塊內(nèi)處理且在步驟(d)中對對應(yīng)于該視頻圖象的當(dāng)前幀的象素值的該求和的塊執(zhí)行塊間處理。
21.根據(jù)權(quán)利要求16的一種用于形成低分辨率視頻信號的方法，其中在步驟(g)中使用一向上抽樣濾波器對對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該塊進(jìn)行變換且在步驟(d)中使用一預(yù)抽取濾波器對第一濾波的象素值進(jìn)行濾波且該向上抽樣濾波器和該預(yù)抽取濾波器的卷積實現(xiàn)了一拉格朗日濾波器。
22.根據(jù)權(quán)利要求16的一種用于形成低分辨率視頻信號的方法，其中在步驟(g)中對應(yīng)于該基準(zhǔn)幀的低分辨率視頻信號象素值的該塊通過頻域中的向上抽樣濾波而被轉(zhuǎn)換且在步驟(b)中等同于空間域中的向上抽樣濾波器的在頻域中的下變換濾波被使用以生成濾波的頻域視頻系數(shù)的對應(yīng)的塊。
23.根據(jù)權(quán)利要求16的一種用于形成低分辨率視頻信號的方法，其中步驟(g)中的濾波通過一向上抽樣濾波器執(zhí)行，步驟(d)中的濾波通過一預(yù)抽取濾波器執(zhí)行，且該向上抽樣濾波器和該預(yù)抽取濾波器的卷積實現(xiàn)了具有系數(shù)h(n)的一FIR濾波器h(n)＝(13，-16，0，95，190，256，190，95，0，-16，-13)/256.
24.根據(jù)權(quán)利要求23的一種用于形成低分辨率視頻信號的方法，其中該預(yù)抽取濾波器是一具有以下系數(shù)的FIR濾波器h_dec(n)＝(-13，-3，16，82，92，82，16，-3，-13)/256，該向上抽樣濾波器是一具有以下系數(shù)的FIR濾波器h_up(n)＝(1，1，1)
25.根據(jù)權(quán)利要求24的一種用于形成低分辨率視頻信號的方法，其中在步驟(b)中使用一具有以下系數(shù)的頻域中的下變換濾波器生成濾波的頻域視頻系數(shù)的這些對應(yīng)的塊H_DCT＝(1，0.9493，0.8047，0.5885，0.3333，0.0782，-0.1381，-0.2826).
26.根據(jù)權(quán)利要求16的一種用于形成低分辨率視頻信號的方法，其中在步驟(g)中的濾波通過一向上抽樣濾波器執(zhí)行，步驟(d)中的濾波通過一預(yù)抽取濾波器執(zhí)行，且該向上抽樣濾波器和該預(yù)抽取濾波器的卷積實現(xiàn)了具有系數(shù)h(n)的一FIR濾波器h(n)＝(-1/16，0，9/16，1，9/16，0，-1/16).
27.根據(jù)權(quán)利要求26的一種用于形成低分辨率視頻信號的方法，其中該預(yù)抽取濾波器是一具有以下系數(shù)的FIR濾波器h_dec(n)＝(-1/8，1/4，3/4，1/4，-1/8)，該向上抽樣濾波器是一具有以下系數(shù)的FIR濾波器h_up(n)＝(1/2，1，1/2).
28.根據(jù)權(quán)利要求13的一種用于形成低分辨率視頻信號的方法，其中在步驟(b)中使用一具有以下系數(shù)的頻域中的下變換濾波器生成濾波的頻域視頻系數(shù)的這些對應(yīng)的塊H_DCT＝(1，0.9619，0.8536，0.6913，0.5000，0.3087，0.1464，0.0381).
全文摘要
高清晰度電視信號下變換系統(tǒng)包括從高分辨率編碼信號形成低分辨率信號的設(shè)備,該設(shè)備包括:接收裝置,接收編碼信號作為包括宏塊的高分辨率頻域視頻系數(shù)值塊;下變換濾波裝置,對塊內(nèi)被選高分辨率頻域視頻系數(shù)值加權(quán)生成頻域視頻系數(shù)塊;反變換裝置,將系數(shù)塊變成第一濾波象素值的一塊;預(yù)抽取濾波裝置,對第一濾波象素值濾波提供第二濾波象素值塊;及抽取裝置,刪除第二濾波象素值中被選值提供低分辨率信號象素值塊。
文檔編號H04N7/26GK1255017SQ9912171
公開日2000年5月31日 申請日期1999年10月8日 優(yōu)先權(quán)日1998年10月9日
發(fā)明者金熙龍 申請人:松下電器產(chǎn)業(yè)株式會社