專(zhuān)利名稱(chēng)：用于進(jìn)行視頻圖像解碼的方法和裝置的制作方法
背景技術(shù)：
領(lǐng)域本發(fā)明涉及視頻處理并尤其涉及視頻圖像。
背景由于實(shí)現(xiàn)的限制，在視頻解碼中使用的運(yùn)動(dòng)位移補(bǔ)償硬件典型的設(shè)計(jì)為一個(gè)特定的視頻圖像分辨率。例如，如果沒(méi)有限制，MPEG2規(guī)范，ISO/IEC 13818-2 MPEG-2視頻編碼標(biāo)準(zhǔn)，“Informationtechnology-Generic coding of moving pictures and associated audioinformationVideo”，1995年3月，下文稱(chēng)為“MPEG2”，可強(qiáng)制使用720×480每秒30幀的視頻分辨率。在傳統(tǒng)設(shè)計(jì)中，典型的執(zhí)行解碼的引擎只在壓縮視頻比特流規(guī)定的視頻分辨率上生成圖像。由于保存解碼圖像使用存儲(chǔ)空間數(shù)量的原因，更高分辨率的壓縮視頻比特流，例如用于數(shù)字電視(DTV)內(nèi)容的MPEG2比特流，將不能運(yùn)行在這樣的系統(tǒng)上。如果有足夠的存儲(chǔ)空間在全部規(guī)定的分辨率上進(jìn)行解碼，且用戶(hù)選擇在一個(gè)計(jì)算機(jī)平臺(tái)上用較小的窗口瀏覽視頻，例如，在顯示時(shí)把解碼圖像實(shí)際尺寸壓縮，則因此，實(shí)際上就仍使用分辨率解碼。因此，需要有一種方法或技術(shù)讓一個(gè)系統(tǒng)操作或產(chǎn)生視頻分辨率而不是由提供視頻或圖像數(shù)據(jù)的壓縮視頻比特流規(guī)定分辨率。
附圖簡(jiǎn)述本發(fā)明的主題被特別的指出并在詳述的結(jié)束部分明確提出了權(quán)利要求。而關(guān)于本發(fā)明的組織結(jié)構(gòu)和操作方法，目標(biāo)，特性及其中的優(yōu)勢(shì)，在利用其中附圖閱讀時(shí)，可參考下列詳述獲得最佳的理解
圖1是一個(gè)描述壓縮數(shù)字視頻圖像解碼傳統(tǒng)流水線(xiàn)實(shí)施例的框圖；圖2是一個(gè)描述按照本發(fā)明進(jìn)行視頻圖像解碼的裝置的實(shí)施例框圖；圖3是一個(gè)描述在宏模塊上按照本發(fā)明的方法進(jìn)行視頻解碼應(yīng)用實(shí)施例的結(jié)果的示意圖。
圖4是一個(gè)描述在宏模塊上按照本發(fā)明的方法進(jìn)行視頻解碼應(yīng)用另一實(shí)施例的結(jié)果的示意圖。
圖5是一個(gè)描述在宏模塊上按照本發(fā)明的方法進(jìn)行視頻解碼應(yīng)用另一實(shí)施例的結(jié)果的示意圖。
圖6是一個(gè)描述在宏模塊上按照本發(fā)明的方法進(jìn)行視頻解碼應(yīng)用另一實(shí)施例的結(jié)果的示意圖。
圖7是一個(gè)描述用于實(shí)現(xiàn)按照本發(fā)明的方法進(jìn)行視頻解碼的實(shí)施例的硬件實(shí)施例的框圖。
圖8通過(guò)覆蓋圖描述圖7來(lái)示意性描述3維視圖流水線(xiàn)的對(duì)應(yīng)實(shí)施例。
圖9是一個(gè)描述象素雙線(xiàn)性?xún)?nèi)插操作的示意圖，例如可應(yīng)用于按照本發(fā)明進(jìn)行視頻解碼的方法實(shí)施例中。
圖10是一個(gè)描述雙線(xiàn)性?xún)?nèi)插實(shí)施例的框圖，例如可應(yīng)用于按照本發(fā)明進(jìn)行視頻解碼的方法實(shí)施例中。
圖11是一個(gè)描述與視頻顯示子系統(tǒng)耦合的視頻解碼器子系統(tǒng)實(shí)施例的框圖，例如可應(yīng)用于按照本發(fā)明進(jìn)行視頻解碼的方法實(shí)施例中。
圖12是一個(gè)具有均勻定位區(qū)域的規(guī)則交錯(cuò)視頻數(shù)據(jù)的空間位置情況示意圖，其中在底部區(qū)域中的線(xiàn)段定位于頂部區(qū)域的兩線(xiàn)段之間的中間處，例如可應(yīng)用于按照本發(fā)明的實(shí)施例中。
圖13是一個(gè)具有非均勻定位區(qū)域的規(guī)則交錯(cuò)視頻數(shù)據(jù)的空間位置情況示意圖，其中在底部區(qū)域中的線(xiàn)段定位于頂部區(qū)域兩相鄰線(xiàn)段之間的1/4處，例如可應(yīng)用于按照本發(fā)明的實(shí)施例中。
圖14是一個(gè)具有非均勻定位區(qū)域的規(guī)則交錯(cuò)視頻數(shù)據(jù)的空間位置情況示意圖，其中在底部區(qū)域中的線(xiàn)段定位于頂部區(qū)域兩相鄰線(xiàn)段之間的1/8處，例如可應(yīng)用于按照本發(fā)明的實(shí)施例中。
圖15是一個(gè)描述用于均勻定位交錯(cuò)的視頻源的基于DDA的垂直定標(biāo)操作結(jié)果的示意圖，例如可應(yīng)用于按照本發(fā)明的實(shí)施例中。
圖16是一個(gè)描述用于非均勻定位交錯(cuò)的視頻源的基于DDA的垂直定標(biāo)操作結(jié)果的示意圖，例如可應(yīng)用于按照本發(fā)明的實(shí)施例中。
詳細(xì)說(shuō)明為了提供對(duì)發(fā)明的全面理解，在接下來(lái)的詳細(xì)描述中會(huì)提出大量特別的細(xì)節(jié)。然而，本領(lǐng)域的技術(shù)人員可以理解本發(fā)明可以不需要這些特殊細(xì)節(jié)而被實(shí)施。在其它情況，公知的方法，過(guò)程，元件和電路沒(méi)有詳細(xì)描述以便避免使本發(fā)明模糊不清。
按照慣例，如前所示一個(gè)通常為指定的最大分辨率所設(shè)計(jì)的視頻解碼和顯示系統(tǒng)典型的不運(yùn)行在規(guī)定較高視頻分辨率的比特流上。同樣如果一個(gè)用戶(hù)選擇在較小的窗口瀏覽視頻，壓縮比特流按慣例在顯示時(shí)實(shí)現(xiàn)，因此，仍然會(huì)產(chǎn)生全分辨率解碼。因?yàn)槿直媛式獯a伴隨著規(guī)模減小，所以就以附加計(jì)算，附加存儲(chǔ)，附加存儲(chǔ)帶寬及在顯示時(shí)的復(fù)雜的規(guī)模壓縮的形式增加了成本，如果比特流的規(guī)模壓縮可以不需要全分辨率解碼而實(shí)現(xiàn)，則上述的增加的成本是值得的。
在這點(diǎn)上雖然本發(fā)明在范圍上不受限制，圖7是一個(gè)描述硬件運(yùn)動(dòng)位移補(bǔ)償引擎實(shí)施例的示意圖，其中硬件運(yùn)動(dòng)位移補(bǔ)償引擎可用于實(shí)現(xiàn)按照本發(fā)明進(jìn)行視頻解碼方法的實(shí)施例。例如下面將更詳細(xì)的描述，一個(gè)三維(3D)流水線(xiàn)可用于有效執(zhí)行運(yùn)動(dòng)位移補(bǔ)償，如圖8中所示，雖然其它的硬件平臺(tái)而不是3D流水線(xiàn)可用于實(shí)現(xiàn)執(zhí)行按照本發(fā)明的實(shí)施例的視頻解碼的方面的例子。圖7和8將在下面進(jìn)行更詳細(xì)的描述。
圖1是一個(gè)描述用于進(jìn)行視頻圖像解碼的傳統(tǒng)流水線(xiàn)實(shí)施例的框圖。圖2是一個(gè)描述按照本發(fā)明進(jìn)行視頻圖像解碼的裝置的實(shí)施例框圖；在按照本發(fā)明的一個(gè)實(shí)施例中，下面將更詳細(xì)描述，一個(gè)在頻域中的壓縮視頻圖像在230處向下采樣并在220處逆變換。在210處，在空間域中在向下采樣的圖像上進(jìn)行運(yùn)動(dòng)位移補(bǔ)償。換句話(huà)說(shuō)，下面將更詳細(xì)的描述，在240處，在頻域中的壓縮圖像逆變換并且在空間域中向下采樣并進(jìn)行運(yùn)動(dòng)位移補(bǔ)償。雖然本發(fā)明不局限于這點(diǎn)的范圍，在頻域中的壓縮視頻圖像的一個(gè)例子包括一個(gè)離散余弦變換(DCT)圖像。同樣，雖然本發(fā)明不局限于這點(diǎn)的范圍，例如一個(gè)DCT圖像可與MPEG2規(guī)范一致，正象下面就要敘述的那樣。關(guān)于這點(diǎn)，雖然最好采樣MPEG2，包括分隔圖像成16×16宏模塊的方式，本發(fā)明不僅限于采用MPEG的范圍，包括MPEG2，采用特殊尺寸和形狀的宏模塊甚至采樣所有的宏模塊。
如圖2中所示將更詳細(xì)描述，DCT圖像可在被傳送給運(yùn)動(dòng)位移補(bǔ)償引擎之前向下采樣。同樣，如上所示，取決于不同的因素，向下采樣可在反向DCT之前應(yīng)用于該實(shí)施例中，例如在230處，或者在反向DCT之后，例如在240處。
在特定實(shí)施例中，雖然本發(fā)明不限于這方面的范圍，圖2中所示的模塊在垂直線(xiàn)之前的以軟件實(shí)現(xiàn)，在垂直線(xiàn)之后的模塊以硬件實(shí)現(xiàn)。按照慣例，這種可實(shí)現(xiàn)向下采樣的視頻處理過(guò)程以硬件實(shí)現(xiàn)；然而，按照本發(fā)明執(zhí)行視頻解碼的方法的實(shí)施例的優(yōu)點(diǎn)是它提供至少部分的由于與傳統(tǒng)方法相比較高的處理效率以軟件執(zhí)行處理過(guò)程的能力。因此該方法的一個(gè)優(yōu)點(diǎn)是它提供較高的適應(yīng)性。在此實(shí)施例中，解碼器軟件將向下采樣的預(yù)測(cè)誤差傳送給運(yùn)動(dòng)位移補(bǔ)償硬件并且運(yùn)動(dòng)矢量可按照向下采樣率而充分調(diào)整，如下所述。在特定實(shí)施例中，雖然本發(fā)明在這方面不限于范圍，沿著水平，垂直或者兩個(gè)方向可以提供1∶1，2∶1，4∶1和8∶1的向下采樣率。使用MPEG2的特定實(shí)施例中，由于本來(lái)的8×8MPEG2模塊尺寸向下采樣率限制小于8∶1。然而該限制不可以應(yīng)用在其它替代實(shí)施例中。進(jìn)一步，在替代實(shí)施例中，甚至對(duì)于MPEG2，可實(shí)現(xiàn)并非2的向下采樣率，例如3∶1。
如附圖2中所示，運(yùn)動(dòng)位移補(bǔ)償硬件可直接在向下采樣比特流上操作。在采樣MPEG2的特定實(shí)施例中，向下采樣率可以為n，其中n＝1，2，4和8。在運(yùn)動(dòng)位移補(bǔ)償處理過(guò)程中，處理的宏模塊的運(yùn)動(dòng)矢量規(guī)定來(lái)自要處理的宏模塊參考數(shù)據(jù)的相對(duì)距離。(Vx，Vy)＝(vector[r]
，vector[r][1])是原始的用于宏模塊的運(yùn)動(dòng)矢量，其中Vx和Vy是運(yùn)動(dòng)矢量的橫向和縱向元素，以16比特信號(hào)值的形式存在，雖然本發(fā)明不局限于這方面的范圍。按照MPEG2的標(biāo)準(zhǔn)，Vx和Vy的最低有效位(LSB)用于指示半象素分辨率參考值。用(DxY，DyY)指示對(duì)亮度分量的整個(gè)象素運(yùn)動(dòng)位移，而由(FxY，F(xiàn)yY)指示對(duì)亮度分量的少量偏移。由于有限的下一象素預(yù)測(cè)，少量偏移(FxY，F(xiàn)yY)也可被稱(chēng)為半象素偏移標(biāo)志。當(dāng)沒(méi)有對(duì)比特流的采樣時(shí)，這可通過(guò)運(yùn)動(dòng)矢量由如下公式算出 和 其中“＞＞”表示右移操作而“&”表示“邏輯與”操作。如果FxY或者正好非零，水平內(nèi)插，例如計(jì)算一個(gè)平均值，可被應(yīng)用于參考象素。如果FyY被設(shè)置，垂直內(nèi)插，例如計(jì)算平均值，可被應(yīng)用于參考象素。如果均被設(shè)置，可在兩個(gè)方向上應(yīng)用內(nèi)插。
色度運(yùn)動(dòng)位移也可由運(yùn)動(dòng)矢量信號(hào)信息的同樣設(shè)置導(dǎo)出。對(duì)于YUV4∶2∶0色空間格式，例如既然色度度數(shù)(Cb，Cr)圖像是水平和垂直兩個(gè)方向上亮度分量圖像的一半，則對(duì)于處理的宏模塊亮度分量的整個(gè)象素位移(DxC，DyC)和少量位移(FxC，F(xiàn)yC)可由如下確定 和 其中符號(hào)‘/’表示具有向零截短結(jié)果的常整數(shù)除法。注意到在本例中色度少量位移也可在一半亮度象素分辨率中。
忽略亮度和色度項(xiàng)上標(biāo)(Dx，Dy)和(Fx，F(xiàn)y)，在實(shí)施例中運(yùn)動(dòng)預(yù)測(cè)操作可以用簡(jiǎn)單的加法器和移位器以下列描述的偽代碼來(lái)實(shí)現(xiàn)。
<pre listing-type="program-listing"><![CDATA[MC_Prediction(p，q){ if(Fx?。?&&Fy！＝1)/*full-pel prediction in both directions—*/ P[q][p]＝R[n][m]； if(Fx＝＝1&&Fy！＝1) /*full-pel vertical，half-pel horizontal*/ P[q][p]＝(R[n][m]+R[n][m+1])//2； if(Fx?。?&&Fy＝＝1) /*half-pel vertical，full pel horizontal*/ P[q][p]＝(R[n][m]+R[n+1][m])//2； if(Fx＝＝1&&Fy＝＝1) /*half-pel prediction in both directions */ P[q][p]＝(R[n][m]+R[n][m+1]+R[n+1][m]+R[n+1][m+1])//4；}//end Mc_Prediction(p，q)]]></pre>在此例中，除號(hào)“//”表示向上舍入較大的整數(shù)(舍入遠(yuǎn)離零)。符號(hào)p和q分別代表在目標(biāo)圖像中沿水平和垂直方向的整型指數(shù)。符號(hào)m和n分別代表在參考圖像中沿水平和垂直方向的整型指數(shù)。參考象素位置(m，n)可分別從運(yùn)動(dòng)矢量導(dǎo)出。參考象素位置(m，n)可從運(yùn)動(dòng)矢量位移項(xiàng)(Dx，Dy)。
在本發(fā)明的特定實(shí)施例中，提供給向下采樣比特流的運(yùn)動(dòng)位移補(bǔ)償?shù)念A(yù)測(cè)使用向下采樣參考圖像和從壓縮比特流解碼得到的原始運(yùn)動(dòng)矢量直接執(zhí)行。用于預(yù)測(cè)的運(yùn)動(dòng)矢量也可參考向下采樣的圖像通過(guò)運(yùn)動(dòng)位移(DxY，DyY)，(DxC，DyC)和運(yùn)動(dòng)少量偏移(FxY，F(xiàn)yY)，(FxC，F(xiàn)yC)規(guī)定。如前所述，與傳統(tǒng)的運(yùn)動(dòng)少量偏移相反，在MPEG2中只有一個(gè)比特值，在按照本發(fā)明的特定實(shí)施例中更多的預(yù)測(cè)在向下采樣操作中保存為(FxY，F(xiàn)yY)，(FxC，F(xiàn)yC)。因此，上述簡(jiǎn)單平均值操作可由更精確的內(nèi)插操作來(lái)代替，例如在一個(gè)內(nèi)插實(shí)施例中，雖然本發(fā)明不局限于這點(diǎn)的范圍但是雙線(xiàn)性?xún)?nèi)插單元可用于運(yùn)動(dòng)位移補(bǔ)償?shù)倪\(yùn)動(dòng)預(yù)測(cè)計(jì)算中。視頻和圖像再現(xiàn)質(zhì)量也可通過(guò)使用較高階內(nèi)插單元而提高。雙線(xiàn)性?xún)?nèi)插器典型的使用硬件多于基于平均的內(nèi)插器。然而，在表示引擎或者用于圖像換算或者過(guò)慮的圖像處理器的3維(3D)結(jié)構(gòu)流水線(xiàn)中可以發(fā)現(xiàn)一個(gè)共同的特性。因此在一個(gè)實(shí)施例中，如圖8所示3D流水線(xiàn)可包括一個(gè)雙線(xiàn)性?xún)?nèi)插器，標(biāo)記為820和830，例如一個(gè)具有6比特內(nèi)插相位值的內(nèi)插器，如圖10中所示。在一個(gè)實(shí)施例中雖然本發(fā)明不局限于這點(diǎn)，運(yùn)動(dòng)位移和運(yùn)動(dòng)少量偏移可通過(guò)運(yùn)動(dòng)矢量計(jì)算得到，運(yùn)動(dòng)矢量如下從壓縮比特流中解碼 和 和 和 [6]由于這些關(guān)系和實(shí)施例，可以確定至少部分的基于向下采樣率的用于二次抽樣位移偏移subDx和subDy，二次采樣微量掩碼FmaskDx，F(xiàn)maskDy和二次采樣雙線(xiàn)性?xún)?nèi)插相移subRx和subRy。這可在下面表1中用于具有6比特內(nèi)插相位值范圍。相似地，可以理解對(duì)于具有不同內(nèi)插精度的系統(tǒng)的值可如期導(dǎo)出?？梢岳斫庥糜诰哂胁煌瑑?nèi)插過(guò)濾器而不是雙線(xiàn)性?xún)?nèi)插過(guò)濾器的系統(tǒng)的相應(yīng)內(nèi)插參數(shù)也可如期導(dǎo)出。
表1用于設(shè)置雙線(xiàn)性?xún)?nèi)插參數(shù)的變量，其中的參數(shù)用于向下采樣。
具有定義運(yùn)動(dòng)位移和運(yùn)動(dòng)微量值的上述等式，運(yùn)動(dòng)位移補(bǔ)償預(yù)測(cè)可通過(guò)下面的雙線(xiàn)性?xún)?nèi)插關(guān)系而描述P[q][p]＝{(0x40-Fy)？[(0x40-Fx)？R[n][m]+Fx？R[n][m+1]]+Fy？[(0x40-Fx)？R[n+1][m]+Fx？R[n+1][m+1]]}//0x80＝{(0x40-Fy)？[(0x40-Fx)？R[g+Dy][p+Dx]+Fx？R[q+Dy][p+Dx]+Fx？R[q+Dy][p+Dx+1]][7]+Fy？[(0x40-Fx)？R[q+Dy+1][p+Dx]+Fx？R[q+Dy+1][p+Dx+1]]}//0x80.
其中參考象素位置(m，n)從運(yùn)動(dòng)矢量位移中導(dǎo)出，其中參考象素位置(m，n)從運(yùn)動(dòng)位移矢量(Dx，Dy)導(dǎo)出。
圖9表明提供給用于該實(shí)施例的重建象素的預(yù)測(cè)的4個(gè)參考象素的空間關(guān)系。如上所示，雙線(xiàn)性?xún)?nèi)插器的一個(gè)實(shí)施例在圖10中表示。在該實(shí)施例中，雙線(xiàn)性?xún)?nèi)插器1001由兩個(gè)線(xiàn)性?xún)?nèi)插器1020和1030構(gòu)成，其中1020和1030沿由另一個(gè)線(xiàn)性?xún)?nèi)插器1040跟隨的一個(gè)空間方向操作，1040沿正交方向操作。從線(xiàn)性?xún)?nèi)插器1040輸出的信號(hào)穿過(guò)舍入和飽和單元1050，該單元使輸出信號(hào)轉(zhuǎn)變成一個(gè)規(guī)定的有限精度的形式，雖然本發(fā)明不局限于這點(diǎn)，這僅僅是一個(gè)雙線(xiàn)性?xún)?nèi)插器實(shí)施例中的一個(gè)例子，進(jìn)一步，本發(fā)明不僅限于使用雙線(xiàn)性?xún)?nèi)插。
對(duì)于該實(shí)施例，雖然本發(fā)明不僅局限于這一方面，但是上述的運(yùn)動(dòng)位移補(bǔ)償操作可通過(guò)硬件運(yùn)動(dòng)位移補(bǔ)償系統(tǒng)實(shí)現(xiàn)，例如表示在圖7中的701。這里然而如上所述，該操作應(yīng)用在宏模塊基礎(chǔ)上，這僅僅是MPEG2的一個(gè)特性并且替代的實(shí)施例也是可能的。特定實(shí)施例的操作這里將詳細(xì)描述。指令分析程序和地址發(fā)生器單元810接收對(duì)于給定的宏模塊的運(yùn)動(dòng)位移補(bǔ)償指令并產(chǎn)生目標(biāo)地址并傳送該目標(biāo)地址給矯正數(shù)據(jù)存儲(chǔ)器界面單元815和目標(biāo)數(shù)據(jù)存儲(chǔ)器界面單元825。矯正數(shù)據(jù)存儲(chǔ)器界面單元815使用該目標(biāo)地址加載來(lái)自矯正數(shù)據(jù)緩存器(沒(méi)有示出)的矯正數(shù)據(jù)。目標(biāo)數(shù)據(jù)存儲(chǔ)器界面單元825使用該目標(biāo)地址來(lái)發(fā)送來(lái)自運(yùn)動(dòng)位移補(bǔ)償引擎的最終輸出數(shù)據(jù)給目標(biāo)緩存器(沒(méi)有示出)。指令分析程序和地址發(fā)生器單元810使用關(guān)于當(dāng)前宏模塊和它的運(yùn)動(dòng)矢量信息在參考圖片和圖像中產(chǎn)生預(yù)測(cè)地址并且發(fā)送給參考數(shù)據(jù)存儲(chǔ)器界面單元835。參考數(shù)據(jù)存儲(chǔ)器界面單元使用這些加載來(lái)自前項(xiàng)參考緩存器或者后項(xiàng)參考緩存器或者既有前項(xiàng)參考緩存器又有后項(xiàng)參考緩存器的數(shù)據(jù)(沒(méi)有示出)。
指令分析程序和地址發(fā)生器單元還產(chǎn)生下一象素微量信息以應(yīng)用于雙線(xiàn)性?xún)?nèi)插單元820和830。這兩個(gè)雙線(xiàn)性?xún)?nèi)插單元，一個(gè)執(zhí)行向前預(yù)測(cè)而一個(gè)執(zhí)行向后預(yù)測(cè)。這里每一雙線(xiàn)性?xún)?nèi)插單元使用微量信息內(nèi)插來(lái)自參考緩沖器中的數(shù)據(jù)?？梢韵胂筮@兩個(gè)雙線(xiàn)性?xún)?nèi)插單元可由單一硬件單元實(shí)現(xiàn)。在單一硬件雙線(xiàn)性?xún)?nèi)插單元實(shí)現(xiàn)的情況下，如果要求向前和向后雙向預(yù)測(cè)，則此雙線(xiàn)性?xún)?nèi)插單元可被依次使用。
來(lái)自向前雙線(xiàn)性?xún)?nèi)插單元和向后雙線(xiàn)性?xún)?nèi)插單元的輸出信號(hào)在聯(lián)合單元850被加在一起。根據(jù)一個(gè)壓縮標(biāo)準(zhǔn)，例如，MPEG2，聯(lián)合預(yù)測(cè)單元對(duì)數(shù)據(jù)執(zhí)行適當(dāng)?shù)膿Q算和飽和。對(duì)此實(shí)施例，來(lái)自聯(lián)合預(yù)測(cè)單元的輸出信號(hào)隨后被發(fā)送至預(yù)測(cè)矯正單元860并且矯正數(shù)據(jù)被添加至運(yùn)動(dòng)預(yù)測(cè)數(shù)據(jù)并生成最終輸出數(shù)據(jù)。來(lái)自預(yù)測(cè)矯正單元的輸出數(shù)據(jù)隨后通過(guò)目標(biāo)數(shù)據(jù)存儲(chǔ)器界面被發(fā)送至存儲(chǔ)器。
如圖8所示，上述運(yùn)動(dòng)位移補(bǔ)償實(shí)施例可使用現(xiàn)有的3D再現(xiàn)硬件實(shí)現(xiàn)，該3D再現(xiàn)硬件在圖形控制硬件中是一個(gè)公共特性。為適于描述的目的，在虛線(xiàn)中的方框?qū)倓偯枋龅膶?shí)施例的運(yùn)動(dòng)位移補(bǔ)償方面映射為一些3D硬件單元。當(dāng)然其它硬件映射和硬件再用也是可能的并且現(xiàn)在在本領(lǐng)域可通過(guò)普通技術(shù)來(lái)實(shí)現(xiàn)。在此特定實(shí)施例中，參考緩沖器被映射為結(jié)構(gòu)緩沖器。所以，結(jié)構(gòu)存儲(chǔ)器和結(jié)構(gòu)高速緩沖存儲(chǔ)器可被用于獲取加載自存儲(chǔ)器的參考數(shù)據(jù)。此后，典型的包括雙線(xiàn)性?xún)?nèi)插器或甚至三線(xiàn)性?xún)?nèi)插器的3D結(jié)構(gòu)流水線(xiàn)可被用于在運(yùn)動(dòng)位移補(bǔ)償中執(zhí)行雙線(xiàn)性?xún)?nèi)插或預(yù)測(cè)聯(lián)合操作。然后，3D結(jié)構(gòu)混合單元可被用于執(zhí)行預(yù)測(cè)矯正操作。3D顏色和目標(biāo)存儲(chǔ)器界面單元可被用于將運(yùn)動(dòng)位移補(bǔ)償信號(hào)寫(xiě)至存儲(chǔ)器。
使用MPEG2編碼的一些實(shí)施例將被描述。如前所述，本發(fā)明對(duì)這些實(shí)施例不局限于此范圍。可使用其它多個(gè)視頻或者圖像編碼規(guī)范和/或存儲(chǔ)格式中的任何一個(gè)。盡管如此，這些實(shí)施例作為實(shí)現(xiàn)按照本發(fā)明執(zhí)行視頻圖像解碼的方法的例子提供。關(guān)于這點(diǎn)，將描述MPEG2編碼類(lèi)型的3種主要種類(lèi)。一種編碼類(lèi)型包括一個(gè)具有幀預(yù)測(cè)或者使用幀運(yùn)動(dòng)位移補(bǔ)償?shù)膸瑘D像。關(guān)于這點(diǎn)，術(shù)語(yǔ)幀圖像或者幀類(lèi)型是指用于一個(gè)圖像的數(shù)據(jù)信號(hào)的順序序列顯示，例如通常運(yùn)行在具有監(jiān)視器的計(jì)算機(jī)平臺(tái)上。術(shù)語(yǔ)幀預(yù)測(cè)或者幀運(yùn)動(dòng)位移補(bǔ)償指用于預(yù)測(cè)誤差和通過(guò)編碼器編碼或者產(chǎn)生的運(yùn)動(dòng)矢量的特殊格式。為了執(zhí)行解碼以便重現(xiàn)產(chǎn)生信號(hào)信息的圖像，期望知道以比特流編碼的信號(hào)信息的格式。因此，使用幀預(yù)測(cè)或者幀解碼，那么預(yù)測(cè)誤差以幀格式存儲(chǔ)，類(lèi)似于用于幀圖像的格式。第二種編碼類(lèi)型包括一個(gè)具有域運(yùn)動(dòng)位移補(bǔ)償或者域預(yù)測(cè)的域圖像。術(shù)語(yǔ)域圖像或者域類(lèi)型通常指用于電視設(shè)備或者電視顯示設(shè)備的技術(shù)，其中圖像的一半在允許人眼合成圖像的速率分別顯示。在這種格式中，域數(shù)據(jù)行，也就是說(shuō)來(lái)自域圖像的信號(hào)數(shù)據(jù)行以交錯(cuò)格式存儲(chǔ)。因此，頂部區(qū)域和底部區(qū)域線(xiàn)在數(shù)據(jù)信號(hào)的一幀中交替或者交錯(cuò)。術(shù)語(yǔ)域運(yùn)動(dòng)位移補(bǔ)償或者域預(yù)測(cè)指預(yù)測(cè)誤差和運(yùn)動(dòng)矢量所存儲(chǔ)的格式，其中預(yù)測(cè)可以基于所謂的頂部區(qū)域或者底部區(qū)域而分別預(yù)測(cè)。在一個(gè)域編碼圖像中，頂部和底部區(qū)域作為分離的圖像分別編碼，并且以交錯(cuò)形式顯示。在此情況中，用于頂部和底部的運(yùn)動(dòng)預(yù)測(cè)數(shù)據(jù)部分地基于最近解碼的域。一個(gè)用于本文中的第三種MPEG2編碼類(lèi)型包括，一個(gè)具有域運(yùn)動(dòng)位移補(bǔ)償或者域預(yù)測(cè)的幀圖像。在此格式中，所有的區(qū)域作為單獨(dú)的圖像編碼，但是用于兩個(gè)區(qū)域中每一個(gè)的運(yùn)動(dòng)位移補(bǔ)償數(shù)據(jù)部分地基于先前解碼的域。在MPEG2中，第三種格式有兩個(gè)變形，在一個(gè)變形中，如圖5所示，亮度DCT數(shù)據(jù)以幀為基礎(chǔ)編碼，而在另一個(gè)變形中，如圖6中所示，亮度DCT數(shù)據(jù)存儲(chǔ)在域基礎(chǔ)上。該編碼類(lèi)型位于上述的兩個(gè)編碼類(lèi)型之間，其中兩個(gè)格式交替在宏模塊基礎(chǔ)上。更特別的，在宏模塊基礎(chǔ)上，數(shù)據(jù)信號(hào)可被作為具有域或者幀預(yù)測(cè)的幀圖像存儲(chǔ)。
因?yàn)檫@些特定實(shí)施例與用于MPEG2編碼類(lèi)型的DCT域向下采樣實(shí)施有關(guān)，所以將采樣向下采樣與應(yīng)用于垂直方向的運(yùn)動(dòng)位移補(bǔ)償。在視頻幀中的垂直方向類(lèi)似于上述的MPEG2編碼類(lèi)型而處理，因此，在本實(shí)施例中，垂直方向用與下面所描述的具有幀預(yù)測(cè)的幀圖像的方法的相似方式處理，雖然在按照本發(fā)明的視頻圖像解碼的特定實(shí)施例中，這個(gè)方面可以變化。進(jìn)一步，這里給出的圖例說(shuō)明僅用于亮度元件的技術(shù)。然而，曾經(jīng)描述的本技術(shù)擴(kuò)展，處理MPEG的色度成分是本領(lǐng)域技術(shù)人員力所能及的。進(jìn)一步，例如在其它具有以比特流編碼的多成分應(yīng)用中，但不限于RGB編碼的JPEG圖像，這里所描述的對(duì)每一個(gè)組件的擴(kuò)展也是本領(lǐng)域技術(shù)人員力所能及的。
圖3是一個(gè)按照本發(fā)明的進(jìn)行視頻圖像解碼方法的實(shí)施例示意圖，其中采用與MPEG2規(guī)范一致的DCT圖像。在特定實(shí)施例中，如上所述一個(gè)具有幀運(yùn)動(dòng)位移補(bǔ)償?shù)膸瑘D像是所采用的MPEG2編碼類(lèi)型。圖3表示兩個(gè)在宏模塊中的8×8亮度模塊，其中向下采樣發(fā)生在DCT域中。列1表示先于向下采樣的兩個(gè)模塊數(shù)據(jù)行的空間位置。列2表示在向下采樣之后數(shù)據(jù)行的空間位置。因此，列2表示在DCT域中向下采樣數(shù)據(jù)位置的影響，并且執(zhí)行反向DCT。同樣，如圖3所示，列3表示比率為4∶1的向下采樣，與用于列2的2∶1比率相反。如圖3所示，向下采樣行在向下采樣之后在空間上均勻分布并逆變換。在本實(shí)施例中對(duì)于水平方向的向下采樣象素將以相似方式產(chǎn)生。因此，向下采樣幀圖像和幀運(yùn)動(dòng)矢量可以是相似于提供給原始圖像的方法的方式。向下采樣的結(jié)果是將16×16的宏模塊和它們所包含的8×8的模塊轉(zhuǎn)換成更小的模塊。例如，在2∶1水平二次采樣和4∶1垂直二次采樣之后，每個(gè)8×8模塊解碼成一個(gè)4×2模塊，每個(gè)16×16宏模塊解碼成8×4宏模塊。因此對(duì)于任何給定的向下采樣模塊的運(yùn)動(dòng)位移補(bǔ)償，例如在本實(shí)施例中尺寸為4×4，4×2，2×4，2×2或者1×1的模塊，可使用定標(biāo)的運(yùn)動(dòng)矢量直接實(shí)施在向下采樣參考值，其中在特定實(shí)施例中運(yùn)動(dòng)矢量采用先前所描述的技術(shù)，因此雖然本發(fā)明不局限于這方面的范圍，先前所述的運(yùn)動(dòng)位移補(bǔ)償硬件可有效的使用來(lái)執(zhí)行信號(hào)處理操作。
圖4是表示按照本發(fā)明進(jìn)行視頻圖像解碼的方法的實(shí)施例的示意圖，其中采用另一個(gè)MPEG2編碼類(lèi)型。在特定實(shí)施例中，如上所述采用具有域運(yùn)動(dòng)位移補(bǔ)償?shù)囊粋€(gè)域圖像。考慮到用于一幀的兩個(gè)臨時(shí)分離特性，基于向下采樣的域可產(chǎn)生空間混疊和/或來(lái)自?xún)蓚€(gè)域的線(xiàn)的非均勻定位?？梢詫?dǎo)致的非均勻定位在圖4中說(shuō)明，其中向下采樣以及反向DCT被再次應(yīng)用，以說(shuō)明對(duì)該編碼類(lèi)型的影響。然而，非均勻線(xiàn)距沒(méi)有影響運(yùn)動(dòng)矢量。同樣地，對(duì)圖4中說(shuō)明的行位置的調(diào)整，例如預(yù)測(cè)誤差，可以使用例如雙線(xiàn)性插值法的內(nèi)插法完成。此外，可以使用先前描述的3D硬件流水線(xiàn)執(zhí)行該內(nèi)插法。因此，在特定實(shí)施例中，運(yùn)動(dòng)補(bǔ)償以及向下采樣單元的空間位置應(yīng)該包括用于每個(gè)領(lǐng)域的精確的行位置。
在另一個(gè)實(shí)施例中，不使用圖4中說(shuō)明的產(chǎn)生非均勻垂直線(xiàn)間距的方法，選擇的脈沖線(xiàn)可以用于頂域以及底域行以產(chǎn)生在垂直方向上均勻間隔的一個(gè)向下采樣圖像。例如，雖然本發(fā)明在這方面不限制范圍，可以使用兩個(gè)空間的濾波器，每一個(gè)分別地對(duì)應(yīng)底域和頂域。另外，一個(gè)類(lèi)似方法可以替代地用于本頻率域，例如DCT域。在它所被使用的頻率域中，變換的數(shù)據(jù)信號(hào)可以相移，而不是空間地移位。空間移位和它的相應(yīng)的變換域操作的關(guān)系可以使用特定變換的卷積特性導(dǎo)出。
圖5和6每個(gè)說(shuō)明按照本發(fā)明用于執(zhí)行視頻圖像解碼的方法的實(shí)施例的一部分，其中本發(fā)明用于描述為具有域運(yùn)動(dòng)補(bǔ)償幀圖像的MPEG2編碼類(lèi)型。圖5說(shuō)明按照本發(fā)明用于執(zhí)行視頻解碼的方法的實(shí)施例的一部分，其中宏模塊作為具有域預(yù)測(cè)和幀DCT的幀類(lèi)型保存在該格式中。相反，圖6說(shuō)明按照本發(fā)明用于執(zhí)行視頻解碼的方法的實(shí)施例的一部分，其中宏模塊作為具有域預(yù)測(cè)和域DCT的幀類(lèi)型保存在該格式中?？赡鼙阌趯D像數(shù)據(jù)和預(yù)測(cè)或者運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)轉(zhuǎn)換為一個(gè)格式，幀或者域。同樣地，轉(zhuǎn)換為幀格式通常包括暫時(shí)的濾波，其中可以包括先前說(shuō)明的3D管線(xiàn)硬件。然而，當(dāng)然本發(fā)明在這方面沒(méi)有限制，該方法可以帶有硬件流水線(xiàn)使用，例如，包含這些特征。然而，在該特定實(shí)施例中，執(zhí)行該操作以便放置該幀數(shù)據(jù)進(jìn)入一個(gè)域格式，并且放置該幀運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)成為域運(yùn)動(dòng)補(bǔ)償格式。在特定實(shí)施例里，每個(gè)域然后分別地處理進(jìn)入該空間域以完成運(yùn)動(dòng)補(bǔ)償。
一個(gè)改進(jìn)，用于該特定實(shí)施例是將一個(gè)幀幀壓縮宏模塊轉(zhuǎn)換成為一個(gè)域壓縮宏模塊。在圖5所示的特定實(shí)施例里，由來(lái)自DCT域的逆變換通過(guò)在該空間域里在完全垂直分辨力上宏模塊中單元的重建而完成，隔行掃描該單元成為兩個(gè)域并且在該空間域里垂直地壓縮它。因此，對(duì)于該實(shí)施例，如附圖1中所示，在執(zhí)行該反向DCT之后，垂直壓縮有效地移動(dòng)。同樣地，如上所述運(yùn)動(dòng)補(bǔ)償在每個(gè)域上分別地執(zhí)行。如果在該實(shí)施例里，運(yùn)動(dòng)補(bǔ)償是基于幀的，使用被說(shuō)明的該方法預(yù)測(cè)誤差可以變?yōu)榛谟虻?。轉(zhuǎn)換幀運(yùn)動(dòng)矢量為基于域的，幀運(yùn)動(dòng)矢量可以用于全部情況域運(yùn)動(dòng)矢量的每一個(gè)。圖5和圖6中所述的實(shí)施例之間的差異是宏模塊被存為幀宏模塊還是域宏模塊。與先前論述一樣，如果它存為幀宏模塊，隔行掃描按照?qǐng)D5.中說(shuō)明的那樣執(zhí)行。相反，按照?qǐng)D6中說(shuō)明的那樣執(zhí)行，如果宏模塊存為一個(gè)域宏模塊，那么隔行掃描按照說(shuō)明的執(zhí)行，并且數(shù)據(jù)線(xiàn)可以按照對(duì)于一種隔行掃描域格式的先前描述而處理。
雖然本發(fā)明在這方面不限制范圍，按照本發(fā)明實(shí)施例的一個(gè)方面是在頻域中壓縮視頻圖像，例如在DCT域中的MPEG2圖像。這可以通過(guò)參考一維(1D)信號(hào)論述。由于操作的分離性，用于2D信號(hào)的結(jié)果是該方法的擴(kuò)展。同樣地，2∶1壓縮的情況將要作為其它壓縮比的代表而論述。通常，在頻域中執(zhí)行壓縮是公知的并且存在許多公知的方法實(shí)現(xiàn)它。本發(fā)明對(duì)于一個(gè)特定的方法不限制范圍并且該論述僅僅作為一個(gè)例子提供。
在抽樣域里有限長(zhǎng)的數(shù)字信號(hào)的濾波使用卷積執(zhí)行。例如，通過(guò)一個(gè)該信號(hào)和濾波器的周期性擴(kuò)展可以獲得一個(gè)公知的圓周卷積。該卷積通過(guò)該信號(hào)和濾波器的離散傅里葉變換的簡(jiǎn)略乘法可以在離散傅里葉變換(DFT)域中高效地執(zhí)行并且應(yīng)用該反向DFT到該結(jié)果。對(duì)于DCT，可以應(yīng)用一個(gè)與DFT卷積相關(guān)但是又不同于它的卷積。例如，在1994年5月第42卷第5號(hào)，電氣電子工程師學(xué)會(huì)信號(hào)處理上的論文集中S.Martucci所著的″對(duì)稱(chēng)卷積和離散正弦和余弦變換″中描述了，并且包含該信號(hào)和濾波器的對(duì)稱(chēng)擴(kuò)充、線(xiàn)性卷積，并且應(yīng)用一個(gè)窗口到該結(jié)果。例如，假定該信號(hào)表示為s(n)，n＝0......N-1，并且它的相應(yīng)的變換(DCT域)系數(shù)表示為S(u)，u＝0......N-1，，并且該濾波器表示為h(m)，m＝0......M-1，那么該DCT可以表示為矩陣形式作為S＝C*s，帶有S，S是該信號(hào)的列向量形式并且它的DCT系數(shù)和C是DCT矩陣，如下
Cu，n＝(2/N)1/2k(u)cos[π(u(2n+1)/2N)]，其中u，n＝0，...，N-1 [8]其中k(u)＝·1/√2，其中u＝0 [9]·1，u＝1，...，N-1假定一個(gè)對(duì)稱(chēng)低通均勻長(zhǎng)度濾波器h(m)帶有濾波長(zhǎng)度M，其中M＝2*N，用于該濾波器的DCT系數(shù)H(u)可以通過(guò)應(yīng)用如上所述的回旋的形式到該濾波器的右半部而獲得，該系數(shù)等于系數(shù)的右半部與該變換矩陣相乘Du，m＝2cos[πu(2m+1)/2n]，其中u，m＝1，...，N-1[10]該濾波通過(guò)信號(hào)DCT系數(shù)和該濾波器DCT系數(shù)的元素與元素相乘執(zhí)行并且獲得DCT域相乘結(jié)果的適當(dāng)?shù)姆聪駾CT變換Y(u)＝S(u)*H(u)，其中u＝0，....，N-1 [11]不僅濾波，還有向下采樣可以在DCT域里執(zhí)行。對(duì)于通過(guò)兩個(gè)向下采樣，元素與元素相乘的結(jié)果通過(guò)四分中二點(diǎn)折疊并且做減法然后按照1N2.換算。數(shù)學(xué)上，這表示為[Y(u)-Y(N-u)]/√2，其中u＝0，...(N/2)-1 [12]通過(guò)應(yīng)用長(zhǎng)度N/2的反向DCT變換獲得十中抽一信號(hào)。有一些有效地應(yīng)用在該實(shí)施例里的特別的情況，雖然本發(fā)明不限制在這方面。例如可以執(zhí)行在DCT域里一個(gè)帶有系數(shù)[11110000]的理想濾波器更進(jìn)一步的通過(guò)雙向操作簡(jiǎn)化DCT域向下采樣。特別地，該特別的濾波器形狀避免折疊和附加。另一個(gè)帶有系數(shù)[11110.500O]的濾波器通過(guò)兩個(gè)操作對(duì)于該向下采樣提供消除混疊濾波器的一個(gè)變換函數(shù)。當(dāng)然其它濾波器也可以同時(shí)使用。
同樣地，可以理解在一個(gè)特定實(shí)施例里，執(zhí)行一個(gè)低通、線(xiàn)性插值濾波器以便執(zhí)行向下采樣；雖然如此，本發(fā)明不限制在這方面的范圍。例如，除了低通濾波器，線(xiàn)性濾波器，或者替代地非線(xiàn)性的濾波器，例如中值濾波器、自適應(yīng)的邊緣增強(qiáng)濾波器也都可以使用。當(dāng)然，雖然本發(fā)明不局限于此方方面，可以理解使用運(yùn)動(dòng)補(bǔ)償硬件和雙線(xiàn)性插值法可以有效地實(shí)現(xiàn)一些線(xiàn)性濾波器。
在運(yùn)動(dòng)補(bǔ)償或者向下采樣之后濾波可以同時(shí)被應(yīng)用。更具體地說(shuō)，所得到的圖像透明度中的偏差可能變成對(duì)人眼明顯，特別作為在該序列里被觀察的圖像。在一些實(shí)施例里，需要平滑該偏差或者換句話(huà)說(shuō)，增強(qiáng)具有較少透明度的圖像。因此，可以使用大量濾波器中任何一個(gè)的，線(xiàn)形的或者非線(xiàn)性的。例如，雖然本發(fā)明在這方面不限制，可以應(yīng)用一個(gè)邊緣增強(qiáng)圖像。此外，可以理解使用一個(gè)3D硬件流水線(xiàn)和雙線(xiàn)性插值法可以有效地實(shí)現(xiàn)一些線(xiàn)性濾波器。
當(dāng)然，如前所述，本發(fā)明不限于先前所述實(shí)施例的范圍。例如，在一個(gè)替代的實(shí)施例里，其中使用一個(gè)3D硬件流水線(xiàn)以便實(shí)現(xiàn)一個(gè)雙線(xiàn)性插值法操作，一個(gè)3×3 4×4或者更大的內(nèi)插法操作可以替代2×2雙線(xiàn)性插值法操作而實(shí)現(xiàn)。同樣地，在另一個(gè)替代的實(shí)施例里，為了跟上被提供或者接收的圖象比特流量，作為顯著的計(jì)算資源由該解碼器所需求，為了允許在提供的圖像質(zhì)量上的適度退化該解碼器可以適合于在較高比率上向下采樣。同樣，該解碼器也可以適合于執(zhí)行反向。
在另一個(gè)實(shí)施例里，代替向下采樣所有視頻圖像，該解碼器可以適合于僅僅對(duì)一些視頻圖象向下采樣。例如，可以選擇特殊的圖像用于向下采樣，例如通過(guò)傳送一個(gè)信號(hào)指示，或者該解碼器可以至少部分地基于一個(gè)預(yù)先決定的標(biāo)準(zhǔn)適合于對(duì)接收的視頻圖像的一個(gè)子集向下采樣，例如，作為一個(gè)例子，在二次采樣B幀的同時(shí)在完全分辯率上解碼I和P幀。因此，可以使用許多方法中的任何一個(gè)并且本發(fā)明不限制在任何特定方法的范圍內(nèi)。雖然本發(fā)明在這方面不限制范圍，按照本發(fā)明實(shí)施例的另一個(gè)方面是解碼的視頻圖像的顯示也就是說(shuō)在頻域中向下采樣，例如在DCT域中的MPEG2圖像。在該特定的實(shí)施例里，上述討論到的視頻解碼器子系統(tǒng)與圖10.中所示的一個(gè)視頻顯示子系統(tǒng)聯(lián)系在一起。視頻解碼器子系統(tǒng)和視頻顯示子系統(tǒng)可與存貯器子系統(tǒng)接在一起，其中解碼的視頻圖像存在該存貯器子系統(tǒng)上。如圖10中所示，在存貯器子系統(tǒng)中，解碼的視頻圖像被標(biāo)記為視頻緩沖器1，視頻緩沖器2等等。解碼的視頻圖像的數(shù)目n可以按照視頻解碼器和視頻顯示子系統(tǒng)來(lái)選擇。在這樣一個(gè)實(shí)施例里，除典型信息之外，例如解碼的圖像尺寸(X，Y)，視頻解碼器子系統(tǒng)可以和帶有附加信號(hào)的視頻顯示子系統(tǒng)接在一起，例如涉及變換域向下采樣操作的圖像類(lèi)型(PICT)和垂直輔助取樣因數(shù)(VSFF)。例如PICT和VSFF的信號(hào)可能用來(lái)調(diào)整視頻顯示子系統(tǒng)適當(dāng)?shù)仫@示解碼的視頻圖像也就是說(shuō)使用一個(gè)按照本發(fā)明的實(shí)施例在變換域里向下采樣。
視頻顯示子系統(tǒng)操作在屏幕上顯示器解碼的視頻圖像。所要求的顯示視頻窗口的尺寸未必同源視頻圖像相同。在該情況下，源視頻可以擴(kuò)大或者壓縮與分別地相應(yīng)于內(nèi)插法和抽取的處理的顯示窗口尺寸匹配。性能比例包括源視頻數(shù)據(jù)的恰當(dāng)濾波以減少混疊效應(yīng)。在一種方法中，有限脈沖響應(yīng)(FIR)濾波器是一個(gè)在視頻顯示子系統(tǒng)里實(shí)現(xiàn)比例濾波器的例子，其中輸入象元的僅僅有限數(shù)有助于特定的輸出象元。用于視頻信號(hào)的空間比例的一個(gè)濾波器通常是兩維(2D)功能。實(shí)際上，可分離的濾波器可能用來(lái)減少硬件復(fù)雜性和成本。換句話(huà)說(shuō)，視頻信號(hào)的比例被分別用于垂直的和水平方向。在下文中，闡明垂直比例尺操作，因?yàn)樗c提出的視頻解碼器產(chǎn)生的均勻和非均勻場(chǎng)掃描行分配有關(guān)。
對(duì)于給定的源大小Nsrc和目標(biāo)尺寸Ndest，正向的定標(biāo)因數(shù)(與隨后規(guī)定的反向定標(biāo)因數(shù)形成對(duì)照)定義為基于目標(biāo)尺寸的源大小的比率Sf=NsrcNdest.]]>[13]標(biāo)志源采樣步驟作為單一，我們可以規(guī)定一個(gè)用于假設(shè)輸出線(xiàn)的DDA(數(shù)字微分分析機(jī))值作為到源線(xiàn)垂直位置的相對(duì)位置。通常，一個(gè)DDA蓄電池包括一個(gè)定點(diǎn)值。由int(DDA)表示的DDA值的整數(shù)部分指示最接近的源線(xiàn)數(shù)字，而由fnact(DDA)表示的DDA值的分?jǐn)?shù)部分相應(yīng)于自源線(xiàn)起的相對(duì)距離。比例操作的初相位定義為與自該比例濾波器起與第一個(gè)輸出線(xiàn)相聯(lián)系的DDA蓄電池(DDA0＝DDA(0))的初始值。那么隨后的輸出線(xiàn)的抽樣位置可以由由定標(biāo)因數(shù)積累的DDA值所描述。
DDA(n)＝DDA(n-1)+Sf，for n＝1，Ndest-1，[14]其中n是輸出視頻線(xiàn)的指數(shù)。對(duì)于一個(gè)由上述的視頻解碼器子系統(tǒng)產(chǎn)生的并且處于帶有圖3中源視頻圖像所述的變換域向下采樣的幀類(lèi)型中的源視頻圖像來(lái)說(shuō)，雖然定標(biāo)因數(shù)是不同的，但是它的顯示類(lèi)似于非向下采樣視頻圖像。
對(duì)于一個(gè)由上述的視頻解碼器子系統(tǒng)產(chǎn)生的并且處于帶有圖12中所述的均勻分布的掃描行的變換域向下采樣的域類(lèi)型中的源視頻圖像來(lái)說(shuō)，雖然定標(biāo)因數(shù)是不同的，但是它的顯示類(lèi)似于非向下采樣域視頻圖像。然而，對(duì)于一個(gè)上述的視頻解碼器子系統(tǒng)產(chǎn)生的并且處于帶有圖13和圖14中所述的變換域向下采樣而不帶有非均勻分布的掃描行的域類(lèi)型中的源視頻圖像來(lái)說(shuō)，傳統(tǒng)的域視頻顯示方法不能應(yīng)用于這種視頻圖像。相反，使用恰當(dāng)?shù)拇怪蔽恢谜{(diào)整以便正確地顯示變換域向下抽樣視頻圖像的全部域。使一個(gè)域里兩個(gè)鄰線(xiàn)之間的距離為1單位。如圖12中所示，對(duì)于非向下采樣域類(lèi)型視頻圖像，在頂域(行0)里第一行下面的底域(行1)里的第一行是0.5單元。對(duì)于隨后的全部域中的行，也是成立的。用于均勻地定位隔行掃描視頻源的基于DDA的垂直比例操作的結(jié)果表示在圖15.里。該例子顯示3∶8.的擴(kuò)展因數(shù)。圖15(a)是從帶有DDA
＝0.0的初相位的頂域測(cè)量的一種情況，圖15(b)是從帶有DDA
＝-0.5的初相位的底域測(cè)量的一種情況。當(dāng)通過(guò)兩個(gè)的垂直向下采樣在該變換域里執(zhí)行時(shí)，在頂域(行0)中的第一行下面的底域(行1)中的第一行是0.25單元，如附圖13中所說(shuō)明的那樣。圖16說(shuō)明用于非均勻地定位隔行掃描視頻源的基于DDA垂直比例操作的結(jié)果。該例子顯示3∶8.擴(kuò)展因數(shù)。圖16(a)是是從帶有DDA
＝0.0的初相位的頂域測(cè)量的一種情況，圖16(b)是從帶有DDA
＝-0.25的初相位的底域測(cè)量的一種情況。
同樣地，圖14說(shuō)明當(dāng)通過(guò)四個(gè)進(jìn)行的垂直向下采樣在變換域里執(zhí)行時(shí)，頂域里第一行下面的底域里的第一行是0.125單位。
當(dāng)然，可以理解雖然一個(gè)特定的實(shí)施例剛被描述，本發(fā)明不限制在一個(gè)特定的實(shí)施例或者實(shí)施的范圍中。例如一個(gè)實(shí)施例可以在硬件里，然而另一個(gè)實(shí)施例也許在軟件里。同樣地，一個(gè)實(shí)施例也許在固件里，或者任何硬件軟件或者固件的組合，例如同樣地雖然本發(fā)明不限制在這方面，一個(gè)實(shí)施例可能包括一個(gè)產(chǎn)品，例如一個(gè)存儲(chǔ)介質(zhì)。例如上述一個(gè)存儲(chǔ)介質(zhì)，例如一個(gè)光盤(pán)或者一個(gè)磁盤(pán)，其上也許已經(jīng)存儲(chǔ)有指令，當(dāng)通過(guò)一個(gè)系統(tǒng)執(zhí)行時(shí)，例如一個(gè)計(jì)算機(jī)系統(tǒng)或者平臺(tái)或者一個(gè)成像系統(tǒng)，可以導(dǎo)致按照本發(fā)明執(zhí)行視頻圖像解碼的一個(gè)方法，例如先前描述的實(shí)施例中的一個(gè)。
雖然本發(fā)明的特定特征已經(jīng)作為此處的描述說(shuō)明了，本領(lǐng)域的技術(shù)人員會(huì)想到許多改進(jìn)、替換、變化和等效。因此，可以理解附加的權(quán)利要求覆蓋所有的落入本發(fā)明實(shí)質(zhì)范圍的上述實(shí)施例和其變化。
權(quán)利要求
1.一種執(zhí)行視頻圖像解碼的方法包括在頻域中向下采樣一種壓縮視頻圖像；反向變換該向下采樣的視頻圖像；以及在該空間域里對(duì)向下采樣的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償。
2.按照權(quán)利要求1所述的方法，其中在頻域中的壓縮視頻圖像包括一種離散余弦變換(DCT)圖像。
3.按照權(quán)利要求2所述的方法，其中DCT圖像作為一種遵照MPEG規(guī)范的DCT圖像存儲(chǔ)。
4.該按照權(quán)利要求3所述的方法，其中DCT圖像存為一種幀類(lèi)型圖像。
5.按照權(quán)利要求4所述的方法，其中運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)信號(hào)存為幀預(yù)測(cè)類(lèi)型運(yùn)動(dòng)補(bǔ)償。
6.按照權(quán)利要求3所述的方法，其中DCT圖像存為一種域類(lèi)型圖像。
7.按照權(quán)利要求6所述的方法，其中運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)信號(hào)存為域預(yù)測(cè)類(lèi)型運(yùn)動(dòng)補(bǔ)償。
8.按照權(quán)利要求1所述的方法，進(jìn)一步包括顯示向下采樣的空間圖象以便得到在向下采樣空間圖象中的數(shù)據(jù)信號(hào)行的非均勻垂直線(xiàn)間距離，其中向下采樣空間圖象在計(jì)算機(jī)監(jiān)視器上呈現(xiàn)充分地均勻。
9.按照權(quán)利要求1所述的方法，其中向下采樣使用一個(gè)整數(shù)比率執(zhí)行。
10.按照權(quán)利要求1所述的方法，其中執(zhí)行運(yùn)動(dòng)補(bǔ)償包括按照向下采樣比率換算運(yùn)動(dòng)矢量。
11.按照權(quán)利要求10.所述的方法，其中運(yùn)動(dòng)矢量換算包括執(zhí)行一個(gè)內(nèi)插法操作。
12.按照權(quán)利要求11所述的方法，其中運(yùn)動(dòng)矢量換算包括執(zhí)行一種雙線(xiàn)性插值法操作。
13.按照權(quán)利要求12所述的方法，其中雙線(xiàn)性插值法操作在三維管線(xiàn)硬件上實(shí)現(xiàn)。
14.按照權(quán)利要求1所述的方法，其中向下采樣包括作為一種雙線(xiàn)性插值法操作執(zhí)行一種線(xiàn)性濾波器。
15.按照權(quán)利要求14所述的方法，其中雙線(xiàn)性插值法操作在3D管線(xiàn)硬件上實(shí)現(xiàn)。
16.一種執(zhí)行視頻圖像解碼的方法包括反向變換一種壓縮視頻圖像；在空間域里對(duì)反向變換的圖像向下采樣；以及在該空間域里對(duì)于該向下采樣的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償。
17.按照權(quán)利要求16所述的方法，其中壓縮視頻圖像包括一種離散余弦變換(DCT)圖像。
18.按照權(quán)利要求17所述的方法，其中DCT圖像存為一種遵照MPEG規(guī)范的DCT圖像。
19.按照權(quán)利要求18所述的方法，其中DCT圖像包括存為幀宏模塊的宏模塊以及存為域宏模塊的宏模塊。
20.按照權(quán)利要求19所述的方法，進(jìn)一步地包括在空間域里向下采樣之前轉(zhuǎn)換該幀宏模塊為域宏模塊。
21.按照權(quán)利要求19所述的方法，其中運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)信號(hào)存為域預(yù)測(cè)類(lèi)型運(yùn)動(dòng)補(bǔ)償。
22.按照權(quán)利要求16所述的方法，其中執(zhí)行運(yùn)動(dòng)補(bǔ)償包括按照一種壓縮比率換算運(yùn)動(dòng)矢量。
23.按照權(quán)利要求22所述的方法，其中運(yùn)動(dòng)矢量換算包括實(shí)現(xiàn)一個(gè)內(nèi)插法操作。
24.按照權(quán)利要求23.所述的方法，其中運(yùn)動(dòng)矢量換算包括實(shí)現(xiàn)一種雙線(xiàn)性插值法操作。
25.按照權(quán)利要求24所述的方法，其中雙線(xiàn)性插值法操作在三維管線(xiàn)硬件上實(shí)現(xiàn)。
26.按照權(quán)利要求16所述的方法，其中向下采樣包括作為一種雙線(xiàn)性插值法操作實(shí)現(xiàn)一種線(xiàn)性濾波器。
27.按照權(quán)利要求26所述的方法，其中雙線(xiàn)性插值法操作在3D管線(xiàn)硬件上實(shí)現(xiàn)。
28.一種產(chǎn)品包括一種其上已經(jīng)存儲(chǔ)了指令的存儲(chǔ)介質(zhì)，當(dāng)通過(guò)平臺(tái)執(zhí)行時(shí)，導(dǎo)致下列在頻域中向下采樣一種壓縮視頻圖像；反向變換該向下采樣的視頻圖像；以及在空間域里對(duì)于向下采樣的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償。
29.按照權(quán)利要求28所述的產(chǎn)品，其中當(dāng)執(zhí)行該指令時(shí)進(jìn)一步地得到在頻域中的壓縮視頻的圖像包括一種離散余弦變換(DCT)圖像。
30.按照權(quán)利要求29所述的產(chǎn)品，當(dāng)執(zhí)行該指令時(shí)進(jìn)一步地得到存為遵照MPEG規(guī)范的DCT圖像的DCT圖像。
31.按照權(quán)利要求28所述的產(chǎn)品，當(dāng)執(zhí)行該指令時(shí)進(jìn)一步地得到顯示向下采樣的空間圖象以便得到在向下采樣空間圖象里的數(shù)據(jù)信號(hào)行的非均勻垂直線(xiàn)間距離，它們?cè)谟?jì)算機(jī)監(jiān)視器上呈現(xiàn)充分地均勻。
32.一種產(chǎn)品包括一種其上已經(jīng)存儲(chǔ)了指令的存儲(chǔ)介質(zhì)，當(dāng)通過(guò)平臺(tái)執(zhí)行時(shí)，導(dǎo)致下列反向變換一種壓縮視頻圖像；在空間域里向下采樣該反向變換的圖像；以及在空間域里對(duì)于該向下采樣的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償。
33.按照權(quán)利要求32所述的產(chǎn)品，其中執(zhí)行該指令時(shí)進(jìn)一步地得到在頻域中的壓縮視頻圖像包括一種離散余弦變換(DCT)圖像。
34.按照權(quán)利要求33所述的產(chǎn)品，其中執(zhí)行該指令時(shí)進(jìn)一步地得到存為遵照MPEG規(guī)范的DCT圖像的DCT圖像。
全文摘要
在一個(gè)實(shí)施例中，一種進(jìn)行視頻圖像解碼的方法包括如下步驟。在頻域中一個(gè)壓縮視頻圖像被向下采樣。向下采樣的視頻圖像被逆變換。在空間域中對(duì)向下采樣圖像進(jìn)行運(yùn)動(dòng)位移補(bǔ)償。
文檔編號(hào)H04N7/36GK1435054SQ00819034
公開(kāi)日2003年8月6日 申請(qǐng)日期2000年10月25日 優(yōu)先權(quán)日1999年12月20日
發(fā)明者H·H·蔣, V·G·庫(kù)克, A·H·西蒙 申請(qǐng)人:英特爾公司