示例實(shí)施例涉及視頻編碼或視頻壓縮，更具體地講，涉及一種用于處理參考圖像的方法和設(shè)備。

背景技術(shù)：

各種電子裝置使用靜態(tài)圖像和視頻圖像，并且電子裝置所使用的圖像數(shù)據(jù)量已顯著增長。例如，使用各種裝置(諸如，移動(dòng)電話)經(jīng)由廣播信道來分發(fā)大量的視頻內(nèi)容和圖像數(shù)據(jù)。視頻編碼/解碼方面的發(fā)展已經(jīng)實(shí)現(xiàn)通過帶寬有限的信道傳輸更多的圖像數(shù)據(jù)以及在有限的存儲(chǔ)容量中存儲(chǔ)高分辨率的視頻數(shù)據(jù)。更高效的視頻編碼方案在視頻使用的快速增長方面扮演了重要的角色。然而，必須認(rèn)識(shí)到：為了實(shí)現(xiàn)更高的編碼效率以及更高的分辨率，計(jì)算的數(shù)量以及像素處理速率也必須普遍提高。高效視頻編碼(hevc)標(biāo)準(zhǔn)已被發(fā)展用于解決這樣的挑戰(zhàn)。

hevc編解碼器被設(shè)計(jì)為包括與其前驅(qū)(predecessor)及擴(kuò)展(諸如h.263、h.264、mpeg-1、mpeg-2、mpeg-4、可伸縮視頻編碼(svc)以及多視點(diǎn)視頻編碼(mvs))的特征相似的各種特征。這樣的視頻編解碼器至少使用一系列視頻圖像幀中的空間和時(shí)間冗余，以減少數(shù)據(jù)比特流大小。一般而言，空間預(yù)測被用于通過使用同一圖像幀中的樣本來減少空間冗余，圖片間預(yù)測(inter-pictureprediction)被用于減少時(shí)間冗余。這樣能夠?qū)崿F(xiàn)圖像數(shù)據(jù)的壓縮，以相對有效且高效的傳輸和/或存儲(chǔ)視頻內(nèi)容。然而，至于在視頻內(nèi)容中的各種類型的對象運(yùn)動(dòng)，當(dāng)前hevc技術(shù)(及其擴(kuò)展和前驅(qū))并未提供針對增強(qiáng)視頻編碼的解決方案。

在該背景技術(shù)部分中所公開的以上信息僅用于提高本發(fā)明構(gòu)思的背景的理解，因此，以上信息可包含無法形成本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)要素：

一個(gè)或多個(gè)示例實(shí)施例提供一種用于處理參考圖像的方法和設(shè)備。

其它方面將在隨后的詳細(xì)描述中被闡述，部分地，將根據(jù)本公開而是清楚的或者可通過本發(fā)明構(gòu)思的實(shí)踐而被獲知。

一個(gè)或多個(gè)示例實(shí)施例提供一種包括處理器、視頻編碼器、存儲(chǔ)器及圖形處理器(gpu)的應(yīng)用處理器的方法。所述方法包括：基于修改參數(shù)來修改參考圖像以生成修改的參考圖像，其中，參考圖像被配置為存儲(chǔ)在存儲(chǔ)器中；確定與當(dāng)前圖像的編碼塊相關(guān)聯(lián)的運(yùn)動(dòng)信息，其中，當(dāng)前圖像與參考圖像在時(shí)間上不同。運(yùn)動(dòng)信息與修改參數(shù)和修改的參考圖像中的至少一個(gè)相關(guān)聯(lián)。

修改參考圖像的處理可包括：改變參考圖像的細(xì)節(jié)層次(lod)和參考圖像的尺寸中的至少一個(gè)；確定修改的參考圖像的預(yù)測塊。預(yù)測塊可與在修改的參考圖像中的修改的圖像對象相關(guān)聯(lián)，可通過所述lod和所述尺寸中的至少一個(gè)的改變對修改的圖像對象進(jìn)行修改。

確定運(yùn)動(dòng)信息的處理可包括：基于與修改的圖像對象相關(guān)聯(lián)的預(yù)測塊的坐標(biāo)以及當(dāng)前圖像的編碼塊的坐標(biāo)來確定運(yùn)動(dòng)矢量。當(dāng)前圖像的編碼塊可與和修改的圖像對象匹配的縮放圖像對象相關(guān)聯(lián)。可基于與修改參考圖像相關(guān)聯(lián)的縮放比來進(jìn)一步確定運(yùn)動(dòng)矢量。此外，ap可提取與縮放比相關(guān)聯(lián)的運(yùn)動(dòng)矢量和信息。

修改參考圖像的處理可包括：旋轉(zhuǎn)參考圖像的至少一部分；確定修改的參考圖像的預(yù)測塊。預(yù)測塊可與修改的參考圖像中的修改的圖像對象相關(guān)聯(lián)，可通過參考圖像的所述至少一部分的旋轉(zhuǎn)對修改的圖像對象進(jìn)行修改。

確定運(yùn)動(dòng)信息的處理可包括：基于與修改的圖像對象相關(guān)聯(lián)的預(yù)測塊的坐標(biāo)以及當(dāng)前圖像的編碼塊的坐標(biāo)來確定運(yùn)動(dòng)矢量。當(dāng)前圖像的編碼塊可與和修改的圖像對象匹配的旋轉(zhuǎn)的圖像對象相關(guān)聯(lián)?？苫谠趨⒖紙D像的修改中所使用的旋轉(zhuǎn)度來進(jìn)一步確定運(yùn)動(dòng)矢量。另外，ap可提取運(yùn)動(dòng)矢量和與旋轉(zhuǎn)度相關(guān)聯(lián)的信息。

修改參考圖像的處理可包括：剪切參考圖像的至少一部分；確定修改的參考圖像的預(yù)測塊。預(yù)測塊可與修改的參考圖像中的修改的圖像對象相關(guān)聯(lián)，可通過參考圖像的所述至少一部分的剪切對修改的圖像對象進(jìn)行修改。

確定運(yùn)動(dòng)信息的處理可包括：基于與修改的圖像對象相關(guān)聯(lián)的預(yù)測塊的坐標(biāo)以及當(dāng)前圖像的編碼塊的坐標(biāo)來確定運(yùn)動(dòng)矢量。當(dāng)前圖像的編碼塊可與和修改的圖像對象匹配的剪切的圖像對象相關(guān)聯(lián)?？苫谂c修改參考圖像相關(guān)聯(lián)的剪切參數(shù)來進(jìn)一步確定運(yùn)動(dòng)矢量。另外，ap可提取與剪切參數(shù)相關(guān)聯(lián)的運(yùn)動(dòng)矢量和信息。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，ap可確定參考圖像修改標(biāo)記的值。參考圖像修改標(biāo)記指示針對圖像間預(yù)測的參考圖像修改。

ap可基于運(yùn)動(dòng)信息和修改的參考圖像中的至少一個(gè)來執(zhí)行針對當(dāng)前圖像的編碼塊的圖像間預(yù)測。

一個(gè)或多個(gè)示例實(shí)施例提供一種應(yīng)用處理器(ap)，包括：處理器；視頻編碼器；被配置為存儲(chǔ)參考圖像的存儲(chǔ)器；圖形處理器(gpu)。處理器和視頻編碼器中的至少一個(gè)被配置為使得ap：基于修改參數(shù)來修改參考圖像以生成修改的參考圖像，并且確定與當(dāng)前圖像的編碼塊相關(guān)聯(lián)的運(yùn)動(dòng)信息，其中，當(dāng)前圖像與參考圖像在時(shí)間上不同。運(yùn)動(dòng)信息與修改參數(shù)和修改的參考圖像中的至少一個(gè)相關(guān)聯(lián)。

一個(gè)或多個(gè)示例實(shí)施例提供一種應(yīng)用處理器(ap)，包括：處理器，被配置為運(yùn)行操作系統(tǒng)，其中，處理器包括多個(gè)中央處理器；視頻編碼器，被配置為在幀內(nèi)預(yù)測模式與幀間預(yù)測模式之間確定針對當(dāng)前圖像的編碼塊的預(yù)測模式，其中，視頻編碼器包括幀內(nèi)預(yù)測器和幀間預(yù)測器；存儲(chǔ)器，被配置為存儲(chǔ)參考圖像，其中，當(dāng)前圖像和參考圖像在時(shí)間上不同；以及圖形處理器(gpu)。視頻編碼器被配置為在幀間預(yù)測模式中確定用于修改參考圖像的修改參數(shù)，其中，修改參數(shù)包括縮放參數(shù)和旋轉(zhuǎn)參數(shù)，并且視頻編碼器被配置為經(jīng)由基于旋轉(zhuǎn)參數(shù)旋轉(zhuǎn)參考圖像的至少一部分并且經(jīng)由基于縮放參數(shù)改變參考圖像的細(xì)節(jié)層次(lod)和尺寸中的至少一個(gè)，來生成修改的參考圖像。視頻編碼器的幀間預(yù)測器被配置為確定與當(dāng)前圖像的編碼塊以及修改的參考圖像的預(yù)測塊相關(guān)聯(lián)的運(yùn)動(dòng)信息，其中，運(yùn)動(dòng)信息被配置為實(shí)現(xiàn)當(dāng)前圖像的編碼塊與修改的參考圖像的預(yù)測塊之間的殘差值的確定。

參考圖像可包括第一參考圖像和第二參考圖像。參考圖像的旋轉(zhuǎn)的部分可包括第一參考圖像中的對象的修改，所述修改基于旋轉(zhuǎn)參數(shù)。第二參考圖像的修改可包括第二參考圖像中的對象的修改的lod和修改的尺寸中的至少一個(gè)，修改的lod和修改的尺寸基于縮放參數(shù)。

處理器和視頻編碼器中的至少一個(gè)還可被配置為使得ap至少：剪切參考圖像的至少一部分，并且確定剪切的參考圖像的預(yù)測塊。剪切的參考圖像中的對象可包括參考圖像的所述至少一部分的剪切。

一個(gè)或多個(gè)示例實(shí)施例提供一種移動(dòng)終端。所述移動(dòng)終端包括：片上系統(tǒng)，其中，片上系統(tǒng)包括：處理器，被配置為運(yùn)行操作系統(tǒng)；視頻編碼器；存儲(chǔ)器，存儲(chǔ)參考圖像；圖形處理器(gpu)。所述移動(dòng)終端還包括：被配置為與另一電子裝置進(jìn)行通信的網(wǎng)絡(luò)接口以及顯示器。視頻編碼器被配置為使得所述移動(dòng)終端基于修改參數(shù)來修改參考圖像以生成修改的參考圖像，并且確定與當(dāng)前圖像的編碼塊相關(guān)聯(lián)的運(yùn)動(dòng)信息，其中，當(dāng)前圖像和參考圖像在時(shí)間上不同。運(yùn)動(dòng)信息與修改參數(shù)和修改的參考圖像中的至少一個(gè)相關(guān)聯(lián)。

一個(gè)或多個(gè)示例實(shí)施例提供一種移動(dòng)終端。所述移動(dòng)終端包括：片上系統(tǒng)，其中，片上系統(tǒng)包括：處理器，被配置為運(yùn)行操作系統(tǒng)；視頻編碼器；存儲(chǔ)器，存儲(chǔ)參考圖像；圖形處理器(gpu)。所述移動(dòng)終端還包括被配置為與另一電子裝置進(jìn)行通信的網(wǎng)絡(luò)接口以及顯示器。處理器和視頻編碼器中的至少一個(gè)被配置為使得所述移動(dòng)終端基于圖像估計(jì)對象的運(yùn)動(dòng)，基于修改參數(shù)來修改參考圖像以生成修改的參考圖像，確定與當(dāng)前圖像的編碼塊相關(guān)聯(lián)的運(yùn)動(dòng)信息，存儲(chǔ)針對與運(yùn)動(dòng)信息以及圖像間預(yù)測相關(guān)聯(lián)的修改的參考圖像，基于修改的參考圖像來執(zhí)行針對當(dāng)前圖像的編碼塊的圖像間預(yù)測，其中，當(dāng)前圖像和參考圖像在時(shí)間上不同，運(yùn)動(dòng)信息與修改參數(shù)和修改的參考圖像中的至少一個(gè)相關(guān)聯(lián)。

以上總體描述和以下詳細(xì)描述是示例且是解釋性的，并且意在提供要求保護(hù)的主題的進(jìn)一步解釋。

附圖說明

包括的用于提供對本發(fā)明構(gòu)思的進(jìn)一步理解的附圖被并入本說明書并構(gòu)成本說明書的一部分，示出本發(fā)明構(gòu)思的示例實(shí)施例，并且附圖與說明書一起用于解釋本發(fā)明構(gòu)思的原理。

圖1是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的包括視頻編碼器的應(yīng)用處理器(ap)的框圖；

圖2是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的包括視頻編碼器的電子裝置的框圖；

圖3是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的視頻編碼器的框圖；

圖4是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的視頻解碼器的示圖；

圖5是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的解碼圖像預(yù)處理器的框圖；

圖6是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用縮放參數(shù)的參考圖像的修改的示圖；

圖7是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用縮放參數(shù)的參考圖像的修改的示圖；

圖8是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出基于優(yōu)化的縮放參數(shù)或插值的圖像間預(yù)測的示圖；

圖9是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖；

圖10是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖；

圖11是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖；

圖12是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用剪切參數(shù)的參考圖像的修改的示圖；

圖13是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出修改針對幀間預(yù)測的參考圖像的處理的流程圖；

圖14是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出用于修改針對幀間預(yù)測的參考圖像的視頻編碼器的處理的流程圖；

圖15是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出用于修改針對幀間預(yù)測的參考圖像的視頻解碼器的處理的流程圖；

圖16和圖17示出根據(jù)一個(gè)或多個(gè)示例實(shí)施例的使用生成的lod的各個(gè)幀間預(yù)測；

圖18示出根據(jù)一個(gè)或多個(gè)示例實(shí)施例的使用生成的旋轉(zhuǎn)的參考圖像的幀間預(yù)測。

具體實(shí)施方式

在以下描述中，為了解釋目的，諸多具體細(xì)節(jié)被闡述以便提供對各種示例實(shí)施例的透徹理解。然而，顯而易見的是，在沒有這些具體細(xì)節(jié)的情況下或者在具有一個(gè)或多個(gè)等同安排的情況下，可實(shí)踐各種示例實(shí)施例。在其它示例中，以框圖形式示出公知的結(jié)構(gòu)和裝置以避免不必要地模糊各種示例實(shí)施例。

在附圖中，為了清晰和描述性目的，可夸大塊、組件、元件等的大小和相對大小。此外，同樣的附圖標(biāo)號(hào)可表示同樣或類似的元件。

對于本公開而言，“x、y及z中的至少一個(gè)”以及“從由x、y及z構(gòu)成的組中選擇的至少一個(gè)”可被理解為只有x、只有y、只有z或者x、y及z中的兩個(gè)或更多個(gè)的任何組合，諸如，xyz、xyy、yz以及zz。相同的標(biāo)號(hào)始終指示相同的元件。如這里所使用，術(shù)語“和/或”包括相關(guān)所列項(xiàng)中的一個(gè)或多個(gè)的任何及所有組合。

雖然術(shù)語“第一”、“第二”等可在此被用于描述各種元件、組件、區(qū)域、層和/或部分，但是這些元件、組件、區(qū)域、層和/或部分不應(yīng)被這些術(shù)語限制。這些術(shù)語被用于使一個(gè)元件、組件、區(qū)域、層和/或部分區(qū)別于另一元件、組件、區(qū)域、層和/或部分。因此，在不脫離本公開的教導(dǎo)的情況下，在下文中討論的第一元件、第一組件、第一區(qū)域、第一層和/或第一部分可被稱為第二元件、第二組件、第二區(qū)域、第二層和/或第二部分。

這里使用的術(shù)語是為了描述特定實(shí)施例的目的而非意在限制。如這里所使用，單數(shù)形式也意在包括復(fù)數(shù)形式，除非上下文清楚地另有指示。此外，當(dāng)在本說明書中使用時(shí)，術(shù)語“包括”、“包含”指定存在所陳述的特征、整數(shù)、步驟、操作、元件、組件和/或前述項(xiàng)的組合，但是并不排除存在或增加一個(gè)或多個(gè)其它特征、整數(shù)、步驟、操作、元件、組件和/或前述項(xiàng)的組。

可在此參照作為理想化的示例實(shí)施例和/或中間結(jié)構(gòu)的示意性說明的部分圖解描述各種示例實(shí)施例。同樣地，來自圖解的形狀的變化將是預(yù)期的。因此，在此公開的示例實(shí)施例不應(yīng)被理解為限于示出的組件、區(qū)域等的形狀，而是將包括形狀偏差。同樣地，在附圖中所示出的區(qū)域本質(zhì)上是示意性的，并且其形狀并非意在示出區(qū)域的實(shí)際形狀且并非意在限制。

除非另有限定，否則在這里使用的全部術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)具有本公開作為其一部分的領(lǐng)域的普通技術(shù)人員通常理解的含義相同的含義。除非在此明確地限定，否則術(shù)語(諸如在常用詞典中限定的那些術(shù)語)應(yīng)被解釋為具有與其在相關(guān)領(lǐng)域的語境中的含義一致的含義，并且將不以理想化或過于正式的意義的形式解釋這些術(shù)語。

圖1是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的包括視頻編碼器的應(yīng)用處理器(ap)的框圖。

參照圖1，ap120可被配置為片上系統(tǒng)(soc)。按照這種方式，ap120可通過在ap120中包括的存儲(chǔ)器控制器130連接到外部存儲(chǔ)器110；然而，外部存儲(chǔ)器110可被集成為包括ap120的soc的一部分。此外，ap120可包括存儲(chǔ)器控制器130、顯示控制器140、處理器150、圖形處理器(gpu)160、視頻編碼器170、圖像信號(hào)處理器(isp)180以及系統(tǒng)存儲(chǔ)器190。視頻編碼器170可包括內(nèi)部存儲(chǔ)器，其中，內(nèi)部存儲(chǔ)器可包括用于存儲(chǔ)參考圖像的圖片緩沖器。

雖然將上述ap120的實(shí)施方式作為特定參照，但是ap120可體現(xiàn)許多形式并且包括多個(gè)和/或可選的組件也在預(yù)期之內(nèi)。例如，ap120的組件可被組合、位于單獨(dú)的結(jié)構(gòu)中和/或單獨(dú)的位置中也在預(yù)期之內(nèi)。還應(yīng)注意：可修改ap120的功能、用途、結(jié)構(gòu)等，從而ap120可用作為視頻編碼器(或者包括視頻編碼功能)，其中，可在一個(gè)或多個(gè)通用和/或?qū)Ｓ糜?jì)算環(huán)境或架構(gòu)中實(shí)施所述視頻編碼器。按照這種方式并且如前所述，可將視頻編碼器170的部分或功能進(jìn)行組合，或者可將視頻編碼器170的部分或功能分發(fā)到與視頻編碼器170等通信的單獨(dú)模塊。

可通過ap120中的存儲(chǔ)器控制器130來控制外部存儲(chǔ)器110。外部存儲(chǔ)器110可包括靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、磁阻隨機(jī)存取存儲(chǔ)器(mram)、嵌入式動(dòng)態(tài)ram(嵌入式dram)等中的至少一個(gè)；然而，外部存儲(chǔ)器110的各方面不限于此。任何合適的存儲(chǔ)裝置(或儲(chǔ)存庫)可通過任何合適的i/o接口(未示出)連接到ap120，其中，所述i/o接口可以是有線的或無線的。

顯示控制器140可通過接口連接到顯示器(未示出)，使得圖像可經(jīng)由顯示器來被顯示。

處理器150可包括處理各種任務(wù)并運(yùn)行操作系統(tǒng)(os)的包含硬件、軟件和/或固件的微處理器。處理器150可包括多個(gè)處理核(例如，中央處理器(cpu)核)以及高速緩沖存儲(chǔ)器。根據(jù)一個(gè)或多個(gè)示例實(shí)施例，圖形處理器(gpu)160可連接到總線連接單元121，并且可被配置為處理與視頻數(shù)據(jù)處理相關(guān)的一個(gè)或多個(gè)進(jìn)程(例如，連續(xù)進(jìn)程和/或同時(shí)進(jìn)程)。按照這種方式，gpu160還可被配置為處理與視頻數(shù)據(jù)處理相關(guān)聯(lián)的一個(gè)或多個(gè)線程，其中，可經(jīng)由單線程或多線程配置來執(zhí)行所述視頻數(shù)據(jù)處理。gpu160可包括被配置為計(jì)算(或確定)并比較圖形相關(guān)數(shù)據(jù)的控制單元。gpu160還可被配置為代表處理器150來分析并執(zhí)行指令。

圖像信號(hào)處理器(isp)180連接到總線連接單元121，并且處理由(例如)圖像傳感器(未示出)生成的信號(hào)。例如，圖像信號(hào)處理器180可處理來自圖像傳感器的數(shù)據(jù)，以將數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器(例如，isp180(或與isp180相關(guān)聯(lián))的存儲(chǔ)器、系統(tǒng)存儲(chǔ)器190等)中。例如，圖像信號(hào)處理器180可壓縮將被存儲(chǔ)在存儲(chǔ)器中的圖像并確定其文件格式。isp180可包括拜耳(bayer)處理單元、紅/綠/藍(lán)(rgb)處理單元、縮放/旋轉(zhuǎn)/仿射變換處理單元和/或任何其它合適的處理單元?？捎蒳sp180通過控制圖像尺寸、色彩的深度、鏡頭陰影補(bǔ)償、自適應(yīng)色彩插值、色彩校正等來控制每個(gè)單元的處理。可經(jīng)由總線連接單元121將isp180處理的圖像數(shù)據(jù)傳輸?shù)揭曨l編碼器170。

視頻編碼器170可包括視頻編碼器-解碼器(編解碼器)的一個(gè)或多個(gè)軟件和/或硬件組件。視頻編碼器170可包括被配置為處理在此描述的視頻編碼器和/或視頻解碼器的功能中的一個(gè)或多個(gè)功能的處理器(例如，cpu)。然而，示例實(shí)施例不限于此。此外，可由ap120的一個(gè)或多個(gè)其它模塊(例如，isp180、與ap120通信連接的外部視頻編解碼器等)來執(zhí)行視頻編碼器和/或視頻解碼器的一個(gè)或多個(gè)功能以及其它圖像處理。由視頻編碼器170處理的各種數(shù)據(jù)可存儲(chǔ)在視頻編碼器170(或與視頻編碼器170相關(guān)聯(lián))的存儲(chǔ)器、系統(tǒng)存儲(chǔ)器190、外部存儲(chǔ)器110等中。例如，圖片緩沖器可用于存儲(chǔ)以下更加詳細(xì)地描述的參考圖像和/或修改的參考圖像。按照這種方式，可物理地和/或邏輯地將圖片緩沖器提供為視頻編碼器170的存儲(chǔ)器、系統(tǒng)存儲(chǔ)器190、外部存儲(chǔ)器110等的部分。

圖2是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的包括視頻編碼器的電子裝置的框圖。

參照圖2，電子裝置200(例如，移動(dòng)終端)包括片上系統(tǒng)(soc)210以及至少一個(gè)存儲(chǔ)器220。存儲(chǔ)器220可以是閃存存儲(chǔ)器(例如，nand閃存存儲(chǔ)器)、低功耗雙倍數(shù)據(jù)速率(lpdddrx)存儲(chǔ)器集成電路(ic)，但是各方面不限于此。例如，sram、mram、嵌入式dram和/或其它存儲(chǔ)裝置可連接到soc210(或合并為soc210的部分)。soc210可執(zhí)行計(jì)算機(jī)可可執(zhí)行的指令，并且除至少一個(gè)真實(shí)的處理器以外，可包括一個(gè)或多個(gè)虛擬的處理器。soc210可包括應(yīng)用處理器(ap)211以及系統(tǒng)存儲(chǔ)器212，其中，系統(tǒng)存儲(chǔ)器212可包括在soc210中并且與ap211進(jìn)行通信。例如，ap211可包括與圖1的ap120相關(guān)聯(lián)地描述的組件中的一個(gè)或多個(gè)組件。然而，可在預(yù)期之內(nèi)的是：soc210的各方面不限于此。

顯示器230可經(jīng)由接口連接到soc210，并且可根據(jù)soc210的控制來顯示各種圖像(例如，視頻圖像)。圖像傳感器240(例如，互補(bǔ)金屬氧化物半導(dǎo)體(cmos)圖像傳感器(cis)、其它類型的數(shù)碼相機(jī)等)可連接到soc210，并且可向soc210的圖像處理模塊(例如，isp(未示出)、視頻編碼器(未示出)等)提供視頻圖像數(shù)據(jù)。如果電子裝置200包括多個(gè)處理器，則多個(gè)處理器可執(zhí)行與在此描述的功能和/或操作相關(guān)聯(lián)的不同的指令集。

存儲(chǔ)器220(或與電子裝置200通信連接的任何其它合適的存儲(chǔ)器)可以是參與向一個(gè)或多個(gè)軟件、硬件和/或固件組件提供代碼以執(zhí)行的任何介質(zhì)?？砂凑杖魏魏线m的形式(包括，但不限于，非易失性介質(zhì)、易失性介質(zhì)以及傳輸介質(zhì))實(shí)施這樣的存儲(chǔ)器220。非易失性介質(zhì)包括(例如)光盤或磁盤。易失性介質(zhì)包括動(dòng)態(tài)存儲(chǔ)器。傳輸介質(zhì)包括同軸電纜、銅線以及光纖。傳輸介質(zhì)也可采取聲波、光波或電磁波的形式。計(jì)算機(jī)可讀介質(zhì)的一般形式包括(例如)軟盤、軟磁盤、硬盤、磁帶、任何其它磁介質(zhì)、壓縮盤只讀存儲(chǔ)器(cd-rom)、可重寫壓縮盤(cd-rw)、數(shù)字視頻盤(dvd)、可重寫dvd(dvd-rw)、任何其它光介質(zhì)、穿孔卡、紙帶(papertape)、光學(xué)標(biāo)記表、具有洞的圖案或其它光學(xué)可識(shí)別標(biāo)記的任何其它物理介質(zhì)、隨機(jī)存取存儲(chǔ)器(ram)、可編程只讀存儲(chǔ)器(prom)、可擦除可編程只讀存儲(chǔ)器(eprom)、flash-eprom、任何其它存儲(chǔ)芯片或存儲(chǔ)盒、寄存器、高速緩存器或可由(例如)控制器/處理器從其中讀取信息的任何其它介質(zhì)。存儲(chǔ)器220可存儲(chǔ)與視頻編碼器相關(guān)聯(lián)的軟件組件和數(shù)據(jù)中的至少一部分。貫穿說明書，視頻編碼器可表示視頻編碼器、視頻解碼器或視頻編解碼器。

電子裝置200可包括其它組件，諸如，一個(gè)或多個(gè)輸入/輸出(i/o)裝置(未示出)、網(wǎng)絡(luò)接口(未示出)、調(diào)制解調(diào)器處理器(未示出)等。調(diào)制解調(diào)器處理器可實(shí)現(xiàn)與基站的移動(dòng)通信，并且可作為soc210的部分或ap211的部分而被包括。可通過連接器(諸如，總線、控制器等)連接內(nèi)部硬件組件。此外，os軟件支持針對將由電子裝置200執(zhí)行的各種應(yīng)用程序的操作環(huán)境，并且控制電子裝置200的組件的活動(dòng)。

i/o裝置(未示出)可連接到ap211，并且可包括觸摸輸入界面、鍵盤、鼠標(biāo)、觸控筆、語音輸入模塊、相機(jī)等。針對音頻和視頻編碼，i/o裝置可包括聲音處理組件和視頻處理組件。例如，圖像信號(hào)處理器(未示出)可作為電子裝置200的部分而被包括，并且圖像信號(hào)處理器可執(zhí)行針對視頻編碼的一些操作?？捎膳c圖像傳感器240相關(guān)聯(lián)的圖像信號(hào)處理器處理原始圖片，并且原始圖片可由視頻編碼器進(jìn)行編碼。i/o裝置可包括顯示器230、揚(yáng)聲器等，或者可包括用于連接外部顯示器、外部打印機(jī)、外部換能器(例如，揚(yáng)聲器)等的接口。

網(wǎng)絡(luò)接口(未示出)可實(shí)現(xiàn)通過任何合適的通信介質(zhì)與另一裝置或?qū)嶓w的通信。按照這種方式，所述通信可以是有線通信或無線通信。同樣地，網(wǎng)絡(luò)接口可被配置為無線調(diào)制解調(diào)器和/或以太網(wǎng)接口。例如，網(wǎng)絡(luò)接口可包括與一個(gè)或多個(gè)天線相關(guān)聯(lián)的射頻(rf)通信接口以及建立與一個(gè)或多個(gè)基站的無線電通信的rf模塊。網(wǎng)絡(luò)接口可包括短距離無線通信接口，諸如，近場通信(nfc)模塊、通信模塊、模塊等。通信協(xié)議不限于此，并且可包括利用電力載波、紅外載波、光學(xué)載波或其它載波實(shí)現(xiàn)的有線和/或無線通信技術(shù)。

圖3是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的視頻編碼器的框圖。圖4是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的視頻解碼器的框圖。然而，實(shí)施方式不限于此?？尚薷幕蛞瞥M件的至少部分，并且可增加附加組件。根據(jù)壓縮的各種條件和類型，視頻編碼器300和解碼器400的模塊可被增加、修改、省略，被分割為多個(gè)模塊，與其它模塊組合，和/或被相似模塊代替。

視頻編碼器300和視頻解碼器400處理視頻圖片，其中，所述視頻圖片可以是圖像幀、視頻域(videofield)等。比特流句法(bitstreamsyntax)和塊劃分方案可根據(jù)各種視頻編碼標(biāo)準(zhǔn)和方案而變化。例如，視頻編碼器300和解碼器400可具有基于塊的處理單元，并且可使用針對幀的4:2:0宏塊格式，其中，每個(gè)宏塊包括四個(gè)8×8亮度塊(或一個(gè)16×16亮度塊)以及兩個(gè)8×8色度塊。亮度塊和色度塊可使用yuv色彩空間格式(例如，ycbcr、ypbpr)。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，宏塊可被用作基本處理單元。針對圖片的每個(gè)宏塊，可由視頻編碼器300選擇編碼模式。選擇的宏塊編碼模式確定是否使用圖像內(nèi)預(yù)測(這可被稱為圖片內(nèi)預(yù)測或幀內(nèi)預(yù)測)或圖像間預(yù)測(這可被稱為圖片間預(yù)測、幀間預(yù)測或運(yùn)動(dòng)補(bǔ)償預(yù)測)來預(yù)測宏塊的所有樣本。視頻編碼器300和視頻解碼器400可使用不同的宏塊格式或塊格式，或者以與8×8塊和16×16宏塊不同的尺寸或配置來執(zhí)行操作。例如，宏塊可被劃分為用于圖像間預(yù)測或圖像內(nèi)預(yù)測的子塊。此外，如同hevc，比16×16宏塊大的塊可被用于圖像間預(yù)測或圖像內(nèi)預(yù)測。

在hevc中，每個(gè)圖片可被劃分為方形的編碼樹塊(ctb)，使得針對亮度圖片分量和色度圖片分量二者而言，ctb的結(jié)果數(shù)量是相同的。亮度樣本的每個(gè)ctb、色度樣本的相關(guān)聯(lián)的兩個(gè)ctb以及與這些樣本塊相關(guān)聯(lián)的句法被歸入編碼樹單元(ctu)之下。例如，ctu也可以是用于圖像間預(yù)測和其它處理的基本處理單元。如果視頻編碼器300采用與hevc類似的塊劃分方案，則視頻編碼器300可選擇向目標(biāo)計(jì)算環(huán)境提供最佳性能的ctu尺寸(例如，16×16、32×32、64×64等)，并且可使用預(yù)測單元(pu)以及從ctu分割的更小的編碼單元(cu)。例如，如果使用圖像間預(yù)測對cu進(jìn)行編碼，則在cu中包含的亮度編碼塊和色度編碼塊(cb)可被進(jìn)一步分割成預(yù)測塊(pb)。pb可以是針對運(yùn)動(dòng)補(bǔ)償預(yù)測使用相同運(yùn)動(dòng)參數(shù)的亮度或色度分量的樣本的塊。亮度pb、色度pb連同相關(guān)聯(lián)的句法可形成pu。然而，根據(jù)各種示例實(shí)施例，視頻編碼器300和解碼器400可具有不同的塊劃分方案。

參照圖3，視頻編碼器300可包括幀內(nèi)預(yù)測器310、運(yùn)動(dòng)估計(jì)器320、運(yùn)動(dòng)補(bǔ)償器330、變換和量化塊340、比特流生成器350、逆量化和逆變換塊360、濾波器370、解碼圖片預(yù)處理器380以及圖片緩沖器390。

視頻編碼器300接收包括當(dāng)前圖像(或圖片)305的視頻圖像(例如，圖片)的序列。視頻圖像的序列可包括用于輸出作為壓縮的視頻信息的比特流的連續(xù)的視頻幀和/或其它格式的視頻幀。針對接收到的當(dāng)前圖像305，可執(zhí)行塊劃分(未示出)，從而基于作為處理單元的劃分的塊來執(zhí)行圖像間預(yù)測或圖像內(nèi)預(yù)測。視頻編碼器300可執(zhí)行針對圖像內(nèi)預(yù)測或圖像間預(yù)測的編碼處理。如圖3所示，開關(guān)315指示可使用利用幀內(nèi)預(yù)測器310的圖像內(nèi)預(yù)測或使用圖像間預(yù)測對當(dāng)前塊進(jìn)行編碼。

可基于各種標(biāo)準(zhǔn)對每個(gè)圖像幀進(jìn)行分類。針對用于預(yù)測的參考圖片，可將圖像幀分類為類似于一些視頻編碼標(biāo)準(zhǔn)而分類的i幀、p幀以及b幀。然而，幀類型的約束在不同的視頻編碼方案中可能略有不同。

一般而言，i幀可以是在沒有將另一圖像幀用作參考圖像幀的情況下的幀內(nèi)編碼的視頻幀。例如，i幀不涉及從在時(shí)間上不同于當(dāng)前i幀的一個(gè)或多個(gè)其它先前解碼的圖片的預(yù)測。p幀可以是從一個(gè)或多個(gè)參考圖片使用單向預(yù)測而編碼的視頻幀。例如，可從先前解碼的參考幀來預(yù)測p幀。b幀可以是從多個(gè)圖片使用雙向預(yù)測而編碼的視頻幀。因此，可僅使用圖像內(nèi)預(yù)測來預(yù)測i幀。可使用圖像間預(yù)測來預(yù)測p幀和b幀中的至少一些塊。當(dāng)前圖像305的編碼塊與參考圖像幀的預(yù)測塊之間的差(“殘差”)可被獲得。這可減少將被編碼的信息的量。

如果當(dāng)前圖像305不是i幀(諸如，hevc中的幀內(nèi)隨機(jī)訪問點(diǎn)(irap)圖片)，則圖像間預(yù)測可用。當(dāng)前圖像305針對使用運(yùn)動(dòng)估計(jì)器320和運(yùn)動(dòng)補(bǔ)償器330的圖像間預(yù)測是可用的。一般而言，運(yùn)動(dòng)估計(jì)器320可估計(jì)當(dāng)前圖像305的編碼塊與存儲(chǔ)在(例如)圖片緩沖器390中的參考圖像之間的運(yùn)動(dòng)。在圖片緩沖器390中存儲(chǔ)的參考圖像是先前在當(dāng)前圖像305的編碼處理之前解碼的圖像幀。然而，參考圖像中的至少一個(gè)參考圖像的顯示順序可遲于當(dāng)前圖像305的顯示順序。例如，參考圖像的圖片順序計(jì)數(shù)(poc)可大于當(dāng)前圖像305。即使解碼順序不同于顯示順序，poc也識(shí)別解碼的圖像幀的顯示順序。如果從參考圖像中識(shí)別出多于一個(gè)的塊(例如，將被用于圖像間預(yù)測的像素的多個(gè)區(qū)域)作為當(dāng)前圖像305的編碼塊的預(yù)測子，則可將預(yù)測子融合以生成單個(gè)預(yù)測。

一般而言，參考圖像是在已經(jīng)被編碼然后針對顯示而重構(gòu)的視頻序列中的圖像幀。運(yùn)動(dòng)估計(jì)器320可通過全樣本、半樣本、四分之一樣本等來估計(jì)運(yùn)動(dòng)。如果可伸縮視頻編碼可用于預(yù)定的多個(gè)編碼分辨率，則可通過對不同分辨率的層進(jìn)行下采樣來改變參考圖像的分辨率，使得不同質(zhì)量的視頻圖像可根據(jù)不同的層而被編碼并且被再現(xiàn)。重采樣濾波器可被用于視頻內(nèi)容編碼的多個(gè)分辨率，并且可基于不同分辨率的至少兩層之中的更高分辨率信號(hào)的預(yù)測，來執(zhí)行至少兩層之間的殘差的重采樣。

在每個(gè)空間層中，可采用(諸如，在單層編碼中采用)運(yùn)動(dòng)補(bǔ)償預(yù)測和圖像內(nèi)預(yù)測。此外，可經(jīng)由層間預(yù)測來提高編碼效率，使得圖像幀的更低分辨率圖片可被用于預(yù)測同一圖像幀的更高分辨率圖片。作為結(jié)果，運(yùn)動(dòng)估計(jì)器320可輸出運(yùn)動(dòng)信息，諸如，運(yùn)動(dòng)矢量信息和參考圖片索引。根據(jù)各種示例實(shí)施例，也可使用hevc及其前驅(qū)的高級(jí)運(yùn)動(dòng)矢量預(yù)測(amvp)、用于運(yùn)動(dòng)矢量編碼的融合模式、跳過(skipped)和直接(direct)運(yùn)動(dòng)推理?？苫陬A(yù)定義的句法對運(yùn)動(dòng)信息進(jìn)行編碼，并且由比特流生成器350對運(yùn)動(dòng)信息進(jìn)行熵編碼。

基于運(yùn)動(dòng)信息，運(yùn)動(dòng)補(bǔ)償器330使用運(yùn)動(dòng)矢量以及在圖片緩沖器390中存儲(chǔ)的解碼的參考圖片，來執(zhí)行圖像間預(yù)測處理中的運(yùn)動(dòng)補(bǔ)償。運(yùn)動(dòng)補(bǔ)償器330可將四分之一樣本精度用于運(yùn)動(dòng)矢量，并且可將濾波器(例如，7抽頭(tap)濾波器、8抽頭濾波器等)用于插值以獲得分?jǐn)?shù)樣本位置(fractionalsampleposition)。此外，也可在特定配置中使用在針對四分之一樣本位置的線性插值之后的由半個(gè)樣本位置的6抽頭濾波器進(jìn)行的濾波處理。由于可使用多個(gè)參考圖像，因此，針對每個(gè)預(yù)測塊，可使用多于一個(gè)的運(yùn)動(dòng)矢量，并且可基于加權(quán)預(yù)測方案(諸如，在hevc和h.264/avc中使用的加權(quán)預(yù)測方案)將縮放和偏移應(yīng)用于預(yù)測。

變換和量化塊340可包括變換器和量化器。變換和量化塊340可將視頻信息轉(zhuǎn)換為頻域數(shù)據(jù)?？蓪㈦x散余弦變換(dct)及其變體用于對在變換和量化塊340的輸入接收到的樣本數(shù)據(jù)的塊進(jìn)行變換。樣本數(shù)據(jù)的塊可包括作為當(dāng)前圖像305的塊與從運(yùn)動(dòng)補(bǔ)償器330中輸出的預(yù)測子之間的差的預(yù)測殘差數(shù)據(jù)，諸如，先前解碼的參考圖像的搜索范圍中的相應(yīng)的塊。變換可使用變換單元(tu)的單元以及hevc的殘差四叉樹方案，不過不限于此。變換和量化塊340可將頻域數(shù)據(jù)的塊進(jìn)行量化。

比特流生成器350可通過將從變換和量化塊340中輸出的量化數(shù)據(jù)進(jìn)行編碼來生成編碼的比特流。比特流生成器350可包括執(zhí)行各種編碼方案(諸如，哈夫曼編碼、行程長度編碼、差分編碼等)的熵編碼器。也可由比特流生成器350將編碼句法元素進(jìn)行編碼。作為示例，熵編碼器可使用類似于hevc或其先驅(qū)的其它方案的內(nèi)容自適應(yīng)二進(jìn)制算術(shù)編碼(cabac)及其變化。編碼的比特流被傳輸?shù)揭曨l解碼器。

變換和量化塊340的輸出可被提供到逆量化和逆變換塊360的輸入，其中，逆量化和逆變換塊360可包括逆量化器和逆變換器。逆量化器可對量化的數(shù)據(jù)進(jìn)行逆量化，逆變換器可對逆量化的數(shù)據(jù)進(jìn)行逆變換。逆量化和逆變換塊360的輸出作為重構(gòu)的殘差可被添加到從運(yùn)動(dòng)補(bǔ)償器330中輸出的預(yù)測子，以在被存儲(chǔ)到解碼圖片緩沖器中之前生成將被濾波的重構(gòu)的參考圖像。解碼圖片緩沖器存儲(chǔ)用于幀間預(yù)測和未來顯示的參考圖像幀。

重構(gòu)的參考圖像可由濾波器370進(jìn)行濾波。濾波器可包括用于減少在塊邊界的不連續(xù)性以及減弱振鈴效應(yīng)(ringingartifact)和樣本失真的去塊濾波器和樣本自適應(yīng)偏移(sao)。然而，濾波器370可包括用于補(bǔ)償原始序列圖像的誤差和損失的其它濾波機(jī)制在預(yù)期之內(nèi)。視頻編碼器300可在沒有附加的無損編碼方案的情況下執(zhí)行基于塊的有損編碼，或者可執(zhí)行無損編碼。

解碼圖像(或圖片)預(yù)處理器380可在沒有修改的情況下將濾波的參考圖像存儲(chǔ)在解碼圖片緩沖器中，或者可修改濾波的參考圖像。修改的參考圖像可被存儲(chǔ)在圖片緩沖器390的修改圖片緩沖器中。圖片緩沖器390可包括用于存儲(chǔ)未修改的參考圖像的解碼圖片緩沖器，其中，可根據(jù)各個(gè)參考圖像的poc將未修改的參考圖像用于圖像間預(yù)測和未來顯示。此外，圖片緩沖器390可包括用于存儲(chǔ)修改的參考圖像的修改圖片緩沖器，其中，可將修改的參考圖像用于圖像間預(yù)測，但是可不用于顯示。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可將修改圖片緩沖器與解碼圖片緩沖器分離，或者可將修改圖片緩沖器與解碼圖片緩沖器集成。修改的參考圖像和未修改的參考圖像(或參考圖片)可被提供給運(yùn)動(dòng)估計(jì)器320和運(yùn)動(dòng)補(bǔ)償器330中的至少一個(gè)。運(yùn)動(dòng)估計(jì)器320和運(yùn)動(dòng)補(bǔ)償器330可執(zhí)行針對未修改的參考圖片的操作。將在后續(xù)段落中更詳細(xì)地描述基于修改的參考圖片的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。運(yùn)動(dòng)估計(jì)器320可與解碼圖像預(yù)處理器380進(jìn)行通信，以確定也將在后續(xù)段落中更詳細(xì)地描述的參考圖像修改方案以及修改參數(shù)。

參照圖4，視頻解碼器400可包括比特流處理塊(或比特流處理器)410、逆量化和逆變換塊420、濾波器430、解碼圖像預(yù)處理器440、圖片緩沖器450、運(yùn)動(dòng)補(bǔ)償器460以及幀內(nèi)預(yù)測器470。

比特流處理器410可接收由視頻編碼器300編碼的比特流。然而，比特流處理器410可從任何其它合適的源接收比特流在預(yù)期之內(nèi)。比特流處理器410可包括用于處理接收到的比特流的熵解碼的熵解碼器，其中，已經(jīng)由視頻編碼器300對所述比特流進(jìn)行熵編碼。熵解碼可以是在視頻編碼器300中執(zhí)行的熵編碼的逆。

逆量化和逆變換塊420、濾波器430、解碼圖像預(yù)處理器440、圖片緩沖器450、運(yùn)動(dòng)補(bǔ)償器460以及幀內(nèi)預(yù)測器470實(shí)質(zhì)上可具有與視頻解碼器300的逆量化和逆變換塊360、濾波器370、解碼圖像預(yù)處理器380、圖片緩沖器390、運(yùn)動(dòng)補(bǔ)償器330以及幀內(nèi)預(yù)測器310的結(jié)構(gòu)相同的結(jié)構(gòu)。因此，將省略重復(fù)描述以避免模糊在此描述的示例實(shí)施例。然而，有別于視頻編碼器300，一旦比特流處理器410或中間組件根據(jù)預(yù)定義句法處理比特流，則逆量化和逆變換塊420、解碼圖像預(yù)處理器440、運(yùn)動(dòng)補(bǔ)償器460、幀內(nèi)預(yù)測器470以及其它組件可從比特流處理器410或中間組件接收輸入，諸如，運(yùn)動(dòng)信息。

圖5是根據(jù)一個(gè)或多個(gè)示例實(shí)施例的解碼圖像預(yù)處理器的框圖。

參照圖5，解碼圖像預(yù)處理器500可包括空間縮放器510、圖像旋轉(zhuǎn)控制器520、圖像剪切控制器530以及修改控制器540?？筛鶕?jù)各種實(shí)施例省略、組合、分離或修改解碼圖像預(yù)處理器500的一個(gè)或多個(gè)組件。解碼圖像預(yù)處理器500接收解碼的參考圖像的至少一部分。作為示例，解碼圖像預(yù)處理器500可接收用于修改的解碼的參考圖像的至少一個(gè)塊，或整個(gè)解碼的參考圖片幀。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，空間縮放器510可執(zhí)行接收到的參考圖像的空間縮放?？赏ㄟ^參考圖像的下采樣或上采樣來執(zhí)行空間縮放。在這個(gè)處理中，可改變分辨率。此外，可改變參考圖像的尺寸和細(xì)節(jié)層次(lod)中的至少一個(gè)。例如，當(dāng)執(zhí)行下采樣時(shí)，可減少像素的數(shù)量，并且例如可通過每次將參考圖像的寬度和高度分別減半(參見，例如，圖6)將參考圖像的尺寸減少至其尺寸的四分之一。如果lod也被改變，則每個(gè)下采樣的參考圖像可具有用于指示縮放程度或縮放lod的索引(例如，lod索引)。作為默認(rèn)下采樣，可將參考圖像的尺寸減少至其尺寸的四分之一。此外，通過設(shè)置參數(shù)和/或標(biāo)記(flag)，可改變縮放比，使得(例如)參考圖像的尺寸減少至其尺寸的四分之三。

實(shí)際的縮放比可被確定并可被設(shè)置為用于指示特定參考圖像的縮放比的縮放參數(shù)。可根據(jù)等式1來定義縮放參數(shù)。

然而，代替寬度參數(shù)，可將高度比用作縮放參數(shù)。此外，如果寬度的縮放比和高度的縮放比不同，則可定義并應(yīng)用寬度的縮放比和高度的縮放比二者。當(dāng)執(zhí)行縮放時(shí)，可使用各種插值濾波器。例如，可使用最近鄰、雙線性、雙三次、雙三次平滑化、雙三次銳化等和/或它們的組合。

空間縮放器510可生成與修改的參考圖像中的對象的尺寸相應(yīng)的修改的參考圖像，其中，所述在修改的參考圖像中的對象的尺寸與當(dāng)前圖像中的對象的尺寸匹配。例如，可由運(yùn)動(dòng)估計(jì)器320識(shí)別(放大或縮小)圖像中的對象的運(yùn)動(dòng)的z軸分量，并且可在識(shí)別對象的運(yùn)動(dòng)的z軸分量的處理中使用先前的運(yùn)動(dòng)信息。z軸可垂直于參考圖像。與空間平面中的運(yùn)動(dòng)矢量的x分量和y分量相關(guān)聯(lián)，運(yùn)動(dòng)矢量的z軸分量可被估計(jì)。注意到：在相鄰圖像幀(小的poc差)中的對象的運(yùn)動(dòng)可以是一致的，因此，可使用相應(yīng)的縮放比來修改參考圖像，以增加在使用修改的參考圖像的圖像間預(yù)測中的編碼效率。

圖像旋轉(zhuǎn)控制器520控制接收到的參考圖像的旋轉(zhuǎn)。類似于空間縮放器510的縮放參數(shù)，可將旋轉(zhuǎn)參數(shù)用于修改接收到的參考圖像。旋轉(zhuǎn)參數(shù)可包括特定參考圖像的至少一個(gè)塊的旋轉(zhuǎn)度。旋轉(zhuǎn)參數(shù)還可包括與旋轉(zhuǎn)的中心相應(yīng)的參數(shù)。例如，可將旋轉(zhuǎn)的中心設(shè)置為參考圖像的左上角。然而，示例實(shí)施例不限于此。例如，旋轉(zhuǎn)的中心可以是參考圖像幀中的搜索范圍的左上角或中心。

圖像剪切控制器530控制接收到的參考圖像的剪切。類似于空間縮放器510的縮放參數(shù)，可將剪切參數(shù)用于修改接收到的參考圖像。剪切參數(shù)可包括特定參考圖像的至少一個(gè)塊的剪切度。

修改控制器540可控制空間縮放器510、圖像旋轉(zhuǎn)控制器520及圖像剪切控制器530的輸出中的至少一個(gè)的組合。雖未示出，但是反映特定參考圖像的至少一個(gè)塊的其它控制器(諸如，反映控制器(未示出))可被配置并與修改控制器540組合(或通過修改控制器540被配置和組合)。運(yùn)動(dòng)矢量可與上述修改參數(shù)(例如，縮放參數(shù)、旋轉(zhuǎn)參數(shù)、剪切參數(shù))相關(guān)聯(lián)以構(gòu)成運(yùn)動(dòng)信息。此外，未修改的參考圖像的原始參考圖像索引(諸如poc)可進(jìn)一步與運(yùn)動(dòng)信息相關(guān)聯(lián)，或者修改的參考圖像的索引(諸如lod索引)可與運(yùn)動(dòng)信息相關(guān)聯(lián)。根據(jù)一個(gè)或多個(gè)示例實(shí)施例，也可輸出未修改的參考圖像，以便將未修改的參考圖像存儲(chǔ)在圖片緩沖器390和/或圖片緩沖器450中，以用于顯示和圖像間預(yù)測。稍后將參照其它附圖描述進(jìn)一步的細(xì)節(jié)。

圖6是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用縮放參數(shù)的參考圖像的修改的示圖。

參照圖6，確定當(dāng)前圖像幀中的當(dāng)前編碼塊cb。在當(dāng)前編碼塊cb中包括目標(biāo)對象to。可確定當(dāng)前編碼塊cb僅包括目標(biāo)對象to的一部分。根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可識(shí)別目標(biāo)對象to，并且可確定包括整個(gè)目標(biāo)對象to的更大的塊。這樣，更大的塊可包括多于一個(gè)的編碼塊cb。針對作為未由解碼圖像預(yù)處理器500修改的解碼的參考圖像幀lod0，如果不考慮參考圖像修改，則可通過計(jì)算解碼的參考圖像幀lod0的預(yù)測塊pb的左上角的坐標(biāo)與當(dāng)前圖像幀的當(dāng)前編碼塊cb的左上角的坐標(biāo)的差，來確定運(yùn)動(dòng)矢量mv0(δx,δy)。

然而，如圖6所示，解碼的參考圖像幀lod0中的相應(yīng)的目標(biāo)對象to_0幾乎比當(dāng)前圖像幀中的目標(biāo)對象to大四倍。因此，解碼的參考圖像幀lod0中的一個(gè)預(yù)測塊pb不會(huì)包括相應(yīng)的目標(biāo)對象to_0的整個(gè)區(qū)域。這樣，不會(huì)保證幀間預(yù)測效率，或者可執(zhí)行幀內(nèi)預(yù)測而不是執(zhí)行圖像間預(yù)測。

為了增加圖像間預(yù)測的效率和/或概率，可針對圖像間預(yù)測來選擇具有l(wèi)od索引1的修改的參考圖像lod1。修改的參考圖像lod1的預(yù)測塊pb1的尺寸可與當(dāng)前圖像幀的當(dāng)前編碼塊cb的尺寸匹配；然而，示例實(shí)施例不限于此。按照這種方式，縮放至修改的參考圖像lod1的預(yù)測塊pb1的解碼的參考圖像幀lod0的匹配塊mb可具有比當(dāng)前圖像幀的當(dāng)前編碼塊cb更大的尺寸。

可基于擴(kuò)展的運(yùn)動(dòng)參數(shù)(諸如，解碼的參考圖像幀lod0與修改的參考圖像lod1之間的縮放比s、當(dāng)前圖像幀的當(dāng)前編碼塊cb的左上角的坐標(biāo)(x1,y1)、修改的參考圖像lod1的預(yù)測塊pb1的左上角的坐標(biāo)(x2’,y2’))，來獲得修改的運(yùn)動(dòng)矢量mv1?？捎傻仁?來定義縮放比。

s＝x′2/x2(或x2/x′2)…等式2

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，修改的參考圖像lod1的lod索引和解碼的參考圖像幀lod0的匹配塊mb的左上角的坐標(biāo)(x2,y2)可被用作擴(kuò)展的運(yùn)動(dòng)參數(shù)?？筛鶕?jù)預(yù)定義的句法將擴(kuò)展的運(yùn)動(dòng)參數(shù)包括在運(yùn)動(dòng)信息中并對其進(jìn)行編碼。作為示例，可根據(jù)等式3來定義運(yùn)動(dòng)矢量mv1。

mv1＝(s·x2-x1,s·y2-y1)，其中，s＝x′2/x2或y′2/y2...等式3

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可根據(jù)等式4來定義運(yùn)動(dòng)矢量mv。

mv＝(s·x′2-x1,s·y′2-y1)，其中，s＝x2/x′2或y2/y′2...等式4

當(dāng)寬度的縮放比s1不同于高度的縮放比s2時(shí)，可根據(jù)等式5來定義運(yùn)動(dòng)矢量mv。

mv＝(s1·x′2-x1,s2·y′2-y1)，其中，s1＝x2/x′2；s2＝y(tǒng)2/y′2...等式5

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可通過在當(dāng)前圖像幀中的坐標(biāo)上應(yīng)用縮放比來定義運(yùn)動(dòng)矢量mv。例如，可根據(jù)等式6來定義運(yùn)動(dòng)矢量mv。

mv＝(x′2-s·x1,y′2-s·y1)，其中，s＝x′2/x2或y′2/y2…等式6

圖7是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用縮放參數(shù)的參考圖像的修改的示圖。

參照圖7，確定當(dāng)前圖像幀中的當(dāng)前編碼塊cb。在當(dāng)前編碼塊cb中包括目標(biāo)對象to的一部分?？勺R(shí)別目標(biāo)對象to并且可確定包括整個(gè)目標(biāo)對象to的更大的塊。按照這種方式，更大的塊可包括多于一個(gè)的編碼塊cb。此外，根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可確定當(dāng)前編碼塊cb包括目標(biāo)對象to的整個(gè)部分。針對作為未由解碼圖像預(yù)處理器500修改的解碼的參考圖像幀lod0，如果不考慮參考圖像修改，則可通過計(jì)算解碼的參考圖像幀lod0的預(yù)測塊pb的左上角的坐標(biāo)與當(dāng)前圖像幀的當(dāng)前編碼塊cb的左上角的坐標(biāo)的差來確定運(yùn)動(dòng)矢量mv0(δx,δy)。

然而，如圖7所示，解碼的參考圖像幀lod0中的相應(yīng)的目標(biāo)對象to_0幾乎是當(dāng)前圖像幀中的目標(biāo)對象to的四分之一。因此，解碼的參考圖像幀lod0中的一個(gè)預(yù)測塊pb可比當(dāng)前編碼塊cb中的目標(biāo)對象to的面積大。因此，不可保證幀間預(yù)測效率，或者可執(zhí)行幀內(nèi)預(yù)測而不是圖像間預(yù)測。

為了增加圖像間預(yù)測的效率和/或概率，可針對圖像間預(yù)測來選擇具有l(wèi)od索引-1的修改的參考圖像lod-1。修改的參考圖像lod-1的預(yù)測塊pb1的尺寸可與當(dāng)前圖像幀的當(dāng)前編碼塊cb的尺寸匹配；然而，示例實(shí)施例不限于此。按照這種方式，縮放至修改的參考圖像lod-1的預(yù)測塊pb1的解碼的參考圖像幀lod0的匹配塊mb可具有比當(dāng)前圖像幀的當(dāng)前編碼塊cb更小的尺寸。

可基于擴(kuò)展的運(yùn)動(dòng)參數(shù)(諸如，解碼的參考圖像幀lod0與修改的參考圖像lod-1之間的縮放比s(由等式2定義)、當(dāng)前圖像幀的當(dāng)前編碼塊cb的左上角的坐標(biāo)(x1,y1)、修改后的參考圖像lod-1的預(yù)測塊pb1的左上角的坐標(biāo)(x2’,y2’))，來獲得修改的運(yùn)動(dòng)矢量mv1。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，修改的參考圖像lod-1的lod索引和解碼的參考圖像幀lod0的匹配塊mb的左上角的坐標(biāo)(x2,y2)可被用作擴(kuò)展的運(yùn)動(dòng)參數(shù)。可根據(jù)預(yù)定義的句法將擴(kuò)展的運(yùn)動(dòng)參數(shù)包括在運(yùn)動(dòng)信息中并對其進(jìn)行編碼。作為示例，可根據(jù)等式3來定義運(yùn)動(dòng)矢量mv1。根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可根據(jù)等式4或等式6來定義運(yùn)動(dòng)矢量mv。當(dāng)寬度的縮放比s1不同于高度的縮放比s2時(shí)，可根據(jù)等式5來定義運(yùn)動(dòng)矢量mv。

圖8是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出基于優(yōu)化的縮放參數(shù)或插值的圖像間預(yù)測的示圖。

參照圖8，解碼的參考圖像lod0可被縮放為修改的參考圖像lodm。例如，如圖8所示，縮放比可以是四分之三?？墒褂酶鞣N縮放算法(諸如，最近鄰插值、雙線性插值等)。可考慮子像素以將lod0中的16個(gè)像素值映射到lodm中的9個(gè)像素值。例如，可將lod0中的16個(gè)像素值中的一些的加權(quán)平均值映射到lodm中的9個(gè)像素值中的每個(gè)像素值。作為示例，可根據(jù)等式7來定義運(yùn)動(dòng)矢量mv。

mv＝(s·x2-x1,s·y2-y1)，其中，s＝x″2/x2或y″2/y2…等式7

此外，可基于解碼的參考圖像lod0的匹配塊mb0和/或修改的參考圖像lod1的匹配塊mb1的插值來確定預(yù)測塊pbm的位置以及9個(gè)像素值。例如，可使用最近鄰、雙線性、雙三次、雙三次平滑化、雙三次銳化等和/或它們的組合。

圖9是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖。

參照圖9，在解碼的參考圖像中使當(dāng)前圖像幀中的目標(biāo)對象to旋轉(zhuǎn)。如果不考慮參考圖像修改，則基于圖像內(nèi)預(yù)測或圖像間預(yù)測從解碼的參考圖像來預(yù)測當(dāng)前圖像幀的編碼塊。由于目標(biāo)對象to被旋轉(zhuǎn)，因此壓縮可能不是最佳的。根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可通過旋轉(zhuǎn)解碼的參考圖像來修改解碼的參考圖像，使得旋轉(zhuǎn)的參考圖像中的目標(biāo)對象to更好地匹配當(dāng)前圖像幀中的目標(biāo)對象to。

例如，在圖9中，旋轉(zhuǎn)度30°提供目標(biāo)對象to的合適(例如，最佳)匹配?？苫诮獯a的參考圖像中的目標(biāo)對象to的位置來確定旋轉(zhuǎn)的中心，或者可將旋轉(zhuǎn)的中心確定為解碼的參考圖像的左上角(參見，例如，圖10)或相對于解碼的參考圖像的其它位置。擴(kuò)展的運(yùn)動(dòng)參數(shù)可包括修改的運(yùn)動(dòng)矢量、參考圖片索引以及旋轉(zhuǎn)度索引。旋轉(zhuǎn)度索引可包括旋轉(zhuǎn)的中心和旋轉(zhuǎn)度中的至少一個(gè)。在擴(kuò)展的運(yùn)動(dòng)參數(shù)之中，縮放參數(shù)(例如，縮放比s、s1及s2)、旋轉(zhuǎn)參數(shù)(例如，旋轉(zhuǎn)度、旋轉(zhuǎn)的中心等)以及剪切參數(shù)可被稱為參考圖像修改參數(shù)。然而，示例實(shí)施例不限于此。如這里所使用，參考圖像修改參數(shù)可被用于修改參考圖像。

圖10是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖。

參照圖10，當(dāng)前圖像幀包括目標(biāo)對象to。當(dāng)前圖像幀的當(dāng)前編碼塊cb的左上角的坐標(biāo)是(x1,y1)。可將解碼的參考圖像中的相應(yīng)的目標(biāo)對象to相對于當(dāng)前圖像幀中的目標(biāo)對象to旋轉(zhuǎn)θ度。為了提高圖像間預(yù)測的效率和/或概率，可通過將解碼的參考圖像旋轉(zhuǎn)θ度來修改解碼的參考圖像。

修改的參考圖像中的預(yù)測塊pbθ可被用于當(dāng)前圖像幀的當(dāng)前編碼塊cb的圖像間預(yù)測。此外，修改的參考圖像中的預(yù)測塊pbθ可以是逆時(shí)針旋轉(zhuǎn)的解碼的參考圖像中的匹配塊mb。然而，匹配塊mb中的像素可不與預(yù)測塊pbθ中的像素準(zhǔn)確地匹配。因此，可應(yīng)用各種插值方案，并且可調(diào)整像素值。可根據(jù)等式8來確定修改的運(yùn)動(dòng)矢量mvθ。

mvθ＝(x2′-x1，y2′-y1),…等式8

其中x′2＝x2·cosθ-y2·sinθ；y2′＝x2·sinθ+y2·cosθ

旋轉(zhuǎn)參數(shù)θ可以是解碼的參考圖像的修改參數(shù)。修改的運(yùn)動(dòng)矢量mvθ和旋轉(zhuǎn)參數(shù)θ二者可以是擴(kuò)展的運(yùn)動(dòng)參數(shù)。此外，根據(jù)一個(gè)或多個(gè)示例實(shí)施例，與旋轉(zhuǎn)參數(shù)θ相關(guān)聯(lián)，修改的運(yùn)動(dòng)矢量mvθ可根據(jù)等式9被定義。

mvθ＝(x2-x1，y2-y1)，…等式9

其中，x2＝x2′·cos(-θ)-y2′·sin(-θ)，

y2＝x2′·sin(-θ)+y2′·cos(-θ)

圖11是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖。

參照圖11，可在解碼的參考圖像中確定搜索范圍sr?？蓪⑺阉鞣秶D(zhuǎn)θ度。如圖11所示，旋轉(zhuǎn)的中心可以是搜索范圍sr的中心。然而，示例實(shí)施例不限于此。例如，旋轉(zhuǎn)的中心可以是搜索范圍sr的左上角。可根據(jù)等式10來定義與搜索范圍sr的尺寸、旋轉(zhuǎn)的中心以及旋轉(zhuǎn)度相關(guān)聯(lián)的修改的運(yùn)動(dòng)矢量。

wvθ＝(x2′-x1，y2′-y1),…等式10

其中,x′2＝(x2-xc)·cosθ-(y2-yc)·sinθ+xc；y2′＝(x2-xc)·sinθ+(y2-yc)·cosθ+yc

旋轉(zhuǎn)的中心(xc,yc)以及旋轉(zhuǎn)參數(shù)θ可以是解碼的參考圖像的修改參數(shù)。此外，修改的運(yùn)動(dòng)矢量mvθ、旋轉(zhuǎn)的中心(xc,yc)以及旋轉(zhuǎn)參數(shù)θ可以是擴(kuò)展的運(yùn)動(dòng)參數(shù)。此外，根據(jù)一個(gè)或多個(gè)示例實(shí)施例，與旋轉(zhuǎn)的中心(xc,yc)以及旋轉(zhuǎn)參數(shù)θ相關(guān)聯(lián)，修改的運(yùn)動(dòng)矢量mvθ可根據(jù)等式11來被定義。

mvθ＝(x2-x1，y2-y1)，…等式11

其中，x2＝(x′2-xc)·cos(-θ)-(y′2-yc)·sin(-θ)+xc，

y2＝(x′2-xc)·sin(-θ)+(y′2-yc)·cos(-θ)+yc

圖12是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出使用剪切參數(shù)的參考圖像的修改的示圖。

參照圖12，當(dāng)前圖像幀包括作為解碼的參考圖像中的相應(yīng)的目標(biāo)對象的剪切圖像的目標(biāo)對象to。當(dāng)前圖像幀的當(dāng)前編碼塊cb的左上角的坐標(biāo)是(x1,y1)?？墒褂玫仁?2將解碼的參考圖像中的相應(yīng)的目標(biāo)對象to進(jìn)行剪切，以提高圖像間預(yù)測的效率和/或概率。

可通過作為實(shí)數(shù)的剪切參數(shù)a和b來修改解碼的參考圖像。修改的參考圖像中的預(yù)測塊pb可被用于當(dāng)前圖像幀的當(dāng)前編碼塊cb的圖像間預(yù)測。此外，修改的參考圖像中的預(yù)測塊pb可以是解碼的參考圖像中的匹配塊mb的剪切的塊。然而，如果a和b中的至少一個(gè)不是整數(shù)，則匹配塊mb中的像素可能不與預(yù)測塊pb中的像素準(zhǔn)確地匹配。因此，可應(yīng)用各種插值方案，并且可調(diào)整像素值?？筛鶕?jù)等式13來確定修改的運(yùn)動(dòng)矢量mv。

mv＝(x′2-x1，y′2-y1),…等式13

其中，x2′＝x2+y2·a，y2′＝x2·b+y2

剪切參數(shù)a和b可以是解碼的參考圖像的修改參數(shù)。修改的運(yùn)動(dòng)矢量mv以及旋轉(zhuǎn)參數(shù)a和b可以是擴(kuò)展的運(yùn)動(dòng)參數(shù)。此外，根據(jù)一個(gè)或多個(gè)示例實(shí)施例，與剪切參數(shù)a和b相關(guān)聯(lián)，修改的運(yùn)動(dòng)矢量mv可根據(jù)等式14來被確定。

mv＝(x2-x1，y2-y1)，…等式14

其中，x2＝(x′2-a·y′2)/(1-a·b)，

y2＝(y′2-b·x′2)/(1-n·b)

在上述等式中，如果將(x2-x1,y2-y1)用作運(yùn)動(dòng)矢量，則可在相對短的時(shí)間內(nèi)將修改的參考圖像存儲(chǔ)在圖片緩沖器中。相反，可在圖片緩沖器中保持相應(yīng)的未修改的參考圖像，可基于修改參數(shù)來修改參考圖像，并且可基于修改的參考圖像來執(zhí)行幀間預(yù)測。

在下文中，將描述參考列表句法的示例。

參數(shù)集可具有類似于具有一些修改和擴(kuò)展的hevc和h.264/avc的結(jié)構(gòu)的結(jié)構(gòu)。例如，可配置或利用序列參數(shù)集(sps)和圖片參數(shù)集(pps)。此外，也可添加視頻參數(shù)集(vps)。每個(gè)圖片(或圖像幀)可具有一個(gè)或多個(gè)條帶(slice)并且每個(gè)條帶可參考單個(gè)活動(dòng)(active)pps、活動(dòng)sps及活動(dòng)vps，以訪問用于對條帶進(jìn)行解碼的信息。pps可包括可應(yīng)用于圖片中的所有條帶的信息。不同圖片中的條帶也可被配置為表示同一pps。sps可包括可應(yīng)用于同一編碼視頻序列中的所有圖片的信息。vps可包括可應(yīng)用于編碼視頻序列中的所有層的信息。vps可被用于分層擴(kuò)展，諸如，可伸縮編碼和多視點(diǎn)編碼。

每個(gè)條帶頭可包括參考特定pps的pps標(biāo)識(shí)符。pps可包括參考特定sps的sps標(biāo)識(shí)符。sps可包括參考特定vps的標(biāo)識(shí)符。pps可包括可針對同一編碼視頻序列內(nèi)的不同圖片改變的參數(shù)。然而，根據(jù)一個(gè)或多個(gè)示例實(shí)施例，多個(gè)圖片可參考同一pps。每個(gè)pps可包括pps標(biāo)識(shí)符、用于參考sps的索引以及參考pps的描述條帶中使用的編碼工具的其它參數(shù)。編碼工具可以是加權(quán)預(yù)測的、參考列表修改的等。此外，在pps中信令傳送(signal)的編碼工具參數(shù)的可包括參考索引的數(shù)量。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，pps可包括下述各種參數(shù)?？筛鶕?jù)各種配置來改變參數(shù)的名稱。此外，可在另一參數(shù)集或條帶頭中包括參數(shù)或相關(guān)聯(lián)的參數(shù)。

參數(shù)ref_lod_enable_flag可指示是否針對圖像間預(yù)測生成相應(yīng)的圖片的縮放lod圖像。

參數(shù)lod_scaling_ratio_flag可指示是否通過使用默認(rèn)縮放值(諸如，s＝1/2或2)來執(zhí)行參考圖像的縮放。例如，如果lod_scaling_ratio_flag＝0，則可使用默認(rèn)縮放值s＝1/2或s＝2來執(zhí)行參考圖像的縮放。如果lod_scaling_ratio_flag＝1，則可使用非默認(rèn)縮放值(諸如，s＝3/4)來執(zhí)行參考圖像的縮放。

此外，可定義lod_scaling_mantissa和lod_scaling_exponent。作為示例，可利用非默認(rèn)縮放值s＝m·2ⁿ，其中，lod_scaling_mantissa＝m以及l(fā)od_scaling_exponent＝n。

參數(shù)lod_start_num可指示具有最大lod尺寸的lod的lod索引。例如，如果lod_start_num＝-2，則最大lod是基于縮放比s＝4調(diào)整尺寸的lod-2。如果lod_start_num＝0，則最大lod是與lod0相應(yīng)的未修改的參考圖像。

參數(shù)lod_end_num可指示具有最小lod尺寸的lod的lod索引。例如，如果lod_end_num＝2，則可從解碼的參考圖像lod0生成lod1和lod2。

參數(shù)lod_scaling_filter_type可指示用于插值的濾波器類型。例如，可通過lod_scaling_filter_type＝0指示最近鄰濾波器類型，可通過lod_scaling_filter_type＝1指示雙線性濾波器類型，可通過lod_scaling_filter_type＝2指示雙三次濾波器類型。

參數(shù)ref_rot_enable_flag可指示是否針對圖像間預(yù)測來生成旋轉(zhuǎn)的參考圖像。

參數(shù)rot_center_flag可指示是否使用默認(rèn)值(諸如，參考圖像的左上角)來執(zhí)行參考圖像的旋轉(zhuǎn)的中心。例如，如果rot_center_flag＝0，則如圖10所示，通過使用默認(rèn)旋轉(zhuǎn)中心值(0,0)來執(zhí)行參考圖像的旋轉(zhuǎn)。如果rot_center_flag＝1，則使用作為旋轉(zhuǎn)的中心的坐標(biāo)的非默認(rèn)值(諸如，c＝(xc,yc))指示旋轉(zhuǎn)的中心。

參數(shù)rot_range_flag可指示是否旋轉(zhuǎn)參考圖像的整個(gè)區(qū)域。例如，如果rot_range_flag＝0，則如圖10所示，通過旋轉(zhuǎn)整個(gè)參考圖像，來執(zhí)行參考圖像的旋轉(zhuǎn)。如果rot_range_flag＝1，則如圖11所示，可額外獲知參考圖像中的旋轉(zhuǎn)區(qū)域。

參數(shù)rot_angle可指示旋轉(zhuǎn)度θ。

參數(shù)rot_scaling_filter_type可指示用于插值的濾波器類型。例如，可通過rot_scaling_filter_type＝0指示最近鄰濾波器類型，可通過rot_scaling_filter_type＝1指示雙線性濾波器類型，可通過rot_scaling_filter_type＝2指示雙三次濾波器類型。

參數(shù)ref_shear_enable_flag可指示是否針對圖像間預(yù)測生成剪切的參考圖像。

參數(shù)shear_range_flag可指示是否將參考圖像的整個(gè)區(qū)域修改為剪切的參考圖像。例如，如果shear_range_flag＝0，則如圖12所示，修改參考圖像的整個(gè)區(qū)域。如果shear_range_flag＝1，則參考圖像中的剪切處理區(qū)域可被額外地獲知。

參數(shù)shear_a_component可指示等式12的矩陣中的值a。

參數(shù)shear_b_component可指示等式12的矩陣中的值b。

參數(shù)shear_scaling_filter_type可指示用于插值的濾波器類型。例如，可通過shear_scaling_filter_type＝0指示最近鄰濾波器類型，可通過shear_scaling_filter_type＝1指示雙線性濾波器類型，可通過shear_scaling_filter_type＝2指示雙三次濾波器類型。

針對條帶句法，當(dāng)前圖片的條帶可包括條帶片段，并且每個(gè)條帶片段可包括條帶片段頭。條帶片段頭可包括用于參考pps的索引以及識(shí)別條帶片段的數(shù)據(jù)。當(dāng)在相關(guān)聯(lián)的pps中指示時(shí)，可在條帶片段頭的開端包括可選的額外條帶片段頭位。可選的額外條帶片段頭位可被用于在保持與hevc或其前驅(qū)的現(xiàn)有參數(shù)的后向兼容性的同時(shí)利用擴(kuò)展的參數(shù)。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，條帶頭可包括lod_referencing_enable、rot_referencing_enable以及shear_referencing_enable。

參數(shù)lod_referencing_enable可指示當(dāng)前條帶將lod參考圖像用于圖像間預(yù)測。

參數(shù)rot_referencing_enable可指示當(dāng)前條帶將旋轉(zhuǎn)的參考圖像用于圖像間預(yù)測。

參數(shù)shear_referencing_enable指示當(dāng)前條帶將剪切的參考圖像用于圖像間預(yù)測。

如果對修改的參考圖像的參考被啟用并且修改的參考圖像可用，則預(yù)測單元(pu)可通過標(biāo)識(shí)符確定修改的參考圖像。

參照圖5，修改控制器540可通過控制空間縮放器510、圖像旋轉(zhuǎn)控制器520及圖像剪切控制器530，來提供由等式15定義的通用仿射矩陣。

其中，

矩陣可以是在空間縮放器510中配置的空間縮放和空間移動(dòng)矩陣。s1表示寬度縮放比，s2表示高度縮放比。

矩陣可以是在圖像旋轉(zhuǎn)控制器520中配置的旋轉(zhuǎn)矩陣，其中，θ表示旋轉(zhuǎn)角度。

矩陣可以是在圖像剪切控制器530中配置的剪切矩陣，其中，參數(shù)a和b表示剪切參數(shù)。

pps或條帶頭可包括實(shí)現(xiàn)解碼的參考圖像的幾何變換的geometric_transform_enable_flag。如果geometric_transform_enable_flag被啟用，則可提供通用仿射矩陣的幾何參數(shù)c、d、e、f、g和h。

圖片緩沖器(例如，圖片緩沖器390和圖片緩沖器450)可以是存儲(chǔ)解碼的參考圖像幀(未修改)和修改的參考圖像的緩沖器。作為示例，解碼器針對解碼特定比特流分配的最小緩沖器大小可由參數(shù)信令傳送，其中，可針對序列參數(shù)集中的每個(gè)時(shí)間子層設(shè)置所述參數(shù)。此外，可由(例如)sps_max_dec_pic_buffering_minus1碼字來指示針對解碼的參考圖像幀的最小緩沖器大小，可由另一參數(shù)來指示針對修改的參數(shù)圖像的最小緩沖器大小。另外，最大緩沖器大小也可被確定為固定值，或者可由參數(shù)指示最大緩沖器大小。

未修改的參考圖像幀和修改的參考圖像二者可被用作針對圖像間預(yù)測的參考圖像。修改的參考圖像不被顯示。因此，修改的參考圖像可被分類為“用于短期參考”(類型1)和“用于長期參考”(類型2)。因?yàn)轭愋?參考圖像稍后被顯示，所以除前述的類型1和類型2以外，解碼的參考圖像幀還可被分類為“未用于參考”(類型3)。

類似于hevc，相比于類型1圖片，類型2圖片可在圖片緩沖器中被保持更長時(shí)間。被分類為類型1的修改的參考圖像可被改變?yōu)轭愋?或可從圖片緩沖器中移除。如果被分類為類型2的修改的參考圖像將不被用作參考圖像，則可將其從圖片緩沖器中移除。

在hevc中，參考圖片集(rps)可表示在每個(gè)條帶頭中信令傳送并且包括一組短期圖片和一組長期圖片的圖片指示符的集合。在圖片的第一條帶頭已經(jīng)被解碼之后，解碼后的圖片緩沖器中的圖片可被標(biāo)記為由rps指定?？杀挥米饔糜诎凑战獯a順序預(yù)測任意后續(xù)圖片的參考圖像的已經(jīng)被解碼的全部圖片被包括在rps中。rps包括用于識(shí)別解碼的圖片緩沖器中的圖片的一組poc值。rps也信令傳送針對每個(gè)圖片的可用性標(biāo)記，以指示相應(yīng)的圖片針對當(dāng)前圖片(“當(dāng)前圖像幀”或“當(dāng)前圖像”)的參考是可用的還是不可用的。不可用的圖片隨后可用于參考，并且被用于解碼未來的圖片。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，rps可以是在每個(gè)條帶頭中信令傳送的一組未修改和修改的參考圖像指示符，并且rps包括一組短期參考圖像(未修改和修改的二者)和一組長期參考圖像(未修改和修改的二者)。在圖片的第一條帶頭已經(jīng)被解碼之后，圖片緩沖器中的參考圖像可被標(biāo)記為由rps指定。rps可包括用于識(shí)別解碼的圖片緩沖器中的未修改的圖片的一組poc值以及一組修改標(biāo)識(shí)符。每個(gè)修改標(biāo)識(shí)符與poc值相關(guān)聯(lián)。例如，修改標(biāo)識(shí)符可包括標(biāo)記和用于識(shí)別圖片緩沖器中的修改的參考圖像的索引中的至少一個(gè)。

此外，修改標(biāo)識(shí)符可包括與擴(kuò)展的運(yùn)動(dòng)參數(shù)、參考圖像修改參數(shù)以及與先前描述的參考圖像的修改相關(guān)的標(biāo)記中的至少一個(gè)相應(yīng)(或相關(guān)聯(lián))的參數(shù)。rps可信令傳送針對每個(gè)參考圖像(未修改和修改的二者)的可用性標(biāo)記，以指示相應(yīng)的參考圖像針對當(dāng)前圖片(“當(dāng)前圖像幀”或“當(dāng)前圖像”)的參考是可用的還是不可用的。不可用的參考圖像隨后可用于參考，并且被用于解碼未來的圖片。

針對用于當(dāng)前圖像幀的塊的圖像間預(yù)測，可從圖片緩沖器390和/或圖片緩沖器450獲取相應(yīng)的修改的參考圖像?？稍谧鳛樾薷牡膮⒖紙D像的來源的參考圖像的重構(gòu)之后生成修改的參考圖像。根據(jù)另一配置，圖片緩沖器390和/或圖片緩沖器450可不存儲(chǔ)一些修改的參考圖像，而是可基于其未修改的參考圖像和包括參考圖像修改參數(shù)的擴(kuò)展的運(yùn)動(dòng)參數(shù)，稍后生成這些修改的參考圖像。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，“用于長期參考”(類型2)的修改的參考圖像可不存儲(chǔ)在圖片緩沖器390和/或圖片緩沖器450中，而是可基于在圖片緩沖器390和/或圖片緩沖器450中保存的未修改的參考圖像以及包括參考圖像修改參數(shù)的擴(kuò)展的運(yùn)動(dòng)參數(shù)，稍后生成修改的參考圖像。因此，可減少圖片緩沖器大小。

當(dāng)由運(yùn)動(dòng)估計(jì)器執(zhí)行運(yùn)動(dòng)估計(jì)時(shí)，運(yùn)動(dòng)估計(jì)器320可接收關(guān)于包括在當(dāng)前圖像幀中的至少一個(gè)目標(biāo)對象to的信息。關(guān)于至少一個(gè)目標(biāo)對象to的信息可包括目標(biāo)對象to的邊界、目標(biāo)對象to的位置、目標(biāo)對象to的三維運(yùn)動(dòng)信息等?；陉P(guān)于至少一個(gè)目標(biāo)對象to的信息，運(yùn)動(dòng)估計(jì)可被更有效地執(zhí)行，并且將被生成的修改的參考圖像的數(shù)量可被減少。

圖13是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出修改針對幀間預(yù)測的參考圖像的處理的流程圖。

在操作s1310中，視頻編碼器可確定將被編碼或解碼的圖像幀。確定的圖像幀可用作當(dāng)前圖像幀。例如，視頻編碼器可確定將被編碼的當(dāng)前圖像幀的編碼塊，視頻解碼器可確定將被解碼的當(dāng)前圖像幀的編碼塊。針對當(dāng)前圖像幀的編碼塊，確定幀間預(yù)測或幀內(nèi)預(yù)測。如果針對當(dāng)前圖像幀的編碼塊確定幀間預(yù)測，則可利用幀間預(yù)測器(例如，包括圖3的運(yùn)動(dòng)估計(jì)器320和運(yùn)動(dòng)補(bǔ)償器330的幀間預(yù)測器或者包括圖4的運(yùn)動(dòng)補(bǔ)償器460的幀間預(yù)測器)。按照這種方式，解碼圖片預(yù)處理器可利用在圖片緩沖器中存儲(chǔ)的修改的參考圖像。

在操作s1320，視頻編碼器可獲得針對幀間預(yù)測處理的參考圖像。參考圖像是在時(shí)間上不同于當(dāng)前圖像幀的先前解碼的參考圖像幀。按照操作s1330，視頻編碼器可修改獲得的參考圖像以提高幀間預(yù)測效率?？赏ㄟ^修改參考圖像來生成修改的參考圖像。在操作s1340中，視頻編碼器可基于修改的參考圖像，針對確定的圖像幀的編碼塊來執(zhí)行幀間預(yù)測。

圖14是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出用于修改針對幀間預(yù)測的參考圖像的視頻編碼器的處理的流程圖。

在操作s1410中，視頻編碼器可基于修改參數(shù)來修改參考圖像以生成修改的參考圖像。修改參數(shù)可包括用于修改參考圖像的一個(gè)或多個(gè)參數(shù)，例如，縮放參數(shù)、旋轉(zhuǎn)參數(shù)及剪切參數(shù)。例如，修改的參考圖像可包括至少一個(gè)修改的對象，并且修改的對象可基于縮放參數(shù)、旋轉(zhuǎn)參數(shù)及剪切參數(shù)中的至少一個(gè)來被修改。

在操作s1420，視頻編碼器可確定與當(dāng)前圖像的編碼塊相關(guān)聯(lián)的運(yùn)動(dòng)信息。按照操作s1430，視頻編碼器可編碼與修改參數(shù)和修改的參考圖像中的至少一個(gè)相關(guān)聯(lián)的運(yùn)動(dòng)信息。例如，運(yùn)動(dòng)信息可包括與當(dāng)前圖像的編碼塊和修改的參考圖像的預(yù)測塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量。運(yùn)動(dòng)信息可與當(dāng)前圖像的編碼塊和參考圖像的匹配塊相關(guān)聯(lián)。運(yùn)動(dòng)信息還可包括關(guān)于修改參數(shù)的信息?？赏ㄟ^參考圖像修改處理將參考圖像的匹配塊變換為修改的參考圖像的預(yù)測塊。

圖15是根據(jù)一個(gè)或多個(gè)示例實(shí)施例示出用于修改針對幀間預(yù)測的參考圖像的視頻解碼器的處理的流程圖。

在操作s1510中，視頻解碼器可接收與修改參數(shù)和修改的參考圖像中的至少一個(gè)相關(guān)聯(lián)的運(yùn)動(dòng)信息?？蓮囊曨l編碼器(例如，參照圖3和圖4示出的視頻編碼器)傳輸運(yùn)動(dòng)信息的至少一部分?？稍谝曨l編碼器與視頻解碼器之間預(yù)定義從視頻編碼器傳輸?shù)倪\(yùn)動(dòng)信息的句法。

在操作s1520，視頻解碼器可確定針對當(dāng)前圖像的編碼塊的運(yùn)動(dòng)信息。按照操作s1530，視頻解碼器可基于在針對當(dāng)前圖像的編碼塊的運(yùn)動(dòng)信息中包括的修改參數(shù)，來修改參考圖像以生成修改的參考圖像。修改參數(shù)可包括用于修改參考圖像的參數(shù)，例如，縮放參數(shù)、旋轉(zhuǎn)參數(shù)及剪切參數(shù)。例如，修改的參考圖像可包括至少一個(gè)修改的對象，可修改的對象基于縮放參數(shù)、旋轉(zhuǎn)參數(shù)及剪切參數(shù)中的至少一個(gè)來被修改。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，針對當(dāng)前圖像的編碼塊的運(yùn)動(dòng)信息可包括與當(dāng)前圖像的編碼塊和修改的參考圖像的預(yù)測塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量。運(yùn)動(dòng)信息可與當(dāng)前圖像的編碼塊和參考圖像的匹配塊相關(guān)聯(lián)。運(yùn)動(dòng)信息還可包括關(guān)于修改參數(shù)的信息?？赏ㄟ^參考圖像修改處理將參考圖像的匹配塊變換為修改的參考圖像的預(yù)測塊。

圖16和圖17分別示出根據(jù)一個(gè)或多個(gè)示例實(shí)施例的使用生成的lod的幀間預(yù)測。

參照圖16，可分析一組圖片(例如，i1、b2、b3、b4、b5、b6、b7、b8及p9)，并且可確定對象的z方向的運(yùn)動(dòng)。在hevc中，存在三種條帶類型：幀內(nèi)(i)條帶，針對其僅允許幀內(nèi)預(yù)測；預(yù)測性(p)條帶，除幀內(nèi)預(yù)測以外，也允許使用一個(gè)運(yùn)動(dòng)矢量和一個(gè)參考索引從每個(gè)塊的一個(gè)參考圖片的幀間預(yù)測；雙預(yù)測性(b)條帶，除幀內(nèi)預(yù)測和單向預(yù)測以外，也允許使用兩個(gè)運(yùn)動(dòng)矢量和兩個(gè)參考索引的幀間預(yù)測。根據(jù)一個(gè)或多個(gè)示例實(shí)施例，由于修改的參考圖像還可被使用，因此可將標(biāo)記用于每個(gè)條帶，以指示是否將修改的參考圖像用于針對條帶的幀間預(yù)測?？蓪D片i1確定為參考圖像，并且可通過改變圖片i1的lod來生成修改的參考圖像。隨著圖像幀的序列從圖片i1移動(dòng)到圖片p9，每個(gè)圖片中的對象(例如，三角形的對象)的大小可逐漸減少。按照這種方式，可生成lod使得對象的大小逐漸減少。包括對象的編碼塊還可包括指示對象沿著z方向的運(yùn)動(dòng)的運(yùn)動(dòng)信息。

參照圖17，圖片i1和p9可被用于生成針對在圖片i1與圖片p9之間的七個(gè)圖像幀的幀間預(yù)測的修改的參考圖像。可執(zhí)行插值以生成七個(gè)修改的參考圖像。

圖18示出根據(jù)一個(gè)或多個(gè)示例實(shí)施例的使用生成的旋轉(zhuǎn)后的參考圖像的幀間預(yù)測。

參照圖18，可分析一組圖片(例如，i1、b2、b3、b4、p5、b6、b7、b8及p9)，并且可確定對象的旋轉(zhuǎn)運(yùn)動(dòng)?？蓪D片i1確定為參考圖像，并且可通過旋轉(zhuǎn)圖片i1的至少部分來生成修改的參考圖像。隨著圖像幀的序列從圖片i1移動(dòng)到圖片p9，每個(gè)圖片中的對象(例如，三角形的對象)的傾斜可逐漸改變。按照這種方式，可生成旋轉(zhuǎn)的參考圖像使得對象的傾斜逐漸改變。包括對象的編碼塊還可包括指示對象的旋轉(zhuǎn)度的運(yùn)動(dòng)信息。

參考圖片集

在hevc中，使用參考圖片集(rps)來執(zhí)行將圖片標(biāo)記為“用于短期參考”、“用于長期參考”或“未用于參考”的處理。rps是在每個(gè)條帶頭中信令傳送的圖片指示符的集合，并且rps包括一組短期圖片和一組長期圖片。一旦圖片的第一條帶頭被解碼，則將解碼圖片緩沖器中的圖片標(biāo)記為由rps指定。rps包括用于識(shí)別dpb中的圖片的一組圖片順序計(jì)數(shù)值。除信令傳送poc信息之外，rps也信令傳送針對每個(gè)圖片的一個(gè)標(biāo)記。每個(gè)標(biāo)記指示相應(yīng)的圖片針對當(dāng)前圖片的參考是可用的還是不可用的。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，針對修改的參考圖像，生成修改的參考圖像的相關(guān)聯(lián)的參考圖像的poc值以及用于修改相關(guān)聯(lián)的參考圖像以生成修改的參考圖像的修改參數(shù)，可在rps用于識(shí)別修改的參考圖像。如果針對每個(gè)修改的參考圖像分配唯一的索引或唯一的標(biāo)識(shí)符，則可使用唯一的索引或唯一的標(biāo)識(shí)符。

參考圖片列表

在hevc中，針對比特流中的剩余圖片的解碼，在解碼圖片緩沖器(dpb)中存在一組特定的先前解碼的圖片。為了識(shí)別這些參考圖片，在每個(gè)條帶頭中傳輸圖片順序計(jì)數(shù)(poc)標(biāo)識(shí)符的列表。被保留的參考圖片的集合是參考圖片集(rps)。在hevc中，兩個(gè)列表(參考圖片列表0和參考圖片列表1)被構(gòu)造為dpb中的圖片的列表。將索引(被稱為“參考圖片索引”)用于識(shí)別在這些列表中的一個(gè)列表中的特定圖片。針對單向預(yù)測，可從兩個(gè)列表的任何一個(gè)列表中選擇圖片。針對雙向預(yù)測，可選擇兩個(gè)圖片——從每個(gè)列表中選擇一個(gè)圖片。當(dāng)列表僅包含一個(gè)圖片時(shí)，參考圖片索引隱含地具有值0并且不需要以比特流的形式傳輸。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可在參考畫面圖片列表0或參考圖片列表1中包括識(shí)別修改的參考圖像的索引。此外，可將另一參考圖片列表(例如，參考圖片列表2、參考圖片列表3等)用于包括修改的參考圖像的索引。如果除參考圖片列表0或參考圖片列表1以外，參考圖片列表具有額外的參考圖片列表，則可針對修改的參考圖像指定額外的參考圖片列表，并且可將參考圖片列表0和參考圖片列表1用于包括未修改的參考圖像的poc。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可將參考圖片列表2用于包括第一參考圖像(未修改)的poc以及縮放參數(shù)(例如，lod索引)以修改第一參考圖像。可將參考圖片列表3用于包括第二參考圖像(未修改)的poc以及旋轉(zhuǎn)參數(shù)(例如，旋轉(zhuǎn)度)以修改第二參考圖像。可將參考圖片列表4用于包括第三參考圖像(未修改)的poc以及剪切參數(shù)以修改第三參考圖像。在這樣的配置中，針對不同的修改類型指定參考圖片列表2、3、4…n。每個(gè)修改的參考圖像不必具有用于識(shí)別本身的索引。相反，可使用未修改的參考圖像的poc以及修改參數(shù)。例如，如果參考圖片列表2和參考圖片列表3二者包括poc值以及相應(yīng)的修改參數(shù)，則可執(zhí)行縮放和旋轉(zhuǎn)二者，以分別基于參考圖片列表2和參考圖片列表3生成針對當(dāng)前圖像幀的編碼塊的幀間預(yù)測的修改的參考圖像。

根據(jù)一個(gè)或多個(gè)示例實(shí)施例，可使用修改的參考圖像來增加圖像間預(yù)測效率和/或圖像間預(yù)測概率。

雖然已經(jīng)在此描述特定示例實(shí)施例以及實(shí)施方式，但是其它實(shí)施例以及實(shí)施方式從本描述中將是顯而易見的。因此，本發(fā)明構(gòu)思不限于這樣的實(shí)施例，而是限于權(quán)利要求書以及各種明顯的修改和等同安排的更寬泛的范圍。