本發(fā)明涉及使用合并模式運(yùn)動(dòng)向量差(merge?mode?motion?vector?difference，mmvd)編碼工具的視頻編解碼系統(tǒng)。具體地，本發(fā)明涉及與mmvd相關(guān)聯(lián)的復(fù)雜性降低。

背景技術(shù)：

1、通用視頻編碼(vvc)是由itu-t視頻編碼專家組(vceg)的聯(lián)合視頻專家組(jvet)和iso/iec運(yùn)動(dòng)圖像專家組(mpeg)共同制定的最新國際視頻編解碼標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)已作為iso標(biāo)準(zhǔn)發(fā)布：iso/iec?23090-3:2021，信息技術(shù)-沉浸式媒體的編碼表示-第3部分：通用視頻編碼，2021年2月發(fā)布。vvc是在其前身hevc(high?efficiency?video?coding)基礎(chǔ)上，通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括3維(3d)視頻信號(hào)。

2、圖1a說明了包含循環(huán)處理的示例性自適應(yīng)幀間/幀內(nèi)視頻編碼系統(tǒng)。對(duì)于幀內(nèi)預(yù)測(cè)，預(yù)測(cè)數(shù)據(jù)是根據(jù)當(dāng)前圖片中先前編碼的視頻數(shù)據(jù)導(dǎo)出的。對(duì)于幀間預(yù)測(cè)112，在編碼器側(cè)執(zhí)行運(yùn)動(dòng)估計(jì)(me)并且基于me的結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償(mc)以提供從其他畫面和運(yùn)動(dòng)數(shù)據(jù)導(dǎo)出的預(yù)測(cè)數(shù)據(jù)。開關(guān)114選擇幀內(nèi)預(yù)測(cè)110或幀間預(yù)測(cè)112并且所選擇的預(yù)測(cè)數(shù)據(jù)被提供給加法器116以形成預(yù)測(cè)誤差，也稱為殘差。預(yù)測(cè)誤差然后由變換(t)118和隨后的量化(q)120處理。變換和量化的殘差然后由熵編碼器122編碼以包括在對(duì)應(yīng)于壓縮視頻數(shù)據(jù)的視頻比特流中。與變換系數(shù)相關(guān)聯(lián)的比特流然后與輔助信息(例如與幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)相關(guān)聯(lián)的運(yùn)動(dòng)和編碼模式)以及其他信息(例如與應(yīng)用于底層圖像區(qū)域的環(huán)路濾波器相關(guān)聯(lián)的參數(shù))一起打包。與幀內(nèi)預(yù)測(cè)110、幀間預(yù)測(cè)112和環(huán)內(nèi)濾波器130相關(guān)聯(lián)的輔助信息被提供給熵編碼器122，如圖1a所示。當(dāng)使用幀間預(yù)測(cè)模式時(shí)，也必須在編碼器端重建一個(gè)或多個(gè)參考圖片。因此，經(jīng)變換和量化的殘差由逆量化(iq)124和逆變換(it)126處理以恢復(fù)殘差。然后在重建(rec)128處將殘差加回到預(yù)測(cè)資料136以重建視頻資料。重建的視頻數(shù)據(jù)可以存儲(chǔ)在參考圖片緩沖器134中并用于預(yù)測(cè)其他幀。

3、如圖1a所示，輸入的視頻數(shù)據(jù)在編碼系統(tǒng)中經(jīng)過一系列處理。由于一系列處理，來自rec128的重建視頻數(shù)據(jù)可能會(huì)受到各種損害。因此，環(huán)路濾波器130經(jīng)常在重構(gòu)視頻數(shù)據(jù)被存儲(chǔ)在參考圖片緩沖器134中之前應(yīng)用于重構(gòu)視頻數(shù)據(jù)以提高視頻質(zhì)量。例如，可以使用去塊濾波器(df)、樣本自適應(yīng)偏移(sao)和自適應(yīng)環(huán)路濾波器(alf)?？赡苄枰獙h(huán)路濾波器信息合并到比特流中，以便解碼器可以正確地恢復(fù)所需的信息。因此，環(huán)路濾波器信息也被提供給熵編碼器122以合并到比特流中。在圖1a中，環(huán)路濾波器130在重構(gòu)樣本被存儲(chǔ)在參考圖片緩沖器134中之前被應(yīng)用于重構(gòu)視頻。圖1a中的系統(tǒng)旨在說明典型視頻編碼器的示例性結(jié)構(gòu)。它可能對(duì)應(yīng)于高效視頻編碼(hevc)系統(tǒng)、vp8、vp9、h.264或vvc。

4、如圖1b所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換118和量化120之外，因?yàn)榻獯a器只需要逆量化124和逆變換126。代替熵編碼器122，解碼器使用熵解碼器140將視頻比特流解碼為量化的變換系數(shù)和所需的編碼信息(例如ilpf信息、幀內(nèi)預(yù)測(cè)信息和幀間預(yù)測(cè)信息)。解碼器側(cè)的幀內(nèi)預(yù)測(cè)150不需要執(zhí)行模式搜索。相反，解碼器僅需要根據(jù)從熵解碼器140接收的幀內(nèi)預(yù)測(cè)信息生成幀內(nèi)預(yù)測(cè)。此外，對(duì)于幀間預(yù)測(cè)，解碼器僅需要根據(jù)從熵解碼器140接收的幀間預(yù)測(cè)信息執(zhí)行運(yùn)動(dòng)補(bǔ)償(mc?152)而無需運(yùn)動(dòng)估計(jì)。

5、根據(jù)vvc，類似于hevc，輸入圖片被劃分為稱為ctu(編碼樹單元)的非重迭方形塊區(qū)域。每個(gè)ctu都可以劃分為一個(gè)或多個(gè)較小尺寸的編碼單元(cu)。生成的cu分區(qū)可以是正方形或矩形。此外，vvc將ctu劃分為預(yù)測(cè)單元(pu)，作為應(yīng)用預(yù)測(cè)過程的單元，例如幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)等。

6、vvc標(biāo)準(zhǔn)結(jié)合了各種新的編解碼工具，以進(jìn)一步提高h(yuǎn)evc標(biāo)準(zhǔn)的編碼效率。在各種新的編解碼工具中，與本發(fā)明相關(guān)的一些編解碼工具回顧如下。例如，合并mvd模式(mmvd)技術(shù)重新使用與vvc中相同的合并候選，并且可以通過運(yùn)動(dòng)矢量表達(dá)方法進(jìn)一步擴(kuò)展所選擇的候選。需要開發(fā)降低mmvd復(fù)雜性的技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、公開了一種使用mmvd模式進(jìn)行視頻編解碼的方法和裝置。根據(jù)該方法，接收與當(dāng)前塊相關(guān)聯(lián)的輸入數(shù)據(jù)，其中輸入數(shù)據(jù)包括在編碼器側(cè)要編碼的當(dāng)前塊的像素?cái)?shù)據(jù)或者在解碼器側(cè)要解碼的與當(dāng)前塊相關(guān)聯(lián)的編碼數(shù)據(jù)。從當(dāng)前塊的合并列表中確定至少一個(gè)基本合并運(yùn)動(dòng)向量(motion?vector，mv)。根據(jù)一步長(zhǎng)集合和一方向集合為所述至少一個(gè)基本合并mv確定一組擴(kuò)展合并候選，其中該組擴(kuò)展合并候選通過向所述至少一個(gè)基本合并mv添加偏移量來確定，并且其中偏移量對(duì)應(yīng)于來自步長(zhǎng)集合和方向集合的一對(duì)組合，其中步長(zhǎng)集合和方向集合的至少一個(gè)組合被排除在擴(kuò)展合并候選的部分集合中。根據(jù)與候選者相關(guān)聯(lián)的模板匹配成本對(duì)擴(kuò)展合并候選的部分集合中的候選者進(jìn)行重新排序，并且其中每個(gè)模板匹配成本是在當(dāng)前塊的一個(gè)或多個(gè)第一相鄰區(qū)域中的第一樣本與參考?jí)K的一個(gè)或多個(gè)第二相鄰區(qū)域中的第二樣本之間測(cè)量的，其中參考?jí)K是根據(jù)擴(kuò)展合并候選的部分集合中的每個(gè)候選者定位的。通過使用包括擴(kuò)展合并候選的重新排序的部分集合的運(yùn)動(dòng)信息來對(duì)當(dāng)前塊進(jìn)行編碼或解碼。

2、在一個(gè)實(shí)施例中，通過將步長(zhǎng)集合中的成員步長(zhǎng)限制為小于步長(zhǎng)閾值來生成擴(kuò)展合并候選的部分集合，使得從擴(kuò)展合并的部分集合中排除步長(zhǎng)集合中的至少一個(gè)成員步長(zhǎng)候選。

3、在一個(gè)實(shí)施例中，通過將擴(kuò)展合并候選集合限制在邊界框內(nèi)以排除擴(kuò)展合并候選集合中的至少一個(gè)擴(kuò)展合并候選來生成擴(kuò)展合并候選的部分集合。

4、在一個(gè)實(shí)施例中，在編碼單元(cu)級(jí)別中用信號(hào)發(fā)送或解析第一語法以指示擴(kuò)展合并候選的部分集合是否用于當(dāng)前塊。在一個(gè)實(shí)施例中，當(dāng)?shù)谝徽Z法指示擴(kuò)展合并候選的部分集合用于當(dāng)前塊時(shí)，在cu級(jí)別中用信號(hào)發(fā)送或解析第二語法以指示從擴(kuò)展合并候選的部分集合中選擇的目標(biāo)候選者。在另一實(shí)施例中，當(dāng)擴(kuò)展合并候選的部分集合不用于當(dāng)前塊時(shí)，在cu級(jí)別中用信號(hào)發(fā)送或解析第二語法以指示從當(dāng)前塊的剩余候選集合中選擇的目標(biāo)候選者，并且其中剩余候選集合對(duì)應(yīng)于屬于擴(kuò)展合并候選集合但不在擴(kuò)展合并候選的部分集合中的擴(kuò)展合并候選。

5、在一個(gè)實(shí)施例中，當(dāng)前塊的所述一個(gè)或多個(gè)第一相鄰區(qū)域包括當(dāng)前塊的第一頂部相鄰區(qū)域和第一左相鄰區(qū)域，并且參考?jí)K的所述一個(gè)或多個(gè)第二相鄰區(qū)域包括第二頂部相鄰區(qū)域，以及參考?jí)K的第二左相鄰區(qū)域。

6、在一個(gè)實(shí)施例中，針對(duì)當(dāng)前塊生成當(dāng)前塊的剩余候選集合，并且其中剩余候選集合對(duì)應(yīng)于屬于擴(kuò)展合并候選集合但不在擴(kuò)展合并候選的部分集合中的擴(kuò)展合并候選。此外，運(yùn)動(dòng)信息還包括未使用與剩余候選集相關(guān)聯(lián)的模板匹配成本重新排序的剩余候選集。

技術(shù)特征：

1.一種采用合并運(yùn)動(dòng)矢量差(mmvd)模式的視頻編解碼方法，該方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述擴(kuò)展合并候選的部分集合是根據(jù)來自受限步長(zhǎng)集合和所述方向集合的一對(duì)受限組合來生成的，并且其中所述受限步長(zhǎng)集合是通過從所述步長(zhǎng)集合排除至少一個(gè)成員步長(zhǎng)來生成的。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過將所述擴(kuò)展合并候選集合限制在邊界框內(nèi)以排除所述擴(kuò)展合并候選集合中的至少一個(gè)擴(kuò)展合并候選來生成所述擴(kuò)展合并候選的部分集合。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在編碼單元(cu)級(jí)別中用信號(hào)發(fā)送或解析第一語法以指示所述擴(kuò)展合并候選的部分集合是否用于所述當(dāng)前塊。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，當(dāng)所述第一語法指示所述擴(kuò)展合并候選的部分集合用于所述當(dāng)前塊時(shí)，在所述cu級(jí)別中用信號(hào)發(fā)送或解析第二語法以指示從所述當(dāng)前塊的擴(kuò)展合并候選的部分集合中選擇的目標(biāo)候選者。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，當(dāng)所述擴(kuò)展合并候選的部分集合不用于所述當(dāng)前塊時(shí)，在cu級(jí)別中用信號(hào)發(fā)送或解析第二語法以指示從所述當(dāng)前塊的剩余候選集合中選擇的目標(biāo)候選者，并且其中所述剩余候選集合對(duì)應(yīng)于屬于擴(kuò)展合并候選集合但不在所述擴(kuò)展合并候選的部分集合中的擴(kuò)展合并候選。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)前塊的所述一個(gè)或多個(gè)第一相鄰區(qū)域包括所述當(dāng)前塊的第一頂部相鄰區(qū)域和第一左相鄰區(qū)域，并且所述參考?jí)K的所述一個(gè)或多個(gè)第二相鄰區(qū)域包括所述參考?jí)K的第二頂部相鄰區(qū)域和第二左相鄰區(qū)域。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對(duì)所述當(dāng)前塊生成所述當(dāng)前塊的剩余候選集合，并且其中所述剩余候選集合對(duì)應(yīng)于屬于所述擴(kuò)展合并候選集合但不在所述部分?jǐn)U展合并候選中的擴(kuò)展合并候選。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述運(yùn)動(dòng)信息進(jìn)一步包括所述剩余候選集合，并且未使用與所述剩余候選集合相關(guān)聯(lián)的模板匹配成本重新排序所述剩余候選集合。

10.一種使用mmvd模式進(jìn)行視頻編解碼的裝置，該裝置包括一個(gè)或多個(gè)電子器件或處理器，被布置為：

11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述擴(kuò)展合并候選的部分集合是根據(jù)來自受限步長(zhǎng)集合和所述方向集合的一對(duì)受限組合來生成的，并且其中所述受限步長(zhǎng)集合是通過排除所述步長(zhǎng)集合中的至少一個(gè)成員步長(zhǎng)來生成的。

12.根據(jù)權(quán)利要求10所述的裝置，其特征在于，通過將所述擴(kuò)展合并候選集合限制在邊界框內(nèi)以排除所述擴(kuò)展合并候選集合中的至少一個(gè)擴(kuò)展合并候選來生成所述擴(kuò)展合并候選的部分集合。

13.根據(jù)權(quán)利要求10所述的裝置，其特征在于，在cu級(jí)別中用信號(hào)發(fā)送或解析第一語法以指示所述擴(kuò)展合并候選的部分集合是否用于所述當(dāng)前塊。

14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，當(dāng)所述第一語法指示所述擴(kuò)展合并候選的部分集合用于所述當(dāng)前塊時(shí)，在所述cu級(jí)別中用信號(hào)發(fā)送或解析第二語法以指示從所述當(dāng)前塊的所述擴(kuò)展合并候選的部分集合中選擇的目標(biāo)候選者。

15.根據(jù)權(quán)利要求13所述的裝置，其特征在于，當(dāng)所述擴(kuò)展合并候選的部分集合不用于所述當(dāng)前塊時(shí)，在cu級(jí)別中用信號(hào)發(fā)送或解析第二語法以指示從所述當(dāng)前塊的剩余候選集合中選擇的目標(biāo)候選者，并且其中所述剩余候選集合對(duì)應(yīng)于屬于擴(kuò)展合并候選集合但不在所述擴(kuò)展合并候選的部分集合中的擴(kuò)展合并候選。

16.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述當(dāng)前塊的所述一個(gè)或多個(gè)第一相鄰區(qū)域包括所述當(dāng)前塊的第一頂部相鄰區(qū)域和第一左相鄰區(qū)域，并且所述參考?jí)K的所述一個(gè)或多個(gè)第二相鄰區(qū)域包括所述參考?jí)K的第二頂部相鄰區(qū)域和第二左相鄰區(qū)域。

17.根據(jù)權(quán)利要求10所述的裝置，其特征在于，針對(duì)所述當(dāng)前塊生成所述當(dāng)前塊的剩余候選集合，并且其中所述剩余候選集合對(duì)應(yīng)于屬于擴(kuò)展合并候選集合但不在所述擴(kuò)展合并候選的部分集合中的擴(kuò)展合并候選。

18.根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述運(yùn)動(dòng)信息進(jìn)一步包括所述剩余候選集合，并且未使用與所述剩余候選集合相關(guān)聯(lián)的模板匹配成本重新排序所述剩余候選集合。

技術(shù)總結(jié)
公開了一種使用MMVD模式進(jìn)行視頻編解碼的方法和裝置。根據(jù)該方法，從合并列表確定基本合并MV。通過將步長(zhǎng)和方向?qū)μ砑拥交綧V，根據(jù)一組步長(zhǎng)和一組方向來確定一組擴(kuò)展合并候選。該組步長(zhǎng)和該組方向的至少一個(gè)組合被排除在擴(kuò)展合并候選的部分集合外。根據(jù)在當(dāng)前塊的模板與擴(kuò)展合并候選的部分集合中的對(duì)應(yīng)參考?jí)K的模板之間測(cè)量的模板匹配成本，對(duì)擴(kuò)展的合并候選的部分集合進(jìn)行重新排序。通過使用包括擴(kuò)展合并候選的重新排序的部分集合的運(yùn)動(dòng)信息來對(duì)當(dāng)前塊進(jìn)行編碼或解碼。

技術(shù)研發(fā)人員：邱世鈞,徐志瑋,陳慶曄,莊子德,黃毓文
受保護(hù)的技術(shù)使用者：聯(lián)發(fā)科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6