處理多視圖視頻信號(hào)的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于對(duì)多視圖視頻信號(hào)進(jìn)行編譯的方法和設(shè)備。
【背景技術(shù)】
[0002]壓縮指代用于通過(guò)通信線路來(lái)發(fā)送數(shù)字信息或者以適合于存儲(chǔ)介質(zhì)的形式存儲(chǔ)數(shù)字信息的信號(hào)處理技術(shù)。壓縮目標(biāo)包括音頻、視頻以及文本信息。特別地，壓縮圖像的技術(shù)被稱作視頻壓縮。多視圖視頻具有空間冗余、時(shí)間冗余以及視圖間冗余的特性。

【發(fā)明內(nèi)容】

[0003]技術(shù)問(wèn)題
[0004]本發(fā)明的目標(biāo)在于改進(jìn)視頻信號(hào)編譯效率。
[0005]技術(shù)方案
[0006]本發(fā)明獲取通過(guò)對(duì)參考視圖的圖片進(jìn)行預(yù)測(cè)編譯而生成的運(yùn)動(dòng)信息，并且從通過(guò)對(duì)非參考視圖的圖片進(jìn)行預(yù)測(cè)編譯而生成的運(yùn)動(dòng)信息當(dāng)中獲取關(guān)于非參考視圖的圖片的塊的一部分的運(yùn)動(dòng)信息。
[0007]此外，本發(fā)明使用對(duì)應(yīng)圖片的運(yùn)動(dòng)矢量方向信息來(lái)壓縮所獲取的運(yùn)動(dòng)信息并且存儲(chǔ)經(jīng)壓縮的運(yùn)動(dòng)信息。
[0008]有益效果
[0009]本發(fā)明能夠通過(guò)獲取非參考視圖的圖片的壓縮的運(yùn)動(dòng)信息減小儲(chǔ)存的大小和數(shù)據(jù)的量并且通過(guò)獲取用于非參考視圖的圖片的運(yùn)動(dòng)估計(jì)的參考視圖的圖片的運(yùn)動(dòng)信息來(lái)改進(jìn)預(yù)測(cè)準(zhǔn)確性，而不需要壓縮參考視圖的圖片的運(yùn)動(dòng)信息。
[0010]此外，本發(fā)明能夠通過(guò)根據(jù)對(duì)應(yīng)圖片的運(yùn)動(dòng)矢量方向信息可變地壓縮所獲取的運(yùn)動(dòng)信息并且存儲(chǔ)經(jīng)壓縮的運(yùn)動(dòng)信息來(lái)減小儲(chǔ)存的大小。
【附圖說(shuō)明】
[0011]圖1是根據(jù)本發(fā)明的實(shí)施例的視頻編碼器的框圖。
[0012]圖2圖示根據(jù)本發(fā)明的實(shí)施例的幀間預(yù)測(cè)單元的配置。
[0013]圖3至圖7圖示根據(jù)本發(fā)明的實(shí)施例的用于獲取、壓縮和存儲(chǔ)運(yùn)動(dòng)信息的方法。
[0014]圖8是圖示根據(jù)本發(fā)明的實(shí)施例的用于獲取和存儲(chǔ)運(yùn)動(dòng)信息的方法的流程圖。
[0015]圖9是圖示根據(jù)本發(fā)明的實(shí)施例的用于壓縮和存儲(chǔ)所獲取的運(yùn)動(dòng)信息的方法的流程圖。
【具體實(shí)施方式】
[0016]根據(jù)本發(fā)明的實(shí)施例，用于處理多視圖視頻信號(hào)的方法包括:獲取通過(guò)對(duì)參考視圖的圖片進(jìn)行預(yù)測(cè)編譯而生成的運(yùn)動(dòng)信息；從通過(guò)對(duì)非參考視圖的圖片進(jìn)行預(yù)測(cè)編譯而生成的運(yùn)動(dòng)信息當(dāng)中獲取關(guān)于非參考視圖的圖片的塊的一部分的運(yùn)動(dòng)信息；以及壓縮對(duì)于參考視圖的圖片而獲取的運(yùn)動(dòng)信息和對(duì)于非參考視圖的圖片而獲取的運(yùn)動(dòng)信息并且存儲(chǔ)經(jīng)壓縮的運(yùn)動(dòng)信息。
[0017]根據(jù)本發(fā)明的實(shí)施例，用于處理多視圖視頻信號(hào)的設(shè)備包括:運(yùn)動(dòng)信息獲取單元，該運(yùn)動(dòng)信息獲取單元用于獲取通過(guò)對(duì)參考視圖的圖片進(jìn)行預(yù)測(cè)編譯而生成的運(yùn)動(dòng)信息并且從通過(guò)對(duì)非參考視圖的圖片進(jìn)行預(yù)測(cè)編譯而生成的運(yùn)動(dòng)信息當(dāng)中獲取關(guān)于非參考視圖的圖片的塊的一部分的運(yùn)動(dòng)信息；以及運(yùn)動(dòng)信息存儲(chǔ)單元，該運(yùn)動(dòng)信息存儲(chǔ)單元用于壓縮對(duì)于參考視圖的圖片而獲取的運(yùn)動(dòng)信息和對(duì)于非參考視圖的圖片而獲取的運(yùn)動(dòng)信息并且存儲(chǔ)經(jīng)壓縮的運(yùn)動(dòng)信息。
[0018]發(fā)明的模式
[0019]用于對(duì)多視圖視頻信號(hào)數(shù)據(jù)進(jìn)行壓縮或解碼的技術(shù)考慮空間冗余、時(shí)間冗余以及視圖間冗余。在多視圖圖像的情況下，能夠?qū)υ趦蓚€(gè)或更多個(gè)視圖處捕獲的多視圖紋理圖像進(jìn)行編譯以便生成三維圖像。此外，必要時(shí)可以對(duì)與多視圖紋理圖像相對(duì)應(yīng)的深度數(shù)據(jù)進(jìn)行編譯。能夠考慮到空間冗余、時(shí)間冗余或視圖間冗余來(lái)壓縮深度數(shù)據(jù)。深度數(shù)據(jù)是關(guān)于相機(jī)與對(duì)應(yīng)像素之間的距離的信息。在本說(shuō)明書中，深度數(shù)據(jù)能夠被靈活地解釋為諸如深度信息、深度圖像、深度圖片、深度序列以及深度比特流的深度相關(guān)信息。此外，編譯在本說(shuō)明書中能夠包括編碼和解碼的兩個(gè)概念并且在本發(fā)明的技術(shù)精神和范圍內(nèi)能夠被靈活地解釋。
[0020]能夠使用視圖間位移矢量來(lái)指定鄰近視圖的紋理塊。這里，可以使用當(dāng)前視圖紋理塊的鄰近塊的視圖間位移矢量并且使用當(dāng)前視圖紋理塊的深度值來(lái)得到視圖間位移矢量。
[0021]圖1是根據(jù)本發(fā)明的實(shí)施例的視頻編碼器的框圖。
[0022]參考圖1，視頻編碼器可以包括變換單元/量化單元110、逆量化單元/逆變換單元120、濾波單元130、幀內(nèi)預(yù)測(cè)單元140、幀間預(yù)測(cè)單元150、解碼圖片緩沖單元160以及j:商編譯單元170。
[0023]在變換單元/量化單元110中，變換單元相對(duì)于輸入視頻信號(hào)對(duì)紋理數(shù)據(jù)進(jìn)行變換以獲取變換系數(shù)。離散余弦變換(DCT)、小波變換等可以被用作變換方法。量化單元量化從變換單元輸出的變換系數(shù)。
[0024]逆量化單元/逆變換單元120對(duì)經(jīng)量化的變換系數(shù)應(yīng)用量化參數(shù)以獲取變換系數(shù)并且對(duì)變換系數(shù)進(jìn)行逆變換以對(duì)紋理數(shù)據(jù)進(jìn)行解碼。這里，經(jīng)解碼的紋理數(shù)據(jù)或深度數(shù)據(jù)可以包括根據(jù)預(yù)測(cè)的殘留數(shù)據(jù)。
[0025]濾波單元130執(zhí)行濾波操作以用于改進(jìn)經(jīng)解碼的紋理數(shù)據(jù)的質(zhì)量。濾波的紋理圖片可以被存儲(chǔ)在解碼圖片緩沖單元160中以作為參考圖片被輸出或使用。
[0026]幀內(nèi)預(yù)測(cè)單元140可以使用當(dāng)前視圖紋理圖片中的解碼的紋理數(shù)據(jù)來(lái)執(zhí)行幀內(nèi)預(yù)測(cè)。這里，用于幀內(nèi)預(yù)測(cè)的編譯信息能夠包括幀內(nèi)預(yù)測(cè)模式和幀內(nèi)預(yù)測(cè)的分割信息。
[0027]幀間預(yù)測(cè)單元150可以使用存儲(chǔ)在解碼圖片緩沖單元160中的參考圖片和運(yùn)動(dòng)信息來(lái)執(zhí)行當(dāng)前塊的運(yùn)動(dòng)補(bǔ)償。在本說(shuō)明書中，運(yùn)動(dòng)信息能夠包括廣義上的運(yùn)動(dòng)矢量和參考索引信息。此外，幀間預(yù)測(cè)單元150能夠?qū)τ谶\(yùn)動(dòng)補(bǔ)償執(zhí)行時(shí)間幀間預(yù)測(cè)。時(shí)間幀間預(yù)測(cè)可以指代使用參考圖片和當(dāng)前紋理塊的運(yùn)動(dòng)信息的幀間預(yù)測(cè)，參考圖片對(duì)應(yīng)于與當(dāng)前紋理塊相同的視圖并且對(duì)應(yīng)于與當(dāng)前紋理塊的不同的時(shí)間。在使用多個(gè)相機(jī)捕獲的多視圖圖像的情況下，除時(shí)間幀間預(yù)測(cè)之外還可以執(zhí)行視圖間幀間預(yù)測(cè)。視圖間幀間預(yù)測(cè)可以指代使用對(duì)應(yīng)于與當(dāng)前紋理塊不同的視圖的參考圖片和當(dāng)前紋理塊的運(yùn)動(dòng)信息的幀間預(yù)測(cè)。
[0028]幀間預(yù)測(cè)單元150可以包括運(yùn)動(dòng)信息獲取單元以及用來(lái)存儲(chǔ)已編碼運(yùn)動(dòng)信息的運(yùn)動(dòng)信息存儲(chǔ)單元。能夠?qū)⒋鎯?chǔ)在運(yùn)動(dòng)信息存儲(chǔ)單元中的每個(gè)視圖的運(yùn)動(dòng)信息發(fā)送到解碼器。將參考圖2對(duì)此進(jìn)行詳細(xì)的描述。
[0029]解碼圖片緩沖單元160存儲(chǔ)或者打開預(yù)編譯的紋理圖片以便執(zhí)行視圖間預(yù)測(cè)。這里，每個(gè)圖片的幀號(hào)frame_nUm和圖片順序計(jì)數(shù)(指示圖片輸出順序的POC)能夠被用來(lái)將每個(gè)圖片存儲(chǔ)在解碼圖片緩沖單元160中或用來(lái)打開每個(gè)圖片。
[0030]j:商編譯單元170通過(guò)對(duì)從幀間預(yù)測(cè)單元150輸入的經(jīng)量化的變換系數(shù)、幀內(nèi)編譯信息、幀間編譯信息以及參考區(qū)域信息進(jìn)行熵編譯來(lái)生成視頻信號(hào)比特流。
[0031]將給出運(yùn)動(dòng)信息在多視圖視頻信號(hào)處理中的壓縮和存儲(chǔ)的描述。
[0032]圖2圖示根據(jù)本發(fā)明的實(shí)施例的幀間預(yù)測(cè)單元的配置。
[0033]幀間預(yù)測(cè)單元150可以包括處理單元151、運(yùn)動(dòng)信息獲取單元152以及運(yùn)動(dòng)信息存儲(chǔ)單元153。
[0034]處理單元151能夠生成用于幀間預(yù)測(cè)的運(yùn)動(dòng)信息。具體地，處理單元151能夠接收多視圖視頻信號(hào)并且在訪問(wèn)單元(AU)中對(duì)圖片進(jìn)行預(yù)測(cè)編譯以生成用于幀間預(yù)測(cè)的運(yùn)動(dòng)信息。這里，訪問(wèn)單元是多視圖視頻信號(hào)編譯單元并且同時(shí)能夠包括視圖的紋理圖片和深度圖片。
[0035]運(yùn)動(dòng)信息獲取單元152能夠暫時(shí)獲取由處理單元151生成的每個(gè)視圖的運(yùn)動(dòng)信息，并且暫時(shí)存儲(chǔ)所獲取的運(yùn)動(dòng)信息。
[0036]根據(jù)本發(fā)明的實(shí)施例，運(yùn)動(dòng)信息獲取單元152可以從通過(guò)對(duì)參考視圖的圖片進(jìn)行預(yù)測(cè)編譯而生成的運(yùn)動(dòng)信息當(dāng)中獲取關(guān)于包括在參考視圖的圖片中的所有塊的運(yùn)動(dòng)信息。然而，在非參考視圖的情況下，運(yùn)動(dòng)信息獲取單元152可以僅獲取關(guān)于包括在非參考視圖的圖片中的塊的一部分的運(yùn)動(dòng)信息。這里，參考視圖指代用于視圖間幀間預(yù)測(cè)的基本視圖或獨(dú)立視圖(VO)并且非參考視圖指代除參考視圖以外的視圖。
[0037]將參考圖4描述具體的運(yùn)動(dòng)信息獲取方法。
[0038]運(yùn)動(dòng)信息存儲(chǔ)單元153壓縮和存儲(chǔ)由運(yùn)動(dòng)信息獲取單元152所獲取的運(yùn)動(dòng)信息。具體地，運(yùn)動(dòng)信息存儲(chǔ)單元153可以以預(yù)定速率壓縮對(duì)于每個(gè)視圖的圖片而獲取的運(yùn)動(dòng)信息并且存儲(chǔ)該運(yùn)動(dòng)信息。
[0039]根據(jù)本發(fā)明的實(shí)施例，運(yùn)動(dòng)信息存儲(chǔ)單元153能夠存儲(chǔ)從參考視圖的圖片和非參考視圖的圖片獲取的運(yùn)動(dòng)信息當(dāng)中的關(guān)于具有預(yù)定大小的塊的運(yùn)動(dòng)信息。
[0040]使用運(yùn)動(dòng)矢量方向信息，運(yùn)動(dòng)信息存儲(chǔ)單元153能夠存儲(chǔ)關(guān)于具有根據(jù)圖片的運(yùn)動(dòng)矢量方向信息確定的大小的塊的運(yùn)動(dòng)信息。這里，運(yùn)動(dòng)矢量方向信息指代運(yùn)動(dòng)矢量的水平分量與其垂直分量的比。
[0041]將參考圖3至圖7給出用于存儲(chǔ)運(yùn)動(dòng)信息的方法的具體描述。
[0042]圖3至圖7圖示根據(jù)本發(fā)明的實(shí)施例的用于獲取、壓縮和存儲(chǔ)運(yùn)動(dòng)信息的方法。
[0043]參考圖3，處理單元能夠?qū)Χ嘁晥D視頻信號(hào)的包括在一個(gè)訪問(wèn)單元中的圖片310進(jìn)行預(yù)測(cè)編譯。處理單元能夠?qū)⒖家晥D的圖片(紋理0、深度