本發(fā)明屬于數(shù)字視頻壓縮領(lǐng)域，尤其涉及一種參考圖像管理方法。

背景技術(shù)：

參考幀管理是視頻編碼中的一項(xiàng)關(guān)鍵技術(shù)，主要負(fù)責(zé)管理解碼圖像緩沖區(qū)(DPB)，并從中選取最優(yōu)的參考方案，創(chuàng)建參考圖像隊(duì)列。參考圖像管理方法是編解碼框架的高層結(jié)構(gòu)，為幀間預(yù)測(cè)提供了基礎(chǔ)。視頻編解碼框架，比如HEVC，一般采用參考幀集(RPS)的技術(shù)來管理已經(jīng)解碼的幀，并作為后續(xù)編碼的參考幀。RPS是一個(gè)包含了構(gòu)建當(dāng)前編解碼圖像的參考圖像隊(duì)列、管理DPB的參數(shù)信息集合。編碼端通過對(duì)編碼圖像配置RPS，使得每幅圖像中都包含對(duì)DPB中圖像管理的標(biāo)記，進(jìn)而達(dá)到對(duì)參考圖像管理的目的；解碼端通過解析得到的RPS構(gòu)建參考圖像隊(duì)列和標(biāo)識(shí)DPB中解碼圖像是否為可被參考圖像，并且通過RPS檢驗(yàn)是否存在丟幀圖像。為了提高幀間預(yù)測(cè)的準(zhǔn)確度，多參考幀通常作為一種比較有效的方法。解碼已經(jīng)完成的圖像，被存入解碼圖像緩沖區(qū)(DPB)中，以備后續(xù)參考，而且在DPB中的每一幀圖像，會(huì)被標(biāo)記不同的狀態(tài)，包括被參考(長(zhǎng)期參考，短期參考)和不被參考等幾種標(biāo)記狀態(tài)。DPB中只存儲(chǔ)一定量的圖像，隨著當(dāng)前解碼圖像，以先入先出的方式，將新的解碼圖像移入DPB而將離當(dāng)前幀最遠(yuǎn)的一幀移出DBP，進(jìn)而保證存儲(chǔ)在DPB中的圖像均是最近解碼的圖像。不同的GOP結(jié)構(gòu)中不同的幀類型執(zhí)行不同的參考幀管理方式。

同樣地，在三維視頻編碼中，參考幀管理方案有著更重要的地位。三維視頻編碼中的預(yù)測(cè)不僅包括時(shí)域預(yù)測(cè)還包括視間預(yù)測(cè)。前者表示同一視點(diǎn)上的各幀之間的參考關(guān)系而后者表示不同視點(diǎn)間的參考關(guān)系。一般來說，同一視點(diǎn)上的參考圖像管理方式與傳統(tǒng)的2D視頻編碼框架相同，而不同視點(diǎn)間的參考圖像管理就相對(duì)比較特殊，可以有不同的設(shè)計(jì)方法。視間參考幀的設(shè)計(jì)可以與時(shí)域參考幀結(jié)合，也可以單獨(dú)進(jìn)行構(gòu)建，刪除和管理操作。目前，缺少一種能夠在編解碼過程中實(shí)現(xiàn)時(shí)域參考幀和視間參考幀的合理的被參考，提高編解碼效率的有效的參考幀管理方案。

現(xiàn)有的相關(guān)專利，例如申請(qǐng)?zhí)枮?00310116085.1的中國(guó)發(fā)明專利申請(qǐng)，涉及一種參考圖像緩沖區(qū)管理方法，包括：根據(jù)編碼的方式，在緩沖區(qū)中保留用于編/解碼的參考圖像；每一個(gè)參考圖像都通過一個(gè)參考索引來標(biāo)記；當(dāng)前圖像根據(jù)參考索引來確定參考圖像，完成編解碼；如果當(dāng)前編/解碼圖像為I幀/場(chǎng)或P幀/場(chǎng)，則將解碼后的I/P幀/場(chǎng)替換緩沖區(qū)中離當(dāng)前圖像最遠(yuǎn)的參考幀/場(chǎng)，編/解碼下一個(gè)圖像；如果所有的圖像都完成了編/解碼,則刪除緩沖區(qū)中的所有圖像。但該方法編/解碼效率低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問題是提供一套有效的參考幀管理方案，從而實(shí)現(xiàn)編解碼過程中時(shí)域參考幀和視間參考幀的合理的被參考，提高編解碼效率。

本發(fā)明具體公開了一種參考圖像管理方法，該方法通過構(gòu)建，移入，刪除等操作管理視間參考圖像隊(duì)列的方法，并通過CU(coding unit)層的標(biāo)識(shí)符來進(jìn)行編碼，從而與時(shí)域參考幀管理相結(jié)合形成一套完整的參考幀管理方法。其具體包括對(duì)依賴視點(diǎn)的編碼，新增一個(gè)視間參考圖像隊(duì)列，單獨(dú)管理視間參考圖像，而不是在原本時(shí)域參考幀隊(duì)列中替換某些時(shí)域參考幀的方式。對(duì)于視間參考標(biāo)識(shí)符的標(biāo)記是以CU為單位，視間參考模式對(duì)應(yīng)的語法元素進(jìn)行編碼到碼流。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的。

一種視間參考圖像管理方法，其包括：

定義和構(gòu)建視間參考幀緩沖區(qū)：定義依賴視點(diǎn)的視間參考幀緩沖區(qū)、所述視間參考幀緩沖區(qū)的大小、其存儲(chǔ)的視間參考圖像類型以及位置，并且構(gòu)建所述視間參考幀緩沖區(qū)；

構(gòu)建和管理依賴視點(diǎn)的視間參考幀隊(duì)列：在所述視間參考圖像緩沖區(qū)存儲(chǔ)來自基準(zhǔn)視點(diǎn)的視間參考幀圖像作為所述依賴視點(diǎn)的視間參考幀隊(duì)列，定義每幀視間參考圖像的幀索引號(hào)、定義何時(shí)移入來自基準(zhǔn)視點(diǎn)的視間參考幀圖像以及定義何時(shí)將其刪除。

優(yōu)選地，構(gòu)建和管理依賴視點(diǎn)的視間參考幀隊(duì)列還包括：在CU(編碼單位)層，編碼端經(jīng)過率失真優(yōu)化決策，判定當(dāng)前塊是否為視間參考?jí)K，若是，則判斷是否是視間參考模式，若是，則將其作為新增的視間參考模式編碼到碼流，以便解碼端識(shí)別所述視間參考?jí)K采用的是視間參考模式。

優(yōu)選地，所述定義何時(shí)移入來自基準(zhǔn)視點(diǎn)的視間參考幀圖像的操作包括：在同一時(shí)刻的基準(zhǔn)視點(diǎn)的圖像的紋理編碼完畢之后，將該基準(zhǔn)點(diǎn)的該時(shí)刻的經(jīng)紋理編碼的圖像移入該依賴視點(diǎn)的視間參考圖像緩沖區(qū)中，作為依賴視點(diǎn)編碼過程中的視間參考圖像；所述定義何時(shí)將其刪除的操作包括：在對(duì)所述視間參考幀隊(duì)列中、編碼的當(dāng)前幀對(duì)應(yīng)的最后一個(gè)依賴視點(diǎn)進(jìn)行紋理和深度均編碼完畢之后，將所述視間參考幀從參考幀隊(duì)列中刪除。

優(yōu)選地，所述構(gòu)建依賴視點(diǎn)的視間參考幀隊(duì)列是在其對(duì)應(yīng)的基準(zhǔn)視點(diǎn)編碼開始之前獨(dú)立完成構(gòu)建。

一種參考圖像管理方法，包括時(shí)域參考圖像管理方法和上述的視間參考圖像管理方法。

與現(xiàn)有技術(shù)相比，本發(fā)明公開的參考圖像管理方法，具有如下有益效果：

既不改變?cè)瓉頃r(shí)域參考幀的管理方式，又有利于視間參考幀從一幀到多幀的擴(kuò)展。通過該發(fā)明提供的時(shí)域和視間參考圖像相結(jié)合的方法，可以大幅度提高依賴視點(diǎn)的編碼性能。

附圖說明

通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。

圖1是根據(jù)本發(fā)明實(shí)施方式的依賴視點(diǎn)的不同類型編碼圖像的參考圖像隊(duì)列形成原理圖；

圖2是根據(jù)本發(fā)明實(shí)施方式的LDP配置下基準(zhǔn)視點(diǎn)和依賴視點(diǎn)的預(yù)測(cè)參考關(guān)系圖；

圖3是根據(jù)本發(fā)明實(shí)施方式的RA配置下基準(zhǔn)視點(diǎn)和依賴視點(diǎn)的預(yù)測(cè)參考關(guān)系圖；

圖4根據(jù)本發(fā)明實(shí)施方式的RA配置下，AVS 3D參考圖像管理方法在RFD中的性能表示圖；

圖5根據(jù)本發(fā)明實(shí)施方式的LDP配置下，AVS 3D參考圖像管理方法在RFD中的性能表示圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施方式。雖然附圖中顯示了本公開的示例性實(shí)施方式，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施方式所限制。相反，提供這些實(shí)施方式是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

本發(fā)明提供了一套基于三維視頻編碼框架的參考圖像的管理方法，具體地，是一種時(shí)域參考和視間參考結(jié)合的3D編碼參考圖像管理方案。其中，對(duì)于時(shí)域參考，同一視點(diǎn)間的圖像參考關(guān)系中，對(duì)于每一個(gè)視點(diǎn)內(nèi)部來說，都維持了同樣的參考幀管理方案。而對(duì)于視間參考，本發(fā)明提出了一種視間參考幀單獨(dú)構(gòu)建，移入，刪除的管理方式。由于視間參考的實(shí)質(zhì)即是依賴視點(diǎn)只能參考基準(zhǔn)視點(diǎn)，對(duì)于基準(zhǔn)視點(diǎn)來說時(shí)域參考幀原有的移入，刪除操作都要相應(yīng)的做出調(diào)整，以供依賴視點(diǎn)合理有效的參考，從而形成一套完善的參考幀管理方法。

在三維視頻編碼中，基準(zhǔn)視點(diǎn)中的圖像只能參考本視點(diǎn)的圖像，依賴視點(diǎn)的圖像可以參考基準(zhǔn)視點(diǎn)中的圖像。在LDP和RA配置下，基準(zhǔn)視點(diǎn)和依賴視點(diǎn)預(yù)測(cè)參考關(guān)系如圖2和圖3所示。每個(gè)視點(diǎn)都單獨(dú)維護(hù)一套參考圖像管理列表，依賴視點(diǎn)的參考圖像列表中加入了視間參考圖像，在當(dāng)前幀編碼結(jié)束之后就將視間參考幀從參考幀隊(duì)列中刪除，其他時(shí)間域的參考幀的添加、刪除操作與基準(zhǔn)視點(diǎn)的參考幀管理機(jī)制一樣。

圖1示出了依賴視點(diǎn)的不同類型編碼圖像的參考圖像隊(duì)列形成原理圖，其中，編碼端中，若依賴視點(diǎn)中的I幀可以參考與其處在同一時(shí)間域的基準(zhǔn)視點(diǎn)圖像編碼，此時(shí)依賴視點(diǎn)的編碼類型從I幀圖像變成P/F幀圖像，此時(shí)參考圖像隊(duì)列中只有基準(zhǔn)視點(diǎn)圖像。依賴視點(diǎn)的P/F幀圖像的參考圖像隊(duì)列包括時(shí)域參考圖像隊(duì)列和視間參考圖像隊(duì)列，其中時(shí)域參考圖像隊(duì)列包含來自同一視點(diǎn)的時(shí)域圖像，視間參考圖像隊(duì)列中包括來自基準(zhǔn)視點(diǎn)的視間參考圖像。依賴視點(diǎn)的B圖像的參考圖像構(gòu)建成兩個(gè)參考圖像隊(duì)列，包含時(shí)域參考圖像隊(duì)列和視間參考圖像隊(duì)列，其中時(shí)域參考圖像隊(duì)列中包含來自同一視點(diǎn)的前后兩個(gè)時(shí)域參考圖像，而視間參考圖像隊(duì)列中包含來自基準(zhǔn)視點(diǎn)的視間參考圖像。

依賴視點(diǎn)圖像在建立視間參考圖像列表的過程中，視間參考圖像緩沖區(qū)中目前只包含一幀圖像，即來自同一時(shí)刻的基準(zhǔn)試點(diǎn)的圖像。也可以擴(kuò)展到包含多個(gè)視間參考圖像。

視間參考圖像的刪除操作是在當(dāng)前幀對(duì)應(yīng)的基準(zhǔn)試點(diǎn)和依賴視點(diǎn)的紋理和深度均編碼完畢之后，再進(jìn)行刪除。

而視間參考圖像的移入操作是在基準(zhǔn)視點(diǎn)的紋理編碼完畢之后，將該基準(zhǔn)視點(diǎn)移入依賴視點(diǎn)的視間參考圖像隊(duì)列中，作為依賴視點(diǎn)編碼過程中的視間參考圖像。

其中，在3D-AVS(audio video coding standard)中圖像類型中，AVS里的解碼圖像包括：

——幀內(nèi)解碼圖像(I圖像)；

——單前向幀間解碼圖像(P圖像)；

——雙向幀間解碼圖像(B圖像)；

——前向幀間解碼圖像(F圖像)；

——應(yīng)輸出的幀內(nèi)解碼場(chǎng)景圖像(G圖像)；

——不應(yīng)輸出的幀內(nèi)解碼場(chǎng)景圖像(GB圖像)；

——應(yīng)參考場(chǎng)景圖像的單前向幀間解碼圖像(S圖像)

本發(fā)明的實(shí)施方式中，時(shí)域參考延用AVS2基準(zhǔn)檔次的管理方法，同時(shí)新構(gòu)建一個(gè)視間參考圖像隊(duì)列來存儲(chǔ)視間參考圖像。本發(fā)明給出了一個(gè)具體實(shí)施例，其實(shí)現(xiàn)了視間參考幀隊(duì)列的構(gòu)建，修改和刪除，過程如下：

一、視間參考圖像隊(duì)列的構(gòu)建

在編碼每一幀之前，時(shí)域參考幀隊(duì)列和視間參考幀隊(duì)列都會(huì)將對(duì)應(yīng)的參考幀緩沖區(qū)構(gòu)建完成。而依賴視點(diǎn)的視間參考幀隊(duì)列的構(gòu)建是在其對(duì)應(yīng)的基準(zhǔn)視點(diǎn)編碼開始之前獨(dú)立完成構(gòu)建。依賴視點(diǎn)的時(shí)域參考幀隊(duì)列的構(gòu)建與基準(zhǔn)視點(diǎn)的時(shí)域參考幀隊(duì)列構(gòu)建采用相同的方法。

具體方法見偽代碼：

If(imgType！＝I_IMG&&imgViewIdx>0){

constructInterRefList()；//構(gòu)建視間參考幀隊(duì)列，完成視間參考相關(guān)的數(shù)據(jù)更新

}

二、視間參考圖移入和刪除

對(duì)于依賴視點(diǎn)，視間參考圖像的移入操作是在同一時(shí)刻的基準(zhǔn)視點(diǎn)編碼完畢之后，將該基準(zhǔn)視點(diǎn)幀移入到視間參考圖像緩沖區(qū)imgInterRefBuf中。刪除操作是在當(dāng)前幀對(duì)應(yīng)的最后一個(gè)依賴視點(diǎn)的紋理和深度編碼完畢之后再進(jìn)行刪除。

具體方法見偽代碼：

移入：

if(imgViewIdx＝＝0){

imgInterRefBuf[pos][isDepth]＝imgTr；//imgTr是當(dāng)前編碼的幀索引號(hào)，也即是POC值。

}

刪除：

if(imgViewIdx＝＝InputViewIdx-1){

imgInterRefBuf[pos][isDepth]＝-256；

}

三、編碼標(biāo)識(shí)符flag的方法

視間參考標(biāo)識(shí)符的判定在CU層進(jìn)行的。對(duì)于依賴視點(diǎn)來說，如果經(jīng)過率失真優(yōu)化決策為視間參考?jí)K，那么會(huì)有一個(gè)interview_flag作為標(biāo)志。如果interview_flag值為1，則說明當(dāng)前塊是視間參考模式，用interview_prediction_mode表示。作為新增的視間參考模式，interview_prediction_mode被編碼進(jìn)碼流，以便解碼端識(shí)別當(dāng)前塊采用的是視間參考模式。

為了測(cè)試本發(fā)明的性能狀況，利用AVS 3D參考軟件RFD5.0作為性能測(cè)試平臺(tái)，測(cè)試結(jié)果如圖4和如圖5所示，我們采用的測(cè)試序列是AVS 3D標(biāo)準(zhǔn)測(cè)試序列。其中，video0，video1和video2分別對(duì)應(yīng)于基準(zhǔn)試點(diǎn)，和兩個(gè)依賴視點(diǎn)。video PSNR欄中的videobitrate和totalbitrate分別為紋理和紋理+深度的性能。最后，synth PSNR對(duì)應(yīng)的是合成視點(diǎn)的性能。如圖4和圖5中所有的數(shù)據(jù)均表示BD-rate。

本發(fā)明提供的視間參考幀管理方法完善了時(shí)域參考的參考關(guān)系，使得其在三維視頻中形成一套完整的參考圖像管理方法。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。