專利名稱：視頻序列編碼方法及視頻序列編碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于視頻編碼技術(shù)，更具體地，有關(guān)于ー種對(duì)圖像結(jié)構(gòu)進(jìn)行運(yùn)動(dòng)補(bǔ)償編譯碼技木。
背景技術(shù)：
在視頻編碼系統(tǒng)中，利用幀間預(yù)測(cè)去除幀間冗余，以減少被傳輸或者被存儲(chǔ)的視頻數(shù)據(jù)。在ー視頻序列中，相鄰的圖片非常相似，簡(jiǎn)單利用相鄰圖片之間的區(qū)別可以有效減少與靜態(tài)背景區(qū)域有關(guān)的傳輸信息。然而，對(duì)于運(yùn)動(dòng)的物體或者動(dòng)態(tài)場(chǎng)景來說，視頻序列會(huì)導(dǎo)致大量殘余，需要更高的比特流去編碼這些殘余。因此，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(Motion Compensated Prediction，以下簡(jiǎn)稱MCP)經(jīng)常被用于與時(shí)間相關(guān)的視頻序列中。在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)系統(tǒng)中，幀內(nèi)編碼被用于傳輸初始圖像(內(nèi)部圖像或者I圖像)。I圖像周期性內(nèi)置以允許快速存取壓縮視頻數(shù)據(jù)或減輕錯(cuò)誤傳輸。在較早的編碼系統(tǒng)中，如MPEG_l/2，視頻序列被分成多個(gè)圖像組(group of pictures，以下簡(jiǎn)稱G0P)，不同類型的圖像組用于不同的應(yīng)用。當(dāng)允許完全隨機(jī)存取壓縮視頻吋，ー視頻序列僅能被編碼成I圖像。然而，當(dāng)系統(tǒng)具有低計(jì)算復(fù)雜性，編碼效率很低。 IPPP圖像組(IPPP G0P)結(jié)構(gòu)包括I圖像和預(yù)測(cè)圖像(P-Pictures)，其中P幀經(jīng)過前向運(yùn)動(dòng)預(yù)測(cè)處理。IPPP圖像組結(jié)構(gòu)一般能達(dá)到比僅I圖像處理更好的編碼效率。基于IPPP圖像組結(jié)構(gòu)的編碼系統(tǒng)具有低處理延遲，因?yàn)樵撎幚淼漠?dāng)前圖像僅取決于當(dāng)前圖像之前已編碼圖像，而不需要等待下ー圖像。因此，該IPPP GOP結(jié)構(gòu)更適合與低延遲應(yīng)用，如視頻會(huì)議。 IBBP GOP結(jié)構(gòu)是另ー種廣泛應(yīng)用的基于MPEG-1/2標(biāo)準(zhǔn)的編碼結(jié)構(gòu)。除了 I圖像和P圖像， IBBP圖像組結(jié)構(gòu)設(shè)置一個(gè)或者更多個(gè)B圖像于I圖像和P圖像之間，或者設(shè)置ー個(gè)或更多個(gè)B圖像于兩個(gè)P圖像之間。在MPEG-1/2標(biāo)準(zhǔn)中，B圖像是基于在顯示順序上的前ー圖像和后一圖像進(jìn)行雙向預(yù)測(cè)的圖像。該IBBP圖像組結(jié)構(gòu)因?yàn)榛陔p向運(yùn)動(dòng)預(yù)測(cè)，所以需要更高的計(jì)算復(fù)雜性。然而，該IBBP圖像組結(jié)構(gòu)相對(duì)于該IPPP圖像組結(jié)構(gòu)更加節(jié)省比特率。在H. ^4/AVC標(biāo)準(zhǔn)中，建立預(yù)測(cè)類型的間隔的應(yīng)用基于更小的尺寸，稱之為片 (slice)。一個(gè)片是指同一圖像中空間上不同的區(qū)域，其在同一圖像中可以獨(dú)立進(jìn)行編碼。 在H. ^4/AVC標(biāo)準(zhǔn)中，I片，P片及B片取代了 I圖像，P圖像及B圖像，用于表示編碼區(qū)域各自的預(yù)測(cè)類型。通常，圖像被分割成宏塊(macroblock)，每ー個(gè)宏塊可以選擇一獨(dú)立的預(yù)測(cè)類型。如在H. ^4/AVC標(biāo)準(zhǔn)和新興的高效編碼標(biāo)準(zhǔn)中，預(yù)測(cè)圖像可以使用多個(gè)預(yù)先解碼圖像作為參考，而且預(yù)測(cè)幀與用于預(yù)測(cè)的圖片之間有任意顯示順序的聯(lián)系。當(dāng)在MPEG-1/2 標(biāo)準(zhǔn)中，B圖像是通過雙向預(yù)測(cè)進(jìn)行圖像編碼，而在H. 264和HEVC標(biāo)準(zhǔn)中，雙預(yù)測(cè)圖像可以用列表0中的參考圖像也可以用列表1中的參考圖像。在H.洸4和HEVC標(biāo)準(zhǔn)中，分層圖像組結(jié)構(gòu)(hierarchical GOP structure)包括分層P圖像組及分層B圖像組，允許時(shí)間擴(kuò)展性。另ー方面，低延遲B圖像組結(jié)構(gòu)也被掲示， 所有的B圖像被用于低延遲，從列表0及列表1中使用的參考圖像，該參考圖像包括顯示順序優(yōu)先于該B圖像的圖像。發(fā)展的新的GOP圖像組結(jié)構(gòu)具有高編碼率及時(shí)間擴(kuò)展性的分層GOP圖像組結(jié)構(gòu)還具有B圖像的低延遲特性。因此，本發(fā)明掲示了ー種低延遲的分層B圖像組結(jié)構(gòu)。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明目的之ー在于提供一種視頻序列編譯碼方法，以解決視頻編碼效率較低的問題。本發(fā)明提供一種視頻序列編譯碼方法，該視頻序列編譯碼方法包括如下步驟劃分多個(gè)圖像成圖像組；劃分該圖像組成至少包含ニ時(shí)間層的分層結(jié)構(gòu)中；對(duì)每一圖像組中的圖像進(jìn)行編碼，編碼成I圖像和低延遲B圖像或者I圖像和低延遲P圖像，其中，低延遲 B圖像使用的參考圖像來源于列表0及列表1，該列表0及該列表1中的圖像的顯示順序均優(yōu)先于該低延遲B圖像；其中，該I圖像僅設(shè)置于最低時(shí)間層，至少ー個(gè)低延遲B圖像設(shè)置在高于該最低時(shí)間層的時(shí)間層，該最低時(shí)間層的第一個(gè)圖像不能參考任何高于該最低時(shí)間層的其它時(shí)間層內(nèi)的圖像。本發(fā)明目的之ー在于提供一種視頻序列編譯碼裝置，解決視頻編碼效率較低的問題。該視頻序列編譯碼裝置包括一圖像劃分模塊，用于劃分多個(gè)圖像成圖像組；一分層模塊，用于將該圖像組劃分成至少包含ニ時(shí)間層的分層結(jié)構(gòu)；ー編碼模塊，用于對(duì)每ー圖像組中的圖像進(jìn)行編碼，編碼成I圖像或者低延遲B圖像，其中，低延遲B圖像使用的參考圖像來源于列表0及列表1，該列表0及該列表1中的圖像的顯示順序均優(yōu)先于該低延遲B 圖像；其中，該I圖像僅設(shè)置于最低時(shí)間層，至少ー個(gè)低延遲B圖像設(shè)置在高于該最低時(shí)間層的時(shí)間層，該最低時(shí)間層的第一個(gè)圖像不能參考任何高于該最低時(shí)間層的其它時(shí)間層內(nèi)的圖像。通過本發(fā)明對(duì)圖像特性化的編碼和分層設(shè)置，實(shí)現(xiàn)了較高的編碼效率。提高了系統(tǒng)性能。為了讓本發(fā)明的上述和其他目的、特征、和優(yōu)點(diǎn)能更明顯易懂，下文特舉數(shù)較佳實(shí)施例，并配合所附圖示，作詳細(xì)說明如下


圖1是使用兩個(gè)參考圖像的低延遲IPPP圖像組結(jié)構(gòu)的示意圖。圖2是使用兩個(gè)參考圖像的低延遲IBBB圖像組結(jié)構(gòu)的示意圖。圖3是使用一個(gè)或者兩個(gè)參考圖像的低延遲分層P圖像組結(jié)構(gòu)的示意圖。圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的，使用一個(gè)或者兩個(gè)參考圖像的低延遲分層B 圖像組結(jié)構(gòu)示意圖。圖5是圖4所示的圖像組結(jié)構(gòu)的圖像時(shí)間分層的分布示意圖。
具體實(shí)施例方式在說明書及權(quán)利要求當(dāng)中使用了某些詞匯來指稱特定組件。所屬領(lǐng)域中技術(shù)人員應(yīng)可理解，制造商可能會(huì)用不同的名詞來稱呼同一個(gè)組件。本說明書及權(quán)利要求并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的準(zhǔn)則。在通篇說明書及權(quán)利要求當(dāng)中所提及的“包括”和“包含”為開放式的用語，故應(yīng)解釋成“包含但不限定干”。以外，“耦接”一詞在此包含任何直接及間接的電氣連接手段。間接的電氣連接手段包括通過其它裝置進(jìn)行連接。相似地，裝置實(shí)施例的示意圖多為半原理性的，不限于圖式中描述的尺寸，而且圖式尺寸僅用于說明本發(fā)明，故將其夸大而顯示于圖式中。當(dāng)揭露的多個(gè)實(shí)施例具有共同特點(diǎn)時(shí)，為了說明以及示意，相似的組件具有相同的標(biāo)號(hào)，所屬領(lǐng)域技術(shù)人員可以了解。所以在后續(xù)的圖式中，不進(jìn)行贅述。在視頻編碼系統(tǒng)中，利用幀間預(yù)測(cè)去除幀間冗余，以減少被傳輸或者被存儲(chǔ)的視頻數(shù)據(jù)。對(duì)于靜態(tài)背景區(qū)域，在ー視頻序列中，相鄰的圖片非常相似，簡(jiǎn)單利用相鄰圖片之間的區(qū)別可以有效減少傳輸信息。然而，對(duì)于運(yùn)動(dòng)的物體或者動(dòng)態(tài)場(chǎng)景來說，視頻序列會(huì)導(dǎo)致大量殘余，需要更高的比特流去編碼這些殘余。因此，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)經(jīng)常被用干與幀間相關(guān)的視頻序列中。在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)系統(tǒng)中，幀內(nèi)編碼被用于傳輸初始圖像(內(nèi)部圖像或者 I圖像)。I圖像周期性內(nèi)置以允許快速存取壓縮視頻數(shù)據(jù)或減輕錯(cuò)誤傳輸。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)可以利用一種前向預(yù)測(cè)的方式，該前向預(yù)測(cè)對(duì)當(dāng)前畫面的預(yù)測(cè)是利用一已解碼的畫面或者在顯示順序上優(yōu)先于當(dāng)前畫面的畫面。除了前向預(yù)測(cè)外，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)也應(yīng)用后向預(yù)測(cè)以提高預(yù)測(cè)表現(xiàn)。該后向預(yù)測(cè)對(duì)當(dāng)前幀的預(yù)測(cè)是利用一已解壓的畫面或者在顯示順序上落后于當(dāng)前畫面的畫面。自H. 264/AVC的第一版定稿于2003年，前向預(yù)測(cè)和后向預(yù)測(cè)已經(jīng)擴(kuò)展到分別對(duì)列表0的參考圖像預(yù)測(cè)和對(duì)列表1的參考圖像預(yù)測(cè)。該列表0及列表1包括多個(gè)在顯示順序上優(yōu)先或者落后于當(dāng)前圖像的參考圖像。在本領(lǐng)域中，“幀”和“圖片”這兩個(gè)詞經(jīng)常被交換使用，而嚴(yán)格來講，“圖片”是ー個(gè)更概括的概念，它既可以被提及為“幀”也可以被提及為“域”。另ー方面，“幀”是ー個(gè)“幀” 周期內(nèi)捕捉的一完整圖像，而“域”包括奇數(shù)掃描線，則稱為奇數(shù)域，“域”包括偶數(shù)掃描線， 則稱為偶數(shù)域。當(dāng)視頻圖片為交錯(cuò)格式，被傳輸?shù)拿咯`幀視頻包括一奇數(shù)域及一偶數(shù)域。 將被用來作為預(yù)測(cè)其他圖像參考的圖像定義為參考圖像，而將不被用來作為預(yù)測(cè)其他圖像參考的圖像，定義為非參考圖像。當(dāng)一圖像被編碼且不以其他圖像作為參考，則稱之為I圖像。圖像使用単一的運(yùn)動(dòng)方向以預(yù)測(cè)每一區(qū)域，則稱之為P圖像。同樣的，圖像允許雙向運(yùn)動(dòng)預(yù)測(cè)每一區(qū)域，則稱之為B圖像。在H. ^4/AVC標(biāo)準(zhǔn)中，建立預(yù)測(cè)類型的間隔的應(yīng)用基于更小的尺寸，稱之為片 (slice)。一個(gè)片是指同一圖像中空間上不同的區(qū)域，其在同一圖像中可以獨(dú)立進(jìn)行編碼。 在H. ^4/AVC標(biāo)準(zhǔn)中，I片，P片及B片取代了 I圖像，P圖像及B圖像，用于表示編碼區(qū)域各自的預(yù)測(cè)類型。通常，圖像被分割成宏塊(macroblock)，每ー個(gè)宏塊可以選擇一獨(dú)立的預(yù)測(cè)類型。H. 264/AVC標(biāo)準(zhǔn)中，對(duì)圖像的預(yù)測(cè)類型定義如下I圖像可以僅包括幀內(nèi)宏塊；P圖像可以包括幀內(nèi)宏塊及預(yù)測(cè)宏塊；B圖像可以包括幀內(nèi)宏塊、預(yù)測(cè)宏塊及雙向預(yù)測(cè)宏塊。同樣的，幀依據(jù)預(yù)測(cè)類型也可以被分為I幀、P幀及B幀。同樣的，可以依據(jù)上述圖像類型的定義規(guī)則，將幀定義為I幀、P幀及B幀。在較早的視頻編碼標(biāo)準(zhǔn)中，如MPEG-1/2中，被預(yù)測(cè)幀(如P幀/圖像/片)只有一個(gè)在顯示順序上優(yōu)先的解碼幀被用來作為參考。然而，在H.沈4/AVC標(biāo)準(zhǔn)中，被預(yù)測(cè)的幀可能用多個(gè)之前已解碼的幀作為參考，而且該被預(yù)測(cè)的幀可以與該參考幀之間具有任意顯示順序。如雙向預(yù)測(cè)幀(B幀/圖片/片)，該雙向預(yù)測(cè)幀可能還包括一預(yù)測(cè)模式，該預(yù)測(cè)模式中的預(yù)測(cè)值來源于對(duì)預(yù)測(cè)的運(yùn)動(dòng)區(qū)域，如一宏塊或者更小的區(qū)域?qū)Σ煌呀獯a的參考區(qū)域預(yù)測(cè)值的平均值。在較早的視頻編碼標(biāo)準(zhǔn)中，如MPEG-1/2中，只有兩個(gè)事先解碼的參考區(qū)域，一個(gè)顯示順序上早于當(dāng)前幀的參考幀，另ー個(gè)是顯示順序上后于該當(dāng)前幀的參考幀而且，在MPEG-1/2中，B幀不用于作為解碼其他幀的參考幀。然而，在H. ^4/AVC中，B幀在解碼過程中允許使用多個(gè)已解碼的圖像作為參考，而且B幀與作為其參考幀的圖像之間是任意顯示順序。B幀也可以作為解碼其他圖像的參考幀。在多種預(yù)測(cè)類型中，I幀(I圖像/1分片)相較于P幀和B幀需要分配更多的比特率以達(dá)到較好的系統(tǒng)性能。而且，P幀(P圖像/P分片)一般比B幀(B圖像/B分片)分配更多的比特率以達(dá)到更好系統(tǒng)性能。該比特率的分配機(jī)制一般通過量化參數(shù)(qimatization parameter, QP)調(diào)整來實(shí)現(xiàn)。較大的量化參數(shù)因?yàn)榇植诘牧炕瘯?huì)得到較低的比特率，而較小的量化參數(shù)因?yàn)榧?xì)致的量化會(huì)得到較高的比特率。在視頻編碼系統(tǒng)中，圖像一般分組，以形成圖像組(GOP)，而且每ー圖像組以ー自包含的単元被傳輸或被存儲(chǔ)。在視頻編碼系統(tǒng)中有多種圖像組結(jié)構(gòu)。不同的圖像組結(jié)構(gòu)能夠?qū)崿F(xiàn)不同的編碼效率，也需要不一樣的資源，如計(jì)算復(fù)雜性，記憶體存儲(chǔ)，記憶體讀取。 舉例來說，ー個(gè)內(nèi)部圖像組結(jié)構(gòu)(Intra GOP)，所有的圖像均被編碼成I圖像，則該htra GOP的編碼效率低。因?yàn)闆]有使用任何運(yùn)動(dòng)補(bǔ)償，計(jì)算復(fù)雜性低。該htra GOP允許隨機(jī)讀取本組內(nèi)任意ー圖像而不需要對(duì)鄰近的圖片進(jìn)行解碼。該IPPP GOP結(jié)構(gòu)處理本組中的第一個(gè)圖像如同處理ー個(gè)I圖像，處理其他的圖像則如處理P圖像ー樣按照順序進(jìn)行處理。 該IPPP GOP的第一個(gè)圖像也可能是P圖像，其需要參考前一組圖像中已解碼的圖像。I圖像可以被周期性地內(nèi)置在該IPPP圖片組中以提高圖片的讀取能力，或者當(dāng)比特流中存在錯(cuò)誤的時(shí)候，用來緩解錯(cuò)誤的傳播。該IPPP GOP相對(duì)于該htra GOP結(jié)構(gòu)，包含更高的計(jì)算復(fù)雜性且壓縮效果更好。解碼ー個(gè)P圖像不需要依賴于顯示順序上后出現(xiàn)的圖片，因此適合低延遲的應(yīng)用。另ー種流行的GOP結(jié)構(gòu)使用較老的標(biāo)準(zhǔn)，如MPEG-1/2，是IBBP圖像組結(jié)構(gòu)。該IBBP GOP結(jié)構(gòu)使用一個(gè)或多個(gè)雙向預(yù)測(cè)圖像，B圖像(bi-directional picture, B-pictures)設(shè)置于該I圖像和P圖像之間或者兩個(gè)P圖像之間。舉例來說，在MPEG-1/2 標(biāo)準(zhǔn)中，該B圖像是非參考圖像，且用小寫字母“b”定義該非參考B圖像。該IBBP GOP的編碼順序?yàn)镮。，P3，b1 b2，P6, b4，b5，P9, b7，....，通常，該 IBBP GOP 結(jié)構(gòu)較該 IPPP GOP 結(jié)構(gòu)計(jì)算復(fù)雜性更高，可以實(shí)現(xiàn)更好的編碼率。除了上述的內(nèi)部圖像組、IPPP圖像組及IBBP圖像組結(jié)構(gòu)，還有具有時(shí)間擴(kuò)展性的分層B圖像組結(jié)構(gòu)和分層P圖像組結(jié)構(gòu)。該分層B圖像組結(jié)構(gòu)包括多個(gè)B圖像設(shè)置于ー個(gè) I圖像及ー個(gè)P圖像之間，或者設(shè)置于兩個(gè)P圖像之間。該多個(gè)B圖像形成一個(gè)分層結(jié)構(gòu)。 以ー個(gè)圖像組長度為8的分層B圖像組來說，該分層B圖像組可能包括レbi; B2, b3，B4, b5， B6, b7, P8,..., P16，, ... , P24，...，其中，非參考B圖像用小寫字母“b”表示，而參考B圖像用大寫字母“B”表示。此外，該I圖像被周期性設(shè)置于該分層B圖像組。該分層B圖像組結(jié)構(gòu)的編碼順序可以為:10，P8, B4, B2, B6, b” b3，b5，b7，P16, · · ·，P24，· · ·或者 I0, P8, B4, B2, b1 b3，B6, b5，b7，P16, · · ·，P24, · · · ·。在上述例子中，圖像 8n(如，I0, P8, P16, P24, · · ·)表示時(shí)間層0，其中N為整數(shù)。圖像8N+4被表示時(shí)間層1，且圖像(8N+2)和(8N+6)被表示為時(shí)間層2，圖像(8N+1), (8N+3), (8N+5)和(8N+7)被表示為時(shí)間層3。為了支持時(shí)間擴(kuò)展性，當(dāng)前圖像不能參考較其所處時(shí)間層更高的時(shí)間層中的圖像。為了支持在ー個(gè)入口隨機(jī)讀取任意的幀內(nèi)圖像，一幀內(nèi)圖像之后的幀間圖像不能參考顯示順序優(yōu)先于該幀內(nèi)圖像的任何圖像。為了實(shí)現(xiàn)更好的系統(tǒng)性能，比較I圖像及P圖像，該編碼系統(tǒng)中I圖像應(yīng)用更小的量化參數(shù)。比較P圖像及B圖像，該編碼系統(tǒng)中P圖像應(yīng)用更小的量化參數(shù)。在多個(gè)該B圖像中，較低的時(shí)間層應(yīng)用較小量化參數(shù)。在本示例中，處于最高時(shí)間層的圖像為非參考圖像。 然而，處于最高時(shí)間層的圖像也是可以被參考的。相較于上述圖像組長度為8的示例，長度更長的圖像組會(huì)使用更多的時(shí)間層。如，圖像組長度為16或者32。上述時(shí)間分層結(jié)構(gòu)也可以應(yīng)用IPPP圖像組結(jié)構(gòu)。如，圖像組長度為4的分層P圖像組包括10，P1, P2, P3，P4, P5, P6, b7, P8,...，其中，非參考P圖像用小寫字母“P”表示，參考 P圖像用大寫字母“P”表示。此外，I圖像周期性插入在該分層P圖像組中。該分層P圖像組的編碼可以順序?yàn)镮Q，P1, P2, P3，P4，P5，P6, b7，P8，· · · ·。在這個(gè)示例中，圖像4n(如，I0, P4，P8，...)定義為時(shí)間層0。圖像4N+2定義為時(shí)間層1。圖像4N+1和4N+3定義為時(shí)間層 2。為了支持時(shí)間擴(kuò)展性，當(dāng)前圖像不能參考較其所在時(shí)間層更高的時(shí)間層中的圖像。為了支持在ー個(gè)入ロ隨機(jī)讀取任意的幀內(nèi)圖像，一幀內(nèi)圖像之后的幀間圖像不能參考顯示順序優(yōu)先于該幀內(nèi)圖像的任何圖像。為了實(shí)現(xiàn)更好的系統(tǒng)性能，比較I圖像及P圖像，該編碼系統(tǒng)中I圖像應(yīng)用更小的量化參數(shù)。在該P(yáng)圖像中，較低的時(shí)間層應(yīng)用較小量化參數(shù)。上述示例中，處于最高時(shí)間層的圖像為非參考圖像。然而，處于最高時(shí)間層的圖像也是可以被參考的。如上述圖像組長度為4的示例中，長度更長的圖像組會(huì)使用更多的時(shí)間層。如，圖像組長度為8或者16。隨著HEVC的發(fā)展，也使用同傳統(tǒng)的IPPP圖像組結(jié)構(gòu)一祥的低延遲IPPP圖像組結(jié)構(gòu)。如圖1所示，ー個(gè)低延遲IPPP圖像組結(jié)構(gòu)可能包括IQ，P1, LD, P2, LD, P3, LD, P4, LD, P5, LD, P6, LD, P7, LD, P8, LD，...，其中LD表示低延遲。該低延遲P圖像是一種依賴于列表 0的參考圖像的P圖像。該列表0僅包含顯示順序優(yōu)先于該P(yáng)圖像的圖像。如圖1所示的該低延遲IPPP圖像組結(jié)構(gòu)使用兩個(gè)參考圖片。其中POC是圖像依照顯示順序在圖1中排列順序的縮寫。隨著HEVC的發(fā)展，該低延遲IBBB圖像組結(jié)構(gòu)也被掲示。如圖2所示，ー個(gè)低延遲 IBBB 圖像組結(jié)構(gòu)可能包括IQ，B1, LD, B2, LD, B3, LD, B4, LD, B5, LD, B6, LD, B7, LD, B8, LD，...，其中LD表示低延遲。該低延遲B圖像使用的參考圖片來源于列表0及列表1。該列表0及該列表1僅包括顯示順序優(yōu)先于該B圖像的參考圖片，如僅使用前向預(yù)測(cè)。如圖2 所示的IBBB圖像組結(jié)構(gòu)，使用兩個(gè)參考圖片。其中大寫字母“B”表示參考B圖像。此外， I圖像周期性插入在該IBBB圖像組中。I圖像的量化參數(shù)一般小于B圖像的量化參數(shù)。如圖2所示，在HEVC的發(fā)展中，GPB暫時(shí)用于表示通用的B圖像。在HEVC的發(fā)展中，一種低延遲分層P圖像組結(jié)構(gòu)，如同傳統(tǒng)的P分層圖像組結(jié)構(gòu)一祥被使用。ー種圖像組長度為4的低延遲分層P圖像組結(jié)構(gòu)如圖3所示。在圖3所示的實(shí)施例中，P4使用Itl作為參考圖像，P8使用P4作為參考圖像，P2使用Itl作為參考圖像，且該P(yáng)6使用P4和P2作為參考圖像。在最高層中，P1使用Itl作為ー參考圖像，P3使用P2和I。 作為參考圖像，P5使用該P(yáng)4和P2作為參考圖像，P7使用該P(yáng)6及該P(yáng)4作為參考圖像。該編碼順序也可以為如同顯示順序，為0，1，2，3，4，5，6，7，8，...。此外，為了實(shí)現(xiàn)更好的系統(tǒng)性能，該編碼系統(tǒng)對(duì)I圖像采用的量化參數(shù)比對(duì)P圖像采用的量化參數(shù)小。而在P圖像之間，較低時(shí)間層的P圖像使用的量化參數(shù)較小。如上述內(nèi)容所述，低延遲B圖像能夠使用在IBBB圖像組結(jié)構(gòu)中，在HEVC發(fā)展中， 低延遲B圖像組也能被用于分層B圖像組結(jié)構(gòu)中最低時(shí)間層的B圖像。如，一個(gè)分層B圖像組結(jié)構(gòu)可能包括 10，b” B2, b3，B4, b5，B6, b7，B8, LD，…，B16, LD，· · ·，B24, LD,...，其中，非參
考B圖像用小寫字母“b”表示，參考B圖像用大寫字母“B”表示。該分層B圖像組結(jié)構(gòu)的圖像組長度為8。其中“ LD”表示低延遲B圖像。該分層B圖像組的編碼順序可以是山，B8,
LD, B4J B2, B6, bj, b3，b5, D7, B16,しJ，. . . , B24 LD, . . . BX1^ 10，B8, LD, d4，B2, bj, b3, D6, b5, b7,
B16, LD，· · ·，B24, LD，· · ·.。在這個(gè)示例中，圖像も(如，10，B8, LD, B16, LD, ... , B24, LD,...) 定義為時(shí)間層0，N為整數(shù)。圖像(8N+4)定義為時(shí)間層1，圖像(8N+2)和(8N+6)定義為時(shí)間層2，圖像(8N+1), (8N+3), (8N+5)和(8N+7)定義為時(shí)間層3。為了支持時(shí)間擴(kuò)展性，當(dāng)前圖像不能參考較其所在時(shí)間層更高的時(shí)間層中的圖像。為了支持在ー個(gè)入口隨機(jī)讀取任意的幀內(nèi)圖像，一幀內(nèi)圖像之后的幀間圖像不能參考顯示順序優(yōu)先于該幀內(nèi)圖像的任何圖像。為了實(shí)現(xiàn)更好的系統(tǒng)性能，比較I圖像及B圖像，該編碼系統(tǒng)中I圖像應(yīng)用更小的量化參數(shù)。在該B圖像中，較低的時(shí)間層應(yīng)用較小量化參數(shù)。如上述圖像組長度為8的示例中， 長度更長的圖像組會(huì)使用更多的時(shí)間層。如，圖像組長度為16或者32。上述示例中，處于最高時(shí)間層的圖像為非參考圖像。然而，處于最高時(shí)間層的圖像也是可以被參考的。圖2所示的IBBB圖像組結(jié)構(gòu)中使用的所有B圖像均為低延遲B圖像。且在上述示例中描述的分層B圖像組中，該延遲B圖像僅用于最低時(shí)間層。本發(fā)明掲示的低延遲分層B圖像組結(jié)構(gòu)中圖像進(jìn)行時(shí)間性分層，且低延遲B圖像的使用超出最低時(shí)間層。請(qǐng)參閱圖4，是本發(fā)明ー實(shí)施例所述的低延遲分層B圖像組結(jié)構(gòu)。本實(shí)施例中該低延遲分層B圖像組的圖像類型為:10，b” LD, B2, LD, b3，LD, B4, LD, b5，LD, B6, LD, b7，LD, B8, LD,...，其中數(shù)字下標(biāo)表示圖像的顯示順序。該低延遲分層B圖像組的長度為4。圖像分成三個(gè)時(shí)間層，其中圖像4N屬于時(shí)間層0，圖像GN+2)屬于時(shí)間層1，圖像GN+1)和GN+3)屬于時(shí)間層2。 圖5所示的時(shí)間分層結(jié)構(gòu)與該圖4所示的圖像組結(jié)構(gòu)一致。為了支持時(shí)間擴(kuò)展性，當(dāng)前圖像不能參考較其更高時(shí)間層中的圖像。為了支持在ー個(gè)入口隨機(jī)讀取任意的幀內(nèi)圖像，一幀內(nèi)圖像之后的幀間圖像不能參考顯示順序優(yōu)先于該幀內(nèi)圖像的任何圖像。該B圖像可以是參考圖像也可以是非參考圖像，其中大寫字母“B”表示參考圖像，而小寫字母“b”表示非參考圖像。圖5中時(shí)間層2所示的圖像(b1; LD, b3，LD, b5，LDdP b7，LD)均為非參考圖像， 也可以是參考圖像。該低延遲分層B圖像組結(jié)構(gòu)的編碼方法與顯示順序一祥，單純的分層B圖像組也使用同樣的處理方法。而且，每ー當(dāng)前圖像的可以被編碼而不依賴于在其后顯示的圖像。該低延遲分層B圖像組結(jié)構(gòu)適合低延遲應(yīng)用。本發(fā)明中該低延遲分層B圖像組結(jié)構(gòu)的處理順序和顯示順序一致，編碼器也可以選擇其他順序。為了優(yōu)化系統(tǒng)性能，本實(shí)施例中該I圖像的量化參數(shù)一般小于該Β4Ν,ω圖像的量化參數(shù)，其中N為整數(shù)。同樣的，Β4Ν,ω圖像的量化參數(shù)一般小于該Β4Ν+2,ω圖像的量化參數(shù)，B4N+2,LD圖像的量化參數(shù)一般小于該Β4Ν+1,ω和該Β4Ν+3, LD圖像的量化參數(shù)。該低延遲分層B圖像組結(jié)構(gòu)的編碼效率一般較該分層P圖像組結(jié)構(gòu)的編碼效率好。下附表格比較顯示了該低延遲IBBB圖像組(LD-IBBB)，低延遲分層P圖像組 (LD-HP)，低延遲分層B圖像組(LD-HB)及低延遲IPPP圖像組(LD-IPPP)之間不同參數(shù)的對(duì)比，所述參數(shù)包括壓縮效率、編碼時(shí)間和解碼時(shí)間。在BD-rate欄的負(fù)數(shù)顯示的是減少的比特率。如下表所示，該LD-IBBB的壓縮效率好于該LD-IPPP，本發(fā)明實(shí)施例中的LD-HB 的總編碼效率要好過LD-HP的編碼效率。對(duì)比LD-HB及LD-HP，在U分量及V分量的壓縮效率一致的情況下，對(duì)于Y分量的比特率節(jié)省，LD-HB相較于LD-HP要多節(jié)省7. 20%。因?yàn)樵揢分量及V分量通常被編碼以節(jié)省空間分辨率，在整個(gè)系統(tǒng)中占用小的比特率。因此，在 Y分量上進(jìn)ー步節(jié)省7. 20%的比特率在高級(jí)視頻編碼領(lǐng)域是ー個(gè)標(biāo)志性的進(jìn)步。根據(jù)上述低延遲分層B圖像組結(jié)構(gòu)的編碼要求，該低延遲分層B圖像組結(jié)構(gòu)中的ー圖像可以被替換編碼成P圖像，也可以實(shí)現(xiàn)較高的編碼效率及擴(kuò)展性。
權(quán)利要求
1.一種視頻序列編碼方法，該視頻序列包括多個(gè)圖像；該編碼方法包括如下步驟將該多個(gè)圖像劃分成一圖像組；將該圖像組中的圖像劃分至包含分層結(jié)構(gòu)的至少ニ時(shí)間層中；對(duì)該圖像組中的每個(gè)圖像進(jìn)行編碼，編碼成I圖像和低延遲B圖像，其中，該低延遲B 圖像使用的參考圖像來源于列表0及列表1，該列表0及該列表1中的圖像的顯示順序均優(yōu)先于該低延遲B圖像；其中，該I圖像僅設(shè)置于最低時(shí)間層，至少ー個(gè)該低延遲B圖像設(shè)置在高于該最低時(shí)間層的時(shí)間層，該最低時(shí)間層的第一個(gè)圖像不能參考任何高于該最低時(shí)間層的其它時(shí)間層內(nèi)的圖像。
2.如權(quán)利要求1所述的視頻序列編碼方法，其特征在于，該最低時(shí)間層內(nèi)圖像的量化參數(shù)較非該最低時(shí)間層的圖像的量化參數(shù)小。
3.如權(quán)利要求1所述的視頻序列編譯碼方法，其特征在于，該最低時(shí)間層內(nèi)I圖像的量化參數(shù)較低延遲B圖像的量化參數(shù)小。
4.如權(quán)利要求1所述的視頻序列編碼方法，其特征在干，非最高層級(jí)內(nèi)的圖像作為參考圖像。
5.如權(quán)利要求1所述的視頻序列編譯碼方法，其特征在干，最高時(shí)間層的圖像為非參考圖像。
6.如權(quán)利要求1所述的視頻序列編譯碼方法，其特征在干，I圖像周期性的分布于該最低時(shí)間層內(nèi)。
7.如權(quán)利要求1所述的視頻序列編譯碼方法，其特征在于，該圖像組中的ー圖像被編碼成P圖像。
8.如權(quán)利要求1所述的視頻序列編譯碼方法，其特征在干，圖像組中的圖像的編碼順序與顯示順序一致。
9.一種視頻序列編譯碼裝置，包含一圖像劃分模塊，劃分多個(gè)圖像成圖像組；一分層模塊，將該圖像組劃分成至少包含ニ時(shí)間層的分層結(jié)構(gòu)；一編碼模塊，對(duì)每ー圖像組中的圖像進(jìn)行編碼，編碼成I圖像和低延遲B圖像，其中，該低延遲B圖像使用的參考圖像來源于列表0及列表1，該列表0及該列表1中的圖像的顯示順序均優(yōu)先于該低延遲B圖像；其中，該I圖像僅設(shè)置于最低時(shí)間層，至少ー個(gè)低延遲B圖像設(shè)置在高于該最低時(shí)間層的時(shí)間層，該最低時(shí)間層的第一個(gè)圖像不能參考任何高于該最低時(shí)間層的其它時(shí)間層內(nèi)的圖像。
10.如權(quán)利要求9所述的視頻序列編譯碼裝置，其特征在于，該最低時(shí)間層內(nèi)圖像的量化參數(shù)較非該最低時(shí)間層內(nèi)圖像的量化參數(shù)小。
11.如權(quán)利要求9所述的視頻序列編譯碼裝置，其特征在于，該最低時(shí)間層內(nèi)I圖像的量化參數(shù)較低延遲B圖像的量化參數(shù)小。
12.如權(quán)利要求9所述的視頻序列編譯碼裝置，其特征在干，非最高層級(jí)內(nèi)的圖像作為參考圖像。
13.如權(quán)利要求9所述的視頻序列編譯碼裝置，其特征在干，最高時(shí)間層的圖像為非參考圖像。
14.如權(quán)利要求9所述的視頻序列編譯碼裝置，其特征在干，I圖像周期性的分布于該最低時(shí)間層內(nèi)。
15.如權(quán)利要求9所述的視頻序列編譯碼裝置，其特征在于，該圖像組中的ー圖像被編碼成P圖像。
16.如權(quán)利要求9所述的視頻序列編譯碼裝置，其特征在干，圖像組中的圖像的編碼順序與顯示順序一致。
全文摘要
一種視頻序列編譯碼方法，該視頻序列編譯碼方法包括如下步驟劃分多個(gè)圖像成圖像組；劃分該圖像組成至少包含二時(shí)間層的分層結(jié)構(gòu)中；對(duì)每一圖像組中的圖像進(jìn)行編碼，編碼成I圖像或者低延遲B圖像，其中，低延遲B圖像使用的參考圖像來源于列表0及列表1，該列表0及該列表1中的圖像的顯示順序均優(yōu)先于該低延遲B圖像；其中，該I圖像僅設(shè)置于最低時(shí)間層，至少一個(gè)低延遲B圖像設(shè)置在高于該最低時(shí)間層的時(shí)間層，該最低時(shí)間層的第一個(gè)圖像不能參考任何高于該最低時(shí)間層的其它時(shí)間層內(nèi)的圖像。該方法能實(shí)現(xiàn)較高的編譯碼效率。
文檔編號(hào)H04N7/32GK102572422SQ20111036325
公開日2012年7月11日 申請(qǐng)日期2011年11月16日 優(yōu)先權(quán)日2010年12月7日
發(fā)明者林建良, 蔡玉寶, 黃毓文 申請(qǐng)人:聯(lián)發(fā)科技股份有限公司