專(zhuān)利名稱(chēng)：利用基于圖像的超前查看窗口進(jìn)行速率控制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號(hào)的壓縮編碼，更具體地說(shuō)，涉及用于雙通路壓縮編碼/碼轉(zhuǎn)換(transcoding)的、利用基于圖像的超前查看(lookahead)窗口而進(jìn)行的速率控制。
背景技術(shù)：
公知的兩個(gè)用于數(shù)字視頻壓縮的國(guó)際標(biāo)準(zhǔn)是MPEG2(H.262)和H.264(MPEG4的部分10)。還存在若干個(gè)可應(yīng)用本發(fā)明的其他標(biāo)準(zhǔn)，如H.261、MPEG1和H.263，但是下面本發(fā)明實(shí)施例的描述主要涉及MPEG2和H.264，因此我們不討論其他的標(biāo)準(zhǔn)。
未經(jīng)壓縮的視頻流可被描述為連續(xù)的一系列圖像(picture)或幀。各個(gè)幀描述了在時(shí)間上某一特定時(shí)刻的特定畫(huà)面(setting)。一幅場(chǎng)景(scene)指的是一系列在時(shí)間上的連續(xù)時(shí)刻描述相同畫(huà)面的幀。場(chǎng)景的第二幀示出的是與第一幀相同的畫(huà)面，在時(shí)間上略微靠后一些。MPEG標(biāo)準(zhǔn)使用被稱(chēng)為時(shí)間編碼的技術(shù)來(lái)利用這種信息的重復(fù)。根據(jù)MPEG視頻壓縮標(biāo)準(zhǔn)(如MPEG2)，編碼器將視頻流分割為相關(guān)圖像的集合，也稱(chēng)為圖像組(groups of pictures，GOP)。GOP內(nèi)的每個(gè)幀被編碼器標(biāo)記為內(nèi)幀、預(yù)測(cè)幀或雙向幀。內(nèi)幀(I型幀)只利用來(lái)自幀內(nèi)的信息編碼。不使用時(shí)間編碼來(lái)壓縮幀。預(yù)測(cè)(P型)幀使用來(lái)自幀內(nèi)的信息編碼，并且利用在前的I幀或P幀作為時(shí)間壓縮的參考。I和P幀被稱(chēng)為錨幀(anchorframe)。雙向(B型)幀使用來(lái)自幀內(nèi)的信息編碼，并且還可以使用來(lái)自至少一個(gè)在前錨幀和至少一個(gè)在后錨幀的信息。在GOP內(nèi)，I幀通常是最復(fù)雜的，然后是P幀，B幀的復(fù)雜度一般是最低的。
在MPEG2的一種傳統(tǒng)實(shí)現(xiàn)方式中，每個(gè)GOP(這里被稱(chēng)為標(biāo)準(zhǔn)GOP)的周期(N)都是15個(gè)圖像或幀，并且只包括一個(gè)I型圖像，該I型圖像是GOP中的第一個(gè)圖像。第四、第七、第十和第十三個(gè)圖像是P型圖像，剩下的十個(gè)圖像是B型圖像。從而，每個(gè)標(biāo)準(zhǔn)GOP由5個(gè)子組組成，每個(gè)子組有3個(gè)圖像。每個(gè)子組由一個(gè)錨圖像和兩個(gè)B型圖像組成。錨圖像之間的間隔(這種情況下是3)被稱(chēng)為GOP的內(nèi)周期(M)。從而，標(biāo)準(zhǔn)GOP的顯示順序?yàn)镮 B B P B B P B B P B B P B B在該MPEG2的傳統(tǒng)實(shí)現(xiàn)方式中，標(biāo)準(zhǔn)GOP是閉合的，即，其不基于GOP外部的幀作出任何預(yù)測(cè)。
在MPEG標(biāo)準(zhǔn)中通過(guò)將幀定義為由一系列宏塊(MB)組成，可進(jìn)一步劃分視頻流。宏塊包含要顯示代表16×16個(gè)亮度像素的圖像區(qū)域所需的所有信息。
MPEG2和H.264指定了有效比特流的語(yǔ)法和解碼器用來(lái)解釋該比特流以獲得期望輸出所必須的方式，所述輸出是未壓縮的數(shù)字視頻。然而，MPEG標(biāo)準(zhǔn)沒(méi)有指定編碼器。編碼器被定義為能夠輸出比特流的任意設(shè)備，無(wú)論是硬件或軟件，其中當(dāng)該比特流被輸入到遵從MPEG的解碼器中時(shí)，將產(chǎn)生期望的輸出。
在編碼器的典型應(yīng)用中，未壓縮的視頻信號(hào)被輸入到編碼器中，根據(jù)可用的壓縮標(biāo)準(zhǔn)進(jìn)行編碼，接著新編碼的信號(hào)從編碼器中輸出，由解碼器接收，并被解碼用于觀看。為了適應(yīng)解碼器接收數(shù)據(jù)時(shí)的速率變化，解碼器必須包括緩沖器，該緩沖器接收編碼后的數(shù)據(jù)，并將數(shù)據(jù)提供給解碼過(guò)程。編碼器必須確保編碼信號(hào)的輸出速率，使得解碼器可以連續(xù)地對(duì)編碼信號(hào)解碼并且傳輸解碼后的信號(hào)。如果編碼器傳輸信號(hào)太慢，則在解碼器傳輸?shù)男盘?hào)之間會(huì)有間隙，因?yàn)榻獯a器要等待來(lái)自編碼器的信號(hào)。如果編碼器傳輸信號(hào)太快，則解碼器可能無(wú)法跟上，從而引起解碼器處的緩沖器上溢和不可接受的信息丟失。管理編碼器的傳輸速率的過(guò)程被稱(chēng)為速率控制。編碼器利用虛擬緩沖器來(lái)跟蹤解碼器緩沖器的充滿(mǎn)度(fullness)。
一種簡(jiǎn)單的速率控制方法是為將被編碼的視頻信號(hào)的每個(gè)圖像或幀分配一定數(shù)量的比特。然而，這種方法效率不高，因?yàn)橛脕?lái)對(duì)視頻流中每個(gè)圖像編碼的比特?cái)?shù)必須足夠大，以適應(yīng)可能出現(xiàn)的最復(fù)雜的幀，而實(shí)際上，對(duì)簡(jiǎn)單幀(例如藍(lán)天的圖像)進(jìn)行編碼比起復(fù)雜幀(在地平線(xiàn)上云中日出的圖像)來(lái)說(shuō)需要的比特要少。在編碼圖像之前測(cè)量圖像的復(fù)雜度允許編碼器就要使用多少比特來(lái)對(duì)圖像編碼進(jìn)行更好的判斷。如果編碼器具有將來(lái)進(jìn)行編碼的幀的復(fù)雜度的知識(shí)，則可以進(jìn)一步改進(jìn)該方法。考慮這樣一個(gè)視頻流，其開(kāi)始顯示的是清晰的藍(lán)天，然后顯示日落。起始幀的復(fù)雜度較低，因而使用相對(duì)較少的比特?cái)?shù)編碼。然而，后續(xù)幀包含復(fù)雜得多的信息，因而需要更多比特?cái)?shù)來(lái)編碼。如果在判斷要分配多少比特給初始的簡(jiǎn)單視頻幀的同時(shí)，編碼器被告知很快還需要分配大量比特對(duì)更復(fù)雜的幀編碼，則編碼器可進(jìn)一步減少用來(lái)對(duì)簡(jiǎn)單幀編碼的比特?cái)?shù)，并且避免或減小使下游解碼器上溢的風(fēng)險(xiǎn)。
另一種控制用來(lái)對(duì)圖像編碼的比特?cái)?shù)的有效方法是通過(guò)對(duì)幀內(nèi)的每個(gè)MB動(dòng)態(tài)地修改量化臺(tái)階大小。對(duì)于通常具有一致顏色和亮度的MB來(lái)說(shuō)，只需要少量的可能像素值，從而需要較少的比特來(lái)描述。對(duì)于包含大量顏色和亮度值的MB來(lái)說(shuō)情況相反，因?yàn)榫幋a器不得不描述更大范圍的像素值。根據(jù)該方法，每個(gè)MB被分配一個(gè)量化比例因子(Mquant)，該比例因子被用來(lái)修正量化臺(tái)階大小。
在MPEG2標(biāo)準(zhǔn)的發(fā)展過(guò)程中，有必要設(shè)計(jì)一種通用的速率控制和量化方法，用該方法可測(cè)試比特流語(yǔ)法、解碼器設(shè)計(jì)和標(biāo)準(zhǔn)的其他方法。該方法被稱(chēng)為測(cè)試模型，并且隨著MPEG2的發(fā)展而進(jìn)步。隨著MPEG2標(biāo)準(zhǔn)的固定，已產(chǎn)生了第五版，也是最后一版的模型(TM-5)。TM-5被分為三個(gè)主要步驟(a)目標(biāo)比特分配；(b)速率控制；(c)自適應(yīng)量化。
(a)目標(biāo)比特分配如上所述，分配給某一圖像用于編碼的比特?cái)?shù)量是該圖像相對(duì)于其他圖像的復(fù)雜度的函數(shù)。對(duì)于特定GOP，為每種圖像類(lèi)型分配了復(fù)雜度加權(quán)因子(I、P和B型圖像分別是XI2、XP2和XB2)。XI2、XP2和XB2代表I、P、B圖像的復(fù)雜程度，并且可以計(jì)算如下XI2＝SI2QI2XP2＝SP2QP2XB2＝SB2QB2
其中SI2、SP2和SB2是每個(gè)圖像的比特?cái)?shù)，QI2、QP2和QB2是每個(gè)圖像中所有MB的平均量化參數(shù)(見(jiàn)下文)。
在TM-5中，基于分配給GOP的比特空間的剩余量、編碼圖像的類(lèi)型和近來(lái)相同類(lèi)型編碼圖像的復(fù)雜度統(tǒng)計(jì)信息來(lái)定位圖像的比特分配。目標(biāo)比特分配是TM-5預(yù)期對(duì)幀編碼所必需的比特?cái)?shù)。
(b)速率控制如果在目標(biāo)比特分配(Btar)和對(duì)圖像編碼所需的實(shí)際比特?cái)?shù)(Bact)之間存在差異，則存在未充滿(mǎn)或過(guò)充滿(mǎn)TM-5的虛擬緩沖器的風(fēng)險(xiǎn)。虛擬緩沖器在圖像被編碼的同時(shí)，基于MB跟蹤MB上解碼器的緩沖器的充滿(mǎn)度。對(duì)第j個(gè)MB前的所有MB(但不包括第j個(gè)MB)進(jìn)行編碼應(yīng)當(dāng)使用整個(gè)目標(biāo)比特中的某一部分。這一部分等于Btar乘上已編碼的MB數(shù)(j-1)再除以圖像中的總MB數(shù)(MB_cnt)。通過(guò)對(duì)直到(但不包括)第j個(gè)MB前的所有MB編碼所實(shí)際產(chǎn)生的比特?cái)?shù)等于B(j-1)。目標(biāo)比特?cái)?shù)和所產(chǎn)生的比特?cái)?shù)之間的差量(delta)代表了在對(duì)每個(gè)MB編碼后虛擬緩沖器的充滿(mǎn)度的變化(dj)，并且在對(duì)第j個(gè)MB編碼之前計(jì)算dj＝d0+B(j-1)-Btar*(j-1)/MB_cnt其中，d0等于在當(dāng)前圖像開(kāi)始時(shí)虛擬緩沖器的充滿(mǎn)度。
如果虛擬緩沖器開(kāi)始上溢，則量化臺(tái)階大小增大，導(dǎo)致后續(xù)MB的比特量變小。類(lèi)似地，如果虛擬緩沖器開(kāi)始下溢，則量化臺(tái)階大小減小，導(dǎo)致后續(xù)MB的比特量變大。該虛擬緩沖器充滿(mǎn)度的量度被用來(lái)產(chǎn)生MB的參考量化數(shù)(Qj)。
(c)自適應(yīng)量化宏塊量化臺(tái)階大小被進(jìn)一步調(diào)制為空間活動(dòng)性(actj)的函數(shù)。宏塊被劃分為四個(gè)8×8的子塊，對(duì)于每個(gè)子塊測(cè)量其空間活動(dòng)性。然后，相對(duì)于先前編碼圖像的平均空間活動(dòng)性(avg_act)歸一化四個(gè)測(cè)量值中的最小值(N_actj)。利用最小的空間活動(dòng)性量度是因?yàn)楹陦K的質(zhì)量不會(huì)優(yōu)于其具有最高可視失真的子塊。
N_actj＝(2*actj+avg_act)/(actj+2*avg_act)MB歸一化空間活動(dòng)性和其參考量化參數(shù)的乘積給出了MB的量化比例因子(Mquantj)Mquantj＝Qj*N_actj通常，新的壓縮標(biāo)準(zhǔn)所采用的編碼算法更有效，但是實(shí)現(xiàn)起來(lái)更為復(fù)雜。隨著中央處理單元(CPU)和數(shù)字信號(hào)處理(DSP)芯片的計(jì)算速度的快速增長(zhǎng)，實(shí)現(xiàn)越來(lái)越復(fù)雜的算法實(shí)際上變得簡(jiǎn)單易行。在應(yīng)用中基于新標(biāo)準(zhǔn)構(gòu)造的視頻編碼器/解碼器(編解碼器)最終取代了基于舊標(biāo)準(zhǔn)構(gòu)造的編解碼器，其中在諸如比特率、分辨率等等的某些規(guī)范上重疊。這一取代過(guò)程花費(fèi)了很長(zhǎng)時(shí)間，因?yàn)橐孕碌囊曨l編解碼器取代舊的編解碼器代價(jià)不菲。繼續(xù)使用舊的編解碼器的另一個(gè)原因是許多視頻流都已用舊的算法進(jìn)行壓縮，因而可容易地由舊的編解碼器解壓。然而，在希望獲得高的編碼效率時(shí)，就會(huì)發(fā)生舊的和新的編解碼器的混用。在某些應(yīng)用中，希望將以舊的編解碼器壓縮的視頻流以新的比特率重傳，其中所述新的比特率低于舊的編解碼器在相同視頻質(zhì)量的情況下可實(shí)現(xiàn)的比特率。因此，為了獲得更高的壓縮效率，使用具有混合編解碼器(舊的解碼器和新的編碼器)的碼轉(zhuǎn)換器。一個(gè)好的示例是將MPEG2壓縮視頻流轉(zhuǎn)換為H.264壓縮視頻流的碼轉(zhuǎn)換器。
數(shù)字壓縮業(yè)界認(rèn)識(shí)到，利用超前查看窗口進(jìn)行雙通路編碼提供了比單通路編碼更高的編碼效率。對(duì)于新興的更為精細(xì)的壓縮技術(shù)來(lái)說(shuō)，即使單通路編碼也是較昂貴的，并且雙通路編碼的成本要遠(yuǎn)高于單通路編碼的成本。在雙通路體系結(jié)構(gòu)中使用兩個(gè)精細(xì)的用于編碼/碼轉(zhuǎn)換的編解碼器相比于舊技術(shù)中的編解碼器而言，將編碼器/碼轉(zhuǎn)換器的成本提升了幾乎一個(gè)數(shù)量級(jí)。
人們希望的是，能夠在使用混合編解碼器的編碼器/碼轉(zhuǎn)換器中以最小的成本獲得更高的編碼效率。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種對(duì)未壓縮數(shù)字視頻流的幀進(jìn)行編碼的方法，其中每個(gè)幀都有一個(gè)復(fù)雜度水平，所述方法包括以第一算法分析未壓縮數(shù)字視頻流的第一幀，以測(cè)量第一幀的復(fù)雜度的第一個(gè)值并指定第一幀的圖像類(lèi)型；使用第一測(cè)量值作為參數(shù)來(lái)估計(jì)第一幀的復(fù)雜度的第二個(gè)值；以及采用第一幀的復(fù)雜度的第二個(gè)值和第一幀的圖像類(lèi)型作為參數(shù)，以相異的第二算法對(duì)第一幀進(jìn)行編碼。
根據(jù)本發(fā)明的第二方面，提供了一種對(duì)壓縮數(shù)字視頻流的幀進(jìn)行碼轉(zhuǎn)換的方法，其中每個(gè)幀根據(jù)第一編碼算法被編碼，并且具有一個(gè)復(fù)雜度水平，所述方法包括以第一解碼算法對(duì)壓縮數(shù)字視頻流的第一幀解碼，以產(chǎn)生第一幀的解碼版本，測(cè)量第一幀的復(fù)雜度的第一個(gè)值，并確定第一幀的圖像類(lèi)型；使用第一個(gè)值作為參數(shù)，估計(jì)第一幀的復(fù)雜度的第二個(gè)值；以及采用第一幀的復(fù)雜度的第二個(gè)值和第一幀的圖像類(lèi)型作為參數(shù)，以相異的第二編碼算法對(duì)第一幀的解碼版本進(jìn)行編碼。
根據(jù)本發(fā)明的第三方面，提供了一種用于對(duì)由一連串幀組成的未壓縮數(shù)字視頻輸入流編碼的裝置，其中每個(gè)幀具有與其相關(guān)聯(lián)的多個(gè)特性，所述裝置包括提取裝置，用于接收未壓縮數(shù)字視頻輸入流的一連串幀，并且采用第一方法來(lái)獲得輸入流的幀的多個(gè)特性的測(cè)量值，并給所述幀指定圖像類(lèi)型；延遲裝置，用于接收輸入流的一連串幀，并相對(duì)于輸入流的幀以延遲方式輸出幀；值存儲(chǔ)裝置，用于存儲(chǔ)延遲裝置中的幀的測(cè)量值和圖像類(lèi)型；以及編碼裝置，用于從延遲裝置接收幀并對(duì)幀進(jìn)行編碼，所述編碼裝置響應(yīng)于存儲(chǔ)在值存儲(chǔ)裝置中的測(cè)量值，來(lái)調(diào)整幀的編碼版本的大小。
根據(jù)本發(fā)明的第四方面，提供了一種用于對(duì)由一連串已編碼幀組成的壓縮數(shù)字視頻輸入流進(jìn)行碼轉(zhuǎn)換的裝置，其中每個(gè)已編碼幀具有與其相關(guān)聯(lián)的多個(gè)特性，所述裝置包括解碼裝置，用于接收壓縮數(shù)字視頻輸入流的一連串已編碼幀，并且采用第一方法來(lái)獲得一連串解碼幀和解碼幀的多個(gè)特性的測(cè)量值，并給解碼幀指定圖像類(lèi)型；延遲裝置，用于接收輸入流的一連串解碼幀，并相對(duì)于輸入流的已編碼幀以延遲方式輸出解碼幀；值存儲(chǔ)裝置，用于存儲(chǔ)延遲裝置中的解碼幀的測(cè)量值和圖像類(lèi)型；以及編碼裝置，用于從延遲裝置接收解碼幀并對(duì)幀進(jìn)行編碼，所述編碼裝置響應(yīng)于存儲(chǔ)在值存儲(chǔ)裝置中的測(cè)量值，來(lái)調(diào)整幀的編碼版本的大小。
本發(fā)明的實(shí)施例為雙通路壓縮視頻體系結(jié)構(gòu)中具有混合編解碼器的編碼器/碼轉(zhuǎn)換器提供了利用基于圖像的超前查看窗口而進(jìn)行的速率控制。在碼轉(zhuǎn)換器中(其中輸入視頻信號(hào)是壓縮視頻信號(hào))，使用簡(jiǎn)單壓縮解碼器提取統(tǒng)計(jì)信息，以從壓縮視頻信號(hào)中產(chǎn)生統(tǒng)計(jì)信息；而在編碼器中(其中輸入視頻信號(hào)是未壓縮視頻信號(hào))，使用簡(jiǎn)單壓縮編碼器提取統(tǒng)計(jì)信息，以從未壓縮視頻信號(hào)中生成統(tǒng)計(jì)信息。基于在滑動(dòng)的“過(guò)去”窗口中的先前圖像計(jì)算當(dāng)前圖像的轉(zhuǎn)換因子，以預(yù)測(cè)當(dāng)前圖像的復(fù)雜度，轉(zhuǎn)換因子是簡(jiǎn)單壓縮標(biāo)準(zhǔn)的全局復(fù)雜度量度相對(duì)于精細(xì)壓縮標(biāo)準(zhǔn)的全局復(fù)雜度量度之比。然后，基于在超前查看或“將來(lái)”窗口中的將來(lái)圖像的復(fù)雜度，分配當(dāng)前圖像的比特。如果將來(lái)圖像難以編碼，則給當(dāng)前圖像分配較少的比特，反之亦然。這對(duì)于場(chǎng)景變化是有效的。因?yàn)槌安榭创翱诳紤]到了將來(lái)圖像(即，還未根據(jù)精細(xì)壓縮標(biāo)準(zhǔn)壓縮的圖像)的統(tǒng)計(jì)信息，所以實(shí)現(xiàn)了更為合理的比特分配和更好的質(zhì)量。在根據(jù)精細(xì)壓縮標(biāo)準(zhǔn)對(duì)當(dāng)前圖像編碼后，已編碼圖像的實(shí)際比特、圖像復(fù)雜度和轉(zhuǎn)換因子被更新為過(guò)去的，并且超前查看窗口移動(dòng)一個(gè)圖像，即，隨著新的圖像被載入到超前查看窗口中，已編碼圖像移出超前查看窗口并移入過(guò)去窗口中。
結(jié)合所附權(quán)利要求和附圖，從下面的詳細(xì)描述中將清楚了解本發(fā)明的目的、優(yōu)點(diǎn)和其他新特征。


圖1是雙通路編碼器/碼轉(zhuǎn)換器體系結(jié)構(gòu)的方框示意圖，其中所述雙通路編碼器/碼轉(zhuǎn)換器體系結(jié)構(gòu)根據(jù)本發(fā)明，利用基于圖像的超前查看窗口實(shí)現(xiàn)了速率控制。
圖2是根據(jù)本發(fā)明的速率控制算法的流程圖。
圖3是根據(jù)本發(fā)明的虛擬滑動(dòng)窗口的概念示意圖。
具體實(shí)施例方式
圖1圖示了具有簡(jiǎn)單壓縮解碼器12的編碼器/碼轉(zhuǎn)換器，壓縮解碼器12用于接收并解碼根據(jù)簡(jiǎn)單的壓縮標(biāo)準(zhǔn)(如MPEG2)編碼的壓縮視頻流，以產(chǎn)生未壓縮的視頻信號(hào)和有關(guān)統(tǒng)計(jì)信息?；蛘吆?jiǎn)單的壓縮編碼器14接收未壓縮的視頻流以生成有關(guān)統(tǒng)計(jì)信息。統(tǒng)計(jì)信息被輸入到超前查看窗口模塊18，以由速率控制算法處理(將在下面描述)，而任一結(jié)構(gòu)(碼轉(zhuǎn)換器或編碼器)中的未壓縮視頻信號(hào)被輸入到存儲(chǔ)和延遲模塊16。存儲(chǔ)和延遲模塊是接收、延遲并輸出未壓縮視頻流的緩沖存儲(chǔ)器。超前查看窗口模塊包含存儲(chǔ)和延遲模塊16中每個(gè)圖像的統(tǒng)計(jì)信息，如圖像的比特?cái)?shù)、圖像類(lèi)型和圖像的所有宏塊的平均量化臺(tái)階大小。超前查看窗口模塊18由統(tǒng)計(jì)信息生成比特分配數(shù)據(jù)，以供精細(xì)壓縮編碼器24(如H.264編碼器)在確定精細(xì)編碼過(guò)程的速率控制時(shí)使用。存儲(chǔ)和延遲模塊補(bǔ)償超前查看窗口模塊18生成比特分配數(shù)據(jù)所需的時(shí)間。
來(lái)自存儲(chǔ)和延遲模塊16的已延遲的未壓縮視頻流被輸入到自適應(yīng)預(yù)濾波器20，以產(chǎn)生濾波后的未壓縮視頻流。濾波器可以是低通濾波器，其衰減由未壓縮視頻流代表的圖像中的高空間頻率，從而用來(lái)“模糊”(blur)未壓縮視頻流，以使其更易壓縮，即復(fù)雜度更小從而需要更少的比特來(lái)壓縮。濾波強(qiáng)度可取決于衰減空間頻率分量的閾值或截止頻率以及衰減高空間頻率的程度。
來(lái)自存儲(chǔ)和延遲模塊16的已延遲的未壓縮視頻流和濾波后的未壓縮視頻流都被輸入到開(kāi)關(guān)22，開(kāi)關(guān)22選擇這兩個(gè)視頻流中的一個(gè)。來(lái)自開(kāi)關(guān)22的所選擇的未壓縮視頻流和來(lái)自超前查看窗口模塊18的比特分配數(shù)據(jù)都被輸入到精細(xì)壓縮編碼器24，以根據(jù)諸如H.264(MPEG4的部分10)的精細(xì)壓縮視頻標(biāo)準(zhǔn)產(chǎn)生壓縮后的視頻流。精細(xì)壓縮編碼器24還向自適應(yīng)預(yù)濾波器20和開(kāi)關(guān)22提供控制信號(hào)，該控制信號(hào)確定濾波“強(qiáng)度”和要編碼哪一個(gè)未壓縮視頻流。濾波強(qiáng)度可實(shí)現(xiàn)為不同的濾波級(jí)別或者可以是連續(xù)的。當(dāng)濾波后的未壓縮視頻流沒(méi)有被精細(xì)壓縮編碼器24選擇來(lái)編碼時(shí)，自適應(yīng)預(yù)濾波器20可以切斷或者被設(shè)為最小濾波的低強(qiáng)度。
通過(guò)在輸入處使用簡(jiǎn)單編碼器/解碼器12/14，而不是精細(xì)編碼器/解碼器，實(shí)現(xiàn)成本被減少為接近單通路精細(xì)編解碼器的成本。然而，關(guān)于超前查看窗口模塊18中圖像的復(fù)雜度估計(jì)的信息并不恰好是精細(xì)壓縮編碼器24所期望的信息。例如，如果P型圖像對(duì)應(yīng)的初始圖像是在光線(xiàn)關(guān)/開(kāi)/關(guān)的轉(zhuǎn)換期間內(nèi)記錄的，則該P(yáng)型圖像在簡(jiǎn)單(MPEG2)壓縮編碼中需要高比特率以用于運(yùn)動(dòng)補(bǔ)償。另一方面，該P(yáng)型圖像對(duì)于精細(xì)(H.264)編碼器而言，可能是簡(jiǎn)單的圖像。拋開(kāi)這點(diǎn)不足不談，可以基于簡(jiǎn)單和精細(xì)壓縮標(biāo)準(zhǔn)，求出圖像復(fù)雜度估計(jì)的相關(guān)性。大多數(shù)情況下，對(duì)于簡(jiǎn)單壓縮標(biāo)準(zhǔn)而言相對(duì)復(fù)雜/簡(jiǎn)單的一個(gè)圖像或一組圖像(GOP)對(duì)于精細(xì)壓縮編碼器24來(lái)說(shuō)也相對(duì)復(fù)雜/簡(jiǎn)單。復(fù)雜度統(tǒng)計(jì)信息仍然指示了在錯(cuò)誤可容忍的情況下圖像和宏塊(MB)之間的重要關(guān)系。因此與單通路精細(xì)編碼相比，偽雙通路精細(xì)編碼在視頻編碼效率上更為優(yōu)越，而在實(shí)現(xiàn)成本上只相對(duì)略高。
圖像復(fù)雜度的統(tǒng)計(jì)信息被用于——在第二通路編碼前，對(duì)于當(dāng)前圖像估計(jì)比特率目標(biāo)并選擇宏塊的量化臺(tái)階大?。灰约啊诘诙肪幋a前，對(duì)于包括當(dāng)前圖像在內(nèi)的當(dāng)前GOP，控制自適應(yīng)預(yù)濾波器20的強(qiáng)度。
可獲得用來(lái)計(jì)算比特分配的統(tǒng)計(jì)信息量向壓縮編碼器24提供的越多，編碼器/碼轉(zhuǎn)換器的視頻質(zhì)量性能就越強(qiáng)。因此，存儲(chǔ)和延遲模塊16存儲(chǔ)了多個(gè)未壓縮圖像。未壓縮視頻流的每個(gè)圖像最終都會(huì)被精細(xì)壓縮編碼器24編碼為I、P或B型圖像。給定未壓縮圖像被編碼成的圖像類(lèi)型(I、P或B)是基于提供給超前查看窗口模塊18的統(tǒng)計(jì)信息。因此，即使存儲(chǔ)在模塊16中的圖像未被編碼，也可以方便地將這些圖像稱(chēng)為I、P或B型圖像。模塊16存儲(chǔ)的圖像數(shù)受限于存儲(chǔ)器大小和允許的最大延遲。希望獲得對(duì)應(yīng)于輸入視頻信號(hào)的至少兩個(gè)GOP的存儲(chǔ)長(zhǎng)度。為了描述的目的，假定存儲(chǔ)和延遲模塊被設(shè)計(jì)包含兩個(gè)標(biāo)準(zhǔn)GOP，每個(gè)GOP有15個(gè)圖像。
超前查看窗口模塊18基于接收到的統(tǒng)計(jì)信息，設(shè)置正被編碼的當(dāng)前圖像的比特率目標(biāo)，統(tǒng)計(jì)信息包括圖像類(lèi)型(I、P或B)、圖像大小(單位為字節(jié))和圖像級(jí)別的平均量化臺(tái)階大小。
編碼時(shí)的圖像復(fù)雜度對(duì)于兩個(gè)不同的壓縮標(biāo)準(zhǔn)來(lái)說(shuō)是不相同的。如果P型圖像對(duì)應(yīng)的初始圖像是在光線(xiàn)關(guān)/開(kāi)/關(guān)的轉(zhuǎn)換期間內(nèi)記錄的，則該P(yáng)型圖像在MPEG2中可能是復(fù)雜的，并且需要高比特率以用于運(yùn)動(dòng)補(bǔ)償。另一方面，該P(yáng)型圖像對(duì)于H.264編碼器而言，可能是簡(jiǎn)單的圖像，其中，H.264編碼器能夠從最多6個(gè)參考圖像中選擇一個(gè)以用于運(yùn)動(dòng)預(yù)測(cè)，并且其中一個(gè)參考圖像可能與該P(yáng)型圖像最為相關(guān)，如上所述。
除了設(shè)置比特率目標(biāo)外，超前查看窗口模塊18所獲得的圖像復(fù)雜度的統(tǒng)計(jì)信息也可用于生成自適應(yīng)預(yù)濾波器20的控制信號(hào)，以控制低通濾波的強(qiáng)度。如果速率控制信息指示當(dāng)前圖像是需要更高比特率來(lái)編碼的較難圖像，則自適應(yīng)預(yù)濾波器20的強(qiáng)度可以增大，從而使得圖像被重度低通濾波，即，變得更柔性且更容易編碼。精細(xì)壓縮編碼器24使用開(kāi)關(guān)22，來(lái)基于速率控制信息和精細(xì)壓縮編碼器24的虛擬緩沖器的充滿(mǎn)度，選擇從存儲(chǔ)和延遲模塊16輸出的延遲的未壓縮視頻信號(hào)或者由自適應(yīng)預(yù)濾波器20輸出的濾波后的視頻信號(hào)。例如，如果虛擬緩沖器接近充滿(mǎn)并且速率信息指示編碼的當(dāng)前圖像需要比虛擬緩沖器中可獲得的更多的比特，則預(yù)濾波量增大從而使得虛擬緩沖器不發(fā)生上溢，并且濾波后的未壓縮視頻就是要編碼的視頻信號(hào)。如果沒(méi)有虛擬緩沖器上溢的危險(xiǎn)，則當(dāng)前圖像被輕度濾波或根本不濾波。在后者的情況下，來(lái)自存儲(chǔ)和延遲模塊16的未壓縮視頻信號(hào)被用作編碼輸入。然而，在GOP內(nèi)頻繁突然地改變?yōu)V波強(qiáng)度和/或在未壓縮視頻信號(hào)與濾波后的未壓縮視頻信號(hào)之間切換可導(dǎo)致補(bǔ)償P和B圖像的殘留信號(hào)的動(dòng)作。這可以通過(guò)在GOP內(nèi)控制預(yù)濾波器20來(lái)避免。如果一個(gè)圖像被濾波，則使用其作為參考的任何其他圖像也應(yīng)當(dāng)被濾波，且濾波強(qiáng)度至少與該圖像的濾波強(qiáng)度相同。
作為說(shuō)明，所使用的速率控制算法是基于測(cè)試模型5(TM5)規(guī)范的。TM5采用復(fù)雜度量度來(lái)為每個(gè)圖像分配目標(biāo)比特，然后基于虛擬緩沖器的充滿(mǎn)度設(shè)置每個(gè)MB的量化參數(shù)。在碼轉(zhuǎn)換器配置中，可以經(jīng)由解碼器12從編碼后的壓縮視頻流中獲得關(guān)于輸入視頻信號(hào)的所有信息，特別是關(guān)于輸入內(nèi)容復(fù)雜度的統(tǒng)計(jì)信息。在編碼器配置中，可以經(jīng)由簡(jiǎn)單編碼器14從未壓縮視頻流中獲得關(guān)于輸入視頻信號(hào)的所有信息，特別是關(guān)于輸入內(nèi)容復(fù)雜度的統(tǒng)計(jì)信息。速率控制算法包括兩部分1.采用“過(guò)去”(past)統(tǒng)計(jì)信息進(jìn)行復(fù)雜度預(yù)測(cè)。
2.采用“將來(lái)”(future)統(tǒng)計(jì)信息進(jìn)行比特分配。這兩個(gè)過(guò)程都是自適應(yīng)的，并且在對(duì)每個(gè)圖像編碼后，維護(hù)過(guò)去滑動(dòng)窗口和將來(lái)滑動(dòng)窗口以更新統(tǒng)計(jì)信息。注意過(guò)去滑動(dòng)窗口位于超前查看窗口18中，將來(lái)滑動(dòng)窗口位于精細(xì)壓縮編碼器24中。與使用按照GOP遞增的滑動(dòng)窗口的現(xiàn)有應(yīng)用相反，本發(fā)明的滑動(dòng)窗口是基于圖像的，并且在對(duì)每個(gè)圖像編碼后向前移動(dòng)。
速率控制算法有四步(a)統(tǒng)計(jì)信息提??；(b)復(fù)雜度預(yù)測(cè)；(c)比特分配；和(d)統(tǒng)計(jì)信息更新。
(a)統(tǒng)計(jì)信息提取當(dāng)將MPEG2可變比特率(VBR)流進(jìn)行碼轉(zhuǎn)換為H.264恒定比特率(CBR)流或者將未壓縮視頻流編碼為H.264CBR流時(shí)，收集以下信息1.每個(gè)圖像的平均量化參數(shù)(量化臺(tái)階大小)。
2.每個(gè)圖像的輸出比特。
3.每個(gè)圖像的圖像類(lèi)型(I、P、B)。
第1和第2項(xiàng)用于計(jì)算輸入視頻的復(fù)雜度，而第3項(xiàng)記錄了精細(xì)壓縮編碼器24所使用的圖像類(lèi)型。
(b)復(fù)雜度預(yù)測(cè)復(fù)雜度預(yù)測(cè)就是從現(xiàn)有的簡(jiǎn)單/精細(xì)(MPEG2/H.264)復(fù)雜度比和當(dāng)前圖像的輸入復(fù)雜度預(yù)測(cè)出當(dāng)前圖像的復(fù)雜度。在TM5中，當(dāng)前圖像的復(fù)雜度通過(guò)先前相同類(lèi)型的圖像來(lái)預(yù)測(cè)。在本發(fā)明的實(shí)施例中，當(dāng)前圖像的復(fù)雜度基于過(guò)去窗口中所有的相同類(lèi)型圖像的復(fù)雜度來(lái)預(yù)測(cè)。然而，由于統(tǒng)計(jì)信息是基于簡(jiǎn)單編碼格式的，因此引入了比例因子(這里稱(chēng)為轉(zhuǎn)換因子)的形式作為對(duì)算法的調(diào)整，來(lái)考慮兩個(gè)標(biāo)準(zhǔn)和/或兩個(gè)比特率的混合之間的區(qū)別。轉(zhuǎn)換因子被計(jì)算作為先前簡(jiǎn)單/精細(xì)比的平均值，并且在對(duì)每個(gè)圖像編碼后，更新該轉(zhuǎn)換因子。由于不同圖像類(lèi)型的不同屬性，因此對(duì)于每個(gè)圖像類(lèi)型，獨(dú)立計(jì)算轉(zhuǎn)換因子。
復(fù)雜度預(yù)測(cè)算法有兩步1.通過(guò)對(duì)先前轉(zhuǎn)換因子取平均，計(jì)算當(dāng)前圖像的當(dāng)前轉(zhuǎn)換因子。
在要編碼/碼轉(zhuǎn)換的視頻序列的開(kāi)始，有三個(gè)轉(zhuǎn)換因子的初始值，分別對(duì)應(yīng)于三個(gè)圖像類(lèi)型(I、P、B)。過(guò)去滑動(dòng)窗口上的平均轉(zhuǎn)換因子通常優(yōu)于只是一個(gè)圖像的轉(zhuǎn)換因子，并且考慮到了已被精細(xì)編碼器24編碼且在過(guò)去窗口內(nèi)的圖像。
GOP可被描述為包含NI個(gè)I型圖像、NP個(gè)P型圖像和NB個(gè)B型圖像。如上所述，對(duì)于標(biāo)準(zhǔn)GOPN＝15M＝3NI＝1NP＝(N/M)-NI＝(15/3)-1＝4NB＝N-NI-NP＝15-1-4＝10存儲(chǔ)和延遲模塊16包含W個(gè)GOP。對(duì)于本討論，假定模塊16被設(shè)計(jì)為存儲(chǔ)2個(gè)標(biāo)準(zhǔn)GOP。WI、WP和WB分別代表存儲(chǔ)和延遲模塊16中的I、P和B型圖像的總數(shù)。
WI＝WNI＝2*(1)＝2WP＝W(NP)＝2*(4)＝8WB＝W(NB)＝2*(10)＝20未壓縮視頻流中圖像的轉(zhuǎn)換因子Tcur是通過(guò)對(duì)先前相同類(lèi)型(I、P或B)的Wtype個(gè)圖像的轉(zhuǎn)換因子取平均計(jì)算得到的，被取平均的先前的轉(zhuǎn)換因子數(shù)等于存儲(chǔ)和延遲模塊16中該型圖像的總數(shù)(WI、WP、WB)。
TIcur＝(1/WI)∑i＝j(luò)-WI+1→jTI(j)＝(1/2)∑i＝j(luò)-1→jTI(j)TPcur＝(1/WP)∑i＝j(luò)-WP+1→jTB(j)＝(1/8)∑i＝j(luò)-7→jTP(j)TBcur＝(1/WN)∑i＝j(luò)-WB+1→jTB(j)＝(1/20)∑i＝j(luò)-19→jTB(j)其中，j是當(dāng)前圖像的圖像數(shù)目。
對(duì)于如上所述包含兩個(gè)標(biāo)準(zhǔn)GOP的存儲(chǔ)和延遲模塊16，分別對(duì)I、P或B型圖像取2個(gè)、8個(gè)或20個(gè)先前轉(zhuǎn)換因子的平均。
2.預(yù)測(cè)當(dāng)前圖像的復(fù)雜度對(duì)于I和P型圖像，接著使用更新的轉(zhuǎn)換因子(Tcur)近似地依比例決定簡(jiǎn)單復(fù)雜度因子，來(lái)從當(dāng)前圖像的簡(jiǎn)單(或MPEG2)復(fù)雜度(XI2、XP2或XB2)預(yù)測(cè)出圖像的精細(xì)(或MPEG4)復(fù)雜度(XI4、XP4或XB4)。B型圖像的轉(zhuǎn)換因子由加權(quán)因子(KB4)進(jìn)一步調(diào)整，以考慮不同圖像類(lèi)型的不同質(zhì)量要求。該加權(quán)因子依經(jīng)驗(yàn)確定，并且是當(dāng)前GOP的I型簡(jiǎn)單復(fù)雜度和GOP的B型圖像的平均簡(jiǎn)單復(fù)雜度比的函數(shù)。
XI4＝XI2/TIcurXP4＝XP2/TPcurKB4＝XB2/(TBcur*KB4)對(duì)于預(yù)測(cè)較好的序列(即，沒(méi)有快速運(yùn)動(dòng)的序列)來(lái)說(shuō)KB4較大，對(duì)于具有快速運(yùn)動(dòng)的序列來(lái)說(shuō)KB4較小。在對(duì)每個(gè)GOP編碼后，根據(jù)比值XI/XB自適應(yīng)地設(shè)定KB4，其中XI和XB是當(dāng)前GOP內(nèi)所有I和B圖像的平均簡(jiǎn)單復(fù)雜度。
表1依經(jīng)驗(yàn)確定的KB4值

原理上，P型圖像的精細(xì)復(fù)雜度XP4也可由加權(quán)因子(KP4)來(lái)調(diào)整，但是已發(fā)現(xiàn)實(shí)踐上無(wú)此必要。
c)比特分配比特分配可以基于GOP層和圖像層。圖像層打破了GOP的界限，并且比GOP層執(zhí)行的更好。這對(duì)于視頻信號(hào)中的場(chǎng)景變化尤其有效。比特分配有兩步。
1.分配當(dāng)前(第k個(gè))圖像的目標(biāo)比特對(duì)于當(dāng)前在滑動(dòng)超前查看窗口中參考的所有圖像來(lái)說(shuō)，目標(biāo)大小(TW，單位比特)是基于窗口中的圖像數(shù)(WF)、恒定比特率(R，單位比特每秒)和圖像率(F，單位圖像每秒)來(lái)計(jì)算得到的。
TW＝WF(R/F)然后，通過(guò)將TW乘上當(dāng)前圖像的復(fù)雜度因子與滑動(dòng)的超前查看窗口中所有圖像的復(fù)雜度因子之比，計(jì)算要分配給第k個(gè)圖像的目標(biāo)比特?cái)?shù)(B4_tar(k))。
B4_tar(k)=TW*(X4(k)/Σi=0→WF-1X4(k+i))]]>
該計(jì)算基本上確定了應(yīng)當(dāng)用于當(dāng)前圖像的目標(biāo)大小(TW)的比例。在通過(guò)復(fù)雜編碼算法編碼時(shí)的當(dāng)前圖像大小不允許大于在通過(guò)簡(jiǎn)單壓縮算法編碼時(shí)的當(dāng)前圖像大小(B2(k))。從而，在編碼時(shí)當(dāng)前圖像的大小被鉗制在B2(k)。如果B4_tar(k)不超過(guò)B2(k)，則第k個(gè)圖像的目標(biāo)比特?cái)?shù)仍然是B4_tar(k)。然而，已知的是當(dāng)編碼實(shí)際發(fā)生時(shí)，更小的數(shù)B2(k)是所使用比特的上限。從而，在目標(biāo)窗口中有已知的比特盈余。因此修改目標(biāo)窗口大小以考慮附加比特。
TW(k+1)＝TW(k)+B4_tar(k)-B2(k)2.自適應(yīng)量化和編碼(TM5)在對(duì)MBj編碼前，分別計(jì)算I、P、B的虛擬緩沖器的充滿(mǎn)度dj＝d0+Bj-1-(T*(j-1))/MB_cnt其中，Bj是通過(guò)對(duì)圖像中直到且包括j的所有MB編碼所生成的比特?cái)?shù)，MB_cnt是圖像中的MB數(shù)，T是每圖像的恒定比特率(CBR)，d0是虛擬緩沖器的初始充滿(mǎn)度，dj是在MBj時(shí)的虛擬緩沖器充滿(mǎn)度。然后計(jì)算MBj的參考量化參數(shù)Qj，Qj＝dj*51/r其中反應(yīng)參數(shù)r為r＝2*R/F自適應(yīng)量化使用初始像素值從以四個(gè)亮度圖像組織的子塊(n＝1...4)和以四個(gè)亮度場(chǎng)組織的子塊(n＝5...8)中計(jì)算MBj的空間活動(dòng)性。
actj＝1+min(vblk1，vblk2，...，vblk8)其中，vblkn＝(1/64)*∑k＝1→64(Pkn-P_meann)2并且P_meann＝(1/64)*∑k＝1→64Pkn其中P是像素灰度級(jí)。
然后歸一化actjN_actj＝((2*actj)+avg_act)/(actj+(2*avg_act))其中avg_act是要編碼的最后一個(gè)圖像的actj的平均值。
然后將mquantj調(diào)整為mquantj＝Qj*N_actjmquantj的最終值落在范圍[1...51]內(nèi)，并且用于量化。差量QP應(yīng)當(dāng)落在[-26，26]內(nèi)，如H.264語(yǔ)義所定義。然后以mquanti對(duì)一個(gè)MB編碼并重復(fù)這個(gè)步驟，直到當(dāng)前圖像的所有MB都已被編碼。
(d)對(duì)剛編碼的圖像更新圖像復(fù)雜度和轉(zhuǎn)換因子更新剛編碼的圖像的圖像復(fù)雜度和轉(zhuǎn)換因子，并存儲(chǔ)在滑動(dòng)的過(guò)去窗口中，以用于將來(lái)的圖像。
1.轉(zhuǎn)換因子被定義為對(duì)應(yīng)的簡(jiǎn)單和精細(xì)壓縮標(biāo)準(zhǔn)圖像的“全局復(fù)雜度量度”之比。
TI[current_picture_SN]＝XI2/XI4TP[current_picture_SN]＝XP2/XP4TB[current_picture_SN]＝XB2/XB4其中XI4、XP4和XB4代表輸出的精細(xì)壓縮標(biāo)準(zhǔn)(H.264)流的I、P、B圖像的復(fù)雜度量度XI4＝SI4QI4XP4＝SP4QP4XB4＝SB4QB4并且SI4、SP4、SB4、QI4、QP4和QB4的定義對(duì)應(yīng)于簡(jiǎn)單壓縮標(biāo)準(zhǔn)(MPEG2)下相應(yīng)量的定義。
2.由于圖像的比特目標(biāo)(B4_tar)是超前查看窗口的目標(biāo)大小的函數(shù)，因此我們?cè)诘趉個(gè)圖像被編碼后，對(duì)第(k+1)個(gè)圖像調(diào)整超前查看窗口的目標(biāo)大小TW，以計(jì)入第k個(gè)圖像的實(shí)際編碼大小S(k)和平均編碼圖像大小R/F之間的任何差異，其中R是恒定比特率，F(xiàn)是幀速率。
TW(k+1)＝TW(k)+R/F-S(k)進(jìn)行該調(diào)整的目的是維護(hù)虛擬緩沖器充滿(mǎn)度的合適水平，并且該調(diào)整使得TW(k+1)成為超前查看窗口的更合理的目標(biāo)大小，以計(jì)算第(k+1)個(gè)圖像的比特目標(biāo)。如果輸入序列不是無(wú)限長(zhǎng)的話(huà)，則在序列的末尾超前查看窗口大小WF和目標(biāo)大小TW都減小。在對(duì)每個(gè)圖像編碼后，更新轉(zhuǎn)換因子TI、TP或TB，并且還更新將來(lái)滑動(dòng)窗口中所有的預(yù)測(cè)復(fù)雜度值。
如圖3所示，用于確定要編碼的當(dāng)前圖像的復(fù)雜度的轉(zhuǎn)換因子是基于過(guò)去窗口中相同圖像類(lèi)型的轉(zhuǎn)換因子的平均值，而當(dāng)前圖像的比特分配是基于超前查看窗口中全部圖像的復(fù)雜度。在對(duì)每個(gè)圖像編碼后，接著確定實(shí)際的精細(xì)標(biāo)準(zhǔn)復(fù)雜度，并使其移入到過(guò)去窗口中，同時(shí)移出最舊的一個(gè)。隨著要編碼的下一個(gè)圖像變?yōu)楫?dāng)前圖像，新圖像的統(tǒng)計(jì)信息被載入到超前查看窗口中，以確定窗口的新復(fù)雜度。
因而，本發(fā)明提供了利用基于圖像的滑動(dòng)窗口的速率控制，以簡(jiǎn)化從簡(jiǎn)單壓縮標(biāo)準(zhǔn)到精細(xì)壓縮標(biāo)準(zhǔn)的碼轉(zhuǎn)換/編碼，通過(guò)以下步驟來(lái)實(shí)現(xiàn)這一速率控制使用簡(jiǎn)單壓縮標(biāo)準(zhǔn)提取視頻信號(hào)的統(tǒng)計(jì)信息，使用提取的統(tǒng)計(jì)信息和虛擬緩沖器的充滿(mǎn)度來(lái)控制未壓縮視頻信號(hào)的低通預(yù)濾波器，并且使用轉(zhuǎn)換因子，利用滑動(dòng)窗口逐個(gè)圖像地對(duì)濾波后的或未濾波的未壓縮視頻信號(hào)進(jìn)行編碼，然后更新每個(gè)圖像的轉(zhuǎn)換因子和滑動(dòng)窗口，其中轉(zhuǎn)換因子是簡(jiǎn)單和精細(xì)壓縮生成的標(biāo)準(zhǔn)圖像的全局復(fù)雜度量度比。
應(yīng)當(dāng)意識(shí)到，本發(fā)明并不限于所描述的具體實(shí)施例，并且可以對(duì)其進(jìn)行變化，而不脫離所附權(quán)利要求和其等同物中所定義的本發(fā)明的范圍。除非上下文指出，否則權(quán)利要求中對(duì)一定數(shù)目的要件實(shí)例的引用(假如是對(duì)一個(gè)實(shí)例或一個(gè)以上實(shí)例的引用)至少要求所聲明的要件實(shí)例數(shù)，但是也并不是要將比所聲明的具有更多要件實(shí)例的結(jié)構(gòu)或方法排斥在權(quán)利要求的范圍之外。
權(quán)利要求
1.一種對(duì)未壓縮數(shù)字視頻流的幀進(jìn)行編碼的方法，每個(gè)幀都有一個(gè)復(fù)雜度水平，所述方法包括以第一算法分析所述未壓縮數(shù)字視頻流的第一幀，以測(cè)量所述第一幀的復(fù)雜度的第一個(gè)值，并指定所述第一幀的圖像類(lèi)型，使用第一測(cè)量值作為參數(shù)來(lái)估計(jì)所述第一幀的復(fù)雜度的第二個(gè)值，以及采用所述第一幀的復(fù)雜度的所述第二個(gè)值和所述第一幀的圖像類(lèi)型作為參數(shù)，以相異的第二算法對(duì)所述第一幀進(jìn)行編碼。
2.如權(quán)利要求1所述的方法，還包括以第二編碼算法分析所述第一幀，以測(cè)量所述第一幀的復(fù)雜度的第三個(gè)值，以及存儲(chǔ)所述第一幀的圖像類(lèi)型和復(fù)雜度比。
3.如權(quán)利要求2所述的方法，包括在以所述第二算法對(duì)所述第一幀進(jìn)行編碼之前，以所述第二算法生成過(guò)去幀的編碼版本，所述過(guò)去幀的編碼版本有一個(gè)大小，以及估計(jì)將來(lái)幀的復(fù)雜度的值，其中，以所述第二算法對(duì)所述第一幀進(jìn)行編碼的步驟還包括使用所述過(guò)去幀的大小和所述將來(lái)幀的復(fù)雜度的估計(jì)值作為參數(shù)，確定所述第一幀的目標(biāo)大小，以及采用所述第一幀的目標(biāo)大小作為參數(shù)，以所述第二算法對(duì)所述第一幀進(jìn)行編碼。
4.如權(quán)利要求3所述的方法，其中，所述的以所述第二算法對(duì)所述第一幀進(jìn)行編碼的步驟產(chǎn)生所述第一幀的編碼版本，并且所述的確定所述第一幀的目標(biāo)大小的步驟包括預(yù)測(cè)所述第一幀的編碼版本的大小。
5.如權(quán)利要求4所述的方法，其中，通過(guò)將所述第一幀的復(fù)雜度的第一個(gè)值除以所述第一幀的復(fù)雜度的第三個(gè)值，來(lái)計(jì)算所述第一幀的復(fù)雜度比。
6.如權(quán)利要求5所述的方法，其中，所述第一幀后跟有所述未壓縮視頻流的多個(gè)幀，并且所述方法還包括以所述第一算法分析所述未壓縮數(shù)字視頻流的多個(gè)幀中的每一個(gè)幀，以測(cè)量每個(gè)幀的復(fù)雜度的第一個(gè)值，并指定每個(gè)幀的圖像類(lèi)型，使用每個(gè)幀的第一個(gè)值作為參數(shù)，估計(jì)每個(gè)幀的復(fù)雜度的第二個(gè)值，以及采用每個(gè)幀的所述第二個(gè)值和圖像類(lèi)型作為參數(shù)，以所述第二算法對(duì)所述多個(gè)幀中的每一個(gè)幀進(jìn)行編碼。
7.如權(quán)利要求6所述的方法，還包括以所述第二編碼算法分析所述多個(gè)幀中的每一個(gè)幀，以測(cè)量每個(gè)幀的復(fù)雜度的第三個(gè)值，以及存儲(chǔ)所述多個(gè)幀中每一個(gè)幀的圖像類(lèi)型和復(fù)雜度比。
8.如權(quán)利要求7所述的方法，其中，所述多個(gè)幀后跟有第二幀，并且所述方法還包括以所述第一算法分析所述第二幀，以測(cè)量第二幀的復(fù)雜度的第一個(gè)值，并指定所述第二幀的圖像類(lèi)型，使用所述第一個(gè)值作為參數(shù)，估計(jì)所述第二幀的復(fù)雜度的第二個(gè)值，以及采用所述第二幀的復(fù)雜度的第二個(gè)值和所述第二幀的圖像類(lèi)型作為參數(shù)，以所述第二算法對(duì)所述第二幀進(jìn)行編碼。
9.如權(quán)利要求8所述的方法，包括通過(guò)將所述第二幀的第一個(gè)值除以轉(zhuǎn)換因子，來(lái)估計(jì)所述第二幀的第二個(gè)值。
10.如權(quán)利要求9所述的方法，包括通過(guò)對(duì)與所述多個(gè)幀的子集相關(guān)聯(lián)的所存儲(chǔ)的復(fù)雜度比取平均，來(lái)計(jì)算所述第二幀的轉(zhuǎn)換因子，所述子集是已被所述第二算法編碼并且與所述第二幀具有相同圖像類(lèi)型的幀。
11.如權(quán)利要求10所述的方法，還包括以所述第二編碼算法分析所述第二幀，以測(cè)量所述第二幀的復(fù)雜度的第三個(gè)值，以及存儲(chǔ)所述第二幀的圖像類(lèi)型和復(fù)雜度比。
12.如權(quán)利要求1所述的方法，其中，所述估計(jì)所述第一幀的第二個(gè)值的步驟包括基于所述第一幀的圖像類(lèi)型，將所述第一個(gè)值除以一個(gè)缺省值。
13.如權(quán)利要求1所述的方法，還包括接收所述第一幀的未濾波版本，在以所述第二算法對(duì)所述第一幀進(jìn)行編碼之前，創(chuàng)建所述第一幀的濾波版本，以及選擇所述第一幀的未濾波版本或?yàn)V波版本，以由所述第二算法來(lái)編碼。
14.一種對(duì)壓縮數(shù)字視頻流的幀進(jìn)行碼轉(zhuǎn)換的方法，其中每個(gè)幀根據(jù)第一編碼算法被編碼，并且具有一個(gè)復(fù)雜度水平，所述方法包括以第一解碼算法來(lái)解碼所述壓縮數(shù)字視頻流的第一幀，以產(chǎn)生所述第一幀的解碼版本，測(cè)量所述第一幀的復(fù)雜度的第一個(gè)值，并確定所述第一幀的圖像類(lèi)型，使用所述第一個(gè)值作為參數(shù)，估計(jì)所述第一幀的復(fù)雜度的第二個(gè)值，以及采用所述第一幀的復(fù)雜度的所述第二個(gè)值和所述第一幀的圖像類(lèi)型作為參數(shù)，以相異的第二編碼算法對(duì)所述第一幀的解碼版本進(jìn)行編碼。
15.如權(quán)利要求14所述的方法，還包括以所述第二編碼算法分析所述第一幀的解碼版本，以測(cè)量所述第一幀的復(fù)雜度的第三個(gè)值，以及存儲(chǔ)所述第一幀的圖像類(lèi)型和復(fù)雜度比。
16.如權(quán)利要求15所述的方法，包括在以第二算法對(duì)所述第一幀的解碼版本進(jìn)行編碼之前，以所述第二算法生成過(guò)去幀的編碼版本，所述過(guò)去幀的編碼版本有一個(gè)大小，以及估計(jì)將來(lái)幀的復(fù)雜度的值，其中，以所述第二算法對(duì)所述第一幀的解碼版本進(jìn)行編碼的步驟還包括使用所述過(guò)去幀的大小和所述將來(lái)幀的復(fù)雜度的第二個(gè)值作為參數(shù)，確定所述第一幀的解碼版本的目標(biāo)大小，以及采用所述第一幀的目標(biāo)大小作為參數(shù)，以所述第二算法對(duì)所述第一幀的解碼版本進(jìn)行編碼。
17.如權(quán)利要求16所述的方法，其中，所述的以所述第二算法對(duì)所述第一幀進(jìn)行編碼的步驟產(chǎn)生所述第一幀的編碼版本，并且所述的確定所述第一幀的解碼版本的目標(biāo)大小的步驟包括預(yù)測(cè)所述第一幀的所述編碼版本的大小。
18.如權(quán)利要求17所述的方法，其中，通過(guò)將所述第一幀的復(fù)雜度的第一個(gè)值除以所述第一幀的復(fù)雜度的第三個(gè)值，來(lái)計(jì)算所述第一幀的復(fù)雜度比。
19.如權(quán)利要求18所述的方法，其中，所述第一幀后跟有所述壓縮視頻流的多個(gè)幀，并且所述方法還包括以所述第一算法分析所述壓縮數(shù)字視頻流的多個(gè)幀中的每一個(gè)幀，以產(chǎn)生每個(gè)幀的解碼版本，測(cè)量每個(gè)幀的復(fù)雜度的第一個(gè)值，并確定每個(gè)幀的圖像類(lèi)型，使用每個(gè)幀的第一個(gè)值作為參數(shù)，估計(jì)每個(gè)幀的復(fù)雜度的第二個(gè)值，以及采用每個(gè)幀的所述第二個(gè)值和圖像類(lèi)型作為參數(shù)，以所述第二算法對(duì)所述多個(gè)幀中的每一個(gè)幀的解碼版本進(jìn)行編碼。
20.如權(quán)利要求19所述的方法，還包括以所述第二算法分析所述多個(gè)幀中的每一個(gè)幀的解碼版本，以測(cè)量每個(gè)幀的復(fù)雜度的第三個(gè)值，以及存儲(chǔ)所述多個(gè)幀中每一個(gè)幀的圖像類(lèi)型和復(fù)雜度比。
21.如權(quán)利要求20所述的方法，其中，所述多個(gè)幀后跟有第二幀，并且所述方法還包括以所述第一算法分析所述第二幀，以產(chǎn)生所述第二幀的解碼版本，測(cè)量所述第二幀的復(fù)雜度的第一個(gè)值，并確定所述第二幀的圖像類(lèi)型，使用所述第一個(gè)值作為參數(shù)，估計(jì)所述第二幀的復(fù)雜度的第二個(gè)值，以及采用所述第二幀的復(fù)雜度的第二個(gè)值和所述第二幀的圖像類(lèi)型作為參數(shù)，以所述第二算法對(duì)所述第二幀的解碼版本進(jìn)行編碼。
22.如權(quán)利要求21所述的方法，包括通過(guò)將所述第二幀的第一個(gè)值除以轉(zhuǎn)換因子，來(lái)估計(jì)所述第二幀的第二個(gè)值。
23.如權(quán)利要求22所述的方法，包括通過(guò)對(duì)與所述多個(gè)幀的子集相關(guān)聯(lián)的所存儲(chǔ)的復(fù)雜度比取平均，來(lái)計(jì)算所述第二幀的轉(zhuǎn)換因子，所述子集是已被所述第二算法編碼并且與所述第二幀具有相同圖像類(lèi)型的幀。
24.如權(quán)利要求23所述的方法，還包括以所述第二編碼算法分析所述第二已編碼幀的解碼版本，以測(cè)量所述第二幀的復(fù)雜度的第三個(gè)值，以及存儲(chǔ)所述第二幀的圖像類(lèi)型和復(fù)雜度比。
25.如權(quán)利要求14所述的方法，其中，所述的估計(jì)所述第一幀的第二個(gè)值的步驟包括基于所述第一幀的圖像類(lèi)型，將所述第一個(gè)值除以一個(gè)缺省值。
26.如權(quán)利要求14所述的方法，還包括在以所述第二算法對(duì)所述第一幀進(jìn)行編碼之前，從所述第一幀的未濾波、未壓縮版本創(chuàng)建所述第一幀的濾波版本，以及選擇所述第一幀的未濾波版本或?yàn)V波版本，以由所述第二算法來(lái)編碼。
27.一種用于對(duì)由一連串幀組成的未壓縮數(shù)字視頻輸入流進(jìn)行編碼的裝置，其中每個(gè)幀具有與其相關(guān)聯(lián)的多個(gè)特性，所述裝置包括提取裝置，用于接收所述未壓縮數(shù)字視頻輸入流的所述一連串幀，并且采用第一方法來(lái)獲得所述輸入流的幀的多個(gè)特性的測(cè)量值，并給所述幀指定圖像類(lèi)型，延遲裝置，用于接收所述輸入流的所述一連串幀，并相對(duì)于所述輸入流的幀以延遲方式輸出所述幀，值存儲(chǔ)裝置，用于存儲(chǔ)所述延遲裝置中的幀的測(cè)量值和圖像類(lèi)型，以及編碼裝置，用于從所述延遲裝置接收幀并對(duì)所述幀進(jìn)行編碼，所述編碼裝置響應(yīng)于存儲(chǔ)在所述值存儲(chǔ)裝置中的測(cè)量值，以調(diào)整所述幀的編碼版本的大小。
28.如權(quán)利要求27所述的裝置，其中，所述值存儲(chǔ)裝置還包括用于操作幀的第一特性的測(cè)量值以導(dǎo)出所述幀的第二特性的估計(jì)值的裝置。
29.如權(quán)利要求28所述的裝置，其中，所述編碼裝置接收與所述幀相關(guān)聯(lián)的圖像類(lèi)型、特性的測(cè)量值和特性的估計(jì)值，并且使用所述圖像類(lèi)型、所述測(cè)量值和所述估計(jì)值作為參數(shù)，來(lái)創(chuàng)建所述幀的編碼版本。
30.如權(quán)利要求29所述的裝置，其中，所述值存儲(chǔ)裝置將確定所述延遲裝置中幀的編碼版本的大小的預(yù)測(cè)值，并且其中，所述編碼裝置響應(yīng)于所述預(yù)測(cè)值，調(diào)整從所述延遲裝置接收的幀的編碼版本的大小。
31.如權(quán)利要求30所述的裝置，其中，所述編碼裝置還包括用于測(cè)量幀的復(fù)雜度的值的裝置、用于存儲(chǔ)所測(cè)量的復(fù)雜度值的裝置和用于存儲(chǔ)幀的編碼版本的大小的裝置。
32.如權(quán)利要求31所述的裝置，還包括濾波裝置，用于從所述延遲裝置接收未濾波的幀并創(chuàng)建濾波后的幀，以及開(kāi)關(guān)裝置，用于從所述延遲裝置接收所述未濾波的幀，從所述濾波裝置接收所述濾波后的幀，并且選擇性地將所述未濾波的幀或所述濾波后的幀傳輸?shù)剿鼍幋a裝置。
33.如權(quán)利要求32所述的裝置，其中，所述開(kāi)關(guān)裝置響應(yīng)于所述編碼裝置來(lái)選擇所述未濾波的幀或所述濾波后的幀以傳輸?shù)剿鼍幋a裝置。
34.如權(quán)利要求27所述的裝置，其中，所述提取裝置包括按第一編碼方法對(duì)幀進(jìn)行編碼的編碼裝置，并且從所述延遲裝置接收幀的所述編碼裝置以相異的第二編碼方法對(duì)幀進(jìn)行編碼。
35.一種用于對(duì)由一連串已編碼幀組成的壓縮數(shù)字視頻輸入流進(jìn)行碼轉(zhuǎn)換的裝置，其中每個(gè)已編碼幀具有與其相關(guān)聯(lián)的多個(gè)特性，所述裝置包括解碼裝置，用于接收所述壓縮數(shù)字視頻輸入流的所述一連串已編碼幀，并且采用第一方法來(lái)獲得一連串解碼幀和解碼幀的多個(gè)特性的測(cè)量值，并給所述解碼幀指定圖像類(lèi)型，延遲裝置，用于接收所述輸入流的所述一連串解碼幀，并相對(duì)于所述輸入流的已編碼幀以延遲方式輸出所述解碼幀，值存儲(chǔ)裝置，用于存儲(chǔ)所述延遲裝置中的解碼幀的測(cè)量值和圖像類(lèi)型，以及編碼裝置，用于從所述延遲裝置接收解碼幀并對(duì)所述幀進(jìn)行編碼，所述編碼裝置響應(yīng)于存儲(chǔ)在所述值存儲(chǔ)裝置中的測(cè)量值，來(lái)調(diào)整所述幀的編碼版本的大小。
36.如權(quán)利要求35所述的裝置，其中，所述值存儲(chǔ)裝置還包括用于操作解碼幀的第一特性的測(cè)量值以導(dǎo)出所述解碼幀的第二特性的估計(jì)值的裝置。
37.如權(quán)利要求36所述的裝置，其中，所述編碼裝置接收與所述解碼幀相關(guān)聯(lián)的圖像類(lèi)型、特性的測(cè)量值和特性的估計(jì)值，并且使用所述圖像類(lèi)型、所述測(cè)量值和所述估計(jì)值作為參數(shù)，以創(chuàng)建所述解碼幀的編碼版本。
38.如權(quán)利要求37所述的裝置，其中，所述值存儲(chǔ)裝置將確定所述延遲裝置中解碼幀的編碼版本的大小的預(yù)測(cè)值，并且其中，所述編碼裝置響應(yīng)于所述預(yù)測(cè)值，調(diào)整從所述延遲裝置接收的解碼幀的編碼版本的大小。
39.如權(quán)利要求38所述的裝置，其中，所述編碼裝置還包括用于測(cè)量解碼幀的復(fù)雜度的值的裝置、用于存儲(chǔ)所測(cè)量的復(fù)雜度值的裝置和用于存儲(chǔ)解碼幀的編碼版本的大小的裝置。
40.如權(quán)利要求35所述的裝置，還包括濾波裝置，用于從所述延遲裝置接收未濾波的解碼幀并創(chuàng)建濾波后的幀，以及開(kāi)關(guān)裝置，用于從所述延遲裝置接收所述未濾波的幀，從所述濾波裝置接收所述濾波后的幀，并且選擇性地將所述未濾波的解碼幀或所述濾波后的幀傳輸?shù)剿鼍幋a裝置。
41.如權(quán)利要求40所述的裝置，其中，所述開(kāi)關(guān)裝置響應(yīng)于所述編碼裝置來(lái)選擇所述未濾波的解碼幀或所述濾波后的幀以傳輸?shù)剿鼍幋a裝置。
全文摘要
一種對(duì)未壓縮數(shù)字視頻流的幀進(jìn)行編碼的方法包括以第一算法(MPEG2)分析未壓縮數(shù)字視頻流的一幀，以測(cè)量該幀的復(fù)雜度的第一個(gè)值，并指定該幀的圖像類(lèi)型，并且使用第一測(cè)量值作為參數(shù)來(lái)估計(jì)該幀的復(fù)雜度的第二個(gè)值。然后采用該幀的復(fù)雜度的第二個(gè)值和第一幀的圖像類(lèi)型作為參數(shù)，以相異的第二算法(H.264)對(duì)該幀進(jìn)行編碼。
文檔編號(hào)H04N11/02GK1726709SQ200380105746
公開(kāi)日2006年1月25日 申請(qǐng)日期2003年12月9日 優(yōu)先權(quán)日2002年12月10日
發(fā)明者余國(guó)瑤, 周志, 查爾斯·H·范杜森 申請(qǐng)人:Tut系統(tǒng)公司