專利名稱：視頻處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號(hào)處理。有時(shí)需要在時(shí)間上壓縮視頻信號(hào)，使其 持續(xù)時(shí)間短于原始持續(xù)時(shí)間，或反之延長持續(xù)時(shí)間。
背景技術(shù)：
美國專利5,995,153描述了提供實(shí)時(shí)視頻節(jié)目擴(kuò)展或收縮以使其與 安排好的時(shí)段匹配或從節(jié)目中產(chǎn)生盈余廣播時(shí)間以插入廣告或通告的方 法。該系統(tǒng)通過幀刪減或重復(fù)來工作；也就是說，在收縮的情況下，刪 除視頻信號(hào)幀，這可以按照規(guī)則的間隔手工實(shí)現(xiàn)，或根據(jù)存在的運(yùn)動(dòng)量 而自適應(yīng)地進(jìn)行，使得具有高運(yùn)動(dòng)度的幀不被去除。類似地，可刪除或 重復(fù)各段伴音軌道以進(jìn)行匹配；假定差分延遲不被人所察覺的情況下， 這也可以根據(jù)內(nèi)容來進(jìn)行，而不必與視頻幀的刪除一致。
現(xiàn)在，數(shù)字視頻編碼技術(shù)通常使用幀間差分編碼。通常，無法在不 產(chǎn)生在視頻序列的后續(xù)幀中傳播的錯(cuò)誤的情況下從這樣的視頻信號(hào)中刪 減幀。因此，幀刪減法變得沒有吸引力，因?yàn)槿藗冃枰谌コ龓皩?duì)信 號(hào)進(jìn)行解碼，隨后必須要再次進(jìn)行編碼。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了如權(quán)利要求所定義的方法。
具體實(shí)施例方式
現(xiàn)在參考附圖
通過示例來說明本發(fā)明的一些實(shí)施方式。 假設(shè)已經(jīng)使用涉及幀間差分編碼的常規(guī)方法對(duì)視頻信號(hào)進(jìn)行了編 碼，根據(jù)(在本例中)MPEG2標(biāo)準(zhǔn)來編碼，當(dāng)然同一原理也可應(yīng)用于 H.264和其它標(biāo)準(zhǔn)。來自遠(yuǎn)程編碼器的編碼視頻信號(hào)被輸入到緩存〗，盡管在優(yōu)選的情況下該系統(tǒng)可以處于，甚至集成于該編碼器上。信號(hào)以該 編碼器確定的幀速率到達(dá)。控制單元2從該緩存1中讀出數(shù)據(jù)，并通過 輸出端3將其發(fā)送到遠(yuǎn)程接收器。
本發(fā)明的目標(biāo)是能在時(shí)間上壓縮視頻信號(hào)，使得它在接收器處在比 編碼器設(shè)想的時(shí)間稍短的時(shí)段內(nèi)顯示。然而，并不用刪減幀，該系統(tǒng)如 下工作。要注意的是，該系統(tǒng)不需要對(duì)遠(yuǎn)程解碼器進(jìn)行任何修改。
在MPEG2中，通過多種機(jī)制將解碼幀的顯示速率通報(bào)給解碼器
(i) 宣稱的幀速率；
(ii) 解碼時(shí)間戳；
(iii) 呈現(xiàn)時(shí)間戳。 我們將依次討論這些機(jī)制。
根據(jù)標(biāo)準(zhǔn)ISO/正C 13818-2:2000(E)的6.3.3章節(jié)，各序列報(bào)頭 (Sequence Header)包括以下參數(shù)
四位碼frame—rate—code,其通報(bào)基礎(chǔ)幀速率(稱為frame—rate—value) 是24000/1001(=23.976...)，24，25，30000/1001(=29.97...),30,50， 60000/1001 (=59.94),或60幀每秒中的一個(gè)；
frame—rate—extension—n，兩位二進(jìn)制數(shù)，比調(diào)節(jié)系數(shù)的分子小l;
frame—rate—extension—d，五位二進(jìn)制數(shù)，比調(diào)節(jié)系數(shù)的分母小l;
從而在解碼器處將實(shí)際幀速率確定為
frame—rate^
frame—rate—value * (frame—rate—extension—n + 1)/(fraine—rate—extension—d + 1) 本例中，假設(shè)在編碼器處設(shè)置的幀速率為25幀每秒，因此這些參數(shù) 取值如下
frame—rate—value = 25 frame—rate—extension一n = 0 frame—rate—extension一d = 0
控制單元2需要用一個(gè)適合于期望的新幀速率的值來替換這些參數(shù) 中的-一個(gè)或更多個(gè)。假如持續(xù)時(shí)長為一個(gè)小時(shí)的電視節(jié)目將被縮減3分 鐘，變成57分鐘的持續(xù)時(shí)間。理想的情況是該幀速率需要增加到原始幀速率的60/57倍，即26.316。
在標(biāo)準(zhǔn)允許的選項(xiàng)內(nèi)無法精確地實(shí)現(xiàn)此幀速率，但是通過以下設(shè)置 可實(shí)現(xiàn)很好的近似
frame—rate—value — ■ 60
frame—rate—extension一n =3
frame—rate_extension—d =8
所以新的幀速率是
new—frame_rate —■
frame—rate—value * (frame—rate—extension—n + l)/(frame—rate—extension_d+ 1) =60*4/9 = 26.667。
這將實(shí)現(xiàn)56分15秒的新的播放時(shí)間。這比期望值稍短；如果需要 精確的長度，可通過將該速率變化僅僅應(yīng)用于節(jié)目的一部分而容易地實(shí) 現(xiàn)。
一般情況下，該過程是
給出原始持續(xù)時(shí)間D和新持續(xù)時(shí)間d。 利用上述公式，由輸入?yún)?shù)計(jì)算舊的幀速率R。
應(yīng)當(dāng)理解，所有輸入幀都將被發(fā)送至解碼器，沒有幀會(huì)被刪除(也
沒有增加)，因此期望或目標(biāo)新速率r可根據(jù)i^RD/d計(jì)算出。這時(shí)可以 簡(jiǎn)單地選擇最接近目標(biāo)速率的允許速率。但是，我們首選如下處理。
可利用參數(shù)的相應(yīng)值生成關(guān)注范圍(比如24到60fps)中所有可能 速率的表，并從該表中找出滿足r'公的最小速率r'，來獲得實(shí)際新速率。
應(yīng)用該速率以得到總持續(xù)時(shí)間d的時(shí)間t為
t = R(D-d)/(r'-R)
現(xiàn)在來討論時(shí)間戳，MPEG2規(guī)定(作為傳輸流(Transport Stream)
規(guī)范的一部分) 一些(但不是全部)圖像攜帶限定該圖像的解碼時(shí)間的 解碼時(shí)間戳，以及限定該圖像的顯示時(shí)間的顯示時(shí)間戳。事實(shí)上不必使 用兩個(gè)時(shí)間戳，且實(shí)際上不是所有解碼器都使用兩個(gè)時(shí)間戳。但是，除 非事先知道所用解碼器的類型，否則有必要調(diào)整兩種時(shí)間戳以匹配新的 幀速率。呈現(xiàn)時(shí)向戳(PTS， Presentation time stamp)是一個(gè)33位整數(shù)，其 指示由攜帶該時(shí)間戳的數(shù)據(jù)包中的數(shù)據(jù)表示的第一幀在解碼器中的期望 呈現(xiàn)時(shí)間。其確切值是呈現(xiàn)時(shí)間(單位為秒)與系統(tǒng)時(shí)鐘頻率(通常是 90kHz)的乘積以233取模，四舍五入到最接近的整數(shù)。
原則上，各時(shí)間戳與幀速率的增大成比例地減小，即乘以R/r'。但是， 在序列中開始新速率的傳輸之后接著以原始速率進(jìn)行傳輸?shù)那闆r下，或 者在時(shí)間戳復(fù)位(即時(shí)間戳233-1之后是時(shí)間戳0)的情況下，需要采取 措施來避免發(fā)生中斷。
在已經(jīng)以舊速率開始傳輸?shù)那闆r下，需要記錄將以新速率發(fā)送的第 一幀的時(shí)間戳PTS,ef。如下面討論的，如果該時(shí)間戳自身經(jīng)過調(diào)整，則它 是調(diào)整后的用于PTS^的輸出值，而不是輸入值。
然后新速率下的任何后續(xù)任意幀n的輸入時(shí)間戳PTS(n)使其時(shí)間相 對(duì)該第一幀縮放，以產(chǎn)生新的時(shí)間戳PTS'(n)，將該新的時(shí)間戳寫入輸出 數(shù)據(jù)包報(bào)頭中，替代舊的時(shí)間戳
PTS'(n)=PTSref+NINT{(PTS(n)-PTSref).R/r'}
這里NINT表示"最接近的整數(shù)"。
注意如果該時(shí)間戳經(jīng)過復(fù)位點(diǎn)，則需要確保該減法和加法執(zhí)行模
如果(如上所設(shè)想的)以增加的幀速率傳送之后以原始編碼速率繼 續(xù)傳輸，則后續(xù)幀的時(shí)間戳也需要調(diào)整。
較高速率下的最后一幀具有如上所述計(jì)算出的時(shí)間戳。為了便于說 明，將其稱為幀m。其輸入時(shí)間戳PTS(m)與調(diào)整后的時(shí)間戳PTS'(m)之
間的差表示要施加到后續(xù)時(shí)間戳上的永久偏移，即對(duì)于需要時(shí)間戳的任 意后續(xù)幀N
PTS'(N) = PTS(N) - (PTS(m) - PTS ('m》.
再次對(duì)該減法結(jié)果執(zhí)行模233。
我們觀察到在重復(fù)地在增加的幀速率下工作時(shí)，上述公式可能會(huì)導(dǎo) 致不確定地增加的時(shí)間偏移。但是，通過使用取模算法，這將不成問題。 或者，不應(yīng)用該連續(xù)校正，可以設(shè)置MPEG傳輸流的中斷位，從而按照與輸入幀一致的值重新建立時(shí)間戳。
MPEG-2中的顯示時(shí)間戳與呈現(xiàn)時(shí)間戳有相同的格式，且用同樣方
法進(jìn)行處理。
在視頻序列具有使用MPEG編碼的伴音音軌時(shí)，可以通過與應(yīng)用于 視頻數(shù)據(jù)包相同的方式修正應(yīng)用于該音頻數(shù)據(jù)包的時(shí)間戳，來調(diào)節(jié)播放 速率?；蛘撸梢允褂脗鹘y(tǒng)技術(shù)來在時(shí)間上對(duì)該音頻信號(hào)進(jìn)行壓縮。
已經(jīng)提到了不需要對(duì)解碼器進(jìn)行修正。大部分情況下(不是所有情 況)，不需要對(duì)顯示進(jìn)行修正?；旧?，這里有兩種可能情況。 一種是解
碼器向監(jiān)視器輸出模擬視頻信號(hào)這里我們期望掃描電路會(huì)輕松地適應(yīng)
掃描速率的適度提高。另一情況是解碼器將解碼幀寫入到顯示緩存內(nèi)， 隨后以相當(dāng)高的幀速率讀出以在監(jiān)視器上顯示。這是基于計(jì)算機(jī)系統(tǒng)的
情景，其中，在英國，輸入的25fps信號(hào)被寫入顯示緩存，隨后以大概 60甚至75fps讀出。當(dāng)然這里解碼器寫入速率的微小改變對(duì)顯示根本沒 有影響。
可以理解，在本發(fā)明的情況下，如現(xiàn)有技術(shù)的系統(tǒng)中一樣，可以抑 制或限制本方法對(duì)于視頻序列的選定部分(根據(jù)圖像內(nèi)容手動(dòng)或自動(dòng)選 擇的)的應(yīng)用。這自然需要比針對(duì)整個(gè)傳輸時(shí)間的目標(biāo)幀速率更高的瞬 時(shí)幀速率。如果認(rèn)為目標(biāo)速率和上述最低標(biāo)準(zhǔn)速率之間的差不足，則有 必要選擇稍微高點(diǎn)的速率。
在H.264標(biāo)準(zhǔn)的情況下，該實(shí)施方式類似于MPEG2;存在整體vui (視頻可用性信息)表幀速率。當(dāng)結(jié)合RTP使用時(shí)，可以使用該RTP時(shí) 間戳。
如果不是提高幀速率以在時(shí)間上縮短視頻，而是希望降低幀速率以 擴(kuò)展時(shí)間尺度，則處理還是如上所述，只是當(dāng)然新的持續(xù)時(shí)間d大于D(并 因此r〉1)，而且，如果需要精確的持續(xù)時(shí)間，則r'為滿足r'》的最大速率。
權(quán)利要求
1、一種處理編碼視頻信號(hào)的方法，該視頻信號(hào)包含在解碼器處對(duì)該信息的解碼幀速率起決定作用的一個(gè)或更多個(gè)定時(shí)參數(shù)，該方法包括以下步驟緩存所述視頻信號(hào)，響應(yīng)于指定對(duì)所述信號(hào)應(yīng)用時(shí)間壓縮還是擴(kuò)展的命令，根據(jù)所述定時(shí)參數(shù)和所指定的壓縮計(jì)算至少一個(gè)修正參數(shù)，以及利用所述修正定時(shí)參數(shù)代替所接收的定時(shí)參數(shù)而輸出所述視頻信號(hào)。
2、 如權(quán)利要求l所述的方法，其中，所述定時(shí)參數(shù)包括指定幀速率 的參數(shù)。
3、 如權(quán)利要求1或2所述的方法，其中，所述定時(shí)參數(shù)包括至少一 個(gè)指定幀的解碼時(shí)間的時(shí)間戳。
4、 如權(quán)利要求i、 2或3所述的方法，其中，所述定時(shí)參數(shù)包括至 少一個(gè)指定幀的解碼時(shí)間的時(shí)間戳。
5、 如上述任一權(quán)利要求所述的方法，用于具有從多個(gè)預(yù)定的離散幀 速率中指定一個(gè)幀速率的定時(shí)參數(shù)的信號(hào)格式，所述方法包括根據(jù)所接 收到的指定幀速率的定時(shí)參數(shù)和所指定的壓縮求出期望的幀速率，并選 擇所述離散幀速率中最接近于所述期望幀速率的一個(gè)。
6、 如權(quán)利要求l到4中任一個(gè)所述的方法，其中，所述命令指定了 時(shí)間壓縮，并且該方法用于具有從多個(gè)預(yù)定的離散幀速率中指定一個(gè)幀 速率的定時(shí)參數(shù)的信號(hào)格式，包括根據(jù)所接收到的指定幀速率的定時(shí) 參數(shù)和所指定的壓縮求出期望的幀速率，并選擇所述離散幀速率中大于 或等于所述期望幀速率的最小的一個(gè)。
7、 如權(quán)利要求l到4中任一個(gè)所述的方法，其中，所述命令指定了時(shí)間壓縮，并且該方法用于具有從多個(gè)預(yù)定的離散幀速率中指定一個(gè)幀 速率的定時(shí)參數(shù)的信號(hào)格式，包括根據(jù)所接收到的指定幀速率的定時(shí) 參數(shù)和所指定的壓縮求出期望的幀速率，并選擇所述離散幀速率中小于或等于所述期望幀速率的最大的一個(gè)。
8、如權(quán)利要求6或7所述的方法，所述方法還包括計(jì)算比建議的傳 輸時(shí)段短的時(shí)間段，在該時(shí)間段中，應(yīng)用所選擇的幀速率，使得在所期 望的傳輸時(shí)段上的平均幀速率基本上等于所述期望幀速率。
全文摘要
對(duì)編碼視頻信號(hào)進(jìn)行處理，使得解碼器處的顯示短于(或，如期望的，長于)編碼時(shí)的設(shè)想時(shí)間。該視頻信號(hào)包含在解碼器處對(duì)該信號(hào)的解碼幀速率具有決定作用的一個(gè)或更多個(gè)定時(shí)參數(shù)。該方法包括緩存輸入的視頻信號(hào)，根據(jù)所述定時(shí)參數(shù)和所指定的壓縮(或擴(kuò)展)計(jì)算出至少一個(gè)修正參數(shù)，并利用所述修正定時(shí)參數(shù)代替所接收到的定時(shí)參數(shù)而輸出所述視頻信號(hào)。所述參數(shù)可包括指定幀速率的參數(shù)，至少一個(gè)指定幀的解碼時(shí)間的時(shí)間戳，和/或至少一個(gè)指定幀的解碼時(shí)間的時(shí)間戳。
文檔編號(hào)H04N7/24GK101449584SQ200780018787
公開日2009年6月3日 申請(qǐng)日期2007年4月18日 優(yōu)先權(quán)日2006年5月26日
發(fā)明者理查德·詹姆士·雅各布 申請(qǐng)人:英國電訊有限公司