專利名稱：對編碼的a/v序列實行精確到幀的編輯的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及以幀為基礎(chǔ)進行編碼的音頻和/或視頻數(shù)據(jù)的存儲、恢復、和編輯，其中具體地(但不是必需地)結(jié)合數(shù)據(jù)的光盤存儲和符合MPEG的編碼方案的應用。
近來，提出了對于民用的和商用的音頻和/或視頻(這里是“A/V”)設(shè)備的需要，以支持更多的用戶交互性，以及由此產(chǎn)生了對于無接縫地連接A/V段的需要，其中在一段的結(jié)尾與下一段的起始之間的過渡可以由譯碼器平滑地處理。這意味著，從用戶的觀點，所觀看的幀速率沒有可覺察的變化，以及聲音連續(xù)而沒有中斷。對于無接縫視頻的應用是多種的，具體的民用用途包括家庭電影的編輯以及去除在記錄的廣播材料中的廣告中斷與其它不連續(xù)性。另一些例子包括用于小精靈(計算機產(chǎn)生的圖象)的視頻序列背景；這種技術(shù)的示范用途可以是在MPEG編碼的視頻序列前面運動的活動角色。另一個例子是一系列角色-用戶的交互作用，呈現(xiàn)為短的無接縫剪輯，其中交互的結(jié)果將確定下次出現(xiàn)哪個剪輯。這方面的一個發(fā)展是交互電影，其中用戶(觀眾)可以影響故事線索。在交互電影中沿著用戶選取的路徑的分支點應當呈現(xiàn)為無接縫的，否則，用戶將失去通常與觀看電影相伴的對懷疑的懸念。
基于幀的編碼方案，特別是那些涉及至少對于視頻內(nèi)容的不同幀之間的預測編碼的、符合MPEG的方案中所存在的問題在于不可能簡單地從第一個畫面組(GOP)中的最后的幀跳到新的GOP的第一幀，更不用說在一個任意選擇的幀跳到另一個幀了。這是由于時間的依賴性、時序、以及特別是緩存等約束條件造成的，正如將在后面進一步討論的。
所以，本發(fā)明的一個目的是使得能夠這樣地讀出已存儲的音頻和/或視頻剪輯部分或幀序列，即允許它們被連接在一起而不引起可覺察的干擾。
按照本發(fā)明，提供了一種數(shù)據(jù)處理設(shè)備，它包括用來從存儲裝置讀出基于幀的數(shù)據(jù)序列以及用來編輯它們的裝置，以便從第一幀序列中的第一編輯點鏈接到第二幀序列中的第二編輯點，其中對于每個存儲的幀序列，多個幀(此后稱為“I幀”)被內(nèi)部編碼而不參照序列中任何其它的幀，多個幀(此后稱為“P幀”)是分別相對于序列的另一個幀被編碼的，以及其余的幀(此后稱為“B幀”)是分別相對于序列的另兩個或多個幀被編碼的；該設(shè)備包括橋生成裝置，用來通過從存儲的第一和第二幀序列中有選擇地引用一些幀，以及把該橋序列內(nèi)的一個或多個幀有選擇地重新編碼(它們由各個編輯點所指明的第一和第二序列的幀的編碼類型(I，P，B)所確定)，從而創(chuàng)建能鏈接第一和第二編輯點的橋幀序列。
按照本發(fā)明，也提供了用于編輯基于幀的數(shù)據(jù)的序列的方法，用來從第一幀序列中的第一編輯點鏈接到第二序列中的第二編輯點，其中對于每個存儲的幀序列，多個幀(此后稱為“I幀”)被內(nèi)部編碼而不參照序列的任何其它的幀，多個幀(此后稱為“P幀”)是分別相對于序列的另一個幀而被編碼的，以及其余的幀(此后稱為“B幀”)是分別相對于序列的另兩個或多個幀而被編碼的；該方法包括創(chuàng)建鏈接第一和第二編輯點的橋幀序列的步驟，橋幀序列從第一和第二幀序列中引用一些幀，和把橋序列內(nèi)的一個或多個幀有選擇地重新編碼，這是由以各自的編輯點所指明的第一和第二序列的幀的編碼類型所確定的。
通過使用橋序列生成(該橋序列生成可以由處理來自存儲裝置和傳送到存儲裝置的數(shù)據(jù)的信號處理設(shè)備的適當配置的子部分來實現(xiàn))，提供了解決在遵從MPEG的和類似的節(jié)目數(shù)據(jù)流中進行視頻幀和/或音頻幀精確編輯的問題(其中因為時間的依賴性和在這樣的編碼和復用技術(shù)中使用的緩存模型，不能在任何幀邊界上進行簡單的剪貼編輯)的一種裝置。
在附屬權(quán)利要求中，闡述了本發(fā)明的另一些特性，其揭示內(nèi)容在此引用，以供參考，并把讀者的注意力引導到這一點。下面將借助于示例性但不是限制性實施例進一步描述本發(fā)明的這些和其它方面。
現(xiàn)在將僅僅通過例子和參照附圖來描述優(yōu)選實施例，其中

圖1是適合于實施本發(fā)明的光盤記錄/應答設(shè)備的示意方框圖；圖2是顯示圖1的設(shè)備內(nèi)的部件的更詳細的示意圖；圖3表示光盤上序列區(qū)域中的信息塊的記錄；圖4表示在圖3的光盤上存儲的信息的重放；
圖5總的顯示在省略橋序列時所存儲的視頻數(shù)據(jù)的編輯；圖6以顯示的次序表示一對MPEG視頻圖象流的所需要的拼接點；圖7顯示相對于產(chǎn)生的橋序列的序列邊界；圖8示意地表示在視頻和音頻信號幀中持續(xù)時間的差別與它們對于數(shù)據(jù)包大小的關(guān)系；圖9表示在兩個A/V幀序列之間的橋段的創(chuàng)建；以及圖10顯示在復合的A/V分組流中音頻分組的滯后。
以下的說明具體地考慮按照MPEG標準(對于MPEG1的ISO/IEC11172，特別是對于MPEG2的ISO/IEC 13818)運行的A/V裝置，雖然本領(lǐng)域技術(shù)人員將認識到，本發(fā)明適用于不遵從MPEG標準的其它A/V編碼方案。
下面描述本發(fā)明如何解決在MPEG程序流中進行視頻和/或音頻幀精確編輯的問題，其中因為時間的依賴性和在MPEG編碼和復接中使用的緩存模型，不能在任何幀邊界上進行簡單的剪貼編輯。
為了便于編輯，產(chǎn)生了橋序列，也就是MPEG數(shù)據(jù)的短序列，它們是特別構(gòu)建來(以一種要被描述的方式)以便把MPEG數(shù)據(jù)的兩個原先的記錄鏈接在一起。諸如將要被討論的，在某些環(huán)境下，為了構(gòu)建正確的MPEG數(shù)據(jù)流，必須對這個數(shù)據(jù)段部分譯碼和重新編碼。
視頻編輯中的最后的單元是控制結(jié)構(gòu)或重放列表。這指示重放系統(tǒng)如何對數(shù)據(jù)流排序。它包含原先數(shù)據(jù)流的出口點以及關(guān)于橋序列的起始端的信息。它包含關(guān)于要在何處從橋序列的結(jié)尾端跳到第二數(shù)據(jù)流的信息。它也可以包含使重放更易于管理的其它信息。
圖1顯示適合于實施本發(fā)明的以光盤記錄與重放裝置形式出現(xiàn)的設(shè)備的一個實施例。對設(shè)備的描述集中在基于幀視頻信號的處理上，雖然將會看到，可以替換地或附加地處理其它類型的信號，諸如音頻或數(shù)據(jù)信號，以及本發(fā)明同樣地可適用于其它的存儲器裝置，諸如磁性數(shù)據(jù)存儲裝置和計算機硬盤裝置。
設(shè)備包括輸入端1，用于接收要被記錄在光盤上的視頻信號。而且，設(shè)備包括輸出端2，用于提供從光盤上重現(xiàn)的視頻信號。
光盤3的數(shù)據(jù)區(qū)包含連續(xù)范圍的物理扇區(qū)，它們具有相應的扇區(qū)地址。這個地址空間被劃分成序列區(qū)域，序列區(qū)域是連續(xù)的扇區(qū)序列。如圖1所示的設(shè)備被分解成兩個主要系統(tǒng)部分，即，光盤子系統(tǒng)6和用于控制記錄和重放的、這里叫做視頻記錄器的子系統(tǒng)。兩個子系統(tǒng)被賦以多個特性，正如將會很容易明白的，這些特性包括光盤子系統(tǒng)可以根據(jù)邏輯地址而被透明地編址，以及可以保證得到用于讀和/或?qū)懙淖畲蟪掷m(xù)比特率。
圖2更詳細地顯示了該設(shè)備的示意圖。該設(shè)備包括信號處理單元100，它包含在圖1的子系統(tǒng)8中。信號處理單元100通過輸入端1接收視頻信號，并把視頻信號處理成信道信號以便記錄在光盤3上。提供了用虛線表示的、包含在圖1的光盤子系統(tǒng)中的讀/寫單元102。讀/寫單元102包括讀/寫頭104，用來從光盤3讀出/寫到光盤3上。定位裝置106用來確定讀/寫頭104在光盤3的徑向上的位置。讀寫放大器108用來放大送到光盤3的信號和來自光盤的信號。電動機110根據(jù)信號產(chǎn)生單元112提供的控制信號驅(qū)動光盤3旋轉(zhuǎn)。微處理器114用來經(jīng)過控制線116、118、和120控制所有的電路。
信號處理單元100適合于把通過輸入端1接收的視頻數(shù)據(jù)轉(zhuǎn)換成信道信號中的信息塊信息塊的大小可以是可變的，但可以是在(例如)2MB與4MB之間。寫單元102適合于把信道信號的信息塊寫入光盤3上的序列區(qū)。相應于原始視頻信號的信息塊被寫入到許多序列區(qū)，它們不一定是鄰接的，正如在圖3的記錄圖上所看到的，該安排被稱為分段記錄。光盤子系統(tǒng)的特征在于，它能夠足夠快地記錄和寫入這樣的分段的記錄，以便滿足實時的時限。
為了能夠編輯由早先記錄步驟記錄在光盤3上的視頻數(shù)據(jù)，該設(shè)備還配備有輸入單元130，用于接收被記錄在光盤3上的第一視頻信號中的出口位置(外出點)和用于接收被記錄在同一個光盤上的第二視頻信號中的進口位置(進入點)。另外，該設(shè)備包括橋序列產(chǎn)生單元134，它包括在信號處理單元100中，用于產(chǎn)生橋序列來鏈接兩個視頻數(shù)據(jù)流，正如后面詳細地描述的。
參照圖3以概略地討論視頻信號的記錄。在視頻記錄子系統(tǒng)中，視頻信號(它是實時信號)被轉(zhuǎn)換成實時文件RTF，如圖3的上面部分所顯示的。實時文件包含一連串的信號塊序列SEQ，以便記錄到相應的(雖然是分段的)序列區(qū)。序列區(qū)在光盤上的位置沒有限制，所以，包括被記錄的視頻信號的數(shù)據(jù)部分的任何兩個接連的序列區(qū)可以位于如圖3的下面部分所表示的邏輯地址空間LAS中的任何地方。在每個序列區(qū)域內(nèi)，實時數(shù)據(jù)被相鄰地部署。每個實時文件表示單個A/V數(shù)據(jù)流。通過按文件序列的次序把序列數(shù)據(jù)串接在一起，可得到A/V數(shù)據(jù)流的數(shù)據(jù)。
接著，將參照圖4概略地討論被記錄在光盤3上的視頻數(shù)據(jù)的重放。視頻信號的重放可借助于重放控制(PBC)程序來控制。通常，每個PBC程序定義了新的重放序列PBS，它可以包括記錄的視頻和/或音頻段的編輯過的版本以及可以規(guī)定來自各個序列區(qū)域的段序列。正如可以從圖3和4的比較中看到的，對于創(chuàng)建原始文件序列所需要的PBC(從圖3)要把分段的記錄的段重新編序，以提供相應于原始序列的重放幀系列。
現(xiàn)在參照圖5討論對于被記錄在光盤3上的一個或多個視頻信號的編輯，圖上顯示了由被稱為“文件A”和“文件B”的兩個分段序列表示的兩個視頻信號。為了實現(xiàn)先前記錄的一個或多個視頻信號的編輯過的版本，生成了新的PBC程序，用于規(guī)定通過按新的次序把早先的A/V記錄的部分串接在一起而得到的A/V序列。這些部分可以是來自同一個記錄或來自不同的記錄。為了重放PBC程序，來自(一個或多個)實時文件的各種不同的部分的數(shù)據(jù)必須被傳送到譯碼器。這是指通過把部分數(shù)據(jù)流串接在一起而得到的新的數(shù)據(jù)流。在圖5中的PBC程序顯示了這一點，它使用三個部分，來自文件A的一個部分和來自文件B的兩個部分。
圖5表明，編輯過的版本在文件A的系列區(qū)域中的點P1開始，繼續(xù)到文件A的下一個序列區(qū)域中的點P2為止。然后，重放跳到文件B中的序列區(qū)域中的點P3，以及繼續(xù)到文件B的另一個序列區(qū)域中的點P4為止。接著，重放跳到同一個文件B中的點P5，它可以是在文件B的一系列的序列區(qū)域中比點P3更早的點，或是在系列區(qū)域中比點P4更遲的點。從在文件B的序列區(qū)域中的點P5開始，重放繼續(xù)直到點P6為止。為了簡明起見，用于過渡段P2-P3和P4-P5的橋序列的生成，在圖5中被省略現(xiàn)在將考慮生成這些橋序列的理由，以及用于生成這些橋序列的方法。
正如通常所理解的，以下的例子涉及基于幀的編輯而不是基于場的編輯這是因為MPEG中視頻編碼的通用單元是幀。本領(lǐng)域技術(shù)人員將會看到，MPEG標準不是必須遵循的(如上所述)，以及這里所描述的技術(shù)也可以被應用于非MPEG的基于場的數(shù)據(jù)。
為了通過使用橋序列創(chuàng)建從一個MPEG數(shù)據(jù)流到另一個MPEG數(shù)據(jù)流的無接縫編輯，必須考慮多個因素和條件，正如下面所概述的和在后面詳細考慮的。
從基本數(shù)據(jù)流開始，以及首先考慮視頻部分場序列在所有的跳到橋序列的跳越或從橋序列向外的跳越過程中，序列(頂部-底部)必須被保存。
分辨率改變?nèi)绻直媛视懈淖?，如果需要的話也可產(chǎn)生無接縫重放。如果允許使用的分辨率級別有限制(例如，半級或全級)，則裝置可被簡化。
32下拉在所有的跳越過程中，場序列(頂部-底部)必須被保存。
混合的幀速率(例如，從NTSC到PAL)在這些環(huán)境下，對于該設(shè)備，只能以外加的化費和復雜性來確保無接縫重放，因為這種混合需要改變顯示器的垂直同步。只要可能的話，這種有關(guān)標準的混合以及幀速率的混合應當被避免。
畫面類型根據(jù)所涉及的畫面類型(I，P，B)，將需要不同的操作，如下面討論的。
現(xiàn)在轉(zhuǎn)到音頻部分，首先是間隙部分。對于組合的A/V數(shù)據(jù)流中的編輯，在視頻上，接合通常將是無接縫的，但在音頻幀結(jié)構(gòu)上，可能以間隙的形式，或者以重疊的形式而有不連續(xù)性，因為音頻幀通常與視頻幀具有不同的持續(xù)長度。為了處理它，在重放清單中需要信息來幫助放像機控制。另一個音頻問題是幀結(jié)構(gòu)的問題，它是橋序列創(chuàng)建者的職責，以便確保把完全的音頻幀的連續(xù)序列提交到譯碼器。
考慮復用問題，在連接時，系統(tǒng)時鐘參考(SCR)時基中的跳越可出現(xiàn)在任何幀邊界處，因此，譯碼器必須能夠重新構(gòu)建正確的時基。另外，在所有無接縫跳越中，必須遵守系統(tǒng)目標譯碼器(STD)約束，這是創(chuàng)建橋序列過程的職責以便確保這一點。復用會引起音頻歪斜問題在典型的實施方案中，在同時發(fā)生的譯碼的音頻和視頻的到達時間之間將有歪斜。為了處理這個問題，譯碼器必須具有在可以進行跳越以前用于從復用的數(shù)據(jù)流中讀出附加的音頻幀的手段。
最后，主要的光盤緩存問題是分配要求的問題，它是創(chuàng)建編輯過程的職責以確保滿足相鄰的區(qū)域為最小的要求。
如上所述，從視頻數(shù)據(jù)流的譯碼和顯示的觀點看來，要求無接縫地進行連接，總體上如圖6所示。所以，在對圍繞編輯點附近的一部分序列作重新編碼處理過程中，在出口點以后或在入口點以前的不必要的畫面被排除在外。數(shù)據(jù)的連續(xù)供給是無接縫譯碼的先決條件，該供給必須由文件系統(tǒng)保證。
在連接以前的序列(SEQ.1)的結(jié)尾處，要設(shè)置MPEG序列結(jié)束的代碼，在連接點以后的序列(SEQ.2)的起始處，要有序列數(shù)據(jù)頭。在SEQ.1的結(jié)尾處和在SEQ.2的起始處的視頻材料多半需要被重新編碼。如圖7所示，通過創(chuàng)建視頻橋序列來完成連接。橋序列由在出口點和入口點的任一側(cè)的原先內(nèi)容經(jīng)重新編碼的視頻組成。橋序列的第一部分構(gòu)成SEQ.1的結(jié)尾。它是一段直到預期的出口點并包括該出口點的編碼的視頻。它被重新編碼來連接到SEQ.1的先前的幀，形成連續(xù)一致的基本數(shù)據(jù)流。同樣地，橋序列的第二部分構(gòu)成SEQ.2的數(shù)據(jù)頭。它包含從SEQ.2的入口點以外的編碼數(shù)據(jù)。這個數(shù)據(jù)被重新編碼以便給出用于譯碼的實際起始點，以及連接到SEQ.2的其余的幀，以形成連續(xù)一致的基本數(shù)據(jù)流。視頻橋包含了在兩個序列之間的連接。SEQ.1與SEQ.2中所有的視頻數(shù)據(jù)遵從MPEG-視頻技術(shù)規(guī)范，且SEQ.2以I-畫面和GOP數(shù)據(jù)頭起始。I-畫面是該GOP中的第一顯示單元(時間參考值＝0)。這確保在序列的視頻數(shù)據(jù)之間有“清晰的間斷”，以及意味著，SEQ.1的視頻數(shù)據(jù)的最后的字節(jié)是在來自SEQ.2的視頻數(shù)據(jù)的任何字節(jié)被傳遞之前被傳遞的。所施加的另外的限制是在比特流中所規(guī)定的視頻顯示單元在跨越連接中將是連續(xù)的，在連接的顯示中既沒有幀間隙也沒有場間隙。
關(guān)于音頻，視頻和音頻幀大小的差別可以導致連接中音頻放音單元的序列中出現(xiàn)間隙。雖然持續(xù)時間小于一個幀的間隙是可以容忍的，但最好是在這個點插入另一個音頻幀，以使得在規(guī)定音頻放音單元中有一個小于音頻幀周期的重疊。對于復用問題，在SEQ.1的結(jié)尾和SEQ.2的起始處，即構(gòu)成橋序列的部分，要重新編碼和重新復用，并被存儲到復用的橋中，以確保遵循STD模式。為了滿足這個STD模式的要求，復用的橋在時間上多半比橋序列更長。在連接點以前、其期間、和以后的所有的放音單元的時序由單個參考時間線確定，以使得在重放模式時連接是無接縫的。
對于文件部署，連接要構(gòu)建成能使文件系統(tǒng)保證數(shù)據(jù)的連續(xù)供給。這是通過把復用橋部署成連接到SEQ.1和SEQ.2整體中新部署的一部分而完成的。把跳躍點選擇在SEQ.1中的原始數(shù)據(jù)以外從而到達含有SEQ.1的結(jié)尾的新的部署，以便滿足連續(xù)數(shù)據(jù)塊的部署條件而使數(shù)據(jù)能連續(xù)供給，這時新的部署至少必須把復用橋包括在內(nèi)。如果需要的話這個新的部署可能比復用橋長。橋的部署長度(包含SEQ.1的結(jié)尾和SEQ.2的起始，包括復用橋)應當被選擇成能滿足這樣的分段有可能得到擴展的條件，而SEQ.2跳回到原先的數(shù)據(jù)序列的點應當選擇成能滿足上述的鄰接塊的部署條件。
應當指出，靠近SEQ.1的結(jié)尾和SEQ.的起始的跳越點沒有直接被鏈接到復用橋的起始端和結(jié)尾端。它們應當由創(chuàng)建這種編輯的系統(tǒng)選擇成能滿足部署法則。對于任意選擇編輯入口點和出口點，總是有可能選擇跳越點來滿足連續(xù)供給條件。
在視頻序列級別上，這些幀或者可以按原先的序列進行復制，也可以被譯碼后重新編碼以形成橋序列。關(guān)于是進行重新編碼(為了改進的質(zhì)量)還是進行復制(為了改進的速度)的決定，依賴于以下幾個理由之一-重新編碼也許是不可避免的，因為所使用的參考畫面不再存在；-指定要重新編碼，因為參考畫面已經(jīng)改變，但是因為它是相同的內(nèi)容(雖然被重新編碼)，所以可以決定復制而不是重新編碼，為了速度犧牲精度；-為了減小比特率，選擇重新編碼。
正如下面描述的，有幾種必須考慮的情況的組合。在這些例子中，字母I、P、和B具有它們按照MPEG畫面或幀類型的傳統(tǒng)的意義；在幀類型字母后面的下標數(shù)字表示幀顯示次序，下標字母表示源或目的地，以及黑體類型外觀表示用來說明當前例子的特定的幀。
第一個例子具有由此跳出的作為B畫面的源畫面(在第一序列中的幀)。
按顯示次序
I0sB1sB2sP3sB4sB5sP6sB7sB8sP9sB10sB11s按比特流次序I0sB-1sB-2sP3sB1sB2sP6sB4sB5sP9sB7sB8s如果跳越是直接從幀B5s進行的，則譯碼器將不正確地顯示P6s。所以，如果編輯出口點是B畫面，則必須在先前的(按顯示次序)P畫面上進行跳越，并且對在橋序列中的B畫面重新編碼。直到出口點以前的畫面序列變成I0sB-1sB-2sP3sB1sB2sREF_PIC B*4sB*5s其中REF_PIC是取自目的地數(shù)據(jù)流的參考(I或P)畫面，以及B*4sB*5s在畫面內(nèi)容上相應于源數(shù)據(jù)流幀B4s和B5s，但被基于新的參考畫面重新編碼。
在另一種安排中，為了確保如上所述的“清晰的間斷”的連接，畫面編碼類型應當被改變到P幀，這樣避免了從目的地序列插入到REF_PIC的源序列。通過這種改變，直到出口點以前的畫面序列變成為I0sB-1sB-2sP3sB1sB2sP*4sB5s在下一個例子中，由此跳出的源畫面是P或I畫面。按顯示次序，原先的序列是I0sB1sB2sP3sB4sB5sP6sB7sB8sP9sB10sB11s按比特流次序I0sB-1sB-2sP3sB1sB2sP6sB4sB5sP9sB7sB8s如果出口點是P6s，則按比特流次序在B5s以后進行跳越。由此跳出的序列中的所有畫面將正確地譯碼，所以，可被簡單地復制。對于I畫面，而不是P畫面，情況是相同的。
在第三個例子中，跳越到的目的地畫面是B畫面。按顯示次序，原先的目的地序列是I0dB1dB2dP3dB4dB5dP6dB7dB8dP9dB10dB11d按比特流次序，原先的目的地序列是I0dB-1dB-2dP3dB1dB2dP6dB4dB5dP9dB7dB8d復合的橋序列是XXXXXXXXP6dB4dB5dP9dB7dB8d其中X是從源序列進行復制的或重新編碼的畫面。對于XXX數(shù)據(jù)流，(取決于是在I/P畫面上跳越還是在B畫面上跳越，如上所述)，對于XXX流的以下的各種可能性有兩種情況I0sB-1sB-2sP3sB1sB2sREF_PIC B*4sB*5sI0sB-1sB-2sP3sB1sB2sP6sB4sB5s在任一種情況下，P6d需要被重新編碼，因為它已經(jīng)丟失了它的參考畫面；B4d必須從序列中被除去；B5d必須被重新編碼；以及P9d和GOP(畫面組)中的所有其它畫面應當被重新編碼，因為P9d已經(jīng)被重新編碼。然而，通常，有可能僅僅復制P9d，以及接受由失配造成的有限的質(zhì)量惡化，不過在拼接以后的所有畫面可能需要改變時間參考。再者，為了在連接時保持清晰的間斷，我們可重新編碼和把P6s的畫面類型改變?yōu)镮幀。B4必須被排除在外，并把B5重新編碼。再次地，所有的幀應當被重新編碼，但可以認為它是足夠用來重新計算時間參考的。
這些例子的最后一個例子是考慮其中跳越到的目的地畫面是I或P畫面的情況。按顯示次序，原先的目的地序列是I0dB1dB2dP3dB4dB5dP6dB7dB8dP9dB10dB11dP12dB13dB14dP15d按比特流次序，原先的目的地序列是I0dB-1dB-2dP3dB1dB2dP6dB4dB5dP9dB7dB8dP12dB10dB11dP15dP12dB13dB14d復合的橋序列是XXXXXXXXP9dB7dB8dP12dB10dB11d其中X是從源序列進行復制的或重新編碼的畫面。如前所述，對于XXX數(shù)據(jù)流，取決于我們是在I/P畫面還是在B畫面上跳越，在XXX流為以下的一般的可能性下有兩種情況I0sB-1sB-2sP3sB1sB2sREF_PIC B*4sB*5sI0sB-1sB-2sP3sB1sB2sP6sB4sB5s在任一種情況下，P9d需要被重新編碼，因為它已經(jīng)丟失它的參考畫面，B7d和B8d必須從序列除去，因為沒有哪一個與編輯過的數(shù)據(jù)流有關(guān)，以及P12d和GOP(畫面組)中的所有其它畫面應當被重新編碼，因為P9d已經(jīng)被重新編碼；然而，有可能僅僅復制P12d，以及接受由失配造成的有限的質(zhì)量惡化，不過在拼接后的所有畫面可能需要改變時間參考。如上所述，在第一選項中，通過改變B*4s的幀類型可以替換REF_PIC，以便保持清晰的間斷。
轉(zhuǎn)到場序列，在無接縫連接時，這必須被保存。通常，對于不使用32下拉的幀結(jié)構(gòu)編碼，當編輯是基于幀或場對時，這是約定的動作。在使用repeat_first_field(rff)和top_field_first(tff)標志(MPEG標準編碼器的任選項)時，則需要當心確保保留以場為主。如果每個編碼的畫面是加時間印記的DTS/PTS(譯碼時間印記/呈現(xiàn)時間印記)，則這將更容易進行。如果它們沒有時間印記，則必須查看rff和tff標志，以確定場序列。這是在跳越時必須滿足的另一準則。
為了在編輯點給出“清晰的間斷”，復用要被約束以使得SEQ.1的所有的數(shù)據(jù)要在SEQ.2的第一數(shù)據(jù)被傳遞以前被傳遞到STD的輸入端。這會在提供的數(shù)據(jù)中給出單個的非連續(xù)性點。請注意，在獨立考慮SEQ.1和SEQ.2時可合適地(雖然不是必需地)遵守ISO/IEC13818-1 P-STD，盡管也可以使用其它的復用方法。在SEQ.1和SEQ.2中的視頻分組的編碼和復用圍緩存連續(xù)性而受到約束，如將在下面描述的。
SEQ.1中的音頻數(shù)據(jù)流的最后一個音頻分組包含具有放音間隔的樣本，這個間隔包括SEQ.1中最后的視頻畫面的顯示時間段的結(jié)尾。SEQ.2中的音頻數(shù)據(jù)流的最后的音頻分組包含了具有放音間隔的樣本，這個間隔包括SEQ.2中第一個視頻畫面的顯示時間段的起始。這個規(guī)定意味著，SEQ.1的結(jié)尾與SEQ.2的起始在它們的傳遞時間內(nèi)可能重疊在這種情況下所需要的放象機的運行情況將在下面規(guī)定。
在序列的重放期間，當重放單個序列時，只從單個時基來的數(shù)據(jù)呈現(xiàn)在STD緩存器中，STD模型像在ISO/IEC 13818-1(MPEG-2系統(tǒng))中規(guī)定的P-STD模型那樣運行這樣，可以同時保證音頻和視頻的連續(xù)表現(xiàn)。
在從一個序列轉(zhuǎn)移到另一個序列期間，SEQ.2的時基多半將與SEQ.1的不同。要求視頻數(shù)據(jù)的顯示將無接縫地連續(xù)進行。在音頻單元的放音時間上可能有重疊的OV，如圖8所示。
按照處理對于MPEG數(shù)據(jù)流的時間印記不連續(xù)性，通過從第一序列跳越到場序列，然后再到第二序列，在非連續(xù)性處(其中兩個數(shù)據(jù)流在橋的中點相遇)，在數(shù)據(jù)流記錄的SCR/DTS/PTS時間印記的時基將有改變。圖9顯示了對于以下的例子的這種安排，其中橋序列B在第一序列A與第二序列C之間。在該例子中，每個畫面所有的以字節(jié)計算的大小由An給出。
每個畫面具有基于系統(tǒng)時鐘DTAAn，PTSAn的譯碼和顯示時間的印記。
每個畫面具有在比特流中所記錄的DTS和PTS的數(shù)值，或可從記錄在比特流中的先前的數(shù)值DTS’An，PTS’An推導而得。
每個畫面具有起始代碼，它在可從記錄的SCR值SCR’An得出的時間上被傳遞到STD模型。
每個畫面具有起始代碼，用作STM模型中的實際時間，在此時數(shù)據(jù)被傳遞到STD緩存器SCRAn。
畫面周期是T。
對于序列ASCR’An＝SCRAn以及DTS’An＝DTSAn適用于所有的畫面n(換句話說，放像機中的系統(tǒng)時鐘和被記錄在數(shù)據(jù)流中的時間是相同的)。在不是這樣的情況下(例如，在先前的跳越以后)，它們將相差一個常數(shù)。
考慮視頻顯示的定時，顯示是連續(xù)的，在連接過程中沒有間隙。使用以下的符號PTS1end在SEQ.1的最后的視頻顯示單元的比特流中的PTS。
PTS2end在SEQ.2的第一個視頻顯示單元的比特流中的PTS。
TppSEQ.1的最后的視頻呈現(xiàn)單元的顯示周期。
然后從兩個數(shù)據(jù)流中的數(shù)據(jù)按下式計算兩個時基之間的偏差STC-deltaSTC_delta+PTS2start＝PTS1end+Tpp所以，STC_delta＝PTS1end-PTS2start+Tpp直到時間T1(SCR1video_end)為止，即當SEQ.1的最后的視頻分組全部進入STC時的時間為止，輸入到STD的時序由SEQ.1和STC中的分組的SCR確定。SEQ.1的其余分組將以SEQ.1的mux_rate進入STD。SEQ.1的最后字節(jié)進入緩存器的時間是T2。如果N是在尾隨的音頻分組中的字節(jié)數(shù)目，則計算的多種可能的選項中的一種是使用ΔT＝T2-T1＝N/mux_rate在時間T2以后，輸入到STD的時序由時基STC’和SEQ.2的SCR確定，其中STC被計算如下
STC’＝STC+SCR_delta請注意，輸入方案的這個規(guī)定在SEQ.1的尾隨的音頻訪問單元和SEQ.2的任何領(lǐng)先的音頻訪問單元的傳遞時間中造成一個重疊。在兩個序列之間的數(shù)據(jù)沒有重疊或交織。視頻分組將使它們能互不重疊而構(gòu)成。譯碼器需要某些附加音頻緩存(約1秒)來處理在時基上的重疊。
關(guān)于緩存，有幾種情形要考慮。最嚴格的限制是在需要完全符合MPEG-2 PS STD模型的情況。較不嚴格的考慮是允許在橋序列的轉(zhuǎn)移期間有增大的(兩倍大小的)緩存器。對于完全的STD相符性，MPEGPS有一個要求，即數(shù)據(jù)花費在STD緩存器中的時間不多于1秒。所以很明顯，在跳越后1秒，在STD緩存器中的唯一數(shù)據(jù)來自新的序列。
我們可以通過檢驗SEQ.1的分組的SCR數(shù)值以及從mux_rate來構(gòu)建從SEQ.1傳遞的、包含視頻數(shù)據(jù)的最后的分組的最后字節(jié)的傳遞時間(SCR)在下面，這個數(shù)值是SCR1video_end。取SCR1video_end作為在SEQ.1的最后的視頻分組的最后字節(jié)被傳遞到STD時所測量的STC數(shù)值；它可以根據(jù)SEQ.1的分組數(shù)據(jù)頭中的各SCR和mux_rate進行計算。
SCR’2video_end作為在SEQ.2的第一個視頻分組中被編碼的SCR數(shù)值(在SEQ.2的時基上測量)；SCR2video_end作為投影在SEQ.1的時基上的SCR’2video_end的數(shù)值；這可以如下地被計算SCR2video_start＝SCR’2video_start-STC_delta為了使STD在跳越的兩側(cè)能兼容，需要兩個條件，其第一個條件是SEQ.1中的后隨音頻的發(fā)送應當包含在由SCR1video_end和SCR2video_start規(guī)定的間隔內(nèi)，如下SCR1video_end+ΔTA＜SCR2video_start+ΔTB注意到，為了允許在SEQ.2中有領(lǐng)先的音頻分組，要把ΔTB加入到不等式中。為了滿足這個不等式，可能必須對一個或兩個序列的一部分重新編碼和/或重新復用。第二個所需要的條件是，跟在SEQ.2的視頻后面的SEQ.1的視頻的傳遞，正如由投影在同一個時基上的SEQ.1中的SCR與SEQ.2中的SCR所規(guī)定的，不應造成緩存器溢出。
轉(zhuǎn)到音頻問題，從分組的對準開始，在同時譯碼的音頻和視頻的到達時間之間通常有很大的歪斜(平均大約＞100ms)。這意味著，在從序列A讀出所需的最后視頻幀的結(jié)尾處，另幾個音頻幀(當然還有視頻，除非它可被跳過)必須從復用的數(shù)據(jù)流中被讀出?；蛘弑仨氀舆t跳越以及停止視頻，或者更可取地必須把音頻重新復用到橋序列中。參照圖10，如果視頻分組V4在跳越以前包含最后的視頻畫面的結(jié)尾，那么音頻分組A2，A3，A4也許將要從序列A中被提取，以及被復制和被重新復用到橋序列中。
同樣的情形也適用于跳回到橋后面的序列C。到達的第一個音頻幀在放音時間上多半要比在跳越點處的視頻更早，但在跳越過程中音頻必須是連續(xù)的。在選擇了視頻的跳越點后，必須確保橋序列中的音頻將與序列C中的音頻匹配。
關(guān)于音頻間隙，因為音頻與視頻幀持續(xù)時間上的不同，在作出無接縫(視頻)拼接的點處，音頻編幀的周期性將有間斷。這個間斷在長度上大到約1個音頻幀(24ms)。它將出現(xiàn)在靠近標志有拼接的視頻幀的地方。在重放清單中的定時信息將幫助音頻譯碼器處理這個間斷。
在光盤部署級別上，一旦基本數(shù)據(jù)流和復用要求得到滿足，則還必須確保橋序列足夠長，以使得它可被部署到光盤上的鄰接的地址范圍內(nèi)，以及必須確保序列A和序列C中的橋的任一側(cè)保持足夠長。在我們共同受讓的、并在1998年3月19日提交的歐洲專利申請No.98200888.0中描述了這方面的一個例子?；疽笫?，對于一個特定的光盤結(jié)構(gòu)，橋序列長度在2-4兆字節(jié)之間，以及橋的任一側(cè)的分段部分保持大于2兆字節(jié)不過，這個限制并不適用于所有情況。
在上述的內(nèi)容中，我們已經(jīng)描述了解決符合MPEG標準以及類似的節(jié)目流進行視頻幀和/或音頻幀精確編輯的問題，由于時間依賴性和在MPEG以及類似的編碼和復接技術(shù)中使用的緩存模型，在任何的幀邊界處不能進行簡單的剪貼編輯。為了易于編輯，我們生成橋序列-也就是說編碼兼容的數(shù)據(jù)短序列，它是專門地(以上述的方式)被構(gòu)建來把兩個原先的MPEG記錄或類似的數(shù)據(jù)鏈接在一起。
通過閱讀本揭示內(nèi)容，其它的變例對于本領(lǐng)域技術(shù)人員將是很明顯的。這樣的變例可能涉及在用于編輯的方法和設(shè)備以及它們的部件部分中已經(jīng)知道的其它的特性，而且這些變例可以用來取代或增加已經(jīng)在這里描述的特性。
權(quán)利要求
1.一種數(shù)據(jù)處理設(shè)備，包括用來從存儲裝置讀出基于幀的數(shù)據(jù)序列以及用來編輯它們以便從第一幀序列中的第一編輯點鏈接到第二幀序列中的第二編輯點的裝置，其中在每個存儲的幀序列中，多個幀(此后稱為“I幀”)被內(nèi)部編碼而不參照序列的任何其它的幀，多個幀(此后稱為“P幀”)是分別相對于序列的另一個幀被編碼的，以及其余的幀(此后稱為“B幀”)是分別相對于序列的另兩個或多個幀被編碼的；該設(shè)備包括橋生成裝置，用來通過從存儲的第一和第二幀序列中有選擇地引用一些幀、以及把由相應的編輯點指定的第一和第二序列的幀的編碼類型(I，P，B)所確定的橋序列中的一個或多個幀有選擇地重新編碼，以便創(chuàng)建鏈接第一和第二編輯點的橋幀序列。
2.權(quán)利要求1中所闡述的設(shè)備，其特征在于，其中各序列幀是視頻圖象幀，以及橋生成裝置用來構(gòu)建經(jīng)過編輯的序列，它們具有在幀邊界出現(xiàn)的從第一序列到橋的跳越和從橋到第二序列的跳越。
3.權(quán)利要求1中所闡述的設(shè)備，其特征在于，其中各序列包括視頻圖象和音頻數(shù)據(jù)的復用安排，以及橋生成裝置被安排成在橋序列中在出現(xiàn)來自第二序列的有用的視頻幀以前要出現(xiàn)全部來自第一序列的有用的視頻幀。
4.權(quán)利要求3中所闡述的設(shè)備，其特征在于，其中在第一和第二序列音頻幀之間的接合處的橋序列中，有一個間隙，其持續(xù)時間最多為一個音頻幀，以及橋生成裝置被安排來把一個重疊的音頻幀插入到這個間隙中。
5.權(quán)利要求1中所闡述的設(shè)備，其特征在于，其中橋生成裝置被安排來檢測在第一和第二序列中的各個時間印記，以及包括這樣一個裝置，該裝置用來得出在規(guī)定時間印記之間的非連續(xù)性的一個數(shù)值、計算要被加到第二序列的時間印記上的偏移以去除所述非連續(xù)性、以及把所述偏移加到第二序列。
6.權(quán)利要求1到5中任一項所闡述的設(shè)備，其特征在于，其中橋生成裝置在接收到橋序列的目標長度的規(guī)定后，被安排來改變從第一和/或第二序列提取的幀數(shù)目，以便滿足目標長度。
7.權(quán)利要求6中所闡述的設(shè)備，其特征在于，其中橋生成裝置被安排來移動第一和/或第二編輯點，以導致達到橋序列的目標長度。
8.權(quán)利要求6中所闡述的設(shè)備，其特征在于，其中橋生成裝置被安排來有選擇地提取在第一編輯點之前的第一序列的幀和/或在第二編輯點之后的第二序列的幀，以導致達到橋序列的目標長度。
9.權(quán)利要求1中所闡述的設(shè)備，其特征在于，其中存儲裝置是可寫的，該設(shè)備還包括裝置記錄子系統(tǒng)，用來把基于幀的數(shù)據(jù)的一個或多個序列寫入到在存儲裝置內(nèi)的存儲單元。
10.用來編輯基于幀的數(shù)據(jù)的序列以便將其從第一幀序列中的第一編輯點鏈接到第二幀序列中的第二編輯點的方法，其中在每個存儲的幀序列中，多個幀(此后稱為“I幀”)被內(nèi)部編碼而不參照序列的任何其它的幀，多個幀(此后稱為“P幀”)是分別相對于序列的另一個幀被編碼的，以及其余的幀(此后稱為“B幀”)是分別相對于序列的另兩個或多個幀被編碼的；該方法包括建立橋幀序列以鏈接第一和第二編輯點的步驟，該橋幀序列引用從第一和第二幀序列中選擇的一些幀，并把橋序列中的各幀有選擇地重新編碼，這種編碼是由相應各編輯點所指明的來自第一和第二序列的各幀的編碼類型(I，P，B)所確定的
11.權(quán)利要求10中所闡述的方法，其特征在于，其中序列幀是視頻圖象幀，以及編輯后的序列被構(gòu)建成為具有在幀邊界出現(xiàn)的從第一序列到橋的跳越和從橋到第二序列的跳越。
12.權(quán)利要求10中所闡述的方法，其特征在于，其中序列包括視頻圖象和音頻數(shù)據(jù)的復用安排，以及在橋序列中在來自第二序列的有用的視頻幀以前先顯示所有來自第一序列的有用的視頻幀。
13.權(quán)利要求12中所闡述的方法，其特征在于，其中在第一和第二序列音頻幀之間的接合處的橋序列中，有一個間隙，其最大持續(xù)時間為一個音頻幀，該間隙通過插入一個重疊的音頻幀而被填充。
14.權(quán)利要求10中所闡述的方法，其特征在于，包括以下步驟檢測在第一和第二序列中的各個時間印記，得出一個指明時間印記之間的非連續(xù)性的數(shù)值，計算要被加到第二序列的時間印記上的偏移以去除所述非連續(xù)性，以及把所述偏移加到第二序列。
15.權(quán)利要求10到14中任一項所闡述的方法，其特征在于，其中存儲裝置是光盤，以及其上的數(shù)據(jù)序列的存儲地點由光盤上保持的內(nèi)容表來表示。
16.權(quán)利要求10中所闡述的方法，其特征在于，其中由第一編輯點表示的幀是B幀，以及跳到橋序列的第一幀的跳越是在按第一序列的顯示次序的前面最近的P幀上進行的。
17.權(quán)利要求16中所闡述的方法，其特征在于，其中跳越后的橋序列的第一幀包括從第二序列提取的參考幀，后面是第一序列中一直到編輯點的那些B幀，所述B幀是相對于參考幀被重新編碼的。
18.權(quán)利要求10中所闡述的方法，其特征在于，其中由第一編輯點指明的幀是I幀或P幀，以及跳到橋序列的第一幀的跳越是跟隨在按第一序列的顯示次序的前面最近的B幀而進行的。
19.權(quán)利要求10中所闡述的方法，其特征在于，其中由第二編輯點指明的幀是B幀，以及跳到第二序列的跳越以前的橋序列幀包括從按比特流次序的所指示的幀以前的最靠近的P幀來的那些第二序列的幀和任何的交織的B幀。
20.權(quán)利要求10中所闡述的方法，其特征在于，其中由第二編輯點指明的幀是P幀，以及跳到第二序列的跳越以前的橋序列幀包括所指示的P幀。
21.權(quán)利要求19或權(quán)利要求20中所闡述的方法，其特征在于，其中在從橋序列跳到第二序列的跳越以前所包括的P幀的內(nèi)容在橋序列中要被重新編碼以作為I幀。
22.權(quán)利要求10中所闡述的方法，其特征在于，其中由第二編輯點指明的幀是I幀，以及跳到第二序列的跳越以前的橋序列幀包括所指示的I幀。
23.一種存儲裝置，它載有多個幀序列并一起載有在規(guī)定的編輯點處鏈接各個序列對的一個或多個橋序列以及表示每個幀序列和橋序列的各個存儲地址的內(nèi)容表，該橋序列或每個橋序列是按照權(quán)利要求10到22的任一項的方法產(chǎn)生的。
全文摘要
提供了用于產(chǎn)生橋段(B)的方法和設(shè)備,以使得能進行從一個A/V段(A)到另一個段(C)的編輯跳越,而同時處理時序和按照編碼規(guī)則(例如MPEG)的A/V段施加的幀約束。橋段的構(gòu)建要通過復制來自要橋接的兩個序列(A,C的數(shù)據(jù))并且經(jīng)過對這些數(shù)據(jù)進行去復用、譯碼、重新復用、和重新編碼以保持編輯的數(shù)據(jù)流的正確性。根據(jù)通過橋段編輯的源和目的處的畫面編碼的類型采用不同的過程來復制和/或重新編碼。
文檔編號H04N5/92GK1277722SQ99801485
公開日2000年12月20日 申請日期1999年6月14日 優(yōu)先權(quán)日1998年6月27日
發(fā)明者A·S·阿斯萊, O·J·莫里斯 申請人:皇家菲利浦電子有限公司