專利名稱：用于再現(xiàn)圖像的方法和裝置以及圖像記錄裝置的制作方法
背景技術(shù)：
1.發(fā)明領(lǐng)域本發(fā)明涉及用于再現(xiàn)或記錄圖像的一種技術(shù)，它尤其涉及用于再現(xiàn)編碼圖像數(shù)據(jù)的方法和裝置、圖像記錄裝置，并涉及可被用于這些方法和裝置的移動(dòng)圖像數(shù)據(jù)的一種數(shù)據(jù)結(jié)構(gòu)。
2.相關(guān)技術(shù)的描述電視廣播的數(shù)字化正在迅速發(fā)展。已在BS(廣播衛(wèi)星)廣播和CS(通信衛(wèi)星)廣播中開始實(shí)行數(shù)字廣播，也制定了地面波廣播實(shí)行數(shù)字化的計(jì)劃。在數(shù)字電視廣播中，通過使用MPEG-2(移動(dòng)圖像專家組2)(它是數(shù)據(jù)壓縮和擴(kuò)展的國際標(biāo)準(zhǔn))，不僅可以高效率地傳遞和存儲(chǔ)信息，而且可以由一單一的轉(zhuǎn)發(fā)器來播送多個(gè)頻道。因此，也可預(yù)期可為用戶提供更多的便利。
另一方面，近年來便攜式終端的普遍使用，預(yù)計(jì)會(huì)增加對(duì)具有高數(shù)據(jù)壓縮比的編碼系統(tǒng)的需求。因此，正在調(diào)查可傳輸以低比特速率壓縮的圖像的MPEG-4編碼方法的使用。在今后的數(shù)字電視廣播中，MPEG-4將和MPEG-2一起使用來分發(fā)圖像信息。
在MPEG中，在對(duì)移動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的過程中，使用被稱作“幀間預(yù)測”的壓縮技術(shù)。利用幀間預(yù)測這項(xiàng)技術(shù)，可以根據(jù)編碼幀的數(shù)據(jù)(對(duì)應(yīng)于所述幀過去或?qū)淼臄?shù)據(jù))來預(yù)測和壓縮將要被編碼的幀的數(shù)據(jù)。在MPEG中的幀間預(yù)測的過程中，不僅采用根據(jù)過去的幀來執(zhí)行預(yù)測的向前預(yù)測，而且采用根據(jù)過去幀和將來幀來執(zhí)行預(yù)測的雙向預(yù)測。
在MPEG-2中，被稱作“I畫面”(畫面內(nèi))、“P畫面”(預(yù)測性畫面)和“B畫面”(雙向預(yù)測性畫面)的三種類型的畫面被定義，以實(shí)現(xiàn)這種雙向預(yù)測。I畫面是通過幀內(nèi)編碼處理、與過去和將來的再現(xiàn)圖像無關(guān)而獨(dú)立產(chǎn)生的圖像，并可用其圖像內(nèi)的數(shù)據(jù)來進(jìn)行解碼。I畫面內(nèi)的所有宏塊通過幀內(nèi)編碼處理而生成。P畫面使用基于過去的I或P畫面的預(yù)測并通過幀間向前編碼處理而生成。P畫面內(nèi)的宏塊包括一個(gè)幀內(nèi)編碼宏塊和向前預(yù)測的一個(gè)幀間編碼宏塊。
B畫面使用雙向預(yù)測并通過幀間編碼處理而被產(chǎn)生。在雙向預(yù)測中，B畫面由以下三個(gè)預(yù)測中的一個(gè)預(yù)測產(chǎn)生。
(1)向前預(yù)測；來自過去的I畫面或P畫面的預(yù)測。
(2)向后預(yù)測；來自將來的I畫面或P畫面的預(yù)測。
(3)雙向預(yù)測；來自過去和將來的I畫面或P畫面的預(yù)測。
B畫面內(nèi)的宏塊包含一個(gè)幀內(nèi)編碼宏塊和向前預(yù)測、向后預(yù)測或內(nèi)插預(yù)測的一個(gè)幀間編碼宏塊。
在MPEG-4中，時(shí)序中的視頻物體被稱為VO(視頻物體)，構(gòu)成VO的每個(gè)圖像被稱為VOP(視頻物體平面)。VOP對(duì)應(yīng)于MEPG-2中的畫面。根據(jù)所使用的預(yù)測編碼，可得到以下四種類型的VOPs。
(1)I-VOP；幀內(nèi)編碼VOP。
(2)P-VOP；幀間向前預(yù)測編碼VOP。
(3)B-VOP；幀間雙向預(yù)測編碼VOP。
(4)S-VOP；子畫面VOP。
前三個(gè)VOPs(它們是I-VOP、P-VOP和B-VOP)分別對(duì)應(yīng)于MPEG-2中的I畫面、P畫面和B畫面。
在MPEG中，編碼圖像數(shù)據(jù)被表達(dá)為具有分層結(jié)構(gòu)的位流數(shù)據(jù)。在MPEG中被處理的運(yùn)動(dòng)畫面由(例如)1秒鐘的30個(gè)幀構(gòu)成。在MPEG-2中，幀通常對(duì)應(yīng)于畫面。在MPEG-2中，畫面的集合被稱作GOP(畫面組)，從而可以用此GOP的單元進(jìn)行隨機(jī)存取。為了執(zhí)行隨機(jī)存取，GOP內(nèi)至少要求有一個(gè)I畫面。在MPEG-4中，VOP的集合作為GOV(VOP組)被進(jìn)行處理。
這樣，當(dāng)按照MPEG標(biāo)準(zhǔn)的編碼數(shù)據(jù)流被進(jìn)行解碼和再現(xiàn)時(shí)，以GOP或GOV為單元存取數(shù)據(jù)。但是，一個(gè)GOP(或GOV)中所包含的畫面(或VOPs)的數(shù)量不一定固定不變。在MPEG-2中，作為標(biāo)準(zhǔn)等級(jí)，每個(gè)GOP通常有15-30個(gè)像素；而在MPEG-4中，每個(gè)GOV大約有120個(gè)GOPs。但是，例如，當(dāng)存在場景變化時(shí)，可能會(huì)從發(fā)生場景變化的那個(gè)畫面開始重新計(jì)算GOP，等等。由此，GOP的結(jié)構(gòu)可能在編輯的時(shí)候已被更改。這樣，即使在一系列編碼數(shù)據(jù)流內(nèi)，GOP中所包含的畫面的數(shù)量、類型或次序也不一定固定不變。由于在MPEG中執(zhí)行雙向預(yù)測，因此，畫面的出現(xiàn)次序不同于編碼數(shù)據(jù)流中實(shí)際的顯示次序，從而將需要復(fù)雜的解碼處理。在畫面結(jié)構(gòu)不規(guī)則的情況下，如果要特別執(zhí)行特殊的再現(xiàn)處理(例如，高速再現(xiàn)和反向再現(xiàn))，則處理將會(huì)進(jìn)一步變得復(fù)雜。這種復(fù)雜性造成執(zhí)行此種情況可能需要的適當(dāng)處理變得不可能。
發(fā)明概述鑒于前述情況，開發(fā)了本發(fā)明，其目的是改進(jìn)用于編碼數(shù)據(jù)序列的高速再現(xiàn)或反向再現(xiàn)的處理技術(shù)。
根據(jù)本發(fā)明的一個(gè)較佳實(shí)施例涉及一種圖像再現(xiàn)方法。這種方法包括對(duì)混合地包含第一格式幀和第二格式幀且格式彼此不同的編碼數(shù)據(jù)序列進(jìn)行解碼，其中，解碼包括當(dāng)通過只為第一格式幀解碼或?yàn)榈谝桓袷綆偷诙袷綆囊徊糠纸獯a來進(jìn)行再現(xiàn)時(shí)，獲取存在于第一格式幀與隨后待顯示的另一個(gè)第一格式幀之間的幀數(shù)；并且，根據(jù)所述幀數(shù)和再現(xiàn)速度，來確定第一格式幀的顯示時(shí)間間隔。
第一格式幀的格式使其可由所述第一格式幀的編碼數(shù)據(jù)來進(jìn)行解碼，而第二格式幀的格式使其可通過參考其他幀的編碼數(shù)據(jù)來加以解碼。更準(zhǔn)確地說，第一格式幀可能是MPEG中的I畫面，而第二格式幀可能是MPEG中的P畫面或B畫面。由于I畫面可以被獨(dú)立地解碼，因此，通過跳過P畫面和B畫面并只再現(xiàn)I畫面，可以實(shí)現(xiàn)簡單的高速再現(xiàn)。另一個(gè)例子是，第一格式幀的格式使其可通過參考自身內(nèi)的幀的編碼數(shù)據(jù)或該幀以外的過去的編碼數(shù)據(jù)來加以解碼。更具體地說，它可能是MPEG中的I畫面或P畫面。在這種情況下，第二格式幀的格式使其可通過參考該幀前面和后面的幀來加以解碼。更準(zhǔn)確地說，它可能是MPEG中的B畫面。還有一個(gè)例子是，不僅可以進(jìn)一步顯示第一格式幀，而且可以進(jìn)一步顯示第二格式幀的一部分，以實(shí)現(xiàn)高速再現(xiàn)。無論如何，當(dāng)選擇將要被顯示的幀時(shí)，編碼數(shù)據(jù)序列中的各個(gè)幀的時(shí)間間隔在顯示時(shí)間間隔上得到反映，從而允許相當(dāng)自然的高速再現(xiàn)。這里，作為圖像的一個(gè)單元，“幀”包括一個(gè)概念(例如，“域”和類似概念)。
根據(jù)本發(fā)明的另一個(gè)較佳實(shí)施例也涉及一種圖像再現(xiàn)方法。這種方法包括對(duì)混合地包含第一格式幀和第二格式幀且格式彼此不同的編碼數(shù)據(jù)序列進(jìn)行解碼，其中，解碼包括如果通過按照再現(xiàn)速度稀疏并顯示幀來進(jìn)行再現(xiàn)，則在再現(xiàn)之前獲取構(gòu)成待再現(xiàn)的編碼數(shù)據(jù)序列的幀的格式和次序；根據(jù)該幀的格式和次序，來確定待顯示的幀；并根據(jù)該幀的格式和次序和由此被確定的待顯示的幀，來確定將要被解碼的幀。
通過預(yù)先獲取畫面的結(jié)構(gòu)和成分，可以知道哪個(gè)畫面將要解碼和哪個(gè)畫面將要顯示。換言之，可以決定將要稀疏哪些畫面。這樣，可以判斷平穩(wěn)高速再現(xiàn)是否可行。
根據(jù)本發(fā)明的另一個(gè)較佳實(shí)施例也涉及一種圖像再現(xiàn)方法。這種方法包括通過用與正常顯示次序的反向次序進(jìn)行解碼的方式，為對(duì)應(yīng)于多個(gè)幀的圖像數(shù)據(jù)進(jìn)行編碼，生成用于反向再現(xiàn)的圖像數(shù)據(jù)；將用于反向再現(xiàn)的圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)器中；并且，從存儲(chǔ)器讀出用于反向再現(xiàn)的圖像數(shù)據(jù)，以便當(dāng)要求反向再現(xiàn)時(shí)對(duì)它們進(jìn)行解碼，其中，根據(jù)存儲(chǔ)器的容量，在生成用于反向再現(xiàn)的圖像數(shù)據(jù)之前確定編碼模式。
MPEG使用非常復(fù)雜的幀間預(yù)測方案，以便當(dāng)提出反向再現(xiàn)請(qǐng)求時(shí)，不能立即開始再現(xiàn)。這樣，例如，一個(gè)GOP的畫面用可反向再現(xiàn)的格式來加以存儲(chǔ)。當(dāng)要求反向再現(xiàn)時(shí)，首先顯示被存儲(chǔ)的畫面，而在后臺(tái)中準(zhǔn)備下一個(gè)GOP。于是，通過預(yù)先獲取GOPs的畫面結(jié)構(gòu)，可以判斷是否可以將用于反向再現(xiàn)的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器中。如果不可以將圖像數(shù)據(jù)保存在存儲(chǔ)器中，則編碼模式將會(huì)被更改，以應(yīng)付這種情況。這里，編碼模式可以被定義為包括將要被編碼的幀的數(shù)量、格式和次序以及編碼的壓縮比等的一個(gè)概念。
根據(jù)本發(fā)明的另一個(gè)較佳實(shí)施例涉及一種圖像再現(xiàn)裝置。這種裝置包括一個(gè)解碼器，它對(duì)混合地包含第一格式幀和第二格式幀且兩者格式互不相同的編碼數(shù)據(jù)序列進(jìn)行解碼，以生成圖像數(shù)據(jù)；一個(gè)再現(xiàn)控制部件，它按以下方式執(zhí)行再現(xiàn)，即只有編碼數(shù)據(jù)序列中所包含的幀的一部分被解碼器解碼并被顯示在顯示部件中；以及一個(gè)結(jié)構(gòu)信息獲取部件，它獲取幀的數(shù)量、格式或次序，其中，再現(xiàn)控制部件根據(jù)幀的數(shù)量、格式或次序來控制再現(xiàn)。
再現(xiàn)控制部件可以包括第一控制部件，它只對(duì)第一格式幀進(jìn)行解碼和顯示，以實(shí)現(xiàn)第一種再現(xiàn)模式；其中，第一控制部件可以從結(jié)構(gòu)信息獲取部件那里獲取存在于第一格式幀與隨后將要被顯示的另一個(gè)第一幀之間的幀數(shù)，并可以根據(jù)所述幀數(shù)和再現(xiàn)速度來確定第一格式幀的顯示時(shí)間間隔。
編碼數(shù)據(jù)序列以包含至少一個(gè)第一格式幀和至少一個(gè)第二格式幀的幀群為單元進(jìn)行編碼，第一個(gè)控制部件可以獲取屬于該幀群的幀數(shù)，并將這樣獲取的幀數(shù)視為存在于第一格式幀與隨后將要被顯示的另一個(gè)第一格式幀之間的幀數(shù)。例如，該幀群可能是MPEG-2中的GOP或MPEG-4中的GOV。一般而言，一個(gè)GOP最有可能包含一個(gè)I畫面，從而可以安全地估計(jì)GOP中的畫面數(shù)量與兩個(gè)連續(xù)的I畫面之間的畫面數(shù)量相同。
再現(xiàn)控制部件可以包括第二控制部件，該控制部件按照再現(xiàn)速度來稀疏并顯示幀，以實(shí)現(xiàn)第二種再現(xiàn)模式；其中，第二個(gè)控制部件可以從結(jié)構(gòu)信息獲取部件那里獲取構(gòu)成將要被再現(xiàn)的編碼數(shù)據(jù)序列的幀的種類和次序，并可以根據(jù)該幀的所述種類和次序來確定待顯示的幀和待解碼的幀。
再現(xiàn)控制部件還可以包括一個(gè)判斷部件，該判斷部件根據(jù)解碼器的性能來確定第二種再現(xiàn)模式的有效性。當(dāng)判斷第二種再現(xiàn)模式不可行時(shí)，判斷部件可以切換到第一種再現(xiàn)模式。這樣，即使連續(xù)改變再現(xiàn)速度，也可以實(shí)現(xiàn)無縫高速再現(xiàn)。
根據(jù)本發(fā)明的另一個(gè)較佳實(shí)施例也涉及一種圖像再現(xiàn)裝置。這種裝置包括一個(gè)編碼器，它通過采用與按正常顯示次序的相反次序來為該圖像數(shù)據(jù)解碼的方式，為對(duì)應(yīng)于多個(gè)幀的圖像數(shù)據(jù)進(jìn)行編碼，生成用于反向再現(xiàn)的圖像數(shù)據(jù)；一個(gè)存儲(chǔ)器，它臨時(shí)存儲(chǔ)用于反向再現(xiàn)的圖像數(shù)據(jù)；以及一個(gè)反向再現(xiàn)控制部件，它從存儲(chǔ)器讀出用于反向再現(xiàn)的圖像數(shù)據(jù)，以便當(dāng)要求反向再現(xiàn)時(shí)，對(duì)它們進(jìn)行再現(xiàn)，其中，反向再現(xiàn)控制部件根據(jù)所述存儲(chǔ)器的容量來確定編碼模式。
編碼數(shù)據(jù)序列以包含至少一個(gè)第一格式幀和至少一個(gè)第二格式幀的幀群為單元進(jìn)行編碼；反向再現(xiàn)控制部件可以獲取該幀群的幀結(jié)構(gòu)，估計(jì)因該幀群的編碼而產(chǎn)生的數(shù)據(jù)量，并將所估計(jì)的數(shù)據(jù)量與存儲(chǔ)器的容量進(jìn)行比較，從而反向再現(xiàn)控制部件可以確定編碼模式。例如，存儲(chǔ)在存儲(chǔ)器中的編碼數(shù)據(jù)可能是等同于一個(gè)GOP的數(shù)據(jù)。
當(dāng)反向再現(xiàn)控制部件判斷數(shù)據(jù)量超過存儲(chǔ)器的容量時(shí)，可以稀疏該幀群中的幀，或者，可以在編碼時(shí)提高壓縮比。由此，例如，一個(gè)GOP的編碼數(shù)據(jù)的預(yù)定數(shù)量被安全地保存在存儲(chǔ)器中。
通過讀出被存儲(chǔ)在編碼數(shù)據(jù)序列的預(yù)定位置中的信息，結(jié)構(gòu)信息獲取部件可以獲取編碼數(shù)據(jù)序列中所包含的幀的數(shù)量、格式或次序。如果該信息的存儲(chǔ)方和讀取方分享共同的識(shí)別技術(shù)，則被存儲(chǔ)在編碼數(shù)據(jù)序列中的信息位置可能是任意的。
根據(jù)本發(fā)明的另一個(gè)較佳實(shí)施例涉及一種圖像記錄裝置。這種裝置包括一個(gè)結(jié)構(gòu)信息增加部件，該部件在以混合地包含第一格式幀和第二格式幀且兩者格式彼此不同的幀群為單元進(jìn)行編碼的編碼數(shù)據(jù)序列的預(yù)定位置中增加信息，其中，所述增加的信息表示該幀群中所包含的幀的數(shù)量、格式或次序。例如，第一格式幀的格式使其可由所述第一格式幀的編碼數(shù)據(jù)來進(jìn)行解碼，而第二格式幀的格式使其可通過參考其他幀的編碼數(shù)據(jù)來解碼。
根據(jù)本發(fā)明的另一個(gè)較佳實(shí)施例涉及表示移動(dòng)圖像的移動(dòng)圖像數(shù)據(jù)的一種數(shù)據(jù)結(jié)構(gòu)。這種數(shù)據(jù)結(jié)構(gòu)包括移動(dòng)圖像數(shù)據(jù)以混合地包含第一格式幀和第二格式幀且兩者的格式彼此不同的幀群為單元進(jìn)行編碼的一個(gè)編碼數(shù)據(jù)序列；存儲(chǔ)在編碼數(shù)據(jù)序列的預(yù)定位置中，并表示該幀群中所包含的幀的數(shù)量、格式或次序的信息。
需要指出，在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序、記錄媒體等事物之間作變化的上面所述的結(jié)構(gòu)組件和表述都是等效的，并包括在本實(shí)施例之內(nèi)。
而且，本發(fā)明的這個(gè)概述不一定描述所有必要的特點(diǎn)，從而本發(fā)明也可能是這些所述特點(diǎn)的子組合。
附圖簡述

圖1是表示根據(jù)本發(fā)明的第一個(gè)實(shí)施例的圖像再現(xiàn)裝置結(jié)構(gòu)的方框圖。
圖2是表示圖1中所示的再現(xiàn)控制部件的功能結(jié)構(gòu)的方框圖。
圖3A、3B和3C展示了一種高速跳躍再現(xiàn)的方法。
圖4A、4B、4C、4D和4E展示了一種高速平穩(wěn)再現(xiàn)的方法。
圖5是表示根據(jù)第一個(gè)實(shí)施例的圖像再現(xiàn)裝置所進(jìn)行的高速跳躍再現(xiàn)的程序的流程圖。
圖6是表示根據(jù)第一個(gè)實(shí)施例的圖像再現(xiàn)裝置所進(jìn)行的高速平穩(wěn)再現(xiàn)的程序的流程圖。
圖7是表示根據(jù)第一個(gè)實(shí)施例的圖像再現(xiàn)裝置所執(zhí)行的反向再現(xiàn)的程序的流程圖。
圖8是表示根據(jù)本發(fā)明的第二個(gè)實(shí)施例的圖像記錄裝置結(jié)構(gòu)的方框圖。
發(fā)明的詳細(xì)描述現(xiàn)在將根據(jù)實(shí)施例來描述本發(fā)明，這些實(shí)施例并非意在限制本發(fā)明的范圍，而是舉例說明本發(fā)明。實(shí)施例中所描述的所有特點(diǎn)及其組合對(duì)于本發(fā)明而言不一定是必不可少的。
第一實(shí)施例本實(shí)施例描述了一種技術(shù)，在該技術(shù)中，畫面結(jié)構(gòu)/成分信息預(yù)先被存儲(chǔ)在按照一種MPEG方法而被編碼的移動(dòng)圖像的編碼數(shù)據(jù)序列的預(yù)定位置中，該畫面結(jié)構(gòu)信息在再現(xiàn)時(shí)被獲取，然后被用來控制各種再現(xiàn)處理。MPEG方法在這里被用作本實(shí)施例中的一個(gè)例子。但是，當(dāng)處理編碼數(shù)據(jù)序列，而此序列混合存在通過幀內(nèi)編碼方法而被編碼的幀和通過幀間編碼方法而被編碼的幀時(shí)，通常利用本實(shí)施例。而且，為簡潔起見，在下文中使用諸如“畫面”和“MPEG-2中的GOP”的術(shù)語，但是，它們不局限于此，而是也包括MPEG-4中的VOP和GOV的概念。
圖1是表示根據(jù)第一個(gè)實(shí)施例的圖像再現(xiàn)裝置300的結(jié)構(gòu)的方框圖。這個(gè)圖像再現(xiàn)裝置300被安置在電影攝像機(jī)、靜態(tài)攝像機(jī)、電視機(jī)、視頻CD再現(xiàn)裝置、DVD再現(xiàn)裝置或?qū)PEG視頻流從轉(zhuǎn)換媒體200輸出到顯示部件344的類似裝置中。轉(zhuǎn)換媒體200包括存儲(chǔ)媒體，例如，視頻CD、CD-ROM、DVD、VTR和類似媒體、通信媒體，例如，LAN和類似媒體、廣播媒體，例如，地面波廣播、衛(wèi)星廣播、CATV和類似媒體等中的任何媒體。當(dāng)沒有按照MPEG視頻部分對(duì)來自這類的存儲(chǔ)媒體或廣播媒體的數(shù)據(jù)進(jìn)行編碼時(shí)，轉(zhuǎn)換媒體包括為該數(shù)字?jǐn)?shù)據(jù)編碼的MPEG編碼器。當(dāng)圖像再現(xiàn)裝置300被安置在電影攝像機(jī)或靜態(tài)攝像機(jī)中時(shí)，轉(zhuǎn)換媒體200用圖像拾波設(shè)備(例如，CCD)及其信號(hào)處理電路取代。
圖像再現(xiàn)裝置300包括用來從轉(zhuǎn)換媒體200輸入編碼數(shù)據(jù)流的輸入塊304；用來處理由輸入塊304獲取的圖像和音頻數(shù)據(jù)的處理塊306；用來再現(xiàn)由處理塊306解碼的圖像和聲音的再現(xiàn)塊308；用來接收用戶的指令的用戶界面312；以及用來根據(jù)來自用戶界面312的指令來控制輸入塊304和處理塊306的控制部件310。而且，界面塊336將由處理塊306解碼的圖像數(shù)據(jù)輸出到合適的外部設(shè)備。
處理塊306中的再現(xiàn)控制部件334被連接和合并到CPU 330和存儲(chǔ)器332，并且，對(duì)編碼數(shù)據(jù)流中的圖像和音頻數(shù)據(jù)進(jìn)行解碼。再現(xiàn)控制部件334對(duì)所輸入的編碼數(shù)據(jù)流解碼，并分別將音頻數(shù)據(jù)和圖像數(shù)據(jù)輸出到音頻輸出部件340和顯示部件344。音頻輸出部件340對(duì)所輸入的音頻數(shù)據(jù)執(zhí)行預(yù)定的處理，這樣被處理的音頻數(shù)據(jù)最終被輸出到揚(yáng)聲器342。顯示部件344顯示被輸入的圖像數(shù)據(jù)。
用戶界面312經(jīng)由遠(yuǎn)程控制器、輸入面板或類似設(shè)備從用戶那里接收再現(xiàn)速度切換、反向再現(xiàn)等的請(qǐng)求。控制部件310將再現(xiàn)模式切換信號(hào)發(fā)送到輸入塊304和處理塊306。再現(xiàn)控制部件334根據(jù)這個(gè)切換信號(hào)來進(jìn)行標(biāo)準(zhǔn)再現(xiàn)、高速再現(xiàn)或反向再現(xiàn)。
圖2是表示再現(xiàn)控制部件334的結(jié)構(gòu)的方框圖。在硬件方面，該結(jié)構(gòu)可以用CPU、存儲(chǔ)器和其他大規(guī)模集成電路(LSI)來實(shí)現(xiàn)。在軟件方面，可以用具有圖像再現(xiàn)和控制功能的存儲(chǔ)器裝載程序或類似程序來實(shí)現(xiàn)這一點(diǎn)，但是，這里所畫出和描述的是與這些程序合作而實(shí)現(xiàn)的功能塊。這樣，精通該技術(shù)領(lǐng)域的人會(huì)理解，可以僅用硬件、僅用軟件或其組合的各種形式來實(shí)現(xiàn)這些功能塊。在再現(xiàn)控制部件334中的各個(gè)塊之中，能用硬件實(shí)現(xiàn)的一個(gè)或多個(gè)塊可以被制造到單一LSI芯片中。
再現(xiàn)模式切換部件102從控制部件310接收再現(xiàn)模式切換信號(hào)，并將再現(xiàn)處理的指令發(fā)送到標(biāo)準(zhǔn)再現(xiàn)控制部件106、高速再現(xiàn)控制部件110和反向再現(xiàn)控制部件120。當(dāng)再現(xiàn)模式為標(biāo)準(zhǔn)再現(xiàn)時(shí)，標(biāo)準(zhǔn)再現(xiàn)控制部件106執(zhí)行控制，通過該控制，從輸入塊304被輸入的編碼數(shù)據(jù)流被輸入到MPEG解碼器130并由該解碼器進(jìn)行解碼，所產(chǎn)生的數(shù)據(jù)流被發(fā)送到再現(xiàn)塊308并由該再現(xiàn)塊進(jìn)行再現(xiàn)。可以將人們已知的MPEG解碼器用作MPEG解碼器130，但是，如下面所描述的，也可以使用兩倍速度解碼器、三倍速度解碼器或能夠以高于普通的MPEG解碼器的速度進(jìn)行處理的類似解碼器，從而擴(kuò)展高速再現(xiàn)或反向再現(xiàn)的處理限制。
畫面結(jié)構(gòu)信息獲取部件104獲取與構(gòu)成編碼數(shù)據(jù)流的畫面有關(guān)的信息。如后面將描述的那樣，畫面結(jié)構(gòu)信息獲取部件104獲取諸如構(gòu)成一個(gè)GOP的畫面的數(shù)量、類型和次序的信息，高速再現(xiàn)處理或反向再現(xiàn)處理所必要的畫面結(jié)構(gòu)信息。這類信息預(yù)先被存儲(chǔ)在編碼數(shù)據(jù)流的預(yù)定位置中，以便通過讀取該預(yù)定位置中的數(shù)據(jù)，畫面結(jié)構(gòu)信息獲取部件104可以獲得應(yīng)被獲取的信息。
高速再現(xiàn)控制部件110進(jìn)行控制，當(dāng)再現(xiàn)模式為高速再現(xiàn)時(shí)，以高于標(biāo)準(zhǔn)再現(xiàn)模式中的速度來再現(xiàn)編碼數(shù)據(jù)流。根據(jù)第一個(gè)實(shí)施例，準(zhǔn)備了兩種高速再現(xiàn)模式“高速跳躍再現(xiàn)模式”，在該模式中，通過跳過所有P畫面和B畫面，只順次顯示I畫面；以及“高速平穩(wěn)再現(xiàn)模式”，在該模式中，也是通過使用P畫面和B畫面，來平穩(wěn)地進(jìn)行高速再現(xiàn)。高速再現(xiàn)模式判斷部件112根據(jù)畫面結(jié)構(gòu)信息獲取部件104所獲取的畫面結(jié)構(gòu)信息和用戶通過控制部件310而指示的再現(xiàn)速度，來確定這些模式中的哪些模式將被用于高速再現(xiàn)。該判斷方法或模式選擇方法將在后面作詳細(xì)介紹。
圖3A、3B和3C圖示說明了一種用于高速跳躍再現(xiàn)的方法。圖3A中的頂行表示編碼數(shù)據(jù)流的畫面結(jié)構(gòu)的一個(gè)例子。在這個(gè)例子中，畫面結(jié)構(gòu)是由15個(gè)畫面構(gòu)成的GOP重復(fù)出現(xiàn)。圖3A中的中間行表現(xiàn)了當(dāng)編碼數(shù)據(jù)流采用傳統(tǒng)的四倍速度再現(xiàn)時(shí)的畫面的顯示序列。在傳統(tǒng)的方法中，通過按每四個(gè)幀一次的速率順次顯示I畫面，來實(shí)現(xiàn)四倍速度再現(xiàn)。圖3A中的底行表示當(dāng)編碼數(shù)據(jù)流使用本實(shí)施例的方法的四倍速度再現(xiàn)時(shí)的畫面的顯示序列。在這種方法中，同樣用與傳統(tǒng)系統(tǒng)中相同的方法，僅僅順次顯示I畫面。這樣，可用一種簡單而方便的方式來實(shí)現(xiàn)高速再現(xiàn)。
圖3B中的頂行表示由12個(gè)畫面構(gòu)成的GOP重復(fù)出現(xiàn)的編碼數(shù)據(jù)流的一個(gè)例子。圖3B中的中間行表現(xiàn)了當(dāng)編碼數(shù)據(jù)流采用傳統(tǒng)的高速再現(xiàn)時(shí)的畫面的顯示序列。在傳統(tǒng)的方法中，如上所述只順次顯示I畫面，其顯示時(shí)間間隔被固定，使得用與圖3A中的中間行的例子相同的方式按每四個(gè)幀一次的速率來顯示I畫面。在本例中，一個(gè)GOP由12個(gè)畫面構(gòu)成，結(jié)果自然是實(shí)現(xiàn)三倍速度再現(xiàn)。也就是說，三倍速度再現(xiàn)被加以執(zhí)行不是因?yàn)橛脩粢炎鞒鲋甘?，而只是因?yàn)橐寻垂潭ǖ臅r(shí)間間隔來順次顯示I畫面。所以，傳統(tǒng)系統(tǒng)的問題所在是這種系統(tǒng)為高速再現(xiàn)，用固定時(shí)間間隔來顯示I畫面，再現(xiàn)速度無法被控制，而是要隨編碼數(shù)據(jù)流內(nèi)的畫面結(jié)構(gòu)而變化。
這種問題的另一個(gè)顯著的情況是圖3C中的頂行表示構(gòu)成每個(gè)GOP的畫面的數(shù)量在同一編碼數(shù)據(jù)流內(nèi)變化的一個(gè)例子。在這種情況下，如果在如圖3B中所示的傳統(tǒng)系統(tǒng)上進(jìn)行高速再現(xiàn)，則I畫面的時(shí)間間隔將會(huì)在實(shí)際的編碼數(shù)據(jù)流內(nèi)變化，且I畫面將會(huì)按不反映這些時(shí)間間隔變化的固定的時(shí)間間隔被顯示，從而給觀看者一種由于再現(xiàn)速度不自然的加快和變慢而造成的別扭的印象。
為了解決類似這樣的問題，本實(shí)施例通過使用畫面結(jié)構(gòu)信息獲取部件104所獲取的畫面結(jié)構(gòu)信息，實(shí)現(xiàn)了反映I畫面的實(shí)際時(shí)間間隔的自然的高速再現(xiàn)。例如，當(dāng)圖3B的頂行中所示的編碼數(shù)據(jù)流按四倍速度進(jìn)行高速跳躍再現(xiàn)時(shí)，預(yù)先知道每個(gè)GOP由12個(gè)畫面構(gòu)成，因而通過按每三個(gè)幀一次的速率(如圖3B的底行中所示)顯示I畫面，可以實(shí)現(xiàn)四倍速度再現(xiàn)。對(duì)于三倍速度，I畫面可以每四個(gè)幀被顯示一次；對(duì)于六倍速度，可以每兩個(gè)幀被顯示一次。對(duì)于五倍速度，例如，可以使用一種控制，使四倍速度(每三個(gè)幀一個(gè)畫面)和六倍速度(每兩個(gè)幀一個(gè)畫面)相結(jié)合，從而平均產(chǎn)生五倍速度，或者，顯示一個(gè)I畫面的時(shí)間持續(xù)2.4個(gè)幀的時(shí)間長度。
而且，如圖3C的頂行中所示的一個(gè)例子中，構(gòu)成每個(gè)GOP的畫面的數(shù)量發(fā)生變化，如圖3C的底行中所示，通過預(yù)先獲取有關(guān)構(gòu)成GOPs的畫面的信息，可以實(shí)現(xiàn)準(zhǔn)確地反映I畫面時(shí)間間隔的高速跳躍再現(xiàn)。為了實(shí)現(xiàn)上述的這個(gè)方法，必須預(yù)先知道I畫面出現(xiàn)的時(shí)間間隔。當(dāng)一個(gè)I畫面被包含在一個(gè)GOP中時(shí)，可以通過獲取構(gòu)成GOPs的畫面的數(shù)量，來獲得或推斷I畫面的時(shí)間間隔。不言而喻，也可以獲得構(gòu)成GOPs的畫面的類型和次序。
圖4A、4B、4C、4D和4E圖示說明了一種用于高速平穩(wěn)再現(xiàn)的方法。圖4A中的頂行表示編碼數(shù)據(jù)流的畫面結(jié)構(gòu)的一個(gè)例子。圖4A中的中間行和底行分別表示這個(gè)編碼數(shù)據(jù)流的顯示序列和代碼序列。圖4B表示當(dāng)對(duì)這個(gè)編碼數(shù)據(jù)流進(jìn)行兩倍速度的高速平穩(wěn)再現(xiàn)時(shí)，待顯示的畫面和待解碼的畫面。兩倍速度再現(xiàn)時(shí)，可用每兩個(gè)幀顯示一個(gè)畫面。在這個(gè)例子中，待顯示的畫面的類型的順序是I1P3P5P7P9P11P13P15。例如，這里的“I1”表示“I”畫面，它在顯示序列中的位置是“1”。如果作為參照源的過去的I畫面或P畫面已被解碼，則P畫面可以被解碼，因而不必要為其間的B畫面解碼。于是，待解碼的畫面的順序是I1P3P5P7P9P11P13P15。由于為顯示一個(gè)畫面，只要對(duì)一個(gè)畫面進(jìn)行解碼就足夠了，因此，顯而易見，通過使用普通的MPEG解碼器，可以按兩倍速度來對(duì)這個(gè)編碼數(shù)據(jù)流進(jìn)行高速平穩(wěn)再現(xiàn)。
圖4C表示當(dāng)這個(gè)編碼數(shù)據(jù)流按三倍速度而加以高速平穩(wěn)再現(xiàn)時(shí)，待顯示的畫面和待解碼的畫面。三倍速度再現(xiàn)時(shí)，可用每三個(gè)幀顯示一個(gè)畫面，待顯示的畫面的類型的順序是I1B4P7B10P13。為了對(duì)B畫面進(jìn)行解碼，必須對(duì)作為參照源的過去和將來的I畫面或P畫面解碼，所以，待解碼的畫面的順序是[I1]P3P5[B4][P7]P9P11[B10][P13]。這里，括弧([ ])中示出實(shí)際上待顯示的畫面。在這種情況下，可以通過使用兩倍速度類型的MPEG解碼器(可以在單一幀周期內(nèi)對(duì)兩個(gè)幀解碼)，來進(jìn)行高速平穩(wěn)再現(xiàn)，盡管這無法由其解碼速度無法趕上畫面的單一速度的MPEG解碼器來實(shí)現(xiàn)。
圖4D表時(shí)當(dāng)這個(gè)編碼數(shù)據(jù)流按四倍速度被加以高速平穩(wěn)再現(xiàn)時(shí)，待顯示的畫面和待解碼的畫面。四倍速度再現(xiàn)時(shí)，待顯示的畫面的類型的順序是I1P5P9P13；為了實(shí)現(xiàn)該顯示，[I1]P3[P5]P7[P9]P11[P13]需要被解碼。也就是說，通過使用可以按兩倍或更高速度來進(jìn)行解碼的MPEG解碼器，可以進(jìn)行此編碼數(shù)據(jù)流的四倍速度的高速平穩(wěn)再現(xiàn)。
圖4E表時(shí)當(dāng)這個(gè)編碼數(shù)據(jù)流按四倍速度被加以高速平穩(wěn)再現(xiàn)時(shí)，待顯示的畫面和待解碼的畫面。五倍速度再現(xiàn)時(shí)，待顯示的畫面的類型的順序是I1B6P11；為了產(chǎn)生該顯示，[I1]P3P5P7[B6]P9[P11]需要被解碼。也就是說，不能用兩倍速度的MPEG解碼器來實(shí)現(xiàn)五倍速度的高速平穩(wěn)再現(xiàn)，從而需要可以按三倍或更高速度來進(jìn)行解碼的MPEG解碼器。
按照這種方式，高速平穩(wěn)再現(xiàn)的速度由編碼數(shù)據(jù)流的畫面結(jié)構(gòu)和所使用的MPEG解碼器的性能來確定?，F(xiàn)在，把B畫面重復(fù)出現(xiàn)的次數(shù)用M來表示，作為畫面結(jié)構(gòu)的指示符。也就是說，當(dāng)畫面結(jié)構(gòu)是“IPPPPP…”時(shí)，M＝0，因?yàn)椴淮嬖贐畫面；當(dāng)畫面結(jié)構(gòu)是“IBPBPBP…”時(shí)，M＝1，因?yàn)槊看我粋€(gè)B畫面被插入；當(dāng)畫面結(jié)構(gòu)是“IBBPBBP…”時(shí)，M＝2，因?yàn)槊看蝺蓚€(gè)B畫面被插入。同樣，把在單一幀周期內(nèi)能被解碼的幀數(shù)用D來表示，作為所使用的解碼器的性能的指示符。例如，當(dāng)解碼器為兩倍速度類型時(shí)，D＝2；當(dāng)解碼器為三倍速度類型時(shí)，D＝3。在這些情況下，高速平穩(wěn)再現(xiàn)的極限速度L被表示為L＝(M+1)×D。當(dāng)如在圖4A的情況中插入B畫面中的一個(gè)B畫面時(shí)，M＝1，所以，對(duì)于單一速度類型的解碼器來說，L＝(1+1)×1＝2，這意味著可以進(jìn)行二倍速度的高速平穩(wěn)再現(xiàn)。對(duì)于二倍速度類型的解碼器來說，L＝(1+1)×2＝4，這意味著可以進(jìn)行四倍速度的高速平穩(wěn)再現(xiàn)。
根據(jù)如上所述的標(biāo)準(zhǔn)，高速再現(xiàn)模式判斷部件112可以在用戶所規(guī)定的再現(xiàn)速度S小于或等于L時(shí)選擇高速平穩(wěn)再現(xiàn)模式，并可以在再現(xiàn)速度S大于L(這會(huì)導(dǎo)致無法執(zhí)行高速平穩(wěn)再現(xiàn))時(shí)選擇高速跳躍再現(xiàn)模式。而且，當(dāng)畫面結(jié)構(gòu)不被固定而是對(duì)于每個(gè)GOP發(fā)生變化時(shí)，可以通過判斷每個(gè)GOP的高速平穩(wěn)再現(xiàn)的有效性來切換再現(xiàn)模式，或者，可以選擇高速跳躍再現(xiàn)模式。這同樣適用于如上所述例子那樣GOPs內(nèi)的畫面結(jié)構(gòu)不規(guī)則的場合。由于畫面結(jié)構(gòu)不規(guī)則判斷變得困難時(shí)，則可以選擇高速跳躍再現(xiàn)模式，或者，可以按高速平穩(wěn)再現(xiàn)模式來進(jìn)行再現(xiàn)；并且，當(dāng)處理不再能夠繼續(xù)時(shí)，可以切換到高速跳躍再現(xiàn)模式。
如上所述，通過預(yù)先獲取有關(guān)編碼數(shù)據(jù)流的畫面結(jié)構(gòu)的信息，來控制高速再現(xiàn)處理。這樣，可以選擇一種合適的再現(xiàn)方法，并可以實(shí)現(xiàn)反映編碼數(shù)據(jù)流的畫面結(jié)構(gòu)的自然的高速再現(xiàn)。而且，即使當(dāng)裝置的構(gòu)造方式允許用戶模擬地改變再現(xiàn)速度時(shí)，現(xiàn)在也可以進(jìn)行從高速平穩(wěn)再現(xiàn)到高速跳躍再現(xiàn)的無縫切換。
再參考圖2，當(dāng)再現(xiàn)模式為反向再現(xiàn)模式時(shí)，反向再現(xiàn)控制部件304進(jìn)行按和普通再現(xiàn)模式相反的序列來再現(xiàn)編碼數(shù)據(jù)流的控制。在MPEG中，如果向前預(yù)測和雙向預(yù)測被用于編碼，并且畫面的代碼序列和顯示序列彼此不同，則不容易將相反序列中的解碼與普通向前序列中的解碼進(jìn)行比較。根據(jù)第一個(gè)實(shí)施例，為了平穩(wěn)地進(jìn)行反向再現(xiàn)，曾經(jīng)在普通再現(xiàn)期間被解碼的幀再次由MPEG編碼器140進(jìn)行編碼并被臨時(shí)存儲(chǔ)在存儲(chǔ)部件150中。為了有效地使用存儲(chǔ)器，重新編碼的數(shù)據(jù)被一個(gè)接一個(gè)地重寫，只將直接在前面的GOP保存在存儲(chǔ)器中。在編碼時(shí)，所有的畫面都可以被編碼為I畫面，或者，畫面可以被重新排列成反向序列，再由普通MPEG系統(tǒng)進(jìn)行編碼。例如，待存儲(chǔ)在存儲(chǔ)部件150中的數(shù)據(jù)量可以是一個(gè)GOP。
當(dāng)用戶經(jīng)由控制部件310要求反向再現(xiàn)時(shí)，反向再現(xiàn)控制部件120首先按相反序列讀出被存儲(chǔ)在存儲(chǔ)器150中的一個(gè)GOP的I畫面，將它們發(fā)送到MPEG解碼器130，并顯示被解碼的I畫面。與此同時(shí)，輸入塊304獲取過去的編碼數(shù)據(jù)流，解碼而生成的畫面，例如以一個(gè)GOP為單元，按相反序列被再現(xiàn)。
這里，舉例來說，當(dāng)一個(gè)GOP的畫面被編碼、然后被存儲(chǔ)在存儲(chǔ)器150中時(shí)，可能會(huì)出現(xiàn)這樣情況在編碼數(shù)據(jù)流中，GOP中所包含的畫面的數(shù)量、類型和類似東西不保持恒定，使得GOP中的畫面的數(shù)量可能會(huì)大于通常值，因而可能會(huì)超過存儲(chǔ)器150的容量。所以，根據(jù)本實(shí)施例，通過參考畫面結(jié)構(gòu)信息獲取部件104所獲取的畫面結(jié)構(gòu)信息，來判斷是否可以將重新編碼的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器150中。當(dāng)判斷重新編碼的數(shù)據(jù)無法被存儲(chǔ)在其內(nèi)時(shí)，可以有以下補(bǔ)救辦法，1)提高壓縮比，減少每個(gè)畫面的容量；2)稀疏畫面并為其編碼，并且，在反向再現(xiàn)時(shí)，通過在被稀疏的幀位置處連續(xù)顯示直接在前面的幀，來調(diào)整再現(xiàn)速度；3)畫面以反向再現(xiàn)的顯示序列被存儲(chǔ)，并且，無法被存儲(chǔ)的畫面，只在反向再現(xiàn)的請(qǐng)求之后進(jìn)行解碼來生成；4)保護(hù)其他的存儲(chǔ)區(qū)域，以提高存儲(chǔ)器150的容量；以及5)作反向再現(xiàn)不可行的決定，并通知和告誡用戶該決定。利用這些辦法，通過預(yù)先獲取畫面結(jié)構(gòu)，并通過即使當(dāng)該畫面結(jié)構(gòu)不規(guī)則時(shí)也可有效地使用存儲(chǔ)器，可以進(jìn)行反向再現(xiàn)。這種辦法也將有助于減小存儲(chǔ)器的體積。
畫面結(jié)構(gòu)信息獲取部件104將要獲取的畫面結(jié)構(gòu)信息被存儲(chǔ)在編碼數(shù)據(jù)序列的預(yù)定位置中。這種存儲(chǔ)位置可以是在MPEG系統(tǒng)的GOP首部或序列首部中所設(shè)的保留區(qū)域，即用戶數(shù)據(jù)區(qū)域、在其上面的上層中的一個(gè)位置或者只要畫面結(jié)構(gòu)信息獲取部件104可以識(shí)別的任何位置?？梢愿鶕?jù)MPEG-2的I畫面的畫面首部中所提供的“temporal_reference”代碼中的差異，或根據(jù)首部中所提供的“time_code”信息和序列首部中所提供的幀速率信息，來計(jì)算GOP中所包含的畫面的數(shù)量。
只要可以被畫面結(jié)構(gòu)信息獲取部件104識(shí)別，畫面結(jié)構(gòu)信息的格式也可以是任何格式。例如，當(dāng)構(gòu)成某個(gè)GOP的畫面是“IBPBPB”時(shí)，“6”和“132323”可以被存儲(chǔ)在用戶數(shù)據(jù)區(qū)域中，其中，6表示GOP中的畫面的數(shù)量；“132323”表示畫面類型，即“I用1表示(I1)”，“P用2表示(P2)”，“B用3表示(B3)”)。而且，可以用被插入其內(nèi)的畫面的數(shù)量來表示畫面的次序。在以上的例子中，由于每次一個(gè)B畫面被插入其內(nèi)，因此，數(shù)量是“1”。此外，可以把代表性的或典型的畫面序列制成表格。為了代替畫面的數(shù)量，也可存儲(chǔ)有關(guān)GOPs的暫時(shí)的信息。
迄今為止，已描述了根據(jù)本實(shí)施例的圖像再現(xiàn)裝置300。下文將參考圖5～7中所示的流程圖，來描述根據(jù)本實(shí)施例的基于這個(gè)結(jié)構(gòu)的圖像再現(xiàn)程序。
圖5表示根據(jù)第一個(gè)實(shí)施例的圖像再現(xiàn)裝置300所執(zhí)行的高速跳躍再現(xiàn)的各個(gè)步驟。首先，當(dāng)接通高速跳躍再現(xiàn)模式時(shí)，畫面結(jié)構(gòu)信息獲取部件104獲取包含在下一個(gè)待再現(xiàn)的GOP中的畫面的數(shù)量(S100)。當(dāng)GOP中包含多個(gè)I畫面時(shí)，可以獲取各個(gè)I畫面之間的畫面的數(shù)量。然后，根據(jù)再現(xiàn)速度和畫面的數(shù)量，高速跳躍再現(xiàn)控制部件114計(jì)算I畫面的顯示時(shí)間間隔(S102)。隨后，I畫面由MPEG解碼器130解碼(S104)，并被顯示在顯示部件344上(S106)。在I畫面的顯示時(shí)間過去之前(S108中的N)，繼續(xù)顯示I畫面；并且，當(dāng)該顯示時(shí)間已過去時(shí)(S108中的Y)，步驟被切換到為進(jìn)行下一個(gè)I畫面的顯示的處理。上述的程序被重復(fù)，直到高速跳躍再現(xiàn)模式結(jié)束為止(S110中的Y)。
圖6表示根據(jù)第一個(gè)實(shí)施例的圖像再現(xiàn)裝置300所執(zhí)行的高速平穩(wěn)再現(xiàn)的各個(gè)步驟。首先，當(dāng)接通高速平穩(wěn)再現(xiàn)模式時(shí)，畫面結(jié)構(gòu)信息獲取部件104獲取包含在下一個(gè)待再現(xiàn)的GOP中的畫面的格式和次序(S200)。然后，高速平穩(wěn)再現(xiàn)控制部件116判斷高速平穩(wěn)再現(xiàn)是否可行(S202)。這時(shí)，如果畫面結(jié)構(gòu)如上所述是正常的或標(biāo)準(zhǔn)類的，則可以根據(jù)畫面結(jié)構(gòu)和再現(xiàn)速度來確定高速平穩(wěn)再現(xiàn)的有效性。如圖4所示，可以確定待顯示的畫面和待被解碼的畫面，并可以從那些結(jié)構(gòu)中判斷高速平穩(wěn)再現(xiàn)的可能性。一旦判斷高速平穩(wěn)再現(xiàn)是可行的(S202中的Y)，就由MPEG解碼器130對(duì)待解碼的幀進(jìn)行解碼，并且，已解碼幀中的待顯示的幀被顯示在顯示部件344上(S206)。另一方面，一旦判斷高速平穩(wěn)再現(xiàn)不可行(S202中的N)，處理就被切換到高速跳躍再現(xiàn)(S208)，并且，只有I畫面被進(jìn)行解碼和顯示。上述的程序被重復(fù)，直到高速平穩(wěn)再現(xiàn)模式結(jié)束為止(S210中的Y)。在圖6所示的流程圖中，對(duì)每個(gè)GOP判斷高速平穩(wěn)再現(xiàn)的可能性，但是，當(dāng)畫面結(jié)構(gòu)在編碼數(shù)據(jù)序列內(nèi)是固定的或規(guī)則的時(shí)，在再現(xiàn)速度變化時(shí)判斷一次就足夠了，其后可以繼續(xù)高速平穩(wěn)再現(xiàn)處理。
圖7表示根據(jù)第一個(gè)實(shí)施例的圖像再現(xiàn)裝置300所執(zhí)行的反向再現(xiàn)的各個(gè)步驟。首先，在普通再現(xiàn)模式中，畫面結(jié)構(gòu)信息獲取部件104獲取包含在下一個(gè)待再現(xiàn)的GOP中畫面的結(jié)構(gòu)信息(S300)?？梢垣@取畫面的數(shù)量、格式、序列或類似東西，作為有關(guān)畫面的結(jié)構(gòu)信息。然后，反向再現(xiàn)控制部件120判斷GOP的所記錄的數(shù)據(jù)是否可以被存儲(chǔ)在存儲(chǔ)器150中(S302)。如果可以存儲(chǔ)數(shù)據(jù)(S302中的Y)，則該數(shù)據(jù)由MPEG編碼器140編碼成允許反向再現(xiàn)的格式(S304)，并被存儲(chǔ)在存儲(chǔ)器150中(S306)。另一方面，如果無法存儲(chǔ)數(shù)據(jù)(S302中的N)，則通過稀疏幀、提高壓縮比或使用任何其他合適的技術(shù)來改變編碼模式(S308)，然后，用類似的方式把數(shù)據(jù)編碼(S304)和存儲(chǔ)(S306)。只要普通再現(xiàn)模式持續(xù)，就重復(fù)上述的程序。
當(dāng)模式被切換到反向再現(xiàn)模式時(shí)(S310中的Y)，反向再現(xiàn)控制部件120讀出已被存儲(chǔ)在存儲(chǔ)器150中一個(gè)GOP的反向再現(xiàn)圖像(S312)，然后，讀出的圖像由MPEG解碼器130進(jìn)行解碼(S314)并被顯示在顯示部件344上(S316)。在此期間，過去的GOP在后臺(tái)通過輸入塊304被輸入并被解碼，并按相反的次序來顯示這樣生成的圖像數(shù)據(jù)。
第二個(gè)實(shí)施例圖8是表示根據(jù)本發(fā)明的第二個(gè)實(shí)施例的圖像記錄裝置400的結(jié)構(gòu)的方框圖。這個(gè)圖像記錄裝置400可以被安置在電影攝像機(jī)、靜態(tài)攝像機(jī)、視頻CD記錄裝置、DVD記錄裝置或記錄來自轉(zhuǎn)換媒體200的MPEG視頻流的類似裝置中。轉(zhuǎn)換媒體200包括諸如視頻CD、CD-ROM、DVD、VTR和類似媒體等存儲(chǔ)媒體、諸如LAN和類似媒體等通信媒體和諸如地面波廣播、衛(wèi)星廣播、CATV和類似媒體等廣播媒體等中的任何媒體。而且，當(dāng)來自這類存儲(chǔ)媒體或廣播媒體的數(shù)據(jù)為不遵照MPEG視頻部分來加以編碼的數(shù)據(jù)時(shí)，圖像記錄裝置400包括用來對(duì)這種數(shù)字?jǐn)?shù)據(jù)進(jìn)行編碼的一個(gè)MPEG視頻編碼器。在圖像記錄裝置400被安置在電影攝像機(jī)或靜態(tài)攝像機(jī)中的情況下，轉(zhuǎn)換媒體200用圖像拾波設(shè)備(例如，CCD)及其信號(hào)處理電路來取代。
圖像記錄裝置400包括用來從轉(zhuǎn)換介質(zhì)200輸入編碼數(shù)據(jù)序列的輸入塊404；用來控制把輸入塊404所獲取的編碼數(shù)據(jù)序列記錄到記錄塊408的處理塊406；用來記錄編碼數(shù)據(jù)序列的記錄塊408；用來從用戶那里接收指示的用戶界面412；以及用來根據(jù)來自用戶界面412的指示來控制輸入塊404和處理塊406的控制部件410。
處理塊406中的記錄控制部件434將編碼數(shù)據(jù)序列記錄到記錄塊408。例如，畫面結(jié)構(gòu)信息增加部件436將結(jié)構(gòu)信息，例如編碼數(shù)據(jù)序列中所包含的畫面的數(shù)量、格式、序列和類似東西，加到每個(gè)GOP的預(yù)定位置，例如用戶數(shù)據(jù)區(qū)域。由此，生成數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)包括編碼數(shù)據(jù)序列和信息。所述編碼數(shù)據(jù)序列是以混合地包含第一格式幀和第二格式幀且格式互不相同的幀群作為單元而被編碼的移動(dòng)圖像數(shù)據(jù)；所述信息表示包含在該幀群中的幀的數(shù)量、格式或序列，且被存儲(chǔ)在編碼數(shù)據(jù)序列的預(yù)定位置中。用戶界面412經(jīng)由遠(yuǎn)程控制器或輸入面板從用戶那里接收關(guān)于記錄或類似操作的請(qǐng)求。控制部件410將記錄開始信號(hào)發(fā)送到輸入塊404和處理塊406。記錄控制部件434根據(jù)該記錄開始信號(hào)來進(jìn)行記錄處理。記錄塊408可以是用來在CD、MO、MD、DVD或任何其他的記錄媒體中進(jìn)行記錄的驅(qū)動(dòng)器部件或記錄媒體本身。
在對(duì)編碼數(shù)據(jù)序列進(jìn)行再現(xiàn)的圖像再現(xiàn)裝置中，通過由畫面結(jié)構(gòu)信息增加部件436增加畫面結(jié)構(gòu)信息，可以使用該信息來進(jìn)行適當(dāng)?shù)目刂?。存?chǔ)畫面結(jié)構(gòu)信息的定時(shí)，可以在如第二個(gè)實(shí)施例中那樣記錄編碼數(shù)據(jù)序列的階段，在由MPEG編碼器生成編碼數(shù)據(jù)序列的階段，或任何其他任意的定時(shí)。
根據(jù)上述實(shí)施例，可以改進(jìn)用于編碼數(shù)據(jù)序列的高速再現(xiàn)或反向再現(xiàn)的處理技術(shù)。而且，作為該處理技術(shù)的改進(jìn)的組成部分，可以提供用于進(jìn)一步給用戶留下自然的印象的高速再現(xiàn)技術(shù)，以及用于減少反向再現(xiàn)所需要的硬件資源的技術(shù)。
根據(jù)實(shí)施例對(duì)本發(fā)明作了說明，而這些實(shí)施例只起示范的作用。精通該技術(shù)領(lǐng)域的人會(huì)理解，可以對(duì)上述每個(gè)部分和程序的組合進(jìn)行其他各種修改，而這類修改被包括在本發(fā)明的范圍之內(nèi)。以下將說明這類修改。
在本實(shí)施例中，I畫面只在高速跳躍再現(xiàn)中被再現(xiàn)，但是，除此以外，P畫面和在某些情況下的B畫面也可以被再現(xiàn)。如果GOPs或GOVs中所包含的畫面或VOPs的數(shù)量很大，則I畫面或I-VOPs的顯示只會(huì)變得太粗糙。在這種情況下，也可以按需要顯示中間圖像。
雖然本發(fā)明通過示范實(shí)施例來所明的，但是，不言而喻，在不脫離由所附的權(quán)利要求書所限定的本發(fā)明的范圍的前提下，精通該技術(shù)領(lǐng)域的人可以進(jìn)一步進(jìn)行許多更改和替換。
權(quán)利要求
1.一種圖像再現(xiàn)方法，包括對(duì)混合地包含格式上彼此不同的第一格式幀和第二格式幀的編碼數(shù)據(jù)序列進(jìn)行解碼，其特征在于，所述解碼包括當(dāng)只對(duì)第一格式幀解碼或?qū)Φ谝桓袷綆偷诙袷綆囊徊糠纸獯a來進(jìn)行再現(xiàn)時(shí)，獲取存在于第一格式幀與隨后將要被顯示的另一個(gè)第一格式幀之間的幀數(shù)；以及，根據(jù)所述幀數(shù)和再現(xiàn)速度，來確定第一格式幀的顯示時(shí)間間隔。
2.根據(jù)權(quán)利要求1所述的一種圖像再現(xiàn)方法，其特征在于，第一格式幀可以由所述第一格式幀的編碼數(shù)據(jù)來解碼，而第二格式幀可以通過參考其他幀的編碼數(shù)據(jù)來解碼。
3.一種圖像再現(xiàn)方法，包括對(duì)混合地包含格式上彼此不同的第一格式幀和第二格式幀的編碼數(shù)據(jù)序列進(jìn)行解碼，其特征在于，所述解碼包括如果通過按照再現(xiàn)速度稀疏并顯示幀的方法來進(jìn)行再現(xiàn)，則在再現(xiàn)之前獲取構(gòu)成待再現(xiàn)的編碼數(shù)據(jù)序列的幀的格式和次序；根據(jù)幀的所述格式和次序，來確定待顯示的幀；以及，根據(jù)幀的所述格式和次序以及由此確定的待顯示的幀，來確定待解碼的幀。
4.根據(jù)權(quán)利要求3所述的一種圖像再現(xiàn)方法，其特征在于，第一格式幀可以由所述第一格式幀的編碼數(shù)據(jù)來解碼，而第二格式幀可以通過參考其他幀的編碼數(shù)據(jù)來解碼。
5.一種圖像再現(xiàn)方法，其特征在于包括用與正常顯示次序的相反次序可對(duì)該圖像數(shù)據(jù)進(jìn)行解碼的格式，把對(duì)應(yīng)于多個(gè)幀的圖像數(shù)據(jù)進(jìn)行編碼，生成用于反向再現(xiàn)的圖像數(shù)據(jù)；將用于反向再現(xiàn)的圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)器中；以及，從存儲(chǔ)器讀出用于反向再現(xiàn)的圖像數(shù)據(jù)，以便當(dāng)要求反向再現(xiàn)時(shí)，對(duì)它們進(jìn)行解碼，其中，在所述用于反向再現(xiàn)的圖像數(shù)據(jù)生成之前，根據(jù)存儲(chǔ)器的容量確定編碼模式。
6.一種圖像再現(xiàn)裝置，其特征在于包括一個(gè)解碼器，用于對(duì)混合地包含格式互不相同的第一格式幀和第二格式幀的編碼數(shù)據(jù)序列進(jìn)行解碼，以生成圖像數(shù)據(jù)；一個(gè)再現(xiàn)控制部件，通過只對(duì)編碼數(shù)據(jù)序列中所包含的部分幀用所述解碼器解碼并被顯示在顯示部件中的方式來進(jìn)行再現(xiàn)；以及，一個(gè)結(jié)構(gòu)信息獲取部件，用于獲取幀的數(shù)量、格式或次序，其中，所述再現(xiàn)控制部件根據(jù)幀的數(shù)量、格式或次序來控制再現(xiàn)。
7.根據(jù)權(quán)利要求6所述的一種圖像再現(xiàn)裝置，其特征在于，第一格式幀可以由所述第一格式幀的編碼數(shù)據(jù)來解碼，而第二格式幀可以通過參考其他幀的編碼數(shù)據(jù)來解碼。
8.根據(jù)權(quán)利要求7所述的一種圖像再現(xiàn)裝置，其特征在于，所述再現(xiàn)控制部件包括只為第一格式幀解碼并對(duì)其進(jìn)行顯示從而實(shí)現(xiàn)第一種再現(xiàn)模式的第一控制部件；其中，第一控制部件從所述結(jié)構(gòu)信息獲取部件獲取存在于第一格式幀與隨后將要被顯示的另一個(gè)第一幀之間的幀數(shù)，并根據(jù)所述幀數(shù)和再現(xiàn)速度來確定第一格式幀的顯示時(shí)間間隔。
9.根據(jù)權(quán)利要求8所述的一種圖像再現(xiàn)裝置，其特征在于，用包含至少一個(gè)第一格式幀和至少一個(gè)第二格式幀的幀群作為單元，對(duì)編碼數(shù)據(jù)序列編碼；其中，第一控制部件獲取屬于該幀群的幀數(shù)，并將這樣獲取的幀數(shù)視為存在于第一格式幀與隨后將要被顯示的另一個(gè)第一格式幀之間的幀數(shù)。
10.根據(jù)權(quán)利要求6所述的一種圖像再現(xiàn)裝置，其特征在于，所述再現(xiàn)控制部件包括按照再現(xiàn)速度來稀疏并顯示幀，從而實(shí)現(xiàn)第二種再現(xiàn)模式的第二控制部件；其中，第二個(gè)控制部件從所述結(jié)構(gòu)信息獲取部件獲取構(gòu)成將要被再現(xiàn)的編碼數(shù)據(jù)序列的幀的種類和次序，并根據(jù)幀的所述種類和次序來確定待顯示的幀和待解碼的幀。
11.根據(jù)權(quán)利要求所述10的一種圖像再現(xiàn)裝置，其特征在于，所述再現(xiàn)控制部件還包括一個(gè)判斷部件，該判斷部件根據(jù)所述解碼器的性能來確定第二種再現(xiàn)模式的有效性。
12.根據(jù)權(quán)利要求11的一種圖像再現(xiàn)裝置，其特征在于，當(dāng)判斷第二種再現(xiàn)模式不可行時(shí)，所述判斷部件切換到第一種再現(xiàn)模式。
13.一種圖像再現(xiàn)裝置，其特征在于包括一個(gè)編碼器，它用與正常顯示次序的相反次序可對(duì)該圖像數(shù)據(jù)進(jìn)行解碼的格式，把對(duì)應(yīng)于多個(gè)幀的圖像數(shù)據(jù)進(jìn)行編碼，生成用于反向再現(xiàn)的圖像數(shù)據(jù)；一個(gè)存儲(chǔ)器，它臨時(shí)存儲(chǔ)用于反向再現(xiàn)的圖像數(shù)據(jù)；以及，一個(gè)反向再現(xiàn)控制部件，它從所述存儲(chǔ)器讀出用于反向再現(xiàn)的圖像數(shù)據(jù)，以便當(dāng)要求反向再現(xiàn)時(shí)，對(duì)它們進(jìn)行再現(xiàn)，其中，所述反向再現(xiàn)控制部件根據(jù)所述存儲(chǔ)器的容量來確定編碼模式。
14.根據(jù)權(quán)利要求13所述的一種圖像再現(xiàn)裝置，其特征在，用包含至少一個(gè)第一格式幀和至少一個(gè)第二格式幀的幀群作為單元，對(duì)編碼數(shù)據(jù)序列編碼；其中，所述反向再現(xiàn)控制部件獲取該幀群的幀結(jié)構(gòu)，估算因該幀群的編碼而產(chǎn)生的數(shù)據(jù)量，并將所估計(jì)的數(shù)據(jù)量與所述存儲(chǔ)器的容量進(jìn)行比較，由此，所述反向再現(xiàn)控制部件確定編碼模式。
15.根據(jù)權(quán)利要求14所述的一種圖像再現(xiàn)裝置，其特征在于，第一格式幀可以由所述第一格式幀的編碼數(shù)據(jù)來解碼，而第二格式幀可以通過參考其他幀的編碼數(shù)據(jù)來解碼。
16.根據(jù)權(quán)利要求15所述的一種圖像再現(xiàn)裝置，其特征在于，當(dāng)所述反向再現(xiàn)控制部件判斷數(shù)據(jù)量超過所述存儲(chǔ)器的容量時(shí)，稀疏該幀群中的幀，或者在編碼時(shí)提高壓縮比。
17.根據(jù)權(quán)利要求6所述的一種圖像再現(xiàn)裝置，其特征在于，通過讀出被存儲(chǔ)在編碼數(shù)據(jù)序列的預(yù)定位置中的信息，所述結(jié)構(gòu)信息獲取部件獲取包含在編碼數(shù)據(jù)序列中幀的數(shù)量、格式或次序。
18.一種圖像記錄裝置，其特征在于它包括一個(gè)結(jié)構(gòu)信息增加部件，該結(jié)構(gòu)信息增加部件在用混合地包含第一格式幀和第二格式幀且其格式互不相同的幀群作為單元對(duì)其進(jìn)行編碼的編碼數(shù)據(jù)序列的預(yù)定位置中增加信息，所述被增加的信息指出該幀群中所包含的幀的數(shù)量、格式或次序。
19.根據(jù)權(quán)利要求18所述的一種圖像記錄裝置，其特征在于，第一格式幀可以由所述第一格式幀的編碼數(shù)據(jù)來解碼，而第二格式幀可以通過參考其他幀的編碼數(shù)據(jù)來解碼。
20.表示移動(dòng)圖像的移動(dòng)圖像數(shù)據(jù)的一種數(shù)據(jù)結(jié)構(gòu)，其特征在于，該數(shù)據(jù)結(jié)構(gòu)包括一個(gè)用混合地包含第一格式幀和第二格式幀且其格式互不相同的幀群作為單元對(duì)移動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的編碼數(shù)據(jù)序列；以及，存儲(chǔ)在所述編碼數(shù)據(jù)序列的預(yù)定位置中、并指出該幀群中所包含的幀的數(shù)量、格式或次序的信息。
全文摘要
預(yù)先獲取與編碼數(shù)據(jù)序列的GOP內(nèi)的畫面有關(guān)的結(jié)構(gòu)信息。在高速再現(xiàn)時(shí)，高速再現(xiàn)模式判斷部件通過參考畫面結(jié)構(gòu)信息，來判斷高速平穩(wěn)再現(xiàn)是否可行。如果高速再現(xiàn)可行，則高速平穩(wěn)再現(xiàn)控制部件執(zhí)行高速平穩(wěn)再現(xiàn)。如果不可行，則高速跳躍再現(xiàn)控制部件執(zhí)行高速跳躍再現(xiàn)。對(duì)于反向再現(xiàn)，一個(gè)GOP的圖像數(shù)據(jù)，用如MPEG編碼器來進(jìn)行重新編碼，然后，重新編碼的圖像數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器中。隨后，把根據(jù)GOP內(nèi)的畫面的結(jié)構(gòu)信息預(yù)測的編碼數(shù)據(jù)量與存儲(chǔ)器的容量進(jìn)行比較；如果所估計(jì)的編碼數(shù)據(jù)量超過存儲(chǔ)器的容量，則采取諸如提高壓縮比的對(duì)策。
文檔編號(hào)G11B27/10GK1469645SQ0314863
公開日2004年1月21日 申請(qǐng)日期2003年6月12日 優(yōu)先權(quán)日2002年6月13日
發(fā)明者岡田茂之, 山內(nèi)英樹, 樹 申請(qǐng)人:三洋電機(jī)株式會(huì)社