專利名稱：影像數(shù)據(jù)轉(zhuǎn)換裝置以及影像數(shù)據(jù)轉(zhuǎn)換方法
技術(shù)領(lǐng)域：
本發(fā)明涉及進(jìn)行依據(jù)各種國際標(biāo)準(zhǔn)的影像壓縮、解壓縮方式的視頻壓縮數(shù)據(jù)的各種轉(zhuǎn)換的影像數(shù)據(jù)轉(zhuǎn)換裝置以及影像數(shù)據(jù)轉(zhuǎn)換方法。
背景技術(shù)：
現(xiàn)在，在數(shù)字廣播(衛(wèi)星、地面波、電纜)、DVD、視頻CD、因特網(wǎng)、移動通信等的跨越廣播、通信、分組的多樣的應(yīng)用程序中，MPEG和ITU-T H.26x等國際標(biāo)準(zhǔn)影像編碼方式被靈活運(yùn)用。
在所支持的編碼方式、傳送位速率、空間分辨率(幀大小)、時間分辨率(幀速率)等條件不同的平臺(flat form)中再利用以這些編碼方式壓縮的影像內(nèi)容的要求提高了，以此為背景正在廣泛研究開發(fā)影像代碼轉(zhuǎn)換技術(shù)。
特別是MPEG和ITU-T H.26x等標(biāo)準(zhǔn)影像編碼方式因?yàn)橐回炓圆捎眠\(yùn)動補(bǔ)償預(yù)測(Motion Compensation，以下MC)的時間方向的信號冗長度削減、采用離散余弦轉(zhuǎn)換(Discrete Cosine Transform，以下稱為DCT)的空間方向的信號冗長度削減為根本，所以編碼數(shù)據(jù)的語法在某種程度被共用?？紤]利用了此共用的在位流水平上的轉(zhuǎn)換，因而把上述標(biāo)準(zhǔn)影像編碼方式作為對象降低計算負(fù)荷的代碼轉(zhuǎn)換技術(shù)成為主要研究的對象。
其中，也有把NTSC分辨率(704×480象素幀，30幀/秒)的MPEG-2視頻轉(zhuǎn)換到SIF(352×240象素)的低幀速率MPEG-4或者H.263視頻的問題，從現(xiàn)有的MPEG-2內(nèi)容的有效靈活應(yīng)用的觀點(diǎn)出發(fā)實(shí)用化要求高，成為熱點(diǎn)話題(例如，Wang Xing Guo，Zheng WeiGuo，and Ishfaq Ahmad，“MPEG-2 To MPEG-4 Transcoding”，Workshop and Exhibition on MPEG-4(WEMP)2001.等)。
在這樣的影像代碼轉(zhuǎn)換技術(shù)中，重要的是把包含在轉(zhuǎn)換代碼輸入的MPEG-2視頻流中的運(yùn)動向量轉(zhuǎn)換為可以在MPEG-4編碼中利用的運(yùn)動向量的處理。
因?yàn)檫M(jìn)行縱橫1/2的分辨率轉(zhuǎn)換，所以輸入MPEG-2流的4個宏(macro)塊區(qū)域正好與MPEG-4編碼時的1個宏塊的區(qū)域?qū)?yīng)。此問題是根據(jù)原本的最大4個運(yùn)動向量推測分辨率轉(zhuǎn)換后的運(yùn)動向量的問題，此前已有許多研究報告。例如，在B.Shen等，“AdaptiveMotion-Vector Resampling for Compressed Video Downsampling”，IEEE Transactions on Circuits And Systems for Video Technology，vol.9，no.6，Sep.1999中，報告了在輸入壓縮數(shù)據(jù)中，在預(yù)測余差大的運(yùn)動向量上加上大的權(quán)重而取4個運(yùn)動向量的加權(quán)平均的方法。
這是把輸入壓縮數(shù)據(jù)中的預(yù)測余差信號作為判斷基準(zhǔn)，根據(jù)其活性值決定應(yīng)該轉(zhuǎn)換的運(yùn)動向量的值的方法，在M.R.Hashemi等，“Compressed Domain Motion Vector Resampling for Downscaling ofMPEG Video”，IEEE International Conference on Image Processing，Kobe，Japan，Oct.1999中也報告了此變形。
以往的影像數(shù)據(jù)轉(zhuǎn)換方法因?yàn)槿缫陨夏菢訕?gòu)成，所以除了需要轉(zhuǎn)換的運(yùn)動向量被限定為在1種情況中適用外，還存在不能保證轉(zhuǎn)換后的運(yùn)動向量的編碼性能的意義為最佳的問題。

發(fā)明內(nèi)容
本發(fā)明就是為了解決上述的問題而提出的，其目的在于提供一種可以轉(zhuǎn)換考慮到第2影像編碼方式中的編碼性能的作用的運(yùn)動向量等的影像數(shù)據(jù)轉(zhuǎn)換裝置以及影像數(shù)據(jù)轉(zhuǎn)換方法。
本發(fā)明的影像數(shù)據(jù)轉(zhuǎn)換裝置是把影像信號的各幀分割為規(guī)定部分區(qū)域，以此為單位選擇運(yùn)動向量等編碼參數(shù)，把依照進(jìn)行編碼的第1影像編碼方式的影像編碼數(shù)據(jù)作為輸入，把影像信號的各幀分割為規(guī)定部分區(qū)域，以此為單位選擇編碼參數(shù)，并依照進(jìn)行編碼的第2影像編碼方式對影像編碼數(shù)據(jù)進(jìn)行轉(zhuǎn)換的裝置，包含根據(jù)作為上述第1影像編碼方式中的規(guī)定部分區(qū)域單位的編碼參數(shù)的運(yùn)動向量，生成在上述第2影像編碼方式中的規(guī)定部分區(qū)域的單位中使用的運(yùn)動向量的候補(bǔ)的運(yùn)動向量轉(zhuǎn)換單元；在上述生成的第2影像編碼方式中的運(yùn)動向量的候補(bǔ)中，根據(jù)評價使用了該運(yùn)動向量候補(bǔ)的情況下的預(yù)測效率的預(yù)測誤差評價值、評價通過使用該運(yùn)動向量候補(bǔ)產(chǎn)生的運(yùn)動向量編碼量的值，確定在該第2影像編碼方式中使用的運(yùn)動向量的編碼參數(shù)判定單元。
由此，在轉(zhuǎn)換考慮了在第2影像編碼方式中的編碼性能的作用的運(yùn)動向量等的方面有效。


圖1是展示本發(fā)明的實(shí)施例1的影像代碼轉(zhuǎn)換器(影像數(shù)據(jù)轉(zhuǎn)換裝置)的構(gòu)成圖。
圖2是展示在影像代碼轉(zhuǎn)換器中的運(yùn)動向量映射和編碼方式判定處理的流程圖。
圖3是展示伴隨分辨率轉(zhuǎn)換的代碼轉(zhuǎn)換單位的說明圖。
圖4是說明MPEG-2視頻編碼中的運(yùn)動預(yù)測方式的類別的說明圖。
圖5是展示本發(fā)明的實(shí)施例2的影像代碼轉(zhuǎn)換器(影像數(shù)據(jù)轉(zhuǎn)換裝置)的構(gòu)成圖。
圖6是展示影像代碼轉(zhuǎn)換器中的運(yùn)動向量映射和編碼方式判定處理的流程圖。
圖7是展示編碼方式推測單元8的MPEG-2編碼方式的監(jiān)視動作的說明圖。
圖8是展示運(yùn)動向量映射單元7的MPEG-2運(yùn)動向量的監(jiān)視動作的說明圖。
具體實(shí)施例方式
以下，為了更詳細(xì)地說明本發(fā)明，根據(jù)

用于實(shí)施本發(fā)明的最佳的形式。
實(shí)施例1在本實(shí)施例1中，說明把MPEG-2視頻數(shù)據(jù)作為輸入，輸出在空間分辨率為縱橫1/2下采樣后的MPEG-4視頻數(shù)據(jù)的影像代碼轉(zhuǎn)換器。在以下的說明中，MPEG-4假設(shè)是依據(jù)MPEG-4簡單配置文件的的編碼方式。
圖1是展示本發(fā)明的實(shí)施例1的影像代碼轉(zhuǎn)換器(影像數(shù)據(jù)轉(zhuǎn)換裝置)的構(gòu)成圖，在圖中，MPEG-2譯碼單元2輸入以MPEG-2基準(zhǔn)的編碼方式壓縮的輸入壓縮數(shù)據(jù)1，并根據(jù)該輸入壓縮數(shù)據(jù)1生成譯碼圖像5?？勺冮L譯碼單元2A根據(jù)MPEG-2標(biāo)準(zhǔn)實(shí)施輸入壓縮數(shù)據(jù)1的語法解析，生成預(yù)測余差信號編碼數(shù)據(jù)2B、編碼方式信息3以及運(yùn)動向量信息4。反量化單元2C實(shí)施由可變長譯碼單元2A生成的預(yù)測余差信號編碼數(shù)據(jù)2B的反量化，反DCT單元2D實(shí)施針對反量化后的預(yù)測余差信號編碼數(shù)據(jù)的反DCT后，輸出預(yù)測余差信號譯碼值2E。
運(yùn)動補(bǔ)償單元2F根據(jù)由可變長譯碼單元2A生成的運(yùn)動向量信息4和存儲在幀存儲器2G中的參照圖像數(shù)據(jù)2H，生成預(yù)測圖像2I。加法器2J加算從反DCT單元2D輸出的預(yù)測余差信號譯碼值2E和由運(yùn)動補(bǔ)償單元2F生成的預(yù)測圖像2I，生成譯碼圖像5。進(jìn)而，在幀存儲器2G中把譯碼圖像5作為參照圖像數(shù)據(jù)2H存儲。
分辨率轉(zhuǎn)換單元6把由MPEG-2譯碼單元2生成的譯碼圖像5的分辨率轉(zhuǎn)換為在象素區(qū)域上縱橫1/2大小的分辨率。運(yùn)動向量映射單元7根據(jù)由可變長譯碼單元2A生成的運(yùn)動向量信息4，生成可以在MPEG-4譯碼中利用的運(yùn)動向量映射信息11(運(yùn)動向量的候補(bǔ))。編碼方式推測單元8根據(jù)由可變長譯碼單元2A生成的編碼方式信息3，確定應(yīng)該在MPEG-4中利用的編碼方式設(shè)定信息12。
MPEG-4編碼單元10用MPEG-4編碼由分辨率轉(zhuǎn)換單元6轉(zhuǎn)換分辨率后的譯碼圖像9。運(yùn)動補(bǔ)償單元10A根據(jù)運(yùn)動向量映射信息11和存儲在幀存儲器10M中的參照圖像數(shù)據(jù)，生成預(yù)測圖像10C。減法器10P取作為由分辨率轉(zhuǎn)換單元6轉(zhuǎn)換了分辨率的譯碼圖像的輸入信號9和由運(yùn)動補(bǔ)償單元10A生成的預(yù)測圖像10C的差分，生成預(yù)測余差信號。編碼參數(shù)判定單元10B根據(jù)編碼方式設(shè)定信息12等，決定在MPEG-4的各宏塊單位中用于編碼的編碼方式和運(yùn)動向量。
DCT單元10D當(dāng)由編碼參數(shù)判定單元10B決定的編碼方式是INTER方式或者INTER4V方式的情況下，對由減法器10P生成的預(yù)測余差信號實(shí)施DCT，當(dāng)此編碼方式是INTRA方式的情況下，對輸入信號9實(shí)施DCT。量化單元10E量化DCT單元10D的輸出信號。反量化單元10F反量化量化單元10E的輸出信號，反DCT單元10G對反量化單元10F的輸出信號實(shí)施反DCT輸出預(yù)測余差信號譯碼值10H。加法器10Q加算從反DCT單元10G輸出的預(yù)測余差信號譯碼值10H和由運(yùn)動補(bǔ)償單元10A生成的預(yù)測圖像10C。進(jìn)而，為了在以后的幀的MC中使用該加算結(jié)果10I，而存儲到幀存儲器10M。
可變長編碼單元10J把量化單元10E的輸出信號排列成MPEG-4視頻流的形式。編碼控制單元10L控制編碼方式判定單元10B、量化單元10E和反量化單元10F等。
以下說明動作。
①.輸入MPEG-2視頻流的譯碼處理首先，把以依據(jù)MPEG-2的編碼方式壓縮的輸入壓縮數(shù)據(jù)1輸入MPEG-2譯碼單元2。
MPEG-2譯碼單元2的可變長譯碼單元2A根據(jù)MPEG-2標(biāo)準(zhǔn)實(shí)施輸入壓縮數(shù)據(jù)1的語法解析，生成預(yù)測余差信號編碼數(shù)據(jù)2B、編碼方式信息3以及運(yùn)動向量信息4。
反量化單元2C如果從可變長譯碼單元2A接收到預(yù)測余差信號編碼數(shù)據(jù)2B，則實(shí)施此預(yù)測余差信號編碼數(shù)據(jù)2B的反量化。
反DCT單元2D如果從反量化單元2C接收到反量化后的預(yù)測余差信號編碼數(shù)據(jù)，則對此預(yù)測余差信號編碼數(shù)據(jù)實(shí)施反DCT，輸出預(yù)測余差信號譯碼值2E。
運(yùn)動補(bǔ)償單元2F如果從可變長譯碼單元2A接收到運(yùn)動向量信息4，則根據(jù)此運(yùn)動向量信息4和存儲在幀存儲器2G中的參照圖像數(shù)據(jù)2H，生成預(yù)測圖像2I。進(jìn)而，在運(yùn)動向量信息4中，除了運(yùn)動向量值外，還包含表示幀預(yù)測或者圖像區(qū)域預(yù)測的標(biāo)志等與MC有關(guān)的全部信息。
加法器2J在運(yùn)動補(bǔ)償單元2F生成預(yù)測圖像2I時，加算該預(yù)測圖像2I和從反DCT單元2D輸出的預(yù)測余差信號譯碼值2E，生成譯碼圖像5。進(jìn)而，譯碼圖像5為了在以后的幀的運(yùn)動補(bǔ)償中使用，而作為參照圖像數(shù)據(jù)2H存儲在幀存儲器2G中。
②.分辨率轉(zhuǎn)換處理由MPEG-2譯碼單元2生成的MPEG-2譯碼圖像5被輸入作為空間分辨率轉(zhuǎn)換單元的分辨率轉(zhuǎn)換單元6。
分辨率轉(zhuǎn)換單元6通過實(shí)施依據(jù)規(guī)定的下采樣(Down sample)濾波器的象素間隔采樣，把MPEG-2譯碼圖像5的分辨率例如縮小到縱橫1/2的空間分辨率。此結(jié)果成為MPEG-4編碼器單元10的輸入信號9。
進(jìn)而，時間方向的分辨率轉(zhuǎn)換例如在S.J.Wee等，“Field-to-frameTranscoding with Spatial And Temporal Downsampling”，IEEEInternational Conference on Image Processing，Kobe，Japan，Oct.1999中揭示的那樣，當(dāng)在MPEG-2流中存在B幀(兩方向預(yù)測幀)的情況下，只容許通過間隔采樣B幀削減幀速率的處理。這是因?yàn)锽幀和I(內(nèi)部)或者P(單向預(yù)測)幀不同，因?yàn)椴话哑渥陨碛糜诹硪粠念A(yù)測，所以通過間隔采樣它不會對其它幀的品質(zhì)有影響。
例如，雖然經(jīng)常使用在I(內(nèi)部)或者P(單向預(yù)測)幀之間插入2幀B幀的編碼圖案，但這種情況下，通過全部間隔采樣B幀可以把幀速率降低到1/3。另外，在本實(shí)施例1中，假設(shè)MPEG-2的I(內(nèi)部)幀在MPEG-4中也作為I(內(nèi)部)幀，同樣MPEG-2的P(單向預(yù)測)幀在MPEG-4中也作為P(單向預(yù)測)幀進(jìn)行轉(zhuǎn)換。
③.運(yùn)動向量映射以及編碼方式選擇處理以下，說明作為本發(fā)明的特征點(diǎn)的運(yùn)動向量映射處理以及編碼方式選擇處理。進(jìn)而，本處理由圖1中的運(yùn)動向量映射單元7、編碼方式推測單元8以及MPEG-4編碼單元10的編碼參數(shù)判定單元10合作執(zhí)行。
圖2是展示影像代碼轉(zhuǎn)換器中的運(yùn)動向量映射和編碼方式判定處理的流程圖。
MPEG-2譯碼圖像5、MPEG-4編碼單元10的輸入信號9因?yàn)榭臻g分辨率是縱橫1/2，所以假設(shè)是以MPEG-2的2×2個宏塊，即，MPEG-4的1個宏塊為單位執(zhí)行以下說明的處理步驟。圖3是展示伴隨分辨率轉(zhuǎn)換的代碼轉(zhuǎn)換單位的說明圖。
在MPEG-4中，因?yàn)閷τ诤陦K分配1個或者4個運(yùn)動向量，所以作為運(yùn)動向量的映射方法，有如圖3(A)所示從4個MPEG-2運(yùn)動向量轉(zhuǎn)換為1個MPEG-4運(yùn)動向量的情況、如圖3(B)所示從4個MPEG-2運(yùn)動向量轉(zhuǎn)換到4個MPEG-4運(yùn)動向量的情況這兩種。
(1)事前的強(qiáng)制編碼方式判定(步驟ST0)首先，編碼方式推測單元8調(diào)查圖3所示的MPEG-2的2×2個宏塊內(nèi)的編碼方式分布的狀態(tài)。當(dāng)4個宏塊全部是INTRA方式的情況下，以及4個宏塊全部是SKIP方式的情況下，分別將應(yīng)該在MPEG-4編碼中使用的轉(zhuǎn)換后的編碼方式強(qiáng)制設(shè)為INTRA、SKIP。這種情況下，假設(shè)運(yùn)動向量全部是零，并跳過以后的步驟。
進(jìn)而，所謂INTRA方式是不使用運(yùn)動預(yù)測而在幀內(nèi)進(jìn)行編碼的方式，所謂SKIP方式是直接拷貝參照圖像中的同一位置的圖像數(shù)據(jù)的方式，是不傳送編碼信息的方式。
其結(jié)果，通過采用只與在4個宏塊的某一個中包含運(yùn)動預(yù)測方式的情況有關(guān)的INTER方式，即使用運(yùn)動向量進(jìn)行運(yùn)動預(yù)測的方式，從而成為編碼效率高的情況。但是，這種情況下，根據(jù)以下的步驟(2)以后的處理，在取得的MPEG-4編碼方式中，再次決定在編碼效率的意義下最佳的方式。
因而，在從編碼方式推測單元8輸出的編碼方式設(shè)定信息12中，有強(qiáng)制性的INTRA方式、強(qiáng)制的SKIP方式或者INTER方式的可能性這三個情況的選擇分支。
(2)運(yùn)動向量候補(bǔ)的選定在上述(1)中，當(dāng)判斷為有INTER方式的利用價值的情況下，根據(jù)從MPEG-2編碼單元2的可變長譯碼單元2A輸出的2×2宏塊的MPEG-2運(yùn)動向量，決定在MPEG-4編碼器單元10中使用的運(yùn)動向量的候補(bǔ)。
在運(yùn)動向量映射單元7中實(shí)施本處理。
MPEG-2支持交錯信號的壓縮編碼，可以選擇把幀作為編碼單位的幀構(gòu)造編碼、把圖像區(qū)域作為編碼單位的圖像區(qū)域構(gòu)造編碼的2個編碼方式之一。
在幀構(gòu)造編碼中，用幀圖形區(qū)域構(gòu)成由16×16象素組成的宏塊，在圖像區(qū)域構(gòu)造編碼中由圖像區(qū)域構(gòu)成宏塊。因?yàn)閹欢x為把上圖像區(qū)域(構(gòu)成上部線的圖像區(qū)域)、下圖像區(qū)域(構(gòu)成下部線的圖像區(qū)域)組合成梳狀的圖像數(shù)據(jù)，所以圖像區(qū)域構(gòu)造編碼中的宏塊相對于幀圖像區(qū)域中的宏塊，覆蓋垂直方向的區(qū)域?yàn)?倍。
圖4是說明MPEG-2視頻編碼中的運(yùn)動預(yù)測方式的種類的說明圖。
圖4(A)是可以在幀構(gòu)造編碼時使用的運(yùn)動預(yù)測方式，同一圖(B)是可以在圖像區(qū)域構(gòu)造編碼時使用的運(yùn)動預(yù)測方式。在圖4(A)中，幀預(yù)測用1個運(yùn)動向量vfr預(yù)測由幀圖像組成的宏塊。圖像區(qū)域預(yù)測是對由幀圖像組成的宏塊的各自的圖像區(qū)域，用獨(dú)立的運(yùn)動向量vtf以及vbf進(jìn)行預(yù)測。
這時，可以選擇參照的圖像區(qū)域是上圖像區(qū)域，或者下圖像區(qū)域。雙起點(diǎn)預(yù)測用1個圖像區(qū)域向量v，從同一圖像區(qū)域位置生成第1預(yù)測圖像(上圖像區(qū)域的預(yù)測參照上圖像區(qū)域，下圖像區(qū)域的預(yù)測參照下圖像區(qū)域)，同時從另一圖像區(qū)域位置根據(jù)圖像區(qū)域間距離換算向量v，用在其結(jié)果上加算了微小向量dmv后的運(yùn)動向量生成第2預(yù)測圖像，把第1以及第2預(yù)測圖像的加算平均作為各個信息的預(yù)測圖像使用。
在圖4(B)中，圖像區(qū)域預(yù)測用1個運(yùn)動向量vfi預(yù)測由圖像區(qū)域圖像組成的宏塊。16×8預(yù)測把由圖像區(qū)域圖像組成的宏塊分割為上下16×8的2個區(qū)域，并分別用各個運(yùn)動向量vfi，upper以及vfi，lower預(yù)測。雙起點(diǎn)預(yù)測進(jìn)行把幀構(gòu)造編碼的情況下的規(guī)則適用到圖像區(qū)域的預(yù)測。
在運(yùn)動向量映射單元7中，與以上的MPEG-2運(yùn)動預(yù)測方式對應(yīng)，生成用于MPEG-4編碼的運(yùn)動向量。在此實(shí)施例1中，按照以下步驟選定在MPEG-4編碼中利用的運(yùn)動向量。
(2-1)INTER4V方式用運(yùn)動向量候補(bǔ)的選定(步驟ST1)根據(jù)其預(yù)測的性質(zhì)，把被定義為MPEG-2的宏塊的單位的運(yùn)動向量向下?lián)Q算為分辨率轉(zhuǎn)換后的運(yùn)動向量的數(shù)值范圍，唯一地確定與MPEG-2的2×2宏塊的區(qū)域?qū)?yīng)的4個運(yùn)動向量，把這些運(yùn)動向量作為用于MPEG-4的INTER4V方式的運(yùn)動向量候補(bǔ)。
所謂INTER4V方式把由在幀圖像區(qū)域上定義的16×16象素組成的宏塊區(qū)域分割為4個8×8象素塊，是分別用各自的運(yùn)動向量進(jìn)行預(yù)測的方式。與圖3(B)的情況相當(dāng)。關(guān)于本步驟，根據(jù)以下的規(guī)則選定用于INTER4V方式的運(yùn)動向量候補(bǔ)。
○幀構(gòu)造編碼的情況[幀預(yù)測的情況]把在水平方向和垂直方向上將運(yùn)動向量vfr轉(zhuǎn)換為1/2的運(yùn)動向量作為候補(bǔ)。
把在水平方向上將上圖像區(qū)域的運(yùn)動向量vtf轉(zhuǎn)換為1/2的運(yùn)動向量作為候補(bǔ)。
把在水平方向上將用于上圖像區(qū)域的運(yùn)動向量v以及αv+dmv的平均值轉(zhuǎn)換為1/2的運(yùn)動向量作為候補(bǔ)。
○圖像區(qū)域構(gòu)造編碼的情況以下，只抽出在上圖像區(qū)域的預(yù)測中使用的向量。
把將運(yùn)動向量vfi在水平方向上轉(zhuǎn)換為1/2，在垂直方向上轉(zhuǎn)換為1/4的運(yùn)動向量作為候補(bǔ)。
對運(yùn)動向量vfi，upper和vfi，lower進(jìn)行平均，把在水平方向和垂直方向上轉(zhuǎn)換為1/2的運(yùn)動向量作為候補(bǔ)。
把將運(yùn)動向量v以及αv+dmv在水平方向上轉(zhuǎn)換為1/2，在垂直方向上轉(zhuǎn)換為1/4的運(yùn)動向量作為候補(bǔ)。
(2-2)INTER方式對應(yīng)運(yùn)動向量候補(bǔ)的選定(步驟ST2)從上述已確定的4個運(yùn)動向量中，確定用于MPEG-4的INTER方式的運(yùn)動向量。所謂INTER方式是用1個運(yùn)動向量預(yù)測由在幀圖像區(qū)域上定義的16×16象素組成的宏塊區(qū)域的方式。與圖3(A)的情況相當(dāng)。
這可以考慮例如用在B.Shen等，“Adaptive Motion-VectorResampling for Compressed Video Downsampling”，IEEETransactions on Circuits And Systems for Video Technology，vol.9，no.6，Sep.1999中揭示的方法確定。
以上通過(1-1)，(1-2)選定的INTER用、INTER4V用運(yùn)動向量候補(bǔ)作為運(yùn)動向量映射信息11被輸入MPEG-4編碼器單元10。
(3)編碼方式判定因?yàn)楦鶕?jù)上述(2)選定應(yīng)該在MPEG-4的INTER以及INTER4V中利用的運(yùn)動向量的候補(bǔ)，所以作為剩余的編碼方式的可能性，在INTRA方式或者SKIP方式中，選擇編碼效率最好的方式。作為其結(jié)果，確定最終的編碼方式和運(yùn)動向量。在編碼參數(shù)判定單元10B中執(zhí)行此處理。
在此方式判定處理中，作為判定基準(zhǔn)使用以下公式所示的速率失真成本Jm。
(m*,vm*)=argminm∈MJm]]>Jm＝αmEm+λRvm在該公式中，m是編碼方式種類，vm是方式m情況下的運(yùn)動向量，M是方式種類的集合(M＝(INTRA，SKIP，INTER，INTER4V))，αm是根據(jù)方式m確定的常數(shù)，Em是方式m使用時的預(yù)測誤差評價值，Rvm是運(yùn)動向量為vm時的運(yùn)動向量符號量，λ是正的常數(shù)，m*、vm*是本評價的結(jié)果被選定的編碼方式和運(yùn)動向量。進(jìn)而，在此(3)的編碼方式判定時，也可以只基于預(yù)測誤差評價值、運(yùn)動向量編碼量的某一方。
作為Em，涉及SKIP、INTER、INTER4V方式，例如可以用輸入信號9與使用運(yùn)動向量vm從運(yùn)動補(bǔ)償單元10A得到的預(yù)測圖像候補(bǔ)之間的差分絕對值和等定義。進(jìn)而，假設(shè)SKIP的情況下的運(yùn)動向量vm是零，Rvm也是零。為了用同樣的評價式進(jìn)行INTRA方式評價，作為INTRA方式的Em，把輸入信號9中的宏塊內(nèi)的亮度信號平均值當(dāng)作預(yù)測圖像候補(bǔ)，可以使用從輸入信號9中減去它的差分的絕對值和。進(jìn)而，Em的構(gòu)成也可以是不僅亮度信號，還加上色差成分(Cb，Cr成分)定義。
因?yàn)樵诖蠖嗟那闆r下，MPEG-2以及MPEG-4的編碼對象影像的顏色成分采樣比多使用Y∶Cb∶Cr＝4∶2∶0(對于亮度成分16×16象素區(qū)域，是8×8象素區(qū)域的Cb，Cr成分對應(yīng)的情況)，所以其構(gòu)成可以是和上述INTRA方式的亮度成分的事例一樣，例如把Cb、Cr各自的8×8區(qū)域的平均值(DC成分)看作預(yù)測圖像候補(bǔ)，加入從輸入信號9的Cb、Cr各成分中減去該平均值的差分絕對值和。由此，可以不僅評價考慮了亮度圖案的相似度，而還評價考慮了顏色的相似度的運(yùn)動向量，可以抑制因容易引起注意的顏色偏差引起的劣化。
另外，在INTRA方式中，因?yàn)橐环矫孢\(yùn)動向量的符號量Rvm是零，另一方面需要編碼的DCT系數(shù)多，所以可以用權(quán)重αm預(yù)先變更對Em的評價的權(quán)重。由此，可以模擬地進(jìn)行考慮了INTRA方式的DCT系數(shù)編碼量的加算部分的方式判定。
進(jìn)而，對Em的評價的加權(quán)不僅可以是權(quán)重αm的乘算，也可以用偏離值0m的加算實(shí)現(xiàn)。
另外，作為λ值例如可以使用在Gary J.Sullivan and ThomasWiegand，“Rate-Distortion Optimization for Video Compression”，IEEE Signal Processing Magazine，vol.15，no.6，pp.74-90，Nov.1988.中揭示的以下的值。其中，Qp是編碼對象宏塊的量化步驟參數(shù)。
λ=0.85*Qp2]]>在圖2中，為了方便，把m定義為計數(shù)器，用m的循環(huán)處理的形式記述上述處理。當(dāng)根據(jù)從編碼方式推測單元8輸出的編碼方式設(shè)定信息12判斷為有INTER方式的評價價值的情況下，初始化m以及成本評價值min_J，開始處理(步驟ST3)。
經(jīng)過是否是m＝3(INTRA)的判定(步驟ST4)，當(dāng)是INTRA的情況下，計算該宏塊內(nèi)的亮度值的平均值(步驟ST5)。否則，使用根據(jù)運(yùn)動向量映射信息11確定的運(yùn)動向量vm，利用運(yùn)動補(bǔ)償單元10B得到預(yù)測圖像候補(bǔ)(步驟ST6)。在步驟ST5或者步驟ST6的結(jié)果與用輸入信號9表示的編碼對象宏塊的亮度信號之間計算差分絕對值和，把它作為上述Em計算成分Jm(步驟ST7)。在步驟ST8、ST9中，對成為成本最小的方式m進(jìn)行候補(bǔ)更新，在步驟ST10中增加m，在步驟ST11中直至循環(huán)結(jié)束繼續(xù)上述處理。
通過以上的步驟，在步驟ST0中判定為有INTER方式的利用價值的情況下，在MPEG-4編碼中，把可以取得的全部的編碼方式作為對象進(jìn)行最佳方式選擇，并且選定隨之的運(yùn)動向量。
在以往技術(shù)中，雖然揭示了上述(1)所述那樣的運(yùn)動向量的候補(bǔ)選定，但其結(jié)果得到的運(yùn)動向量自身的編碼量成本、直至對MPEG-4編碼的作用都未被評價。特別當(dāng)進(jìn)行低速率的MPEG-4編碼的情況下，難以忽視運(yùn)動向量的編碼量的大小，但通過使用上述判定規(guī)范，可以在INTER、INTER4V的運(yùn)動向量候補(bǔ)中，選擇產(chǎn)生最佳符號量和預(yù)測精度的轉(zhuǎn)換的向量。
另外，由于INTRA、SKIP也用同樣的評價尺度評價，因而在同一判定規(guī)范中可以一并確定應(yīng)該在MPEG-4編碼中使用的運(yùn)動向量和編碼方式。
④.MPEG-4編碼處理以上的結(jié)果，在MPEG-4編碼器10中，以再利用從輸入壓縮數(shù)據(jù)1中抽出的運(yùn)動向量信息、編碼方式信息的形式，輸入運(yùn)動向量映射信息11、編碼方式設(shè)定信息12，在作為分辨率轉(zhuǎn)換后的MPEG-2譯碼圖像的輸入信號9的編碼中使用。這些信息在編碼參數(shù)判定單元10B中，被利用于以MPEG-4的各宏塊為單位在編碼中使用的編碼方式以及運(yùn)動向量的確定。
其結(jié)果，當(dāng)INTER、INTER4V的某一方式的情況下，在運(yùn)動補(bǔ)償單元10A中生成預(yù)測圖像10C，取與輸入信號9的差分生成預(yù)測余差信號，該信號經(jīng)由DCT單元10D、量化單元10E用可變長編碼單元10J排列成MPEG-4視頻流的形式。
在INTRA方式的情況下，輸入信號9自身在被DCT、量化后被可變長編碼。在SKIP方式的情況下，通過只把表示該宏塊是SKIP的標(biāo)志(not_coded)在位流上多路復(fù)用來進(jìn)行編碼。
量化后的預(yù)測余差信號經(jīng)由反量化單元10F、反DCT單元10G返回預(yù)測余差信號譯碼值10H，在和預(yù)測圖像10C加算后，為了在以后的幀的MC中使用而被存儲在幀存儲器10M中。
進(jìn)而，可變長編碼單元10J在其內(nèi)部包含AC、DC成分的預(yù)測處理、用于DCT系數(shù)的掃描寬度編碼的掃描處理。
另外，可變長編碼單元10J的輸出因?yàn)樵诰彌_后被傳送或者記錄，所以編碼控制單元10L實(shí)施基于緩沖占有量10K的編碼控制。在此，主要以按照光柵掃描順序組合多個宏塊的單位、以通過切斷幀內(nèi)的與周邊圖像區(qū)域的依存關(guān)系而在錯誤的早期恢復(fù)中使用的視頻分組和宏塊等的單位，進(jìn)行確定量化步驟參數(shù)(Qp)10N的處理。確定的量化步驟參數(shù)10N在被輸入到量化單元10E、反量化單元10F的同時，還被輸入用于上述λ計算的編碼參數(shù)判定單元10B。
從以上所述可知，如果采用本實(shí)施例1，則因?yàn)橥ㄟ^從MPEG-2影像數(shù)據(jù)到MPEG-4影像數(shù)據(jù)進(jìn)行轉(zhuǎn)換動作的代碼轉(zhuǎn)換器，一邊再利用MPEG-2數(shù)據(jù)中的運(yùn)動向量和編碼方式的信息，一邊確定在MPEG-4編碼中的最佳編碼方式以及運(yùn)動向量，所以可以以少的計算量提高代碼轉(zhuǎn)換影像的品質(zhì)。
特別是在本實(shí)施例1中，因?yàn)楹喕\(yùn)算負(fù)荷大的運(yùn)動向量檢測處理，所以與以往的單純運(yùn)動向量再利用方法相比，可以提高從MPEG-2向MPEG-4的影像代碼轉(zhuǎn)換品質(zhì)。
進(jìn)而，雖然未詳細(xì)敘述，但如果采用本構(gòu)成，則通過使編碼控制單元10L中的量化步驟參數(shù)(Qp)10N的確定處理或者幀和視頻分組、宏塊等的設(shè)定單位與以上③敘述的MPEG-2的運(yùn)動向量、編碼方式信息再利用的方針密切合作，可以進(jìn)一步改善編碼效率。
另外，在以上敘述中，是以MPEG-4簡單配置文件為前提的，但本構(gòu)成的代碼轉(zhuǎn)換器可以適用于MPEG-4高級簡單配置文件或在ITU H.263中記載于Annex F上的支持運(yùn)動預(yù)測選擇的情況等以MPEG-4簡單配置文件為基準(zhǔn)的所有的多方式編碼方式。
實(shí)施例2在本實(shí)施例2中，說明分辨率轉(zhuǎn)換單元6不僅作為空間分辨率轉(zhuǎn)換單元，還具有作為時間分辨率轉(zhuǎn)換單元功能，進(jìn)行由間隔采樣運(yùn)動預(yù)測的影像傳播的P幀產(chǎn)生的時間分辨率(幀速率)的轉(zhuǎn)換的實(shí)施例。進(jìn)而，分辨率轉(zhuǎn)換單元6也可以作為空間分辨率轉(zhuǎn)換單元以及時間分辨率轉(zhuǎn)換單元發(fā)揮功能，當(dāng)然也可以不具有空間分辨率轉(zhuǎn)換單元功能而只具有時間分辨率轉(zhuǎn)換單元功能。
圖5是展示本發(fā)明的實(shí)施例2的影像代碼轉(zhuǎn)換器(影像數(shù)據(jù)轉(zhuǎn)換裝置)的構(gòu)成圖。進(jìn)而，本實(shí)施例2的代碼轉(zhuǎn)換器的構(gòu)成因?yàn)楹蛨D1所示的實(shí)施例1的代碼轉(zhuǎn)換器的內(nèi)部構(gòu)成一樣，而分辨率轉(zhuǎn)換單元6以及運(yùn)動向量映射單元7的動作和上述實(shí)施例1不同，所以詳細(xì)說明和上述實(shí)施例1不同的動作。
以下說明有關(guān)動作。
①.輸入MPEG-2視頻流的譯碼處理和上述實(shí)施例1動作相同。
②.分辨率轉(zhuǎn)換處理MPEG-2譯碼圖像5在分辨率轉(zhuǎn)換單元6中，通過基于規(guī)定的下采樣濾波器的象素間隔采樣，縮小為縱橫1/2的空間分辨率。進(jìn)而，根據(jù)從MPEG-4編碼單元10通知的編碼幀指示信息13，控制對MPEG編碼單元10的輸入信號9的輸入幀速率。
在本實(shí)施例2中，假設(shè)其構(gòu)成不僅是在上述實(shí)施例1中敘述的B幀的間隔采樣處理，還以編碼幀指示信息13的指示順序進(jìn)行P幀的間隔采樣。
編碼幀指示信息13當(dāng)MPEG-4編碼單元10以固定幀速率進(jìn)行編碼的情況下，表示此編碼幀速率值，當(dāng)MPEG-4編碼單元10以可變幀速率進(jìn)行編碼的情況下，表示成為編碼對象的幀的顯示時刻信息，或者來自此前的MPEG-4編碼幀的幀數(shù)偏離信息等。
③.運(yùn)動向量映射以及編碼方式選擇處理以下說明作為此實(shí)施例2的特征點(diǎn)的運(yùn)動向量映射處理以及編碼方式選擇處理。
本處理通過圖5所示的運(yùn)動向量映射單元7、編碼方式推測單元8以及作為MPEG-4編碼單元10的構(gòu)成要素的編碼參數(shù)判定單元10的合作執(zhí)行。
圖6是展示影像代碼轉(zhuǎn)換器中的運(yùn)動向量映射和編碼方式判定處理的流程圖。
MPEG-2譯碼圖像5和MPEG-4編碼單元輸入信號9因?yàn)榭臻g分辨率是縱橫1/2，所以假設(shè)以MPEG-2的2×2個宏塊，即，以MPEG-4的1個宏塊為單位執(zhí)行以下說明的處理步驟(參照圖3)。
1)事前的強(qiáng)制編碼方式判定首先，在編碼方式推測單元8中，調(diào)查圖3所示的MPEG-2的2×2個宏塊內(nèi)的編碼方式的分布狀態(tài)。
圖7是說明編碼方式推測單元8的MPEG-2編碼方式的監(jiān)視動作的說明圖。
如圖7所示，在本實(shí)施例2中根據(jù)編碼幀指示信息13，在此前成為了MPEG-4編碼對象的幀以后，直至成為現(xiàn)在編碼對象的幀之前的幀間隔采樣期間，進(jìn)行MPEG-2編碼方式的監(jiān)視(步驟ST12、ST13)。MPEG-2的4個宏塊全部成為INTRA方式的情況只要有1次，就把在MPEG-4編碼中要使用的轉(zhuǎn)換后的編碼方式強(qiáng)制設(shè)置為INTRA方式。
另一方面，當(dāng)4個宏塊全部變?yōu)镾KIP方式的情況下，在此前成為MPEG-4編碼對象的幀以后，直至成為現(xiàn)在編碼對象的幀之前，在幀間隔采樣期間，對于SKIP始終連續(xù)的情況，將在MPEG-4編碼中要使用的編碼方式強(qiáng)制設(shè)置為SKIP，當(dāng)有SKIP一次也沒有的事例的情況下，則研究INTER方式的可能性。但是，進(jìn)行幀間隔采樣期間的MPEG-2編碼方式的監(jiān)視只對P幀進(jìn)行，I幀仍然作為I幀不進(jìn)行間隔采樣而進(jìn)行MPEG-4編碼，使MPEG-2編碼方式的監(jiān)視復(fù)位(步驟ST14，ST15)。對于強(qiáng)制成為INTRA或者SKIP的情況，運(yùn)動向量全部設(shè)置為0，跳過以后的步驟。
因而，在從編碼方式推測單元8輸出的編碼方式設(shè)定信息12中，有強(qiáng)制INTRA方式、強(qiáng)制SKIP方式或者INTER方式的這3種可能的選擇分支(步驟ST0)。
其結(jié)果，只對被判斷為研究INTER方式的可能性的情況，根據(jù)以下的步驟(2)以后的處理，再次確定在取得的MPEG-4編碼方式中在編碼效率的意義上最佳的方式。
(2)運(yùn)動向量候補(bǔ)的選定在上述(1)中當(dāng)判斷為有INTER方式的利用價值的情況下，如圖8所示根據(jù)編碼幀指示信息13，在此前成為了MPEG-4編碼對象的幀以后，直至成為現(xiàn)在編碼對象的幀之前的幀間隔采樣期間，進(jìn)行MPEG-2運(yùn)動向量的監(jiān)視(步驟ST12、ST13)。根據(jù)監(jiān)視的結(jié)果得到的MPEG-2運(yùn)動向量，確定在MPEG-4編碼單元10中使用的運(yùn)動向量的候補(bǔ)。
在運(yùn)動向量映射單元7中實(shí)施本處理。根據(jù)上述(1)的結(jié)果，在本處理中，原則上作為進(jìn)行幀間隔采樣的期間的MPEG-2的編碼方式考慮SKIP方式或者INTER方式產(chǎn)生的情況。因而，使用以下的規(guī)則。
規(guī)則1通過用下式累計作為幀速率轉(zhuǎn)換的結(jié)果的存在于被間隔采樣的幀的同一空間位置上的宏塊的運(yùn)動向量求得編碼對象宏塊的運(yùn)動向量候補(bǔ)。
vMPEG4=ΣkS(vkMPEG2)]]>在此，vMPEG4是MPEG-4編碼對象宏塊的運(yùn)動向量候補(bǔ)，k是作為幀速率轉(zhuǎn)換結(jié)果的被間隔采樣的幀的計數(shù)器，S(*)是與分辨率一致的運(yùn)動向量的換算，vkMPEG2是與MPEG-4編碼對象宏塊區(qū)域?qū)?yīng)的MPEG-2的運(yùn)動向量。其中，在vMPEG4中有INTER、INTER4V這2種，如在上述實(shí)施例1的2-(2)中所述那樣，首先在求出INTER4V的運(yùn)動向量候補(bǔ)后，確定INTER運(yùn)動向量(步驟ST1，ST2)。
規(guī)則2S(vkMPEG2)考慮隨著交錯編碼的幀、圖像區(qū)域向量的不同，根據(jù)上述實(shí)施例1中的2-(1)的規(guī)則進(jìn)行換算處理。
規(guī)則3在幀計數(shù)器k的某一時刻，當(dāng)產(chǎn)生SKIP方式的情況下，將要累計的運(yùn)動向量vkMPEG2設(shè)為零。
規(guī)則4在I幀中一邊監(jiān)視MPEG-2運(yùn)動向量一邊復(fù)位上述運(yùn)動向量累計(步驟ST14，ST15)。
(3)編碼方式判定根據(jù)上述(2)，因?yàn)檫x定了應(yīng)該在MPEG-4的INTER以及INTER4V中利用的運(yùn)動向量的候補(bǔ)，所以作為剩余的編碼方式的可能性，在INTRA、SKIP中，選擇編碼效率最好的方式(步驟ST3～ST11)。作為其結(jié)果，確定最終的編碼方式和運(yùn)動向量。在編碼參數(shù)判定單元10B中執(zhí)行此處理。以下，編碼參數(shù)判定單元10B中的處理以上述實(shí)施例1的(3)為基礎(chǔ)。但是，在運(yùn)動預(yù)測中使用的參照圖像使用在成為現(xiàn)在的編碼對象前被經(jīng)MPEG-4編碼的幀的局部譯碼圖像。
通過以上的步驟，如果采用本實(shí)施例2，則即使在執(zhí)行伴隨P幀的間隔采樣的時間分辨率的代碼轉(zhuǎn)換(幀速率轉(zhuǎn)換)時，也可以把在MPEG-4編碼中取得的全部的編碼方式作為對象選定最佳的編碼方式以及隨著此編碼方式的運(yùn)動向量。
特別是在本實(shí)施例2中，即使在進(jìn)行P幀間隔采樣的代碼轉(zhuǎn)換器中，因?yàn)楹喕擞嬎阖?fù)荷大的運(yùn)動向量檢測處理，所以與以往的單純運(yùn)動向量再利用方法相比，可以提高從MPEG-2向MPEG-4的影像代碼轉(zhuǎn)換品質(zhì)。
進(jìn)而，在上述中，是以MPEG-4簡單配置文件為前提說明，但本構(gòu)成的代碼轉(zhuǎn)換器也可以適用于MPEG-4高級單純配置文件、ITUH.263中記載于Annex F上的支持運(yùn)動預(yù)測選擇的情況等以MPEG-4單純配置文件為基準(zhǔn)的所有的多方式編碼方式。本發(fā)明可以適用于把MC+DCT影像編碼方式作為對象的所有代碼轉(zhuǎn)換中。
如上所述，本發(fā)明的影像數(shù)據(jù)轉(zhuǎn)換裝置以及影像數(shù)據(jù)轉(zhuǎn)換方法適合于在進(jìn)行基于各種國際標(biāo)準(zhǔn)的影像壓縮·解壓縮方式的視頻壓縮數(shù)據(jù)的各種轉(zhuǎn)換時，需要只以少量的計算量提高轉(zhuǎn)換代碼影像的品質(zhì)的場合。
權(quán)利要求
1.一種影像數(shù)據(jù)轉(zhuǎn)換裝置，是把基于將影像信號的各幀分割為規(guī)定部分區(qū)域，并以此為單位選擇運(yùn)動向量等編碼參數(shù)進(jìn)行編碼的第1影像編碼方式的影像編碼數(shù)據(jù)作為輸入，轉(zhuǎn)換為基于把影像信號的各幀分割為規(guī)定的部分區(qū)域，并以此為單位選擇編碼參數(shù)進(jìn)行編碼的第2影像編碼方式的影像編碼數(shù)據(jù)的影像數(shù)據(jù)轉(zhuǎn)換裝置，其特征在于包括根據(jù)上述第1影像編碼方式中的作為規(guī)定部分區(qū)域單位的編碼參數(shù)的運(yùn)動向量，生成以上述第2影像編碼方式中的規(guī)定部分區(qū)域?yàn)閱挝皇褂玫倪\(yùn)動向量的候補(bǔ)的運(yùn)動向量映射單元；在上述生成的第2影像編碼方式中的運(yùn)動向量的候補(bǔ)中，根據(jù)評價使用了該運(yùn)動向量候補(bǔ)時的預(yù)測效率的預(yù)測誤差評價值、評價由于使用該運(yùn)動向量候補(bǔ)產(chǎn)生的運(yùn)動向量編碼量的值，決定在第2影像編碼方式中使用的運(yùn)動向量的編碼參數(shù)判定單元。
2.根據(jù)權(quán)利要求1所述的影像數(shù)據(jù)轉(zhuǎn)換裝置，其特征在于上述運(yùn)動向量映射單元只生成上述第2影像編碼方式可以得到的運(yùn)動預(yù)測種類的運(yùn)動向量候補(bǔ)。
3.根據(jù)權(quán)利要求1所述的影像數(shù)據(jù)轉(zhuǎn)換裝置，其特征在于還包括根據(jù)上述第1影像編碼方式中的作為規(guī)定部分區(qū)域單位的編碼參數(shù)的編碼方式，推測上述第2影像編碼方式中的規(guī)定部分區(qū)域單位的編碼方式的編碼方式推測單元，其中上述編碼參數(shù)判定單元在決定編碼方式時，選擇是根據(jù)由上述編碼方式推測單元推測的編碼方式強(qiáng)制決定在上述第2影像編碼方式中的規(guī)定部分區(qū)域單位中使用的編碼方式，還是根據(jù)上述預(yù)測誤差評價值和上述運(yùn)動向量編碼量的評價值決定在上述第2影像編碼方式中的規(guī)定部分區(qū)域單位中要使用的編碼方式，判定應(yīng)該在第2影像編碼方式中使用的編碼方式。
4.根據(jù)權(quán)利要求1所述的影像數(shù)據(jù)轉(zhuǎn)換裝置，其特征在于還包括把用上述第1影像編碼方式編碼的影像數(shù)據(jù)的空間分辨率轉(zhuǎn)換為在水平以及垂直方向上各一半的分辨率的空間分辨率轉(zhuǎn)換單元。
5.根據(jù)權(quán)利要求1所述的影像數(shù)據(jù)轉(zhuǎn)換裝置，其特征在于還包括通過對在幀間運(yùn)動預(yù)測中未使用的幀進(jìn)行間隔采樣，來實(shí)現(xiàn)用上述第1影像編碼方式編碼的影像數(shù)據(jù)的時間分辨率的時間分辨率轉(zhuǎn)換單元。
6.根據(jù)權(quán)利要求3所述的影像數(shù)據(jù)轉(zhuǎn)換裝置，其特征在于還包括通過包含用于幀間運(yùn)動預(yù)測的幀地進(jìn)行間隔采樣，來實(shí)現(xiàn)用上述第1影像編碼方式編碼的影像數(shù)據(jù)的時間分辨率的時間分辨率轉(zhuǎn)換單元，其中上述運(yùn)動向量映射單元在對用于幀間運(yùn)動預(yù)測的幀進(jìn)行間隔采樣的情況下，利用被間隔采樣的幀中的運(yùn)動向量，決定需要在第2影像編碼方式中使用的運(yùn)動向量候補(bǔ)，上述編碼方式判定單元在對用于幀間運(yùn)動預(yù)測的幀進(jìn)行間隔采樣的情況下，利用被間隔采樣的幀中的編碼方式，決定應(yīng)該在第2影像編碼方式中使用的編碼方式。
7.根據(jù)權(quán)利要求1所述的影像數(shù)據(jù)轉(zhuǎn)換裝置，其特征在于上述第1影像編碼方式是由ISO/IEC 13818-2規(guī)定的MPEG-2影像編碼方式，上述第2影像編碼方式是由ISO/IEC 14496-2規(guī)定的MPEG-4影像編碼方式。
8.一種影像數(shù)據(jù)轉(zhuǎn)換方法，是把基于將影像信號的各幀分割為規(guī)定部分區(qū)域，并以此為單位選擇一部分的編碼參數(shù)進(jìn)行編碼的第1影像編碼方式的影像編碼數(shù)據(jù)作為輸入，轉(zhuǎn)換為基于把影像信號的各幀分割為規(guī)定的部分區(qū)域，并以此為單位選擇一部分的編碼參數(shù)進(jìn)行編碼的第2影像編碼方式的影像編碼數(shù)據(jù)時的影像數(shù)據(jù)轉(zhuǎn)換方法，其特征在于包括根據(jù)上述第1影像編碼方式中的作為規(guī)定部分區(qū)域單位的編碼參數(shù)的運(yùn)動向量，生成在上述第2影像編碼方式中的規(guī)定部分區(qū)域單位中使用的運(yùn)動向量的候補(bǔ)，在生成的第2影像編碼方式中的運(yùn)動向量的候補(bǔ)中，根據(jù)評價使用了該運(yùn)動向量候補(bǔ)時的預(yù)測效率的預(yù)測誤差評價值、評價由于使用該運(yùn)動向量候補(bǔ)產(chǎn)生的運(yùn)動向量編碼量的值中的至少一方，決定在第2影像編碼方式中使用的運(yùn)動向量。
全文摘要
本發(fā)明的影像數(shù)據(jù)轉(zhuǎn)換裝置在MPEG－2譯碼單元(2)中，可變長譯碼單元(2A)根據(jù)MPEG－2標(biāo)準(zhǔn)進(jìn)行輸入壓縮數(shù)據(jù)(1)的語法解析，生成編碼方式信息(3)、運(yùn)動向量信息(4)以及預(yù)測余差信號(2B)。預(yù)測余差信號(2B)經(jīng)由反量化單元(2C)等成為譯碼圖像(5)，經(jīng)由分辨率轉(zhuǎn)換單元(6)被輸入MPEG－4編碼單元(10)。在MPEG－4編碼單元(10)中，編碼參數(shù)判定單元(10B)根據(jù)評價使用由運(yùn)動向量映射單元(7)生成的運(yùn)動向量候補(bǔ)時的預(yù)測效率的預(yù)測誤差評價值、評價由于使用該運(yùn)動向量候補(bǔ)產(chǎn)生的運(yùn)動向量符號量的值來確定運(yùn)動向量。
文檔編號H04N7/50GK1640149SQ0380558
公開日2005年7月13日 申請日期2003年4月9日 優(yōu)先權(quán)日2002年4月16日
發(fā)明者關(guān)口俊一, 山田悅久, 小川文伸, 淺井光太郎 申請人:三菱電機(jī)株式會社