專利名稱:圖象解碼裝置和圖象編碼裝置的制作方法
技術領域:
本發(fā)明涉及以塊單位把編碼的圖象解碼的圖象解碼裝置,特別是涉及對解碼的塊進行濾波處理的圖象解碼裝置。
背景技術:
在移動圖象的壓縮技術中,作為標準規(guī)格,有ITU(國際電氣通信聯(lián)合電氣通信標準化部門)的H.261、H.263、H.264、ISO(國際標準化機構)的MPEG(Moving Picture Experts Group)-1、MPEG-2、MPEG-4。
在這些移動圖象壓縮方式中,把圖象分割為快,對各塊進行編碼。通過對各塊進行編碼,提高壓縮效率,但是解碼的圖象容易發(fā)生塊變形。在H.264中,為了除去與塊關聯(lián)的噪聲,采用在解碼或畫面間預測中使用的參照圖象中,以塊單位除去噪聲的解塊濾波處理。
圖1是用于說明進行解塊濾波處理的部位的說明圖。
在16×16象素構成的宏模塊中,如圖1所示,對4×4象素構成的塊的邊緣進行H.264的解塊濾波處理。如圖1的(a)的粗實線所示,對于亮度的垂直方向的各邊緣(垂直邊緣),進行解塊濾波處理,并且如圖1的(a)的粗虛線所示,對于色差的一部分的垂直邊緣,進行解塊濾波處理。如圖1(b)的粗實線所示,對亮度的水平方向的各邊緣(水平邊緣),進行解塊濾波處理,并且如圖1(b)的粗虛線所示,對于色差的一部分的水平邊緣,進行解塊濾波處理。
另外,在解塊濾波處理中,使用接著該邊緣的8象素。根據(jù)濾波代碼(disable_deblocking_filter_idc)的值決定是否進行解塊濾波處理。當濾波代碼為0時,對宏模塊的所述各邊緣進行解塊濾波處理。而當濾波代碼為1時,對宏模塊的任意邊緣都不進行解塊濾波處理。另外,濾波代碼為2時,對不在片段邊界的宏模塊的所述各邊緣進行解塊濾波處理。
解塊濾波處理分為各邊緣的濾波強度的計算、濾波處理的有無判定中使用的閾值α、β的計算、濾波處理。
圖2是用于說明濾波強度的計算、閾值的計算、濾波處理的說明圖。
各邊緣的濾波強度如圖2所示,使用包含象素p0的塊的信息、包含象素q0的塊的信息計算。另外,在各邊緣中,使用含象素p0的塊的量子化系數(shù)、包含象素q0的塊的量子化系數(shù)計算各邊緣中濾波處理的有無判定中使用的閾值α、β。對于由4×4象素構成的塊的邊緣,使用夾著該邊緣的8象素進行濾波處理。這樣的濾波處理如圖1所示,以宏模塊單位,按垂直邊緣、水平邊緣的順序進行。這時,在宏模塊的邊緣的濾波處理中,使用位于處理對象的宏模塊的左和上的宏模塊,即已經(jīng)進行解塊濾波處理的宏模塊的象素。因此,在H.264中,從地址小的宏模塊按順序進行解塊濾波處理。這里,地址是從圖象的左上端按照水平掃描的順序分配給各宏模塊的編號。
可是,在所述H.264中,規(guī)定片段組,把圖象劃分為幾個區(qū)域,在其中分配片段,從而構成片段組。片段是在片段組內不重疊,按地址小的順序分配的長度一個以上的宏模塊的組。
圖3A、圖3B和圖3C是片段組的說明圖。
圖中,塊表示宏模塊,其中的編號是該宏模塊所屬的片段組的ID。例如宏模塊MB中所示的數(shù)字“1”表示宏模塊MB所屬的片段組的ID。片段組的類型規(guī)定為7種,用slice_group_map_type表示片段組的類型。
圖3A表示slice_group_map_type為0的片段組,按水平掃描順序連續(xù)的宏模塊作為片段組構成。圖3B表示slice_group_map_type為1的片段組,該片段組中,屬于同一片段組的宏模塊不相鄰。圖3C表示slice_group_map_type為2的片段組,該片段組中,把各片段組劃分為矩形區(qū)域,從上粘貼這些片段組。
片段組的類型規(guī)定片段組的劃分方法,編碼器根據(jù)該規(guī)定分配片段組。另外,片段組的數(shù)量按各輪廓規(guī)定,在基線輪廓中為1~7個,在主輪廓中為1個,在擴展輪廓中為1~7個(例如,參照非專利文獻1)。
上述的片段組分割為包含宏模塊而構成的片段。
圖3D是表示片段組中包含的片段的圖。
例如如圖3D所示,片段組SG包含片段S1、片段S2、片段S3。片段S1由地址0~19的各宏模塊構成,片段S2由地址20~44的各宏模塊構成,片段S3由地址45~64的各宏模塊構成。
在以往的圖象解碼裝置中,按照片段的開始宏模塊的地址小的順序,把各片段解碼。例如圖象編碼裝置如圖3D所示,首先把具有地址0的開始宏模塊的片段S1解碼,接著把具有地址20的開始宏模塊的片段S2解碼,接著把具有地址45的開始宏模塊的片段S3解碼。另外,圖象解碼裝置把一個片段解碼時,從片段的開始宏模塊(圖3D中的斜線表示的宏模塊)按地址小的順序對各宏模塊進行解碼。此外,以下把按片段的開始宏模塊的地址小的順序把各片段解碼的解碼順序即把解碼對象的宏模塊解碼時位于解碼對象宏模塊的左和上的宏模塊(具有比解碼對象宏模塊還小的地址的宏模塊)已經(jīng)解碼的解碼順序稱作地址處理順序。
然后圖象解碼裝置對解碼的宏模塊進行解塊濾波處理。這里,各片段以及宏模塊的解碼的順序成為上述的地址處理順序,所以圖象解碼裝置通過管道處理,進行宏模塊的解碼處理和解塊濾波處理。
圖4是用于說明管道處理的說明圖。
一般在用于特定處理的專用硬件中,常常分擔處理內容,構成管道,進行并行處理。管道處理是依次同時進行不同的作業(yè),不無用地等待進行處理的單元,一個接一個地執(zhí)行,從而實現(xiàn)高速化的手法。
管道處理如圖4所示,由前處理和后處理構成。按數(shù)據(jù)1、數(shù)據(jù)2、數(shù)據(jù)3的順序處理各數(shù)據(jù)。首先,對數(shù)據(jù)1進行前處理,接著同時進行對數(shù)據(jù)1的后處理、對數(shù)據(jù)2的前處理。通過采用這樣的結構,與對數(shù)據(jù)1、數(shù)據(jù)2、數(shù)據(jù)3進行前處理后,對這些數(shù)據(jù)進行后處理時相比,能縮短處理時間,能實現(xiàn)高速化。此外,在數(shù)據(jù)1的后處理中,使用數(shù)據(jù)2的前處理的結果時,無法并行處理數(shù)據(jù)1的后處理和數(shù)據(jù)2的前處理,當然變不成管道。
這里,所述以往的圖象解碼裝置把上述的前處理作為對宏模塊的解碼處理進行,把上述的后處理作為對宏模塊的解塊濾波處理進行。
在以往的圖象解碼裝置中,各片段和宏模塊的解碼順序總為地址處理順序,所以通過管道處理進行宏模塊的解碼處理和解塊濾波處理,實現(xiàn)處理速度的高速化。
非專利文獻1H.264 MPEG-4AVC規(guī)格書 可是,有時各片段的解碼順序不是地址處理順序。
在所述的H.264中,規(guī)定表示片段的解碼順序并不局限于變?yōu)榈刂诽幚眄樞虻腶rbitrary slice order。該arbitrary slice order的使用在主輪廓中進行,在基線輪廓和擴展輪廓中允許。在允許arbitrary slice order時,并不局限于按片段的開始宏模塊的地址小的順序把各片段解碼,有可能從宏模塊的開始地址比其他片段大的片段解碼。
這時,即使對于位于片段邊界的宏模塊要進行解塊濾波處理,有時對于位于處理對象的宏模塊的左和上的宏模塊還未進行解碼處理和解塊濾波處理。
因此,如果假定允許arbitrary slice order,圖象解碼裝置按各宏模塊把圖象中包含的全部片段解碼,構成解碼的一個圖象后,有必要對各宏模塊進行解塊濾波處理。即允許arbitrary slice order時,圖象解碼裝置無法通過管道處理進行解碼處理和解塊濾波處理。
圖5是表示與所述的H.264的arbitrary slice order對應的圖象解碼裝置的結構的框圖。
該圖象解碼裝置800把編碼信號解碼,具有可變長解碼部801、逆量子化部802、逆正交變換部803、存儲器804、面內預測部805、加法部806、開關807、幀存儲器808、解塊濾波處理部809、幀存儲器810、移動補償部811。
在這樣構成的圖象解碼裝置800中,在把I圖象的編碼信號解碼的內部模式時,編碼信號由可變長解碼部801解碼為量子化值,由逆量子化部802解碼為頻率成分,由逆正交變換部803解碼為預測誤差。另外,使用存儲器804中存儲的左宏模塊、上宏模塊、左上宏模塊、右上宏模塊的象素,在面內預測部805生成預測圖象,由加法部806把預測誤差和預測圖象相加。結果,生成解碼的宏模塊即再構成圖象。這里,在內部模式時,開關807連接面內預測部805和加法部806。再構成圖象存儲到存儲器804,并且存儲到幀存儲器808中。而且,圖象中包含的全部宏模塊的再構成圖象存儲到幀存儲器808后,解塊濾波處理部809從圖象的左上端宏模塊的再構成圖象按照地址順序,對各再構成圖象進行除去塊變形的解塊濾波處理,把處理完畢的再構成圖象存儲到幀存儲器810中。存儲在幀存儲器810中的進行了解塊濾波處理的圖象作為解碼圖象信號對監(jiān)視器輸出。
另外,把P圖象和B圖象的編碼信號解碼的之間模式時,編碼信號由可變長解碼部801解碼為量子化值,由逆量子化部802解碼為頻率成分,由逆正交變換部803解碼為移動補償誤差。而由移動補償部811生成移動補償圖象,由加法部806把移動補償誤差和移動補償圖象相加。結果,生成解碼的宏模塊即再構成圖象。這里,在之間模式時,開關807連接移動補償部811和加法部806。再構成圖象存儲到存儲器804,并且存儲到幀存儲器808中。而且,圖象中包含的全部宏模塊的再構成圖象存儲到幀存儲器808后,解塊濾波處理部809從圖象的左上端宏模塊的再構成圖象按照地址順序,對各再構成圖象進行除去塊變形的解塊濾波處理,把處理完畢的再構成圖象存儲到幀存儲器810中。存儲在幀存儲器810中的進行了解塊濾波處理的圖象作為解碼圖象信號對監(jiān)視器輸出。
這里,解塊濾波處理部809在濾波代碼為1時,對再構成圖象不進行任何處理,把再構成圖象存儲到幀存儲器810中。
圖6是表示圖象解碼裝置800的處理流程的程序流程圖。
首先,圖象解碼裝置800通過對編碼信號表示的圖象的編碼的全部宏模塊進行解碼處理,把編碼的全部宏模塊分別解碼為再構成圖象(循環(huán)1的步驟S822)。然后全部宏模塊解碼為再構成圖象后,圖象解碼裝置800對循環(huán)1中解碼的全部再構成圖象進行解塊濾波處理(循環(huán)2的步驟S824)。即圖象解碼裝置800對圖象以宏模塊單位進行解塊濾波處理。
圖7是表示與H.264的arbitrary slice order對應的圖象編碼裝置的結構的框圖。
該圖象編碼裝置900把輸入圖象信號編碼,具有存儲器901、面內預測部902、減法部903、開關904、正交變換部905、量子化部906、可變長編碼部907、逆量子化部908、逆正交變換部909、加法部910、幀存儲器911、解塊濾波處理部912、幀存儲器913、移動檢測部914、移動補償部915。
這樣構成的圖象編碼裝置900按各宏模塊處理輸入圖象信號表示的圖象。在把輸入圖象信號表示的圖象作為I圖象編碼的內部模式(內部預測)時,使用存儲器901中存儲的左宏模塊、上宏模塊、左上宏模塊、右上宏模塊的再構成圖象,由面內預測部902生成預測圖象,由減法部903輸出輸入圖象信號的宏模塊的圖象和預測圖象的差分即預測誤差。這里,開關904在內部模式時連接面內預測部902和減法部903。由正交變換部905把預測誤差變換為頻率成分,由基于量子化部906的量子化壓縮編碼為量子化值。對量子化值通過可變長編碼部907進行編碼,編碼的結果成為輸出。另外,基于量子化部906的量子化值由逆量子化部908解碼為頻率成分,由逆正交變換部909解碼為預測誤差。預測誤差由加法部910與預測圖象相加。結果,生成解碼的宏模塊即再構成圖象,存儲在存儲器901中。另外,把再構成圖象也存儲在幀存儲器911中。而且,把圖象中包含的全部宏模塊的再構成圖象存儲到幀存儲器911中后,解塊濾波處理部912從圖象的左上端宏模塊的再構成圖象按順序對各再構成圖象進行除去塊變形的解塊濾波處理,把處理完畢的再構成圖象存儲到幀存儲器913中。
另外,在把輸入圖象信號表示的圖象作為P圖象或B圖象編碼的之間模式(面間預測)時,由移動檢測部914生成移動向量,由移動補償部915生成預測圖象,由減法部903計算減法部903宏模塊的圖象和預測圖象的差分即移動補償誤差。這里,在之間模式時,開關904連接移動補償部915和減法部903。此外,移動檢測部914從幀存儲器913中存儲的解碼圖象查找與編碼對象宏模塊的圖象相比,差分最小的圖象區(qū)。即移動檢測部914在P圖象時,從前方的參照圖象查找所述圖象區(qū),在B圖象時,從前方和后方的雙方向參照圖象查找所述圖象區(qū)。然后,移動檢測部914把查找的圖象區(qū)和輸入圖象信號的編碼對象宏模塊之間的移動量作為移動向量計算,輸出移動向量。移動檢測部914輸出表示參照的圖象位于編碼對象圖象的前方、位于后方、或位于雙方向的宏模塊的預測類型。移動補償部915從由移動檢測部914輸出的移動向量和預測類型計算預測圖象,輸出。
從減法部903輸出的移動補償誤差由正交變換部905變換為頻率成分,由基于量子化部906的量子化壓縮編碼為量子化值。對量子化值,由可變長編碼部907進行編碼,編碼的結果成為輸出。另外,基于量子化部906的量子化值由逆量子化部908解碼為頻率成分,由逆正交變換部909解碼為移動補償誤差,由加法部910與預測圖象相加。結果,生成解碼的宏模塊即再構成圖象,存儲在存儲器901中。另外,把再構成圖象也存儲在幀存儲器911中。而且,把圖象中包含的全部宏模塊的再構成圖象存儲到幀存儲器911中后,解塊濾波處理部912從圖象的左上端宏模塊的再構成圖象按順序對各再構成圖象進行除去塊變形的解塊濾波處理,把處理完畢的再構成圖象存儲到幀存儲器913中。
這里,解塊濾波處理部912在濾波代碼為1時,對再構成圖象不進行任何處理,把再構成圖象存儲到幀存儲器913中。
圖5所示的圖象解碼裝置以及圖7所示的圖象編碼裝置900在解碼順序不是地址處理順序時,也能進行解塊濾波處理。
可是,在圖5所示的圖象解碼裝置以及圖7所示的圖象編碼裝置900中,解碼的順序是地址處理順序時,在進行解塊濾波處理之前,對圖象中包含的全部宏模塊進行解碼處理,把解碼的宏模塊(再構成圖象)全部存儲到存儲器中,所以具有處理速度變慢的問題。
存儲再構成圖象的存儲器是外部存儲器,在解碼處理以外的其他處理中也使用該外部存儲器時,如上所述,如果把全部再構成圖象存儲到外部存儲器中,則外部存儲器中存儲的數(shù)據(jù)量多,所以解碼處理全體的數(shù)據(jù)傳送的比例提高,分配給其他處理的時間減少。因此,連接圖象解碼裝置和外部存儲器的總線的總線寬度小時,或者圖象解碼裝置的處理能力低時,全部解碼處理超過給定時間(為了處理1幀能使用的時間)的事態(tài)發(fā)生,無法進行順利的圖象解碼。
另外,在進行解塊濾波處理之前,把全部再構成圖象存儲到存儲器中,所以無法以宏模塊單位,通過管道處理(并行處理)進行解碼處理(再構成圖象之前的處理)和解塊濾波處理。另外,使用解塊濾波處理的圖象,把下一圖象編碼或解碼,在圖象單位中,無法通過管道處理(并行處理)進行解碼處理(再構成圖象之前的處理)和解塊濾波處理。
發(fā)明內容
因此,本發(fā)明是為了解決有關的問題而提出的,其目的在于,提供在變更各塊的解碼的順序時,也能除去塊變形,并且能抑制處理速度的下降的圖象解碼裝置和圖象編碼裝置。
為了實現(xiàn)所述的目的,本發(fā)明的圖象解碼裝置以塊單位把編碼的圖象解碼,其特征在于,包括把構成編碼的圖象的各塊依次解碼的解碼部件;用于存儲由所述解碼部件解碼的各塊的存儲部件;對由所述解碼部件解碼的各塊進行濾波處理的濾波部件;把由所述解碼部件每次把塊解碼時解碼的所述塊存儲到存儲部件中,并且使所述濾波部件對所述存儲部件中存儲的塊進行濾波處理的第一執(zhí)行部件;對于由所述解碼部件每次把塊解碼時解碼的所述塊,使所述濾波部件進行濾波處理的第二執(zhí)行部件;切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作的切換控制部件。具體而言,所述切換控制部件按照由所述解碼部件依次解碼的各塊的順序,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。例如,所述切換控制部件在由所述解碼部件依次解碼的各塊的順序為從位于所述圖象的邊上的塊連續(xù)解碼的規(guī)定順序時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作,當由所述解碼部件依次解碼的各塊的順序不是所述規(guī)定順序時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
據(jù)此,由所述解碼部件依次解碼的各塊的順序為從位于所述圖象的邊上的塊連續(xù)解碼的規(guī)定順序即地址解碼順序時,例如由開關構成的第二執(zhí)行部件在每次由解碼部件解碼時,就使濾波部件對該塊執(zhí)行濾波處理。結果,通過管道處理能進行解碼處理和濾波處理,與把解碼的各塊存儲到存儲部件中后,對該塊進行濾波處理時相比,能提高處理速度。此外這時,沒必要在存儲部件中存儲塊,所以能抑制對存儲部件的數(shù)據(jù)傳送量,能順利進行全體的處理。另外,由解碼部件依次解碼的各塊的順序不是規(guī)定順序即不是地址解碼順序時,例如由開關構成的第一執(zhí)行部件在由解碼部件每次把塊解碼時,把該塊存儲到存儲部件中,并且使濾波部件對存儲部件中存儲的塊進行濾波處理。結果,依次解碼的各塊的順序不是地址解碼順序時,濾波部件對塊也能進行濾波處理。在本發(fā)明中,即使變更各塊的解碼的順序時,也能除去塊變形,并且能抑制處理速度的下降。
另外,所述切換控制部件的特征在于按照由所述解碼部件在單位時間內應該解碼的塊數(shù),切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。所述切換控制部件在由所述解碼部件在單位時間內應該解碼的塊數(shù)比給定值多時,進行基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作,當所述塊數(shù)為所述給定值以下時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
根據(jù)主輪廓或基線輪廓等輪廓,在單位時間內應該解碼的塊數(shù)不同,根據(jù)該數(shù)量,能判別依次解碼的各塊的順序是規(guī)定順序,還是該順序有可能不是規(guī)定順序。因此,象本發(fā)明那樣,按照塊數(shù)切換基于第一執(zhí)行部件的動作和基于第二執(zhí)行部件的動作,也能取得與上述同樣的效果。即在變更各塊的解碼順序時,能除去塊變形,并且能抑制處理速度的下降。
另外,所述切換控制部件的特征在于由所述解碼部件依次解碼的各塊的順序不是從位于所述圖象的邊上的塊連續(xù)解碼的規(guī)定順序時,根據(jù)表示成為所述濾波處理的對象的所述各塊的部位的濾波信息,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
據(jù)此,依次解碼的各塊的順序即使不是規(guī)定順序,當濾波信息disable_deblocking_filter_idc的值為2時,即片段邊界從濾波處理的對象偏離時,圖象中包含的多個片段無論以怎樣的順序解碼,切換控制部件執(zhí)行基于第二執(zhí)行部件的動作,就能通過管道處理,進行解碼處理和濾波處理,能提高處理速度。
另外,所述切換控制部件的特征在于按照多個所述編碼的圖象構成的編碼信號的種類,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。例如所述切換控制部件根據(jù)所述編碼信號的種類,當判斷為應該從位于所述圖象的邊上的塊把各塊連續(xù)解碼時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作,當不能得出所述判斷時,進行基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
根據(jù)編碼信號表示的主輪廓和基線輪廓等輪廓,有時能判斷為應該從位于所述圖象的邊上的塊把各塊連續(xù)解碼。因此,象本發(fā)明那樣,按照編碼信號的種類,即輪廓,切換基于第一執(zhí)行部件的動作和基于第二執(zhí)行部件的動作,也能取得與上述同樣的效果。即變更各塊的解碼順序時,能除去塊變形,并且能抑制處理速度的下降。
另外,所述切換控制部件的特征在于取得表示是否應該從位于所述圖象的邊上的塊把各塊連續(xù)解碼的外部信號,當所述外部信號表示應該連續(xù)解碼時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作,當所述外部信號表示不應該連續(xù)解碼時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
當允許arbitrary slice order時,并不一定從位于所述圖象的邊上的片段把各片段連續(xù)解碼。因此,象本發(fā)明那樣,按照表示是否允許arbitrary sliceorder的外部信號,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作,也能取得與上述同樣的效果。即變更各塊的解碼順序時,能除去塊變形,并且能抑制處理速度的下降。
此外,本發(fā)明不僅能作為這樣的圖象解碼裝置實現(xiàn),還能作為包含與圖象解碼裝置同樣的結構的圖象編碼裝置、基于它們的處理方法、程序、存儲該程序的存儲媒體、集成電路實現(xiàn)。
本發(fā)明的圖象解碼裝置在變更各塊的解碼順序時,能除去塊變形,并且能抑制處理速度的下降。
圖1是用于說明進行解塊濾波處理的部位的說明圖。
圖2是用于說明濾波強度的計算、閾值的計算、濾波處理的說明圖。
圖3A是片段組的說明圖。
圖3B是其他片段組的說明圖。
圖3C是其他片段組的說明圖。
圖3D是表示片段組中包含的片段的圖。
圖4是用于說明管道處理的說明圖。
圖5是表示與H.264的arbitrary slice order對應的圖象解碼裝置的結構的框圖。
圖6是表示圖象解碼裝置的處理流程的程序流程圖。
圖7是表示與H.264的arbitrary slice order對應的圖象編碼裝置的結構的框圖。
圖8是表示本發(fā)明實施例1的圖象解碼裝置的結構的框圖。
圖9是表示圖象解碼裝置的處理流程的程序流程圖。
圖10是表示變形例的圖象解碼裝置的處理流程的程序流程圖。
圖11是表示對各圖象判別濾波代碼的值的圖象解碼裝置的處理流程的程序流程圖。
圖12是表示本發(fā)明實施例2的圖象編碼裝置的結構的框圖。
圖13是表示圖象編碼裝置的處理流程的程序流程圖。
圖14是表示變形例的圖象編碼裝置的處理流程的程序流程圖。
圖15是表示對各圖象判別濾波代碼的值的圖象編碼裝置的處理流程的程序流程圖。
圖16是表示本發(fā)明實施例2的變形例2的圖象編碼裝置的處理流程的程序流程圖。
圖17A是用于存儲由計算機系統(tǒng)實現(xiàn)本發(fā)明的圖象解碼裝置以及圖象編碼裝置的程序的記錄媒體的說明圖(實施例3)。
圖17B是用于存儲由計算機系統(tǒng)實現(xiàn)本發(fā)明的圖象解碼方法以及圖象編碼方法的程序的記錄媒體的其他說明圖(實施例3)。
圖17C是用于存儲由計算機系統(tǒng)實現(xiàn)本發(fā)明的圖象解碼方法以及圖象編碼方法的程序的記錄媒體的其他說明圖(實施例3)。
圖18是表示本發(fā)明實施例4的實現(xiàn)內容發(fā)送服務的內容供給系統(tǒng)的全體結構的框圖。
圖19是表示使用圖象編碼裝置和圖象解碼裝置的移動電話的圖。
圖20是移動電話的框圖。
圖21是表示數(shù)字廣播用系統(tǒng)的例子的圖。
符號的說明。
100-圖象解碼裝置;101-控制部;102、120-幀存儲器;103、104、117-開關;111-可變長解碼部;112-逆量子化部;113-逆正交變換部;114-存儲器;115-面內預測部;116-加法部;119-解塊濾波處理部;120-幀存儲器;121-移動補償部;200-圖象編碼裝置;201-控制部;202、223-幀存儲器;203、204、214-開關;205-設定部;211-存儲器;212-面內預測部;213-減法部;215-直流變換部;216-量子化部;217-可變長編碼部;218-逆量子化部;219-逆正交變換部;220-加法部;222-解塊濾波處理部;224-移動檢測部;225-移動補償部。
具體實施例方式下面參照
本發(fā)明實施例。
(實施例1)圖8是表示本發(fā)明實施例1的圖象解碼裝置100的結構的框圖。
圖象解碼裝置100是在變更以塊單位進行的解碼的順序時,也能除去塊變形,并且能抑制處理速度的下降,具有可變長解碼部111、逆量子化部112、逆正交變換部113、存儲器114、面內預測部115、加法部116、開關117、解塊濾波處理部119、幀存儲器120、控制部101、幀存儲器102、開關103、開關104。
可變長解碼部111按編碼信號表示的圖象的各宏模塊,對該宏模塊進行可變長解碼處理,把處理結果的量子化值對逆量子化部112輸出。
這里,可變長解碼部111取得表示片段或宏模塊的解碼順序的順序通知信息,根據(jù)順序通知信息表示的順序,進行對各宏模塊的可變長解碼處理。順序通知信息表示解碼的順序是地址處理順序或解碼的順序是任意的。以下把任意的解碼的順序稱作不定順序。
可變長解碼部111在順序通知信息表示地址處理順序時,對碼信號表示的編碼圖象的各片段,進行按片段的開始宏模塊的地址小的順序的可變長解碼處理。然后可變長解碼部111在各片段內,片段的開始宏模塊按地址小的順序進行對各宏模塊的可變長解碼處理。而當順序通知信息表示不定順序時,可變長解碼部111按照給定的規(guī)定,用與上述的地址處理順同樣的順序、或與地址處理順不同的順序,對各宏模塊進行可變長解碼處理。
逆量子化部112對從可變長解碼部111輸出的量子化值進行逆量子化,把量子化值變換為頻率成分。
逆正交變換部113在編碼對象圖象為I圖象的內部模式中,把從逆量子化部112輸出的頻率成分變換為圖象數(shù)據(jù)的預測誤差,在編碼對象圖象為P圖象或B圖象的之間模式中,把頻率成分變換為圖象數(shù)據(jù)的移動補償誤差。
開關117在內部模式中把面內預測部115與加法部116連接,在之間模式中,把移動補償部121與加法部116連接。
加法部116在內部模式中把從面內預測部115輸出的預測圖象與預測誤差相加,從而把編碼信號表示的編碼的宏模塊解碼為再構成圖象。另外,加法部116在之間模式中,把從移動補償部121輸出的移動補償圖象與移動補償誤差相加,從而把編碼信號表示的編碼的宏模塊解碼為再構成圖象。
存儲器114存儲從加法部116輸出的再構成圖象。
面內預測部115從存儲器114中存儲的多個再構成圖象取出對于解碼對象宏模塊,位于左的宏模塊、位于上的宏模塊、位于左上的宏模塊、位于右上的宏模塊各自再構成圖象。然后面內預測部115使用這些再構成圖象生成解碼對象宏模塊的預測圖象。
控制部101取得上述的順序通知信息,根據(jù)順序通知信息,控制開關103和開關104。
控制部101在順序通知信息表示地址處理順序時,控制開關103和開關104,直接把加法部116和解塊濾波處理部119連接。而當順序通知信息表示不定順序時,控制部101首先控制開關103,使幀存儲器102與加法部116連接。連接在加法部116上的幀存儲器102逐次積蓄從加法部116輸出的再構成圖象。然后,如果在幀存儲器102中存儲1圖象的全部再構成圖象,控制部101就控制開關104,使幀存儲器102與解塊濾波處理部119連接。
解塊濾波處理部119如果由開關103和開關104與加法部116連接,就在加法部116每次輸出再構成圖象時,對該再構成圖象進行解塊濾波處理。另外,解塊濾波處理部119如果由開關104與幀存儲器102連接,就對幀存儲器102中存儲的1圖象的全部再構成圖象,從圖象的左上端的宏模塊按地址小的順序進行解塊濾波處理。
然后,解塊濾波處理部119把解塊濾波處理的再構成圖象依次存儲到幀存儲器120中。據(jù)此,在幀存儲器120中,把1圖象的再構成圖象作為解碼圖象存儲。另外,把解碼圖象作為解碼圖象信號對監(jiān)視器等輸出。
此外,解塊濾波處理部119對處理對象的再構成圖象(宏模塊)進行解塊濾波處理時,從幀存儲器120取得位于該再構成圖象的左和上的已經(jīng)解塊濾波處理的再構成圖象,使用取得的再構成圖象。
移動補償部121把幀存儲器120中存儲的解碼圖象作為參照圖象取得,取得移動向量。然后移動補償部121把參照圖象中由移動向量表示的圖象區(qū)作為解碼對象宏模塊的移動補償圖象生成,輸出該移動補償圖象。
本實施例的圖象解碼裝置100在順序通知信息表示地址處理順序時,對各宏模塊,通過管道處理進行解碼處理(生成再構成圖象的之前的處理)和解塊濾波處理。然后,當順序通知信息表示不定順序時,圖象解碼裝置100對各宏模塊進行解碼處理,1圖象的再構成圖象存儲到幀存儲器102中后,進行解塊濾波處理。
這里,作為上述的順序通知信息,使用例如H.264中的輪廓信息。
在編碼信號中包含的輪廓信息表示基線輪廓或擴展輪廓時,該輪廓信息表示逐次解碼的宏模塊的順序是不定順序。另外,當輪廓信息表示主輪廓時,該輪廓信息表示逐次解碼的宏模塊的順序是地址處理順序。
在基線輪廓和擴展輪廓中,逐次解碼的宏模塊的順序是不定順序的理由中,不僅是允許arbitrary slice order的理由,還有能在1~7個的范圍中設定片段組的數(shù)的理由。即片段組的數(shù)為多個時,如圖3B所示,對于解碼對象宏模塊,左相鄰和上相鄰的宏模塊由時分別與解碼對象宏模塊屬于不同片段組。這時,在解碼對象宏模塊的解碼時,位于左相鄰和上相鄰的宏模塊有可能不解碼,所以逐次解碼的宏模塊的順序變?yōu)椴欢樞颉?br>
圖9是表示本實施例的圖象解碼裝置100的處理流程的程序流程圖。
圖象解碼裝置100首先對解碼對象圖象判別順序通知信息是否表示地址處理順序(步驟S100)。當判別為表示地址處理順序時(步驟S100的Y),圖象解碼裝置100對解碼對象的各宏模塊,按地址處理順序進行解碼處理(步驟S102),對解碼的宏模塊(再構成圖象)進行解塊濾波處理(步驟S104)。即圖象解碼裝置100通過管道處理進行步驟S102的解碼處理和步驟S104的解塊濾波處理,對解碼對象圖象的全部宏模塊重復進行這些處理(循環(huán)2)。
而判別為順序通知信息不表示地址處理順序,即表示不定順序時(步驟S100的N),圖象解碼裝置100以給定的順序對解碼對象的各宏模塊進行解碼處理(步驟S106),把解碼的宏模塊(再構成圖象)逐次存儲到幀存儲器102中(步驟S108)。圖象解碼裝置100對解碼對象圖象的全部宏模塊重復進行步驟S106的解碼處理和步驟S108的存儲處理(循環(huán)3)。然后,圖象解碼裝置100對幀存儲器102中存儲的1圖象的各再構成圖象,從圖象的左上端的再構成圖象按地址小的順序進行解塊濾波處理(步驟S110)。
圖象解碼裝置100對編碼信號的全部編碼的圖象進行步驟S100~S110的處理(循環(huán)1)。
根據(jù)本實施例,在多個禁止片段組和arbitrary slice order的主輪廓中,保證依次解碼的宏模塊的順序是按地址小的順序(地址解碼順序),所以即使全部宏模塊不作為再構成圖象解碼,對于逐次解碼為再構成圖象的濾波處理前的宏模塊,也能實施解塊濾波處理。因此,能降低解碼處理全體的數(shù)據(jù)傳送的比例。另外,對逐次解碼的再構成圖象進行的解塊濾波處理能與生成再構成圖象之前的處理(解碼處理)并列處理。據(jù)此,能提高處理速度。
另外,在允許多個片段組和arbitrary slice order的基線輪廓中,不保證依次解碼的宏模塊的順序是地址解碼順序。在本實施例中,在這樣的基線輪廓中,通過在幀存儲器102中逐次存儲再構成圖象,對各再構成圖象能進行解塊濾波處理。
(變形例)這里,說明所述的實施例1的變形例。
所述實施例的圖象解碼裝置100只根據(jù)順序通知信息,判別是否通過管道處理進行解碼處理和解塊濾波處理,但是本變形例的圖象解碼裝置根據(jù)順序通知信息和濾波代碼(disable_deblocking_filter_idc),判別。
本變形例的圖象解碼裝置在順序通知信息表示地址處理順序時,進行與所述實施例同樣的處理,但是在地址處理順序表示不定順序時,進行與濾波代碼的值對應的處理。
具體而言,本變形例的圖象解碼裝置在濾波代碼為0時,進行與所述的實施例中順序通知信息表示不定順序是同樣的處理。即圖象解碼裝置的控制部通過控制開關103,把幀存儲器102與加法部116連接,把1圖象的再構成圖象存儲到幀存儲器102。然后,控制部通過控制開關104,把幀存儲器102與解塊濾波處理部119連接。結果,解塊濾波處理部119對幀存儲器102中存儲的再構成圖象進行解塊濾波處理。據(jù)此,在濾波代碼為0時,對全部宏模塊(再構成圖象)的邊緣進行解塊濾波處理。
在濾波代碼為1時,本變形例的圖象解碼裝置的控制部通過控制開關103和開關104,直接連接加法部116和解塊濾波處理部119。然后,控制部對解塊濾波處理部119禁止解塊濾波處理。結果,從加法部116輸出的再構成圖象通過開關103和開關104,通過解塊濾波處理部119,存儲到幀存儲器120。據(jù)此,在濾波代碼為1時,對全部宏模塊(再構成圖象)邊緣,不進行解塊濾波處理。
在濾波代碼為2時,本變形例的圖象解碼裝置的控制部與上述同樣,通過控制開關103和開關104,直接連接加法部116和解塊濾波處理部119。然后,控制部使解塊濾波處理部119進行對片段邊界的解塊濾波處理。結果,解塊濾波處理部119對從加法部116輸出的位于片段邊界的再構成圖象(宏模塊)中除了片段邊界的邊緣(例如位于再構成圖象的內部的4×4象素構成的塊的邊緣)進行解塊濾波處理。另外,解塊濾波處理部119對從法部116輸出的不在片段邊界的再構成圖象的全部邊緣即圖1所示的各垂直邊緣和水平邊緣進行解塊濾波處理。
據(jù)此,在濾波代碼為2時,對各宏模塊(再構成圖象)通過管道處理進行解碼處理和解塊濾波處理。
圖10是表示本變形例的圖象解碼裝置的處理流程的程序流程圖。
本變形例的圖象解碼裝置首先對解碼對象圖象,判別順序通知信息是否表示地址處理順序(步驟S200)。當判別為表示地址處理順序時(步驟S200的Y),圖象解碼裝置對解碼對象的各宏模塊,按地址處理順序進行解碼處理(步驟S202),對解碼的宏模塊(再構成圖象)進行解塊濾波處理(步驟S204)。即圖象解碼裝置通過管道處理進行步驟S202的解碼處理和步驟S204的解塊濾波處理,對解碼對象圖象的全部宏模塊重復進行這些處理(循環(huán)2)。
而順序通知信息不表示地址處理順序時(步驟S200的N),對各片段判別濾波代碼的值是0,還是1,還是2(步驟S206)。這里,當判別為濾波代碼的值是0時,圖象解碼裝置以給定的順序對解碼對象的各宏模塊進行解碼處理(步驟S208),把解碼的宏模塊(再構成圖象)逐次存儲到幀存儲器102中(步驟S210)。圖象解碼裝置對片段內的全部宏模塊重復進行步驟S208的解碼處理和步驟S210的存儲處理(循環(huán)4)。
另外,當在步驟S206中判別為濾波代碼的值是1時,圖象解碼裝置以給定的順序對解碼對象的各宏模塊進行解碼處理(步驟S214)。圖象解碼裝置對片段內的全部宏模塊重復進行步驟S214的解碼處理(循環(huán)5)。
另外,當在步驟S206中判別為濾波代碼的值是2時,圖象解碼裝置對解碼對象的各宏模塊進行解碼處理(步驟S216),判別該宏模塊是否為位于片段邊界的塊(步驟S218)。然后圖象解碼裝置在判別為位于片段邊界的塊(步驟S218的Y)時,對除去解碼的宏模塊(再構成圖象)的段落邊界的邊緣進行解塊濾波處理(步驟S219),當判別為不是位于片段邊界的塊時(步驟S218的N),對解碼的宏模塊(再構成圖象)的全部邊緣進行解塊濾波處理(步驟S220)。即圖象解碼裝置通過管道處理進行步驟S216的解碼處理和步驟S219、S220的解塊濾波處理。圖象解碼裝置對段落內的全部宏模塊重復進行步驟S216~S220的處理(循環(huán)6)。
圖象解碼裝置對解碼對象圖象中包含的全部片段進行步驟S206~S220的處理(循環(huán)3),對步驟S210中存儲到幀存儲器102中的各再構成圖象,按地址小的順序進行解塊濾波處理(步驟S222)。而且,圖象解碼裝置對編碼信號表示的編碼的圖象進行步驟S200~S222的處理(循環(huán)1)。
此外,在上述中,圖象解碼裝置對各片段判定濾波代碼的值,但是可以對各圖象判定濾波代碼的值。
圖11是表示對各圖象判別濾波代碼的值的圖象解碼裝置的處理流程的程序流程圖。
圖象解碼裝置首先對解碼對象圖象判別順序通知信息是否表示地址處理順序(步驟S250)。在判別為表示地址處理順序時(步驟S250的Y),圖象解碼裝置對解碼對象的各宏模塊,按地址處理順序進行解碼處理(步驟S252),對解碼的宏模塊(再構成圖象)進行解塊濾波處理(步驟S254)。即圖象解碼裝置通過管道處理進行步驟S252的解碼處理和步驟S254的解塊濾波處理,對解碼對象圖象的全部宏模塊進行這些處理(循環(huán)2)。
而當順序通知信息表示不代表地址處理順序的不定順序時(步驟S250的N),圖象解碼裝置判別濾波代碼的值是0,還是1,還是2(步驟S256)。這里,當判別為濾波代碼的值是0時,圖象解碼裝置以給定的順序對解碼對象的各宏模塊進行解碼處理(步驟S258),把解碼的宏模塊(再構成圖象)逐次存儲到幀存儲器102中(步驟S260)。圖象解碼裝置對解碼對象圖象的全部宏模塊重復進行步驟S258的解碼處理和步驟S260的存儲處理(循環(huán)3)。然后圖象解碼裝置對幀存儲器102中存儲的1圖象的各再構成圖象,從圖象的左上端的再構成圖象,按地址小的順序進行解塊濾波處理(步驟S262)。
另外,在步驟S256中判別為濾波代碼的值是1時,圖象解碼裝置以給定的順序對解碼對象的各宏模塊進行解碼處理(步驟S264)。圖象解碼裝置對解碼對象圖象的全部宏模塊重復進行解碼處理(循環(huán)4)。
另外,在步驟S256中判別為濾波代碼的值是2時,圖象解碼裝置對解碼對象的各宏模塊進行解碼處理(步驟S266),判別該宏模塊是否為位于片段邊界的塊(步驟S268)。然后,圖象解碼裝置在判別為位于片段邊界的塊(步驟S268的Y)時,對除去解碼的宏模塊(再構成圖象)的段落邊界的邊緣進行解塊濾波處理(步驟S269),當判別為不是位于片段邊界的塊時(步驟S268的N),對解碼的宏模塊(再構成圖象)的全部邊緣進行解塊濾波處理(步驟S270)。即圖象解碼裝置通過管道處理進行步驟S266的解碼處理和步驟S269、S270的解塊濾波處理。圖象解碼裝置對解碼對象圖象的全部宏模塊重復進行步驟S266~S270的處理(循環(huán)5)。
圖象解碼裝置對編碼信號表示的全部編碼的圖象進行這樣的步驟S250~S270的處理(循環(huán)1)。
圖象解碼裝置在明確濾波代碼以圖象單位固定,不以片段單位變更時,對各片段不判別濾波代碼的值,就進行處理。
此外,在實施例1和變形例中,控制部101把1圖象的全部再構成圖象存儲到幀存儲器102后,控制開關104,把幀存儲器102與解塊濾波處理部119連接,但是在把1圖象的全部再構成圖象存儲前,可以控制開關104。
控制部101如果在幀存儲器120中存儲對幀存儲器102中存儲的再構成圖象(濾波對象宏模塊)進行解塊濾波處理所必要的解塊濾波處理完畢的宏模塊(濾波處理完畢的宏模塊),就控制開關104。據(jù)此,控制部101使解塊濾波處理部119對濾波對象宏模塊執(zhí)行解塊濾波處理。
另外,控制部101在對于濾波對象宏模塊,不需要濾波處理完畢的宏模塊時,就控制開關104,使解塊濾波處理部119對濾波對象宏模塊執(zhí)行解塊濾波處理。
具體而言,對于濾波對象宏模塊必要的濾波處理完畢的宏模塊是(1)對于圖象上端的濾波對象宏模塊,左相鄰的宏模塊;(2)對于圖象左端的濾波對象宏模塊,位于上相鄰和右上的宏模塊;或者(3)對于濾波對象宏模塊,位于左相鄰、上相鄰和右上的宏模塊。另外,不需要濾波處理完畢的宏模塊的濾波對象宏模塊是位于圖象的左上端的宏模塊。
這時,能逐次進行解塊濾波處理,能增加與生成再構成圖象之前的處理(解碼處理)能并行執(zhí)行的處理。
此外,在H.264的解碼中,使用宏模塊適應幀和半幀解碼時,對于濾波對象宏模塊,可以把上相鄰的宏模塊、右上的宏模塊、左相鄰的宏模塊分別變?yōu)樯舷噜彽暮昴K對、右上的宏模塊對、左相鄰的宏模塊對。據(jù)此,能取得與上述同樣的效果。
此外,在實施例1及其變形例中,作為逐次解碼的宏模塊的順序是否為地址處理順序的信息(順序通知信息),使用流(編碼信號)中包含的輪廓信息,但是可以從外部取得表示逐次解碼的宏模塊的順序是否為地址處理順序的信息。
此外,在基線輪廓時,逐次解碼的宏模塊的順序一般是不定順序,但是即使為基線輪廓,在所謂的1段廣播時,不允許多個片段和arbitraryslice order,逐次解碼的宏模塊的順序是地址解碼順序。
只用輪廓信息,無法正確判定逐次解碼的宏模塊的順序是否為地址解碼順序。另外,是否使用arbitrary slice order的信息在流內不存在,所以只用流內的信息無法判斷逐次解碼的宏模塊的順序是否為地址解碼順序。
因此,從外部取得表示逐次解碼的宏模塊的順序是否為地址解碼順序的信息即表示是否允許arbitrary slice order的信息。據(jù)此,圖象解碼裝置能正確判斷逐次解碼的宏模塊的順序是否為地址解碼順序。即與只用輪廓信息判斷是否為地址解碼順序時相比,判斷為地址解碼順序的情況增多。結果,當判斷為地址解碼順序時,對于逐次解碼的濾波處理前的宏模塊,能進行解塊濾波處理,能降低解碼處理全體的數(shù)據(jù)傳送的比例。另外,解塊濾波處理能與生成再構成圖象之前的處理(解碼處理)并行進行。據(jù)此,處理進一步高速化,能實現(xiàn)低耗電,長時間的解碼成為可能。他適合于數(shù)字廣播等長時間使用的情況。
此外,在實施例1及其變形例中,雖然設置存儲解塊濾波處理前的再構成圖象的幀存儲器102、存儲解塊濾波處理后的再構成圖象的幀存儲器913,但是,可以用一個幀存儲器構成2個存儲器。
另外,在實施例1及其變形例中,輪廓信息為順序通知信息,按照輪廓信息,控制開關103和開關104,但是可以按照單位時間內應該解碼的宏模塊數(shù),控制開關103和開關104。
在基線輪廓時,與主輪廓時相比,單位時間內應該解碼的宏模塊數(shù)少。因此,如果宏模塊數(shù)為給定值以下,編碼信號表示的輪廓是基線輪廓,如果宏模塊數(shù)比給定值多,編碼信號表示的輪廓是就能判斷為主輪廓。
因此,即使這樣按照單位時間內應該解碼的宏模塊數(shù),控制開關103和開關104,也能取得與上述同樣的效果。
另外,在實施例1及其變形例中,如圖9和圖10所示,對各圖象判別是否為地址處理順序,但是可以對各片段或序列判別,也可以在開始對編碼信號的處理時只1度判別。
(實施例2)圖12是表示本發(fā)明實施例2的圖象編碼裝置200的結構的框圖。
圖象編碼裝置200在以塊單位進行的編碼和解碼的順序變更時,也能除去塊變形,并且抑制處理速度的下降,具有存儲器211、面內預測部212、減法部213、開關214、正交變換部215、量子化部216、可變長編碼部217、逆量子化部218、逆正交變換部219、加法部220、解塊濾波處理部222、幀存儲器223、移動檢測部224、移動補償部225、控制部201、幀存儲器202、開關203、開關204、設定部205。
減法部213計算輸入圖象信號表示的宏模塊的圖象和通過開關214取得的預測圖象的差分,輸出計算結果的預測誤差。
正交變換部215把由減法部213計算的預測誤差變換為頻率成分。
量子化部216對從正交變換部215輸出的頻率成分進行量子化,把頻率成分壓縮編碼為量子化值。
可變長編碼部217對從量子化部216輸出的量子化值進行可變長編碼,把編碼的結果作為編碼信號輸出。
逆量子化部218對從量子化部216輸出的量子化值進行逆量子化,把量子化值變換為頻率成分。
逆正交變換部219把從逆量子化部218輸出的頻率成分變換為圖象數(shù)據(jù)的預測誤差。
加法部220把從逆正交變換部219輸出的預測誤差和通過開關214取得的預測圖象相加,輸出解碼的宏模塊即再構成圖象。
存儲器211存儲從加法部220輸出的再構成圖象。
開關214在內部模式中,把面內預測部212與減法部213連接,在之間模式中,把移動補償部225與減法部213連接。
面內預測部212從存儲器211中存儲的再構成圖象取出對于編碼對象宏模塊,位于左的宏模塊、位于上的宏模塊、位于左上的宏模塊、位于右上的宏模塊各自的再構成圖象。然后,面內預測部212使用這些再構成圖象生成編碼對象宏模塊的預測圖象。
設定部205根據(jù)基于用戶的操作、或預先規(guī)定的處理方法,設定編碼條件,把編碼條件通知控制部201。
這里,上述的編碼條件表示例如H.264中的輪廓。
編碼條件表示基線輪廓或擴展輪廓時,該編碼條件表示逐次編碼以及解碼的宏模塊的順序是不定順序。另外,編碼條件表示主輪廓時,編碼條件表示逐次編碼以及解碼的宏模塊的順序是地址處理順序。
控制部201根據(jù)由設定部205設定的編碼條件,控制開關203和開關204。
控制部201在編碼條件表示地址處理順序時,控制開關203和開關204,直接連接加法部220和解塊濾波處理部222。而當編碼條件表示不定順序時,控制部201首先控制開關203,使幀存儲器202與加法部220連接。連接在加法部220上的幀存儲器202逐次存儲從加法部220輸出的再構成圖象。然后,如果在幀存儲器202中存儲1圖象的全部再構成圖象,控制部201就控制開關204,把幀存儲器202與解塊濾波處理部222連接。
解塊濾波處理部222如果由開關203和開關204與加法部220連接,就在加法部220每次輸出再構成圖象時,對該再構成圖象進行解塊濾波處理。另外,解塊濾波處理部222如果由開關204與幀存儲器202連接,就對幀存儲器202中存儲的1圖象的全部再構成圖象,從圖象的左上端的宏模塊,按地址小的順序進行解塊濾波處理。
然后,解塊濾波處理部222把解塊濾波處理的再構成圖象存儲到幀存儲器223。據(jù)此,在幀存儲器223中,把1圖象的再構成圖象作為解碼圖象存儲。
此外,解塊濾波處理部222對處理對象的再構成圖象(宏模塊)進行解塊濾波處理時,從幀存儲器223取得位于該再構成圖象的左以及上的已經(jīng)解塊濾波處理的再構成圖象,使用取得的再構成圖象。
移動檢測部224在之間模式時,通過把幀存儲器223中存儲的解碼對象作為參照圖象參照,檢測輸入圖象信號表示的編碼對象宏模塊的圖象的移動,把檢測結果的移動向量對移動補償部225以及幀存儲器223輸出。移動檢測部914把表示參照圖象位于編碼對象圖象的前方、后方、或雙方向的宏模塊的預測類型與移動向量一起輸出。
移動檢測部224把存儲在幀存儲器223中的解碼圖象作為參照圖象取得,并且取得從移動檢測部224輸出的移動向量。然后,移動補償部121把由參照圖象中由移動向量表示的圖象區(qū)作為編碼對象宏模塊的預測圖象生成,輸出該預測圖象。
本實施例的圖象編碼裝置200在編碼條件表示地址處理順序時,通過管道處理,對各宏模塊,進行編碼處理、解碼處理、解塊濾波處理。而且,在編碼條件表示不定順序時,圖象編碼裝置200對編碼的各宏模塊進行解碼處理,把1圖象的再構成圖象存儲到幀存儲器202后,進行解塊濾波處理。
圖13是表示本實施例的圖象編碼裝置200的處理流程的程序流程圖。
圖象編碼裝置200首先設定編碼條件(步驟S300)。然后,圖象編碼裝置200對編碼對象圖象,判別編碼條件是否表示地址處理順序(步驟S302)。當判別為地址處理順序時(步驟S302的Y),圖象編碼裝置200對編碼對象的各宏模塊,按地址處理順序進行編碼處理以及解碼處理(步驟S304),對解碼的宏模塊(再構成圖象)進行解塊濾波處理(步驟S306)。即圖象編碼裝置200通過管道處理進行步驟S304的編碼處理以及解碼處理和步驟S306的解塊濾波處理,對編碼對象圖象的全部宏模塊反復進行這些處理(循環(huán)2)。
而判別為編碼條件不表示地址處理順序即表示不定順序時(步驟S302的N),圖象編碼裝置200以給定順序對編碼對象的各宏模塊進行編碼處理以及解碼處理(步驟S308),把解碼的宏模塊(再構成圖象)逐次存儲到幀存儲器202(步驟S310)。圖象編碼裝置200對編碼對象圖象的全部宏模塊反復進行步驟S308的編碼處理以及解碼處理和步驟S310的存儲處理(循環(huán)3)。然后,圖象編碼裝置200對存儲在幀存儲器202中的1圖象的各再構成圖象,從圖象的左上端的再構成圖象,按地址小的順序進行解塊濾波處理(步驟S312)。
圖象編碼裝置200對編碼信號表示的全部圖象進行這樣的步驟S300~S312的處理(循環(huán)1)。
(變形例1)這里,說明所述實施例2的變形例1。
所述實施例2的圖象編碼裝置200只根據(jù)編碼條件,判別是否通過管道處理進行編碼處理、解碼處理和解塊濾波處理,但是本變形例的圖象編碼裝置根據(jù)編碼條件和濾波代碼(disable_deblocking_filter_idc),判別。
本變形例的圖象編碼裝置在編碼條件表示地址處理順序時,進行與所述實施例同樣的處理,但是編碼條件表示不定順序時,進行與濾波代碼的值對應的處理。
具體而言,本變形例的圖象編碼裝置在濾波代碼為0時,進行與所述實施例中編碼條件表示不定順序時同樣的處理。即圖象編碼裝置控制部通過控制開關203,把幀存儲器202與加法部220連接,把1圖象的再構成圖象存儲在幀存儲器202中。然后,控制部通過控制開關204,把幀存儲器202與解塊濾波處理部222連接。結果,解塊濾波處理部222對幀存儲器202中存儲的再構成圖象進行解塊濾波處理。據(jù)此,在濾波代碼為0時,對全部宏模塊(再構成圖象)的邊緣進行解塊濾波處理。
在濾波代碼為1時,本變形例的圖象編碼裝置的控制部通過控制開關203和開關204,把加法部220與解塊濾波處理部222直接連接。然后,控制部對解塊濾波處理部222禁止解塊濾波處理。結果,從加法部220輸出的再構成圖象通過開關203和開關204,通過解塊濾波處理部222存儲到幀存儲器223中。據(jù)此,在濾波代碼為1時,對全部宏模塊(再構成圖象)的邊緣不進行解塊濾波處理。
在濾波代碼為2時,本變形例的圖象編碼裝置的控制部與上述同樣,通過控制開關203和開關204,把加法部220與解塊濾波處理部222直接連接。然后,控制部使解塊濾波處理部222禁止對片段邊界的解塊濾波處理。結果,解塊濾波處理部222對從加法部220輸出的位于片段邊界的再構成圖象(宏模塊)中除了片段邊界的邊緣(例如位于再構成圖象內部的4×4象素的塊的邊緣)進行解塊濾波處理。另外,解塊濾波處理部222對從加法部220輸出的不在片段邊界的再構成圖象的全部邊緣即圖1所示的各垂直邊緣和水平邊緣進行解塊濾波處理。
據(jù)此,在濾波代碼為2時,對各宏模塊(再構成圖象),通過管道處理進行編碼處理、解碼處理和解塊濾波處理。
圖14是表示本變形例的圖象編碼裝置的處理流程的程序流程圖。
本變形例的圖象編碼裝置首先設定編碼條件(步驟S400)。然后圖象編碼裝置對編碼對象圖象判別編碼條件是否表示地址處理順序(步驟S402)。當判別為編碼條件表示地址處理順序時(步驟S402的Y),圖象編碼裝置對編碼對象的各宏模塊,按地址處理順序進行編碼處理和解碼處理(步驟S404),對解碼的宏模塊(再構成圖象)進行解塊濾波處理(步驟S406)。即圖象編碼裝置通過管道處理進行步驟S404的編碼處理以及解碼處理和步驟S406的解塊濾波處理,對編碼對象圖象的全部宏模塊重復進行這些處理(循環(huán)2)。
而判別為編碼條件不表示地址處理順序,即表示不定順序時(步驟S402的N),圖象編碼裝置對各片段判斷濾波代碼的值是0,還是1,還是2(步驟S408)。這里,當濾波代碼的值判別為0時,圖象編碼裝置以給定的順序對編碼對象的各宏模塊進行編碼處理以及解碼處理(步驟S410),把解碼的宏模塊(再構成圖象)逐次存儲在幀存儲器202中(步驟S412)。圖象編碼裝置對片段內的全部宏模塊反復進行步驟S410的編碼處理以及解碼處理和步驟S412的存儲處理(循環(huán)4)。
另外,步驟S408中判別濾波代碼的值為1時,圖象編碼裝置以給定的順序對編碼對象的各宏模塊進行編碼處理以及解碼處理(步驟S416)。圖象編碼裝置對片段內的全部宏模塊反復進行步驟S416的編碼處理以及解碼處理(循環(huán)5)。
另外,步驟S408中判別濾波代碼的值為2時,圖象編碼裝置對編碼對象的宏模塊進行編碼處理以及解碼處理(步驟S418),判別該宏模塊是否是位于片段邊界的塊(步驟S420)。然后,圖象編碼裝置判別為是位于片段邊界的塊時(步驟S420的Y),對除去解碼的宏模塊(再構成圖象)的片段邊界的邊緣進行解塊濾波處理(步驟S421),在判別為不是位于片段邊界的塊時(步驟S420的N),對解碼的宏模塊(再構成圖象)的全部邊緣進行解塊濾波處理(步驟S422)。即圖象編碼裝置通過管道處理進行步驟S418的編碼處理以及解碼處理和步驟S421、S422的解塊濾波處理。圖象編碼裝置對片段內的全部宏模塊反復進行步驟S418~S422的處理(循環(huán)6)。
圖象編碼裝置對編碼對象圖象中包含的全部片段進行步驟S408~S422的處理(循環(huán)3),在步驟S412中,對幀存儲器202中存儲的各再構成圖象,按地址小的順序進行解塊濾波處理(步驟S424)。然后,圖象編碼裝置對輸入圖象信號表示的全部圖象進行步驟S400~S424的處理(循環(huán)1)。
此外,在上述中,圖象解碼裝置對各片段判別濾波代碼的值,但是也可以對各圖象判別濾波代碼的值。
圖15是表示對各圖象判別濾波代碼的值的圖象編碼裝置的處理流程的程序流程圖。
圖象編碼裝置首先設定編碼條件(步驟S450)。然后圖象編碼裝置對編碼對象圖象判別編碼條件是否表示地址處理順序(步驟S452)。當判別為表示地址處理順序時(步驟S452的Y),圖象編碼裝置對編碼對象的各宏模塊,按地址處理順序進行編碼處理和解碼處理(步驟S454),對解碼的宏模塊(再構成圖象)進行解塊濾波處理(步驟S456)。即圖象編碼裝置通過管道處理進行步驟S454的編碼處理以及解碼處理和步驟S456的解塊濾波處理,對編碼對象圖象的全部宏模塊重復進行這些處理(循環(huán)2)。
而判別為編碼條件不表示地址處理順序,即表示不定順序時(步驟S452的N),圖象編碼裝置判斷濾波代碼的值是0,還是1,還是2(步驟S458)。這里,當濾波代碼的值判別為0時,圖象編碼裝置以給定的順序對編碼對象的各宏模塊進行編碼處理以及解碼處理(步驟S460),把解碼的宏模塊(再構成圖象)逐次存儲在幀存儲器202中(步驟S462)。圖象編碼裝置對編碼對象圖象的全部宏模塊反復進行步驟S460的編碼處理以及解碼處理和步驟S462的存儲處理(循環(huán)3)。然后圖象編碼裝置對幀存儲器202中存儲的1圖象的各再構成圖象,從圖象的左上端的再構成圖象,按地址小的順序進行解塊濾波處理(步驟S464)。
另外,步驟S458中判別濾波代碼的值為1時,圖象編碼裝置以給定的順序對編碼對象的各宏模塊進行編碼處理以及解碼處理(步驟S466)。圖象編碼裝置對編碼對象圖象的全部宏模塊反復進行步驟S466的編碼處理以及解碼處理(循環(huán)4)。
另外,步驟S458中判別濾波代碼的值為2時,圖象編碼裝置對編碼對象的宏模塊進行編碼處理以及解碼處理(步驟S418),判別該宏模塊是否是位于片段邊界的塊(步驟S470)。然后,圖象編碼裝置判別為是位于片段邊界的塊時(步驟S470的Y),對除去解碼的宏模塊(再構成圖象)的片段邊界的邊緣進行解塊濾波處理(步驟S471),在判別為不是位于片段邊界的塊時(步驟S470的N),對解碼的宏模塊(再構成圖象)的全部邊緣進行解塊濾波處理(步驟S472)。即圖象編碼裝置通過管道處理進行步驟S468的編碼處理以及解碼處理和步驟S471、S472的解塊濾波處理。圖象編碼裝置對編碼對象圖象的全部宏模塊反復進行步驟S468~S472的處理(循環(huán)5)。
圖象編碼裝置對輸入圖象信號表示的全部圖象進行這樣的步驟S450~S472的處理(循環(huán)1)。
圖象編碼裝置在明確濾波代碼以圖象單位固定,不以片段單位變更時,對各片段不判別濾波代碼的值,就進行處理。
(變形例2)這里,說明所述實施例2的變形例2。
所述實施例的圖象編碼裝置200如圖12的步驟S302所示,對各編碼對象圖象判別是否為地址處理順序,但是本變形例的圖象編碼裝置不對各編碼對象圖象判別,對全部編碼對象圖象,只1度判別是否為地址處理順序。
圖16是表示本變形例2的圖象編碼裝置的處理流程的程序流程圖。
圖象編碼裝置首先設定編碼條件(步驟S500)。然后圖象編碼裝置判別編碼條件是否表示地址處理順序(步驟S502)。當判別為當判別為表示地址處理順序時(步驟S502的Y),圖象編碼裝置對編碼對象圖象中包含的各宏模塊,按地址處理順序進行編碼處理和解碼處理(步驟S504),對解碼的宏模塊(再構成圖象)進行解塊濾波處理(步驟S506)。圖象編碼裝置對編碼對象圖象的全部宏模塊反復進行步驟S504的編碼處理以及解碼處理和步驟S506的解塊濾波處理(循環(huán)2)。圖象編碼裝置對輸入圖象信號表示的全部圖象反復進行這些處理(循環(huán)1)。
而判別為編碼條件不表示地址處理順序,即表示不定順序時(步驟S502的N),圖象編碼裝置以給定的順序對編碼對象的各宏模塊進行編碼處理以及解碼處理(步驟S508),把解碼的宏模塊(再構成圖象)逐次存儲到幀存儲器202(步驟S510)。圖象編碼裝置對編碼對象圖象的全部宏模塊反復進行步驟S508的處理和步驟S510的處理(循環(huán)4)。然后,圖象編碼裝置對幀存儲器202中存儲的1圖象的各再構成圖象,從圖象的左上端的再構成圖象,按地址小的順序進行解塊濾波處理(步驟S512)。圖象編碼裝置對輸入圖象信號表示的全部圖象反復進行步驟S508~S512的處理(循環(huán)3)。
此外,實施例2及其變形例的圖象編碼裝置包含實施例1及其變形例的圖象編碼裝置的功能,所以實施例1及其變形例中說明的各事項也完全適合于實施例2及其變形例。
在實施例2及其變形例中,設置存儲解塊濾波處理之前的再構成圖象的幀存儲器202、存儲解塊濾波處理之后的再構成圖象的幀存儲器223,但是可以用一個幀存儲器構成這2個存儲器。
(實施例3)通過把用于實現(xiàn)所述實施例1以及實施例2所示的圖象解碼裝置或圖象編碼裝置的程序記錄到軟盤等存儲媒體中,能在獨立的計算機系統(tǒng)中簡單實施所述實施例1以及實施例2所示的處理。
圖17A~圖17C是使用存儲用于實現(xiàn)所述實施例1以及實施例2所示的圖象解碼裝置或圖象編碼裝置的程序的軟盤,通過計算機系統(tǒng)實施時的說明圖。
圖17B表示從軟盤的盒正面觀察的外觀、截面構造、軟盤,圖17A表示記錄媒體主體即軟盤的物理格式的例子。軟盤FD內置在盒子F內,在該判的表面,從外周向著內周,把多個磁道Tr形成同心圓,各磁道在角度方向分割為16個扇區(qū)。因此,在存儲所述程序的軟盤中,在分配給所述軟盤FD的區(qū)域中記錄作為所述程序的圖象解碼方法和圖象編碼方法。
另外,圖17C表示用于在軟盤FD上進行所述程序的記錄再現(xiàn)的結構。在軟盤FD上記錄所述程序時,從計算機系統(tǒng)Cs把作為所述程序的圖象解碼方法或圖象編碼方法通過軟盤驅動器寫入。另外,通過軟盤內的程序在計算機系統(tǒng)中構筑所述圖象解碼方法時,通過軟盤驅動器從軟盤讀出程序,傳送給計算機系統(tǒng)。
此外,在所述說明中,使用軟盤作為記錄媒體進行說明,但是使用光盤也能同樣進行。另外,記錄媒體并不局限于此,如果是IC卡、ROM等能記錄程序的部件,也能同樣進行。
(實施例5)這里,說明所述實施例所示的圖象解碼裝置和圖象編碼裝置的應用例和使用它的系統(tǒng)。
圖18是表示實現(xiàn)內容發(fā)送系統(tǒng)的內容供給系統(tǒng)ex100的全體結構的框圖。把通信服務的提供區(qū)分割為所需的大小,在各單元內分別設置固定無線電臺即基地電臺ex107~ex110。
內容供給系統(tǒng)ex100在因特網(wǎng)ex101上通過因特網(wǎng)服務提供商ex102以及電話網(wǎng)ex104、基地電臺ex107~ex110,連接計算機ex111、PDA(Personaldigital assistant)ex112、相機ex113、移動電話ex114、帶相機的移動電話ex115等各儀器。
可是,內容供給系統(tǒng)ex100并不局限于圖18的組合,可以組合任意,連接。另外,可以不通過固定無線電臺即基地電臺ex107~ex110,各儀器直接與電話網(wǎng)ex104連接。
相機ex113是數(shù)字相機等能拍攝動畫的儀器。另外,移動電話可以是PDC(Personal digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或GSM(Global System for Mobile Communications)方式的移動電話、或PHS(Personal Handyphone System)等,可以是任意的。
另外,流服務器ex103從相機ex113通過基地電臺ex109、電話網(wǎng)ex104連接,使用相機ex113能進行基于用戶發(fā)送的編碼處理的數(shù)據(jù)的現(xiàn)場發(fā)送。拍攝的數(shù)據(jù)的編碼處理可以用相機ex113進行,也可以用進行數(shù)據(jù)的發(fā)送處理的服務器進行。另外,用相機ex116拍攝的動畫數(shù)據(jù)通過計算機ex111對流服務器ex103發(fā)送。相機ex116是數(shù)字相機等能拍攝靜止畫面、動畫的儀器。這時,動畫數(shù)據(jù)的編碼可以由相機ex116進行,也可以由計算機ex111進行。另外,編碼處理在計算機ex111或相機ex116具有的LSIex117中處理。此外,可以把圖象編碼和圖象編碼的軟件組入用計算機ex111可讀取的記錄媒體即任意存儲媒體(CD-ROM、軟盤、硬盤)??梢杂脦鄼C的移動電話ex115發(fā)送動畫數(shù)據(jù)。這時的動畫數(shù)據(jù)是用移動電話ex115具有的LSI編碼處理的數(shù)據(jù)。
在內容供給系統(tǒng)ex100中,用戶把由相機ex113、相機ex116拍攝的內容(例如拍攝音樂實況的圖象)與所述實施例同樣編碼處理,發(fā)送給流服務器ex103,流服務器ex103對有要求的客戶機,發(fā)送所述內容數(shù)據(jù)。作為客戶機,有能把所述編碼的數(shù)據(jù)解碼的計算機ex111、PDAex112、相機ex112、相機ex113、移動電話ex114。通過這樣,內容供給系統(tǒng)ex100能在客戶機接收編碼的數(shù)據(jù),再現(xiàn),在客戶機以實時接受,解碼,再現(xiàn),從而成為能實現(xiàn)個人廣播的系統(tǒng)。
構成該系統(tǒng)的各儀器的編碼、解碼中可以使用所述各實施例所示的圖象編碼裝置或圖象解碼裝置。
作為一個例子,說明移動電話。
圖19是表示使用所述實施例中說明的圖象編碼裝置和圖象解碼裝置的移動電話ex115的圖。移動電話ex115具有與基地電臺ex110之間收發(fā)電波的天線ex201;CCD相機等能拍攝圖象、靜止畫面的相機部ex203;顯示把由相機部ex203拍攝的圖象、由天線ex201接收的圖象解碼的數(shù)據(jù)的液晶顯示器等顯示部ex202;由操作鍵ex204群構成的主體部;用于輸出聲音的揚聲器等聲音輸出部ex208;用于輸入聲音的麥克風等聲音輸入部ex205;保存拍攝的動畫或靜止畫面數(shù)據(jù)、接收的郵件的數(shù)據(jù)、動畫的數(shù)據(jù)或靜止畫面數(shù)據(jù)等編碼的數(shù)據(jù)或解碼的數(shù)據(jù)的記錄媒體ex207;用于把記錄媒體ex207安裝到移動電話ex115上的插口部ex206。記錄媒體ex207是SD卡等在塑料盒內收藏能進行電改寫或刪除的非易失性存儲器EEPROM(Electrically Erasable and Programmable Read Only Memory)的一種即閃存。
參照圖20說明移動電話ex115。移動電話ex115對于統(tǒng)一控制具有顯示部EX202和操作鍵ex204的主體部各部的主控制部ex311,通過同步總線ex313,相互連接電源電路部ex310、操作輸入控制部ex304、圖象編碼部ex312、相機接口部ex303、LCD(Liquid Crystal Display)控制部ex302、圖象解碼部ex309、多路復用分離部ex308、記錄再現(xiàn)部ex307、調制解調部ex306和聲音處理部ex305。
如果通過用戶的操作,結束通話以及電源鍵變?yōu)榻油顟B(tài),電源電路部ex310就從電池組對各部供給電力,把帶相機的數(shù)字移動電話ex115變?yōu)榭晒ぷ鞯臓顟B(tài)。
移動電話ex115根據(jù)CPU、ROM以及RAM構成的主控制部ex311的控制,把在語音通話模式時由聲音輸入部ex205采集的聲音信號由聲音處理部ex305變換為數(shù)字聲音數(shù)據(jù),把它由調制解調部ex306進行頻譜擴散處理,由收發(fā)電路部ex301進行數(shù)字模擬變換處理以及頻率變換處理后,通過天線ex201發(fā)送。另外,移動電話ex115把在語音通話模式時由天線ex201收到的接收數(shù)據(jù)放大,進行頻率變換處理和模擬數(shù)字變換處理,由調制解調部ex306進行頻譜逆擴散處理,由聲音處理部ex305變換為模擬聲音數(shù)據(jù)后,它它通過聲音輸出部ex208輸出。
在數(shù)據(jù)通信模式時發(fā)送電子郵件時,由主體部的操作鍵ex204的操作輸入的電子郵件的文本數(shù)據(jù)通過操作輸入控制部ex304對主控制部ex311發(fā)送。主控制部ex311把文本數(shù)據(jù)用調制解調部ex306進行頻譜擴散處理,由收發(fā)電路部ex301進行數(shù)字模擬變換處理以及頻率變換處理后,通過天線ex201向基地電臺ex110發(fā)送。
在數(shù)據(jù)通信模式時發(fā)送圖象數(shù)據(jù)時,把由相機部ex203拍攝的圖象數(shù)據(jù)通過相機接口部ex303對圖象編碼部ex312供給。另外,在不發(fā)送圖象數(shù)據(jù)時,把由相機部ex203拍攝的圖象數(shù)據(jù)通過相機接口部ex303、LCD控制部ex302在顯示部ex202直接顯示。
圖象編碼部ex312是具有本發(fā)明中說明的圖象編碼裝置的結構,把從相機部ex203供給的圖象數(shù)據(jù)通過所述實施例中表示的圖象編碼裝置中使用的編碼方法壓縮編碼,變換為編碼圖象數(shù)據(jù),把它對多路復用分離部ex308發(fā)送。此外同時,移動電話ex115把相機部ex203在拍攝時由聲音輸入部ex205收集的聲音通過聲音處理部ex305作為數(shù)字的聲音數(shù)據(jù)對多路復用分離部ex308發(fā)送。
多路復用分離部ex308把從圖象編碼部ex312供給的編碼圖象數(shù)據(jù)和從聲音處理部ex305供給的聲音數(shù)據(jù)以給定的方式多路復用,把結果取得的多路復用數(shù)據(jù)由調制解調部ex306進行頻譜擴散處理,由收發(fā)電路部ex301進行數(shù)字模擬變換處理以及頻率變換處理后,通過天線ex201發(fā)送。
在數(shù)據(jù)通信模式時,收到與主頁鏈接的動畫圖象文件的數(shù)據(jù),把通過天線ex201從基地電臺ex110接收的接收數(shù)據(jù)由調制解調部ex306進行頻譜逆擴散處理,把結果取得的多路復用數(shù)據(jù)對多路復用分離部ex308發(fā)送。
另外,在把通過天線ex201接收的多路復用數(shù)據(jù)解碼時,多路復用分離部ex308通過分離多路復用數(shù)據(jù),劃分為圖象數(shù)據(jù)的位流和聲音數(shù)據(jù)的位流,通過同步總線ex313把該編碼圖象數(shù)據(jù)提供給圖象解碼部ex309,并且把該聲音數(shù)據(jù)提供給聲音處理部ex305。
圖象解碼部ex309是具有本發(fā)明說明的圖象解碼裝置的結構,把圖象數(shù)據(jù)的位流通過所述實施例中表示的編碼方法所對應的解碼方法解碼,生成再現(xiàn)動畫圖象數(shù)據(jù),把它通過LCD控制部ex302提供給顯示部ex202,據(jù)此,顯示與主頁鏈接的動畫圖象文件中包含的動畫數(shù)據(jù)。這時,聲音處理部ex305同時把聲音數(shù)據(jù)變換為模擬聲音數(shù)據(jù)后,把它提供給聲音輸出部ex208,據(jù)此,再現(xiàn)與主頁鏈接的動畫圖象文件中包含的聲音數(shù)據(jù)。
此外,并不局限于所述的系統(tǒng)的例子,最近,基于衛(wèi)星、地面波的數(shù)字廣播成為話題,如圖21所示,在數(shù)字廣播用系統(tǒng)中能嵌入所述實施例的圖象編碼裝置或圖象解碼裝置的至少任意一個。具體而言,廣播電臺ex409中,圖象信息的位流通過電波向通信或廣播衛(wèi)星ex410傳送。收到它的廣播衛(wèi)星ex410發(fā)射廣播電波,由具有衛(wèi)星廣播接收設備的家庭的天線ex406接收該電波,由電視(接收機)ex401或機頂盒(STB)ex407等裝置把位流解碼,再現(xiàn)它。另外,在讀取記錄媒體CD或DVD等存儲媒體ex402中記錄的位流,解碼的再現(xiàn)裝置ex403中也能安裝所述實施例中表示的圖象解碼裝置。這時,再現(xiàn)的圖象信號在監(jiān)視器ex404上顯示。另外,也考慮在有線電視的電纜ex405或衛(wèi)星/地面波廣播的天線ex406上連接的機頂盒ex407內安裝圖象解碼裝置,用電視的監(jiān)視器ex408把它再現(xiàn)的結構。這時,可以不是機頂盒,在電視內可以嵌入圖象解碼裝置。另外,在具有天線ex411的汽車ex412,從衛(wèi)星ex410或基地電臺ex107接收信號,在汽車ex412具有的汽車導航系統(tǒng)ex413等的顯示裝置再現(xiàn)動畫。
也能用所述實施例中表示的圖象編碼裝置把圖象信號編碼,記錄到記錄媒體中。作為具體例,有在DVD盤ex421上記錄圖象信號的DVD記錄器、在硬盤上記錄的盤記錄器等記錄器ex420。也能在SD卡ex422上記錄。記錄器ex420如果具有所述實施例中表示的圖象解碼裝置,就能再現(xiàn)DVD盤ex421或SD卡ex422上記錄的圖象信號,用監(jiān)視器ex408顯示。
此外,汽車導航系統(tǒng)ex413的結構考慮到在圖20所示的結構中,除去相機部ex203、相機接口部ex303、圖象編碼部ex312的結構,在計算機ex111或電視(接收機)ex401中也考慮同樣的事情。
另外,考慮所述移動電話ex114等終端除了具有編碼器和解碼器雙方的收發(fā)類型的終端,還只有編碼器的發(fā)送終端、只有解碼器的接收終端等3種安裝形式。
在上述的任意儀器和系統(tǒng)中都能使用所述實施例中表示的圖象編碼裝置或圖象解碼裝置,據(jù)此,能取得所述實施例中說明的效果。
另外,本發(fā)明并不局限于所述實施例,在不脫離本發(fā)明的范圍的前提下,能進行各種變形或修正。
此外,框圖(圖8和圖12)的各功能塊作為集成電路實現(xiàn)。它們可以個別變?yōu)?芯片,也可以包含一部分或全部地變?yōu)?芯片。(例如存儲器以外的功能塊變?yōu)?芯片) 這里為LSI,但是根據(jù)集成度的不同,有時也稱作IC、系統(tǒng)LSI、超大LSI、超級LSI。
另外,集成電路化的手法并不局限于LSI,可以用專用電路或通用處理器實現(xiàn)。在LSI制造后,可以利用可編程的FPGA(Field Programmable GateArray)、能再構成LSI內部的電路單元的連接和設定的可重新配置處理器。
如果由于半導體技術的進步或派生的其他技術,出現(xiàn)替代LSI的集成電路化的技術,當然可以使用該技術進行功能塊的集成化。生物技術的應用也有可能。
另外,各功能塊中,存儲成為編碼或解碼的對象的數(shù)據(jù)的部件不變?yōu)?芯片,可以采用其他結構。
產(chǎn)業(yè)上的可利用性 本發(fā)明的圖象解碼裝置以及圖象編碼裝置具有在變更各塊的解碼順序時,也能除去塊變形,并且能抑制處理速度的下降的效果,能應用于移動電話、DVD(Digital Versatile Disk)裝置、個人電腦等。
權利要求
1.一種圖象解碼裝置,以塊單位把編碼的圖象解碼,其特征在于,包括把構成編碼的圖象的各塊依次解碼的解碼部件;用于存儲由所述解碼部件解碼的各塊的存儲部件;對由所述解碼部件解碼的各塊進行濾波處理的濾波部件;把由所述解碼部件每次把塊解碼時解碼的所述塊存儲到所述存儲部件中,并且使所述濾波部件對所述存儲部件中存儲的塊進行濾波處理的第一執(zhí)行部件;對于由所述解碼部件每次把塊解碼時解碼的所述塊,使所述濾波部件進行濾波處理的第二執(zhí)行部件;以及切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作的切換控制部件。
2.根據(jù)權利要求1所述的圖象解碼裝置,其特征在于所述切換控制部件,按照由所述解碼部件依次解碼的各塊的順序,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
3.根據(jù)權利要求2所述的圖象解碼裝置,其特征在于所述切換控制部件,在由所述解碼部件依次解碼的各塊的順序為從位于所述圖象的邊上的塊連續(xù)解碼的規(guī)定順序時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作;當由所述解碼部件依次解碼的各塊的順序不是所述規(guī)定順序時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
4.根據(jù)權利要求1所述的圖象解碼裝置,其特征在于所述切換控制部件,按照由所述解碼部件在單位時間內應該解碼的塊數(shù),切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
5.根據(jù)權利要求4所述的圖象解碼裝置,其特征在于所述切換控制部件,在由所述解碼部件在單位時間內應該解碼的塊數(shù)比給定值多時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作;當所述塊數(shù)為所述給定值以下時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
6.根據(jù)權利要求2所述的圖象解碼裝置,其特征在于所述切換控制部件,在由所述解碼部件依次解碼的各塊的順序不是從位于所述圖象的邊上的塊連續(xù)解碼的規(guī)定順序時,根據(jù)表示成為所述濾波處理的對象的所述各塊的部位的濾波信息,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
7.根據(jù)權利要求1所述的圖象解碼裝置,其特征在于所述切換控制部件,按照多個所述編碼的圖象構成的編碼信號的種類,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
8.根據(jù)權利要求7所述的圖象解碼裝置,其特征在于所述切換控制部件,根據(jù)所述編碼信號的種類,當判斷為應該從位于所述圖象的邊上的塊把各塊連續(xù)解碼時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作;當不能得出所述判斷時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
9.根據(jù)權利要求1所述的圖象解碼裝置,其特征在于所述切換控制部件,取得表示是否應該從位于所述圖象的邊上的塊把各塊連續(xù)解碼的外部信號;當所述外部信號表示應該連續(xù)解碼時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作,當所述外部信號表示不應該連續(xù)解碼時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
10.一種圖象編碼裝置,以塊單位把圖象編碼,其特征在于,包括把構成圖象的各塊依次編碼的編碼部件;每次由所述編碼部件把塊編碼時,把編碼的塊依次解碼的解碼部件;用于存儲由所述解碼部件解碼的各塊的存儲部件;對由所述解碼部件解碼的各塊進行濾波處理的濾波部件;把每次由所述解碼部件把塊解碼時解碼的所述塊存儲到所述存儲部件,并且對所述存儲部件中存儲的塊,使所述濾波部件執(zhí)行濾波處理的第一執(zhí)行部件;對每次由所述解碼部件把塊解碼時解碼的所述塊,使所述濾波部件執(zhí)行濾波處理的第二執(zhí)行部件;以及切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作的切換控制部件。
11.根據(jù)權利要求10所述的圖象編碼裝置,其特征在于所述切換控制部件,按照由所述解碼部件依次解碼的各塊的順序,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
12.根據(jù)權利要求11所述的圖象編碼裝置,其特征在于所述切換控制部件,在由所述解碼部件依次解碼的各塊的順序為從位于所述圖象的邊上的塊連續(xù)解碼的規(guī)定順序時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作;當由所述解碼部件依次解碼的各塊的順序不是所述規(guī)定順序時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
13.根據(jù)權利要求10所述的圖象編碼裝置,其特征在于所述切換控制部件,按照由所述編碼部件及所述解碼部件在單位時間內應該編碼和解碼的塊數(shù),切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
14.根據(jù)權利要求11所述的圖象編碼裝置,其特征在于所述切換控制部件,在由所述解碼部件依次解碼的各塊的順序不是從位于所述圖象的邊上的塊連續(xù)解碼的規(guī)定順序時,根據(jù)表示成為所述濾波處理的對象的所述各塊的部位的濾波信息,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
15.根據(jù)權利要求10所述的圖象編碼裝置,其特征在于所述切換控制部件,按照基于所述編碼部件的編碼的手法,切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作。
16.根據(jù)權利要求15所述的圖象編碼裝置,其特征在于所述切換控制部件,根據(jù)所述編碼的手法,當判斷為應該從位于所述圖象的邊上的塊把各塊連續(xù)解碼時,禁止基于所述第一執(zhí)行部件的動作,執(zhí)行基于所述第二執(zhí)行部件的動作;當不能得出所述判斷時,禁止基于所述第二執(zhí)行部件的動作,執(zhí)行基于所述第一執(zhí)行部件的動作。
17.一種圖象解碼方法,以塊單位把編碼的圖象解碼,其特征在于,包括把構成編碼的圖象的各塊依次解碼的解碼步驟;把每次由所述解碼步驟把塊解碼時解碼的所述塊存儲在存儲媒體中,并且對所述存儲部件中存儲的塊進行濾波處理的第一處理步驟;對每次由所述解碼步驟把塊解碼時解碼的所述塊進行濾波處理的第二處理步驟;以及切換基于所述第一處理步驟的動作與基于所述第二處理步驟的動作的切換控制步驟。
18.一種圖象編碼方法,以塊單位把圖象編碼,其特征在于,包括把構成圖象的各塊依次編碼的編碼步驟;每次由所述編碼步驟把塊編碼時,把編碼的塊依次解碼的解碼步驟;把每次由所述解碼步驟把塊解碼時解碼的所述塊存儲在存儲媒體中,并且對所述存儲部件中存儲的塊進行濾波處理的第一處理步驟對每次由所述解碼步驟把塊解碼時解碼的所述塊進行濾波處理的第二處理步驟;以及切換基于所述第一處理步驟的動作與基于所述第二處理步驟的動作的切換控制步驟。
19.一種集成電路,以塊單位把編碼的圖象解碼,其特征在于,包括把構成編碼的圖象的各塊依次解碼的解碼部件;用于存儲由所述解碼部件解碼的各塊的存儲部件;對由所述解碼部件解碼的各塊進行濾波處理的濾波部件;把由所述解碼部件每次把塊解碼時解碼的所述塊存儲到所述存儲部件中,并且使所述濾波部件對所述存儲部件中存儲的塊進行濾波處理的第一執(zhí)行部件;對于由所述解碼部件每次把塊解碼時解碼的所述塊,使所述濾波部件進行濾波處理的第二執(zhí)行部件;以及切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作的切換控制部件。
20.一種集成電路,以塊單位把圖象編碼,其特征在于,包括把構成圖象的各塊依次編碼的編碼部件;每次由所述編碼部件把塊編碼時,把編碼的塊依次解碼的解碼部件;用于存儲由所述解碼部件解碼的各塊的存儲部件;對由所述解碼部件解碼的各塊進行濾波處理的濾波部件;把每次由所述解碼部件把塊解碼時解碼的所述塊存儲到所述存儲部件,并且對所述存儲部件中存儲的塊,使所述濾波部件執(zhí)行濾波處理的第一執(zhí)行部件;對每次由所述解碼部件把塊解碼時解碼的所述塊,使所述濾波部件執(zhí)行濾波處理的第二執(zhí)行部件;以及切換基于所述第一執(zhí)行部件的動作與基于所述第二執(zhí)行部件的動作的切換控制部件。
全文摘要
圖象解碼裝置(100)具有把各塊依次解碼的可變長解碼部(111);幀存儲器(102);對解碼的各塊進行濾波處理的解塊濾波處理部(119);每次把塊解碼時,把該塊存儲到幀存儲器(102)中,并且對那里存儲的塊執(zhí)行濾波處理的第一執(zhí)行狀態(tài)的開關(103、104);每次把塊解碼時,對該塊進行濾波處理的第二執(zhí)行狀態(tài)的開關(103、104);切換開關(103、104)的第一執(zhí)行狀態(tài)和第二執(zhí)行狀態(tài)的控制部101。提供在變更各塊的解碼順序時,也能除去塊變形,并且能抑制處理速度的下降的圖象解碼裝置。
文檔編號H04N7/26GK1922885SQ20058000605
公開日2007年2月28日 申請日期2005年8月2日 優(yōu)先權日2004年8月5日
發(fā)明者工藤慎太郎, 西孝啟, 井口雅保 申請人:松下電器產(chǎn)業(yè)株式會社