專利名稱：圖像編碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編碼裝置，特別涉及對運(yùn)動圖像進(jìn)行編碼的圖像編碼裝置。
背景技術(shù)：
在可錄型DVD和D-VHS、數(shù)字廣播發(fā)射機(jī)等數(shù)字AV機(jī)器中，使用了作為圖像壓縮的國際標(biāo)準(zhǔn)的MPEG2規(guī)格。
MPEG2的編碼處理可以實(shí)現(xiàn)用比較高的位速率(例如在DVD中是4～6bps)，圖像劣化比較少的高畫質(zhì)，但由于錄像時(shí)間受到記錄介質(zhì)的限制，希望用比較低的位速率編碼(例如，在DVD中是2～3bps)。這時(shí)，一般采用預(yù)先將編碼對象圖像用圖像尺寸變換器(分辨率變換器)變換成3/4、2/3或1/2的尺寸，對該尺寸的圖像進(jìn)行MPEG2的編碼方式。但是，這又增大了當(dāng)前圖像的分辨率劣化，由于用低的目標(biāo)位速率進(jìn)行編碼處理，加大了畫質(zhì)劣化，成了阻礙高畫質(zhì)化的因素。
作為與MPEG2相當(dāng)?shù)倪\(yùn)動圖像編碼裝置，有公開于專利文獻(xiàn)1(特開2002-16912號公報(bào))的裝置，該裝置僅用一個(gè)編碼器的結(jié)構(gòu)來實(shí)現(xiàn)采用二路徑編碼方式的運(yùn)動圖像編碼裝置，將裝置規(guī)模減小。但是，由于該處理中進(jìn)行數(shù)據(jù)的多路復(fù)用及分離，存在處理復(fù)雜程度高的問題。
本發(fā)明旨在解決上述的MPEG2的問題，以獲得不增加硬件(編碼用資源)地高效實(shí)現(xiàn)二路徑編碼處理的圖像編碼裝置為目的。
本發(fā)明第一方面的圖像編碼裝置設(shè)有運(yùn)動圖像編碼器和編碼控制部。前者輸入規(guī)定了運(yùn)動圖像的圖像信號，對該圖像信號進(jìn)行第一與第二編碼處理，輸出比特流信號；后者控制所述運(yùn)動圖像編碼器的編碼動作。所述編碼控制部執(zhí)行控制，使所述運(yùn)動圖像編碼器在預(yù)定期間內(nèi)不設(shè)置休止期間地連續(xù)進(jìn)行所述第一與第二編碼處理。


圖1是表示依據(jù)MPEG2的一般圖像編碼裝置的結(jié)構(gòu)的方框圖。
圖2是表示各種圖像格式的說明圖。
圖3是表示一般的二路徑編碼裝置結(jié)構(gòu)的方框圖。
圖4是表示本發(fā)明實(shí)施例1的圖像編碼裝置的結(jié)構(gòu)的方框圖。
圖5是表示在一路徑編碼時(shí)，MPEG2編碼動作期間分配內(nèi)容的說明圖。
圖6是表示由實(shí)施例1產(chǎn)生的MPEG2編碼動作期間分配內(nèi)容的說明圖。
圖7是表示外部DRAM的存儲映象的說明圖。
圖8是表示采用實(shí)施例1的編碼LSI的二路徑編碼處理的內(nèi)容的具體例說明圖。
圖9是表示實(shí)施例1的二路徑編碼處理的處理流程的流程圖。
圖10是表示采用實(shí)施例2的編碼LSI的二路徑編碼的順序的說明圖。
圖11是表示在實(shí)施例2的外部DRAM的SDRAM存儲區(qū)中的存儲映象的說明圖。
圖12是表示采用實(shí)施例3的編碼LSI的二路徑編碼的順序的說明圖。
圖13是表示在實(shí)施例3的外部DRAM的SDRAM存儲區(qū)中的存儲映象的說明圖。
圖14是表示本發(fā)明實(shí)施例4的圖像編碼裝置的結(jié)構(gòu)的方框圖。
401、501編碼LSI，402、502MPEG2編碼裝置，403視頻輸入輸出部，404、404A、404B運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部，405DCT/Q及IDCT/IQ部，406可變長度編碼部，408參數(shù)輸入輸出部，410SDRAM接口部，411外部DRAM。
具體實(shí)施例方式
<前提技術(shù)>
圖1是表示依據(jù)MPEG2的一般的圖像編碼裝置的結(jié)構(gòu)的方框圖，它構(gòu)成理解本發(fā)明的前提技術(shù)。
如該圖所示，圖像編碼裝置由編碼LSI101和外部DRAM111構(gòu)成。一般的編碼LSI101的構(gòu)成部分如下MPEG2編碼器102、參數(shù)輸入部108、參數(shù)輸出部109和SDRAM接口部110，以及視頻輸入端子112、視頻輸出端子113、參數(shù)輸入端子116、參數(shù)輸出端子117及比特流輸出端子114。
MPEG2編碼器102由編碼控制部107、作為信號處理部的視頻信號輸入輸出部103、運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部104、DCT/Q及IDCT/IQ部105以及可變長度編碼部106構(gòu)成。這些部件用各自的功能塊單位(與各構(gòu)成部分103～106有輸入輸出關(guān)系的數(shù)據(jù)單位)一邊對SDRAM(外部DRAM111)進(jìn)行數(shù)據(jù)的寫入及讀出，一邊執(zhí)行編碼。
編碼LSI101設(shè)有視頻輸入端子112、視頻輸出端子113、比特流輸出端子114、SDRAM端口115、參數(shù)輸入端子116、參數(shù)輸出端子117、編碼參數(shù)輸入端口108、編碼參數(shù)輸出端口109以及比特流輸出端口114等6種輸入輸出端口(端子)。另外，外部DRAM111的I/O比特寬度由于受LSI的引腳數(shù)(I/O引腳)限制，設(shè)想實(shí)質(zhì)上有16位、32位、64位等。
由視頻輸入端子112所輸入的視頻信號SV1，經(jīng)視頻信號輸入輸出部103施行濾波和特征抽取的處理。視頻信號輸入輸出部103在必要時(shí)，對視頻輸入信號SV1實(shí)施變換編碼對象圖像尺寸的分辨率變換處理。
圖2是表示種種圖像格式的說明圖。下面，參照圖2就分辨率變換處理進(jìn)行說明。圖2(a)是將現(xiàn)行電視信號(NTSC)數(shù)字化后所得到的最一般的圖像格式，這里稱為D1格式。D1格式具有720像素×480行的分辨率，在一般的數(shù)字AV機(jī)器(DVD、STB(Set Top Box)、數(shù)字視頻)中被作為標(biāo)準(zhǔn)使用。
對此，在圖2(b)中所示出的格式被稱為3/4D1格式，由544像素×480行構(gòu)成，在圖2(c)中所示的格式被稱為2/3D1格式，由480像素×480行構(gòu)成，在圖2(d)中所示的格式被稱為1/2(半)D1格式，由352(360)像素×80行構(gòu)成。例如，在將DVD和數(shù)字廣播等的現(xiàn)行TV作為對象的應(yīng)用中，通常使用D1格式，而在構(gòu)成對象的硬件的信號處理能力不足的情況下和用比通常低的位速率進(jìn)行編碼時(shí)，根據(jù)需要適當(dāng)使用3/4D1格式、2/3D1格式、半D1格式。為此，在MPEG2的編碼裝置中，基本上裝備了分辨率變換回路。
圖3是表示一般的二路徑編碼裝置的構(gòu)成的方框圖。圖3所示的二路徑編碼裝置是將示于圖1的MPEG2編碼裝置102作2系統(tǒng)級聯(lián)構(gòu)成的。
下面，參照圖3，就傳統(tǒng)的二路徑編碼方式作簡單說明。前級的MPEG2編碼裝置21輸入構(gòu)成編碼對象的視頻輸入信號SV1，依次進(jìn)行MPEG2的編碼動作。這時(shí)，將進(jìn)行編碼時(shí)的種種參數(shù)信息預(yù)先儲備在外部DRAM111的任意區(qū)域上。所謂的編碼參數(shù)是指各宏塊的運(yùn)動預(yù)測信息、宏塊型的判定信息、量化信息、發(fā)生編碼量等。
這些編碼參數(shù)信息經(jīng)由參數(shù)輸出部并作為參數(shù)信息DP12輸出，在后級的編碼器的參數(shù)輸入部上作為參數(shù)信息DP21輸入。后級的MPEG2編碼裝置22通過幀延遲裝置得到構(gòu)成編碼對象的延遲視頻輸入信號DSV1。也就是MPEG2編碼裝置22從視頻輸入信號SV1經(jīng)幀延遲部23將加了必要的幀延遲的延遲視頻輸入信號DSV1作為輸入，依次實(shí)施MPEG2的編碼，輸出比特流信號SBS2。這時(shí)，在各編碼階段，從參數(shù)輸入部輸入前級的MPEG2編碼裝置21的參數(shù)信息DP21(DP12)，以各自的圖像層、限幅層、宏塊層為單位，參照必要的編碼參數(shù)(由前級的MPEG2編碼裝置21所得到的編碼化參數(shù))，確定對于后級MPEG2編碼裝置22最佳的編碼參數(shù)。
依據(jù)上述說明的結(jié)構(gòu)，即使在任何情況下都可以實(shí)現(xiàn)二路徑編碼，但需要兩個(gè)系統(tǒng)(兩個(gè)以上)的MPEG2編碼裝置和實(shí)現(xiàn)幀延遲的幀存儲器。本發(fā)明就使用單個(gè)系統(tǒng)(一個(gè))的MPEG2編碼器高效實(shí)現(xiàn)二路徑編碼的方法及圖像編碼裝置作了敘述。
<實(shí)施例1>
圖4是表示本發(fā)明實(shí)施例1的圖像編碼處理結(jié)構(gòu)的方框圖。如該圖所示，圖像編碼裝置由編碼LSI401及外部DRAM411構(gòu)成。
編碼LSI401由MPEG2編碼器402(運(yùn)動圖像編碼器)、SDRAM接口部410、視頻輸入端子412、視頻輸出端子413和比特流輸出端子414構(gòu)成。
MPEG2編碼器402由編碼控制部407、編碼參數(shù)輸入輸出部416及各信號處理部構(gòu)成。信號處理部由視頻信號輸入輸出部403、運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404、DCT/Q，IQ/IDCT部405及可變長度編碼部406構(gòu)成，它們各自的工作由編碼控制部407控制。另外，參數(shù)輸入輸出部408也由編碼控制部407控制。
下面，詳細(xì)說明信號處理部的連接關(guān)系。視頻信號輸入輸出部403從視頻輸入端子412接受視頻輸入信號SV1(規(guī)定了運(yùn)動圖像的圖像信號)，進(jìn)行包含分辨率變換處理的信號處理，輸出信號SV0從視頻端子413輸出，將信號處理結(jié)果供給運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404。
運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404根據(jù)視頻信號輸入輸出部403的信號處理結(jié)果進(jìn)行運(yùn)動預(yù)測、運(yùn)動補(bǔ)償，并將該信號處理結(jié)果供給DCT/Q及IDCT/IQ部405。
DCT/Q及IDCT/IQ部405對運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404的信號處理結(jié)果進(jìn)行離散余弦變換(DCTDiscrete CosineTransform)處理，量化處理(Q)，得到信號處理結(jié)果。這時(shí)，也進(jìn)行為了使信號處理結(jié)果反饋的逆離散余弦變換處理(IDCT)及逆量化處理(IQ)。
可變長度編碼部406對DCT/Q及IDCT/IQ部405的信號處理結(jié)果進(jìn)行可變長度編碼處理，從比特流輸出端子414輸出比特流信號SBS。
參數(shù)輸入輸出部408進(jìn)行存儲在DRAM411上的編碼參數(shù)的輸入輸出，通過編碼控制部407可以將編碼參數(shù)供給MPEG2編碼器402、視頻信號輸入輸出部403、運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404以及DCT/Q和IDCT/IQ部405。
然后，各構(gòu)成部分403～406以各自的功能塊為單位對外部DRAM411(存儲部)一邊進(jìn)行數(shù)據(jù)的寫入及讀出，一邊執(zhí)行編碼。
編碼LSI401包含視頻輸入端子412、視頻輸出端子413、SDRAM端口415以及比特流輸出端口414等4種輸入輸出端口(端子)。另外，外部DRAM411的I/O比特寬度由于受LSI的引腳數(shù)(I/O引腳)的限制，設(shè)想實(shí)質(zhì)上為16位、32位、64位等。
這里，MPEG2編碼器具有每秒鐘可以處理30幅現(xiàn)行TV圖像，也就是D1格式圖像的能力(在MPEG2規(guī)格中的MPML)。具有該處理能力的裝置示于圖1，與傳統(tǒng)的MPEG2編碼器相當(dāng)。這里，編碼參數(shù)輸入端子和編碼參數(shù)輸出端子作為外部引腳沒有被指定，而這基本上是由于設(shè)想沒有必要從外部輸入編碼參數(shù)或向外部輸出編碼參數(shù)的內(nèi)部編碼動作。
這里，用圖4說明編碼動作。所輸入的視頻輸入信號SV1(NTSC)按下列的順序，按幀單位進(jìn)行MPEG2的編碼動作。經(jīng)數(shù)字化的視頻輸入信號(ex.ITU-R-656形式)首先被輸入到視頻信號輸入輸出部403。之后，信號處理結(jié)果被寫入到外部DRAM411上的原圖像區(qū)域。這里，在圖4中，壓縮工作按DCT、量化(Q)以及可變長度編碼的順序以宏塊為單位執(zhí)行。其后，在該原圖像比特流進(jìn)行適當(dāng)?shù)闹匦屡判?變更編碼的圖像順序的處理)后，以稱為I圖像、P圖像或B圖像的圖像類型進(jìn)行編碼。
這里，就需要所有的數(shù)據(jù)傳的P圖像或B圖像的編碼順序進(jìn)行說明。經(jīng)由外部DRAM411從外部DRAM411讀出運(yùn)動搜索用的樣板圖像(template picture)與編碼對象圖像。
外部DRAM411上的數(shù)據(jù)分別被傳送至運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404、DCT/Q及IDCT/IQ部405。另外，在運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404中，在同時(shí)預(yù)先寫入的重構(gòu)圖像比特流區(qū)域，作為搜索窗口所需的區(qū)域的比特流被從外部DRAM411傳送，從而可得到搜索窗口數(shù)據(jù)。
之后，按照用運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404得到的最佳運(yùn)動向量生成預(yù)測圖像，由DCT/Q及IDCT/IQ部405執(zhí)行DCT及Q(量化)處理后，由可變長度編碼部406進(jìn)行可變長度編碼處理，最終，作為比特流信號SBS(輸出比特流信號)從比特流輸出端子414輸出。在本編碼動作中，按照圖像順序執(zhí)行比特流的編碼動作。該動作可歸納為以下①～⑧所示的順序。
①原圖像數(shù)據(jù)的取得(視頻輸入輸出(視頻輸入信號SV1的輸入，視頻輸出信號SV0的輸出)→外部幀存儲器(外部DRAM111))②編碼對象圖像的讀出(外部幀存儲器→DCT/Q裝置(DCT/Q及IDCT/IQ部405))
③運(yùn)動探索(整數(shù)精度搜索(單像素的精度探索))(外部幀存儲器→運(yùn)動預(yù)測/補(bǔ)償裝置(運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404))④運(yùn)動探索(半像素(1/2像素的高精度探索))(外部幀存儲器→運(yùn)動預(yù)測/補(bǔ)償裝置)⑤預(yù)測圖像(用運(yùn)動向量所指定的宏塊單位的圖像)的生成(外部幀存儲器→運(yùn)動預(yù)測/補(bǔ)償裝置)⑥重構(gòu)圖像(根據(jù)預(yù)測圖像再生的宏塊單位的圖像)的寫入(運(yùn)動預(yù)測/補(bǔ)償裝置→外部幀存儲器)⑦編碼數(shù)據(jù)的寫入、讀出(可變長度編碼裝置(可變長度編碼部406)←→外部幀存儲器)⑧解碼圖像(重構(gòu)圖像的1個(gè)畫面的圖像)(外部幀存儲器→視頻輸入輸出)這里，在①原圖像數(shù)據(jù)取得的處理中，根據(jù)圖像信號的性質(zhì)實(shí)施分辨率變換，以從D1格式變換成3/4、2/3、半D1格式的形式存儲原圖像。②以后的處理開始實(shí)質(zhì)性的MPEG2的編碼動作。還有，根據(jù)③、④的2種探索可以得到迅速(由③的探索產(chǎn)生的較高速的探索)，且精確度(由④的探索產(chǎn)生的較高精度的探索)高的運(yùn)動向量。另外，所謂預(yù)測圖像是基于由運(yùn)動預(yù)測/補(bǔ)償裝置得到的運(yùn)動向量的圖像。重構(gòu)圖像是將預(yù)測圖像逆量化(IQ)、逆DCT變換得到的圖像。編碼數(shù)據(jù)是用可變長度編碼裝置對由DCT/Q裝置得到的信號加以編碼后的數(shù)據(jù)。
圖5是表示在單通路編碼時(shí)MPEG2編碼動作期間分配的內(nèi)容的說明圖。如該圖所示，在1幀期間(NTSC的場合是33.3ms)內(nèi)，有必要分配圖像前處理期間tp1、圖像后處理期間tp2及宏塊處理期間TMB。再者，在幀期間開頭示出的涂黑部分意指幀同步脈沖。
在將D1格式的視頻信號進(jìn)行編碼處理時(shí)，大致將1幀期間的全部分配到作為編碼處理時(shí)間的宏塊處理期間TMB1上。但是，在幀處理開始時(shí)進(jìn)行該幀的圖像類型的確定、目標(biāo)比特量(目標(biāo)壓縮比特量)的確定等關(guān)系到整個(gè)幀的編碼參數(shù)，進(jìn)行將各硬件初始化等的全處理(圖像前處理)。在該圖像前處理中需要的期間是圖像前處理期間tp1。
然后，在宏塊處理期間TMP1，以宏塊為單位進(jìn)行上述□～□的編碼動作。
宏塊處理期間TMB1結(jié)束時(shí)，進(jìn)行發(fā)生比特量的計(jì)算等該幀中必要的后處理(圖像后處理)，結(jié)束該幀(圖像)的編碼。對該圖像后處理需要的期間是圖像后處理期間tp2。
圖像的前處理期間tp1及圖像后處理期間tp2分別是數(shù)十μsec，大部分時(shí)間被分配到宏塊處理期間TMB1上。
參照圖5就例如編碼對象圖像為半D1格式時(shí)的情況進(jìn)行說明。在半D1格式中，由于對象圖像尺寸為D1格式的一半，處理所需的宏塊數(shù)也為一半。具體地說，D1格式對于1幀是1350MB(宏塊)，而半D1則是660MB。為此，半D1格式編碼時(shí)的宏塊處理期間TMB2如圖5所示，用D1格式編碼時(shí)的宏塊處理期間TMB1的大約一半的時(shí)間結(jié)束編碼動作，剩余期間為處理的休止期間即TR2期間。在3/4D1格式時(shí)的編碼動作中也一樣，使用幀期間的約3/4，剩余的1/4成為休止期間TR3。
圖6是表示由本發(fā)明實(shí)施例1的編碼LSI產(chǎn)生的MPEG2編碼動作期間分配內(nèi)容的說明圖。
下面，參照該圖就實(shí)施例1的編碼動作進(jìn)行說明。由視頻信號輸入輸出部403實(shí)施分辨率變換時(shí)，利用圖5中的休止期間(TR2，TR3)來進(jìn)行編碼動作，也就是通過在一個(gè)幀期間(預(yù)定期間)不設(shè)置休止期間地連續(xù)進(jìn)行對兩個(gè)幀(在實(shí)施例1中將同一幀(第n幀)作為對象)的第一與第二編碼處理，等效地實(shí)現(xiàn)二路徑編碼動作。
在圖6中就編碼半D1格式的圖像(幀)時(shí)的期間分配作了說明。如該圖所示，將作為半D1格式的二路徑編碼處理用的期間的宏塊處理期間TMB21、TMB22設(shè)置在一個(gè)幀期間中，在一個(gè)幀期間內(nèi)執(zhí)行半D1格式的二路徑編碼處理。還有，圖像前處理期間tp11，tp21是設(shè)置在宏塊處理期間TMB11、TMB22前面的圖像前處理時(shí)間，圖像后處理期間tp12，tp22是設(shè)置在宏塊處理期間TMB21，TMB22后面的圖像后處理時(shí)間。
這里，進(jìn)行第第n幀(半D1格式)的編碼時(shí)，在前半期間(宏塊處理期間TMB21)一次實(shí)施MPEG2的編碼動作。這時(shí)，編碼時(shí)所生成的種種編碼參數(shù)(參照下述內(nèi)容)由圖4的參數(shù)輸入輸出部408通過SDRAM接口部410存儲到外部DRAM411的編碼參數(shù)區(qū)域。在本實(shí)施例中，編碼參數(shù)被分類存儲在圖像級、宏塊級(對每一宏塊，存儲區(qū)域被分配到宏塊級上)上。這時(shí)，由于發(fā)生的比特流不直接使用(編碼中僅使用編碼參數(shù))，需要存儲在外部DRAM411中。這里，所謂編碼參數(shù)，例如為表示下述內(nèi)容的參數(shù)。
(編碼參數(shù)在圖像級時(shí)為)·圖像類型·目標(biāo)比特·發(fā)生代碼量·平均量化步長(quantization step)·f代碼(表示運(yùn)動向量的范圍)·其它統(tǒng)計(jì)值(像素的平均值、方差值等)(編碼參數(shù)在宏塊級時(shí)為)·運(yùn)動向量候補(bǔ)及其評價(jià)值·量化步長·宏塊類型和用于判定的參數(shù)值·發(fā)生代碼量·其它參數(shù)如圖6所示，在幀的前半期間，如果半D1格式圖像的編碼一旦結(jié)束，接著就進(jìn)入后半的編碼動作。依次從外部DRAM411經(jīng)由參數(shù)輸入輸出部408讀出由前半的編碼得到的編碼參數(shù)，作為實(shí)施編碼時(shí)的編碼參數(shù)加以參照，從而使用必要的信息。這時(shí)，由于圖像級、宏塊級的編碼參數(shù)的存儲地點(diǎn)事前已判明，參數(shù)輸入輸出部408必要時(shí)可以通過從外部DRAM411讀出來得到需要的信息。
圖7是表示外部DRAM411的存儲映象的說明圖。如該圖所示，在SDRAM存儲區(qū)域10中被映象與用于重新排序和二路徑編碼的延遲幀對應(yīng)的原圖像區(qū)域12(n個(gè)幀)；編碼用的重構(gòu)圖像區(qū)域11(2個(gè)幀)；比特流區(qū)域13；編碼參數(shù)區(qū)域14及預(yù)備區(qū)域15。
如圖7所示，編碼參數(shù)區(qū)14再被分割成圖像區(qū)14p和宏塊區(qū)14m，宏塊區(qū)14m在二維(L×M)上被映象。在二維上映象的宏塊單位參數(shù)MB(X(1～L中的任意一個(gè))，y(1～M中的任意一個(gè)))上，分別存儲運(yùn)動預(yù)測系參數(shù)、DCT、量化系統(tǒng)參數(shù)、發(fā)生比特量參數(shù)、各種統(tǒng)計(jì)值和亮度信號(Y1～Y4)，以及由色差信號(Cb～Cr)系統(tǒng)參數(shù)構(gòu)成的參數(shù)群。這些參數(shù)群的各參數(shù)以宏塊為單位被配置成固定長度。
于是，宏塊區(qū)14m將宏塊單位參數(shù)配置在二維上，從而有這樣的效果使宏塊單位的參數(shù)取得用的地趾容易生成。
為此，在后段的編碼中，能夠?qū)⑷我鈪^(qū)的編碼參數(shù)隨機(jī)取出。也就是說，如圖7所示，如果將宏塊單位參數(shù)預(yù)先存儲在SDRAM存儲器區(qū)10內(nèi)的宏塊區(qū)14m內(nèi)，就可以容易地以宏塊為單位進(jìn)行二維尋址，特別是要在有關(guān)運(yùn)動預(yù)測的參數(shù)群成為編碼對象的宏塊的上下左右參照時(shí)，可以容易地抽出參數(shù)。
圖8是表示實(shí)施例1的編碼LSI對半D1格式的信號的二路徑編碼處理內(nèi)容的具體例的說明圖。
圖8表示原圖像輸入以B1，B2，I3，B4，B5，P6，B7，B8，I9，B10，B11，P12，B13，B14，I15的順序進(jìn)行時(shí)(I，P，B分別代表I圖像，P圖像，B圖像)，編碼順序?yàn)镮3，B1，B2，P6，B4，B5，I9，B7，B8，P12，B10，B11，...時(shí)，以二路徑對「P6」進(jìn)行編碼的例子。
圖9是表示在實(shí)施例1的編碼控制部407的控制下對半D1格式的視頻信號的二路徑編碼處理的處理流程的流程圖。下面，參照圖9就基于圖8所示例子的實(shí)施例1的二路徑編碼處理進(jìn)行說明。
首先，在步驟S1中，在前半幀期間執(zhí)行由MPEG2編碼器402產(chǎn)生的第一編碼處理。
在相當(dāng)于前半幀期間的圖8的期間T1中，按圖像前處理期間tp11，宏塊處理期間TMB31，圖像后處理期間tp12的順序設(shè)定期間。然后，在宏塊處理期間TMB31中對「P6」進(jìn)行用于編碼參數(shù)生成的第一編碼處理。
接著，在步驟S2中，將用第一編碼處理得到的編碼參數(shù)(編碼處理信息)存儲在外部DRAM411中。也就是，編碼參數(shù)從視頻信號輸入輸出部、運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404、DCT/Q及IDCT/IQ部405及可變長度編碼部406經(jīng)由編碼控制部407供給參數(shù)輸入輸出部408，參數(shù)輸入輸出部408經(jīng)由參數(shù)SDRAM接口部410向外部DRAM411存儲編碼參數(shù)。這時(shí)，由第一編碼處理得到的編碼參數(shù)如圖7所示被存儲到外部DRAM411的SDRAM存儲器區(qū)10。
之后，在后半幀期間，執(zhí)行由MPEG2編碼器402產(chǎn)生的第二編碼處理。這時(shí)，利用在步驟S2中得到的編碼參數(shù)。
在相當(dāng)于后半幀期間的圖8的期間T2中，按圖像前處理期間tp21、宏塊處理期間TMB32、圖像后處理期間tp22的順序設(shè)定期間。然后，在宏塊處理期間TMB32中，對「P6」進(jìn)行用以生成比特流信號SBS的第二編碼處理。
這時(shí)，將第一編碼處理得到的編碼參數(shù)從外部DRAM411的SDRAM存儲區(qū)10讀出，通過用該編碼參數(shù)執(zhí)行第二編碼處理，可以更高效地得到被編碼的比特流信號SBS。
存儲在外部DRAM411上的編碼參數(shù)經(jīng)由外部DRAM411供給參數(shù)輸入輸出部408。參數(shù)輸入輸出部408將得到的編碼參數(shù)經(jīng)由編碼控制部407供給視頻信號輸入輸出部403、運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404、DCT/Q及IDCT/IQ部405及可變長度編碼部406。
于是，實(shí)施例1的編碼LSI401可以對半D1格式的同一幀(第n幀)的「P6」，在1幀期間中進(jìn)行采用二路徑編碼處理的編碼處理。
因此，由于共同使用相同的MPEG2編碼器402來執(zhí)行第一與第二編碼處理，因此不使第一與第二編碼處理的編碼所用的資源增加。加之，由于在1幀期間不設(shè)置休止期間，連續(xù)地進(jìn)行第一與第二編碼處理，可以高效進(jìn)行二路徑編碼處理。
另外，由于執(zhí)行對同一幀的二路徑編碼處理，可以在1幀期間中完全執(zhí)行對一個(gè)幀的編碼。
還有，在圖8所示的具體例中，就進(jìn)行半D1的分辨率變換時(shí)的二路徑編碼作了說明，而對于3/4D1、2/3D1格式而言，在傳統(tǒng)的現(xiàn)行TV尺寸的編碼處理能力的MPEG2編碼器中，由于上述方式的二路徑編碼的處理能力不足，在實(shí)施3/4D1格式的二路徑編碼時(shí)，需要現(xiàn)行(MPML)MPEG2編碼器的1.5倍(3/4的2倍)的處理能力；在2/3D1格式的二路徑編碼時(shí)，需要現(xiàn)行(MPML)MPEG2編碼器的1.33倍(2/3的2倍)的處理能力；本實(shí)施例的效果在于與簡單地將兩個(gè)系統(tǒng)的MPEG2編碼器作一般的串連連接(圖3)時(shí)相比，能夠用較少的處理時(shí)間實(shí)現(xiàn)二路徑編碼。
<實(shí)施例2>
在實(shí)施例1的結(jié)構(gòu)及編碼動作中，示出了為得到二路徑編碼參數(shù)的編碼動作(第一編碼處理)和將同一幀作為對象實(shí)施實(shí)際編碼(第二編碼處理)的情況。
在實(shí)施例2中，在為得到二路徑編碼的編碼參數(shù)的第一編碼處理和第二編碼處理之間，實(shí)施將不同的幀作為對象的處理。
圖10是表示由實(shí)施例2的編碼LSI產(chǎn)生的二路徑編碼順序的說明圖。
該圖所示的是原圖像輸入以B1，B2，I3，B4，B5，P6，B7，B8，I9，B10，B11，P12，B13，B14，I15的順序進(jìn)行時(shí)，編碼順序在I3，B1，B2，P6，B4，B5，I9，B7，B8，P12，B10，B11，...的場合，以二路徑進(jìn)行對「I9」及「P6」的編碼的例子。
在進(jìn)行前段編碼的期間T1，按圖像前處理期間tp11、宏塊處理期間TMB41、圖像后處理期間tp12的順序設(shè)定期間。然后，在宏處理期間TMB41，對「I9」進(jìn)行用于生成編碼參數(shù)的第一編碼處理。由第一編碼處理所得到的編碼參數(shù)被存儲到外部DRAM411的SDRAM存儲區(qū)10。
圖11是表示在實(shí)施例2的外部DRAM411的SDRAM存儲區(qū)10中的存儲映象的說明圖。如該圖所示，編碼參數(shù)區(qū)17被分割為部分編碼參數(shù)區(qū)17a～17d上。另外，而比特流區(qū)13由4個(gè)幀的部分比特流區(qū)13a～13d構(gòu)成(圖7中未示出)。
因此，對「I9」生成編碼參數(shù)時(shí)，如圖11所示，在部分編碼參數(shù)區(qū)17a中存儲由對「P6」的第一編碼處理所得到的編碼參數(shù)，在部分編碼區(qū)17b中存儲由對「B4」的第一編碼處理所得到的編碼參數(shù)，在部分編碼參數(shù)區(qū)17c中已經(jīng)存儲有由對「B5」的第一編碼處理所得到的編碼參數(shù)。而在部分編碼參數(shù)區(qū)17d中存儲由最新的第一編碼處理所得到的「I9」用的編碼參數(shù)。
也就是說，在實(shí)施例2中，對于實(shí)際編碼對象的幀(第n幀)，利用了對該幀(第n幀)以及其后續(xù)的3幀(第(n+1)幀～第(n+3)幀)的第一編碼處理產(chǎn)生的編碼參數(shù)。
在進(jìn)行后段編碼的期間T2中，按圖像前處理期間tp21、宏塊處理期間TMB42、圖像后處理期間tp22的順序設(shè)定期間。然后，在宏塊處理期間TMB42中，對「P6」進(jìn)行用于比特流信號生成的第二編碼處理。這時(shí)，使用存儲在編碼參數(shù)區(qū)17上的由第一編碼處理所得到的4個(gè)幀(P6，B4，B5，I9)的編碼參數(shù)。
于是，在實(shí)施例2中，通過執(zhí)行對不同幀的第一與第二編碼處理，可以更有效的編碼。也就是，在1幀期間對半D1格式的幀的「P6」進(jìn)行利用了4個(gè)幀的編碼參數(shù)的基于二路徑編碼處理的編碼處理，從而可以高效地編碼。
因此，在實(shí)施例2中，可以進(jìn)行更高效的編碼控制，實(shí)現(xiàn)高畫質(zhì)化。另外，4個(gè)幀的編碼參數(shù)也可以不全部使用，而是根據(jù)需要適當(dāng)?shù)剡x擇利用。
<實(shí)施例3>
實(shí)施例1中所示的情況是前半幀的編碼動作用于抽出編碼參數(shù)，而從中輸出的比特流并不被使用。
在實(shí)施例3中，將由第一編碼處理得到的比特流信號SBS預(yù)先存儲在外部DRAM411上以備再利用。另外，實(shí)施例3與實(shí)施例2一樣，在為了得到二路徑編碼的編碼參數(shù)的第一編碼處理與第二編碼處理之間，實(shí)施將不同的幀作為對象的處理。
圖12是表示由實(shí)施例3的編碼LSI產(chǎn)生的二路徑編碼順序的說明圖。
該圖示出以B1，B2，I3，B4，B5，P6，B7，B8，I9，B10，B11，P12，B13，B14，I15的順序進(jìn)行原圖像輸入時(shí)，編碼順序在I3，B1，B2，P6，B4，B5，I9，B7，B8，P12，B10，B11，...的場合，以二路徑進(jìn)行對「P6」的編碼的例子。
在進(jìn)行前段的編碼的期間T1中，按圖像前處理期間tp11、宏塊處理期間TMB51、圖像后處理期間tp12的順序設(shè)定期間。然后，在宏塊處理期間TMB51中，對I9進(jìn)行用于編碼參數(shù)及比特流信號生成的第一編碼處理。由第一編碼處理得到的第一比特流信號被存儲在外部DRAM411的SDRAM存儲區(qū)10的比特流區(qū)16中。
在該時(shí)刻，已經(jīng)執(zhí)行的3個(gè)前面的幀(第n幀～第(n+2)幀)的由第一編碼處理產(chǎn)生的第一比特流信號也已經(jīng)被存儲在SDRAM存儲區(qū)10中。
另外，與實(shí)施例2一樣，對于實(shí)際編碼對象的幀(第n幀)，對該幀(第n幀)以及其后續(xù)的3幀(第(n+1)幀～第(n+3)幀)的第一編碼處理產(chǎn)生的編碼參數(shù)也被存儲在SDRAM存儲區(qū)10中。
圖13是表示在實(shí)施例3的外部DRAM411的SDRAM存儲區(qū)10中的存儲映象的說明圖。如該圖所示，除了比特流區(qū)13還設(shè)置了一路徑用比特流區(qū)16。由第一編碼處理得到的比特流信號被存儲在一路徑用比特流區(qū)16內(nèi)。比特流區(qū)16與比特流區(qū)13一樣，也由4個(gè)幀的部分比特流區(qū)16a～16d構(gòu)成。
在進(jìn)行后段編碼的期間T2，按圖像前處理期間tp21、宏塊處理期間TMB52、圖像后處理期間tp22的順序設(shè)定期間。然后，在宏塊處理期間TMB52，對「P6」進(jìn)行用于第二比特流信號生成的第二編碼處理。這時(shí)，與實(shí)施例2一樣，使用存儲于編碼參數(shù)區(qū)17的、由第一編碼處理得到的4個(gè)幀(P6，B4，B5，I9)的編碼參數(shù)。
然后，在與存儲在一路徑用比特流區(qū)16的幀「P6」對應(yīng)的第一比特流信號(存儲于比特流區(qū)16)與第二比特流信號(存儲于比特流區(qū)13)之間比較總比特量，將在第一與第二比特流信號中判斷為能夠以高效的狀態(tài)編碼的比特流信號，作為實(shí)際從比特流輸出端子414輸出的比特流信號SBS(輸出比特流信號)傳送出去。
于是，在實(shí)施例3中，通過一邊順次進(jìn)行對不同幀的第一與第二編碼處理，一邊從對應(yīng)于同一幀的第一與第二比特流信號有選擇地確定比特流信號SBS，能夠?qū)⒕幋a效率更高狀態(tài)的比特流信號SBS傳送出去。
<實(shí)施例4>
圖14是表示作為本發(fā)明實(shí)施例4的圖像編碼裝置結(jié)構(gòu)的方框圖。如該圖所示，圖像編碼裝置由編碼LSI501及外部DRAM411構(gòu)成。編碼LSI501內(nèi)的MPEG2編碼器502設(shè)有兩種運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404A及404B(第一與第二部分編碼部)，它們進(jìn)行同類的運(yùn)動預(yù)測/運(yùn)動補(bǔ)償而其內(nèi)容相異。
運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404A及404B受編碼控制部407的控制，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404A用于第一編碼處理時(shí)，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404B用于第二編碼處理時(shí)。運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404A進(jìn)行寬范圍低密度的運(yùn)動預(yù)測處理(第一部分編碼處理)，運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404B進(jìn)行窄范圍高密度預(yù)測處理(第二部分編碼處理)。其余結(jié)構(gòu)與示于圖4的編碼LSI401相同，凡與圖4相同的部分均附以相同的參照符號，其說明省略。
下面，利用在實(shí)施例1中用過的圖8，說明實(shí)施例4的編碼LSI501所作的二路徑編碼處理。
在進(jìn)行前段編碼的期間T1中，按圖像前處理期間tp11、宏塊處理期間TMB31、圖像后處理期間tp12的順序設(shè)定期間。然后，在宏塊處理期間TMB31中，對「P6」進(jìn)行使用運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404A的第一編碼處理。
該第一編碼處理主要是為了運(yùn)動補(bǔ)償用編碼參數(shù)的生成而進(jìn)行的，由第一編碼處理得到的編碼參數(shù)如圖7所示，被存儲在外部DRAM411的SDRAM存儲區(qū)10的編碼參數(shù)區(qū)17中。
在進(jìn)行后段編碼的期間T2中，按圖像前處理期間tp21、宏塊處理期間TMB32、圖像后處理期間tp22的順序設(shè)定期間。然后，在宏塊處理期間TMB32中，對「P6」進(jìn)行使用運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404B的第二編碼處理。
在進(jìn)行該第二編碼處理時(shí)，由于通過用由第一編碼處理得到的編碼參數(shù)可以縮小探索范圍，因此能在對處理時(shí)間不帶來壞影響的情況下進(jìn)行由用運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404B的高密度(高精度)的探索產(chǎn)生的運(yùn)動補(bǔ)償。
如此，通過將第一與第二編碼處理用不同的運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404A及404B來進(jìn)行，可以達(dá)到更適合第一與第二編碼處理的運(yùn)動預(yù)測/運(yùn)動補(bǔ)償。
另外，實(shí)施例4與實(shí)施例1處理內(nèi)容同樣地進(jìn)行了對同一幀的第一與第二編碼處理，但是也可以采用這樣的結(jié)構(gòu)，與實(shí)施例2、實(shí)施例3的處理內(nèi)容同樣地進(jìn)行對不同幀的第一與第二編碼處理。簡言之，可以在需要的第一編碼處理中使用運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404A，在第二編碼處理中使用運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部404B。
在實(shí)施例4中，示出了設(shè)置多種運(yùn)動預(yù)測/運(yùn)動補(bǔ)償部作為運(yùn)算裝置(部分編碼部)的例子，但是也可以設(shè)置多種其它的運(yùn)算裝置(視頻輸入輸出部，DCT/Q及IDCT/IQ部，可變長度編碼部或參數(shù)輸入輸出部)，使用在第一與第二編碼處理之間的不同種類的運(yùn)算裝置。
也就是說，通過設(shè)置多種僅采用二路徑編碼作有效的運(yùn)算裝置可以實(shí)現(xiàn)有效的二路徑編碼。另外，也可以采用這樣的結(jié)構(gòu)，使得第一路徑，第二路徑各自的編碼中用開關(guān)等適當(dāng)選擇采用哪一個(gè)運(yùn)算裝置，從而能夠?qū)崿F(xiàn)柔性的編碼。
如上所述，本發(fā)明第一方面的圖像編碼裝置的編碼控制部實(shí)施控制，以使運(yùn)動圖像編碼器在預(yù)定期間內(nèi)不設(shè)置休止期間地連續(xù)進(jìn)行第一與第二編碼處理。
因此，通過使用一個(gè)運(yùn)動圖像編碼器，不會使基于第一與第二編碼處理的編碼所用的資源增加。加之，由于在預(yù)定期間不設(shè)置休止期間地連續(xù)進(jìn)行第一與第二編碼處理，可以高效進(jìn)行二路徑編碼處理。
權(quán)利要求
1.一種圖像編碼裝置，其中設(shè)有輸入規(guī)定了運(yùn)動圖像的圖像信號，對該圖像信號進(jìn)行第一與第二編碼處理，并輸出比特流信號的運(yùn)動圖像編碼器，以及控制所述運(yùn)動圖像編碼器的編碼動作的編碼控制部；所述編碼控制部實(shí)施控制，使所述運(yùn)動圖像編碼器在預(yù)定期間內(nèi)不設(shè)置休止期間地連續(xù)進(jìn)行第一與第二編碼處理。
2.如權(quán)利要求1所述的圖像編碼裝置，其特征在于還設(shè)有連接至所述運(yùn)動圖像編碼器的存儲部；所述運(yùn)動圖像編碼器將由所述第一編碼處理得到的編碼處理用信息存儲到所述存儲部，在所述第二編碼處理時(shí)用從所述存儲部得到的所述編碼處理用信息執(zhí)行所述第二編碼處理并輸出所述輸出比特流信號。
3.如權(quán)利要求2所述圖像編碼裝置，其特征在于所述運(yùn)動圖像編碼器包含執(zhí)行同種而內(nèi)容相異的第一與第二部分編碼處理的第一與第二部分編碼部；所述第一編碼處理包含由所述第一部分編碼部執(zhí)行的所述第一部分編碼處理；所述第二編碼處理包含由所述第二部分編碼部執(zhí)行的所述第二部分編碼處理。
4.如權(quán)利要求2所述的圖像編碼裝置，其特征在于所述編碼處理用信息包含規(guī)定了所述第二編碼處理所需的種種參數(shù)的編碼參數(shù)。
5.如權(quán)利要求1所述的圖像編碼裝置，其特征在于還設(shè)有連接至所述運(yùn)動圖像編碼器的存儲部；所述運(yùn)動圖像編碼器將由所述第一編碼處理得到的第一比特流信號存儲到所述存儲部，執(zhí)行所述第二編碼處理并得到第二比特流信號，基于對該第二比特流信號和從所述存儲部得到的所述第一比特流信號的比較結(jié)果，作為所述輸出比特流信號輸出一個(gè)比特流信號。
6.如權(quán)利要求1至權(quán)利要求5中任一項(xiàng)所述的圖像編碼裝置，其特征在于所述第一與第二編碼處理針對與同一幀對應(yīng)的圖像信號進(jìn)行。
7.如權(quán)利要求1至權(quán)利要求5中任一項(xiàng)所述的圖像編碼裝置，其特征在于所述第一與第二編碼處理針對與不同幀對應(yīng)的圖像信號進(jìn)行。
8.如權(quán)利要求2至權(quán)利要求5中任一項(xiàng)所述的圖像編碼裝置，其特征在于所述存儲部將所述編碼處理用信息二維地存儲在宏塊單位上。
全文摘要
本發(fā)明提供不增加硬件(編碼資源)地高效實(shí)現(xiàn)二路徑編碼處理的圖像編碼裝置。經(jīng)第一編碼處理得到的編碼參數(shù)從各信號處理部403～406經(jīng)由編碼控制部407傳送給參數(shù)輸入輸出部408，參數(shù)輸入輸出部408經(jīng)由SDRAM接口部410將編碼參數(shù)存儲到外部DRAM411。在第二編碼處理時(shí)，存儲于外部DRAM411的編碼參數(shù)經(jīng)由外部DRAM411傳送給參數(shù)輸入輸出部408，參數(shù)輸入輸出部408將得到的編碼參數(shù)經(jīng)由編碼控制部407供給各信號處理部403～406。
文檔編號H03M7/30GK1527608SQ20041000169
公開日2004年9月8日 申請日期2004年1月5日 優(yōu)先權(quán)日2003年3月6日
發(fā)明者松村哲哉, 熊木哲 申請人:株式會社瑞薩科技