專利名稱：圖像處理設(shè)備和方法及程序的制作方法
技術(shù)領(lǐng)域：
oooii本發(fā)明涉及圖像處理設(shè)備和方法及程序，并且特別涉及能
夠更可靠地將代碼量抑制到期望值以下的圖像處理設(shè)備和方法以及程序。
背景技術(shù)：
第二代碼量控制裝置可執(zhí)行控制以使用零來替換除直流 成分以外的頻率成分的變換系數(shù)。第二代碼量控制裝置可執(zhí)行控制以使用零來替換包括直 流成分在內(nèi)的全部頻率成分的變換系數(shù)。
0011第二代碼量控制裝置可執(zhí)行控制以改變頻率成分范圍，其 中基于第 一代碼量控制裝置分配給每個畫面的代碼量而使用零來替換 變換系數(shù)。第二代碼量控制裝置執(zhí)行控制以改變頻率成分的范圍，其 中基于宏塊所屬的片段(slice)的類型而使用零來替換變換系數(shù)。笫二代碼量控制裝置可執(zhí)行控制以在亮度信號的內(nèi)預(yù)測 中應(yīng)用內(nèi)部16xl6才莫式。根據(jù)本發(fā)明一個方面的圖像處理方法，在用于按照MPEG (運動圖像編碼專家組)4系統(tǒng)或H.264/AVC (高級視頻編碼)系統(tǒng) 對圖像進行編碼的圖像處理方法中，包括以下步驟確定用于控制比 特率的代碼量控制裝置控制的每幅畫面的代碼量是否可能超過預(yù)定的 上限；以及如果確定每幅畫面的代碼量可能超過所述上限，則按照不 同于所述代碼量控制裝置的方法來控制編碼以抑制代碼量。101-圖像處理設(shè)備，114-正交轉(zhuǎn)換部件，115-量化部件，118-速率控制部件，119-緊急才莫式控制部件，125-內(nèi)預(yù)測部件，126-運動預(yù) 測/補償部件，127-模式確定部件，141-緊急模式確定部件，142-代碼
量控制部件
具體實施例方式下面，將參照附圖描述本發(fā)明的實施例。無損編碼部件116從內(nèi)預(yù)測部件125獲得有關(guān)內(nèi)預(yù)測的信 息，并且從運動預(yù)測/補償部件126獲得有關(guān)間預(yù)測的信息。無損編碼 部件117以預(yù)定的次序排列量化的變換系數(shù)、有關(guān)內(nèi)預(yù)測的信息和有 關(guān)間預(yù)測的信息等，并且在排列過的數(shù)據(jù)上執(zhí)行無損編碼處理，包括 諸如基于上下文的自適應(yīng)可變長度編碼(Context-Adaptive Variable Length Coding, CAVLC )的可變長度編碼，諸如基于上下文的自適應(yīng) 二進制算術(shù)編碼 (Context-Adaptive Binary Arithmetic Coding, CABAC)的算術(shù)編碼等。無損編碼部件116把經(jīng)過編碼的數(shù)據(jù)提供給 存儲緩沖器117以存儲?；诖鎯υ诖鎯彌_器117中的圖像代碼量，速率控制部 件118控制比特率，所述比特率是單位時間分配給待編碼圖像的代碼 量。例如，速率控制部件118通過控制量化比率的值來控制比特率， 所述量化比率的值是在量化中，量化部件115使用MPEG-2測試模型 5(TM5)中定義的速率控制方法來除變換系數(shù)的值。此外，速率控 制部件118計算目標比特，其是分配給下一個將要編碼的圖像(畫面) 的代碼量的估計值，并且提供指示所計算的目標比特的信息給緊急模 式控制部分119。如果緊急模式確定部件141確定每幅畫面的代碼量可能會 超過預(yù)定的上限，代碼量控制部件142控制編碼以根據(jù)不同于比率控 制部件118的方法，通過控制由正交轉(zhuǎn)換部件114、內(nèi)預(yù)測部件125 或模式確定部件127執(zhí)行的處理來抑制代碼量，就像稍后將參照圖3 描述的那樣。去塊化濾波器123根據(jù)解碼圖像來執(zhí)行去塊化處理，用于 消除塊失真(block distortion)。去塊化濾波器123提供其中執(zhí)行過 去塊化處理的圖像給幀存儲器124。此外，去塊化濾波器123把未經(jīng) 去塊化處理的解碼圖像作為用于內(nèi)預(yù)測的圖像提供給幀存儲器124。內(nèi)預(yù)測部件125使用相鄰于存儲在幀存儲器124的相同幀 中的宏塊的編碼像素，在每個宏塊上執(zhí)行內(nèi)預(yù)測，用于產(chǎn)生原始圖像 的內(nèi)預(yù)測圖像。注意到如上所述，執(zhí)行去塊化處理前的解碼圖像的像 素在內(nèi)預(yù)測中使用。模式確定部件127使用例如低復(fù)雜度模式(高速模式)來
確定將應(yīng)用于每個宏塊的預(yù)測模式。此外，就像稍后將參照圖3描述的那樣，在緊急模式中， 在代碼量控制部件119的控制下，模式確定部件127限制將應(yīng)用于每 個宏塊的預(yù)測模式。如果模式確定部件127選擇所述內(nèi)預(yù)測模式之一，則模式 確定部件127提供表明所選內(nèi)預(yù)測模式的信息給內(nèi)預(yù)測部件125。內(nèi) 預(yù)測部件125基于所選內(nèi)預(yù)測模式而生成內(nèi)預(yù)測圖像，并且提供所生 成的內(nèi)預(yù)測圖像至模式確定部件127。此外，內(nèi)預(yù)測部件125把諸如 所選預(yù)測模式的信息，作為關(guān)于內(nèi)預(yù)測的宏塊的內(nèi)預(yù)測信息，提供給 無損編碼部件116。此外，如果模式確定部件127選擇所述間預(yù)測模式之一， 則模式確定部件127把表明所選的間預(yù)測模式的信息提供給運動預(yù)觀，V 補償部件126。運動預(yù)測/補償部件126檢測運動矢量并且基于所選的 間預(yù)測模式生成間預(yù)測圖像，并且提供所生成的間預(yù)測圖像給模式確 定部件127。此外，模式預(yù)測/補償部件126把諸如所選預(yù)測模式、所 檢測的運動矢量和參考圖像(畫面)數(shù)量的信息，作為有關(guān)間預(yù)測的 宏塊的間預(yù)測的信息，提供給無損編碼部件116。模式確定部件127將基于所選的預(yù)測模式而生成的內(nèi)預(yù)測 圖像或間預(yù)測圖像提供給加法器113和加法器122。接下來，參照圖2的流程圖，將對

圖1中圖像處理設(shè)備101 所執(zhí)行的編碼處理進行描述。注意到，當例如從外面的圖像到圖像處 理設(shè)備101的圖像輸入開始時，開始該處理。在步驟S1，圖像處理設(shè)備101開始圖# 編碼。即，圖像處 理設(shè)備101的諸部件開始參照圖1所述的操作，從而按照H.264/AVC 系統(tǒng)開始對圖像進行編碼。此外，開始進行稍候?qū)⒄請D3描述的緊
12急才莫式應(yīng)對處理。接下來，參照圖3的流程圖，將描述在上面參照圖2描述 的編碼處理過程中，圖像處理設(shè)備101執(zhí)行的緊急模式應(yīng)對處理。在步驟S21,比率控制部件118計算下一個畫面的目標比 特。具體地說，比率控制部件118基于存儲在存儲緩沖器117中的圖 像的代碼量來計算下一個畫面的目標比特，例如，使用在TM5中定 義的比率控制方法。比率控制部件118提供表明所計算的目標比特的 信息給緊急模式確定部件141。例如，在T表示下一幀的目標比特、0表示每幅畫面的代 碼量上限，并且Thl、 Th2和Th3 (這里，Thl< Th2< Th3 )表示關(guān) 于每幅畫面的代碼量的預(yù)定閾值的情況下，在代碼量控制部件142的 控制下，如果Thl<T-0<Th2,則正交轉(zhuǎn)換部件114使用零替換除了 直流(DC)成分之外的預(yù)定頻率成分和與其不同的另一特定頻率成分 的變換系數(shù)值。如果Th2^T-0〈Th3，則正交轉(zhuǎn)換部件114使用零替換
13除了 DC成分以外的頻率成分的變換系數(shù)值。如果Th3^T-0，則正交 轉(zhuǎn)換部件114使用零替換包括DC成分在內(nèi)的全部頻率成分的變換系 數(shù)值。也就是說，使用零替換變換系數(shù)的頻率成分范圍基于目標比特 T而變化。更具體地說，當目標比特T增大時，使用零替換變換系數(shù) 的頻率成分范圍增加，使得代碼量抑制的更多。此外，使用零替換變換系數(shù)的頻率成分范圍可以改變，例 如，基于宏塊所屬的片段類型。例如，就屬于I (內(nèi))片段的宏塊而 言，可使用零替換包括DC成分在內(nèi)的全部頻率成分的變換系數(shù)值， 并且就屬于P片段或B片段的宏塊而言，可使用零替換除了 DC成分 以外的頻率成分的變換系數(shù)值。也就是說，使用零替換變換系數(shù)的頻 率成分范圍增加，使得在具有趨于大于P或B片段的代碼量的屬于I 片段的宏塊中，比在屬于P或B片段的宏塊中，代碼量抑制的更多。因此，預(yù)定頻率成分的變換系數(shù)被零替換，從而抑制了代碼量。注意到正交轉(zhuǎn)換部件114繼續(xù)使用零替換變換系數(shù)，直到 在稍后描述的步驟S28中緊急模式被取消為止。此外，例如，就亮度信號而言，可僅為存在更小量代碼的內(nèi)16x16模式計算成本值Cost (Mode)。此外，將采用的預(yù)測模式可受到限制，例如，基于宏塊所屬的片段的類型。例如，就屬于I片段的宏塊的亮度信號而言，可僅為內(nèi)16x16模式計算成本值Cost (Mode),并且就屬于P片段或B片段的宏塊的亮度信號而言，可分別為內(nèi)4x4模式、內(nèi)8x8模式(僅在應(yīng)用高端的情況下)和內(nèi)16x16模式計算成本值Cost (Mode)。也就是說，作為執(zhí)行內(nèi)預(yù)測的單位的塊被設(shè)置的更大，使得在具有趨于大于P或B片段的代碼量的屬于I片段的宏塊中，比在屬于P或B片^L的宏塊中，代碼量抑制的更多。在步驟S26，在代碼量控制部件142的控制下， 一莫式確定部件127限制將要應(yīng)用的間預(yù)測模式。例如，就屬于B片段的宏塊而言，在代碼量控制部件142的控制下，模式確定部件127把間預(yù)測模式的選擇限制在跳過模式和直接模式。也就是說，把將要應(yīng)用到屬于B片段的宏塊的預(yù)測模式限制到步驟S25中所限制的任一內(nèi)預(yù)測模式，直接模式和跳過模式?；诔杀局礐ost (Mode),才莫式確定部件127從限制的預(yù)測模式中選擇待應(yīng)用于宏塊的預(yù)測模式。注意到模式確定部件127繼續(xù)限制間預(yù)測模式，直到在稍 后描述的步驟S28中取消緊急模式為止。如上所述，如果確定每幅畫面的代碼量可能超過預(yù)定的上 限，則使用零替換預(yù)定頻率成分的變換系數(shù)，要應(yīng)用的內(nèi)預(yù)測模式受 到限制，或者要應(yīng)用的間預(yù)測模式受到限制，從而可能更可靠的把代 碼量抑制到所述上限之下。此外，當基于目標比特值、宏塊所屬的片段類型或上述類似條件而選擇將要在步驟S24至S26的各步驟中執(zhí)行的處理時，可從步驟S24至S26中選擇將要實際執(zhí)行的步驟。例如，在Thll、 Thl2和Thl3 (這里，Thll<Thl2<Thl3)表示關(guān)于每幅畫面的代碼量的預(yù)定閾值的情況中，如果Thll<T-€)<Thl2，則在步驟S25內(nèi)預(yù)測才莫式可限制在DC模式。如果Th2ST-CXTh3，則在步驟S25內(nèi)預(yù)測模式可被限制在內(nèi)16x16模式。如果Th3^T-0，則在步驟24使用零來替換預(yù)定頻率成分的變換系數(shù)。圖4是示出按照程序執(zhí)行上述連續(xù)處理的個人計算機的配置例子的方塊圖。CPU (中央處理單元)301按照存儲在ROM (只讀存儲器)302或存儲部件308中的程序執(zhí)行各種處理。在RAM (隨機存取存儲器)303中，適當存儲有CPU301執(zhí)行的程序、數(shù)據(jù)等。CPU 301、 ROM 302和RAM 303通過總線304相互連接。如圖4所示，用于存儲安裝在計算機中并可由計算機執(zhí)行 的程序的程序記錄介質(zhì)包括可移除介質(zhì)311,其為由磁盤(包括軟盤)、 光盤(包括CD-ROM(壓縮盤只讀存儲器)和DVD(數(shù)字多功能盤))、 磁光盤或半導體存儲器等構(gòu)成的封裝介質(zhì)；或者其中臨時或永久地存 儲程序的ROM302;以及構(gòu)成記錄部件308的硬盤。通過使用有線或 無線通信介質(zhì)，例如局域網(wǎng)、因特網(wǎng)或通過適當作為諸如路由器或調(diào) 制解調(diào)器的接口的通信部件309的數(shù)字衛(wèi)星廣播，將程序存儲在程序 存儲介質(zhì)中。此外，本說明書中，用于描述存儲在程序記錄介質(zhì)中的程
理，而且還表示不必以時間序列方式，并發(fā)或單獨執(zhí)行的處理。
[0113此外，本發(fā)明的實施例不限于上述實施例，并且在不脫離 本發(fā)明的范圍和精神的情況下，可進行各種更改。
18
權(quán)利要求
1. 一種用于按照MPEG4系統(tǒng)或H.264/AVC系統(tǒng)對圖像進行編碼的圖像處理設(shè)備，包括確定裝置，用于確定由用于控制比特率的第一代碼量控制裝置控制的每幅畫面的代碼量是否可能超過預(yù)定的上限；和第二代碼量控制裝置，用于如果確定每幅畫面的代碼量可能超過所述上限，則按照不同于所述第一代碼量控制裝置的方法來控制編碼以抑制所述代碼量。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述確定裝置基于所述第一代碼量控制裝置分配給每幅畫面的代碼量來確定每幅畫面的代碼量是否可能超過所述預(yù)定的上限。
3. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置執(zhí)行控制以使用零來替換通過在作為原始圖像和預(yù)測圖像的差異的差分圖像中的宏塊上執(zhí)行正交變換而獲得的變換系數(shù)中的預(yù)定頻率成分的變換系數(shù)。
4. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置執(zhí)行控制以使用零來替換除直流成分以外的頻率成分的變換系數(shù)。
5. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置執(zhí)行控制以使用零來替換包括直流成分在內(nèi)的全部頻率成分的變換系數(shù)。
6. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置基于所述第一代碼量控制裝置分配給每幅畫面的代碼量，執(zhí)行控制以改變其中使用零來替換變換系數(shù)的頻率成分范圍畫面。
7. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置基于宏塊所屬的片段的類型，執(zhí)行控制以改變其中使用零來替換變換系數(shù)的頻率成分范圍。
8. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置控制用于產(chǎn)生預(yù)測圖像的預(yù)測模式。
9. 根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置執(zhí)行控制，以把相同的預(yù)測方向應(yīng)用到作為執(zhí)行內(nèi)預(yù)測的單位的每個塊。
10. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置執(zhí)行控制以將DC模式應(yīng)用于每個塊。
11. 根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置執(zhí)行控制以在亮度信號的內(nèi)預(yù)測中應(yīng)用內(nèi)16x16模式。
12. 根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置基于宏塊所屬的片段的類型而控制作為執(zhí)行內(nèi)預(yù)測的單位的塊的大小。
13. 根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置執(zhí)行控制以應(yīng)用跳過模式作為用于屬于P片段的宏塊的預(yù)測模式。
14，根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中所述第二代碼量控制裝置執(zhí)行控制以應(yīng)用跳過模式或直接模式作為用于屬于B片段的宏塊的預(yù)測模式。
15. —種圖像處理方法，用于按照MPEG4系統(tǒng)或H.264/AVC系統(tǒng)對圖像進行編碼，所述圖像處理方法包括以下步驟確定用于控制比特率的代碼量控制裝置控制的每幅畫面的代碼量是否可能超過預(yù)定的上限；以及如果確定每幅畫面的代碼量可能超過所述上限，則按照不同于所述代碼量控制裝置的方法來控制編碼以抑制所述代碼量。
16. —種程序，用于允許計算機執(zhí)行用于按照MPEG4系統(tǒng)或H.264/AVC系統(tǒng)對圖像進行編碼的圖像處理，包括以下步驟確定用于控制比特率的代碼量控制裝置控制的每幅畫面的代碼量是否可能超過預(yù)定的上限；以及如果確定每幅畫面的代碼量可能超過所述上限，則按照不同于所述代碼量控制裝置的方法來控制編碼以抑制所述代碼量。
全文摘要
本發(fā)明涉及能可靠地把代碼量抑制到低于期望值的圖像處理設(shè)備和方法及程序。如果速率控制部件118計算出的目標比特超過預(yù)定上限，則緊急模式確定部件142確定下一畫面的代碼量可能超過上限。如果確定下一畫面的代碼量可能超過上限，則代碼量控制部件142控制正交轉(zhuǎn)換部件114以使用零來替換預(yù)定頻率成分的變換系數(shù)，控制內(nèi)預(yù)測部件125以限制所應(yīng)用的內(nèi)預(yù)測模式，并且控制模式確定部件127以限制所應(yīng)用的間預(yù)測模式。本發(fā)明可應(yīng)用于編碼設(shè)備。
文檔編號H04N7/32GK101491106SQ20078002680
公開日2009年7月22日 申請日期2007年7月13日 優(yōu)先權(quán)日2006年7月14日
發(fā)明者佐藤數(shù)史, 田中潤一, 矢崎陽一, 竺逸雯 申請人:索尼株式會社