技術領域

本公開涉及一種圖像處理裝置和圖像處理方法。

背景技術：

通常，如下壓縮技術是普及的：該壓縮技術的目的是有效地傳送或累積數(shù)字圖像，并且該壓縮技術例如通過使用圖像特有的冗余、通過運動補償和諸如離散余弦變換的正交變換來壓縮圖像的信息量。例如，在各種場景(諸如，通過廣播站進行的圖像的累積和分發(fā)以及通過一般用戶進行的圖像的接收和累積)中，廣泛使用符合諸如ITU-T開發(fā)的H.26x標準或MPEG(運動圖像專家組)開發(fā)的MPEG-y標準的標準技術的圖像編碼裝置和圖像解碼裝置。

H.26x標準(ITU-T Q6/16 VCEG)是最初以執(zhí)行適合于諸如視頻電話和視頻會議的通信的編碼的目的開發(fā)的標準。已知H.26x標準與MPEG-y標準相比，需要用于編碼和解碼的較大計算量，但是能夠?qū)崿F(xiàn)更高壓縮比。此外，利用作為MPEG4活動的一部分的增強壓縮視頻編碼的聯(lián)合模型，開發(fā)了雖然基于H.26x標準、但是通過采用新功能來允許實現(xiàn)更高壓縮比的標準。在2003年3月，該標準以H.264和MPEG-4部分10(高級視頻編碼：AVC)為名稱成為國際標準。

上述圖像編碼方法中的一個重要技術是畫面內(nèi)預測，即幀內(nèi)預測。幀內(nèi)預測是如下技術：使用圖像中相鄰塊之間的相關性，并且根據(jù)相鄰的其他塊的像素值來預測特定塊的像素值，由此降低要編碼的信息量。對于MPEG4之前的圖像編碼方法，僅正交變換系數(shù)的DC分量和低頻分量是幀內(nèi)預測的對象，而對于H.264/AVC，幀內(nèi)預測針對所有像素值是可能的。通過使用幀內(nèi)預測，對于像素值的變化是漸進的圖像(例如，諸如藍天的圖像)，可以期望壓縮率的顯著提高。

在H.264/AVC中，可以使用例如4×4像素、8×8像素、或16×16像素的塊作為處理單位(即，預測單位(PU))來進行幀內(nèi)預測。在作為繼H.264/AVC之后的下一代圖像編碼方案正進行標準化的HEVC(高效視頻編碼)中，預測單位的尺寸約擴展至32×32像素和64×64像素(參見非專利文獻1)。

為了進行幀內(nèi)預測，通常從多個預測模式中選擇對要預測的塊的像素值進行預測的最優(yōu)預測模式。通常，通過從參考像素到要預測的像素的預測方向來區(qū)分預測模式。在H.264/AVC中，例如，當預測色差分量時，可以選擇平均值預測、水平預測、垂直預測、以及平面預測四種預測模式。此外，在HEVC中，提出了稱為線性模型(LM)模式的另外的預測模式，該LM模式使用動態(tài)構建的亮度分量的線性函數(shù)作為預測函數(shù)來預測色差分量的像素值(參見非專利文獻2)。

引用列表

非專利文獻

非專利文獻1：Sung-Chang Lim,Hahyun Lee,Jinho Lee,Jongho Kim,Haechul Choi,Seyoon Jeong,Jin Soo Choi,“Intra coding using extended block size”(VCEG-AL28,2009年7月)

非專利文獻2：Jianle Chen等“CE6.a.4:Chroma intra prediction by reconstructed luma samples”(JCTVC-E266,2011年3月)

技術實現(xiàn)要素：

技術問題

然而，根據(jù)上述非專利文獻2中描述的技術，LM模型中構建預測函數(shù)需要的處理代價隨著參考像素的數(shù)量的增加而增加。因此，在預測單位的尺寸擴展至64×64像素的HEVC中，通過采用LM模式而增加處理代價可能使編碼和解碼性能降低。

因此，當如同LM模式、進行基于動態(tài)構建的預測函數(shù)的幀內(nèi)預測時，期望提供一種如下技術：該技術能夠避免或減輕構建預測函數(shù)需要的處理代價的增加。

問題的解決方案

根據(jù)本公開，提供了一種圖像處理裝置，包括：預測部，通過使用對應的亮度分量的值的函數(shù)，生成要解碼的圖像的像素的色差分量的預測值；系數(shù)計算部，通過參考像素所屬的塊周圍的像素，計算預測部使用的函數(shù)的系數(shù)；以及控制器，控制系數(shù)計算部使用的參考像素的數(shù)量與塊的塊尺寸的比率。

通常，上述圖像處理裝置可實現(xiàn)為對圖像進行解碼的圖像解碼裝置。

此外，根據(jù)本公開的實施例，提供了一種圖像處理方法，包括：通過使用對應的亮度分量的值的函數(shù)，生成要解碼的圖像的像素的色差分量的預測值；通過參考該像素所屬的塊周圍的像素，計算函數(shù)的系數(shù)；以及控制用于計算系數(shù)的參考像素的數(shù)量與塊的塊尺寸的比率。

此外，根據(jù)本公開的實施例，提供了一種圖像處理裝置，包括：預測部，通過使用對應的亮度分量的值的函數(shù)，生成要編碼的圖像的像素的色差分量的預測值；系數(shù)計算部，通過參考該像素所屬的塊周圍的像素，計算預測部使用的函數(shù)的系數(shù)；以及控制器，控制系數(shù)計算部使用的參考像素的數(shù)量與塊的塊尺寸的比率。

通常，上述圖像處理裝置可實現(xiàn)為對圖像進行編碼的圖像編碼裝置。

此外，根據(jù)本公開的實施例，提供了一種圖像處理方法，包括：通過使用對應的亮度分量的值的函數(shù)，生成要編碼的圖像的像素的色差分量的預測值；通過參考該像素所屬的塊周圍的像素，計算函數(shù)的系數(shù)；以及控制用于計算系數(shù)的參考像素的數(shù)量與塊的塊尺寸的比率。

此外，根據(jù)本公開的實施例，提供了一種圖像處理裝置，包括：預測部，使用要解碼的圖像的亮度分量，來進行圖像的色差分量的幀內(nèi)預測；以及控制器，可變地控制預測部進行幀內(nèi)預測時參考的參考像素。

該圖像處理裝置可實現(xiàn)為對圖像進行編碼的圖像編碼裝置或?qū)D像進行解碼的圖像解碼裝置。

此外，根據(jù)本公開的實施例，提供了一種圖像處理方法，包括：使用要解碼的圖像的亮度分量，來進行圖像的色差分量的幀內(nèi)預測；以及可變地控制進行色差分量的幀內(nèi)預測時參考的參考像素。

此外，根據(jù)本公開的一個方面，提供了一種圖像處理裝置，包括：指定單元，被配置為向包括N個塊的當前編碼塊指定當前編碼塊的處理順序為：按照從第一塊至第N塊的順序處理，并且在針對每一塊的處理中，依次處理該塊中的亮度塊和該塊中的色度塊，其中，N>2；以及編碼單元，被配置為根據(jù)所指定的處理順序?qū)Ξ斍熬幋a塊進行編碼。

根據(jù)本公開的另一個方面，還提供了一種圖像處理方法，包括：向包括N個塊的當前編碼塊指定當前編碼塊的處理順序為：按照從第一塊至第N塊的順序處理，并且在針對每一塊的處理中，依次處理該塊中的亮度塊和該塊中的色度塊，其中，N>2；以及根據(jù)所指定的處理順序?qū)Ξ斍熬幋a塊進行編碼。

發(fā)明的有利效果

根據(jù)本公開中的技術，當進行基于動態(tài)構建的預測函數(shù)的幀內(nèi)預測時，可以避免或減輕構建預測函數(shù)需要的處理代價的增加。

附圖說明

圖1是示出根據(jù)實施例的圖像編碼裝置的配置示例的框圖。

圖2是示出實施例的圖像編碼裝置的幀內(nèi)預測部的詳細配置的示例的框圖。

圖3是示出4×4像素的預測單位的亮度分量的預測模式候選的示例的說明圖。

圖4是示出與圖3中的示例有關的預測方向的說明圖。

圖5是示出與圖3中的示例有關的參考像素的說明圖。

圖6是示出8×8像素的預測單位的亮度分量的預測模式候選的示例的說明圖。

圖7是示出16×16像素的預測單位的亮度分量的預測模式候選的示例的說明圖。

圖8是示出色差分量的預測模式候選的示例的說明圖。

圖9A是示出LM模式中的參考像素的第一說明圖。

圖9B是示出LM模式中的參考像素的第二說明圖。

圖10是示出第一場景中的參考比的定義的示例的說明圖。

圖11A是示出根據(jù)第一場景控制的參考像素的數(shù)量的第一示例的說明圖。

圖11B是示出根據(jù)第一場景控制的參考像素的數(shù)量的第二示例的說明圖。

圖12是示出第二場景中的參考比的定義的示例的說明圖。

圖13A是示出根據(jù)第二場景控制的參考像素的數(shù)量的第一示例的說明圖。

圖13B是示出根據(jù)第二場景控制的參考像素的數(shù)量的第二示例的說明圖。

圖13C是示出根據(jù)第二場景控制的參考像素的數(shù)量的第三示例的說明圖。

圖13D是示出根據(jù)第二場景控制的參考像素的數(shù)量的第四示例的說明圖。

圖14是示出第三場景中的參考比的定義的示例的說明圖。

圖15A是示出根據(jù)第三場景控制的參考像素的數(shù)量的第一示例的說明圖。

圖15B是示出根據(jù)第三場景控制的參考像素的數(shù)量的第二示例的說明圖。

圖16是示出第四場景中的參考比的定義的示例的說明圖。

圖17A是示出根據(jù)第四場景控制的參考像素的數(shù)量的第一示例的說明圖。

圖17B是示出根據(jù)第四場景控制的參考像素的數(shù)量的第二示例的說明圖。

圖18A是示出根據(jù)第五場景控制的參考像素的數(shù)量的第一示例的說明圖。

圖18B是示出根據(jù)第五場景控制的參考像素的數(shù)量的第二示例的說明圖。

圖19是示出根據(jù)實施例的編碼時的幀內(nèi)預測處理的示例的流程圖。

圖20是示出圖19中的LM模式預測處理的詳細流程的示例的流程圖。

圖21是示出根據(jù)實施例的圖像解碼裝置的詳細配置的示例的框圖。

圖22是示出根據(jù)實施例的圖像解碼裝置的幀內(nèi)預測部的詳細配置的示例的框圖。

圖23是示出根據(jù)實施例的解碼時的幀內(nèi)預測處理的流程的示例的流程圖。

圖24是示出保存亮度分量被重采樣之后的像素值的存儲器的尺寸的說明圖。

圖25是示出根據(jù)第一變型例的稀疏(thinning)處理的示例的說明圖。

圖26A是示出與圖25中的示例不同的稀疏率的第一說明圖。

圖26B是示出與圖25中的示例不同的稀疏率的第二說明圖。

圖26C是示出與圖25中的示例不同的稀疏率的第三說明圖。

圖27A是示出參考像素的稀疏位置和亮度分量的稀疏位置之間的對應關系的第一示例的說明圖。

圖27B是示出參考像素的稀疏位置和亮度分量的稀疏位置之間的對應關系的第二示例的說明圖。

圖28是示出第二變型例采用的新處理的順序的說明圖。

圖29是示出電視機的示意性配置的示例的框圖。

圖30是示出移動電話的示意性配置的示例的框圖。

圖31是示出記錄/再現(xiàn)裝置的示意性配置的示例的框圖。

圖32是示出圖像捕獲裝置的示意性配置的示例的框圖。

具體實施方式

在下文中，將參照附圖詳細描述本發(fā)明的優(yōu)選實施例。注意，在該說明書和附圖中，用相同附圖標記表示具有基本相同的功能和結構的元件，并且省略重復說明。

此外，將按下述順序描述“具體實施方式”。

1.根據(jù)實施例的圖像編碼裝置的示例配置

2.根據(jù)實施例的編碼時的處理的流程

3.根據(jù)實施例的圖像解碼裝置的示例配置

4.根據(jù)實施例的解碼時的處理的流程

5.變型例

6.示例應用

7.總結

<1.根據(jù)實施例的圖像編碼裝置的示例配置>

[1-1.整體配置的示例]

圖1是示出根據(jù)實施例的圖像編碼裝置10的配置示例的框圖。參照圖1，圖像編碼裝置10包括A/D(模擬到數(shù)字)轉(zhuǎn)換部11、排序緩沖器12、減法部13、正交變換部14、量化部15、無損編碼部16、累積緩沖器17、速率控制部18、逆量化部21、逆正交變換部22、加法部23、解塊濾波器24、幀存儲器25、選擇器26和27、運動估計部30、以及幀內(nèi)預測部40。

A/D轉(zhuǎn)換部11將模擬格式輸入的圖像信號轉(zhuǎn)換成數(shù)字格式的圖像數(shù)據(jù)，并且將一系列數(shù)字圖像數(shù)據(jù)輸出到排序緩沖器12。

排序緩沖器12對從A/D轉(zhuǎn)換部11輸入的一系列圖像數(shù)據(jù)中包括的圖像進行排序。在依照根據(jù)編碼處理的GOP(圖片組)結構對圖像進行排序之后，排序緩沖器12將已排序的圖像數(shù)據(jù)輸出到減法部13、運動估計部30、以及幀內(nèi)預測部40。

從排序緩沖器12輸入的圖像數(shù)據(jù)以及由稍后描述的運動估計部30或幀內(nèi)預測部40輸入的預測圖像數(shù)據(jù)被供給至減法部13。減法部13計算作為從排序緩沖器12輸入的圖像數(shù)據(jù)和預測圖像數(shù)據(jù)之間的差的預測誤差數(shù)據(jù)，并且將所計算的預測誤差數(shù)據(jù)輸出到正交變換部14。

正交變換部14對從減法部13輸入的預測誤差數(shù)據(jù)執(zhí)行正交變換。例如，要由正交變換部14執(zhí)行的正交變換可以是離散余弦變換(DCT)或Karhunen-Loeve變換。正交變換部14將通過正交變換處理獲取的變換系數(shù)數(shù)據(jù)輸出到量化部15。

從正交變換部14輸入的變換系數(shù)數(shù)據(jù)和來自稍后描述的速率控制部18的速率控制信號被供給至量化部15。量化部15對變換系數(shù)數(shù)據(jù)進行量化，并且將已量化的變換系數(shù)數(shù)據(jù)(在下文中，被稱為量化數(shù)據(jù))輸出到無損編碼部16和逆量化部21。另外，量化部15基于來自速率控制部18的速率控制信號對量化參數(shù)(量化尺度)進行切換，由此改變要被輸入到無損編碼部16的量化數(shù)據(jù)的比特率。

無損編碼部16通過對從量化部15輸入的量化數(shù)據(jù)執(zhí)行無損編碼處理來生成編碼流。通過無損編碼部16進行的無損編碼例如可以是可變長度編碼或算術編碼。另外，無損編碼部16將從選擇器27輸入的關于幀內(nèi)預測的信息或關于幀間預測的信息復用到編碼流的報頭區(qū)域。然后，無損編碼部16將所生成的編碼流輸出到累積緩沖器17。

累積緩沖器17使用諸如半導體存儲器的存儲介質(zhì)，暫時存儲從無損編碼部16輸入的編碼流。然后，累積緩沖器17以根據(jù)傳輸線的頻帶的速率，將所累積的編碼流輸出到傳輸部(未示出)(例如，通信接口或到外圍裝置的連接接口)。

速率控制部18監(jiān)視累積緩沖器17的空閑空間。然后，速率控制部18根據(jù)累積緩沖器17上的空閑空間來生成速率控制信號，并且將所生成的速率控制信號輸出到量化部15。例如，當在累積緩沖器17上不存在太多空閑空間時，速率控制部18生成用于降低量化數(shù)據(jù)的比特率的速率控制信號。另外，例如，當累積緩沖器17上的空閑空間足夠大時，速率控制部18生成用于提高量化數(shù)據(jù)的比特率的速率控制信號。

逆量化部21對從量化部15輸入的量化數(shù)據(jù)執(zhí)行逆量化處理。然后，逆量化部21將通過逆量化處理獲取的變換系數(shù)數(shù)據(jù)輸出至逆正交變換部22。

逆正交變換部22對從逆量化部21輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換處理，由此恢復預測誤差數(shù)據(jù)。然后，逆正交變換部22將所恢復的誤差數(shù)據(jù)輸出到加法部23。

加法部23對從逆正交變換部22輸入的所恢復的預測誤差數(shù)據(jù)和從運動估計部30或幀內(nèi)預測部40輸入的預測圖像數(shù)據(jù)進行相加，由此生成解碼圖像數(shù)據(jù)。然后，加法部23將所生成的解碼圖像數(shù)據(jù)輸出到解塊濾波器24和幀存儲器25。

解塊濾波器24執(zhí)行濾波處理以用于降低在對圖像進行編碼時出現(xiàn)的塊失真。解塊濾波器24對從加法部23輸入的解碼圖像數(shù)據(jù)進行濾波以去除塊失真，并且將濾波之后的解碼圖像數(shù)據(jù)輸出到幀存儲器25。

幀存儲器25使用存儲介質(zhì)存儲從加法部23輸入的解碼圖像數(shù)據(jù)和從解碼濾波器24輸入的濾波之后的解碼圖像數(shù)據(jù)。

選擇器26從幀存儲器25讀取要用于幀間預測的、濾波之后的解碼圖像數(shù)據(jù)，并且將已讀取的解碼圖像數(shù)據(jù)供給運動估計部30作為參考圖像數(shù)據(jù)。另外，選擇器26從幀存儲器25讀取要用于幀內(nèi)預測的、濾波之前的解碼圖像數(shù)據(jù)，并且將已讀取的解碼圖像數(shù)據(jù)供給幀內(nèi)預測部40作為參考圖像數(shù)據(jù)。

在幀間預測模式中，選擇器27將作為從運動估計部30輸出的幀間預測結果的預測圖像數(shù)據(jù)輸出到減法部13，并且還將關于幀間預測的信息輸出到無損編碼部16。此外，在幀內(nèi)預測模式中，選擇器27將作為從幀內(nèi)預測部40輸出的幀內(nèi)預測結果的預測圖像數(shù)據(jù)輸出到減法部13，并且還將關于幀內(nèi)預測的信息輸出到無損編碼部16。選擇器27依賴于從運動估計部30或幀內(nèi)預測部40輸出的代價函數(shù)的大小，在幀間預測模式和幀內(nèi)預測模式之間切換。

運動估計部30基于從排序緩沖器12輸入的、要編碼的圖像數(shù)據(jù)(原始圖像數(shù)據(jù))和經(jīng)由選擇器26供給的解碼圖像數(shù)據(jù)，執(zhí)行幀間預測處理(幀間預測處理)。例如，運動估計部30使用預定代價函數(shù)，對每個預測模式的預測結果進行評估。接下來，運動估計部30選擇產(chǎn)生最小代價函數(shù)值的預測模式、即產(chǎn)生最高壓縮比的預測模式作為最優(yōu)預測模式。另外，運動估計部30根據(jù)最優(yōu)預測模式生成預測圖像數(shù)據(jù)。然后，運動估計部30將指示所選擇的最優(yōu)預測模式的預測模式信息、關于包括運動向量信息和參考圖像信息的幀間預測的信息、代價函數(shù)值、以及預測圖像數(shù)據(jù)輸出到選擇器27。

幀內(nèi)預測部40基于從排序緩沖器12輸入的原始圖像數(shù)據(jù)和從幀存儲器25供給的作為參考圖像數(shù)據(jù)的解碼圖像數(shù)據(jù)，來對圖像內(nèi)設置的每個塊執(zhí)行幀內(nèi)預測處理。然后，幀內(nèi)預測部40將關于包括指示最優(yōu)預測模式的預測模式信息和有關尺寸的信息的幀內(nèi)預測的信息、代價函數(shù)值、以及預測圖像數(shù)據(jù)輸出到選擇器27?？梢杂蓭瑑?nèi)預測部40選擇的預測模式除了現(xiàn)有幀內(nèi)預測模式之外還包括關于色差分量的線性模型(LM)模式。與上述非專利文獻2中描述的LM模式相比，本實施例中的LM模式特征在于，參考像素的數(shù)量與塊尺寸的比率可以改變。稍后將詳細描述通過幀內(nèi)預測部40進行的幀內(nèi)預測處理。

[1.2幀內(nèi)預測部的配置示例]

圖2是示出圖1中示出的圖像編碼裝置10的幀內(nèi)預測部40的詳細配置的示例的框圖。參照圖2，幀內(nèi)預測部40包括預測控制器42、系數(shù)計算部44、預測部46、以及模式確定部48。

預測控制器42控制通過幀內(nèi)預測部40進行的幀內(nèi)預測處理。例如，預測控制器42以編碼單位(CU)執(zhí)行亮度分量(Y)的幀內(nèi)預測處理，并且然后執(zhí)行色差分量(Cb、Cr)的幀內(nèi)預測處理。在亮度分量的幀內(nèi)預測處理中，預測控制器42使得預測部46以多個預測模式生成每個像素的預測像素值，并且使得模式確定部48確定亮度分量的最優(yōu)預測模式。結果，也決定編碼單位中的預測單位的布置。在色差分量的幀內(nèi)預測處理中，預測控制器42使得預測部46對于每個預測單位以多個預測模式生成每個像素的預測像素值，并且使得模式確定部48確定色差分量的最優(yōu)預測模式。

亮度分量的預測模式候選可以是由諸如H.264/AVC的現(xiàn)有圖像編碼方案采用的預測模式或不同預測模式。色差分量的預測模式候選也可以包含由現(xiàn)有圖像編碼方案采用的預測模式。此外，色差分量的預測模式候選包含上述LM模式。根據(jù)上述非專利文獻2中描述的技術，參考像素的數(shù)量與計算LM模式中的預測函數(shù)的系數(shù)時的塊尺寸的比率是恒定的。因此，參考像素的數(shù)量隨著增加的塊尺寸而相應地增加。在本實施例中，另一方面，預測控制器42可變地控制以上比率。這里，塊尺寸原則上是預測單位的尺寸。預測控制器42控制的上述比率、即參考像素的數(shù)量與塊尺寸的比率在這里將被稱為“參考比”。通常根據(jù)塊尺寸執(zhí)行通過預測控制器42執(zhí)行的參考比的控制。此外，預測控制器42可根據(jù)影響與預測單位對應的色差分量的塊尺寸的色度格式來控制參考比。預測控制部42還可根據(jù)定義用于對圖像進行編碼和解碼的裝置的能力的參數(shù)(例如，簡檔(profile)或水平)來控制參考比。稍后將更詳細地描述通過預測控制器42進行的控制參考比的多個場景。

系數(shù)計算部44通過參照要預測的像素所屬的預測單位周圍的像素、即參考像素，來計算LM模式中預測部46使用的預測函數(shù)的系數(shù)。通常，預測部46使用的預測函數(shù)是亮度分量的值的線性函數(shù)。如上所述，通過預測控制器42控制系數(shù)計算部44計算預測函數(shù)的系數(shù)參考的參考像素的數(shù)量。

預測部46在預測控制器42的控制下，根據(jù)各個預測模式候選來預測要預測的像素的亮度分量的像素值和色差分量的像素值。稍后將詳細描述預測部46使用的預測模式候選的示例。對于每個預測模式，作為預測部46的預測結果生成的預測圖像數(shù)據(jù)被輸出到模式確定部48。

模式確定部48基于從排序緩沖器12輸入的原始圖像數(shù)據(jù)和從預測部46輸入的預測圖像數(shù)據(jù)，計算每個預測模式的代價函數(shù)值。然后，基于所計算的代價函數(shù)值，模式確定部48決定亮度分量的最優(yōu)預測模式和編碼單位內(nèi)的預測單位的布置。類似地，基于色差分量的代價函數(shù)值，模式確定部48決定色差分量的最優(yōu)預測模式。然后，模式確定部48將關于包括指示所決定的最優(yōu)預測模式的預測模式信息和尺寸相關信息的幀內(nèi)預測的信息、代價函數(shù)值、以及包括亮度分量和色差分量的預測像素值的預測圖像數(shù)據(jù)輸出到選擇器27。從模式確定部48輸出的尺寸相關信息除標識每個預測單位的尺寸的信息之外還包含指定色度格式的信息。

[1-3.預測模式候選]

接下來，將描述幀內(nèi)預測部40的預測部46可以使用的預測模式候選。

(1)亮度分量的預測模式候選

亮度分量的預測模式候選可以是諸如H.264/AVC的現(xiàn)有圖像編碼方案采用的預測模式。圖3至5是示出當預測單位的尺寸是4×4像素時這樣的預測模式候選的說明圖。

參照圖3，示出了可以用于4×4像素的預測單位的九個預測模式(模式0到模式8)。在圖4中，示意性地示出了對應于每個模式號的預測方向。在圖5中，小寫的字母字符a到p表示4×4像素的預測單位的每個像素(即，要預測的每個像素)的像素值。預測單位周圍的Rz(z＝a,b,…,m)表示編碼參考像素的像素值。

例如，模式0中的預測方向是垂直方向，并且如下計算每個預測像素值：

a＝e＝i＝m＝Ra

b＝f＝j＝n＝Rb

c＝g＝k＝o＝Rc

d＝h＝l＝p＝Rd

模式1中的預測方向是水平方向，并且如下計算每個預測像素值：

a＝b＝c＝d＝Ri

e＝f＝g＝h＝Rj

i＝j＝k＝l＝Rk

m＝n＝o＝p＝Rl

模式2表示DC預測(平均值預測)，并且取決于可以使用哪個參考像素，根據(jù)以下四個公式之一來計算每個預測像素值。

a＝b＝...＝p＝(Ra+Rb+Rc+Rd+Ri+Rj+Rk+Rl+4)>>3

a＝b＝...＝p＝(Ra+Rb+Rc+Rd+2)>>2

a＝b＝...＝p＝(Ri+Rj+Rk+Rl+2)>>2

a＝b＝...＝p＝128

模式3中的預測方向是斜左下方向，并且如下計算每個預測像素值：

a＝(Ra+2Rb+Rc+2)＞＞2

b＝e＝(Rb+2Rc+Rd+2)＞＞2

c＝f＝i＝(Rc+2Rd+Re+2)＞＞2

d＝g＝j＝m＝(Rd+2Re+Rf+2)＞＞2

h＝k＝n＝(Re+2Rf+Rg+2)＞＞2

l＝o＝(Rf+2Rg+Rh+2)＞＞2

p＝(Rg+3Rh+2)＞＞2

模式4中的預測方向是斜右下，并且如下計算每個預測像素值：

m＝(Rj+2Rk+Rl+2)＞＞2

i＝n＝(Ri+2Rj+Rk+2)＞＞2

e＝j＝o＝(Rm+2Ri+Rj+2)＞＞2

a＝f＝k＝p＝(Ra+2Rm+Ri+2)＞＞2

b＝g＝l＝(Rm+2Ra+Rb+2)＞＞2

c＝h＝(Ra+2Rb+Rc+2)＞＞2

d＝(Rb+2Rc+Rd+2)＞＞2

模式5中的預測方向是垂直右，并且如下計算每個預測像素值：

a＝j＝(Rm+Ra+1)>>1

b＝k＝(Ra+Rb+1)>>1

c＝l＝(Rb+Rc+1)>>1

d＝(Rc+Rd+1)>>1

e＝n＝(Ri+2Rm+Ra+2)>>2

f＝o＝(Rm+2Ra+Rb+2)>>2

g＝p＝(Ra+2Rb+Rc+2)>>2

h＝(Rb+2Rc+Rd+2)>>2

i＝(Rm+2Ri+Rj+2)>>2

m＝(Ri+2Rj+Rk+2)>>2

模式6中的預測方向是水平下，并且如下計算每個預測像素值：

a＝g＝(Rm+Ri+1)>>1

b＝h＝(Ri+2Rm+Ra+2)>>2

c＝(Rm+2Ra+Rb+2)>>2

d＝(Ra+2Rb+Rc+2)>>2

e＝k＝(Ri+Rj+1)>>1

f＝l＝(Rm+2Ri+Rj+2)>>2

i＝o＝(Rj+Rk+1)>>1

j＝p＝(Ri+2Rj+Rk+2)>>2

m＝(Rk+Rl+1)>>1

n＝(Rj+2Rk+Rl+2)>>2

模式7中的預測方向是垂直左，并且如下計算每個預測像素值：

a＝(Ra+Rb+1)>>1

b＝i＝(Rb+Rc+1)>>1

c＝j＝(Rc+Rd+1)>>1

d＝k＝(Rd+Re+1)>>1

l＝(Re+Rf+1)>>1

e＝(Ra+2Rb+Rc+2)>>2

f＝m＝(Rb+2Rc+Rd+2)>>2

g＝n＝(Rc+2Rd+Re+2)>>2

h＝o＝(Rd+2Re+Rf+2)>>2

p＝(Re+2Rf+Rg+2)>>2

模式8中的預測方向是水平上，并且如下計算每個預測像素值：

a＝(Ri+Rj+1)>>1

b＝(Ri+2Rj+Rk+2)>>2

c＝e＝(Rj+Rk+1)>>1

d＝f＝(Rj+2Rk+Rl+2)>>2

g＝i＝(Rk+R1+1)>>1

h＝j＝(Rk+3Rl+2)>>2

k＝l＝m＝n＝o＝p＝R1

參照圖6，示出了可以用于8×8像素的預測單位的九個預測模式(模式0到模式8)。模式0中的預測方向是垂直。模式1中的預測方向是水平。模式2表示DC預測(平均值預測)。模式3中的預測方向是斜左下。模式4中的預測方向是斜右下。模式5中的預測方向是垂直右。模式6中的預測方向是水平下。模式7中的預測方向是垂直左。模式8中的預測方向是水平上。

參照圖7，示出了可以用于16×16像素的預測單位的四個預測模式(模式0到模式3)。模式0中的預測方向是垂直。模式1中的預測方向是水平。模式2表示DC預測(平均值預測)。模式3表示平面預測。

(2)色差分量的預測模式候選

可以獨立于亮度分量的預測模式選擇色差分量的預測模式。在圖8中，示出了在色差分量的塊尺寸是8×8像素時可以使用的預測模式候選中，用于諸如H.264/AVC的現(xiàn)有圖像編碼方案的四個預測模式(模式0到模式3)。

模式0表示DC預測(平均值預測)。這里，像素位置(x,y)的預測像素值表示為Pr_C(x,y)，八個左參考像素值表示為Re_C(-1,n)，并且八個上參考像素值表示為Re_C(n,-1)。作為下標的C表示色差分量。n是大于等于0并且小于等于7的整數(shù)。然后，取決于哪個參考像素可用，根據(jù)以下三個公式之一計算預測像素值Pr_C(x,y)：

[數(shù)學式1]

模式1中的預測方向是水平，并且如下計算預測像素值Pr_C(x,y)：

[數(shù)學式2]

Pr_C[x，y]＝Re_C[-1，y]

模式2中的預測方向是垂直，并且如下計算預測像素值Pr_C(x,y)：

[數(shù)學式3]

Pr_C[x，y]＝Re_C[x，-1]

模式3表示平面預測。如下計算預測像素值Pr_C(x,y)：

[數(shù)學式4]

Pr_C[x，y]＝Clip1(a+b·(x-3)+c·(y-3)+16)＞＞5

a＝16·(Re_C[-1，7]+ReC[7，-1])

b＝(17·H+16)＞＞5

c＝(17·V+16)＞＞5

此外，在本實施例中，可以選擇將在下一部分中描述的LM模式(例如，作為模式4)。

[1-4.LM模式的細節(jié)]

在LM模式中，通過使用對應的亮度分量的值的線性函數(shù)來計算色差分量的預測像素值。例如，LM模式中使用的預測函數(shù)可以是在非專利文獻2中描述的如下線性函數(shù)：

[數(shù)學式5]

Pr_C[x，y]＝α·Re_L′[x，y]+β (1)

在公式(1)中，Re_L’(x，y)表示在解碼圖像(所謂的重構圖像)的亮度分量的重采樣之后的像素位置(x，y)的值。取代解碼圖像，原始圖像用于圖像編碼。取決于色度格式，當色差分量的分辨率不同于亮度分量的分辨率時，對亮度分量進行重采樣。如果例如色度格式是4：2：0，則以在水平方向和垂直方向兩者上像素的數(shù)量減少一半這樣的方式，根據(jù)以下公式對亮度分量進行重采樣。Re_L(u,v)表示重采樣之前像素位置(u,v)中的亮度分量的值。

[數(shù)學式6]

Re_L′[x，y]＝(Re_L[2x，2y]+Re_L[2x，2y+1])＞＞1 (2)

如果色度格式是4:2:2，則以在水平方向上像素的數(shù)量減少一半這樣的方式對亮度分量進行重采樣。如果色度格式是4:4:4，則不對亮度分量進行重采樣。

根據(jù)以下公式(3)計算公式(1)中的系數(shù)α。另外，根據(jù)以下公式(4)計算公式(1)中的系數(shù)β。

[數(shù)學式7]

在公式(3)和(4)中，I表示參考像素的數(shù)量。如果例如色差分量的塊尺寸是8×8并且八個左參考像素和八個上參考像素均可用，則I被計算為I＝8+8＝16。

上述公式(1)至(4)與非專利文獻2中描述的公式相同。圖9A和9B是進一步示出線性模型中的參考像素的說明圖。

在圖9A的示例中，預測單位(PU)的尺寸是16×16像素，并且色度格式是4:2:0。在這種情況下，色差分量的塊尺寸是8×8像素。色差分量的參考像素Re_C(i)的數(shù)量是8+8＝16(如果左參考像素和上參考像素均可用)。作為重采樣的結果，亮度分量的參考像素Re_L’(i)的數(shù)量也是8+8＝16。

在圖9B的示例中，預測單位(PU)的尺寸是8×8像素，并且色度格式是4:2:0。在這種情況下，色差分量的塊尺寸是4×4像素。色差分量的參考像素Re_C(i)的數(shù)量是4+4＝8。作為重采樣的結果，亮度分量的參考像素Re_L’(i)的數(shù)量也是4+4＝8。

圖9A和9B的兩個示例的比較示出，如果色度格式的其他條件等相同，則參考像素的數(shù)量與塊尺寸的比率保持不變。即，當在圖9A的示例中預測單位的一邊的尺寸是16像素并且參考像素的數(shù)量I是16時，圖9B的示例中的預測單位的一邊的尺寸是8個像素并且參考像素的數(shù)量I是8。因此，如果參考像素的數(shù)量I隨著增加的塊尺寸而增加，則使用公式(3)和公式(4)計算系數(shù)α和系數(shù)β所需的處理代價也分別增加。如將通過特別關注公式(3)所理解的，像素值的乘法的次數(shù)以參考像素的數(shù)量I的平方的量級增加。因此，如果在計算系數(shù)α和系數(shù)β時沒有適當?shù)乜刂茀⒖枷袼氐臄?shù)量I，則在塊尺寸較大時，編碼和解碼的性能非常有可能降低。

因此，如將在下一部分所描述的，當系數(shù)計算部44計算LM模式中的預測函數(shù)的系數(shù)α和系數(shù)β時，預測控制器42可變地控制參考像素的數(shù)量。

[1-5.參考像素的數(shù)量的控制]

通常，預測控制器42控制作為參考像素的數(shù)量與塊尺寸的比率的參考比，以便其隨著增加的塊尺寸而降低。由此，當塊尺寸增加時抑制處理代價的增加。當塊尺寸小到處理代價不存在問題的程度時，即使塊尺寸不同，預測控制器42也可以不改變參考比。以下將參照圖10至18B描述控制參考比的五個示例性場景。

(1)第一場景

圖10是示出第一場景中的參考比的定義的示例的說明圖。

在第一場景中，如果預測單位(PU)的尺寸是4×4像素，則參考比是“1:1”。如圖9A和9B所示，參考比“1:1”意味著使用全部參考像素。在這種情況下，如果色度格式是4:2:0，則參考像素的數(shù)量I是2(垂直方向I_v)+2(水平方向I_h)＝4。如果色度格式是4:2:2，則參考像素的數(shù)量I是4+2＝6。如果色度格式是4:4:4，則參考像素的數(shù)量I是4+4＝8。

類似地，當預測單位的尺寸是8×8像素時，參考比也是“1:1”。在這種情況下，如果色度格式是4:2:0，則參考像素的數(shù)量I是4+4＝8。如果色度格式是4:2:2，則參考像素的數(shù)量I是8+4＝12。如果色度格式是4:4:4，則參考像素的數(shù)量I是8+8＝16。

相反，當預測單位的尺寸是16×16像素時，參考比是“2:1”。如圖9A和9B所示，參考比“2:1”意味著僅使用一半?yún)⒖枷袼?。即，在計算系?shù)α和系數(shù)β時，系數(shù)計算部44稀疏掉一半?yún)⒖枷袼?，并且僅使用剩余的參考像素。在這種情況下，如果色度格式是4:2:0，則參考像素的數(shù)量I是(8/2)+(8/2)＝8。如果色度格式是4:2:2，則參考像素的數(shù)量I是(16/2)+(8/2)＝12。如果色度格式是4:4:4，則參考像素的數(shù)量I是(16/2)+(16/2)＝16。

圖11A示出了當PU尺寸是16×16像素并且色度格式是4:2:0時，參考像素設置的示例。在圖11A的示例中，對色差分量的每第二個參考像素和亮度分量的每第二個參考像素進行稀疏。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為8。

此外，當預測單位的尺寸是32×32像素時，參考比是“4:1”。如圖9A和9B所示，參考比“4:1”意味著僅使用四分之一的參考像素。即，在計算系數(shù)α和系數(shù)β時，系數(shù)計算部44稀疏掉四分之三的參考像素，并且僅使用剩余的參考像素。在這種情況下，如果色度格式是4:2:0，則參考像素的數(shù)量I是(16/4)+(16/4)＝8。如果色度格式是4:2:2，則參考像素的數(shù)量I是(32/4)+(16/4)＝12。如果色度格式是4:4:4，則參考像素的數(shù)量I是(32/4)+(32/4)＝16。

圖11B示出了當PU尺寸是32×32像素并且色度格式是4:2:0時參考像素設置的示例。在圖11B的示例中，對色差分量的每四個連續(xù)像素中的三個參考像素和亮度分量的每四個連續(xù)像素中的三個參考像素進行稀疏。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為8。

如同在第一場景中，根據(jù)塊尺寸和參考比之間的映射，只要色度格式相同，則當塊尺寸是8×8像素或以上時，參考像素的數(shù)量I恒定。因此，當塊尺寸增加時，抑制處理代價的增加。另外，當塊尺寸超過預定尺寸時，通過控制參考比以使得參考像素的數(shù)量恒定，可以通過使用小規(guī)模共通的電路或邏輯來執(zhí)行系數(shù)計算部44的系數(shù)計算處理。因此，也可以抑制電路規(guī)?；蜻壿嬕?guī)模的增加。

當塊尺寸達不到預定尺寸時，通過將要稀疏的參考像素的數(shù)量設置為零，可以防止由于參考像素的數(shù)量不足引起的LM模式中預測準確度的降低。具體地，當由于圖像的復雜內(nèi)容(即，像素值的空間波動強烈)而比較難以進行幀內(nèi)預測時，可能在圖像內(nèi)設置較小預測單位。在這樣的情況下通過確保足夠數(shù)量的參考像素，可以防止LM模式中預測準確度的降低。

這里，提供了如下描述：在系數(shù)計算部44計算系數(shù)時要稀疏的參考像素的數(shù)量根據(jù)參考比而改變。即，系數(shù)計算部44還具有如下稀疏部的作用：該稀疏部按參考比根據(jù)要預測的塊尺寸來對在進行LM模式中的幀內(nèi)預測時參考的參考像素進行稀疏。這還適用于稍后描述的圖像解碼裝置60的系數(shù)計算部94。然而，取代對參考像素進行稀疏，可以通過根據(jù)多個參考像素值來推導一個代表值，可變地控制參考像素的數(shù)量。如果例如參考比是“4:1”，則四個連續(xù)參考像素的像素值的平均值或其中值可用作代表值。這也適用于這里描述的其他場景。在非常容易實現(xiàn)對參考像素進行稀疏的處理的同時，可以通過使用以上代表值來改進預測準確度。

(2)第二場景

圖12是示出第二場景中的參考比的定義的示例的說明圖。在第二場景中，預測控制器42除了預測單位的尺寸之外，還根據(jù)色度格式來控制參考比。另外，預測控制器42單獨控制作為左參考像素的數(shù)量與垂直方向上的尺寸的比率的第一參考比以及作為上參考像素的數(shù)量與水平方向上的尺寸的比率的第二參考比。

在第二場景中，如果預測單位的尺寸是4×4像素并且色度格式是4:2:0，則垂直方向上的參考比和水平方向上的參考比均為“1:1”。在這種情況下，不對參考像素進行稀疏并且參考像素的數(shù)量I是2₊2＝4。如果預測單位的尺寸是4×4像素并且色度格式是4:2:2，則垂直方向上的參考比是“2:1”并且水平方向上的參考比是“1:1”。在這種情況下，作為對垂直方向上的參考像素的一半?yún)⒖枷袼剡M行稀疏的結果，參考像素的數(shù)量I是(4/2)+2＝4。如果預測單位的尺寸是4×4像素并且色度格式是4:4:4，則垂直方向上的參考比和水平方向上的參考比均為“2:1”。在這種情況下，作為對垂直方向和水平方向兩者上的參考像素的一半?yún)⒖枷袼剡M行稀疏的結果，參考像素的數(shù)量I是(4/2)+(4/2)＝4。

如果預測單位的尺寸是8×8像素并且色度格式是4:2:0，則垂直方向上的參考比和水平方向上的參考比均為“1:1”。在這種情況下，不對參考像素進行稀疏并且參考像素的數(shù)量I是4₊4＝8。如果預測單位的尺寸是8×8像素并且色度格式是4:2:2，則垂直方向上的參考比是“2:1”并且水平方向上的參考比是“1:1”。在這種情況下，作為對垂直方向上的參考像素的一半?yún)⒖枷袼剡M行稀疏的結果，參考像素的數(shù)量I是(8/2)+2＝8。如果預測單位的尺寸是8×8像素并且色度格式是4:4:4，則垂直方向上的參考比和水平方向上的參考比均為“2:1”。在這種情況下，作為對垂直方向和水平方向兩者上的參考像素的一半?yún)⒖枷袼剡M行稀疏的結果，參考像素的數(shù)量I是(8/2)+(8/2)＝8。

圖13A示出了當PU尺寸是8×8像素并且色度格式是4:2:0時參考像素設置的示例。在圖13A的示例中，既不對色差分量的參考像素進行稀疏也不對亮度分量的參考像素進行稀疏。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為8。

圖13B示出了當PU尺寸是8×8像素并且色度格式是4:2:2時參考像素設置的示例。在圖13B的示例中，稀疏掉色差分量和亮度分量的垂直方向上的每第二個參考像素。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為8。

圖13C示出了當PU尺寸是8×8像素并且色度格式是4:4:4時參考像素設置的示例。在圖13C的示例中，稀疏掉色差分量和亮度分量的垂直方向和水平方向上的每第二個參考像素。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為8。

如果預測單位的尺寸是16×16像素并且色度格式是4:2:0，則垂直方向上的參考比和水平方向上的參考比均為“2:1”。在這種情況下，參考像素的數(shù)量I是(8/2)+(8/2)＝8。如果預測單位的尺寸是16×16像素并且色度格式是4:2:2，則垂直方向上的參考比是“4:1”并且水平方向上的參考比是“2:1”。在這種情況下，參考像素的數(shù)量I是(16/4)+(8/2)＝8。如果預測單位的尺寸是16×16像素并且色度格式是4:4:4，則垂直方向上的參考比和水平方向上的參考比均為“4:1”。在這種情況下，參考像素的數(shù)量I是(16/4)+(16/4)＝8。

圖13D示出了當PU尺寸是16×16像素并且色度格式是4:2:0時參考像素設置的示例。在圖13D的示例中，稀疏掉色差分量和亮度分量的垂直方向和水平方向上的每第二個參考像素。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為8。

如果預測單位的尺寸是32×32像素并且色度格式是4:2:0，則垂直方向上的參考比和水平方向上的參考比均為“4:1”。在這種情況下，參考像素的數(shù)量I是(16/4)+(16/4)＝8。如果預測單位的尺寸是32×32像素并且色度格式是4:2:2，則垂直方向上的參考比是“8:1”并且水平方向上的參考比是“4:1”。在這種情況下，參考像素的數(shù)量I是(32/8)+(16/4)＝8。如果預測單位的尺寸是32×32像素并且色度格式是4:4:4，則垂直方向上的參考比和水平方向上的參考比均為“8:1”。在這種情況下，參考像素的數(shù)量I是(32/8)+(32/8)＝8。

在第二場景中，如將從以上描述理解的，預測控制器42控制參考比，以使得參考比隨著由色度格式表示的色差分量的增加的分辨率而降低。由此抑制處理代價伴隨著色差分量的塊尺寸的增加而增加。另外，在第二場景中，如果色度格式是4:2:2，則預測控制器42單獨控制垂直方向上的參考比和水平方向上的參考比，以使得塊左側(cè)上的參考像素的數(shù)量和塊上側(cè)的參考像素的數(shù)量變得相等。因此，可以使得在色度格式相互不同的多種情況下，參考像素的數(shù)量相同。結果，可以不管色度格式如何，通過使用共通的電路或邏輯來執(zhí)行系數(shù)計算部44進行的系數(shù)計算處理。因此，根據(jù)第二場景，促進電路或邏輯的高效實現(xiàn)。

(第三場景)

圖14是示出第三場景中的參考比的定義的示例的說明圖。另外，在第三場景中，預測控制器42單獨控制作為左參考像素的數(shù)量與垂直方向上的尺寸的比率的第一參考比、以及作為上參考像素的數(shù)量與水平方向上的尺寸的比率的第二參考比。在第三場景中，預測控制器42控制參考比，以使得垂直方向上的參考比等于或小于水平方向上的參考比。

在第三場景中，如果預測單位的尺寸是4×4像素，則垂直方向上和水平方向上的參考比均為“1:1”。在這種情況下，如果色度格式是4:2:0，則參考像素的數(shù)量I是2+2＝4。如果色度格式是4:2:2，則參考像素的數(shù)量I是4+2＝6。如果色度格式是4:4:4，則參考像素的數(shù)量I是4+4＝8。

如果預測單位的尺寸是8×8像素，則垂直方向上的參考比是“2:1”并且水平方向上的參考比是“1:1”。在這種情況下，如果色度格式是4:2:0，則參考像素的數(shù)量I是(4/2)+4＝6。如果色度格式是4:2:2，則參考像素的數(shù)量I是(8/2)+4＝8。如果色度格式是4:4:4，則參考像素的數(shù)量I是(8/2)+8＝12。

圖15A示出了當PU尺寸是8×8像素并且色度格式是4:2:0時參考像素設置的示例。在圖15A的示例中，稀疏掉色差分量的參考像素和亮度分量的參考像素的垂直方向上的下半部分參考像素。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為6。

如果預測單位的尺寸是16×16像素，則垂直方向上的參考比是“4:1”并且水平方向上的參考比是“1:1”。在這種情況下，如果色度格式是4:2:0，則參考像素的數(shù)量I是(8/4)+8＝10。如果色度格式是4:2:2，則參考像素的數(shù)量I是(16/4)+8＝12。如果色度格式是4:4:4，則參考像素的數(shù)量I是(16/4)+16＝20。

圖15B示出了當PU尺寸是16×16像素并且色度格式是4:2:0時參考像素設置的示例。在圖15B的示例中，稀疏掉色差分量的參考像素和亮度分量的參考像素的垂直方向上的下部四分之三參考像素。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為10。

如果預測單位的尺寸是32×32像素，則垂直方向上的參考比是“8:1”并且水平方向上的參考比是“2:1”。在這種情況下，如果色度格式是4:2:0，則參考像素的數(shù)量I是(16/8)+(16/2)＝10。如果色度格式是4:2:2，則參考像素的數(shù)量I是(32/8)+(16/2)＝12。如果色度格式是4:4:4，則參考像素的數(shù)量I是(32/8)+(32/2)＝20。

在對圖像進行編碼或解碼的裝置中，在多數(shù)情況下參考像素值存儲在幀存儲器或線路存儲器中，并且以水平方向上的行為單位進行存取。因此，如果如同在第三場景中，使得垂直方向上的參考比小于水平方向上的參考比，則即使要使用的參考像素的數(shù)量相同，也可以減少存取存儲器的次數(shù)。因此，可以以高速執(zhí)行通過系數(shù)計算部44進行的系數(shù)計算處理。另外，通過如同在第三場景中、優(yōu)選地使用塊的上方的行中的參考像素，可以通過連續(xù)存取存儲器而在短時間內(nèi)獲取參考像素值。

(4)第四場景

圖16是示出第四場景中的參考比的定義的示例的說明圖。在第四實施例中，預測控制器42控制參考比，以使得參考比隨著對圖像進行編碼和解碼的裝置的能力的降低而降低。在HEVC中，例如，簡檔、水平、或這兩者可以用作表示裝置的能力的參數(shù)。通?？梢栽诰幋a流的序列參數(shù)組中指定簡檔和水平。

參照圖16，在第四場景中，裝置的能力被分類成“高”和“低”兩個類別。關于具有4×4像素尺寸的預測單位，與裝置的能力無關，參考比是“1:1”。相反，關于具有8×8像素或以上尺寸的預測單位，能力為“低”時的參考比是能力為“高”時的參考比的一半。

例如，對于8×8像素的預測單位，能力為“高”時的參考比是“1:1”，而能力為“低”時的參考比是“2:1”。關于具有16×16像素的尺寸的預測單位，能力為“高”時的參考比是“2:1”，而能力為“低”時的參考比是“4:1”。關于具有32×32像素的尺寸的預測單位，能力為“高”時的參考比是“4:1”，而能力為“低”時的參考比是“8:1”。

圖17A示出了當PU尺寸是16×16像素、色度格式是4:2:0、能力是“高”、以及參考比是“2:1”時的參考像素設置的示例。在圖17A的示例中，稀疏掉色差分量的參考像素和亮度分量的參考像素的一半?yún)⒖枷袼?。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為8。

圖17B示出了當PU尺寸是16×16像素、色度格式是4:2:0、能力是“低”、以及參考比是“4:1”時的參考像素設置的示例。在圖17B的示例中，稀疏掉色差分量的參考像素和亮度分量的參考像素的下部四分之三參考像素。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為4。

如同在第四場景中，通過根據(jù)裝置的能力(例如，解碼器的處理能力)的水平來控制參考比，當假設使用較低能力的裝置時，可以進一步降低參考像素的數(shù)量。因此，可以防止在LM模式中的系數(shù)計算處理中產(chǎn)生超過裝置的處理能力的處理代價。

(5)第五場景

Xiaoran Cao Tsinghua(清華)等在“CE6.b1Report on Short Distance Intra Prediction Method”(JCTVC-E278，2011年3月)中提出了一種短距離幀內(nèi)預測方法，該方法通過使用小尺寸非正方形預測單位來改進編碼效率。例如，在短距離幀內(nèi)預測方法中，諸如1×4像素、2×8像素、4×16像素、4×1像素、8×2像素、以及16×4像素的各種尺寸的預測單位可以被設置給圖像。在這種情況下，預測單位的垂直方向上的尺寸和水平方向上的尺寸哪個更大依賴于預測單位的設置。因此，在第五場景中，當使用短距離幀內(nèi)預測方法時，預測控制器42動態(tài)地選擇對應于如下方向的參考比并且控制所選參考比：垂直方向上的參考比和水平方向上的參考比中較大的參考比對應的方向。

圖18A示出了當PU尺寸是2×8像素并且色度格式是4:2:0時的參考像素設置的示例。在圖18A的示例中，水平方向上的尺寸大于垂直方向上的尺寸，從而，當垂直方向上的參考比是“1:1”時，水平方向上的參考比是“2:1”。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為1+(4/2)＝3個。

圖18B示出了當PU尺寸是16×4像素并且色度格式是4:2:0時的參考像素設置的示例。在圖18B的示例中，垂直方向上的尺寸大于水平方向上的尺寸，從而，當水平方向上的參考比是“1:1”時，垂直方向上的參考比是“4:1”。結果，色差分量的參考像素的數(shù)量I_C和亮度分量的參考像素的數(shù)量I_L均為(8/4)+2＝4個。

如同第五實施例，當使用短距離幀內(nèi)預測方法時，通過動態(tài)選擇并且控制對應于尺寸較大的方向的參考比，可以通過避免在參考像素的數(shù)量較小的方向上參考像素的數(shù)量的降低，防止預測準確度的降低。

至此，詳細描述了通過預測控制器42進行的參考比的控制的五個特性場景。例如，可以通過圖像編碼方案的標準規(guī)范中預定義的塊尺寸和參考比之間的映射，執(zhí)行根據(jù)這些場景的通過預測控制器42進行的參考比的控制。通過預先統(tǒng)一定義這樣的映射，消除了支持許多參考像素的設置模式的需要，使得可以容易地使得用于解碼的電路或邏輯成為共通的。

雖然用于許多用途的圖像數(shù)據(jù)的比特深度是8比特，但是諸如10比特或12比特的更大的比特深度可用于針對一些用途的圖像數(shù)據(jù)。因此，如果比特深度超過預定比特數(shù)(例如，8比特)，則系數(shù)計算部44可以在計算預測函數(shù)的系數(shù)α和系數(shù)β之前將參考像素值減少到預定比特數(shù)，使用減少后的參考像素值來計算預測函數(shù)的系數(shù)α和系數(shù)β。因此，可以不管比特深度，使用小規(guī)模共通的電路或邏輯來計算系數(shù)α和系數(shù)β。

這里主要描述如下示例：預測控制器42控制作為參考像素的數(shù)量與塊尺寸的比率的“參考比”。然而，可以由例如意味著要降低的參考像素的比率的“降低比”的其他術語來表示實質(zhì)上等效于參考比的概念。取代諸如“1:1”、“2:1”、以及“4:1”的以上格式，可以由如“100％(0％)”、“50％(50％)”、或“25％(75％)”的百分比格式或從0到1的范圍中的數(shù)值格式表示“參考比”或“降低比”。

以上五個場景僅是用于描述的示例。例如，可以對以上五個場景中的兩個場景或更多個場景進行組合。取代預先定義，可以自適應地選擇如每個場景中示出的塊尺寸和參考比(或降低比)之間的映射。在這種情況下，可以在編碼流的參數(shù)組或報頭區(qū)域內(nèi)將指定所選映射的信息從編碼側(cè)傳送到解碼側(cè)。

<2.根據(jù)實施例的編碼時的處理的流程>

接下來，將使用圖19和20描述編碼時的處理的流程。圖19是示出通過具有如圖2所示的配置的幀內(nèi)預測部40進行的編碼時的幀內(nèi)預測處理的流程的示例的流程圖。

參照圖19，首先預測部46針對要處理的編碼單位的亮度分量生成各個預測模式的預測圖像數(shù)據(jù)，并且模式確定部48決定最優(yōu)預測模式和預測單位的布置(步驟S100)。

接下來，系數(shù)計算部44和預測部46針對色差分量執(zhí)行LM模式中的預測處理(步驟S110)。另外，系數(shù)計算部44和預測部46針對色差分量執(zhí)行非LM模式(例如，圖8中示出的模式0到模式3)中的幀內(nèi)預測處理(步驟S120)。可以在預測控制器42的控制下針對每個預測單位執(zhí)行步驟S110和步驟S120中的處理。

接下來，模式確定部48針對色差分量的每個預測模式，基于原始圖像數(shù)據(jù)和預測圖像數(shù)據(jù)計算代價函數(shù)值(步驟S130)。然后，模式確定部48通過比較代價函數(shù)值來決定最優(yōu)預測模式(步驟S140)。

圖20是示出圖19的步驟S110中的LM模式預測處理的詳細流程的示例的流程圖。

參照圖20，預測控制器42首先根據(jù)預測單位的尺寸和其他參數(shù)(例如，色度格式、簡檔、或水平)，獲取每個預測單位的參考比(步驟S111)。

接下來，系數(shù)計算部44根據(jù)預測控制器42指示的參考比，設置計算預測函數(shù)的系數(shù)的計算公式(例如，以上公式(3)和公式(4))要參考的參考像素(步驟S112)?？梢愿鶕?jù)參考比來降低這里設置的參考像素的數(shù)量。另外，可以依賴于色度格式對參考像素的亮度分量進行重采樣。

接下來，系數(shù)計算部44根據(jù)例如以上公式(3)，使用所設置的參考像素的像素值來計算預測函數(shù)的系數(shù)α(步驟S113)。此外，系數(shù)計算部44根據(jù)例如以上公式(4)，使用所設置的參考像素的像素值，計算預測函數(shù)的系數(shù)β(步驟S114)。

然后，預測部46通過將對應的亮度分量的值代入通過使用系數(shù)α和系數(shù)β構建的預測函數(shù)(例如，以上公式(1))，計算要預測的每個像素的預測像素值(步驟S115)。

<3.根據(jù)實施例的圖像解碼裝置的示例配置>

在該部分中，將使用圖21和22描述根據(jù)實施例的圖像解碼裝置的示例配置。

[3-1.整體配置的示例]

圖21是示出根據(jù)實施例的圖像解碼裝置60的配置示例的框圖。參照圖21，圖像解碼裝置60包括累積緩沖器61、無損解碼部62、逆量化部63、逆正交變換部64、加法部65、解塊濾波器66、排序緩沖器67、D/A(數(shù)字到模擬)轉(zhuǎn)換部68、幀存儲器69、選擇器70和71、運動補償部80、以及幀內(nèi)預測部90。

累積緩沖器61使用存儲介質(zhì)暫時存儲經(jīng)由傳輸線輸入的編碼流。

無損解碼部62根據(jù)編碼時使用的編碼方法，對從累積緩沖器61輸入的編碼流進行解碼。另外，無損解碼部62對復用到編碼流的報頭區(qū)域的信息進行解碼。例如，復用到編碼流的報頭區(qū)域的信息可包括序列參數(shù)組中的簡檔和水平、以及塊報頭中關于幀間預測的信息和關于幀內(nèi)預測的信息。無損解碼部62將關于幀間預測的信息輸出到運動補償部80。另外，無損解碼部62將關于幀內(nèi)預測的信息輸出到幀內(nèi)預測部90。

逆量化部63對無損解碼部62解碼的量化數(shù)據(jù)進行逆量化。逆正交變換部64根據(jù)編碼時使用的正交變換方法，通過對從逆量化部63輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，生成預測誤差數(shù)據(jù)。然后，逆正交變換部64將所生成的預測誤差數(shù)據(jù)輸出到加法部65。

加法部65對從逆正交變換部64輸入的預測誤差數(shù)據(jù)和從選擇器71輸入的預測圖像數(shù)據(jù)進行相加，由此生成解碼圖像數(shù)據(jù)。然后，加法部65將所生成的解碼圖像數(shù)據(jù)輸出到解塊濾波器66和幀存儲器69。

解塊濾波器66通過對從加法部65輸入的解碼圖像數(shù)據(jù)進行濾波來去除塊失真，并且將濾波之后的解碼圖像數(shù)據(jù)輸出到排序緩沖器67和幀存儲器69。

排序緩沖器67通過對從解塊濾波器66輸入的圖像進行排序，生成按時間序列的一系列圖像數(shù)據(jù)。然后，排序緩沖器67將所生成的圖像數(shù)據(jù)輸出到D/A轉(zhuǎn)換部68。

D/A轉(zhuǎn)換部68將從排序緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換成模擬格式的圖像信號。然后，D/A轉(zhuǎn)換部68通過將模擬圖像信號輸出到例如連接到圖像解碼裝置60的顯示器(未示出)，使得顯示圖像。

幀存儲器69使用存儲介質(zhì)來存儲從加法部65輸入的、過濾之前的解碼圖像數(shù)據(jù)、以及從解塊濾波器66輸入的過濾之后的解碼圖像數(shù)據(jù)。

選擇器70根據(jù)無損解碼部62獲取的模式信息，針對圖像中的每個塊，將來自幀存儲器70的圖像數(shù)據(jù)的輸出目的地在運動補償部80和幀內(nèi)預測部90之間切換。例如，在指定幀間預測模式的情況下，選擇器70將從幀存儲器70供給的、過濾之后的解碼圖像數(shù)據(jù)輸出到運動補償部80作為參考圖像數(shù)據(jù)。另外，在指定幀內(nèi)預測模式的情況下，選擇器70將從幀存儲器70供給的、過濾之前的解碼圖像數(shù)據(jù)輸出到幀內(nèi)預測部90作為參考圖像數(shù)據(jù)。

選擇器71根據(jù)無損解碼部62獲取的模式信息，將要供給至加法部65的預測圖像數(shù)據(jù)的輸出源在運動補償部80和幀內(nèi)預測部90之間切換。例如，在指定幀間預測模式的情況下，選擇器71將從運動補償部80輸出的預測圖像數(shù)據(jù)供給至加法部65。另外，在指定幀內(nèi)預測模式的情況下，選擇器71將從幀內(nèi)預測部90輸出的預測圖像數(shù)據(jù)供給至加法部65。

運動補償部80基于從無損解碼部62輸入的關于幀間預測的信息和來自幀存儲器69的參考圖像數(shù)據(jù)來執(zhí)行運動補償處理，并且生成預測圖像數(shù)據(jù)。然后，運動補償部80將所生成的預測圖像數(shù)據(jù)輸出到選擇器71。

幀內(nèi)預測部90基于從無損解碼部62輸入的關于幀內(nèi)預測的信息和來自幀存儲器69的參考圖像數(shù)據(jù)來執(zhí)行幀內(nèi)預測處理，并且生成預測圖像數(shù)據(jù)。然后，幀內(nèi)預測部90將所生成的預測圖像數(shù)據(jù)輸出到選擇器71。稍后將詳細描述幀內(nèi)預測部90的幀內(nèi)預測處理。

[3-2.幀內(nèi)預測部的配置示例]

圖22是示出圖21中示出的圖像解碼裝置60的幀內(nèi)預測部90的詳細配置的示例的框圖。參照圖22，幀內(nèi)預測部90包括預測控制器92、系數(shù)計算部94、以及預測部96。

預測控制器92控制通過幀內(nèi)預測部90進行的幀內(nèi)預測處理。例如，預測控制器92基于關于幀內(nèi)預測的信息中包含的預測模式信息，向每個編碼單位設置一個預測單位或更多個預測單位。預測控制器92執(zhí)行亮度分量(Y)的幀內(nèi)預測處理，然后執(zhí)行色差分量(Cb,Cr)的幀內(nèi)預測處理。在亮度分量的幀內(nèi)預測處理中，預測控制器92使得預測部96以預測模式信息指定的預測模式生成每個像素的亮度分量的預測像素值。類似地，在色差分量的幀內(nèi)預測處理中，預測控制部92使得預測部96以預測模式信息指定的預測模式，生成每個像素的色差分量的預測像素值。

在本實施例中，色差分量的預測模式候選包含上述LM模式。然后，預測控制器92可變地控制在計算LM模式中的預測函數(shù)的系數(shù)時的參考像素的數(shù)量與塊尺寸的比率、即參考比。通常，根據(jù)塊尺寸執(zhí)行通過預測控制部92進行的參考比的控制。例如，如果塊尺寸超過預定尺寸，則預測控制器92可以控制參考比，以使得用于計算預測函數(shù)的系數(shù)的參考像素的數(shù)量變?yōu)楹愣?。塊尺寸和參考比之間的映射可預先定義并存儲在圖像解碼裝置60的存儲介質(zhì)中、或可在編碼流的報頭區(qū)域內(nèi)動態(tài)地指定。此外，預測控制器92可根據(jù)色度格式來控制參考比。另外，預測控制器92可根據(jù)定義裝置的能力的簡檔或水平來控制參考比?？梢愿鶕?jù)以上五個場景之一、或其組合、或其他場景，執(zhí)行通過預測控制器92進行的參考比的控制。

系數(shù)計算部94通過參照要預測的像素所屬的預測單位周圍的像素、即參考像素，計算在對于色差分量指定LM模式時預測部96使用的預測函數(shù)的系數(shù)。通常，預測部96使用的預測函數(shù)是亮度分量的值的線性函數(shù)，并且由例如以上公式(1)表示。如上所述，通過預測控制器92控制計算預測函數(shù)的系數(shù)的系數(shù)計算部94參照的參考像素的數(shù)量。如果參考比不是“1:1”，則系數(shù)計算部94可通過例如稀疏掉如根據(jù)參考比的數(shù)量一樣多的參考像素、然后僅使用剩余的參考像素，計算預測函數(shù)的系數(shù)。系數(shù)計算部94可使用用于超過預定尺寸的多個塊尺寸的共通的電路或邏輯，計算預測函數(shù)的系數(shù)。另外，如果像素值的比特深度超過預定比特數(shù)，則系數(shù)計算部94可在計算預測函數(shù)的系數(shù)之前將參考像素值降低到預定比特數(shù)，使用降低后的參考像素值來計算預測函數(shù)的系數(shù)。

預測部96在預測控制器92的控制下，使用來自幀存儲器69的參考圖像數(shù)據(jù)根據(jù)指定預測模式，生成要預測的像素的亮度分量的像素值和色差分量的像素值。預測部96用于色差分量的預測模式候選可包含以上LM模式。當指定LM模式時，預測部96通過將對應的亮度分量的值(如需要，重采樣的值)代入通過使用系數(shù)計算部94計算出的系數(shù)α和系數(shù)β構建的預測函數(shù)，計算色差分量的預測像素值。預測部96將作為預測結果生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71輸出到加法部65。

<4.根據(jù)實施例的解碼時的處理的流程>

接下來，將使用圖23描述解碼時的處理的流程。圖23是示出通過具有圖22中示出的配置的幀內(nèi)預測部90進行的解碼時的幀內(nèi)預測處理的流程示例的流程圖。

參照圖23，預測控制器92首先向每個編碼單位設置一個預測單位或更多個預測單位(步驟S200)。然后，可以在預測控制器42的控制下對每個預測單位執(zhí)行步驟S210到S260中的處理。

接下來，預測控制器92識別由預測模式信息指定的亮度分量的預測模式(步驟S210)。然后，預測部96使用來自幀存儲器69的參考圖像數(shù)據(jù)，根據(jù)所指定的預測模式，生成預測單位中每個像素的亮度分量的預測像素值(步驟S220)。

接下來，預測控制器92識別由預測模式信息指定的色差分量的預測模式(步驟S230)。然后，預測控制器92確定是否指定LM模式(步驟S240)。如果指定了LM模式，則預測控制器92使得系數(shù)計算部94和預測部96以LM模式執(zhí)行色差分量的預測處理(步驟S250)。步驟S250中的LM模式預測處理可以類似于使用圖20描述的LM模式預測處理。另一方面，如果沒有指定LM模式，則預測控制器92使得預測部96以非LM模式執(zhí)行色差分量的幀內(nèi)預測處理(步驟S260)。

<變型例>

在以上實施例中，圖像編碼裝置10的幀內(nèi)預測部40的預測部46根據(jù)以上公式(1)，以LM模式計算色差分量的預測像素值。類似地，圖像解碼裝置60的幀內(nèi)預測部90的預測部96根據(jù)以上公式(1)，以LM模式計算色差分量的預測像素值。公式(1)右手側(cè)上的Re_L’(x,y)表示重采樣之后的解碼圖像的亮度分量的像素位置(x,y)的值。因此，當按塊進行預測像素值的計算時，保持塊中的重采樣之后的亮度分量的像素值，直到計算出色差分量的預測像素值為止。

例如，圖24的左側(cè)上示出的LCU₁被劃分為10個編碼單位CU₀到CU₉。作為示例，LCU₁的尺寸是128×128像素，編碼單位CU₀和CU₅的尺寸是64×64像素，并且編碼單位CU₁到CU₄和CU₆到CU₉的尺寸是32×32像素。通常對于每個編碼單位進行預測像素值的計算，并且因此，如果在這種情況下色度格式是4:2:0，則可提供32×32像素的存儲器(特別對于編碼單位CU₀和CU₅)，以保存重采樣之后的亮度分量的像素值。另一方面，圖24的右側(cè)上示出的LCU₂的尺寸是128×128像素，并且僅一個CU₁₀包含在LCU₂內(nèi)。如果在這種情況下色度格式是4:2:0，則可提供64×64像素的存儲器，以保存重采樣之后的亮度分量的像素值。存儲器資源的消耗量隨著像素的增加的比特深度而增加。

對于其存儲器資源有限的裝置，以上存儲器資源的消耗量的增加是不期望的。因此，在該部分中，將描述降低與LM模式的引入有關的存儲器資源的消耗量的兩個變型例。

[5-1.第一變型例]

在第一變型例中，圖像編碼裝置10的預測部46和圖像解碼裝置60的預測部96以某一稀疏率來稀疏對應于每個色差分量的亮度分量。對應于每個色差分量的亮度分量對應于根據(jù)例如以上公式(2)重采樣之后的每個亮度分量。然后，預測部46和預測部96通過使用沒有被稀疏的亮度分量的值，生成對應于所稀疏的亮度分量的每個色差分量的預測值。

圖25是示出根據(jù)本變型例的稀疏處理的示例的說明圖。參照圖25，作為示例，示出了8×8像素的預測單位(PU)。假設色度格式是4:2:0并且稀疏率是25％。稀疏率指示稀疏之后的像素的數(shù)量與稀疏之前的像素的數(shù)量的比率。在圖25的示例中，一個PU中包含的色差分量的數(shù)量是4×4。由于重采樣，對應于每個色差分量的亮度分量的數(shù)量也是4×4。作為以25％的稀疏率來稀疏重采樣之后的亮度分量的結果，LM模式中用來預測色差分量的亮度分量的數(shù)量是2×2。更具體地，在圖25的右下部的示例中，在四個亮度分量Lu1到Lu4中，稀疏除了亮度分量Lu1之外的亮度分量Lu2、Lu3、Lu4。類似地，在四個亮度分量Lu5到Lu8中，稀疏除了亮度分量Lu5之外的亮度分量Lu6、Lu7、Lu8。圖25的左下部的色差分量Cu1對應于沒有被稀疏的亮度分量Lu1。因此，預測部46和預測部96可以通過將亮度分量Lu1的值代入以上公式(1)的右手側(cè)，生成色差分量Cu1的預測值。另一方面，例如，色差分量Cu2對應于被稀疏的亮度分量Lu2。在這種情況下，預測部46和預測部96使用沒有被稀疏的任意亮度分量的值，生成色差分量Cu2的預測值。例如，色差分量Cu2的預測值可以是色差分量Cu1的預測值的復制，或可以是通過色差分量Cu1、Cu5的兩個預測值的線性插值獲得的值。

更一般地，例如，稀疏率是25％時的色差分量的預測像素值Pr_C(x,y)可以通過由以下公式(5)或公式(6)表示的技術計算。公式(5)表示來自相鄰像素的預測值的復制。

[數(shù)學式8]

公式(6)表示預測值的線性插值。

[數(shù)學式9]

順便提及，公式(5)和公式(6)僅是示例并且也可使用其他公式。

以上稀疏率影響保存亮度分量的重采樣之后的像素值的存儲器資源量。存儲器資源消耗量隨著要稀疏的亮度分量的增加量而降低。然而，如果要稀疏的亮度分量的數(shù)量較大，則色差分量的預測準確度會降低。因此，可以在編碼流的報頭(例如，序列參數(shù)組、圖片參數(shù)組、或切片報頭)中對指定稀疏率的參數(shù)進行指定。在這種情況下，圖像解碼裝置60的預測部96基于從報頭獲取的參數(shù)來決定稀疏率。因此，稀疏率可根據(jù)每個裝置的需求(例如，節(jié)省存儲器資源和編碼效率中的哪個應該具有更高優(yōu)先級)來靈活地改變。

參照圖26A至26C，相對于圖25中的示例，在每種情況下稀疏率是50％。在這些示例中，稀疏重采樣之后的亮度分量中的一半亮度分量。然而，即使稀疏率相同，要稀疏的亮度分量的位置的圖案(在下文中，稱為稀疏圖案)也相互不同。

在圖26A的示例中，在四個亮度分量Lu1到Lu4中，稀疏亮度分量Lu2、Lu4。類似地，在四個亮度分量Lu5到Lu8中，稀疏亮度分量Lu6、Lu8。另外，在這種情況下，例如，對應于所稀疏的亮度分量Lu2的色差分量Cu2的預測值可以是色差分量Cu1的預測值的復制、或可以是通過色差分量Cu1、Cu5的兩個預測值的線性插值獲得的值。在圖26A的稀疏圖案中，要稀疏的亮度分量在PU中均勻地分布。因此，與相同稀疏率的其他稀疏圖案相比，圖26A中的稀疏圖案實現(xiàn)更高的預測準確度。

在圖26B的示例中，每隔一行稀疏亮度分量。這樣的稀疏圖案的優(yōu)點在于，例如，在線路存儲器中保存像素值的裝置中，存儲器存取一次可以存取多個亮度分量的值。在圖26C的示例中，另一方面，每隔一列稀疏亮度分量。這樣的稀疏圖案的優(yōu)點在于，例如，如果色度格式是4:2:2，并且垂直方向上的像素的數(shù)量較大，則可以維持列方向上的更多頻率分量。

可以在編碼流的報頭中指定從多個稀疏圖案候選中指定稀疏圖案的參數(shù)。在這種情況下，圖像解碼裝置60的預測部96基于從報頭獲取的參數(shù)，決定要稀疏的亮度分量的位置。因此，稀疏圖案可根據(jù)每個裝置的需求靈活地改變。

另外，預測部46和預測部96可根據(jù)以上參考比來決定稀疏率。例如，如果在計算預測函數(shù)的系數(shù)時參考的參考像素的數(shù)量較小，則可稀疏更多亮度分量。此時，預測部46和預測部96可稀疏對應于參考像素的稀疏位置的位置中的亮度分量。

圖27A和27B均示出了參考像素的稀疏位置和亮度分量的稀疏位置之間的對應關系的示例。在圖27A的示例中，PU尺寸是16×16像素，色度格式是4:2:0，并且參考比是2:1。在這種情況下，例如，有利地決定稀疏率是25％并且可選擇類似于圖25中的示例的稀疏圖案。在圖27B的示例中，另一方面，PU尺寸是16×16像素，色度格式是4:2:0，垂直方向上的參考比是2:1，并且水平方向上的參考比是1:1。在這種情況下，例如，有利地決定稀疏率是50％并且可選擇類似于圖26B中的示例的稀疏圖案。

在圖27A的示例中，在稀疏參考像素的行中，稀疏要預測的塊的全部亮度分量。在稀疏參考像素的列中，稀疏要預測的塊的全部亮度分量。通過以該方式?jīng)Q定稀疏位置，簡化稀疏位置的確定，并且依然可以使根據(jù)本變型例的稀疏處理的實現(xiàn)較簡單。另外，在圖27B的示例中，在稀疏參考像素的行中，稀疏要預測的塊的全部亮度分量。通過以該方式?jīng)Q定稀疏位置，在對應于稀疏位置的行中，與參考像素或要預測的像素無關，可以完全跳過對亮度分量的存取。因此，依然使稀疏處理的實現(xiàn)較簡單，并且還可以通過降低存儲器存取的次數(shù)來提高處理速度。

[5-2.第二變型例]

在第二變型例中，采用通過圖像編碼裝置10的幀內(nèi)預測部40和圖像解碼裝置60的幀內(nèi)預測部90進行的新處理的順序。

圖28是示出本變型例采用的新處理的順序的說明圖。參照圖28，作為示例，示出了包括編碼單位CU₀、CU₁、CU₂以及其他編碼單位的LCU。此外，編碼單位CU₀被劃分成四個預測單位PU₀₀、PU₀₁、PU₀₂、以及PU₀₃。編碼單位CU₁被劃分成四個預測單位PU₁₀、PU₁₁、PU₁₂、以及PU₁₃。編碼單位CU₂被劃分成四個預測單位PU₂₀、PU₂₁、PU₂₂、以及PU₂₃。根據(jù)現(xiàn)有技術，如同Y₀₀→Y₀₁→Y₀₂→Y₀₃→Cb₀₀→Cb₀₁→Cb₀₂→Cb₀₃→Cr₀₀→Cr₀₁→Cr₀₂→Cr₀₃→Y₁₀→...一樣執(zhí)行對于LCU的幀內(nèi)預測處理。Y_NN表示預測單位PU_NN的亮度分量的幀內(nèi)預測，并且Cb_NN和Cr_NN均表示預測單位PU_NN的色差分量的幀內(nèi)預測。即，根據(jù)現(xiàn)有技術，對于每個編碼單位中的每個分量執(zhí)行幀內(nèi)預測處理。這樣的處理順序這里被稱為“按分量的順序”。在本變型例中，另一方面，例如，圖像編碼裝置10的幀內(nèi)預測部40的預測控制器42和圖像解碼裝置60的幀內(nèi)預測部90的預測控制部92控制每個部的處理，以使得對于每個編碼單位中的每個預測單位執(zhí)行幀內(nèi)預測處理。這樣的新處理順序被稱為“按PU的順序”。當例如按PU的順序被施加至圖28中的LCU時，首先執(zhí)行預測單位PU₀₀的亮度分量Y₀₀和兩個色差分量Cb₀₀、Cr₀₀的幀內(nèi)預測處理。接下來，執(zhí)行預測單位PU₀₁的亮度分量Y₀₁和兩個色差分量Cb₀₁、Cr₀₁的幀內(nèi)預測處理。然后，以預測單位PU₀₂、PU₀₃、PU₁₀、…的順序重復三個分量的幀內(nèi)預測處理。

在根據(jù)現(xiàn)有技術的按分量的順序中，保存LM模式中的幀內(nèi)預測所參考的亮度分量值的存儲器資源量受最大編碼單位的尺寸的影響。例如，如果最大編碼單位的尺寸是128×128像素、色度格式是4:2:0、并且比特深度是10比特，則需要64×64×10比特的存儲器資源。在上述按PU的順序中，另一方面，保存LM模式中的幀內(nèi)預測所參照的亮度分量值的存儲器資源量受最大預測單位的尺寸的影響。例如，如果編碼單位被劃分成四個預測單位或更多個預測單位，則按PU的順序的情況所需的存儲器資源量是按分量的順序的情況所需的存儲器資源量的四分之一。因此，通過采用以上按PU的順序，可以降低存儲器資源消耗量。

<6.示例應用>

上述根據(jù)實施例的圖像編碼裝置10和圖像解碼裝置60可應用到各種電子設備，比如用于衛(wèi)星廣播、諸如有線TV的有線廣播、因特網(wǎng)上的分發(fā)、經(jīng)由蜂窩通信到終端的分發(fā)等的發(fā)射機和接收機、在諸如光盤、磁盤或閃速存儲器的介質(zhì)中記錄圖像的記錄裝置、從這樣的存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)裝置等。以下將描述四個示例應用。

[6-1.第一示例應用]

圖29是示出采用上述實施例的電視機的示意性配置的示例的框圖。電視機900包括天線901、調(diào)諧器902、解復用器903、解碼器904、視頻信號處理部905、顯示部906、音頻信號處理部907、揚聲器908、外部接口909、控制部910、用戶接口911、以及總線912。

調(diào)諧器902從經(jīng)由天線901接收的廣播信號提取期望頻道的信號，并且對所提取的信號進行解調(diào)。然后，調(diào)諧器902將通過解調(diào)獲得的編碼比特流輸出到解復用器903。即，調(diào)諧器902用作用于接收其中圖像被編碼的編碼流的電視機900的傳輸裝置。

解復用器903從編碼比特流分離要觀看的節(jié)目的視頻流和音頻流，并且將已分離的每個流輸出到解碼器904。另外，解復用器903從編碼比特流提取諸如EPG(電子節(jié)目指南)的輔助數(shù)據(jù)，并且將所提取的數(shù)據(jù)供給控制部910。另外，解復用器903可在編碼比特流被加擾的情況下執(zhí)行解擾。

解碼器904對從解復用器903輸入的視頻流和音頻流進行解碼。然后，解碼器904將通過解碼處理生成的視頻數(shù)據(jù)輸出到視頻信號處理部905。另外，解碼器904將通過解碼處理生成的音頻數(shù)據(jù)輸出到音頻信號處理部907。

視頻信號處理部905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，并且使得顯示部906顯示視頻。視頻信號處理部905還可使得顯示部906顯示經(jīng)由網(wǎng)絡供給的應用畫面。此外，視頻信號處理部905可根據(jù)設置例如對視頻數(shù)據(jù)執(zhí)行諸如噪聲消除的附加處理。此外，視頻信號處理部905例如可生成諸如菜單、按鈕、光標等的GUI(圖像用戶接口)的圖像，并將所生成的圖像疊加到輸出圖像上。

顯示部906由視頻信號處理部905供給的驅(qū)動信號驅(qū)動，并且在顯示裝置(例如，液晶顯示器、等離子顯示器、OLED等)的視頻屏幕上顯示視頻或圖像。

音頻信號處理部907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行諸如D/A轉(zhuǎn)換和放大的再現(xiàn)處理，并且從揚聲器908輸出音頻。另外，音頻信號處理部907可對音頻數(shù)據(jù)執(zhí)行諸如噪聲消除的附加處理。

外部接口909是用于連接電視機900和外部設備或網(wǎng)絡的接口。例如，經(jīng)由外部接口909接收的視頻流或音頻流可由解碼器904解碼。即，外部接口909也用作用于接收其中圖像被編碼的編碼流的電視機900的傳輸裝置。

控制部910包括諸如CPU(中央處理單元)的處理器、諸如RAM(隨機存取存儲器)、ROM(只讀存儲器)的存儲器等。存儲器存儲要由CPU執(zhí)行的程序、節(jié)目數(shù)據(jù)、EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡獲取的數(shù)據(jù)等。例如，CPU在電視機900啟動時讀取并執(zhí)行存儲器中存儲的程序。CPU例如通過執(zhí)行程序，根據(jù)從用戶接口911輸入的操作信號，控制電視機900的操作。

用戶接口911連接到控制部910。用戶接口911例如包括用戶操作電視機900所使用的按鈕和開關、以及用于遠程控制信號的接收部。用戶接口911經(jīng)由這些結構元件來檢測用戶的操作，生成操作信號，并且將所生成的操作信號輸出到控制部910。

總線912使得調(diào)諧器902、解復用器903、解碼器904、視頻信號處理部905、音頻信號處理部907、外部接口909、以及控制部910相互連接。

在如上所述配置的電視機900中，解碼器904具有根據(jù)上述實施例的圖像解碼裝置60的功能。因此，即使當LM模式被采用用于對電視機900的圖像進行解碼時，也可以抑制伴隨著塊尺寸的擴展的處理代價的增加。

[6-2.第二示例應用]

圖30是示出采用上述實施例的移動電話的示意性配置的示例的框圖。移動電話920包括天線921、通信部922、音頻編解碼器923、揚聲器924、麥克風925、攝像裝置部926、圖像處理部927、解復用部928、記錄/再現(xiàn)部929、顯示部930、控制部931、操作部932、以及總線933。

天線921連接到通信部922。揚聲器924和麥克風925連接到音頻編解碼器923。操作部932連接到控制部931?？偩€933使通信部922、音頻編解碼器923、攝像裝置部926、圖像處理部927、解復用部928、記錄/再現(xiàn)部929、顯示部930、以及控制部931相互連接。

移動電話920以包括音頻通信模式、數(shù)據(jù)通信模式、圖像捕獲模式、以及視頻電話模式的各種操作模式，執(zhí)行諸如音頻信號的傳輸/接收、電子郵件或圖像數(shù)據(jù)的傳輸/接收、圖像捕獲、數(shù)據(jù)的記錄等的操作。

在音頻通信模式中，麥克風925生成的模擬音頻信號被供給到音頻編解碼器923。音頻編解碼器923將模擬音頻信號轉(zhuǎn)換成音頻數(shù)據(jù)，并且對轉(zhuǎn)換后的音頻數(shù)據(jù)進行A/D轉(zhuǎn)換和壓縮。然后，音頻編解碼器923將壓縮后的音頻數(shù)據(jù)輸出到通信部922。通信部922對音頻數(shù)據(jù)進行編碼和調(diào)制，并且生成傳輸信號。然后，通信部922將所生成的傳輸信號經(jīng)由天線921傳送到基站(未示出)。另外，通信部922對經(jīng)由天線921接收的無線信號進行放大，并且對無線信號的頻率進行轉(zhuǎn)換，以及獲取所接收的信號。然后，通信部922對所接收的信號進行解調(diào)和解碼，并且生成音頻數(shù)據(jù)，以及將所生成的音頻數(shù)據(jù)輸出到音頻編解碼器923。音頻編解碼器923對音頻數(shù)據(jù)進行擴展和D/A轉(zhuǎn)換，并且生成模擬音頻信號。然后，音頻編解碼器923將所生成的音頻信號供給至揚聲器924并使得輸出音頻。

另外，在數(shù)據(jù)通信模式中，控制部931例如根據(jù)用戶經(jīng)由操作部932的操作，生成構成電子郵件的文本數(shù)據(jù)。另外，控制部931使得文本顯示在顯示部930上。此外，控制部931根據(jù)用戶經(jīng)由操作部932的傳輸指令生成電子郵件數(shù)據(jù)，并且將所生成的電子郵件數(shù)據(jù)輸出到通信部922。然后，通信部922對電子郵件數(shù)據(jù)進行編碼和調(diào)制，并且生成傳輸信號。然后，通信部922將所生成的傳輸信號經(jīng)由天線921傳送到基站(未示出)。另外，通信部922對經(jīng)由天線921接收的無線信號進行放大，并且對無線信號的頻率進行轉(zhuǎn)換，以及獲取所接收的信號。然后，通信部922對所接收的信號進行解調(diào)和解碼，恢復電子郵件數(shù)據(jù)，并且將恢復的電子郵件數(shù)據(jù)輸出到控制部931?？刂撇?31使得顯示部930顯示電子郵件的內(nèi)容，并且還使得電子郵件數(shù)據(jù)存儲在記錄/再現(xiàn)部929的存儲介質(zhì)中。

記錄/再現(xiàn)部929包括任意可讀和可寫的存儲介質(zhì)。例如，存儲介質(zhì)可以是諸如RAM、閃速存儲器等的內(nèi)置存儲介質(zhì)、或諸如硬盤、磁盤、磁光盤、光盤、USB存儲器、存儲器卡等的外部安裝的存儲介質(zhì)。

此外，例如，在圖像捕獲模式中，攝像裝置部926捕獲對象的圖像，生成圖像數(shù)據(jù)，并且將所生成的圖像數(shù)據(jù)輸出到圖像處理部927。圖像處理部927對從攝像裝置部926輸入的圖像數(shù)據(jù)進行編碼，并且使得編碼流存儲在記錄/再現(xiàn)部929的存儲介質(zhì)中。

此外，例如，在視頻電話模式中，解復用部928對圖像處理部927編碼的視頻流和從音頻編解碼器923輸入的音頻流進行復用，并且將復用后的流輸出到通信部922。通信部922對該流進行編碼和調(diào)制，并且生成傳輸信號。然后，通信部922經(jīng)由天線921將所生成的傳輸信號傳送到基站(未示出)。另外，通信部922對經(jīng)由天線921接收的無線信號進行放大，并且對無線信號的頻率進行轉(zhuǎn)換，以及獲取所接收的信號。這些傳輸信號和所接收的信號可包括編碼比特流。然后，通信部922對所接收的信號進行解調(diào)和解碼，恢復該流，并且將所恢復的流輸出到解復用部928。解復用部928從輸入流分離視頻流和音頻流，并且將視頻流輸出到圖像處理部927以及將音頻流輸出到音頻編解碼器923。圖像處理部927對視頻流進行解碼，并且生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被供給顯示部930，并且顯示部930顯示一系列圖像。音頻編解碼器923對音頻流進行擴展和D/A轉(zhuǎn)換，并且生成模擬音頻信號。然后，視頻編解碼器923將所生成的音頻信號供給至揚聲器924并且使得輸出音頻。

在以該方式配置的移動電話920中，圖像處理部927具有根據(jù)上述實施例的圖像編碼裝置10和圖像解碼裝置60的功能。因此，即使當LM模式被采用用于對移動電話920的圖像進行編碼和解碼時，也可以抑制伴隨著塊尺寸的擴展的處理代價的增加。

[6-3.第三示例應用]

圖31是示出采用上述實施例的記錄/再現(xiàn)裝置的示意性配置的示例的框圖。例如，記錄/再現(xiàn)裝置940對所接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼，并且將其記錄在記錄介質(zhì)中。例如，記錄/再現(xiàn)裝置940也可以對從其他裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼，并且將其記錄在記錄介質(zhì)中。此外，例如，記錄/再現(xiàn)裝置940根據(jù)用戶的指令，使用監(jiān)視器或揚聲器再現(xiàn)記錄介質(zhì)中記錄的數(shù)據(jù)。此時，記錄/再現(xiàn)裝置940對音頻數(shù)據(jù)和視頻數(shù)據(jù)進行解碼。

記錄/再現(xiàn)裝置940包括調(diào)諧器941、外部接口942、編碼器943、HDD(硬盤驅(qū)動器)944、磁盤驅(qū)動器945、選擇器946、解碼器947、OSD(屏上顯示)948、控制部949、以及用戶接口950。

調(diào)諧器941從經(jīng)由天線(未示出)接收的廣播信號提取期望頻道的信號，并且對所提取的信號進行解調(diào)。然后，調(diào)諧器941將通過解調(diào)獲得的編碼比特流輸出到選擇器946。即，調(diào)諧器941用作用于記錄/再現(xiàn)裝置940的傳輸裝置。

外部接口942是用于連接記錄/再現(xiàn)裝置940和外部設備或網(wǎng)絡的接口。例如，外部接口942可以是IEEE 1394接口、網(wǎng)絡接口、USB接口、閃速存儲器接口等。例如，外部接口942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入到編碼器943。即，外部接口942用作記錄/再現(xiàn)裝置940的傳輸裝置。

在從外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)沒有被編碼的情況下，編碼器943對視頻數(shù)據(jù)和音頻數(shù)據(jù)進行編碼。然后，編碼器943將編碼比特流輸出到選擇器946。

HDD 944將作為視頻或音頻的壓縮內(nèi)容數(shù)據(jù)、各種程序、以及其他數(shù)據(jù)段的編碼比特流記錄在內(nèi)部硬盤中。另外，HDD 944在再現(xiàn)視頻或音頻時從硬盤讀取這些數(shù)據(jù)段。

磁盤驅(qū)動器945將數(shù)據(jù)記錄在安裝的記錄介質(zhì)中或讀取安裝的記錄介質(zhì)中的數(shù)據(jù)。例如，安裝在磁盤驅(qū)動器945上的記錄介質(zhì)可以是DVD盤(DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+、DVD+RW等)、藍光(注冊商標)盤等。

選擇器946在記錄視頻或音頻時選擇從調(diào)諧器941或編碼器943輸入的編碼比特流，并且將所選編碼比特流輸出到HDD 944或磁盤驅(qū)動器945。另外，選擇器946在再現(xiàn)視頻或音頻時將從HDD 944或磁盤驅(qū)動器945輸入的編碼比特流輸出到解碼器947。

解碼器947對編碼比特流進行解碼，并且生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后，解碼器947將所生成的視頻數(shù)據(jù)輸出到OSD 948。另外，解碼器904將所生成的音頻數(shù)據(jù)輸出到外部揚聲器。

OSD 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)，并且顯示視頻。另外，例如，OSD 948可將諸如菜單、按鈕、光標等的GUI的圖像疊加在所顯示的視頻上。

控制部949包括諸如CPU的處理器和諸如RAM或ROM的存儲器。存儲器存儲要由CPU執(zhí)行的程序、節(jié)目數(shù)據(jù)等。例如，CPU在記錄/再現(xiàn)裝置940啟動時讀取并執(zhí)行存儲器中存儲的程序。CPU例如通過執(zhí)行程序，根據(jù)從用戶接口950輸入的操作信號，控制記錄/再現(xiàn)裝置940的操作。

用戶接口950連接到控制部949。例如，用戶接口950包括用戶操作記錄/再現(xiàn)裝置940使用的按鈕和開關、以及用于遠程控制信號的接收部。用戶接口950經(jīng)由這些結構元件來檢測用戶的操作，生成操作信號，并且將所生成的操作信號輸出到控制部949。

在以該方式配置的記錄/再現(xiàn)裝置940中，編碼器943具有根據(jù)上述實施例的圖像編碼裝置10的功能。另外，解碼器947具有根據(jù)上述實施例的圖像解碼裝置60的功能。因此，即使當LM模式被采用用于對記錄/再現(xiàn)裝置940的圖像進行編碼和解碼時，也可以抑制伴隨著塊尺寸的擴展的處理代價的增加。

[6-4.第四示例應用]

圖32是示出采用上述實施例的圖像捕獲裝置的示意性配置的示例的框圖。圖像捕獲裝置960捕獲對象的圖像，生成圖像，對圖像數(shù)據(jù)進行編碼，并且將圖像數(shù)據(jù)記錄在記錄介質(zhì)中。

圖像捕獲裝置960包括光學塊961、圖像捕獲部962、信號處理部963、圖像處理部964、顯示部965、外部接口966、存儲器967、媒體驅(qū)動器968、OSD 969、控制部970、用戶接口971、以及總線972。

光學塊961連接到圖像捕獲部962。圖像捕獲部962連接到信號處理部963。顯示部965連接到圖像處理部964。用戶接口971連接到控制部970?？偩€972將圖像處理部964、外部接口966、存儲器967、媒體驅(qū)動器968、OSD 969、以及控制部970相互連接。

光學塊961包括聚焦透鏡、孔徑光闌機構等。光學塊961在圖像捕獲部962的圖像捕獲表面上形成對象的光學圖像。圖像捕獲部962包括諸如CCD、CMOS等的圖像傳感器，并且通過光電轉(zhuǎn)換將形成在圖像捕獲表面上的光學圖像轉(zhuǎn)換成作為電信號的圖像信號。然后，圖像捕獲部962將圖像信號輸出到信號處理部963。

信號處理部963對從圖像捕獲部962輸入的圖像信號執(zhí)行各種攝像裝置信號處理，諸如拐點校正、伽馬校正、顏色校正等。信號處理部963將攝像裝置信號處理之后的圖像數(shù)據(jù)輸出到圖像處理部964。

圖像處理部964對從信號處理部963輸入的圖像數(shù)據(jù)進行編碼，并且生成編碼數(shù)據(jù)。然后，圖像處理部964將所生成的編碼數(shù)據(jù)輸出到外部接口966或媒體驅(qū)動器968。另外，圖像處理部964對從外部接口966或媒體驅(qū)動器968輸入的編碼數(shù)據(jù)進行解碼，并且生成圖像數(shù)據(jù)。然后，圖像處理部964將所生成的圖像數(shù)據(jù)輸出到顯示部965。另外，圖像處理部964可將從信號處理部963輸入的圖像數(shù)據(jù)輸出到顯示部965，并且使得顯示圖像。此外，圖像處理部964可將從OSD 969獲取的用于顯示的數(shù)據(jù)疊加到要輸出到顯示部965的圖像上。

OSD 969例如生成諸如菜單、按鈕、光標等的GUI的圖像，并且將所生成的圖像輸出到圖像處理部964。

例如，外部接口966被配置為USB輸入/輸出端子。例如，外部接口966在打印圖像時連接圖像捕獲裝置960和打印機。另外，必要時驅(qū)動器連接到外部接口966。例如，諸如磁盤、光盤等的可移除介質(zhì)安裝在驅(qū)動器上，并且從可移除介質(zhì)讀取的程序可安裝在圖像捕獲裝置960中。此外，外部接口966可被配置為要連接到諸如LAN、因特網(wǎng)等的網(wǎng)絡的網(wǎng)絡接口。即，外部接口966用作圖像捕獲裝置960的傳輸裝置。

例如，要安裝在媒體驅(qū)動器968上的記錄介質(zhì)可以是任意可讀和可寫的可移除介質(zhì)，諸如磁盤、磁光盤、光盤、半導體存儲器等。另外，例如，記錄介質(zhì)可固定地安裝在媒體驅(qū)動器968上，該媒體驅(qū)動器968構成諸如內(nèi)置硬盤驅(qū)動器或SSD(固態(tài)驅(qū)動器)的非可移動存儲部。

控制部970包括諸如CPU的處理器和諸如RAM或ROM的存儲器。存儲器存儲要由CPU執(zhí)行的程序、節(jié)目數(shù)據(jù)等。例如，CPU在圖像捕獲裝置960啟動時讀取并執(zhí)行存儲器中存儲的程序。CPU例如通過執(zhí)行程序，根據(jù)從用戶接口971輸入的操作信號，控制圖像捕獲裝置960的操作。

用戶接口971連接到控制部970。例如，用戶接口971包括用戶操作圖像捕獲裝置960使用的按鈕和開關等。用戶接口971經(jīng)由這些結構元件來檢測用戶的操作，生成操作信號，并且將所生成的操作信號輸出到控制部970。

在以該方式配置的圖像捕獲裝置960中，圖像處理部964具有根據(jù)上述實施例的圖像編碼裝置10和圖像解碼裝置60的功能。因此，即使當LM模式被采用用于對圖像捕獲裝置960的圖像進行編碼和解碼時，也可以抑制伴隨著塊尺寸的擴展的處理代價的增加。

<7.總結>

至此，使用圖1到32描述了根據(jù)實施例的圖像編碼裝置10和圖像解碼裝置60。根據(jù)本實施例，當使用對應的亮度分量的值的函數(shù)的LM模式被采用用于對圖像進行編碼和解碼的色差分量的幀內(nèi)預測時，可變地控制計算函數(shù)的系數(shù)參考的參考像素的數(shù)量與塊尺寸的比率。因此，可以通過抑制參考像素的數(shù)量伴隨著塊尺寸的擴展而增加，來避免或減輕處理代價的增加。

另外，根據(jù)本實施例，當塊尺寸超過預定尺寸時，控制比率以使得參考像素的數(shù)量恒定。根據(jù)這樣的配置，可以使用針對多個塊尺寸的共通的電路或邏輯來計算函數(shù)的系數(shù)。因此，也可以抑制采用LM模式而引起的電路或邏輯的規(guī)模的增加。

另外，根據(jù)本實施例，當塊尺寸低于預定尺寸時，參考像素未過度減少。因此，可以防止由于參考像素的數(shù)量不足而引起的LM模式的預測準確度的降低。當塊中的圖像單調(diào)時通?？梢栽O置相對大的塊尺寸，并且可以容易地進行預測。因此，當塊尺寸依然較大時，由更多的參考像素的降低引起的預測準確度的極度降低的風險較小。

另外，根據(jù)本實施例，可以在塊的垂直方向和水平方向上單獨控制比率。根據(jù)這樣的配置，可以不依賴于色度格式，使用共通的電路或邏輯計算函數(shù)的系數(shù)。另外，可以留下更多沿可以利用更少量的存儲器存取來存取的水平方向布置的參考像素，并且更多地減少沿垂直方向布置的參考像素。此外，當使用短距離幀內(nèi)預測方法時，可以根據(jù)塊的形狀來自適應地改變要減少的參考像素。

根據(jù)上述兩個變型例，可以有效地降低與LM模式的引入有關的存儲器資源的消耗量。

另外，在本說明書中，主要描述了如下示例：其中，關于幀內(nèi)預測的信息和關于幀間預測的信息復用到編碼流的報頭，并且編碼流從編碼側(cè)傳送到解碼側(cè)。然而，傳送該信息的方法不限于這樣的示例。例如，該信息可以作為與編碼比特流相關聯(lián)的單獨數(shù)據(jù)被傳送或記錄，而無需被復用到編碼比特流。這里術語“關聯(lián)”意味著使得在解碼時將比特流中包括的圖像(或圖像的一部分，諸如片段或塊)和對應于該圖像的信息彼此鏈接。即，該信息可以在不同于圖像(或比特流)的傳輸線上傳送。或者，該信息可以記錄在不同于圖像(或比特流)的記錄介質(zhì)上(或同一記錄介質(zhì)上的不同記錄區(qū)域中)。此外，例如，該信息和圖像(或比特流)可基于諸如多個幀、一個幀、幀的一部分等的任意單位而彼此相關聯(lián)。

至此，參照附圖詳細描述了本公開的優(yōu)選實施例，但是本公開的技術范圍不限于這樣的示例。明顯的是，本公開的技術領域的普通技術人員可在權利要求所描述的技術思想的范圍內(nèi)進行各種修改或變型，這些修改或變型當然應理解為在本公開的技術范圍內(nèi)。

另外，本技術還可如下配置。

(1)一種圖像處理裝置，包括：

預測部，通過使用對應的亮度分量的值的函數(shù)，生成要解碼的圖像的像素的色差分量的預測值；

系數(shù)計算部，通過參考所述像素所屬的塊周圍的像素，計算所述預測部使用的所述函數(shù)的系數(shù)；以及

控制器，控制所述系數(shù)計算部使用的參考像素的數(shù)量與所述塊的塊尺寸的比率。

(2)根據(jù)(1)所述的圖像處理裝置，其中，所述控制器根據(jù)所述塊尺寸控制所述比率。

(3)根據(jù)(2)所述的圖像處理裝置，其中，所述控制器以如下方式執(zhí)行控制：所述塊尺寸是第一尺寸時的比率變得小于所述塊尺寸是第二尺寸時的比率，其中，所述第二尺寸小于所述第一尺寸。

(4)根據(jù)(3)所述的圖像處理裝置，其中，所述控制器以如下方式控制所述比率：當所述塊尺寸超過預定尺寸時，所述參考像素的數(shù)量變?yōu)楹愣ā?/p>

(5)根據(jù)(4)所述的圖像處理裝置，其中，所述系數(shù)計算部使用共通的電路或邏輯，計算超過所述預定尺寸的多個塊尺寸的所述系數(shù)。

(6)根據(jù)(1)至(5)中的任意一項所述的圖像處理裝置，其中，所述控制器根據(jù)塊尺寸與所述比率之間預先定義的映射，來控制所述比率。

(7)根據(jù)(1)至(6)中的任意一項所述的圖像處理裝置，其中，所述控制器通過改變在計算所述系數(shù)時被稀疏的參考像素的數(shù)量，來控制所述比率。

(8)根據(jù)(7)所述的圖像處理裝置，其中，所述控制器在所述塊尺寸在預定尺寸以下時，將要被稀疏的參考像素的數(shù)量設置為零。

(9)根據(jù)(1)所述的圖像處理裝置，其中，所述控制器單獨控制第一比率和第二比率，所述第一比率是所述塊的左參考像素的數(shù)量與所述塊的垂直方向上的尺寸的比率，所述第二比率是所述塊的上參考像素的數(shù)量與所述塊的水平方向上的尺寸的比率。

(10)根據(jù)(9)所述的圖像處理裝置，其中，所述控制器以如下方式控制所述第一比率或所述第二比率：針對相同塊尺寸，所述第一比率變得等于或小于所述第二比率。

(11)根據(jù)(9)所述的圖像處理裝置，其中，當使用短距離幀內(nèi)預測方法時，所述控制器僅控制對應于如下方向的比率：所述方向與所述第一比率和所述第二比率中大小較大的一個對應。

(12)根據(jù)(9)所述的圖像處理裝置，其中，當表示所述色差分量的分辨率的色度格式是4:2:2時，所述控制器以如下方式控制所述第一比率：所述塊的左參考像素的數(shù)量變得等于所述塊的上參考像素的數(shù)量。

(13)根據(jù)(1)所述的圖像處理裝置，其中，所述控制器根據(jù)表示所述色差分量的分辨率的色度格式，來控制所述比率。

(14)根據(jù)(13)所述的圖像處理裝置，其中，所述控制器以如下方式執(zhí)行控制：所述色度格式表示第一分辨率時的比率變得小于所述色度格式表示第二分辨率時的比率，其中，所述第二分辨率低于所述第一分辨率。

(15)根據(jù)(5)所述的圖像處理裝置，其中，當像素值的比特深度超過預定比特數(shù)量時，所述系數(shù)計算部使用減少到所述預定比特數(shù)量的參考像素的像素值，來計算所述系數(shù)。

(16)一種圖像處理方法，包括：

通過使用對應的亮度分量的值的函數(shù)，生成要解碼的圖像的像素的色差分量的預測值；

通過參考所述像素所屬的塊周圍的像素，計算所述函數(shù)的系數(shù)；以及

控制用于計算所述系數(shù)的參考像素的數(shù)量與所述塊的塊尺寸的比率。

(17)一種圖像處理裝置，包括：

預測部，通過使用對應的亮度分量的值的函數(shù)，生成要編碼的圖像的像素的色差分量的預測值；

系數(shù)計算部，通過參考所述像素所屬的塊周圍的像素，計算所述預測部使用的函數(shù)的系數(shù)；以及

控制器，控制所述系數(shù)計算部使用的參考像素的數(shù)量與所述塊的塊尺寸的比率。

(18)一種圖像處理方法，包括：

通過使用對應的亮度分量的值的函數(shù)，生成要編碼的圖像的像素的色差分量的預測值；

通過參考所述像素所屬的塊周圍的像素，計算所述函數(shù)的系數(shù)；以及

控制用于計算所述系數(shù)的參考像素的數(shù)量與所述塊的塊尺寸的比率。

(19)一種圖像處理裝置，包括：

預測部，使用要解碼的圖像的亮度分量，進行所述圖像的色差分量的幀內(nèi)預測；以及

控制器，可變地控制所述預測部進行幀內(nèi)預測時參考的參考像素。

(20)一種圖像處理方法，包括：

使用要解碼的圖像的亮度分量，進行所述圖像的色差分量的幀內(nèi)預測；以及

可變地控制進行所述色差分量的幀內(nèi)預測時參考的參考像素。

附圖標記列表

10 圖像編碼裝置(圖像處理裝置)

42 預測控制器

44 系數(shù)計算部(稀疏部)

46 預測部

60 圖像解碼裝置(圖像處理裝置)

92 預測控制器

94 系數(shù)計算部(稀疏部)

96 預測部