專利名稱：移動(dòng)圖像編碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種移動(dòng)圖像編碼裝置，更具體地涉及一種當(dāng)使用H.264編碼標(biāo)準(zhǔn)時(shí)用于選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的技術(shù)。
背景技術(shù)：
已經(jīng)建立各種編碼標(biāo)準(zhǔn)，例如Motion-JPEG、MPEG-1和MPEG-2，作為用于對(duì)移動(dòng)圖像進(jìn)行高效編碼的技術(shù)。制造商已經(jīng)開發(fā)并銷售圖像捕捉裝置，例如數(shù)碼像機(jī)、數(shù)碼攝像機(jī)、DVD(數(shù)字多用盤)播放器等，其能夠存儲(chǔ)使用了這些編碼標(biāo)準(zhǔn)的移動(dòng)圖像。因此，允許用戶使用這些圖像捕捉裝置、DVD播放器、個(gè)人電腦等容易地對(duì)移動(dòng)圖像進(jìn)行播放。
數(shù)字化移動(dòng)圖像攜帶大量的數(shù)據(jù)。所以，各種能夠進(jìn)行比上述諸如MPEG-1或MPEG-2的編碼標(biāo)準(zhǔn)更有效的高壓縮的移動(dòng)圖像編碼方法，已經(jīng)連續(xù)地被研究和開發(fā)。最近，一種稱為H.264/MPEG-4 Part 10AVC的新的編碼算法(后面稱為H.264標(biāo)準(zhǔn))已經(jīng)被ITU-T(國(guó)際電信聯(lián)盟-電信標(biāo)準(zhǔn)化組)和ISO(國(guó)際標(biāo)準(zhǔn)化組織)標(biāo)準(zhǔn)化。
H.264標(biāo)準(zhǔn)與諸如MPEG-1和MPEG-2的傳統(tǒng)的編碼標(biāo)準(zhǔn)相比，要求編碼和解碼的很大的計(jì)算復(fù)雜度，但是提供了更高的編碼效率。已經(jīng)披露一種使用H.264標(biāo)準(zhǔn)的計(jì)算處理的系統(tǒng)和方法，例如，在日本公開專利申請(qǐng)No.2004-56827中。
H.264標(biāo)準(zhǔn)包括一種稱為幀內(nèi)預(yù)測(cè)的預(yù)測(cè)方法，該預(yù)測(cè)方法通過(guò)使用同一幀內(nèi)的像素值在一個(gè)給定的幀內(nèi)對(duì)像素值進(jìn)行預(yù)測(cè)。在這種幀內(nèi)預(yù)測(cè)中，有許多可選擇使用的幀內(nèi)預(yù)測(cè)模式。在這種情況下，選擇一種適合輸入圖像的幀內(nèi)預(yù)測(cè)模式以形成印使進(jìn)行高效壓縮后仍具有極小劣化的編碼數(shù)據(jù)。
對(duì)于幀內(nèi)預(yù)測(cè)，H.264標(biāo)準(zhǔn)提供九種幀內(nèi)預(yù)測(cè)模式用以改善預(yù)測(cè)的精度。通常通過(guò)試驗(yàn)性地對(duì)輸入圖像執(zhí)行所有的幀內(nèi)預(yù)測(cè)模式并且根據(jù)試驗(yàn)性的執(zhí)行結(jié)果找到一種能夠獲得最優(yōu)結(jié)果的幀內(nèi)預(yù)測(cè)模式，從九種幀內(nèi)預(yù)測(cè)模式中選擇出一種最優(yōu)幀內(nèi)預(yù)測(cè)模式。
下面參照?qǐng)D17說(shuō)明采用這種選擇方法的理由。圖17為表示幀的圖，其中外部的四邊形表示整個(gè)畫面，而五個(gè)內(nèi)部的四邊形表示將進(jìn)行幀內(nèi)預(yù)測(cè)的方塊。雖然實(shí)際上在整個(gè)畫面上都設(shè)置有方塊，但是為了方便描述僅圖示了五個(gè)代表性的方塊。圖17中的箭頭表示由作為每個(gè)方塊中的計(jì)算結(jié)果的被確定為最優(yōu)幀內(nèi)預(yù)測(cè)模式所表示的預(yù)測(cè)方向。這樣，因?yàn)樯踔猎谕环嬅嬷械母鱾€(gè)位置上存在著各種目標(biāo)，所以針對(duì)各個(gè)方塊可能有不同的幀內(nèi)預(yù)測(cè)模式被確定為最優(yōu)，并且可能會(huì)選擇出超過(guò)一個(gè)的具體幀內(nèi)預(yù)測(cè)模式?；谶@個(gè)原因，在執(zhí)行幀內(nèi)預(yù)測(cè)時(shí)，對(duì)每個(gè)方塊中所有的幀內(nèi)預(yù)測(cè)模式獲得預(yù)測(cè)的精度，并且選擇出能執(zhí)行最優(yōu)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式并指定在每一個(gè)方塊內(nèi)。
然而，計(jì)算每個(gè)方塊中的所有的幀內(nèi)預(yù)測(cè)模式以便從中選擇出一種最優(yōu)幀內(nèi)預(yù)測(cè)模式，這增加了H.264編碼處理中計(jì)算的復(fù)雜度，因此導(dǎo)致了編碼處理時(shí)間的額外增加或電力的浪費(fèi)。

發(fā)明內(nèi)容
本發(fā)明考慮了上述的情況，且本發(fā)明的一個(gè)方面是幫助選擇對(duì)于輸入圖像的最優(yōu)幀內(nèi)預(yù)測(cè)模式。
本發(fā)明的另一方面是通過(guò)使用有關(guān)輸入圖像的攝像信息來(lái)幫助選擇對(duì)于輸入圖像的最優(yōu)幀內(nèi)預(yù)測(cè)模式。
本發(fā)明的另一方面是通過(guò)減輕使用H.264標(biāo)準(zhǔn)的圖像編碼裝置中的計(jì)算復(fù)雜度從而實(shí)現(xiàn)有效的編碼。
在本發(fā)明的一個(gè)方面中，圖像編碼裝置包括配置成輸入圖像數(shù)據(jù)的輸入單元、配置成通過(guò)將由輸入單元輸入的圖像數(shù)據(jù)分割為分別包括多個(gè)像素的方塊從而生成塊的分割單元、配置成確定由分割單元生成的每個(gè)塊中的圖像數(shù)據(jù)的圖像圖案的確定單元、配制成根據(jù)由確定單元確定的圖像圖案來(lái)選擇多個(gè)預(yù)測(cè)模式中的一個(gè)的選擇單元，以及配置成通過(guò)根據(jù)由選擇單元選擇的預(yù)測(cè)模式使用同一幅畫面中的像素值進(jìn)行畫面像素值預(yù)測(cè)處理以輸出預(yù)測(cè)的像素值的處理單元。
在本發(fā)明的另一方面中，圖像編碼裝置包括配置成輸入將要編碼的圖像數(shù)據(jù)的輸入單元、配置成獲得關(guān)于圖像數(shù)據(jù)的攝影信息的獲取單元、配置成使用所述的攝影信息從n個(gè)預(yù)測(cè)模式中選擇出m個(gè)預(yù)測(cè)模式(1≤m≤n)的選擇單元，和配置成通過(guò)根據(jù)所述選擇單元選擇出的m個(gè)預(yù)測(cè)模式使用同一幅畫面中的像素值對(duì)該畫面中的像素值進(jìn)行預(yù)測(cè)處理從而輸出預(yù)測(cè)的像素值的處理單元。
通過(guò)閱讀下面結(jié)合附圖對(duì)有關(guān)實(shí)施例的詳細(xì)描述，本發(fā)明的其它特性和優(yōu)點(diǎn)將對(duì)于本領(lǐng)域的技術(shù)人員變得明顯，其中在整個(gè)附圖中同樣的標(biāo)號(hào)表示同樣或類似的部分。


與說(shuō)明書一體的并組成說(shuō)明書一部分的

本發(fā)明的實(shí)施例，并且與該描述一起解釋本發(fā)明的原理。
圖1為說(shuō)明根據(jù)本發(fā)明的第一實(shí)施例的幀內(nèi)預(yù)測(cè)處理的方框圖。
圖2為說(shuō)明Hadamard變換的示意圖。
圖3A、3B和3C為說(shuō)明Hadamard變換中變換示例的示意圖。
圖4A、4B和4C為說(shuō)明幀內(nèi)預(yù)測(cè)模式的示意圖。
圖5為說(shuō)明根據(jù)第一實(shí)施例的用以選擇一個(gè)幀內(nèi)預(yù)測(cè)模式的處理的流程圖。
圖6為根據(jù)第一實(shí)施例的使用H.264標(biāo)準(zhǔn)的圖像編碼裝置的方框圖。
圖7為說(shuō)明根據(jù)本發(fā)明的第三實(shí)施例的圖像捕捉裝置的配置的方框圖。
圖8為說(shuō)明鏡頭搖移過(guò)程中獲得的圖像的幀內(nèi)預(yù)測(cè)方向的例子的示意圖。
圖9為說(shuō)明根據(jù)第三實(shí)施例的圖像編碼裝置中鏡頭搖移或俯仰轉(zhuǎn)動(dòng)的方向?qū)瑑?nèi)預(yù)測(cè)模式進(jìn)行選擇的處理流程圖。
圖10為表示在變焦過(guò)程中獲得圖像的幀內(nèi)預(yù)測(cè)方向的例子的示意圖。
圖11為說(shuō)明根據(jù)本發(fā)明的第四實(shí)施例的圖像編碼裝置中的變焦對(duì)幀內(nèi)預(yù)測(cè)模式進(jìn)行選擇的處理流程圖。
圖12為說(shuō)明模糊圖像的幀內(nèi)預(yù)測(cè)的例子的示意圖。
圖13為說(shuō)明根據(jù)本發(fā)明的第五實(shí)施例的圖像編碼裝置中的調(diào)焦的幀內(nèi)預(yù)測(cè)模式的處理流程圖。
圖14為根據(jù)第三實(shí)施例的圖像編碼裝置的方框圖。
圖15為說(shuō)明在幀內(nèi)預(yù)測(cè)中使用的像素的示意圖。
圖16為說(shuō)明九種幀內(nèi)預(yù)測(cè)模式的示意圖。
圖17為表示通常圖像的幀內(nèi)預(yù)測(cè)的方向的例子的示意圖。
圖18為說(shuō)明選擇幀內(nèi)預(yù)測(cè)模式的通常處理的流程圖。
具體實(shí)施例方式
下面參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)描述。
第一實(shí)施例圖6為表示根據(jù)本發(fā)明的第一實(shí)施例的圖像編碼裝置600的配置的方框圖。該圖像編碼裝置600包括減法器601、整數(shù)變換單元602、量子化單元603、熵編碼單元604、逆量子化單元605、逆整數(shù)變換單元606、加法器607、幀存儲(chǔ)器608和611、幀內(nèi)預(yù)測(cè)單元609、環(huán)形濾波器610、幀間預(yù)測(cè)單元612、移動(dòng)檢測(cè)單元613和開關(guān)614。圖像編碼裝置600配置為對(duì)輸入圖像數(shù)據(jù)進(jìn)行編碼處理以輸出編碼后的數(shù)據(jù)。
下面說(shuō)明圖6中所述的圖像編碼裝置600中的編碼處理。圖像編碼裝置600根據(jù)H.264標(biāo)準(zhǔn)進(jìn)行編碼處理。另外，圖像編碼裝置600將輸入的移動(dòng)圖像數(shù)據(jù)分割成方塊并對(duì)每個(gè)方塊進(jìn)行處理。
首先，減法器601從輸入到圖像編碼裝置600的圖像數(shù)據(jù)(輸入的圖像數(shù)據(jù))中減去預(yù)測(cè)的圖像數(shù)據(jù)以輸出差別圖像數(shù)據(jù)。后面將描述預(yù)測(cè)圖像的生成。
整數(shù)變換單元602對(duì)從減法器601輸出的差別圖像數(shù)據(jù)進(jìn)行正交變換以輸出變換系數(shù)。然后，量子化單元603使用預(yù)定的量子化參數(shù)對(duì)變換系數(shù)進(jìn)行量子化。
熵編碼單元604接收由量子化單元603量化的變換系數(shù)并對(duì)之進(jìn)行熵編碼，從而輸出編碼后的數(shù)據(jù)。
由量子化單元603量子化的變換系數(shù)也用作生成用于對(duì)后面的方塊進(jìn)行編碼的預(yù)測(cè)圖像數(shù)據(jù)。逆量子化單元605在由量子化單元603量子化的變換系數(shù)上進(jìn)行逆量子化操作。逆整數(shù)變換單元606在由逆量子化單元605逆量子化后的變換系數(shù)上執(zhí)行逆整數(shù)變換，以輸出解碼后的差別數(shù)據(jù)。加法器607將解碼后的差別數(shù)據(jù)和預(yù)測(cè)的圖像數(shù)據(jù)相加，以輸出重建后的圖像數(shù)據(jù)。
重建后的圖像數(shù)據(jù)存儲(chǔ)到幀存儲(chǔ)器608中并通過(guò)環(huán)形濾波器610存儲(chǔ)到幀存儲(chǔ)器611中。重建圖像數(shù)據(jù)中可能涉及后來(lái)的預(yù)測(cè)的數(shù)據(jù)暫時(shí)被存儲(chǔ)在幀存儲(chǔ)器608或611中。環(huán)形濾波器610用于去除阻塞噪聲。
幀內(nèi)預(yù)測(cè)單元609使用存儲(chǔ)在幀存儲(chǔ)器608中的重建圖像數(shù)據(jù)進(jìn)行幀內(nèi)預(yù)測(cè)，從而生成預(yù)測(cè)圖像數(shù)據(jù)。幀間預(yù)測(cè)單元612根據(jù)由移動(dòng)檢測(cè)單元613檢測(cè)到的移動(dòng)矢量信息進(jìn)行幀間預(yù)測(cè)并且使用存儲(chǔ)在幀存儲(chǔ)器611中的重建圖像數(shù)據(jù)生成預(yù)測(cè)圖像數(shù)據(jù)。移動(dòng)檢測(cè)單元613在輸入的圖像數(shù)據(jù)中檢測(cè)移動(dòng)矢量信息并將檢測(cè)到的移動(dòng)矢量信息輸出到幀間預(yù)測(cè)單元612和熵編碼單元604。
開關(guān)614作為選擇單元而工作為每個(gè)宏塊選擇幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)中的任一個(gè)。也就是說(shuō)，開關(guān)614從幀內(nèi)預(yù)測(cè)單元609的輸出和幀間預(yù)測(cè)單元612的輸出中選擇出一個(gè)并將選擇出的預(yù)測(cè)圖像數(shù)據(jù)輸出到減法器601和加法器607。
圖1為說(shuō)明根據(jù)第一實(shí)施例的幀內(nèi)預(yù)測(cè)處理的方框圖。圖1中所示的配置對(duì)應(yīng)于包括在圖像編碼裝置600中的幀內(nèi)預(yù)測(cè)單元609。
參考圖1，幀內(nèi)預(yù)測(cè)單元609包括圖像圖案確定單元101、幀內(nèi)預(yù)測(cè)模式指定單元102、選擇器103、垂直幀內(nèi)預(yù)測(cè)單元104、水平幀內(nèi)預(yù)測(cè)單元105、直流幀內(nèi)預(yù)測(cè)單元106和選擇器107。圖像圖案確定單元101通過(guò)在輸入圖像上進(jìn)行Hadamard變換從而確定圖像圖案。幀內(nèi)預(yù)測(cè)模式指定單元102根據(jù)由圖像圖案確定單元101確定的圖像圖案從多個(gè)幀內(nèi)預(yù)測(cè)模式中指定一個(gè)最優(yōu)的幀內(nèi)預(yù)測(cè)模式。選擇器103和107從垂直幀內(nèi)預(yù)測(cè)單元104、水平幀內(nèi)預(yù)測(cè)單元105和直流幀內(nèi)預(yù)測(cè)單元106中選擇出一個(gè)單元，對(duì)應(yīng)于幀內(nèi)預(yù)測(cè)模式指定單元102指定的幀內(nèi)預(yù)測(cè)模式。垂直幀內(nèi)預(yù)測(cè)單元104使用垂直幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)。水平幀內(nèi)預(yù)測(cè)單元105使用水平幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)。直流幀內(nèi)預(yù)測(cè)單元106使用直流幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)。這樣，垂直、水平和直流幀內(nèi)預(yù)測(cè)模式中的一個(gè)預(yù)測(cè)模式就被選出并根據(jù)選擇器103和107的選擇得以執(zhí)行。作為結(jié)果，幀內(nèi)預(yù)測(cè)單元609輸出預(yù)測(cè)圖像。
下面對(duì)圖1中所示的幀內(nèi)預(yù)測(cè)單元609的主要部分進(jìn)行詳細(xì)說(shuō)明。在本實(shí)施例中，例如，圖像圖案確定單元101在被分割成4×4像素塊的輸入圖像上執(zhí)行Hadamard變換。然而，用于確定圖像圖案的塊的大小和配置并不限于其中的這些描述。
圖像圖案確定單元101將輸入圖像的像素?cái)?shù)據(jù)分割為4×4像素塊，在每個(gè)塊的像素?cái)?shù)據(jù)上執(zhí)行Hadamard變換，并且根據(jù)由Hadamard變換計(jì)算獲得的Hadamard變換系數(shù)確定每個(gè)塊的圖像圖案。
下面參照?qǐng)D2描述Hadamard變換。Hadamard變換是一種正交變換。圖2說(shuō)明在圖像圖案確定單元101中的4×4 Hadamard變換的方式。在圖2中，(a)部分說(shuō)明由4×4像素組成的輸入圖像，(b)部分說(shuō)明由Hadamard變換獲得的Hadamard變換系數(shù)。假設(shè)H4為Hadamard變換矩陣，X為輸入的圖像信號(hào)，Y為Hadamard變換系數(shù)的信號(hào)。那么，Hadamard變換用下面的等式表示[Y]＝[H4][X][H4] (1)這里，使
H4=12111111-1-11-1-111-11-1---(2)]]>X=X11X12X13X14X21X22X23X24X31X32X33X34X41X42X43X44---(3)]]>Y=Y11Y12Y13Y14Y21Y22Y23Y24Y31Y32Y33Y34Y41Y42Y43Y44---(4)]]>那么，Hadamard變換定義為Y11Y12Y13Y14Y21Y22Y23Y24Y31Y32Y33Y34Y41Y42Y43Y44=14111111-1-11-1-111-11-1X11X12X13X14X21X22X23X24X31X32X33X34X41X42X43X44111111-1-11-1-111-11-1---(5)]]>這樣，Hadamard變換可以僅用一次除法、加法和減法完成。要注意的是，等式(5)的左側(cè)Y11表示輸入圖像的直流分量的Hadamard變換系數(shù)，Y12到Y(jié)44表示代表輸入圖像的交流分量的Hadamard變換系數(shù)。
圖3A、3B和3C說(shuō)明輸入圖像的Hadamard變換的例子，其中每個(gè)像素8bit(256灰度級(jí))的圖像數(shù)據(jù)被分割為4×4像素塊。在每個(gè)圖3A、3B和3C中，(a)部分表示輸入圖像，(b)部分表示Hadamard變換系數(shù)。如圖3A的(a)部分所示在輸入的圖像塊中存在垂直邊的情況下，對(duì)應(yīng)于圖2的(b)部分所示的Hadamard變換系數(shù)Y14的位置的Hadamard變換系數(shù)取一個(gè)大值，如圖3A的(b)部分所示。如圖3B的(a)部分所示在輸入的圖像塊中存在水平邊的情況下，對(duì)應(yīng)于圖2的(b)部分中所示的Hadamard變換系數(shù)Y41的位置的Hadamard變換系數(shù)取一個(gè)大值，如圖3B的(b)部分所示。如圖3C的(a)部分中所示在輸入的圖像塊包括平面圖像時(shí)，對(duì)應(yīng)于圖2的(b)部分中所示的Hadamard變換系數(shù)Y11的位置的Hadamard變換系數(shù)取一個(gè)大值，如圖3C的(b)部分所示，其它系數(shù)取0值。通常，在輸入的圖像塊中存在垂直邊的情況下，僅有指示垂直方向上的空間頻率為低的Hadamard變換系數(shù)取一個(gè)大值，如圖3A的(b)部分中用橢圓圈起來(lái)的Hadamard變換系數(shù)所示。在水平邊存在于輸入的圖像塊中的情況下，僅有指示水平方向上的空間頻率為低的Hadamard變換系數(shù)取一個(gè)大值，如圖3B的(b)部分中用橢圓圈起來(lái)的Hadamard變換系數(shù)所示。在輸入的圖像塊中包含平面圖像的情況下，指示輸入圖像的交流分量的Hadamard變換系數(shù)取一個(gè)小值。
使用上述方法使得諸如垂直邊、水平邊或平面圖像的輸入圖像的圖像圖案，能夠基于通過(guò)在輸入的圖像上執(zhí)行Hadamard變換獲得的Hadamard變換系數(shù)而確定。
下面參照?qǐng)D4A、4B和4C對(duì)幀內(nèi)預(yù)測(cè)進(jìn)行描述。圖4A、4B和4C說(shuō)明各種幀內(nèi)預(yù)測(cè)模式的例子。
在圖4A、4B和4C中，a到p表示要預(yù)測(cè)的輸入圖像塊的像素值。A到M表示屬于鄰近塊的像素值。像素值a到p和A到M位于同一幀中。幀內(nèi)預(yù)測(cè)使用像素值A(chǔ)到M生成預(yù)測(cè)的像素值a’到p’。預(yù)測(cè)的像素值a’到p’集中在一起構(gòu)成預(yù)測(cè)圖像。
下面對(duì)各種幀內(nèi)預(yù)測(cè)模式進(jìn)行詳細(xì)描述。
在圖4A中所示的垂直幀內(nèi)預(yù)測(cè)模式中，在垂直方向上進(jìn)行預(yù)測(cè)。通過(guò)預(yù)測(cè)像素值a、e、i和m分別等于像素值A(chǔ)，像素值b、f、j和n分別等于像素值B，像素值c、g、k和o分別等于像素值C，像素值d、h、l和p分別等于像素值D，可以生成預(yù)測(cè)像素值a’到p’。這樣，生成下面的像素值a′＝e′＝i′＝m′＝Ab′＝f＝j(luò)′＝n′＝Bc′＝g′＝k′＝o′＝Cd′＝h′＝l′＝p′＝D在圖4B中所示的水平幀內(nèi)預(yù)測(cè)模式中，在水平方向上進(jìn)行預(yù)測(cè)。通過(guò)預(yù)測(cè)像素值a、b、c和d分別等于像素值I，像素值e、f、g和h分別等于像素值J，像素值i、j、k和l分別等于像素值K，以及像素值m、n、o和p分別等于像素值L，從而生成預(yù)測(cè)像素值a’到p’。這樣，生成下面的像素值a′＝b′＝c′＝d′＝Ie′＝f′＝g′＝h′＝Ji′＝j(luò)′＝k′＝l′＝Km′＝n′＝o′＝p′＝L在圖4C中所示的直流幀內(nèi)預(yù)測(cè)模式中，進(jìn)行預(yù)測(cè)以使得所有的像素具有同樣的值。通過(guò)預(yù)測(cè)所有的像素值a到p相等從而生成預(yù)測(cè)像素值a’到p’。這樣，生成下面的像素值a′＝b′＝c′＝d′＝e′＝f＝g′＝h′＝i′＝j(luò)′＝k′＝l′＝m′＝n′＝o′＝p′輸入圖像的預(yù)測(cè)像素值和實(shí)際像素值之間的差別越小，預(yù)測(cè)的精度就會(huì)變得越高，這樣就能夠進(jìn)行有效的圖像壓縮。
下面描述根據(jù)圖像圖案指定幀內(nèi)預(yù)測(cè)模式的方法。
幀內(nèi)預(yù)測(cè)模式指定單元102根據(jù)由上面所述的圖像圖案確定單元101確定的圖像圖案，從上述的幀內(nèi)預(yù)測(cè)模式中指定一種最優(yōu)的幀內(nèi)預(yù)測(cè)模式。例如，如果確定輸入圖像塊中包括垂直邊，則幀內(nèi)預(yù)測(cè)模式指定單元102指定垂直幀內(nèi)預(yù)測(cè)模式。如果確定輸入圖像塊中包括水平邊，則幀內(nèi)預(yù)測(cè)模式指定單元102指定水平幀內(nèi)預(yù)測(cè)模式。如果確定輸入圖像塊中包括平面圖像，幀內(nèi)預(yù)測(cè)模式指定單元102指定直流幀內(nèi)預(yù)測(cè)模式。
更具體地，如果垂直邊存在于如圖3A中所示的輸入圖像塊中，則可以獲得具有下述關(guān)系的像素值a＝e＝i＝mb＝f＝j(luò)＝nc＝g＝k＝od＝h＝l＝p對(duì)這個(gè)輸入圖像塊執(zhí)行Hadamard變換以獲得Hadamard變換系數(shù)。如果圖像圖案確定單元101確定輸入圖像塊具有包括垂直邊的圖像圖案，則幀內(nèi)預(yù)測(cè)模式指定單元102指定垂直幀內(nèi)預(yù)測(cè)模式，其中預(yù)測(cè)的精度對(duì)于輸入圖像塊為最高。
如果如圖3B中所示在輸入圖像塊中存在水平邊，則獲得具有下述關(guān)系的像素值a＝b＝c＝de＝f＝g＝hi＝j(luò)＝k＝lm＝n＝o＝p對(duì)這個(gè)輸入圖像塊執(zhí)行Hadamard變換以獲得Hadamard變換系數(shù)。如果圖像圖案確定單元101確定輸入圖像塊具有包括水平邊的圖像圖案，則幀內(nèi)預(yù)測(cè)模式指定單元102指定水平幀內(nèi)預(yù)測(cè)模式，其中預(yù)測(cè)的精度對(duì)于輸入圖像塊為最高。
如果如圖3C中所示輸入圖像塊包括平面圖像時(shí)，則獲得具有下述關(guān)系的像素值a＝b＝c＝d＝e＝f＝g＝h＝i＝j(luò)＝k＝l＝m＝n＝o＝p對(duì)這個(gè)輸入圖像塊執(zhí)行Hadamard變換以獲得Hadamard變換系數(shù)。如果圖像圖案確定單元101確定輸入圖像塊具有包括平面圖像的圖像圖案，則幀內(nèi)預(yù)測(cè)模式指定單元102指定直流幀內(nèi)預(yù)測(cè)模式，其中預(yù)測(cè)的精度對(duì)于輸入圖像塊為最高。
然后，選擇器103和107從對(duì)應(yīng)于由幀內(nèi)預(yù)測(cè)模式指定單元102指定的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)單元104到106中選擇出一個(gè)，這樣使得選擇出的預(yù)測(cè)單元在輸入圖像上進(jìn)行幀內(nèi)預(yù)測(cè)處理。作為結(jié)果，可以根據(jù)最優(yōu)幀內(nèi)預(yù)測(cè)模式生成預(yù)測(cè)的像素值。另外，如果圖像圖案確定單元101不能確實(shí)地確定輸入圖像的圖像圖案并且?guī)瑑?nèi)預(yù)測(cè)模式指定單元102不能指定最優(yōu)幀內(nèi)預(yù)測(cè)模式，或者如果因?yàn)槠渌碛蓭瑑?nèi)預(yù)測(cè)單元104到107中沒有一個(gè)被選擇器103和107選出，則幀內(nèi)預(yù)測(cè)單元609按照原樣輸出該輸入圖像。
如果考慮到在確定圖像圖案的過(guò)程中進(jìn)行Hadamard變換所需的時(shí)間，則用于提供預(yù)定的延時(shí)的諸如存儲(chǔ)器的定時(shí)調(diào)整單元，可以被加入到選擇器103之前的級(jí)中，或者幀內(nèi)預(yù)測(cè)單元自身可以進(jìn)行定時(shí)調(diào)整，從而對(duì)于圖像圖案而確定的圖像能夠在定時(shí)上與將進(jìn)行幀內(nèi)預(yù)測(cè)處理的圖像相匹配。
下面參照?qǐng)D1的方框圖和圖5的流程圖描述根據(jù)第一實(shí)施例用于選擇一個(gè)幀內(nèi)預(yù)測(cè)模式的處理順序。圖5的流程圖說(shuō)明對(duì)應(yīng)于控制程序的處理流程，控制器(未示出)執(zhí)行該控制程序以控制圖1中所示的每個(gè)單元。
首先，圖像圖案確定單元101將輸入圖像分割為4×4像素塊，并輸入每個(gè)像素塊(步驟S501)。圖像圖案確定單元101然后執(zhí)行Hadamard變換(步驟S502)以確定圖像圖案，如下所述。
圖像圖案確定單元101確定輸入的4×4像素塊是否包括垂直邊(步驟S503)、水平邊(步驟S504)或平面圖像(步驟S505)。
如果圖像圖案確定單元101確定像素塊包括垂直邊(步驟S503的“yes”)，則幀內(nèi)預(yù)測(cè)模式指定單元102從多個(gè)幀內(nèi)預(yù)測(cè)模式中指定垂直幀內(nèi)預(yù)測(cè)模式，并且選擇器103和107選擇垂直幀內(nèi)預(yù)測(cè)單元104(步驟S506)。
如果圖像圖案確定單元101確定像素塊包括水平邊(步驟S503的“no”，以及步驟S504的“yes”)，則幀內(nèi)預(yù)測(cè)模式指定單元102從多個(gè)幀內(nèi)預(yù)測(cè)模式中指定水平幀內(nèi)預(yù)測(cè)模式，并且選擇器103和107選擇水平幀內(nèi)預(yù)測(cè)單元105(步驟S507)。
如果圖像圖案確定單元101確定像素塊包括平面圖像(步驟S503的“no”，步驟S504的“no”，以及步驟S505的“yes”)，則幀內(nèi)預(yù)測(cè)模式指定單元102從多個(gè)幀內(nèi)預(yù)測(cè)模式中指定直流幀內(nèi)預(yù)測(cè)模式，并且選擇器103和107選擇直流幀內(nèi)預(yù)測(cè)單元106(步驟S508)。
如果像素塊不具有上述任一圖像圖案，也就是說(shuō)，如果圖像圖案確定單元101不能確定任何圖像圖案(步驟S503、S504和S505中均為“no”)，則選擇器103和107不從幀內(nèi)預(yù)測(cè)單元104到107中選擇出任何一個(gè)，而照原樣輸出原來(lái)的輸入圖像(步驟S509)。然后，處理流程結(jié)束。
另外，如果圖像圖案確定單元101不能確定任何圖像圖案，則選擇器103和107可以配置為可獨(dú)立地選擇幀內(nèi)預(yù)測(cè)單元104、105或106。
在上述的第一實(shí)施例中，垂直幀內(nèi)預(yù)測(cè)模式、水平幀內(nèi)預(yù)測(cè)模式和直流幀內(nèi)預(yù)測(cè)模式用作幀內(nèi)預(yù)測(cè)模式以被選擇。然而，也可以以同樣的方式采用上述幀內(nèi)預(yù)測(cè)模式以外的幀內(nèi)預(yù)測(cè)模式。
另外，在上述的第一實(shí)施例中，對(duì)垂直邊、水平邊或平面圖像進(jìn)行確定。然而，也可以確定這些圖案的結(jié)合從而選擇出與之相對(duì)應(yīng)的幀內(nèi)預(yù)測(cè)模式。
另外，在上述的第一實(shí)施例中，對(duì)垂直邊、水平邊和平面圖像中的一個(gè)進(jìn)行確定。然而，也可以這樣做確定，即減少將要選擇的幀內(nèi)預(yù)測(cè)模式。例如，確定輸入圖像塊不包括任何水平邊(也就是說(shuō)，輸入圖像塊有可能包括垂直邊或平面圖像)。即使在這種配置中，可以有效地選擇出最優(yōu)的幀內(nèi)預(yù)測(cè)模式，并且在圖像編碼裝置600中的計(jì)算成本也可以降低。
另外，在上述的第一實(shí)施例中，圖像圖案確定單元(Hadamard變換單元)101和幀內(nèi)預(yù)測(cè)模式指定單元102包括在圖像編碼裝置600的幀內(nèi)預(yù)測(cè)單元609中。然而，圖像圖案確定單元(Hadamard變換單元)101或幀內(nèi)預(yù)測(cè)模式指定單元102可以例如位于圖像編碼裝置600以外或幀內(nèi)預(yù)測(cè)單元609之外。例如，圖像圖案確定單元101或幀內(nèi)預(yù)測(cè)模式指定單元102可以直接接收將提供給圖6中所示的圖像編碼裝置600的輸入圖像數(shù)據(jù)，以便以與上述方式同樣的方式確定圖像圖案或指定幀內(nèi)預(yù)測(cè)模式。
第二實(shí)施例本發(fā)明的第二實(shí)施例涉及在圖1所示的第一實(shí)施例中所述的圖像圖案確定單元101的修改的例子。在第二實(shí)施例中，圖像圖案確定單元101被配置為使用對(duì)輸入圖像施行濾波的方法確定圖像圖案，而不是使用Hadamard變換方法。除了圖像圖案確定單元101以外的部分的結(jié)構(gòu)和操作與第一實(shí)施例中描述的相同，所以這里略去了對(duì)它們的描述。
在第二實(shí)施例中圖像圖案確定單元(濾波單元)101確定諸如對(duì)于一個(gè)邊的圖像圖案，該確定處理是通過(guò)對(duì)每個(gè)塊的輸入圖像應(yīng)用差分濾波器并且估算獲得的邊的強(qiáng)度值的大小完成的。對(duì)于使用在圖像圖案確定單元101中的差分濾波器，例如，使用一個(gè)算子。該算子是其中存儲(chǔ)有加權(quán)值的矩陣。然而，濾波并不限于這種配置。
下面對(duì)使用算子的邊檢測(cè)方法進(jìn)行描述。
在使用算子的邊檢測(cè)方法中，各個(gè)加權(quán)值被加入到輸入圖像的目標(biāo)像素和鄰近像素的像素值上。然后，將目標(biāo)像素和鄰近像素加權(quán)后的像素值加在一起以構(gòu)成目標(biāo)像素的邊強(qiáng)度值。設(shè)置適當(dāng)?shù)募訖?quán)值并估算邊強(qiáng)度值的大小使得可以確定諸如垂直邊、水平邊或平面圖像的圖像圖案。
當(dāng)如上所述使用圖像圖案確定單元101的配置和操作確定圖像圖案時(shí)，圖像圖案的最優(yōu)幀內(nèi)預(yù)測(cè)模式可以以與第一實(shí)施例中相同的方式的低計(jì)算成本被選擇。
第三實(shí)施例圖14為表示根據(jù)本發(fā)明的第三實(shí)施例的圖像編碼裝置1400的配置的方框圖。圖像編碼裝置1400包括減法器601、整數(shù)變換單元602、量子化單元603、熵編碼單元604、逆量子化單元605、逆整數(shù)變換單元606、加法器607、幀存儲(chǔ)器608和611、環(huán)路濾波器610、幀間預(yù)測(cè)單元612、移動(dòng)檢測(cè)單元613、開關(guān)614和幀內(nèi)預(yù)測(cè)單元615。圖像編碼裝置1400被配置為對(duì)輸入圖像數(shù)據(jù)進(jìn)行編碼處理并輸出編碼后的數(shù)據(jù)。
下面描述圖14中所示的圖像編碼裝置1400的編碼處理。圖像編碼裝置1400根據(jù)H.264標(biāo)準(zhǔn)執(zhí)行編碼處理。另外，圖像編碼裝置1400將輸入圖像數(shù)據(jù)分割成塊并對(duì)每個(gè)塊進(jìn)行處理。
在圖14的方框圖中，與圖6的方框圖中具有相同參考標(biāo)號(hào)(601到608，610到614)的單元具有與圖6中所描述的單元相同的功能和操作。在下面的討論中，為了避免對(duì)于圖6中所描述的單元進(jìn)行重復(fù)說(shuō)明，僅對(duì)與圖6中描述不同的點(diǎn)進(jìn)行描述。
響應(yīng)于從圖像編碼裝置1400的外部提供的控制信號(hào)，在第三實(shí)施例中為唯一的幀內(nèi)預(yù)測(cè)單元615使用存儲(chǔ)在幀存儲(chǔ)器608中的重建圖像數(shù)據(jù)進(jìn)行幀內(nèi)預(yù)測(cè)，以生成預(yù)測(cè)圖像數(shù)據(jù)。開關(guān)614用作選擇單元，為每個(gè)宏塊選擇幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)中的任一個(gè)。也就是說(shuō)，開關(guān)614從幀內(nèi)預(yù)測(cè)單元615的輸出和幀間預(yù)測(cè)單元612的輸出中選擇出一個(gè)并將選擇出的預(yù)測(cè)圖像數(shù)據(jù)輸出到減法器601和加法器607。
下面參照?qǐng)D15和16對(duì)幀內(nèi)預(yù)測(cè)單元615執(zhí)行的幀內(nèi)預(yù)測(cè)進(jìn)行補(bǔ)充描述。
在幀內(nèi)預(yù)測(cè)中，之前已經(jīng)被編碼的鄰近像素的值被用作預(yù)測(cè)值。如果如圖15中所示用于編碼的目標(biāo)塊為4×4像素大小(像素a到p)，則使用目標(biāo)塊周圍的像素A到M的像素值進(jìn)行預(yù)測(cè)。在這種情況下，預(yù)測(cè)的方向被指定并且僅有需要的像素值被用作預(yù)測(cè)。因?yàn)樘峁┝司欧N分別具有不同預(yù)測(cè)方向和不同內(nèi)容的幀內(nèi)預(yù)測(cè)模式，所以選擇一個(gè)最優(yōu)的幀內(nèi)預(yù)測(cè)模式用作預(yù)測(cè)。
圖16表示用在各個(gè)幀內(nèi)預(yù)測(cè)模式中的各種預(yù)測(cè)方向。例如，在垂直幀內(nèi)預(yù)測(cè)模式(模式0)的情況下，在垂直方向上鄰近目標(biāo)塊的像素(對(duì)應(yīng)于圖15中所示的像素A、B、C和D)的值被用作預(yù)測(cè)值，并預(yù)測(cè)這些像素值在垂直方向上繼續(xù)。因此，預(yù)測(cè)圖15中所示的每個(gè)像素a、e、i和m的值等于像素A的值。同樣，預(yù)測(cè)每個(gè)像素b、f、i和n的值等于像素B的值。同樣的預(yù)測(cè)也用于后面的像素。在上述預(yù)測(cè)之后，獲得諸如a-A、e-A、i-A和m-A的各個(gè)像素的不同值，并且然后，對(duì)獲得的值進(jìn)行整數(shù)變換和量子化等。
除了垂直幀內(nèi)預(yù)測(cè)模式(模式0)之外，如圖16中所示提供八種幀內(nèi)預(yù)測(cè)模式(模式1到8)。直流幀內(nèi)預(yù)測(cè)模式(模式2)是使用較高的和左側(cè)像素值的平均值的預(yù)測(cè)模式。每個(gè)幀內(nèi)預(yù)測(cè)模式的細(xì)節(jié)均在H.264相關(guān)的標(biāo)準(zhǔn)等中被披露，所以，這里就略去了進(jìn)一步的描述。在H.264標(biāo)準(zhǔn)中，如上所述總共有九種幀內(nèi)預(yù)測(cè)模式，所以能夠?yàn)閷⑦M(jìn)行編碼的目標(biāo)像素塊選擇出一種最優(yōu)的幀內(nèi)預(yù)測(cè)模式。因此，可以改善預(yù)測(cè)的精度，并且可以使差別圖像數(shù)據(jù)的值很小。
另外，在幀內(nèi)預(yù)測(cè)單元615中選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的通常處理以如圖18的流程圖中所示的順序進(jìn)行。參照?qǐng)D18，當(dāng)開始目標(biāo)塊的幀內(nèi)預(yù)測(cè)時(shí)，提供表示幀內(nèi)預(yù)測(cè)模式的計(jì)數(shù)器i并且計(jì)數(shù)器i被設(shè)置為“0”(步驟S1801)。然后，使用由計(jì)數(shù)器i的值表示的幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S1802)。估算幀內(nèi)預(yù)測(cè)精度，并且與其它之前已經(jīng)估算的幀內(nèi)預(yù)測(cè)模式相比較選擇出指示預(yù)測(cè)精度最優(yōu)值的幀內(nèi)預(yù)測(cè)模式(步驟S1803)。然后，計(jì)數(shù)器i增加(步驟S1804)。重復(fù)從步驟S1802到步驟S1804的順序直至計(jì)數(shù)器i到達(dá)“9”，該數(shù)字為幀內(nèi)預(yù)測(cè)模式的數(shù)量(步驟S1805)。作為結(jié)果，對(duì)每個(gè)將進(jìn)行編碼的目標(biāo)塊執(zhí)行所有的九種幀內(nèi)預(yù)測(cè)模式。因此，可以選擇出一種最優(yōu)幀內(nèi)預(yù)測(cè)模式。
另外，響應(yīng)提供的控制信號(hào)，幀內(nèi)預(yù)測(cè)單元615也可以以與上述的通常選擇處理不同的順序進(jìn)行選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的處理。這個(gè)不同的選擇處理將在后面進(jìn)行描述。
接下來(lái)結(jié)合與圖像捕捉裝置700的操作相關(guān)的幀內(nèi)預(yù)測(cè)單元615的進(jìn)一步操作，描述包括上述圖像編碼裝置1400的圖像捕捉裝置700的配置。
圖7是表示根據(jù)第三實(shí)施例的圖像捕捉裝置700的配置的方框圖。圖像捕捉裝置700包括攝影鏡頭單元701、圖像傳感器702、照相攝像機(jī)信號(hào)處理單元703、編碼單元704、照相攝像機(jī)控制單元705、焦距檢測(cè)單元706、調(diào)焦電動(dòng)機(jī)707、變焦電動(dòng)機(jī)708、移動(dòng)傳感器709和操作單元710。攝影鏡頭單元701由多個(gè)包括變焦鏡頭701a和701b以及調(diào)焦鏡頭701c的鏡頭組組成。圖像傳感器702為CCD(電荷耦合設(shè)備)傳感器、CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器等。操作單元710對(duì)于各種功能是可操作的。圖像捕捉裝置700將由攝影鏡頭單元701形成的光學(xué)圖像轉(zhuǎn)換為圖像信號(hào)，并且根據(jù)H.264標(biāo)準(zhǔn)在圖像信號(hào)上進(jìn)行壓縮編碼，從而輸出編碼數(shù)據(jù)。在圖像捕捉裝置700中，編碼單元704對(duì)應(yīng)于上述的圖像編碼裝置1400。這樣，圖像捕捉裝置700包括作為視頻壓縮的H.264編碼器的圖像編碼裝置1400。
下面描述由圖7中所示的圖像捕捉裝置700進(jìn)行的攝影過(guò)程。當(dāng)開始攝影操作時(shí)，由攝影鏡頭單元701形成的光學(xué)圖像被圖像傳感器702轉(zhuǎn)換為電信號(hào)。在這種情況下，調(diào)焦鏡頭701c可以被調(diào)焦電動(dòng)機(jī)707移動(dòng)以進(jìn)行調(diào)焦，并且變焦鏡頭701a和701b可以被變焦電動(dòng)機(jī)708移動(dòng)以進(jìn)行光學(xué)變焦的調(diào)整。另外，光學(xué)圖像穩(wěn)定機(jī)構(gòu)(未示出)或者電子圖像穩(wěn)定功能(未示出)可以根據(jù)移動(dòng)傳感器709提供的移動(dòng)信息進(jìn)行操作以便對(duì)圖像的移動(dòng)進(jìn)行校正(例如，對(duì)照相攝像機(jī)的顫動(dòng)進(jìn)行校正)。
由圖像傳感器702生成的電信號(hào)被作為移動(dòng)圖像信號(hào)提供給照相攝像機(jī)信號(hào)處理單元703。照相攝像機(jī)信號(hào)處理單元703在移動(dòng)圖像信號(hào)上進(jìn)行亮度信號(hào)處理、彩色信號(hào)處理等以生成移動(dòng)圖像數(shù)據(jù)。從照相攝像機(jī)信號(hào)處理單元703輸出的移動(dòng)圖像數(shù)據(jù)被提供到編碼單元704。編碼單元704對(duì)移動(dòng)圖像數(shù)據(jù)進(jìn)行編碼以輸出編碼數(shù)據(jù)。在編碼單元704中，進(jìn)行上述參照?qǐng)D14所描述的編碼過(guò)程。編碼后的數(shù)據(jù)為一種可以被記錄單元(未示出)記錄在諸如磁盤的記錄介質(zhì)上的格式。
照相攝像機(jī)控制單元705對(duì)圖像捕捉裝置700的每個(gè)單元的操作進(jìn)行控制。如果用戶通過(guò)操作單元710給出指令，則照相攝像機(jī)控制單元705根據(jù)指令控制每個(gè)單元。
另外，在自動(dòng)調(diào)焦的過(guò)程中，焦距檢測(cè)單元706根據(jù)由圖像傳感器702生成的電信號(hào)檢測(cè)調(diào)焦?fàn)顟B(tài)，并將檢測(cè)到的調(diào)焦?fàn)顟B(tài)的信息(調(diào)焦信息)發(fā)送到照相攝像機(jī)控制單元705。照相攝像機(jī)控制單元705根據(jù)調(diào)焦信息發(fā)送控制信號(hào)到調(diào)焦電動(dòng)機(jī)707，以便進(jìn)行焦距調(diào)整以獲得最優(yōu)調(diào)焦?fàn)顟B(tài)。在手工調(diào)焦的過(guò)程中，照相攝像機(jī)控制單元705根據(jù)從操作單元710提供的指令發(fā)送控制信號(hào)到調(diào)焦電動(dòng)機(jī)707，以便進(jìn)行焦距調(diào)整以獲得所需的調(diào)焦?fàn)顟B(tài)。
另外，照相攝像機(jī)控制單元705根據(jù)從操作單元710提供的指令發(fā)送控制信號(hào)到變焦電動(dòng)機(jī)708，以便進(jìn)行用以獲得所需的變焦位置的變焦控制。
移動(dòng)傳感器709包括加速傳感器等，并且除對(duì)照相攝像機(jī)的顫抖校正進(jìn)行檢測(cè)之外還可以對(duì)圖像捕捉裝置700的移動(dòng)進(jìn)行檢測(cè)。更具體地，移動(dòng)傳感器709檢測(cè)攝影動(dòng)作，例如搖攝或俯仰，并且將攝影動(dòng)作的信息發(fā)送到照相攝像機(jī)控制單元705。
當(dāng)移動(dòng)傳感器709檢測(cè)到搖攝或俯仰時(shí)，照相攝像機(jī)控制單元705進(jìn)行控制操作，如下面所述。
圖8說(shuō)明在攝影操作的過(guò)程中進(jìn)行搖攝動(dòng)作時(shí)獲得的捕捉圖像的情況。如果在圖8中所示的白箭頭(未填充)的方向上對(duì)畫面進(jìn)行搖攝，則所捕捉的圖像在白箭頭方向(水平方向)上表現(xiàn)為整體流動(dòng)。所以，如果幀內(nèi)預(yù)測(cè)在捕捉的圖像上由編碼單元704進(jìn)行，則可以估計(jì)水平方向?yàn)樽顑?yōu)預(yù)測(cè)方向。在這種情況下，還可以估計(jì)，如圖8中所示，各個(gè)塊的幀內(nèi)預(yù)測(cè)的方向在對(duì)應(yīng)于搖攝方向的規(guī)則方向上對(duì)準(zhǔn)，而在如圖17中所示的圖像的情況下，畫面上各個(gè)塊的幀內(nèi)預(yù)測(cè)的方向是不規(guī)則的。所以，選擇水平方向的幀內(nèi)預(yù)測(cè)(水平幀內(nèi)預(yù)測(cè)模式(模式1))導(dǎo)致有效選擇出的最優(yōu)或近似最優(yōu)的幀內(nèi)預(yù)測(cè)模式。如果在垂直方向上俯仰，則應(yīng)該以類似的方式選擇垂直幀內(nèi)預(yù)測(cè)模式(模式0)。另外，如果搖攝或俯仰在斜方向上進(jìn)行，則應(yīng)當(dāng)考慮這種斜分量選擇出一個(gè)對(duì)角幀內(nèi)預(yù)測(cè)模式。
這樣，照相攝像機(jī)控制單元705發(fā)送控制信號(hào)到包括在編碼單元704(即，圖像編碼裝置1400)中的幀內(nèi)預(yù)測(cè)單元615，用以根據(jù)諸如搖攝或俯仰的攝影動(dòng)作選擇出幀內(nèi)預(yù)測(cè)模式。另外，響應(yīng)提供的控制信號(hào)，幀內(nèi)預(yù)測(cè)單元615進(jìn)行下面的處理取代前面所述的用以選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的通常處理。也就是說(shuō)，幀內(nèi)預(yù)測(cè)單元615根據(jù)搖攝或俯仰的方向唯一地選擇出一個(gè)幀內(nèi)預(yù)測(cè)模式，或者根據(jù)搖攝或俯仰的方向在將九種幀內(nèi)預(yù)測(cè)模式減少到兩種或三種幀內(nèi)預(yù)測(cè)模式后選擇出一種最優(yōu)幀內(nèi)預(yù)測(cè)模式。這樣，可以比試驗(yàn)性地執(zhí)行所有的幀內(nèi)預(yù)測(cè)模式以選擇出一種幀內(nèi)預(yù)測(cè)模式的情況更為有效地選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式。
圖9是說(shuō)明根據(jù)上述的搖攝或俯仰的方向選擇幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)單元615的操作順序的流程圖。
如果移動(dòng)傳感器709沒有檢測(cè)到搖攝或俯仰動(dòng)作(步驟S901的no)，則如圖18中所示幀內(nèi)預(yù)測(cè)單元615進(jìn)行用于選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的通常處理，并且使用選擇出的幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S907)。另一方面，如果移動(dòng)傳感器709檢測(cè)到關(guān)于將要進(jìn)行幀內(nèi)預(yù)測(cè)的圖像的搖攝或俯仰(步驟S901中的yes)，則幀內(nèi)預(yù)測(cè)單元615從照相攝像機(jī)控制單元705獲得所檢測(cè)到的搖攝或俯仰動(dòng)作的方向或速度的信息(步驟S902)。
根據(jù)在步驟S902獲得的搖攝或俯仰的方向或速度的信息，幀內(nèi)預(yù)測(cè)單元615近似相應(yīng)于搖攝或俯仰的方向自動(dòng)選擇出預(yù)測(cè)方向(步驟S903)。如果在步驟S903選擇出垂直方向，則幀內(nèi)預(yù)測(cè)單元615使用垂直幀內(nèi)預(yù)測(cè)模式(模式0)進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S904)。如果在步驟S903選擇出水平方向，則幀內(nèi)預(yù)測(cè)單元615使用水平幀內(nèi)預(yù)測(cè)模式(模式1)進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S905)。如果在步驟S903選擇出對(duì)角下-右方向，則幀內(nèi)預(yù)測(cè)單元615使用下-右?guī)瑑?nèi)預(yù)測(cè)模式(模式4)進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S906)。
至于在對(duì)角方向上的預(yù)測(cè)，可以提高移動(dòng)傳感器709的方向精度以便也可以選擇其它的對(duì)角幀內(nèi)預(yù)測(cè)模式(模式3、5、6、7、8)。這樣，預(yù)測(cè)的精度就可以進(jìn)一步提高。
另外，在圖9中所示的順序的情況下，當(dāng)進(jìn)行搖攝和俯仰時(shí)，幀內(nèi)預(yù)測(cè)單元615根據(jù)搖攝或俯仰的方向選擇幀內(nèi)預(yù)測(cè)模式。然而，幀內(nèi)預(yù)測(cè)單元615可以配置為通過(guò)根據(jù)搖攝或俯仰的方向或速度將九種幀內(nèi)預(yù)測(cè)模式減少到二種或三種幀內(nèi)預(yù)測(cè)模式或通過(guò)排除確定為在預(yù)測(cè)方向上明顯不合適的幀內(nèi)預(yù)測(cè)模式，從而減少幀內(nèi)預(yù)測(cè)模式的選項(xiàng)，并且然后，通過(guò)從余下的選項(xiàng)中進(jìn)行計(jì)算獲得最優(yōu)幀內(nèi)預(yù)測(cè)模式。
根據(jù)上述的第三實(shí)施例，諸如搖攝或俯仰的攝影動(dòng)作的信息用來(lái)選擇幀內(nèi)預(yù)測(cè)模式。因此，可以容易地選擇出最優(yōu)的幀內(nèi)預(yù)測(cè)模式，并且可以減少編碼上的處理負(fù)擔(dān)。
第四實(shí)施例下面參照?qǐng)D10和圖11對(duì)本發(fā)明的第四實(shí)施例進(jìn)行說(shuō)明。
在第四實(shí)施例中，當(dāng)在第三實(shí)施例中所描述的圖像捕捉裝置700進(jìn)行變焦動(dòng)作時(shí)，照相攝像機(jī)控制單元705和幀內(nèi)預(yù)測(cè)單元615進(jìn)行下面的操作。
當(dāng)在攝影操作期間進(jìn)行推鏡頭或拉鏡頭的變焦動(dòng)作時(shí)，在變焦期間獲得的捕捉圖像在從畫面中心的射線方向上以流動(dòng)的方式顯示。所以，當(dāng)編碼單元704在捕捉的圖像上進(jìn)行幀內(nèi)預(yù)測(cè)時(shí)，應(yīng)當(dāng)考慮到將要進(jìn)行編碼的目標(biāo)塊位于相對(duì)于畫面的中心的哪個(gè)方向上。如果進(jìn)行對(duì)應(yīng)于該方向的幀內(nèi)預(yù)測(cè)，則可以提高預(yù)測(cè)的效果。
在這種情況下，可以估算，變焦導(dǎo)致圖10的各個(gè)塊中所示的幀內(nèi)預(yù)測(cè)的方向，而在圖17中所示的圖像的情況下，畫面上各個(gè)塊的幀內(nèi)預(yù)測(cè)的方向是不規(guī)則的。更具體的，在圖10中的畫面上的較高的左側(cè)塊中，因?yàn)閳D像在對(duì)角方向上流向畫面的中心，所以認(rèn)為下-右?guī)瑑?nèi)預(yù)測(cè)模式(模式4)是最優(yōu)的。同樣的，在畫面上的較高的右側(cè)方塊中，認(rèn)為下-左幀內(nèi)預(yù)測(cè)模式(模式3)是最優(yōu)的。在H.264標(biāo)準(zhǔn)的幀內(nèi)預(yù)測(cè)的情況下，用于幀內(nèi)預(yù)測(cè)的預(yù)測(cè)采樣限于位于目標(biāo)方塊的上面或左側(cè)的鄰近方塊的值。因此，在畫面上的較低左側(cè)方塊中，認(rèn)為下-左幀內(nèi)預(yù)測(cè)模式(模式3)是最優(yōu)的。類似的，在畫面上的較低右側(cè)方塊中，認(rèn)為下-右?guī)瑑?nèi)預(yù)測(cè)模式(模式4)是最優(yōu)的。
這樣，照相攝像機(jī)控制單元705發(fā)送控制信號(hào)到包括在編碼單元704(即，圖像編碼裝置1400)中的幀內(nèi)預(yù)測(cè)單元615，以便根據(jù)變焦動(dòng)作選擇出一個(gè)幀內(nèi)預(yù)測(cè)模式。另外，響應(yīng)于提供的控制信號(hào)，幀內(nèi)預(yù)測(cè)單元615在變焦期間獲得的圖像上進(jìn)行下面的處理，取代上述的用于選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的通常處理。也就是說(shuō)，幀內(nèi)預(yù)測(cè)單元615根據(jù)將要進(jìn)行編碼的目標(biāo)方塊的位置唯一地選擇出一種幀內(nèi)預(yù)測(cè)模式，或者根據(jù)所述目標(biāo)方塊的位置在將九種幀內(nèi)預(yù)測(cè)模式減少到兩種或三種幀內(nèi)預(yù)測(cè)模式后選擇出最優(yōu)幀內(nèi)預(yù)測(cè)模式。這樣，能夠比試驗(yàn)性地執(zhí)行所有的幀內(nèi)預(yù)測(cè)模式以選擇最優(yōu)預(yù)測(cè)模式的情況更為有效地選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式。
圖11為說(shuō)明用于選擇出關(guān)于如上面所述在變焦期間獲得的圖像的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)單元615的操作順序的流程圖。
至于將要進(jìn)行幀內(nèi)預(yù)測(cè)的圖像，如果沒有進(jìn)行變焦動(dòng)作(或如果進(jìn)行了特別低速的變焦動(dòng)作)(步驟S1101中的no)，則幀內(nèi)預(yù)測(cè)單元615進(jìn)行如圖18中所示的用于選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的通常處理，并且使用選擇出的幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S1106)。另一方面，如果響應(yīng)來(lái)自操作單元710的變焦指令進(jìn)行變焦動(dòng)作以移動(dòng)變焦鏡頭701a和701b(步驟S1101中的yes)，則幀內(nèi)預(yù)測(cè)單元615從照相攝像機(jī)控制單元705獲得指示變焦正在進(jìn)行的信息和變焦速度的信息(步驟S1102)。
在步驟S1102獲得指示變焦正在進(jìn)行的信息和變焦速度的信息后，幀內(nèi)預(yù)測(cè)單元615在畫面上確定將要進(jìn)行編碼的目標(biāo)塊所在的區(qū)域，并且相應(yīng)于確定的區(qū)域自動(dòng)選擇出一個(gè)預(yù)測(cè)方向(步驟S1103)。更具體地，如果目標(biāo)塊位于畫面上的較高左側(cè)區(qū)域或較低右側(cè)區(qū)域，則幀內(nèi)預(yù)測(cè)單元615選擇下-右?guī)瑑?nèi)預(yù)測(cè)模式(模式4)。如果目標(biāo)塊位于較高右側(cè)區(qū)域或較低左側(cè)區(qū)域，則幀內(nèi)預(yù)測(cè)單元615選擇下-左幀內(nèi)預(yù)測(cè)模式(模式3)。如果目標(biāo)塊位于中心區(qū)域或其周圍，則幀內(nèi)預(yù)測(cè)單元615不能指定幀內(nèi)預(yù)測(cè)模式。所以，幀內(nèi)預(yù)測(cè)單元615進(jìn)行用以選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的通常處理并使用選擇出的幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S1106)。如果在步驟S1103中選擇下-左幀內(nèi)預(yù)測(cè)模式(模式3)，則幀內(nèi)預(yù)測(cè)單元615使用下-左幀內(nèi)預(yù)測(cè)模式(模式3)進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S1104)。如果在步驟S1103選擇下-右?guī)瑑?nèi)預(yù)測(cè)模式(模式4)，則幀內(nèi)預(yù)測(cè)單元615使用下-右?guī)瑑?nèi)預(yù)測(cè)模式(模式4)進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S1105)。
另外，如果將畫面細(xì)致地分為多個(gè)區(qū)域并對(duì)獲得的區(qū)域進(jìn)行分類，則可以更為有效地進(jìn)行最優(yōu)幀內(nèi)預(yù)測(cè)模式的選擇。例如，如果目標(biāo)塊位于畫面中心的正上方或正下方，則幀內(nèi)預(yù)測(cè)單元615選擇垂直幀內(nèi)預(yù)測(cè)模式(模式0)。如果目標(biāo)塊位于畫面中心的左側(cè)或右側(cè)，則幀內(nèi)預(yù)測(cè)單元615選擇水平幀內(nèi)預(yù)測(cè)模式(模式1)。另外，如果將畫面更細(xì)地分割成多個(gè)區(qū)域使得其它的對(duì)角幀內(nèi)預(yù)測(cè)模式(模式5、6、7、8)也被選擇，則可以進(jìn)一步提高預(yù)測(cè)的精度。
另外，在圖11中所示的順序的情況下，當(dāng)進(jìn)行變焦時(shí)，幀內(nèi)預(yù)測(cè)單元615根據(jù)將進(jìn)行編碼的目標(biāo)塊的位置選擇幀內(nèi)預(yù)測(cè)模式，除非當(dāng)目標(biāo)塊位于中心區(qū)域或其周圍。然而，幀內(nèi)預(yù)測(cè)單元615也可以配置成通過(guò)將九種幀內(nèi)預(yù)測(cè)模式減少到二種或三種幀內(nèi)預(yù)測(cè)模式或通過(guò)排除確定為在預(yù)測(cè)方向上明顯不合適的幀內(nèi)預(yù)測(cè)模式從而減少幀內(nèi)預(yù)測(cè)模式的選擇，并且之后，從余下的選擇中通過(guò)計(jì)算獲得最優(yōu)幀內(nèi)預(yù)測(cè)模式。
根據(jù)上述的第四實(shí)施例，諸如變焦的攝影動(dòng)作信息用來(lái)選擇幀內(nèi)預(yù)測(cè)模式。因此，可以容易地選擇出最優(yōu)幀內(nèi)預(yù)測(cè)模式并且也可以減少編碼上的處理負(fù)擔(dān)。
第五實(shí)施例下面參照?qǐng)D12和13對(duì)本發(fā)明的第五實(shí)施例進(jìn)行描述。
在第五實(shí)施例中，當(dāng)?shù)谌龑?shí)施例中描述的圖像捕捉裝置700進(jìn)行調(diào)焦動(dòng)作時(shí)，照相攝像機(jī)控制單元705和幀內(nèi)預(yù)測(cè)單元615如下面所述進(jìn)行工作。
當(dāng)在攝影操作期間進(jìn)行調(diào)焦動(dòng)作時(shí)，并且當(dāng)沒有獲得焦點(diǎn)對(duì)準(zhǔn)狀態(tài)時(shí)，捕捉的圖像的整個(gè)畫面是模糊的。因此，當(dāng)編碼單元704在模糊的捕捉圖像上進(jìn)行幀內(nèi)預(yù)測(cè)時(shí)，不能估算預(yù)測(cè)的具體方向，并且使用像素值均值的直流幀內(nèi)預(yù)測(cè)模式被認(rèn)為是提高預(yù)測(cè)效率的最優(yōu)幀內(nèi)預(yù)測(cè)模式。
在這種情況下，可以估算，捕捉圖像的模糊狀態(tài)導(dǎo)致如圖12中所示的整個(gè)畫面的直流預(yù)測(cè)情況，而在圖17中所示在焦點(diǎn)對(duì)準(zhǔn)狀態(tài)的情況下，畫面上的各個(gè)方塊的幀內(nèi)預(yù)測(cè)的方向是不規(guī)則的。
這樣，照相攝像機(jī)控制單元705發(fā)送控制信號(hào)到包括在編碼單元704(即，圖像編碼裝置1400)中的幀內(nèi)預(yù)測(cè)單元615用以根據(jù)調(diào)焦?fàn)顟B(tài)選擇幀內(nèi)預(yù)測(cè)模式。另外，響應(yīng)提供的控制信號(hào)，幀內(nèi)預(yù)測(cè)單元615為模糊的捕捉圖像唯一地選擇直流幀內(nèi)預(yù)測(cè)模式，取代為選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式而進(jìn)行上述的通常處理。這樣，可以比試驗(yàn)性地執(zhí)行所有的幀內(nèi)預(yù)測(cè)模式從而選擇幀內(nèi)預(yù)測(cè)模式的情況更為有效地選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式。
圖13是說(shuō)明用于選擇關(guān)于上述模糊的圖像的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)單元615的操作順序的流程圖，特別地關(guān)于在焦點(diǎn)未對(duì)準(zhǔn)的狀態(tài)下捕捉的圖像。
幀內(nèi)預(yù)測(cè)單元615從照相攝像機(jī)控制單元705獲得指示著將要進(jìn)行幀內(nèi)預(yù)測(cè)的圖像是在焦點(diǎn)對(duì)準(zhǔn)狀態(tài)還是在焦點(diǎn)未對(duì)準(zhǔn)狀態(tài)下被捕獲的調(diào)焦信息(步驟S1301)。在步驟S1302，如果從所述調(diào)焦信息確定圖像在焦點(diǎn)對(duì)準(zhǔn)狀態(tài)下被捕捉，則幀內(nèi)預(yù)測(cè)單元615為選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式執(zhí)行圖18中所示的通常處理，并且使用選擇的幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S1304)。
在步驟S1302，如果從所述的調(diào)焦信息確定出圖像已經(jīng)在焦點(diǎn)未對(duì)準(zhǔn)狀態(tài)下被捕捉，即圖像是模糊的，則幀內(nèi)預(yù)測(cè)單元615自動(dòng)地選擇直流幀內(nèi)預(yù)測(cè)模式并且使用直流幀內(nèi)預(yù)測(cè)模式(模式2)進(jìn)行幀內(nèi)預(yù)測(cè)(步驟S1303)。
根據(jù)上述的第五實(shí)施例，諸如調(diào)焦的攝影動(dòng)作信息用來(lái)選擇幀內(nèi)預(yù)測(cè)模式。因此，可以容易地選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式并且還可以減少編碼上的處理負(fù)擔(dān)。
第三實(shí)施例至第五實(shí)施例中所述的操作順序可以獨(dú)立地進(jìn)行或可以結(jié)合起來(lái)進(jìn)行。如果這些操作結(jié)合起來(lái)進(jìn)行，則可以響應(yīng)各種攝影條件有效地選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式并且也可以減少編碼上的處理負(fù)擔(dān)。
每個(gè)實(shí)施例也可以通過(guò)提供帶有存儲(chǔ)介質(zhì)的系統(tǒng)或裝置實(shí)現(xiàn)，該存儲(chǔ)介質(zhì)中存儲(chǔ)有用來(lái)實(shí)現(xiàn)上述實(shí)施例的功能的程序代碼(軟件)，該程序代碼促使該系統(tǒng)或裝置的計(jì)算機(jī)(或CPU(中央處理單元)、MPU(微處理單元)等)從存儲(chǔ)介質(zhì)讀取程序代碼并且然后執(zhí)行該程序代碼。在這種情況下，從存儲(chǔ)介質(zhì)讀出的程序代碼本身實(shí)現(xiàn)所述實(shí)施例的功能。另外，除了執(zhí)行由計(jì)算機(jī)讀取的程序代碼以實(shí)現(xiàn)上述實(shí)施例的功能，本發(fā)明包括在根據(jù)程序代碼的指令完整地或部分地進(jìn)行實(shí)際處理以便實(shí)現(xiàn)上述實(shí)施例的功能的計(jì)算機(jī)上運(yùn)行的操作系統(tǒng)(OS)等。存儲(chǔ)程序代碼的存儲(chǔ)介質(zhì)的例子包括軟盤、硬盤、ROM(只讀存儲(chǔ)器)、RAM(隨機(jī)存取存儲(chǔ)器)、磁帶、非易失性存儲(chǔ)卡、CD-ROM(壓縮盤-只讀存儲(chǔ)器)、CD-R(壓縮可記錄盤)、DVD(數(shù)字多用盤)、藍(lán)光光盤、光盤、MO(磁光盤)等。
另外，本發(fā)明也包括包含在插入到計(jì)算機(jī)中的功能擴(kuò)展卡或連接到計(jì)算機(jī)上的功能擴(kuò)展單元中的CPU等，所述的功能擴(kuò)展卡或功能擴(kuò)展單元具有在其上寫有從存儲(chǔ)介質(zhì)讀取的程序代碼的內(nèi)存，所述的CPU等根據(jù)程序代碼的指令完整地或部分地進(jìn)行實(shí)際處理以便實(shí)現(xiàn)上述實(shí)施例的功能。
如果本發(fā)明應(yīng)用到上述的存儲(chǔ)介質(zhì)中，則對(duì)應(yīng)于上述流程圖的程序代碼存儲(chǔ)在該存儲(chǔ)介質(zhì)中。
雖然本發(fā)明參照示例的實(shí)施例進(jìn)行描述，但是應(yīng)當(dāng)理解本發(fā)明并不限于所披露的實(shí)施例。相反，本發(fā)明意在覆蓋包括在所附的權(quán)利要求的精神和范圍中的各種修改和等效配置。下面的權(quán)利要求的范圍與最寬的解釋相一致以便包括所有的這種修改和等同的結(jié)構(gòu)和功能。
權(quán)利要求
1.一種圖像編碼裝置，包括輸入單元，配置成輸入圖像數(shù)據(jù)；分割單元，配置成通過(guò)將由所述輸入單元輸入的圖像數(shù)據(jù)分割為分別具有多個(gè)像素的塊來(lái)生成塊；確定單元，配置成確定由所述分割單元生成的各個(gè)塊中的圖像數(shù)據(jù)的圖像圖案；選擇單元，配置成根據(jù)由所述確定單元確定的圖像圖案從多個(gè)預(yù)測(cè)模式中選擇出一個(gè)預(yù)測(cè)模式；以及處理單元，配置成根據(jù)由所述選擇單元選擇的預(yù)測(cè)模式通過(guò)使用同一幅畫面中的像素值執(zhí)行畫面中像素值的預(yù)測(cè)處理，輸出預(yù)測(cè)的像素值。
2.根據(jù)權(quán)利要求1的圖像編碼裝置，其中所述確定單元配置為從垂直邊、水平邊和平面圖像中確定至少一個(gè)作為將要確定的圖像圖案的類型。
3.根據(jù)權(quán)利要求2的圖像編碼裝置，其中所述選擇單元配置為根據(jù)由所述確定單元確定的圖像圖案的類型選擇不同的預(yù)測(cè)模式。
4.根據(jù)權(quán)利要求1的圖像編碼裝置，其中所述確定單元配置為通過(guò)在由所述分割單元生成的各個(gè)塊中的圖像數(shù)據(jù)上進(jìn)行正交變換從而確定圖像圖案。
5.根據(jù)權(quán)利要求1的圖像編碼裝置，其中所述確定單元配置為通過(guò)在由所述分割單元生成的各個(gè)塊中的圖像數(shù)據(jù)上執(zhí)行濾波操作從而確定圖像圖案。
6.根據(jù)權(quán)利要求1的圖像編碼裝置，其中所述確定單元配置為通過(guò)在由所述分割單元生成的各個(gè)塊中的圖像數(shù)據(jù)上執(zhí)行Hadamard變換從而確定圖像圖案。
7.根據(jù)權(quán)利要求6的圖像編碼裝置，其中所述選擇單元配置為從下述處理中選擇一個(gè)，即，當(dāng)指示低垂直空間頻率的Hadamard變換系數(shù)為大數(shù)值時(shí)選擇垂直預(yù)測(cè)模式的處理，當(dāng)指示低水平空間頻率的Hadamard變換系數(shù)為大數(shù)值時(shí)選擇水平預(yù)測(cè)模式的處理，以及當(dāng)指示交流分量的Hadamard變換系數(shù)為小數(shù)值時(shí)選擇使得所有像素具有相同值的預(yù)測(cè)模式的處理。
8.一種圖像編碼方法，包括以下步驟輸入圖像數(shù)據(jù)；將所述輸入的圖像數(shù)據(jù)分割為分別具有多個(gè)像素的塊；確定各個(gè)塊中的圖像數(shù)據(jù)的圖像圖案；根據(jù)所確定的圖像圖案從多個(gè)預(yù)測(cè)模式中選擇出一個(gè)預(yù)測(cè)模式；以及根據(jù)所選擇的預(yù)測(cè)模式通過(guò)使用同一幅畫面中的像素值執(zhí)行預(yù)測(cè)畫面中像素值的處理，輸出預(yù)測(cè)的像素值。
9.一種圖像編碼裝置，包括輸入單元，配置為輸入將進(jìn)行編碼的圖像數(shù)據(jù)；獲取單元，配置為獲得關(guān)于所述圖像數(shù)據(jù)的攝影信息；選擇單元，配置為使用所述的攝影信息從n個(gè)預(yù)測(cè)模式中選擇出m個(gè)預(yù)測(cè)模式，其中1≤m≤n；以及處理單元，配置為根據(jù)由所述選擇單元選擇的m個(gè)預(yù)測(cè)模式通過(guò)使用同一幅畫面中的像素值執(zhí)行對(duì)畫面中的像素值的預(yù)測(cè)的處理，輸出預(yù)測(cè)的像素值。
10.根據(jù)權(quán)利要求9的圖像編碼裝置，其中所述獲取單元配置為獲取所述圖像數(shù)據(jù)被捕捉的攝影條件的信息。
11.根據(jù)權(quán)利要求10的圖像編碼裝置，其中所述攝影條件的信息至少包括由加速傳感器獲得的信息、變焦動(dòng)作的信息和調(diào)焦動(dòng)作的信息中的一種信息。
12.根據(jù)權(quán)利要求10的圖像編碼裝置，其中所述攝影條件的信息包括指示所述圖像數(shù)據(jù)至少在搖攝、俯仰、變焦和影像模糊條件中的一個(gè)條件下被捕捉的信息。
13.根據(jù)權(quán)利要求9的圖像編碼裝置，其中所述獲取單元配置為獲取當(dāng)所述圖像數(shù)據(jù)被捕捉時(shí)所選擇的拍攝方向的移動(dòng)信息，并且所述選擇單元配置為使用拍攝方向的移動(dòng)信息選擇指示與移動(dòng)方向相關(guān)的預(yù)測(cè)方向的預(yù)測(cè)模式。
14.根據(jù)權(quán)利要求9的圖像編碼裝置，其中所述獲取單元配置為獲得當(dāng)已經(jīng)捕捉所述圖像數(shù)據(jù)時(shí)所執(zhí)行的變焦的信息，并且所述選擇單元配置為當(dāng)所述圖像數(shù)據(jù)表示在變焦時(shí)所捕捉的圖像時(shí)使用變焦的信息選擇預(yù)先確定的預(yù)測(cè)模式。
15.根據(jù)權(quán)利要求14的圖像編碼裝置，其中，當(dāng)所述圖像數(shù)據(jù)表示變焦期間所捕捉的圖像時(shí)，所述選擇單元配置為將畫面分割為多個(gè)區(qū)域，并選擇出在每個(gè)區(qū)域中采用了同一預(yù)測(cè)方向的預(yù)測(cè)模式。
16.根據(jù)權(quán)利要求9的圖像編碼裝置，其中所述的獲取單元配置為獲得當(dāng)已經(jīng)捕捉所述圖像數(shù)據(jù)時(shí)所執(zhí)行的調(diào)焦的信息，并且所述選擇單元配置為當(dāng)所述圖像數(shù)據(jù)表示在焦點(diǎn)未對(duì)準(zhǔn)狀態(tài)下捕捉的圖像時(shí)使用調(diào)焦信息選擇預(yù)先確定的預(yù)測(cè)模式。
17.根據(jù)權(quán)利要求9的圖像編碼裝置，還包括攝影單元，配置成將通過(guò)執(zhí)行攝影操作獲得的圖像數(shù)據(jù)提供給所述輸入單元；以及攝影信息生成單元，配置成在所述攝影單元執(zhí)行攝影操作的同時(shí)生成攝影信息，并將攝影信息提供給所述的獲取單元。
18.根據(jù)權(quán)利要求17的圖像編碼裝置，其中所述攝影信息生成單元配置為使用從檢測(cè)所述攝影單元移動(dòng)的傳感器輸出的信息生成攝影信息，并且，根據(jù)該攝影信息，所述選擇單元配置為當(dāng)所述圖像數(shù)據(jù)表示用正在移動(dòng)的攝影單元捕捉的圖像時(shí)選擇表示與所述攝影單元的移動(dòng)方向相關(guān)的預(yù)測(cè)方向的預(yù)測(cè)模式。
19.根據(jù)權(quán)利要求17的圖像編碼裝置，其中，所述攝影信息生成單元配置為根據(jù)在所述攝影單元中控制變焦動(dòng)作的信息生成攝影信息，并且，根據(jù)該攝影信息，所述選擇單元配置為當(dāng)所述圖像數(shù)據(jù)表示在變焦動(dòng)作期間所捕捉的圖像時(shí)選擇預(yù)先確定的預(yù)測(cè)模式。
20.根據(jù)權(quán)利要求17的圖像編碼裝置，其中，所述攝影信息生成單元配置為根據(jù)在所述攝影單元中控制調(diào)焦動(dòng)作的信息生成攝影信息，并且，根據(jù)該攝影信息，所述選擇單元配置為當(dāng)所述圖像數(shù)據(jù)表示在焦點(diǎn)未對(duì)準(zhǔn)狀態(tài)下捕捉的圖像時(shí)選擇預(yù)先確定的預(yù)測(cè)模式。
21.一種圖像編碼步驟，包括輸入將要編碼的圖像數(shù)據(jù)；獲取關(guān)于所述圖像數(shù)據(jù)的攝影信息；使用所述攝影信息從n個(gè)預(yù)測(cè)模式中選擇m個(gè)預(yù)測(cè)模式，其中1≤m≤n；以及根據(jù)所選擇的m個(gè)預(yù)測(cè)模式通過(guò)使用同一幅畫面中的像素值進(jìn)行預(yù)測(cè)畫面中的像素值的處理，輸出預(yù)測(cè)的像素值。
全文摘要
一種圖像編碼裝置，確定圖像數(shù)據(jù)的圖像圖案，并且根據(jù)確定的圖像圖案，通過(guò)使用同一幀中的像素值對(duì)幀中的像素值進(jìn)行預(yù)測(cè)從而選擇出一個(gè)用于產(chǎn)生預(yù)測(cè)的像素值的預(yù)測(cè)模式?？商娲?，根據(jù)關(guān)于輸入的圖像數(shù)據(jù)的攝影信息，圖像編碼裝置通過(guò)使用同一幀中的像素值對(duì)幀中的像素值進(jìn)行預(yù)測(cè)從而選擇出一個(gè)用于生成預(yù)測(cè)的像素值的預(yù)測(cè)模式。
文檔編號(hào)H04N7/32GK1710962SQ200510077208
公開日2005年12月21日 申請(qǐng)日期2005年6月16日 優(yōu)先權(quán)日2004年6月17日
發(fā)明者小林悟, 牧野純 申請(qǐng)人:佳能株式會(huì)社