專利名稱：圖像處理顯示裝置和圖像處理顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理顯示裝置和圖像處理顯示方法，尤其是涉及實時地對拍攝到的數(shù)字圖像進行加工、顯示的圖像處理顯示裝置和圖像處理顯示方法。
背景技術(shù)：
通常，在數(shù)碼相機中，在液晶顯示器等的顯示裝置上實時地顯示拍攝到的圖像。由此，顯示裝置發(fā)揮取景器的功能。另外，在數(shù)碼相機中，有些具有對輸入圖像實施某種加工處理后輸出的功能。作為對輸入圖像進行的加工處理，例如有將圖像旋轉(zhuǎn)后顯示、或?qū)D像左右反轉(zhuǎn)后顯示的處理。
在實時地對拍攝到的圖像進行加工的情況下，將圖像暫時存儲在存儲器中，在該存儲器上實施圖像的變換處理。之后，在顯示裝置上顯示加工后的圖像，由此來顯示加工后的圖像。
但是，近年來，對數(shù)碼相機要求的圖像質(zhì)量提高，由數(shù)碼相機拍攝的圖像的像素數(shù)進一步增加。并且，即使在作為便攜電話機等電子設(shè)備的附加功能而搭載數(shù)碼相機的情況下，也在推進高分辯率化。例如，即使是作為便攜電話機的附屬功能而搭載的數(shù)碼相機，多數(shù)也具有大于等于100萬像素的像素數(shù)。但是，若圖像的像素數(shù)增加，則加工該圖像所需的存儲器容量也增加，導致裝置整體的成本上升。
例如，還考慮將圖像壓縮后存儲在存儲器中、在將該壓縮數(shù)據(jù)全部解碼后對圖像整體實施處理的方法。但是，該方法中，不僅需要大容量的存儲器，處理的等待時間(latency)(從照相機捕捉圖像至顯示該圖像所花費的延遲時間)也增大。而這對于上述取景動作而言非常不恰當。
這樣，在復原原始圖像之后加工該圖像時，需要保存復原后的圖像的存儲器。因此，期望在對壓縮數(shù)據(jù)進行解壓的同時，不保存復原后的圖像而實施加工處理的功能。此時，必須能從任意的塊開始對由塊等的單位圖像構(gòu)成的壓縮數(shù)據(jù)進行解壓。
但是，壓縮數(shù)據(jù)中具有對每個塊進行編碼得到的編碼成分，并且有時編碼成分中包含關(guān)于與其它塊的差分的信息。例如，在JPEG(JointPhotographic Coding Experts Group，聯(lián)合圖像編碼專家組)方式中，雖然對每個塊進行編碼，但編碼后的數(shù)據(jù)的一部分變?yōu)镈C(直流)成分。將該DC成分編碼為與其它塊的差分值。這樣，在具有被編碼為差分值的值的情況下，即使僅解碼某個特定區(qū)域的數(shù)據(jù)時，如果不從開始第一塊的圖像數(shù)據(jù)開始按順序解碼，也得不到該信息。
因此，考慮可從壓縮數(shù)據(jù)的任意塊開始復原的技術(shù)。具體而言，為了從中途開始復原被壓縮的圖像文件，預先確定“起點塊”。起點塊是在加工后(例如旋轉(zhuǎn)90度后)排在上端的行上的塊。之后，在復原壓縮后的圖像文件的同時，存儲起點塊的文件指針與DC成分(編碼前的值)。之后，從壓縮數(shù)據(jù)的起點塊開始，執(zhí)行圖像的復原。關(guān)于起點塊，由于已存儲DC成分，所以不采用與其它塊的差分即可復原(例如參照專利文獻1)。
專利文獻1日本特開2001-86318號公報但是，在專利文獻1公開的技術(shù)中，為了存儲起點塊的DC成分，必須暫時將壓縮數(shù)據(jù)復原。因此，可減少所需的存儲器容量，而另一方面，卻會導致處理等待時間的增大。因此，不適合于實時處理。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題而提出的，其目的在于提供能夠以少的存儲器容量來實現(xiàn)對拍攝的圖像的實時加工處理的圖像處理顯示裝置和圖像處理顯示方法。
在本發(fā)明中，為了解決上述問題，提供圖1所示的圖像處理顯示裝置。本發(fā)明的圖像處理顯示裝置用于實時地執(zhí)行圖像的壓縮、解壓和加工。圖1所示的各要素具有如下功能。
壓縮數(shù)據(jù)緩存1是用于存儲壓縮后的數(shù)據(jù)的緩存。參照圖像緩存2是用于存儲在對數(shù)據(jù)進行解壓時所參照的信息的緩存。圖像壓縮裝置3按各個單位圖像91、92、……來壓縮輸入的原始圖像90，對于壓縮后的一個以上的單位圖像92、……，將預定的基準數(shù)據(jù)變換為對應于與其它單位圖像內(nèi)的預定數(shù)據(jù)的比較結(jié)果的值，由此生成原圖像90的壓縮數(shù)據(jù)90a，將壓縮數(shù)據(jù)90a存儲在壓縮數(shù)據(jù)緩存1中。參照信息生成裝置4從圖像壓縮裝置3取得執(zhí)行了基準數(shù)據(jù)變換的單位圖像92、……各自的變換前的基準數(shù)據(jù)，將取得的基準數(shù)據(jù)與對應的單位圖像92、……關(guān)聯(lián)起來存儲在參照圖像緩存2中。圖像解壓裝置5按照與預先指定的圖像處理內(nèi)容對應的順序，取得存儲在壓縮數(shù)據(jù)緩存1中的已壓縮的多個單位圖像91、92a、……，同時，從參照圖像緩存2中取得與取得的單位圖像對應的變換前的基準數(shù)據(jù)，并使用取得的基準數(shù)據(jù)來對所取得的已壓縮的單位圖像91、92a、……進行解壓。圖像處理裝置6對由圖像解壓裝置5解壓后的單位圖像實施與預先指定的圖像處理內(nèi)容對應的加工后輸出。
根據(jù)這種圖像處理顯示裝置，當輸入原始圖像90時，由圖像壓縮裝置3對各個單位圖像91、92、……進行壓縮。另外，利用圖像壓縮裝置3，對于壓縮后的一個以上的單位圖像92、……，將預定的基準數(shù)據(jù)變換為對應于與其它單位圖像內(nèi)的預定數(shù)據(jù)的比較結(jié)果的值，由此生成原始圖像90的壓縮數(shù)據(jù)90a。將壓縮數(shù)據(jù)90a存儲在壓縮數(shù)據(jù)緩存1中。通過參照信息生成裝置4將執(zhí)行了基準數(shù)據(jù)的變換的單位圖像92、……各自的基準數(shù)據(jù)與對應的單位圖像92、……關(guān)聯(lián)起來存儲在參照圖像緩存2中。這樣，通過圖像解壓裝置5，按照與預先指定的圖像處理內(nèi)容對應的順序，取得存儲在壓縮數(shù)據(jù)緩存1中的已壓縮的多個單位圖像91、92a、……。使用對應的變換前的基準數(shù)據(jù)來對所取得的單位圖像進行解壓。之后，通過圖像處理裝置6，對由圖像解壓裝置5解壓后的單位圖像，實施與預先指定的圖像處理內(nèi)容對應的加工并輸出。
如上所述，在本發(fā)明中，在壓縮原始圖像90時，存儲單位圖像的變換前的基準數(shù)據(jù)，使用該基準數(shù)據(jù)來對各單位圖像進行解壓，所以可按任意的順序來對單位圖像進行解壓。結(jié)果，在根據(jù)預先指定的圖像處理內(nèi)容進行加工時，也按照與圖像處理內(nèi)容相應的順序來對單位圖像進行解壓，從而不設(shè)置用于存儲整個圖像的存儲器等即可實時地加工圖像。
通過結(jié)合表示作為本發(fā)明的示例的優(yōu)選實施方式的附圖進行的說明，本發(fā)明的上述和其它目的、特征和優(yōu)點會變得顯而易見。


圖1是應用于實施方式的發(fā)明的示意圖。
圖2是表示圖像處理顯示裝置的內(nèi)部結(jié)構(gòu)的框圖。
圖3是表示圖像壓縮裝置與參照信息生成裝置的內(nèi)部結(jié)構(gòu)的圖。
圖4是表示構(gòu)成原始圖像的塊的圖。
圖5是表示構(gòu)成原始圖像的成分的圖。
圖6是表示DCT處理后的圖像的圖。
圖7是表示壓縮數(shù)據(jù)緩存的數(shù)據(jù)結(jié)構(gòu)例的圖。
圖8是表示參照圖像緩存的數(shù)據(jù)結(jié)構(gòu)例的圖。
圖9是表示圖像解壓裝置與圖像處理裝置的內(nèi)部結(jié)構(gòu)的圖。
圖10是說明旋轉(zhuǎn)90度時的MCU計數(shù)器的輸出順序的圖。
圖11是表示MCU圖像的旋轉(zhuǎn)處理的圖。
圖12是第2實施方式的圖像處理顯示裝置的內(nèi)部框圖。
圖13是第3實施方式的圖像處理顯示裝置的內(nèi)部框圖。
具體實施例方式
下面，參照附圖來說明本發(fā)明的實施方式。
首先，說明應用于實施方式的發(fā)明的概要，之后，說明實施方式的具體內(nèi)容。
圖1是應用于實施方式的發(fā)明的示意圖。本發(fā)明的圖像處理顯示裝置用于實時地執(zhí)行圖像的壓縮、解壓和加工，具有壓縮數(shù)據(jù)緩存1、參照圖像緩存2、圖像壓縮裝置3、參照信息生成裝置4、圖像解壓裝置5和圖像處理裝置6。
壓縮數(shù)據(jù)緩存1是用于存儲壓縮后的數(shù)據(jù)的存儲裝置。壓縮數(shù)據(jù)緩存1只要至少具有能存儲壓縮原始圖像90時的數(shù)據(jù)量的存儲容量即可。
參照圖像緩存2是用于存儲在對數(shù)據(jù)進行解壓時所參照的信息的存儲裝置。參照圖像緩存2只要至少具有能存儲原始圖像90的單位圖像91、92、……中包含的基準數(shù)據(jù)、和用于將該基準數(shù)據(jù)與單位圖像關(guān)聯(lián)起來的信息的存儲容量即可?；鶞蕯?shù)據(jù)例如是表示單位圖像內(nèi)的各像素的級別(像素值)的平均值的數(shù)據(jù)。
圖像壓縮裝置3按每個單位圖像91、92、……來壓縮所輸入的原始圖像90。并且，圖像壓縮裝置3對于壓縮后的一個以上的單位圖像92、……，將預定的基準數(shù)據(jù)變換為對應于與其它單位圖像內(nèi)的預定數(shù)據(jù)的比較結(jié)果的值，由此生成原始圖像90的壓縮數(shù)據(jù)90a。所謂單位圖像的基準數(shù)據(jù)的變換處理是例如將單位圖像92的基準數(shù)據(jù)置換成與其它單位圖像91的基準數(shù)據(jù)之間的差分的處理。另外，也可對置換成差分的基準數(shù)據(jù)進行編碼。圖像壓縮裝置3將壓縮數(shù)據(jù)90a存儲在壓縮數(shù)據(jù)緩存1中。壓縮數(shù)據(jù)90a由不需要基準數(shù)據(jù)變換的單位圖像91和已變換了基準數(shù)據(jù)的單位圖像92a、……構(gòu)成。
參照信息生成裝置4從圖像壓縮裝置3取得執(zhí)行了基準數(shù)據(jù)變換的單位圖像92、……各自的變換前的基準數(shù)據(jù)，將取得的基準數(shù)據(jù)與對應的單位圖像92、……關(guān)聯(lián)起來，存儲在參照圖像緩存2中。另外，未執(zhí)行基準數(shù)據(jù)變換的單位圖像91的基準數(shù)據(jù)也可存儲在參照圖像緩存2中。若將剛壓縮后的全部單位圖像91、92、……的基準數(shù)據(jù)存儲在參照圖像緩存2中，則可以簡化解壓時的處理過程。另外，基準數(shù)據(jù)與單位圖像92a的關(guān)聯(lián)例如可使用壓縮數(shù)據(jù)緩存1內(nèi)的存儲單位圖像92a的區(qū)域的地址。即，只要將單位圖像92a的地址與單位圖像92a的變換前的基準數(shù)據(jù)成組地存儲在參照圖像緩存2中即可。
圖像解壓裝置5按照與預先指定的圖像處理內(nèi)容對應的順序，取得存儲在壓縮數(shù)據(jù)緩存1中的已壓縮的多個單位圖像91、92a、……。例如，圖像解壓裝置5每當在壓縮數(shù)據(jù)緩存1中存儲了1個畫面的壓縮數(shù)據(jù)90a時，立即開始圖像解壓用的數(shù)據(jù)獲取。
另外，圖像解壓裝置5從參照圖像緩存2中取得與所取得的單位圖像對應的變換前的基準數(shù)據(jù)。之后，圖像解壓裝置5使用所取得的基準數(shù)據(jù)來對取得的已壓縮的單位圖像91、92a、……進行解壓。另外，對于未執(zhí)行基準數(shù)據(jù)變換的單位圖像91，即使不從參照圖像緩存2中取得基準數(shù)據(jù)，也可進行解壓。另外，所謂預先指定的圖像處理內(nèi)容是例如圖像的旋轉(zhuǎn)、鏡像畫面變換、縮小圖像(縮略圖像)的生成、馬賽克圖像的生成等。
圖像處理裝置6對由圖像解壓裝置5解壓后的單位圖像，實施與預先指定的圖像處理內(nèi)容相應的加工后輸出。
根據(jù)這種圖像處理顯示裝置，當輸入原始圖像90時，由圖像壓縮裝置3對每個單位圖像91、92、……進行壓縮。另外，利用圖像壓縮裝置3，對于壓縮后的一個以上的單位圖像92、……，將預定的基準數(shù)據(jù)變換為對應于與其它單位圖像內(nèi)的預定數(shù)據(jù)之間的比較結(jié)果的值，由此生成原始圖像90的壓縮數(shù)據(jù)90a。將壓縮數(shù)據(jù)90a存儲在壓縮數(shù)據(jù)緩存1中。通過參照信息生成裝置4將執(zhí)行了基準數(shù)據(jù)變換的單位圖像92、……各自的基準數(shù)據(jù)與對應的單位圖像92、……關(guān)聯(lián)起來存儲在參照圖像緩存2中。這樣，圖像解壓裝置5按照與預先指定的圖像處理內(nèi)容相應的順序，取得存儲在壓縮數(shù)據(jù)緩存1中的已壓縮的多個單位圖像91、92a、……。使用對應的變換前的基準數(shù)據(jù)來對所取得的單位圖像進行解壓。之后，圖像處理裝置6對由圖像解壓裝置5解壓后的單位圖像，實施與預先指定的圖像處理內(nèi)容相應的加工，并輸出。結(jié)果，顯示出加工后的圖像90b。
這樣，在壓縮原始圖像90時，存儲單位圖像的變換前的基準數(shù)據(jù)，使用該基準數(shù)據(jù)來對各單位圖像進行解壓，由此可按任意的順序來對單位圖像進行解壓。在根據(jù)預先指定的圖像處理內(nèi)容來實施加工時，也按照與圖像處理內(nèi)容相應的順序?qū)挝粓D像進行解壓，從而不設(shè)置用于存儲整個圖像的存儲器等即可實時地加工圖像。
因此，本發(fā)明可用于執(zhí)行JPEG壓縮、解壓的數(shù)碼相機(包括安裝了數(shù)碼相機的便攜電話機等電子設(shè)備)中。例如，在實現(xiàn)數(shù)碼相機的取景動作中使圖像旋轉(zhuǎn)的功能的情況下，執(zhí)行“圖像傳感器→圖像數(shù)據(jù)輸入→JPEG壓縮→解壓+旋轉(zhuǎn)→旋轉(zhuǎn)后的圖像→顯示輸出裝置”等一連串的動作。
下面，說明JPEG壓縮、解壓。
通常，圖像數(shù)據(jù)是利用每個像素的級別(在彩色的情況下，考慮分成R(紅)、G(綠)、B(藍)、或Y、Cb、Cr等每個成分)來表示的。JPEG的壓縮動作按如下步驟進行。
(a)將圖像數(shù)據(jù)分成由8×8像素構(gòu)成的塊。然后，把一個或多個塊作為一個MCU(Minimum Coded Unit，最小編碼單位)。MCU是保存壓縮數(shù)據(jù)時的單位數(shù)據(jù)。在以YCbCr420形式進行壓縮的情況下，由于Cb成分與Cr成分是對于4個像素生成一個數(shù)據(jù)，所以將4個塊作為一個MCU。這里，對各個塊實施離散余弦變換(DCTDiscrete Cosine Transform)。在輸入數(shù)據(jù)的尺寸不是8的倍數(shù)的情況下，為了能構(gòu)成MCU，必要時在圖像的右邊與下邊附加像素。
(b)對得到的DCT系數(shù)進行量化，舍棄不要的高次頻率成分的系數(shù)。
(c)Z字形地掃描量化后的數(shù)據(jù)(Z字形順序)，對值為0的數(shù)據(jù)使用游程(并排了多少個相同的值)來進行編碼。
(d)根據(jù)哈夫曼(Huffman)編碼表，進行熵編碼。
按以上步驟執(zhí)行圖像數(shù)據(jù)的壓縮。而解壓操作按相反順序執(zhí)行以上的(a)-(d)步驟。
另外，JPEG數(shù)據(jù)中有DC成分與AC成分。在上述(a)中，DCT變換后的成分中，(0，0)成分(圖像左上端的DCT系數(shù))為DC成分。DC成分表示整個塊的級別的平均值。將其余的63個成分稱為AC成分。對于DC成分，僅存儲與前一個塊的數(shù)據(jù)之間的差分信息。對于AC成分，存儲DCT系數(shù)本身。
如上所述可知，以由8×8像素構(gòu)成的塊為單位、針對每個成分壓縮JPEG數(shù)據(jù)，集合成各個MCU后存儲。為了旋轉(zhuǎn)圖像，必須改變MCU的排列方法，并且還必須改變構(gòu)成各MCU的塊內(nèi)的數(shù)據(jù)的排列。
因此，如果在以往，在按照輸出的順序局部地對必要的MCU進行解碼的情況下，為了得到各個MCU的DC成分，必須從最開始一次解碼全部MCU。由于對于特定的MCU要一個個地解碼該特定的MCU之前的全部MCU，所以效率不高，因此，在以下說明的實施方式中，對于特定的MCU，在進行JPEG壓縮時生成提供1、表示MCU的存儲區(qū)域的開頭的地址指針2、DC成分的值等信息的MCU信息表。
在進行局部解碼時，為了對應于處理的內(nèi)容、按正確的順序得到輸出圖像，按照依據(jù)該MCU信息表的順序來解碼想要的MCU，將每個MCU旋轉(zhuǎn)，然后輸出。
這樣，本發(fā)明可應用于根據(jù)JPEG執(zhí)行圖像壓縮的裝置。下面，以將本發(fā)明應用于根據(jù)JPEG方式進行圖像壓縮的裝置的情況為例，具體說明本發(fā)明的實施方式。
(第1實施方式)下面，具體說明本發(fā)明的實施方式的圖像處理顯示裝置。在以下的實施方式中，詳細說明實時地旋轉(zhuǎn)圖像的功能。把實時圖像旋轉(zhuǎn)作為便攜電話或數(shù)碼相機等中的取景器用的圖像顯示功能是有用的。另外，在以下的實施方式中，假定執(zhí)行JPEG的YCbCr420形式的圖像壓縮。另外，在YCbCr中，彩色圖像用Y成分、Cr成分、Cb成分來表現(xiàn)。Y成分是亮度成分，表示亮度。Cr成分是色差成分，表示R(紅)成分與Y成分的差。Cb成分是色差成分，表示B(藍)成分與Y成分的差。
圖2是表示圖像處理顯示裝置的內(nèi)部結(jié)構(gòu)的框圖。如圖2所示，在圖像處理顯示裝置100上連接照相機11與顯示器12。照相機11是具有圖像傳感器的裝置。即，照相機11利用CCD(Charge-Coupled Devices，電荷耦合器件)接受經(jīng)鏡頭入射的光，并變換為電信號。根據(jù)由各CCD變換的電信號，生成圖像。將照相機11生成的圖像輸入圖像處理顯示裝置100。顯示器12從圖像處理顯示裝置100取得圖像數(shù)據(jù)，進行畫面顯示。
圖像處理顯示裝置100具有輸入緩存110、圖像壓縮裝置120、壓縮數(shù)據(jù)緩存130、參照信息生成裝置140、參照圖像緩存150、圖像解壓裝置160、圖像處理裝置170和輸出緩存180。
輸入緩存110是接收照相機11生成的圖像的數(shù)據(jù)、暫時存儲的存儲裝置。作為輸入緩存110，例如使用半導體存儲器。輸入緩存110將所存儲的數(shù)據(jù)傳遞到圖像壓縮裝置120。
圖像壓縮裝置120以塊為單位來接收存儲在輸入緩存110中的圖像，針對每個塊以JPE6方式來對圖像進行壓縮。1塊是8×8像素的圖像。壓縮按DCT、量化、哈夫曼編碼這樣的步驟來進行。圖像壓縮裝置120以MCU為單位將壓縮后的圖像數(shù)據(jù)寫入到壓縮數(shù)據(jù)緩存130中。MCU是單位圖像的再現(xiàn)所必需的數(shù)據(jù)。在第1實施方式中，MCU由4Y(4塊的Y成分)+1Cb(1塊的Cb成分)+1Cr(1塊的Cr成分)6個值構(gòu)成。另外，若以YcbCr422形式來進行圖像壓縮，則DC成分為4個值。
壓縮數(shù)據(jù)緩存130是存儲壓縮后的圖像數(shù)據(jù)的存儲區(qū)域。壓縮數(shù)據(jù)緩存130可存儲1幀的壓縮圖像數(shù)據(jù)。
參照信息生成裝置140從由圖像壓縮裝置120進行了DCT的圖像中取出DC成分，存儲在參照圖像緩存150中。另外，參照信息生成裝置140取得將壓縮后的MCU存儲在壓縮數(shù)據(jù)緩存130中時的寫入?yún)^(qū)域的地址。并且，參照信息生成裝置140將MCU的寫入?yún)^(qū)域的地址與該圖像的DC成分關(guān)聯(lián)起來、存儲在參照圖像緩存150中。
參照圖像緩存150是存儲1幀的各個MCU的DC成分與地址的組的存儲區(qū)域。
圖像解壓裝置160按照每個MCU，對存儲在壓縮數(shù)據(jù)緩存130中的壓縮數(shù)據(jù)進行解壓。具體而言，圖像解壓裝置160按預定的順序從壓縮數(shù)據(jù)緩存130中讀出MCU。之后，圖像解壓裝置160從參照圖像緩存150中讀出與所讀出的MCU的地址關(guān)聯(lián)的DC成分。之后，圖像解壓裝置160使用所讀出的DC成分對MCU進行解壓。將解壓后的圖像傳遞給圖像處理裝置170。
圖像處理裝置170根據(jù)加工內(nèi)容來加工由圖像解壓裝置160解壓后的圖像，寫入到輸出緩存180中。
輸出緩存180是存儲被顯示的圖像數(shù)據(jù)的存儲區(qū)域。作為輸出緩存180，例如使用半導體存儲器。將存儲在輸出緩存180中的圖像數(shù)據(jù)傳遞到顯示器12，進行畫面顯示。
根據(jù)這種圖像處理顯示裝置100，將照相機11拍攝到的圖像存儲在輸入緩存110中。圖像壓縮裝置120讀出存儲在輸入緩存110中的圖像，實施基于JPEG形式的壓縮。將壓縮后的圖像數(shù)據(jù)(壓縮數(shù)據(jù))存儲在壓縮數(shù)據(jù)緩存130中。另外，對于壓縮數(shù)據(jù)的每個MCU，由參照信息生成裝置140從圖像壓縮裝置120中取出DC成分與MCU存儲地址的組。將取出的DC成分與地址相互關(guān)聯(lián)起來，存儲在參照圖像緩存150中。
由圖像解壓裝置160針對每個MCU讀出存儲在壓縮數(shù)據(jù)緩存130中的壓縮數(shù)據(jù)。此時，由圖像解壓裝置160從參照圖像緩存150中讀出所讀出的MCU的DC成分。之后，圖像解壓裝置160使用DC成分來解壓MCU，將解壓后的圖像數(shù)據(jù)傳遞給圖像處理裝置170。圖像處理裝置170按照與圖像的加工內(nèi)容對應的配置，將圖像數(shù)據(jù)寫入到輸出緩存180中。根據(jù)寫入到輸出緩存180中的圖像數(shù)據(jù)，在顯示器12上顯示圖像。
下面，詳細說明圖像壓縮處理。
圖3是表示圖像壓縮裝置與參照信息生成裝置的內(nèi)部結(jié)構(gòu)的圖。圖像壓縮裝置120具有DCT電路121、量化電路122、哈夫曼編碼電路123、和MCU單位圖像寫入電路124。
DCT電路121對輸入的圖像數(shù)據(jù)實施離散余弦變換(DCT)處理。通過DCT處理，根據(jù)圖像的像素值(表示像素的亮度的數(shù)值)得到DCT系數(shù)。得到與像素數(shù)相同個數(shù)的DCT系數(shù)。在第1實施方式中，對每個8×8像素的塊進行DCT處理，所以得到8×8個DCT系數(shù)。此時，左上的DCT系數(shù)為DC成分。將1個塊的DCT系數(shù)傳遞給量化電路122。
當從DCT電路121取得了1個塊的DCT系數(shù)時，量化電路122進行DCT系數(shù)的量化。量化是指用預定的數(shù)來除DCT系數(shù)而置換成代表值。例如，即使在原始圖像用8比特來表示每1個像素的情況下，DCT系數(shù)也為-1024～1023之間的值，若對小數(shù)點后面的值進行四舍五入，則用11位的整數(shù)來表示。為了減少至每1個像素為8比特，只要用2的3次方(＝8)來除DCT系數(shù)即可。另外，關(guān)于對DCT系數(shù)進行除法運算時的小數(shù)點后面的值，進行四舍五入。將量化后的DCT系數(shù)(近似DCT系數(shù))傳遞給哈夫曼編碼電路123。
哈夫曼編碼電路123根據(jù)預先準備的代碼表，將量化后的DCT系數(shù)置換成哈夫曼代碼(1，0代碼)。這也被稱為熵編碼。此時，還進行塊左上端的DC成分的編碼。DC成分的編碼僅排列多個塊(例如8×8)的DC成分，生成縮小圖像。之后，對該縮小圖像進行編碼。例如，進行DPCM(Differential PCM，差分脈沖編碼調(diào)制)編碼等。DPCM編碼是用圖像的差分(例如與左側(cè)像素的差分)來表現(xiàn)的編碼方式。將編碼后的圖像數(shù)據(jù)(壓縮數(shù)據(jù))傳遞給MCU單位圖像寫入電路124。此時，從哈夫曼編碼電路123向MCU單位圖像寫入電路124傳遞應存儲該壓縮數(shù)據(jù)的區(qū)域的地址(指針)。
MCU單位圖像寫入電路124以MCU為單位將從哈夫曼編碼電路123接收到的壓縮數(shù)據(jù)寫入到壓縮數(shù)據(jù)緩存130中。具體而言，MCU單位圖像寫入電路124將4塊的壓縮數(shù)據(jù)(4塊的Y成分、1塊的Cb成分、1塊的Cr成分)集合為一個MCU，寫入到由哈夫曼編碼電路123指定的壓縮數(shù)據(jù)緩存130上的地址中。
參照信息生成裝置140具有參照數(shù)據(jù)提取電路141與MCU指針提取電路142。
參照數(shù)據(jù)提取電路141取得從圖像壓縮裝置120內(nèi)的DCT電路121傳遞到量化電路122的DCT系數(shù)，從中提取DC成分。參照數(shù)據(jù)提取電路141按從上到下的順序，將所提取的DC成分存儲在參照圖像緩存150的DC成分的項中。
MCU指針提取電路142提取從圖像壓縮裝置120內(nèi)的哈夫曼編碼電路123傳遞到MCU單位圖像寫入電路124的指針。并且，按從上到下的順序，將所提取的指針存儲在參照圖像緩存150的指針的項中。
這樣，執(zhí)行圖像壓縮、將MCU存儲在壓縮數(shù)據(jù)緩存130中，并且將參照信息(DC成分與指針的組)存儲在參照圖像緩存150中。
下面，說明到根據(jù)原始圖像來生成MCU、并且提取DC成分為止的流程。
圖4是表示構(gòu)成原始圖像的塊的圖。如圖4所示，原始圖像200被分為多個塊211～214、221～224。各個塊211～214、221～224由8×8個像素構(gòu)成。若壓縮該原始圖像200，則由4個塊211～214生成一個MCU210。同樣，由4個塊221～224生成一個MCU 220。
另外，原始圖像200是彩色圖像，由Y成分、Cb成分、Cr成分構(gòu)成。
圖5是表示構(gòu)成原始圖像的成分的圖。構(gòu)成MCU 210的塊211～214可分解成Y成分30、Cb成分41、Cr成分42。Y成分30由分別對應于4個塊211～214的4個塊31～34構(gòu)成。即，關(guān)于Y成分，對應于原始圖像200的一個像素的數(shù)據(jù)，存在一個數(shù)據(jù)。
另外，關(guān)于Cb成分41，對于4個塊211～214存在一個塊。同樣，關(guān)于Cr成分42，對于4個塊211～214存在一個塊。即，關(guān)于Cb成分與Cr成分，對應于原始圖像200的4個像素的數(shù)據(jù)，存在一個數(shù)據(jù)。
當壓縮這種結(jié)構(gòu)的數(shù)據(jù)時，首先對原始圖像200實施DCT處理，將各像素的各成分的數(shù)據(jù)置換成DCT系數(shù)。
圖6是表示DCT處理后的圖像的圖。另外，圖6中示出了DCT處理后的Y成分50。對于DCT處理后的Y成分50，把表示原始圖像的各像素的亮度的值變換為DCT系數(shù)。構(gòu)成Y成分50的各個塊內(nèi)的左上端的DCT系數(shù)是在塊內(nèi)不變化的直流(DC)成分。DC成分表示塊內(nèi)的各像素值的平均(實際上偏移了級別偏移量)。例如，塊51的左上端的DCT系數(shù)51a是DC成分。
這里，假設(shè)僅由各塊的DC成分排列而成的圖像60。該圖像60與原始圖像相比，是像素數(shù)為1/8×1/8的縮小圖像(也稱為縮略圖像)。
對DCT處理后的Y成分50內(nèi)的各DCT系數(shù)進行量化，但此時，對DC成分執(zhí)行編碼處理。例如，在對某個塊的DC成分進行編碼的情況下，取與鄰接塊的DC成分之間的差分。將各塊的DC成分置換成差分值，通過哈夫曼編碼等來分配識別碼。
另外，圖6中僅示出了Y成分50，但對于Cr成分與Cb成分也同樣進行DCT系數(shù)的量化和DC成分的編碼。以MCU為單位將針對這些成分分別進行編碼得到的數(shù)據(jù)存儲到壓縮數(shù)據(jù)緩存130中。
圖7是表示壓縮數(shù)據(jù)緩存的數(shù)據(jù)結(jié)構(gòu)例的圖。在壓縮數(shù)據(jù)緩存130中，存儲有MCU 131、132、……的數(shù)據(jù)。在第1實施方式中，假定以YCbCr420形式來進行壓縮，可輸出至多64KB的壓縮數(shù)據(jù)。因此，壓縮數(shù)據(jù)緩存130具有64KB的存儲容量。此時，存儲MCU 131、132、……的區(qū)域的地址(地址#1、地址#2、……)可用16位來表現(xiàn)。
MCU 131由4個Y成分塊(Y成分塊#1、Y成分塊#2、Y成分塊#3、Y成分塊#4)、一個Cb成分塊、一個Cr成分塊構(gòu)成。從這些成分各自的塊中分別提取DC成分，存儲在參照圖像緩存150中。
圖8是表示參照圖像緩存的數(shù)據(jù)結(jié)構(gòu)例的圖。參照圖像緩存150設(shè)置了DC成分項與指針項。參照數(shù)據(jù)提取電路141取得最開始的MCU(MCU#1)的DC成分時，將其存儲在DC成分項的開頭。作為MCU#1的DC成分，包含4個塊的Y成分、1個塊的Cb成分、1個塊的Cr成分各自的DC成分。之后，每當取得后續(xù)的MCU(MCU#2、MCU#3、MCU#4、……)的DC成分時，接在MCU#1的DC成分后面存儲這些DC成分。
另外，當將最開始的MCU(MCU#1)存儲在壓縮數(shù)據(jù)緩存130中時，通過MCU指針提取電路142將存儲MCU#1的區(qū)域的開頭地址(地址#1)存儲在指針項中。之后，每當將后續(xù)的MCU(MCU#2、MCU#3、MCU#4、……)存儲在壓縮數(shù)據(jù)緩存130中時，將這些MCU的存儲區(qū)域的地址(地址#2、地址#3、地址#4、……)存儲在指針項中。
這樣，對于DC成分與指針(地址)，從參照圖像緩存150內(nèi)的存儲區(qū)域的上位開始按順序存儲。由此，將與各MCU對應的DC成分與地址存儲在參照圖像緩存150的DC成分項與指針項的相同序號的區(qū)域中。
在參照圖像緩存150中保存有變換為差分值之前的DC成分，從而可單獨地將任意的MCU復原成原始的圖像。即，對于MCU內(nèi)包含的DC成分，除去一部分塊的DC成分，其它都被置換成與鄰接塊之間的差分。因此，在不使用參照圖像緩存150的情況下，通過從包含未執(zhí)行差分值置換的DC成分的MCU開始按順序復原，可將被置換成差分值的DC成分恢復成原始值，復原其它MCU。因此，若沒有參照圖像緩存150，則不能單獨地復原任意的MCU。
由于能夠這樣單獨地復原任意的MCU，因而復原后的圖像的旋轉(zhuǎn)等加工處理變得容易。
下面，說明基于壓縮數(shù)據(jù)的圖像顯示處理。
圖9是表示圖像解壓裝置與圖像處理裝置的內(nèi)部結(jié)構(gòu)的圖。在圖像處理顯示裝置100中，利用圖像解壓裝置160與圖像處理裝置170來執(zhí)行基于壓縮數(shù)據(jù)的圖像顯示。當顯示圖像時，預先指定實施哪種加工。在第1實施方式中，由顯示數(shù)據(jù)尺寸與處理模式來指定。顯示數(shù)據(jù)尺寸例如由待顯示的圖像的縱向與橫向的像素數(shù)來指定。處理模式例如是指定旋轉(zhuǎn)、鏡像、縮略、馬賽克等加工內(nèi)容的信息。在旋轉(zhuǎn)處理模式中，可指定旋轉(zhuǎn)角度(例如90度、180度、270度等)。
將顯示數(shù)據(jù)尺寸與處理模式輸入到圖像處理裝置170。圖像處理裝置170根據(jù)存儲在壓縮數(shù)據(jù)緩存130中的圖像，生成由顯示數(shù)據(jù)尺寸與處理模式所指定的圖像數(shù)據(jù)，寫入到輸出緩存180中。具體而言，圖像處理裝置170具有MCU計數(shù)輸出電路171與MCU單位圖像處理電路172。
MCU計數(shù)輸出電路171根據(jù)顯示數(shù)據(jù)尺寸與處理模式，確定MCU的讀出順序，依次輸出對應于讀出順序的MCU計數(shù)。MCU計數(shù)是指定將MCU存儲在壓縮數(shù)據(jù)緩存130中的順序的數(shù)據(jù)。利用MCU計數(shù)來唯一地確定壓縮數(shù)據(jù)緩存130內(nèi)的MCU。
MCU單位圖像處理電路172根據(jù)顯示數(shù)據(jù)尺寸與處理模式來加工從圖像解壓裝置160傳遞來的MCU原始圖像，輸出到輸出緩存180。
圖像解壓裝置160具有參照數(shù)據(jù)提取電路161與MCU單位圖像解壓電路162。
參照數(shù)據(jù)提取電路161從MCU計數(shù)輸出電路171接收MCU計數(shù)值，從參照圖像緩存150中取出與MCU計數(shù)值對應的DC成分與地址。具體而言，參照數(shù)據(jù)提取電路161從參照圖像緩存150的上位開始，提取相當于與MCU計數(shù)值對應的序號的記錄(DC成分與地址)。并且，參照數(shù)據(jù)提取電路161讀出所提取的DC成分與地址，傳遞到MCU單位圖像解壓電路162。
MCU單位圖像解壓電路162從壓縮數(shù)據(jù)緩存130中取出與從參照數(shù)據(jù)提取電路161接收到的地址對應的MCU。MCU單位圖像解壓電路162使用從參照數(shù)據(jù)提取電路161接收到的DC成分來對所讀出的MCU進行解壓。具體而言，MCU單位圖像解壓電路162將所取得的MCU內(nèi)所包含的DC成分(已編碼)置換成從參照數(shù)據(jù)提取電路161接收到的DC成分(編碼前)。并且，MCU單位圖像解壓電路162對MCU進行解壓，生成MCU解壓圖像，并傳遞給圖像處理裝置170。
根據(jù)該結(jié)構(gòu)，每當將壓縮數(shù)據(jù)存儲在壓縮數(shù)據(jù)緩存130中時，進行圖像顯示處理。即，當將壓縮數(shù)據(jù)存儲在壓縮數(shù)據(jù)緩存130中時，從MCU計數(shù)輸出電路171輸出與顯示數(shù)據(jù)尺寸和處理模式對應的MCU計數(shù)值。每當從圖像解壓裝置160中輸出MCU解壓圖像時，更新輸出的MCU計數(shù)值，并依次輸出。
參照數(shù)據(jù)提取電路161接收從MCU計數(shù)輸出電路171輸出的MCU計數(shù)值。并且，由參照數(shù)據(jù)提取電路161從參照圖像緩存150中取得與MCU計數(shù)值對應的DC成分與地址，傳遞到MCU單位圖像解壓電路162。
MCU單位圖像解壓電路162從壓縮數(shù)據(jù)緩存130取得存儲在由接收到的地址所表示的區(qū)域中的MCU。使用從參照數(shù)據(jù)提取電路161傳遞來的DC成分對該MCU進行解壓，輸出MCU解壓圖像。
將MCU解壓圖像傳遞給MCU單位圖像處理電路172。這樣，在MCU單位圖像處理電路172中對MCU解壓圖像實施與顯示數(shù)據(jù)尺寸和處理模式對應的加工，寫入到輸出緩存180中。
這樣，可以對壓縮圖像數(shù)據(jù)進行加工、顯示。下面，具體說明使圖像旋轉(zhuǎn)90度時的加工例。
圖10是說明旋轉(zhuǎn)90度時的MCU計數(shù)的輸出順序的圖。如圖10所示，假定了使圖像70順時針旋轉(zhuǎn)90度的情況。
圖像70由多個MCU構(gòu)成，橫向的MCU個數(shù)為m(m為大于等于1的整數(shù))，縱向的MCU個數(shù)為n(n為大于等于1的整數(shù))。在壓縮該圖像70時，MCU的位置在圖像70中越靠上，則越被優(yōu)先壓縮。另外，若在圖像70內(nèi)的上下方向的位置相同，則越靠左，越被優(yōu)先壓縮。
因此，從圖像70的左上端的MCU開始壓縮，壓縮對象的MCU依次向相鄰的右邊移動。并且，若壓縮了同一行(橫向的相同排列)的右端的MCU，則接著壓縮其下面的行的左端的MCU。
圖10中，對圖像70內(nèi)的MCU，用數(shù)字表示壓縮的序號。左上端的MCU的壓縮序號為第1，連接于其右側(cè)的MCU的壓縮序號依次為第2、第3、……。左下端的MCU的壓縮序號為第“m(n-1)+1”。右下端的MCU的壓縮序號為第mn。
將壓縮后的MCU按壓縮的順序存儲在壓縮數(shù)據(jù)緩存130中。同樣，按MCU的壓縮順序，將與該MCU對應的DC成分與地址存儲在參照圖像緩存150中。因此，為了按任意順序讀出MCU來進行解壓，只要指定壓縮、存儲該MCU的順序(存儲順序)即可。
因此，MCU計數(shù)輸出電路171利用MCU計數(shù)來指定應解壓的MCU的存儲順序。若根據(jù)處理模式(加工內(nèi)容)來定義MCU計數(shù)的初始值和更新方法，則可按照與處理模式對應的預定順序來對MCU進行解壓。
在圖10的例子中，在生成加工后的圖像80時，假定從圖像80左上端的MCU開始，按順序生成圖像，并寫入到輸出緩存180中。此時，為了使圖像70旋轉(zhuǎn)90度，必須從在圖像70中的位置為左下端的MCU開始，按順序向上執(zhí)行MCU單位圖像的解壓。因此，MCU計數(shù)的初始值為第“m(n-1)+1”。
當更新MCU計數(shù)時，從之前的MCU計數(shù)值中減去m。由此，接著對在原始圖像70中與剛解壓的MCU的上方相鄰的MCU進行解壓。另外，當剛才的MCU計數(shù)值不足m時，由于圖像70中同一列(縱向上的相同排列)的處理結(jié)束，所以必須接著對右鄰列的下端的MCU進行解壓。因此，若剛才的MCU計數(shù)值為“k”(k為大于等于1小于m的整數(shù))，則將MCU計數(shù)值更新為第“m(n-1)+(k+1)”。另外，若MCU計數(shù)值變?yōu)閙，則MCU計數(shù)的更新結(jié)束。
如此更新MCU計數(shù)值的結(jié)果，輸出的MCU計數(shù)為“m(n-1)+1、m(n-2)+1、……、1、m(n-1)+2、m(n-2)+2、……、mn、m(n-1)、……、m”。通過按此順序依次解壓，得到旋轉(zhuǎn)90度后的圖像80。
另外，為了得到旋轉(zhuǎn)90度后的圖像80，還必須旋轉(zhuǎn)各MCU的圖像。
圖11是表示MCU圖像的旋轉(zhuǎn)處理的圖。另外，圖11中，示出MCU由一個塊(8×8像素)構(gòu)成的情況下，旋轉(zhuǎn)90度前的MCU圖像71與旋轉(zhuǎn)后的MCU圖像81。旋轉(zhuǎn)前的圖像71的尺寸為8×8像素。圖中，向各像素分配1～64的序號。利用該像素的序號來表示各像素的數(shù)據(jù)通過圖像71的旋轉(zhuǎn)而移動到圖像81中的何處。例如，圖像71中的左上端的像素移動到了圖81的右上端。
在由4個塊構(gòu)成一個MCU的情況下，考慮使圖11的縱橫像素數(shù)量變?yōu)?倍，也可容易地進行旋轉(zhuǎn)處理。另外，在輸出180度旋轉(zhuǎn)圖像、270度旋轉(zhuǎn)圖像、鏡像圖像等的情況下，與90度旋轉(zhuǎn)圖像一樣，指定輸出各MCU的順序，并且也對各MCU內(nèi)的64×4(塊數(shù))個圖像數(shù)據(jù)執(zhí)行旋轉(zhuǎn)處理并輸出。
對輸入到MCU單位圖像處理電路172中的各MCU執(zhí)行這種像素的重新排列。由此，寫入到輸出緩存180中的圖像數(shù)據(jù)為對寫入到壓縮數(shù)據(jù)緩存130中的壓縮數(shù)據(jù)進行解壓、并旋轉(zhuǎn)90度后的圖像。
如上所述，通過將壓縮數(shù)據(jù)的各MCU的DC成分與地址存儲在參照圖像緩存150中，可對每個塊依次執(zhí)行壓縮數(shù)據(jù)的展開、解壓、處理。結(jié)果，可以利用很少的存儲器容量來實時地執(zhí)行旋轉(zhuǎn)等的圖像加工。即，由于以MCU為單位對壓縮數(shù)據(jù)實施展開、解壓、處理，所以不需要大容量存儲器，并可抑制從圖像輸入至輸出為止的等待時間。
即，以往，復原JPEG數(shù)據(jù)全體，旋轉(zhuǎn)復原后的圖像，在該現(xiàn)有方法中需要暫時保存復原后的圖像全體的存儲器。并且，與其它電路的處理速度相比，向存儲器寫入或讀出圖像要花費時間。因此，由于增加了介入的存儲器，使得等待時間也增長。
另一方面，如第1實施方式所示，由于直接取出壓縮后的數(shù)據(jù)的一部分，使之旋轉(zhuǎn)預定角度后依次輸出，因而不需要用于復原壓縮數(shù)據(jù)全體、存儲復原后的圖像的存儲器。另外，通過減少從圖像的拍攝到顯示之間介入的存儲器，可減少等待時間。另外，由于可與MCU向壓縮數(shù)據(jù)緩存130的寫入同時并行地執(zhí)行向參照圖像緩存150寫入DC成分與地址，所以不會對等待時間造成壞影響。
(第2實施方式)第2實施方式可容易地生成八分之一的縮略圖像。
作為圖像的加工處理，有縮略圖像的生成處理。在生成縮略圖像的情況下，只要適當?shù)貙CU內(nèi)的數(shù)據(jù)進行抽取顯示即可。尤其是輸出八分之一尺寸的縮略圖像時，可以僅輸出各MCU的DC成分來生成圖像。
圖12是第2實施方式的圖像處理顯示裝置的內(nèi)部框圖。在圖像處理顯示裝置100a上，與第1實施方式一樣，連接著照相機11和顯示器12。另外，圖像處理顯示裝置100a具有輸入緩存110a、圖像壓縮裝置120a、壓縮數(shù)據(jù)緩存130a、參照信息生成裝置140a、參照圖像緩存150a、圖像解壓裝置160a、圖像處理裝置170a、輸出緩存180a和DC成分提取裝置191。這些各要素除DC成分提取裝置191外，其它均具有與圖2所示第1實施方式中的同名要素相同的功能。但是，參照信息生成裝置140a還具有將取得的DC成分傳遞給DC成分提取裝置191的功能。另外，圖像處理裝置170a還具有在處理模式是八分之一縮略圖像顯示模式時停止自己的處理功能的功能。
DC成分提取裝置191將從參照信息生成裝置140a接收到的DC成分作為一個像素的數(shù)據(jù)，寫入到輸出緩存180a中。僅由各MCU的DC成分排列而成的圖像就是八分之一尺寸縮小圖像。因此，通過在顯示器12上顯示由DC成分提取裝置191寫入到輸出緩存180a中的圖像，來顯示縮略圖像。
這樣，通過由DC成分提取裝置191將僅由DC成分構(gòu)成的圖像寫入到輸出緩存180a中，可容易地制作縮略圖像。
另外，使用第2實施方式所示的結(jié)構(gòu)，還可顯示馬賽克圖像。為了顯示馬賽克圖像，DC成分提取裝置191只要用DC成分來填充MCU內(nèi)的數(shù)據(jù)即可。
另外，在圖12的例子中，假定了通過處理模式的切換來顯示縮略圖像的情況，但在僅顯示縮略圖像的情況下，不需要壓縮數(shù)據(jù)緩存130a、參照圖像緩存150a、圖像解壓裝置160a和圖像處理裝置170a。
(第3實施方式)另外，還可旋轉(zhuǎn)八分之一尺寸的縮略圖像。
圖13是第3實施方式的圖像處理顯示裝置的內(nèi)部框圖。在圖像處理顯示裝置100b上，與第1實施方式一樣，連接著照相機11和顯示器12。另外，圖像處理顯示裝置100b具有輸入緩存110b、圖像壓縮裝置120b、壓縮數(shù)據(jù)緩存130b、參照信息生成裝置140b、參照圖像緩存150b、圖像解壓裝置160b、圖像處理裝置170b、輸出緩存180b、DC成分提取裝置191b和圖像旋轉(zhuǎn)電路192。這些各要素除參照信息生成裝置140b與圖像旋轉(zhuǎn)電路192外，其它均具有與圖12所示第2實施方式中的同名要素相同的功能。參照信息生成裝置140b具有與圖2所示的第1實施方式中的參照信息生成裝置140相同的功能。
在處理模式是執(zhí)行八分之一尺寸縮略圖像的90度旋轉(zhuǎn)顯示的模式時，圖像旋轉(zhuǎn)電路192從參照圖像緩存150中按預定順序取得DC成分，傳遞到DC成分提取裝置191b。DC成分的取得順序的確定方法與圖10所示的方法一樣。
這樣，當提取DC成分時，僅變更數(shù)據(jù)的取出順序，就可使縮略圖像旋轉(zhuǎn)。
另外，在圖13的例子中，假定了通過處理模式的切換來旋轉(zhuǎn)顯示縮略圖像的情況，但在僅旋轉(zhuǎn)顯示縮略圖像的情況下，不需要壓縮數(shù)據(jù)緩存130b、參照圖像緩存150b、圖像解壓裝置160b和圖像處理裝置170b。
但是，在第1～第3實施方式中，僅說明了實時顯示壓縮數(shù)據(jù)的結(jié)構(gòu)，但在作為數(shù)碼相機發(fā)揮功能的情況下，附加了在按下快門時將存儲在壓縮數(shù)據(jù)緩存中的壓縮數(shù)據(jù)存儲到其它存儲器中的功能。若將第1～第3實施方式所示的圖像處理顯示裝置應用于數(shù)碼相機，則由于到圖像顯示為止的等待時間少，所以可將顯示器用作取景器。此時，如果按下快門，則記錄與顯示器上顯示的圖像大致相同的圖像。
即，顯示器上顯示的圖像是等待時間之前拍攝到的圖像。因此，若象以往那樣，等待時間長，則顯示器上顯示的圖像與按下快門時拍攝的圖像之間的差異變大。另一方面，若應用上述實施方式所示的圖像處理顯示裝置，則等待時間少，所以顯示器上顯示的圖像與按下快門時拍攝的圖像之間的差異變小。結(jié)果，可拍攝用戶所預期的圖像。
另外，通過向第2和第3實施方式那樣具有生成縮略圖像的功能的圖像處理顯示裝置追加縮略圖像輸出用的輸出緩存，則可在多個顯示器上同時實時地顯示正常大小的圖像與縮略圖像。即，分成由圖像處理裝置進行寫入的輸出緩存和由DC成分提取裝置進行寫入的輸出緩存。由此，可在通過圖像處理裝置對正常尺寸的圖像進行加工而顯示的同時，通過DC成分提取裝置顯示縮略圖像。這可有效運用于具有多個畫面的便攜電話機等中。例如，在折疊式便攜電話機折疊時位于內(nèi)側(cè)的顯示器上顯示正常尺寸的畫面，在折疊時位于外側(cè)的顯示器上顯示縮略圖像。
另外，在上述各實施方式中，在參照圖像緩存150中將每個MCU的DC成分的組與MCU的指針關(guān)聯(lián)起來進行存儲，但也可將指針與每個DC成分關(guān)聯(lián)起來存儲到參照圖像緩存150中。此時，與DC成分相關(guān)聯(lián)的指針指示與該DC成分對應的塊的AC成分的開頭地址。即，在解壓時，將參照圖像緩存150的DC成分追加到相關(guān)聯(lián)的指針所示的AC成分之前。由此，可以進行每個塊的解壓。
另外，在上述各實施方式中，假定了在壓縮數(shù)據(jù)緩存130中存儲可直接解壓的JPEG數(shù)據(jù)(包含編碼后的DC成分)的情況，但也可將不包含DC成分的狀態(tài)下的圖像數(shù)據(jù)存儲在壓縮數(shù)據(jù)緩存130中。此時，即使不實施圖像的旋轉(zhuǎn)等加工時，也可使用保存在參照圖像緩存150中的DC成分來進行JPEG數(shù)據(jù)的解壓。
上述僅示出本發(fā)明的原理。并且，對本領(lǐng)域的技術(shù)人員而言，可進行多種變形、變更，本發(fā)明不限于上述示出、說明的確切的結(jié)構(gòu)和應用例，對應的所有變形例和等同物均視為落在所附權(quán)利要求及其等同物所限定的本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種實時地執(zhí)行圖像的壓縮、解壓和加工的圖像處理顯示裝置，其特征在于具有壓縮數(shù)據(jù)緩存，其用于存儲壓縮后的數(shù)據(jù)；參照圖像緩存，其用于存儲在對數(shù)據(jù)進行解壓時參照的信息；圖像壓縮裝置，其按各個單位圖像來對所輸入的原始圖像進行壓縮，對于壓縮后的一個以上的所述單位圖像，將預定的基準數(shù)據(jù)變換為對應于與其它單位圖像內(nèi)的預定數(shù)據(jù)的比較結(jié)果的值，由此生成所述原始圖像的壓縮數(shù)據(jù)，將所述壓縮數(shù)據(jù)存儲在所述壓縮數(shù)據(jù)緩存中；參照信息生成裝置，其從所述圖像壓縮裝置取得執(zhí)行了所述基準數(shù)據(jù)變換的所述單位圖像各自的變換前的所述基準數(shù)據(jù)，將取得的所述基準數(shù)據(jù)與對應的所述單位圖像關(guān)聯(lián)起來存儲在所述參照圖像緩存中；圖像解壓裝置，其按照與預先指定的圖像處理內(nèi)容對應的順序，取得存儲在所述壓縮數(shù)據(jù)緩存中的已壓縮的多個所述單位圖像，并且從所述參照圖像緩存中取得與所取得的所述單位圖像對應的變換前的所述基準數(shù)據(jù)，并使用所取得的所述基準數(shù)據(jù)來對所取得的已壓縮的所述單位圖像進行解壓；和圖像處理裝置，其對由所述圖像解壓裝置解壓后的所述單位圖像，實施與所述預先指定的圖像處理內(nèi)容對應的加工后輸出。
2.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于所述圖像壓縮裝置對于壓縮后的一個以上的所述單位圖像，將預定的所述基準數(shù)據(jù)變換為對應于與其它單位圖像內(nèi)的所述基準數(shù)據(jù)的差分的值。
3.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于指定圖像的旋轉(zhuǎn)處理作為所述圖像處理內(nèi)容。
4.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于所述圖像壓縮裝置按預定的順序壓縮構(gòu)成所述原始圖像的所述單位圖像，每次執(zhí)行所述單位圖像的壓縮時，所述參照信息生成裝置取得所述基準數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于所述基準數(shù)據(jù)是表示所述單位圖像內(nèi)的各像素值的平均的數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于所述參照信息生成裝置利用存儲了所述單位圖像的所述壓縮數(shù)據(jù)緩存內(nèi)的存儲區(qū)域的地址，來將所取得的所述基準數(shù)據(jù)和對應的所述單位圖像關(guān)聯(lián)起來。
7.根據(jù)權(quán)利要求1所述的圖像處理顯示裝置，其特征在于每當將一個畫面的數(shù)據(jù)存儲到所述壓縮數(shù)據(jù)緩存中時，所述圖像解壓裝置就開始所述單位圖像的解壓處理。
8.一種實時地執(zhí)行圖像的壓縮、解壓和加工的圖像處理顯示裝置，其特征在于具有壓縮數(shù)據(jù)緩存，其用于存儲壓縮后的數(shù)據(jù)；圖像壓縮裝置，其按各個單位圖像來對所輸入的原始圖像進行壓縮，對于壓縮后的一個以上的所述單位圖像，將表示所述單位圖像內(nèi)的各像素值的平均的基準數(shù)據(jù)變換為對應于與其它單位圖像內(nèi)的預定數(shù)據(jù)的比較結(jié)果的值，由此生成所述原始圖像的壓縮數(shù)據(jù)，將所述壓縮數(shù)據(jù)寫入到所述壓縮數(shù)據(jù)緩存中；參照信息生成裝置，其從所述圖像壓縮裝置取得執(zhí)行了所述基準數(shù)據(jù)變換的所述單位圖像各自的變換前的所述基準數(shù)據(jù)；和縮小圖像生成裝置，其排列由所述參照信息生成裝置取得的所述基準數(shù)據(jù)，生成縮小圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理顯示裝置，其特征在于還具有參照圖像緩存，其用于存儲在對數(shù)據(jù)進行解壓時參照的信息，所述參照信息生成裝置將取得的所述基準數(shù)據(jù)與對應的所述單位圖像關(guān)聯(lián)起來存儲到所述參照圖像緩存中，所述縮小圖像生成裝置按照與預先指定的圖像處理內(nèi)容對應的順序，經(jīng)由所述參照圖像緩存取得所述基準數(shù)據(jù)。
10.一種實時地執(zhí)行圖像的壓縮、解壓和加工的圖像處理顯示方法，其特征在于當輸入原始圖像時，按各個單位圖像來壓縮所述原始圖像；對于壓縮后的一個以上的所述單位圖像，將預定的基準數(shù)據(jù)變換為對應于與其它單位圖像內(nèi)的預定數(shù)據(jù)的比較結(jié)果的值，由此生成所述原始圖像的壓縮數(shù)據(jù)，將所述壓縮數(shù)據(jù)存儲在壓縮數(shù)據(jù)緩存中；取得執(zhí)行了所述基準數(shù)據(jù)變換的所述單位圖像的變換前的所述基準數(shù)據(jù)；將取得的所述基準數(shù)據(jù)與對應的所述單位圖像關(guān)聯(lián)起來存儲到參照圖像緩存中；按照與預先指定的圖像處理內(nèi)容對應的順序，取得存儲在所述壓縮數(shù)據(jù)緩存中的已壓縮的多個所述單位圖像，并且從所述參照圖像緩存中取得與所取得的所述單位圖像對應的變換前的所述基準數(shù)據(jù)；使用取得的所述基準數(shù)據(jù)來對所取得的已壓縮的所述單位圖像進行解壓；對解壓后的所述單位圖像，實施與所述預先指定的圖像處理內(nèi)容對應的加工后輸出。
全文摘要
可以利用很少的存儲器容量來實現(xiàn)對所拍攝的圖像的實時加工處理。圖像壓縮裝置(3)按各個單位圖像(91)、(92)、……對所輸入的原始圖像(90)進行壓縮，對于單位圖像(92)、……，通過變換預定的基準數(shù)據(jù)而生成原始圖像(90)的壓縮數(shù)據(jù)(90a)。參照信息生成裝置(4)從圖像壓縮裝置(3)取得執(zhí)行了基準數(shù)據(jù)變換的單位圖像(92)、……各自的變換前的基準數(shù)據(jù)。圖像解壓裝置(5)按照與圖像處理內(nèi)容對應的順序，取得壓縮后的單位圖像(91)、(92a)、……，使用變換前的基準數(shù)據(jù)來進行解壓。圖像處理裝置(6)對解壓后的單位圖像實施與預先指定的圖像處理內(nèi)容對應的加工后輸出。
文檔編號H04N5/232GK1820509SQ0382692
公開日2006年8月16日 申請日期2003年9月16日 優(yōu)先權(quán)日2003年9月16日
發(fā)明者黑木健一郎, 但馬裕二, 山岸伸貴 申請人:富士通株式會社