專利名稱：分辨率變換方法和分辨率變換裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種分辨率變換方法和分辨率變換裝置，具體而言，涉及在使用DCT(正交變換)的分辨率變換中、能簡單地降低塊噪聲(block noise)的分辨率變換方法和分辨率變換裝置。
背景技術(shù)：
以前，作為分辨率變換(圖像放大、縮小)方法，一般使用最鄰近內(nèi)插法(Nearest Neighbor)、線性插值法(Bi-Linear)、三次迭代插值法(Cubic Convolution)等，對于圖像放大，利用該插值法來插值象素，對于圖像縮小，利用該插值法來邊插值象素邊抽取象素，或僅抽取象素。這些方法是對時間空間區(qū)域中的離散采樣數(shù)據(jù)進行上采樣(upsampling)或下采樣(down sampling)、并將FIR(Finite ImpulseResponse)濾波器用作防止產(chǎn)生折回變形用的低通濾波處理的方法。在這些使用FIR濾波器的方法中，關(guān)鍵是如何使用接近理想低通特性的FIR濾波器。通常，增大濾波器的抽頭(tap)數(shù)量，在有限長度內(nèi)近似使用具有接近于具有f＝Sin(πx)/(πx)特性的、所謂Sinc函數(shù)的特性的濾波器。當然抽頭越多，能得到越接近sinc函數(shù)的特性，但與此同時，成本也增加。
并且，還提出不是在上述時間空間區(qū)域、而是在頻率區(qū)域中進行的分辨率變換方法。用圖4A-圖4C來說明在該頻率區(qū)域中進行的分辨率變換方法。例如，使用DCT(Discreet Cosine Transform)等正交變換，將輸入圖像數(shù)據(jù)按一定的塊單位變換為頻率區(qū)域的數(shù)據(jù)。圖4A示出用N×M(例如8×8)的大小進行DCT變換的情況。圖4B示出各塊的DCT系數(shù)，左上角的象素是DC分量，按向右、向下前進那樣變?yōu)锳C高頻分量。
為了放大，向右側(cè)和下側(cè)的高頻分量的更外側(cè)附加虛擬的高頻區(qū)域分量(圖4C的實例中，分別向N×M個塊的外側(cè)各附加X、Y象素的虛擬高頻區(qū)域分量，構(gòu)成(N+X)×(M+Y)的塊大小)，對每個放大后的塊進行逆DCT等逆正交變換，再次變換到時間空間區(qū)域。另一方面，在縮小的情況下，相反舍棄輸入信號的高頻區(qū)域分量，對每個縮小后的塊進行逆DCT等逆正交變換。
作為使用這種DCT等正交變換的分辨率變換方法，例如提出了如專利文獻1所示的、附加0作為虛擬高頻區(qū)域分量的方法，或如專利文獻2所示的、附加根據(jù)事先準備的預測規(guī)則對輸入信號頻率分量進行變換后的分量作為虛擬高頻區(qū)域分量的方法等。
但是，在上述使用DCT的分辨率變換中，在放大時會產(chǎn)生被稱為塊噪聲的柵格狀噪聲。
作為降低在使用該DCT的分辨率變換中的塊噪聲的提案，提出了如專利文獻3所示的、使塊交迭后進行DCT、逆DCT的方法。
另一方面，在數(shù)字播放中使用的MPEG(Moving Picture ExpertsGroup)-2的壓縮時也同樣產(chǎn)生塊噪聲，但對該壓縮時的塊噪聲降低處理提出了多個提案。其中，當對全部塊邊界進行該塊噪聲降低處理時，由于圖像的邊緣部分產(chǎn)生模糊，所以通常從進行邊緣部分與塊噪聲部分的判斷處理開始，實施塊噪聲降低處理。例如提出如下方法如專利文獻4所示，求出各塊的分界線的差值，在差值小的情況下，判斷為產(chǎn)生塊噪聲，進行低通濾波處理，或如專利文獻5所示，檢測僅包含高頻區(qū)域分量小于等于閾值的塊，并僅對該塊進行塊噪聲降低處理。
專利文獻1特開平2-76472號公報專利文獻2特開平8-294001號公報專利文獻3特開平11-252356號公報專利文獻4特開平2-57067號公報專利文獻5特開2000-299859號公報但是，在上述使塊交迭的方法中，若增大塊尺寸，則存在處理負載加速變重的問題。另外，在上述根據(jù)塊的邊界線的差值或塊內(nèi)的高頻分量來檢測產(chǎn)生塊噪聲并實施低通濾波處理等塊噪聲降低處理的方法中，需要塊噪聲的產(chǎn)生檢測處理，并且難以進行正確的檢測。

發(fā)明內(nèi)容
本發(fā)明鑒于上述問題作出，提供一種不必進行塊噪聲與圖像邊緣的判斷處理，即能簡單地降低塊噪聲，并且，不會產(chǎn)生由于將邊緣部分誤認為是塊邊界而引起的模糊，即，可在降低塊噪聲的同時，簡化該塊噪聲降低處理的、使用正交變換的分辨率變換方法和分辨率變換裝置。
本發(fā)明就使用正交變換來變換圖像分辨率的分辨率變換方法而言，其特征在于對應于該圖像的放大倍率來進行塊噪聲降低處理。
另外，本發(fā)明就變換圖像分辨率的分辨率變換裝置而言，其特征在于具有正交變換單元，使用正交變換將輸入信號變換成頻率區(qū)域的信號；虛擬高頻分量附加單元，在所述變換后的頻率區(qū)域信號的高頻區(qū)域側(cè)，生成對應于所述圖像放大率的虛擬高頻區(qū)域分量；逆正交變換單元，使用逆正交變換，將附加了所述虛擬高頻區(qū)域分量的信號變換成時間空間區(qū)域的信號；圖像處理單元，對應于所述圖像放大率，進行塊噪聲降低處理；和控制單元，對應于所述圖像放大率，控制上述正交變換單元、虛擬高頻分量附加單元、逆正交變換單元和圖像處理單元。
根據(jù)本發(fā)明，就使用正交變換的分辨率變換方式而言，能夠降低塊噪聲，并且與現(xiàn)有技術(shù)相比，能夠簡化該塊噪聲降低處理。


圖1是表示本發(fā)明第1實施方式的分辨率變換裝置構(gòu)成例的框圖。
圖2是說明本發(fā)明第1實施方式的分辨率變換方法的流程圖。
圖3A和圖3B是說明本發(fā)明實施方式的塊噪聲降低處理的原理圖。
圖4A-圖4C是說明本發(fā)明實施方式的正交變換單元·逆正交變換單元進行的處理的原理圖。
圖5是說明本發(fā)明第2實施方式的分辨率變換方法的流程圖。
具體實施例方式參照圖1的框圖和圖2的流程圖來說明本發(fā)明第1實施方式的分辨率變換方法和分辨率變換裝置。
首先，參照圖2的流程圖來說明本發(fā)明第1實施方式的分辨率變換方法的處理流程。
根據(jù)輸入信號的分辨率和顯示裝置(未圖示)的分辨率來確定圖像的放大率(設(shè)為R)(s2.1)。例如，若輸入信號的分辨率為640×480象素，顯示裝置的分辨率為1280×960象素，則R為2。盡管R在水平、垂直方向上也可以不同，但為了簡化說明，以水平、垂直方向上具有相同的放大率來說明。
之后，以N×M(例如N、M均為8)象素單位的塊大小為塊單位進行DCT等正交變換處理，從時間空間區(qū)域的信號變換為頻率區(qū)域的信號(s2.2)。
然后，如圖4A-圖4C所示，向?qū)诟鲏K右側(cè)和下側(cè)區(qū)域的高頻區(qū)域分量的更外側(cè)附加虛擬的高頻區(qū)域分量(s2.3，在圖4C的實例中，分別向N×M個塊的外側(cè)各附加X、Y象素的虛擬高頻區(qū)域分量，變?yōu)?N+X)(M+Y)的塊大小。換言之，認為塊大小是NR×MR。)這里，在N、M均為8、放大率為上述實例的情況下(R2)，X、Y均變?yōu)?。
并且，按附加了上述虛擬高頻分量的塊單位進行IDCT(逆DCT)等逆正交變換，從頻率區(qū)域的信號變換為時間空間區(qū)域的信號(s2.4)。
在本發(fā)明的第1實施方式中，在上述放大率比預定的閾值小的情況下，不進行塊噪聲降低處理，僅在此外的情況下(s2.5)，才進行塊噪聲降低處理(s2.6)。作為該預定閾值，例如在上述塊尺寸N、M均為8的情況下，通過畫質(zhì)評價來確定該閾值最好是10/8-20/2倍，尤其最好是14/8倍左右。
下面，參照圖1的框圖來說明本發(fā)明第1實施方式的分辨率變換裝置。
圖1的框圖由正交變換單元1.1、虛擬高頻分量附加單元1.2、逆正交變換單元1.3、圖像處理單元1.4、控制單元1.5構(gòu)成。
(正交變換單元)正交變換單元1.1對輸入的時間空間區(qū)域的信號進行正交變換，將其變換成空間頻率區(qū)域的信號。作為正交變換的方法，有快速傅立葉變換(FFT)、離散余弦變換(DCT)、阿達瑪變換、赫爾變換等。其中，(1)式中示出了工業(yè)應用領(lǐng)域最廣泛使用的離散余弦變換的變換式。下面，假設(shè)DCT為本發(fā)明實施方式中的正交變換方式來進行說明，但本發(fā)明的分辨率變換方法不受限于該正交變換方式。
式1Fuv=2c(u)c(v)(NM)1/2Σn=0N-1Σm=0M-1fnmcos{(2n+1)uπ2N}cos{(2m+1)vπ2M}---(1)]]>其中，0≤u≤N-1.0≤v≤M-1c(k)＝2-1/2(k＝0)c(k)＝1(k≠0)。
式(1)中，N、M分別表示1個塊的水平、垂直尺寸，如圖4A所示，按由水平N個象素、垂直M個象素構(gòu)成的塊單位來分割1幀的輸入圖像，然后進行處理。針對信號中的亮度信號，從塊噪聲等的觀點看，最好設(shè)水平、垂直均為16象素以上來作為塊尺寸。當然也可不分塊，而將圖像整體作為1個塊，但隨著塊尺寸的增大，電路規(guī)模成指數(shù)函數(shù)地增大。
(虛擬高頻分量附加單元)
下面，說明虛擬高頻分量附加單元1.2。在虛擬高頻分量附加單元1.2中，對應于放大的倍率，將虛擬高頻分量附加于輸入信號的高頻區(qū)域側(cè)。如上所述，例如在圖4A-圖4C所示實例中，就圖4C而言，分別向N×M個塊的外側(cè)各附加X、Y象素的虛擬高頻區(qū)域分量，變?yōu)?N+X)(M+Y)的塊大小?，F(xiàn)在，在N和M分別為8、放大1.5倍的情況下，X和Y分別變?yōu)?。作為這里附加的虛擬高頻分量，如上所述，最好是0，但除此之外也可以是例如輸入信號的重疊分量(aliascomponent)。本發(fā)明不受該附加的虛擬高頻分量的種類限制。
另外，將輸入的信號分量原樣作為低頻域側(cè)的分量，但也可對應于放大的倍率來進行增益調(diào)整。即，例如在放大到1.5倍的情況下，必需將信號的增益變?yōu)?.5倍。
(逆正交變換單元)逆正交變換單元1.3對在上述虛擬高頻分量附加單元1.2中向正交變換后的輸入信號的高頻區(qū)域側(cè)附加了虛擬高頻分量的信號進行逆正交變換，變換成時間空間頻率區(qū)域的信號。其中，該逆正交變換也與上述正交變換單元1.1一樣，分割成塊單位，如上述虛擬高頻分量附加單元1.2所述，例如，以8×8的塊尺寸對輸入信號進行正交變換，在放大率為1.5倍的情況下，由于將虛擬高頻分量附加于高頻區(qū)域側(cè)，所以各塊尺寸變?yōu)?2×12(參照圖4A-圖4C)，對該12×12的塊分別進行逆正交變換。
(圖像處理單元)下面說明圖像處理單元1.4。圖像處理單元1.4通過后述的控制單元1.5的控制，對由上述正交變換單元1.1、虛擬高頻分量附加單元1.2和逆正交變換單元1.3放大后的圖像信號實施塊噪聲降低處理。
這里，說明本發(fā)明不需要現(xiàn)有技術(shù)中必需的、圖像的邊緣部分與塊噪聲的判斷處理的理由。
塊噪聲的產(chǎn)生是由于例如在MPEG壓縮的情況下，針對壓縮率變高、高頻分量變?yōu)?值、作為塊內(nèi)平均亮度的DC分量的誤差變大，在塊交界產(chǎn)生灰度級差而產(chǎn)生的。即便在本發(fā)明的使用正交變換的分辨率變換處理的情況下，隨著放大率變大，插入0值或輸入信號的重疊分量來作為高頻分量，所以DC分量的誤差變大，強烈產(chǎn)生塊噪聲。因此，隨著放大率變大，強烈產(chǎn)生塊噪聲。本發(fā)明著眼于此，對應于放大率來確定是否實施塊噪聲降低處理。由此，不需要塊噪聲的產(chǎn)生檢測處理，從而可簡化處理。另外，在縮小的情況下，由于塊噪聲的產(chǎn)生不是問題，所以本發(fā)明的塊噪聲降低處理僅在放大時才用。
下面，參照附圖來說明圖像處理單元1.4。在本發(fā)明的第1實施方式中，通過后述的控制單元1.5的控制進行控制，以便在放大率大于或等于預定閾值的情況下，實施塊噪聲降低處理。
用圖3A和圖3B來說明這里進行的塊噪聲降低處理的實例。
本發(fā)明第1實施方式中，在放大率大于或等于預定閾值的情況下進行的塊噪聲降低處理例如是使用周圍象素的平均化處理。圖3A表示垂直方向的塊交界的情況，圖3B表示水平、垂直方向交界(角落)的情況。圖3A中，位于垂直方向(水平方向的情況當然也一樣)的塊交界上的象素S2被其兩側(cè)的象素S1、S3的平均值所置換。另外，圖3B中，作為水平、垂直方向上的交界的象素T3被其周圍象素T1、T2、T4、T5的平均所置換。上述塊噪聲降低處理說明了所謂的矩形波串低通濾波器的情況，但就本發(fā)明的第1實施方式而言，該塊噪聲降低處理也可以是其它方法。本發(fā)明第1實施方式不受該塊噪聲降低處理方法限制。
(控制單元)控制單元1.5根據(jù)輸入信號的分辨率和顯示裝置的分辨率，求出水平、垂直放大率。這里，輸入信號的分辨率可從控制單元1.5的外部提供，也可如圖1所示，根據(jù)輸入同步信號的頻率和極性，由控制單元1.5判斷。另外，當然也可從外部提供來作為倍率。
然后，控制上述正交變換單元1.1，以按預定的塊尺寸來進行DCT處理，并控制上述虛擬高頻分量附加單元1.2和上述逆正交變換單元1.3，分別進行對應于上述放大率的虛擬高頻分量附加處理、逆正交變換處理。
此外，如上所述，在上述放大率比預定的閾值大的情況下，控制上述圖像處理單元1.4，以進行塊噪聲降低處理。
下面，說明本發(fā)明的第2實施方式。在本發(fā)明的第1實施方式中，僅在放大率大于或等于預定閾值的情況下，圖像處理單元1.4才進行塊噪聲降低處理，而在本發(fā)明第2實施方式中，不是以導通、截止兩階段來進行塊噪聲降低處理，而是追加在閾值附近實施輕的降低處理，以截止、第1塊噪聲降低處理、第2塊噪聲降低處理這3個階段來執(zhí)行。
其中，參照圖5的流程圖來說明本發(fā)明的第2實施方式的分辨率變換方法的處理流程。
圖像的放大率(設(shè)為R)與第1實施方式一樣，根據(jù)輸入信號的分辨率和顯示裝置(未圖示)的分辨率來確定(s5.1)。盡管R在水平、垂直方向上也可以不同，但為了簡化說明，以水平、垂直方向上具有相同的放大率來說明。
之后，與第1實施方式一樣，以N×M(例如N、M均為8)象素單位的塊大小來進行DCT等正交變換處理，從時間空間區(qū)域的信號變換為頻率區(qū)域的信號(s5.2)。
然后，與第1實施方式一樣，如圖4A-圖4C所示，向各塊右側(cè)和下側(cè)的高頻區(qū)域分量的更外側(cè)附加虛擬的高頻區(qū)域分量(s5.3，在圖4C的實例中，分別向N×M個塊的外側(cè)各附加X、Y象素的虛擬高頻區(qū)域分量，變?yōu)?N+X)(M+Y)的塊大小。換言之，也可以認為塊大小是NR×MR。)這里，在N、M均為8，放大率為上述(R2)的情況下，X、Y均變?yōu)?。
并且，與第1實施方式一樣，按附加了上述虛擬高頻分量的塊單位進行IDCT(逆DCT)等逆正交變換，從頻率區(qū)域的信號變換為時間空間區(qū)域的信號(s5.4)。
另外，在本發(fā)明的第2實施方式中，在上述放大率R比預定的第1閾值小的情況下(s5.5)，不實施塊噪聲降低處理，在大于第1閾值但小于第2閾值的情況下(s5.6)，實施第1塊噪聲降低處理(s5.7)。在比第2閾值大的情況下，實施第2塊噪聲降低處理(s5.8)。其中，設(shè)第1閾值比第2閾值小。這里，閾值可通過畫質(zhì)評價來確定，作為上述第1閾值、第2閾值，例如在塊尺寸N、M均為8的情況下，第1閾值最好是10/8-15/8倍，尤其是13/8倍左右，第2閾值最好是15/8-20/8倍，尤其是17/8倍左右。
這里，說明上述第1塊噪聲降低處理和第2塊噪聲降低處理。第1塊噪聲降低處理最好在產(chǎn)生的塊噪聲較弱的情況下實施，第2塊噪聲降低處理最好在產(chǎn)生的塊噪聲較強的情況下實施。
作為上述第1塊噪聲降低處理的實例，例如實施中間濾波處理。這里，參照圖3A和圖3B來說明實施該中間濾波處理的情況的實例。
圖3A表示垂直方向的塊交界的情況，圖3B表示水平、垂直方向的交界(角落)的情況。圖3A中，位于垂直方向(水平方向的情況也一樣)的塊交界上的象素S2被包含其兩側(cè)象素S1、S3在內(nèi)的三個象素中正當中的象素電平的象素值所置換。例如，若S1的象素電平為30，S2的象素電平為50，S3的象素電平為40，則將S3的象素電平40作為位于交界上的象素S2的位置的象素值。另外，圖3B中，作為垂直方向交界的象素T3同樣被包含其周圍象素T1、T2、T4、T5在內(nèi)的5個象素中正當中的象素電平的值所置換。
另外，例如使用本發(fā)明第1實施方式中所說明的平均化處理(矩形波串低通濾波)來作為上述第2塊噪聲降低處理的實例。
如上所述，說明了分別使用中間濾波、平均化處理來作為第1、第2塊噪聲降低處理的實例，但在本發(fā)明的第2實施方式中，只要第1塊噪聲降低處理是產(chǎn)生的塊噪聲較弱時適用的處理、第2塊噪聲降低處理是產(chǎn)生的塊噪聲較強的情況下適用的處理，該塊噪聲降低處理方法也可以是其它方法。本發(fā)明的第2實施方式不受該塊噪聲降低處理方法限制。
另外，由于本發(fā)明第2實施方式的分辨率變換裝置的構(gòu)成例與本發(fā)明的第1實施方式一樣，所以省略其說明。
另外，為了使實現(xiàn)上述實施方式功能的各種器件動作，向與該各種器件連接的裝置或系統(tǒng)內(nèi)的計算機提供用于實現(xiàn)上述實施方式的功能的軟件程序代碼，按照存儲在該系統(tǒng)或裝置的計算機(CPU或MPU)中的程序來使所述各種器件動作的實施方式，也包含于本發(fā)明的范疇內(nèi)。
另外，此時，所述軟件的程序代碼本身實現(xiàn)上述實施方式的功能，該程序代碼本身和將該程序代碼提供給計算機的單元、例如存儲這種程序代碼的記錄媒體構(gòu)成本發(fā)明。作為存儲這種程序代碼的記錄媒體，例如可使用軟盤、硬盤、光盤、磁光盤、CD-ROM、磁帶、非易失性存儲卡、ROM等。
另外，不僅通過計算機執(zhí)行所提供的程序代碼來實現(xiàn)上述實施方式的功能，而且，不用說，該程序代碼與在計算機中操作的OS(操作系統(tǒng))或其它應用程序軟件等一起實現(xiàn)上述實施方式的功能時的程序代碼也包含于本發(fā)明的實施方式中。
此外，不用說，在將提供的程序代碼存儲在計算機的功能擴展端口或連接于計算機上的功能擴展單元中配備的存儲器中之后，根據(jù)該程序代碼的指示，由該功能擴展端口或功能擴展單元中配備的CPU執(zhí)行實際處理的一部分或全部，通過該處理來實現(xiàn)上述實施方式的功能的情況也包含于本發(fā)明中。
權(quán)利要求
1.一種使用正交變換來變換圖像分辨率的分辨率變換方法，其特征在于與該圖像的放大倍率相對應地進行塊噪聲降低處理。
2.根據(jù)權(quán)利要求1所述的分辨率變換方法，其特征在于在所述圖像的擴大倍率大于或等于規(guī)定倍率時，執(zhí)行塊噪聲降低處理，而在小于該規(guī)定倍率時，不執(zhí)行該塊噪聲降低處理。
3.根據(jù)權(quán)利要求1所述的分辨率變換方法，其特征在于當所述圖像的擴大倍率為規(guī)定范圍內(nèi)的倍率時，執(zhí)行第1塊噪聲降低處理，當為大于該規(guī)定范圍的倍率時，執(zhí)行與該第1塊噪聲降低處理不同的第2塊噪聲降低處理，當為小于該規(guī)定范圍的倍率時，不執(zhí)行塊噪聲降低處理。
4.一種變換圖像分辨率的分辨率變換裝置，其特征在于，包括正交變換單元，使用正交變換將輸入信號變換成頻率區(qū)域的信號；虛擬高頻分量附加單元，在所述變換后的頻率區(qū)域信號的高頻區(qū)域側(cè)，生成對應于所述圖像放大率的虛擬高頻區(qū)域分量；逆正交變換單元，使用逆正交變換，將附加了所述虛擬高頻區(qū)域分量的信號變換成時間空間區(qū)域的信號；圖像處理單元，對應于所述圖像放大率，進行塊噪聲降低處理；和控制單元，對應于所述圖像放大率，控制上述正交變換單元、虛擬高頻分量附加單元、逆正交變換單元和圖像處理單元。
5.根據(jù)權(quán)利要求4所述的分辨率變換裝置，其特征在于所述控制單元具有控制所述圖像處理單元，使之在所述圖像的擴大倍率大于或等于規(guī)定倍率時執(zhí)行塊噪聲降低處理、而在小于該規(guī)定倍率時不執(zhí)行該塊噪聲降低處理的功能。
6.根據(jù)權(quán)利要求4所述的分辨率變換裝置，其特征在于所述控制單元具有控制所述圖像處理單元，使之在所述圖像的擴大倍率為規(guī)定范圍內(nèi)的倍率時執(zhí)行第1塊噪聲降低處理、在為大于該規(guī)定范圍的倍率時執(zhí)行與該第1塊噪聲降低處理不同的第2塊噪聲降低處理、而在為小于該規(guī)定范圍的倍率時不執(zhí)行塊噪聲降低處理的功能。
全文摘要
本發(fā)明提供一種使用正交變換來變換圖像分辨率的分辨率變換方法和分辨率變換裝置，其特征在于與該圖像的放大倍率相對應地進行塊噪聲降低處理。
文檔編號H04N1/387GK1649388SQ20051000478
公開日2005年8月3日 申請日期2005年1月26日 優(yōu)先權(quán)日2004年1月27日
發(fā)明者須賀和巳, 松崎英一 申請人:佳能株式會社