一種基于內(nèi)容感知的圖像縮放方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的技術(shù)方案涉及在圖像平面內(nèi)的圖形圖像轉(zhuǎn)換，具體地說(shuō)是一種基于內(nèi)容 感知的圖像縮放方法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)科學(xué)技術(shù)的快速發(fā)展，信息家電給我們的生活帶來(lái)了極大的便利，由 于不同的信息家電產(chǎn)品沒有統(tǒng)一的尺寸規(guī)格，導(dǎo)致所需顯示圖像的尺寸與信息家電顯示設(shè) 備的尺寸存在差別，從而圖像在顯示設(shè)備中出現(xiàn)顯示異常，圖像縮放技術(shù)的研究有助于解 決上述問題。
[0003] 傳統(tǒng)的圖像縮放方法之一是通過(guò)插值和下采樣得到目標(biāo)尺寸的圖像，該算法原理 雖然簡(jiǎn)單且易實(shí)現(xiàn)，但是存在以下缺陷:一是當(dāng)需要改變圖像寬高比來(lái)進(jìn)行縮放時(shí)，容易造 成主要圖像內(nèi)容的拉伸變形;二是簡(jiǎn)單的剪切技術(shù)，即通過(guò)裁剪圖像邊緣內(nèi)容來(lái)得到目標(biāo) 圖像，往往造成較多圖像內(nèi)容信息的丟失。傳統(tǒng)的圖像縮放方法之二是選擇圖像寬度或者 高度最小縮放比例作為整體的縮放比例來(lái)對(duì)原始圖像進(jìn)行等比縮放，這種方法存在的缺陷 是容易在顯示設(shè)備的上下或者左右產(chǎn)生黑色的邊框。相對(duì)于傳統(tǒng)的圖像縮放算法，近些年 來(lái)研發(fā)的基于內(nèi)容感知的圖像縮放技術(shù)能夠在一定程度上克服傳統(tǒng)方法的缺陷?；趦?nèi)容 感知的圖像縮放技術(shù)是根據(jù)圖像內(nèi)容重要程度來(lái)對(duì)圖像進(jìn)行縮放，盡量保證重要區(qū)域的內(nèi) 容不發(fā)生過(guò)多形變，對(duì)非重要區(qū)域進(jìn)行壓縮處理，以此來(lái)得到最佳的圖像視覺感知效果。 1998年，Itti和Koch提出了一種自底向上的顯著性計(jì)算模型，在多尺度下提取圖像的顏色、 亮度和方向特征的顯著圖，進(jìn)行線性融合，最終生成圖像的顯著圖，顯著圖反映了圖像的重 要區(qū)域，是基于內(nèi)容感知的研究基礎(chǔ)。在2003年，Suh提出了基于重要區(qū)域的圖像縮略圖提 取方法的Suh算法，利用Itti提出的顯著性算法與人臉識(shí)別算法提取目標(biāo)圖像的重要區(qū)域， 對(duì)目標(biāo)圖像進(jìn)行相關(guān)的裁剪得到縮略圖，該算法過(guò)于依賴顯著性算法提取的目標(biāo)，而且該 算法采用傳統(tǒng)的裁剪方法對(duì)圖像進(jìn)行縮放，往往會(huì)造成較多圖像內(nèi)容信息的丟失，使圖像 完整性遭到了嚴(yán)重的破壞。Liu和Gleiche在Suh算法的基礎(chǔ)上，利用非線性的魚眼視角變形 算法(Fisheye-view Warp)盡可能地保留原圖中重要區(qū)域的大小，同時(shí)會(huì)對(duì)非顯著部分進(jìn) 行壓縮處理，該Liu和Gleiche提出的算法在圖像主體目標(biāo)被過(guò)分強(qiáng)調(diào)的時(shí)候，由于采用縮 小背景以突出重要區(qū)域的方法，以至于原始圖像中的圖像結(jié)構(gòu)被破壞了，造成了圖像邊緣 內(nèi)容的嚴(yán)重失真。針對(duì)以上不足，在2007年的SLGGRAPH會(huì)議上Avidan和Shamir提出了線裁 剪算法，通過(guò)不斷的尋找當(dāng)前圖像中水平或垂直方向能量最小的聯(lián)通路徑并進(jìn)行刪除或者 復(fù)制操作來(lái)達(dá)到圖像裁剪目地的，圖像中不重要的區(qū)域被移除，能更好地保留圖像中的重 要部分，在長(zhǎng)寬比變化劇烈的情況下仍然能保持圖像中的重要內(nèi)容不發(fā)生變形失真。但是 該算法由于僅考慮能量最小，沒有充分考慮實(shí)際圖像的結(jié)構(gòu)信息，因此當(dāng)圖像結(jié)構(gòu)分布稀 疏而且占據(jù)大部分位置時(shí)會(huì)破壞圖像的局部和整體的視覺效果，另外在重要內(nèi)容能量較低 的時(shí)候會(huì)破壞重要物體結(jié)構(gòu)，導(dǎo)致出現(xiàn)人為鬼影。CN102568443B公開了 一種圖像縮放算法， 該算法根據(jù)原圖像的尺寸與目標(biāo)圖像的尺寸，以像素點(diǎn)為單位進(jìn)行復(fù)制和移除操作，由于 沒有從整體上考慮圖像中的主體目標(biāo)，因此會(huì)造成圖像的主體目標(biāo)發(fā)生形變和扭曲。
[0004] 總之，現(xiàn)有的基于內(nèi)容感知的圖像縮放技術(shù)雖然能夠克服傳統(tǒng)的圖像縮放方法中 圖像裁剪的缺點(diǎn)，尤其是現(xiàn)有的基于內(nèi)容感知的圖像縮放技術(shù)中的線裁剪方法能夠保持圖 像中的感興趣區(qū)域盡量不發(fā)生形變，相比傳統(tǒng)的圖像縮放方法取得了較好的圖像縮放效 果，但是現(xiàn)有的線裁剪方法采用圖像的梯度圖定義能量函數(shù)，在圖像縮放時(shí)仍然存在失真 和部分圖像信息丟失的缺陷，影響人們的圖像視覺審美。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題是:提供一種基于內(nèi)容感知的圖像縮放方法，采用融 合顯著圖、邊緣直線圖和梯度圖的混合特征模型（以下簡(jiǎn)稱HFPM)得到能量函數(shù)，依據(jù)該能 量函數(shù)進(jìn)行線裁剪操作完成圖像的縮放，克服了現(xiàn)有的線裁剪方法采用圖像的梯度圖定義 能量函數(shù)，在圖像縮放時(shí)仍然存在失真和部分圖像信息丟失的缺陷。
[0006] 本發(fā)明解決該技術(shù)問題所采用的技術(shù)方案是：一種基于內(nèi)容感知的圖像縮放方 法，采用融合顯著圖、邊緣直線圖和梯度圖的混合特征模型得到能量函數(shù)，依據(jù)該能量函數(shù) 進(jìn)行線裁剪操作完成圖像的縮放，步驟如下：
[0007] 第一步，輸入彩色圖像預(yù)處理：
[0008] 通過(guò)USB接口向計(jì)算機(jī)輸入原始彩色圖像，并輸入目標(biāo)圖像的大小，將得到的原始 彩色圖像〇由RGB空間轉(zhuǎn)化到灰度空間得到灰度圖像I，采用的公式(1)如下：
[0009] I = 0.299R+0.587G+0.114B (1)，
[0010] 其中R、G、B分別是RGB空間圖像的紅色、綠色和藍(lán)色通道，同時(shí)保留原始輸入RGB空 間的原始彩色圖像〇，供第二步中Context-Aware算法計(jì)算使用，所輸入原始彩色圖像0的大 小為ΜX N像素，所輸入目標(biāo)圖像的大小為,X Μ像素；
[0011]第二步，提取原始彩色圖像的顯著圖和顯著目標(biāo)圖像：
[0012] (1)通過(guò)Context-Aware算法提取原始彩色圖像顯著圖：
[0013]對(duì)第一步保留的原始輸入的RGB空間的原始彩色圖像0,通過(guò)Context-Aware算法 計(jì)算顯著圖，并將由此計(jì)算得到的該顯著圖輸出為原始輸入的RGB空間的原始彩色圖像0圖 像的尺寸，提取到原始彩色圖像的顯著圖Sal;
[0014] (2)使用分水嶺分割算法加強(qiáng)顯著圖：
[0015] 使用分水嶺分割算法對(duì)上述步驟（1)得到的原始彩色圖像的顯著圖Sal進(jìn)一步加 強(qiáng)，分割出原始彩色圖像顯著圖中的目標(biāo)，先對(duì)圖像的每個(gè)像素的灰度級(jí)進(jìn)行從低到高排 序，然后再?gòu)牡偷礁邔?shí)現(xiàn)淹沒過(guò)程，對(duì)每一個(gè)局部極小值采用先進(jìn)先出結(jié)構(gòu)進(jìn)行判斷及標(biāo) 注，由此通過(guò)分水嶺算法分割得到原始彩色圖像的顯著目標(biāo)圖像Is;
[0016] 第三步，提取灰度圖像的融合直線信息的邊緣圖：
[0017] 提取第一步得到的灰度圖像I中的直線信息，并對(duì)圖像I進(jìn)行模糊處理，提取邊緣 圖，將直線信息與邊緣圖進(jìn)行疊加融合，得到融合直線信息的邊緣圖，具體步驟如下；
[0018] (1)檢測(cè)灰度圖像中的直線信息：
[0019] 對(duì)第一步中獲得的灰度圖像I運(yùn)用霍夫變換檢測(cè)其中的直線信息，設(shè)置霍夫變換 算法中所能檢測(cè)到的最小長(zhǎng)度為「o.lxd個(gè)像素以及直線間的最小間隔為「O.Olxd個(gè)像 素，其中q為圖像對(duì)角線的長(zhǎng)度，將檢測(cè)得到直線信息的圖像進(jìn)行二值化處理，設(shè)置閾值為
[0020] (2)， Tw，得到戶古古妹欄白的一估ra τ陽(yáng)興用的公式（2)如下：
[0021]上述參數(shù)中w為標(biāo)有直線線段的圖像，w(x，y)為(x，y)處的像素值；
[0022] (2)對(duì)原始彩色圖像進(jìn)行模糊處理：
[0023]利用基于總變差模型的紋理結(jié)構(gòu)提取算法對(duì)原始輸入的RGB空間的原始彩色圖像 〇進(jìn)行模糊處理，模糊原圖中不重要的紋理部分，突出主結(jié)構(gòu)，得到去除紋理的圖像，達(dá)到模 糊的效果；
[0024] (3)提取圖像的邊緣特征：
[0025] 利用Canny邊緣檢測(cè)算法對(duì)上述步驟(2)模糊處理后得到的圖像提取邊緣信息，增 強(qiáng)圖像的邊緣，得到邊緣圖，其中Canny算子模板如下公式(3)所示，其中，D x為水平方向的 算子，Dy為乘官方向的筧子，
[0026]
(3);
[0027] (4)將直線信息融合到邊緣圖中：
[0028] 將上述步驟（1)中得到的直線特征圖與上述步驟(3)得到的邊緣圖采用的公式(4) 進(jìn)行融合，
[0029] IC=IW+I canny ⑷，
[0030] 其中，Iw為含有直線信息的二值圖，Icanny為使用Canny邊緣檢測(cè)算法得到的邊緣 圖，I。為融合直線信息的邊緣圖；
[0031] 第四步，提取灰度圖像的梯度圖：
[0032] 對(duì)第一步得到的灰度圖像I通過(guò)Sobel梯度算子來(lái)提取梯度信息，即以圖像像素點(diǎn) I (X，y)為中心計(jì)算其3 X 3鄰域的X方向偏導(dǎo)數(shù)Gjp y方向的偏導(dǎo)數(shù)Gy如下：
[0033] Gx={I(x-1,y+l)+2I(x,y+l)+I(x+l,y+l)}
[0034] (5)， -{I(x-1,y-l)+21(x,y-l)+1(x+1,y-l)}
[0035] Gy={I(x+1,y-l)+2I(x+l,y)+I(x+l,y+l)}
[0036] (6)， -{I(x-1,y-l)+21(x-1,y)+1(x-1,y+l)}
[0037] 梯度大小為：
[0038]
(7).，
[0039] 根據(jù)公式(7)求出每個(gè)像素的梯度值，即可得到灰度圖像的梯度圖Ig;
[0040] 第五步，利用HFPM算法對(duì)三種特征圖融合得到能量函數(shù)：
[0041]將上述第二步得到的原始彩色圖像的顯著目標(biāo)圖像Is、第三步得到的融合直線信 息的邊緣圖I。以及第四步得到的灰度圖像的梯度圖IgfflHFPM算法進(jìn)行融合，采用公式如下：
[0042] EHFPM(x,y)=aIs(x,y)+PIc(x,y)+ γ Ig(x,y) (8)，
[0043] 其中Ehfpm為最終得到的能量函數(shù)，a、β、γ分別為Is、Ic、18三種圖像不同的權(quán)重系 數(shù)，
[0044] α是原始彩色圖像的顯著目標(biāo)圖像Is的權(quán)重系數(shù)，其定義如下：
[0045]
(())，
[0046]其中Areat為縮放后圖像的面積，Μ和N分別是第一步得到的圖像的長(zhǎng)度值和寬度 值，單位為像素；
[0047] β是融合直線信息的邊緣圖I。的權(quán)重系數(shù)，其定義為：
[0048] (丨())，
[0049] (11>， ν 'Λ-'
[0050] 其中num為圖像中通過(guò)Hough