一種基于網(wǎng)格形變最優(yōu)化的圖像非均勻映射方法
【專利摘要】一種基于網(wǎng)格形變最優(yōu)化的圖像非均勻映射方法屬于圖像處理領(lǐng)域。本發(fā)明提供一種基于內(nèi)容感知的適用于不同用戶終端的快速圖像縮放技術(shù)，使固定尺寸的圖像能夠自適應(yīng)地顯示在不同類型的終端設(shè)備上，同時能夠盡可能的保持原始圖像中重要內(nèi)容，保持關(guān)鍵對象無畸變，保持圖像中的重要結(jié)構(gòu)即空間位置關(guān)系相對不變，以保證最佳圖像觀賞質(zhì)量。本發(fā)明通過定義一系列有效控制網(wǎng)格形變的能量函數(shù)來建立基于內(nèi)容的圖像縮放的最優(yōu)化模型，保證圖像縮放的過程中，視覺顯著的重要區(qū)域不發(fā)生畸變，以此，來提高在移動數(shù)字設(shè)備上瀏覽圖像的用戶體驗。本發(fā)明能夠有效的提高縮放結(jié)果的質(zhì)量，在一定程度上能夠避免重要區(qū)域邊緣的拉伸變形。
【專利說明】—種基于網(wǎng)格形變最優(yōu)化的圖像非均勻映射方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】中基于內(nèi)容感知的圖像縮放技術(shù)，具體涉及一種基于網(wǎng)格形變最優(yōu)化的圖像非均勻映射方法的研究及實現(xiàn)。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展以及數(shù)字設(shè)備硬件水平的不斷提高，適用于不同網(wǎng)絡(luò)的終端設(shè)備不斷更新?lián)Q代，例如電視、筆記本電腦、PDA、手機等，它們具有不同類型的顯示尺寸，例如，目前主流的大屏智能手機的屏幕比例為5:3或16:9，手持平板電腦的屏幕比例大多為16:10，還有ipad始終如一的保持著4:3的屏幕比例等等。然而，大多情況數(shù)字圖像都是以某一尺寸和寬高比例制作而成，然而當在不同類型的數(shù)字設(shè)備上去顯示它們時，通常需要改變它們的尺寸和寬高比，來適應(yīng)各種不同尺寸的顯示設(shè)備。傳統(tǒng)的圖像縮放方法主要分為3種，其中一種是將原始圖像通過插值或下采樣得到目標尺寸的圖像，這就是所謂的均勻縮放Scaling技術(shù)，然而當需要改變圖像寬高比來進行均勻縮放時，它往往會造成圖像主要內(nèi)容的拉伸變形。另一種方法就是簡單的裁切Cropping技術(shù)，它通過裁掉圖像邊緣內(nèi)容來得到目標尺寸，這會帶來較多內(nèi)容信息的丟失。第三種方法就是選擇圖像寬度或高度的最小縮放比例作為整體縮放比例來對原始圖像進行等比縮放，這種做法也被稱作“信箱” Ietterboxing技術(shù)，它的問題在于經(jīng)常會在設(shè)備上下或左右兩邊產(chǎn)生黑色邊框，不能充分的利用移動設(shè)備有限的屏幕資源。上述3種傳統(tǒng)的縮放方法都沒有考慮圖像的內(nèi)容。為了使用戶能夠在終端設(shè)備上更舒適地觀看圖像，需要根據(jù)圖像內(nèi)容的重要程度對其進行縮放處理，來自適應(yīng)于不同網(wǎng)絡(luò)類型、不同尺寸、不同比例的終端顯示設(shè)備。那么基于內(nèi)容感知的圖像縮放技術(shù)就是用來解決如何將圖像更好的顯示在多樣化的數(shù)字設(shè)備上的問題。
[0003]2007年以后基于內(nèi)容感知的圖像縮放技術(shù)得到很大的發(fā)展，可通過三種途徑來改變圖像的大小:根據(jù)圖像像素的重要度刪除或復(fù)制像素、聚合或擴張像素以及兩種方法相結(jié)合的方式，因此可將其大致分為三類方法。一類是以細縫裁剪Seam Carving為代表的離散方法，另一類是以非均勻映射Warping為代表的連續(xù)方法，還有一種就是多種操作相結(jié)合的方法?；趦?nèi)容感知的縮放技術(shù)最大的優(yōu)點就是通處理圖像中不引人注意的像素內(nèi)容來改變圖像的尺寸，最大限度的保護重要區(qū)域不發(fā)生形變，同時盡可能的保留原始圖像的全局信息。
[0004]基于細縫裁減的離散方法是對圖像進行像素級的離散操作，在保留重要區(qū)域的同時不斷的刪除或復(fù)制不重要的像素細縫來改變圖像的尺寸。其特點是能夠最大限度的保持圖像中的重要區(qū)域，去除最低能量區(qū)域。但是當圖像中的不重要信息去除到一定程度后，繼續(xù)采用細縫裁減方法勢必會帶來重要信息的損失和對象變形，從而導(dǎo)致圖像視覺質(zhì)量快速下降。雖然該類算法的離散性更能體現(xiàn)處理過程的靈活性，但是也更容易破壞圖像中的結(jié)構(gòu)信息而且會產(chǎn)生鋸齒現(xiàn)象即得到不平滑的結(jié)果圖像。而且由于每次計算完累積能量代價矩陣后都只處理一條像素細縫，需要重復(fù)的迭代計算出若干條細縫才能實現(xiàn)圖像的縮放，這將直接導(dǎo)致該類算法普遍存在時間計算復(fù)雜度比較高的問題。
[0005]非均勻映射方法主要思想是建立源圖像到目標圖像的最優(yōu)映射，映射過程中加入一些約束條件來保護圖像內(nèi)容。首先根據(jù)圖像內(nèi)容自動確定各像素點的重要性，然后根據(jù)像素的重要性對圖像進行非均勻縮放，重要區(qū)域基本上采取相似變換，而不重要區(qū)域則采取非線性變換，使得圖像重要區(qū)域形變較小，而將形變擴散在非重要區(qū)域。以非均勻映射Warping為代表的連續(xù)方法多數(shù)都是通過求解帶有約束條件的最優(yōu)化問題來得到最優(yōu)的網(wǎng)格變形，約束重要區(qū)域網(wǎng)格的形變較小并將網(wǎng)格變形分散在不重要區(qū)域，最后利用紋理映射技術(shù)得到結(jié)果圖像.因為該方法是根據(jù)圖像內(nèi)容的重要度采用不同的縮放策略，利用非重要區(qū)域來“隱藏”形變，然而非重要區(qū)域的過度扭曲可能會改變圖像的語義信息。另外，如果圖像中沒有足夠的非重要區(qū)域來隱藏形變，連續(xù)方法可能會引起重要內(nèi)容的變形。
[0006]考慮到不同方法固有的互補的特性，一些研究者提出將幾種方法相結(jié)合來對圖像進行縮放處理，簡稱混合方法。該問題的關(guān)鍵是如何確定各種操作方法的量及其操作順序。然而在確定了多操作方法的數(shù)量及順序后，它的難點在于如何設(shè)計出一種有效的評價度量機制來衡量目標結(jié)果圖像與源圖像的相似度。這種評價準則實際上也是不同混合方法的主要差別之所在。因為該類算法綜合了多種方法的優(yōu)點，但同時它也引入各種方法的缺點，那么如何最優(yōu)結(jié)合各種方法即決定最佳的操作順序以及操作量，需要一種有效的質(zhì)量評價方法去計算源圖像與目標圖像的相似度來決定不同縮放方法之間的切換點。然而大多多操作方法的時間復(fù)雜度較高，那么如何去加快多操作方法的處理速度也是需要認真考慮的問題。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供一種基于內(nèi)容感知的適用于不同用戶終端的快速圖像縮放技術(shù)，使固定尺寸的圖像能夠自適應(yīng)地顯示在不同類型的終端設(shè)備上，同時能夠盡可能的保持原始圖像中重要內(nèi)容，保持關(guān)鍵對象無畸變，保持圖像中的重要結(jié)構(gòu)即空間位置關(guān)系相對不變，以保證最佳圖像觀賞質(zhì)量。
[0008]本發(fā)明提出了一種基于最優(yōu)網(wǎng)格映射的Image Retargeting方法,通過定義一系列有效控制網(wǎng)格形變的能量函數(shù)來建立Image Retargeting的最優(yōu)化模型,保證圖像縮放的過程中，視覺顯著的重要區(qū)域不發(fā)生畸變，以此，來提高在移動數(shù)字設(shè)備上瀏覽圖像的用戶體驗。另一方面，我們提出一種考慮重要物體邊緣的自適應(yīng)網(wǎng)格初始劃分策略，能夠有效的提高Image Retargeting結(jié)果的質(zhì)量,在一定程度上能夠避免重要區(qū)域邊緣的拉伸變形。
[0009]本發(fā)明的大體思路為首先對原始圖像進行考慮邊緣的自適應(yīng)網(wǎng)格初始劃分，然后在圖像尺寸改變的過程中，根據(jù)圖像的重要度圖對網(wǎng)格進行不規(guī)則的變形，盡可能的保護覆蓋重要區(qū)域的網(wǎng)格的比例不發(fā)生改變，利用不重要的網(wǎng)格來隱藏變形，最后向變形后的網(wǎng)格內(nèi)進行紋理映射插入原始圖像內(nèi)容，得到目標尺寸的結(jié)果圖像。
[0010]為了實現(xiàn)上述問題，本發(fā)明提供了一種有效的基于內(nèi)容感知的網(wǎng)格形變最優(yōu)化的圖像非均勻映射方法。該方法具體包括:
[0011]I)輸入一幅大小為W*H的原始圖像，并設(shè)定其目標尺寸為Wt*Ht，W為原始圖像寬度，H為原始圖像的高度，Wt為目標圖像的高度，Ht為目標圖像的高度；
[0012]2)將原始圖像進行考慮重要物體邊緣的自適應(yīng)初始矩形網(wǎng)格劃分，具體步驟如下:
[0013]①初始均勻網(wǎng)格劃分:對原始圖像進行規(guī)整的初始矩形網(wǎng)格劃分，劃分的網(wǎng)格數(shù)量為m*n，其中的每一網(wǎng)格都是相同的矩形。
[0014]②建立自適應(yīng)初始網(wǎng)格劃分問題的最優(yōu)化模型:目標是讓原始圖像中重要區(qū)域的網(wǎng)格劃分的密集，不重要區(qū)域網(wǎng)格劃分的粗獷。重要區(qū)域網(wǎng)格的密集劃分在一定程度上能夠保證覆蓋重要物體邊緣的網(wǎng)格內(nèi)的重要度的一致性，能夠減輕網(wǎng)格邊緣的拉伸變形。設(shè)原始網(wǎng)格頂點坐標為('j-vuyhi G [l，m+l]，j G [I,n+1],其中i，j均為整數(shù)。需要求得的自適應(yīng)網(wǎng)格頂點坐標為(v’u-v’uy)，i G [l,m+l], j G [l，n+l]，其中i，j均為整數(shù)。建立該問題的最優(yōu)化模型的目標函數(shù)為:
[0015]
【權(quán)利要求】
1.一種基于網(wǎng)格形變最優(yōu)化的圖像非均勻映射方法，其特征在于，該方法具體包括: 1)輸入一幅大小為W*H的原始圖像，并設(shè)定其目標尺寸為Wt*Ht，W為原始圖像寬度，H為原始圖像的聞度，Wt為目標圖像的聞度，Ht為目標圖像的聞度； 2)將原始圖像進行考慮重要物體邊緣的自適應(yīng)初始矩形網(wǎng)格劃分； 3)當原始圖像的尺寸發(fā)生改變時，尤其長寬比例發(fā)生改變時，根據(jù)每個網(wǎng)格的重要度wf對網(wǎng)格進行變形，以犧牲不重要的網(wǎng)格形變?yōu)榇鷥r，盡可能的保護覆蓋重要區(qū)域的網(wǎng)格不發(fā)生拉伸變形； 4)向變形后的網(wǎng)格進行文理映射，插入原始圖像內(nèi)容，進而獲得目標結(jié)果圖像。
2.如權(quán)利要求1所述的方法，其特征在于，所述步驟2)具體為: ①初始均勻網(wǎng)格劃分:對原始圖像進行規(guī)整的初始矩形網(wǎng)格劃分，劃分的網(wǎng)格數(shù)量為m*n，其中的每一網(wǎng)格都是相同的矩形。 ②建立自適應(yīng)初始網(wǎng)格劃分問題的最優(yōu)化模型:目標是讓原始圖像中重要區(qū)域的網(wǎng)格劃分的密集，不重要區(qū)域網(wǎng)格劃分的粗獷。重要區(qū)域網(wǎng)格的密集劃分在一定程度上能夠保證覆蓋重要物體邊緣的網(wǎng)格內(nèi)的重要度的一致性，能夠減輕網(wǎng)格邊緣的拉伸變形設(shè)原始網(wǎng)格頂點坐標為(ViJ-Vuyhi G [l,m+l], j G [I, n+1],其中i，j均為整數(shù)。需要求得的自適應(yīng)網(wǎng)格頂點坐標為(v’u-v’uy)，i G [l,m+l], j G [l，n+l]，其中i，j均為整數(shù)。建立該問題的最優(yōu)化模型的目標函數(shù)為:
3.如權(quán)利要求1所述的方法，其特征在于，所述步驟3)具體為: ①建立網(wǎng)格變形問題的最優(yōu)化模型，目標是最小化所有網(wǎng)格形變能量之和，讓重要的網(wǎng)格盡量不發(fā)生拉伸形變，其中， 目標函數(shù)為:
【文檔編號】G06T5/00GK103617599SQ201310595136
【公開日】2014年3月5日 申請日期:2013年11月21日 優(yōu)先權(quán)日:2013年11月21日
【發(fā)明者】毋立芳, 鄭慶陽, 肖鵬宇, 曹連超, 王清, 荊羽晨, 王麗娟, 邱健康 申請人:北京工業(yè)大學