專利名稱：基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于語(yǔ)義的細(xì)縫裁剪和非均勻映射 相結(jié)合的圖像自適應(yīng)的方法的研究及實(shí)現(xiàn)。
背景技術(shù)：
隨著移動(dòng)設(shè)備的普及，電視、筆記本電腦、PDA、手機(jī)等適用于不同網(wǎng)絡(luò)的終端設(shè)備 不斷換代更新，不同類型不同尺寸的顯示終端不斷涌現(xiàn)以適應(yīng)各種不用的用戶需求。為了 保證持不同設(shè)備的用戶都能夠舒適地觀看同樣的圖像內(nèi)容，這就要求圖像內(nèi)容能夠自適應(yīng) 于不同尺寸、不同比例的用戶終端，研究保持圖像主要內(nèi)容的自適應(yīng)技術(shù)具有重要的應(yīng)用
眉、ο目前主要的圖像大小自適應(yīng)方法有線性變形(Scaling)方法，裁切(Cropping)方 法，非均勻映射(Non-homogeneous Warping)方法，基于細(xì)縫裁切的方法、基于前景對(duì)象的
方法等。線性變形方法是最簡(jiǎn)單的圖像大小自適應(yīng)方法，該方法沒(méi)有考慮圖片內(nèi)容，一旦 由不同比例縮放，往往會(huì)造成圖片的變形，或者關(guān)鍵對(duì)象由于擠壓或拉長(zhǎng)帶來(lái)的比例失真寸。裁切方法是將圖像的重要區(qū)域標(biāo)定后再進(jìn)行等比例縮放。這一方法通常和圖像感 興趣區(qū)檢測(cè)相結(jié)合，先確定出哪些區(qū)域?qū)儆谥匾獏^(qū)域，然后裁切并移除不重要的內(nèi)容，使感 興趣區(qū)域的比例變大。其中重要內(nèi)容區(qū)域的檢測(cè)十分重要，臉部的檢測(cè)等常作為檢測(cè)的重 點(diǎn)。另外，該方法只能保留局部?jī)?nèi)容，當(dāng)重要區(qū)域位于圖像兩端時(shí)，其必然要保留一邊而舍 棄另一邊，導(dǎo)致重要信息丟失。二維的非均勻映射方法首先由用戶設(shè)定一些需要保持形狀的感興趣區(qū)域，在進(jìn)行 圖像縮放時(shí)，感興趣區(qū)基本上采取相似變換，而其它區(qū)域則采取非線性變換，當(dāng)然感興趣區(qū) 形狀保持的代價(jià)是其它背景區(qū)域更大的變形。基于細(xì)縫裁減方法是自動(dòng)尋找圖像中的水平或垂直方向單調(diào)、連通的最低能量 線，通過(guò)去除/增加最低能量線來(lái)壓縮/放大圖像，這一方法的特點(diǎn)是能夠最大限度的保持 圖像中的重要區(qū)域，去除最低能量區(qū)域。在此基礎(chǔ)上，2008年Rubinstein等人提出了改進(jìn) 方案，將能量計(jì)算由原來(lái)的后向能量改為前向能量，這一改進(jìn)較好的保持了圖像中的邊緣 和細(xì)節(jié)?；趯?duì)象的(Object-Based)圖像或視頻的編輯方法，分離出圖像中的前景和背 景分別進(jìn)行縮放后再合成新的圖像。這類方法的瓶頸在于普適的對(duì)象分割技術(shù)和魯棒性的 前景背景分類技術(shù)還不成熟，這也導(dǎo)致該類方法推廣應(yīng)用存在局限性。目前各種方法有各自的優(yōu)缺點(diǎn)和局限性，我們發(fā)明一種圖像大小自適應(yīng)方法，它 融合了細(xì)縫裁切方法和非均勻映射方法的優(yōu)點(diǎn)，首先采取細(xì)縫裁減方法，同時(shí)監(jiān)測(cè)重要信 息變形的度量值，當(dāng)變形超過(guò)設(shè)定指標(biāo)時(shí)，終止細(xì)縫裁減方法，切換為非均勻映射方法，不僅能夠?qū)崿F(xiàn)圖像大小的自適應(yīng)，同時(shí)能夠更多的保持圖像的語(yǔ)義內(nèi)容。

發(fā)明內(nèi)容
本發(fā)明的目的在于，通過(guò)提供一種基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖 像自適應(yīng)方法，適用于不同尺寸用戶終端的圖像自適應(yīng)技術(shù)，使圖像能夠自適應(yīng)地在不同 終端上顯示圖像內(nèi)容，盡可能多的保持原始圖像中語(yǔ)義內(nèi)容，保持關(guān)鍵對(duì)象無(wú)畸變，保持圖 像中的重要結(jié)構(gòu)即空間位置關(guān)系相對(duì)不變，以保證最佳主觀觀賞質(zhì)量。本發(fā)明是采用以下技術(shù)手段實(shí)現(xiàn)的本發(fā)明提供了一種基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法。 該方法包括A、讀入視頻序列圖像，接下來(lái)分別對(duì)每一幀M*N大小的圖像做細(xì)縫裁切和非均勻映。B、針對(duì)圖像幀提取用戶對(duì)語(yǔ)義區(qū)域重要性主觀評(píng)價(jià)的統(tǒng)計(jì)特征，并用來(lái)對(duì)基于底 層特征的能量函數(shù)進(jìn)行加權(quán)，得到語(yǔ)義加權(quán)的能量函數(shù)。進(jìn)一步地，所述步驟B具體包括Bi、對(duì)輸入的當(dāng)前圖像幀劃分語(yǔ)義區(qū)域并標(biāo)定重要區(qū)和非重要區(qū)的語(yǔ)義邊緣。語(yǔ) 義區(qū)域包括場(chǎng)地區(qū)域、運(yùn)動(dòng)員區(qū)域、記分牌區(qū)域、關(guān)鍵對(duì)象區(qū)域、觀眾區(qū)域、廣告牌區(qū)域等常 用體育視頻語(yǔ)義區(qū)域。然后根據(jù)語(yǔ)義重要性自動(dòng)確定各個(gè)不同的語(yǔ)義區(qū)及邊緣區(qū)內(nèi)的權(quán) 值，得到當(dāng)前幀的語(yǔ)義權(quán)值函數(shù)。語(yǔ)義邊緣用來(lái)檢測(cè)重要信息變形以判定何時(shí)結(jié)束細(xì)縫裁 切方法。B2、計(jì)算當(dāng)前圖像幀中每一個(gè)像素點(diǎn)的灰度值，得到圖像幀的灰度函數(shù)。計(jì)算源圖 像每一個(gè)像素點(diǎn)灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)。B3、計(jì)算源圖像每一個(gè)像素點(diǎn)的能量值，能量值采用梯度能量來(lái)計(jì)算，得到幀圖像 的能量函數(shù)。根據(jù)梯度能量值計(jì)算前向能量值。計(jì)算當(dāng)前圖像幀中每一個(gè)像素點(diǎn)前向能量 值和語(yǔ)義權(quán)值的乘積，得到當(dāng)前圖像幀的加權(quán)能量函數(shù)。進(jìn)一步地，所述步驟Bl具體包括31、請(qǐng)用戶給各語(yǔ)義區(qū)域重要性打分(1-10)，統(tǒng)計(jì)共m處語(yǔ)義區(qū)域重要性的分布
Psi (Im), i = 1, 2, . . . m,并計(jì)算其均值{Ave_Imsl, Ave_ImS2,......Ave_ImSm}禾口方差{vmsl,
vmS2,......vmSm}。確定語(yǔ)義區(qū)域 Si 的有效范圍[Ave_ImSi_3vmSi, Ave_ImSi+3vmSi]。32、根據(jù)語(yǔ)義重要性自動(dòng)確定語(yǔ)義加權(quán)值。設(shè)底層能量函數(shù)計(jì)算公式Φ (ρ)，隨機(jī) 選取一些訓(xùn)練視頻幀，統(tǒng)計(jì)語(yǔ)義區(qū)域Si的能量分布值pSi (Eng)語(yǔ)義區(qū)域Si的重要性權(quán)值通過(guò)如下公式計(jì)算
至此，我們得到圖像中的相應(yīng)像素點(diǎn)的語(yǔ)義重要性權(quán)值w(i, j) = Iffeightsi, (i，j) e Si}。C、逐步去除或者增加當(dāng)前圖像幀中的細(xì)縫即低能量線來(lái)實(shí)現(xiàn)圖像大小的自適應(yīng)。 根據(jù)重要區(qū)和非重要區(qū)的語(yǔ)義邊緣隨時(shí)監(jiān)測(cè)重要信息變形，當(dāng)這一度量達(dá)到某個(gè)閾值時(shí)即 停止細(xì)縫算法。
5
進(jìn)一步地，所述步驟C具體包括Cl、設(shè)定輸出目標(biāo)圖像的長(zhǎng)寬大小。C2、初始化圖像寬度和高度，迭代次數(shù)k = 0。然后進(jìn)行第k次迭代，計(jì)算圖像的行 代價(jià)函數(shù)和列代價(jià)函數(shù)。將所有行/列的代價(jià)函數(shù)進(jìn)行對(duì)比，得到最小代價(jià)函數(shù)，設(shè)第1行 為CostK1。代價(jià)函數(shù)CostK1對(duì)應(yīng)的路徑path(xy，y)即為低能量線，去除圖像I (x，y)和語(yǔ) 義加權(quán)圖w(i，j)中低能量線對(duì)應(yīng)位置的像素點(diǎn)。C3、進(jìn)一步根據(jù)低能量線path (xy，y)修正重要邊緣描述子。對(duì)重要邊緣Edgejmt 的第k個(gè)點(diǎn)(Sk，yk)，如果y = yk且Xk = Xy則刪除該點(diǎn)，邊緣長(zhǎng)度減1 ;如果y = yk且Xk > xyJJ xk = xk-l °C4、計(jì)算重要信息變形的度量值。如果重要信息變形的度量值超過(guò)設(shè)定閾值指標(biāo)， 則終止細(xì)縫裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Cl中進(jìn)行第k+1 次迭代計(jì)算。進(jìn)一步地，所述步驟C4具體包括重要信息變形采取重要區(qū)域邊緣即場(chǎng)地邊緣變形來(lái)度量。設(shè)場(chǎng)地邊緣描述子為Edge_imt = {(x1 Y1), (x2, y2),......，(χη, yn)}, t = 1,2. .. T隨著圖像放大或縮小，邊緣Edgejmt的方向應(yīng)該保持不變，而是平行移動(dòng)。換句 話講，在邊緣對(duì)應(yīng)的直線方程Lt :Atx+Bty+Ct = 0中，At和Bt保持不變，Ct隨著圖像的縮放 而變化。用當(dāng)前圖像中邊緣Edgejmt上的所有象素點(diǎn)采用最小均方誤差方法計(jì)算Ct即可 確定直線方程。進(jìn)一步，計(jì)算邊緣Edgejmt所有點(diǎn)與擬合直線Lt的垂直距離(即點(diǎn)與擬合 直線的偏移量)
(6)尋找最大偏移量作為重要信息變形指標(biāo)
(7)變形度量準(zhǔn)則采用閾值法，通過(guò)綜合各種類型的直線變形訓(xùn)練得到閾值。如果重 要信息的度量值變形大于設(shè)定閾值，停止細(xì)縫裁減。D、當(dāng)重要信息變形的度量值大于設(shè)定閾值時(shí)細(xì)縫裁減停止，接下來(lái)采用非均勻映 射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為Cl中設(shè)定的目標(biāo)。非均勻映射過(guò)程分 為兩個(gè)層次，先處理不包含記分牌的圖像區(qū)域即自然圖像，然后處理記分牌區(qū)域即記分牌 圖像。細(xì)縫裁減方法的隨機(jī)變形對(duì)以文字為主的記分牌區(qū)域有很大影響，記分牌區(qū)域直接 從原始圖像的記分牌圖像進(jìn)行映射。自然圖像則從細(xì)縫裁減后的圖像進(jìn)行映射。 進(jìn)一步地，所述步驟D具體包括D1、根據(jù)A步驟中得到的語(yǔ)義重要性統(tǒng)計(jì)值將自然圖像分為重要區(qū)域和不重要區(qū) 域，設(shè)定閾值將各語(yǔ)義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域。D2、通過(guò)邊緣檢測(cè)來(lái)得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分 牌圖像的非重要區(qū)域。D3、對(duì)包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進(jìn)行非均勻映 射。先處理自然圖像，得到記分牌區(qū)域的目標(biāo)大小。以此為目標(biāo)，采用相同的方法對(duì)原始記分牌圖像進(jìn)行非均勻映射，實(shí)現(xiàn)記分牌圖像自適應(yīng)。最后將其疊加到自然圖像的自適應(yīng)結(jié) 果中，得到最終的自適應(yīng)圖像。進(jìn)一步地，所述步驟D3具體包括D31、圖像共包含d個(gè)重要區(qū)域F = F1 U F2 U，...UFd。將圖像分為K個(gè)矩形柵格 區(qū)域，自然圖像對(duì)應(yīng)的柵格較大，記分牌圖像對(duì)應(yīng)的柵格較小。D32、設(shè)原始柵格頂點(diǎn)經(jīng)過(guò)非均勻映射后為V' =Iv' 1； ν' 2, ...ν' Ν}，重要區(qū) 域比例因子為SFlm，不重要區(qū)域比例因子為SFNIm。結(jié)合兩個(gè)比例因子和重要區(qū)域F，得到相 應(yīng)頂點(diǎn)的重要性權(quán)值SI (Vi)。D33、計(jì)算V' =Iv' 1； ν' 2，···ν' Ν}，使其在重要性權(quán)值SI (Vi)的作用下盡可 能接近原始圖像中的柵格頂點(diǎn)V = Iv1, V2, . . . νΝ}。本發(fā)明與現(xiàn)有技術(shù)相比，具有以下明顯的優(yōu)勢(shì)和有益效果。本發(fā)明一種基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，將目前 比較好的兩種方法——細(xì)縫裁減方法和非均勻映射方法有機(jī)結(jié)合，充分發(fā)揮各自的優(yōu)點(diǎn)， 實(shí)現(xiàn)綜合最優(yōu)的圖像視頻自適應(yīng)結(jié)果；并且引入了語(yǔ)義加權(quán)的能量函數(shù)計(jì)算，實(shí)現(xiàn)基于語(yǔ) 義內(nèi)容的圖像大小自適應(yīng)。使圖像能夠自適應(yīng)地在不同終端上顯示圖像內(nèi)容，盡可能多的 保持了原始圖像中語(yǔ)義內(nèi)容，保持關(guān)鍵對(duì)象無(wú)畸變，保持圖像中的重要結(jié)構(gòu)即空間位置關(guān) 系相對(duì)不變，保證了最佳的主觀觀賞質(zhì)量。


圖1為實(shí)施例中基于語(yǔ)義的細(xì)縫與非均勻映射方法結(jié)合方法的流程圖；圖2為實(shí)施例中方法的詳細(xì)流程圖；圖3為實(shí)施例中前向能量三種可能的路徑和相應(yīng)能量值變化；圖4為實(shí)施例中細(xì)縫方法操作步驟；圖5為實(shí)施例中輸入圖像幀。
具體實(shí)施例方式下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明的技術(shù)方案進(jìn)行更詳細(xì)的說(shuō)明。技術(shù)方案的整體流程如說(shuō)明書附圖1所示，本實(shí)施例是針對(duì)體育視頻中的籃球視 頻進(jìn)行的，源籃球圖像幀大小為288*352像素的BMP位圖。結(jié)合體育視頻中間層語(yǔ)義分析 結(jié)果，針對(duì)圖像幀提取用戶對(duì)語(yǔ)義區(qū)域重要性主觀評(píng)價(jià)的統(tǒng)計(jì)特征，并用來(lái)對(duì)基于底層特 征的能量函數(shù)進(jìn)行加權(quán)，得到語(yǔ)義加權(quán)的能量函數(shù)。接下來(lái)利用前向能量的細(xì)縫裁減方法 去除圖像中的不重要信息，同時(shí)用重要語(yǔ)義邊緣的變化度量重要信息變形，當(dāng)變形超過(guò)設(shè) 定指標(biāo)時(shí)終止細(xì)縫裁減方法，采用非均勻映射方法得到目標(biāo)大小的圖像。技術(shù)方案的詳細(xì) 流程圖如說(shuō)明書附圖2所示。A、讀入籃球視頻序列圖像，其高為288像素，寬為352像素。B、語(yǔ)義加權(quán)能量函數(shù)計(jì)算。首先闡述一下語(yǔ)義的概念。人們提出了體育視頻的三層語(yǔ)義結(jié)構(gòu)底層特征、中間 層特征和高層語(yǔ)義。此底層特征就是直接由圖像像素值提取的顏色、形狀、紋理等特征及其 組合。高層語(yǔ)義即人們理解的圖像內(nèi)容，目前還沒(méi)有達(dá)到自動(dòng)提取的程度。中間層特征可以歸結(jié)為簡(jiǎn)單的語(yǔ)義特征，他們基于底層特征、結(jié)合領(lǐng)域知識(shí)而得到，一般可以自動(dòng)提取。本實(shí)施例中采用的是中間層語(yǔ)義。體育視頻中比賽場(chǎng)地一般都包含較少細(xì)節(jié)信 息，用傳統(tǒng)的能量函數(shù)往往會(huì)產(chǎn)生與人們的理解不完全一致的結(jié)果。我們提出了一種語(yǔ)義 加權(quán)能量函數(shù)計(jì)算方法，結(jié)合中間層語(yǔ)義特征對(duì)傳統(tǒng)的能量函數(shù)進(jìn)行修正，以得到的能量 函數(shù)能夠更好的表示圖像語(yǔ)義。所述步驟B具體包括Bi、對(duì)輸入的當(dāng)前圖像幀劃分語(yǔ)義區(qū)域并標(biāo)定重要區(qū)和非重要區(qū)的語(yǔ)義邊緣。本 實(shí)施例中語(yǔ)義區(qū)域包括場(chǎng)地區(qū)域、運(yùn)動(dòng)員區(qū)域、記分牌區(qū)域、觀眾區(qū)和廣告牌區(qū)域，見(jiàn)說(shuō)明 書附圖5 (黑色三角和白色三角為兩隊(duì)球員，黑色圓點(diǎn)為籃球，白色菱形為裁判人員)。然后 根據(jù)語(yǔ)義重要性自動(dòng)確定各個(gè)不同的語(yǔ)義區(qū)及邊緣區(qū)內(nèi)的權(quán)值，場(chǎng)地區(qū)域權(quán)值為5、運(yùn)動(dòng)員 區(qū)域權(quán)值為6、記分牌區(qū)域?yàn)?、觀眾區(qū)和廣告牌區(qū)域?yàn)?，得到當(dāng)前幀的語(yǔ)義權(quán)值函數(shù)。B2、根據(jù)當(dāng)前圖像幀中每一個(gè)像素點(diǎn)的R、G、B分量值計(jì)算灰度值，根據(jù)灰度計(jì)算 公式為gray = 0. 299*R+0. 587*G+0. 114*B，可以得到圖像幀的灰度函數(shù)。計(jì)算源圖像每一 個(gè)像素點(diǎn)灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)。B3、計(jì)算源圖像每一個(gè)像素點(diǎn)的能量值，我們希望能量值能夠表征圖像中 像素點(diǎn)的重要程度，本實(shí)施方式采用梯度值這種簡(jiǎn)單有效的方式來(lái)計(jì)算能量值并再 進(jìn)一步用語(yǔ)義權(quán)值對(duì)其修正。圖像中像素的灰度值為I(i，j)，該點(diǎn)的梯度能量即 <i,j) =I il(i,j) I +1 il(i,j I。梯度值越大，能量值越大。為了更好的表征像素點(diǎn)的重要程度，我們提出采用語(yǔ)義加權(quán)的能量函數(shù)改進(jìn)算 法，在圖像大小縮放的過(guò)程中更加有助于保護(hù)圖像當(dāng)中的重要語(yǔ)義區(qū)域及邊緣。計(jì)算當(dāng)前 圖像幀中每一個(gè)像素點(diǎn)能量值和語(yǔ)義權(quán)值的乘積，得到當(dāng)前圖像幀的加權(quán)能量函數(shù)。語(yǔ)義 加權(quán)能量值=梯度能量值*語(yǔ)義權(quán)值進(jìn)一步地，所述步驟Bl具體包括31、人們對(duì)于不同語(yǔ)義區(qū)域重要性理解有一定的共性，但也存在差別。忽略較小差 別，提取共性，并將其與圖像內(nèi)容重要性關(guān)聯(lián)起來(lái)以得到與人類理解相符合的結(jié)果?；诖?我們發(fā)放調(diào)查問(wèn)卷請(qǐng)用戶給各語(yǔ)義區(qū)域重要性打分(1-10)，統(tǒng)計(jì)共m處語(yǔ)義區(qū)域重要性的
分布 pSi(Im)，i = 1，2，...m，并計(jì)算其均值{Ave_Imsl, Ave_ImS2,......Ave_ImsJ 和方差
{vmsl, vmS2,......vmsJ。確定語(yǔ)義區(qū)域 Si 的有效范圍[Ave_ImSi-3vmSi, Ave_ImSi+3vmSi]。32、根據(jù)語(yǔ)義重要性自動(dòng)確定語(yǔ)義加權(quán)值。設(shè)底層能量函數(shù)計(jì)算公式Φ (ρ)，隨機(jī) 選取一些訓(xùn)練視頻幀，統(tǒng)計(jì)語(yǔ)義區(qū)域Si的能量分布值pSi (Eng)語(yǔ)義區(qū)域Si的重要性權(quán)值通過(guò)公式(1)計(jì)算 至此，得到圖像中的相應(yīng)像素點(diǎn)的語(yǔ)義重要性權(quán)值w(i, j) = Iffeightsi, (i，j) e Si}。C、采用細(xì)縫增刪方法逐步去除或者增加當(dāng)前圖像幀中的細(xì)縫即低能量線來(lái)實(shí)現(xiàn) 圖像大小的自適應(yīng)。隨時(shí)監(jiān)測(cè)重要信息變形的度量值，當(dāng)這一度量達(dá)到某個(gè)閾值時(shí)即停止 細(xì)縫算法，方法如說(shuō)明書附圖4所示，具體說(shuō)明見(jiàn)下面步驟。
進(jìn)一步地，所述步驟C具體包括Cl、設(shè)定輸出目標(biāo)圖像的長(zhǎng)寬大小。通過(guò)目標(biāo)圖像和源圖像長(zhǎng)寬的比對(duì)，我們可 以得到我們將在水平方向和垂直方向改變多少尺寸。本實(shí)施例設(shè)定輸出目標(biāo)圖像大小為 176*144，即長(zhǎng)度和寬度各減少一半。C2、細(xì)縫方法的思想是從圖像中尋找一條能量最小的垂直或水平縫隙，將找到的 縫隙上所有的像素點(diǎn)刪除或復(fù)制以實(shí)現(xiàn)圖像尺寸減小或增大。其中垂直或水平縫隙是指圖像中一條自頂向下或自左向右的曲線，圖像中的每一 行或列有且僅有一個(gè)像素點(diǎn)在這條曲線上，且曲線上任何相鄰兩行的像素點(diǎn)是鄰接的?？p 隙的能量被定義為縫隙上所有像素點(diǎn)的能量之和。如何尋找這條細(xì)縫是很重要的一個(gè)步驟。以尋找垂直方向細(xì)縫為例，基于內(nèi)容的 一般方法采用的是，尋找一條自頂向下的曲線即細(xì)縫，它的能量為所有它上面能量的和，刪
除或者復(fù)制它。我們計(jì)算圖像中所有像素點(diǎn)的能量的平均值為‘萬(wàn)ζΙ μ〗，·/)，當(dāng)我
my.n
們?nèi)我庖瞥鱿袼氐臅r(shí)候，這個(gè)圖像中的能量平均值;^應(yīng)該保持不變。當(dāng)移出地能量線上 的像素的時(shí)候，基于內(nèi)容的一般方法會(huì)使能量平均值增加?；趦?nèi)容的一般方法對(duì)大部分 圖像是可用的，但是忽略了能量的增加。我們注意到這樣的變化，當(dāng)細(xì)縫移出了，原來(lái)不相 鄰的像素變成了鄰居，新的鄰居產(chǎn)生了新的邊緣。于是本實(shí)施例采用了如下方法，即前向能
量方法。尋找細(xì)縫，當(dāng)它移出后圖像增加的能量最小。這樣的細(xì)縫的能量不一定是最小的， 但是當(dāng)它刪除或者復(fù)制后引起最小的假象，更好的保護(hù)圖像的語(yǔ)義內(nèi)容。新的邊緣的能量為新鄰居的能量差?？紤]到細(xì)縫的連續(xù)性，以及算垂直細(xì)縫為例 列出了所有的三種情況，如說(shuō)明說(shuō)附圖3所示移出像素Piij有三種路徑可以實(shí)現(xiàn)，從PiH1P^j或者PH, j+1到Pi,」即從左上方、 正上方、右上方到Pi,」三種路徑。當(dāng)移出兩個(gè)像素點(diǎn)后，產(chǎn)生新的邊緣，邊緣值分別為CLeft (i，j) = I(i, j+1) -I (i，j-1) I +1) I (i-1，j) -I (i，j-1)Cup (i，j) = I I (i，j+1) "I (i，j-1)CEight (i，j) = I (i，j+1) -I (i，j-1) I +11 (i-1，j) -I (i，j+1)當(dāng)然，會(huì)將上述的語(yǔ)義權(quán)值與其加權(quán)，來(lái)更好的保護(hù)圖像的語(yǔ)義內(nèi)容，即將像素的 每一點(diǎn)的語(yǔ)義權(quán)值w(i，j)與該點(diǎn)的邊緣值點(diǎn)積，如下CLeft (i，j) = w(i, j+1) I (i，j+1) -w (i，j-1) I (i，j-1) | +1 w (i-1，j) I (i-1，j) ι (i， j-l)I(i，j-1)Cup(i，j) = w(i, j+1) I (i，j+1)-w(i，j-1) I (i，j-1)CEight (i，j) = |w(i, j+1) I (i，j+1) -w (i，j-1) I (i，j-1) | +1 w (i-1，j) I (i-1，j) ι (i， j+l)I(i，j+1)需要說(shuō)明的是，要特別考慮一些特殊的點(diǎn)，當(dāng)計(jì)算水平的縫隙時(shí)，圖像的起始點(diǎn)、 第一行、第一列以及最后一行；當(dāng)計(jì)算垂直的縫隙的時(shí)候，圖像的起始點(diǎn)、第一行、第一列以 及最后一列。例如在計(jì)算垂直縫隙的時(shí)候，圖像的第一行，用相鄰的點(diǎn)的權(quán)值和灰度值代替 不存在的鄰居點(diǎn)的權(quán)值和灰度值。即 CLeft (i，j) = w(i, j+1) I (i，j+1) -w (i，j) I (i，j) I +1 w (i-1，j) I (i-1，j) ι (i，j)I(i，j)Cup (i，j) = w(i, j+1) I (i，j+1) -w(i，j) I (i，j)CEight(i, j) = w(i, j+l)I(i, j+l)-w(i, j)I(i，j) +|w(i-l, j)I(i_l，j)_w(i， j+l)I(i，j+1)三條路徑中的Qeft (i，j)，Cup (i，j)，CEight(i, j)，接下來(lái)就要尋找一條水平或者垂 直的細(xì)縫，這條細(xì)縫上的能量值為自頂向下或者自左向右的Qrft(i，j)，CUp(i，j), CEight(i, j)的疊加的最小值記為M(i，j)。即采用動(dòng)態(tài)規(guī)劃的方法求解前向能量最小細(xì)縫，具體做法 為初始化圖像寬度和高度，迭代次數(shù)k = 0。然后進(jìn)行第k次迭代，計(jì)算圖像的行代 價(jià)函數(shù)和列代價(jià)函數(shù)，以列為例，代價(jià)函數(shù)的計(jì)算通過(guò)以下公式循環(huán)迭代得到 求解后我們得到最小的列代價(jià)函數(shù)，我們記住它的列號(hào)。同理計(jì)算水平方向的細(xì) 縫的代價(jià)函數(shù)，記住它得行號(hào)。將所有行/列的代價(jià)函數(shù)進(jìn)行對(duì)比，得到最小代價(jià)函數(shù)，設(shè) 第1行為Costlil，設(shè)第1行為CostK1。代價(jià)函數(shù)CostK1對(duì)應(yīng)的路徑path(xy，y)即為低能量 線，去除圖像I(x，y)和語(yǔ)義加權(quán)圖w(i，j)中低能量線對(duì)應(yīng)位置的像素點(diǎn)。C3、進(jìn)一步根據(jù)低能量線path (xy，y)修正重要邊緣描述子。對(duì)重要邊緣Edgejmt 的第k個(gè)點(diǎn)(Xk，yk)，如果y = yk且Xk = Xy則刪除該點(diǎn)，邊緣長(zhǎng)度減1 ;如果y = yk且Xk > xyJJ xk = xk-l °C4、計(jì)算重要信息變形的度量值。如果重要信息變形的度量值超過(guò)設(shè)定閾值指標(biāo)， 則終止細(xì)縫裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Cl中進(jìn)行第k+1 次迭代計(jì)算。進(jìn)一步地，所述步驟C4具體包括重要信息變形采取重要區(qū)域邊緣即場(chǎng)地邊緣變形來(lái)度量。設(shè)場(chǎng)地邊緣描述子為Edge_imt = {(x1 J1), (x2, y2),......, (χη, yn)}, t = 1,2. ·· T根據(jù)本實(shí)施例中采用的圖像的特點(diǎn)，我們采用兩條場(chǎng)地邊緣Edgejm1和Edge_ im2，他們的坐標(biāo)點(diǎn)分別為:A(119,102)，B(351，131) ；C(0,169)，A(119，102)。根據(jù)坐標(biāo)點(diǎn)A，B, C我們計(jì)算得到直線AB即L1 =A1WByC1 = 0，直線AC即L2 A2x+B2y+C2 = 0。隨著圖像放大或縮小，兩條邊緣的方向保持不變，而是平行移動(dòng)。換句話講，在邊 緣對(duì)應(yīng)的直線方程 L1 -Λ,χ+^y+C, = 0，L2 :A2x+B2y+C2 = 0 中，A1, A2 和 B1, B2 保持不變，C1,， C2隨著圖像的縮放而變化。用當(dāng)前圖像中邊緣Edgejmt上的所有象素點(diǎn)采用最小均方誤差方法計(jì)算Ct確定 直線方程。進(jìn)一步，計(jì)算邊緣Edgejmt所有點(diǎn)與擬合直線Lt的垂直距離(即點(diǎn)與擬合直線的 偏移量)
Γ η , \A^m+Btym+c\ 尋找最大偏移量作為重要信息變形指標(biāo)^ = maxWl \t = \,..T,m = \,..n}變形度量準(zhǔn)則采用閾值法，通過(guò)綜合各種類型的直線變形訓(xùn)練得到閾值。本實(shí)施 例中的閾值通過(guò)實(shí)驗(yàn)設(shè)定為1.5。如果重要信息變形的度量值大于設(shè)定閾值，停止細(xì)縫裁 減。D、當(dāng)重要信息變形的度量值大于設(shè)定閾值時(shí)細(xì)縫裁減停止，接下來(lái)采用非均勻映 射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為Cl中設(shè)定的目標(biāo)。將非均勻映射過(guò)程 分為兩個(gè)層次，首先處理不包含記分牌的圖像區(qū)域即自然圖像，然后處理記分牌區(qū)域即記 分牌圖像。細(xì)縫裁減方法的隨機(jī)變形對(duì)以文字為主的記分牌區(qū)域有很大影響，記分牌區(qū)域 直接從原始圖像的記分牌圖像進(jìn)行映射。自然圖像則從細(xì)縫裁減后的圖像進(jìn)行映射。進(jìn)一步地，所述步驟D具體包括D1、根據(jù)A步驟中得到的語(yǔ)義重要性統(tǒng)計(jì)值將自然圖像分為重要區(qū)域和不重要區(qū) 域，設(shè)定閾值將各語(yǔ)義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域。D2、通過(guò)邊緣檢測(cè)來(lái)得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分 牌圖像的非重要區(qū)域。D3、對(duì)包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進(jìn)行非均勻映 射。先處理自然圖像，得到記分牌區(qū)域的目標(biāo)大小。以此為目標(biāo)，采用相同的方法對(duì)原始記 分牌圖像進(jìn)行非均勻映射，實(shí)現(xiàn)記分牌圖像自適應(yīng)。最后將其疊加到自然圖像的自適應(yīng)結(jié) 果中，得到最終的自適應(yīng)圖像。進(jìn)一步地，所述步驟D3具體包括D31、圖像共包含d個(gè)重要區(qū)域F = F1UF2U，... U Fd。將圖像分為K個(gè)矩形柵 格區(qū)域，自然圖像對(duì)應(yīng)的柵格較大，記分牌圖像對(duì)應(yīng)的柵格較小。D32、設(shè)原始柵格頂點(diǎn)經(jīng)過(guò)非均勻映射后為V' ={ν' ι;ν' 2.v' N}，重要區(qū)域比 例因子為SFlm，不重要區(qū)域比例因子為SFNIm。重要區(qū)域的比例因子分為行重要比例因子和 列重要比例因子；行重要比例因子為目標(biāo)圖像寬度除以每行的重要區(qū)域象素?cái)?shù)，列重要比 例因子為目標(biāo)圖像高度除以每列的重要區(qū)域象素?cái)?shù)。綜合行與列重要比例因子綜合求最大 得到重要區(qū)域比例因子為SFlm，同理得到不重要區(qū)域比例因子。結(jié)合兩個(gè)比例因子和重要 區(qū)域F，得到相應(yīng)頂點(diǎn)的重要性權(quán)值SI (Vi)。D33、計(jì)算V' =Iv' 1； ν' 2,...v' N}，使其在重要性權(quán)值SI (Vi)的作用下盡可 能接近原始圖像中的柵格頂點(diǎn)V = Iv1, V2, . . . vN}。
權(quán)利要求
一種基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，包括以下步驟A、讀入視頻序列圖像，對(duì)當(dāng)前圖像幀提取用戶對(duì)語(yǔ)義區(qū)域重要性主觀評(píng)價(jià)的統(tǒng)計(jì)特征，并用來(lái)對(duì)基于底層特征的能量函數(shù)進(jìn)行加權(quán)，得到語(yǔ)義加權(quán)的能量函數(shù)；B、采用細(xì)縫裁剪方法逐步去除或者增加當(dāng)前語(yǔ)義加權(quán)的圖像幀中的細(xì)縫即低能量線來(lái)實(shí)現(xiàn)圖像大小的自適應(yīng)；隨時(shí)監(jiān)測(cè)重要信息變形，當(dāng)這一度量達(dá)到某個(gè)閾值時(shí)即停止細(xì)縫算法；C、當(dāng)重要信息變形大于設(shè)定閾值時(shí)細(xì)縫裁減停止，采用非均勻映射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為設(shè)定的目標(biāo)；非均勻映射過(guò)程分為兩個(gè)層次，首先處理不包含記分牌的圖像區(qū)域即自然圖像，從細(xì)縫裁減后的圖像進(jìn)行映射；然后處理記分牌區(qū)域即記分牌圖像，直接從原始圖像的記分牌圖像進(jìn)行映射。
2.根據(jù)權(quán)利要求1所述的基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟A具體包括Al、對(duì)輸入的當(dāng)前圖像幀劃分語(yǔ)義區(qū)域并標(biāo)定重要區(qū)和非重要區(qū)的語(yǔ)義邊緣；語(yǔ)義區(qū) 域包括場(chǎng)地區(qū)域、運(yùn)動(dòng)員區(qū)域、記分牌區(qū)域、關(guān)鍵對(duì)象區(qū)域、觀眾區(qū)域、廣告牌區(qū)域等常用體 育視頻語(yǔ)義區(qū)域；根據(jù)語(yǔ)義重要性自動(dòng)確定各個(gè)不同的語(yǔ)義區(qū)及邊緣區(qū)內(nèi)的權(quán)值，得到當(dāng) 前幀的語(yǔ)義權(quán)值函數(shù)；A2、計(jì)算當(dāng)前圖像幀中每一個(gè)像素點(diǎn)的灰度值，得到圖像幀的灰度函數(shù)；計(jì)算源圖像每 一個(gè)像素點(diǎn)灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)；A3、計(jì)算源圖像每一個(gè)像素點(diǎn)的能量值，能量值采用梯度能量來(lái)計(jì)算，得到幀圖像的能 量函數(shù)；根據(jù)梯度能量值計(jì)算前向能量值；計(jì)算當(dāng)前圖像幀中每一個(gè)像素點(diǎn)前向能量值和 語(yǔ)義權(quán)值的乘積，得到當(dāng)前圖像幀的加權(quán)能量函數(shù)。
3.根據(jù)權(quán)利要求2所述的基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟Al具體包括31、請(qǐng)用戶給各語(yǔ)義區(qū)域重要性打分，統(tǒng)計(jì)共m處語(yǔ)義區(qū)域重要性的分布，并計(jì)算其均 值和方差，根據(jù)均值和方差確定語(yǔ)義區(qū)域Si的有效范圍；32、根據(jù)語(yǔ)義重要性自動(dòng)確定語(yǔ)義加權(quán)值；設(shè)底層能量函數(shù)計(jì)算公式Φ(ρ)，隨機(jī)選取 一些訓(xùn)練視頻幀，統(tǒng)計(jì)語(yǔ)義區(qū)域Si的能量分布值pSi (Eng)，語(yǔ)義區(qū)域Si的重要性權(quán)值通過(guò)公式計(jì)算，i4ve_ImSl-+3v7Ma OOWeightsi = J \pSi (Im)jPs, (Eng)(lm/ Eng)d]mdEngAve_]mSi Svmsj 0求出圖像中的相應(yīng)像素點(diǎn)的語(yǔ)義重要性權(quán)值為W(i，j)。
4.根據(jù)權(quán)利要求1所述的基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟B具體包括Bi、設(shè)定輸出目標(biāo)圖像的長(zhǎng)寬大??；B2、計(jì)算圖像的行代價(jià)函數(shù)和列代價(jià)函數(shù)；將所有行/列的代價(jià)函數(shù)進(jìn)行對(duì)比，得到最 小代價(jià)函數(shù)，其對(duì)應(yīng)的路徑即為低能量線，去除圖像和語(yǔ)義加權(quán)圖w(i，j)中低能量線對(duì)應(yīng) 位置的像素點(diǎn)；B3、根據(jù)低能量線path(Xy，y)修正重要邊緣描述子；對(duì)重要邊緣Edgejmt的第k個(gè)點(diǎn)(xk, yk)，如果y = yk且xk = xy則刪除該點(diǎn)，邊緣長(zhǎng)度減1 ；如果y = yk且xk > xy，則xk = Xk-I ；B4、計(jì)算重要信息變形的度量值；如果重要信息度量值超過(guò)設(shè)定閾值指標(biāo)，則終止細(xì)縫 裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Bl中進(jìn)行第k+Ι次迭代計(jì)算。
5.根據(jù)權(quán)利要求4所述的基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟B4具體包括重要信息變形的度量值采取重要區(qū)域邊緣即場(chǎng)地邊緣變形來(lái)度量；設(shè)場(chǎng)地邊緣描述子為Edge_imt = {(X1, Y1), (x2, y2),......, (χη, yn)}, t = 1, 2. . . T隨著圖像放大或縮小，邊緣Edgejmt的方向保持不變，而是平行移動(dòng)；在邊緣對(duì)應(yīng)的直 線方程It :Atx+Bty+Ct = 0中，At和Bt保持不變，Ct隨著圖像的縮放而變化；用當(dāng)前圖像中 邊緣Edgejmt上的所有象素點(diǎn)采用最小均方誤差方法計(jì)算Ct確定直線方程；進(jìn)一步，計(jì)算 邊緣Edgejmt所有點(diǎn)與擬合直線Lt的垂直距離(即點(diǎn)與擬合直線的偏移量)d, JA^Btym+Ct\尋找最大偏移量作為重要信息變形指標(biāo)χ = md^{d'm \ t = \,..T,m-\,..n}變形度量準(zhǔn)則采用閾值法，通過(guò)綜合各種類型的直線變形訓(xùn)練得到閾值；如果重要信 息變形大于設(shè)定閾值，停止細(xì)縫裁減。
6.根據(jù)權(quán)利要求1所述的基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟C具體包括Cl、根據(jù)A步驟中得到的語(yǔ)義重要性統(tǒng)計(jì)值將自然圖像分為重要區(qū)域和不重要區(qū)域， 設(shè)定閾值將各語(yǔ)義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域；C2、通過(guò)邊緣檢測(cè)來(lái)得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分牌圖 像的非重要區(qū)域；C3、對(duì)包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進(jìn)行非均勻映射；先 處理自然圖像，得到記分牌區(qū)域的目標(biāo)大?。灰源藶槟繕?biāo)，采用相同的方法對(duì)原始記分牌圖 像進(jìn)行非均勻映射，實(shí)現(xiàn)記分牌圖像自適應(yīng)；最后將其疊加到自然圖像的自適應(yīng)結(jié)果中，得 到最終的自適應(yīng)圖像。
全文摘要
一種基于語(yǔ)義的細(xì)縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，該方法包括結(jié)合體育視頻中間層語(yǔ)義分析結(jié)果，針對(duì)圖像幀提取用戶對(duì)語(yǔ)義區(qū)域重要性主觀評(píng)價(jià)的統(tǒng)計(jì)特征，并用來(lái)對(duì)基于底層特征的能量函數(shù)進(jìn)行加權(quán)，得到語(yǔ)義加權(quán)的能量函數(shù)；利用前向能量的細(xì)縫裁減方法去除圖像中的不重要信息，同時(shí)用重要語(yǔ)義邊緣的變化度量重要信息變形，當(dāng)變形超過(guò)設(shè)定指標(biāo)時(shí)終止細(xì)縫裁減方法，采用非均勻映射方法得到目標(biāo)大小的圖像。方法框架如摘要附圖所示。本發(fā)明將目前比較好的兩種方法——細(xì)縫裁減方法和非均勻映射方法有機(jī)結(jié)合，充分發(fā)揮各自的優(yōu)點(diǎn)，實(shí)現(xiàn)綜合最優(yōu)的圖像視頻自適應(yīng)結(jié)果；并且引入了語(yǔ)義加權(quán)的能量函數(shù)計(jì)算，實(shí)現(xiàn)基于語(yǔ)義內(nèi)容的圖像大小自適應(yīng)。
文檔編號(hào)G06T7/00GK101923703SQ201010264739
公開(kāi)日2010年12月22日 申請(qǐng)日期2010年8月27日 優(yōu)先權(quán)日2010年8月27日
發(fā)明者劉書琴, 宮玉, 毋立芳, 王紅, 鄧亞麗 申請(qǐng)人:北京工業(yè)大學(xué)