專利名稱：一種基于圖像集的漫游視頻自動(dòng)生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于放大形式的圖像瀏覽方法。
背景技術(shù)：
基于放大形式的圖像瀏覽方法隸屬于非真實(shí)感圖像視頻處理領(lǐng)域，目前網(wǎng)上 流行一種被成為zoomquilt的非真實(shí)感藝術(shù)表現(xiàn)形式藝術(shù)家手繪一系圖像，形 成一個(gè)放大播放圖像的flash視頻，播放的視頻在視覺上是連續(xù)的。但是要制作 這樣一個(gè)flash,需要藝術(shù)家精心設(shè)計(jì)并繪制場(chǎng)景，需要消耗大量人力。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于圖像集的漫游視頻自動(dòng)生成方 法，它能夠基于計(jì)算機(jī)處理自動(dòng)生成圖像瀏覽視頻。為此本發(fā)明采用以下技術(shù)方
案該方法包括以下步驟
(1) 本地匹配設(shè)圖像集中任意一幅圖像為圖像A，任意另一幅圖像為圖
像B，將圖像B縮小后，與圖像A中的不同位置圖像進(jìn)行比較，計(jì)算出它們之間 的圖像差別，尋找所述圖像A中與所述縮小的圖像B之間圖像差別最小的位置， 將該位置作為所述縮小的圖像B在圖像A中的嵌入位置，該最小圖像差別作為兩 圖像最終圖像差別存入圖像差別表；重復(fù)上述步驟，對(duì)圖像集中的圖像進(jìn)行兩兩 匹配，將獲得的最小圖像差別存入圖像差別表；
(2) 全局優(yōu)化系統(tǒng)根據(jù)本地匹配得到的圖像差別表，找出圖像差別總和
最小的原始圖像排列序列，作為播放序列，其中，嵌入的圖像排在被嵌入的圖像
的后面；(3)圖像合成按照得到的播放序列，按前后次序，設(shè)序列中原始圖像為 i、 i+l、 i+2……i+(n-1)、 i+n，將i+l縮小并按照本地匹配中獲得的嵌入位置 嵌入到i中，放大i和i+l的合成圖像，直至i+l充滿視窗；重復(fù)上述過程，進(jìn) 行i+l與i+2直至i+ (n-l)與i+n的處理；每個(gè)放大階段的合成圖像都作為前 后原始圖像之間的插值圖像，所有圖像輸出視頻的幀；
最后，將所有幀連接成視頻輸出。
基于放大形式的圖像瀏覽方法，定義的圖像差別包含以下要素顏色差別， 紋理差別，圖像復(fù)雜性。
顏色是圖像最顯著的特征，與其他特征相比，顏色特征計(jì)算簡(jiǎn)單、性質(zhì)穩(wěn)定， 對(duì)于旋轉(zhuǎn)、平移、尺度變化都不敏感，表現(xiàn)出很強(qiáng)的魯棒性。顏色特征包括顏色 直方圖、主要顏色、平均亮度等。本方法使用HSV顏色空間上的平均像素差平方 (sum squared of difference)來衡量顏色差另廿
紋理分析一直是計(jì)算機(jī)視覺的一個(gè)重要研究方向，其方法可以大致分為統(tǒng)計(jì) 方法和結(jié)構(gòu)方法。統(tǒng)計(jì)方法是對(duì)圖像的顏色強(qiáng)度的空間分布信息進(jìn)行統(tǒng)計(jì)，又可 進(jìn)一步分為傳統(tǒng)的基于模型的統(tǒng)計(jì)方法和基于頻譜分析的方法，如馬爾可夫隨機(jī) 場(chǎng)模型、Fourier頻譜特性等。結(jié)構(gòu)方法首先假定紋理模式由紋理單元按照一定 規(guī)則排列組成，因此紋理分析就變?yōu)榇_定這些單元、定量分析它們的空間排列。 本方法使用梯度圖像的平均像素差平方來衡量紋理差別。
圖像復(fù)雜性問題是近年來計(jì)算機(jī)視覺的研究熱點(diǎn)問題，人眼很難從復(fù)雜場(chǎng)景 中辨別出一個(gè)物體，但很容易從簡(jiǎn)單的場(chǎng)景分別出一個(gè)物體，故將縮小圖像嵌入 到一個(gè)相對(duì)復(fù)雜的區(qū)域是一個(gè)更好的選擇。
全局優(yōu)化問題也是一個(gè)被廣泛研究的問題，有許多方法被用來解決優(yōu)化問 題，比如模擬退火算法，蟻群算法，動(dòng)態(tài)規(guī)劃算法也適用于解決這一系列問題。
圖割算法在過去幾年被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，以解決標(biāo)簽問題，能量 最小化問題等等，具體的應(yīng)用領(lǐng)域包含圖像分割，圖像拼接，視頻拼接等等，特 別在在圖像拼接方面，圖割算法有著非常好的效果。由于采用本發(fā)明的技術(shù)方案，本發(fā)明以一系列圖像作為輸入，找到一個(gè)最佳 瀏覽序列，形成一段不斷放大的具有視覺連續(xù)性的圖像瀏覽視頻，本發(fā)明同時(shí)還 具有以下有益效果
1. 提供了一種更為生動(dòng)的圖像瀏覽方式，使用戶以一種更為生動(dòng)的方式瀏覽 圖像，猶如在圖像的場(chǎng)景中漫游。
2. 對(duì)于一個(gè)旅游景點(diǎn)的一系列圖像，本方法可生成一段較好串聯(lián)該景點(diǎn)不同 場(chǎng)景的視頻，作為該旅游景點(diǎn)的宣傳片。
3. 制作方法速度較快，不需要花費(fèi)過多的人力物力去設(shè)計(jì)場(chǎng)景與選擇圖像， 整個(gè)視頻生成過程自動(dòng)化程度高。


圖1為本發(fā)明所提供的自動(dòng)生成方法的流程圖。 圖2為本發(fā)明所提供的本地匹配步驟的子流程。 圖3為本發(fā)明所提供的圖像合成步驟的子流程圖。
圖4為本發(fā)明所提供的自動(dòng)生成方法的過程描述圖，演示了將圖像集作為輸
入，輸出最佳播放序列，播放序列中的相鄰圖片之間進(jìn)行合成圖像插值，形成輸 出視頻的過程。
圖5為本發(fā)明所提供的自動(dòng)生成方法處理實(shí)例的示意簡(jiǎn)圖，其在圖中，第一 排為按序列排列的屬于一個(gè)圖像播放序列中的一部分圖像，第二排為生成視頻中 連接其中兩個(gè)相鄰圖像的插值中間幀。
具體實(shí)施例方式
首先定義在接下來說明中要用到的符號(hào)圖像序列定義為^...,^。將Ii定義 為目標(biāo)圖像，將,+1的縮小版本記做^ 。
^和嗎+1的合成圖像記做3^+31。平均像
素差平方(sum squared of difference), 縮寫為SSD。
6圖l是本發(fā)明的基本流程圖，本發(fā)明以一系列圖像作為輸入，以一段不斷放 大在圖像中切換的視頻作為輸出。
下面對(duì)本發(fā)明的各個(gè)流程進(jìn)行詳細(xì)說明 1.本地匹配
本地匹配以一系列圖像作為輸入(流程如圖2所示)，其大體流程如下設(shè) 圖像中任意一幅圖像為圖像A，任意另一幅圖像為圖像B，將圖像B縮小后，與
圖像A中的不同位置圖像進(jìn)行比較，計(jì)算出它們之間的圖像差別，尋找所述圖像 A中與所述縮小的圖像B之間圖像差別最小的位置，將該位置作為所述縮小的圖 像B在圖像A中的嵌入位置，該最小圖像差別作為兩圖像最終圖像差別存入圖像 差別表；重復(fù)上述步驟，對(duì)圖像集中的圖像進(jìn)行兩兩匹配，將獲得的最小圖像差 別存入圖像差別表
圖像差別包含四個(gè)方面顏色差別，紋理差別，嵌入位置的圖像復(fù)雜度，嵌 入位置在圖像中的位置。
HSV空間顏色差別iic = cxD(H) + pD(S) + yD(V)，其中a : p : Y = 4 : 1 : 1，
為權(quán)重值，D(H)， D(S)， D(V)分別表示3個(gè)通道上的平均像素SSD 紋理差別A"T定義為經(jīng)中值濾波的兩幅梯度圖像的平均像素SSD 圖像復(fù)雜度使用方差V衡量目標(biāo)圖像區(qū)域的復(fù)雜度
嵌入位置對(duì)邊緣的位置p定義懲罰值Pt(p)，靠近圖像中央的嵌入位置與圖 像邊緣的嵌入位置相比較，其圖像差別值小，其懲罰值Pt(p)小，對(duì)于中間的位
置，該項(xiàng)為o。也即靠近圖像中央的嵌入位置給予較小的懲罰，在圖像邊緣的位
置給予較大的懲罰。
比較過程按照?qǐng)D2所示進(jìn)行，對(duì)某嵌入位置首先比較顏色差別，若顏色差別
大于某一個(gè)設(shè)定閾值，則跳過該位置，去其他位置進(jìn)行比較，否則繼續(xù)比較紋理 差別，圖像復(fù)雜度，嵌入位置三個(gè)因素，直到得到該位置的綜合評(píng)價(jià)。
7綜合上述幾項(xiàng)，將第i張圖像的縮小版本(大小為r)嵌入第j張圖像的消耗
定義如下
Costr歸=min(w^A啦p) — w2￥(p) + w3AT(i,p) Hh w傘Pt(p))
其中p是嵌入位置，G是所有位置的集合，Wl = X4 , W2 - w3 = W4 = (J-2,
為權(quán)重值，其余幾項(xiàng)為上述描述圖像差別要考慮的因素，最后，考慮圖像i的不 同大小，將圖像i貼入圖像j的消耗定義如下
Cos啦j) 二 min(Costr(i,j))
其中R為我們考慮的所有分辨率集合(一般選取16x16, 32x32, 64x64)。 計(jì)算所有圖像兩兩之間的Cost(i, j)，最后可以得到存儲(chǔ)所有圖像之間差別 的表Best Map (圖像差別表)。 2.全局優(yōu)化
全局優(yōu)化以本地匹配得到的圖像差別表作為輸入，問題要產(chǎn)生一個(gè)最優(yōu)播放 序列，使得序列中不出現(xiàn)重復(fù)圖像，并且相鄰圖像之間的圖像差別之和最小，該 問題通過動(dòng)態(tài)規(guī)劃解決，建立一個(gè)二維表格BestSeq，表格中的元素 BestSeqa0.Ct表示長(zhǎng)度為i的以第j個(gè)圖像為結(jié)尾的序列的最小總消耗，表格 同時(shí)還存儲(chǔ)序列中前一個(gè)圖像的索引，動(dòng)態(tài)規(guī)劃遞歸方程表示如下
BestSeq(i,，).Ct = ^ta (BestSeq(i — l,k).Ct + CostQ,k》+ Penalty)
其中CostQ,k》是從Best Map中查得的將j貼入k的消耗，Penalty用以防止 序列中重復(fù)圖像的出現(xiàn)，若圖像j已在之前的序列中出現(xiàn)，Penalty就是一個(gè)很 大的數(shù)字，否則，Penalty就是O。
動(dòng)態(tài)規(guī)劃結(jié)束之后，在表格中最后一行找到總消耗最小的一個(gè)元素，通過索 引信息進(jìn)行回溯，可以得到一個(gè)最優(yōu)序列。3.圖像合成
在得到最優(yōu)播放序列之后，對(duì)序列中前后兩張圖像在各個(gè)放大階段進(jìn)行合成 (流程如圖3所示)，本發(fā)明的圖像合成策略，采用圖割結(jié)果進(jìn)行引導(dǎo)，得到嵌
入圖像IWi和Ii進(jìn)行合成的最佳合成邊界，通過該邊界進(jìn)行擴(kuò)張，生成包含IUi中 所有像素點(diǎn)alpha值的核K。 圖割的能量函數(shù)定義如下
E(L) = J" Ea^(p,L(p)) + E輯她(p,化丄(p)丄(q))
其中itoa是一階能量，i^^是二階能量?！妒窍鄬?duì)重要性，L(p)表示給p點(diǎn) 標(biāo)記的標(biāo)簽，l表示該點(diǎn)采用Pi+i的像素，o表示采用i的像素。 一階能量定義如下
f&ts(,)=韭—d!st(p,c柳ter)
其中，n是嗎+1的大小，設(shè)k=0. 6， dist是計(jì)算兩個(gè)像素點(diǎn)距離的函數(shù)，center
是^+1的幾何中心。
二階能量定義如下 E,。thCp,q丄(p)丄(q)) = IL(p).p — L(q).pll + l謂L(p),:q — LGj).qll
其中，L(a).fc表示L(a)上像素b的顏色值，L(a)=0表示是目標(biāo)圖像，L(a)=l 表示是縮小的圖像。
使用上述定義的能量函數(shù)，采用最大流方法可以求得嵌入圖像PiM和Ii進(jìn)行合 成的最佳合成邊界，邊界將圖像分為A和E兩個(gè)部分。通過該邊界，生成包含5+1 中所有像素點(diǎn)alpha值的核K，生成原則如下
*對(duì)于區(qū)域A中的像素點(diǎn)，給定alpha值
*對(duì)于屬于E中的像素點(diǎn)，進(jìn)行4鄰接擴(kuò)張，給定alpha值n/w
9_ S*step(p)
其中，n為當(dāng)前g+i大小，w為視窗大小，S為一給定常數(shù)，st印(p)表示像素
p經(jīng)過擴(kuò)張到達(dá)的步數(shù)。 最后得到合成圖像 S二 Ki +(l — K)Tr
其中t;表示與p對(duì)應(yīng)的目標(biāo)圖像區(qū)域。
事實(shí)上有可能存在圖割結(jié)果不理想的結(jié)果，若圖割得到區(qū)域a小于整個(gè)區(qū)域
面積的1/4，則放棄采用圖割結(jié)果，轉(zhuǎn)而使用高斯函數(shù)生成alpha核K: K(&y):Ae一 2贈(zèng) —
2 2
其中(x。,y。)為P幾何中心的坐標(biāo)，《和^是方差，n為當(dāng)前Pj+i大小，w為
視窗大小，k用以調(diào)節(jié)核的平滑度，在此被定為4.5。 4.維護(hù)幀間關(guān)聯(lián)性
在序列中，當(dāng)PiH填滿了視窗，合成圖像由Si,i+i轉(zhuǎn)為了Si+工i+2，在此就會(huì)產(chǎn)
生視覺突變，為防止該突變發(fā)生，將前面的合成圖像與后面的合成圖像進(jìn)行幾個(gè) 步驟的混合，加入過渡幀
T體=ceSii+i + Cl _ a) Si+:U+2
其中Tran表示過渡幀，《的初始值設(shè)定為0. 9，每一部放大將其值減小0. 025， 直至其值減小至0。
i 一---
a a5.生成視頻
經(jīng)過上述幾個(gè)過程，在每個(gè)放大步驟生成視頻的一幀，所有這些幀組成了輸 出的放大視頻。圖5展示了其中部分連接相鄰圖像的幀。
權(quán)利要求
1、一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于該方法包括以下步驟(1)本地匹配設(shè)圖像集中任意一幅圖像為圖像A，任意另一幅圖像為圖像B，將圖像B縮小后，與圖像A中的不同位置圖像進(jìn)行比較，計(jì)算出它們之間的圖像差別，尋找所述圖像A中與所述縮小的圖像B之間圖像差別最小的位置，將該位置作為所述縮小的圖像B在圖像A中的嵌入位置，該最小圖像差別作為兩圖像最終圖像差別存入圖像差別表；重復(fù)上述步驟，對(duì)圖像集中的圖像進(jìn)行兩兩匹配，將獲得的最小圖像差別存入圖像差別表；(2)全局優(yōu)化根據(jù)本地匹配得到的圖像差別表，找出圖像差別總和最小的圖像排列序列，作為播放序列，其中，嵌入的圖像排在被嵌入的圖像的后面；(3)圖像合成按照得到的播放序列，按前后次序，設(shè)序列中原始圖像為i、i+1、i+2……i+(n-1)、i+n，將i+1縮小并按照本地匹配中獲得的嵌入位置嵌入到i中，放大i和i+1的合成圖像，直至i+1充滿視窗；重復(fù)上述過程，進(jìn)行i+1與i+2直至i+(n-1)與i+n的處理；每個(gè)放大階段的合成圖像都作為前后原始圖像之間的插值圖像，所有圖像輸出視頻的幀；最后，將所有幀連接成視頻輸出。
2、 根據(jù)權(quán)利要求l所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于所述圖像差別包含2個(gè)方面顏色差別，紋理差別；其中，顏色差別使用HSV顏色空間上的平均像素差平方(sum squared of difference)來衡量；紋理差別使用梯度圖像的平均像素差平方來衡量。
3、 根據(jù)權(quán)利要求2所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于所述圖像差別包含2個(gè)方面嵌入位置的圖像復(fù)雜度，嵌入位置在圖像中的位置；圖像復(fù)雜度使用方差來衡量，嵌入位置的圖像復(fù)雜度越大，圖像差別值越??；靠近圖像中央的嵌入位置與圖像邊緣的嵌入位置相比較，其圖像差別值小。
4、 根據(jù)權(quán)利要求2或3所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于在計(jì)算所述圖像差別時(shí)，首先計(jì)算顏色差別，若顏色差別大于給定閾值則放棄該圖像差別比較，否則，繼續(xù)計(jì)算剩下幾個(gè)因素進(jìn)行完全比較。
5、 根據(jù)權(quán)利要求1所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于在步驟(1)中，將所述圖像A劃分為與所述縮小的圖像B大小相同的不相交子區(qū)域，對(duì)所述縮小的圖像B與所述子區(qū)域進(jìn)行圖像差別比較。
6、 根據(jù)權(quán)利要求1所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于在步驟(2)中，使用動(dòng)態(tài)規(guī)劃方法得到所述播放序列；設(shè)播放序列的相鄰前后的兩個(gè)圖像中，前一個(gè)圖像為被嵌入圖像，后一個(gè)圖像的縮小圖像為嵌入圖像，在輸出信息中，還包括播放序列中的嵌入圖像的最佳初始縮小尺寸信息以及被嵌入圖像的被嵌入位置信息。
7、 根據(jù)權(quán)利要求l所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于設(shè)播放序列的相鄰前后的兩個(gè)圖像中，前一個(gè)圖像為被嵌入圖像，后一個(gè)圖像的縮小圖像為嵌入圖像，在步驟(3)中，對(duì)每個(gè)放大階段的合成圖像中的嵌入圖像和被嵌入圖像進(jìn)行圖像融合處理。
8、 根據(jù)權(quán)利要求6所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于所述圖傳融合處理采用以下處理方法它采用圖割技術(shù)，獲得嵌入圖像和被嵌入圖像的嵌入目標(biāo)區(qū)域融合的能量最小邊界；在得到能量最小邊界的條件下，對(duì)邊界內(nèi)嵌入圖像的像素點(diǎn)給予初始alpha值，在邊界上做4鄰接擴(kuò)張，每步擴(kuò)張得到的像素點(diǎn)alpha值線性遞減；最終得到嵌入圖像的alpha值的核K;使用K，將嵌入圖像與被嵌入圖像的嵌入目標(biāo)區(qū)域進(jìn)行alpha顏色混合，得到合成圖像。
9、 根據(jù)權(quán)利要求l所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于合成圖像作為視頻幀輸出，所述方法在合成視頻時(shí)維護(hù)其幀間連續(xù)性。
10、 根據(jù)權(quán)利要求9所述的一種基于圖像集的漫游視頻自動(dòng)生成方法，其特征在于所述維護(hù)幀間連續(xù)性步驟采用保留之前合成圖像與當(dāng)前合成圖像進(jìn)行alpha混合的方式。
全文摘要
本發(fā)明提供了一種基于圖像集的漫游視頻自動(dòng)生成方法，它包括以下步驟本地匹配；全局優(yōu)化；圖像合成；最后將所有幀連接成視頻輸出。本發(fā)明以一系列圖像作為輸入，找到一個(gè)最佳瀏覽序列，形成一段不斷放大的具有視覺連續(xù)性的圖像瀏覽視頻，本發(fā)明同時(shí)還提供了一種更為生動(dòng)的圖像瀏覽方式，使用戶以一種更為生動(dòng)的方式瀏覽圖像，猶如在圖像的場(chǎng)景中漫游；對(duì)于一個(gè)旅游景點(diǎn)的一系列圖像，本方法可生成一段較好串聯(lián)該景點(diǎn)不同場(chǎng)景的視頻，作為該旅游景點(diǎn)的宣傳片；制作方法速度較快，不需要花費(fèi)過多的人力物力去設(shè)計(jì)場(chǎng)景與選擇圖像，整個(gè)視頻生成過程自動(dòng)化程度高。
文檔編號(hào)G06T7/00GK101504775SQ20091009685
公開日2009年8月12日 申請(qǐng)日期2009年3月19日 優(yōu)先權(quán)日2009年3月19日
發(fā)明者林 叢, 童若峰 申請(qǐng)人:浙江大學(xué)