一種基于圖像變形的不規(guī)則視頻矩形化矯正方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種視頻矯正方法，特別設(shè)及一種基于圖像變形的視頻矩形化矯正方 法，屬于視頻處理領(lǐng)域。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和數(shù)碼攝像設(shè)備的大范圍使用，視頻數(shù)據(jù)的采集非常容 易，廣泛存在于生活中的各個方面。隨著圖像和視頻拼接技術(shù)的發(fā)展，人們越來越不滿足于 普通攝像機(jī)得到的有限視角的視頻，期望獲得更寬視角的視頻W獲得更好的視覺效果。然 后由于采集的視頻數(shù)據(jù)的視角差異或者普通數(shù)碼攝像機(jī)的隨意移動，都會造成拼接后視頻 的邊界不規(guī)則。
[000引本方法所用已有技術(shù)包括seamcarving的圖像縮放技術(shù)(Avidan,S.,Shamir,A. 2007.Seamcarvingforcontent-awareimageresizing.In SIGGRAPH2007.)在本方法中利用seamcarving技術(shù)填充的所有不規(guī)則視頻帖得到初步 的矩形視頻帖，進(jìn)行網(wǎng)格的設(shè)置，再進(jìn)行后續(xù)操作。
[0004]再者是已有的不規(guī)則全景圖像矯正技術(shù)化e，K.，化ang，比，Sun,J. 2013. RectanglingPanoramicImagesviaWa巧ing.InSIGGRAPH2013),本方法是對該方法的 一個擴(kuò)展，增加了時域上的連續(xù)性約束，得到視覺上合理的矩形規(guī)則視頻。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是針對拼接后不規(guī)則的視頻數(shù)據(jù)，提出的一種視頻矯正方法，使用 戶獲得較舒適的觀看感受。
[0006] 本發(fā)明技術(shù)方案的思想是首先對所有視頻帖進(jìn)行局部變形；在變形后矩形視頻帖 上設(shè)置網(wǎng)格，再依據(jù)坐標(biāo)映射關(guān)系，將網(wǎng)格放置在原不規(guī)則視頻帖上，對所有帖網(wǎng)格對應(yīng)坐 標(biāo)取均值，即初始網(wǎng)格；對初始網(wǎng)格做時域空域約束建立稀疏線性方程組，并求解得到校正 后的視頻各帖網(wǎng)格點(diǎn)；根據(jù)每一視頻帖矯正前后網(wǎng)格進(jìn)行雙線性插值得到矯正后的視頻 帖。該方法在已有圖像矯正方法的基礎(chǔ)上，增加時域約束條件，實現(xiàn)了視頻的矩形化矯正。
[0007] 本發(fā)明的目的是通過下述技術(shù)方案實現(xiàn)的。
[000引一種基于圖像變形的不規(guī)則視頻矩形化矯正方法，包括W下步驟：
[0009] 步驟一、對視頻每一帖進(jìn)行局部變形
[0010] 對于視頻中不規(guī)則邊界的每一帖，利用seamcarving算法，通過不斷插入長短不 一的seam的方式，填充缺失像素，得到規(guī)則矩形邊界的視頻帖，插入的同時記錄插入后每 個像素點(diǎn)所在原圖的位置坐標(biāo)；
[0011] 步驟二、設(shè)置網(wǎng)格，并將網(wǎng)格變形回原圖
[0012] 對步驟一中得到的每一規(guī)則視頻帖，將其均勻劃分為若干矩形區(qū)域，并獲得網(wǎng)格 角點(diǎn)的坐標(biāo)，然后利用步驟一中記錄的位置信息，獲得每個網(wǎng)格角點(diǎn)所在原圖的位置坐標(biāo)， 即可將每帖網(wǎng)格變形回原圖；
[0013] 步驟S、網(wǎng)格歸一化
[0014] 對得到的所有覆蓋視頻帖不規(guī)則有效區(qū)域的網(wǎng)格，對應(yīng)位置坐標(biāo)取均值，得到歸 一化網(wǎng)格，即是每帖初始網(wǎng)格；
[0015] 步驟四、計算能量函數(shù)中的保形項氏
[0016] 為了獲得與原視頻帖盡可能相近的圖像，盡可能減少其形狀失真，因此在原視頻 帖網(wǎng)格和矯正后的視頻帖對應(yīng)網(wǎng)格之間應(yīng)保持一個相似變換，保形能量函數(shù)定義為：
【主權(quán)項】
1. 一種基于圖像變形的不規(guī)則視頻矩形化矯正方法，其特征在于，包括以下步驟： 步驟一、對視頻每一幀進(jìn)行局部變形 對于視頻中不規(guī)則邊界的每一幀，利用seamcarving算法，通過不斷插入長短不一的seam的方式，填充缺失像素，得到規(guī)則矩形邊界的視頻幀，插入的同時記錄插入后每個像素 點(diǎn)所在原圖的位置坐標(biāo)； 步驟二、設(shè)置網(wǎng)格，并將網(wǎng)格變形回原圖 對步驟一中得到的每一規(guī)則視頻幀，將其均勻劃分為若干矩形區(qū)域，并獲得網(wǎng)格角點(diǎn) 的坐標(biāo)，然后利用步驟一中記錄的位置信息，獲得每個網(wǎng)格角點(diǎn)所在原圖的位置坐標(biāo)，即可 將每幀網(wǎng)格變形回原圖； 步驟三、網(wǎng)格歸一化 對得到的所有覆蓋視頻幀不規(guī)則有效區(qū)域的網(wǎng)格，對應(yīng)位置坐標(biāo)取均值，得到歸一化 網(wǎng)格，即是每幀初始網(wǎng)格； 步驟四、計算能量函數(shù)中的保形項Es 為了獲得與原視頻幀盡可能相近的圖像，盡可能減少其形狀失真，因此在原視頻幀網(wǎng) 格和矯正后的視頻幀對應(yīng)網(wǎng)格之間應(yīng)保持一個相似變換，保形能量函數(shù)定義為：
其中上標(biāo)t為視頻幀索引，下標(biāo)q是每幀網(wǎng)格的方格索引，N是網(wǎng)格的方格數(shù)，Aq為8*4 的矩陣，Vq為8*1的矩陣，（X0, …，（?J3)為網(wǎng)格變形前一個方格四個頂點(diǎn)對應(yīng)四對 坐標(biāo)，而（X。，yQ)，…，（x3,y3)為相應(yīng)的變形后對應(yīng)四對坐標(biāo)； 步驟五、計算能量函數(shù)中的直線保持項E1 首先對視頻中每幀進(jìn)行預(yù)處理，過程為先對每幀進(jìn)行直線檢測，并對檢測得到的所有 直線依據(jù)網(wǎng)格對其進(jìn)行分割，使得每個子線段只在一個方格中，然后對所有線段按其傾斜 角分為m組，使得同組的線段傾斜角基本相同；預(yù)處理后為減少直線的失真，保持視頻矯正 前后直線的平行性和共線性，使得傾斜角相似（同組）的線段矯正過程中旋轉(zhuǎn)角盡可能一 致，其能量函數(shù)定義為：
其中，R是旋轉(zhuǎn)矩陣，{0:}是m組線段的旋轉(zhuǎn)角集合，民是方格中線段對應(yīng)向量，表示 變形前線段，是'的線性函數(shù)，而e表示變形后線段，N^是線段總數(shù)，j是線段索引，q(j)表 示線段所在方格索引，m(j)表示線段所在組號； 步驟六、計算能量函數(shù)中的邊界約束項Eb 為使得變形后視頻每幀邊界嚴(yán)格為矩形，約束其變形后網(wǎng)格四個邊界上的點(diǎn)在圖像邊 界上，其能量函數(shù)定義如下：
其中L/R/T/B分別表示左、右、上、下； 步驟七、計算能量函數(shù)中的特征點(diǎn)位移約束項Ep 首先對當(dāng)前幀的前一幀提取特征點(diǎn)，并利用光流法得到當(dāng)前幀中特征點(diǎn)的對應(yīng)匹配點(diǎn) 位置；然后為保持變形后視頻的時域上的連續(xù)性，減少抖動等失真現(xiàn)象，保持特征點(diǎn)在變形 前后的相對位移盡可能不變，該約束項定義為：
其中Np是檢測得到特征點(diǎn)的個數(shù)，民，Pt分別表示第t幀變形前后特征點(diǎn)坐標(biāo)， P'h，Ph則分別表示第t-1幀的相應(yīng)點(diǎn)； 步驟八、計算能量函數(shù)中的網(wǎng)格點(diǎn)位置約束項Ev 為增強(qiáng)時域連續(xù)性約束效果，進(jìn)一步減少不連續(xù)的失真，相鄰幀對應(yīng)網(wǎng)格點(diǎn)變形后坐 標(biāo)應(yīng)保持時域上連續(xù)，即盡可能一致，該約束項定義為：
其中，V't_i分別表示變形后第t幀和第t-1幀的網(wǎng)格位置坐標(biāo)； 步驟九、能量函數(shù)優(yōu)化求解 將上述約束條件分別賦予權(quán)重，建立用于求解矯正后網(wǎng)格角點(diǎn)位置的能量函數(shù)，形式 化表示為： E(V% { 0 :})=W1Edw2Efw3EJw4E^w5Eb 由于函數(shù)中每幀計算只需前一幀的相關(guān)信息，故逐幀使用迭代求解稀疏線性方程組的 方法求解該能量函數(shù)最小化問題即可，得到矯正后的網(wǎng)格點(diǎn)坐標(biāo)Vt; 步驟十、圖像變形 對每幀根據(jù)矯正前的網(wǎng)格和矯正后的網(wǎng)格進(jìn)行插值，即可獲得矯正后的每個視頻幀。
【專利摘要】本發(fā)明涉及一種視頻矯正方法，特別涉及一種基于圖像變形的視頻矩形化矯正方法，屬于視頻處理領(lǐng)域。本發(fā)明首先對所有視頻幀進(jìn)行局部變形；在變形后矩形視頻幀上設(shè)置網(wǎng)格，再依據(jù)坐標(biāo)映射關(guān)系，將網(wǎng)格放置在原不規(guī)則視頻幀上，對所有幀網(wǎng)格對應(yīng)坐標(biāo)取均值，即初始網(wǎng)格；對初始網(wǎng)格做時域空域約束建立稀疏線性方程組，并求解得到校正后的視頻各幀網(wǎng)格點(diǎn)；根據(jù)每一視頻幀矯正前后網(wǎng)格進(jìn)行雙線性插值得到矯正后的視頻幀。該方法在已有圖像矯正方法的基礎(chǔ)上，增加時域約束條件，實現(xiàn)了視頻的矩形化矯正。
【IPC分類】H04N5-262
【公開號】CN104822030
【申請?zhí)枴緾N201510180896
【發(fā)明人】黃華, 劉彩虹
【申請人】北京理工大學(xué)深圳研究院, 北京理工大學(xué)
【公開日】2015年8月5日
【申請日】2015年4月16日