一種基于最小邊界距離的視頻拼接方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于最小邊界距離的視頻拼接方法，屬于圖像處理和圖像融合技 術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 隨著國家經(jīng)濟(jì)的高速發(fā)展，交通工具、圖像和視頻應(yīng)用在人們?nèi)粘Ｉ钪械闹匾?作用凸顯，大視場圖像與視頻問題受到越來越多社會媒體和人們的關(guān)注。
[0003] 視頻拼接是通過兩個或多個攝像頭按照一定的相機(jī)標(biāo)定技術(shù)，采集具有重疊區(qū)域 的視頻數(shù)據(jù)進(jìn)行拼接，使輸出的結(jié)果視域更廣的技術(shù)。目前視頻拼接技術(shù)及其應(yīng)用是虛擬 現(xiàn)實、計算機(jī)視覺等領(lǐng)域的新研究熱點之一，主要應(yīng)用于實況轉(zhuǎn)播、視頻監(jiān)控、全景圖融合、 超大圖像采樣等方面。現(xiàn)有的視頻拼接方法由于攝像機(jī)標(biāo)定、圖像配準(zhǔn)和圖像拼接的復(fù)雜 性，使視頻拼接在時間效率方面成為一個難點。

【發(fā)明內(nèi)容】

[0004] 發(fā)明目的：針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種能夠顯著提高視頻拼接 成像效果的基于最小邊界距離的視頻拼接方法。
[0005] 技術(shù)方案：一種基于最小邊界距離的視頻拼接方法，包括如下步驟：
[0006] 步驟A :采集含有重疊區(qū)域的兩段視頻數(shù)據(jù)；
[0007] 步驟B :對步驟A得到的視頻幀數(shù)據(jù)分別進(jìn)行中值濾波，得到高斯金字塔；
[0008] 步驟C :將步驟B得到的高斯金字塔與圖像數(shù)據(jù)結(jié)合卷積，獲得步驟A得到的視頻 幀的尺度空間；
[0009] 步驟D :對步驟C得到的尺度空間進(jìn)行極值點檢測，得到極大極小空間的極值點；
[0010] 步驟E :對步驟D得到的極值點去除對比度小于0. 03的關(guān)鍵點和不穩(wěn)定的邊緣響 應(yīng)點，得到確定關(guān)鍵點的位置和尺度；
[0011] 步驟F :利用步驟E中關(guān)鍵點的位置和尺度，確定領(lǐng)域像素的梯度方向，得到關(guān)鍵 點方向參數(shù)；
[0012] 步驟G :將步驟F中得到的關(guān)鍵點方向參數(shù)和步驟E中關(guān)鍵點位置和尺度，在每 4 X 4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成一個種 子點；一個關(guān)鍵點由2X2共四個種子點組成，每個種子點有8個方向向量信息；得到多組 相互匹配的特征點描述子；
[0013] 步驟H :將步驟G中得到的多組相互匹配的特征點描述子，使用隨機(jī)抽樣，并對多 組相互匹配的特征點描述子進(jìn)行精煉得到兩幅視頻幀中相互匹配的特征點描述子；
[0014] 步驟I :利用步驟H中得到的相互匹配的特征點描述子，使用最小邊界距離算法得 到視頻拼接的最終拼接結(jié)果。
[0015] 進(jìn)一步，步驟H中，所述特征點描述子匹配的方法為：
[0016] 步驟H-I :隨機(jī)選擇4組相互匹配的特征點描述子組成一個隨機(jī)樣本并計算變換 矩陣，計算其中的每組匹配點的特征點之間的距離，隨后計算和變換矩陣一致的內(nèi)點數(shù)，經(jīng) 過多次采樣，選擇內(nèi)點數(shù)最多的變換矩陣，當(dāng)內(nèi)點數(shù)相等時，選擇內(nèi)點標(biāo)準(zhǔn)差最小的變換矩 陣；
[0017] 步驟H-2 :采用迭代的方法精煉變換矩陣，所述迭代方法中采用LM算法最小化代 價函數(shù)進(jìn)行迭代精煉；
[0018] 步驟H-3 :用步驟H-2中精煉得到的變換矩陣定義附近的搜索區(qū)域，對匹配的特征 點描述子進(jìn)行精煉；
[0019] 步驟H-4 :反復(fù)迭代步驟H-2和H-3直到匹配點的特征點數(shù)目穩(wěn)定。
[0020] 采用這種方法可以有效的減少誤匹配的點對。
[0021] 進(jìn)一步，步驟I中，所述最小邊界距離算法的方法為：
[0022] 步驟I-I :利用Sobel邊緣檢測算法提取各輸入視頻幀中物體邊緣，由此得到重合 區(qū)域的邊緣差異；
[0023] 步驟1-2 :計算輸入視頻幀中重疊區(qū)域的所有匹配特征點的灰度差，并將之平均 化；
[0024] 步驟1-3 :對步驟I-I得到的兩幅視頻幀中重疊區(qū)域的物體邊緣進(jìn)行比較，得到互 不重合的邊緣；
[0025] 步驟1-4 :計算輸入視頻幀自有的不重合邊緣兩側(cè)像素點的灰度值，分別與輸入 視頻幀中對應(yīng)位置的像素點灰度值作差，得到的每一個差值都與步驟1-2中的平均灰度差 比較；若不相等，則證明該像素點為輸入視頻幀中運動物體的構(gòu)成像素點；依次處理其余 像素點，直到其他邊緣或重合區(qū)域邊界為止；
[0026] 步驟1-5 :用步驟1-4同樣的方法，計算另一幅輸入視頻幀中的各個像素點；
[0027] 步驟1-6 :通過加權(quán)平均公式、計算融合視頻幀的其他像素點灰度值，最終得到融 合視頻。
[0028] 采用這種方法更好的實現(xiàn)了消除鬼影的目的。
[0029] 有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明提供的基于最小邊界距離的視頻拼接方法，能 夠有效地克服光照、鬼影等客觀因素的干擾，具有拼接效果優(yōu)、計算簡潔、參數(shù)設(shè)置簡便等 優(yōu)點。
【附圖說明】
[0030] 圖1為本發(fā)明的方法流程圖；
[0031] 圖2為本發(fā)明的實施例中兩幅輸入視頻幀；
[0032] 圖3為傳統(tǒng)方法拼接后的視頻幀；
[0033] 圖4為采用本發(fā)明方法拼接后的視頻幀。
【具體實施方式】
[0034] 下面結(jié)合具體實施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實施例僅用于說明本發(fā)明 而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對本發(fā)明的各種等價 形式的修改均落于本申請所附權(quán)利要求所限定的范圍。
[0035] 如圖1所示，本發(fā)明的基于最小邊界距離的視頻拼接方法，其步驟如下：
[0036] 步驟A :采集含有重疊區(qū)域的兩段視頻數(shù)據(jù)；
[0037] 步驟B :對步驟A得到的視頻幀數(shù)據(jù)分別進(jìn)行中值濾波，得到高斯金字塔；
[0038] 步驟C :將步驟B得到的高斯金字塔與圖像數(shù)據(jù)結(jié)合卷積，獲得步驟A得到的視頻 幀的尺度空間；
[0039] 其中，獲得尺度空間的方法為：
[0040] 步驟C-I :設(shè)輸入圖像為I，根據(jù)高斯核函數(shù)的尺度〇的不同，通過濾波形成高斯 金字塔。I的尺度空間定義為L(x，y，（〇,它根據(jù)含有不同高斯核函數(shù)的尺度 〇的高斯核 函數(shù)與I (X，y)的卷積得到：
[0041 ] L(x, y, O ) =I (χ, y)*G(x, y, σ )
[0042] 其中，
是尺度可變高斯核函數(shù)，I (x，y)代表輸入 視頻幀，其中，x，y分別為視頻幀所有點的橫、縱坐標(biāo)，σ為當(dāng)前高斯核函數(shù)的尺度大小。
[0043] 步驟C-2:為了在尺度空間中有效地檢測到穩(wěn)定的關(guān)鍵點，可采用高斯差分尺度 空間（簡稱DoG)。設(shè)高斯差分尺度空間為D(x，y， 〇)，它是由不同尺度的高斯差分核函數(shù) 與圖像卷積生成：
[0044] D (X，y，σ ) = (G (X，y，k σ ) -G (X，y，σ )) *1 (X，y) = L (X，y，k σ ) -L (X，y，σ )
[0045] 式中，k為灰度差值加權(quán)系數(shù)。
[0046] 步驟D :對步驟C得到的尺度空間進(jìn)行極值點檢測，得到極大極小空間的極值點；
[0047] 為了尋找尺度空間的極值點，每一個檢測點要和它所有的相鄰點比較，確定它們 之間的大小關(guān)系。檢測點和它同尺度的8個相鄰點，以及上下相鄰尺度的9X2個共26個 點比較，確保在尺度空間和二維圖像空間都能檢測到極大極小值點。
[0048] 步驟E :對步驟D得到的極值點去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點，得 到確定關(guān)鍵點的位置和尺度；
[0049] 在離散空間找到的極值點不一定是真正意義上的極值點?？梢酝ㄟ^對尺度空間 DoG函數(shù)進(jìn)行曲線擬合尋找極值點來減小這種誤差。除了 DoG響應(yīng)較低的點，還有一些響應(yīng) 較強的點也不是穩(wěn)定的特征點。DoG對圖像中的邊緣有較強的響應(yīng)值，所以落在圖像邊緣的 點也不是穩(wěn)定的特征點。精確確定關(guān)鍵點的位置和尺度，同時去除低對比度的關(guān)鍵點和不 穩(wěn)定的邊緣響應(yīng)點，這是因為DoG會產(chǎn)生較強的邊緣響應(yīng)，從而以增強匹配的穩(wěn)定性、提高 抗噪聲能力。
[0050] 步驟F :利用步驟E中關(guān)鍵點的位置和尺度，確定領(lǐng)域像素的梯度方向，得到關(guān)鍵 點方向參數(shù)；
[0051] 利用上一步得到的關(guān)鍵點，即符合條件的極大極小值點，鄰域像素的梯度方向分 布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具有旋轉(zhuǎn)不變性。
[0052] 根據(jù)下面的公式：
[0054] 計算極值點Uj, y_j)處的梯度模值乃）；
[0055] 根據(jù)下面的公式：
[0056] Θ (Xj, Yj) = 〇 tan2((L(Xj, yj+l)-L(Xj, y-l))/(L(Xj+l, yj)-L(x-I, Yj)))
[0057] 計算極值點Uj, yj的梯度方向Θ (Xy yj)。其中，L為每個關(guān)鍵點各自的尺度， Xj，分別表示第j個極值點的橫、縱坐標(biāo)。
[0058] 在實際計算時，以關(guān)鍵點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的 梯度方向。梯度直方圖的范圍是〇~360度，其中每10度一個柱，總共36個柱。直方圖的 峰值則代表了該關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。
[0059] 在梯度方向直方圖中，當(dāng)存在另一個相當(dāng)于主峰值80%能量的峰值時，則將這個 方向認(rèn)為是該關(guān)鍵點的輔方向。一個關(guān)鍵點可能會被指定具有多個方向，比如一個主方向， 一個以上輔方向，這增強了匹配的魯棒性。
[0060] 步驟G :將步驟F中得到的關(guān)鍵點方向參數(shù)和步驟E中關(guān)鍵點位置和尺度，在每 4 X 4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成一個種 子點；一個關(guān)鍵點由2X2共四個種子點組成，每個種子點有8個方向向量信息；得到多組 相互匹配的特征點描述子