；
[0061] 其中，每個(gè)關(guān)鍵點(diǎn)有三個(gè)信息：位置、尺度、方向。因而以關(guān)鍵點(diǎn)為中心，可以確定 一個(gè)SIFT (尺度不變特征轉(zhuǎn)換）特征區(qū)域，即特征點(diǎn)描述子。
[0062] 將坐標(biāo)軸旋轉(zhuǎn)至關(guān)鍵點(diǎn)的主方向，保證旋轉(zhuǎn)不變性。以關(guān)鍵點(diǎn)為中心取8X8的窗 口。然后在每4 X 4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值， 即可形成一個(gè)種子點(diǎn)。一個(gè)關(guān)鍵點(diǎn)由2X 2共四個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量 信息。這種鄰域方向性信息聯(lián)合的方法增強(qiáng)了算法抗噪聲的能力，同時(shí)對(duì)含有定位誤差的 特征匹配提供了較好的容錯(cuò)性。
[0063] 實(shí)際計(jì)算過(guò)程中，為增強(qiáng)匹配的穩(wěn)健性，建議對(duì)每個(gè)關(guān)鍵點(diǎn)使用4X 4共16個(gè)種子 點(diǎn)來(lái)描述，這樣對(duì)于一個(gè)關(guān)鍵點(diǎn)就可以產(chǎn)生128個(gè)數(shù)據(jù)，即最終形成128維的SIFT特征向 量。
[0064] 步驟H :將步驟G中得到的多組相互匹配的特征點(diǎn)描述子，使用隨機(jī)抽樣，并對(duì)多 組相互匹配的特征點(diǎn)描述子進(jìn)行精煉得到兩幅視頻幀中相互匹配的特征點(diǎn)描述子；
[0065] 本發(fā)明采用RANSAC算法求解圖像變換矩陣H，具體流程如下：
[0066] 步驟H-I :隨機(jī)選擇4組匹配點(diǎn)組成一個(gè)隨機(jī)樣本并計(jì)算變換矩陣H，對(duì)其中的每 組匹配點(diǎn)計(jì)算距離d，隨后計(jì)算和變換矩陣H -致的內(nèi)點(diǎn)數(shù)，即計(jì)算距離不大于d的匹配點(diǎn) 數(shù)，經(jīng)過(guò)多次采樣，選擇內(nèi)點(diǎn)數(shù)最多的變換矩陣H，當(dāng)內(nèi)點(diǎn)數(shù)相等時(shí)，選擇內(nèi)點(diǎn)標(biāo)準(zhǔn)差最小的 變換矩陣H。
[0067] 步驟H-2 :采用迭代方法精煉變換矩陣H，所述迭代方法采用 LM(Levenberg-Marquarchalgorithm)算法最小化代價(jià)函數(shù)。
[0068] 步驟H-3 :用步驟H-2中精煉后的變換矩陣H'定義附近的搜索區(qū)域，進(jìn)而精煉匹 配的特征點(diǎn)描述子。
[0069] 步驟H-4 :重復(fù)步驟H-2和步驟H-3直到匹配的特征點(diǎn)描述子的數(shù)目穩(wěn)定。
[0070] 采用這種方法可以減少誤匹配的點(diǎn)對(duì)。
[0071] 步驟I :利用步驟H中得到的相互匹配的特征點(diǎn)描述子，使用最小邊界距離算法得 到視頻拼接的最終拼接結(jié)果。
[0072] 完成幀配準(zhǔn)后，就可進(jìn)行幀融合，其目標(biāo)就是要將輸入視頻幀的重疊區(qū)域去掉，合 成一幅完整的視頻幀。如果單純的只取第1幅或是第2幅視頻幀的數(shù)據(jù)作為重疊部分，難 免會(huì)造成模糊和明顯的拼接痕跡。此外，如果輸入視頻幀光照差異較大，會(huì)導(dǎo)致拼接圖像出 現(xiàn)明顯的明暗變化。
[0073] 本發(fā)明提出一種最小邊界距離算法。具體方法如下：
[0074] 步驟I-I :利用Sobel邊緣檢測(cè)算法提取各輸入視頻幀中物體邊緣，由此得到重合 區(qū)域的邊緣差異；
[0075] 步驟1-2 :計(jì)算輸入視頻幀中重疊區(qū)域的所有匹配特征點(diǎn)A(U1)和&〇^，71)的 灰度差，并將之平均化：
[0077] 其中，為兩幅輸入圖像重疊區(qū)域的平均灰度差值J1U1, yi)、f2(Xl，yi)分別 為兩幅視頻幀中重疊區(qū)域?qū)?yīng)匹配點(diǎn)的灰度值， Xl，Y1分別表示第i個(gè)匹配點(diǎn)的橫、縱坐標(biāo)。 Knum為重疊區(qū)域內(nèi)匹配特征點(diǎn)的對(duì)數(shù)。
[0078] 步驟1-3 :對(duì)步驟I-I得到的兩幅視頻幀中重疊區(qū)域的物體邊緣進(jìn)行比較，得到互 不重合的邊緣；
[0079] 步驟1-4 :計(jì)算輸入視頻幀自有的不重合邊緣兩側(cè)像素點(diǎn)的灰度值，分別與輸 入視頻幀f2中對(duì)應(yīng)位置的像素點(diǎn)灰度值作差，得到的每一個(gè)差值都與O(t.V)比較；若不相 等，則證明該像素點(diǎn)為中運(yùn)動(dòng)物體的構(gòu)成像素點(diǎn)。因?yàn)檫\(yùn)動(dòng)物體大多數(shù)邊緣明顯，而且 邊緣兩側(cè)灰度值不同。將傳統(tǒng)加權(quán)平滑公式改寫(xiě)為：
[0081] 其中，Hx1, yj為融合后的像素點(diǎn)，k為加權(quán)系數(shù)。其定義與傳統(tǒng)加權(quán)融合加權(quán)系 數(shù)不同。
[0082] 在傳統(tǒng)的融合方法中，像素的權(quán)重是一個(gè)關(guān)于圖像邊界距離比率的線性函數(shù)，該 類方法將所有不同的像素點(diǎn)以相同的模式處理，并且在一般的樣例中表現(xiàn)良好。然而，當(dāng)視 頻幀中存在嚴(yán)重的視差角度時(shí)，線性結(jié)合時(shí)會(huì)導(dǎo)致融合結(jié)果變得模糊，并且在整體的重疊 區(qū)域出現(xiàn)鬼影。所以我們?cè)O(shè)法將參數(shù)值k設(shè)定成一個(gè)特殊的分段先驗(yàn)函數(shù)，用以避免兩個(gè) 攝像頭重疊區(qū)域的差異變化。在本發(fā)明中，非線性的k函數(shù)公式定義如下：
[0084] 其中，β =min(x，y，|W_x|，|H_y|)，表明了該像素點(diǎn)距離幀圖像邊界距離的最小 值。W與H分別表示幀圖像的高度和寬度，N為非線性變化邊界寬度，幀圖像之間的遮掩部 分根據(jù)融合區(qū)域加以修剪。k的值在基礎(chǔ)幀圖像的中心部分保持一致，并且當(dāng)它與另一圖層 邊界距離接近時(shí)，k值開(kāi)始迅速減小。而這個(gè)漸變過(guò)程由N值決定。因此，當(dāng)N越大時(shí)，不 同幀圖像之間的變化越來(lái)越平滑自然，中心區(qū)域的分辨率也就越??；反之亦然。
[0085] 同理，依次處理該側(cè)的其余像素點(diǎn)，直到其他邊緣或重合區(qū)域邊界為止。
[0086] 步驟1-5 :用步驟1-4同樣的方法，計(jì)算另一幅輸入視頻幀中的各個(gè)像素點(diǎn)；此時(shí) 加權(quán)融合公式與公式/(λ> .V,.) = ./; (X,, .V,) - 乃相同。
[0087] 步驟1-6 :通過(guò)加權(quán)平均公式!F(X^yi) =Icf1 (XiJi) +(HOf2(Xyyi)計(jì)算融合視頻 幀的其他像素點(diǎn)灰度值，最終得到融合視頻。其中，灰度差值加權(quán)系數(shù)k滿足0 < k < 1。
[0088] 如圖2所示，圖2 (a)為輸入視頻幀I1，圖2 (b)為輸入視頻幀I2。如圖3所示，傳 統(tǒng)算法在有運(yùn)動(dòng)物體存在的情況下，拼接結(jié)果易產(chǎn)生鬼影，即拼接后同一運(yùn)動(dòng)物體部分重 疊和非重疊的情況。如圖4所示，本發(fā)明提出的方法利用Sobel邊緣檢測(cè)計(jì)算了物體的邊 緣輪廓和其兩側(cè)像素點(diǎn)灰度值，匹配點(diǎn)的灰度差均值提供了兩幅圖像重合區(qū)域的灰度/亮 度差異，間接說(shuō)明了運(yùn)動(dòng)物體所處區(qū)域像素的灰度值變化，定位了運(yùn)動(dòng)物體的位置，有效的 消除了鬼影。本發(fā)明提出的方法有效地克服光照、鬼影等客觀因素的干擾，拼接效果更好； 而且計(jì)算簡(jiǎn)潔、參數(shù)設(shè)置簡(jiǎn)便。
【主權(quán)項(xiàng)】
1. 一種基于最小邊界距離的視頻拼接方法，其特征在于，包括如下步驟： 步驟A:采集含有重疊區(qū)域的兩段視頻數(shù)據(jù)； 步驟B:對(duì)步驟A得到的視頻幀數(shù)據(jù)分別進(jìn)行中值濾波，得到高斯金字塔； 步驟C:將步驟B得到的高斯金字塔與圖像數(shù)據(jù)結(jié)合卷積，獲得步驟A得到的視頻幀的 尺度空間； 步驟D:對(duì)步驟C得到的尺度空間進(jìn)行極值點(diǎn)檢測(cè)，得到極大極小空間的極值點(diǎn)； 步驟E:對(duì)步驟D得到的極值點(diǎn)去除對(duì)比度小于0. 03的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng) 點(diǎn)，得到確定關(guān)鍵點(diǎn)的位置和尺度； 步驟F:利用步驟E中關(guān)鍵點(diǎn)的位置和尺度，確定領(lǐng)域像素的梯度方向，得到關(guān)鍵點(diǎn)方 向參數(shù)； 步驟G:將步驟F中得到的關(guān)鍵點(diǎn)方向參數(shù)和步驟E中關(guān)鍵點(diǎn)位置和尺度，在每4X4的 小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，形成一個(gè)種子點(diǎn)；一 個(gè)關(guān)鍵點(diǎn)由2X2共四個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量信息；得到多組相互匹配 的特征點(diǎn)描述子； 步驟Η:將步驟G中得到的多組相互匹配的特征點(diǎn)描述子，使用隨機(jī)抽樣，并對(duì)多組相 互匹配的特征點(diǎn)描述子進(jìn)行精煉得到兩幅視頻幀中相互匹配的特征點(diǎn)描述子； 步驟I:利用步驟Η中得到的相互匹配的特征點(diǎn)描述子，使用最小邊界距離算法得到視 頻拼接的最終拼接結(jié)果。2. 如權(quán)利要求1所述的基于最小邊界距離的視頻拼接方法，其特征在于，步驟Η中，所 述對(duì)多組相互匹配的特征點(diǎn)描述子進(jìn)行精煉的方法為： 步驟Η-1 :隨機(jī)選擇4組相互匹配的特征點(diǎn)描述子組成一個(gè)隨機(jī)樣本并計(jì)算變換矩陣， 計(jì)算其中的每組匹配點(diǎn)的特征點(diǎn)之間的距離，隨后計(jì)算和變換矩陣一致的內(nèi)點(diǎn)數(shù)，經(jīng)過(guò)多 次采樣，選擇內(nèi)點(diǎn)數(shù)最多的變換矩陣，當(dāng)內(nèi)點(diǎn)數(shù)相等時(shí)，選擇內(nèi)點(diǎn)標(biāo)準(zhǔn)差最小的變換矩陣； 步驟Η-2 :采用迭代的方法精煉變換矩陣，所述迭代方法中采用LM算法最小化代價(jià)函 數(shù)進(jìn)行迭代精煉； 步驟Η-3 :用步驟Η-2中精煉得到的變換矩陣定義附近的搜索區(qū)域，對(duì)匹配的特征點(diǎn)描 述子進(jìn)行精煉； 步驟Η-4 :反復(fù)迭代步驟Η-2和Η-3直到匹配點(diǎn)的特征點(diǎn)數(shù)目穩(wěn)定； 采用這種方法可以有效的減少誤匹配的點(diǎn)對(duì)。3. 如權(quán)利要求1所述的基于最小邊界距離的視頻拼接方法，其特征在于，步驟I中，所 述最小邊界距離算法的方法為： 步驟1-1 :利用Sobel邊緣檢測(cè)算法提取各輸入視頻幀中物體邊緣，由此得到重合區(qū)域 的邊緣差異； 步驟1-2 :計(jì)算輸入視頻幀中重疊區(qū)域的所有匹配特征點(diǎn)的灰度差，并將之平均化； 步驟1-3 :對(duì)步驟1-1得到的兩幅視頻幀中重疊區(qū)域的物體邊緣進(jìn)行比較，得到互不重 合的邊緣； 步驟1-4 :計(jì)算輸入視頻幀自有的不重合邊緣兩側(cè)像素點(diǎn)的灰度值，分別與輸入視頻 幀中對(duì)應(yīng)位置的像素點(diǎn)灰度值作差，得到的每一個(gè)差值都與步驟1-2中的平均灰度差比 較；若不相等，則證明該像素點(diǎn)為輸入視頻幀中運(yùn)動(dòng)物體的構(gòu)成像素點(diǎn)；依次處理其余像 素點(diǎn)，直到其他邊緣或重合區(qū)域邊界為止； 步驟1-5 :用步驟1-4同樣的方法，計(jì)算另一幅輸入視頻幀中的各個(gè)像素點(diǎn)； 步驟1-6 :通過(guò)加權(quán)平均公式、計(jì)算融合視頻幀的其他像素點(diǎn)灰度值，最終得到融合視 頻。
【專利摘要】本發(fā)明公開(kāi)了一種基于最小邊界距離的視頻拼接方法。主要通過(guò)利用尺度不變特征變換算法對(duì)源視頻幀進(jìn)行幀間配準(zhǔn)，然后基于最小邊界距離算法檢測(cè)運(yùn)動(dòng)物體并進(jìn)行視頻融合。本發(fā)明能夠有效地克服光照、鬼影等客觀因素的干擾，具有拼接效果優(yōu)、計(jì)算簡(jiǎn)潔、參數(shù)設(shè)置簡(jiǎn)便等優(yōu)點(diǎn)。
【IPC分類】H04N5/265, G06T5/50
【公開(kāi)號(hào)】CN105303544
【申請(qǐng)?zhí)枴緾N201510728737
【發(fā)明人】王敏, 段瀟瀟
【申請(qǐng)人】河海大學(xué)
【公開(kāi)日】2016年2月3日
【申請(qǐng)日】2015年10月30日