本發(fā)明涉及一種視頻拼接方法，尤其涉及基于流形的視頻拼接方法。

背景技術：

隨著電子設備的發(fā)展，越來越多的用戶會利用手機、平板電腦等電子設備拍攝視頻。通常情況下，用戶會將所拍攝的多個視頻拼接成一個視頻。例如，將播放時長為t1的視頻Video1和播放時長為t2的視頻Video2，拼接成一個播放時長為t1+t2的新視頻。

視頻拼接是指根據(jù)拍攝的一小段場景視頻，拼接成大視野的全景圖像。手持設備拍攝視頻時，往往攝像機運動帶來的模糊和重影，圖像質量沒有相機靜態(tài)拍攝的質量好。并且由于拍攝過程中，攝像機的姿態(tài)參數(shù)變化比較隨機，視頻幀間的視角變換有時比較劇烈，會嚴重影響后期視頻的拼接質量。這些因素在視頻拼接中都需要考慮到。

本發(fā)明將介紹基于流形的視頻拼接模塊?；诹餍蔚膱D像拼接方法是借助于條式相機的原理。該相機拍攝的圖像為細條紋圖。當該相機沿著景物一側橫向掃描拍攝時，將拍攝的一組條形圖合成一幅大的圖像。由于條式相機應用范圍小很難得到，一次一般用普通的相機來代替。從普通相機采集的圖像幀序列中的每幀提取一條圖像，然后對齊拼接成一幅大的全景圖。

流形是現(xiàn)代數(shù)學中描述復雜對象的基本概念。簡要的講，流形就是將局部簡單的面片粘合起來形成復雜的形狀。當前的拼接算法都是基于把所有的圖像投影到一個預先設定的單個流形上：平面通常用于相機平移運動的情況，圓柱面用于相機平搖的情況，球面用于相機的平搖和俯仰運動的情況。不同的拼接模型用于不同的相機運動，對于更為一般的相機運動，譬如相機的前向運動產生的圖像使用傳統(tǒng)的拼接方法無法進行拼接。

技術實現(xiàn)要素：

本發(fā)明的目的是為了解決現(xiàn)有技術中存在的缺點，而提出的一種基于流形的視頻拼接方法。

基于流形的視頻拼接方法，具體包括以下步驟：

（1）條圖的切割和粘貼：通過從源圖像剪切條圖然后把它們粘貼起來從而合成全景圖；條圖的形狀以及寬度都取決于圖像的運動；在選取條圖以后，對其進行變形從而使得它們的光流平行且幅值相等；

（2）流形拼接的實現(xiàn)：將對齊好的圖像合成一副全景圖有很多種方法，在這些情況中圖像的對齊幾乎是完美的，從而可以使用所有的重疊圖像來生成全景圖；用重疊區(qū)域來生產全景圖的常用方法是用平均法，但是當圖像對齊的精度不夠的時候，平均法會導致模糊現(xiàn)象，僅選取其中一幅輸入圖像的某個區(qū)域來表示全景圖的對應區(qū)域是一個更優(yōu)的方法，這種選擇方案能夠最小化對齊誤差產生的影響；最合理的選擇是選取每幅圖像的中心區(qū)域作為條圖，這種選擇方案對應著Vonoroi網(wǎng)格；使用Voronoi網(wǎng)格來進行條圖的剪切、粘貼也能夠最小化鏡頭扭曲帶來的匹配誤差；Voronoi網(wǎng)格使得每條接縫距離其對應的兩個圖像中心的距離相等；由于鏡頭扭曲效應是一個徑向效應，垂直于接縫的特征將在接縫上產生相同的扭曲變形，這樣在對齊的時候就無需考慮鏡頭的扭曲效應；

（3）全景圖融合：圖像亮度的變化通常是由相機的自動增益控制引起的，由于亮度的不同，不同圖像的區(qū)域拼接在一起的時候會有一個明顯的拼接接縫，需要用圖像融合的方法來消除該接縫，從而生成無縫全景圖；常用的圖像融合算法有中值濾波法、加權平均法、多分辨率融合法、最佳縫合線法等，本發(fā)明采用加權平均法。

優(yōu)選地，步驟（3）中所述的加權平均法具體為在重疊部分由前一幅圖像慢慢過渡到第二幅圖像，即將圖像重疊區(qū)域的像素值按一定的權值相加合成新的圖像。

與現(xiàn)有技術相比，本發(fā)明的有益效果是：

1、對于手持設備拍攝視頻的拼接，針對手持設備運動不規(guī)則的情況，本發(fā)明采用了基于流形的拼接方案，該方案可以適應于各種相機運動，而無需事先對相機的運動有所限制。

2、由于相機的運動、物體表面的反射率和點光源等原因，在相機拍攝視頻的過程中，相同場景在不同幀上的亮度和色彩很多時候是不相同的。這樣在把不同的幀拼接的時候，會有明顯的拼接痕跡。為了消除拼接痕跡，實現(xiàn)自然的過度，本發(fā)明采用了加權平均的融合防范來實現(xiàn)圖像的融合。

3、本發(fā)明對基于流形的視頻拼接方案，圖像融合等模塊做了討論與分析，這幾個模塊對全景圖的生成和顯示效果起著很重要的影響。最后給出了部分場景的視頻拼接圖，可以看出，對于靜態(tài)場景拍攝的視頻，本發(fā)明的視頻拼接方案能構建出高質量的拼接圖。

附圖說明

圖1為相機平移運動時的條圖形狀；

圖2為條圖與光流的關系圖；

圖3為拼接的全景圖。

具體實施方式

下面將對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。

參考圖1-3，本發(fā)明基于自適應流形拼接的方法把每幀圖像的一塊細條圖像投影到流形上，該流形的形狀根據(jù)相機的運動進行動態(tài)的變化。為了保證拼接后的圖像無變形，所選擇的流形必須具有下列特征：在將圖像投影到流形上后，光流矢量必須是近似一致的，即光流矢量相互平行且幅值相等。該光流的典型情形是圖像的平移運動，這時流形是平面。當相機做平搖運動時，流形是一個豎直的圓柱面，圖像中心的豎直圖像條的光流是近似一致的。

當一個相機在普通的場景中運動是，光流是不一致的，并且和場景的深度有關。這種場景的一個拼接方案是使用狹縫相機或者線陣相機。這種相機可以看作一維的傳感器陣列，通過掃過整個場景，然后把掃描得到的一維圖像狹縫合成一幅大的圖像。

線陣相機的圖像處理過程可以看作多透視投影模型：每個細條的投影變換都是透視變換，不同的細條可能來自不同的投影中心。因此在細條的方向，投影是透視變換的；而在相機前進的方向，投影是平行的。在平行投影下是沒有視差的，因為在合成圖像上的光流是一致的。

流形拼接是處理一個標準透視相機平滑運動所拍攝的視頻幀序列。流形拼接技術近似相同路徑上線陣相機的拼接。這種近似是通過把每幅圖像窄細條重新投影到一個動態(tài)的流形上，從而光流能夠近似一致，即光流平行且具有相等的幅值。動態(tài)流形和重投影矩陣都是隱式計算得到的。

拼接圖像中的每個區(qū)域都是取自該區(qū)域具有最高分辨率的拍攝圖像。假設相機運動是純旋轉或者純平移運動，當相機運動同時含有旋轉和平移時，可以通過旋轉變換把旋轉運動抵消。

基于流形的拼接方法是通過在圖像中提取窄帶條形圖像，然后把這些窄帶拼接成一幅大的全景圖，這些窄帶必須滿足下列條件：

①窄帶條圖的寬度必須和相機的運動成正比；

②窄帶條圖必須經過變形后貼到全景圖上，在變形后必須保證它們的光流是平行于全景圖構建的方向，并且光流的幅值相等；

③為了避免全局的尺度變化，每個窄帶條圖都包含一個支撐特征，即使經過變形該特征也能保持不變；

④建議該特征垂直于光流，從而能夠是虛擬一維傳感器陣列收集到的信息最大化。

當前大部分的拼接系統(tǒng)都是針對整幅圖像或者視頻幀的拼接。引入整幀圖像會給圖像拼接帶來一些困難：

①由于鏡頭失真、運動視差、物體的運動等因素，將整幀圖像精確的對齊是不可能的。在圖像拼接的時候會帶來一些“鬼影”或者模糊；

②這對拼接流形的確定帶來了困難。例如，如果所有的圖像都對齊到某個參考圖像上，那么不同的參考圖像將會構成不同的拼接圖。在將圖像投影到圓柱面的情況，必須保證相機是純左右旋轉的。

為了克服以上的這些困難，本發(fā)明采用基于窄帶條圖的拼接方案。采用最簡單的條圖，即豎直條圖，對應相機的左右平移和旋轉，從每幅圖像中提取豎直條圖，然后將條圖對齊合成一幅全景圖。當光流是豎直方向時，采用豎直條圖是無用的，因為這時條圖和光流的方向平行，沒有圖像區(qū)域切割條圖。最佳的拼接方案是讓條圖的方向與光流的方向垂直。

確定條圖的形狀的最簡單的例子是相機的純平移運動產生的圖像。在相機純平移運動的情況下，圖像的運動可以通過一個發(fā)散的光流來表示，該光流從發(fā)散焦點開始發(fā)散，相機的視場則是圖像平面上的一個圓圈。最佳的條圖將是中心位于發(fā)散焦點并且通過相機視場的一個最長的圓弧段，它是視場中垂直于光流的最長曲線。

垂直于光流的掃描條圖的定義在某些情況下是非常簡單的：

①在側向的圖像運動中，最佳條圖是豎直的；

②當相機做前向運動形成圖像放縮時，最佳條圖是一個圓；

③當相機做平移運動時，最佳條圖是圓弧。

通過從源圖像剪切條圖然后把它們粘貼起來從而合成全景圖。條圖的形狀以及寬度都取決于圖像的運動。在選取條圖以后，應該對其進行變形從而使得它們的光流平行且幅值相等。

基于流形的視頻拼接方法，具體包括以下步驟：

（1）條圖的切割和粘貼：通過從源圖像剪切條圖然后把它們粘貼起來從而合成全景圖。條圖的形狀以及寬度都取決于圖像的運動；在選取條圖以后，應該對其進行變形從而使得它們的光流平行且幅值相等。

（2）流形拼接的實現(xiàn)：將對齊好的圖像合成一副全景圖有很多種方法，在這些情況中圖像的對齊幾乎是完美的，從而可以使用所有的重疊圖像來生成全景圖；用重疊區(qū)域來生產全景圖的常用方法是用平均法，但是當圖像對齊的精度不夠的時候，平均法會導致模糊現(xiàn)象，僅選取其中一幅輸入圖像的某個區(qū)域來表示全景圖的對應區(qū)域是一個更優(yōu)的方法，這種選擇方案能夠最小化對齊誤差產生的影響；最合理的選擇是選取每幅圖像的中心區(qū)域作為條圖，這樣選擇有兩個主要原因：①圖像中心的對齊精度一般要比邊緣部分的高；②圖像中心區(qū)域的扭曲形變小。這種選擇方案對應著Vonoroi網(wǎng)格。使用Voronoi網(wǎng)格來進行條圖的剪切、粘貼也能夠最小化鏡頭扭曲帶來的匹配誤差。Voronoi網(wǎng)格使得每條接縫距離其對應的兩個圖像中心的距離相等。由于鏡頭扭曲效應是一個徑向效應，垂直于接縫的特征將在接縫上產生相同的扭曲變形，這樣在對齊的時候就無需考慮鏡頭的扭曲效應。

（3）全景圖融合：圖像亮度的變化通常是由相機的自動增益控制引起的，由于亮度的不同，不同圖像的區(qū)域拼接在一起的時候會有一個明顯的拼接接縫，需要用圖像融合的方法來消除該接縫，從而生成無縫全景圖。常用的圖像融合算法有中值濾波法、加權平均法、多分辨率融合法、最佳縫合線法等，本發(fā)明采用加權平均法。加權平均法的主要思想是：在重疊部分由前一幅圖像慢慢過渡到第二幅圖像，即將圖像重疊區(qū)域的像素值按一定的權值相加合成新的圖像。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，根據(jù)本發(fā)明的技術方案及其發(fā)明構思加以等同替換或改變，都應涵蓋在本發(fā)明的保護范圍之內。