一種基于球面投影的全景電子穩(wěn)像方法
【專利摘要】本發(fā)明涉及一種基于球面投影的全景電子穩(wěn)像方法，其特征在于電子穩(wěn)像實(shí)現(xiàn)步驟如下：全景電子穩(wěn)像預(yù)處理，基于高斯投影的球面圖像映射與展開(kāi)，基于SFM算法的歐拉角，轉(zhuǎn)動(dòng)3D球體空間達(dá)到穩(wěn)像效果，該方法是基于高斯投影的球面圖像映射/展開(kāi)與基于SFM算法的歐拉角求解相結(jié)合的一種穩(wěn)像技術(shù)，該技術(shù)采用的全景影像的球面投影方式，有效地解決了全景成像平面和球體曲面間的坐標(biāo)轉(zhuǎn)換；并且，該技術(shù)中將全景相機(jī)系統(tǒng)中每個(gè)相機(jī)的坐標(biāo)系統(tǒng)統(tǒng)一到一個(gè)坐標(biāo)系統(tǒng)，有效解決了由于全景相機(jī)系統(tǒng)中每個(gè)相機(jī)因?yàn)檫\(yùn)動(dòng)變化不同無(wú)法準(zhǔn)確定位整體運(yùn)動(dòng)的問(wèn)題。
【專利說(shuō)明】一種基于球面投影的全景電子穩(wěn)像方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于球面投影的全景電子穩(wěn)像方法，是針對(duì)全景成像系統(tǒng)的電子 穩(wěn)像，屬于圖像處理技術(shù)中的電子穩(wěn)像領(lǐng)域。

【背景技術(shù)】
[0002] 電子穩(wěn)像技術(shù)就是要隔離外部對(duì)成像系統(tǒng)、瞄準(zhǔn)系統(tǒng)以及定位系統(tǒng)等的擾動(dòng)。其 基本思想是可以通過(guò)各種機(jī)械的、光學(xué)的或者電子的處理方法，獲知攝像載體的運(yùn)動(dòng)偏移， 從而在成像輸出前，去除這部分運(yùn)動(dòng)偏移，使其在監(jiān)視器上顯示穩(wěn)定的視頻序列，提高所獲 取圖像信息的質(zhì)量。
[0003] 由于全景成像系統(tǒng)的結(jié)構(gòu)特殊性，很多全景成像系統(tǒng)并非由單個(gè)相機(jī)組成。本發(fā) 明以多相機(jī)同步全景采集系統(tǒng)為例，由6個(gè)相機(jī)構(gòu)成，嵌入面為6邊形，側(cè)面分別由1號(hào)，2 號(hào)，3號(hào)，4號(hào)，5號(hào)，6號(hào)相機(jī)構(gòu)成。側(cè)面相鄰相機(jī)的夾角為60°，由于受到相機(jī)裝配工藝限 制，全景攝像機(jī)的6個(gè)相機(jī)的光軸是無(wú)法交于一點(diǎn)，即該攝像系統(tǒng)是不共心的。但該系統(tǒng)中 6個(gè)相機(jī)的光軸共面。
[0004] 傳統(tǒng)的電子穩(wěn)像技術(shù)大部分是基于單個(gè)相機(jī)的運(yùn)動(dòng)估計(jì)，通過(guò)幀間圖像的運(yùn)動(dòng)估 計(jì)來(lái)計(jì)算成像平面的運(yùn)動(dòng)矢量，再將圖像幀沿運(yùn)動(dòng)矢量的反方向補(bǔ)償達(dá)到穩(wěn)像效果。然而， 對(duì)于本全景成像系統(tǒng)，由于6個(gè)攝像機(jī)的攝像機(jī)坐標(biāo)系統(tǒng)各自獨(dú)立，同一個(gè)運(yùn)動(dòng)在各自所 獲得的圖像中將表現(xiàn)出不同的運(yùn)動(dòng)特征。因此，傳統(tǒng)的電子穩(wěn)像技術(shù)無(wú)法直接應(yīng)用到該系 統(tǒng)。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種基于球面投影的全景電子穩(wěn)像方法，該方法是基于高 斯投影的球面圖像映射/展開(kāi)與基于SFM算法的歐拉角求解相結(jié)合的一種穩(wěn)像技術(shù)，該技 術(shù)采用的全景影像的球面投影方式，有效地解決了全景成像平面和球體曲面間的坐標(biāo)轉(zhuǎn) 換；并且，該技術(shù)中將全景相機(jī)系統(tǒng)中每個(gè)相機(jī)的坐標(biāo)系統(tǒng)統(tǒng)一到一個(gè)坐標(biāo)系統(tǒng)，有效解決 了由于全景相機(jī)系統(tǒng)中每個(gè)相機(jī)因?yàn)檫\(yùn)動(dòng)變化不同無(wú)法準(zhǔn)確定位整體運(yùn)動(dòng)的問(wèn)題。
[0006] 本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：一種基于球面投影的全景電子穩(wěn)像方法，其特 征在于電子穩(wěn)像實(shí)現(xiàn)步驟如下： 一、全景電子穩(wěn)像預(yù)處理階段包括如下步驟： (1)基于經(jīng)緯度坐標(biāo)系(大地坐標(biāo)系）的3D球體模型建立 1) 為了表示球面上點(diǎn)的位置，必須建立相應(yīng)的坐標(biāo)系統(tǒng)--經(jīng)緯度坐標(biāo)系，P點(diǎn)的子 午面NPS與起始子午面NGS所構(gòu)成的二面角L，叫做P點(diǎn)的大地經(jīng)度。由起始子午面起 算，向東為正，叫東經(jīng)（0°?180° );向西為負(fù)，叫做西經(jīng)（0°?180° )，P點(diǎn)的法線Pn 與赤道面的夾角B，叫做P點(diǎn)的大地緯度。由赤道面起算，向北為正，Pq北緯（0°?90° ); 向南為負(fù)，叫南緯（0°?90° )。在該坐標(biāo)系中，P點(diǎn)的位置用L，B表示； 2) 高斯直角坐標(biāo)系的建立，在投影面上，中央子午線和赤道投影都是直線，且以中央子 午線和赤道的交點(diǎn)O作為坐標(biāo)原點(diǎn)，以中央子午線的投影為縱坐標(biāo)軸，以赤道的投影為橫 坐標(biāo)軸，這樣便形成了高斯平面直角坐標(biāo)系； 3) 1?斯直角坐標(biāo)系與圖像坐標(biāo)系的映射關(guān)系，因?yàn)閳D像坐標(biāo)系與1?斯坐標(biāo)系都是-維 坐標(biāo)系；并且不包含旋轉(zhuǎn)，所以僅存在位移向量t ; (2) 基于張正友標(biāo)定方法來(lái)標(biāo)定全景相機(jī)，該方法的具體內(nèi)容如下： 1)對(duì)于全景相機(jī)的每個(gè)相機(jī)假設(shè)其沒(méi)有畸變，求解標(biāo)定參數(shù)，對(duì) 于每一張棋盤(pán)影像，根據(jù)標(biāo)定控制點(diǎn)的模板坐標(biāo)和圖像坐標(biāo)可以得到 一個(gè)單應(yīng)性矩陣H(由旋轉(zhuǎn)、平移和相機(jī)內(nèi)參數(shù)組成），大小為3X3,令

【權(quán)利要求】
1. 一種基于球面投影的全景電子穩(wěn)像方法，其特征在于電子穩(wěn)像實(shí)現(xiàn)步驟如下： 一、全景電子穩(wěn)像預(yù)處理階段包括如下步驟： (1) 基于經(jīng)緯度坐標(biāo)系(大地坐標(biāo)系）的3D球體模型建立 1) 為了表示球面上點(diǎn)的位置，必須建立相應(yīng)的坐標(biāo)系統(tǒng)--經(jīng)緯度坐標(biāo)系，P點(diǎn)的 子午面NPS與起始子午面NGS所構(gòu)成的二面角L，叫做P點(diǎn)的大地經(jīng)度；由起始子午 面起算，向東為正，叫東經(jīng)（0°?180° );向西為負(fù)，叫做西經(jīng)（0°?180° )，P點(diǎn)的法 線Pn與赤道面的夾角B，叫做P點(diǎn)的大地緯度；由赤道面起算，向北為正，Pq北緯（0°? 90° );向南為負(fù)，叫南緯（0°?90° );在該坐標(biāo)系中，P點(diǎn)的位置用L，B表示； 2) 高斯直角坐標(biāo)系的建立，在投影面上，中央子午線和赤道投影都是直線，且以中央子 午線和赤道的交點(diǎn)O作為坐標(biāo)原點(diǎn)，以中央子午線的投影為縱坐標(biāo)軸，以赤道的投影為橫 坐標(biāo)軸，這樣便形成了高斯平面直角坐標(biāo)系； 3) 1?斯直角坐標(biāo)系與圖像坐標(biāo)系的映射關(guān)系，因?yàn)閳D像坐標(biāo)系與1?斯坐標(biāo)系都是-維 坐標(biāo)系；并且不包含旋轉(zhuǎn)，所以僅存在位移向量t ; (2) 基于張正友標(biāo)定方法來(lái)標(biāo)定全景相機(jī)，該方法的具體內(nèi)容如下： 1)對(duì)于全景相機(jī)的每個(gè)相機(jī)假設(shè)其沒(méi)有畸變，求解標(biāo)定參數(shù)，對(duì)于每一張棋盤(pán)影像，根 據(jù)標(biāo)定控制點(diǎn)的模板坐標(biāo)和圖像坐標(biāo)可以得到一個(gè)單應(yīng)性矩陣H(由旋轉(zhuǎn)、平移和相機(jī)內(nèi) 參數(shù)組成），大小為3X3,令# = ，每個(gè)力是及的列向量；
4) 如果有n幅標(biāo)定板影像，則V是2n X6的矩陣；當(dāng)n>2時(shí)，就可以獲得線性唯一解 b，這樣就可以求解出攝像機(jī)的內(nèi)外參數(shù)； 5) 上文所述為未考慮透視畸變的系統(tǒng)，如果理想系統(tǒng)滿足針孔透視模型，令<之夕)為 理想點(diǎn)的坐標(biāo)，為對(duì)應(yīng)點(diǎn)的畸變位置坐標(biāo)，那么可得：
(3) 根據(jù)畸變系數(shù)對(duì)各影像進(jìn)行畸變矯正，使其滿足相機(jī)透視投影； 求出畸變系數(shù)后，可以用來(lái)矯正張正友法標(biāo)定出的相機(jī)內(nèi)外參數(shù)；矯正過(guò)程是用 Levenberg-Marquardt (LM)算法來(lái)實(shí)現(xiàn)一個(gè)非線性優(yōu)化；令代價(jià)函數(shù)為：
其中為標(biāo)定板上第j個(gè)點(diǎn)在第i幅影像上的經(jīng) 過(guò)畸變矯正的投影點(diǎn)；使用LM將該代價(jià)函數(shù)最小化，這樣經(jīng)過(guò)校正的各參數(shù)，將極大減少 畸變； (4) 選取參考巾貞；

基于SFM算法的歐拉角求解步驟 (1)將處理幀與參考幀進(jìn)行SIFT特征點(diǎn)提取(興趣點(diǎn)），選取最優(yōu)點(diǎn)進(jìn)行匹配，來(lái)獲得 匹配點(diǎn)（同名點(diǎn)）圖像坐標(biāo)； 1) 定義圖像J(AJP)尺度空間：r, C) = 燈)* 其中
,當(dāng)尺度參數(shù)〇連續(xù)變化，構(gòu)成圖像的 尺度空間； 2) 空間極值點(diǎn)檢測(cè)： 為了在尺度空間中檢測(cè)穩(wěn)定的關(guān)鍵點(diǎn)，構(gòu)造高斯差分尺度空間 j..，，又,kff) - J..S ff))/(足,j.，) = 上 的極值點(diǎn)，每一個(gè)采樣點(diǎn)與其所有的相鄰點(diǎn)比較，檢測(cè)其圖像域和尺度域的相鄰點(diǎn)大小關(guān) 系，若該點(diǎn)為局部極值點(diǎn)，則保存為候選關(guān)鍵點(diǎn)； 3) 特征點(diǎn)描述子的構(gòu)造 以關(guān)鍵點(diǎn)為中心，在關(guān)鍵點(diǎn)所在的圖像中取8 X 8的窗口，一個(gè)關(guān)鍵點(diǎn)由2 X 2共4個(gè) 種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向向量信息；為增強(qiáng)后續(xù)匹配環(huán)節(jié)的穩(wěn)定性，在實(shí)際計(jì)算 中，對(duì)每個(gè)關(guān)鍵點(diǎn)可以使用4X4的16個(gè)種子來(lái)描述，這樣對(duì)于一個(gè)關(guān)鍵點(diǎn)就可以產(chǎn)生128 個(gè)梯度信息，最后形成128維的SIFT特征向量； 4) 最近鄰匹配算法 用特征向量的最近鄰距離與次近鄰距離的比值作為匹配約束條件，過(guò)程為：對(duì)圖像I 中的特征向量Fr，找到圖像J中的所有特征向量中與1?^距離最近的兩個(gè)向量士和'(Vj 與t的距離最小);若< !*,(閾值一般為0. 6),則Vj為Fjr的匹配， 否則在J中沒(méi)有匹配； ⑵根據(jù)同名點(diǎn)存在的對(duì)極幾何關(guān)系（JbtFb/ =O，"=?為一對(duì)同名點(diǎn)），采用RANSAC 8點(diǎn)算法線性求解基本矩陣F ; I) RANSAC魯棒估計(jì)：重復(fù)N次采樣，N隨機(jī)采樣自適應(yīng)地確定： a)選擇8組對(duì)應(yīng)構(gòu)成的一個(gè)隨機(jī)樣本并按8點(diǎn)算法來(lái)計(jì)算基本矩陣F，其結(jié)果得到一 個(gè)或三個(gè)實(shí)解； b) 對(duì)每組假設(shè)對(duì)應(yīng)點(diǎn)計(jì)算距離d，d= 重投影誤差戈￡和<是 待估計(jì)的真對(duì)應(yīng)點(diǎn)，JhdP JT；是測(cè)量得到的對(duì)應(yīng)； c) 計(jì)算與F-致的內(nèi)點(diǎn)數(shù)，它等于d〈t個(gè)像素的對(duì)應(yīng)的數(shù)目； d) 如果F有三個(gè)實(shí)解，計(jì)算每一個(gè)解的內(nèi)點(diǎn)數(shù)并保留具有最多內(nèi)點(diǎn)數(shù)的解，選擇具有 最多內(nèi)點(diǎn)數(shù)的F，在數(shù)目相等時(shí)，選擇內(nèi)點(diǎn)標(biāo)準(zhǔn)方差最小的那個(gè)解； 2) 非線性估計(jì)：由劃為內(nèi)點(diǎn)的所有對(duì)應(yīng)重新估計(jì)F ; 3) 引導(dǎo)匹配：用估計(jì)的F去定義對(duì)極線附近的搜索區(qū)域，以便進(jìn)一步確定興趣點(diǎn)的對(duì) 應(yīng)，最后兩步可以反復(fù)迭代直到對(duì)應(yīng)的數(shù)目穩(wěn)定為止； (3)根據(jù)本質(zhì)矩陣與基本矩陣的關(guān)系，由內(nèi)參矩陣和基礎(chǔ)矩陣可以求出本質(zhì)矩陣 (五= ITtjFST3,叉分別為第一、第二影像的內(nèi)參矩陣）；
四、轉(zhuǎn)動(dòng)3D球體空間達(dá)到穩(wěn)像效果，處理步驟如下： (1) 將3D球體分別按照z-y-x空間坐標(biāo)軸反向旋轉(zhuǎn)上文所求得的歐拉角； (2) 將球體按照高斯坐標(biāo)正投影展開(kāi)，放回視頻序列。
【文檔編號(hào)】G06T7/00GK104333675SQ201410556402
【公開(kāi)日】2015年2月4日 申請(qǐng)日期:2014年10月20日 優(yōu)先權(quán)日:2014年10月20日
【發(fā)明者】方明, 徐晶, 付飛蚺, 司書(shū)哲, 田野, 邵楨 申請(qǐng)人:長(zhǎng)春理工大學(xué)