專利名稱：：基于全局特征點(diǎn)迭代的全景穩(wěn)像方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于圖像處理
技術(shù)領(lǐng)域：
，涉及圖像的穩(wěn)定處理，具體的說是一種視頻序列電子穩(wěn)像方法，可用于消除運(yùn)動載體對視頻序列的影響，有效穩(wěn)定輸出視頻，改善視頻監(jiān)控或者跟蹤系統(tǒng)的觀測效果。
背景技術(shù)：
：隨著電視攝像系統(tǒng)在各領(lǐng)域中的廣泛應(yīng)用，對圖像信息的確定性要求也在不斷提高，其中最基本也是最重要的一點(diǎn)，就是要求視頻圖像畫面質(zhì)量高，有一定的清晰度和穩(wěn)定性。而電視攝像系統(tǒng)的工作效果往往會受到載體不同時(shí)刻的姿態(tài)變化或者振動的影響，從而反映到監(jiān)視器上，使得獲得的圖像信息不穩(wěn)定，甚至模糊。由于這種不穩(wěn)定的圖像對于觀察者會產(chǎn)生疲勞感，因而導(dǎo)致誤判和漏判；對于目標(biāo)自動識別系統(tǒng)，會導(dǎo)致漏警和虛警。所以，在運(yùn)動的載體中，攝像系統(tǒng)的穩(wěn)像是一個(gè)十分重要的問題，特別是在長焦距，高分辨率的監(jiān)視跟蹤系統(tǒng)中尤為突出。國內(nèi)穩(wěn)像技術(shù)的研究起步較晚，最初多是利用陀螺傳感器和伺服系統(tǒng)構(gòu)成陀螺穩(wěn)定平臺實(shí)現(xiàn)機(jī)械式穩(wěn)像。自上世紀(jì)90年代開始提出電子穩(wěn)像方法，但傳統(tǒng)的方法主要集中在快速估計(jì)視頻幀間的平移或者旋轉(zhuǎn)運(yùn)動上，其前提是對運(yùn)動產(chǎn)生的起因作理想的假設(shè)，且對運(yùn)動的補(bǔ)償方法也未作深入研究。而在實(shí)際應(yīng)用中，幀間運(yùn)動的產(chǎn)生有多種起因，比如攝像系統(tǒng)的隨機(jī)抖動、有意跟蹤掃描、拍攝場景中前景目標(biāo)的運(yùn)動、背景中小物體的移動等，正是這些多起因的相互影響，對于運(yùn)動的估計(jì)以及后續(xù)處理，提出了較高的要求。目前，電子穩(wěn)像方法中常用的運(yùn)動參數(shù)估計(jì)方法主要分為以下幾類(1)基于像素灰度信息法。該方法利用空間像素點(diǎn)的灰度值之間的關(guān)系，如像素相關(guān)法、像素遞歸法和光流場法等。這類方法的特點(diǎn)是算法思路簡單，但是計(jì)算較為復(fù)雜不利于實(shí)時(shí)系統(tǒng)，且穩(wěn)像精度易受噪聲影響，其精度不高。(2)基于圖像塊信息匹配法。該方法以參考幀中圖像塊為基準(zhǔn)，在當(dāng)前幀中尋找相似度最高的圖像塊，其位置之差就是運(yùn)動偏移量。其缺點(diǎn)是只能求取平移運(yùn)動，而實(shí)際應(yīng)用中，圖像之間同時(shí)存在旋轉(zhuǎn)運(yùn)動和比例縮放，而且研究表明，人眼對于旋轉(zhuǎn)運(yùn)動十分敏感，故不能忽略旋轉(zhuǎn)運(yùn)動。(3)基于圖像特征信息法。該方法選取圖像中的有明顯特征的特征量作為運(yùn)動估計(jì)的基本單元，進(jìn)行特征跟蹤。這類方法能較好地接近人的視覺特性，通常提取的圖像特征是邊緣、直線以及點(diǎn)特征，其中邊緣和直線特征提取步驟復(fù)雜，不利于實(shí)時(shí)處理。因此，本發(fā)明是基于圖像的特征點(diǎn)信息，其技術(shù)關(guān)鍵是點(diǎn)特征提取的全局性和定位的精確性。電子穩(wěn)像方法中另一關(guān)鍵技術(shù)就是圖像運(yùn)動補(bǔ)償方法，即利用已知全局運(yùn)動參數(shù)對當(dāng)前圖像直接進(jìn)行補(bǔ)償作為輸出圖像，輸出圖像的邊界信息會有丟失。圖像運(yùn)動補(bǔ)償?shù)碾y點(diǎn)在于需要補(bǔ)償?shù)膬H為攝像機(jī)的隨機(jī)抖動，而應(yīng)保留正常的掃描運(yùn)動，從而達(dá)到既能有效減輕攝像機(jī)的抖動，同時(shí)又能實(shí)時(shí)跟蹤真實(shí)場景。因此，在運(yùn)動補(bǔ)償時(shí)，應(yīng)對全局運(yùn)動矢量中的平穩(wěn)運(yùn)動量和不穩(wěn)定運(yùn)動量進(jìn)行區(qū)分，即對運(yùn)動矢量信號進(jìn)行濾波處理，從而提取出抖動分量進(jìn)行補(bǔ)償。已有的濾波方法存在不同的缺陷，例如均值濾波法，容易出現(xiàn)過穩(wěn)或者欠穩(wěn)現(xiàn)象；曲線擬和法又會導(dǎo)致較大延遲，不能實(shí)時(shí)應(yīng)用；慣性濾波法需要事先對運(yùn)動類型進(jìn)行準(zhǔn)確設(shè)置。因此，需要尋找適合穩(wěn)像系統(tǒng)的達(dá)到實(shí)時(shí)穩(wěn)定運(yùn)動矢量序列的自適應(yīng)濾波方法。上述已有運(yùn)動估計(jì)方法和圖像補(bǔ)償方法的不足，造成對圖像運(yùn)動參數(shù)的估計(jì)精度不高，不能實(shí)時(shí)處理攝像機(jī)的復(fù)雜隨機(jī)抖動和復(fù)雜運(yùn)動場景，無法跟隨掃描運(yùn)動，且邊界信息的丟失現(xiàn)象會降低輸出視頻的質(zhì)量。
發(fā)明內(nèi)容本發(fā)明的目的在于避免上述己有技術(shù)的不足，提出一種基于全局特征點(diǎn)迭代的全景穩(wěn)像方法，一是解決對復(fù)雜環(huán)境的全局運(yùn)動參數(shù)的快速精確估計(jì)，二是解決對全局運(yùn)動參數(shù)進(jìn)行實(shí)時(shí)自適應(yīng)濾波提取抖動參數(shù)，并實(shí)現(xiàn)圖像的全景補(bǔ)償，以消除或者減輕視頻序列的不穩(wěn)定現(xiàn)象，改善視頻監(jiān)控或者跟蹤系統(tǒng)的觀測效果。本發(fā)明的目的是這樣實(shí)現(xiàn)的-本發(fā)明主要包括基于特征點(diǎn)迭代的圖像運(yùn)動參數(shù)估計(jì)和基于濾波的圖像運(yùn)動補(bǔ)償兩部分。其中，全局運(yùn)動參數(shù)的估計(jì)是充分利用特征跟蹤的思想，將圖像中最穩(wěn)定的Harris特征點(diǎn)與特征窗相結(jié)合，通過距離一致性驗(yàn)證和特征點(diǎn)迭代更新，逐漸刪除局部特征點(diǎn)，使得全局特征點(diǎn)集合快速收斂，以準(zhǔn)確求取全局運(yùn)動參數(shù)。運(yùn)動圖像的補(bǔ)償是利用信號處理的方法濾波提取抖動參數(shù)，僅對實(shí)際抖動參數(shù)進(jìn)行補(bǔ)償而保留攝像系統(tǒng)的正常掃描運(yùn)動，同時(shí)在補(bǔ)償時(shí)結(jié)合圖像融合實(shí)現(xiàn)全景圖像的輸出。具體方案如下一.基于特征點(diǎn)迭代的圖像全局運(yùn)動參數(shù)估計(jì)方法，包括如下步驟(1)將參考幀圖像厶分成互不重疊的區(qū)域，在各區(qū)域內(nèi)利用Harris算子選取特征點(diǎn)(2)以每一個(gè)特征點(diǎn)為中心取尺寸為MxW的特征窗，在當(dāng)前幀厶+,的一定搜索范圍內(nèi)，利用最小絕對誤差和準(zhǔn)則SAD對特征窗進(jìn)行匹配，并以匹配窗對應(yīng)的中心點(diǎn)作為匹配特征點(diǎn)(^，j),)，建立初始全局特征點(diǎn)對集合；(3)對初始全局特征點(diǎn)對集合，通過距離準(zhǔn)則進(jìn)行一致性驗(yàn)證，取出C對候選全局特征點(diǎn)對集合；(4)將候選點(diǎn)對集合代入仿射運(yùn)動模型，利用特征點(diǎn)對迭代更新，得到最終的K對全局特征點(diǎn)對集合，并獲得全局運(yùn)動6參數(shù)矩陣i^。<formula>formulaseeoriginaldocumentpage6</formula>二.基于濾波的圖像運(yùn)動補(bǔ)償方法，包括如下步驟1)利用全局運(yùn)動6參數(shù)仿射矩陣M。,e，計(jì)算圖像的旋轉(zhuǎn)角度W，水平偏移血'和垂直偏移辦'，<formula>formulaseeoriginaldocumentpage6</formula>2)對旋轉(zhuǎn)角度W，水平偏移血'和垂直偏移辦'，采用kalman濾波器進(jìn)行平滑處理，得到^"、血"和辦"；3)集合最終的《對特征點(diǎn)，計(jì)算圖像的比例因子"<formula>formulaseeoriginaldocumentpage6</formula>其中，(x,，y,)和C少,)分別表示參考幀和當(dāng)前幀中對應(yīng)特征點(diǎn)，(x,力和(A:P)分別表示參考幀和當(dāng)前幀中特征點(diǎn)集合的質(zhì)心；4)以濾波前后各運(yùn)動分量之差0=^-^,血=血'-血",辦=辦'-辦M乍為抖動參數(shù)，計(jì)算待補(bǔ)償矩陣j^^e的6個(gè)參數(shù)，即<formula>formulaseeoriginaldocumentpage6</formula>5)以參考幀作為初始全景圖，利用待補(bǔ)償矩陣J^。,e的6參數(shù)對當(dāng)前幀像素點(diǎn)進(jìn)行仿射變換，并利用圖像融和策略確定每個(gè)點(diǎn)的灰度值，得到圖像的補(bǔ)償結(jié)果。上述圖像運(yùn)動參數(shù)估計(jì)方法，其中(3)中所述的通過距離準(zhǔn)則進(jìn)行一致性驗(yàn)證，按如下步驟進(jìn)行(3a)計(jì)算所有特征點(diǎn)對之間的距離，式中，(、,乂)和,:P,)分別表示參考幀和當(dāng)前幀中對應(yīng)特征點(diǎn)；(3b)將這些距離分成/類，逐個(gè)比較和統(tǒng)計(jì)每一距離類中特征點(diǎn)的個(gè)數(shù)W=l，2，...,/);(3c)判斷每類距離的數(shù)目，如果滿足c=max{C,|/=l,...,/}，則該距離所對應(yīng)的特征匹配具有良好的距離一致性，作為候選全局特征點(diǎn)對。上述圖像運(yùn)動參數(shù)估計(jì)方法，其中(4)所述的利用特征點(diǎn)對迭代更新，求取全局運(yùn)動6參數(shù)矩陣，具體步驟如下(4a)將c對特征點(diǎn)的坐標(biāo)差A(yù)x,.=a-;,，Ay,=乂-j),作為初始數(shù)據(jù)集合S;(4b)將S中對應(yīng)的特征點(diǎn)代入仿射運(yùn)動模型，建立仿射方程5=^^,，i\—、乂r式中5=，j=i丸-3凡i附0附3/Wj附4附,附《(4c)利用最小二乘算法計(jì)算仿射參數(shù)矩陣M。^e=0^^4)—MS;(4d)利用所求的參數(shù)矩陣M。,^計(jì)算參考幀中各特征點(diǎn)映射后的坐標(biāo)g,義)，并計(jì)算其與當(dāng)前幀中檢測特征點(diǎn)的坐標(biāo)差(A^,A》)，(4e)計(jì)算初始數(shù)據(jù)集合S中(A^,Ay,)與(A^,A^)的位置誤差五，五=V(^,—m,)2+(~,_a義)2;(4f)將集合S中誤差大于設(shè)定閾值的對應(yīng)特征點(diǎn)對刪除，更新集合S并轉(zhuǎn)至步驟(2)，若誤差均小于設(shè)定閾值，則停止迭代，己求的參數(shù)矩陣即為最終的全局運(yùn)動參數(shù)，且被保留的特征點(diǎn)對為最終的全局特征點(diǎn)對集合。本發(fā)明具有如下效果(1)由于采用特征點(diǎn)迭代更新，提高了圖像全局運(yùn)動參數(shù)的計(jì)算精度。本發(fā)明采用的特征點(diǎn)提取原則是，利用Harris算子在圖像各分區(qū)內(nèi)取響應(yīng)最大點(diǎn)，以使特征點(diǎn)均勻分布在圖像內(nèi)，并不會集中于前景目標(biāo)；本發(fā)明通過距離一致性驗(yàn)證和位置誤差的迭代判斷，逐漸剔除局部運(yùn)動特征點(diǎn)，使得全局特征點(diǎn)集合得到收斂，不僅有效地處理攝像系統(tǒng)平移，旋轉(zhuǎn)，變焦等抖動以及更為復(fù)雜的場景局部運(yùn)動情況，且提高全局運(yùn)動估計(jì)的精度。(2)由于采用濾波性能良好的Kalman濾波器，一方面較好地平滑運(yùn)動矢量以降低視頻抖動，另一方面有效跟隨攝像系統(tǒng)的有意掃描運(yùn)動。相對于傳統(tǒng)的采用固定窗長的均值濾波器，它可以有效避免過穩(wěn)或者欠穩(wěn)現(xiàn)象的發(fā)生，能夠自適應(yīng)地根據(jù)實(shí)際運(yùn)動參數(shù)曲線，調(diào)整平滑程度，同時(shí)又可有效保留攝像系統(tǒng)的掃描運(yùn)動，保證輸出視頻的真實(shí)性。G)由于結(jié)合圖像融合技術(shù)，使得輸出全景補(bǔ)償圖像，提高視頻序列的完整性。圖像補(bǔ)償往往會出現(xiàn)邊界丟失現(xiàn)象，即常見的黑色邊框，給視覺效果帶來不良影響，且不能反映真實(shí)場景，本發(fā)明利用已知待補(bǔ)償矩陣，對當(dāng)前圖像和參考圖像進(jìn)行融和處理，切出同尺寸的圖像作為最終補(bǔ)償結(jié)果，可以有效去除黑色邊框，達(dá)到邊界信息的重建。圖1是本發(fā)明的整體流程示意圖2是本發(fā)明的特征點(diǎn)對迭代更新求全局運(yùn)動參數(shù)的流程圖3是本發(fā)明特征點(diǎn)提取、特征窗建立以及特征點(diǎn)匹配結(jié)果示意圖4是本發(fā)明特征點(diǎn)對迭代結(jié)果圖5是本發(fā)明對原始水平偏移和垂直偏移進(jìn)行濾波的結(jié)果圖；圖6是本發(fā)明利用圖像融合進(jìn)行全景補(bǔ)償?shù)慕Y(jié)果圖；圖7是本發(fā)明對視頻序列進(jìn)行穩(wěn)定前后的PSNR對比結(jié)果圖。具體實(shí)施例方式以下參照附圖對本發(fā)明作進(jìn)一步詳細(xì)的描述。參照圖l，本發(fā)明的圖像運(yùn)動參數(shù)估計(jì)的步驟如下步驟l，對原始參考圖像提取特征點(diǎn)。將原始圖像/(x，力，分成4X4共16個(gè)互不重疊的區(qū)域，在每個(gè)區(qū)域內(nèi)利用Harris角點(diǎn)檢測方法提取特征點(diǎn)，其過程是(la)利用下式計(jì)算梯度圖像其中(8)表示巻積，X表示水平方向的梯度圖像，r表示垂直方向的梯度圖像;<formula>formulaseeoriginaldocumentpage8</formula>(lb)構(gòu)造自相關(guān)矩陣i令及=&，義2為自相關(guān)矩陣的兩個(gè)特征值。其中，W=exp(-(義2+")/20"2)為高斯平滑窗函數(shù)；(lc)計(jì)算Harris特征點(diǎn)響應(yīng)值其中jdet(7)-;ijx^1^race(i)=不+^(Id)提取特征點(diǎn)-在每個(gè)區(qū)域內(nèi)取i^最大的點(diǎn)，作為特征點(diǎn)，如圖3(a)所示的特征點(diǎn)。步驟2，在參考幀中建立特征窗。以參考幀中的每一特征點(diǎn)為中心，構(gòu)造Mx7V大小的圖像塊作為特征窗。由于攝像機(jī)的旋轉(zhuǎn)運(yùn)動，特征窗相應(yīng)也會旋轉(zhuǎn)，如果特征窗過大則會導(dǎo)致像素點(diǎn)的錯(cuò)位；特征窗過小，則包含的信息量又過少，因而就要確定合適尺寸的特征窗。下面給出了特征窗尺寸和旋轉(zhuǎn)角度之間的關(guān)系式，從而推導(dǎo)出合適的特征窗尺寸。設(shè)以圖像中心為坐標(biāo)原點(diǎn)，旋轉(zhuǎn)前兩點(diǎn)坐標(biāo)分別為(X,力)和(^,;;。，旋轉(zhuǎn)后對應(yīng)兩點(diǎn)坐標(biāo)分別為(x;,為)和(A,h)，則圖像旋轉(zhuǎn)之前，兩點(diǎn)之間的水平和垂直距離分別為-假設(shè)圖像旋轉(zhuǎn)a度，由旋轉(zhuǎn)方程可知，圖像旋轉(zhuǎn)之后兩點(diǎn)水平和垂直距離為Ay=—Axsina+4ycos"若要保證特征窗旋轉(zhuǎn)后沒有發(fā)生錯(cuò)位，只要保證旋轉(zhuǎn)后兩點(diǎn)水平間距和垂直間距的變化都小于l，即Ax—Ax<1<1禾口-A少假設(shè)特征窗的邊長分別為M和7V，即Ax二M,Ay-iVAx-"=|z\ysin"+(cos"-1)Ax|=|sin"—1+cos爿M<1A少—4y'=|—Ax:sinor+(cos"—=|sin"+1—cos<1由此，可以計(jì)算，在保證特征窗旋轉(zhuǎn)后沒有發(fā)生錯(cuò)位時(shí)，旋轉(zhuǎn)角度與特征窗大小的關(guān)系如表1所示在旋轉(zhuǎn)角度小于5度時(shí)，特征窗尺寸小于11，可以保證特征窗不發(fā)生錯(cuò)位。本發(fā)明選用9X9的特征窗，如圖3(a)在參考幀厶中以特征點(diǎn)為中心建立特征窗。表1旋轉(zhuǎn)角度與模板尺寸關(guān)系表<table>tableseeoriginaldocumentpage10</column></row><table>步驟3，在當(dāng)前幀中匹配特征窗。(3a)如圖3(b)在當(dāng)前幀/w中取出對應(yīng)的搜索窗，尺寸為(M+2;)x(W+2;)，其中；？表示水平和垂直方向最大偏移量；(3b)利用全搜索策略和最小誤差和SAD準(zhǔn)則，找到特征窗在搜索窗內(nèi)對應(yīng)的匹配塊，該塊中心點(diǎn)即為對應(yīng)的匹配特征點(diǎn)，其中SAD準(zhǔn)則的計(jì)算公式如下顯/，_/)=S》A(附,")丄(附+,.，"+力I式中，/<formula>formulaseeoriginaldocumentpage10</formula>步驟4，特征點(diǎn)對距離驗(yàn)證。(4a)計(jì)算所有特征點(diǎn)對之間的距離，夕,)式中，(^乂)和(jf,，jP,)分別表示參考幀和當(dāng)前幀中對應(yīng)特征點(diǎn)；(4b)將這些距離分成/類，逐個(gè)比較和統(tǒng)計(jì)每一距離類中特征點(diǎn)的個(gè)數(shù)c,(!、1,2,，/);(4c)判斷每類距離的數(shù)目，如果滿足c=max{c,.|/=l,..，/}，則該距離所對應(yīng)的特征匹配具有良好的距離一致性，作為候選全局特征點(diǎn)對。步驟5:特征點(diǎn)對迭代更新，求全局運(yùn)動參數(shù)。參照圖2，特征點(diǎn)對迭代更新求全局運(yùn)動參數(shù)的具體步驟為(5a)將c對特征點(diǎn)的坐標(biāo)差A(yù)x,=-jp,作為初始數(shù)據(jù)集合S;(5b)將S中對應(yīng)的特征點(diǎn)代入仿射運(yùn)動模型，建立仿射方程^=^14，￡，<formula>formulaseeoriginaldocumentpage10</formula>(5c)利用最小二乘算法計(jì)算仿射參數(shù)矩陣il^^、5;(5d)利用所求的參數(shù)矩陣M。，e，計(jì)算參考幀中各特征點(diǎn)映射后的坐標(biāo)(3f,J,)，并計(jì)算其與當(dāng)前幀中檢測特征點(diǎn)的坐標(biāo)差(A3f,.,A，,)，M,=X,-S,銀",-^;(5e)計(jì)算初始數(shù)據(jù)集合S中(Ax,,Ay,)與(A3f,.,A力)的位置誤差￡，五=V(&'-械)2+('_刷2;(5f)將集合S中誤差大于設(shè)定閾值的對應(yīng)特征點(diǎn)對刪除，更新集合S并轉(zhuǎn)至步驟(2)，若誤差均小于設(shè)定閾值，則停止迭代，輸出已求的仿射參數(shù)矩陣，作為最終的全局運(yùn)動參數(shù)，且被保留的特征點(diǎn)對為最終的《對全局特征點(diǎn)對集合。如圖4(a)所示，標(biāo)注了通過特征點(diǎn)迭代刪除的2個(gè)局部特征點(diǎn)位于場景左邊的移動車身。圖4(b)為初始數(shù)據(jù)集合S中各特征點(diǎn)對坐標(biāo)差的結(jié)果圖，其中這兩點(diǎn)出現(xiàn)明顯不一致現(xiàn)象，其位置誤差大于設(shè)定閾值，應(yīng)該予以刪除。參照圖l，本發(fā)明的圖像運(yùn)動補(bǔ)償?shù)牟襟E如下步驟A，對已估計(jì)的全局運(yùn)動參數(shù)進(jìn)行存儲。步驟B，計(jì)算圖像的運(yùn)動分量。利用已求的全局運(yùn)動6參數(shù)仿射矩陣M,附0附3附4/n2附5，計(jì)算相鄰幀間圖像的旋轉(zhuǎn)角度"，水平偏移血'和垂直偏移辦'，附W=arctan(--^，血'=，c/乂=附5恥步驟C，對運(yùn)動分量進(jìn)行濾波。將各幀間運(yùn)動分量排成一個(gè)序列，作為原始運(yùn)動分量序列，采用kalman濾波器進(jìn)行平滑處理，得到^、血"和辦"。其中，kalman濾波器中的狀態(tài)矢量定義為S&Xe'(/t),cf;)cO),cfv,(fc),辦("^、("]，分別表示旋轉(zhuǎn)角度，水平和垂直偏移以及它們的速度；觀測矢量定義為Z(A)=[^^)，血"(A0,辦"(/t)];則完整的狀態(tài)方程和觀測方程為<formula>formulaseeoriginaldocumentpage11</formula><formula>formulaseeoriginaldocumentpage12</formula>式中，W(0,)，7V(0,)和iV(0,(T》分別表示旋轉(zhuǎn)角度，水平偏移和垂直偏移的隨機(jī)噪聲。本發(fā)明以對水平偏移血'和垂直偏移辦'進(jìn)行濾波處理為例，給出了其濾波后的血"和辦"的效果對比圖，如圖5所示。由于攝像機(jī)存在連續(xù)的水平方向鏡頭右移的掃描運(yùn)動，因此可以觀察到水平方向曲線呈穩(wěn)定上升趨勢；而垂直方向存在低幅抖動，濾波后相對平滑穩(wěn)定。步驟D，計(jì)算圖像的比例因子。集合最終的K對特征點(diǎn)，計(jì)算圖像的比例因子S:<formula>formulaseeoriginaldocumentpage12</formula>其中，(a,x)和分別表示參考幀和當(dāng)前幀中保留的特征點(diǎn)對，Oc,力和(;,iO分別表示參考幀和當(dāng)前幀中特征點(diǎn)集合的質(zhì)心。步驟e，計(jì)算待補(bǔ)償矩陣。以濾波前后各運(yùn)動分量之差0=伊-w,血=血'-血"，辦=辦'-辦"作為抖動參數(shù)，結(jié)合己計(jì)算的圖像比例因子s，計(jì)算待補(bǔ)償矩陣ii^一的6個(gè)參數(shù)，即<formula>formulaseeoriginaldocumentpage12</formula>步驟F，圖像全景補(bǔ)償。以參考幀厶作為初始全景圖，利用待補(bǔ)償矩陣W。,e的6參數(shù)對當(dāng)前幀厶+1像素點(diǎn)進(jìn)行仿射變換，并利用圖像融和策略確定每個(gè)像素點(diǎn)的灰度值，得到補(bǔ)償圖像/。融合后的圖像像素/(A《)為式中《，^表示權(quán)重值，代表該點(diǎn)相對位置與重疊區(qū)域?qū)挾鹊谋壤丛擖c(diǎn)與邊界點(diǎn)位置之差/重疊區(qū)域?qū)挾?，且?^=1,0<4,4<1。在重疊區(qū)域中，《由1漸變至0，A由0漸變至1，由此實(shí)現(xiàn)了在重疊區(qū)域中由/4慢慢平滑過渡到厶+1，使得融和的圖像效果更加自然，不會影響整個(gè)視頻的觀察效果。圖6給出了本發(fā)明對圖像進(jìn)行運(yùn)動補(bǔ)償?shù)慕Y(jié)果圖，其中6(a)為參考幀，6(b)為當(dāng)前幀，6(c)為當(dāng)前幀直接補(bǔ)償?shù)慕Y(jié)果，在圖6(c)邊界處出現(xiàn)了明顯的信息丟失現(xiàn)象，圖6(d)是利用圖像融和進(jìn)行全景補(bǔ)償?shù)慕Y(jié)果。從圖6(d)可以看出，全景補(bǔ)償提高了圖像質(zhì)量，從而保證對整個(gè)場景全貌的觀察效果及輸出視頻序列的完整流暢。本發(fā)明對視頻序列進(jìn)行穩(wěn)定的效果可以通過實(shí)驗(yàn)進(jìn)一步說明本實(shí)驗(yàn)利用PC機(jī)在￥€++編程下實(shí)現(xiàn)了320x240圖像序列25幀/秒的實(shí)時(shí)處理，圖7給出了穩(wěn)定前后的幀間PSNR比較結(jié)果，其中曲線original表示原始序列的PSNR，曲線stabilized表示穩(wěn)定序列的PSNR。PSNR值的計(jì)算公式如下<formula>formulaseeoriginaldocumentpage13</formula>PSNR直觀反映兩幅圖像的相似程度，如果PSNR值越高，則說明兩幅圖像越相似，即幀間穩(wěn)定性也高。由圖7可以看出，穩(wěn)定后的PSNR值比穩(wěn)定前有明顯的提高，證明本發(fā)明對抖動視頻序列具有良好的穩(wěn)定效果，同時(shí)也證明本發(fā)明的全局運(yùn)動參數(shù)估計(jì)具有較高的精度。權(quán)利要求1.一種基于特征點(diǎn)迭代的圖像運(yùn)動參數(shù)估計(jì)方法，包括如下步驟(1)將參考幀圖像fk分成互不重疊的區(qū)域，在各區(qū)域內(nèi)利用Harris算子選取特征點(diǎn)(xi，yi)；(2)以每一個(gè)特征點(diǎn)為中心取尺寸為M×N的特征窗，在當(dāng)前幀fk+1的一定搜索范圍內(nèi)，利用最小絕對誤差和準(zhǔn)則SAD對特征窗進(jìn)行匹配，并以匹配窗對應(yīng)的中心點(diǎn)作為匹配特征點(diǎn)id="icf0001"file="A2008101503840002C1.tif"wi="10"he="4"top="76"left="40"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>，建立初始全局特征點(diǎn)對集合；(3)對初始全局特征點(diǎn)對集合，通過距離準(zhǔn)則進(jìn)行一致性驗(yàn)證，取出c對候選全局特征點(diǎn)對集合；(4)將候選點(diǎn)對集合代入仿射運(yùn)動模型，利用特征點(diǎn)迭代更新，得到最終的K對全局特征點(diǎn)對集合，并獲得全局運(yùn)動6參數(shù)矩陣Maffine<mathsid="math0001"num="0001"><math><![CDATA[<mrow><msub><mi>M</mi><mi>affine</mi></msub><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>m</mi><mn>0</mn></msub></mtd><mtd><msub><mi>m</mi><mn>3</mn></msub></mtd></mtr><mtr><mtd><msub><mi>m</mi><mn>1</mn></msub></mtd><mtd><msub><mi>m</mi><mn>4</mn></msub></mtd></mtr><mtr><mtd><msub><mi>m</mi><mn>2</mn></msub></mtd><mtd><msub><mi>m</mi><mn>5</mn></msub></mtd></mtr></mtable></mfenced><mo>.</mo></mrow>]]></math></maths>2.—種基于濾波的圖像運(yùn)動補(bǔ)償方法，包括如下步驟:1)利月直偏移辦'，1)利用全局運(yùn)動6參數(shù)仿射矩陣M。，e，計(jì)算圖像的旋轉(zhuǎn)角度W，水平偏移血'和垂<formula>formulaseeoriginaldocumentpage2</formula>2)對旋轉(zhuǎn)角度W，水平偏移血'和垂直偏移辦'，采用kalman濾波器進(jìn)行平滑處理，3)集合最終的K對特征點(diǎn)，計(jì)算圖像的比例因子s，<formula>formulaseeoriginaldocumentpage2</formula>其中，(A,y,)和分別表示參考幀和當(dāng)前幀中對應(yīng)特征點(diǎn)，(X,力和(S，j))分別表示參考幀和當(dāng)前幀中特征點(diǎn)集合的質(zhì)心；4)以濾波前后各運(yùn)動分量之差^=^-^血=血'-血",辦=辦'-辦"作為抖動參數(shù)，計(jì)算待補(bǔ)償矩陣i^^—的6個(gè)參數(shù)，即<formula>formulaseeoriginaldocumentpage3</formula>5)以參考幀作為初始全景圖，利用待補(bǔ)償矩陣JiZ。,e的6參數(shù)對當(dāng)前幀像素點(diǎn)進(jìn)行仿射變換，并利用圖像融和策略確定每個(gè)點(diǎn)的灰度值，得到圖像的補(bǔ)償結(jié)果。3.根據(jù)權(quán)利要求1所述的圖像運(yùn)動參數(shù)估計(jì)方法，其特征在于步驟(3)通過距離準(zhǔn)則進(jìn)行一致性驗(yàn)證，按如下步驟進(jìn)行(3a)計(jì)算所有特征點(diǎn)對之間的距離，<formula>formulaseeoriginaldocumentpage3</formula>式中，(x,，y,)和(；免)分別表示參考幀和當(dāng)前幀中對應(yīng)特征點(diǎn)；(3b)將這些距離分成/類，逐個(gè)比較和統(tǒng)計(jì)每一距離類中特征點(diǎn)的個(gè)數(shù)c力、l，2，…,/);(3c)判斷每類距離的數(shù)目，如果滿足c=maX{C,|Z=l,..，/}，則該距離所對應(yīng)的特征匹配具有良好的距離一致性，作為候選全局特征點(diǎn)對。4.根據(jù)權(quán)利要求1所述的圖像運(yùn)動參數(shù)估計(jì)方法，其特征在于步驟(4)所述的利用特征點(diǎn)迭代更新，求取全局運(yùn)動6參數(shù)矩陣，具體步驟如下(4a)將c對特征點(diǎn)的坐標(biāo)差A(yù)x,.=jc;-;f,，Ay,-少,作為初始數(shù)據(jù)集合S;(4b)將S中對應(yīng)的特征點(diǎn)代入仿射運(yùn)動模型，建立仿射方程<formula>formulaseeoriginaldocumentpage3</formula>(4c)利用最小二乘算法計(jì)算仿射參數(shù)矩陣M。,e=04fA—1;(4d)利用所求的參數(shù)矩陣M。,e，計(jì)算參考幀中各特征點(diǎn)映射后的坐標(biāo)(^力)，并計(jì)算其與當(dāng)前幀中檢測特征點(diǎn)的坐標(biāo)差(A^.,A》)，(4e)計(jì)算初始數(shù)據(jù)集合S中(Ax,，A;;,)與(A^,A另)的位置誤差五，(4f)將集合S中誤差大于設(shè)定閾值的對應(yīng)特征點(diǎn)對刪除，更新集合S并轉(zhuǎn)至步驟(2)，若誤差均小于設(shè)定閾值，則停止迭代，已求的參數(shù)矩陣即為最終的全局運(yùn)動參數(shù)，且被保留的特征點(diǎn)對為最終的全局特征點(diǎn)對集合。全文摘要本發(fā)明公開了一種基于全局特征點(diǎn)迭代的全景穩(wěn)像方法。它包括基于特征點(diǎn)迭代的圖像運(yùn)動參數(shù)估計(jì)和基于濾波的圖像運(yùn)動補(bǔ)償兩部分。該全局運(yùn)動參數(shù)的估計(jì)是將圖像中最穩(wěn)定的Harris特征點(diǎn)與特征窗相結(jié)合，通過距離一致性驗(yàn)證和特征點(diǎn)迭代更新，逐漸刪除局部特征點(diǎn)，使全局特征點(diǎn)集合快速收斂，以準(zhǔn)確求取全局運(yùn)動參數(shù)。該運(yùn)動圖像的補(bǔ)償是對全局運(yùn)動參數(shù)進(jìn)行濾波提取抖動參數(shù)，并對實(shí)際抖動參數(shù)進(jìn)行補(bǔ)償而保留攝像系統(tǒng)的正常掃描運(yùn)動，同時(shí)在補(bǔ)償時(shí)結(jié)合圖像融合實(shí)現(xiàn)全景圖像的輸出。該方法能有效地處理攝像系統(tǒng)平移，旋轉(zhuǎn)，變焦等抖動以及更為復(fù)雜的場景局部運(yùn)動情況，可用于消除運(yùn)動載體對視頻序列的影響，輸出穩(wěn)定視頻，改善視頻監(jiān)控或跟蹤的觀測效果。文檔編號H04N7/26GK101316368SQ20081015038公開日2008年12月3日申請日期2008年7月18日優(yōu)先權(quán)日2008年7月18日發(fā)明者朱娟娟,郭寶龍申請人:西安電子科技大學(xué)