本發(fā)明涉及視頻相機視頻圖像處理領域，可應用于各種位置固定的視頻相機，如視頻監(jiān)控、手持攝像機、航天航空監(jiān)測、軍事監(jiān)測等，可較好的應用于“凝視”型紅外視頻相機電子穩(wěn)像系統(tǒng)中。

背景技術：

電子穩(wěn)像一直是視頻相機圖像采集系統(tǒng)的重點內容，視頻相機在“凝視”觀測過程中由于平臺的抖動和外界干擾導致相機在成像過程中得到的視頻序列帶有抖動甚至畸變，對場景觀測產生了極大的影響，同時也限制了高層次的視覺任務，比如視頻中特定運動目標的檢測和跟蹤。

視頻相機的電子穩(wěn)像方法留有諸多難點：現(xiàn)有的電子穩(wěn)像如塊匹配法通常適用于只有平移運動矢量的情況下，且對噪聲比較敏感以及對在動態(tài)場景中獲得的視頻幀序列匹配時容易引起匹配誤差?；叶韧队胺m然算法速度比較快,但是要求圖像具有的灰度信息要變化豐富,否則將得不到準確的變化明顯的灰度投影曲線,導致電子穩(wěn)像效果差。對于紅外視頻相機，獲取的視頻圖像噪聲較大、灰度信息變化不豐富，因此不適合利用塊匹配法和灰度投影法來實現(xiàn)電子穩(wěn)像功能。

針對以上問題，本方法采用基于魯棒性特征點的視頻相機電子穩(wěn)像方法，由圖像魯棒性特征點能夠比較精確的得到視頻序列的當前幀與參考幀圖像的運動矢量，精度高，可以達到亞像素級，同時適用于存在平移、旋轉、縮放等復雜的場景中。

技術實現(xiàn)要素：

本發(fā)明的目的，是要提供一種實時電子穩(wěn)像方法，用于解決視頻相機由于平臺抖動和外界干擾引起的視頻序列抖動和畸變問題。

為實現(xiàn)上述目的，本發(fā)明采用如下技術方案：

1、本方法將電子穩(wěn)像兩步實施：運動矢量估計和運動補償。

2、所述的運動矢量估計方法如下，首先利用fast算法檢測參考幀圖像和當前幀圖像中的魯棒性特征點，然后利用orb算法對檢測到的魯棒性特征點進行描述，特征點描述后利用近似最近鄰flann算法對特征點進行匹配，再利用基于統(tǒng)計方法的隨機抽樣一致性算法剔除匹配過程中產生的誤匹配點對，最后利用獲得的匹配點對帶入?yún)⒖紟c當前幀圖像仿射變換模型中，得到一組超定方程，利用最小二乘法擬合得到圖像序列間的全局運動矢量；

3、所述的運動補償方法如下，利用步驟2)得到的全局運動矢量參數(shù)和視頻序列中的當前幀圖像和參考幀圖像之間的仿射變換模型對視頻序列運動矢量進行補償，得到穩(wěn)定的視頻序列。

本發(fā)明的優(yōu)點在于，有效解決了視頻相機電子穩(wěn)像處理過程中遺留的諸多難題：處理速度慢，不能做到實時，圖像紋理不明顯導致穩(wěn)像精度差，不能解決圖像間存在旋轉等問題。同時，本方法不需要外加處理芯片，成本低，便于實現(xiàn)。

附圖說明

圖1為本發(fā)明詳細實現(xiàn)過程圖。

圖2為本發(fā)明具體實施示例穩(wěn)像結果，圖a為穩(wěn)像前視頻序列，其中圖(1)為穩(wěn)像前的第6幀，圖(2)為穩(wěn)像前的第54幀，圖(3)為穩(wěn)像前的第102幀；圖b為穩(wěn)像后視頻序列，其中圖(1)為穩(wěn)像后的第6幀，圖(2)為穩(wěn)像后的第54幀，圖(3)為穩(wěn)像后的第102幀。

具體實施方式

下面結合具體實施例，即制冷型288×384紅外視頻相機的電子穩(wěn)像對本發(fā)明作進一步描述，在此僅用本發(fā)明的適宜性實例說明來解釋本發(fā)明，但并不作為本發(fā)明的限定。

制冷型288×384紅外視頻相機由288×384紅外探測器、模擬抖動平臺、數(shù)據(jù)采集系統(tǒng)、電源組成。在具體實施例中，利用抖動平臺模擬無意的抖動，從而會引起輸出視頻序列抖動，利用本發(fā)明方法解決這一問題。方法如圖1所示，由運動矢量估計和運動補償兩個部分組成。

首先，視頻相機以靜止方式對某一區(qū)域進行觀察，以視頻序列中的某一幀為參考幀，對圖像進行預處理后，利用fast和orb算法分別對當前幀圖像和參考幀圖像中魯棒性特征點進行檢測和描述，然后利用近似最近鄰flann算法對特征點進行匹配，再利用基于統(tǒng)計方法的隨機抽樣一致性算法剔除匹配過程中產生的誤匹配點對，最后利用獲得的匹配點對帶入?yún)⒖紟c當前幀圖像仿射變換模型中，得到一組超定方程，利用最小二乘法擬合得到圖像序列間的全局運動矢量

其次，利用得到的全局運動矢量參數(shù)和視頻序列中的當前幀圖像和參考幀圖像之間的仿射變換模型對視頻序列運動矢量進行補償，得到穩(wěn)定的視頻序列。本例中電子穩(wěn)像平均誤差為0.0687pixel,速度為每秒63幀。穩(wěn)像結果見圖2所示。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，根據(jù)本發(fā)明所述系統(tǒng)及其實施方法所做的同等變化及修飾，都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應該以權利要求的保護范圍為準。

技術特征：

技術總結
本發(fā)明公開了一種基于魯棒性特征點的視頻相機電子穩(wěn)像方法。方法包括：運動矢量估計和運動補償。所述運動矢量估計為利用FAST算法檢測檢測參考幀圖像和當前幀圖像中魯棒性特征點，ORB算法對特征點進行描述，近似最近鄰FLANN算法對特征點進行匹配，隨機抽樣一致性算法去除誤匹配點，最小二乘法擬合全局運動矢量；所述運動補償利用全局運動矢量參數(shù)和圖像仿射變換模型補償視頻序列當前幀圖像相對于參考幀圖像的運動矢量。本發(fā)明所用方法簡單、處理耗時短、穩(wěn)像精度高，同時，較好的解決了“凝視”型視頻相機由于平臺抖動等不必要的外界干擾引起的視頻序列抖動問題，而且本方法具有通用性，可以用在視頻監(jiān)控、軍事監(jiān)測等場合。

技術研發(fā)人員：李鋒;董峰;馮旗;王文秀;王梅竹;劉文浩;朱天佑
受保護的技術使用者：中國科學院上海技術物理研究所
技術研發(fā)日：2017.07.12
技術公布日：2017.11.10