本發(fā)明涉及一種基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法，屬于數(shù)字圖像處理技術(shù)領(lǐng)域。

背景技術(shù)：

目標(biāo)跟蹤系統(tǒng)的準(zhǔn)確度首先是受攝像系統(tǒng)所獲取的圖像質(zhì)量影響的，而攝像機(jī)在很多工作環(huán)境下，會受到許多不可控的因素所影響，從而使得到的圖像出現(xiàn)大幅振蕩、模糊的現(xiàn)象。因此，需要通過其他技術(shù)手段增加獲取圖像序列的穩(wěn)定性，在此基礎(chǔ)上目標(biāo)跟蹤系統(tǒng)通過數(shù)字處理技術(shù)等來實現(xiàn)對目標(biāo)的有效跟蹤。近年來國外在光電穩(wěn)定及跟蹤技術(shù)等方面發(fā)展很快，光電穩(wěn)定平臺的穩(wěn)定精度己經(jīng)達(dá)到亞微弧度數(shù)量級。國內(nèi)諸多高校也開展了光電穩(wěn)定及跟蹤等方面的研究工作。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種具備成像穩(wěn)定功能與目標(biāo)跟蹤功能基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法。

本發(fā)明為了解決上述技術(shù)問題采用以下技術(shù)方案：本發(fā)明設(shè)計了一種基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法，基于設(shè)置于電控云臺上的圖像捕獲裝置，實時執(zhí)行如下步驟，針對圖像捕獲裝置所獲圖像中指定的目標(biāo)區(qū)域?qū)崿F(xiàn)跟蹤；

步驟1)讀取當(dāng)前時刻幀圖像，針對當(dāng)前時刻幀圖像中的目標(biāo)區(qū)域，通過camshift算法，提取顏色特征，結(jié)合ltp紋理特征，構(gòu)建目標(biāo)區(qū)域?qū)?yīng)當(dāng)前時刻幀圖像的聯(lián)合直方圖，進(jìn)而獲得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的目標(biāo)概率模型，以及當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的位置；

步驟2)待時間進(jìn)入下一幀圖像時刻，更新為當(dāng)前時刻，捕獲并讀取當(dāng)前時刻幀圖像，基于上一時刻幀圖像中目標(biāo)區(qū)域位置的中心位置，通過camshift算法，結(jié)合當(dāng)前時刻幀圖像的顏色特征和ltp紋理特征，獲得當(dāng)前時刻幀圖像中的初步目標(biāo)概率模型；

步驟3)基于上一時刻幀圖像中目標(biāo)區(qū)域的目標(biāo)概率模型，以及當(dāng)前時刻幀圖像中的初步目標(biāo)概率模型，運用加權(quán)融合方式進(jìn)行特征融合，計算獲得目標(biāo)區(qū)域預(yù)測權(quán)值；

步驟4)根據(jù)上一時刻幀圖像中目標(biāo)區(qū)域位置的中心位置，以及目標(biāo)區(qū)域預(yù)測權(quán)值，通過kalman濾波算法，預(yù)測獲得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的預(yù)測位置，作為當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的位置；

步驟5)獲得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域位置的中心位置與圖像捕獲裝置的光軸之間的夾角，并據(jù)此獲得圖像捕獲裝置的伺服電機(jī)跟蹤控制信號，控制電控云臺工作，實現(xiàn)圖像捕獲裝置轉(zhuǎn)動，使得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域預(yù)測位置的中心位置位于圖像捕獲裝置的光軸上；

步驟6)針對當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的位置，通過camshift算法，提取顏色特征，結(jié)合ltp紋理特征，構(gòu)建目標(biāo)區(qū)域?qū)?yīng)當(dāng)前時刻幀圖像的聯(lián)合直方圖，進(jìn)而獲得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的目標(biāo)概率模型，然后返回步驟2)。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，還包括設(shè)置于所述電控云臺上的mems加速度計和mems陀螺儀，還包括如下步驟f至步驟g如下，所述步驟5)執(zhí)行完后，執(zhí)行步驟f，步驟g執(zhí)行完后，執(zhí)行步驟6)；

步驟f.獲得步驟5)電控云臺工作過程中，電控云臺上mems加速度計和mems陀螺儀采集的采集數(shù)據(jù)，并據(jù)此采集數(shù)據(jù)，獲得所述圖像捕獲裝置的當(dāng)前姿態(tài)；

步驟g.根據(jù)圖像捕獲裝置的當(dāng)前姿態(tài)，獲得伺服電機(jī)的偏轉(zhuǎn)補償角，生成伺服電機(jī)姿態(tài)穩(wěn)定反向補償控制信號，結(jié)合步驟5)中圖像捕獲裝置所獲得的伺服電機(jī)跟蹤控制信號，合成最終的伺服電機(jī)控制信號，針對電控云臺進(jìn)行控制。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟f中，針對所獲來自所述mems加速度計和mems陀螺儀的采集數(shù)據(jù)，首先進(jìn)行濾波處理，然后采用四元數(shù)算法對經(jīng)過濾波處理的采集數(shù)據(jù)進(jìn)行處理，獲得歐拉角，由四元數(shù)和歐拉角之間的轉(zhuǎn)換關(guān)系，解算獲得圖像捕獲裝置的姿態(tài)角，進(jìn)而獲得所述圖像捕獲裝置的當(dāng)前姿態(tài)。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟f中，針對所獲來自所述mems加速度計和mems陀螺儀的采集數(shù)據(jù)，首先采用卡爾曼濾波進(jìn)行濾波處理。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，其特征在于，所述mems加速度計和mems陀螺儀為mpu6050運動傳感器，mpu6050運動傳感器設(shè)置于電控云臺上。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述電控云臺為二軸框架式云臺。

本發(fā)明所述一種基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：本發(fā)明設(shè)計的基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法，通過結(jié)合數(shù)字圖象處理技術(shù)，具備完整的成像穩(wěn)定與目標(biāo)跟蹤功能，可以基于運動載體實現(xiàn)目標(biāo)的穩(wěn)定跟蹤，具有成本低、擴(kuò)展性強(qiáng)的優(yōu)點；并且基于本發(fā)明所設(shè)計方法的硬件裝置，可應(yīng)用在機(jī)器人自主導(dǎo)航、無人機(jī)智能監(jiān)控等領(lǐng)域，具有較強(qiáng)的應(yīng)用價值。

附圖說明

圖1是本發(fā)明所設(shè)計基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法的框架示意圖；

圖2是本發(fā)明所設(shè)計視頻目標(biāo)跟蹤方法中機(jī)械穩(wěn)像系統(tǒng)的控制流程圖；

圖3是本發(fā)明所設(shè)計視頻目標(biāo)跟蹤方法中目標(biāo)跟蹤系統(tǒng)的控制流程圖。

具體實施方式

下面結(jié)合說明書附圖對本發(fā)明的具體實施方式作進(jìn)一步詳細(xì)的說明。

考慮到測量精密度要求，目前的光電跟蹤平臺主要采用撓性陀螺或光纖陀螺作為慣性傳感器。雖然mems陀螺測量精度有限，但是它體積小、功耗低、成本易于控制，可通過camshift跟蹤算法來保證系統(tǒng)跟蹤穩(wěn)定性。

光電穩(wěn)定跟蹤系統(tǒng)從功能上分為兩個子系統(tǒng)：成像穩(wěn)定系統(tǒng)和目標(biāo)跟蹤系統(tǒng)。成像穩(wěn)定系統(tǒng)通過陀螺儀等姿態(tài)傳感器件測量攝像機(jī)姿態(tài)角，驅(qū)動穩(wěn)定平臺各軸上的伺服電機(jī)生成反向補償角度位移，使攝像機(jī)的指向保持穩(wěn)定，以獲取所需的觀測視場并保障圖像序列的穩(wěn)定。目標(biāo)跟蹤系統(tǒng)則通過圖像處理技術(shù)獲取當(dāng)前目標(biāo)與攝像機(jī)光軸的夾角，驅(qū)動穩(wěn)定平臺各軸上的伺服電機(jī)，使攝像機(jī)的光軸指向?qū)崟r跟隨目標(biāo)方位，以實現(xiàn)對目標(biāo)的有效跟蹤。

如圖1所示，本發(fā)明所設(shè)計一種基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法，基于mems傳感器與數(shù)字圖像處理技術(shù)實現(xiàn)目標(biāo)跟蹤系統(tǒng)，通過姿態(tài)角算法及濾波算法提供攝像機(jī)姿態(tài)角信息，轉(zhuǎn)換為伺服電機(jī)姿態(tài)穩(wěn)定反向補償控制信號，通過目標(biāo)跟蹤算法實現(xiàn)對目標(biāo)的跟蹤并計算目標(biāo)與視軸夾角，生成伺服電機(jī)跟蹤控制信號，對伺服電機(jī)姿態(tài)穩(wěn)定反向補償控制信號和跟蹤控制信號進(jìn)行整合，生成伺服電機(jī)控制信號，從而驅(qū)動二軸框架式平臺進(jìn)行實現(xiàn)目標(biāo)穩(wěn)定跟蹤。

并且在實際應(yīng)用中，系統(tǒng)的控制電機(jī)采用伺服電機(jī)，用于控制電控云臺和圖像捕獲裝置的控制模塊，設(shè)計采用msp430單片機(jī)。使用c語言及keil編譯器編寫姿態(tài)角轉(zhuǎn)換及濾波算法、電機(jī)控制算法及串口通訊模塊，使用vc++與matlab編寫目標(biāo)跟蹤算法。其中，姿態(tài)角轉(zhuǎn)換及濾波算法擬采用四元數(shù)算法結(jié)合卡爾曼濾波算法進(jìn)行設(shè)計；目蹤算法擬采用camshift算法，該算法適用于非剛體運動目標(biāo)跟蹤，易于工程實現(xiàn)，可以實時計算當(dāng)前幀目標(biāo)偏離視場中心程度；串口通訊模塊基于485串口通信技術(shù)開展設(shè)計，主要實現(xiàn)mems傳感器數(shù)據(jù)與電機(jī)控制信號的傳輸；系統(tǒng)控制界面采用mfc進(jìn)行設(shè)計。

本發(fā)明設(shè)計了一種基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法，實際應(yīng)用當(dāng)中，基于設(shè)置于電控云臺上的圖像捕獲裝置，具體實時執(zhí)行如下步驟，針對圖像捕獲裝置所獲圖像中指定的目標(biāo)區(qū)域?qū)崿F(xiàn)跟蹤，其中，電控云臺上設(shè)置mpu6050運動傳感器，mpu6050運動傳感器具體包括mems加速度計和mems陀螺儀，并且在實際應(yīng)用中，采用二軸框架式云臺作為電控云臺。

如圖3所示，執(zhí)行如下步驟：

步驟1)讀取當(dāng)前時刻幀圖像，針對當(dāng)前時刻幀圖像中的目標(biāo)區(qū)域，通過camshift算法，提取顏色特征，結(jié)合ltp紋理特征，構(gòu)建目標(biāo)區(qū)域?qū)?yīng)當(dāng)前時刻幀圖像的聯(lián)合直方圖，進(jìn)而獲得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的目標(biāo)概率模型qu，以及當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的位置y0，如下式(5)所示，其中，迭代次數(shù)0→k。

其中，α為色度級別的劃分級，chue和cltp可由和推導(dǎo)得到。

步驟2)待時間進(jìn)入下一幀圖像時刻，更新為當(dāng)前時刻，捕獲并讀取當(dāng)前時刻幀圖像，基于上一時刻幀圖像中目標(biāo)區(qū)域位置的中心位置yj，通過camshift算法，結(jié)合當(dāng)前時刻幀圖像的顏色特征和ltp紋理特征，獲得當(dāng)前時刻幀圖像中的初步目標(biāo)概率模型。其中，在當(dāng)前時刻幀圖像中，將上一時刻幀圖像中目標(biāo)區(qū)域位置的中心位置yj作為中心，搜索窗口寬度為目標(biāo)區(qū)域最小外接矩形長寬的一半，然后結(jié)合當(dāng)前時刻幀圖像的顏色特征和ltp紋理特征所構(gòu)建的聯(lián)合直方圖，根據(jù)式(6)得到初步目標(biāo)概率模型pu(yj)；

步驟3)基于上一時刻幀圖像中目標(biāo)區(qū)域的目標(biāo)概率模型qu，以及當(dāng)前時刻幀圖像中的初步目標(biāo)概率模型pu(yj)，按如下公式(7)、公式(8)，運用加權(quán)融合方式進(jìn)行特征融合，計算獲得目標(biāo)區(qū)域預(yù)測權(quán)值wi。

其中，λ為加權(quán)系數(shù)，取值在0～1之間；為顏色的權(quán)值，為紋理特征的權(quán)值公式。

步驟4)根據(jù)上一時刻幀圖像中目標(biāo)區(qū)域位置的中心位置yj，以及目標(biāo)區(qū)域預(yù)測權(quán)值wi，通過kalman濾波算法，按如下公式(9)：

預(yù)測獲得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的預(yù)測位置yj+1，作為當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的位置。其中，g(x)＝-k'(x)，迭代次數(shù)為k+1→k。

步驟5)獲得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域位置的中心位置與圖像捕獲裝置的光軸之間的夾角，并據(jù)此獲得圖像捕獲裝置的伺服電機(jī)跟蹤控制信號，控制電控云臺工作，實現(xiàn)圖像捕獲裝置轉(zhuǎn)動，使得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域預(yù)測位置的中心位置位于圖像捕獲裝置的光軸上。

如圖2所示，執(zhí)行如下步驟：

步驟f.獲得步驟5)電控云臺工作過程中，針對來自電控云臺上mems加速度計和mems陀螺儀采集的采集數(shù)據(jù)，首先采用卡爾曼濾波進(jìn)行濾波處理，然后采用四元數(shù)算法對經(jīng)過濾波處理的采集數(shù)據(jù)進(jìn)行處理，獲得歐拉角，由四元數(shù)和歐拉角之間的轉(zhuǎn)換關(guān)系，解算獲得圖像捕獲裝置的姿態(tài)角，進(jìn)而獲得所述圖像捕獲裝置的當(dāng)前姿態(tài)。具體如下：

定義四元數(shù)q為一四維向量：

式(2)中，α為旋轉(zhuǎn)歐拉角，ex、ey、ez分別為x、y、z歐拉軸。

按照z→x→y的轉(zhuǎn)動順序，由歐拉角和四元數(shù)表示的姿態(tài)矩陣可以得到：

式(3)中，為橫滾角，θ為俯仰角，ψ為航向角。

當(dāng)歐拉角θ，ψ時，四元數(shù)與歐拉角之間的轉(zhuǎn)換關(guān)系為：

步驟g.根據(jù)圖像捕獲裝置的當(dāng)前姿態(tài)，獲得伺服電機(jī)的偏轉(zhuǎn)補償角，生成伺服電機(jī)姿態(tài)穩(wěn)定反向補償控制信號，結(jié)合步驟5)中圖像捕獲裝置所獲得的伺服電機(jī)跟蹤控制信號，合成最終的伺服電機(jī)控制信號，針對電控云臺進(jìn)行控制。

步驟6)針對當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的位置，通過camshift算法，提取顏色特征，結(jié)合ltp紋理特征，構(gòu)建目標(biāo)區(qū)域?qū)?yīng)當(dāng)前時刻幀圖像的聯(lián)合直方圖，進(jìn)而獲得當(dāng)前時刻幀圖像中目標(biāo)區(qū)域的目標(biāo)概率模型，然后返回步驟2)。

上述技術(shù)方案所設(shè)計的基于數(shù)字圖像處理技術(shù)的視頻目標(biāo)跟蹤方法，通過結(jié)合數(shù)字圖象處理技術(shù)，具備完整的成像穩(wěn)定與目標(biāo)跟蹤功能，可以基于運動載體實現(xiàn)目標(biāo)的穩(wěn)定跟蹤，具有成本低、擴(kuò)展性強(qiáng)的優(yōu)點；并且基于本發(fā)明所設(shè)計方法的硬件裝置，可應(yīng)用在機(jī)器人自主導(dǎo)航、無人機(jī)智能監(jiān)控等領(lǐng)域，具有較強(qiáng)的應(yīng)用價值。

上面結(jié)合附圖對本發(fā)明的實施方式作了詳細(xì)說明，但是本發(fā)明并不限于上述實施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。