專(zhuān)利名稱(chēng)：基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的配準(zhǔn)方法，具體是一種基于運(yùn)動(dòng)目標(biāo)軌 跡的動(dòng)態(tài)圖像配準(zhǔn)方法。
背景技術(shù)：
圖像配準(zhǔn)，即對(duì)在不同時(shí)間、用不同探測(cè)器、從不同視角獲得的同一個(gè)場(chǎng)景的單幅 圖象或多幀圖像，利用圖像中公有的景物進(jìn)行匹配的過(guò)程。對(duì)單幅圖像的匹配稱(chēng)為靜態(tài)圖 像配準(zhǔn)，對(duì)連續(xù)多幀圖像的匹配，稱(chēng)為動(dòng)態(tài)圖像配準(zhǔn)。靜態(tài)圖像配準(zhǔn)需要解決的問(wèn)題是兩幅圖像在空間域上的對(duì)應(yīng)關(guān)系，主要有基于灰 度的配準(zhǔn)方法(如基于互相關(guān)、互信息的圖像配準(zhǔn)方法)、基于頻域的配準(zhǔn)方法(如基于快 速傅立葉變換、小波變換、金字塔變換的圖像配準(zhǔn)方法)、基于特征(這里的特征指邊緣、角 點(diǎn)、輪廓或者面目標(biāo)等)的配準(zhǔn)方法。然而在實(shí)際應(yīng)用中，有時(shí)需要同時(shí)考慮兩幅圖像在時(shí) 間域上的對(duì)應(yīng)關(guān)系，這反映為動(dòng)態(tài)圖像配準(zhǔn)問(wèn)題。與靜態(tài)圖像配準(zhǔn)相比，動(dòng)態(tài)圖像配準(zhǔn)不但 需要求解兩個(gè)或多個(gè)圖像序列之間的空間變換關(guān)系，還要求解不同序列的兩幀圖像在時(shí)間 上的對(duì)應(yīng)關(guān)系。研究動(dòng)態(tài)圖像配準(zhǔn)方法可解決單幅圖像配準(zhǔn)中出現(xiàn)的空間歧義問(wèn)題，處理 許多單幅圖像配準(zhǔn)不能或不易處理的情況。動(dòng)態(tài)圖像配準(zhǔn)增加了圖像序列間動(dòng)態(tài)方面的有 效信息，消除傳感器類(lèi)型不同帶來(lái)的影響，可以實(shí)現(xiàn)有效的配準(zhǔn)。經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，專(zhuān)利申請(qǐng)?zhí)?00810059124. 1，名稱(chēng)“基于快 速圖像配準(zhǔn)的視角變化條件下視頻前景提取方法”，該技術(shù)采用流形學(xué)習(xí)的方法建立背 景模型，是動(dòng)態(tài)圖像配準(zhǔn)的預(yù)處理部分，未涉及動(dòng)態(tài)圖像目標(biāo)描述和匹配。專(zhuān)利申請(qǐng)?zhí)?200910052453. 8，名稱(chēng)“一種基于特征點(diǎn)的圖像配準(zhǔn)方法”，該技術(shù)采用鏈碼描述特征點(diǎn)進(jìn) 行靜態(tài)圖像的配準(zhǔn)，未涉及動(dòng)態(tài)圖像配準(zhǔn)。動(dòng)態(tài)圖像配準(zhǔn)是對(duì)二維序列圖像配準(zhǔn)，專(zhuān)利申請(qǐng) 號(hào)=200710119046. 5，名稱(chēng)“自動(dòng)的深度圖像配準(zhǔn)方法”，該技術(shù)是對(duì)三維圖像采用ICP方 法進(jìn)行點(diǎn)配準(zhǔn)。專(zhuān)利申請(qǐng)?zhí)?200780010175. 9，名稱(chēng)“圖像配準(zhǔn)方法”，該技術(shù)屬動(dòng)態(tài)圖像 配準(zhǔn)范疇，采用基于灰度的配準(zhǔn)方法對(duì)對(duì)應(yīng)幀進(jìn)行匹配，未考慮時(shí)間域的配準(zhǔn)。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖 像配準(zhǔn)方法。本發(fā)明采用運(yùn)動(dòng)目標(biāo)檢測(cè)、特征點(diǎn)提取、軌跡描述和軌跡匹配策略等方法，對(duì) 具有運(yùn)動(dòng)目標(biāo)的動(dòng)態(tài)圖像實(shí)現(xiàn)時(shí)間和空間配準(zhǔn)，避免了采用窮舉搜索法獲取時(shí)間域的對(duì)應(yīng) 關(guān)系，運(yùn)算量小且配準(zhǔn)精度較高。本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的本發(fā)明包括如下步驟1、幀頻變換預(yù)處理。NTSC視頻是以30fps運(yùn)行，PAL視頻以25fps運(yùn)行。如果待 配準(zhǔn)的圖像序列具有不同的幀頻時(shí)，圖像序列必須首先進(jìn)行幀頻變換預(yù)處理，使兩圖象序 列具有同樣的幀頻。幀頻變換可采用線性插值法或重取樣法。
2、運(yùn)動(dòng)目標(biāo)提取。針對(duì)背景固定的情況，先采用累加平均圖像作為初始背景，根據(jù) 灰度均值和方差進(jìn)行背景更新，獲得每幀對(duì)應(yīng)的背景圖像，使用背景剪除得到每幀圖像上 的運(yùn)動(dòng)目標(biāo)。針對(duì)背景變化的情況，采用圖像差分法獲得每幀的運(yùn)動(dòng)目標(biāo)。由于有噪聲的 影響，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行腐蝕和膨脹運(yùn)算，去掉孤立噪聲點(diǎn)，獲得目標(biāo)的連通區(qū)域。3、軌跡生成。提取目標(biāo)區(qū)域的質(zhì)心作為特征點(diǎn)，特征點(diǎn)采用三維坐標(biāo)表征(空間 兩維和時(shí)間維)。通過(guò)質(zhì)心位置相鄰性和目標(biāo)區(qū)域大小的聯(lián)合限制條件，進(jìn)行前后幀間的目 標(biāo)質(zhì)心關(guān)聯(lián)，生成運(yùn)動(dòng)目標(biāo)的軌跡。當(dāng)目標(biāo)被遮擋時(shí)，會(huì)出現(xiàn)目標(biāo)區(qū)域不能提取、目標(biāo)區(qū)域 大小異常變化或者質(zhì)心位置異常變化的情況，當(dāng)目標(biāo)再次出現(xiàn)時(shí)，認(rèn)為是新的目標(biāo)，并生成 新的軌跡。當(dāng)多個(gè)目標(biāo)重疊后分開(kāi)時(shí)，被重疊的目標(biāo)認(rèn)為是被遮擋，作為新的目標(biāo)生成新的 軌跡，重疊目標(biāo)根據(jù)質(zhì)心位置相鄰性和目標(biāo)區(qū)域大小的聯(lián)合限制條件繼續(xù)進(jìn)行目標(biāo)關(guān)聯(lián)， 生成運(yùn)動(dòng)目標(biāo)的軌跡。4、軌跡描述和匹配。為了對(duì)軌跡進(jìn)行匹配，需要對(duì)軌跡進(jìn)行描述。對(duì)每條軌跡采 用改進(jìn)的八鄰域鏈碼表示方法，并對(duì)鏈碼進(jìn)行加權(quán)濾波操作，平滑后的鏈碼用來(lái)描述軌跡。 定義鏈碼相似度度量，獲得匹配的軌跡段。匹配軌跡段上的對(duì)應(yīng)點(diǎn)即為時(shí)間和空間上的同 名特征點(diǎn)。5、匹配參數(shù)獲取。針對(duì)同名特征點(diǎn)，建立時(shí)間和空間域的變換，通過(guò)最小二乘法計(jì) 算時(shí)間維的偏差參數(shù)和空間維的尺度、旋轉(zhuǎn)、平移變量。6、對(duì)應(yīng)幀間配準(zhǔn)精度檢測(cè)和微調(diào)整處理。由于平臺(tái)和相機(jī)的運(yùn)動(dòng)、以及目標(biāo)檢測(cè) 時(shí)存在的誤差，獲得的整體空域配準(zhǔn)參數(shù)對(duì)某些幀的配準(zhǔn)精度不理想。在對(duì)應(yīng)幀上手工選 取對(duì)應(yīng)點(diǎn)，采用均方誤差估計(jì)配準(zhǔn)精度。配準(zhǔn)精度應(yīng)優(yōu)于1個(gè)像元。如果某對(duì)應(yīng)幀圖像精度 高于1個(gè)像元，對(duì)旋轉(zhuǎn)和平移變量在小范圍內(nèi)均勻調(diào)整，使配準(zhǔn)精度優(yōu)于1個(gè)像元的旋轉(zhuǎn)、 平移變量為該對(duì)應(yīng)幀調(diào)整后的配準(zhǔn)參數(shù)。本發(fā)明對(duì)待配準(zhǔn)的動(dòng)態(tài)圖像序列根據(jù)獲取的幀頻進(jìn)行線性插值，使兩序列有相同 的幀頻。針對(duì)背景固定和變化兩種情況進(jìn)行背景檢測(cè)和運(yùn)動(dòng)目標(biāo)提取。由于有噪聲的影響， 對(duì)提取的目標(biāo)區(qū)域需要進(jìn)行分析，去掉噪聲點(diǎn)，獲得目標(biāo)的連通區(qū)域。對(duì)目標(biāo)區(qū)域進(jìn)行特征 點(diǎn)提取和前后幀間關(guān)聯(lián)，生成運(yùn)動(dòng)目標(biāo)的軌跡。針對(duì)目標(biāo)被遮擋后再次出現(xiàn)時(shí)，認(rèn)為是新的 目標(biāo)，針對(duì)目標(biāo)重疊后再次分開(kāi)時(shí)，根據(jù)運(yùn)動(dòng)方向進(jìn)行目標(biāo)關(guān)聯(lián)。采用鏈碼描述目標(biāo)軌跡并 進(jìn)行匹配，可得到匹配的軌跡對(duì)。根據(jù)軌跡對(duì)上的對(duì)應(yīng)匹配點(diǎn)，計(jì)算待配準(zhǔn)的動(dòng)態(tài)序列在時(shí) 間和空間上的匹配參數(shù)。對(duì)對(duì)應(yīng)幀的配準(zhǔn)精度進(jìn)行檢測(cè)，以及微調(diào)整獲得最終的配準(zhǔn)參數(shù)。本發(fā)明利用圖像序列中運(yùn)動(dòng)目標(biāo)的軌跡實(shí)現(xiàn)動(dòng)態(tài)圖像時(shí)間和空間上的配準(zhǔn)，即得 到時(shí)間域上對(duì)應(yīng)幀間的偏差，還得到空間域上對(duì)應(yīng)幀間的尺度、旋轉(zhuǎn)和平移變化量。本發(fā)明 可同時(shí)獲取時(shí)間和空間的配準(zhǔn)參數(shù)，避免采用窮舉搜索法獲取時(shí)間域的對(duì)應(yīng)關(guān)系，運(yùn)算量 小且配準(zhǔn)精度較高。


圖1為基于軌跡的動(dòng)態(tài)圖像配準(zhǔn)流程圖。圖2為本發(fā)明實(shí)施例中采用的部分圖像序列；其中圖2(a)為基準(zhǔn)圖像序列，圖2(b)為待配準(zhǔn)的圖像序列。圖3為運(yùn)動(dòng)目標(biāo)軌跡其中圖3(a)為基準(zhǔn)圖像序列的運(yùn)動(dòng)目標(biāo)軌跡圖，圖3(b)為待配準(zhǔn)的圖像序列運(yùn) 動(dòng)目標(biāo)軌跡圖。圖4為軌跡匹配圖；其中圖4(a)為基準(zhǔn)圖像序列的匹配軌跡圖，圖4(b)為待配準(zhǔn)的圖像序列匹配軌 跡圖。圖5為動(dòng)態(tài)圖像配準(zhǔn)結(jié)果。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明以下實(shí)施例在以本發(fā)明技術(shù)方案為 前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過(guò)程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施 例。實(shí)施例如圖1所示，實(shí)施例首先輸入基準(zhǔn)的動(dòng)態(tài)圖像和待配圖像，通過(guò)幀頻變換實(shí)現(xiàn)時(shí) 間維具有相同的分辨率，采用背景剪除法或者圖像差分法進(jìn)行運(yùn)動(dòng)目標(biāo)提取，通過(guò)位置相 鄰性和面積門(mén)限生成運(yùn)動(dòng)目標(biāo)的軌跡，采用改進(jìn)的鏈碼方法進(jìn)行軌跡描述，定義相似性度 量進(jìn)行軌跡匹配獲得匹配參數(shù)，最后采用均方誤差檢測(cè)對(duì)應(yīng)幀間配準(zhǔn)精度，進(jìn)行微調(diào)整處 理后獲得最終的匹配參數(shù)。本實(shí)施例包括如下步驟1、幀頻變換預(yù)處理輸入基準(zhǔn)動(dòng)態(tài)圖像和待配動(dòng)態(tài)圖像，因?yàn)槭荖TSC或PAL制式的動(dòng)態(tài)圖像數(shù)據(jù)，先 將視頻數(shù)據(jù)分解為幀圖像序列。NTSC制式的序列是以30fps獲取，PAL制式的序列以25fps 獲取，如果輸入數(shù)據(jù)制式不一樣，即待配準(zhǔn)的圖像序列具有不同的幀頻時(shí)，需對(duì)待配準(zhǔn)的圖 像序列進(jìn)行幀頻變換預(yù)處理，對(duì)低頻的圖像序列，使用線性插值法，獲得新的圖像序列，使 兩圖象序列具有相同的幀頻，即基準(zhǔn)動(dòng)態(tài)圖像和待配動(dòng)態(tài)圖像在時(shí)間維上具有相同的分辨 率。2、運(yùn)動(dòng)目標(biāo)提取設(shè)基準(zhǔn)圖像序列和待配圖像序列分別為fikyd) *f2(x，y，t)。對(duì)&0^，7，0 *f2(x，y，t)分別進(jìn)行運(yùn)動(dòng)目標(biāo)提取。針對(duì)背景固定的情況，先采用累加平均圖像B(x，y) 作為初始背景，根據(jù)Y. Yang (1992)的方法進(jìn)行背景更新，獲得每幀對(duì)應(yīng)的背景圖像Bt (x， y)，Bf (X，y，t)定義為差分二值圖像
權(quán)利要求
一種基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征在于，包括如下步驟步驟1、幀頻變換預(yù)處理；步驟2、運(yùn)動(dòng)目標(biāo)提??；步驟3、軌跡生成；步驟4、軌跡描述；步驟5、軌跡匹配；步驟6、匹配參數(shù)獲?。徊襟E7、對(duì)應(yīng)幀間配準(zhǔn)精度檢測(cè)和微調(diào)整處理。
2.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，步驟1 中所述的預(yù)處理，是指輸入基準(zhǔn)動(dòng)態(tài)圖像和待配動(dòng)態(tài)圖像，先將視頻數(shù)據(jù)分解為幀圖像序 列，即待配準(zhǔn)的圖像序列具有不同的幀頻時(shí)，需對(duì)待配準(zhǔn)的圖像序列進(jìn)行幀頻變換預(yù)處理， 對(duì)低頻的圖像序列，使用線性插值法，獲得新的圖像序列，使兩圖象序列具有相同的幀頻， 即基準(zhǔn)動(dòng)態(tài)圖像和待配動(dòng)態(tài)圖像在時(shí)間維上具有相同的分辨率。
3.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，步驟2中 所述的運(yùn)動(dòng)目標(biāo)提取，是指設(shè)基準(zhǔn)圖像序列和待配圖像序列分別為fi(X，y，t)和f2(x，y， t)對(duì) ^χ,γ,υ和f2(x，y，t)分別進(jìn)行運(yùn)動(dòng)目標(biāo)提取；針對(duì)背景固定的情況，先采用累加 平均圖像B(x，y)作為初始背景，根據(jù)Y. Yang(1992)的方法進(jìn)行背景更新，獲得每幀對(duì)應(yīng)的 背景圖像Bt (x, y)，Bf (X，y，t)定義為差分二值圖像[Oothers對(duì)Bf(x，y，t)進(jìn)行腐蝕和膨脹運(yùn)算，去掉孤立噪聲點(diǎn)，像素值為1的具有連通區(qū)域的為 運(yùn)動(dòng)目標(biāo)區(qū)域，針對(duì)背景變化的情況，采用圖像差分法獲得每幀的運(yùn)動(dòng)目標(biāo)。
4.根據(jù)權(quán)利要求3所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，所述的 圖像差分法獲為對(duì)Bf(x，y，t)進(jìn)行腐蝕和膨脹運(yùn)算，去掉孤立噪聲點(diǎn)，像素值為1的具有連 通區(qū)域的為運(yùn)動(dòng)目標(biāo)區(qū)域，計(jì)算t時(shí)刻第k個(gè)運(yùn)動(dòng)目標(biāo)區(qū)域包含的像素?cái)?shù)記為區(qū)域面積Sk, t，計(jì)算t時(shí)刻第k個(gè)運(yùn)動(dòng)目標(biāo)區(qū)域的質(zhì)心記為Ck (X，y，t)，對(duì)所有時(shí)刻的運(yùn)動(dòng)目標(biāo)區(qū)域計(jì)算 其面積和質(zhì)心，采用質(zhì)心作為運(yùn)動(dòng)目標(biāo)的特征點(diǎn)，面積作為運(yùn)動(dòng)目標(biāo)的屬性。
5.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，步驟3中 所述的軌跡生成假設(shè)Ckl (x, y, t)、Ck2 (χ, y, t+1)分別是t時(shí)刻和t+1時(shí)刻提取到的運(yùn)動(dòng)目標(biāo)質(zhì)心，其 面積分別是Skl, t Sk2, t+1，質(zhì)心坐標(biāo)分別是(xkl，ykl)和(xk2，yk2)，時(shí)間坐標(biāo)分別是t和t+1，對(duì)所有時(shí)刻的質(zhì)心進(jìn)行關(guān)聯(lián)，得到運(yùn)動(dòng)目標(biāo)的軌跡，長(zhǎng)度為η的第k個(gè)運(yùn)動(dòng)目標(biāo)軌跡標(biāo) 記為T(mén)rajk= {Ck(x, y, t), Ck(χ, y, t+1), ·.., Ck(x, y, t+n_l)}。
6.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，所述的 運(yùn)動(dòng)目標(biāo)軌跡標(biāo)記，其新目標(biāo)的判斷方法如下如果滿足
7.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，步驟4 中所述的軌跡描述，對(duì)于軌跡的描述采用H. Li (1995)提出的改進(jìn)8鄰域鏈碼表示的方法如 下假定一條長(zhǎng)度為η的軌跡Traj的8鄰域鏈碼表示為Ia1, a2, a3，. . .，an}，改進(jìn)后的鏈 碼表示先對(duì)原8鄰點(diǎn)鏈碼Ia1, a2, a3，. . .，an}進(jìn)行如下變換(其中mod表示求模操作)得 至Ij {b” b2, b3, . . . , bj
8.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，步驟5中 所述的軌跡匹配，其方法如下假設(shè)軌跡TrajA和TrajB分別是從基準(zhǔn)序列和待配序列選取的待配軌跡，其改進(jìn)鏈碼表示分別為k,和力3，...,^vbI，從兩個(gè)軌跡上分別任取長(zhǎng)度均為 n(3^n^min(NA,NB))的軌跡段α和β，其中α起始于軌跡Tra jA的第k個(gè)點(diǎn)，β起始于軌跡TrajB的第1個(gè)點(diǎn)，則α和β之間的匹配度定義為
9.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，步驟6中 所述的匹配參數(shù)獲取假定同名特征點(diǎn){(/^ )已:A =(n，U仏=O2nUJl,建立時(shí)間和空間域的變換
10.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法，其特征是，步驟7 中所述的配準(zhǔn)精度檢測(cè)和微調(diào)整處理，是指假定f\(x，y，ti)和f2(x，y，t2)是配準(zhǔn)的對(duì)應(yīng)幀圖像，其配準(zhǔn)參數(shù)是G = (s，θ，dx, dy, dt)；先從對(duì)應(yīng)幀上手工選取N對(duì)若干同名點(diǎn)對(duì)，選取N大于6，點(diǎn)對(duì)圖像上分布較均勻；設(shè)為{札仏):凡=(4，)0€/；，仏=(^)€/2^,采用均方誤差RMS檢測(cè)配準(zhǔn)精度，RMS 定義為
全文摘要
一種圖像處理技術(shù)領(lǐng)域的基于運(yùn)動(dòng)目標(biāo)軌跡的動(dòng)態(tài)圖像配準(zhǔn)方法。包括如下步驟步驟1、幀頻變換預(yù)處理；步驟2、運(yùn)動(dòng)目標(biāo)提取；步驟3、軌跡生成；步驟4、軌跡描述；步驟5、軌跡匹配；步驟6、匹配參數(shù)獲取；步驟7、對(duì)應(yīng)幀間配準(zhǔn)精度檢測(cè)和微調(diào)整處理。本發(fā)明可同時(shí)獲取時(shí)間和空間的配準(zhǔn)參數(shù)，避免采用窮舉搜索法獲取時(shí)間域的對(duì)應(yīng)關(guān)系，運(yùn)算量小且配準(zhǔn)精度較高。
文檔編號(hào)G06T7/00GK101937565SQ201010284808
公開(kāi)日2011年1月5日 申請(qǐng)日期2010年9月16日 優(yōu)先權(quán)日2010年9月16日
發(fā)明者庹紅婭, 張庭厚, 敬忠良, 李元祥 申請(qǐng)人:上海交通大學(xué)