專利名稱：一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒?br> 技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻圖像處理，特別涉及一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚淼姆椒ā?br> 技術(shù)背景基于隔行掃描的視頻信號的傳統(tǒng)的電視系統(tǒng)從20世紀(jì)30年代出現(xiàn)到現(xiàn)在已沿用了數(shù)十年， 現(xiàn)在大部分的視頻系統(tǒng)都以PAL或NTSC的制式來記錄或者轉(zhuǎn)換視頻。所謂的隔行掃描，即攝 像機(jī)將圖像沿橫向劃分為若干行， 一個(gè)時(shí)刻攝像機(jī)只記錄比方說偶數(shù)行的圖像，然后幾毫秒之 后再記錄奇數(shù)行，這樣每次捕獲的圖像成為一個(gè)場。之所以采用這樣的技術(shù)，主要是出于硬件 性能與視頻效果的考慮，因?yàn)榫退憷媒裉斓募夹g(shù)，攝像機(jī)也無法達(dá)到保證畫面流暢的前提下 記錄全部圖像信息的速度，而采用隔行掃描的技術(shù)，雖然降低了圖像的質(zhì)量，但可以在減少一 半帶寬的情況下獲得較為流暢的畫面。然而在一些情況下，從相鄰兩幅場中合成出一幀完整的 圖像是有必要的，這一過程稱為去隔行處理。比如說在交通監(jiān)視和車輛牌照識別系統(tǒng)中，需要 從視頻中提取出運(yùn)動(dòng)車輛的牌照信息。由于相鄰場拍攝時(shí)的時(shí)間差，運(yùn)動(dòng)車輛在兩幅場上的位 置會有微小的變化，若直接由兩幅場插接在一起的圖像就會出現(xiàn)邊緣交錯(cuò)的鋸齒效果，影響車 輛牌照信息的正確提取。在現(xiàn)有的技術(shù)中，去隔行的處理主要分為兩類基于運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù) 和無運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù)；無運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù)即舍棄兩幅場中的一幀，從另一場中恢復(fù)出圖像信息， 這種方法簡單易行，計(jì)算量小，但是它相當(dāng)于舍棄了一半的有用信息，特別是一些重要的運(yùn)動(dòng) 區(qū)域的信息。另一種基于運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù)是充分利用兩幅場的信息來恢復(fù)圖像，但是這種技術(shù) 的計(jì)算量相當(dāng)大，往往需要專門的計(jì)算機(jī)硬件支持。 發(fā)明內(nèi)容本發(fā)明要解決的技術(shù)問題是克服現(xiàn)有的基于運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù)和無運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù)的去隔 行處理方法的不足，本發(fā)明提出了一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒ǎ痉椒ú捎眠\(yùn)動(dòng)物體 檢測和運(yùn)動(dòng)估計(jì)的方法，可以有效地區(qū)分圖像中運(yùn)動(dòng)的物體和靜止的背景，從而只對運(yùn)動(dòng)物體 的部分進(jìn)行處理，通過運(yùn)動(dòng)估計(jì)的方法可以對物體的運(yùn)動(dòng)特征做出判斷，從而可以更精確地恢 復(fù)出完整的圖像。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是 一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒?，其?征在于包括以下步驟(1)通過對捕獲的圖像與靜態(tài)背景的比對檢測出運(yùn)動(dòng)物體，并得到初步的運(yùn)動(dòng)矢量；(2) 通過基于分塊的圖像匹配，選擇一幅場中包含運(yùn)動(dòng)物體的分塊作為目標(biāo)分塊，再根據(jù) 候選分塊確定匹配分塊，進(jìn)而得到精確的運(yùn)動(dòng)矢量；(3) 利用運(yùn)動(dòng)矢量從兩幅場中得到完整的一幀圖像。所述步驟(1)中靜態(tài)背景采用分別對奇偶場各N幅圖像進(jìn)行平均得到的背景圖像，對奇偶 場分別建立模型進(jìn)行處理，若像素點(diǎn)的灰度值與背景之差大于某個(gè)設(shè)定的閾值則認(rèn)為其屬于運(yùn) 動(dòng)物體。所述步驟(1)中運(yùn)動(dòng)矢量應(yīng)包括運(yùn)動(dòng)物體運(yùn)動(dòng)的方向及相應(yīng)的距離信息。所述步驟(2)中采用分塊的圖像匹配，分塊大小根據(jù)圖像大小及用戶感興趣的區(qū)域確定， 計(jì)算目標(biāo)分塊與候選分塊各個(gè)對應(yīng)像素點(diǎn)的灰度值之差的絕對值之和，選擇計(jì)算所得值最小的 候選分塊作為匹配分塊。所述步驟(2)中候選分塊根據(jù)由步驟(1)得到的初步的運(yùn)動(dòng)矢量和設(shè)定的搜索范圍確定， 有效地提高了匹配的精度和減少了計(jì)算復(fù)雜度。所述步驟(3)中根據(jù)精確的運(yùn)動(dòng)矢量得到物體的同一部分在相鄰兩幅場中的不同像素點(diǎn)位 置，采用中值濾波的方式，得到一幅場中缺少的像素點(diǎn)信息，從而在這幅場的基礎(chǔ)上恢復(fù)出一 幅完整的幀。本發(fā)明與現(xiàn)有技術(shù)相比所具有的優(yōu)點(diǎn)本發(fā)明所采用的方法一個(gè)方面根據(jù)運(yùn)動(dòng)圖像提取中 假設(shè)的運(yùn)動(dòng)矢量，只針對圖像的運(yùn)動(dòng)部分進(jìn)行處理從而大大降低了計(jì)算量；另一個(gè)方面通過由 假設(shè)的運(yùn)動(dòng)矢量得到精確運(yùn)動(dòng)的矢量，并且根據(jù)此精確的運(yùn)動(dòng)矢量來恢復(fù)圖像，有效的提高了 圖像恢復(fù)的準(zhǔn)確度，使恢復(fù)出的圖像具有比傳統(tǒng)方式更高的分辨率。


圖1為基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒ǖ牧鞒虉D； 圖2為對道路車輛的隔行掃描的圖像效果； 圖3為本發(fā)明方法中運(yùn)動(dòng)物體檢測部分的結(jié)果效果圖； 圖4為應(yīng)用本發(fā)明方法與其它方法得到的圖像的效果比較圖； 圖5為應(yīng)用本發(fā)明方法與其它方法得到的圖像的細(xì)節(jié)效果比較圖。
具體實(shí)施方式
下面結(jié)合附圖及具體實(shí)施方式
進(jìn)一步詳細(xì)介紹本發(fā)明。本發(fā)明為一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒ǎ唧w流程圖如圖1所示；大致可以分為以下三個(gè)步驟(1)通過對捕獲的圖像與靜態(tài)背景的比對檢測出運(yùn)動(dòng)物體，并得到初步的運(yùn)動(dòng)矢量； 先提取出兩幅相鄰的"場"圖像，為了提取出運(yùn)動(dòng)物體部分，采用背景減除的方法；背景減除的方法是廣泛應(yīng)用于視頻監(jiān)視系統(tǒng)的一種將運(yùn)動(dòng)的物體從靜態(tài)背景中提出的方法。因此首先 需要獲得去除運(yùn)動(dòng)物體后的靜態(tài)背景圖像，為了避免因奇偶場捕獲時(shí)的空間位置差異造成的不 精確，分別對奇偶場的各N幅圖像進(jìn)行平均處理后分別作為奇偶場圖像的靜態(tài)背景； 具體計(jì)算公式為-1 W-l其中A(i)是對應(yīng)于偶數(shù)場的靜態(tài)背景圖像的在S-[x,xl'位置處的灰度值，5,00對應(yīng)奇數(shù)場的靜態(tài)背景圖像的在i-[x，xf位置處的灰度值。然后對運(yùn)動(dòng)物體的檢測通過用實(shí)際的場的圖像與對應(yīng)背景圖像相減實(shí)現(xiàn)，具體計(jì)算公式為-A)(f)H/(;,")-5o(;〗 謹(jǐn)。d2-0 A問=|/(;, m) - A (;〗 offenv/seD。0O與A(3O分別代表相減后位置5處的像素點(diǎn)灰度值，若其大于一定閾值，則表示此像 素點(diǎn)屬于運(yùn)動(dòng)物體，否則，此像素點(diǎn)屬于靜態(tài)背景，然后根據(jù)對比相鄰場中運(yùn)動(dòng)物體的位置變化可以得到一個(gè)估計(jì)的運(yùn)動(dòng)矢量。(2)通過基于分塊的圖像匹配，選擇一幅場中包含運(yùn)動(dòng)物體的分塊作為目標(biāo)分塊，再根據(jù) 候選分塊確定匹配分塊，進(jìn)而得到精確的運(yùn)動(dòng)矢量；此方法的關(guān)鍵部分是精確地確定運(yùn)動(dòng)矢量J(^,力，這也是這一部分的核心工作采用一種 基于圖像分塊的匹配方法得到更精確的運(yùn)動(dòng)矢量^;f,w);為減少計(jì)算的復(fù)雜度，只在奇數(shù)場中 選擇一個(gè)圖像分塊，而這個(gè)分塊的運(yùn)動(dòng)通過將它與偶數(shù)場中的候選分塊進(jìn)行的比對來確定，分 塊的大小和位置依圖像大小及用戶的關(guān)注區(qū)域來確定；為減少搜索的范圍，搜索位置按照步驟 (1)中估計(jì)的運(yùn)動(dòng)矢量來取定，即根據(jù)此矢量計(jì)算選定的分塊在偶數(shù)場中的位置，以此位置為 基準(zhǔn)選定若干候選分塊，之后通過計(jì)算選定的目標(biāo)分塊與一個(gè)候選分塊的所有像素點(diǎn)的差異總 和，選擇差異和最小的分塊確定為要找的分塊，進(jìn)而得到精確的運(yùn)動(dòng)矢量。 匹配分塊的方法可以用如下公式表示<formula>formula see original document page 5</formula>布,w +1) = min(&4￡)(jc, y))，S4Z)(;c，力為奇數(shù)場中選定的目標(biāo)分塊與候選分塊的所有像素點(diǎn)的灰度值之差的絕對值的總 和，體現(xiàn)了兩個(gè)分塊的差異程度，(jc,力為搜索位置，分塊大小為MxW，<formula>formula see original document page 6</formula>-表示在奇數(shù)場中選定分塊的像素信息，<formula>formula see original document page 6</formula>《丌W-^表示偶數(shù)場中在搜索位置(^;)的分塊的像素信息， 即當(dāng)前正在與選定分塊進(jìn)行比對的分塊的信息，[-p，; -l]為搜索范圍，[x。,y。]為第一步中假定的方向矢量，S(3 ,n + 1)為根據(jù)在搜索范圍內(nèi)SAD值最小的分塊而得到的精確的運(yùn)動(dòng)矢量。 (3)利用運(yùn)動(dòng)矢量從兩幅場中得到完整的一幀圖像； 根據(jù)步驟(2)所確定的運(yùn)動(dòng)矢量，恢復(fù)圖像時(shí)采用中值濾波的方式，保留一個(gè)偶數(shù)場的全部內(nèi)容，對于缺失的部分，通過對其上下像素點(diǎn)以及根據(jù)運(yùn)動(dòng)矢量J(^,/7 + l)確定的其對應(yīng)于相 鄰奇數(shù)場中的像素點(diǎn)進(jìn)行中值濾波而得到，這樣就從相鄰的兩幅奇偶場中恢復(fù)出了一幀完整圖 像。具體的圖像恢復(fù)的方法可以表示為:<formula>formula see original document page 6</formula>通過隔行掃描得到的圖像，由于運(yùn)動(dòng)物體在其奇偶場上存在運(yùn)動(dòng)方向上的差異，導(dǎo)致運(yùn)動(dòng)物 體部分模糊，尤其是其中一些數(shù)字或文字信息無法識別，如圖2為對道路車輛監(jiān)控視頻中采用 隔行掃描所得的圖像，圖像中車輛的車牌號碼無法識別，然后采用本發(fā)明方法對此運(yùn)動(dòng)車輛進(jìn) 行處理，圖3為采用本方法中的運(yùn)動(dòng)物體檢測處理后奇偶場圖像的效果圖，即對奇偶場分別建 立背景模型后將原圖像與背景相減后得到的結(jié)果。圖4和圖5均為圖1中車輛的車牌部分利用 本發(fā)明方法進(jìn)行去隔行后的效果圖，圖中添加了利用其他方法進(jìn)行去隔行處理的效果圖以作對 比；圖4中(a)為未經(jīng)處理的原圖，(b)為直接進(jìn)行線性平均處理后的效果，(c)為直接進(jìn)行中值 濾波處理后的效果，(d)為采用本發(fā)明方法處理的效果；圖5為車牌部分放大的效果圖，(a)為直 接進(jìn)行線性平均處理后的效果，(b)為直接進(jìn)行中值濾波處理后的效果，(c)為采用本發(fā)明方法處 理的效果。通過圖4和圖5的比較，可以知道本發(fā)明方法所恢復(fù)的圖像具有更高的分辨率。
權(quán)利要求
1、一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒?，其特征在于包括以下步驟(1)通過對捕獲的圖像與靜態(tài)背景的比對檢測出運(yùn)動(dòng)物體，并得到初步的運(yùn)動(dòng)矢量；(2)通過基于分塊的圖像匹配，選擇一幅場中包含運(yùn)動(dòng)物體的分塊作為目標(biāo)分塊，再根據(jù)候選分塊確定匹配分塊，進(jìn)而得到精確的運(yùn)動(dòng)矢量；(3)利用運(yùn)動(dòng)矢量從兩幅場中得到完整的一幀圖像。
2、 根據(jù)權(quán)力要求1所述的一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒?，其特征在于所述歩驟(1) 中靜態(tài)背景采用分別對奇偶場各N幅圖像進(jìn)行平均得到的背景圖像，對奇偶場分別建立模型進(jìn) 行處理，若像素點(diǎn)的灰度值與背景之差大于某個(gè)設(shè)定的閾值則認(rèn)為其屬于運(yùn)動(dòng)物體。
3、 根據(jù)權(quán)力要求1所述的一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒ǎ涮卣髟谟谒霾襟E(l) 中運(yùn)動(dòng)矢量應(yīng)包括運(yùn)動(dòng)物體運(yùn)動(dòng)的方向及相應(yīng)的距離信息。
4、 根據(jù)權(quán)力要求1所述的一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒?，其特征在于所述步驟(2) 中采用分塊的圖像匹配，分塊大小根據(jù)圖像大小及用戶感興趣的區(qū)域確定，計(jì)算目標(biāo)分塊與候 選分塊對應(yīng)各個(gè)像素點(diǎn)的灰度值之差的絕對值之和，選擇計(jì)算所得值最小的候選分塊作為匹配 分塊。
5、 根據(jù)權(quán)力要求1所述的一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒ǎ涮卣髟谟谒霾襟E(2) 中候選分塊根據(jù)由步驟(1)得到的初步的運(yùn)動(dòng)矢量和設(shè)定的搜索范圍確定，有效地提高了匹配 的精度和減少了計(jì)算復(fù)雜度。
6、 根據(jù)權(quán)力要求1所述的一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒?，其特征在于所述步驟(3) 中根據(jù)精確的運(yùn)動(dòng)矢量得到物體的同一部分在相鄰兩幅場中的不同像素點(diǎn)位置，采用中值濾波 的方式，在一幅場基礎(chǔ)上插值得到缺少的像素點(diǎn)信息，從而恢復(fù)出一幅完整的幀。
全文摘要
一種基于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜刑幚矸椒?，其特征在于包括以下三個(gè)主要部分一為運(yùn)動(dòng)檢測，即通過對所捕獲的圖像與無運(yùn)動(dòng)物體時(shí)的靜態(tài)的背景圖像進(jìn)行的像素級的比對確定運(yùn)動(dòng)的物體，并得到初步的運(yùn)動(dòng)矢量；二為運(yùn)動(dòng)估計(jì)，在第一步確定運(yùn)動(dòng)物體的基礎(chǔ)上，通過對奇偶場圖像的對比分析，確定運(yùn)動(dòng)物體的精確運(yùn)動(dòng)矢量，即其運(yùn)動(dòng)的方向信息；最后一步恢復(fù)過程中根據(jù)得到的運(yùn)動(dòng)矢量，采用中值濾波的方法將運(yùn)動(dòng)物體的在相鄰兩幅場中的相同像素點(diǎn)精確恢復(fù)到一幀圖像中；本發(fā)明所采用的方法不僅降低了對圖像的運(yùn)動(dòng)部分進(jìn)行處理的計(jì)算量，還能充分利用奇偶場信息從而提高了運(yùn)動(dòng)物體的分辨率。
文檔編號G06T7/20GK101247472SQ20081010277
公開日2008年8月20日 申請日期2008年3月26日 優(yōu)先權(quán)日2008年3月26日
發(fā)明者超 李, 璋 熊, 飛 鄭, 磊 高 申請人:北京航空航天大學(xué)