本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域,更具體地,涉及一種基于紅外圖像的動(dòng)平臺(tái)運(yùn)動(dòng)目標(biāo)檢測方法和系統(tǒng)。
背景技術(shù):
運(yùn)動(dòng)目標(biāo)檢測是從序列圖像中提取出運(yùn)動(dòng)物體,是計(jì)算機(jī)視覺中目標(biāo)識(shí)別、跟蹤和行為分析等后續(xù)處理的基礎(chǔ)。運(yùn)動(dòng)成像平臺(tái)下的紅外圖像運(yùn)動(dòng)目標(biāo)檢測,由于成像平臺(tái)和目標(biāo)都在運(yùn)動(dòng),增加了運(yùn)動(dòng)目標(biāo)檢測的難度。另外,紅外成像存在非均勻性亮度變化問題,在運(yùn)動(dòng)成像平臺(tái)下,相同位置對(duì)應(yīng)像素在序列圖像中表現(xiàn)的灰度強(qiáng)度存在較大差異。因此,“平臺(tái)動(dòng)、目標(biāo)動(dòng)、背景動(dòng)”條件下的目標(biāo)檢測問題更加困難。
目前動(dòng)平臺(tái)下的運(yùn)動(dòng)目標(biāo)檢測方法主要是在背景運(yùn)動(dòng)補(bǔ)償下進(jìn)行,通過背景運(yùn)動(dòng)參數(shù)和變換模型對(duì)連續(xù)幀進(jìn)行配準(zhǔn),將動(dòng)平臺(tái)成像轉(zhuǎn)化成靜平臺(tái)成像。
賴作鎂等提出了基于魯棒背景運(yùn)動(dòng)補(bǔ)償?shù)膭?dòng)目標(biāo)檢測算法,該算法在進(jìn)行運(yùn)動(dòng)補(bǔ)償后的前一幀和當(dāng)前幀之間做光流,用光流的大小判斷前景和背景。由于光流法計(jì)算復(fù)雜,對(duì)噪聲敏感,要求亮度恒常性,難以適應(yīng)存在非均勻性亮度變化的紅外圖像。
張?zhí)煨蛟谄渖暾?qǐng)的專利“一種動(dòng)平臺(tái)地面運(yùn)動(dòng)目標(biāo)檢測方法”(專利申請(qǐng)?zhí)?01110114555.5,公開號(hào)CN102184550B)中公開了一種基于SIFT特征快速配準(zhǔn)、利用多尺度運(yùn)動(dòng)顯著性檢驗(yàn)和多幀差分進(jìn)行動(dòng)平臺(tái)地面運(yùn)動(dòng)目標(biāo)檢測的方法。此方法能很好的解決動(dòng)平臺(tái)情況下的背景補(bǔ)償問題,對(duì)場景中的光學(xué)變化和背景干擾有很好的魯棒性。然而由于SIFT特征的復(fù)雜性以及多尺度運(yùn)動(dòng)顯著性的檢驗(yàn)需要花費(fèi)比較多的時(shí)間,而且在配準(zhǔn)存在偏差時(shí),對(duì)檢測結(jié)果影響較大。
運(yùn)動(dòng)補(bǔ)償后幀間背景相對(duì)靜止,用幀差法檢測得到的幀間差異像素主要為待檢測的運(yùn)動(dòng)目標(biāo)。幀差法雖然運(yùn)算簡單,但是也容易受紅外成像的非均勻性干擾,使得檢測結(jié)果產(chǎn)生虛警。又由于運(yùn)動(dòng)補(bǔ)償還存在誤差,也會(huì)使得幀差法產(chǎn)生虛警。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求,本發(fā)明提供了一種基于紅外圖像的動(dòng)平臺(tái)運(yùn)動(dòng)目標(biāo)檢測方法及系統(tǒng),其目的在于利用紅外圖像的SURF特征點(diǎn)對(duì)運(yùn)動(dòng)圖像序列幀間進(jìn)行配準(zhǔn),采用線性回歸對(duì)紅外圖像灰度值進(jìn)行修正,最后采用區(qū)域梯度直方圖校正,由此抑制了紅外成像的非均勻性問題,提高了本發(fā)明方法估測可疑運(yùn)動(dòng)目標(biāo)的準(zhǔn)確性,減少了對(duì)配準(zhǔn)精度的要求,提高對(duì)配準(zhǔn)的魯棒性,又由于只對(duì)邊緣像素點(diǎn)進(jìn)行區(qū)域梯度直方圖統(tǒng)計(jì),極大的減少了計(jì)算量。
為實(shí)現(xiàn)上述目的,按照本發(fā)明的一個(gè)方面,提供了一種基于紅外圖像的動(dòng)平臺(tái)運(yùn)動(dòng)目標(biāo)檢測方法,該方法包括以下步驟:
(1)對(duì)當(dāng)前幀紅外圖像構(gòu)造尺度空間,采用非極大值抑制確定特征點(diǎn);構(gòu)造SURF特征點(diǎn)描述子并保存;
(2)使用SURF特征點(diǎn)和單應(yīng)性變化模型快速、準(zhǔn)確地對(duì)運(yùn)動(dòng)圖像序列幀間進(jìn)行配準(zhǔn),從而補(bǔ)償因?yàn)閯?dòng)平臺(tái)成像造成的幀間背景的平移、旋轉(zhuǎn)和縮放量;以當(dāng)前幀為基準(zhǔn)幀,與其前第K幀圖像和前第2K幀圖像進(jìn)行SURF特征點(diǎn)匹配,計(jì)算仿射矩陣,獲得前第K幀圖像和前第2K幀圖像的仿射變換圖像;
(3)經(jīng)過步驟(2)對(duì)運(yùn)動(dòng)圖像序列幀間配準(zhǔn)后,獲得的配準(zhǔn)幀與當(dāng)前幀之間背景是相對(duì)靜止的,消除了由于成像平臺(tái)運(yùn)動(dòng)引起的場景中背景的平移、旋轉(zhuǎn)、縮放等變化,但由于紅外成像的非均勻性,導(dǎo)致場景中背景幀間對(duì)應(yīng)位置的像素灰度值存在差異,采用線性回歸修正配準(zhǔn)圖像對(duì)應(yīng)位置的像素灰度值;
本發(fā)明利用配準(zhǔn)后的幀間相同位置對(duì)應(yīng)像素點(diǎn)灰度值受紅外成像非均勻性影響,存在線性關(guān)系,通過利用線性回歸對(duì)當(dāng)前幀和配準(zhǔn)幀進(jìn)行隨機(jī)采樣得到的相同位置的灰度值點(diǎn)對(duì)進(jìn)行擬合,獲得線性關(guān)系參數(shù)截距a和斜率b,通過線性關(guān)系參數(shù)修正配準(zhǔn)幀像素的灰度值,分別計(jì)算獲得前第K幀修正圖像和前第2K幀修正圖像;
分別以前第K幀仿射變換圖像和前第2K幀仿射變換圖像為參考幀,對(duì)當(dāng)前幀和參考幀進(jìn)行隨機(jī)采樣N個(gè)點(diǎn),采用最小化χ2(a,b)線性回歸方法進(jìn)行擬合:
其中,yi和xi分別是當(dāng)前幀和參考值圖像灰度值,a是截距,b是斜率;通過擬合函數(shù)對(duì)參考幀所有像素的灰度值進(jìn)行修正,獲得前第K幀修正圖像和前第2K幀修正圖像;
(4)當(dāng)前幀分別與前第K幀修正圖像和前第2K幀修正圖像相減,獲得差分圖像1和差分圖像2;取作為二值化閾值,其中,c是常數(shù)項(xiàng),分別對(duì)差分圖像1和差分圖像2進(jìn)行二值化,大于二值化閾值的像素標(biāo)記為可疑目標(biāo);對(duì)二值化后的差分圖像1和差分圖像2取交集,獲得可疑運(yùn)動(dòng)目標(biāo)二值圖像;
(5)對(duì)可疑運(yùn)動(dòng)目標(biāo)二值圖像進(jìn)行形態(tài)學(xué)閉操作濾波;
(6)以濾波后可疑運(yùn)動(dòng)目標(biāo)二值圖像的邊緣像素點(diǎn)為中心劃分一個(gè)區(qū)域,利用當(dāng)前幀和前第2K幀修正圖像內(nèi)相應(yīng)區(qū)域內(nèi)像素點(diǎn)的區(qū)域梯度統(tǒng)計(jì)直方圖進(jìn)行校正,獲得運(yùn)動(dòng)目標(biāo)二值圖像。
進(jìn)一步地,所述步驟(6)具體分為以下子步驟:
(21)遍歷可疑運(yùn)動(dòng)目標(biāo)二值圖像,尋找本身標(biāo)記為運(yùn)動(dòng)目標(biāo)但八鄰域不全為運(yùn)動(dòng)目標(biāo)的像素點(diǎn),即為邊緣像素點(diǎn);
(22)以邊緣像素點(diǎn)為中心,取m×m的區(qū)域,計(jì)算區(qū)域位置對(duì)應(yīng)的當(dāng)前幀和前第2K幀修正圖像內(nèi)每個(gè)像素點(diǎn)的梯度幅值和方向;所述m根據(jù)目標(biāo)大小尺寸調(diào)整,優(yōu)選m取值為7;
(23)將360度根據(jù)需求分割為x個(gè)區(qū)間,根據(jù)每個(gè)像素點(diǎn)的梯度方向,利用雙線性內(nèi)插值法將幅值累加到直方圖中,分別獲得基于當(dāng)前幀和基于前第2K幀修正圖像的區(qū)域梯度統(tǒng)計(jì)直方圖;所述x的取值范圍為8到36之間,優(yōu)選x等于18;
(24)分別對(duì)基于當(dāng)前幀和基于前第2K幀修正圖像的區(qū)域梯度統(tǒng)計(jì)直方圖進(jìn)行歸一化;
(25)計(jì)算基于當(dāng)前幀和基于前第2K幀修正圖像的區(qū)域梯度統(tǒng)計(jì)直方圖的差值,差值的絕對(duì)值之和小于目標(biāo)閾值則重新標(biāo)記為背景,大于目標(biāo)閾值則標(biāo)記為已校正可疑目標(biāo)邊緣像素點(diǎn);所述目標(biāo)閾值取值范圍為0.4到0.6,優(yōu)選0.5;
(26)返回步驟(21),直到當(dāng)前幀中所有邊緣像素點(diǎn)都進(jìn)行過校正,獲得最終運(yùn)動(dòng)目標(biāo)檢查結(jié)果圖。
按照本發(fā)明的另一方面,提供了一種基于紅外圖像的動(dòng)平臺(tái)運(yùn)動(dòng)目標(biāo)檢測系統(tǒng),該系統(tǒng)包括以下部分:
特征確定模塊,用于對(duì)當(dāng)前幀紅外圖像構(gòu)造尺度空間,采用非極大值抑制確定特征點(diǎn);構(gòu)造SURF特征點(diǎn)描述子并保存;
特征配準(zhǔn)模塊,用于以當(dāng)前幀為基準(zhǔn)幀,與其前第K幀圖像和前第2K幀圖像進(jìn)行SURF特征點(diǎn)匹配,計(jì)算仿射矩陣,獲得前第K幀圖像和前第2K幀圖像的仿射變換圖像;
灰度修正模塊,用于分別以前第K幀仿射變換圖像和前第2K幀仿射變換圖像為參考幀,對(duì)當(dāng)前幀和參考幀進(jìn)行隨機(jī)采樣N個(gè)點(diǎn),采用最小化χ2(a,b)線性回歸方法進(jìn)行擬合:
其中,yi和xi分別是當(dāng)前幀和參考值圖像灰度值,a是截距,b是斜率;通過擬合函數(shù)對(duì)參考幀所有像素的灰度值進(jìn)行修正,獲得前第K幀修正圖像和前第2K幀修正圖像;
二值化模塊,用于當(dāng)前幀分別與前第K幀修正圖像和前第2K幀修正圖像相減,獲得差分圖像1和差分圖像2;取作為二值化閾值,其中,c是常數(shù)項(xiàng);分別對(duì)差分圖像1和差分圖像2進(jìn)行二值化,大于二值化閾值的像素標(biāo)記為可疑目標(biāo);對(duì)二值化后的差分圖像1和差分圖像2取交集,獲得可疑運(yùn)動(dòng)目標(biāo)二值圖像;
濾波模塊,用于對(duì)可疑運(yùn)動(dòng)目標(biāo)二值圖像進(jìn)行形態(tài)學(xué)閉操作濾波;
目標(biāo)獲取模塊,以濾波后可疑運(yùn)動(dòng)目標(biāo)二值圖像的邊緣像素點(diǎn)為中心劃分一個(gè)區(qū)域,利用當(dāng)前幀和前第2K幀修正圖像內(nèi)相應(yīng)區(qū)域內(nèi)像素點(diǎn)的區(qū)域梯度統(tǒng)計(jì)直方圖進(jìn)行校正,獲得運(yùn)動(dòng)目標(biāo)二值圖像。
進(jìn)一步地,所述目標(biāo)獲取模塊具體包括以下單元:
邊緣獲取單元,用于遍歷可疑運(yùn)動(dòng)目標(biāo)二值圖像,尋找本身標(biāo)記為運(yùn)動(dòng)目標(biāo)但八鄰域不全為運(yùn)動(dòng)目標(biāo)的像素點(diǎn),即為邊緣像素點(diǎn);
梯度計(jì)算單元,用于以邊緣像素點(diǎn)為中心,取m×m的區(qū)域,計(jì)算區(qū)域位置對(duì)應(yīng)的當(dāng)前幀和前第2K幀修正圖像內(nèi)每個(gè)像素點(diǎn)的梯度幅值和方向;所述m根據(jù)目標(biāo)大小尺寸調(diào)整,優(yōu)選m取值為7;
直方圖統(tǒng)計(jì)單元,用于將360度根據(jù)需求分割為x個(gè)區(qū)間,根據(jù)每個(gè)像素點(diǎn)的梯度方向,利用雙線性內(nèi)插值法將幅值累加到直方圖中,分別獲得基于當(dāng)前幀和基于前第2K幀修正圖像的區(qū)域梯度統(tǒng)計(jì)直方圖;所述x的取值范圍為8到36之間,優(yōu)選x等于18;
歸一化單元,用于分別對(duì)基于當(dāng)前幀和基于前第2K幀修正圖像的區(qū)域梯度統(tǒng)計(jì)直方圖進(jìn)行歸一化;
邊緣修正單元,用于計(jì)算基于當(dāng)前幀和基于前第2K幀修正圖像的區(qū)域梯度統(tǒng)計(jì)直方圖的差值,差值的絕對(duì)值之和小于目標(biāo)閾值則重新標(biāo)記為背景,大于目標(biāo)閾值則標(biāo)記為已校正可疑目標(biāo)邊緣像素點(diǎn);所述目標(biāo)閾值取值范圍為0.4到0.6,優(yōu)選0.5;
循環(huán)單元,用于返回步驟邊緣獲取單元,直到當(dāng)前幀中所有邊緣像素點(diǎn)都進(jìn)行過校正,獲得最終運(yùn)動(dòng)目標(biāo)檢查結(jié)果圖。
總體而言,通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比,具有以下技術(shù)特征及有益效果:
(1)采用線性回歸對(duì)紅外圖像灰度值進(jìn)行修正,抑制了紅外成像的非均勻性問題,提高了本發(fā)明方法估測可疑運(yùn)動(dòng)目標(biāo)的準(zhǔn)確性;
(2)采用區(qū)域梯度直方圖校正,減少了對(duì)配準(zhǔn)精度的要求,提高對(duì)配準(zhǔn)的魯棒性,又由于只對(duì)邊緣像素點(diǎn)進(jìn)行區(qū)域梯度直方圖統(tǒng)計(jì),極大的減少了計(jì)算量,同時(shí)避免了的平坦區(qū)域出現(xiàn)空洞。
附圖說明
圖1為本發(fā)明的方法實(shí)現(xiàn)流程圖;
圖2a為實(shí)施例當(dāng)前幀圖像;
圖2b為實(shí)施例當(dāng)前幀前第K幀圖像;
圖2c為實(shí)施例當(dāng)前幀前第2K幀圖像;
圖3a為實(shí)施例當(dāng)前幀前第K幀圖像的仿射變換圖像;
圖3b為實(shí)施例當(dāng)前幀前第2K幀圖像的仿射變換圖像;
圖4a為實(shí)施例當(dāng)前幀前第K幀圖像的灰度修正圖像;
圖4b為實(shí)施例當(dāng)前幀前第2K幀圖像的灰度修正圖像;
圖5a為實(shí)施例當(dāng)前幀的可疑運(yùn)動(dòng)目標(biāo)二值圖像;
圖5b為實(shí)施例形態(tài)學(xué)濾波后可疑運(yùn)動(dòng)目標(biāo)二值圖像;
圖5c為實(shí)施例當(dāng)前幀最終檢測結(jié)果。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
采用如圖1所示本發(fā)明方法步驟,對(duì)圖2所示320×256大小的紅外圖像進(jìn)行目標(biāo)檢測:
(1)對(duì)圖2a當(dāng)前幀、圖2b當(dāng)前幀前第K幀圖像和圖2c當(dāng)前幀前第2K幀圖像構(gòu)造尺度空間,其中K取數(shù)值3,采用非極大值抑制確定特征點(diǎn);構(gòu)造SURF特征點(diǎn)描述子并保存;
(2)以當(dāng)前幀為基準(zhǔn)幀,與其前第K幀圖像和前第2K幀圖像進(jìn)行SURF特征點(diǎn)匹配,計(jì)算仿射矩陣,獲得前第K幀圖像和前第2K幀圖像的仿射變換圖像,如圖3a和3b所示;
(3)分別以前第K幀仿射變換圖像和前第2K幀仿射變換圖像為參考幀,對(duì)當(dāng)前幀和參考幀進(jìn)行隨機(jī)采樣300個(gè)點(diǎn),采用最小化χ2(a,b)線性回歸方法進(jìn)行擬合:
其中,yi和xi分別是當(dāng)前幀和參考值圖像灰度值,a是截距,b是斜率;通過擬合函數(shù)對(duì)參考幀所有像素的灰度值進(jìn)行修正,獲得前第K幀灰度修正圖像和前第2K幀灰度修正圖像,如圖4a和4b所示;
(4)當(dāng)前幀分別與前第K幀修正圖像和前第2K幀修正圖像相減,獲得差分圖像1和差分圖像2;取作為二值化閾值,其中,c是常數(shù)項(xiàng),取數(shù)值2,分別對(duì)差分圖像1和差分圖像2進(jìn)行二值化,大于二值化閾值的像素標(biāo)記為可疑目標(biāo);對(duì)二值化后的差分圖像1和差分圖像2取交集,獲得可疑運(yùn)動(dòng)目標(biāo)二值圖像,如圖5a所示;
(5)對(duì)可疑運(yùn)動(dòng)目標(biāo)二值圖像進(jìn)行形態(tài)學(xué)膨脹操作,再進(jìn)行形態(tài)學(xué)腐蝕操作,根據(jù)目標(biāo)大小選擇合適的濾波模板,示例中采用3×3的正方形模板,濾波后如圖5b所示;
(6)尋找邊緣像素點(diǎn)。遍歷可疑運(yùn)動(dòng)目標(biāo)二值圖像,標(biāo)記為可疑目標(biāo)的像素點(diǎn),其八鄰域像素點(diǎn)不全為可疑目標(biāo)像素點(diǎn),即認(rèn)為是邊緣像素點(diǎn);
以邊緣像素點(diǎn)位置為中心,取7×7的區(qū)域,計(jì)算當(dāng)前幀和配準(zhǔn)幀對(duì)應(yīng)該區(qū)域內(nèi)像素點(diǎn)的梯度,將360度分割成若18個(gè)區(qū)間,根據(jù)每個(gè)像素點(diǎn)的梯度方向,利用雙線性內(nèi)插值法將幅值累加到直方圖中;
對(duì)梯度統(tǒng)計(jì)直方圖進(jìn)行歸一化,即將每個(gè)區(qū)間的幅值除以所有區(qū)間幅值之和,取當(dāng)前幀與其前第2K幀圖像對(duì)應(yīng)位置點(diǎn)的梯度統(tǒng)計(jì)直方圖差的絕對(duì)值之和,小于閾值0.5則將可疑目標(biāo)邊緣像素點(diǎn)重新標(biāo)記為背景,大于閾值則標(biāo)記為已校正邊緣像素點(diǎn);
遍歷完全圖后再重新遍歷,至到所有的邊緣像素點(diǎn)都被標(biāo)記為已校正邊緣像素點(diǎn),最后得到如圖5c所示檢測目標(biāo)。
以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。