專利名稱：一種基于視頻的道路行人事件檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻檢測技術(shù)領(lǐng)域，具體涉及一種基于交通視頻的道路行人事件檢測方法。
背景技術(shù)：
道路行人事件是指行人在機(jī)動車道上沒有任何保護(hù)措施的情況下進(jìn)入，干擾機(jī)動車正常行駛的行為。雖然交管部門已經(jīng)采取措施，但行人闖入機(jī)動車道的情況時(shí)有發(fā)生，特別是在城市交通中，這種現(xiàn)象尤為明顯。這種交通行為的危險(xiǎn)性非常大，容易造成交通擁堵，甚至釀成交通事故，給人們的生活帶來不便與危險(xiǎn)。傳統(tǒng)的行人事件檢測方法主要有溫度檢測方法、電子線圈檢測方法、數(shù)字視頻檢測方法。其中溫度檢測方法容易受到車輛干擾；電子線圈可擴(kuò)展性差，安裝維護(hù)時(shí)必須中斷交通、破壞路面，這些方法在實(shí)際生活中并不能得到廣泛應(yīng)用。目前的新建項(xiàng)目越來越多地采用安裝、維護(hù)不需要破壞路基、檢測區(qū)域大、實(shí)施方便靈活的基于視頻的交通信息檢測技術(shù)?；谝曨l的行人檢測方法成為研究的熱點(diǎn)，現(xiàn)有的方法主要有基于神經(jīng)網(wǎng)絡(luò)行人檢測，基于小波變換的模板匹配檢測方法等。這些方法雖然能夠?qū)崿F(xiàn)行人事件報(bào)警，但視頻數(shù)據(jù)的處理過程復(fù)雜，可靠性差，不能滿足檢測的實(shí)時(shí)性要求，無法滿足實(shí)際應(yīng)用的要求。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)的缺陷或不足，本發(fā)明的目的在于，提供一種基于視頻的道路行人事件檢測方法，該方法可以對視頻范圍內(nèi)所有行人事件實(shí)現(xiàn)實(shí)時(shí)、可靠的檢測。為了實(shí)現(xiàn)上述任務(wù)，本發(fā)明采取如下的技術(shù)解決方案一種基于視頻的道路行人事件檢測方法，其特征在于，該方法按照下列步驟實(shí)施步驟一，采用一種攝像機(jī)幾何標(biāo)定方法，建立圖像像素到路面實(shí)際距離的映射關(guān)系，即映射表；步驟二，將第一幀圖像和背景圖像在相同的塊坐標(biāo)系下都劃分成多個(gè)塊；步驟三，對第一幀圖像的每個(gè)塊，在背景圖像中找到與該塊位置相同的背景塊，并計(jì)算該塊與其相應(yīng)的背景塊之間各相同像素位置處的灰度差值的絕對值之和；當(dāng)所得的絕對值之和大于設(shè)定的閾值，則該塊為目標(biāo)塊，并設(shè)置該塊內(nèi)部所有像素的灰度值為255 ；當(dāng)所得的絕對值之和小于或等于設(shè)定的閾值，則該塊為背景塊，并設(shè)置該塊內(nèi)部所有像素的灰度值為O ;最后將第一幀圖像中的背景與目標(biāo)分離開，得到第一幀圖像的二值化圖像；步驟四，對第一幀圖像的二值化圖像按照從左到右，從上到下的順序以塊為單位掃描，將相鄰的目標(biāo)塊標(biāo)記為同一目標(biāo)，同時(shí)計(jì)算每個(gè)標(biāo)記目標(biāo)的高度和寬度值，當(dāng)該值滿足高度比寬度的值在一定閾值范圍內(nèi)時(shí)，為該標(biāo)記目標(biāo)動態(tài)創(chuàng)建一個(gè)目標(biāo)結(jié)構(gòu)體，記錄其在該目標(biāo)的上、下、左、右邊界，當(dāng)前重心位置和初始重心位置，匹配跟蹤計(jì)數(shù)器信息，匹配跟蹤計(jì)數(shù)器第一次初始化為零。步驟五，對第二幀圖像按照步驟二、步驟三步驟四進(jìn)行處理，并以第一幀記錄的重心位置為依據(jù)，與第二幀中的記錄的目標(biāo)的重心位置做比較，當(dāng)兩者重心位置絕對值差小于一定的閾值，就認(rèn)為是這第一幀的目標(biāo)再第二幀中匹配，用當(dāng)前幀的目標(biāo)的上、下、左、右邊界和當(dāng)前重心位置替換第一幀的記錄，初始重心位置不變，同時(shí)匹配跟蹤計(jì)數(shù)器加1;當(dāng)在第二幀沒有找到可以匹配的目標(biāo)，丟棄第一幀的記錄。步驟六，對第三幀圖像、…、第m幀圖像，重復(fù)步驟二、步驟三、步驟四和步驟五進(jìn)行處理；步驟七，當(dāng)該結(jié)構(gòu)體記錄的匹配跟蹤計(jì)數(shù)器大于一定的閾值時(shí)，通過查找步驟三中建立的映射表，可得到當(dāng)前重心位置和初始重心位置對應(yīng)的實(shí)際路面距離，計(jì)算該目標(biāo)的移動距離，匹配跟蹤計(jì)數(shù)器統(tǒng)計(jì)值為總的時(shí)間巾貞，可以求得該目標(biāo)的速度；當(dāng)該目標(biāo)的速度在一定的閾值范圍內(nèi)時(shí)，可判斷該目標(biāo)為行人。其中步驟三中所述的閾值為IOX塊的面積 20 X塊的面積。步驟四中所述的閾值范圍為2 10。步驟五中所屬的閾值為5個(gè)塊長度。步驟六中所述的m為40彡m彡60的自然數(shù)。步驟七中所述的匹配跟蹤計(jì)數(shù)器閾值為40幀，速度閾值范圍為O. 3m/s 2. Om/s。本發(fā)明的基于視頻的道路行人事件檢測方法，與現(xiàn)有技術(shù)相比，可對視頻范圍內(nèi)所有行人目標(biāo)進(jìn)行檢測，不受環(huán)境限制，能夠?qū)?shí)時(shí)視頻進(jìn)行檢測，且檢測時(shí)間短、易于實(shí)現(xiàn)、準(zhǔn)確性較高，很適合于實(shí)時(shí)檢測行人事件，具有廣闊的應(yīng)用前景。


圖I為第一幀視頻圖像；圖2為連同域標(biāo)記示意圖；圖3為第一幀二值化標(biāo)記圖像，圖中白色區(qū)域?yàn)楫?dāng)前幀的二值化標(biāo)記目標(biāo)，白色框?yàn)樵摌?biāo)記目標(biāo)的邊界；圖4為第二幀視頻圖像；圖5為第二幀二值化標(biāo)記圖，該二值化標(biāo)記目標(biāo)周圍的白色框?yàn)楫?dāng)前幀該標(biāo)記目標(biāo)的邊界，另一個(gè)白色框?yàn)榈谝粠瑯?biāo)記目標(biāo)的邊界；圖6為第二十幀視頻圖像； 圖7為第40幀二值化標(biāo)記圖，該二值化標(biāo)記目標(biāo)周圍的白色框?yàn)楫?dāng)前幀該標(biāo)記目標(biāo)的邊界，其余白色框?yàn)檫^去39幀標(biāo)記目標(biāo)的邊界。以下結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)說明。
具體實(shí)施例方式本發(fā)明的基于視頻的道路行人事件檢測方法，過程中所處理的圖像是視頻中的沿正時(shí)間序列的第一幀圖像、第二幀圖像、第三幀圖像、…、第m(m為自然數(shù))幀圖像。具體采用以下步驟實(shí)現(xiàn)步驟一，采用一種攝像機(jī)幾何標(biāo)定方法，根據(jù)攝像機(jī)成像原理抽象出幾何模型，推算出像素段變化時(shí)對應(yīng)的路面實(shí)際距離變化的函數(shù)關(guān)系式，從而建立圖像像素到路面實(shí)際距離的映射關(guān)系，即映射表；步驟二，將第一幀圖像和背景圖像在相同的塊坐標(biāo)系下都劃分成多個(gè)塊，即第一幀圖像和背景圖像采用相同的塊坐標(biāo)系，則第一幀圖像被劃分的塊個(gè)數(shù)T為T = (ff/w) X (H/h);即幀圖像的大小為WXH，塊的面積為wXh ；其中W為圖像的水平方向的像素，H為圖像豎直方向的像素，w為塊區(qū)域的寬度，h為塊的高度。 步驟三，對第一幀圖像的每個(gè)塊，在背景圖像中找到與該塊位置相同即坐標(biāo)相同的背景塊，并計(jì)算該塊與其相應(yīng)的背景塊之間各相同像素位置處的灰度差值的絕對值之和；當(dāng)所得的絕對值之和大于設(shè)定的閾值，則該塊為目標(biāo)塊，并設(shè)置該塊內(nèi)部所有像素的灰度值為255，其中的閾值取值范圍為IOX塊的面積 20X塊的面積，即IOX (wXh) 20X (wXh)；當(dāng)所得的絕對值之和小于或等于設(shè)定的閾值，則該塊為背景塊，并設(shè)置該塊內(nèi)部所有像素的灰度值為O ;最后將第一幀圖像中的背景與目標(biāo)分離開，得到第一幀圖像的二值化圖像；步驟四，對二值化圖像做連同域標(biāo)記按照從左到右，從上到下的順序以塊為單位掃描標(biāo)記第一幀二值化圖像，將相鄰的目標(biāo)塊標(biāo)記為同一目標(biāo)，同時(shí)計(jì)算每個(gè)標(biāo)記目標(biāo)的高度％和寬度W0,當(dāng)該寬度和高度滿足2 < (h0/w0) < 10時(shí),為該標(biāo)記目標(biāo)創(chuàng)建一個(gè)標(biāo)記目標(biāo)結(jié)構(gòu)體，記錄該目標(biāo)的當(dāng)前重心位置(Xpy1)和初始重心位置(Χ(ι，％)，同時(shí)為該目標(biāo)設(shè)置一個(gè)匹配跟蹤計(jì)數(shù)器，且匹配跟蹤計(jì)數(shù)器第一次初始化為零；步驟五，對第二幀圖像按照步驟二、步驟二和步驟四進(jìn)行處理，并以第一幀記錄的重心位置(Xl，Y1)為依據(jù)，與第二幀中的記錄的目標(biāo)的重心位置(x2，Y2)做差，當(dāng)兩者重心
位置絕對值和滿足^(X1 -X2)2 +(Y1-Y2)2 S 5x塊的長度時(shí)，就認(rèn)為是這第一幀標(biāo)記的目標(biāo)
再第二幀中實(shí)現(xiàn)匹配跟蹤，用當(dāng)前幀的目標(biāo)的重心位置(x2，y2)替換(Xpy1)，初始重心位置(X。，y0)不變，同時(shí)匹配跟蹤計(jì)數(shù)器加I ;當(dāng)在第二幀沒有找到可以匹配的目標(biāo)，丟棄第一幀的記錄。步驟六，對第三幀圖像…第m幀圖像按照步驟二、步驟三、步驟四、和步驟五進(jìn)行處理；步驟七，當(dāng)標(biāo)記目標(biāo)結(jié)構(gòu)體記錄的匹配跟蹤計(jì)數(shù)器累加等于40幀時(shí)，查找映射表獲得當(dāng)前重心位置(Χ4(ι，74(ι)和初始重心位置(Xpy1)對應(yīng)的實(shí)際距離LI和L2，計(jì)算該目標(biāo)的移動距離S = I L1-L2 I，匹配跟蹤計(jì)數(shù)器統(tǒng)計(jì)值為40幀，正常視頻為25fps，則該標(biāo)記目標(biāo)在40幀內(nèi)的平均速度V = S/ (40*1/25)，當(dāng)該標(biāo)記目標(biāo)的速度滿足O. 3 < V < 2. O (單位m/s)時(shí)，可判斷該目標(biāo)為行人事件。結(jié)合圖2，對上述步驟中的連同域標(biāo)記加以說明，圖中最左邊和最右邊分別為圖像從坐標(biāo)與橫坐標(biāo)，二值化圖像中有兩個(gè)物體分，對二值化圖像按照從左到右，從上到下的順序逐個(gè)塊掃描，采用8連同域判別方法，將空間相鄰的目標(biāo)塊標(biāo)記為同一個(gè)目標(biāo)，如圖中標(biāo)記目標(biāo)a和b,通過標(biāo)記可獲取標(biāo)記目標(biāo)的高度、寬度和重心位置信息,其中標(biāo)記物體b滿足高度比寬度大于2小于10的條件，說明該標(biāo)記目標(biāo)可能為行人目標(biāo)。結(jié)合圖3和圖5，對上述步驟中的匹配跟蹤加以說明，圖3中二值化標(biāo)記目標(biāo)周圍的白色框代表第一幀圖像中標(biāo)記的二值化目標(biāo)的邊界，圖5中二值化標(biāo)記目標(biāo)周圍的白色框代表第二幀中標(biāo)記的二值化目標(biāo)邊界，另外一個(gè)白色框?yàn)榈谝粠瑘D像中標(biāo)記的二值化目標(biāo)的邊界，圖3中二值化標(biāo)記目標(biāo)的邊界重心位置為(Xl，yi)，圖5中二值化標(biāo)記目標(biāo)的邊
界重心位置為(x2，y2)，當(dāng)兩者的重心位置滿足^(X1 -x2)2 +(yi -y2)2〈5x塊的長度時(shí)，說
明圖5中二值化標(biāo)記目標(biāo)與圖3中二值化標(biāo)記目標(biāo)實(shí)現(xiàn)匹配，兩者是同一標(biāo)記目標(biāo)，當(dāng)前幀標(biāo)記目標(biāo)的重心位置為(x2，y2)，依次在第三幀像…第m幀圖像中出現(xiàn)標(biāo)記目標(biāo)尋找前一幀標(biāo)記目標(biāo)的匹配目標(biāo)，如此可實(shí)現(xiàn)目標(biāo)的匹配跟蹤。以下是發(fā)明人給出的具體實(shí)施例。實(shí)施例已知視頻正播時(shí)，行人目標(biāo)第一次完整的出現(xiàn)在第I幀圖像中，如圖I所示，圖4為第二幀圖像，圖6為第40幀圖像。實(shí)施例中處理過程中視頻的采樣頻率是25幀每秒，幀圖像大小為720X288，每塊區(qū)域的大小為8X6，將幀圖像分成90X48個(gè)塊區(qū)域，目標(biāo)區(qū)域二值化分割閾值為576，按照本發(fā)明的方法依次對第一幀至第四十幀圖像進(jìn)行處理。從圖7可以看出圖中的白色框依次為行人在第一幀到第四十幀幀圖像中標(biāo)記目標(biāo)的邊界，其中包含二值化標(biāo)記目標(biāo)的白色框?yàn)榈谒氖畮瑘D像中標(biāo)記目標(biāo)的邊界，對行人目標(biāo)實(shí)現(xiàn)了 39次匹配跟蹤，通過其第一幀圖像中獲取的初始重心位置和第四十幀獲取的當(dāng)前重心位置可求得其平均速度，如果平均每速度滿足行人速度特征，說明匹配跟蹤目標(biāo)為行人。
權(quán)利要求
1.一種基于視頻的道路行人事件檢測方法，其特征在于，該方法通過下列步驟實(shí)現(xiàn) 步驟一，采用攝像機(jī)幾何標(biāo)定方法，建立圖像像素到路面實(shí)際距離的映射關(guān)系，即映射表; 步驟ニ，將第一幀圖像和背景圖像在相同的塊坐標(biāo)系下都劃分成多個(gè)塊； 步驟三，對第一幀圖像的每個(gè)塊，在背景圖像中找到與該塊位置相同的背景塊，并計(jì)算該塊與其相應(yīng)的背景塊之間各相同像素位置處的灰度差值的絕對值之和； 當(dāng)所得的絕對值之和大于設(shè)定的閾值，則該塊為目標(biāo)塊，并設(shè)置該塊內(nèi)部所有像素的灰度值為255 ； 當(dāng)所得的絕對值之和小于或等于設(shè)定的閾值，則該塊為背景塊，并設(shè)置該塊內(nèi)部所有像素的灰度值為O ; 最后將第一幀圖像中的背景與目標(biāo)分離開，得到第一幀圖像的ニ值化圖像； 步驟四，對第一幀圖像的ニ值化圖像按照從左到右，從上到下的順序以塊為單位掃描，將相鄰的目標(biāo)塊標(biāo)記為同一目標(biāo)，同時(shí)計(jì)算每個(gè)標(biāo)記目標(biāo)的高度和寬度值，當(dāng)該值滿足高度比寬度的值在一定閾值范圍內(nèi)時(shí)，為該標(biāo)記目標(biāo)動態(tài)創(chuàng)建ー個(gè)目標(biāo)結(jié)構(gòu)體，記錄其在該目標(biāo)的上、下、左、右邊界，當(dāng)前重心位置和初始重心位置，匹配跟蹤計(jì)數(shù)器信息，匹配跟蹤計(jì)數(shù)器第一次初始化為零； 步驟五，對第二幀圖像按照步驟ニ、步驟三步驟四進(jìn)行處理，并以第一幀記錄的重心位置為依據(jù)，與第二幀中的記錄的目標(biāo)的重心位置做比較，當(dāng)兩者重心位置絕對值差小于ー定的閾值，就認(rèn)為是這第一幀的目標(biāo)再第二幀中匹配，用當(dāng)前幀的目標(biāo)的上、下、左、右邊界和當(dāng)前重心位置替換第一幀的記錄，初始重心位置不變，同時(shí)匹配跟蹤計(jì)數(shù)器加I; 當(dāng)在第二幀沒有找到可以匹配的目標(biāo)，丟棄第一幀的記錄； 步驟六，對第三幀圖像、···、第m幀圖像，重復(fù)步驟ニ、步驟三、步驟四和步驟五進(jìn)行處理； 步驟七，當(dāng)該結(jié)構(gòu)體記錄的匹配跟蹤計(jì)數(shù)器大于一定的閾值時(shí)，通過查找步驟三中建立的映射表，可得到當(dāng)前重心位置和初始重心位置對應(yīng)的實(shí)際路面距離，計(jì)算該目標(biāo)的移動距離，匹配跟蹤計(jì)數(shù)器統(tǒng)計(jì)值為總的時(shí)間幀，求得該目標(biāo)的速度；當(dāng)該目標(biāo)的速度在一定的閾值范圍內(nèi)時(shí)，可判斷該目標(biāo)為行人。
2.如權(quán)利要求I所述的方法，其特征在干 步驟三中所述的閾值為IOX塊的面積 20 X塊的面積； 步驟四中所述的閾值范圍為2 10 ; 步驟五中所屬的閾值為5個(gè)塊長度； 步驟六中所述的m為40 < m < 60的自然數(shù)； 步驟七中所述的匹配跟蹤計(jì)數(shù)器閾值為40幀，速度閾值范圍為O. 3m/s 2. Om/s。
全文摘要
本發(fā)明公開了一種基于視頻的道路行人事件檢測方法。該方法主要包括基于塊的二值化分割將待處理的視頻中每幀圖像中的目標(biāo)背景分離開來，基于塊的連同域標(biāo)記，通過標(biāo)記目標(biāo)的輪廓特征分離行人目標(biāo)，同時(shí)記錄其重心位置信息，和基于重心位置特征實(shí)現(xiàn)匹配計(jì)算行人目標(biāo)速度從而判斷是否行人三個(gè)步驟。與現(xiàn)有技術(shù)相比，本發(fā)明所提供的方法可對視頻范圍內(nèi)所有行人目標(biāo)進(jìn)行檢測，不受環(huán)境限制，能夠?qū)?shí)時(shí)視頻進(jìn)行判斷，且檢測時(shí)間短、易于實(shí)現(xiàn)、準(zhǔn)確性較高，很適合于實(shí)時(shí)檢測行人事件，具有廣闊的應(yīng)用前景。
文檔編號G06T7/00GK102622582SQ20121003955
公開日2012年8月1日 申請日期2012年2月21日 優(yōu)先權(quán)日2012年2月21日
發(fā)明者付洋, 劉童, 宋煥生, 施春寧, 朱小平, 楊孟拓, 趙倩, 陳艷 申請人:長安大學(xué)