一種基于深度信息的運(yùn)動(dòng)檢測方法
【專利摘要】本發(fā)明公開了一種基于深度信息的運(yùn)動(dòng)檢測方法。本方法為：1)對當(dāng)前幀的深度圖像進(jìn)行一次運(yùn)動(dòng)目標(biāo)分割，獲取粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集；2)采用深度無關(guān)密度恒定的投影方法將該粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集投影至俯視平面xoz，得到一個(gè)二維的xoz平面統(tǒng)計(jì)直方圖；3)對該xoz平面統(tǒng)計(jì)直方圖進(jìn)行二次運(yùn)動(dòng)目標(biāo)分割，獲取最終的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集；4)周期性地利用當(dāng)前幀的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集更新當(dāng)前幀的粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集；5)根據(jù)所采集深度圖像序列的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集進(jìn)行運(yùn)動(dòng)檢測。本發(fā)明可以克服深度攝像頭區(qū)域探測不穩(wěn)定、圖像孔洞等缺陷，可進(jìn)行更準(zhǔn)確、穩(wěn)定的實(shí)時(shí)運(yùn)動(dòng)檢測。
【專利說明】一種基于深度信息的運(yùn)動(dòng)檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別是一種基于深度信息的運(yùn)動(dòng)檢測方法。
【背景技術(shù)】
[0002]視頻序列的運(yùn)動(dòng)檢測一直是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究課題，是目標(biāo)跟蹤、行為分析等后續(xù)處理的基礎(chǔ)，在智能機(jī)器人、智能視頻監(jiān)控、軍事偵察等諸多領(lǐng)域有著重要的應(yīng)用價(jià)值。運(yùn)動(dòng)檢測是指計(jì)算機(jī)將攝像頭采集得到的視頻圖像序列按照一定的算法進(jìn)行計(jì)算和比較，判斷是否有運(yùn)動(dòng)目標(biāo)進(jìn)入到監(jiān)控場景中，并將其提取出來的一類方法。然而，由于背景圖像的動(dòng)態(tài)變化，如天氣、光照、影子及混亂干擾等的影響，使得運(yùn)動(dòng)檢測成為一項(xiàng)相當(dāng)困難的工作。
[0003]目前采用RGB信息進(jìn)行運(yùn)動(dòng)檢測的方法主要有:背景減除法、時(shí)間差分法、光流法等。背景減除法采用合適的算法對背景建立模型，然后對當(dāng)前幀圖像和背景模型進(jìn)行比較，提取出運(yùn)動(dòng)目標(biāo)。時(shí)間差分方法是在連續(xù)的圖像序列中兩個(gè)或三個(gè)相鄰幀間采用基于像素的時(shí)間差分并且閾值化來提取出圖像中的運(yùn)動(dòng)區(qū)域?；诠饬鞣椒ǖ倪\(yùn)動(dòng)檢測采用了運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性來提取和跟蹤運(yùn)動(dòng)目標(biāo)。
[0004]隨著深度攝像頭的出現(xiàn)，如何利用深度信息進(jìn)行運(yùn)動(dòng)檢測也已成為人們研究的熱點(diǎn)，目前主要有結(jié)合深度和RGB信息進(jìn)行運(yùn)動(dòng)檢測和單獨(dú)采用深度信息進(jìn)行運(yùn)動(dòng)檢測兩類方法。結(jié)合深度和RGB信息進(jìn)行運(yùn)動(dòng)檢測的方法不僅需要深度攝像頭，還需要與深度攝像頭統(tǒng)一標(biāo)定的RGB攝像頭，而且往往計(jì)算量較大，這些局限性大大限制了這類方法的應(yīng)用。單獨(dú)采用深度信息進(jìn)行運(yùn)動(dòng)檢測的方法目前大都是借鑒以前采用RGB信息進(jìn)行運(yùn)動(dòng)檢測的方法，如時(shí)間差分法、運(yùn)動(dòng)歷史圖像法等。
[0005]然而，由于硬件上固有的缺陷，深度攝像頭所采集的數(shù)據(jù)具有區(qū)域探測不穩(wěn)定、圖像孔洞等缺陷，引入了大量噪聲，傳統(tǒng)的單獨(dú)采用深度信息進(jìn)行運(yùn)動(dòng)檢測的方法無法很準(zhǔn)確、穩(wěn)定地進(jìn)行運(yùn)動(dòng)檢測。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問題是，針對現(xiàn)有技術(shù)不足，提出一種基于深度信息的新型運(yùn)動(dòng)檢測方法，用于克服深度攝像頭區(qū)域探測不穩(wěn)定、圖像孔洞等缺陷，進(jìn)行更準(zhǔn)確、穩(wěn)定的實(shí)時(shí)運(yùn)動(dòng)檢測。
[0007]本發(fā)明所采用的技術(shù)方案在于:首先采用RS觸發(fā)時(shí)間邏輯對深度圖像序列進(jìn)行一次運(yùn)動(dòng)目標(biāo)分割，獲取粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集；然后運(yùn)用一定的過濾機(jī)制將粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集中由于深度攝像頭缺陷所引入的噪聲點(diǎn)濾除，并采用一定的投影機(jī)制將過濾后的運(yùn)動(dòng)目標(biāo)點(diǎn)集投影至xoz俯視平面，得到一個(gè)二維的xoz平面統(tǒng)計(jì)直方圖；最后對xoz平面統(tǒng)計(jì)直方圖進(jìn)行二次運(yùn)動(dòng)目標(biāo)分割，獲取最終的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集，實(shí)現(xiàn)運(yùn)動(dòng)檢測，具體步驟如下:
[0008]本發(fā)明的基于深度信息的新型運(yùn)動(dòng)檢測方法包括以下步驟:[0009]A、采用RS觸發(fā)時(shí)間邏輯對當(dāng)前幀的深度圖像進(jìn)行一次運(yùn)動(dòng)目標(biāo)分割，獲取粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集；
[0010]B、采用頻繁跳變過濾器將粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集中由區(qū)域探測不穩(wěn)定造成的頻繁跳變的噪聲點(diǎn)濾除；
[0011]C、采用深度無關(guān)密度恒定的投影將粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集投影至XOZ俯視平面，得到一個(gè)二維的XOZ平面統(tǒng)計(jì)直方圖；
[0012]D、對xoz平面統(tǒng)計(jì)直方圖進(jìn)行二次運(yùn)動(dòng)目標(biāo)分割，獲取最終的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集;
[0013]E、周期性地利用當(dāng)前幀的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集更新當(dāng)前幀的粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集；然后根據(jù)所采集深度圖像序列的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集進(jìn)行運(yùn)動(dòng)檢測。
[0014]所述步驟A中，采用RS觸發(fā)時(shí)間邏輯對深度圖像序列進(jìn)行一次運(yùn)動(dòng)目標(biāo)分割具體步驟如下:
[0015]Al、對t時(shí)刻當(dāng)前幀深度圖像D(t)構(gòu)建對應(yīng)運(yùn)動(dòng)目標(biāo)圖像G(t)，其中一個(gè)像素點(diǎn)表示為Pi (t):
[0016]Pi ⑴:=Iui, Vi, (Ii (t) , Si ⑴}
[0017]G(t) = (Pi(t)}
[0018]其中Ui表示Pi對應(yīng)D (t)中點(diǎn)的橫坐標(biāo),Vi表示Pi對應(yīng)D⑴中點(diǎn)的縱坐標(biāo),(Ii⑴表示Pi對應(yīng)D (t)中點(diǎn)的深度值,Si (t)表示Pi的狀態(tài)。Pi有兩種狀態(tài),Si (t) =1表示pjt)屬于運(yùn)動(dòng)目標(biāo)，Si (t) =0表示Pi(t)屬于背景。
[0019]A2、對于當(dāng)前幀運(yùn)動(dòng)目標(biāo)圖像的每一像素點(diǎn)Pi⑴都進(jìn)行
【權(quán)利要求】
1.一種基于深度信息的運(yùn)動(dòng)檢測方法，其步驟為: 1)對當(dāng)前幀的深度圖像進(jìn)行一次運(yùn)動(dòng)目標(biāo)分割，獲取粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集； 2)采用深度無關(guān)密度恒定的投影方法將該粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集投影至俯視平面xoz，得到一個(gè)二維的xoz平面統(tǒng)計(jì)直方圖； 3)對該xoz平面統(tǒng)計(jì)直方圖進(jìn)行二次運(yùn)動(dòng)目標(biāo)分割，獲取最終的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集； 4)周期性地利用當(dāng)前幀的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集更新當(dāng)前幀的粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集； 5)根據(jù)所采集深度圖像序列的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集進(jìn)行運(yùn)動(dòng)檢測。
2.如權(quán)利要求1所述的方法，其特征在于獲取所述粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集的方法為: 21)構(gòu)建t時(shí)刻當(dāng)前幀深度圖像D(t)對應(yīng)的運(yùn)動(dòng)目標(biāo)圖像G(t): 22)對于當(dāng)前幀運(yùn)動(dòng)目標(biāo)圖像G(t)中的每一點(diǎn)Pi(t)，計(jì)算其正跳變狀態(tài)和負(fù)跳變狀態(tài) 23)采用RS觸發(fā)時(shí)間邏輯，依據(jù)和的值對當(dāng)前幀運(yùn)動(dòng)目標(biāo)圖像每一點(diǎn)Pi(t)的狀態(tài)Si(t)進(jìn)行更新，然后依據(jù)Pi (t)的狀態(tài)Si(t)篩選出屬于粗糙運(yùn)動(dòng)目標(biāo)的點(diǎn)集M(t)，得到所述粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集。
3.如權(quán)利要求2所述的方法，其特征在于所述運(yùn)動(dòng)目標(biāo)圖像G(t)為:G(t)= {Pi(t)}，其中，Pi⑴=Iui, Vi, (Ii (t), Si(^t)Kui表示Pi (t)對應(yīng)D (t)中點(diǎn)的橫坐標(biāo)，Vi表示Pi (t)對應(yīng)D(t)中點(diǎn)的縱坐標(biāo),(Ii (t)表示PiU)對應(yīng)D(t)中點(diǎn)的深度值,Si (t)表示PiU)的狀態(tài)，Si (t) = I表示pjt)屬于運(yùn)動(dòng)目標(biāo)，Si (t) = O表示Pi (t)屬于背景。
4.如權(quán)利要求2所述的方法，其特征在于利用下列公式計(jì)算所述正跳變狀態(tài)和負(fù)跳變狀態(tài):GmKh

5.如權(quán)利要求4所述的方法，其特征在于所述自適應(yīng)閾值為TiU)=min(xpffl,α。.(cLx-Cli (t_l)));其中，dmax是深度圖像D(t)中深度的最大取值，τρηι是用于限制Ti(^t)的最大值，a ^是尺度因子。
6.如權(quán)利要求2~5任一所述的方法，其特征在于所述采用RS觸發(fā)時(shí)間邏輯，依據(jù)的值對當(dāng)前幀運(yùn)動(dòng)目標(biāo)圖像的Pi(t)的&(0進(jìn)行更新的方法為:將初始時(shí)刻運(yùn)動(dòng)目標(biāo)圖像的Pi(t)的狀態(tài)作為背景，即Si(o) = ο ;對于非初始時(shí)刻，先對進(jìn)行判斷，若= 則Si(t) = 1，否則再對'nL(t)進(jìn)行判斷，若Tinm(t) = i，則Si(t)=O,否則Si (t) = Si (t-l);然后依據(jù)Pi(t)的狀態(tài)篩選出點(diǎn)集M(t):= (Pi(t) |si(t) =1，Pi (t) ∈D(t)}。
7.如權(quán)利要求1或2所述的方法，其特征在于在步驟2)之前，采用頻繁跳變過濾器濾除該粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集中的頻繁跳變的噪聲點(diǎn)。
8.如權(quán)利要求7所述的方法，其特征在于濾除所述噪聲點(diǎn)的方法為:. 81)根據(jù)當(dāng)前幀以及前一幀的Tipm和Tinm值計(jì)算得到所述噪聲點(diǎn)的集合N(t).82)將粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)集M(t)進(jìn)行噪聲點(diǎn)濾除，獲得濾除后的點(diǎn)集M(t) = M(t〕一W(t)。
9.如權(quán)利要求1所述的方法，其特征在于所述xoz平面統(tǒng)計(jì)直方圖的建立方法為:. 91)將該粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)的坐標(biāo)映射到攝像機(jī)坐標(biāo)； . 92)依據(jù)攝像機(jī)坐標(biāo)系下點(diǎn)的橫坐標(biāo)與深度坐標(biāo)建立xoz平面的二維直方圖。
10.如權(quán)利要求1所述方法，其特征在于獲取所述精確運(yùn)動(dòng)目標(biāo)點(diǎn)集的方法為:. 11)對XOZ平面二維統(tǒng)計(jì)直方圖進(jìn)行高斯平滑濾波； . 12)對xoz平面二維統(tǒng)計(jì)直方圖進(jìn)行峰值點(diǎn)檢測，得到峰值點(diǎn)坐標(biāo)； .13)在xoz平面二維統(tǒng)計(jì)直方圖中，對每一峰值點(diǎn)進(jìn)行連通域統(tǒng)計(jì)，得到每個(gè)峰值點(diǎn)的連通子區(qū)域，并根據(jù)該連通子區(qū)域擬合一個(gè)目標(biāo)區(qū)域bk ； . 14)依據(jù)xoz平面二維統(tǒng)計(jì)直方圖中的目標(biāo)區(qū)域bk得到該粗糙運(yùn)動(dòng)目標(biāo)點(diǎn)所在的圖像坐標(biāo)系中精確的運(yùn)動(dòng)目標(biāo)fk，由fk構(gòu)成的精確運(yùn)動(dòng)目標(biāo)點(diǎn)集即所述精確運(yùn)動(dòng)目標(biāo)點(diǎn)集。
【文檔編號】G06T7/20GK103996199SQ201410253317
【公開日】2014年8月20日 申請日期:2014年6月9日 優(yōu)先權(quán)日:2014年3月26日
【發(fā)明者】劉宏, 王燦, 馬里千 申請人:北京大學(xué)深圳研究生院