本發(fā)明涉及計算機視覺技術領域中的目標檢測方法,特別是一種針對雙目視覺系統(tǒng)稀疏三維重建的三維運動點檢測方法。
背景技術:
:
攝像機視頻監(jiān)控技術是與物聯(lián)網息息相關的,其已成為社會公共安全防范的重要技術手段。從2010年至2014年,中國范圍內攝像機的安裝數量以每年20%的速度增加,而其他國家這一速度不超過10%。眾多監(jiān)控點產生的海量視頻數據僅依靠人為分析已無法滿足現(xiàn)實需求。
運動目標檢測技術主要是指利用攝像機獲取的視頻流信息,結合模式識別、機器學習等技術自動檢測攝像區(qū)域內的運動目標。運動目標檢測是視頻分析的一項重要內容,一直倍受各大廠商和科研院所的關注。
過去數十年,該領域的研究重點主要基于二維圖像信息,監(jiān)控行業(yè)智能分析產品也均基于二維信息。檢測結果易受目標遮擋、陰影、光照變化等問題的影響,難以滿足現(xiàn)實需求。盡管場景三維信息也被研究者引入,并在一定程度上克服了陰影、光照變化、目標尺度變化大和短時遮擋跟蹤問題,但是實際監(jiān)控環(huán)境復雜多變,現(xiàn)有技術仍面臨巨大挑戰(zhàn)。
鑒于雙目攝像機能夠一定程度恢復場景三維信息(依靠立體匹配算法),且不易受光照變化影響,以雙目攝像機為平臺基礎,基于三維信息或與三維信息相結合的運動目標檢測、跟蹤及其他分析算法被相繼提出,實際效果也均顯示出相比二維算法的較大優(yōu)勢。相比獲取稠密三維信息易受目標遮擋、紋理缺失、視差大等因素影響,且計算量大;而基于特征點提取與匹配的稀疏三維重建信息獲取具有效果好、效率高的內在優(yōu)勢。然而,已提出的眾多算法絕大部分基于稠密三維信息,目前尚未發(fā)現(xiàn)專門針對稀疏三維重建信息的運動目標檢測方法。
相對于稠密信息,經雙目視覺系統(tǒng)稀疏三維重建獲取的三維特征點離散程度高、幀間分布易跳變,給傳統(tǒng)運動點檢測算法帶來了極大挑戰(zhàn),已有運動目標檢測算法已無法有效解決該類問題,無法滿足后續(xù)高級視覺分析任務。
技術實現(xiàn)要素:
:
基于上述原因,本發(fā)明的目的是提供一種實現(xiàn)簡單、計算復雜度低、抗噪性能好,能夠較好應對三維信息點高度離散,幀間分布跳變劇烈情況下三維運動點檢測任務的三維運動點檢測方法,本發(fā)明適用于雙目視覺及其他三維監(jiān)控系統(tǒng),完成如入侵檢測、視頻檢索等功能。
為了實現(xiàn)上述目的,本發(fā)明所采用的技術方案為:
針對雙目視覺系統(tǒng)稀疏三維重建的三維運動點檢測方法,包括以下步驟:
(1)搭建雙目視覺系統(tǒng)采集視頻數據,設定三維檢測空間范圍并讀取視頻數據;
(2)結合經攝像機標定得到的參數,利用特征點提取和匹配方法對左右圖像進行矯正,并完成稀疏三維點云重建;
(3)以某平面為參考面,對三維空間做柱狀分隔,將三維點云映射到某平面,形成映射面圖像;
(4)建立初始稀疏背景模型;
(5)檢測三維運動點;
(6)更新稀疏背景模型。
進一步,所述步驟(3)中:首先設定分割分辨率為Δcm,假設監(jiān)控區(qū)域形態(tài)為長方體,映射參考平面為X-Y平面,(x′,y′,z′)為三維點坐標,坐標單位為cm,則監(jiān)控區(qū)域為:
{A:(x′,y′,z′)|x′∈[Xmin,Xmax],y′∈[Ymin,Ymax],z′∈[Zmin,Zmax]};
以監(jiān)控區(qū)域(Xmin,Ymin,Zmin)位置為起點,以垂直于X-Y平面,且底面落于X-Y平面上的底面邊長為Δ,高為(Zmax-Zmin)的柱狀立方體Bin為最小元素對整個長方體監(jiān)控區(qū)域進行分割;假設每個柱狀立方體經映射后對應于映射面圖像的一個像素點,則映射面圖像YI的寬為(Xmax-Xmin)/Δ,長為(Ymax-Ymin)/Δ;YI(x,y)的值為對應立柱Bin(x,y)范圍內的三維點總數目,其中Bin(x,y)對應的三維坐標范圍為:
進一步,所述步驟(4)中:稀疏背景模型稀疏背景模型SBG與映射面圖像YI具有相同尺寸,SBGt(x,y)為t時刻(x,y)坐標處的背景模型值,其中坐標(x,y)與YI圖像坐標對應,在初始T幀時間段內,若某一幀落于YIt(x,y)對應立柱內的三維點數多于δ時,背景模型認為相應位置有空間三維點存在,模型對應位置設置為1,T幀結束后形成的模型即為初始稀疏背景模型。
進一步,所述步驟(5)中:檢測三維運動點的計算以立柱為基本單位進行判定,若YIt(xo,yo)大于δ,且條件∑(x,y)∈DSBGt(x,y)>θ成立時,認為YIt(xo,yo)對應立柱范圍內的所有三維點為運動三維點,其中D為以(xo,yo)為坐標中心的圓形鄰域范圍,θ為依經驗設定的門限值。
進一步,所述步驟(6)中:為了更新稀疏背景模型,首先生成當前時刻的稀疏前景圖像之后依據稀疏前景圖像更新稀疏背景模型SBGt(x,y)=(1-α)SBGt-1(x,y)+αSFGt(x,y),其中α為更新速率,可依據實際需求設定,α越大,背景模型更新速率越高。
由于采用了上述的技術方案,本發(fā)明與現(xiàn)有技術相比,具有以下的優(yōu)點和積極效果:
第一,本發(fā)明以監(jiān)控區(qū)域內的稀疏三維重建點云作為算法處理對象,能夠有效克服基于二維圖像信息檢測運動目標時易受目標遮擋、陰影、光照變化等因素影響的問題;以及克服獲取稠密三維信息易受目標遮擋、紋理缺失、視差大等因素影響,且計算量大的問題。
第二,本發(fā)明以監(jiān)控區(qū)域內的稀疏三維重建點云作為算法處理對象,輸入信息稀疏、量少。此外,本發(fā)明計算量小,且均可采用并行計算模式,復雜度低、效率高,滿足實時視頻監(jiān)控需求。
第三,本發(fā)明有效解決了經雙目視覺系統(tǒng)稀疏三維重建獲取的三維特征點離散程度高、幀間分布易跳變的問題,實現(xiàn)了在此基礎上的三維運動點檢測。
以下通過附圖和具體實施方式對本發(fā)明做進一步闡述。
附圖說明:
圖1為本發(fā)明的流程圖。
具體實施方式:
結合圖1所示,本發(fā)明提供的針對雙目視覺系統(tǒng)稀疏三維重建的三維運動點檢測方法,主要包括以下步驟:搭建雙目視覺系統(tǒng)采集視頻數據,設定長方體三維檢測區(qū)域并讀取視頻數據;然后結合經攝像機標定得到的內外參數對左右圖像進行矯正,完成匹配特征點對檢測并完成稀疏三維重建;之后對監(jiān)控區(qū)域進行立柱分割并完成稀疏三維點映射,建立映射圖;以連續(xù)多幀的三維重建點云為輸入,建立初始稀疏背景模型;最后依據立柱鄰域信息確定三維運動點,同時更新稀疏背景模型。
以下通過具體的實施例來進一步說明本發(fā)明。該方法在監(jiān)控區(qū)域架設雙目視覺系統(tǒng),對采集到的視頻數據逐幀處理,具體如下:
步驟一:在監(jiān)控區(qū)域架設兩臺同型號攝像機,使兩臺攝像機光軸盡可能平行,兩臺攝像機間距在1m左右,構建雙目視覺系統(tǒng)。
步驟二:計算機終端以RGB格式讀取攝像機實時傳來的圖像數據。
步驟三:利用張正友棋盤標定法完成雙目視覺系統(tǒng)標定,提取左攝像機圖像中的特征較豐富的特征點,并在右攝像機圖像中查找匹配點,形成多組匹配點對,結合標定內外參數計算三維坐標,完成稀疏三維點云重建。
步驟四:以某平面為參考面,將三維點云映射到某平面,形成映射面圖像。首先設定分割分辨率為Δcm,本實施例中的Δ被設定為1,假設監(jiān)控區(qū)域形態(tài)為長方體,映射參考平面為X-Y平面,假定(x′,y′,z′)為三維點坐標,坐標單位為cm,則監(jiān)控區(qū)域設定為
{A:(x′,y′,z′)|x′∈[Xmin,Xmax],y′∈[Ymin,Ymax],z′∈[Zmin,Zmax]}。
以監(jiān)控區(qū)域(Xmin,Ymin,Zmin)位置為起點,以垂直于X-Y平面,且底面落于X-Y平面上的底面邊長為Δ,高為(Zmax-Zmin)的柱狀立方體Bin為最小元素對整個長方體監(jiān)控區(qū)域進行分割。假設每個柱狀立方體經映射后對應于映射面圖像的一個像素點,則映射面圖像YI的寬為(Xmax-Xmin)/Δ,長為(Ymax-Ymin)/Δ。YI(x,y)的值為對應立柱Bin(x,y)范圍內的三維點總數目,其中Bin(x,y)對應的三維坐標范圍為:
步驟五:構建初始稀疏背景模型,計算方法按照進行,稀疏背景模型SBG與映射面圖像YI具有相同尺寸,SBGt(x,y)為t時刻(x,y)坐標處的背景模型值,其中坐標(x,y)與YI圖像坐標對應,在初始T幀時間段內,若某一幀落于YIt(x,y)對應立柱內的三維點數多于δ時,背景模型認為相應位置有空間三維點存在,模型對應位置設置為1。T幀結束后形成的模型即為初始稀疏背景模型。本實施例中的T、δ分別被設定為10、0。
步驟六:從T+1幀開始檢測三維運動點,以立柱為基本單元進行判定,若YIt(xo,yo)大于δ,且條件∑(x,y)∈DSBGt(x,y)>θ成立時,則認為YIt(xo,yo)對應立柱范圍內的所有三維點為運動三維點,其中D為以(xo,yo)為坐標中心的圓形鄰域,本實施例中的圓形鄰域半徑被設定為10cm,θ為依經驗設定的門限值,本實施例中的θ被設定為3。
步驟七:從T+1幀開始逐幀更新稀疏背景模型,首先生成當前時刻的稀疏前景圖像之后依據稀疏前景圖像更新稀疏背景模型SBGt(x,y)=(1-α)SBGt-1(x,y)+αSFGt(x,y),其中α為更新速率,本實施例中的α被設定為0.03。