本發(fā)明涉及一種基于運(yùn)動(dòng)約束光流法的復(fù)雜動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)物體檢測(cè)方法；通過(guò)光流法對(duì)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)物體進(jìn)行檢測(cè)，通過(guò)機(jī)器人本身的運(yùn)動(dòng)向量加快光流法檢測(cè)的速度，將提取的ORB(ORiented Brief)特征向量與運(yùn)動(dòng)物體特征庫(kù)中的特征計(jì)算歐氏距離比較相似度避免重復(fù)檢測(cè)，排除機(jī)器人對(duì)實(shí)時(shí)環(huán)境建模時(shí)運(yùn)動(dòng)物體的特征點(diǎn)。

背景技術(shù)：

傳統(tǒng)運(yùn)動(dòng)物件檢測(cè)都是應(yīng)用于監(jiān)控等靜態(tài)環(huán)境。目前機(jī)器人普及，特別是智能掃地機(jī)器人已經(jīng)慢慢進(jìn)入市場(chǎng)，能實(shí)現(xiàn)初步的對(duì)環(huán)境的建圖和自身的定位，并通過(guò)運(yùn)動(dòng)規(guī)劃完成一些簡(jiǎn)單的任務(wù)，同時(shí)也漸漸被大眾所接受。但是目前運(yùn)動(dòng)物體的存在會(huì)干擾機(jī)器人對(duì)環(huán)境的建模從而影響后期機(jī)器人自身的定位和路徑規(guī)劃。

已有的方案是機(jī)器人帶有昂貴的激光傳感器，能夠?qū)崿F(xiàn)精度范圍內(nèi)的運(yùn)動(dòng)物體檢測(cè)，但是激光雷達(dá)的價(jià)格隨著偵測(cè)范圍的增長(zhǎng)而增長(zhǎng)，遠(yuǎn)遠(yuǎn)高出了機(jī)器人本身的價(jià)格，并且使機(jī)器人體積難以控制；另外一種方式是通過(guò)超聲波傳感器在近距離檢測(cè)物體，但是這種方式的檢測(cè)范圍較小，不能及時(shí)做好應(yīng)對(duì)措施。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)上述現(xiàn)有的技術(shù)中的不足，為了能實(shí)現(xiàn)使用廉價(jià)的傳感器實(shí)現(xiàn)態(tài)環(huán)境中的運(yùn)動(dòng)檢測(cè)，提出了一種基于運(yùn)動(dòng)約束光流法的復(fù)雜動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)物體檢測(cè)方法，解決服務(wù)機(jī)器人動(dòng)態(tài)環(huán)境中的運(yùn)動(dòng)物體檢測(cè)，并應(yīng)用于智能掃地機(jī)器人的實(shí)時(shí)建模。

本發(fā)明提出的一種基于運(yùn)動(dòng)約束光流法的復(fù)雜動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)物體檢測(cè)方法，包括以下步驟：

(1)輸入具有真實(shí)環(huán)境運(yùn)動(dòng)物體移動(dòng)的場(chǎng)景視頻流；

(2)對(duì)輸入的視頻流提取ORB特征，作為光流法的局部特征；

(3)比較所有提取的ORB特征點(diǎn)與運(yùn)動(dòng)物體特征點(diǎn)庫(kù)中的特征的相似性(可以通過(guò)歐式距離計(jì)算相似性)；

(4)獲取當(dāng)前機(jī)器人的運(yùn)動(dòng)矢量；

(5)用光流法計(jì)算當(dāng)前幀與下一幀的灰度變化，通過(guò)獲取的機(jī)器人的運(yùn)動(dòng)矢量來(lái)減小光流法在特征點(diǎn)搜索時(shí)的范圍，以此來(lái)提高光流法的效率；

(6)篩選并建立運(yùn)動(dòng)物體特征點(diǎn)庫(kù)，從而實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)物體的檢測(cè)。

進(jìn)一步地，還包括(7)建立環(huán)境模型，即運(yùn)動(dòng)物體特征庫(kù)排除運(yùn)動(dòng)物體的特征點(diǎn)，建立環(huán)境點(diǎn)云圖，進(jìn)而通過(guò)環(huán)境點(diǎn)云圖進(jìn)行機(jī)器人的定位和導(dǎo)航。

本發(fā)明的有益效果是：

本發(fā)明通過(guò)機(jī)器人的運(yùn)動(dòng)方向提高光流法對(duì)特征點(diǎn)梯度變化的檢測(cè)速度，將運(yùn)動(dòng)物體的特征以一定的時(shí)效性保存在庫(kù)中，避免以后重復(fù)對(duì)該特征點(diǎn)進(jìn)行計(jì)算，同時(shí)也能避免不能及時(shí)更新運(yùn)動(dòng)物體的庫(kù)，減少了運(yùn)動(dòng)物體對(duì)環(huán)境的影響，從而增加機(jī)器人對(duì)環(huán)境建模的可靠性。本發(fā)明使用歐式距離比較當(dāng)前提取的特征和運(yùn)動(dòng)物體特征庫(kù)中的特征，從而減少需要計(jì)算的光流跟蹤的特征。

附圖說(shuō)明

圖1.本發(fā)明方法的流程圖；

圖2.運(yùn)動(dòng)約束提升光流法計(jì)算效率示意圖。

具體實(shí)施方式

下面通過(guò)具體實(shí)施例和附圖，對(duì)本發(fā)明做進(jìn)一步說(shuō)明。

參考圖1，是本發(fā)明方法的流程圖，具體步驟如下：

步驟1，視頻輸入。

通過(guò)移動(dòng)機(jī)器人錄制具有運(yùn)動(dòng)物體移動(dòng)的場(chǎng)景，逐幀讀取視頻圖像，得到圖像信息。

步驟2，提取ORB特征。

ORB(ORiented Brief)見(jiàn)參考文獻(xiàn)[1]：E.Rublee,V.Rabaud,K.Konolige,and G.Bradski,“ORB:an efficient alternative to SIFT or SURF,”in IEEE International Conference on Computer Vision(ICCV),Barcelona,Spain,November 2011,pp.2564–2571.

第1步，從圖像中提取FAST角點(diǎn)，并使用centroid moment計(jì)算每個(gè)角點(diǎn)的方向。其中FAST即Features from Accelerated Segment Test，見(jiàn)參考文獻(xiàn)[2]：E.Rosten and T.Drummond.Machine learning for highspeed corner detection.In European Conference on Computer Vision,volume 1,2006.1。其中centroid moment見(jiàn)參考文獻(xiàn)[3]：P.L.Rosin.Measuring corner properties.Computer Vision and Image Understanding,73(2):291–307,1999.2。

第2步，使用centroid moment計(jì)算FAST角點(diǎn)的方向，并產(chǎn)生orientation-FAST(見(jiàn)上述參考文獻(xiàn)[1])。

第3步，對(duì)以上角點(diǎn)用BRIEF(Binary robust independent elementary features，見(jiàn)參考文獻(xiàn)[4]：M.Calonder,V.Lepetit,C.Strecha,and P.Fua,“BRIEF:Binary Robust Independent Elementary Features,”in European Conference on Computer Vision(ECCV),Hersonissos,Greece,September 2010,pp.778–792.)算子描述：

其中，x,y分別表示兩個(gè)不同的像素點(diǎn)，p(x)和p(y)分別表示兩個(gè)像素點(diǎn)的灰度值，τ(p；x,y)表示p(x)大于或等于p(y)時(shí)取0，p(x)小于p(y)時(shí)取1。

第4步，計(jì)算多個(gè)旋轉(zhuǎn)角度的BRIEF，組成steered BRIEF(見(jiàn)上述參考文獻(xiàn)[1])。

第5步，優(yōu)化steered BRIEF得到rBRIEF(見(jiàn)上述參考文獻(xiàn)[1])。

步驟3，將提取的ORB特征與運(yùn)動(dòng)物體特征庫(kù)中的特征的相似度進(jìn)行比較。

采用歐氏距離對(duì)以上獲得的rBRIEF特征與運(yùn)動(dòng)物體特征庫(kù)中的所有特征進(jìn)行相似度比較，利用已經(jīng)保存的運(yùn)動(dòng)物體特征庫(kù)中的特征對(duì)所提取的ORB特征進(jìn)行篩選。如果是特征庫(kù)中的特征，同時(shí)其時(shí)效值不等于零，則不進(jìn)行步驟3以下的操作，并將該特征對(duì)應(yīng)的時(shí)效值減1；如果時(shí)效值N為零，則將該比較的特征移出運(yùn)動(dòng)物體特征庫(kù)，并進(jìn)行步驟3以下操作；如果沒(méi)有在運(yùn)動(dòng)物體特征庫(kù)中找到對(duì)應(yīng)的特征，則直接進(jìn)行步驟3以下操作。

步驟4，獲取當(dāng)前機(jī)器人的運(yùn)動(dòng)矢量。

通過(guò)ORB_SLAM[5]算法獲得機(jī)器人當(dāng)下的運(yùn)動(dòng)矢量信息。其中ORB_SLAM算法見(jiàn)參考文獻(xiàn)[5]：Mur-Artal,R.,Montiel,J.M.M.,&Tardos,J.D.(2015).Orb-slam:a versatile and accurate monocular slam system.IEEE Transactions on Robotics,31(5),1147-1163.

步驟5，計(jì)算局部光流。

通過(guò)已經(jīng)獲得的運(yùn)動(dòng)信息對(duì)使用局部光流法處理步驟3篩選后的特征進(jìn)行加速?？梢詫⑹覂?nèi)服務(wù)機(jī)器人的運(yùn)動(dòng)大致分為以下三類(lèi)：

第一類(lèi)，前后移動(dòng)，每幀獲取的圖像中的特征點(diǎn)以視頻中心點(diǎn)為中心發(fā)散式移動(dòng)，不同區(qū)域有不同的移動(dòng)方式，例如當(dāng)機(jī)器人向前移動(dòng)時(shí)，左上角區(qū)域特征點(diǎn)向左上方移動(dòng)，反之向右下方移動(dòng)；

第二類(lèi)，旋轉(zhuǎn)，獲得的圖像中的特征點(diǎn)均向機(jī)器人旋轉(zhuǎn)的反方向運(yùn)動(dòng)，如機(jī)器人向右旋轉(zhuǎn)，則獲得的圖像中的特征點(diǎn)向左運(yùn)動(dòng)；

第三類(lèi)，復(fù)合運(yùn)動(dòng)，將第一類(lèi)和第二類(lèi)的運(yùn)動(dòng)方向矢量相加即可獲得。

機(jī)器人的運(yùn)動(dòng)矢量轉(zhuǎn)化為攝像頭獲取圖像的特征點(diǎn)的運(yùn)動(dòng)矢量，可以去掉一部分光流法需要檢測(cè)的區(qū)域。光流法需要通過(guò)梯度下降法估計(jì)下一幀特征點(diǎn)所在位置，通過(guò)機(jī)器人的運(yùn)動(dòng)矢量估計(jì)特征點(diǎn)的運(yùn)動(dòng)趨勢(shì)后，就可以搜索運(yùn)動(dòng)方向的一定范圍內(nèi)的區(qū)域，從而減小計(jì)算量。圖2為運(yùn)動(dòng)約束提升光流法計(jì)算效率示意圖。

如果在檢測(cè)中超過(guò)比例P的特征點(diǎn)沒(méi)有找到對(duì)應(yīng)的特征點(diǎn)則放棄機(jī)器人的運(yùn)動(dòng)矢量，并搜索剩下的區(qū)域，確保能使大多數(shù)的點(diǎn)匹配上；

檢測(cè)中，如果超過(guò)比例P的點(diǎn)找到對(duì)應(yīng)的移動(dòng)后的特征點(diǎn)，但是仍然有部分點(diǎn)沒(méi)有找到，則視該部分點(diǎn)為運(yùn)動(dòng)物體特征點(diǎn)；

如果計(jì)算的點(diǎn)中有已經(jīng)加入過(guò)運(yùn)動(dòng)物體特征庫(kù)的特征點(diǎn)，此時(shí)能找到匹配點(diǎn)，則認(rèn)為該點(diǎn)為靜態(tài)點(diǎn)，清空其時(shí)效值，若依舊不能找到匹配點(diǎn)，則將時(shí)效值置為N，并重新加入運(yùn)動(dòng)物體特征庫(kù)。

步驟6，篩選并建立運(yùn)動(dòng)物體特征點(diǎn)庫(kù)。

將以上步驟不能匹配的點(diǎn)和由于時(shí)效值為零依舊不能找到匹配點(diǎn)的特征點(diǎn)加入到特征點(diǎn)庫(kù)，并給新加入的特征點(diǎn)賦予時(shí)效值N，每進(jìn)行一次比較，則時(shí)效值減1，當(dāng)時(shí)效值為零的時(shí)候，則該特征點(diǎn)需要重新通過(guò)光流法計(jì)算其運(yùn)動(dòng)軌跡，以排除當(dāng)前時(shí)刻的靜止物體被錯(cuò)誤記錄，時(shí)該策略也能防止靜止的物體后來(lái)運(yùn)動(dòng)沒(méi)有被檢測(cè)。

步驟7，建立特征點(diǎn)云。

利用上述經(jīng)過(guò)篩選的特征點(diǎn)進(jìn)行機(jī)器人的定位與導(dǎo)航，包括以下步驟；

第1步，跟蹤特征點(diǎn)，并提取關(guān)鍵幀。

第2步，根據(jù)提取的關(guān)鍵幀建立特征點(diǎn)云。

第3步，通過(guò)特征點(diǎn)云進(jìn)行機(jī)器人的定位和導(dǎo)航。

以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其進(jìn)行限制，本領(lǐng)域的普通技術(shù)人員可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明的精神和范圍，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求書(shū)所述為準(zhǔn)。