本發(fā)明涉及目標(biāo)跟蹤領(lǐng)域,具體而言,涉及一種目標(biāo)跟蹤方法、系統(tǒng)和第一電子設(shè)備。
背景技術(shù):
現(xiàn)有技術(shù)中,目標(biāo)跟蹤是絕大多數(shù)視覺系統(tǒng)中不可或缺的環(huán)節(jié),在視頻監(jiān)控、人機(jī)交互和軍事領(lǐng)域等都有應(yīng)用。當(dāng)前的目標(biāo)跟蹤技術(shù)在目標(biāo)運(yùn)動方式、目標(biāo)運(yùn)動場景、目標(biāo)外在特征的突然改變以及在跟蹤目標(biāo)時(shí)對目標(biāo)的拍攝出現(xiàn)抖動和光照的突然變化等情況下,會出現(xiàn)檢測跟蹤系統(tǒng)的準(zhǔn)確率和穩(wěn)定性的下降等問題,例如,基于視覺的跟蹤技術(shù)在長時(shí)間跟蹤過程中穩(wěn)定性差,并且在目標(biāo)物體突然加速運(yùn)動時(shí)候,容易跟丟,對于基于視覺的運(yùn)動行為分析技術(shù),容易造成在跟蹤過程中跟蹤數(shù)值出現(xiàn)誤差累計(jì),從而無法形成閉環(huán)調(diào)整等問題。
針對上述視覺跟蹤的準(zhǔn)確性低的問題,目前還沒有解決方案。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供了一種目標(biāo)跟蹤方法、系統(tǒng)和第一電子設(shè)備,以至少解決長時(shí)間視覺跟蹤出現(xiàn)的跟蹤準(zhǔn)確性低的技術(shù)問題。
根據(jù)本發(fā)明實(shí)施例的一個方面,提供了一種目標(biāo)跟蹤方法,應(yīng)用于第一電子設(shè)備,所述第一電子設(shè)備具有目標(biāo)跟蹤單元,所述目標(biāo)跟蹤單元用于執(zhí)行基于視覺的目標(biāo)跟蹤,該方法包括:通過所述目標(biāo)跟蹤單元執(zhí)行基于視覺的目標(biāo)跟蹤,并獲得針對被跟蹤目標(biāo)的第一跟蹤結(jié)果;根據(jù)用于描述所述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合所述第一跟蹤結(jié)果,分析獲得針對所述被跟蹤目標(biāo)的第二跟蹤結(jié)果;其中,所述第二跟蹤結(jié)果與所述第一跟蹤結(jié)果相同或不同;所述用于描述所述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息由設(shè)置于所述被跟蹤目標(biāo)上的第二電子設(shè)備基于測量獲得。
進(jìn)一步地,所述運(yùn)動信息包括針對所述被跟蹤目標(biāo)的運(yùn)動測量參數(shù),所述運(yùn)動測量參數(shù)存入所述第二電子設(shè)備的預(yù)定存儲空間中,所述運(yùn)動測量參數(shù)至少包括:運(yùn)動加速度和/或運(yùn)動角速度;所述第一電子設(shè)備通過以下方式獲得所述運(yùn)動測量參數(shù):周期性或非周期性的訪問所述第二電子設(shè)備的預(yù)定存儲空間,以獲取所述第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)采集得到的所述運(yùn)動測量參數(shù);所述根據(jù)用于描述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合第一跟蹤結(jié)果,分析獲得針對被跟蹤目標(biāo)的第二跟蹤結(jié)果,包括:對所述預(yù)定時(shí)間段內(nèi)的所述運(yùn)動測量參數(shù)進(jìn)行統(tǒng)計(jì)分析,獲得所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息,并根據(jù)所述運(yùn)動描述信息對所述第一跟蹤結(jié)果進(jìn)行修正,獲得所述第二跟蹤結(jié)果;其中,所述運(yùn)動描述信息至少包括運(yùn)動速度和/或運(yùn)動方向。
進(jìn)一步地,所述對所述預(yù)定時(shí)間段內(nèi)的所述運(yùn)動測量參數(shù)進(jìn)行統(tǒng)計(jì)分析,獲得被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息,包括:結(jié)合所述第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)的運(yùn)動測量參數(shù)、以及所述第一電子設(shè)備在所述預(yù)定時(shí)間段內(nèi)的自身運(yùn)動測量參數(shù),綜合分析獲得所述被跟蹤目標(biāo)在所述預(yù)定時(shí)間段內(nèi)相對于所述第一電子設(shè)備的運(yùn)動描述信息。
進(jìn)一步地,所述運(yùn)動信息包括對所述被跟蹤目標(biāo)的運(yùn)動描述信息,所述運(yùn)動描述信息由所述第二電子設(shè)備根據(jù)采集獲得的預(yù)定時(shí)間段內(nèi)的運(yùn)動測量參數(shù)進(jìn)行統(tǒng)計(jì)分析獲得,所述運(yùn)動測量參數(shù)至少包括:運(yùn)動加速度和/或運(yùn)動角速度,所述運(yùn)動描述信息至少包括運(yùn)動速度和/或運(yùn)動方向,所述運(yùn)動描述信息存入所述第二電子設(shè)備的預(yù)定存儲空間中;所述第一電子設(shè)備通過以下方式獲得所述運(yùn)動描述信息:周期性或非周期性的訪問所述第二電子設(shè)備的預(yù)定存儲空間,以獲取所述第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息;所述根據(jù)用于描述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合第一跟蹤結(jié)果,分析獲得針對被跟蹤目標(biāo)的第二跟蹤結(jié)果,包括:根據(jù)所述預(yù)定時(shí)間段內(nèi)的所述運(yùn)動描述信息,對所述第一跟蹤結(jié)果進(jìn)行修正,獲得所述第二跟蹤結(jié)果。
進(jìn)一步地,所述運(yùn)動描述信息包括所述被跟蹤目標(biāo)在不同運(yùn)動方向上的狀態(tài)概率;根據(jù)預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息,對第一跟蹤結(jié)果進(jìn)行修正,獲得第二跟蹤結(jié)果,包括:根據(jù)所述被跟蹤目標(biāo)在不同運(yùn)動方向上的狀態(tài)概率,以及所述第一跟蹤結(jié)果所表示的所述被跟蹤目標(biāo)在跟蹤圖像中的至少一個候選跟蹤區(qū)域,確定所述被跟蹤目標(biāo)在跟蹤圖像中的置信跟蹤區(qū)域,并基于所述置信跟蹤區(qū)域生成第二跟蹤結(jié)果;其中,所述狀態(tài)概率用于表示所述被跟蹤目標(biāo)在不同運(yùn)動方向上運(yùn)動的概率。
進(jìn)一步地,所述方法還包括:當(dāng)所述預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息表示所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動方向?yàn)榈谝环较?,所述預(yù)定時(shí)間段內(nèi)的第一跟蹤結(jié)果表征所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動方向?yàn)榈诙较颍龅谝环较蚺c第二方向不同,且所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)在所述第一方向上的移動距離大于預(yù)設(shè)的第一距離閾值,所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)在所述第二方向上的移動距離大于預(yù)設(shè)的第二距離閾值時(shí),產(chǎn)生報(bào)警提示信息,用于提示所述第一電子設(shè)備跟丟所述被跟蹤目標(biāo)。
進(jìn)一步地,在所述產(chǎn)生報(bào)警提示信息之后,所述方法還包括:通過所述目標(biāo)跟蹤單元重新檢測所述被跟蹤目標(biāo),并重新進(jìn)入基于視覺的目標(biāo)跟蹤。
根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種第一電子設(shè)備,該第一電子設(shè)備包括:目標(biāo)跟蹤單元,所述目標(biāo)跟蹤單元用于執(zhí)行基于視覺的目標(biāo)跟蹤,并獲得針對被跟蹤目標(biāo)的第一跟蹤結(jié)果;處理器,用于根據(jù)用于描述所述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合所述第一跟蹤結(jié)果,分析獲得針對所述被跟蹤目標(biāo)的第二跟蹤結(jié)果;其中,所述第二跟蹤結(jié)果與所述第一跟蹤結(jié)果相同或不同;所述用于描述所述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息由設(shè)置于所述被跟蹤目標(biāo)上的第二電子設(shè)備基于測量獲得。
進(jìn)一步地,所述運(yùn)動信息包括針對所述被跟蹤目標(biāo)的運(yùn)動測量參數(shù),所述運(yùn)動測量參數(shù)存入所述第二電子設(shè)備的預(yù)定存儲空間中,所述運(yùn)動測量參數(shù)至少包括:運(yùn)動加速度和/或運(yùn)動角速度;所述第一電子設(shè)備包括第一讀取單元,用于通過以下方式獲得所述運(yùn)動測量參數(shù):周期性或非周期性的訪問所述第二電子設(shè)備的預(yù)定存儲空間,以獲取所述第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)采集得到的所述運(yùn)動測量參數(shù);所述處理器進(jìn)一步用于,對所述預(yù)定時(shí)間段內(nèi)的所述運(yùn)動測量參數(shù)進(jìn)行統(tǒng)計(jì)分析,獲得所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息,并根據(jù)所述運(yùn)動描述信息對所述第一跟蹤結(jié)果進(jìn)行修正,獲得所述第二跟蹤結(jié)果;其中,所述運(yùn)動描述信息至少包括運(yùn)動速度和/或運(yùn)動方向。
進(jìn)一步地,所述處理器進(jìn)一步用于:結(jié)合所述第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)的運(yùn)動測量參數(shù)、以及所述第一電子設(shè)備在所述預(yù)定時(shí)間段內(nèi)的自身運(yùn)動測量參數(shù),綜合分析獲得所述被跟蹤目標(biāo)在所述預(yù)定時(shí)間段內(nèi)相對于所述第一電子設(shè)備的運(yùn)動描述信息。
進(jìn)一步地,所述運(yùn)動信息包括對所述被跟蹤目標(biāo)的運(yùn)動描述信息,所述運(yùn)動描述信息由所述第二電子設(shè)備根據(jù)采集獲得的預(yù)定時(shí)間段內(nèi)的運(yùn)動測量參數(shù)進(jìn)行統(tǒng)計(jì)分析獲得,所述運(yùn)動測量參數(shù)至少包括:運(yùn)動加速度和/或運(yùn)動角速度,所述運(yùn)動描述信息至少包括運(yùn)動速度和/或運(yùn)動方向,所述運(yùn)動描述信息存入所述第二電子設(shè)備的預(yù)定存儲空間中;所述第一電子設(shè)備包括第二讀取單元,用于通過以下方式獲得所述運(yùn)動描述信息:周期性或非周期性的訪問所述第二電子設(shè)備的預(yù)定存儲空間,以獲取所述第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息;所述處理器進(jìn)一步用于,根據(jù)所述預(yù)定時(shí)間段內(nèi)的所述運(yùn)動描述信息,對所述第一跟蹤結(jié)果進(jìn)行修正,獲得所述第二跟蹤結(jié)果。
進(jìn)一步地,所述運(yùn)動描述信息包括所述被跟蹤目標(biāo)在不同運(yùn)動方向上的狀態(tài)概率;所述處理器具體用于:根據(jù)所述被跟蹤目標(biāo)在不同運(yùn)動方向上的狀態(tài)概率,以及所述第一跟蹤結(jié)果所表示的所述被跟蹤目標(biāo)在跟蹤圖像中的至少一個候選跟蹤區(qū)域,確定所述被跟蹤目標(biāo)在跟蹤圖像中的置信跟蹤區(qū)域,并基于所述置信跟蹤區(qū)域生成第二跟蹤結(jié)果;其中,所述狀態(tài)概率用于表示所述被跟蹤目標(biāo)在不同運(yùn)動方向上運(yùn)動的概率。
進(jìn)一步地,所述第一電子設(shè)備包括報(bào)警單元,用于當(dāng)所述預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息表示所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動方向?yàn)榈谝环较?,所述預(yù)定時(shí)間段內(nèi)的第一跟蹤結(jié)果表征所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動方向?yàn)榈诙较?,所述第一方向與第二方向不同,且所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)在所述第一方向上的移動距離大于預(yù)設(shè)的第一距離閾值,所述被跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)在所述第二方向上的移動距離大于預(yù)設(shè)的第二距離閾值時(shí),產(chǎn)生報(bào)警提示信息,用于提示所述第一電子設(shè)備跟丟所述被跟蹤目標(biāo)。
進(jìn)一步地,所述目標(biāo)跟蹤單元還用于在所述產(chǎn)生報(bào)警提示信息之后,重新檢測所述被跟蹤目標(biāo),并重新進(jìn)入基于視覺的目標(biāo)跟蹤。
根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種目標(biāo)跟蹤系統(tǒng),該目標(biāo)跟蹤系統(tǒng)包括:上述實(shí)施例中的任意一種第一電子設(shè)備,所述第一電子設(shè)備用于通過目標(biāo)跟蹤單元執(zhí)行基于視覺的目標(biāo)跟蹤,并獲得針對被跟蹤目標(biāo)的第一跟蹤結(jié)果,根據(jù)用于描述所述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合所述第一跟蹤結(jié)果,分析獲得針對所述被跟蹤目標(biāo)的第二跟蹤結(jié)果;第二電子設(shè)備,設(shè)置于所述被跟蹤目標(biāo)上,用于基于測量獲得所述用于描述所述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息。
通過上述實(shí)施例,在跟蹤目標(biāo)的過程中,第一電子設(shè)備可接收到來自第二電子設(shè)備測量出的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,根據(jù)第二電子設(shè)備獲取到的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息結(jié)合第一電子設(shè)備實(shí)時(shí)獲取到的第一跟蹤結(jié)果經(jīng)過分析得出被跟蹤目標(biāo)的第二跟蹤結(jié)果,可以達(dá)到實(shí)時(shí)檢測被跟蹤目標(biāo)的運(yùn)動狀態(tài),利用設(shè)置在被跟蹤目標(biāo)上的第二電子設(shè)備實(shí)時(shí)測量獲得被跟蹤目標(biāo)的運(yùn)動信息,并結(jié)合第一電子設(shè)備獲取的被跟蹤目標(biāo)的第一跟蹤結(jié)果,分析得到第二跟蹤結(jié)果,如利用該運(yùn)動信息修正第一跟蹤結(jié)果得到第二跟蹤結(jié)果,通過上述方案,不是直接將第一電子設(shè)備的第一跟蹤結(jié)果作為最終的結(jié)果,而是結(jié)合第二電子設(shè)備測量得到的被跟蹤目標(biāo)的運(yùn)動信息分析得到第二跟蹤結(jié)果,得到的結(jié)果更加準(zhǔn)確,解決了現(xiàn)有技術(shù)中跟蹤目標(biāo)時(shí)準(zhǔn)確性低的問題,增加了視覺跟蹤的魯棒性。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解,構(gòu)成本申請的一部分,本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
圖1是根據(jù)本發(fā)明實(shí)施例的一種可選地目標(biāo)跟蹤方法的流程圖一;
圖2是根據(jù)本發(fā)明實(shí)施例的一種可選地第一電子設(shè)備的結(jié)構(gòu)圖;
圖3是根據(jù)本發(fā)明實(shí)施例的一種可選地目標(biāo)跟蹤系統(tǒng)的示意圖;
圖4是根據(jù)本發(fā)明實(shí)施例的一種可選地目標(biāo)跟蹤方法的實(shí)施場景的示意圖;
圖5是根據(jù)本發(fā)明實(shí)施例的一種可選地目標(biāo)跟蹤方法的流程圖二。
具體實(shí)施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例,都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
需要說明的是,本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換,以便這里描述的本發(fā)明的實(shí)施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外,術(shù)語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
名詞解釋:
視覺跟蹤:指對圖像序列中的運(yùn)動目標(biāo)進(jìn)行檢測、提取、識別和跟蹤,獲得運(yùn)動目標(biāo)的運(yùn)動參數(shù),如位置、速度、加速度和運(yùn)動軌跡等,從而進(jìn)行下一步的處理與分析,實(shí)現(xiàn)對運(yùn)動目標(biāo)的行為理解,以完成更高一級的檢測任務(wù)。
IMU:Inertial measurement unit,慣性測量單元;是測量物體三軸姿態(tài)角(或角速率)以及加速度的裝置。陀螺儀及加速度計(jì)是IMU的主要元件,其精度直接影響到慣性系統(tǒng)的精度。一般情況,一個IMU包含了三個單軸的加速度計(jì)和三個單軸的陀螺儀,加速度計(jì)檢測物體在載體坐標(biāo)系統(tǒng)獨(dú)立三軸的加速度信號,而陀螺儀檢測載體相對于導(dǎo)航坐標(biāo)系的角速度信號,測量物體在三維空間中的角速度和加速度,并以此解算出物體的姿態(tài)。
根據(jù)本發(fā)明實(shí)施例,提供了一種目標(biāo)跟蹤方法的實(shí)施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
圖1是根據(jù)本發(fā)明實(shí)施例的一種可選的目標(biāo)跟蹤方法的流程圖一,如圖1所示,該方法包括如下步驟:
步驟S102,通過目標(biāo)跟蹤單元執(zhí)行基于視覺的目標(biāo)跟蹤,并獲得針對被跟蹤目標(biāo)的第一跟蹤結(jié)果;
步驟S104,根據(jù)用于描述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合第一跟蹤結(jié)果,分析獲得針對被跟蹤目標(biāo)的第二跟蹤結(jié)果;
其中,該方法應(yīng)用于第一電子設(shè)備,第一電子設(shè)備具有目標(biāo)跟蹤單元,目標(biāo)跟蹤單元用于執(zhí)行基于視覺的目標(biāo)跟蹤;第二跟蹤結(jié)果與第一跟蹤結(jié)果相同或不同;用于描述被跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息由設(shè)置于被跟蹤目標(biāo)上的第二電子設(shè)備基于測量獲得。
通過上述步驟,在跟蹤目標(biāo)的過程中,第一電子設(shè)備可接收到來自第二電子設(shè)備測量出的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,根據(jù)第二電子設(shè)備獲取到的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息結(jié)合第一電子設(shè)備實(shí)時(shí)獲取到的第一跟蹤結(jié)果經(jīng)過分析得出跟蹤目標(biāo)的第二跟蹤結(jié)果,可以達(dá)到實(shí)時(shí)檢測跟蹤目標(biāo)的運(yùn)動狀態(tài),利用設(shè)置在跟蹤目標(biāo)上的第二電子設(shè)備實(shí)時(shí)測量獲得跟蹤目標(biāo)的運(yùn)動信息,并結(jié)合第一電子設(shè)備獲取的跟蹤目標(biāo)的第一跟蹤結(jié)果,分析得到第二跟蹤結(jié)果,如利用該運(yùn)動信息修正第一跟蹤結(jié)果得到第二跟蹤結(jié)果,通過上述方案,不是直接將第一電子設(shè)備的第一跟蹤結(jié)果作為最終的結(jié)果,而是結(jié)合第二電子設(shè)備測量得到的跟蹤目標(biāo)的運(yùn)動信息分析得到第二跟蹤結(jié)果,得到的結(jié)果更加準(zhǔn)確,解決了現(xiàn)有技術(shù)中跟蹤目標(biāo)時(shí)準(zhǔn)確性低的問題,增加了視覺跟蹤的魯棒性。
上述實(shí)施例中,可在跟蹤目標(biāo)的身上配置一種可檢測目標(biāo)運(yùn)動狀態(tài)的移動設(shè)備(即第二電子設(shè)備),而無需繁瑣的外圍設(shè)備,結(jié)合該第二電子設(shè)備得到的運(yùn)動信息與第二電子設(shè)備得到的第一跟蹤結(jié)果得到第二跟蹤結(jié)果,不僅可以得到準(zhǔn)確的跟蹤結(jié)果,而且可以降低跟蹤成本。
對于上述實(shí)施例,該方案應(yīng)用于第一電子設(shè)備,第一電子設(shè)備可以是一種檢測跟蹤目標(biāo)的運(yùn)動狀態(tài)的移動設(shè)備,該移動設(shè)備可以設(shè)置有目標(biāo)跟蹤單元,該目標(biāo)跟蹤單元可用于執(zhí)行基于視覺的目標(biāo)跟蹤。
上述實(shí)施例中的第一電子設(shè)備可以有相應(yīng)的跟蹤系統(tǒng),該跟蹤系統(tǒng)可以安裝在第一電子設(shè)備上,其用于控制第一電子設(shè)備的各個單元工作,該跟蹤系統(tǒng)向第一電子設(shè)備的各個單元發(fā)出指令,該指令可以指示第一電子設(shè)備的各個單元工作,從而使得第一電子設(shè)備可以跟蹤目標(biāo),其中,該指令的表現(xiàn)形式可以為數(shù)據(jù)包或代碼,第一電子設(shè)備中的各個單元在接收到指令后,根據(jù)指令信息執(zhí)行相應(yīng)的任務(wù),從而可以與第二電子設(shè)備交互,達(dá)到準(zhǔn)確跟蹤目標(biāo)的功能。
可選地,第一電子設(shè)備可以是機(jī)器人。
對于上述實(shí)施例,通過目標(biāo)跟蹤單元執(zhí)行基于視覺的目標(biāo)跟蹤,并獲得針對跟蹤目標(biāo)的第一跟蹤結(jié)果,其中,該目標(biāo)跟蹤單元可以設(shè)置有檢測裝置,該檢測裝置可以檢測跟蹤目標(biāo)的第一位置信息以及跟蹤目標(biāo)的運(yùn)動狀態(tài),該運(yùn)動狀態(tài)包括運(yùn)動方向和運(yùn)動角度。對于上述目標(biāo)跟蹤單元,可以通過檢測裝置檢測跟蹤目標(biāo)的位置,獲取到目標(biāo)的第一位置,目標(biāo)跟蹤單元獲取到跟蹤目標(biāo)的第一位置后,將該第一位置的位置信息形成第一數(shù)據(jù),該數(shù)據(jù)可以包括跟蹤目標(biāo)所處的坐標(biāo)信息、當(dāng)期時(shí)間以及跟蹤目標(biāo)與第一電子設(shè)備之間的距離,其中,上述的坐標(biāo)信息可以是根據(jù)第一電子設(shè)備中的定位單元獲取的,目標(biāo)跟蹤單元先將獲取的第一數(shù)據(jù)存儲起來,然后目標(biāo)跟蹤單元將第一數(shù)據(jù)傳輸?shù)降谝浑娮釉O(shè)備的存儲單元中,第一電子設(shè)備獲取到第一數(shù)據(jù)后,再次向目標(biāo)跟蹤單元發(fā)出檢測指令,目標(biāo)跟蹤單元根據(jù)接收的檢測指令,再次獲取跟蹤目標(biāo)的第二位置信息,之后,目標(biāo)跟蹤單元將獲取到的跟蹤目標(biāo)的第二位置信息形成第二數(shù)據(jù),目標(biāo)跟蹤單元將獲取到的第二數(shù)據(jù)發(fā)送到第一電子設(shè)備中,然后第一電子設(shè)備根據(jù)第一數(shù)據(jù)和第二數(shù)據(jù),經(jīng)過比較分析,得到跟蹤目標(biāo)的移動方向、移動速度以及當(dāng)前跟蹤目標(biāo)的當(dāng)前坐標(biāo)數(shù)據(jù)。其中,跟蹤目標(biāo)的移動方向可以根據(jù)第二數(shù)據(jù)的跟蹤目標(biāo)的坐標(biāo)相對于第一數(shù)據(jù)的跟蹤目標(biāo)的坐標(biāo)判斷出跟蹤目標(biāo)的移動方向,判斷跟蹤目標(biāo)的移動速度可以根據(jù)第一數(shù)據(jù)中的所處時(shí)間和第二數(shù)據(jù)中的所處時(shí)間以及跟蹤目標(biāo)的移動距離來判斷出跟蹤目標(biāo)在第一數(shù)據(jù)和第二數(shù)據(jù)之間移動時(shí)的移動速度。最后,第一電子設(shè)備將分析出的跟蹤目標(biāo)的移動方向、坐標(biāo)信息、移動速度、移動時(shí)間以及跟蹤目標(biāo)與該第一電子設(shè)備之間的距離形成第一跟蹤結(jié)果,第一電子設(shè)備將第一跟蹤結(jié)果形成數(shù)據(jù)存儲起來,之后將第一跟蹤結(jié)果發(fā)送到目標(biāo)跟蹤單元。
可選的,上述實(shí)施例中的第一電子設(shè)備可以通過無線的形式傳輸數(shù)據(jù),同時(shí)第一電子設(shè)備的系統(tǒng)根據(jù)第一跟蹤結(jié)果發(fā)送指令到第一電子設(shè)備的目標(biāo)跟蹤單元,使第一電子設(shè)備移動,其移動的方向和速度可以與根據(jù)第一跟蹤結(jié)果中跟蹤目標(biāo)的移動方向和移動速度一致,也可以適當(dāng)?shù)恼{(diào)整其跟蹤速度和方向,例如,如果第一電子設(shè)備與跟蹤目標(biāo)的距離較遠(yuǎn),其可以在啟動時(shí)超出第一跟蹤結(jié)果中跟蹤目標(biāo)的移動速度,在第一電子設(shè)備與跟蹤目標(biāo)的距離達(dá)到預(yù)先設(shè)置的距離時(shí),第一電子設(shè)備的跟蹤速度可以降低到與第一跟蹤結(jié)果中的移動速度一致。
可選的,運(yùn)動目標(biāo)的運(yùn)動方向包括以下至少之一:前進(jìn)、后退、停止、左移、和右移。
可選的,上述實(shí)施例中的目標(biāo)跟蹤單元可以包括RFID(射頻識別:radio frequency identification)。
可選的,上述實(shí)施例中的跟蹤目標(biāo)可以是人或物品,該跟蹤目標(biāo)可以是移動的。
對于上述實(shí)施例,在獲得跟蹤目標(biāo)的第一跟蹤結(jié)果后,執(zhí)行步驟S104,根據(jù)用于描述跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合第一跟蹤結(jié)果,分析獲得針對跟蹤目標(biāo)的第二跟蹤結(jié)果,其中,用于描述跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息由設(shè)置于跟蹤目標(biāo)身上的第二電子設(shè)備獲取,該第二電子設(shè)備包括檢測單元、處理單元、存儲單元,該檢測單元可以檢測出跟蹤目標(biāo)的移動狀態(tài),可以根據(jù)第二電子設(shè)備的系統(tǒng)發(fā)出的指令執(zhí)行檢測操作,該檢測單元接收到指令后,開始檢測當(dāng)前第二電子設(shè)備所處的坐標(biāo)信息,同時(shí)獲取到跟蹤目標(biāo)的信息,檢測單元將該信息傳輸?shù)酱鎯卧纬傻谝粩?shù)據(jù),該第一數(shù)據(jù)包括當(dāng)前跟蹤目標(biāo)的坐標(biāo)、當(dāng)前時(shí)間、跟蹤目標(biāo)的移動方向,檢測單元將該坐標(biāo)信息和當(dāng)前時(shí)間形成第一數(shù)據(jù)傳輸?shù)降诙娮釉O(shè)備的存儲單元,第二電子設(shè)備獲取到第一數(shù)據(jù)后,系統(tǒng)再次發(fā)出指令到檢測單元,該檢測單元再次接收到指令后,可以再次檢測第二電子設(shè)備的坐標(biāo)以及跟蹤目標(biāo)的信息,檢測單元將該信息傳輸?shù)酱鎯卧纬傻诙?shù)據(jù),第二電子設(shè)備根據(jù)第一數(shù)據(jù)和第二數(shù)據(jù)分析跟蹤目標(biāo)的移動角度和移動速度,隨后第二電子設(shè)備不斷的根據(jù)上述方式檢測跟蹤目標(biāo)的移動信息,最后,第二電子設(shè)備將跟蹤目標(biāo)的移動方向、移動速度以及變化的時(shí)間等信息存儲起來,形成第二運(yùn)動數(shù)據(jù)。
對于上述實(shí)施例,第一電子設(shè)備得到根據(jù)第一跟蹤結(jié)果后,可以通過讀取單元讀取到第二電子設(shè)備的第二運(yùn)動數(shù)據(jù),第一電子設(shè)備在獲取到第二運(yùn)動數(shù)據(jù)后,與第一跟蹤結(jié)果比較,得出第二跟蹤結(jié)果,第二跟蹤結(jié)果與第一跟蹤結(jié)果可以相同也可以不同,當(dāng)?shù)谝桓櫧Y(jié)果與第二跟蹤結(jié)果相同時(shí),第一跟蹤結(jié)果可以不用更新數(shù)據(jù),第一電子設(shè)備可以按照第一跟蹤結(jié)果來移動,同時(shí)可以根據(jù)第一跟蹤結(jié)果來預(yù)估跟蹤目標(biāo)的移動方向和移動速度,該預(yù)估結(jié)果可以和第一跟蹤結(jié)果相同也可以不同;當(dāng)?shù)谝桓櫧Y(jié)果與第二跟蹤結(jié)果不同時(shí),第一電子設(shè)備判斷該結(jié)果偏差的大小,這里可以給比較結(jié)果的偏差值設(shè)定一個閾值,該閾值是根據(jù)跟蹤目標(biāo)的運(yùn)動狀態(tài)確定的(例如,移動速度設(shè)為5米/分鐘),在第一跟蹤結(jié)果與第二跟蹤結(jié)果的比較結(jié)果差值較大(例如,比較結(jié)果的差值超出閾值),第一跟蹤結(jié)果需要改變,其中跟蹤目標(biāo)的運(yùn)動方向、運(yùn)動速度、坐標(biāo)以及跟蹤目標(biāo)的運(yùn)動變化角度可以更新,其更新的數(shù)據(jù)可以是第二跟蹤結(jié)果中的數(shù)據(jù)也可以是參考第二跟蹤結(jié)果的數(shù)據(jù)進(jìn)行調(diào)整,如果第一跟蹤結(jié)果與第二跟蹤結(jié)果的比較結(jié)果差值較小,例如,該比較結(jié)果的差值低于閾值時(shí),該第一跟蹤結(jié)果可以不更新。
對于上述實(shí)施例中的第一跟蹤結(jié)果與第二跟蹤結(jié)果比較結(jié)果差值較大時(shí),可以得出第一電子設(shè)備在跟蹤過程中“跟丟”的結(jié)果,從而更新數(shù)據(jù),改變第一電子設(shè)備的運(yùn)動方向、運(yùn)動速度以及運(yùn)動角度。
具體地,上述實(shí)施例在得出第二跟蹤結(jié)果后,可以分析得出多個結(jié)論,例如:跟蹤目標(biāo)建模和/或跟蹤目標(biāo)定位。其中,目標(biāo)建模分為離線目標(biāo)建模和在線目標(biāo)建模,離線目標(biāo)建模是指在開始跟蹤之前就已經(jīng)訓(xùn)練好跟蹤目標(biāo)的模型,然后在實(shí)時(shí)跟蹤過程中進(jìn)行判別是否為跟蹤目標(biāo);在線目標(biāo)建模是指在跟蹤過程中不斷地學(xué)習(xí)與更新目標(biāo)模型,同時(shí)進(jìn)行跟蹤目標(biāo)的判別。
優(yōu)選的,上述實(shí)施例中的第二電子設(shè)備中可以是內(nèi)置IMU芯片的移動通信設(shè)備(例如:遙控器、手機(jī)),該設(shè)備可以將IMU信息實(shí)時(shí)的傳達(dá)給第一電子設(shè)備,其中第二電子設(shè)備的IMU芯片可以是上述實(shí)施例的檢測單元。
可選的,第二電子設(shè)備可以配置在跟蹤目標(biāo)的身上,可以是跟蹤目標(biāo)穿戴的物品,也可以是跟蹤目標(biāo)的手拿著的。
在第一電子設(shè)備和第二電子設(shè)備傳輸數(shù)據(jù)的過程中,可以是有線的數(shù)據(jù)傳輸,也可以是無線的數(shù)據(jù)傳輸。
可選的,第一電子設(shè)備可以包括拍攝裝置,該拍攝裝置可以拍攝跟蹤目標(biāo),拍攝裝置可以實(shí)時(shí)的將拍攝到信息傳輸?shù)降谝浑娮釉O(shè)備中,該拍攝設(shè)備可以是攝像機(jī)。
可選的,上述實(shí)施例中的跟蹤可以是視覺跟蹤,該視覺跟蹤可以通過在第一電子設(shè)備中的拍攝裝置獲得,拍攝裝置拍攝第一電子設(shè)備當(dāng)前的環(huán)境,其中,當(dāng)前環(huán)境包含有跟蹤目標(biāo)的行走的路面、行走方向上障礙物、跟蹤目標(biāo)、光照強(qiáng)度,如果在第一電子設(shè)備行走方向上有障礙物,分析該障礙物所處的坐標(biāo)以及該障礙物的大小,當(dāng)前跟蹤環(huán)境還包括第一電子設(shè)備與跟蹤目標(biāo)之間的環(huán)境,第一電子設(shè)備與跟蹤目標(biāo)之間的環(huán)境包括在第一電子設(shè)備向跟蹤目標(biāo)移動時(shí)有無障礙物、光照強(qiáng)度、背景。
在一種可選的實(shí)施例中,運(yùn)動信息包括針對跟蹤目標(biāo)的運(yùn)動測量參數(shù),運(yùn)動測量參數(shù)存入第二電子設(shè)備的預(yù)定存儲空間中,運(yùn)動測量參數(shù)至少包括:運(yùn)動加速度和/或運(yùn)動角速度,或者,第一電子設(shè)備通過以下方式獲得運(yùn)動測量參數(shù):周期性或非周期性的訪問第二電子設(shè)備的預(yù)定存儲空間,以獲取第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)采集得到的運(yùn)動測量參數(shù),該周期性是指第一電子設(shè)備內(nèi)設(shè)定一個時(shí)間間隔,例如:0.5秒、1秒、5秒、10秒、20秒等,在一個時(shí)間間隔后第一電子設(shè)備就會獲取第二電子設(shè)備預(yù)定存儲空間內(nèi)存儲的跟蹤目標(biāo)運(yùn)動變化數(shù)據(jù),或者,根據(jù)用于描述跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合第一跟蹤結(jié)果,分析獲得針對跟蹤目標(biāo)的第二跟蹤結(jié)果,包括:對預(yù)定時(shí)間段內(nèi)的運(yùn)動測量參數(shù)進(jìn)行統(tǒng)計(jì)分析,獲得跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息,并根據(jù)運(yùn)動描述信息對第一跟蹤結(jié)果進(jìn)行修正,獲得第二跟蹤結(jié)果;其中,運(yùn)動描述信息至少包括運(yùn)動速度和/或運(yùn)動方向,可以結(jié)合第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)的運(yùn)動測量參數(shù)以及第一電子設(shè)備在預(yù)定時(shí)間段內(nèi)的自身運(yùn)動測量參數(shù),綜合分析獲得跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)相對于第一電子設(shè)備的運(yùn)動描述信息。
對于上述實(shí)施例,第一電子設(shè)備通過不斷地獲取第一跟蹤結(jié)果和第二電子設(shè)備的運(yùn)動數(shù)據(jù)分析得出第二跟蹤結(jié)果,這樣可以通過實(shí)時(shí)獲取的運(yùn)動數(shù)據(jù)增加跟蹤的準(zhǔn)確性,從而準(zhǔn)確的跟蹤目標(biāo),也增加了跟蹤目標(biāo)的穩(wěn)定性。
對于上述實(shí)施例,運(yùn)動測量參數(shù)可以不斷地更新,在第二電子設(shè)備再次測量得出新的跟蹤目標(biāo)的數(shù)據(jù)后,將該數(shù)據(jù)重新存入第二電子設(shè)備的預(yù)定存儲空間中,對原來的數(shù)據(jù)可以刪除也可以暫時(shí)保留,例如,在第二電子設(shè)備的預(yù)定存儲空間將要占滿時(shí),可以刪除原來的第二電子設(shè)備的數(shù)據(jù)。
對于上述實(shí)施例中的加速度,可以通過測量跟蹤目標(biāo)的速度變化信息來得出,在跟蹤目標(biāo)更改行進(jìn)速度后,跟蹤目標(biāo)的運(yùn)動加速度就可以通過計(jì)算得出。
通過上述實(shí)施例,可以對第一電子設(shè)備的運(yùn)動測量參數(shù)進(jìn)行統(tǒng)計(jì)分析,該統(tǒng)計(jì)分析包括對第一電子設(shè)備測量的跟蹤目標(biāo)的位置變化、移動方向、移動速度進(jìn)行分析,可以通過將第二次得到的位置與第一次得到的位置進(jìn)行比較得出運(yùn)動測量參數(shù),例如:設(shè)置一個長寬為10米的屏幕,第一次跟蹤目標(biāo)在正中心,其坐標(biāo)為(5,5),第二次跟蹤目標(biāo)在最北邊的中心,其坐標(biāo)為(5,10),通過分析可以判斷出該目標(biāo)在第一次測量和第二次測量的時(shí)間間隔內(nèi),跟蹤目標(biāo)朝正北方向移動,移動距離為5米,將移動距離與移動時(shí)間做計(jì)算得出移動速度。通過對運(yùn)動測量參數(shù)的變化進(jìn)行計(jì)算,就可以分析出跟蹤目標(biāo)的運(yùn)動狀態(tài),最后第一電子設(shè)備可以將得出的運(yùn)動變化數(shù)據(jù)存儲起來,經(jīng)過綜合分析最后得出跟蹤目標(biāo)的在預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息,該預(yù)定時(shí)間是指在第一電子設(shè)備和第二電子設(shè)備傳輸數(shù)據(jù)過程中的時(shí)間間隔,每過一定的時(shí)間間隔(例如,5秒),第一電子設(shè)備獲取第二電子設(shè)備的數(shù)據(jù)。
對于上述實(shí)施例,運(yùn)動信息包括對跟蹤目標(biāo)的運(yùn)動描述信息,第一電子設(shè)備通過以下方式獲得運(yùn)動描述信息:周期性或非周期性的訪問第二電子設(shè)備的預(yù)定存儲空間,第二電子設(shè)備的預(yù)定存儲空間是相對于該第二電子設(shè)備的存儲設(shè)備的大小確定的,如果預(yù)定存儲空間較大,第二電子設(shè)備可以存儲多條第二電子設(shè)備的運(yùn)動變化信息,如果預(yù)定存儲空間空間較小,例如:10條,第二電子設(shè)備可以存儲較少的第二電子設(shè)備的運(yùn)動變化信息,例如2條。
對于上述實(shí)施例,根據(jù)預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息,對第一跟蹤結(jié)果進(jìn)行修正,最后獲得第二跟蹤結(jié)果,在對第一跟蹤結(jié)果進(jìn)行修正時(shí),可以有一個運(yùn)動變化參數(shù),該運(yùn)動變化參數(shù)是在第一跟蹤結(jié)果的基礎(chǔ)上,對比第二電子設(shè)備內(nèi)的運(yùn)動信息,得出的第二跟蹤結(jié)果。例如,可以將運(yùn)動變化角度的數(shù)值設(shè)置在10度內(nèi),如果第二跟蹤結(jié)果中的運(yùn)動方向相對于第一跟蹤結(jié)果運(yùn)動方向變化在該數(shù)值內(nèi),則第一跟蹤結(jié)果的運(yùn)動方向或角度信息不用改變,如果第二跟蹤結(jié)果中的運(yùn)動方向相對于第一跟蹤結(jié)果運(yùn)動方向變化大于該數(shù)值,則第一跟蹤結(jié)果的運(yùn)動方向或角度信息可以修正,將第一跟蹤結(jié)果內(nèi)的運(yùn)動方向或運(yùn)動角度修改為根據(jù)第二電子設(shè)備獲取到的第二運(yùn)動數(shù)據(jù)中的運(yùn)動方向或運(yùn)動角度。
通過對比第一跟蹤結(jié)果和第二運(yùn)動數(shù)據(jù)可以得出是否修正第一電子設(shè)備的運(yùn)動數(shù)據(jù),可以減少跟蹤的誤差。
對于上述實(shí)施例,在跟蹤目標(biāo)時(shí)出現(xiàn)較大誤差可以進(jìn)行修正,例如,在基于視覺的跟蹤技術(shù)跟蹤目標(biāo),在時(shí)間加長時(shí),可以在第一電子設(shè)備測量的第一跟蹤結(jié)果與第二電子設(shè)備測量得出的第二運(yùn)動數(shù)據(jù)比較出現(xiàn)誤差時(shí),就可以修正第一跟蹤結(jié)果的數(shù)據(jù),保證了在長時(shí)間跟蹤過程中穩(wěn)定性,一種可選的實(shí)施方式,在跟蹤目標(biāo)突然加速運(yùn)動的時(shí)候,跟蹤目標(biāo)就會容易跟丟,這時(shí)測量的第一跟蹤結(jié)果與獲取的第二運(yùn)動數(shù)據(jù)相比較就會出現(xiàn)較大誤差值,可以通過修正第一跟蹤結(jié)果的數(shù)據(jù)(例如,第一電子設(shè)備也加速度運(yùn)動,并且相應(yīng)的改變運(yùn)動方向)重新跟蹤目標(biāo),這樣可以保證跟蹤目標(biāo)在跟丟后重新跟上目標(biāo)。
對于上述實(shí)施例,根據(jù)預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息,對第一跟蹤結(jié)果進(jìn)行修正,獲得第二跟蹤結(jié)果,可以根據(jù)跟蹤目標(biāo)在不同運(yùn)動方向上的狀態(tài)概率,以及第一跟蹤結(jié)果所表示的跟蹤目標(biāo)在跟蹤圖像中的至少一個候選跟蹤區(qū)域,確定跟蹤目標(biāo)在跟蹤圖像中的置信跟蹤區(qū)域,并基于置信跟蹤區(qū)域生成第二跟蹤結(jié)果,其中,狀態(tài)概率用于表示跟蹤目標(biāo)在不同運(yùn)動方向上運(yùn)動的概率。
在上述實(shí)施例中,運(yùn)動描述信息包括跟蹤目標(biāo)在不同運(yùn)動方向上的狀態(tài)概率,是指對跟蹤目標(biāo)進(jìn)行運(yùn)動預(yù)估時(shí),對目標(biāo)運(yùn)動方向或速度進(jìn)行預(yù)估,其中,該目標(biāo)運(yùn)動方向或速度的預(yù)估可以是第一電子設(shè)備根據(jù)第二跟蹤結(jié)果獲取的也可以第一跟蹤結(jié)果獲取的,預(yù)估的目標(biāo)運(yùn)動方向或速度可以與第二跟蹤結(jié)果的數(shù)據(jù)相同也可以不同,在預(yù)估出跟蹤目標(biāo)的運(yùn)動方向后,可以得出相對應(yīng)的跟蹤目標(biāo)的在接下來的時(shí)間間隔內(nèi)的運(yùn)動區(qū)域和運(yùn)動線路。
可選的,跟蹤目標(biāo)所活動的區(qū)域可以在固定的屏幕內(nèi),可以根據(jù)第二跟蹤結(jié)果給第一電子設(shè)備發(fā)出接下來的候選活動區(qū)域,第一電子設(shè)備根據(jù)候選活動區(qū)域和跟蹤目標(biāo)在未來一定時(shí)間間隔內(nèi)的活動區(qū)域和運(yùn)動路線來確定行進(jìn)方向和行進(jìn)速度,從而提高跟蹤的準(zhǔn)確性。
在一個可選的實(shí)施例中,該方案還可以包括:在預(yù)定時(shí)間段內(nèi)的運(yùn)動描述信息表示跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動方向?yàn)榈谝环较?,預(yù)定時(shí)間段內(nèi)的第一跟蹤結(jié)果表示跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)的運(yùn)動方向?yàn)榈诙较颍谝环较蚺c第二方向不同,且跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)在第一方向上的移動距離大于預(yù)設(shè)的第一距離閾值,跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)在第二方向上的移動距離大于預(yù)設(shè)的第二距離閾值時(shí),產(chǎn)生報(bào)警提示信息,用于提示第一電子設(shè)備跟丟跟蹤目標(biāo)。在該方案中,報(bào)警信息是根據(jù)第二跟蹤結(jié)果得到的,該報(bào)警信息可以為第一電子設(shè)備的處理中心向目標(biāo)跟蹤單元發(fā)出的指令,目標(biāo)跟蹤單元在接收到該指令后可以及時(shí)修改第一電子設(shè)備的運(yùn)動數(shù)據(jù),其中,該運(yùn)動數(shù)據(jù)可以是根據(jù)第二運(yùn)動數(shù)據(jù)得出的,如果第二跟蹤結(jié)果與第一跟蹤結(jié)果的數(shù)據(jù)相差較大,則第一電子設(shè)備調(diào)整其運(yùn)動方向和運(yùn)動速度,例如將第一電子設(shè)備的運(yùn)動速度加快。
圖2是根據(jù)本發(fā)明實(shí)施例的一種可選地第一電子設(shè)備的結(jié)構(gòu)圖,如圖2所示,該第一電子設(shè)備包括:目標(biāo)跟蹤單元21,目標(biāo)跟蹤單元21用于執(zhí)行基于視覺的目標(biāo)跟蹤,并獲得針對跟蹤目標(biāo)的第一跟蹤結(jié)果;處理器22,用于根據(jù)用于描述跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合第一跟蹤結(jié)果,分析獲得針對跟蹤目標(biāo)的第二跟蹤結(jié)果;其中,第二跟蹤結(jié)果與第一跟蹤結(jié)果相同或不同;用于描述跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息由設(shè)置于跟蹤目標(biāo)上的第二電子設(shè)備基于測量獲得。
通過上述實(shí)施例,在跟蹤目標(biāo)的過程中,第一電子設(shè)備可接收到來自第二電子設(shè)備測量出的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,根據(jù)第二電子設(shè)備獲取到的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息結(jié)合第一電子設(shè)備實(shí)時(shí)獲取到的第一跟蹤結(jié)果通過處理器22分析得出跟蹤目標(biāo)的第二跟蹤結(jié)果,通過目標(biāo)單元21達(dá)到實(shí)時(shí)檢測跟蹤目標(biāo)的運(yùn)動狀態(tài),利用設(shè)置在跟蹤目標(biāo)上的第二電子設(shè)備實(shí)時(shí)測量獲得跟蹤目標(biāo)的運(yùn)動信息,并結(jié)合第一電子設(shè)備獲取的跟蹤目標(biāo)的第一跟蹤結(jié)果,分析得到第二跟蹤結(jié)果,如利用該運(yùn)動信息修正第一跟蹤結(jié)果得到第二跟蹤結(jié)果,通過上述方案,不是直接將第一電子設(shè)備的第一跟蹤結(jié)果作為最終的結(jié)果,而是結(jié)合第二電子設(shè)備測量得到的跟蹤目標(biāo)的運(yùn)動信息分析得到第二跟蹤結(jié)果,得到的結(jié)果更加準(zhǔn)確,解決了現(xiàn)有技術(shù)中跟蹤目標(biāo)時(shí)準(zhǔn)確性低的問題,增加了視覺跟蹤的魯棒性。
在上述實(shí)施例的處理器22進(jìn)一步用于:結(jié)合第二電子設(shè)備在預(yù)定時(shí)間段內(nèi)的運(yùn)動測量參數(shù)、以及第一電子設(shè)備在預(yù)定時(shí)間段內(nèi)的自身運(yùn)動測量參數(shù),綜合分析獲得跟蹤目標(biāo)在預(yù)定時(shí)間段內(nèi)相對于第一電子設(shè)備的運(yùn)動描述信息。
進(jìn)一步地,目標(biāo)跟蹤單元21還用于在產(chǎn)生報(bào)警提示信息之后,重新檢測跟蹤目標(biāo),并重新進(jìn)入基于視覺的目標(biāo)跟蹤。
圖3是根據(jù)本發(fā)明實(shí)施例的一種可選地一種目標(biāo)跟蹤系統(tǒng)的示意圖,如圖3所示,該目標(biāo)跟蹤系統(tǒng)包括:上述實(shí)施例中的任意一種第一電子設(shè)備31,第一電子設(shè)備31用于通過目標(biāo)跟蹤單元執(zhí)行基于視覺的目標(biāo)跟蹤,并獲得針對跟蹤目標(biāo)的第一跟蹤結(jié)果,根據(jù)用于描述跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,并結(jié)合第一跟蹤結(jié)果,分析獲得針對跟蹤目標(biāo)的第二跟蹤結(jié)果;第二電子設(shè)備32,設(shè)置于跟蹤目標(biāo)上,用于基于測量獲得用于描述跟蹤目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息。
通過上述實(shí)施例,在跟蹤目標(biāo)的過程中,第一電子設(shè)備31可接收到來自第二電子設(shè)備32測量出的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,根據(jù)第二電子設(shè)備32獲取到的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息結(jié)合第一電子設(shè)備31實(shí)時(shí)獲取到的第一跟蹤結(jié)果分析得出跟蹤目標(biāo)的第二跟蹤結(jié)果,達(dá)到實(shí)時(shí)檢測跟蹤目標(biāo)的運(yùn)動狀態(tài),利用設(shè)置在跟蹤目標(biāo)上的第二電子設(shè)備32實(shí)時(shí)測量獲得跟蹤目標(biāo)的運(yùn)動信息,并結(jié)合第一電子設(shè)備31獲取的跟蹤目標(biāo)的第一跟蹤結(jié)果,分析得到第二跟蹤結(jié)果,如利用該運(yùn)動信息修正第一跟蹤結(jié)果得到第二跟蹤結(jié)果,通過上述方案,不是直接將第一電子設(shè)備31的第一跟蹤結(jié)果作為最終的結(jié)果,而是結(jié)合第二電子設(shè)備32測量得到的跟蹤目標(biāo)的運(yùn)動信息分析得到第二跟蹤結(jié)果,得到的結(jié)果更加準(zhǔn)確,解決了現(xiàn)有技術(shù)中跟蹤目標(biāo)時(shí)準(zhǔn)確性低的問題,增加了視覺跟蹤的魯棒性。
下面以一種可選的實(shí)施例對本發(fā)明做出說明。
圖4是根據(jù)本發(fā)明實(shí)施例的一種可選的目標(biāo)跟蹤方法的實(shí)施場景的示意圖,如圖4所示,該方案的跟蹤目標(biāo)是屏幕內(nèi)的人,所在的測量環(huán)境為一個相對的屏幕,其中,第一電子設(shè)備為機(jī)器人,第二電子設(shè)備為采用了IMU芯片的設(shè)備,該方案通過采集IMU發(fā)出的反饋信息完成對視覺跟蹤的輔助。
首先,機(jī)器人不斷檢測通過不斷地掃描來實(shí)時(shí)檢測屏幕內(nèi)的人的運(yùn)動狀態(tài),機(jī)器人內(nèi)有存儲器,機(jī)器人的該存儲器可以將檢測到的屏幕內(nèi)的人的運(yùn)動數(shù)據(jù)狀態(tài)存儲起來在機(jī)器人存儲空間內(nèi)部形成第一運(yùn)動數(shù)據(jù),在屏幕內(nèi)的人的身上放置含IMU芯片的第二電子設(shè)備,該IMU芯片可以實(shí)時(shí)檢測人的運(yùn)動狀態(tài),第二電子設(shè)備包括存儲單元,該IMU設(shè)備的存儲單元可以將檢測到的人的運(yùn)動狀態(tài)的運(yùn)動數(shù)據(jù)存儲,形成第二運(yùn)動數(shù)據(jù),機(jī)器人對IMU返回的第二運(yùn)動數(shù)據(jù)進(jìn)行一系列的統(tǒng)計(jì)學(xué)習(xí)分析,機(jī)器人通過統(tǒng)計(jì)分析學(xué)習(xí)得到一個結(jié)果數(shù)據(jù),之后,機(jī)器人通過該結(jié)果數(shù)據(jù)可對屏幕內(nèi)的人運(yùn)動行為進(jìn)行分析,得到基于概率的目標(biāo)運(yùn)動信息,例如:估計(jì)運(yùn)動人當(dāng)前運(yùn)動方向,其中,該運(yùn)動方向包括:前進(jìn)、后退、停止、左移、右移。將該運(yùn)動信息中有效的運(yùn)動數(shù)據(jù)融合到視覺跟蹤算法中,以達(dá)到增加跟蹤目標(biāo)性的作用。
通過上述實(shí)施例,可以對屏幕內(nèi)的人的位置運(yùn)動方向和運(yùn)動速度進(jìn)行預(yù)測,機(jī)器人根據(jù)IMU返回的數(shù)據(jù)對人所攜帶的第二電子設(shè)備相對于機(jī)器人的運(yùn)動分析,機(jī)器人通過運(yùn)動分析可以預(yù)估目標(biāo)在屏幕中的移動規(guī)律,從而可以產(chǎn)生置信度區(qū)域,從而增加跟蹤目標(biāo)的穩(wěn)定性和準(zhǔn)確性。
通過上述實(shí)施例,如果返回兩個待定結(jié)果:第一預(yù)測移動方向Rectang1與第二預(yù)測移動方向Rectangle2,而機(jī)器人根據(jù)得到的IMU反饋信息預(yù)測到行人此時(shí)在向右運(yùn)動,則置信區(qū)域出現(xiàn)在右側(cè),Rectangle2的置信度更高,Rectangle1可被抑制,視覺跟蹤中間或者最后的篩選結(jié)果為Rectangle2,即預(yù)測屏幕內(nèi)的人會向右移動。
通過上述實(shí)施例,可以在機(jī)器的視覺跟蹤算法失效時(shí),可以及時(shí)糾正,例如,如果機(jī)器人通過分析得出目標(biāo)運(yùn)動方向與基于視覺技術(shù)估計(jì)的運(yùn)動方向嚴(yán)重不符,機(jī)器人可以做出“跟丟”判斷,這時(shí),機(jī)器人可以通過IMU第二電子設(shè)備返回的信息重新確定屏幕內(nèi)的目標(biāo)的運(yùn)動方向和運(yùn)動速度,從而機(jī)器人可以通過控制器糾正機(jī)器人未來的運(yùn)動方向。
對于上述實(shí)施例,若Rectang1與Rectangle2與前面連續(xù)n幀相比都是在向左移動,即視覺跟蹤結(jié)果顯示人在這n幀視頻中一直在向左移動,且向左移動距離大于距離閾值,而IMU反饋信息表示目標(biāo)一直在向右移動,且移動距離大于距離閾值時(shí),那么此時(shí)視覺跟蹤基本可以判斷為“跟丟”,視覺跟蹤算法可以重新進(jìn)行初始化,機(jī)器人的運(yùn)動方向重新確定,使得機(jī)器人可以繼續(xù)跟蹤目標(biāo)。
上述實(shí)施例的視覺跟蹤算法可以包括:camshift算法、光流跟蹤算法、粒子濾波算法。
通過上述實(shí)施例,在跟蹤屏幕內(nèi)的人的過程中,機(jī)器人可接收到來自屏幕內(nèi)的人身上的第二電子設(shè)備測量出的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息,根據(jù)第二電子設(shè)備獲取到的人的運(yùn)動狀態(tài)的運(yùn)動信息結(jié)合機(jī)器人實(shí)時(shí)獲取到的第一跟蹤結(jié)果分析得出人的第二跟蹤結(jié)果,達(dá)到實(shí)時(shí)檢測人的運(yùn)動狀態(tài),利用設(shè)置在人上的第二電子設(shè)備實(shí)時(shí)測量獲得跟蹤目標(biāo)的運(yùn)動信息,并結(jié)合機(jī)器人獲取的人的第一跟蹤結(jié)果,分析得到第二跟蹤結(jié)果,如利用該運(yùn)動信息修正第一跟蹤結(jié)果得到第二跟蹤結(jié)果,通過上述方案,不是直接將機(jī)器人的第一跟蹤結(jié)果作為最終的結(jié)果,而是結(jié)合第二電子設(shè)備測量得到的人的運(yùn)動信息分析得到第二跟蹤結(jié)果,得到的結(jié)果更加準(zhǔn)確,解決了現(xiàn)有技術(shù)中跟蹤目標(biāo)時(shí)準(zhǔn)確性低的問題,增加了視覺跟蹤的魯棒性。
下面以另一種可選的實(shí)施例對本發(fā)明做出說明。
圖5是根據(jù)本發(fā)明實(shí)施例的一種可選地目標(biāo)跟蹤方法的流程圖二,在以動平衡車為運(yùn)動底盤的地面移動機(jī)器人上運(yùn)行視覺跟蹤算法,用戶的運(yùn)動信息通過其身上便攜的含有IMU的移動設(shè)備(如手機(jī)、手環(huán)、遙控器、平板電腦等)反饋給機(jī)器人,完成對視覺跟蹤的輔助,對該移動設(shè)備進(jìn)行跟蹤。如圖5所示,該方法包括:
步驟S501,機(jī)器人視覺跟蹤算法以及用戶手中的IMU設(shè)備初始化。
步驟S502,視覺跟蹤算法建立目標(biāo)模型,實(shí)時(shí)在線跟蹤用戶。
步驟S503,跟蹤過程中定時(shí)地訪問IMU數(shù)據(jù)緩沖區(qū),并對這一階段內(nèi)的IMU數(shù)據(jù)進(jìn)行一定的統(tǒng)計(jì)學(xué)習(xí),得到基于概率的用戶運(yùn)動信息。
其中,該用戶運(yùn)動信息可分為前、后、左、右、停等5個狀態(tài)。
步驟S504,得到圖像置信區(qū)域。
步驟S505,判斷置信區(qū)域和用戶最后運(yùn)動結(jié)果是否完全不同或者是否符合一定的“跟丟”準(zhǔn)則。
若是,執(zhí)行步驟S506,若否,執(zhí)行步驟S508。
步驟S506,視覺算法模型不再進(jìn)行更新。
若對二者結(jié)果匹配后發(fā)現(xiàn)完全不同,或者符合一定的“跟丟”準(zhǔn)則,則得出當(dāng)前幀“跟丟”,視覺算法模型不再進(jìn)行更新。
步驟S507,視覺算法模型重新初始化或者行人檢測,回到步驟S503。
步驟S508,對視覺跟蹤算法的中間或者最后結(jié)果進(jìn)行修正。
利用步驟S504的置信區(qū)域?qū)σ曈X跟蹤算法的中間或者最后結(jié)果進(jìn)行修正,從而提升視覺跟蹤算法的準(zhǔn)確性。
步驟S509,視覺算法更新模型,回到步驟S503。
通過上述實(shí)施例,在跟蹤目標(biāo)的過程中,代步機(jī)器人可以接收到用戶身上的含IMU的移動設(shè)備測量出的用戶運(yùn)動狀態(tài)的運(yùn)動信息,根據(jù)該移動設(shè)備獲取到的目標(biāo)運(yùn)動狀態(tài)的運(yùn)動信息結(jié)合代步機(jī)器人實(shí)時(shí)獲取到的第一跟蹤結(jié)果經(jīng)過分析得出跟蹤目標(biāo)的第二跟蹤結(jié)果,達(dá)到實(shí)時(shí)檢測用戶的運(yùn)動狀態(tài)的準(zhǔn)確信息,通過上述的含IMU的移動設(shè)備抽取關(guān)鍵信息進(jìn)行物體運(yùn)動分析,可以預(yù)測用戶的運(yùn)動方向或運(yùn)動角度,同時(shí)也可以發(fā)現(xiàn)跟蹤過程中出現(xiàn)的預(yù)估目標(biāo)運(yùn)動狀態(tài)的錯誤,從而解決了長時(shí)間視覺跟蹤出現(xiàn)的跟蹤準(zhǔn)確性低的技術(shù)問題,增加了視覺跟蹤的魯棒性。當(dāng)然,本發(fā)明實(shí)施例并不僅限于地面移動機(jī)器人,對于空間飛行類的機(jī)器人(如無人機(jī))也是適用的。
上述本發(fā)明實(shí)施例序號僅僅為了描述,不代表實(shí)施例的優(yōu)劣。
在本發(fā)明的上述實(shí)施例中,對各個實(shí)施例的描述都各有側(cè)重,某個實(shí)施例中沒有詳述的部分,可以參見其他實(shí)施例的相關(guān)描述。
在本申請所提供的幾個實(shí)施例中,應(yīng)該理解到,所揭露的技術(shù)內(nèi)容,可通過其它的方式實(shí)現(xiàn)。其中,以上所描述的裝置實(shí)施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨(dú)物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲在一個計(jì)算機(jī)可讀取存儲介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可為個人計(jì)算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機(jī)存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。