基于仿生雙目視覺機(jī)載平臺的并行跟蹤系統(tǒng)與方法
【專利摘要】本發(fā)明公開了一種基于仿生眼雙目視覺并行跟蹤系統(tǒng)和方法，該系統(tǒng)包括兩個(gè)高清攝像機(jī)，分別連接到兩個(gè)機(jī)載快速處理模塊SECO?CARMA?DevKit，這兩個(gè)機(jī)載快速處理模塊再連到一臺計(jì)算機(jī)上，計(jì)算機(jī)再連接到一個(gè)DSP控制器上，DSP控制仿生云臺運(yùn)動；高清攝像機(jī)獲得高清圖像后，通過USB傳入到機(jī)載快速處理模塊SECO?CARMA?DevKit，對實(shí)時(shí)采集的圖像進(jìn)行目標(biāo)檢測和跟蹤。本發(fā)明的方法首先要通過減背景的方法將運(yùn)動目標(biāo)提取出來，然后再用模型動態(tài)切換法進(jìn)行目標(biāo)跟蹤，并提取目標(biāo)的SIFT描述子，再將SIFT描述子輸入電腦進(jìn)行匹配，并用匹配的結(jié)果傳回CARMA?DevKit優(yōu)化這兩個(gè)攝像機(jī)目標(biāo)區(qū)域的檢測和跟蹤。本發(fā)明的實(shí)施例主要用于運(yùn)動目標(biāo)跟蹤，特別是基于仿生雙眼的目標(biāo)跟蹤。
【專利說明】基于仿生雙目視覺機(jī)載平臺的并行跟蹤系統(tǒng)與方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明公開了一種基于仿生雙目視覺機(jī)載平臺并的行跟蹤系統(tǒng)與方法，屬計(jì)算機(jī)視覺領(lǐng)域，模式識別技術(shù)和并行計(jì)算領(lǐng)域。
【背景技術(shù)】
[0002]目前，單個(gè)攝像機(jī)的對象跟蹤已經(jīng)發(fā)展得很成熟，但單攝像頭跟蹤技術(shù)有很多固有的缺點(diǎn)，如視場較窄、無法獲得深度信息等。在視頻監(jiān)控、對象跟蹤等領(lǐng)域經(jīng)常會部署使用多個(gè)攝像機(jī)，多個(gè)攝像機(jī)可以擴(kuò)大監(jiān)控范圍，同時(shí)當(dāng)跟蹤目標(biāo)在一個(gè)攝像機(jī)區(qū)域中被遮擋時(shí)利用多攝像機(jī)就可以解決這個(gè)問題，并且可以獲得深度信息來對目標(biāo)進(jìn)行三維建模。
[0003]每個(gè)攝像機(jī)對運(yùn)動目標(biāo)進(jìn)行識別和跟蹤，還要提取圖像的SIFT描述子，運(yùn)算量巨大，目前，在機(jī)載平臺上直接運(yùn)算復(fù)雜的圖像算法，此時(shí)機(jī)載平臺需要搭載專屬的FPGA硬件，并將算法固化在相關(guān)的硬件上，并進(jìn)行相關(guān)的優(yōu)化，降低經(jīng)濟(jì)性；或移動機(jī)器人機(jī)載平臺的圖像伺服系統(tǒng)中，則將圖像信息通過網(wǎng)絡(luò)傳遞到上位服務(wù)器機(jī)器進(jìn)行處理，然后將處理后的結(jié)果傳輸?shù)綑C(jī)載處理器上，時(shí)間性降低。
[0004]機(jī)載平臺上作圖像處理的分辨率大多數(shù)是640X480，對于高清圖像無法進(jìn)行實(shí)時(shí)處理。由于計(jì)算量大，數(shù)據(jù)多，在仿生雙眼云臺上搭載的工業(yè)控制計(jì)算機(jī)無法滿足仿生雙眼并行目標(biāo)識別跟蹤和SIFT描述子的提取工作。

【發(fā)明內(nèi)容】

[0005]為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于仿生雙目視覺機(jī)載平臺的并行跟蹤系統(tǒng)與方法，解決了現(xiàn)有仿生雙眼云臺的不足。
[0006]為了達(dá)到上述目的，本發(fā)明的構(gòu)思是:首先分別由兩個(gè)圖像輸入系統(tǒng)采集高清的圖像；然后將圖像傳送到SECO CARMA DevKit嵌入式CUDA軟硬件平臺對實(shí)時(shí)采集的高清圖像進(jìn)行運(yùn)動目標(biāo)跟蹤，并提取SIFT描述子，最后將提取出來的SIFT描述子輸入到電腦進(jìn)行匹配，再將匹配的結(jié)構(gòu)返回到SECO CARMA DevKit來優(yōu)化跟蹤。同時(shí)電腦還要根據(jù)跟蹤目標(biāo)的運(yùn)動情況來控制仿生雙目云臺的運(yùn)動。
[0007]本發(fā)明的仿生雙目視覺機(jī)載平臺的并行跟蹤系統(tǒng)和方法包括:
(1)高清圖像輸入，兩臺ARTAM-1400M1-USB3高清攝像機(jī)通過USB接口分別傳入到相應(yīng)的處理器上；
(2)快速圖像處理系統(tǒng):通過SECOCARMA DevKit嵌入式CUDA軟硬件平臺并行計(jì)算技術(shù)，對實(shí)時(shí)采集的高清圖像進(jìn)行實(shí)時(shí)的運(yùn)動目標(biāo)檢測和跟蹤，并提取SIFT描述子，同時(shí)將跟蹤結(jié)果和SIFT描述子輸入計(jì)算機(jī)。
[0008](3)計(jì)算機(jī)獲得實(shí)時(shí)跟蹤畫面和SIFT描述子，并對兩個(gè)SIFT描述子進(jìn)行匹配，同時(shí)將匹配的結(jié)果返回到SECO CARMA DevKit來優(yōu)化跟蹤，另外電腦根據(jù)跟蹤的結(jié)果還要控制仿生云臺的運(yùn)動。
[0009]根據(jù)上述發(fā)明構(gòu)思，本發(fā)明采用下述技術(shù)方案:一種基于雙目視覺機(jī)載平臺目標(biāo)跟蹤系統(tǒng)，包括兩臺高清攝像機(jī)，其特征在于:所述高清攝像機(jī)固定安裝在一臺仿生云臺上，而其輸出分別各連接到一個(gè)機(jī)載快速處理模塊SECOCARMA DevKit ;所述兩個(gè)機(jī)載快速處理模塊SECO CARMA DevKit的輸出連接到一個(gè)計(jì)算機(jī)，計(jì)算機(jī)的輸出連接到仿生云臺。所述兩臺高清攝像機(jī)攝入高清圖像后，通過USB借口分別將圖像傳入到機(jī)載快速處理模塊SECO CARMA DevKit對實(shí)時(shí)采集的高清圖像進(jìn)行目標(biāo)跟蹤，并提取SIFT描述子；計(jì)算機(jī)獲得跟蹤結(jié)果和SIFT描述子，將匹配結(jié)果傳入SECO CARMADevKit優(yōu)化跟蹤，并根據(jù)跟蹤結(jié)果控制仿生云臺運(yùn)動。
[0010]一種基于雙目視覺機(jī)載平臺的并行跟蹤方法，采用權(quán)利要求1上述的基于雙目視覺機(jī)載平臺的并行跟蹤系統(tǒng)進(jìn)行操作，其特征在于:跟蹤步驟如下:
步驟1:由兩臺高清攝像機(jī)攝取圖像后分別傳入機(jī)載快速處理模塊SECO CARMADevKit0
[0011]步驟2:分別在兩個(gè)機(jī)載快速處理模塊SECO CARMA DevKit中進(jìn)行運(yùn)動目標(biāo)跟蹤，在雙攝像頭聯(lián)合跟蹤前，先要進(jìn)行單攝像頭目標(biāo)跟蹤，具體步驟如下:
d:;提取目標(biāo):采用基于區(qū)域分割的背景模型提取目標(biāo)；
在運(yùn)動目標(biāo)提取后，單攝像頭目標(biāo)跟蹤系統(tǒng)采用了基于模型動態(tài)切換的實(shí)時(shí)跟蹤
方法，通過有效判斷運(yùn)動目標(biāo)的遮擋狀態(tài)，對未遮擋的運(yùn)動目標(biāo)采用基于區(qū)域的跟蹤模型，對于有相互重疊的運(yùn)動目標(biāo)采用基于SIFT特征的窄基線圖像匹配模型。
[0012]步驟3:提取目標(biāo)的SIFT描述子，具體步驟如下所述::3)生成 DOG (Different-of-Gaussian)尺度空間:
【權(quán)利要求】
1.一種基于仿生雙目視覺機(jī)載平臺的并行跟蹤系統(tǒng)，包括兩臺高清攝像機(jī)(1，2)，其特征在于:所述高清攝像機(jī)(1，2)固定安裝在一個(gè)仿生云臺(6)上，而其輸出分別各連接到一個(gè)機(jī)載快速處理模塊SECO CARMA DevKit(3，4)，所述連個(gè)機(jī)載快速處理模塊SECO CARMADevKit (2, 4)的輸出連接到一個(gè)計(jì)算機(jī)(5),計(jì)算機(jī)(5)的輸出連接到仿生云臺(6),所述兩臺高清攝像機(jī)(1，2)攝入高清圖像后，通過USB借口分別將圖像傳入到機(jī)載快速處理模塊SECO CARMA DevKit (3,4)對實(shí)時(shí)采集的高清圖像進(jìn)行目標(biāo)跟蹤，并提取SIFT描述子；計(jì)算機(jī)(5)獲得跟蹤結(jié)果和SIFT描述子，將匹配結(jié)果傳入SECO CARMA DevKit (3，4)優(yōu)化跟蹤，并根據(jù)跟蹤結(jié)果控制仿生云臺運(yùn)動(6)。
2.一種基于仿生雙目視覺機(jī)載平臺的并行跟蹤方法，采用根據(jù)權(quán)利要求1所述的基于仿生雙目視覺機(jī)載平臺的并行跟蹤系統(tǒng)進(jìn)行操作，其特征在于，跟蹤步驟如下: 步驟1:由兩臺高清攝像機(jī)(1，2)攝取圖像后分別傳入機(jī)載快速處理模塊SECO CARMADevKit (3，4)。
3.步驟2:分別在兩個(gè)機(jī)載快速處理模塊SECO CARMA DevKit (3，4)中進(jìn)行運(yùn)動目標(biāo)跟蹤，在雙攝像頭聯(lián)合跟蹤前，先要進(jìn)行單攝像頭目標(biāo)跟蹤，具體步驟如下: iD提取目標(biāo):采用基于區(qū)域分割的背景模型提取目標(biāo)；在運(yùn)動目標(biāo)提取后，單攝像頭目標(biāo)跟蹤系統(tǒng)采用了基于模型動態(tài)切換的實(shí)時(shí)跟蹤方法，通過有效判斷運(yùn)動目標(biāo)的遮擋狀態(tài)，對未遮擋的運(yùn)動目標(biāo)采用基于區(qū)域的跟蹤模型，對于有相互重疊的運(yùn)動目標(biāo)采用基于SIFT特征的窄基線圖像匹配模型； 步驟3:提取目標(biāo)的SIFT描述子，具體步驟如下所述: 〔I)生成DOG尺度空間:
【文檔編號】G06T7/20GK103903279SQ201410107129
【公開日】2014年7月2日 申請日期:2014年3月21日 優(yōu)先權(quán)日:2014年3月21日
【發(fā)明者】謝少榮, 柯俊, 劉恒利, 黃潮炯, 董毅, 李恒宇, 羅均 申請人:上海大學(xué)