專利名稱：嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)及方法
嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)及方法
技術領域1
本發(fā)明屬于嵌入式圖像處理技術領域，特別涉及一種嵌入式全向球視覺的移動檢測系 統(tǒng)及方法。
背景技術：
當前的全景圖像采集普遍采用以下兩種技術(1)單一鏡頭多次采樣拼接；(2)曲面 鏡頭或鏡面反射式鏡頭圖像采集。前者圖像拼接方法原始數(shù)據(jù)量大，算法復雜， 一般只能 做靜態(tài)圖像拼接，無法完成實時成像。而采用非常規(guī)鏡頭方法只能采集到一個半球面圖像， 無法做到真正的全球域"無死角"的實時采集。以后出現(xiàn)的全球域攝像系統(tǒng)大多采用超過 四五個鏡頭的多頭攝像機拼合的形式如加拿大Point Grey Research Inc.的六鏡頭組合的 Ladybug全景視頻采集系統(tǒng)等，但也不能完全覆蓋整個球域場景。近期，日本巖手大學研 制出一種雙魚眼鏡頭對接的全景視覺系統(tǒng)SpherEye，將雙魚眼圖像通過折射鏡片映射到同 一塊圖像傳感器上，實現(xiàn)了對全向視覺圖像的采集，用于汽車自動導航領域，然而其僅具 備全向視覺圖像的采集功能并未集成配套的圖像處理裝置和相關的處理軟件，也未涉及更 多地應用開發(fā)。同時，單一傳感器采集兩幅魚眼圖像不可避免的影響到圖像的質量和圖像 的分辨率，削弱了全景監(jiān)測的效果。
而且傳統(tǒng)視覺系統(tǒng)由于視場角的限制，必須配備一套隨動機械云臺裝置，來采集多幅 圖像和鎖定目標，這樣不僅增加了整個系統(tǒng)的體積，導致性能下降，同時也會帶來更多不 穩(wěn)定參數(shù)導致誤差增多。而且隨動系統(tǒng)在目標跟蹤時存在滯后、靈活性差，且目標容易丟 失。另外，由于視角的限制，很多視場信息被丟棄，無法做到真正的全球域視野。
嵌入式系統(tǒng)以其特有的靈活性、準確性、穩(wěn)定性、可重復性、體積小、功耗小，尤其 是可編程性和易于實現(xiàn)自適應處理等特點，已經(jīng)在數(shù)據(jù)、語音、視像信號等高速數(shù)學運算 和實時處理方面得到廣泛的應用，嵌入式系統(tǒng)將在未來圖像和語音處理領域中起著主導的 作用。以FPGA+DSP為基本框架構建智能相機已是目前較為成熟的技術。但大多數(shù)嵌入 式系統(tǒng)都采用單芯片或者主從式芯片結構，對于運算量大的數(shù)字圖像處理，或者視頻跟蹤 處理往往只能實現(xiàn)單路或串行遠算，但當需要多種算法并行運算的復雜情況時，(如多目 標跟蹤)則會有極大局限性。而對全向球視覺的大場景圖像的采集與處理，特別是涉及多 目標多任務的場合構建多DSP的實時系統(tǒng)則是必需的解決方案。
全向球視覺具有全球域視野圖像，配合以目標檢測功能，非常適合于監(jiān)控領域，但絕 大多數(shù)應用都是固定相機，配合全景鏡頭進行定點監(jiān)控，而對于移動檢測領域則很少涉及。 主要由于移動監(jiān)控系統(tǒng)不僅要保證對動態(tài)的目標進行實時監(jiān)測，同時還要滿足自身移動定 位導航，這需要多種識別跟蹤算法并行運算，對于系統(tǒng)硬件的并行處理功能要求較高。
發(fā)明內(nèi)容本發(fā)明目的是克服現(xiàn)有技術存在的上述不足，提供一種基于多DSP的嵌入式全向球 域超大視場角的圖像成像系統(tǒng)，并以此為基礎建立一整套多目標檢測和移動監(jiān)控系統(tǒng)及其 處理方法。
該方法可同時采集整個全球域視覺圖像，而不需要安裝機械隨動平臺系統(tǒng)，基于多 DSP的硬件架構，進行多種圖像跟蹤監(jiān)測算法的并行運算，協(xié)同處理的嵌入式系統(tǒng)硬件架 構將有效地保障視覺系統(tǒng)對包含大量信息的全球域圖像序列進行多種高級處理的實時性 與可靠性。對靜態(tài)航標識別跟蹤和對動態(tài)目標實時監(jiān)測并行進行，配合相應的導航算法， 可以完成自引導車移動監(jiān)控，敏感目標捕獲，現(xiàn)場巡查，環(huán)境監(jiān)測等任務。本系統(tǒng)及方法 具有一體化、小型化、高效可靠等特點，適合于對體積要求嚴格，需要高實時性處理速度 的車載移動以及智能監(jiān)控領域。同時，本發(fā)明也適合于需要多種圖像算法并行處理的高端 應用領域。
本發(fā)明提供的嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)，包括(見附圖l): 全向球視覺圖像成像系統(tǒng)包括背靠固定的兩個魚眼式全景鏡頭，分別與兩個魚眼
式全景鏡頭連接的兩個可編程面陣CMOS圖像采集芯片，兩個CMOS圖像采集芯片通過 FPGA控制器連接SRAM存儲芯片；該成像系統(tǒng)用于一次獲取整個全球域的圖像信息，并 通過FPGA將采集到的圖像數(shù)據(jù)存儲到SRAM芯片中；所述的兩個魚眼式全景鏡頭朝向 相反安裝，背靠固定，通過全向球視覺系統(tǒng)的一次拍攝，可分別獲得左右半球域的視覺圖 像。無需單一鏡頭多次拍攝，將顯著降低兩幅魚眼圖像邊緣的差異；同時，鏡頭相對固定， 減少鏡頭標定時由于位移可能產(chǎn)生的誤差。
一個主控DSP (TMS320VC5502):與SRAM存儲芯片連接，負責兩路圖像處理DSP 的數(shù)據(jù)分配調(diào)度與合成，以及用于進行信息綜合和導航策略選擇，并將制導控制信號通過 以太網(wǎng)通訊接口或者串口輸出；
兩路DSP并行圖像處理器包括分別通過各自對應的FIFO芯片與主控DSP連接的 兩個高性能圖像處理DSP (TMS320DM642)，兩個圖像處理DSP同時分別與SRAM存儲 芯片連接；用于對不同目標的圖像數(shù)據(jù)并行進行不同的處理過程，并由主控DSP負責兩路 圖像處理DSP的數(shù)據(jù)分配調(diào)度與合成。其中靜態(tài)航標識別與跟蹤由第一路圖像處理DSP承 擔，算法采用基于概率預測的粒子濾波跟蹤算法；第二路圖像處理DSP主要負責對全向球 視覺圖像進行實時監(jiān)測，算法采用光流法對機動目標進行實時檢測。兩種不同的圖像處理 算法并行執(zhí)行，并通過主控DSP相互通訊并實施綜合導航，滿足移動監(jiān)測制導的特殊需求。
所述的兩個圖像處理DSP分別與存放各自DSP程序的FLASH芯片連接，系統(tǒng)上電后， 用于自動將相應程序引導入DSP中運行。
本發(fā)明提供的嵌入式全向球視覺目標檢測和移動監(jiān)控方法包括以下步驟 第一、由兩個魚眼式全景鏡頭同時分別對監(jiān)控區(qū)域進行圖像拍攝； 第二、由兩路CMOS圖像采集芯片分別采集兩路魚眼式全景鏡頭的圖像，并將所采 集的左右半球圖像放入SRAM存儲芯片中進行暫存，此時，就能夠將獲取的全球域圖像輸出用于觀察；
第三、用兩路圖像處理DSP分別對靜態(tài)航標進行跟蹤和對動態(tài)目標進行檢測； 第四、由主控DSP對上步跟蹤和檢測的結果進行信息綜合和導航策略選擇，并將制 導控制信號通過以太網(wǎng)通訊接口或者串口發(fā)送到被控端。
以上第三步所述的對靜態(tài)航標的跟蹤方法采用粒子濾波跟蹤算法；航標為雙色序列式 航標，放置在車體頂部；粒子濾波是一種統(tǒng)計濾波方法，它依據(jù)大數(shù)定理采用蒙特卡羅方 法來求解貝葉斯估計中的積分運算，并利用重要抽樣在動態(tài)狀態(tài)空間上得到一組不斷更新 的粒子，來逼近待估計狀態(tài)的后驗概率密度，其中，這些粒子與一組權值一一對應；假設
在一維空間中觀測值的序列表示為^ = (21，22"'"^)}，觀測值的概率密度為p(zlx)， x也 為一維量；通過貝葉斯公式我們可以得到后驗概率公式
I Z,) ^(Zf I X》g M^p(X, I義2) 其中，P(Z(ix()稱為似然性，表征系統(tǒng)狀態(tài)由X"轉移到Xt后和觀測值的相似程度；
^"'z"-i)為上一步系統(tǒng)狀態(tài)轉移過程所得，稱為先驗概率；^"'z'^)稱為證據(jù)，通常
為歸一化常數(shù)。
粒子濾波器對目標的跟蹤提供了一個魯棒性很強的框架，他既不受限于線性系統(tǒng)也不 要求噪聲是高斯的。
粒子濾波跟蹤包括粒子集初始化、移動粒子、計算粒子權值、權值標準化、重采樣、
預測目標當前位置五個步驟。
第三步所述的對動態(tài)目標的實時檢測采用光流法，空間中的運動場轉移到圖像上就表 示為光流場，光流場反映了圖像上每一點灰度的變化趨勢，它可以求得稠密處所對應物體
的運動信息；由光流場可以計算場景中物體的運動和結構；
記在時刻t時，圖像上的點(x,y)處的灰度值為P(x，y,t)，它是場景中時刻t時某物體上 某一點(X， Y， Z)在圖像上的像，在時刻t+厶t時，這一點運動到(X十AX， Y十AY， Z 十AZ)，其在圖像上的像變?yōu)?x十Ax， y+Ay)，于是時刻t十At時圖像上點(x+Ax, y+ Ay)處的灰度值可記為P(x+Ax, y+Ay, t+At)，假定它與P(x, y, t)相等，經(jīng)過變換可以推 導出光流場的基本計算公式
3尸
其中:
VP是圖像灰度值的梯度，U是光流場；
在對機動目標檢測時，我們首先將采集到的原始圖像轉化為低分辨率的金字塔圖像，金字塔序列計算公式為
(' ，_/)= J J w(附,")A(2z + m，2y + ")
=-2 =-2
然后對金字塔圖像中所有的像素區(qū)域進行一次光流平均計算，同時根據(jù)靜態(tài)航標At 時刻中的相對位移作為閾值，進行光流量與之判斷，將光流量大于闞值的區(qū)域設定為機動 目標，反之，設定為背景，分割光流場中的背景和機動目標，即可初步檢測出圖像中的機 動目標區(qū)域，最后對監(jiān)測區(qū)域進行逆金字塔計算，就可以檢測到準確的機動目標。
第四步所述的進行信息綜合和導航策略選擇是指移動車體導航。主控DSP可以根據(jù) 接收到的兩個跟蹤器發(fā)送的信息，實現(xiàn)航跡導航和追蹤導航的自動切換。
當自主導航過程中無機動目標出現(xiàn)時，主控DSP接收靜態(tài)航標跟蹤器發(fā)送的全景圖 像中左右雙色航標的位置信息，通過坐標變換推導出車體在環(huán)境空間的坐標位姿，以此進
行定位并進行相應的信息綜合和導航策略選擇。移動車體位姿推導的具體過程如下如圖
8所示，以航標A，航標B為X軸，建立世界坐標系。航標的世界坐標系分別為 (X1，Y1)， (X2，Y2)，圖像坐標為(X1' ，Yl')和(X2' ，Y2')。車體的世界坐標系設為 (X0,Y0)。魚眼鏡頭中心設為(XO' ，Y0')。本魚眼鏡頭嚴格滿足等距投影定理，即投影 距離與目標仰角滿足G-itw,，，其中ri為圖像中目標與鏡頭中心的投影距離，k為鏡頭投
影系數(shù)，wi為該目標與鏡頭在實際空間中的仰角。同時航標在車體正前方投影的空間角
= arctan
度等于航標的映射角度，即《=01，《=02,并且可由公式
義;乂
/ = 1，2
求
出。航標高度H1，H2，航標間距L，全向球視覺鏡頭高度H0為己知參數(shù)，配合航標仰角0 1， 9 2，和魚眼鏡頭投影系數(shù)k，可以推導出車體在世界坐標系下的空間坐標
、、
%0—i/0)sing tan 。一 tang
再計算出車體位置和航標中心線的偏差Ar,根據(jù)公式
=S戸d + ^ * Ar S戸說=S戸d —《* Ar
計算出車體左右輪速度，實現(xiàn)航標導航。
當自主導航過程中檢測到機動目標時，由機動目標跟蹤器向主控DSP發(fā)出始能信號， 主控DSP自動切換到追蹤導航策略。追蹤導航策略利用機動目標跟蹤器經(jīng)連通域分析計 算出的機動目標在圖像中的位置，求出該位置與圖像中心線的偏差Ar'，根據(jù)公式
iS5pee必=^ eed — (A" x Ar')
S戸說=+ (《x Ar') 計算出車體左右輪速度，實現(xiàn)尋跡導航。本發(fā)明的優(yōu)點和積極效果
參基于雙魚眼式全景鏡頭建立的全向球視覺圖像采集系統(tǒng)。可一次性同步采集整個 全球域的圖像而無須攝像機的回轉和掃描能將周圍環(huán)境內(nèi)上、下、左、右、前、后的全部 景物"一眼看遍"，真正做到無死角。
本發(fā)明依托于嵌入式DSP平臺，將雙魚眼鏡頭采集裝置和嵌入式處理器進行一體 化設計，構成一套完整的、軟硬件結合的、實時性強、集成度高、穩(wěn)固性好的圖像處理硬 件構架平臺。
參本發(fā)明配備多路DSP并行圖像處理器。多路DSP的并行硬件設計方案有利于軟件 模塊化與功能擴展，滿足不同算法模塊的并行執(zhí)行。保證了數(shù)據(jù)處理的高效性和系統(tǒng)實時 性，同時也具有通用性，尤其是需要并行處理兩種以上高級圖像處理算法，可以滿足應用 對實時性和并行處理能力的高端需求。
本發(fā)明設計的多目標檢測和車體導航算法。非常適合于移動監(jiān)控、動態(tài)探測和伺 服制導等領域應用。
圖l是嵌入式全向球視覺目標檢測和移動監(jiān)控方法的流程框圖;
圖2是嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)的硬件架構;
圖3是全向球視覺圖像輸出顯示；
圖4是系統(tǒng)總線原理圖5是存放初始圖像的SRAM電路原理圖6是存放DSP程序的FLASH電路原理圖7是串口通訊接口電路原理圖8是全向球視覺車體定位示意圖。
具體實施方式
實施例l、嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)
如圖2所示，嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)的硬件構架，主要包括 全向球視覺圖像成像系統(tǒng)
包括兩個FE185C046HA-1魚眼鏡頭，具有185°超大廣角，兩個魚眼鏡頭彼此背向 水平、光軸軸心重合，可以覆蓋360° X36(T全球域視野；圖像采集芯片采用兩塊 MT9T001型CMOS芯片，各自獨立，分別與兩個魚眼式全景鏡頭連接，并通過FPGA控 制器連接SRAM存儲芯片；兩塊MT9T001型CMOS芯片同時受Cyclone IIC35型FPGA 控制，用于采集兩路魚眼鏡頭的圖像(圖5);
多路DSP并行圖像處理器包括一個主控DSP (TMS320VC5502):與SRAM存儲芯片連接，負責兩路圖像處理DSP 的數(shù)據(jù)分配調(diào)度與合成，以及用于進行信息綜合和導航策略選擇，并將制導控制信號通過 以太網(wǎng)通訊接口或者串口輸出；
兩路DSP并行圖像處理器包括分別通過各自對應的FIFO芯片與主控DSP連接的 兩個圖像處理DSP (TMS320DM642),兩個圖像處理DSP同時分別與SRAM存儲芯片連 接；用于對不同目標的圖像數(shù)據(jù)并行進行不同的處理過程，并由主控DSP負責兩路圖像處 理DSP的數(shù)據(jù)分配調(diào)度與合成。
FPGA利用與主控DSP (TMS320VC5502)的外部中斷口相連的10 口 DSP—INT4請 求中斷操作(如圖4所示)，主控DSP響應外部中斷，并在中斷服務程序中通知兩個圖像 處理DSP (TMS320DM642)通過數(shù)據(jù)總線ED
、地址總線EA
以及相應的控制 總線，從SRAM中讀取全向球視覺圖像，兩個圖像處理DSP通過FIFO芯片(采用CYPRESS 公司的FIFO芯片CY7C419)實現(xiàn)與主控DSP間的數(shù)據(jù)通信；所述的多路DSP并行圖像 處理器中的兩個圖像處理DSP分別與存放各自DSP程序的FLASH芯片連接(采用4MB的 FLASH芯片AM29LV033C，圖6),系統(tǒng)上電后，用于自動將相應程序引導入DSP中運行； 串口和網(wǎng)絡通訊接口芯片分別采用TL16C752B和LXT971A負責制導控制信號的輸出(圖7)。
實施例2、嵌入式全向球視覺目標檢測和移動監(jiān)控方法
下面用實用案例具體說明本發(fā)明的實驗步驟與實用效果。
本實例以基于雙色航標導航為基礎，主要完成一個全球域視覺采集，靜態(tài)雙色航標跟 蹤和動態(tài)目標檢測并行處理，車體移動導航的自引導車的移動監(jiān)控實例。
步驟一全向球視覺圖像采集
第一、在自引導車頂部放置如實施例1中所述的全向球視覺監(jiān)控系統(tǒng)。由兩個魚眼式 全景鏡頭同時分別對監(jiān)控區(qū)域進行圖像拍攝；
第二、由兩路CMOS圖像采集芯片分別采集兩路魚眼式全景鏡頭的圖像，所采集的 圖像為兩幅分辨率為720X576的左右半球圖像(圖3所示)。FPGA控制圖像數(shù)據(jù)，并將 所采集的左右半球圖像放入SRAM存儲芯片中進行暫存，供后續(xù)程序應用。此時，就能夠 將獲取的全球域圖像輸出用于觀察；
第三、用兩路圖像處理DSP分別對靜態(tài)航標進行跟蹤和對動態(tài)目標進行檢測；
1、靜態(tài)航標識別跟蹤導航航標我們采用色斑狀的雙色航標，分別為藍色和黃色，
分別將藍色Y、 Cb、 Cr閾值限定范圍為80<Y<120、 130<Cb<160 、 100<Cr<125， 黃色Y、 Cb、 Cr閾值限定范圍為^<Y<130、 70<Cb<100 、 130<Cr<160。圖像處理 DSP利用設置的顏色閾值對全屏范圍內(nèi)的每一像素點進行分類判定，分別統(tǒng)計屬于藍色和 黃色范圍內(nèi)的像素坐標，并對屬于各自范圍內(nèi)的像素坐標利用求平均值的方式，獲得藍色 和黃色目標的中心位置分別為右鏡頭采集圖像中(385， 148)和左鏡頭采集圖像中(393， 147)(圖3中十字標記處)，作為粒子濾波跟蹤的初始位置。接下來進行粒子濾波跟蹤粒子濾波跟蹤包括粒子集初始化、移動粒子、計算粒子 權值、權值標準化、重采樣、預測目標當前位置五個步驟。
第3.1步，粒子集初始化，在第一幀圖像中分別計算以藍色和黃色目標中心位置30 X30范圍內(nèi)圖像的顏色直方圖，作為目標直方圖。然后分別在兩個目標的中心15X15范 圍內(nèi)隨機產(chǎn)生150個30X30的方框，即粒子，并統(tǒng)計每一個粒子的顏色直方圖。
第3.2步，移動粒子。當下一幀圖像到來時，根據(jù)上一幀中每個粒子的位置(x，y)， 隨機移動到新的位置(x + RangeXrandom, y +RangeXrandom), Range為移動范圍，本實 施例中取15， random為-1 1的隨機數(shù)。
第3.3步，計算粒子權值。利用p(z I jc) = 2exp
2>
:)
計算每個粒子的權值，
、 cowwf * 20 z
式中x為多值目標顏色直方圖，Zm為對應粒子的顏色直方圖，count為粒子個數(shù)；
第3.4步，權值標準化。在計算完所有粒子權值后，將每個粒子的權值與所有粒子的 權值和相除，進行權值標準化，使得每個粒子權值的取值范圍變?yōu)? 1之間；
第3.5步，粒子重采樣。如果粒子的權值小于閾值a (a=所有粒子平均權值X K， K 值越大參與粒子重采樣的粒子越多，此值根據(jù)跟蹤所需精度進行調(diào)節(jié)，本實施例中1<:=0.2)， 則表示該粒子代表目標位置的概率很低，需要重新采樣以保證盡可能多的粒子能夠參與下 一步的目標預測。參照第3.2步的方法，將這些粒子隨機移動一個位置產(chǎn)生新的粒子，并 計算權值；
第3.6步，預測目標當前位置。設定閾值P (P=所有粒子平均權值X K'， K'值越小 參與預測的粒子越多，此值根據(jù)跟蹤所需精度進行調(diào)節(jié)，本實施例中K^0.8)分別統(tǒng)計兩 個目標中權值大于P的粒子，這些粒子權值的平均值即為兩個目標的預測位置。最后將兩 個目標的圖像坐標信息作為參數(shù)，傳輸?shù)街骺谼SP中，供其應用。
2、機動目標實時檢測在一路圖像處理DSP跟蹤靜態(tài)航標的同時，另一路圖像處理 DSP通過光流法實現(xiàn)對機動目標的實時監(jiān)測，由于移動監(jiān)控時，機體存在移動性，所以需 要一種改進的光流法去除背景的光流干擾。設時刻t時中，圖像上的任意一點(x,y)處的灰 度值為P(x,y,t)，它是場景中時刻t時某物體上某一點(X， Y， Z)在圖像上的像。在時刻t十 At時，這一點運動到(X十AX， Y十AY， Z十AZ)，其在圖像上的像變?yōu)?x十Ax， y+ △y)，于是時刻t十厶t時圖像上點(x+Ax， y+Ay)處的灰度值可記為P(x+Ax, y+Ay, t+A t)，假定它與P(x，y，t)相等，經(jīng)過變換可以推導出光流場的基本計算公式
、； &
其中
VP是圖像灰度值的梯度，u是光流場。為較少計算量，
我們設定將每隔6X8像素的區(qū)域，對圖像中所有的像素區(qū)域進行一次光流平均計算，同時根據(jù)靜態(tài)航標At時刻中的相對位移作為閾值，進行光流量與之判斷，將光流量大于閾值 的區(qū)域設定為機動目標，反之，設定為背景，分割光流場中的背景和機動目標。
在本實例中，設At為2秒，當車體速度保持在0.2111/3的速度行進中，計算出靜態(tài)航
標的光流向量為"=
'1(T
3_15
，同時計算圖像中各個區(qū)域的光流向量"=
，并將各
點的光流向量于航標的光流向量進行對比A", =|"。-",| + |v。-v,| ，當AUi小于設定閾值時，
認為此區(qū)域為機動目標點，最后將所有的機動目標點連通域統(tǒng)計后，檢測出機動目標。并 將其實時監(jiān)控的目標信息，傳送到主控DSP中，再通過網(wǎng)絡通訊發(fā)送到外部設備中，提 供移動監(jiān)控功能。
第四、車體制導策略設定和導航控制輸出
在主控DSP中進行車體制導策略設定，首先主控DSP接收一路圖像處理DSP所跟蹤 的靜態(tài)航標信息，如圖8所示，以航標A，航標B為X軸，建立世界坐標系。航標的世界 坐標系分別為(X1,Y1), (X2,Y2)，圖像坐標為(X1' ,Y1')和(X2' ，Y2')。車體的世界 坐標系設為(X0，Y0)。魚眼鏡頭中心設為(XO' ，Y0')。本魚眼鏡頭嚴格滿足等距投影定 理，即投影距離與目標仰角滿足^=/^,.，同時航標在車體正前方投影的空間角度等于航標
0; = arctan
.《—^0 乂
/ = 1,2
求出。航標高度
的映射角度，即《=0"《=02，并且可由公式
H1，H2，航標間距L，全向球視覺鏡頭高度HO為已知參數(shù)，配合航標仰角0 1， 92，可以 推導出車體在世界坐標系下的空間坐標
義0—/f。)sin0!tan
、、 山
y = A -仏 。_ tan0,
本實例中兩個航標的坐標為右鏡頭圖像中(385， 148)和左鏡頭圖像中(393， 147)， 兩航標高度265cm，間距325cm，本實例采用的魚眼鏡頭中心為(382， 277)，鏡頭高度為 83cm，投影系數(shù)k為3.2。經(jīng)過計算，車體的空間坐標為(153,4)。并根據(jù)導航策略，控 制車體移動。在本實例中，車體制導方法設定為沿兩個航標中心線移動，車體位置和中心 線的偏差r為10.5，根據(jù)公式
=S戸d +尺* Ar S戸f/及=S戸c/ —尺* Ar
設定車體左右輪速度，Speed為左、右輪默認速度、為0.2米每秒，K等于0.007 (K 值需根據(jù)不同的移動載體求出)。按照公式進行計算，結果為左輪速度0.326米每秒，右 輪速度0.126米每秒。
權利要求
1、嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)，其特征在于該系統(tǒng)包括全向球視覺圖像成像系統(tǒng)包括背靠固定的兩個魚眼式全景鏡頭，分別與兩個魚眼式全景鏡頭連接的兩個可編程面陣CMOS圖像采集芯片，兩個CMOS圖像采集芯片通過FPGA控制器連接SRAM存儲芯片；該成像系統(tǒng)用于一次獲取整個全球域的圖像信息，并通過FPGA將采集到的圖像數(shù)據(jù)存儲到SRAM芯片中；一個主控DSP與SRAM存儲芯片連接，負責兩路圖像處理DSP的數(shù)據(jù)分配調(diào)度與合成，以及用于進行信息綜合和導航策略選擇，并將制導控制信號通過以太網(wǎng)通訊接口或者串口輸出；兩路DSP并行圖像處理器包括分別通過各自對應的FIFO芯片與主控DSP連接的兩個圖像處理DSP，兩個圖像處理DSP同時分別與SRAM存儲芯片連接；用于對不同目標的圖像數(shù)據(jù)并行進行不同的處理過程，并由主控DSP負責兩路圖像處理DSP的數(shù)據(jù)分配調(diào)度與合成。
2、 根據(jù)權利要求l所述的嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)，其特征在于 所述的兩個圖像處理DSP分別與存放各自DSP程序的FLASH芯片連接，系統(tǒng)上電后，用 于自動將相應程序引導入DSP中運行。
3、 一種嵌入式全向球視覺目標檢測和移動監(jiān)控方法，其特征在于該方法包括以下步驟第一、由兩個魚眼式全景鏡頭同時分別對監(jiān)控區(qū)域進行圖像拍攝；第二、由兩路CMOS圖像采集芯片分別采集兩路魚眼式全景鏡頭的圖像，并將所采集的左右半球圖像放入SRAM存儲芯片中進行暫存，此時，就能夠將獲取的全球域圖像輸出用于觀察；第三、用兩路圖像處理DSP分別對靜態(tài)航標進行跟蹤和對動態(tài)目標進行檢測，兩路圖 像處理流程并行進行，并在處理中可以實時交換信息；第四、由主控DSP對上步跟蹤和檢測的結果進行信息綜合和導航策略選擇，并將制 導控制信號通過以太網(wǎng)通訊接口或者串口發(fā)送到被控端。
4、 根據(jù)權利要求3所述的方法，其特征在于第四步所述的進行信息綜合和導航策略 選擇是指移動車體導航，即主控DSP可以根據(jù)接收到的兩路DSP并行圖像處理器發(fā)送的 信息，實現(xiàn)航跡導航和追蹤導航的自動切換；當自主導航過程中無機動目標出現(xiàn)時，主控DSP接收靜態(tài)航標跟蹤在全景圖像中左 右雙色航標的位置信息，通過坐標變換推導出車體在環(huán)境空間的坐標位姿，以此進行定位 并進行相應的信息綜合和導航策略選擇，位姿推導公式為<formula>formula see original document page 2</formula>其中，(X0，Y0)為車體空間坐標，r為全景圖像中航標與魚眼中心的投影距離，HI為航 標高度，HO為全向球視覺鏡頭高度，0 1， 9 2為計算的航標仰角，k為魚眼鏡頭投影系數(shù)，再計算出車體位置和航標中心線的偏差A/",根據(jù)公式<formula>formula see original document page 3</formula>計算出車體左右輪速度，實現(xiàn)航標導航；當自主導航過程中檢測到機動目標時，由機動目標跟蹤器向主控DSP發(fā)出始能信號，主控DSP自動切換到追蹤導航策略，追蹤導航策略利用機動目標跟蹤器經(jīng)連通域分析計算出的機動目標在圖像中的位置，求出該位置與圖像中心線的偏差Ar'，根據(jù)公式<formula>formula see original document page 3</formula>計算出車體左右輪速度，實現(xiàn)尋跡導航。
全文摘要
嵌入式全向球視覺目標檢測和移動監(jiān)控系統(tǒng)及方法。全向球視覺是指具有全球域視野的視覺系統(tǒng)，可一次性采集整個全球域的全部場景而無須攝像機的回轉和掃描。本系統(tǒng)包括全向球視覺圖像成像系統(tǒng)(包括兩個魚眼式全景鏡頭、兩個CMOS圖像采集芯片、FPGA控制器和SRAM存儲芯片)，以及多路DSP并行圖像處理器(包括一個主控DSP和兩路DSP并行圖像處理器)。成像系統(tǒng)通過兩個魚眼式全景鏡頭配合雙CMOS芯片采集全向球視覺圖像，主控DSP負責數(shù)據(jù)的調(diào)度和通訊，雙路并行DSP相互獨立，可并行處理靜態(tài)航標的識別跟蹤和動態(tài)目標的實時監(jiān)測。本發(fā)明集成度高、體積小、處理速度快，尤其適用于安全監(jiān)控、移動車體導航等軍用或民用領域。
文檔編號G05B19/048GK101561270SQ20091006903
公開日2009年10月21日 申請日期2009年5月27日 優(yōu)先權日2009年5月27日
發(fā)明者付華柱, 馮為嘉, 劉慶杰, 曹作良, 李雁斌 申請人:天津理工大學