一種基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)的制作方法
【專利摘要】一種基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)，包括：圖像采集平臺，采用兩個呈正交姿態(tài)的攝像機拍攝雙目視覺圖像并將其傳輸至圖像處理平臺；圖像處理平臺對接收的圖像通過圖像處理算法進行分析，實現三維運動信息重建，其中，圖像處理算法過程：先分別完成兩個相機采集圖像的運動目標檢測與追蹤，得到二維運動信息；然后將二維信息利用立體匹配得到運動目標的三維運動信息；再對三維運動信息進行軌跡三維重建，得到運動參數，并將其顯示出來；本發(fā)明可獲取昆蟲行為研究實驗過程中全部運動信息，并實現軌跡重建和運動參數可視化；定量、精確地描述昆蟲的三維空間運動，其結構簡單、使用方便、變化靈活。
【專利說明】
一種基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)
技術領域
[0001]本發(fā)明屬于圖像處理技術領域，涉及基于雙目視覺的圖像采集技術、運動目標追蹤與檢測技術、三維重建技術，特別涉及一種基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)。
【背景技術】
[0002]目前，大多數昆蟲行為學研究只是得到最終的昆蟲行為結果，而對昆蟲行為過程缺乏觀測。為了更為準確地分析昆蟲行為，需要對昆蟲行為全過程進行觀測和記錄。傳統(tǒng)的研究方法大多是基于人工觀察、手工記錄的方式，耗時、費力、效率低下，還容易驚擾昆蟲正常運動，使實驗結果可信度大大下降。

【發(fā)明內容】

[0003]為了克服上述現有技術的缺點，本發(fā)明的目的在于提供一種基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)，采用兩個攝像機正交上下放置的系統(tǒng)支架，搭建基于雙目視覺的圖像采集平臺，通過兩個攝像機獲取不同角度昆蟲運動的雙目視覺圖像，在圖像處理軟件平臺上通過圖像處理的相關算法，獲取昆蟲行為研究實驗過程中昆蟲的全部運動信息，并實現軌跡重建和運動參數可視化;從而徹底改變傳統(tǒng)的人工觀察方式，克服已有雙目視覺平臺在昆蟲行為學研究環(huán)境中不適用的問題，定量、精確地描述昆蟲的三維空間運動，其結構簡單、使用方便、變化靈活。
[0004]為了實現上述目的，本發(fā)明采用的技術方案是:
[0005]—種基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)，包括:
[0006]圖像采集平臺，采用兩個呈上下正交姿態(tài)的攝像機拍攝雙目視覺圖像并將其傳輸至圖像處理平臺；
[0007]圖像處理平臺對接收的圖像通過圖像處理算法進行分析，實現三維運動信息重建，其中，所述圖像處理算法過程如下:
[0008]先分別完成兩個相機采集圖像的運動目標檢測與追蹤，得到二維運動信息；然后將二維信息利用立體匹配得到運動目標的三維運動信息;再對三維運動信息進行軌跡三維重建，得到運動參數，并將其顯示出來。
[0009]所述圖像采集平臺包括位于昆蟲運動區(qū)域上方的支架13，支架13包括水平支架和豎直支架，水平支架上設置有可沿水平支架活動的上側相機托板I，豎直支架上設置有可豎直支架活動的下側相機托板12，上側相機托板I上搭載有從上方對昆蟲運動區(qū)域進行圖像采集的上側CCD相機2，下側相機托板12上搭載有從側面對昆蟲運動區(qū)域進行圖像采集的下偵忙⑶相機11，所述上側C⑶相機2和下側C⑶相機11連接觸發(fā)器9和PC機14實現同步采集。
[0010]所述水平支架上設置有上側水平尺3，豎直支架上設置有下側水平尺10，水平支架和豎直支架的各個連接處設置有角件4，通過觀察上側水平尺3、下側水平尺10，調整角件4，使得上側C⑶相機2和下側C⑶相機11處于正交狀態(tài)。
[0011]與現有技術相比，本發(fā)明的有益效果是:
[0012]1、采用密度較小的鋁合金型材作為雙目視覺支架材料，重量輕，安裝拆卸簡單方便，且變化靈活。
[0013]2、克服現有雙目視覺支架上兩個相機位置固定，無法進行調整的缺點。
[0014]3、采用上下正交放置雙目攝像機，降低立體匹配算法難度，降低系統(tǒng)復雜性。
[0015]4、不干擾昆蟲行為學實驗正常進行，系統(tǒng)可靠性較高，可以作為昆蟲行為學研究的輔助系統(tǒng)。
【附圖說明】
[0016]圖1為本發(fā)明基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)結構示意圖。
[0017]圖2為本發(fā)明雙目視覺系統(tǒng)的圖像處理平臺的圖像處理工作流程圖。
【具體實施方式】
[0018]下面結合附圖和實施例詳細說明本發(fā)明的實施方式。
[0019]本發(fā)明采用非接觸式的計算機視覺技術，單目攝像機只能記錄昆蟲的二維運動信息，丟失了深度信息，在軌跡重建時常常需要借助于經驗知識，不能完整準確地記錄和分析出昆蟲行為。而雙目視覺技術借助2臺攝像機可以定量、精確描述昆蟲在三維空間的運動信息，對包括昆蟲氣味嗜好性等行為分析具有重要應用價值。
[0020]本發(fā)明基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)，其包括基于雙目視覺的圖像采集平臺和圖像處理平臺，圖像采集平臺借助兩個攝像機拍攝雙目視覺圖像并將其傳輸至圖像處理平臺，圖像處理平臺接收雙目視覺圖像圖像并借助圖像處理算法對其進行分析，實現三維運動信息重建。
[0021]具體地，如圖1所示，圖像采集平臺包括借助鋁合金等密度較小材料和角件連接件組裝支架3，支架13包括水平支架和豎直支架，型材為型號OB.8-3030(30 X 30mm)的鋁合金方管框架型材。水平支架位于昆蟲運動區(qū)域上方，豎直支架支架位于昆蟲運動區(qū)域右側，昆蟲運動區(qū)域的左側為墻壁。水平支架上設置有可沿水平支架活動的上側相機托板I，豎直支架上設置有可豎直支架活動的下側相機托板12，上側相機托板I和下側相機托板12根據使用相機規(guī)格專門設計，并借助3D打印制作，打印用可粘合材料為塑料。
[0022]上側相機托板I上搭載有從上方對昆蟲運動區(qū)域進行圖像采集的上側CCD相機2，下側相機托板12上搭載有從側面對昆蟲運動區(qū)域進行圖像采集的下側CCD相機U。上側CCD相機2和下側C⑶相機11型號相同，均為1^42300-6160，配套鏡頭型號均為1(0￥4 LM3NC1M。
[0023]上側CCD相機2通過觸發(fā)器上側連接線5連接觸發(fā)器9，通過上側RJ45網線7連接PC機14，下側CCD相機11通過觸發(fā)器下側連接線6連接觸發(fā)器9，通過下側RJ45網線8連接PC機
14。觸發(fā)器9的型號選擇為MVM-B-0008-S00-V0001，上側RJ45網線7和下側RJ45網線8均為SSTP屏蔽網線，其型號為RJ45B-RJ45C-CAB。水平支架上設置有上側水平尺3，豎直支架上設置有下側水平尺10，水平支架和豎直支架的各個連接處設置有角件4，角件4為3030鋁型材專用角件。通過觀察上側水平尺3、下側水平尺10判斷上側CCD相機2和下側CCD相機11是否處于正交位，再通過調整角件4，使得上側CXD相機2和下側C⑶相機11處于正交狀態(tài)，然后利用觸發(fā)器9和相機控制軟件實現兩個相機同步采集，借助帶有RJ45接口的SSTP屏蔽網線實現雙目視覺圖像從攝像機到圖像處理平臺的傳輸，實現方式是使用IP配置工具找到兩個相機并為之分別設置不同的靜態(tài)IP，然后訪問相應IP通過對應網口傳輸數據。圖像接收網卡為千兆雙端口RJ-45服務器網卡，型號為PR0/1000PT EXPI9402PT。
[0024]圖像處理平臺是在PC機14上實現，圖像采集平臺采集的雙目視覺圖像傳輸至PC機固態(tài)硬盤中，實時存儲圖像固態(tài)硬盤型號選擇為SSDSC2BW240H601。圖像處理平臺讀取圖像并利用相關圖像處理分析算法處理視頻，實現運動目標的檢測、追蹤和立體匹配，完成運動目標三維運動信息的重建和顯示。
[0025]為了進一步了解本發(fā)明的
【發(fā)明內容】
、特點以及功效。列舉以下實例，其工作過程如下:
[0026]根據實際相機位置需求使用支架型材組裝成圖1所示的支架13，每一根3030鋁型材相接處均有兩個專用角件4連接固定;在支架水平和豎直方向鋁型材上分別固定上側相機托板I和下側相機托板12，根據實際情況可通過調整支架連接部分的上下前后移動來調整托板的位置;通過側水平尺3、下側水平尺10判斷兩個托板處于正交位置關系之后，安裝上側CCD相機2和下側CCD相機11;在昆蟲行為研究實驗開始時，接入兩個平臺之間的上側RJ45網線7和下側RJ45網線8，通過PC機14尋找兩個相機并配置靜態(tài)IP;相機后部6針1連接器為相機供電并提供觸發(fā)輸入與觸發(fā)輸出；利用觸發(fā)器9和相機控制軟件實現兩個相機的圖像同步采集，并利用R J45屏蔽網線以訪問兩個相機相對應網口 IP的方式將圖像傳輸到PC機硬盤中；然后圖像處理平臺讀取并分析。
[0027]圖像處理平臺的工作流程圖如圖2所示，先是利用圖像處理相關算法完成上下相機采集圖像的分別處理，即運動目標檢測與追蹤，得到二維運動信息;然后將二維信息利用立體匹配得到運動目標的三維運動信息；再對三維運動信息進行軌跡三維重建，得到運動參數，并將其顯示出來。
[0028]具體地，首先用張正友標定法利用棋盤格分別對兩個相機進行標定，得到相機的內外參數;然后對兩個相機采集圖像進行運動目標的檢測追蹤，考慮到昆蟲行為學研究實驗中運動目標是在靜態(tài)黑白背景下進行的，主要搜索算法采用的是Camshift算法，當幀間目標大小發(fā)生改變時可以自適應調整目標區(qū)域，再結合Kalman濾波預測算法，對運動目標下一幀可能出現的位置狀態(tài)進行預測估計，實現運動目標的檢測與追蹤，得到視頻圖像序列中每一幀的運動目標質心坐標變化，實現二維運動信息獲取;通過相機標定得到的參數矩陣將圖像坐標系轉化成世界坐標系，得到相應世界坐標系下運動目標每一幀的坐標值；通過事先記錄的位置距離信息再對兩個相機采集圖像對應的世界坐標系的坐標原點進行統(tǒng)一，因為兩個相機是正交位置關系，坐標系原點統(tǒng)一之后直接將兩個相機視頻序列中對應幀的二維坐標進行疊加，就可匹配得到運動目標的三維坐標，實現三維運動信息的獲取；最后通過MATLAB函數工具箱繪制目標運動軌跡實現三維重建和完成可視化界面的設計。
[0029]與一般的雙目視覺支架相比，本雙目視覺輔助研究系統(tǒng)重量更輕，安裝拆卸更簡單方便且組裝方式變化靈活，兩個相機位置也可以根據實際情況進行調整，適用范圍更廣；與一般的雙目視覺匹配算法相比，本系統(tǒng)采用上下正交放置雙目攝像機可以降低匹配算法難度，降低系統(tǒng)復雜性;與傳統(tǒng)昆蟲行為學研究方式相比，本輔助研究系統(tǒng)不干擾昆蟲正常行為且能準確記錄運動過程中的運動信息，可靠性和說服力更高。
[0030]對于本領域的技術人員來說，可根據以上描述的技術方案以及構思，做出其它各種相應的修改、等同變化和修飾等都應該屬于本發(fā)明權利要求的保護范圍之內。
【主權項】
1.一種基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)，其特征在于，包括: 圖像采集平臺，采用兩個呈上下正交姿態(tài)的攝像機拍攝雙目視覺圖像并將其傳輸至圖像處理平臺； 圖像處理平臺對接收的圖像通過圖像處理算法進行分析，實現三維運動信息重建，其中，所述圖像處理算法過程如下: 先分別完成兩個相機采集圖像的運動目標檢測與追蹤，得到二維運動信息；然后將二維信息利用立體匹配得到運動目標的三維運動信息；再對三維運動信息進行軌跡三維重建，得到運動參數，并將其顯示出來。2.根據權利要求1所述基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)，其特征在于，所述圖像采集平臺包括位于昆蟲運動區(qū)域上方的支架(13)，支架(13)包括水平支架和豎直支架，水平支架上設置有可沿水平支架活動的上側相機托板(I)，豎直支架上設置有可豎直支架活動的下側相機托板(12)，上側相機托板(I)上搭載有從上方對昆蟲運動區(qū)域進行圖像采集的上側CCD相機(2)，下側相機托板(12)上搭載有從側面對昆蟲運動區(qū)域進行圖像采集的下側CCD相機(11)，所述上側CCD相機(2)和下側CCD相機(11)連接觸發(fā)器(9)和PC機(14)實現同步采集。3.根據權利要求2所述基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)，其特征在于，所述水平支架上設置有上側水平尺(3)，豎直支架上設置有下側水平尺(10)，水平支架和豎直支架的各個連接處設置有角件(4)，通過觀察上側水平尺(3)、下側水平尺(10)，調整角件(4)，使得上側C⑶相機(2)和下側C⑶相機(11)處于正交狀態(tài)。4.根據權利要求1所述基于雙目視覺的昆蟲行為學研究輔助系統(tǒng)，其特征在于，所述圖像處理算法具體包括如下過程: 首先，基于張正友標定法利用棋盤格分別對兩個相機進行標定，得到相機的內外參數； 然后，對兩個相機采集圖像進行運動目標的檢測追蹤，搜索算法采用Camshif t算法，再結合Kalman濾波預測算法，對運動目標下一幀可能出現的位置狀態(tài)進行預測估計，實現運動目標的檢測與追蹤，得到視頻圖像序列中每一幀的運動目標質心坐標變化，實現二維運動ig息獲??； 其次，通過相機標定得到的參數矩陣將圖像坐標系轉化成世界坐標系，得到相應世界坐標系下運動目標每一幀的坐標值； 接著，通過事先記錄的位置距離信息再對兩個相機采集圖像對應的世界坐標系的坐標原點進行統(tǒng)一，因為兩個相機是正交位置關系，坐標系原點統(tǒng)一之后直接將兩個相機視頻序列中對應幀的二維坐標進行疊加，就可匹配得到運動目標的三維坐標，實現三維運動信息的獲??； 最后，通過MATLAB函數工具箱繪制目標運動軌跡實現三維重建和完成可視化界面的設i+o
【文檔編號】G01C11/36GK105987685SQ201610519133
【公開日】2016年10月5日
【申請日】2016年7月4日
【發(fā)明人】何東健, 劉聰, 楊宇闐奕, 張立元
【申請人】西北農林科技大學