本實(shí)用新型一種嵌入式RGB-D視頻流采集系統(tǒng)，適用于有關(guān)深度視覺類產(chǎn)品領(lǐng)域。

背景技術(shù)：

隨著社會(huì)的不斷發(fā)展，普通的RGB彩色圖像已經(jīng)無法滿足社會(huì)的需求。目前在機(jī)器人、智能安防、AR/VR、無人機(jī)等許多行業(yè)對(duì)深度視覺的需求越來越突出。如在機(jī)器人領(lǐng)域，使用RGB-D攝像頭采集的深度圖像數(shù)據(jù)進(jìn)行視覺導(dǎo)航、識(shí)別外界的環(huán)境、規(guī)劃路徑、實(shí)現(xiàn)避障工作等，基于RGB-D攝像頭的視覺導(dǎo)航已經(jīng)成為了公認(rèn)的解決方案。又比如對(duì)于目前在計(jì)算機(jī)動(dòng)畫、虛擬現(xiàn)實(shí)、醫(yī)學(xué)圖像分析等各個(gè)領(lǐng)域應(yīng)用越來越廣泛的三維重建技術(shù)也是基于RGB-D攝像頭采集到的深度圖像來恢復(fù)目標(biāo)物體的三維立體信息的，傳統(tǒng)的基于可見光的二維圖像常常遭遇光照變化、陰影、物體遮擋以及環(huán)境變化等因素的干擾，不能對(duì)三維物體進(jìn)行準(zhǔn)確的識(shí)別與定位，而根據(jù)物體紋理特征、紋理梯度的變化、物體完整性及物體的模糊程度等計(jì)算出來的深度信息能夠很好地克服以上困難。目前RGB-D攝像頭都是基于PC機(jī)的，但基于PC機(jī)的系統(tǒng)一方面造價(jià)高，一方面安裝不靈活，另外由于太龐大便攜性也差，無法應(yīng)用在一些小型移動(dòng)設(shè)備上，比如機(jī)器人、無人機(jī)等。因此，需要一種低功耗、低成本、小巧、可靈活安裝使用的嵌入式RGB-D視頻流采集系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問題，本實(shí)用新型提供一種嵌入式RGB-D視頻流采集系統(tǒng)，具備低功耗、低成本以及小巧、可靈活安裝使用的特點(diǎn)，因此能夠很好的應(yīng)用在有關(guān)深度視覺類產(chǎn)品上。

本實(shí)用新型采取的技術(shù)方案為：

一種嵌入式RGB-D視頻流采集系統(tǒng)，包括采集模塊、顯示終端，所述采集模塊包括嵌入式微處理器，所述嵌入式微處理器分別連接RS-232接口、SDRAM、NAND FLASH、USB接口、以太網(wǎng)接口。所述USB接口連接RGB-D攝像頭，所述以太網(wǎng)接口連接網(wǎng)絡(luò)集線器。

所述嵌入式微處理器為ARM內(nèi)核的處理器，嵌入式微處理器上運(yùn)行的系統(tǒng)為嵌入式Linux操作系統(tǒng)。

所述RS-232接口作為采集模塊的調(diào)試接口，用于設(shè)置采集模塊的IP地址。

所述顯示終端為運(yùn)行Linux操作系統(tǒng)的PC機(jī)。

所述RGB-D攝像頭用于圖像數(shù)據(jù)的采集，包括一個(gè)RGB攝像頭和一個(gè)深度攝像頭，可以同時(shí)采集RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。

該系統(tǒng)還包括電源模塊，電源模塊用于給其它模塊供電。

本實(shí)用新型一種嵌入式RGB-D視頻流采集系統(tǒng)，技術(shù)效果如下：

1：通過電源模塊給系統(tǒng)上電。在采集模塊，系統(tǒng)剛開始啟動(dòng)時(shí)通過RS-232接口進(jìn)入調(diào)試模式，在該模式下給采集模塊設(shè)置好一個(gè)IP地址，然后通過RS-232接口給系統(tǒng)發(fā)送一個(gè)重啟指令，系統(tǒng)重新啟動(dòng)后，嵌入式微處理器便自動(dòng)加載執(zhí)行預(yù)先編寫好存儲(chǔ)在NAND FLASH里的程序代碼，通過USB接口控制RGB-D攝像頭開始連續(xù)采集圖像，并將采集到的圖像經(jīng)過處理轉(zhuǎn)換成標(biāo)準(zhǔn)RTSP流后再由以太網(wǎng)接口發(fā)送出去。

2：在顯示終端，系統(tǒng)啟動(dòng)后，在Linux命令終端輸入相關(guān)指令，打開事先編寫好的圖像接收程序，輸入采集模塊IP地址和端口號(hào)，之后便會(huì)在顯示窗口源源不斷的顯示采集模塊采集到的RGB-D視頻流。這種含有深度圖像數(shù)據(jù)的RGB-D視頻流如果用于機(jī)器人領(lǐng)域，可以對(duì)機(jī)器人視覺導(dǎo)航、識(shí)別外界的環(huán)境、規(guī)劃路徑、實(shí)現(xiàn)避障工作等提供很大的幫助，如果用于三維重建，可以有效避免傳統(tǒng)的基于可見光的二維圖像常常遭遇光照變化、陰影、物體遮擋以及環(huán)境變化等因素干擾的問題，因而對(duì)計(jì)算機(jī)動(dòng)畫、虛擬現(xiàn)實(shí)、醫(yī)學(xué)圖像分析等領(lǐng)域有很大的意義。

3：采集模塊是基于嵌入式平臺(tái)的，因此它的成本低，功耗低，還非常的小巧，可以很靈活方便的安裝。

附圖說明

圖1為本實(shí)用新型系統(tǒng)連接框圖。

具體實(shí)施方式

如圖1所述，一種嵌入式RGB-D視頻流采集系統(tǒng)，包括采集模塊、顯示終端，所述采集模塊包括嵌入式微處理器1，所述嵌入式微處理器1分別連接RS-232接口2、SDRAM3、NAND FLASH4、USB接口5、以太網(wǎng)接口7。所述USB接口5連接RGB-D攝像頭6，所述以太網(wǎng)接口7連接網(wǎng)絡(luò)集線器8。

嵌入式微處理器1主要進(jìn)行系統(tǒng)的調(diào)用，保證各個(gè)功能的正常執(zhí)行。該嵌入式微處理器1為ARM內(nèi)核的處理器，因?yàn)锳RM內(nèi)核的處理器不僅保證了該系統(tǒng)所要求的性能，而且它還體積小、功耗低、成本低，非常適合本系統(tǒng)所要達(dá)到低成本、低功耗、安裝方便的要求。同時(shí)在該嵌入式微處理器1運(yùn)行的是嵌入式Linux操作系統(tǒng)，該系統(tǒng)是一種完全開源且可裁減的軟件平臺(tái)系統(tǒng)，內(nèi)核精簡，性能高、穩(wěn)定，多任務(wù)，同時(shí)由于其完全開源的特性，因此不存在黑箱技術(shù)，可以獲得全球Linux愛好者的強(qiáng)大技術(shù)支持，非常適合用在本系統(tǒng)采集模塊的嵌入式平臺(tái)上。

RS-232接口2主要作為采集模塊的調(diào)試接口，在系統(tǒng)調(diào)試階段，通過該接口與采集模塊的嵌入式平臺(tái)進(jìn)行串口通信，調(diào)試系統(tǒng)程序以及設(shè)置平臺(tái)的IP地址等初始化參數(shù)。

SDRAM3和NAND FLASH4主要作為存儲(chǔ)器用來存儲(chǔ)相關(guān)指令和數(shù)據(jù)。

USB接口5用于嵌入式微處理器1和RGB-D攝像頭6之間通訊。

以太網(wǎng)接口7主要用于網(wǎng)絡(luò)數(shù)據(jù)的收發(fā)，在程序調(diào)試階段還用于程序的在線調(diào)試。

RGB-D攝像頭6主要用于圖像數(shù)據(jù)的采集，其同時(shí)擁有一個(gè)RGB攝像頭和一個(gè)深度攝像頭，可以同時(shí)采集RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。本實(shí)用新型系統(tǒng)，主要利用該攝像頭來采集深度圖像數(shù)據(jù)并同時(shí)將其轉(zhuǎn)換成標(biāo)準(zhǔn)RTSP流。

所述顯示終端主要是一臺(tái)運(yùn)行Linux操作系統(tǒng)的PC機(jī)9，用于顯示采集模塊發(fā)送過來的圖像數(shù)據(jù)，之所以采用Linux操作系統(tǒng)，還是因?yàn)樵撓到y(tǒng)完全開源，內(nèi)核精簡，性能高、穩(wěn)定，多任務(wù)，非常適合用于本實(shí)用新型系統(tǒng)的圖像顯示終端。

該系統(tǒng)還包括電源模塊10，電源模塊10用于給其它模塊供電。

實(shí)施步驟：

在使用之前，需要先切換到調(diào)試模式，通過RS-232接口2連接控制臺(tái)，在采集模塊剛上電時(shí)，在控制臺(tái)輸入回車鍵進(jìn)入調(diào)試模式，然后在該模式下設(shè)置采集模塊的IP地址，啟動(dòng)方式等初始化參數(shù)，之后保存設(shè)置參數(shù)然后重啟。

采集模塊上電后，嵌入式微處理器1便按照設(shè)置好的啟動(dòng)參數(shù)依次執(zhí)行相關(guān)指令，首先從NAND FLASH4加載BootLoader到SDRAM3執(zhí)行，然后再從NAND FLASH4加載嵌入式Linux操作系統(tǒng)到SDRAM3執(zhí)行，然后再從NAND FLASH4加載預(yù)先編寫好的采集程序到SDRAM3執(zhí)行，最后開始圖像的采集。采集程序通過USB接口5控制RGB-D攝像頭6采集圖像，并通過USB接口5不斷傳回采集的圖像數(shù)據(jù)，最終嵌入式微處理器1會(huì)將傳回的圖像數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)RTSP流后，再不斷通過以太網(wǎng)接口7發(fā)送出去。

本實(shí)用新型一種嵌入式RGB-D視頻流采集系統(tǒng)，在通過以太網(wǎng)接口7將圖像數(shù)據(jù)發(fā)送出去的時(shí)候，采用RTSP實(shí)時(shí)流傳輸協(xié)議來實(shí)現(xiàn)視頻流的發(fā)送，即把RGB-D攝像頭6采集到的視頻流先轉(zhuǎn)換成標(biāo)準(zhǔn)RTSP流后再由以太網(wǎng)接口7發(fā)送。采用RTSP實(shí)時(shí)流傳輸協(xié)議的好處是該協(xié)議容易擴(kuò)展、易解析、提供記錄設(shè)備控制、多服務(wù)器支持，非常適合本系統(tǒng)網(wǎng)絡(luò)間的通信要求。

顯示終端上電后，在PC機(jī)9的Linux系統(tǒng)命令終端里輸入相關(guān)指令，啟動(dòng)預(yù)先編寫好的圖像顯示程序，然后會(huì)提示輸入采集模塊IP地址和端口號(hào)，在這里輸入之前為采集模塊設(shè)置好的IP地址和端口號(hào)后，圖像顯示程序便與采集模塊建立起了連接，采集模塊便開始從當(dāng)前幀緩沖區(qū)開始將視頻流數(shù)據(jù)發(fā)送給連接請(qǐng)求方，連接請(qǐng)求方即顯示終端開始不斷接受到來自采集模塊的視頻流數(shù)據(jù)，并實(shí)時(shí)顯示在PC機(jī)9的顯示屏上。在顯示窗口可以通過設(shè)置參數(shù)使顯示的視頻流在RGB彩色圖和深度圖之間切換，可以根據(jù)需要顯示自己想要的圖像數(shù)據(jù)。