本發(fā)明涉及tof成像,具體而言,涉及一種3d-tof成像方法及系統(tǒng)。
背景技術(shù):
1、隨著物聯(lián)網(wǎng)的快速發(fā)展,萬物互聯(lián)已經(jīng)走進(jìn)千家萬戶。物聯(lián)網(wǎng)是指各種物理設(shè)備、傳感器和電子設(shè)備互連起來,通過互聯(lián)網(wǎng)實(shí)現(xiàn)數(shù)據(jù)交互和智能控制。物聯(lián)網(wǎng)產(chǎn)品不僅需要具有高清晰度的成像,還需要運(yùn)動捕捉、溫度濕度監(jiān)控、數(shù)據(jù)傳輸?shù)裙δ苄枨蟆?/p>
2、tof是time?of?flight的縮寫,又稱飛行時(shí)間法3d成像。這種成像技術(shù)通過向目標(biāo)發(fā)射連續(xù)的特定波長的紅外光線脈沖,通過特定傳感器接收待測物體傳回的光信號,計(jì)算光線往返的飛行時(shí)間或相位差得到待測物體的3d深度信息,tof相機(jī)的亮度圖像可以通過模型迅速連接起來。
3、然而,當(dāng)前全球市面上現(xiàn)有的tof成像設(shè)備由于普遍存在測量距離較常規(guī)測量儀器短:一般不超過10米;測量結(jié)果受被測物性質(zhì)的影響;大多數(shù)tof成像機(jī)器的測量結(jié)果受外界環(huán)境干擾較為明顯,尤其是受外界光源干擾;分辨率相對較低,系統(tǒng)誤差及隨機(jī)誤差對結(jié)果影響明顯,需要進(jìn)行后期數(shù)據(jù)處理等現(xiàn)象,因此現(xiàn)有的3d-tof成像系統(tǒng)難以避免地存在功能單一化、性能差、可靠性低、功耗高、使用壽命短等缺陷問題,用戶體驗(yàn)感較低。
技術(shù)實(shí)現(xiàn)思路
1、鑒于此,本發(fā)明的目的在于設(shè)計(jì)一種3d-tof成像方法及系統(tǒng),對成像系統(tǒng)進(jìn)行多功能優(yōu)化,使用mcu主控芯片控制圖像傳感器拍攝環(huán)境中圖像,采用同步動態(tài)隨機(jī)存取內(nèi)存sdram作為存儲器,采用3d-tof成像芯片輸出成像數(shù)據(jù),以及搭配藍(lán)牙傳輸,不僅可進(jìn)行傳感器的讀取還可進(jìn)行數(shù)據(jù)的傳送,實(shí)現(xiàn)高速、高性能、最佳實(shí)時(shí)響應(yīng),適用于低功耗、高靈敏、多場景的成像系統(tǒng),實(shí)現(xiàn)高性能、高可靠性、高壽命的產(chǎn)品使用性能,滿足用戶日益增長的體驗(yàn)需求。
2、本發(fā)明提供一種3d-tof成像方法,包括以下步驟:
3、對各應(yīng)用場景下的環(huán)境進(jìn)行拍攝,獲取該環(huán)境中的原始圖像;
4、具體地,由mcu主控芯片通過ddr高速信號與成像芯片進(jìn)行數(shù)據(jù)傳輸與控制,mcu主控芯片通過i2c集成電路總線與成像芯片進(jìn)行存儲內(nèi)容讀取。
5、讀取環(huán)境光強(qiáng)弱,根據(jù)目標(biāo)人或物的遠(yuǎn)近以及光線強(qiáng)弱,通過調(diào)節(jié)pwm占空比控制輸出電壓反饋的fb參考電壓,通過fb參考電壓調(diào)節(jié)輸出電壓值,從而調(diào)節(jié)控制照明系統(tǒng)的led電壓,實(shí)現(xiàn)調(diào)節(jié)led照明強(qiáng)度,對所述原始圖像進(jìn)行補(bǔ)償處理,并將經(jīng)補(bǔ)償處理后的圖像數(shù)據(jù)無線傳輸發(fā)送到用戶終端;
6、優(yōu)選地,所述成像芯片包括三種工作模式,可實(shí)現(xiàn)不同環(huán)境下的低功耗,主要包括:照明調(diào)制模式、距離測量模式與非距離測量模式。
7、其中,照明調(diào)節(jié)模式包括:通過環(huán)境光傳感器讀取環(huán)境光強(qiáng)弱,由mcu主控芯片通過pwm占空比,調(diào)節(jié)控制輸出電壓(psu_vsel)反饋到降壓型dcdc芯片的fb參考電壓,調(diào)節(jié)降壓型dcdc芯片的輸出電壓值(vdd_led),從而調(diào)節(jié)控制led電壓,實(shí)現(xiàn)調(diào)節(jié)led照明強(qiáng)度。根據(jù)具體環(huán)境做相應(yīng)的照明補(bǔ)償。
8、示例性地,所述pwm占空比的調(diào)節(jié)檔位包括:0%、20%、40%、60%、80%、100%,控制輸出電壓(psu_vsel)的檔位包括:0v、0.12v、0.24v、0.36v、0.48v、0.6v,調(diào)節(jié)控制led電壓(vdd_led)的檔位包括:4.98v、4.7028v、4.4256v、4.1484v、3.8712v、3.594v,如表2所示:
9、表2
10、
11、?????????????????????????????????。
12、距離測量模式包括以下幾種分辨速率的全像素場下的測量:
13、(1)39?fps?3d?tof,4x?dcs?幀,全像素場;
14、(2)79?fps?3d?tof,具有?2x?dcs?幀,全像素場;
15、(3)158?fps?3d?tof,滾動讀出?4x?dcs?幀,全像素場;
16、通過減少像素場的roi?,可實(shí)現(xiàn)超快速測量;
17、通過shutter?快門釋放,可實(shí)現(xiàn)精確地啟動/停止和單次/連續(xù)測量控制。
18、可通過檢查dcs值進(jìn)行距離測量的檢測,dcs?值不僅包含距離信息,還包含接收光信號的質(zhì)量和有效性(置信度)。接收信號的信號幅度越高,距離測量就越好、越精確。每個(gè)像素的每次距離測量都有其自身的有效性和質(zhì)量。測量距離的數(shù)據(jù)的主要質(zhì)量指標(biāo)是接收到的調(diào)制光?atof?的振幅,振幅與距離噪聲直接相關(guān)。
19、示例性地,振幅可以按以下方式計(jì)算(如表1所示):
20、表1
21、
22、表1中,amplitudeatof為振幅,classification為分類,action為作用。
23、非距離測量模式(灰度模式)包括:
24、環(huán)境光測量(無照明的灰度圖像),或,具有主動照明的灰度圖像;
25、灰度模式允許將成像芯片epc660?用作灰度成像器,可以在沒有?led/ld?照明的情況下用于?ambient-light?測量,或使用?led/ld?對場景進(jìn)行主動照明?;叶葴y量使用差分庫倫光譜dcs?測量,使用全局光照算法mga通過差分讀數(shù)執(zhí)行,mga?保持所有積分時(shí)間,數(shù)據(jù)輸出格式為有符號整數(shù)?12?位:±?2'047?lsb。有效數(shù)據(jù)范圍為?0?...?+2'047。由于系統(tǒng)噪聲接近零,讀數(shù)可能顯示較小的負(fù)數(shù)。由于距離測量結(jié)果會受到環(huán)境光的影響,因此無照明的灰度測量可以用作距離測量的重要質(zhì)量和校正參數(shù)。
26、在灰度模式下計(jì)算像素表面灰度信號的輻照度?ebw,可以根據(jù)直流靈敏度?sbw(使用積分時(shí)間)計(jì)算得出白平衡tint-bw、參考白平衡?tint-ref-bw?和灰度信號的?dcs0,然后計(jì)算得出輻照度?ebw:
27、ebw?=?sbw?(tint-ref-bw/tint-bw)?dcs0?。
28、進(jìn)一步地,當(dāng)環(huán)境溫濕度、加速度,以及外部供電發(fā)生變化時(shí),實(shí)時(shí)將環(huán)境數(shù)據(jù)變化信息發(fā)送給用戶終端進(jìn)行檢查與圖像處理,使圖像成像保持高清時(shí)效要求。
29、示例性地,當(dāng)環(huán)境溫度發(fā)生變化(如因外部電源發(fā)生變化等情況而引發(fā)環(huán)境溫度變化)時(shí),由所述mcu主控芯片將數(shù)據(jù)變化信息傳送到低功耗藍(lán)牙ble芯片,通過所述低功耗藍(lán)牙ble芯片將數(shù)據(jù)變化信息發(fā)送給用戶終端進(jìn)行查看與維修,使成像達(dá)到高清時(shí)效要求。
30、優(yōu)選地,也可通過usb接口、jtag接口以及3.3v串口連接3d-tof成像系統(tǒng)中的設(shè)備,對整個(gè)3d-tof成像系統(tǒng)進(jìn)行檢查與圖像處理。
31、本發(fā)明還提供一種3d-tof成像系統(tǒng),執(zhí)行如上述所述的3d-tof成像方法,包括:傳感器系統(tǒng)、成像芯片、電源系統(tǒng)(為系統(tǒng)供電)、mcu主控芯片、低功耗藍(lán)牙ble芯片、sdram存儲器;所述電源系統(tǒng)分別與所述傳感器系統(tǒng)、所述成像芯片、?mcu主控芯片、低功耗藍(lán)牙ble芯片電性連接;所述mcu主控芯片、低功耗藍(lán)牙ble芯片分別與所述sdram存儲器信號連接;
32、優(yōu)選地,所述成像芯片采用epc660芯片,所述mcu主控芯片采用arm?cortex_m7芯片。
33、優(yōu)選地,所述電源系統(tǒng)包括三路電源,所述三路電源分別為:主電源、太陽能充電電源、電池;本發(fā)明采用三路電源,即使在不具備主電源供電的工況下,也可單獨(dú)由電池提供系統(tǒng)供電,或者由太陽能充電電源為系統(tǒng)供電以及為電池充電,從而實(shí)現(xiàn)清潔能源的使用,減少二氧化碳的排放。
34、所述傳感器系統(tǒng)包括:圖像傳感器、加速度傳感器、溫濕度傳感器;所述圖像傳感器與所述成像芯片信號連接;所述加速度傳感器、溫濕度傳感器分別通過i2c集成電路總線與所述mcu主控芯片和所述低功耗藍(lán)牙ble芯片信號連接。
35、具體地,所述加速度傳感器、溫濕度傳感器將收集的環(huán)境信息數(shù)據(jù)通過i2c集成電路總線傳送給mcu主控芯片與低功耗藍(lán)牙ble芯片;成像芯片在不需圖像采集的特定情況下進(jìn)行睡眠設(shè)置,可實(shí)現(xiàn)低功耗,從而延長電池壽命,并可通過藍(lán)牙設(shè)備進(jìn)行信息傳輸?shù)浇K端使用,使用者可隨時(shí)監(jiān)控?cái)z像信息。
36、優(yōu)選地,mcu主控芯片通過ddr高速信號與成像芯片進(jìn)行數(shù)據(jù)傳輸與控制,通過i2c集成電路總線與成像芯片進(jìn)行存儲內(nèi)容讀?。怀上裥酒ㄈN工作模式,可實(shí)現(xiàn)不同環(huán)境下載低功耗實(shí)現(xiàn),三種工作模式包括:照明調(diào)制模式、距離測量模式與非距離測量模式。
37、具體地,在正常使用狀況下,mcu主控芯片通過與成像芯片之間的數(shù)據(jù)通信,進(jìn)行各場景下的拍攝,并根據(jù)遠(yuǎn)近、光線強(qiáng)弱等進(jìn)行補(bǔ)償,并可通過藍(lán)牙進(jìn)行無線傳輸,獲取當(dāng)前環(huán)境狀態(tài)與人像采集信息;在睡眠狀況下,系統(tǒng)處于低功耗狀態(tài),加速度傳感器以及其他傳感器也處于低功耗模式非關(guān)機(jī)狀態(tài)。
38、進(jìn)一步地,所述3d-tof成像系統(tǒng)包括:電池管理芯片,所述低功耗藍(lán)牙ble芯片通過i2c集成電路總線與所述電池管理芯片信號連接,所述電池管理芯片與所述主電源、太陽能充電電源、電池電性連接。
39、具體地,使用低功耗藍(lán)牙ble芯片通過i2c對電池管理芯片進(jìn)行主電源、電池兩路電源的判斷選擇,以及對電池充電的控制,并輸出4.5v(主電源)或4.2v(電池)的系統(tǒng)電壓,提高電源利用效率;
40、進(jìn)一步地,所述3d-tof成像系統(tǒng)還包括:低壓差線性穩(wěn)壓ldo芯片、降壓型dcdc芯片、升降壓型dcdc芯片;所述低壓差線性穩(wěn)壓ldo芯片與所述電池管理芯片電性連接,所述降壓型dcdc芯片與所述電池管理芯片電性連接;所述升降壓型dcdc芯片與所述成像芯片電性連接;
41、通過ldo(低壓差線性穩(wěn)壓器)將系統(tǒng)電壓降到3.3v,供3d加速度傳感器、環(huán)境光傳感器、溫濕度傳感器、藍(lán)牙使用;
42、使用降壓型dcdc芯片將系統(tǒng)電壓降為5.3v,并通過dcdc升降壓型電源芯片產(chǎn)生±10v電壓為成像芯片供電,并將5.3v電壓轉(zhuǎn)換成3.3v電壓為mcu主控芯片與sdram存儲器供電;
43、低壓差線性穩(wěn)壓ldo芯片、降壓型dcdc芯片、升降壓型dcdc芯片各芯片都帶有使能腳,通過mcu的使能可實(shí)現(xiàn)不使用時(shí)即關(guān)電的低功耗模式與低功耗睡眠狀態(tài)。
44、進(jìn)一步地,所述3d-tof成像系統(tǒng)配置有根據(jù)環(huán)境光可調(diào)節(jié)的照明系統(tǒng),所述照明系統(tǒng)包括兩路:一路是環(huán)境光傳感器,所述環(huán)境光傳感器與所述mcu主控芯片信號連接,根據(jù)環(huán)境光的強(qiáng)弱,由mcu主控芯片控制照明燈的電壓高低,實(shí)現(xiàn)燈光的強(qiáng)度高低改變,從而滿足應(yīng)用在不同環(huán)境光下的照明調(diào)節(jié);另一路為照明補(bǔ)償器,所述照明補(bǔ)償器的內(nèi)部設(shè)置有成像玻璃芯片,所述成像玻璃芯片實(shí)現(xiàn)成像的高清與流暢。
45、進(jìn)一步地,所述3d-tof成像系統(tǒng)配置有usb接口、jtag接口、3.3v串口,所述usb接口、jtag接口均與所述mcu主控芯片電連接;所述3.3v串口與所述低功耗藍(lán)牙ble芯片電連接。
46、具體地,通過所述usb接口進(jìn)行mcu的主控芯片的調(diào)試,使用jtag進(jìn)行軟件下載,安全穩(wěn)定。優(yōu)選地,usb接口為提高穩(wěn)定性和可靠性,可適配usb2.0、usb3.0各種類型。ble芯片使用串口3.3v進(jìn)行調(diào)試、jtag接口進(jìn)行軟件下載;優(yōu)選地,搭配nodic的天線調(diào)配芯片進(jìn)行天線調(diào)配,可實(shí)現(xiàn)功率強(qiáng)、信號傳播距離遠(yuǎn)等最佳性能。
47、進(jìn)一步地,所述電池采用5200mah?充電鋰錳電池。搭配高容量5200mah電池與太陽能充電,能夠?qū)崿F(xiàn)室外自動充電與充電器充電的多種功能。5200mah?充電鋰錳電池具有高能量密度,?相比其他充電式電池,?鋰錳電池能夠提供更長時(shí)間的使用;?壽命長,?由于采用錳酸鋰作為正極材料,?不易發(fā)生膨脹和溶解,?因此電池壽命長;低自放電率,?即使長時(shí)間不使用也能保持較長時(shí)間的電量;環(huán)保性能優(yōu)良,不含重金屬等有害物質(zhì),?對環(huán)境友好;價(jià)格低廉,?正極活性物質(zhì)采用電解二氧化錳,?是鋰電池正極活性物質(zhì)中比較廉價(jià)的一種,?可以大量推廣應(yīng)用;電性能優(yōu)良:?其比能量是干電池的5~10倍,?負(fù)荷電壓為2.8v,?放電電壓比較平穩(wěn),?可以在-40~+50℃范圍內(nèi)工作;貯存壽命長:?在常溫條件下電池貯存壽命超過10年,?年容降約1%;安全可靠,?在貯存和放電過程中無氣體析出,?安全性好。
48、進(jìn)一步地,所述3d-tof成像系統(tǒng)預(yù)留有負(fù)載電源接口,所述負(fù)載電源接口根據(jù)實(shí)際需求連接所需要的負(fù)載,從而實(shí)現(xiàn)更加豐富產(chǎn)品功能與應(yīng)用形態(tài)。
49、進(jìn)一步地,所述3d-tof成像系統(tǒng)的外殼上設(shè)置有多個(gè)(優(yōu)選4個(gè))固定連接孔位,所述3d-tof成像系統(tǒng)通過多個(gè)(優(yōu)選4個(gè))螺絲固定連接到相應(yīng)的使用區(qū)域,很大程度提高了使用的便利性,并且安裝操作簡單,并且可以進(jìn)行運(yùn)動的監(jiān)控,使用加速度傳感器可以在運(yùn)動或者靜止條件下動態(tài)調(diào)整攝像狀態(tài)與機(jī)器性能。
50、進(jìn)一步地,所述3d-tof成像系統(tǒng)的外部設(shè)置有外殼,所述外殼的結(jié)構(gòu)整體全密閉,優(yōu)選地,達(dá)到ip67級防水、防塵,防靜電。
51、優(yōu)選地,所述溫濕度傳感器與所述電池管理芯片信號連接。使用溫濕度傳感器對環(huán)境溫濕度進(jìn)行監(jiān)控,包括對充電溫度進(jìn)行監(jiān)控,例如,環(huán)境溫度高于45℃不充電,低于則恢復(fù)充電,溫度高于85℃則系統(tǒng)主動進(jìn)行斷電不工作模式,保護(hù)系統(tǒng)與設(shè)備,提高設(shè)備的可靠性與壽命。
52、本發(fā)明3d-tof成像系統(tǒng)使用壽命可達(dá)到10年?;趦?yōu)良的芯片處理性能,有效延長了設(shè)備的使用時(shí)間,并且根據(jù)需求可調(diào)節(jié)電源環(huán)境,可靠性高,適用于絕大部分高低溫、全球化的使用場景。并且可根據(jù)用戶使用需求,定制化完成對傳輸速率、訪問動態(tài)的設(shè)置,傳輸速率至少可達(dá)600?mhz,并可根據(jù)用戶的狀態(tài)應(yīng)用不同的電源環(huán)境。
53、本發(fā)明3d-tof成像系統(tǒng)可應(yīng)用于通過物聯(lián)網(wǎng)控制實(shí)現(xiàn)對環(huán)境進(jìn)行實(shí)時(shí)檢測的場景,可充電使用,操作簡單,具有高性能,高速率,高效率,壽命長等優(yōu)勢。
54、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲介質(zhì),其上存儲有計(jì)算機(jī)程序,所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述所述的3d-tof成像方法的步驟。
55、本發(fā)明還提供一種計(jì)算機(jī)設(shè)備,所述計(jì)算機(jī)設(shè)備包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述所述的3d-tof成像方法的步驟。
56、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:
57、本發(fā)明提供的3d-tof成像方法及系統(tǒng)通過對成像系統(tǒng)進(jìn)行多功能優(yōu)化,使用mcu主控芯片控制圖像傳感器拍攝環(huán)境中圖像,采用同步動態(tài)隨機(jī)存取內(nèi)存sdram作為存儲器可搭配高速小信號,采用成像芯片輸出成像數(shù)據(jù),可搭配高速信號進(jìn)行數(shù)據(jù)傳輸,以及搭配藍(lán)牙傳輸,不僅可進(jìn)行傳感器的讀取還可進(jìn)行數(shù)據(jù)的傳送,實(shí)現(xiàn)高速、高性能、最佳實(shí)時(shí)響應(yīng)的低功耗、高靈敏適用于多場景的成像系統(tǒng);可搭配高容量5200mah電池與太陽能充電,能夠?qū)崿F(xiàn)室外自動充電與充電器充電的多種功能,實(shí)現(xiàn)高性能、高可靠性、高壽命的產(chǎn)品使用性,滿足用戶日益增長的體驗(yàn)需求;并且開發(fā)簡單高效,配置靈活,對于多應(yīng)用場景的適用面更廣泛,系統(tǒng)可維護(hù)性和穩(wěn)定性好,具有廣闊的推廣應(yīng)用前景。