本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域,特別涉及基于深度相機(jī)的體積測(cè)量方法及其系統(tǒng)。
背景技術(shù):
隨著物流業(yè)的快速發(fā)展,包裹數(shù)量日益增長(zhǎng),包裹體積測(cè)量的需求也不斷增加。傳統(tǒng)的測(cè)量方法是利用尺度工具或測(cè)量設(shè)備進(jìn)行測(cè)量。尺度工具測(cè)量方法,其測(cè)量速度慢、效率低,無(wú)法滿(mǎn)足實(shí)時(shí)需求;設(shè)備測(cè)量方法一般是采用光幕傳感器系統(tǒng)進(jìn)行測(cè)量,其外形體積大,還需要配合對(duì)應(yīng)的控制器,整個(gè)安裝過(guò)程比較復(fù)雜。因此,基于機(jī)器視覺(jué)的測(cè)量方法被廣泛利用,僅需要安裝一個(gè)相機(jī)就能夠完成測(cè)量目的,其測(cè)量速度快、效率高、體積小、安裝簡(jiǎn)單。
傳統(tǒng)基于二維圖像的機(jī)器視覺(jué)測(cè)量方法,需要預(yù)先標(biāo)定出相機(jī)內(nèi)參以及安裝高度和角度,然后通過(guò)相似三角形關(guān)系以及被測(cè)物體在成像面上所占像素值的大小來(lái)計(jì)算出對(duì)應(yīng)的測(cè)量值。該方法要求被測(cè)物體與相機(jī)之間滿(mǎn)足一定的相似三角關(guān)系,但實(shí)際應(yīng)用中并不一定完全滿(mǎn)足相似條件,因此測(cè)量結(jié)果并不準(zhǔn)確,會(huì)存在一定誤差。
專(zhuān)利CN104501718A提出了一種基于視覺(jué)的包裹體積測(cè)量裝置,采用光幕傳感裝置和相機(jī)相結(jié)合的方式測(cè)量被測(cè)物體體積。光幕傳感裝置用于測(cè)量被測(cè)物體高度,相機(jī)用于測(cè)量被測(cè)物體面積。該專(zhuān)利利用了多個(gè)傳感設(shè)備,安裝復(fù)雜,使用成本高。
專(zhuān)利CN100570275C提出了一種基于圖像的體積測(cè)量裝置及其測(cè)量方 法,采用了三個(gè)相機(jī)對(duì)被測(cè)物體進(jìn)行三維重構(gòu),得到被測(cè)物體的三維形狀,然后計(jì)算出物體體積,并且要求三個(gè)相機(jī)的安裝俯仰角相同。該專(zhuān)利使用了多個(gè)相機(jī)對(duì)物體進(jìn)行三維重構(gòu),其標(biāo)定過(guò)程較為復(fù)雜,并且對(duì)相機(jī)安裝要求較高,在實(shí)施過(guò)程中,整個(gè)操作也較為繁瑣。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種基于深度相機(jī)的體積測(cè)量方法及其系統(tǒng),測(cè)量精度高,不受拍攝角度和高度影響,無(wú)需對(duì)相機(jī)安裝高度和角度進(jìn)行標(biāo)定,使用簡(jiǎn)單方便。
為解決上述技術(shù)問(wèn)題,本發(fā)明的實(shí)施方式公開(kāi)了一種基于深度相機(jī)的體積測(cè)量方法,包括以下步驟:
從深度相機(jī)獲取含有待測(cè)對(duì)象的深度圖,深度圖包含有待測(cè)對(duì)象的深度信息;
根據(jù)深度信息將待測(cè)對(duì)象從深度圖中提取出來(lái),得到待測(cè)對(duì)象目標(biāo)區(qū)域;
利用預(yù)先標(biāo)定的深度相機(jī)的參數(shù),將待測(cè)對(duì)象的目標(biāo)區(qū)域中各像素的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機(jī)坐標(biāo)系下的三維坐標(biāo);
在三維相機(jī)坐標(biāo)系下,根據(jù)待測(cè)對(duì)象的三維坐標(biāo)計(jì)算待測(cè)對(duì)象的高度和長(zhǎng)寬,從而計(jì)算出待測(cè)對(duì)象的體積。
本發(fā)明的實(shí)施方式還公開(kāi)了一種基于深度相機(jī)的體積測(cè)量系統(tǒng),包括以下模塊:
深度圖獲取模塊,用于從深度相機(jī)獲取含有待測(cè)對(duì)象的深度圖,深度圖包含有待測(cè)對(duì)象的深度信息;
對(duì)象提取模塊,用于根據(jù)深度信息將待測(cè)對(duì)象從深度圖中提取出來(lái),得到待測(cè)對(duì)象目標(biāo)區(qū)域;
坐標(biāo)轉(zhuǎn)換模塊,用于利用預(yù)先標(biāo)定的深度相機(jī)的參數(shù),將待測(cè)對(duì)象的目標(biāo)區(qū)域中各像素的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機(jī)坐標(biāo)系下的三維坐標(biāo);
體積測(cè)量模塊,在三維相機(jī)坐標(biāo)系下,根據(jù)待測(cè)對(duì)象的三維坐標(biāo)計(jì)算待測(cè)對(duì)象的高度和長(zhǎng)寬,從而計(jì)算出待測(cè)對(duì)象的體積。
本發(fā)明實(shí)施方式與現(xiàn)有技術(shù)相比,主要區(qū)別及其效果在于:
本發(fā)明通過(guò)深度相機(jī)獲取的深度信息提取待測(cè)對(duì)象,并將待測(cè)對(duì)象的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機(jī)坐標(biāo),然后對(duì)體積進(jìn)行測(cè)量,測(cè)量精度高,不受拍攝角度和高度影響,無(wú)需對(duì)相機(jī)安裝高度和角度進(jìn)行標(biāo)定,使用簡(jiǎn)單方便。
進(jìn)一步地,利用深度圖中待測(cè)對(duì)象深度與背景深度的差異性,基于直方圖閾值的圖像分割算法將待測(cè)對(duì)象上表面區(qū)域從背景中提取出來(lái);通過(guò)二次分割可以有效地去除側(cè)面干擾,保留有效的上表面區(qū)域作為待測(cè)對(duì)象目標(biāo)區(qū)域。
進(jìn)一步地,在三維相機(jī)坐標(biāo)系下,通過(guò)測(cè)量包裹上表面與傳送帶表面兩個(gè)平面的距離來(lái)計(jì)算包裹高度,使得包裹高度測(cè)量值更為精確。
進(jìn)一步地,利用待測(cè)對(duì)象目標(biāo)區(qū)域內(nèi)部的點(diǎn)代替待測(cè)對(duì)象目標(biāo)區(qū)域最小外接矩形頂點(diǎn)計(jì)算待測(cè)對(duì)象的長(zhǎng)和寬,計(jì)算結(jié)果更精確。
進(jìn)一步地,根據(jù)傳送帶的速度對(duì)深度相機(jī)的圖像輸出幀率進(jìn)行調(diào)節(jié)可以滿(mǎn)足不同傳輸速度下不同分辨率的應(yīng)用需求。
進(jìn)一步地,通過(guò)判斷待測(cè)對(duì)象是否已經(jīng)傳送至深度相機(jī)的正下方范圍內(nèi),決定是否進(jìn)行體積測(cè)量,提高了計(jì)算效率。
附圖說(shuō)明
圖1是本發(fā)明第一實(shí)施方式中一種基于深度相機(jī)的體積測(cè)量方法的流程示意圖;
圖2是本發(fā)明第三實(shí)施方式中包裹體積測(cè)量過(guò)程的切面示意圖;
圖3是本發(fā)明第三實(shí)施方式中待測(cè)對(duì)象在二維成像平面上的坐標(biāo)示意圖;
圖4是本發(fā)明第四實(shí)施方式中基于深度相機(jī)的體積測(cè)量方法的實(shí)施場(chǎng)景示意圖;
圖5是本發(fā)明優(yōu)選例中基于深度相機(jī)的包裹體積測(cè)量方法流程圖;
圖6是本發(fā)明第五實(shí)施方式中一種基于深度相機(jī)的體積測(cè)量系統(tǒng)的結(jié)構(gòu)示意圖;
圖7是本發(fā)明優(yōu)選例中一種基于深度相機(jī)的體積測(cè)量系統(tǒng)的各模塊之間的連接示意圖。
具體實(shí)施方式
在以下的敘述中,為了使讀者更好地理解本申請(qǐng)而提出了許多技術(shù)細(xì)節(jié)。但是,本領(lǐng)域的普通技術(shù)人員可以理解,即使沒(méi)有這些技術(shù)細(xì)節(jié)和基于以下各實(shí)施方式的種種變化和修改,也可以實(shí)現(xiàn)本申請(qǐng)各權(quán)利要求所要求保護(hù)的技術(shù)方案。
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作進(jìn)一步地詳細(xì)描述。
本發(fā)明第一實(shí)施方式涉及一種基于深度相機(jī)的體積測(cè)量方法,圖1是該基于深度相機(jī)的體積測(cè)量方法的流程示意圖。如圖所示,該基于深度相機(jī)的體積測(cè)量方法包括以下步驟:
步驟101,從深度相機(jī)獲取含有待測(cè)對(duì)象的深度圖,深度圖包含有待測(cè)對(duì)象的深度信息。
深度相機(jī)可以是但不限于TOF深度相機(jī),雙目深度相機(jī)和光場(chǎng)相機(jī),任何可以獲取包裹深度信息的相機(jī)均適用。其中TOF(time of flight)表示飛行時(shí) 間。
可以理解,深度圖包含待測(cè)對(duì)象的深度信息,也包含除待測(cè)對(duì)象之外的背景的深度,由于深度圖中待測(cè)對(duì)象的深度與背景深度的差異性較大,可將待測(cè)對(duì)象從背景中提取出來(lái)。
步驟102,根據(jù)深度信息將待測(cè)對(duì)象從深度圖中提取出來(lái),得到待測(cè)對(duì)象目標(biāo)區(qū)域。
步驟103,利用預(yù)先標(biāo)定的深度相機(jī)的參數(shù),將待測(cè)對(duì)象的目標(biāo)區(qū)域中各像素的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機(jī)坐標(biāo)系下的三維坐標(biāo)。
優(yōu)選地,三維相機(jī)坐標(biāo)系以深度相機(jī)的光心為中心。
在本發(fā)明的其它實(shí)施方式中,除了將待二維圖像坐標(biāo)轉(zhuǎn)換到三維坐標(biāo)以計(jì)算待測(cè)對(duì)象的體積外,還可以通過(guò)比例的方法計(jì)算,即已知像素值大小與二維圖像面積之間的關(guān)系(例如,對(duì)于分辯率是196X98DPI的二維圖像,在1 m遠(yuǎn)處,每個(gè)像素在水平方向上對(duì)應(yīng)的空間大小是0.130mm,而在垂直方向?qū)?yīng)的空間大小是0.259mm,則根據(jù)像素多少即可得出圖像面積)。,則可根據(jù)像素值之間的比例以及深度信息求得待測(cè)對(duì)象的體積),則可根據(jù)像素值之間的比例以及深度信息求得待測(cè)對(duì)象的體積。
但是通過(guò)比例計(jì)算的方法要求被測(cè)物體表面與相機(jī)成像平面完全平行,或者是被測(cè)物體表面與相機(jī)成像平面的夾角已知,并且?jiàn)A角固定不變。但在實(shí)際應(yīng)用中,很難保證被測(cè)物體表面與相機(jī)成像平面完全平行,或者,也很難保證被測(cè)物體表面與相機(jī)成像平面的夾角不變化。而二維轉(zhuǎn)換到三維坐標(biāo)計(jì)算體積的方法則對(duì)角度沒(méi)有要求,適用性更廣。
步驟104,在三維相機(jī)坐標(biāo)系下,根據(jù)待測(cè)對(duì)象的三維坐標(biāo)計(jì)算待測(cè)對(duì)象的高度和長(zhǎng)寬,從而計(jì)算出待測(cè)對(duì)象的體積。
優(yōu)選地,可對(duì)根據(jù)多幀深度圖測(cè)量出的體積結(jié)果求平均作為體積測(cè)量的 最終輸出結(jié)果。
優(yōu)選地,在步驟103中,通過(guò)以下公式進(jìn)行坐標(biāo)轉(zhuǎn)換:
其中,(u,v)為像素的二維圖像坐標(biāo),(Xc,Yc,Zc)為三維相機(jī)坐標(biāo)系下的三維坐標(biāo),fx和fy為焦距,(u0,v0)為像素基準(zhǔn)點(diǎn),Zc為目標(biāo)點(diǎn)到相機(jī)的距離,可由深度相機(jī)直接獲取。
此外,可以理解,在進(jìn)行坐標(biāo)轉(zhuǎn)換之前,還包括標(biāo)定相機(jī)內(nèi)參的步驟,相機(jī)內(nèi)參包括焦距,像素基準(zhǔn)點(diǎn)和畸變系數(shù)。上述坐標(biāo)轉(zhuǎn)換是在不考慮相機(jī)畸變情況下的轉(zhuǎn)換方法,在本發(fā)明的其它實(shí)施方式中,也可以根據(jù)需要一并考慮相機(jī)畸變的情況。
需要指出的是,本發(fā)明可用于包裹體積測(cè)量,也可用于其它類(lèi)似包裹的立方體物體的體積測(cè)量。在測(cè)量包裹體積的應(yīng)用場(chǎng)景中,待測(cè)對(duì)象為包裹,背景為傳送包裹的傳送帶。
本實(shí)施方式通過(guò)深度相機(jī)獲取的深度信息提取待測(cè)對(duì)象,并將待測(cè)對(duì)象的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機(jī)坐標(biāo),然后對(duì)體積進(jìn)行測(cè)量,不受拍攝角度和高度影響,無(wú)需對(duì)相機(jī)安裝高度和角度進(jìn)行標(biāo)定,使用簡(jiǎn)單方便。
本發(fā)明第二實(shí)施方式涉及一種基于深度相機(jī)的體積測(cè)量方法,第二實(shí)施方式在第一實(shí)施方式的基礎(chǔ)上進(jìn)行了改進(jìn),主要改進(jìn)之處在于:
利用深度圖中待測(cè)對(duì)象深度與背景深度的差異性,基于直方圖閾值的圖像分割算法將待測(cè)對(duì)象上表面區(qū)域從背景中提取出來(lái);通過(guò)二次分割可以有效地去除側(cè)面干擾,保留有效的上表面區(qū)域作為待測(cè)對(duì)象目標(biāo)區(qū)域。具體地說(shuō):
“根據(jù)深度信息將待測(cè)對(duì)象從深度圖中提取出來(lái),得到待測(cè)對(duì)象目標(biāo)區(qū) 域”的步驟102包括以下子步驟:
對(duì)深度圖進(jìn)行直方圖統(tǒng)計(jì)深度值;
根據(jù)第一分割閾值將待測(cè)對(duì)象與傳送帶分割開(kāi)來(lái),將小于第一分割閾值的區(qū)域提取作為初步的待測(cè)對(duì)象目標(biāo)區(qū)域;
對(duì)初步的待測(cè)對(duì)象的目標(biāo)區(qū)域再次進(jìn)行直方圖統(tǒng)計(jì)深度值;
根據(jù)第二分割閾值將待測(cè)對(duì)象的上表面區(qū)域與待測(cè)對(duì)象的側(cè)面區(qū)域分割開(kāi)來(lái),保留上表面區(qū)域作為待測(cè)對(duì)象目標(biāo)區(qū)域。
其中,第一分割閾值可選取直方圖中的波谷,以包裹體積測(cè)量為例,小于第一分割閾值的即為包裹區(qū)域。由于深度圖中主要場(chǎng)景為包裹和傳送帶,因此直方圖中會(huì)形成雙峰,雙峰之間的波谷對(duì)應(yīng)的閾值可以有效地將包裹與傳送帶分割開(kāi)來(lái)。同時(shí)包裹區(qū)域?qū)?yīng)的深度值要小于傳送帶深度;
第二分割閾值的確定可對(duì)包裹區(qū)域再次進(jìn)行直方圖統(tǒng)計(jì),計(jì)算波峰對(duì)應(yīng)的深度值Depth,以(Depth-ΔT,Depth+ΔT)為第二分割閾值有效深度范圍再次對(duì)包裹進(jìn)行分割,提取最終的有效包裹上表面區(qū)域。由于相機(jī)安裝時(shí),其光軸并不一定完全垂直包裹,會(huì)存在一定傾斜角。因此包裹側(cè)面會(huì)出現(xiàn)在深度圖中,影響包裹上表面區(qū)域的提取。
在本發(fā)明的其它實(shí)施方式中,也可以?xún)H進(jìn)行一次分割而不進(jìn)行上表面區(qū)域與側(cè)面區(qū)域分割。
在本發(fā)明的其它實(shí)施方式中,除了基于直方圖閾值的圖像分割算法,也可以采用其它圖像分割算法提取包裹的目標(biāo)區(qū)域,例如,基于背景建模的目標(biāo)分割方法、聚類(lèi)分割方法等。
本發(fā)明第三實(shí)施方式涉及一種基于深度相機(jī)的體積測(cè)量方法,如圖2所示為包裹體積測(cè)量過(guò)程的切面示意圖。
第三實(shí)施方式在第一實(shí)施方式的基礎(chǔ)上進(jìn)行了改進(jìn),主要改進(jìn)之處在于: 在三維相機(jī)坐標(biāo)系下,通過(guò)測(cè)量包裹上表面與傳送帶表面兩個(gè)平面的距離來(lái)計(jì)算包裹高度,使得包裹高度測(cè)量值更為精確;利用待測(cè)對(duì)象目標(biāo)區(qū)域內(nèi)部的點(diǎn)代替待測(cè)對(duì)象目標(biāo)區(qū)域最小外接矩形頂點(diǎn)計(jì)算待測(cè)對(duì)象的長(zhǎng)和寬,計(jì)算結(jié)果更精確。具體地說(shuō):
計(jì)算高度時(shí),由于實(shí)際相機(jī)安裝過(guò)程中,相機(jī)光軸并不完全垂直于傳送帶平面,會(huì)存在一定的傾斜角α,如圖2所示為包裹體積測(cè)量過(guò)程的切面示意圖。若利用包裹上表面A點(diǎn)與傳送帶表面B點(diǎn)的深度差A(yù)B去計(jì)算包裹高度H,并不準(zhǔn)確;若利用包裹上表面深度均值與傳送帶表面均值的深度差計(jì)算包裹高度H,也會(huì)存在一定的誤差。并且傾斜角α越大,其產(chǎn)生的誤差也越大。假設(shè)包裹為規(guī)則立方體,在包裹體積測(cè)量過(guò)程中,包裹的上表面與傳送帶表面是相互平行的。因此,為了使得包裹高度測(cè)量值更為精確,在三維相機(jī)坐標(biāo)系下,通過(guò)測(cè)量包裹上表面與傳送帶表面的兩個(gè)平面的距離來(lái)表示包裹高度H。
考慮到上述實(shí)際情況,在步驟104中,根據(jù)待測(cè)對(duì)象的三維坐標(biāo)計(jì)算待測(cè)對(duì)象的高度的步驟包括以下子步驟:
根據(jù)傳送帶表面多個(gè)坐標(biāo)點(diǎn)的三維坐標(biāo)對(duì)傳送帶進(jìn)行平面擬合,獲取傳送帶平面表達(dá)式z=ax+by+c1中的參數(shù)a、b和c1;
根據(jù)傳送帶平面的參數(shù)a、b和c1,待測(cè)對(duì)象的目標(biāo)區(qū)域的各像素的三維坐標(biāo),和待測(cè)對(duì)象平面表達(dá)式z=ax+by+c2,計(jì)算出待測(cè)對(duì)象平面表達(dá)式的參數(shù)c2;
根據(jù)傳送帶平面和待測(cè)對(duì)象平面的表達(dá)式和上述參數(shù),根據(jù)下式計(jì)算待測(cè)對(duì)象的高度
此外,計(jì)算長(zhǎng)寬時(shí),由于在實(shí)際將待測(cè)對(duì)象與傳送帶分割開(kāi)來(lái)時(shí),對(duì)應(yīng)的最小外接矩形的四個(gè)頂點(diǎn)并不一定都在實(shí)際的目標(biāo)區(qū)域內(nèi),因此四個(gè)頂點(diǎn)的深度信息可能不是將待測(cè)對(duì)象的深度信息,所以直接通過(guò)四個(gè)頂點(diǎn)計(jì)算的 長(zhǎng)寬并不準(zhǔn)確。例如,如圖3所示為待測(cè)對(duì)象在二維成像平面上的坐標(biāo)示意圖,其中二維平面坐標(biāo)系中的四個(gè)頂點(diǎn)坐標(biāo)分別為P1(u1,v1)、P2(u2,v2)、P3(u3,v3)、P4(u4,v4)。
考慮到上述實(shí)際情況,在步驟104中,根據(jù)待測(cè)對(duì)象的三維坐標(biāo)計(jì)算待測(cè)對(duì)象的長(zhǎng)寬的步驟包括以下子步驟:
求解待測(cè)對(duì)象目標(biāo)區(qū)域的最小外接矩形及該最小外接矩形的四個(gè)頂點(diǎn)P1,P2,P3,和P4;
選取所述最小外接矩形對(duì)角線P1P4和P2P3上1/4和3/4處的點(diǎn)Q1,Q2,Q3和Q4;
其中,如圖3所示,選取的四個(gè)點(diǎn)在二維成像平面上的坐標(biāo)分別為Q1(u5,v5)和Q4(u8,v8),Q2(u6,v6)和Q3(u7,v7)
根據(jù)點(diǎn)Q1,Q2,Q3和Q4在三維相機(jī)坐標(biāo)系中的坐標(biāo)計(jì)算待測(cè)對(duì)象的長(zhǎng)和寬:
其中,點(diǎn)Q1,Q2,Q3和Q4在三維相機(jī)坐標(biāo)系中的坐標(biāo)分別為
在上述步驟中,選取最小外接矩形對(duì)角線P1P4和P2P3上1/4和3/4處的點(diǎn)Q1,Q2,Q3和Q4后,在二維圖像上Q1Q2的長(zhǎng)度為P1P2的一半,Q3Q4的長(zhǎng)度為P3P4的一半,Q1Q3的長(zhǎng)度為P1P3的一半,Q2Q4的長(zhǎng)度為P2P4的一半,因此根據(jù)上述兩個(gè)公式計(jì)算出的即為待測(cè)對(duì)象的長(zhǎng)和寬。
需要指出的是,所選取的點(diǎn)Q1,Q2,Q3和Q4不一定是對(duì)角線P1P4和P2P3上1/4和3/4處的點(diǎn),也可以是其它比例的點(diǎn),相應(yīng)的,上述計(jì)算長(zhǎng)和寬的公式也要相應(yīng)改變。
此外,除了上述往內(nèi)收縮取點(diǎn)的方法,也可以選取向外延伸取點(diǎn)的方法,即選取P1P4和P2P3延長(zhǎng)線上屬于傳送帶范圍內(nèi)的點(diǎn)。此外,也可以直接利用二維坐標(biāo)計(jì)算長(zhǎng)寬。
本發(fā)明第四實(shí)施方式涉及一種基于深度相機(jī)的體積測(cè)量方法,圖4是該基于深度相機(jī)的體積測(cè)量方法的實(shí)施場(chǎng)景示意圖。
第四實(shí)施方式在第一實(shí)施方式的基礎(chǔ)上進(jìn)行了改進(jìn),主要改進(jìn)之處在于:根據(jù)傳送帶的速度對(duì)深度相機(jī)的圖像輸出幀率進(jìn)行調(diào)節(jié)可以滿(mǎn)足不同傳輸速度下不同分辨率的應(yīng)用需求;通過(guò)判斷待測(cè)對(duì)象是否已經(jīng)傳送至深度相機(jī)的正下方范圍內(nèi),決定是否進(jìn)行體積測(cè)量,提高了計(jì)算效率。具體地說(shuō):
在深度相機(jī)獲取含有待測(cè)對(duì)象的深度圖的步驟之前,還包括步驟:
采用聯(lián)動(dòng)控制方式,根據(jù)傳送帶的速度對(duì)深度相機(jī)獲取深度圖的圖像輸出幀率進(jìn)行調(diào)節(jié),其中傳送帶的速度越快深度相機(jī)獲取深度圖的圖像輸出幀率越高。
可以理解,當(dāng)傳送帶速度較快時(shí),選擇較高幀率輸出(同時(shí)對(duì)應(yīng)較低的圖像分辨率),此時(shí)包裹的體積測(cè)量效率較高(單位時(shí)間內(nèi)測(cè)量的包裹數(shù)較多),但體積測(cè)量的準(zhǔn)確性較差,適合對(duì)傳送及測(cè)量速度有要求的場(chǎng)合。當(dāng)傳送帶速度較慢時(shí),選擇低幀率輸出(同時(shí)對(duì)應(yīng)較高的圖像分辨率),此時(shí)包裹的體積測(cè)量效率較低,但體積測(cè)量的準(zhǔn)確性較高,適合對(duì)測(cè)量準(zhǔn)確率較高的場(chǎng)景。
在本發(fā)明的其它實(shí)施方式中,當(dāng)深度相機(jī)只有一個(gè)固定幀率時(shí),也可選擇固定幀率輸出即可。
此外,在“根據(jù)深度信息將待測(cè)對(duì)象從深度圖中提取出來(lái),得到待測(cè)對(duì)象目標(biāo)區(qū)域”的步驟102之前,還包括以下步驟:
根據(jù)待測(cè)對(duì)象中心的二維圖像坐標(biāo)是否在深度圖的中心范圍內(nèi),判斷待 測(cè)對(duì)象是否已經(jīng)傳送至深度相機(jī)的正下方;
如果判斷結(jié)果為是,則執(zhí)行從深度相機(jī)獲取含有待測(cè)對(duì)象的深度圖的步驟;如果判斷結(jié)果為否,則等待。
具體地說(shuō),在如圖4所示的場(chǎng)景中,深度相機(jī)安裝在傳送帶中心上方,包裹被放置傳送帶上,深度相機(jī)實(shí)時(shí)捕捉場(chǎng)景中的深度圖像。當(dāng)包裹出現(xiàn)在深度相機(jī)視場(chǎng)范圍內(nèi)時(shí),對(duì)包裹目標(biāo)進(jìn)行分割提取;然后可計(jì)算出包裹中心的二維圖像坐標(biāo),若包裹中心坐標(biāo)出現(xiàn)在圖像中心一定范圍內(nèi),則認(rèn)為包裹已傳送至深度相機(jī)正下方,并開(kāi)始對(duì)其進(jìn)行體積測(cè)量,否則處于等待測(cè)量狀態(tài);最后對(duì)多幀圖像中已測(cè)量出的包裹體積結(jié)果求平均,即為最終包裹體積測(cè)量的輸出結(jié)果。
此外,可以理解,在本發(fā)明的其它實(shí)施方式中,也可以不進(jìn)行上述判斷是否在深度相機(jī)正下方的步驟,并不影響本發(fā)明的效果。
作為優(yōu)選實(shí)施例,基于深度相機(jī)的包裹體積測(cè)量方法流程圖如圖5所示,具體的步驟包括:
1)相機(jī)內(nèi)參標(biāo)定
相機(jī)內(nèi)參標(biāo)定主要包括焦距、像素基準(zhǔn)點(diǎn)和畸變系數(shù),可采用比較主流的標(biāo)定方法進(jìn)行標(biāo)定,如張正友標(biāo)定法。相機(jī)內(nèi)參主要用于二維成像平面到三維相機(jī)平面的坐標(biāo)轉(zhuǎn)換。
2)深度相機(jī)抓取深度圖
通過(guò)深度相機(jī)抓取含有包裹的深度圖,從而獲取到包裹到深度相機(jī)的距離。深度相機(jī)可以是但不限于TOF深度相機(jī)、雙目深度相機(jī)和光場(chǎng)相機(jī),任何可獲取包裹深度信息的相機(jī)均適用。
3)提取包裹目標(biāo)
深度圖中由于包裹深度與背景深度的差異性較大,可通過(guò)基于直方圖閾 值的圖像分割算法將包裹上表面區(qū)域從背景中提取出來(lái),其它圖像分割算法也適用?;谥狈綀D閾值的圖像分割算法具體實(shí)施如下:
a)對(duì)深度圖進(jìn)行直方圖統(tǒng)計(jì);
b)查找直方圖中波谷作為分割閾值T,小于閾值T的即為包裹區(qū)域。由于深度圖中主要場(chǎng)景為包裹和傳送帶,因此直方圖中會(huì)形成雙峰,雙峰之間的波谷對(duì)應(yīng)的閾值T可以有效地將包裹與傳送帶分割開(kāi)來(lái)。同時(shí)包裹區(qū)域?qū)?yīng)的深度值要小于傳送帶深度;
c)對(duì)包裹區(qū)域再次進(jìn)行直方圖統(tǒng)計(jì),計(jì)算波峰對(duì)應(yīng)的深度值Depth,以(Depth-ΔT,Depth+ΔT)為有效深度范圍再次對(duì)包裹進(jìn)行分割,提取最終的有效包裹上表面區(qū)域。由于相機(jī)安裝時(shí),其光軸并不一定完全垂直包裹,會(huì)存在一定傾斜角。因此包裹側(cè)面會(huì)出現(xiàn)在深度圖中,影響包裹上表面區(qū)域的提取。通過(guò)二次分割可以有效地去除包裹側(cè)面干擾,僅保留包裹上表面區(qū)域,ΔT一般取值為2cm,設(shè)置為參數(shù)可調(diào);
4)包裹二維坐標(biāo)到三維坐標(biāo)轉(zhuǎn)換
在不考慮相機(jī)畸變情況下,利用相機(jī)內(nèi)參,可將深度圖中包裹目標(biāo)區(qū)域的各像素的二維圖像坐標(biāo)(u,v)轉(zhuǎn)換到以相機(jī)光心為中心的三維坐標(biāo)(Xc,Yc,Zc),計(jì)算公式如下:
其中,fx和fy為焦距,(u0,v0)為像素基準(zhǔn)點(diǎn),Zc為目標(biāo)點(diǎn)到相機(jī)的距離,可由深度相機(jī)直接獲取。
5)計(jì)算包裹高度
在實(shí)際相機(jī)安裝過(guò)程中,相機(jī)光軸并不完全垂直于傳送帶平面,會(huì)存在一定的傾斜角α,如圖2所示。若利用包裹上表面A點(diǎn)與傳送帶表面B點(diǎn)的 深度差A(yù)B去計(jì)算包裹高度H,并不準(zhǔn)確;若利用包裹上表面深度均值與傳送帶表面均值的深度差計(jì)算包裹高度H,也會(huì)存在一定的誤差。并且傾斜角α越大,其產(chǎn)生的誤差也越大。假設(shè)包裹為規(guī)則立方體,在包裹體積測(cè)量過(guò)程中,包裹的上表面與傳送帶表面是相互平行的。因此,為了使得包裹高度測(cè)量值更為精確,在三維相機(jī)坐標(biāo)系下,通過(guò)測(cè)量包裹上表面與傳送帶表面的兩個(gè)平面的距離來(lái)表示包裹高度H。
在本發(fā)明中,三維相機(jī)坐標(biāo)系下,傳送帶平面表示為z=ax+by+c1,由于包裹平面與傳送帶平面平行,則包裹平面可表示為z=ax+by+c2。包裹高度H,即為兩平面的距離,其計(jì)算公式如下:
在實(shí)際應(yīng)用中,由于包裹種類(lèi)較多,差異性較大,包裹上表面并不一定完全平行于傳送帶平面。因此,先通過(guò)最小二乘法擬合傳送帶平面,獲取參數(shù)a、b和c1,僅在相機(jī)安裝后的初始化狀態(tài)擬合一次即可;然后再通過(guò)包裹上表面的三維坐標(biāo)點(diǎn)計(jì)算出c2。具體實(shí)施方法如下:
首先通過(guò)二維圖像坐標(biāo)到三維相機(jī)坐標(biāo)的換算關(guān)系,計(jì)算出傳送帶表面各點(diǎn)的三維坐標(biāo)(x1,y1,z1)、(x2,y2,z2)、…(xn,yn,zn);然后采用最小二乘法進(jìn)行平面擬合。其中,n表示擬合所需的坐標(biāo)點(diǎn)總個(gè)數(shù),n≥3。并不一定是所有傳送帶的坐標(biāo)點(diǎn),可通過(guò)抽樣,獲取一定數(shù)量的坐標(biāo)點(diǎn)即可。但n個(gè)數(shù)越多,擬合的平面越精確。三維相機(jī)坐標(biāo)下的傳送帶坐標(biāo)點(diǎn)滿(mǎn)足如下關(guān)系:
將上述表達(dá)式可進(jìn)行矩陣換算,可得:
假設(shè)矩陣矩陣矩陣則AM=B。
因此可推導(dǎo)出:
M=(ATA)-1ATB
根據(jù)以上推導(dǎo)即可求解出參數(shù)a,b和c1。然后根據(jù)步驟4)中已計(jì)算出的包裹三維坐標(biāo)(x′1,y′1,z′1)、(x′2,y′2,z′2)、…(x′n,y′n,z′n)和包裹平面z=ax+by+c2計(jì)算出參數(shù)c2,公式如下:
6)計(jì)算包裹長(zhǎng)寬
根據(jù)深度圖中的包裹目標(biāo)上表面區(qū)域,求其最小外接矩形,如圖所示。其中二維平面坐標(biāo)系中的四個(gè)頂點(diǎn)坐標(biāo)分別為P1(u1,v1))、P2(u2,v2)、P3(u3,v3)、P4(u4,v4),Q1(u5,v5)和Q4(u8,v8)分別為直線P1P4上1/4和3/4點(diǎn)位置,Q2(u6,v6)和Q3(u7,v7)分別為直線P2P3上1/4和3/4點(diǎn)位置。由于在實(shí)際包裹分割時(shí),對(duì)應(yīng)的最小外接矩形的四個(gè)頂點(diǎn)并不一定都在包裹目標(biāo)區(qū)域,其四個(gè)頂點(diǎn)的深度信息可能不是包裹的深度信息,所以通過(guò)四個(gè)頂點(diǎn)去計(jì)算邊長(zhǎng)并不準(zhǔn)確。因此,利用圖像包裹區(qū)域中的Q1、Q2、Q3、Q4四點(diǎn)去計(jì)算邊長(zhǎng),其在三維相機(jī)坐標(biāo)系中的坐標(biāo)分別包裹的長(zhǎng)L和寬W計(jì)算公式如下:
7)計(jì)算包裹體積
根據(jù)包裹的長(zhǎng)、寬和高,可以計(jì)算出體積,如下:
V=L·W·H
由于本優(yōu)選例利用深度相機(jī)獲取到包裹的深度信息,并將被測(cè)包裹的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機(jī)坐標(biāo)系中,然后再進(jìn)行體積測(cè)量。因此,是一種基于機(jī)器視覺(jué)的三維空間測(cè)量方法,其測(cè)量精度高,操作簡(jiǎn)單、方便,并且不受相機(jī)拍攝角度和高度影響,也無(wú)需對(duì)相機(jī)安裝高度和角度進(jìn)行標(biāo)定。
此外,該優(yōu)選例還采用聯(lián)動(dòng)控制方式,可根據(jù)傳送帶速度對(duì)相機(jī)輸出的圖像幀率和分辨率進(jìn)行調(diào)節(jié),以滿(mǎn)足不同傳輸速度下不同分辨率的應(yīng)用需求。其具體實(shí)施的場(chǎng)景示意圖如圖4所示。
深度相機(jī)安裝在傳送帶中心上方,包裹被放置傳送帶上,深度相機(jī)實(shí)時(shí)捕捉場(chǎng)景中的深度圖像。當(dāng)包裹出現(xiàn)在深度相機(jī)視場(chǎng)范圍內(nèi)時(shí),對(duì)包裹目標(biāo)進(jìn)行分割提取;然后可計(jì)算出包裹中心的二維圖像坐標(biāo),若包裹中心坐標(biāo)出現(xiàn)在圖像中心一定范圍內(nèi),則認(rèn)為包裹已傳送至深度相機(jī)正下方,并開(kāi)始對(duì)其進(jìn)行體積測(cè)量,否則處于等待測(cè)量狀態(tài);最后對(duì)多幀圖像中已測(cè)量出的包裹體積結(jié)果求平均,即為最終包裹體積測(cè)量的輸出結(jié)果。
深度相機(jī)一般有多個(gè)不同幀率可選擇,其分別對(duì)應(yīng)不同分辨率。本優(yōu)選例可根據(jù)傳送帶速度μ手動(dòng)或自動(dòng)調(diào)整深度相機(jī)幀率F,以滿(mǎn)足不同深度分辨率下的應(yīng)用需求。當(dāng)傳送帶速度較快時(shí),選擇高幀率輸出;當(dāng)傳送帶速度較慢時(shí),選擇低幀率輸出。若深度相機(jī)僅有一個(gè)固定幀率,則選擇固定幀率輸出即可。
本發(fā)明的各方法實(shí)施方式均可以以軟件、硬件、固件等方式實(shí)現(xiàn)。不管本發(fā)明是以軟件、硬件、還是固件方式實(shí)現(xiàn),指令代碼都可以存儲(chǔ)在任何類(lèi)型的計(jì)算機(jī)可訪問(wèn)的存儲(chǔ)器中(例如永久的或者可修改的,易失性的或者非易失性的,固態(tài)的或者非固態(tài)的,固定的或者可更換的介質(zhì)等等)。同樣,存儲(chǔ)器可以例如是可編程陣列邏輯(Programmable Array Logic,簡(jiǎn)稱(chēng)“PAL”)、隨機(jī)存取存儲(chǔ)器(Random Access Memory,簡(jiǎn)稱(chēng)“RAM”)、 可編程只讀存儲(chǔ)器(Programmable Read Only Memory,簡(jiǎn)稱(chēng)“PROM”)、只讀存儲(chǔ)器(Read-Only Memory,簡(jiǎn)稱(chēng)“ROM”)、電可擦除可編程只讀存儲(chǔ)器(Electrically Erasable Programmable ROM,簡(jiǎn)稱(chēng)“EEPROM”)、磁盤(pán)、光盤(pán)、數(shù)字通用光盤(pán)(Digital Versatile Disc,簡(jiǎn)稱(chēng)“DVD”)等等。
本發(fā)明第五實(shí)施方式涉及一種基于深度相機(jī)的體積測(cè)量系統(tǒng),圖6是該基于深度相機(jī)的體積測(cè)量系統(tǒng)的結(jié)構(gòu)示意圖。如圖所示,該基于深度相機(jī)的體積測(cè)量系統(tǒng)包括以下模塊:
深度圖獲取模塊,用于從深度相機(jī)獲取含有待測(cè)對(duì)象的深度圖,深度圖包含有待測(cè)對(duì)象的深度信息;
對(duì)象提取模塊,用于根據(jù)深度信息將待測(cè)對(duì)象從深度圖中提取出來(lái),得到待測(cè)對(duì)象目標(biāo)區(qū)域;
坐標(biāo)轉(zhuǎn)換模塊,用于利用預(yù)先標(biāo)定的深度相機(jī)的參數(shù),將待測(cè)對(duì)象的目標(biāo)區(qū)域中各像素的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機(jī)坐標(biāo)系下的三維坐標(biāo);
體積測(cè)量模塊,在三維相機(jī)坐標(biāo)系下,根據(jù)待測(cè)對(duì)象的三維坐標(biāo)計(jì)算待測(cè)對(duì)象的高度和長(zhǎng)寬,從而計(jì)算出待測(cè)對(duì)象的體積。
優(yōu)選地,在坐標(biāo)轉(zhuǎn)換模塊中,通過(guò)以下公式進(jìn)行坐標(biāo)轉(zhuǎn)換:
其中,(u,v)為像素的二維圖像坐標(biāo),(Xc,Yc,Zc)為三維相機(jī)坐標(biāo)系下的三維坐標(biāo),fx和fy為焦距,(u0,v0)為像素基準(zhǔn)點(diǎn),Zc為目標(biāo)點(diǎn)到相機(jī)的距離,可由深度相機(jī)直接獲取。
本實(shí)施方式通過(guò)深度相機(jī)獲取的深度信息提取待測(cè)對(duì)象,并將待測(cè)對(duì)象的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機(jī)坐標(biāo),然后對(duì)體積進(jìn)行測(cè)量,測(cè)量精度高,不受拍攝角度和高度影響,無(wú)需對(duì)相機(jī)安裝高度和角度進(jìn)行標(biāo)定,使用簡(jiǎn)單 方便。
第一實(shí)施方式是與本實(shí)施方式相對(duì)應(yīng)的方法實(shí)施方式,本實(shí)施方式可與第一實(shí)施方式互相配合實(shí)施。第一實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)在本實(shí)施方式中依然有效,為了減少重復(fù),這里不再贅述。相應(yīng)地,本實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)也可應(yīng)用在第一實(shí)施方式中。
本發(fā)明第六實(shí)施方式涉及一種基于深度相機(jī)的體積測(cè)量系統(tǒng),第六實(shí)施方式在第五實(shí)施方式的基礎(chǔ)上進(jìn)行了改進(jìn),主要改進(jìn)之處在于:利用深度圖中待測(cè)對(duì)象深度與背景深度的差異性,基于直方圖閾值的圖像分割算法將待測(cè)對(duì)象上表面區(qū)域從背景中提取出來(lái);通過(guò)二次分割可以有效地去除側(cè)面干擾,保留有效的上表面區(qū)域作為待測(cè)對(duì)象目標(biāo)區(qū)域。具體地說(shuō):
對(duì)象提取模塊包括以下子模塊:
第一深度值統(tǒng)計(jì)模塊,用于對(duì)深度圖進(jìn)行直方圖統(tǒng)計(jì)深度值;
第一提取模塊,用于根據(jù)第一分割閾值將待測(cè)對(duì)象與傳送帶分割開(kāi)來(lái),將小于第一分割閾值的區(qū)域提取作為初步的待測(cè)對(duì)象目標(biāo)區(qū)域;
第二深度值統(tǒng)計(jì)模塊,用于對(duì)初步的待測(cè)對(duì)象的目標(biāo)區(qū)域再次進(jìn)行直方圖統(tǒng)計(jì)深度值;
第二提取模塊,用于根據(jù)第二分割閾值將待測(cè)對(duì)象的上表面區(qū)域與待測(cè)對(duì)象的側(cè)面區(qū)域分割開(kāi)來(lái),保留上表面區(qū)域作為待測(cè)對(duì)象目標(biāo)區(qū)域。
第二實(shí)施方式是與本實(shí)施方式相對(duì)應(yīng)的方法實(shí)施方式,本實(shí)施方式可與第二實(shí)施方式互相配合實(shí)施。第二實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)在本實(shí)施方式中依然有效,為了減少重復(fù),這里不再贅述。相應(yīng)地,本實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)也可應(yīng)用在第二實(shí)施方式中。
本發(fā)明第七實(shí)施方式涉及一種基于深度相機(jī)的體積測(cè)量系統(tǒng),第七實(shí)施方式在第五實(shí)施方式的基礎(chǔ)上進(jìn)行了改進(jìn),主要改進(jìn)之處在于:在三維相機(jī) 坐標(biāo)系下,通過(guò)測(cè)量包裹上表面與傳送帶表面兩個(gè)平面的距離來(lái)計(jì)算包裹高度,使得包裹高度測(cè)量值更為精確;利用待測(cè)對(duì)象目標(biāo)區(qū)域內(nèi)部的點(diǎn)代替待測(cè)對(duì)象目標(biāo)區(qū)域最小外接矩形頂點(diǎn)計(jì)算待測(cè)對(duì)象的長(zhǎng)和寬,計(jì)算結(jié)果更精確。具體地說(shuō):
體積測(cè)量模塊包括以下子模塊,用于根據(jù)待測(cè)對(duì)象的三維坐標(biāo)計(jì)算待測(cè)對(duì)象的高度:
平面擬合子模塊,用于根據(jù)傳送帶表面多個(gè)坐標(biāo)點(diǎn)的三維坐標(biāo)對(duì)傳送帶進(jìn)行平面擬合,獲取傳送帶平面表達(dá)式z=ax+by+c1中的參數(shù)a、b和c1;
待測(cè)對(duì)象平面參數(shù)計(jì)算子模塊,用于根據(jù)傳送帶平面的參數(shù)a、b和c1,待測(cè)對(duì)象的目標(biāo)區(qū)域的各像素的三維坐標(biāo),和待測(cè)對(duì)象平面表達(dá)式z=ax+by+c2,計(jì)算出待測(cè)對(duì)象平面表達(dá)式的參數(shù)c2;
高度計(jì)算子模塊,用于根據(jù)傳送帶平面和待測(cè)對(duì)象平面的表達(dá)式和上述參數(shù),根據(jù)下式計(jì)算待測(cè)對(duì)象的高度
體積測(cè)量模塊包括以下子模塊,用于根據(jù)待測(cè)對(duì)象的三維坐標(biāo)計(jì)算待測(cè)對(duì)象的長(zhǎng)寬:
外接頂點(diǎn)計(jì)算子模塊,用于求解待測(cè)對(duì)象目標(biāo)區(qū)域的最小外接矩形及該最小外接矩形的四個(gè)頂點(diǎn)P1,P2,P3,和P4;
目標(biāo)區(qū)域內(nèi)選點(diǎn)子模塊,用于選取所述最小外接矩形對(duì)角線P1P4和P2P3上1/4和3/4處的點(diǎn)Q1,Q2,Q3和Q4;
長(zhǎng)寬計(jì)算子模塊,用于根據(jù)點(diǎn)Q1,Q2,Q3和Q4在三維相機(jī)坐標(biāo)系中的坐標(biāo)計(jì)算待測(cè)對(duì)象的長(zhǎng)和寬:
其中,點(diǎn)Q1,Q2,Q3和Q4在三維相機(jī)坐標(biāo)系中的坐標(biāo)分別為
第三實(shí)施方式是與本實(shí)施方式相對(duì)應(yīng)的方法實(shí)施方式,本實(shí)施方式可與第三實(shí)施方式互相配合實(shí)施。第三實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)在本實(shí)施方式中依然有效,為了減少重復(fù),這里不再贅述。相應(yīng)地,本實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)也可應(yīng)用在第三實(shí)施方式中。
本發(fā)明第八實(shí)施方式涉及一種基于深度相機(jī)的體積測(cè)量系統(tǒng),第八實(shí)施方式在第五實(shí)施方式的基礎(chǔ)上進(jìn)行了改進(jìn),主要改進(jìn)之處在于:根據(jù)傳送帶的速度對(duì)深度相機(jī)的圖像輸出幀率進(jìn)行調(diào)節(jié)可以滿(mǎn)足不同傳輸速度下不同分辨率的應(yīng)用需求;通過(guò)判斷待測(cè)對(duì)象是否已經(jīng)傳送至深度相機(jī)的正下方范圍內(nèi),決定是否進(jìn)行體積測(cè)量,提高了計(jì)算效率。具體地說(shuō):
還包括幀率調(diào)節(jié)模塊:用于采用聯(lián)動(dòng)控制方式,根據(jù)傳送帶的速度對(duì)深度相機(jī)獲取深度圖的圖像輸出幀率進(jìn)行調(diào)節(jié),其中傳送帶的速度越快深度相機(jī)獲取深度圖的圖像輸出幀率越高。
還包括測(cè)量控制模塊:用于根據(jù)待測(cè)對(duì)象中心的二維圖像坐標(biāo)是否在深度圖的中心范圍內(nèi),判斷待測(cè)對(duì)象是否已經(jīng)傳送至深度相機(jī)的正下方。如果判斷結(jié)果為是,則控制深度圖獲取模塊執(zhí)行從深度相機(jī)獲取含有待測(cè)對(duì)象的深度圖;如果判斷結(jié)果為否,則等待。
第四實(shí)施方式是與本實(shí)施方式相對(duì)應(yīng)的方法實(shí)施方式,本實(shí)施方式可與第四實(shí)施方式互相配合實(shí)施。第四實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)在本實(shí)施方式中依然有效,為了減少重復(fù),這里不再贅述。相應(yīng)地,本實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)也可應(yīng)用在第四實(shí)施方式中。
作為優(yōu)選例,基于深度相機(jī)的體積測(cè)量系統(tǒng)主要由四個(gè)模塊組成:圖像數(shù)據(jù)采集模塊(即深度圖獲取模塊)、調(diào)節(jié)控制模塊(即幀率調(diào)節(jié)模塊和測(cè)量控制模塊)、數(shù)據(jù)處理模塊(即對(duì)象提取模塊和坐標(biāo)轉(zhuǎn)換模塊)和體積測(cè) 量模塊。各模塊之間關(guān)聯(lián)如圖7所示,其中,
1)圖像數(shù)據(jù)采集模塊:針對(duì)包裹測(cè)量場(chǎng)景進(jìn)行實(shí)時(shí)深度圖數(shù)據(jù)采集;
2)調(diào)節(jié)控制模塊:完成深度相機(jī)的圖像幀率調(diào)節(jié)和包裹體積測(cè)量控制功能。圖像幀率調(diào)節(jié)是根據(jù)傳送帶的傳輸速度手動(dòng)或自動(dòng)調(diào)節(jié)深度相機(jī)的圖像輸出幀率;包裹體積測(cè)量控制是根據(jù)包裹中心是否在圖像中心來(lái)控制是否需要進(jìn)行體積測(cè)量,只有當(dāng)包裹被傳送至深度相機(jī)正下方時(shí)才進(jìn)行體積測(cè)量;
3)數(shù)據(jù)處理模塊:主要包括包裹目標(biāo)提取和包裹目標(biāo)二維圖像坐標(biāo)到三維坐標(biāo)的轉(zhuǎn)換;
4)體積測(cè)量模塊:根據(jù)包裹三維坐標(biāo)進(jìn)行體積測(cè)量。
需要說(shuō)明的是,本發(fā)明各設(shè)備實(shí)施方式中提到的各模塊都是邏輯模塊,在物理上,一個(gè)邏輯模塊可以是一個(gè)物理模塊,也可以是一個(gè)物理模塊的一部分,還可以以多個(gè)物理模塊的組合實(shí)現(xiàn),這些邏輯模塊本身的物理實(shí)現(xiàn)方式并不是最重要的,這些邏輯模塊所實(shí)現(xiàn)的功能的組合才是解決本發(fā)明所提出的技術(shù)問(wèn)題的關(guān)鍵。此外,為了突出本發(fā)明的創(chuàng)新部分,本發(fā)明上述各設(shè)備實(shí)施方式并沒(méi)有將與解決本發(fā)明所提出的技術(shù)問(wèn)題關(guān)系不太密切的模塊引入,這并不表明上述設(shè)備實(shí)施方式并不存在其它的模塊。
需要說(shuō)明的是,在本專(zhuān)利的權(quán)利要求和說(shuō)明書(shū)中,諸如第一和第二等之類(lèi)的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái),而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒(méi)有明確列出的其他要素,或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下,由語(yǔ)句“包括一個(gè)”限定的要素,并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè) 備中還存在另外的相同要素。
雖然通過(guò)參照本發(fā)明的某些優(yōu)選實(shí)施方式,已經(jīng)對(duì)本發(fā)明進(jìn)行了圖示和描述,但本領(lǐng)域的普通技術(shù)人員應(yīng)該明白,可以在形式上和細(xì)節(jié)上對(duì)其作各種改變,而不偏離本發(fā)明的精神和范圍。