本文的實(shí)施例涉及基于光三角測(cè)量進(jìn)行三維成像的成像系統(tǒng)。
背景技術(shù):
1、用于工廠(chǎng)和物流自動(dòng)化的工業(yè)視覺(jué)相機(jī)和系統(tǒng)可以基于三維(3d)機(jī)器視覺(jué),其中捕獲場(chǎng)景和/或物體的3d圖像。3d圖像是指還包括“高度”或“深度”信息而不只包括或至少不只包括關(guān)于如常規(guī)圖像中的僅二維(2d)像素的信息(諸如強(qiáng)度和/或顏色)的圖像。即,圖像的每個(gè)像素可以包含與像素的位置相關(guān)聯(lián)并且映射到已被成像的例如物體的位置的信息。然后可以應(yīng)用處理以從3d圖像中提取關(guān)于物體的特性(即,物體的3d特性)的信息,并且例如轉(zhuǎn)換成各種3d圖像格式。這種關(guān)于高度的信息可以被稱(chēng)為范圍數(shù)據(jù),其中范圍數(shù)據(jù)因此可以與來(lái)自被成像的物體的高度測(cè)量的數(shù)據(jù)對(duì)應(yīng),或者換句話(huà)說(shuō)與來(lái)自物體的范圍或距離測(cè)量的數(shù)據(jù)對(duì)應(yīng)。替代地或附加地,像素可以包括關(guān)于例如材料屬性的信息,諸如與在成像區(qū)域中的光的散射或特定波長(zhǎng)的光的反射相關(guān)的信息。
2、因此,像素值可以例如與像素的強(qiáng)度和/或范圍數(shù)據(jù)和/或材料屬性相關(guān)。
3、當(dāng)圖像的圖像數(shù)據(jù)例如由具有被配置為一次一行像素地感測(cè)并提供圖像數(shù)據(jù)的傳感器的相機(jī)一次一行地掃描或提供時(shí),產(chǎn)生行掃描圖像數(shù)據(jù)。行掃描圖像的一種特殊情況是使用“光片(sheet?of?light)”照亮被光掃描的物體,通過(guò)光三角測(cè)量提供的圖像數(shù)據(jù)。與物體相交的光片產(chǎn)生投射在物體上并被物體反射的光線(xiàn)。通常使用激光器,從而在物體上產(chǎn)生激光線(xiàn)并被物體反射到相機(jī)。激光器通常是優(yōu)選的,并且光三角測(cè)量有時(shí)被稱(chēng)為激光三角測(cè)量,但也可以使用能夠提供“光片”(即,光平面或其他結(jié)構(gòu)化光)的其他光源。即,能夠提供保持聚焦并且不會(huì)擴(kuò)散出太多的光,或者換句話(huà)說(shuō),“結(jié)構(gòu)化”的光(例如由激光器或發(fā)光二極管(led)提供的光)的光源。因此,一般而言,如上面提到的光三角測(cè)量基于使用結(jié)構(gòu)化光進(jìn)行照明。
4、結(jié)構(gòu)化光與作為光三角測(cè)量的一部分用于照亮物體的定義的(通常是預(yù)定義的)光圖案對(duì)應(yīng)。通常,如上所指示的,在其照亮物體表面時(shí)以光平面形式的結(jié)構(gòu)化光產(chǎn)生投射在物體表面上并由物體表面反射并且由相機(jī)成像的光線(xiàn)。結(jié)構(gòu)化光的其他示例包括在更大區(qū)域上提供的照明的光邊緣,其可以被認(rèn)為與照亮物體的粗光線(xiàn)對(duì)應(yīng),其中投射在物體上的光邊緣與光平面情況下的光線(xiàn)對(duì)應(yīng)并且可以對(duì)應(yīng)地用作光平面情況下的光線(xiàn)。也可以使用其他結(jié)構(gòu)化光在光三角測(cè)量中照亮物體,例如產(chǎn)生投射在物體表面上并從物體表面反射的線(xiàn)、點(diǎn)、網(wǎng)格、條等。
5、在任何情況下,結(jié)構(gòu)化光的結(jié)構(gòu)使得可以識(shí)別在光平面中(例如,如果結(jié)構(gòu)化光與光平面對(duì)應(yīng))物體表面上發(fā)生反射的真實(shí)世界位置,并將這些位置映射到圖像傳感器上,以及在捕獲光(例如,反射光線(xiàn))的圖像中。如應(yīng)該認(rèn)識(shí)到,這是基于光三角測(cè)量的3d成像的基本原理。
6、3d機(jī)器視覺(jué)系統(tǒng)通?;谏鲜龉馊菧y(cè)量。在這樣的系統(tǒng)中,存在用結(jié)構(gòu)化光照亮物體的光源,諸如在物體上產(chǎn)生光線(xiàn)并且沿著其可以捕獲與物體的輪廓對(duì)應(yīng)的物體的3d特性的光平面。通過(guò)用這樣的線(xiàn)掃描物體并對(duì)物體執(zhí)行線(xiàn)掃描(涉及線(xiàn)和/或物體的移動(dòng)),可以捕獲與多個(gè)輪廓對(duì)應(yīng)的整個(gè)物體的3d特性。
7、通常,為了基于光三角測(cè)量產(chǎn)生3d圖像,來(lái)自要成像的物體的反射光被相機(jī)的圖像傳感器捕獲,例如,產(chǎn)生投射在物體上的光線(xiàn)的成像。然后在所得的圖像數(shù)據(jù)中檢測(cè)到強(qiáng)度峰。峰出現(xiàn)在與物體上反射由圖像傳感器捕獲的結(jié)構(gòu)化光的地點(diǎn)對(duì)應(yīng)的傳感器坐標(biāo)中的位置。通過(guò)提供結(jié)構(gòu)化光的真實(shí)世界坐標(biāo)與捕獲反射的結(jié)構(gòu)化光的圖像傳感器坐標(biāo)之間的映射(通常從成像系統(tǒng)設(shè)置時(shí)的校準(zhǔn)過(guò)程中已知),圖像數(shù)據(jù)包含關(guān)于發(fā)生反射的物體的所述高度信息。通常,但不是必需的,成像系統(tǒng)被設(shè)置為使得與反射光相關(guān)的強(qiáng)度峰應(yīng)該出現(xiàn)并且預(yù)計(jì)在傳感器的每列中,并且列內(nèi)的位置映射到高度。
8、從上文認(rèn)識(shí)到,圖像數(shù)據(jù)中這樣的除由光三角測(cè)量產(chǎn)生的強(qiáng)度峰之外的其他強(qiáng)度峰可能會(huì)導(dǎo)致問(wèn)題,并且如果發(fā)生,那么至少不應(yīng)被檢測(cè)到和/或用作屬于光三角測(cè)量的這樣的強(qiáng)度峰。而且,使圖像傳感器像素飽和的過(guò)強(qiáng)的強(qiáng)度峰會(huì)導(dǎo)致問(wèn)題,并使得難以用期望分辨率檢測(cè)峰。如上所述,不想要的強(qiáng)度峰導(dǎo)致的結(jié)果可能是在所得的輪廓圖像中以及由多個(gè)輪廓圖像形成的所得完整3d圖像中存在偽影,例如3d圖像中以“尖峰”形式的偽影。
9、不想要的強(qiáng)度峰可能例如由結(jié)構(gòu)化光的二次反射和/或非常強(qiáng)的鏡面反射引起,并且在現(xiàn)有技術(shù)中,它們通常通過(guò)“后圖像感測(cè)”解決方案來(lái)減輕,即,通過(guò)處理所得圖像數(shù)據(jù)來(lái)減輕,例如在強(qiáng)度峰檢測(cè)算法之前或作為強(qiáng)度峰檢測(cè)算法的一部分。這挑戰(zhàn)在于找到和/或識(shí)別由結(jié)構(gòu)化光在物體表面上的直接反射引起的用于光三角測(cè)量的“想要的”強(qiáng)度峰,和/或去除或避免使用不想要的強(qiáng)度峰用于光三角測(cè)量,諸如由結(jié)構(gòu)化光的二次反射引起的強(qiáng)度峰。已認(rèn)識(shí)到,如果將不想要的強(qiáng)度峰用作想要的強(qiáng)度峰,即,“好像它是用于光三角測(cè)量的想要的強(qiáng)度峰”,那么就不能產(chǎn)生物體的正確的3d成像。
10、由于想要如此的結(jié)構(gòu)化光并被光三角測(cè)量所用,因此自然會(huì)聚焦于“后圖像感測(cè)”解決方案來(lái)識(shí)別想要的強(qiáng)度峰。假反射通常會(huì)導(dǎo)致以“尖峰”,即,3d圖像中的極窄峰的形式的所述類(lèi)型的失真,因此現(xiàn)有技術(shù)中經(jīng)常使用中值濾波或類(lèi)似技術(shù)利用尖峰“后圖像感測(cè)”來(lái)減少問(wèn)題。
11、另一種“預(yù)圖像感測(cè)”現(xiàn)有技術(shù)解決方案涉及通過(guò)使用偏振光來(lái)減少結(jié)構(gòu)化光的鏡面反射問(wèn)題。這減少了鏡面反射,同時(shí)仍然可以為光三角測(cè)量提供可用的漫反射,參見(jiàn)例如。這樣做的缺點(diǎn)是,實(shí)現(xiàn)偏振光的偏振濾波器會(huì)導(dǎo)致大量生成的光被去除,并且降低能源效率。
12、雖然如上所述的現(xiàn)有解決方案涉及在基于光三角測(cè)量的3d成像期間減輕鏡面反射的負(fù)面影響,但仍然存在失真問(wèn)題,諸如所述的“尖峰”,特別是當(dāng)被成像的物體具有高反射性表面時(shí)。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述內(nèi)容,目的是對(duì)現(xiàn)有技術(shù)提供一項(xiàng)或多項(xiàng)改進(jìn)或替代,諸如促進(jìn)去除和/或減少來(lái)自基于光三角測(cè)量的3d成像系統(tǒng)的3d圖像中的失真,諸如“尖峰”。
2、根據(jù)本文實(shí)施例的第一方面,該目的通過(guò)一種用于基于光三角測(cè)量對(duì)物體進(jìn)行三維成像的成像系統(tǒng)來(lái)實(shí)現(xiàn)。該系統(tǒng)包括相機(jī)和被配置為提供物體的照明的光源,該照明包括結(jié)構(gòu)化光。相機(jī)相對(duì)于所提供的結(jié)構(gòu)化光布置,使得作為所述光三角測(cè)量的一部分,相機(jī)能夠在圖像中捕獲來(lái)自物體的反射結(jié)構(gòu)化光(511),從而根據(jù)光三角測(cè)量,捕獲的反射結(jié)構(gòu)化光在圖像中的位置映射到物體反射結(jié)構(gòu)化光的真實(shí)世界位置。結(jié)構(gòu)化光與虛擬體積相交,該虛擬體積包括物體并且與成像期間成像系統(tǒng)被配置為成像的包括所述物體的一個(gè)或多個(gè)物體所在的體積對(duì)應(yīng)。成像系統(tǒng)還包括遮光罩,遮光罩被布置在光源和所述虛擬體積之間的結(jié)構(gòu)化光外部,使得遮光罩屏蔽來(lái)自光源的雜散光,從而防止雜散光到達(dá)相機(jī)視場(chǎng)內(nèi)的虛擬體積。
3、在一些實(shí)施例中,遮光罩具有一個(gè)或多個(gè)遮光主表面,該主表面在與結(jié)構(gòu)化光的照明方向正交的一個(gè)或多個(gè)方向上延伸。
4、在一些實(shí)施例中,遮光罩在光源和虛擬體積之間的結(jié)構(gòu)化光的外部延伸,并且與結(jié)構(gòu)化光的距離沿著虛擬體積的方向減小。
5、在一些實(shí)施例中,遮光罩被布置在結(jié)構(gòu)化光的外部,與結(jié)構(gòu)化光的距離使得遮光罩由此避免屏蔽比照明降低到其最大強(qiáng)度的5%之處更靠近結(jié)構(gòu)化光的照明的光。
6、在一些實(shí)施例中,遮光罩被布置在結(jié)構(gòu)化光的外部,與結(jié)構(gòu)化光有一定距離但又足夠靠近,使得遮光罩至少屏蔽在照明降低到其最大強(qiáng)度的1%之處的照明的光。
7、在一些實(shí)施例中,遮光罩包括:
8、第一遮光罩部件,被布置在結(jié)構(gòu)化光的在相機(jī)方向的第一側(cè);和/或
9、第二遮光罩部件,被布置在結(jié)構(gòu)化光的在相機(jī)的相反方向的第二側(cè)。
10、在一些實(shí)施例中,第一遮光罩部件被布置在相機(jī)視場(chǎng)的覆蓋虛擬體積中的結(jié)構(gòu)化光的至少一部分的外部。
11、在一些實(shí)施例中,遮光罩在遮光罩最靠近虛擬體積和/或遮光罩最靠近照明具有焦點(diǎn)的位置之處最靠近結(jié)構(gòu)化光。
12、根據(jù)本文實(shí)施例的第二方面,該目的通過(guò)一種用于支持基于光三角測(cè)量減少三維成像中的失真的方法來(lái)實(shí)現(xiàn),其中所述三維成像由成像系統(tǒng)執(zhí)行。該成像系統(tǒng)包括相機(jī)和用于提供要成像物體的照明的光源。所述照明包括用于光三角測(cè)量的結(jié)構(gòu)化光。相機(jī)相對(duì)于所提供的結(jié)構(gòu)化光布置,使得相機(jī)在成像期間在圖像中捕獲來(lái)自物體的反射結(jié)構(gòu)化光作為所述光三角測(cè)量的一部分,從而根據(jù)光三角測(cè)量,捕獲的反射結(jié)構(gòu)化光在圖像中的位置映射到物體反射結(jié)構(gòu)化光的真實(shí)世界位置。結(jié)構(gòu)化光與虛擬體積相交,該虛擬體積包括物體并且與成像期間成像系統(tǒng)被配置為成像的包括所述物體的一個(gè)或多個(gè)物體所在的體積對(duì)應(yīng)。該方法包括至少在通過(guò)相機(jī)進(jìn)行所述成像期間防止來(lái)自光源的雜散光到達(dá)相機(jī)視場(chǎng)內(nèi)的虛擬體積。
13、在一些實(shí)施例中,所述防止雜散光是通過(guò)由布置在光源和所述虛擬體積之間的結(jié)構(gòu)化光的外部的遮光罩屏蔽雜散光來(lái)實(shí)現(xiàn)的。遮光罩可以如上所述。
14、本文的實(shí)施例基于如下發(fā)現(xiàn):雖然雜散光的反射非常弱,并且相對(duì)于光三角測(cè)量中使用的結(jié)構(gòu)化光似乎通??珊雎圆挥?jì),但是當(dāng)雜散光在虛擬體積內(nèi)的相機(jī)視場(chǎng)中引起鏡面反射,例如在被成像的物體上但在結(jié)構(gòu)化光外部的反射或在虛擬體積中的相鄰物體上(諸如下一個(gè)要成像的物體或在被成像的物體之前剛被成像的物體)的反射時(shí),雜散光的反射仍然會(huì)有問(wèn)題的。即使如此雜散光相對(duì)于從物體向相機(jī)反射的結(jié)構(gòu)化光非常弱,但是已經(jīng)發(fā)現(xiàn),朝向相機(jī)的所述雜散光的鏡面反射(主要是直接反射,但有時(shí)也有二次鏡面反射)會(huì)導(dǎo)致不想要的強(qiáng)度峰,這些峰難以根據(jù)光三角測(cè)量與由所述結(jié)構(gòu)化光引起的想要的強(qiáng)度峰區(qū)分開(kāi)來(lái)。用于找到對(duì)于光三角測(cè)量想要的強(qiáng)度峰(即,與來(lái)自物體的直接反射對(duì)應(yīng))的后成像方法通常聚焦于排除除來(lái)自鏡面雜散光反射之外的其他不想要的強(qiáng)度峰,諸如來(lái)自所述結(jié)構(gòu)化光的二次反射或由其他現(xiàn)象引起的強(qiáng)度峰。如本文的實(shí)施例中所述,通過(guò)防止雜散光進(jìn)入虛擬體積內(nèi)的視場(chǎng)(例如,通過(guò)屏蔽雜散光)將降低發(fā)生有問(wèn)題的鏡面雜散光反射的風(fēng)險(xiǎn),否則例如會(huì)導(dǎo)致3d圖像中的失真(諸如“尖峰”)。因此,本文的實(shí)施例使得能夠或至少支持減少這種情況,從而也改進(jìn)了3d成像。