本發(fā)明涉及深度傳感器、機(jī)器視覺(jué)、三維重建、雙目立體視覺(jué)、TOF技術(shù)領(lǐng)域，尤其涉及一種結(jié)合TOF技術(shù)和雙目視覺(jué)的深度信息獲取裝置及其方法。

背景技術(shù)：

近年來(lái)，深度信息在傳感器中獲得了越來(lái)越多的應(yīng)用。獲取深度信息的技術(shù)主要有雙目立體匹配、TOF(Time of Flight，飛行時(shí)間)、單目結(jié)構(gòu)光等技術(shù)。這些技術(shù)可以為傳感器增加額外的深度信息，在圖像識(shí)別與處理、場(chǎng)景理解、VR、AR和機(jī)器人等領(lǐng)域有著廣泛的應(yīng)用。然而，當(dāng)前市面上的主流產(chǎn)品依舊有各自的使用范圍和局限性。比如，雙目立體匹配依賴于復(fù)雜的算法，因此硬件要求高，計(jì)算時(shí)間長(zhǎng)，對(duì)于特征不明顯的目標(biāo)識(shí)別效果不佳；脈沖式TOF深度測(cè)量技術(shù)成本很高，由于掃描方法的限制，存在高分辨率和高刷新頻率的矛盾；相位法TOF深度測(cè)量距離分辨率和空間分辨率都不高，抗干擾能力較差；結(jié)構(gòu)光技術(shù)根據(jù)編碼方法的不同，也存在分辨率低、測(cè)量時(shí)間長(zhǎng)、可靠性差等缺陷，對(duì)測(cè)量目標(biāo)特性有一定要求，且抗干擾能力差，只能用于室內(nèi)。為滿足需求常需要配置多種傳感器，簡(jiǎn)單的傳感器疊加，并不能很好地改善整體性能，還會(huì)增加系統(tǒng)結(jié)構(gòu)復(fù)雜度和系統(tǒng)成本。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述不足，本發(fā)明提供一種結(jié)合TOF技術(shù)和雙目視覺(jué)的深度信息獲取裝置及其方法，具有雙目立體視覺(jué)高分辨率的同時(shí)，大幅降低算法要求，提高了測(cè)量速度，對(duì)無(wú)紋理的目標(biāo)也能很好識(shí)別，適用于室內(nèi)和室外環(huán)境下各種目標(biāo)。相對(duì)于簡(jiǎn)單的多種傳感器融合，不僅成本降低，集成度更好，而且性能上也更穩(wěn)定。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案如下：一種結(jié)合TOF技術(shù)和雙目視覺(jué)的深度信息獲取裝置，包括一個(gè)主動(dòng)光源發(fā)射裝置、一個(gè)TOF傳感器、左圖像傳感器、右圖像傳感器、控制器以及處理器；所述主動(dòng)光源發(fā)射裝置包括依次布置的光源、空間調(diào)制器件以及成像系統(tǒng)；主動(dòng)光源發(fā)射裝置和TOF傳感器均與控制器相連，TOF傳感器、左圖像傳感器和右圖像傳感器均與處理器相連。

所述的左圖像傳感器和右圖像傳感器在TOF傳感器兩側(cè)對(duì)稱放置；作為一種技術(shù)方案，左右圖像傳感器和TOF傳感器采用分光方法采集同樣條件下的圖像和深度信息。左、右圖像傳感器獲取的反射率信息可以對(duì)TOF傳感器進(jìn)行反饋，提高TOF傳感器的測(cè)量精度、降低噪聲。

所述的控制器控制光源發(fā)射時(shí)間調(diào)制的光，經(jīng)空間調(diào)制器件調(diào)制后，由成像系統(tǒng)形成具有一定空間分布的圖案照明場(chǎng)景。作為優(yōu)選，光源為L(zhǎng)ED或激光模組，主動(dòng)光源發(fā)射裝置的時(shí)間調(diào)制為正弦波或快速方波序列，空間調(diào)制器件為毛玻璃或光柵，成像系統(tǒng)為微透鏡陣列。

所述的TOF傳感器接收?qǐng)鼍澳繕?biāo)反射的回波信號(hào)，根據(jù)信號(hào)的時(shí)間調(diào)制計(jì)算飛行時(shí)間，進(jìn)一步得到場(chǎng)景深度信息。所述的圖像傳感器接收環(huán)境光和主動(dòng)光源照明下的場(chǎng)景圖像，主動(dòng)光源的空間調(diào)制給場(chǎng)景加上紋理，便于左右圖像傳感器對(duì)無(wú)紋理目標(biāo)進(jìn)行特征匹配。作為優(yōu)選，所述左圖像傳感器和右圖像傳感器采集到的圖像為灰度圖像，其光譜特性主要響應(yīng)主動(dòng)光源的窄波段，也能響應(yīng)部分可見(jiàn)光波段；進(jìn)一步的，所述左圖像傳感器和右圖像傳感器采集圖像也可以為RGB彩色圖像，獲取更多目標(biāo)信息進(jìn)行特征匹配。

本發(fā)明的另一目的是提供一種結(jié)合TOF技術(shù)和雙目視覺(jué)的深度信息獲取方法，具體包括如下步驟：

(1)控制器控制光源發(fā)射時(shí)間調(diào)制的光波信號(hào)，經(jīng)過(guò)空間調(diào)制器件調(diào)制后由成像系統(tǒng)形成圖案并照射目標(biāo)測(cè)量區(qū)域，TOF傳感器接收目標(biāo)測(cè)量區(qū)域反射的回波信號(hào)，計(jì)算光波飛行時(shí)間得到各點(diǎn)的深度信息；左圖像傳感器和右圖像傳感器采集環(huán)境光及主動(dòng)光源發(fā)射裝置照明下的場(chǎng)景，得到兩個(gè)視角下的左、右圖像；

(2)對(duì)TOF傳感器、左圖像傳感器和右圖像傳感器進(jìn)行標(biāo)定，得到三個(gè)傳感器在世界坐標(biāo)系的對(duì)應(yīng)關(guān)系；

(3)根據(jù)標(biāo)定參數(shù)，將深度信息映射到兩路圖像坐標(biāo)中，以深度信息增加約束條件對(duì)兩路圖像進(jìn)行立體匹配，包括以下幾種方法：

(3.1)深度圖像中，深度大于D的區(qū)域，在左右圖像中尋找1-2個(gè)對(duì)應(yīng)特征點(diǎn)，計(jì)算深度信息作為背景深度；進(jìn)一步的，可以分成多個(gè)等級(jí)，距離在D1-D2之間的區(qū)域計(jì)算一次深度，距離在D2-D3的區(qū)域計(jì)算一次深度，依次類推；

(3.2)深度圖像中，對(duì)步驟(3.1)之外的區(qū)域，計(jì)算其梯度，梯度值大于G的區(qū)域，在左右圖像中進(jìn)行高精度立體匹配，計(jì)算準(zhǔn)確的深度信息；

(3.3)深度圖像中，對(duì)步驟(3.1)和步驟(3.2)之外的區(qū)域，計(jì)算其二階梯度，二階梯度小于G2的區(qū)域，在左右圖像中僅對(duì)邊界進(jìn)行立體匹配，計(jì)算深度信息，其他部分進(jìn)行線性插值；

(3.4)深度圖像中，對(duì)步驟(3.1)、(3.2)、(3.3)之外的區(qū)域，在左右圖像中進(jìn)行低精度立體匹配，計(jì)算深度信息；

(3.5)對(duì)左右圖像進(jìn)行高通濾波，提取圖像中高頻成分，識(shí)別小尺寸目標(biāo)，計(jì)算深度信息。

(4)對(duì)兩路圖像中由于視角不同所產(chǎn)生的盲區(qū)部分以背景深度進(jìn)行填充；

(5)對(duì)兩路圖像交叉范圍之外的無(wú)視差區(qū)域，以TOF深度信息進(jìn)行填充，得到場(chǎng)景的深度圖像。

本發(fā)明的有益效果如下：以較低成本實(shí)現(xiàn)室內(nèi)外環(huán)境下高分辨率快速深度信息獲取，適用于近距離及較遠(yuǎn)距離。兼具TOF技術(shù)的快速測(cè)量和雙目視覺(jué)的高分辨率抗干擾等優(yōu)點(diǎn)，降低了無(wú)法識(shí)別和錯(cuò)誤識(shí)別的風(fēng)險(xiǎn)，穩(wěn)定性和可靠性更好。

同時(shí)采集低分辨率的深度圖像和兩路高分辨率的圖像，以深度圖像作為先驗(yàn)信息對(duì)圖像進(jìn)行特征識(shí)別與匹配，按照光學(xué)三角法原理得到高分辨率的深度信息，大幅降低了算法復(fù)雜度和計(jì)算時(shí)間。本發(fā)明方法或裝置包含一路主動(dòng)光源發(fā)射裝置，可以進(jìn)行空間和時(shí)間調(diào)制，空間調(diào)制對(duì)目標(biāo)加上一定的紋理，輔助兩路圖像進(jìn)行特征識(shí)別，時(shí)間調(diào)制用于TOF獲取深度圖像。深度圖像傳感器只響應(yīng)主動(dòng)光源。左右圖像傳感器主要響應(yīng)主動(dòng)光源，也能響應(yīng)部分可見(jiàn)光源，保證在近距離或者較遠(yuǎn)距離、強(qiáng)環(huán)境光和弱環(huán)境光下都能獲得可識(shí)別的圖像。

附圖說(shuō)明

圖1是本發(fā)明裝置的結(jié)構(gòu)圖；

圖2是本發(fā)明裝置中主動(dòng)光源發(fā)射裝置的結(jié)構(gòu)示意圖；

圖3是本發(fā)明方法流程圖；

圖4是本發(fā)明中傳感器采集信號(hào)的原理圖；

圖中：主動(dòng)光源發(fā)射裝置1、TOF傳感器2、左圖像傳感器3、右圖像傳感器4、控制器5、處理器6、光源7、空間調(diào)制器件8、成像系統(tǒng)9。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步的說(shuō)明。

實(shí)施例：

如圖1所示，一種結(jié)合TOF技術(shù)和雙目視覺(jué)的深度信息獲取裝置，包括一個(gè)主動(dòng)光源發(fā)射裝置1、一個(gè)TOF傳感器2、左圖像傳感器3、右圖像傳感器4、控制器5以及處理器6；如圖2所示，所述主動(dòng)光源發(fā)射裝置1包括依次布置的光源7、空間調(diào)制器件8以及成像系統(tǒng)9；主動(dòng)光源發(fā)射裝置1和光源7均與控制器5相連，TOF傳感器2、左圖像傳感器3和右圖像傳感器4均與處理器6相連；

本實(shí)施例將左圖像傳感器3和右圖像傳感器4對(duì)稱布置在TOF傳感器2的兩側(cè)，左、右圖像傳感器和TOF傳感器2采用分光方法采集同樣條件下的圖像和深度信息。左、右圖像傳感器獲取的反射率信息可以對(duì)TOF傳感器2進(jìn)行反饋，提高TOF傳感器的測(cè)量精度、降低噪聲。

所述的TOF傳感器2接收?qǐng)鼍澳繕?biāo)反射的回波信號(hào)，根據(jù)信號(hào)的時(shí)間調(diào)制計(jì)算飛行時(shí)間，進(jìn)一步得到場(chǎng)景深度信息。所述的左、右圖像傳感器接收環(huán)境光和主動(dòng)光源照明下的場(chǎng)景圖像，主動(dòng)光源的空間調(diào)制給場(chǎng)景加上紋理，便于左、右圖像傳感器對(duì)無(wú)紋理目標(biāo)進(jìn)行特征匹配。本實(shí)施例中左圖像傳感器3和右圖像傳感器4采集圖像為RGB彩色圖像，其光譜特性主要響應(yīng)主動(dòng)光源的窄波段，也能響應(yīng)部分可見(jiàn)光波段，獲取更多目標(biāo)信息進(jìn)行特征匹配。

所述的控制器5控制光源7發(fā)射時(shí)間調(diào)制的光，經(jīng)空間調(diào)制器件調(diào)制后，由成像系統(tǒng)9形成具有一定空間分布的圖案照明場(chǎng)景。實(shí)施例中光源7采用850nm激光模組，主動(dòng)光源發(fā)射裝置1的時(shí)間調(diào)制為正弦波，空間調(diào)制器件8為毛玻璃，成像系統(tǒng)9為微透鏡陣列。

如圖3所示，一種結(jié)合TOF技術(shù)和雙目視覺(jué)的深度信息獲取方法，具體包括如下步驟：

(1)控制器5控制光源7發(fā)射時(shí)間調(diào)制的光波信號(hào)，經(jīng)過(guò)空間調(diào)制器件8調(diào)制后由成像系統(tǒng)9形成圖案并照射目標(biāo)測(cè)量區(qū)域，實(shí)現(xiàn)時(shí)間上為正弦波、空間上有一定光斑分布的調(diào)制光照明，如圖4所示；TOF傳感器2接收目標(biāo)測(cè)量區(qū)域反射的回波信號(hào)，計(jì)算光波飛行時(shí)間得到各點(diǎn)的深度信息，分辨率為360×240；左圖像傳感器3和右圖像傳感器4采集環(huán)境光及主動(dòng)光源發(fā)射裝置1照明下的場(chǎng)景，得到兩個(gè)視角下的左、右圖像，分辨率為1280×1024；

(2)對(duì)TOF傳感器2、左圖像傳感器3和右圖像傳感器4進(jìn)行標(biāo)定，得到三個(gè)傳感器在世界坐標(biāo)系的對(duì)應(yīng)關(guān)系；

TOF傳感器2只響應(yīng)主動(dòng)光源的窄波段光譜獲得較好信噪比以提高抗干擾性，而且由于空間分辨率較低，接收的是范圍內(nèi)的平均信號(hào)，因此不受照射圖案空間分布的影響?；叶葓D像傳感器主要響應(yīng)主動(dòng)光源的窄波段光譜，也能響應(yīng)部分可見(jiàn)光譜。

(3)根據(jù)標(biāo)定參數(shù)，將深度信息映射到兩路圖像坐標(biāo)中，以深度信息增加約束條件對(duì)兩路圖像進(jìn)行立體匹配；

(4)對(duì)兩路圖像中由于視角不同所產(chǎn)生的盲區(qū)部分以背景深度進(jìn)行填充；

(5)對(duì)兩路圖像交叉范圍之外的無(wú)視差區(qū)域，以TOF深度信息進(jìn)行填充，得到場(chǎng)景的深度圖像。

所述立體匹配方法中，增加的約束條件具體如下：

(3.1)深度圖像中，深度大于D的區(qū)域，在左右圖像中尋找1-2個(gè)對(duì)應(yīng)特征點(diǎn)，計(jì)算深度信息作為背景深度；進(jìn)一步的，可以分成多個(gè)等級(jí)，距離在D1-D2之間的區(qū)域計(jì)算一次深度，距離在D2-D3的區(qū)域計(jì)算一次深度，依次類推；

(3.2)深度圖像中，對(duì)步驟(3.1)之外的區(qū)域，計(jì)算其梯度，梯度值大于G的區(qū)域，在左右圖像中進(jìn)行高精度立體匹配，計(jì)算準(zhǔn)確的深度信息；

(3.3)深度圖像中，對(duì)步驟(3.1)和步驟(3.2)之外的區(qū)域，計(jì)算其二階梯度，二階梯度小于G2的區(qū)域，在左右圖像中僅對(duì)邊界進(jìn)行立體匹配，計(jì)算深度信息，其他部分進(jìn)行線性插值；

(3.4)深度圖像中，對(duì)步驟(3.1)、(3.2)、(3.3)之外的區(qū)域，在左右圖像中進(jìn)行低精度立體匹配，計(jì)算深度信息；

(3.5)對(duì)左右圖像進(jìn)行高通濾波，提取圖像中高頻成分，識(shí)別小尺寸目標(biāo)，計(jì)算深度信息。

約束條件不限于以上幾種方法，本文提到的幾種方法也可以不全部采用。