一種圖像處理方法和裝置制造方法
【專利摘要】本發(fā)明提供了一種圖像處理方法和裝置，該方法包括：控制光投射器向待攝取對(duì)象的表面投射多條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，以在待攝取對(duì)象的表面形成多條光條紋，并在光條紋之間形成多個(gè)光點(diǎn)；通過(guò)圖像傳感器采集表面具有光條紋和光點(diǎn)的待攝取對(duì)象的目標(biāo)圖像；獲取包含該光條紋和光點(diǎn)的參考圖像；根據(jù)參考圖像中光條紋的特征信息和目標(biāo)圖像中光條紋的特征信息，計(jì)算目標(biāo)圖像中每條光條紋位置處的第一深度值；根據(jù)參考圖中光點(diǎn)的特征信息和目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值；根據(jù)目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成目標(biāo)圖像的深度圖。該方法可以提高生成的深度圖的分辨率。
【專利說(shuō)明】一種圖像處理方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，更具體的說(shuō)是涉及一種圖像處理方法和裝置。

【背景技術(shù)】
[0002]目前，基于結(jié)構(gòu)光的深度攝像裝置已經(jīng)被廣泛應(yīng)用，利用該種深度攝像裝置可以獲取到待攝取景物的深度圖。
[0003]基于結(jié)構(gòu)光的深度攝像裝置一般包括光投射器和攝像頭，其獲取深度圖的過(guò)程一般是通過(guò)光投射器投射可控制的結(jié)構(gòu)光到待攝取對(duì)象表面形成特征點(diǎn)，并由攝像頭攝取包含結(jié)構(gòu)光特征的對(duì)象的圖像，進(jìn)而攝取到的圖像中的結(jié)構(gòu)光的特征，獲取到該圖像對(duì)應(yīng)的深度圖。目前，為了滿足實(shí)時(shí)性，一般采用基于線狀結(jié)構(gòu)光來(lái)進(jìn)行深度圖，即，通過(guò)向該待攝取對(duì)象的表面投射條狀結(jié)構(gòu)光，在該待攝取對(duì)象上呈現(xiàn)出多條光條紋，并根據(jù)呈現(xiàn)出的光條紋的特征，獲取到該圖像的深度圖。但是目前獲取深度圖的方式中雖然能夠滿足實(shí)時(shí)性要求，卻存在精度低，導(dǎo)致得到的深度圖的分辨率低的問(wèn)題。


【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明提供一種圖像處理方法和裝置，以提高生成的深度圖的分辨率。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案:一種圖像處理方法，應(yīng)用于電子設(shè)備，該電子設(shè)備至少包括圖像傳感器和光投射器，包括:
[0006]控制所述光投射器向所述待攝取對(duì)象的表面投射多條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，以在所述待攝取對(duì)象的表面形成多條光條紋，并在所述光條紋之間形成多個(gè)光點(diǎn)；
[0007]通過(guò)所述圖像傳感器采集表面具有所述光條紋和所述光點(diǎn)的所述待攝取對(duì)象的目標(biāo)圖像；
[0008]獲取包含所述光條紋和所述光點(diǎn)的參考圖像；
[0009]根據(jù)所述參考圖像中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值；
[0010]根據(jù)所述參考圖中光點(diǎn)的特征信息和所述目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算所述目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值；
[0011]根據(jù)所述目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成所述目標(biāo)圖像的深度圖。
[0012]優(yōu)選的，所述計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值，包括:
[0013]計(jì)算所述目標(biāo)圖像中每條光條紋的條紋中心位置處的第一深度值。
[0014]優(yōu)選的，所述根據(jù)所述參考圖中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值，包括:
[0015]將所述目標(biāo)圖像中的光條紋與所述參考圖像中的光條紋進(jìn)行匹配，得到多對(duì)條紋匹配對(duì)，其中，每對(duì)所述條紋匹配對(duì)中均包括所述目標(biāo)圖像中的目標(biāo)光條紋和所述參考圖像中的參考光條紋；
[0016]對(duì)于每對(duì)條紋匹配對(duì)，根據(jù)所述條紋匹配對(duì)中的目標(biāo)光條紋和參考光條紋的特征信息，計(jì)算所述目標(biāo)光條紋相對(duì)于所述參考光條紋的第一視差；
[0017]根據(jù)所述第一視差，計(jì)算所述目標(biāo)圖像中所述目標(biāo)光條紋位置處的第一深度值。
[0018]優(yōu)選的，所述根據(jù)所述參考圖中光點(diǎn)的特征信息和所述目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算所述目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值，包括:
[0019]將所述目標(biāo)圖像中的光點(diǎn)與所述參考圖像中的光點(diǎn)進(jìn)行匹配，得到多對(duì)光點(diǎn)匹配對(duì)，其中，每對(duì)所述光點(diǎn)匹配對(duì)中均包括所述目標(biāo)圖像中的第一光點(diǎn)和所述參考圖像中的第二光點(diǎn)；
[0020]對(duì)于每對(duì)光點(diǎn)匹配對(duì)，根據(jù)所述光點(diǎn)匹配對(duì)中的第一光點(diǎn)和第二光點(diǎn)的特征信息，計(jì)算所述第一光點(diǎn)相對(duì)于所述第二光點(diǎn)的第二視差；
[0021]根據(jù)所述第二視差，計(jì)算所述目標(biāo)圖像中所述第一光點(diǎn)位置處的第二深度值。
[0022]優(yōu)選的，所述將所述目標(biāo)圖像中的光點(diǎn)與所述參考圖像中的光點(diǎn)進(jìn)行匹配，包括:
[0023]對(duì)于所述目標(biāo)圖像中任意兩條相鄰的第一目標(biāo)光條紋和第二目標(biāo)光條紋，確定所述參考圖像中分別與所述第一目標(biāo)光條紋和第二目標(biāo)光條紋匹配的第一參考光條紋和第二參考光條紋；
[0024]對(duì)于所述目標(biāo)圖像中位于第一目標(biāo)光條紋和第二目標(biāo)光條紋之間的目標(biāo)光點(diǎn)，從所述參考圖像的第一參考光條紋和第二參考光條紋之間光點(diǎn)中，匹配所述目標(biāo)光點(diǎn)相匹配的參考光點(diǎn)，得到所述光點(diǎn)匹配對(duì)。
[0025]另一方面，本發(fā)明還提供了一種圖像處理裝置，應(yīng)用于電子設(shè)備，該電子設(shè)備至少包括圖像傳感器和光投射器，包括:
[0026]投射控制單元，用于控制所述光投射器向所述待攝取對(duì)象的表面投射多條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，以在所述待攝取對(duì)象的表面形成多條光條紋，并在所述光條紋之間形成多個(gè)光點(diǎn)；
[0027]攝取控制單元，用于通過(guò)所述圖像傳感器采集表面具有所述光條紋和所述光點(diǎn)的所述待攝取對(duì)象的目標(biāo)圖像；
[0028]獲取單元，用于獲取包含所述光條紋和所述光點(diǎn)的參考圖像；
[0029]第一深度計(jì)算單元，用于根據(jù)所述參考圖像中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值；
[0030]第二深度計(jì)算單元，用于根據(jù)所述參考圖中光點(diǎn)的特征信息和所述目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算所述目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值；
[0031]深度圖生成單元，用于根據(jù)所述目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成所述目標(biāo)圖像的深度圖。
[0032]優(yōu)選的，所述第一深度計(jì)算單元，包括:
[0033]中心深度計(jì)算單元，用于根據(jù)所述參考圖像中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋的條紋中心位置處的第一深度值。
[0034]優(yōu)選的，所述第一深度計(jì)算單元，包括:
[0035]第一匹配單元，用于將所述目標(biāo)圖像中的光條紋與所述參考圖像中的光條紋進(jìn)行匹配，得到多對(duì)條紋匹配對(duì)，其中，每對(duì)所述條紋匹配對(duì)中均包括所述目標(biāo)圖像中的目標(biāo)光條紋和所述參考圖像中的參考光條紋；
[0036]第一視差計(jì)算單元，用于對(duì)于每對(duì)條紋匹配對(duì)，根據(jù)所述條紋匹配對(duì)中的目標(biāo)光條紋和參考光條紋的特征信息，計(jì)算所述目標(biāo)光條紋相對(duì)于所述參考光條紋的第一視差；
[0037]第一深度計(jì)算子單元，用于根據(jù)所述第一視差，計(jì)算所述目標(biāo)圖像中所述目標(biāo)光條紋位置處的第一深度值。
[0038]優(yōu)選的，所述第二深度計(jì)算單元，包括:
[0039]第二匹配單元，用于將所述目標(biāo)圖像中的光點(diǎn)與所述參考圖像中的光點(diǎn)進(jìn)行匹配，得到多對(duì)光點(diǎn)匹配對(duì)，其中，每對(duì)所述光點(diǎn)匹配對(duì)中均包括所述目標(biāo)圖像中的第一光點(diǎn)和所述參考圖像中的第二光點(diǎn)；
[0040]第二視差計(jì)算單元，用于對(duì)于每對(duì)光點(diǎn)匹配對(duì)，根據(jù)所述光點(diǎn)匹配對(duì)中的第一光點(diǎn)和第二光點(diǎn)的特征信息，計(jì)算所述第一光點(diǎn)相對(duì)于所述第二光點(diǎn)的第二視差；
[0041]第二深度計(jì)算子單元，用于根據(jù)所述第二視差，計(jì)算所述目標(biāo)圖像中所述第一光點(diǎn)位置處的第二深度值。
[0042]優(yōu)選的，所述第二匹配單元，包括:
[0043]條紋匹配確定單元，用于對(duì)于所述目標(biāo)圖像中任意兩條相鄰的第一目標(biāo)光條紋和第二目標(biāo)光條紋，確定所述參考圖像中分別與所述第一目標(biāo)光條紋和第二目標(biāo)光條紋匹配的第一參考光條紋和第二參考光條紋；
[0044]第二匹配子單元，用于對(duì)于所述目標(biāo)圖像中位于第一目標(biāo)光條紋和第二目標(biāo)光條紋之間的目標(biāo)光點(diǎn)，從所述參考圖像的第一參考光條紋和第二參考光條紋之間光點(diǎn)中，匹配所述目標(biāo)光點(diǎn)相匹配的參考光點(diǎn)，得到所述光點(diǎn)匹配對(duì)。
[0045]經(jīng)由上述的技術(shù)方案可知，在進(jìn)行深度分析時(shí)，通過(guò)光投射器向待攝取對(duì)象的表面投射出多條光條紋和位于光條紋之間的光點(diǎn)，然后攝取包含該多條光條紋和光點(diǎn)的待攝取對(duì)象的目標(biāo)圖像，從而使得目標(biāo)圖像能夠包含更多的結(jié)構(gòu)光的信息，以使得該目標(biāo)圖像中能夠計(jì)算出深度值的位置點(diǎn)增多。同時(shí)，得到該目標(biāo)圖像后，結(jié)合參考圖像中光條紋和光點(diǎn)的特征信息，分別計(jì)算出該目標(biāo)圖像中各條光條紋位置處的第一深度值以及目標(biāo)圖像中各個(gè)光點(diǎn)位置處的第二深度值，然后根據(jù)得到的第一深度值和第二深度值生成該目標(biāo)圖像的深度圖。與現(xiàn)有基于圖像中的光條紋生成深度圖相比，由于本申請(qǐng)?jiān)诠鈼l紋之間插入了多個(gè)光點(diǎn)，在生成深度圖時(shí)，不僅僅考慮了目標(biāo)圖像中光條紋位置處的深度值，還考慮到了光條紋之間的光點(diǎn)的深度值，從而使得生成的深度圖具有更高的分辨率。

【專利附圖】

【附圖說(shuō)明】
[0046]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0047]圖1示出了本發(fā)明一種圖像處理方法一個(gè)實(shí)施例的流程示意圖；
[0048]圖2示出了本發(fā)明在參考圖像中形成的光條紋和點(diǎn)條紋的分布示意圖；
[0049]圖3示出了本發(fā)明一種圖像處理方法另一個(gè)實(shí)施例的流程示意圖；
[0050]圖4示出了本發(fā)明一種圖像處理裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0051]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0052]本發(fā)明實(shí)施例公開(kāi)了一種圖像處理方法，以在較小運(yùn)算量的前提下，得到較高分辨率的深度圖。
[0053]參見(jiàn)圖1，示出了本發(fā)明一種圖像處理方法一個(gè)實(shí)施例的流程示意圖，本實(shí)施例的方法應(yīng)用于一電子設(shè)備，該電子設(shè)備至少包括圖像傳感器和光投射器，如該電子設(shè)備可以為基于結(jié)構(gòu)光的深度攝像器，或者其他能夠具有攝像頭和結(jié)構(gòu)光發(fā)射器的電子設(shè)備，本實(shí)施例的方法包括:
[0054]步驟101:控制光投射器向待攝取對(duì)象的表面投射多條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，以在該待攝取對(duì)象的表面形成多條光條紋，并在光條紋之間形成多個(gè)光點(diǎn)。
[0055]其中，該光投射器也可以稱為光發(fā)射器，是指能夠向外發(fā)射結(jié)構(gòu)光并投射在被測(cè)量的對(duì)象中，以在被測(cè)量的對(duì)象上投射出相應(yīng)結(jié)構(gòu)光圖案。如投射出線狀結(jié)構(gòu)光，點(diǎn)狀結(jié)構(gòu)光或者面狀結(jié)構(gòu)光。該被測(cè)量的對(duì)象，即為需要進(jìn)行相應(yīng)深度分析的對(duì)象，為了能夠?qū)υ搶?duì)象的圖像的深度進(jìn)行分析，后續(xù)需要獲取該被測(cè)量對(duì)象的圖像，因此，本實(shí)施例中將該被測(cè)量對(duì)象統(tǒng)稱為待攝取對(duì)象。
[0056]在本申請(qǐng)實(shí)施例中，該光投射器向待攝取對(duì)象的表面投射出條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，使得該待攝取對(duì)象的表面具有多條光條紋，且在任意兩條光條紋之間具有光點(diǎn)。其中，為了能夠在待攝取對(duì)象的表面形成光條紋，該光投射器投射出的光束在空間形成一個(gè)窄的光平面，當(dāng)該光平面與該待攝取對(duì)象的表面相交時(shí)，則可以在該待攝取對(duì)象的表面產(chǎn)生一個(gè)亮的光條。
[0057]其中，光投射器向該待攝取對(duì)象的表面投射出多條光條紋，并在光條紋之間投射出光點(diǎn)的實(shí)現(xiàn)過(guò)程，與現(xiàn)有的控制光投射器向待攝取對(duì)象的表面投射出指定圖案的過(guò)程相似。如，可以是采用光柵成像法，例如，在該光投射器的投射鏡頭上設(shè)置具有指定圖案的光柵，在控制該光投射器投射出激光后，則可以在待攝取對(duì)象的表面形成具有指定圖案的光特征圖案。又如，還可以采用空間編碼法，預(yù)置生成該多條紋結(jié)構(gòu)光以及點(diǎn)結(jié)構(gòu)光的規(guī)則，并控制該光投射器依據(jù)該規(guī)則進(jìn)行光發(fā)射，以在該待攝取對(duì)象的表面投射出多條條紋光，并在條紋光之間形成光點(diǎn)。
[0058]可以理解的是，該待攝取對(duì)象可以為一個(gè)物體，或者指定區(qū)域內(nèi)的兩個(gè)或多個(gè)物體，也可以是指定區(qū)域內(nèi)的包含多個(gè)物體和背景的對(duì)象。
[0059]步驟102:通過(guò)圖像傳感器采集表面具有該光條紋和光點(diǎn)的待攝取對(duì)象的目標(biāo)圖像。
[0060]通過(guò)光投射器的投射，在該待攝取對(duì)象的表面投射出光條紋和光點(diǎn)之后，通過(guò)該圖像傳感器對(duì)該待攝取對(duì)象進(jìn)行攝取，得到的目標(biāo)圖像中則可以包含有該待攝取對(duì)象以及該待攝取對(duì)象表面的光條紋和光點(diǎn)。
[0061]步驟103:獲取包含該光條紋和光點(diǎn)的參考圖像。
[0062]由于普通攝像裝置攝取到二維圖像中不能獲取到深度信息，而基于結(jié)構(gòu)光的深度分析實(shí)際上就是基于結(jié)構(gòu)光的三維測(cè)量，從而確定出攝取到的圖像中深度信息。
[0063]然而，實(shí)際中的待攝取對(duì)象一般都是立體的，而不是平面的景物，這樣，當(dāng)光投射器向該待攝取對(duì)象投射了結(jié)構(gòu)光之后，投射出的結(jié)構(gòu)光在與該待攝取對(duì)象相交時(shí)，會(huì)由于該待攝取對(duì)象表面深度的變化以及可能的間隙而受到調(diào)整，使得呈現(xiàn)在該待攝取對(duì)象結(jié)構(gòu)光發(fā)生畸變。例如，投射出的調(diào)整條狀結(jié)構(gòu)光呈現(xiàn)在該待攝取對(duì)象表面可能會(huì)出現(xiàn):光條紋偏移、不連續(xù)等現(xiàn)象。
[0064]在進(jìn)行深度分析時(shí)，可以利用待攝取對(duì)象表面發(fā)生畸變的結(jié)構(gòu)光來(lái)獲取待攝取對(duì)象表面的三維信息，得到待攝取對(duì)象表面各個(gè)位置點(diǎn)的深度值。為了能夠確定出待攝取對(duì)象的圖像中結(jié)構(gòu)光的畸變，需要獲取到參考圖像，以便根據(jù)參考圖像中的結(jié)構(gòu)光的信息，確定出待攝取對(duì)象中的結(jié)構(gòu)光的畸變程度。
[0065]該參考圖像是用于分析目標(biāo)圖像中的條紋光和光點(diǎn)畸變程度，而預(yù)先獲取到包含該光投射器投射出的光條紋結(jié)構(gòu)光和點(diǎn)狀結(jié)構(gòu)光信息的圖像。也就是說(shuō)，形成該參考圖像的過(guò)程中，該光透射儀投射出的條紋結(jié)構(gòu)光以及點(diǎn)狀結(jié)構(gòu)光，均與形成該目標(biāo)圖像的過(guò)程中，該光透射器投射出的條紋結(jié)構(gòu)光和點(diǎn)狀結(jié)構(gòu)光相同。具體的，形成該參考圖像和目標(biāo)圖像的過(guò)程中，該光投射器投射出的光條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光的數(shù)量均相同，且任意兩條光條紋結(jié)構(gòu)光之間的點(diǎn)結(jié)構(gòu)光的排布也相同。但是該參考圖像中包含的結(jié)構(gòu)光信息是未發(fā)生畸變的結(jié)構(gòu)光，即該參考圖像中包含的條紋光和光點(diǎn)未發(fā)生畸變，而該目標(biāo)圖像中所包含的光條紋和光點(diǎn)則是發(fā)生畸變后的結(jié)構(gòu)光。
[0066]其中，獲取該參考圖像的過(guò)程與現(xiàn)有的方式相同。例如，可以通過(guò)該光投射器向與該光投射器的投射平面平行的一平面中投射出條紋結(jié)構(gòu)光和點(diǎn)狀結(jié)構(gòu)光，在該平面上形成多條光條紋和光點(diǎn)，攝取包含該多條光條紋和光點(diǎn)的平面的圖像，得到參考圖像。由于平面上各點(diǎn)的深度相同，因此，條紋結(jié)構(gòu)光和點(diǎn)狀結(jié)構(gòu)光與該平面相交后，該條紋結(jié)構(gòu)光和點(diǎn)狀結(jié)構(gòu)光不會(huì)發(fā)生畸變。
[0067]為了便于理解，參見(jiàn)圖2，示出了光投射器投射出條紋狀結(jié)構(gòu)光和點(diǎn)狀結(jié)構(gòu)光之后，在參考圖像中形成的結(jié)構(gòu)光的示意圖。在該參考圖像中包含有多條光條紋211，每條光條紋均沒(méi)有發(fā)生畸變，沒(méi)有出現(xiàn)光條紋被分成多段，或者光條紋的不同部分發(fā)生移位等現(xiàn)象，在兩個(gè)光條紋之間分布著多個(gè)光點(diǎn)212，該光點(diǎn)也沒(méi)有發(fā)生畸變。
[0068]步驟104:根據(jù)參考圖像中光條紋的特征信息和該目標(biāo)圖像中光條紋的特征信息，計(jì)算該目標(biāo)圖像中每條光條紋位置處的第一深度值。
[0069]其中，光條紋的特征信息至少包含每條光條紋在圖像中的分布位置，還可以包括每條光條紋與其他光條紋之間的位置關(guān)系等信息。
[0070]將該目標(biāo)圖像中的光條紋的特征信息與該參考圖像中的光條紋的特征信息進(jìn)行比對(duì)，則確定目標(biāo)圖像中每條光條紋位置處的深度值。為了便于區(qū)分，在本申請(qǐng)實(shí)施例中，將該目標(biāo)圖像中光條紋位置處的深度值稱為第一深度值。
[0071]步驟105:根據(jù)參考圖中光點(diǎn)的特征信息和目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值。
[0072]其中，該光點(diǎn)的特征信息至少包括光點(diǎn)在圖像中的位置信息，還可以包括該光點(diǎn)與光條紋的位置關(guān)系等，如該光點(diǎn)所在的位置處于哪兩條光條紋之間，以及該光點(diǎn)與該兩條光條紋的位置關(guān)系等。
[0073]對(duì)于該目標(biāo)圖像中的任意一個(gè)光點(diǎn)，將該光點(diǎn)的特征信息與該參考圖像中相應(yīng)光點(diǎn)的特征信息進(jìn)行比對(duì)，可以確定出目標(biāo)圖像中該光點(diǎn)所在的位置處的深度值。為了便于區(qū)分，將目標(biāo)圖像中光點(diǎn)位置處的深度值稱為第二深度值。
[0074]步驟106:根據(jù)目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成該目標(biāo)圖像的深度圖。
[0075]與現(xiàn)有的方式不同，本申請(qǐng)實(shí)施例該目標(biāo)圖像的深度圖是根據(jù)該目標(biāo)圖像中的光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值生成。
[0076]在實(shí)際應(yīng)用中，在向待攝取對(duì)象投射條狀結(jié)構(gòu)光時(shí)，為了使得待攝取對(duì)象中呈現(xiàn)出的各個(gè)亮條紋之間不會(huì)相互干擾，線條紋之間需要設(shè)計(jì)的比較稀疏，即線條之間的間隙不能小于指定值。但是，對(duì)于待攝取對(duì)象中分布的光點(diǎn)之間的間距則可以相對(duì)增大。比如，為了亮條紋之間不會(huì)相互干擾，在同樣的視角范圍內(nèi)，在圖像的一行可能只能有100根光條紋，但是在該圖像的一行中則分布640個(gè)點(diǎn)。例如，在圖2中，一行分布有7根光條紋，但是一行分布的光點(diǎn)則遠(yuǎn)多于10個(gè)。
[0077]如果僅僅基于光條紋的特征信息，計(jì)算出目標(biāo)圖像中各個(gè)光條紋位置處的第一深度值，然后僅僅根據(jù)該第一深度值，生成該目標(biāo)圖像的深度圖，則會(huì)導(dǎo)致生成的深度圖的分辨率較低。通過(guò)在待攝取對(duì)象的表面投射出光條紋，并在光條紋之間投射出光點(diǎn)，使得目標(biāo)圖像中的光條紋之間分布多個(gè)光點(diǎn)，因此，可以分別計(jì)算出該目標(biāo)圖像中的光條紋和光點(diǎn)處的深度值，這樣，根據(jù)目標(biāo)圖像的光條紋和光點(diǎn)處的深度值生成的深度圖后，該深度圖的分辨率則會(huì)明顯提高。
[0078]可以理解的是，在根據(jù)目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成目標(biāo)圖像的深度圖時(shí)，可以根據(jù)目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，進(jìn)行插值運(yùn)算，得到目標(biāo)圖像中更多位置處的深度值，并根據(jù)得到的各個(gè)位置處的深度值來(lái)生成該目標(biāo)圖像的深度圖。
[0079]需要說(shuō)明的是，本申請(qǐng)實(shí)施例中該步驟104和步驟105的執(zhí)行順序不限于圖1所示，在實(shí)際應(yīng)用中，也可以執(zhí)行步驟105之后，再執(zhí)行步驟104，當(dāng)然，也可以同時(shí)執(zhí)行該步驟104和步驟105的操作。
[0080]本申請(qǐng)實(shí)施例中，在進(jìn)行深度分析時(shí)，通過(guò)光投射器向待攝取對(duì)象的表面投射出多條光條紋和位于光條紋之間的光點(diǎn)，然后攝取包含該多條光條紋和光點(diǎn)的待攝取對(duì)象的目標(biāo)圖像，從而使得目標(biāo)圖像能夠包含更多的結(jié)構(gòu)光的信息，以使得該目標(biāo)圖像中能夠計(jì)算出深度值的位置點(diǎn)增多。同時(shí)，得到該目標(biāo)圖像后，結(jié)合參考圖像中光條紋和光點(diǎn)的特征信息，分別計(jì)算出該目標(biāo)圖像中各條光條紋位置處的第一深度值，以及目標(biāo)圖像中各個(gè)光點(diǎn)位置處的第二深度值，然后根據(jù)得到的第一深度值和第二深度值生成該目標(biāo)圖像的深度圖。與現(xiàn)有基于圖像中的光條紋生成深度圖相比，由于本申請(qǐng)?jiān)诠鈼l紋之間插入了多個(gè)光點(diǎn)，在生成深度圖時(shí)，不僅僅考慮了目標(biāo)圖像中光條紋位置處的深度值，還考慮到了光條紋之間的光點(diǎn)的深度值，從而使得得到的深度圖具有更高的分辨率。
[0081]另外，與現(xiàn)有基于點(diǎn)結(jié)構(gòu)光進(jìn)行圖像深度分析的方式相比，即與向待攝取對(duì)象的表面投射出光點(diǎn)，攝取包含有光點(diǎn)的待攝取對(duì)象的圖像后，并根據(jù)該圖像中的光點(diǎn)的特征信息，獲取該圖像的深度圖的方式，本申請(qǐng)實(shí)施例的方法，采用光條紋代替了一部分光點(diǎn)，從而大大減少了需要計(jì)算的光點(diǎn)位置處的深度值，進(jìn)而減少了計(jì)算量，保證了實(shí)時(shí)性的要求。
[0082]其中，在本申請(qǐng)實(shí)施例中對(duì)于目標(biāo)圖像中任意一條光條紋，計(jì)算該目標(biāo)圖像中該光條紋位置處的第一深度值時(shí)，可以根據(jù)該光條紋的特征信息，以及參考圖像中與該光條紋對(duì)應(yīng)的光條紋的特征信息，計(jì)算該目標(biāo)圖像中的光條紋與該參考圖像中相應(yīng)光條紋的視差，然后根據(jù)這兩條光條紋之間的視差，確定出目標(biāo)圖像中該光條紋的第一深度值。其中，視差就是指從有一定距離的兩個(gè)點(diǎn)上觀察同一個(gè)目標(biāo)所產(chǎn)生的方向差異，從目標(biāo)看兩個(gè)點(diǎn)之間的夾角，叫做這兩個(gè)點(diǎn)的視差。而該兩點(diǎn)之間的距離稱作基線，只要知道視差角度和基線長(zhǎng)度，可以計(jì)算出目標(biāo)和觀測(cè)者之間的距離。
[0083]由于該目標(biāo)圖像中有的光條紋可能已經(jīng)發(fā)生了畸變，如有的光條紋被分成多段，且發(fā)生了偏移等，因此，在計(jì)算目標(biāo)圖像的光條紋之前，需要定位出該目標(biāo)圖像中的各個(gè)光條紋，并將同一光條紋的分段連接起來(lái)。具體過(guò)程與現(xiàn)有的方式相似，在此不再贅述。
[0084]其中，對(duì)于目標(biāo)圖像中任意一個(gè)光點(diǎn)，計(jì)算目標(biāo)圖像中光點(diǎn)位置處的第二深度值時(shí)，同樣可以根據(jù)該目標(biāo)圖像中的光點(diǎn)的特征信息與該參考圖像中相應(yīng)光點(diǎn)的特征信息，計(jì)算這兩個(gè)光點(diǎn)之間的視差，然后根據(jù)視差確定出目標(biāo)圖像中該光點(diǎn)位置處的第二深度值。
[0085]參見(jiàn)圖3，示出了本發(fā)明一種信息處理方法另一個(gè)實(shí)施例的流程示意圖，本實(shí)施例的方法應(yīng)用于一電子設(shè)備，該電子設(shè)備至少包括圖像傳感器和光投射器，如該電子設(shè)備可以為基于結(jié)構(gòu)光的深度攝像器，或者其他能夠具有攝像頭和結(jié)構(gòu)光發(fā)射器的電子設(shè)備，本實(shí)施例的方法包括:
[0086]步驟301:控制光投射器向待攝取對(duì)象的表面投射多條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，以在該待攝取對(duì)象的表面形成多條光條紋，并在光條紋之間形成多個(gè)光點(diǎn)。
[0087]步驟302:通過(guò)圖像傳感器采集表面具有該光條紋和光點(diǎn)的待攝取對(duì)象的目標(biāo)圖像。
[0088]步驟303:獲取包含該光條紋和光點(diǎn)的參考圖像。
[0089]步驟301至步驟303的操作過(guò)程可以參照前面實(shí)施例中相關(guān)內(nèi)容的介紹，在此不再贅述。
[0090]步驟304:將目標(biāo)圖像中的光條紋與參考圖像中的光條紋進(jìn)行匹配，得到多對(duì)條紋匹配對(duì)。
[0091 ] 其中，每對(duì)條紋匹配對(duì)中均包括目標(biāo)圖像中的目標(biāo)光條紋和該參考圖像中的參考光條紋。
[0092]為了能夠確定出該目標(biāo)圖像中各個(gè)光條紋與參考圖像中各個(gè)光條紋的對(duì)應(yīng)關(guān)系，需要進(jìn)行光條紋匹配。該條紋匹配對(duì)中的兩個(gè)光條紋就分別是目標(biāo)圖像與參考圖像中具有匹配關(guān)系的光條紋。
[0093]為了便于區(qū)分，將該條紋匹配對(duì)中屬于該目標(biāo)圖像的光條紋稱為目標(biāo)光條紋，將條紋匹配對(duì)中屬于該參考圖像中的光條紋稱為參考光條紋。
[0094]其中，將該目標(biāo)圖像中的光條紋與該參考圖像中的光條紋進(jìn)行匹配的方式可以采用現(xiàn)在的任意匹配光條紋的方式。
[0095]可選的，可以按順序?qū)δ繕?biāo)圖像中的光條紋進(jìn)行編號(hào)，同時(shí)，按順序?qū)⒖紙D像中的光條紋進(jìn)行編號(hào)。如，可以從左到右的順序進(jìn)行編號(hào)。通過(guò)目標(biāo)圖像中光條紋和參考圖像中光條紋的編號(hào)，便可以確定出匹配的光條紋對(duì)。
[0096]當(dāng)然，如果該目標(biāo)圖像中存在發(fā)生畸變的光條紋時(shí)，則可以先將被分為多段的光條紋進(jìn)行連接。在連接過(guò)程中有可能會(huì)出現(xiàn)連接錯(cuò)誤，如將不屬于同一個(gè)光條紋的光條紋段連接到一起，在該種情況下，在對(duì)目標(biāo)圖像的光條紋進(jìn)行編號(hào)后，可以根據(jù)對(duì)光條紋的編號(hào)，對(duì)連接錯(cuò)誤的光條紋進(jìn)行糾正，以使得屬于同一編號(hào)的光條紋被連接到一起。例如，假設(shè)將目標(biāo)圖像中的光條紋按照從左到右的順序編號(hào)，上下均進(jìn)行編號(hào)，這樣，如果從左到右的第四條光條紋被分段，但是確定出上半部分為第四條光條紋后，可以從下半部分依次查找屬于從左到右的第四條光條紋，從而可以準(zhǔn)確確定出需要拼接的光條紋。
[0097]步驟305:對(duì)于每對(duì)條紋匹配對(duì)，根據(jù)條紋匹配對(duì)中的兩條光條紋的特征信息，計(jì)算目標(biāo)光條紋相對(duì)于該參考光條紋的第一視差。
[0098]其中，該特征信息至少包括光條紋的位置，根據(jù)該條紋匹配對(duì)中，該目標(biāo)圖像中的目標(biāo)條紋在該目標(biāo)圖像中的位置，以及該參考條紋在該參考圖像中的位置，計(jì)算該目標(biāo)光條紋相對(duì)于該參考光條紋的視差。
[0099]為了便于區(qū)分，將該目標(biāo)光條紋相對(duì)于該參考光條紋的視差稱為第一視差。
[0100]其中，從目標(biāo)圖像和參考圖像中匹配出匹配的條紋匹配對(duì)之后，計(jì)算該條紋匹配對(duì)中，該目標(biāo)光條紋相對(duì)于該參考光條紋的第一視差的過(guò)程可以采用現(xiàn)有的計(jì)算視差的任意方式，在此不加以限制。
[0101]步驟306:根據(jù)該第一視差，計(jì)算目標(biāo)圖像中該目標(biāo)光條紋位置處的第一深度值。
[0102]根據(jù)該目標(biāo)光條紋相對(duì)于該參考光條紋的視差，計(jì)算該目標(biāo)圖像中該目標(biāo)光條紋位置處的深度值的方式可以與現(xiàn)有的方式相似。
[0103]步驟307:將該目標(biāo)圖像中的光點(diǎn)與該參考圖像中的光點(diǎn)進(jìn)行匹配，得到多對(duì)光點(diǎn)匹配對(duì)。
[0104]其中，每對(duì)光點(diǎn)匹配對(duì)中均包括兩個(gè)光點(diǎn)，該兩個(gè)光點(diǎn)分別為目標(biāo)圖像中的第一光點(diǎn)和參考圖像中的第二光點(diǎn)。通過(guò)圖像匹配技術(shù)，可以匹配出目標(biāo)圖像與參考圖像中匹配的光點(diǎn)，得到多對(duì)光點(diǎn)匹配對(duì)。為了便于區(qū)分，將光點(diǎn)匹配對(duì)中屬于該目標(biāo)圖像中的光點(diǎn)稱為第一光點(diǎn)，將該光點(diǎn)匹配對(duì)中屬于該參考圖像中的光點(diǎn)稱為第二光點(diǎn)。
[0105]可以理解的是，由于各個(gè)光點(diǎn)的形狀基本相同，在進(jìn)行目標(biāo)圖像與參考圖像中的光點(diǎn)的匹配時(shí)，可以根據(jù)該光點(diǎn)與周圍光點(diǎn)的排布狀態(tài)，進(jìn)行匹配。因此，為了能夠匹配出該目標(biāo)圖像與該參考圖像中的相匹配的光點(diǎn)對(duì)，該光投射器投射到出的光點(diǎn)均需要滿足如下條件:
[0106]在指定范圍區(qū)域內(nèi)，投射出的光點(diǎn)分布情況不重復(fù)，以使的參考圖像指定范圍內(nèi)的各個(gè)光點(diǎn)的排布方式不重復(fù)，且該目標(biāo)圖像中指定范圍內(nèi)各個(gè)光點(diǎn)的排布情況不重復(fù)，該指定范圍內(nèi)的各個(gè)光點(diǎn)與其他光點(diǎn)的排布關(guān)系能夠相互區(qū)分。例如，可以設(shè)定匹配窗口的大小為3*3的窗口時(shí)，在該3*3的窗口內(nèi)光點(diǎn)可以隨機(jī)分布，但是任意兩個(gè)9*9的窗口內(nèi)的光點(diǎn)的分布不重復(fù)。
[0107]步驟308:對(duì)于每對(duì)光點(diǎn)匹配對(duì)，根據(jù)光點(diǎn)匹配對(duì)中的兩個(gè)光點(diǎn)的特征信息，計(jì)算該第一光點(diǎn)相對(duì)于該第二光點(diǎn)的第二視差。
[0108]步驟309:根據(jù)該第二視差，計(jì)算該目標(biāo)圖像中該第一光點(diǎn)位置處的第二深度值。
[0109]為了便于區(qū)分，將該第一光點(diǎn)相對(duì)于該參考圖像中該第二光點(diǎn)的視差稱為第二視差。
[0110]其中，計(jì)算該光點(diǎn)匹配對(duì)中該第一光點(diǎn)相對(duì)于該第二光點(diǎn)的視差同樣可以采取現(xiàn)有的任意計(jì)算視差的方式，在此不加以限制。相應(yīng)的，根據(jù)該第一光點(diǎn)相對(duì)于該第二光點(diǎn)的視差，計(jì)算該目標(biāo)圖像中該第一光點(diǎn)位置處的第二深度值同樣可以采用現(xiàn)有的根據(jù)視差計(jì)算深度值的方式。
[0111]步驟310:根據(jù)目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成該目標(biāo)圖像的深度圖。
[0112]其中，生成深度圖的過(guò)程同樣可以參照前面實(shí)施例的相關(guān)介紹，在此不再贅述。
[0113]可選的，在本申請(qǐng)實(shí)施例中，將目標(biāo)圖像中的光點(diǎn)與參考圖像中的光點(diǎn)進(jìn)行匹配時(shí)，可以包括:
[0114]對(duì)于目標(biāo)圖像中任意兩條相鄰的第一目標(biāo)光條紋和第二目標(biāo)光條紋，確定該參考圖像中分別與第一目標(biāo)光條紋和第二目標(biāo)光條紋匹配的第一參考光條紋和第二參考光條紋。當(dāng)然，如果已經(jīng)進(jìn)行了步驟304，則可以直接確定出匹配的匹配條紋對(duì)，從而可以確定出參考圖像與第一目標(biāo)光條紋和第二目標(biāo)光條紋分別匹配的第一參考光條紋和第二參考光條紋。
[0115]這樣，對(duì)于目標(biāo)圖像中位于第一目標(biāo)光條紋和第二目標(biāo)光條紋之間的目標(biāo)光點(diǎn)，從該參考圖像的第一參考光條紋和第二參考光條紋之間光點(diǎn)中，匹配與該目標(biāo)光點(diǎn)相匹配的參考光點(diǎn)，得到光點(diǎn)匹配對(duì)。
[0116]也就是說(shuō)，在進(jìn)行光點(diǎn)匹配時(shí)，對(duì)于目標(biāo)圖像中任意兩條相鄰目標(biāo)光條紋之間的光點(diǎn)，可以從該參考圖像中與該兩條相鄰的目標(biāo)光條紋匹配的兩條相鄰的參考光條紋之間的光點(diǎn)中進(jìn)行匹配。例如，參照?qǐng)D2，假設(shè)目標(biāo)圖像中從左到右的第一條光條紋和第二條光條紋，分別與該圖2的參考圖像中，從左到右的第一條參考光條紋和第二條參考光條紋匹配。這樣，對(duì)于該第一條目標(biāo)光條紋和第二目標(biāo)光條紋中的目標(biāo)光點(diǎn)，則可以從該第一條參考光條紋和第二條參考光條紋之間的光點(diǎn)內(nèi)進(jìn)行匹配，以得到與該目標(biāo)光點(diǎn)匹配的參考光點(diǎn)。
[0117]可以理解的是，對(duì)目標(biāo)圖像的光點(diǎn)和參考圖像中的光點(diǎn)進(jìn)行匹配時(shí)，如果每次對(duì)該目標(biāo)圖圖像的光點(diǎn)進(jìn)行光點(diǎn)匹配時(shí)，均需要依次對(duì)該參考圖像中各個(gè)光點(diǎn)進(jìn)行匹配計(jì)算，將會(huì)導(dǎo)致很大的數(shù)據(jù)計(jì)算量。因此，采用根據(jù)光條紋的對(duì)應(yīng)關(guān)系，依次對(duì)兩幅圖像中具有匹配關(guān)系的兩條相鄰光條紋之間的光點(diǎn)進(jìn)行匹配，則無(wú)需每次匹配時(shí)，均需要對(duì)參考圖像中的所有光點(diǎn)均進(jìn)行匹配計(jì)算，從而大大減少了匹配計(jì)算量，進(jìn)而保證了實(shí)時(shí)性的要求。
[0118]可選的，在以上任意一個(gè)實(shí)施例中，計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值，可以是在定位出該目標(biāo)圖像中的各條光條紋之后，確定該每條光條紋的條紋中心位置，并計(jì)算目標(biāo)圖像中每條光條紋的條紋中心位置處的第一深度值。例如，參見(jiàn)圖2，每條光條紋都豎直排布，每條光條紋都有一定的水平寬度，為了計(jì)算精確，可以確定沿豎直方向上，在水平寬度內(nèi)的中心點(diǎn)，從而得到定每條光條紋沿豎直方向上的中心位置，然后計(jì)算該條紋的中心位置上的深度值。
[0119]對(duì)應(yīng)本本發(fā)明的一種圖像處理方法，另一方面，本發(fā)明還提供了一種圖像處理裝置。參見(jiàn)圖4，示出了本發(fā)明一種圖像處理裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖，本實(shí)施例的裝置應(yīng)用于電子設(shè)備，該電子設(shè)備至少包括圖像傳感器和光投射器，包括:
[0120]投射控制單元401，用于控制所述光投射器向所述待攝取對(duì)象的表面投射多條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，以在所述待攝取對(duì)象的表面形成多條光條紋，并在所述光條紋之間形成多個(gè)光點(diǎn)；
[0121]攝取控制單元402，用于通過(guò)所述圖像傳感器采集表面具有所述光條紋和所述光點(diǎn)的所述待攝取對(duì)象的目標(biāo)圖像；
[0122]獲取單元403，用于獲取包含所述光條紋和所述光點(diǎn)的參考圖像；
[0123]第一深度計(jì)算單元404，用于根據(jù)所述參考圖像中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值；
[0124]第二深度計(jì)算單元405，用于根據(jù)所述參考圖中光點(diǎn)的特征信息和所述目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算所述目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值；
[0125]深度圖生成單元406，用于根據(jù)所述目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成所述目標(biāo)圖像的深度圖。
[0126]優(yōu)選的，該第一深度計(jì)算單元，包括:
[0127]中心深度計(jì)算單元，用于根據(jù)所述參考圖像中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋的條紋中心位置處的第一深度值。
[0128]基于一種深度計(jì)算方式，所述第一深度計(jì)算單元，可以包括:
[0129]第一匹配單元，用于將所述目標(biāo)圖像中的光條紋與所述參考圖像中的光條紋進(jìn)行匹配，得到多對(duì)條紋匹配對(duì)，其中，每對(duì)所述條紋匹配對(duì)中均包括所述目標(biāo)圖像中的目標(biāo)光條紋和所述參考圖像中的參考光條紋；
[0130]第一視差計(jì)算單元，用于對(duì)于每對(duì)條紋匹配對(duì)，根據(jù)所述條紋匹配對(duì)中的目標(biāo)光條紋和參考光條紋的特征信息，計(jì)算所述目標(biāo)光條紋相對(duì)于所述參考光條紋的第一視差；
[0131]第一深度計(jì)算子單元，用于根據(jù)所述第一視差，計(jì)算所述目標(biāo)圖像中所述目標(biāo)光條紋位置處的第一深度值。
[0132]相應(yīng)的，該第二深度計(jì)算單元可以包括:
[0133]第二匹配單元，用于將所述目標(biāo)圖像中的光點(diǎn)與所述參考圖像中的光點(diǎn)進(jìn)行匹配，得到多對(duì)光點(diǎn)匹配對(duì)，其中，每對(duì)所述光點(diǎn)匹配對(duì)中均包括所述目標(biāo)圖像中的第一光點(diǎn)和所述參考圖像中的第二光點(diǎn)；
[0134]第二視差計(jì)算單元，用于對(duì)于每對(duì)光點(diǎn)匹配對(duì)，根據(jù)所述光點(diǎn)匹配對(duì)中的第一光點(diǎn)和第二光點(diǎn)的特征信息，計(jì)算所述第一光點(diǎn)相對(duì)于所述第二光點(diǎn)的第二視差；
[0135]第二深度計(jì)算子單元，用于根據(jù)所述第二視差，計(jì)算所述目標(biāo)圖像中所述第一光點(diǎn)位置處的第二深度值。
[0136]優(yōu)選的，該第二匹配單元，包括:
[0137]條紋匹配確定單元，用于對(duì)于所述目標(biāo)圖像中任意兩條相鄰的第一目標(biāo)光條紋和第二目標(biāo)光條紋，確定所述參考圖像中分別與所述第一目標(biāo)光條紋和第二目標(biāo)光條紋匹配的第一參考光條紋和第二參考光條紋；
[0138]第二匹配子單元，用于對(duì)于所述目標(biāo)圖像中位于第一目標(biāo)光條紋和第二目標(biāo)光條紋之間的目標(biāo)光點(diǎn)，從所述參考圖像的第一參考光條紋和第二參考光條紋之間光點(diǎn)中，匹配所述目標(biāo)光點(diǎn)相匹配的參考光點(diǎn)，得到所述光點(diǎn)匹配對(duì)。
[0139]本說(shuō)明書(shū)中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見(jiàn)即可。對(duì)于實(shí)施例公開(kāi)的裝置而言，由于其與實(shí)施例公開(kāi)的方法相對(duì)應(yīng)，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法部分說(shuō)明即可。
[0140]對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。
【權(quán)利要求】
1.一種圖像處理方法，其特征在于，應(yīng)用于電子設(shè)備，該電子設(shè)備至少包括圖像傳感器和光投射器，包括: 控制所述光投射器向所述待攝取對(duì)象的表面投射多條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，以在所述待攝取對(duì)象的表面形成多條光條紋，并在所述光條紋之間形成多個(gè)光點(diǎn)； 通過(guò)所述圖像傳感器采集表面具有所述光條紋和所述光點(diǎn)的所述待攝取對(duì)象的目標(biāo)圖像； 獲取包含所述光條紋和所述光點(diǎn)的參考圖像； 根據(jù)所述參考圖像中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值； 根據(jù)所述參考圖中光點(diǎn)的特征信息和所述目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算所述目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值； 根據(jù)所述目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成所述目標(biāo)圖像的深度圖。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值，包括: 計(jì)算所述目標(biāo)圖像中每條光條紋的條紋中心位置處的第一深度值。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述參考圖中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值，包括: 將所述目標(biāo)圖像中的光條紋與所述參考圖像中的光條紋進(jìn)行匹配，得到多對(duì)條紋匹配對(duì)，其中，每對(duì)所述條紋匹配對(duì)中均包括所述目標(biāo)圖像中的目標(biāo)光條紋和所述參考圖像中的參考光條紋； 對(duì)于每對(duì)條紋匹配對(duì)，根據(jù)所述條紋匹配對(duì)中的目標(biāo)光條紋和參考光條紋的特征信息，計(jì)算所述目標(biāo)光條紋相對(duì)于所述參考光條紋的第一視差； 根據(jù)所述第一視差，計(jì)算所述目標(biāo)圖像中所述目標(biāo)光條紋位置處的第一深度值。
4.根據(jù)權(quán)利要求1或3所述的方法，其特征在于，所述根據(jù)所述參考圖中光點(diǎn)的特征信息和所述目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算所述目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值，包括: 將所述目標(biāo)圖像中的光點(diǎn)與所述參考圖像中的光點(diǎn)進(jìn)行匹配，得到多對(duì)光點(diǎn)匹配對(duì)，其中，每對(duì)所述光點(diǎn)匹配對(duì)中均包括所述目標(biāo)圖像中的第一光點(diǎn)和所述參考圖像中的第二光點(diǎn)； 對(duì)于每對(duì)光點(diǎn)匹配對(duì)，根據(jù)所述光點(diǎn)匹配對(duì)中的第一光點(diǎn)和第二光點(diǎn)的特征信息，計(jì)算所述第一光點(diǎn)相對(duì)于所述第二光點(diǎn)的第二視差； 根據(jù)所述第二視差，計(jì)算所述目標(biāo)圖像中所述第一光點(diǎn)位置處的第二深度值。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述目標(biāo)圖像中的光點(diǎn)與所述參考圖像中的光點(diǎn)進(jìn)行匹配，包括: 對(duì)于所述目標(biāo)圖像中任意兩條相鄰的第一目標(biāo)光條紋和第二目標(biāo)光條紋，確定所述參考圖像中分別與所述第一目標(biāo)光條紋和第二目標(biāo)光條紋匹配的第一參考光條紋和第二參考光條紋； 對(duì)于所述目標(biāo)圖像中位于第一目標(biāo)光條紋和第二目標(biāo)光條紋之間的目標(biāo)光點(diǎn)，從所述參考圖像的第一參考光條紋和第二參考光條紋之間光點(diǎn)中，匹配所述目標(biāo)光點(diǎn)相匹配的參考光點(diǎn)，得到所述光點(diǎn)匹配對(duì)。
6.一種圖像處理裝置，其特征在于，應(yīng)用于電子設(shè)備，該電子設(shè)備至少包括圖像傳感器和光投射器，包括: 投射控制單元，用于控制所述光投射器向所述待攝取對(duì)象的表面投射多條紋結(jié)構(gòu)光和點(diǎn)結(jié)構(gòu)光，以在所述待攝取對(duì)象的表面形成多條光條紋，并在所述光條紋之間形成多個(gè)光占.攝取控制單元，用于通過(guò)所述圖像傳感器采集表面具有所述光條紋和所述光點(diǎn)的所述待攝取對(duì)象的目標(biāo)圖像； 獲取單元，用于獲取包含所述光條紋和所述光點(diǎn)的參考圖像； 第一深度計(jì)算單元，用于根據(jù)所述參考圖像中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋位置處的第一深度值； 第二深度計(jì)算單元，用于根據(jù)所述參考圖中光點(diǎn)的特征信息和所述目標(biāo)圖像中光點(diǎn)的特征信息，計(jì)算所述目標(biāo)圖像中每個(gè)光點(diǎn)位置處的第二深度值； 深度圖生成單元，用于根據(jù)所述目標(biāo)圖像中光條紋位置處的第一深度值和光點(diǎn)位置處的第二深度值，生成所述目標(biāo)圖像的深度圖。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第一深度計(jì)算單元，包括: 中心深度計(jì)算單元，用于根據(jù)所述參考圖像中光條紋的特征信息和所述目標(biāo)圖像中光條紋的特征信息，計(jì)算所述目標(biāo)圖像中每條光條紋的條紋中心位置處的第一深度值。
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第一深度計(jì)算單元，包括: 第一匹配單元，用于將所述目標(biāo)圖像中的光條紋與所述參考圖像中的光條紋進(jìn)行匹配，得到多對(duì)條紋匹配對(duì)，其中，每對(duì)所述條紋匹配對(duì)中均包括所述目標(biāo)圖像中的目標(biāo)光條紋和所述參考圖像中的參考光條紋； 第一視差計(jì)算單元，用于對(duì)于每對(duì)條紋匹配對(duì)，根據(jù)所述條紋匹配對(duì)中的目標(biāo)光條紋和參考光條紋的特征信息，計(jì)算所述目標(biāo)光條紋相對(duì)于所述參考光條紋的第一視差； 第一深度計(jì)算子單元，用于根據(jù)所述第一視差，計(jì)算所述目標(biāo)圖像中所述目標(biāo)光條紋位置處的第一深度值。
9.根據(jù)權(quán)利要求6或8所述的裝置，其特征在于，所述第二深度計(jì)算單元，包括: 第二匹配單元，用于將所述目標(biāo)圖像中的光點(diǎn)與所述參考圖像中的光點(diǎn)進(jìn)行匹配，得到多對(duì)光點(diǎn)匹配對(duì)，其中，每對(duì)所述光點(diǎn)匹配對(duì)中均包括所述目標(biāo)圖像中的第一光點(diǎn)和所述參考圖像中的第二光點(diǎn)； 第二視差計(jì)算單元，用于對(duì)于每對(duì)光點(diǎn)匹配對(duì)，根據(jù)所述光點(diǎn)匹配對(duì)中的第一光點(diǎn)和第二光點(diǎn)的特征信息，計(jì)算所述第一光點(diǎn)相對(duì)于所述第二光點(diǎn)的第二視差； 第二深度計(jì)算子單元，用于根據(jù)所述第二視差，計(jì)算所述目標(biāo)圖像中所述第一光點(diǎn)位置處的第二深度值。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述第二匹配單元，包括: 條紋匹配確定單元，用于對(duì)于所述目標(biāo)圖像中任意兩條相鄰的第一目標(biāo)光條紋和第二目標(biāo)光條紋，確定所述參考圖像中分別與所述第一目標(biāo)光條紋和第二目標(biāo)光條紋匹配的第一參考光條紋和第二參考光條紋； 第二匹配子單元，用于對(duì)于所述目標(biāo)圖像中位于第一目標(biāo)光條紋和第二目標(biāo)光條紋之間的目標(biāo)光點(diǎn)，從所述參考圖像的第一參考光條紋和第二參考光條紋之間光點(diǎn)中，匹配所述目標(biāo)光點(diǎn)相匹配的參考光點(diǎn)，得到所述光點(diǎn)匹配對(duì)。
【文檔編號(hào)】H04N13/02GK104519342SQ201310462302
【公開(kāi)日】2015年4月15日 申請(qǐng)日期:2013年9月30日 優(yōu)先權(quán)日:2013年9月30日
【發(fā)明者】陳柯, 肖蔓君, 楊晨, 付榮耀, 馬騫 申請(qǐng)人:聯(lián)想(北京)有限公司