視差運算系統(tǒng)、信息處理裝置、信息處理方法和記錄介質(zhì)的制作方法
【專利摘要】信息處理裝置包括關(guān)聯(lián)單元，其將指示到多個圖像拾取單元的拍攝方向上照射的電磁波的照射位置的距離的距離信息與組成由圖像拾取單元拍攝的圖像的第一圖像中的第一像素關(guān)聯(lián)，所述距離信息基于電磁波的反射后的波獲得并且所述第一像素與所述電磁波的照射位置對應(yīng)；以及生成單元，其通過使用與所述第一像素關(guān)聯(lián)的距離信息生成視差圖像，用于組成圖像的第二圖像中的像素的視差計算。
【專利說明】
視差運算系統(tǒng)、信息處理裝置、信息處理方法和記錄介質(zhì)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及視差運算系統(tǒng)、信息處理裝置、信息處理方法和記錄介質(zhì)。
【背景技術(shù)】
[0002] 傳統(tǒng)上，已知通過對由立體相機(jī)的多個圖像拾取單元等拍攝的圖像(立體圖像）中 包括的物體的圖像執(zhí)行視差計算來計算到物體的距離的距離測量技術(shù)。例如，由距離測量 技術(shù)產(chǎn)生的視差圖像的使用便于檢測到運行車輛前面的障礙物。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明要解決的問題
[0004] 然而，對其執(zhí)行視差計算的立體圖像通常包括具有平滑紋理的圖像部分、飽和圖 像部分、強(qiáng)陰影圖像(SO I i dl y shaded image)部分等。在立體圖像包括這樣的圖像部分的 情況下，難于確保立體圖像之間的匹配精度并且視差計算的精度被顯著劣化。出于這個原 因，在距離測量技術(shù)的領(lǐng)域，需要即使當(dāng)立體圖像包括具有平滑紋理的圖像部分、飽和圖像 部分和強(qiáng)陰影圖像部分等的圖像時，也允許以良好精度執(zhí)行視差計算。
[0005] 因此，鑒于上面描述的問題，本發(fā)明目標(biāo)在于增加由多個圖像拾取單元拍攝的圖 像的視差計算的精度。
[0006] 解決問題的方案
[0007] 在一個方面，本發(fā)明提供能夠增加由多個圖像拾取單元拍攝的立體圖像的視差計 算的精度的信息處理裝置。
[0008] 在一個實施例中，本發(fā)明提供一種信息處理裝置，其基于由多個圖像拾取單元拍 攝的圖像生成視差圖像，信息處理裝置包括:處理器；以及存儲器，存儲計算機(jī)可讀代碼，當(dāng) 計算機(jī)可讀代碼由處理器執(zhí)行時使得處理器充當(dāng)關(guān)聯(lián)單元，配置來將指示到多個圖像拾取 單元的拍攝方向上照射的電磁波的照射位置的距離的距離信息與組成圖像的第一圖像中 的第一像素關(guān)聯(lián)，距離信息基于電磁波的反射后的波獲得并且第一像素與電磁波的照射位 置對應(yīng)；以及生成單元，配置來通過使用與第一像素關(guān)聯(lián)的距離信息生成視差圖像，以用于 組成圖像的第二圖像中的像素的視差計算。
[0009] 根據(jù)本發(fā)明的實施例，能夠增加由多個圖像拾取單元拍攝的立體圖像的視差計算 的精度。
[0010] 當(dāng)結(jié)合附圖閱讀時時實施例的其他目的、特征和優(yōu)點將從下面的描述顯而易見。
【附圖說明】
[0011] 圖1是示出根據(jù)實施例的視差運算系統(tǒng)的整體配置的框圖。
[0012] 圖2是示出根據(jù)實施例的視差運算系統(tǒng)所應(yīng)用的車輛的圖。
[0013] 圖3A和3B是示出由組成視差運算系統(tǒng)的一部分的激光雷達(dá)距離測量模塊的激光 束的照射范圍的圖。
[0014] 圖4A、4B到4C是示出由組成視差運算系統(tǒng)的一部分的立體圖像運算模塊的立體圖 像的拍攝范圍的圖。
[0015] 圖5是說明由激光雷達(dá)距離測量模塊的激光束的照射位置和立體圖像的像素位置 之間的關(guān)系的圖。
[0016] 圖6是示出激光雷達(dá)距離測量模塊的功能配置的框圖。
[0017] 圖7是示出立體圖像運算模塊的功能配置的框圖。
[0018] 圖8是說明由組成立體圖像運算模塊的一部分的成本計算單元執(zhí)行的成本計算處 理的圖。
[0019] 圖9是說明由成本計算單元執(zhí)行的成本計算處理的圖。
[0020] 圖IOA和IOB是說明立體圖像的預(yù)定像素的視差和SAD之間的關(guān)系的圖。
[0021 ] 圖11是說明通過使用密集匹配算法(dense matching algorithm)計算傳播參數(shù) 的處理的圖。
[0022]圖12是示出密集匹配算法的示例的圖。
[0023] 圖13是說明由能量計算單元計算出的能量值和視差之間的關(guān)系的圖。
[0024] 圖14是說明由能量計算單元執(zhí)行的能量計算處理的流程圖。
[0025]圖15是說明由視差計算單元執(zhí)行的視差計算處理的流程圖。
[0026] 圖16是示出立體圖像運算模塊的另一功能配置的圖。
[0027] 圖17是說明激光束的照射位置和立體圖像的像素位置之間的關(guān)系的圖。
[0028] 圖18是說明由組成立體圖像運算模塊的一部分的視差計算單元執(zhí)行的視差計算 處理的圖。
[0029]圖19是說明由視差計算單元執(zhí)行的視差計算處理的流程圖。
[0030]圖20是示出立體圖像運算模塊的另一功能配置的圖。
[0031]圖21A和21B是說明由組成立體圖像運算模塊的一部分的信息嵌入單元執(zhí)行的信 息嵌入處理的圖。
[0032]圖22是說明由信息嵌入單元執(zhí)行的信息嵌入處理的流程圖。
[0033] 圖23是示出立體圖像運算模塊的另一功能配置的圖。
【具體實施方式】
[0034] 現(xiàn)在將參考附圖給出實施例的描述 [0035] 第一實施例
[0036] 首先，說明根據(jù)實施例的視差運算系統(tǒng)的整體配置。圖1是示出根據(jù)本實施例的視 差運算系統(tǒng)100的整體配置的圖。如圖1中所示，視差運算系統(tǒng)100包括激光雷達(dá)距離測量模 塊110和立體圖像運算模塊120。
[0037] 激光雷達(dá)距離測量模塊110配置來當(dāng)由組成立體圖像運算模塊120的立體相機(jī)拍 攝立體圖像時在拍攝方向上照射激光束，并且配置來接收反射后的光束以測量到激光束的 反射位置的距離。由激光雷達(dá)距離測量模塊110測量出的距離和光束接收定時信息被輸入 到立體圖像運算模塊120作為距離信息。
[0038]立體圖像運算模塊120包括立體相機(jī)并且基于由立體相機(jī)以預(yù)定幀時段拍攝的立 體圖像計算視差圖像。立體圖像運算模塊120被配置來當(dāng)計算視差圖像時基于距離信息中 包括的反射定時信息來標(biāo)識幀。另外，立體圖像運算模塊120被配置來將距離信息中包括的 距離數(shù)據(jù)與立體圖像的對應(yīng)幀中與激光束的照射位置對應(yīng)的像素關(guān)聯(lián)。立體圖像運算模塊 120被配置來在計算視差圖像時使用基于與對應(yīng)像素關(guān)聯(lián)的距離數(shù)據(jù)(基于距離數(shù)據(jù)計算 出的值）。
[0039]由此，在計算視差圖像時，可以通過使用由激光雷達(dá)距離測量模塊110測量出的距 離增加視差計算的精度。
[0040] 例如，由立體圖像運算模塊120計算出的視差圖像使得能夠精確檢測到在道路上 運轉(zhuǎn)的車輛前面的道路表面上的物體、人等。另一方面，在具有諸如道路表面之類的平滑紋 理的圖像部分的情況下，視差計算的精度劣化。為了避免這一點，立體圖像運算模塊120配 置來在計算視差圖像時使用由激光雷達(dá)距離測量模塊110測量出的距離。
[0041] 接著，說明視差運算系統(tǒng)100的應(yīng)用的示例。圖2是示出根據(jù)實施例的視差運算系 統(tǒng)100所應(yīng)用到的車輛200的圖。在圖2的示例中，激光雷達(dá)距離測量模塊110和立體圖像運 算模塊120安裝在車輛200的前窗口的內(nèi)部中間位置處。激光雷達(dá)距離測量模塊110和立體 圖像運算模塊120安裝為面向車輛200的朝前方向，并且激光雷達(dá)距離測量模塊110布置在 組成立體圖像運算模塊120的一部分的立體相機(jī)(兩個圖像拾取單元)之間。
[0042]接著，說明由激光雷達(dá)距離測量模塊110的激光束的照射范圍。圖3A和3B是示出由 激光雷達(dá)距離測量模塊110的激光束的照射范圍的圖。圖3A是車輛200的頂視圖并且圖3B是 車輛200的側(cè)視圖。
[0043]如圖3A中所示，激光雷達(dá)距離測量模塊100在車輛200的朝前方向上線性照射激光 束。當(dāng)車輛200的行進(jìn)的方向定義為角度0°時，當(dāng)從其上位置觀看車輛200時，在轉(zhuǎn)向方向 (turning direction，與水平方向平行)上的激光束的照射角度被固定為時的角度0°。 [0044]此外，激光雷達(dá)距離測量模塊110朝車輛200前面的道路表面部分照射激光束。具 體地，如圖3B所示，道路表面上激光雷達(dá)距離測量模塊110的激光束的照射范圍被設(shè)置為從 相對于激光雷達(dá)距離測量模塊110的安裝位置測量的距離Dl到距離D2。
[0045] 即，激光雷達(dá)距離測量模塊110被安裝，以使得激光束的照射方向可以在仰角方向 (與垂直方向平行)上旋轉(zhuǎn)。由此，可以在從依據(jù)激光雷達(dá)距離測量模塊110的安裝位置而測 量出的距離Dl到距離D2的照射范圍內(nèi)，向道路表面照射激光束。
[0046]接著，說明由立體圖像運算模塊120的立體圖像的拍攝范圍。圖4A、4B和4C是說明 立體圖像運算模塊120的立體圖像的拍攝范圍的圖。圖4A是當(dāng)從其上部分觀看時車輛200的 頂視圖。如圖4A中所示，立體圖像運算模塊120的立體相機(jī)安裝為面向車輛200的朝前方向 并且拍攝車輛的朝前方向上的圖像(包括道路表面和天空）。
[0047]圖4B和4C示出由立體相機(jī)拍攝的每個立體圖像中的一個幀。圖4B示出由安裝在組 成立體圖像運算模塊120的立體相機(jī)的圖像拾取單元的左手側(cè)的左圖像拾取單元拍攝的立 體圖像的一個幀。圖4C示出由安裝在組成立體圖像運算模塊120的立體相機(jī)的圖像拾取單 元的右手側(cè)的右圖像拾取單元拍攝的立體圖像的一個幀。
[0048]左圖像拾取單元和右圖像拾取單元以兩個圖像拾取單元之間的已知距離相互平 行設(shè)置。因此，圖4B中所示的立體圖像410內(nèi)的物體的位置和圖4C中所示的立體圖像420內(nèi) 的相同物體的位置在水平方向上相互偏離。
[0049]立體圖像運算模塊120配置來通過計算組成圖像410中的物體的每個像素和組成 圖像420中的物體的像素的對應(yīng)像素之間的偏移量(稱為"視差"），生成和輸出視差圖像。
[0050] 接著，說明激光雷達(dá)距離測量模塊110的激光束的照射位置與由立體圖像運算模 塊120拍攝的立體圖像(參考圖像）中的像素位置之間的關(guān)系。圖5是說明激光束的照射位置 和立體圖像(參考圖像)的像素位置之間的關(guān)系的圖。
[0051] 如上面描述，激光雷達(dá)距離測量模塊110安裝在立體圖像運算模塊120的立體相機(jī) (兩個圖像拾取單元)之間，以使得在轉(zhuǎn)向方向上激光雷達(dá)距離測量模塊110的激光束的照 射角度被固定為角度〇°，并且激光雷達(dá)距離測量模塊Iio被安裝為在仰角方向上可旋轉(zhuǎn)。
[0052] 因此，圖像420中激光束的照射范圍與由圖5中的照射范圍520指示的圖像部分對 應(yīng)。即，圖像420中預(yù)定位置處的像素是照射范圍520中的預(yù)定位置處的像素。
[0053]在本實施例中，假設(shè)像素(Pxl，Pyl)、像素(Pxl，P y2)、像素(Pxl，Py3)和像素(Pxl，P y4) 與測量出距離的位置對應(yīng)。因此，由激光雷達(dá)距離測量單元110測量出的距離可以與這些像 素關(guān)耳關(guān)。
[0054] 在圖5中所示的圖像420中，距離數(shù)據(jù)LD1與像素(Pxl，Pyl)關(guān)聯(lián)，距離數(shù)據(jù)LD 2與像素 (Pxl，Py2 )關(guān)聯(lián)，距離數(shù)據(jù)LD3與像素(Pxl，Py3 )關(guān)聯(lián)，并且距離數(shù)據(jù)LD4與像素(Pxl，Py4 )關(guān)聯(lián)。
[0055] 因為距離數(shù)據(jù)LD1-LD4與圖像420 中的像素(Pxl，Pyl )、（Pxl，Py2 )、（Pxl，Py3)和(Pxl， Py4)關(guān)聯(lián)，所以可以計算相對于圖像420(參考圖像）中這些像素與圖像410(比較圖像）中對 應(yīng)于這些像素的像素的視差。具體地，可以基于距離數(shù)據(jù)LD 1W及立體相機(jī)之間的已知距離 計算圖像410中的像素(Pxl，Pyl)的視差。類似地，可以基于距離數(shù)據(jù)LD 2以及立體相機(jī)之間的 已知距離計算圖像410中的像素(Pxl，Py2)的視差，可以基于距離數(shù)據(jù)LD 3以及立體相機(jī)之間 的已知距離計算圖像410中的像素(Pxl，Py3)的視差，以及可以基于距離數(shù)據(jù)LD 4和立體相機(jī) 之間的已知距離計算圖像410中的像素 (P x i，P y 4)的視差。
[0056]接著，說明激光雷達(dá)距離測量模塊110的功能配置。圖6是示出激光雷達(dá)距離測量 模塊110的功能配置的框圖。
[0057]如圖6中所示，在激光雷達(dá)距離測量模塊110中，響應(yīng)于從信號處理單元601接收到 指令，仰角方向掃描驅(qū)動單元602驅(qū)動馬達(dá)603以在仰角方向上旋轉(zhuǎn)仰角方向掃描鏡604。由 此，可以在仰角方向上旋轉(zhuǎn)仰角方向掃描鏡604。
[0058]在激光雷達(dá)距離測量模塊110中，響應(yīng)于從信號處理單元601接收到指令，激光驅(qū) 動器609驅(qū)動激光輸出單元608以輸出激光束。此時，在時間間隔計數(shù)器607中臨時存儲輸出 激光束的定時。由激光輸出單元608輸出的激光束由在仰角方向上旋轉(zhuǎn)的仰角方向掃描鏡 604反射到外部，以使得反射后的激光束的照射覆蓋預(yù)定照射范圍。
[0059]由激光雷達(dá)距離測量模塊110輸出的激光束被道路表面上的照射位置反射，并且 反射后的光束通過仰角方向掃描鏡604由激光束接收單元605接收到。激光束接收單元605 包括在垂直方向上布置的多個光電檢測器(PD)，反射后的光束由任一個光電檢測器接收 到，并且接收到的束由相關(guān)光電檢測器轉(zhuǎn)換為電信號。
[0000]轉(zhuǎn)換后的信號由信號放大器606放大并且來自信號放大器605的放大后的信號被 輸入到時間間隔計數(shù)器607。時間間隔計數(shù)器607基于激光輸出單元608輸出激光束的定時 和激光束接收單元605接收反射后的光束的定時，計算時間間隔。
[0061]由時間間隔計數(shù)器607計算出的時間間隔由信號處理單元601轉(zhuǎn)換為距離數(shù)據(jù)，并 且信號處理單元601向立體圖像運算模塊120發(fā)送指示距離數(shù)據(jù)的距離信息和指示接收定 時的接收定時信息。
[0062]接著，說明立體圖像運算模塊120的功能配置。圖7是示出立體圖像運算模塊120的 功能配置的框圖。
[0063]如圖7中所示，立體圖像運算模塊120包括圖像拾取單元710、圖像拾取單元720和 視差運算單元730。視差運算單元730組成根據(jù)本實施例的信息處理裝置。圖像拾取單元710 和圖像拾取單元720組成立體圖像照相機(jī)。
[0064]在本實施例中，由圖像拾取單元710拍攝的圖像用作比較圖像，并且由圖像拾取單 元720拍攝的圖像用作參考圖像。
[0065] 視差運算單元730包括成本計算單元731、能量計算單元732和視差計算單元733。 下面，將說明組成視差運算單元730的成本計算單元731、能量計算單元732和視差計算單元 733中的每個。下面將說明的成本計算單元731、能量計算單元732和視差計算單元733可以 由一個或者多個專用電子電路實現(xiàn)?？商娲?，單元731-733的功能可以由執(zhí)行代表使得計 算機(jī)執(zhí)行單元731-733的功能的計算機(jī)可讀代碼的程序的計算機(jī)(或者立體圖像運算模塊 120的處理器或者CPU)實現(xiàn)。
[0066]成本計算單元731執(zhí)行成本計算處理。具體地，由成本計算單元731執(zhí)行的成本計 算處理通過獲取由圖像拾取單元710拍攝的圖像(比較圖像)和由圖像拾取單元720拍攝的 圖像(參考圖像），并且比較這兩個圖像，來計算組成圖像（比較圖像）的每個像素的成本C (p,d)〇
[0067]成本是當(dāng)一個圖像（比較圖像)在水平向右/向左方向上偏移時兩個圖像（比較圖 像和參考圖像）中的一個（比較圖像)與另一個圖像(參考圖像)一致性的程度的指標(biāo)，這兩 個圖像組成立體圖像。SAD(sum of absolute difference,絕對差之和)可以用作成本的示 例。然而，成本不限于SAD。例如，SSD(sum of squared differences，均方差之和）、NCC (normalized cross-correlation，歸一化互關(guān)聯(lián))等也可以用作成本的另一示例。
[0068]圖8和9是說明由成本計算單元731執(zhí)行的成本計算處理的圖。圖8示出成本計算處 理計算SAD作為包括由圖像拾取單元710拍攝的圖像410和由圖像拾取單元720拍攝的圖像 420的立體圖像中的注意到的像素 p = ( Px3，Py5)的成本的示例。
[0069]如圖8中所示，圖像410的拍攝位置與圖像420的拍攝位置不同，并且即使從立體圖 像的相同位置讀取注意到的像素 P=(Px3，Py5)，立體圖像中的兩個像素不指向相同物體，而 是指向在水平向右/向左方向上相互偏離的不同位置。
[0070] 因此，圖像420中的注意到的像素 P =(Px3，Py5)和圖像410中的注意到的像素 P = (Px3，Py5)之間的輝度值之間的差(其等于塊大小是Ixl個像素的情況下的SAD)比較大。
[0071] 這里，圖像410(比較圖像）中的注意到的像素 p朝右偏移一個像素，并且計算當(dāng)視 差d = l時的SAD的值。具體地，計算圖像420中的注意到的像素 p=(Px3，Py5)的輝度值和圖像 410中的注意到的像素 p = (Px3+1，Py5)的輝度值之間的差值(SAD)。在圖8的示例中，當(dāng)視差d =1時，SAD的值比較大。
[0072] 類似地，視差改變?yōu)閐 = 2、3...，并且相應(yīng)地計算對應(yīng)SAD的值。在圖8的示例中，當(dāng) 視差d = 3時，圖410中的注意到的像素 p =( Px3+3，Py 5)指向的物體變成與圖像420中注意到的 像素 P = (PX3，Pys)指向的物體相同的物體。出于這個原因，當(dāng)視差d = 3時的SAD的值小于當(dāng) 視差d矣3時SAD的值。
[0073]圖IOA示出圖形(視差-SAD圖形），該圖形示出當(dāng)水平軸表示視差d并且垂直軸表示 SAD時注意到的像素 p = (PX3，Py5)的SAD對視差d的變化。如圖IOA所示，當(dāng)視差d = 3時注意到 的像素口=憶3心5)的340的值是最小的，并且可以確定注意到的像素？=憶 3義5)的視差(1 等于3〇
[0074]另一方面，圖9示出這樣的示例，在該示例中，成本計算處理計算SAD作為包括由圖 像拾取單元710拍攝的圖像410和由圖像拾取單元720拍攝的圖像420的立體圖像中注意到 的像素 P = (Ρχ4，Py6)的成本。
[0075]如圖9中所示，圖像410的拍攝位置與圖像420的拍攝位置不同，并且即使從立體圖 像的相同位置讀取注意到的像素 P=(Px4，Py6)，立體圖像中的兩個像素也不指向相同物體， 而是指向在水平向右/向左方向上相互偏離的不同位置。
[0076]因此，圖像420中的注意到的像素 P= (Px4，Py6)和圖像410中的注意到的像素 P = (Px4，Py6)之間的輝度值的差(其等于塊大小Ixl像素的情況下的SAD)比較大。
[0077]這里，類似于圖8,圖像410(比較圖像）中的注意到的像素 P向右位移一個像素，并 且計算出當(dāng)視差d=l時的SAD的值。具體地，計算圖像420中的注意到的像素 p=(Px4，Py6)和 圖像410中的注意到的像素 P= (Px4+1，Py6)的輝度值之間的差值(SAD)。在圖9的示例中，同 樣，當(dāng)視差d = 1時，SAD的值比較大。
[0078]類似地，視差改變?yōu)閐 = 2、3...，并且相應(yīng)地計算對應(yīng)的SAD的值。在圖9的示例中， 當(dāng)視差d = 3時，圖像410中注意到的像素 p =( PX4+3，Py6)所指向的物體變成與圖像420中注意 至_像素 P=(Px4，Py6)所指向的物體相同的物體。在圖9的示例中，然而，圖像部分與道路表 面對應(yīng)，并且圖像部分的對應(yīng)像素原始地具有平滑紋理。因此，對應(yīng)像素的SAD的變化也小。 [0079]圖IOB示出圖形（視差SAD圖形），該圖形示出相對于注意到的像素 P= (Px4，Py6)的 視差的SAD的變化，其中，水平軸表示視差d并且垂直軸表示SAD。如圖IOB中所示，注意到的 像素 P = (Px4，Py6)的SAD的變化對視差d的改變是小的，并且不能提取視差。
[0080] 由此，存在其視差不能由通過成本計算單元731執(zhí)行的成本計算處理確定的像素， 并且視差運算單元730的能量計算單元732配置來執(zhí)行能量計算處理，以允許視差被確定。
[0081] 能量計算單元732配置來執(zhí)行能量計算處理，其通過使用密集匹配算法計算傳播 參數(shù)Lr并且使用計算出的傳播參數(shù)Lr計算注意到的像素 P的能量值S(P，d)。
[0082] 首先，先說明通過使用密集匹配算法計算傳播參數(shù)Lr的能量計算處理中的處理。 圖11是說明通過使用密集匹配算法計算傳播參數(shù)Lr的處理的圖。
[0083]圖11中圖示確定作為注意到的像素 P的像素1100的四個方向上的傳播參數(shù)Lr的的 情況。具體地，關(guān)于作為注意到的像素 P的像素1100，確定箭頭1111方向上的傳播參數(shù)Li、箭 頭1112方向上的傳播參數(shù)L2、箭頭1113方向上的傳播參數(shù)L 3和箭頭1114方向上的傳播參數(shù) L4。然而，對于像素1100確定傳播參數(shù)的方向（r)不限于四個方向。例如，方向（r)可以是八 個方向或者兩個方向。
[0084]如圖11中所示，可以根據(jù)下面的公式確定箭頭111 1方向上的傳播參數(shù)Lr:
[0085] C(p.t/) + min{z,(/; - I.i/):L1 (/; - I,(6/ - ])+ P,,L^p -],<J -:-1)+ P.,minΙ^(ρ ?,/)+ Ρ·, i ? ?
[0086] 其中，P表示像素1100的坐標(biāo)，并且d表示視差。
[0087] 以這樣的方式，可以以視差(d-Ι)、視差d和視差(d+Ι)中的每個，使用像素1100的 成本C(p，d)和位于像素1100的左手側(cè)并且離開像素1100-個像素的相鄰像素的傳播參數(shù)， 計算傳播參數(shù)Li(p，d)。即，箭頭111方向上的傳播參數(shù)在從左向右的方向上順序計算。以從 左向右計算傳播參數(shù)的傳播間隔不限于一個像素?？商娲?，可以以視差(d-Ι)、視差d和視 差(d+Ι)使用像素1100的左手側(cè)上并且離開像素1100 "a"個像素（"a" g2)的附近像素的傳 播參數(shù)計算傳播參數(shù)Li(p，d)。
[0088] 類似地，在從上到下的方向上順序計算箭頭1112方向上的傳播參數(shù)L2，在從右到 左的方向上順序計算箭頭1113方向上的傳播參數(shù)L 3,并且在從下到上的方向上順序計算箭 頭1114方向上的傳播參數(shù)L4。
[0089] 接著，說明使用計算出的傳播參數(shù)Lr計算注意到的像素 p的能量值S(p，d)的能量 計算處理中的處理。
[0090] 如上面描述，能量計算單元732配置來根據(jù)下面的公式，基于針對像素計算出的各 個方向上的所有傳播參數(shù)計算每個像素的能量值S(p，d)。
[0091 ] S(p.ii)^^Lr(p,d)
[0092] 在圖11的示例中，可以根據(jù)公式:5(口，(1)=]^1(口，(1)+1^(口，(1)+]^3(口，(1)+]^4(口，(1)計 算能量值S(p，d)。
[0093] 接著，說明密集匹配算法的示例，并且說明對從激光雷達(dá)距離測量模塊110發(fā)送的 距離數(shù)據(jù)的密集匹配算法的應(yīng)用。
[0094] 圖12是示出從傳播參數(shù)L1(Pj)確定傳播參數(shù)LKp+lj)的密集匹配算法的示例的 圖。在圖12中，假設(shè)像素1220是圖像420中的注意到的像素 p =(PX4，Py6)，像素1210是圖像 410中的注意到的像素 P= (Px4，Py6)，并且像素1211-1214分別是像素1210的視差d等于1-4 時的像素。
[0095]這里，假設(shè)圖像420中的像素1220是針對其由激光雷達(dá)距離測量模塊110測量出到 達(dá)由該像素指示出的物體的距離數(shù)據(jù)的像素(并且距離數(shù)據(jù)與像素1220關(guān)聯(lián)）。當(dāng)測量出到 由像素1220指示的物體的距離時，可以使用圖像拾取單元710和圖像拾取單元720之間的已 知距離，計算與像素1220對應(yīng)的圖像410中的像素的視差。
[0096]在圖12的示例中，假設(shè)與距離數(shù)據(jù)與其關(guān)聯(lián)的像素1220對應(yīng)的圖像410中的像素 1210的視差d等于4(d = 4)。即，假設(shè)由圖像410中的像素1214指示的位置與由距離數(shù)據(jù)與其 關(guān)聯(lián)的圖像420中的像素指示的位置相同。
[0097]在這種情況下，圖像420中的像素1220的輝度值和圖像410中的像素1214的輝度值 相同，并且像素1214的傳播參數(shù)L1(Pj)等于0。
[0098] 當(dāng)像素1214的傳播參數(shù)LKp，4)等于0時，像素1213的傳播參數(shù)LKp，3)設(shè)置為C(p， 3)+0。也就是，可以基于像素1213的輝度值和像素1220的輝度值之間的差值計算出像素 1213的傳播參數(shù)Li(p，3)。
[0099] 類似地，像素1212的傳播參數(shù)LKp，2)設(shè)置為C(p，2)+0,并且可以基于像素1212的 輝度值和像素1220的輝度值之間的差值計算出像素1212的傳播參數(shù)L 1(PJ)13
[0100]類似地，也可以基于像素1211的輝度值和像素1220的輝度值之間的差值以及像素 1210的輝度值和像素1220的輝度值之間的差值，計算像素1211的傳播參數(shù)L1(PJ)和像素 1210的傳播參數(shù)L 1 (p，0)。即，基于圖像410中的像素和圖像420中的對應(yīng)像素之間的相似 性，可以計算像素1210-1214的傳播參數(shù)L 1(PW)-LKp, 4)。
[0101] 在計算出圖像410中的像素1210-1214的傳播參數(shù)L1(Pj)-LKp, 4)之后，可以計算 像素1223的傳播參數(shù)Li(p+1，d)。
[0102] 具體地，根據(jù)公式Li(p+1，3) = C(p+l，3)+min{Li(p，3)，Li(p，2)+Pi，Li(p，4)+PiH+ 算傳播參數(shù)Li(p+1，3)。在這個公式中，P 1是常數(shù)并且L1(Pd)=O,并且，如上面描述,LKp， 3)等于C(p，3)并且Li(p，2)等于C(p，2)。
[0103]通過重復(fù)相同的處理，可以確定像素1222、1221......的傳播參數(shù)，并且由此可以 計算圖像410中所有像素的傳播參數(shù)。
[0104] 因此，能量計算單元732配置來基于從激光雷達(dá)距離測量模塊110接收到的距離數(shù) 據(jù)，計算與圖像420(參考圖像）中的距離數(shù)據(jù)與其關(guān)聯(lián)的像素對應(yīng)的圖像410(比較圖像）中 的像素的視差d。另外，通過假設(shè)與距離數(shù)據(jù)與其關(guān)聯(lián)的像素對應(yīng)的像素的視差d的傳播參 數(shù)1^(?，(1)等于0,能量計算單元732配置來通過使用傳播參數(shù)L 1(Pj)作為開始點，順序計算 與對應(yīng)像素不同的像素的傳播參數(shù)。
[0105] 以這樣的方式，能量計算單元732使用與由激光雷達(dá)距離測量模塊110測量出的距 離與其關(guān)聯(lián)的參考圖像中的像素對應(yīng)的比較圖像中的像素，作為當(dāng)計算其他像素的傳播參 數(shù)時的開始點。通過假設(shè)對應(yīng)像素的視差d的傳播參數(shù)等于0,可以增加使用作為開始點的 對應(yīng)像素的視差d的傳播參數(shù)順序計算出的其他像素的傳播參數(shù)的精度。因此，可以增加視 差計算的精度。
[0106] 接著，說明由能量計算單元732計算出的能量值S(p，d)和視差之間的關(guān)系。圖13是 說明由能量計算單元732計算出的能量值和視差之間的關(guān)系的圖。
[0107] 在圖13中示出的示例中，對于在視差d = 0到10的范圍內(nèi)變化的視差分別計算四個 方向上的像素1301的傳播參數(shù)LjIjL4。通過對于視差中的對應(yīng)一個的四個方向上的傳播參 數(shù)1^-1^4求和，計算各個視差的能量值S (p，0)-S (p，10)。
[0108] 在圖13的下部分指示的視差能量圖1311中，水平軸表示視差d，垂直軸表示能量值 S(p)，并且點繪對于像素1301計算出的能量值S(p，0)-S(p，10)。如視差-能量圖1311中所 示，能量值S(p)在視差d的某一值急劇下降。
[0109] 如前面說明顯而易見，在這個實施例中，對于具有光滑紋理(諸如道路表面之類） 的圖像部分計算能量值S(P)，并且根據(jù)視差d的變化的能量值S(P)的變化可能足夠大來增 加視差計算的精度。另一方面，在相關(guān)領(lǐng)域，對于具有光滑紋理(諸如道路表面之類)的圖像 部分計算SAD，并且根據(jù)視差d的變化的SAD的變化可能太小以至于不能增加視差計算的精 度。因此，根據(jù)本實施例能夠以足夠的精度計算視差。
[0110] 也可以對應(yīng)其他像素1302、1303......執(zhí)行相同的處理，并且可以通過計算能量 值S(p)以足夠的精度計算其他像素的視差。
[0111]接著，說明由能量計算單元732執(zhí)行的能量計算處理的流程。圖14是說明由能量計 算單元732執(zhí)行的能量計算處理的流程圖。
[0112]在成本計算單元731的成本計算處理的結(jié)束之后，能量計算單元732開始執(zhí)行圖14 中所示的能量計算處理。應(yīng)當(dāng)注意，對于立體圖像的每個幀，基于逐幀重復(fù)執(zhí)行圖14所示的 能量計算處理，并且在圖14的示例中，對于立體圖像的一幀執(zhí)行能量計算處理。
[0113]如圖14中所示，在步驟S1401，能量計算單元732從激光雷達(dá)距離測量模塊110讀取 與要處理的立體圖像的多個幀之一對應(yīng)的距離數(shù)據(jù)。
[0114] 在步驟S1402,能量計算單元732標(biāo)識距離數(shù)據(jù)與其關(guān)聯(lián)的要處理的幀的參考圖像 中的像素之中的像素。另外，在步驟S1402,能量計算單元732基于距離數(shù)據(jù)以及圖像拾取單 元710和720之間的已知距離，計算與參考圖像中的標(biāo)識出的像素對應(yīng)的比較圖像中的像素 的視差d。
[0115] 在步驟S1403,能量計算單元732計算與距離數(shù)據(jù)與其關(guān)聯(lián)的像素對應(yīng)的比較圖像 中的像素的視差d的傳播參數(shù)。
[0116] 在步驟S1404,計數(shù)器r設(shè)置為1(計數(shù)器r=l表示四個方向上的傳播參數(shù)之中的由 圖11中的箭頭1111指示出的方向上的傳播參數(shù)）。
[0117] 在步驟S1405,能量計算單元732在假設(shè)在步驟S1403計算出的傳播參數(shù)是開始點 的情況下，通過使用密集匹配算法計算"r"方向上的所有其他像素的傳播參數(shù)L 1(Pj)13 [0118] 在步驟S1406,能量計算單元732確定計數(shù)器r是否大于或等于4(rg4)。當(dāng)計數(shù)器r 小于4時(K4)，處理行進(jìn)到計數(shù)器r遞增(r = r+l)的步驟S1407,并且返回步驟S1405。在步 驟S1405,能量計算單元732在假設(shè)在步驟S1403計算出的傳播參數(shù)是開始點的情況下，通過 使用密集匹配算法計算"r"方向上的所有其他像素的傳播參數(shù)L 2(p，d)。
[0119] 類似地，由能量計算單元732計算傳播參數(shù)L3(p，d)和L4(p，d)。當(dāng)在步驟S1406確定 完成四個方向上的傳播參數(shù)的計算時(r^4)，處理行進(jìn)到步驟S1408。
[0120]在步驟S1408，能量計算單元732通過對視差中的對應(yīng)一個的四個方向上的傳播參 數(shù)1^(?，(1)-1^(?，(1)求和，針對各個視差計算每個像素的能量值5(?)。隨后，能量計算單元 732基于計算出的能量值S(p)，生成視差-能量圖形，如圖13中所示。
[0121]接著，說明視差計算單元733。圖15是說明由視差計算單元733執(zhí)行的視差計算處 理的流程圖。
[0122] 在由能量計算單元732的能量計算處理的結(jié)束之后，視差計算單元733開始執(zhí)行視 差計算處理，如圖15中所示。應(yīng)當(dāng)注意，對于立體圖像的每個幀，基于逐幀重復(fù)執(zhí)行圖15所 示的能量計算處理，并且在圖15的示例中，對于立體圖像的一個幀中包括的比較圖像執(zhí)行 視差計算處理。
[0123] 如圖15中所示，在步驟S1501，像素計數(shù)器p設(shè)置為1。在步驟S1502,讀取比較圖像 中的注意到的像素 P(由像素計數(shù)器P指示)的視差-能量圖形。如上面描述，由能量計算單元 732計算比較圖像中的每個像素的視差-能量圖形，并且在步驟1502讀取那些視差-能量圖 形之中的注意到的像素 P的視差-能量圖形。
[0124] 在步驟S1503,視差計算單元733計算在預(yù)定閾值之下的、讀取出的視差-能量圖形 中的最低點，并且從讀取出的視差-能量圖形提取最低點作為視差D(p)。在步驟S1504,視差 計算單元733確定是否對于要處理的幀中的所有像素提取視差D(p)。
[0125] 當(dāng)在步驟S1504確定存在對于其沒有提取視差D(p)的像素時，處理返回步驟 S1502〇
[0126] 另一方面，當(dāng)在步驟S1504確定對于要處理的幀的所有像素提取視差D(p)時，視差 計算單元733在步驟S1505基于提取出的視差D(p)，生成和輸出要處理的幀的視差圖像。
[0127] 如前面描述，根據(jù)本實施例的視差運算系統(tǒng)100包括通過使用激光束測量距離的 激光雷達(dá)距離測量模塊110和計算視差圖像的立體圖像運算模塊120。視差運算系統(tǒng)100的 這些模塊如下配置。
[0128] -激光雷達(dá)距離測量模塊110配置來與由組成立體相機(jī)的圖像拾取單元710和720 拍攝的立體圖像同步，以使得可以測量預(yù)定照射的距離。
[0129] -立體圖像運算模塊120配置來將從激光雷達(dá)距離測量模塊110讀取出的距離數(shù)據(jù) 與對應(yīng)立體圖像(參考圖像)的幀中的像素關(guān)聯(lián)。
[0130]-立體圖像運算模塊120配置來基于距離數(shù)據(jù)和立體相機(jī)之間的已知距離，計算與 距離數(shù)據(jù)與其關(guān)聯(lián)的參考圖像中的像素對應(yīng)的比較圖像中的像素的視差。
[0131] -立體圖像運算模塊120配置來通過將與距離數(shù)據(jù)與其關(guān)聯(lián)的參考圖像中的像素 對應(yīng)的比較圖像中的像素的視差d的傳播參數(shù)作為開始點，通過密集匹配算法順序計算幀 中的其他像素的傳播參數(shù)。
[0132] 以這樣的方式，通過使用與由激光雷達(dá)距離測量模塊110測量出的距離與其關(guān)聯(lián) 的參考圖像中的像素對應(yīng)的比較圖像中的像素的視差d的傳播參數(shù)，作為當(dāng)計算其他像素 的傳播參數(shù)時的開始點，根據(jù)本實施例的視差運算系統(tǒng)100可以以良好的精度確定其他像 素的傳播參數(shù)。因此，根據(jù)本實施例的視差運算系統(tǒng)能夠通過使用比較圖像中的像素的視 差d的傳播參數(shù)作為開始點增加順序計算出的其它像素的傳播參數(shù)的精度。因此，根據(jù)本實 施例的視差運算系統(tǒng)100能夠增加視差計算的精度。
[0133] 第二實施例
[0134] 在上面的第一實施例中，已經(jīng)描述由能量計算單元732使用由激光雷達(dá)距離測量 模塊110測量出的距離的情況。然而，本發(fā)明不限于這個實施例。例如，當(dāng)執(zhí)行視差計算處理 時可以由視差計算單元733使用由激光雷達(dá)距離測量模塊110測量出的距離。
[0135] 接著，說明根據(jù)第二實施例的視差運算系統(tǒng)100。下面，將僅說明根據(jù)第二實施例 的視差運算系統(tǒng)100和根據(jù)第一實施例的視差運算系統(tǒng)100的區(qū)別。
[0136] 說明根據(jù)本實施例的視差運算系統(tǒng)100中的立體圖像運算模塊120的功能配置。圖 16是示出根據(jù)本實施例的視差運算系統(tǒng)100中的立體圖像運算模塊120的功能配置的框圖。
[0137] 圖16中所示的根據(jù)本實施例的立體圖像運算模塊120與圖7中所示的第一實施例 的不同之處在于從激光雷達(dá)距離測量模塊110發(fā)送的距離信息被輸入到視差計算單元733。 在根據(jù)本實施例的視差運算系統(tǒng)100中，激光雷達(dá)距離測量模塊110包括轉(zhuǎn)向方向掃描鏡 (未示出），并且配置來當(dāng)由圖像拾取單元710和720拍攝立體圖像時，通過使用轉(zhuǎn)向方向掃 描鏡圍繞轉(zhuǎn)向方向相對于車輛的前向方向改變激光束的照射方向。例如，可以以與車輛的 前向方向不同的三個照射角度圍繞轉(zhuǎn)向方向照射激光束。因此，在從激光雷達(dá)距離測量模 塊110接收到的距離信息中包括與幾個照射方向?qū)?yīng)的兩個或者更多距離信息項。
[0138] 說明由根據(jù)本實施例的視差運算系統(tǒng)100使用的激光束的照射位置和立體圖像的 像素位置之間的關(guān)系。圖17是說明根據(jù)本實施例的視差運算系統(tǒng)100中的激光束的照射位 置和立體圖像的像素位置之間的關(guān)系的圖。在根據(jù)本實施例的視差運算系統(tǒng)100中，激光雷 達(dá)距離測量模塊110安裝在立體圖像運算模塊120的立體相機(jī)之間，以使得激光雷達(dá)距離測 量模塊110在轉(zhuǎn)向方向上可旋轉(zhuǎn)，并且在仰角發(fā)方向的預(yù)定照射范圍中照射激光束。
[0139] 因此，如圖17中所示，在幾個照射角度上，圖像420的預(yù)定位置處的像素與激光束 的照射位置對應(yīng)。在圖17中，附圖標(biāo)記1711-1713表示圖像420中的激光束的照射范圍。
[0140] 具體地，如圖17中所示，像素（Pxll，Pyl)、像素（Pxl2，Py2)、像素（Pxl3，Py3)和像素 (P xl4，Py4)與測量照射范圍1711的距離的位置對應(yīng)。因此，這些像素與由激光雷達(dá)距離測量 模塊Iio測量出的距離關(guān)聯(lián)。
[0141] 在圖420的示例中，距離數(shù)據(jù)LD11與像素 (Pxll，Pyl)關(guān)聯(lián)，距離數(shù)據(jù)LD12與像素 (Pxl2， Py2)關(guān)聯(lián)，距離數(shù)據(jù)LDl3與像素 (Pxl3，Py3)關(guān)聯(lián)，并且距離數(shù)據(jù)LDl4與像素 (Pxl4，Py4)關(guān)聯(lián)。
[0142] 類似地，像素(Px2，Py!)、像素(Px2，Py2)、像素(P x2，Py3)和像素(Px2，Py4)與測量照射 范圍1712的距離的位置對應(yīng)。因此，距離數(shù)據(jù)LD 21與像素(Px2，Pyl)關(guān)聯(lián)，距離數(shù)據(jù)LD22與像素 (Px2，Py 2 )關(guān)聯(lián)，距離數(shù)據(jù)LD23與像素(Px2，Py3 )關(guān)聯(lián)，并且距離數(shù)據(jù)LD24與像素(Px2，Py4)關(guān)聯(lián)。
[0143] 類似地，像素(Px31，Pyl)、像素(Px32，Py2)、像素(P x33，Py3)和像素(Px34，Py4)與測量照 射范圍1713的距離的位置對應(yīng)。因此，距離數(shù)據(jù)LD 31與像素(Px31，Pyl)關(guān)聯(lián)，距離數(shù)據(jù)LD32與 像素(Px32，Py 2)關(guān)聯(lián)，距離數(shù)據(jù)LD33與像素(Px33，Py3)關(guān)聯(lián)，并且距離數(shù)據(jù)LDm與像素(Px34， Py4)關(guān)聯(lián)。
[0144] 因為已知組成立體相機(jī)的圖像拾取單元710和圖像拾取單元720之間的距離，所以 可以分別基于距離數(shù)據(jù)LD11-LD 34正確地計算出距離數(shù)據(jù)與其關(guān)聯(lián)的這些像素的視差。
[0145] 接著，說明由視差計算單元733執(zhí)行的視差計算處理。圖18是說明由視差計算單元 733執(zhí)行的視差計算處理的圖。具體地，圖18示出包括與距離數(shù)據(jù)與其關(guān)聯(lián)的圖像420(參考 圖像）中的像素對應(yīng)的像素的圖像410(比較圖像）的圖像部分。在圖18中，假設(shè)陰影像素是 與距離數(shù)據(jù)與其關(guān)聯(lián)的圖像420中的像素對應(yīng)的圖像410中的像素。換言之，圖18中的陰影 像素是已經(jīng)基于距離數(shù)據(jù)計算出其視差的像素。
[0146] 另外，假設(shè)像素1801和像素1802是未由能量計算單元732提取其視差的像素。具體 地，假設(shè)由能量計算單元732計算出的這些像素的能量值S(p)，沒有示出對于視差變化的大 變化，并且沒有找到預(yù)定閾值之下的視差-能量圖形中的最低點。
[0147] 視差計算單元733配置來使用已經(jīng)基于距離數(shù)據(jù)計算出的視差內(nèi)插這些像素1801 和1802的視差。換言之，使用對應(yīng)像素的計算出的視差，內(nèi)插與其視差已經(jīng)基于距離數(shù)據(jù)計 算出的像素不同的像素的視差。
[0148] 例如，像素1801位于計算出其視差的像素(Px2，Py3)和像素(Px2，P y2)之間，其距離像 素(px2，py3)-個像素，并且距離像素（p x2，py2)兩個像素。這里，假設(shè)d23表示基于距離數(shù)據(jù) LD23計算出的像素(Px2，Py3)的視差，并且d22表示基于距離數(shù)據(jù)LD 22計算出的像素(Px2，Py2)的 視差。在這種情況下，視差計算單元733通過公式:像素1801的視差= d23x2/3+d22xl/3計算 像素1801的視差。
[0149] 此外，像素1802相鄰于計算出其視差的像素(Px32，Py2)和像素(Px33，P y3)。這里，假 設(shè)d32表示基于距離數(shù)據(jù)D32計算出的像素(P x32，Py3)的視差，并且d33表示基于距離數(shù)據(jù)D33計 算出的像素(P x33，Py3)的視差。在這種情況下，視差計算單元733通過公式:像素1802的視差 = d32x3/4+d33xl/4計算像素1802的視差。
[0150]以這樣的方式，視差計算單元733通過使用已經(jīng)基于距離數(shù)據(jù)計算出的附近像素 的視差，計算未由能量計算單元732計算出的像素的視差。此外，當(dāng)使用基于距離數(shù)據(jù)計算 出其視差的附近像素時，根據(jù)附近像素和未由能量計算單元732計算出其視差的像素之間 的距離的執(zhí)行加權(quán)的視差計算。
[0151]這使得能夠計算圖像410的幀中的所有像素的視差。因此，能夠增加視差計算的精 度。
[0152]接著，說明由視差計算單元733的視差計算的流程。圖19是說明由視差計算單元 733執(zhí)行的視差計算處理的流程圖。
[0153]類似于上面描述的第一實施例，在能量計算單元732的能量計算處理之后，視差計 算單元733開始執(zhí)行圖19中所示的視差計算處理。應(yīng)當(dāng)注意，對于立體圖像的每個幀，基于 逐幀重復(fù)執(zhí)行圖19中所示的視差計算處理，并且在圖19的示例中，對立體圖像的一個幀執(zhí) 行視差計算處理。
[01 M] 如圖19中所示，在步驟S1901，視差計算單元733讀取由能量計算單元732計算出的 比較圖像中的每個像素的視差。
[0155] 在步驟S1902，視差計算單兀7 33確定在步驟S1901讀取其視差的像素之中是否存 在沒有計算出其視差的像素。當(dāng)在步驟S1902確定不存在其視差沒有計算出的像素時，處理 行進(jìn)到步驟S1907。
[0156] 另一方面，當(dāng)在步驟S1902確定存在沒有計算出其視差的像素時，處理行進(jìn)到步驟 S1903。在步驟S1903,視差計算單元733讀取在視差沒有計算出的像素的附近并且已經(jīng)基于 距離數(shù)據(jù)計算出其視差的附近像素。
[0157] 隨后，在步驟S1904,視差計算單元733根據(jù)視差計算出的附近像素和視差沒有計 算出的像素之間的距離，計算每個附近像素的加權(quán)因子。在步驟S1905,視差計算單元733通 過在步驟S1903讀取的附近像素的視差和在步驟S1904計算出的加權(quán)因子的乘積和，計算其 視差沒有由能量計算單元732計算出的像素的視差。
[0158]在步驟S1906,視差計算單元733確定是否計算出要處理的幀中的所有的像素的視 差。當(dāng)在步驟S1906確定出存在其視差沒有計算出的像素時，處理返回步驟S1903。
[0159]另一方面，當(dāng)在步驟S1906確定計算出要處理的幀中的所有像素的視差時，處理行 進(jìn)到步驟S1907。在步驟S1907,視差計算單元733基于要處理的幀中的所有像素的計算出的 視差，生成和輸出視差圖像。
[0160]如前面描述，根據(jù)本實施例的視差運算系統(tǒng)100包括通過使用激光束測量距離的 激光雷達(dá)距離測量模塊110和計算視差圖像的立體圖像運算模塊120。視差運算系統(tǒng)100的 模塊如下配置。
[0161] -激光雷達(dá)距離測量模塊110配置來與由組成立體相機(jī)的圖像拾取單元710和720 拍攝的立體圖像同步，以使得可以在轉(zhuǎn)向方向上的幾個照射角度測量預(yù)定照射范圍。
[0162] -立體圖像運算模塊120配置來將從激光雷達(dá)距離測量模塊110讀取出的距離數(shù)據(jù) 與對應(yīng)立體圖像(參考圖像)的幀中的像素關(guān)聯(lián)。
[0163] -立體圖像運算模塊120配置來基于距離數(shù)據(jù)和立體相機(jī)之間的已知距離，計算與 距離數(shù)據(jù)與其關(guān)聯(lián)的像素對應(yīng)的比較圖像中的像素的視差。
[0164] -立體圖像運算模塊120配置來當(dāng)基于立體圖像計算出視差的幀的像素中存在沒 有計算出其視差的像素時，通過使用基于距離數(shù)據(jù)計算出其視差的附近像素，計算視差沒 有計算出的像素的視差。
[0165] 以這樣的方式，根據(jù)本實施例的視差運算系統(tǒng)100配置來使用基于由激光雷達(dá)距 離測量模塊110測量出的距離計算出的視差，內(nèi)插基于立體圖像計算出的視差，并且根據(jù)本 實施例的視差運算系統(tǒng)100能夠增加視差計算的精度。
[0166] 第三實施例
[0167] 在上面描述的第一實施例中，已經(jīng)說明由能量計算單元732使用由激光雷達(dá)距離 測量模塊Iio測量出的距離的情況，并且在上面描述的第二實施例中，說明由視差計算單元 733使用由激光雷達(dá)距離測量模塊110測量出的距離的情況。
[0168] 然而，本發(fā)明不限于這些實施例?？商娲?，可以通過將距離數(shù)據(jù)與其關(guān)聯(lián)的參考 圖像中的像素的輝度值和來自與參考圖像中的像素對應(yīng)的比較圖像中的像素在視差d的位 置處的像素的輝度值，改變?yōu)轭A(yù)定輝度值，來處理立體圖像。這是因為，可以通過處理立體 圖像中具有平滑紋理的圖像部分中的像素，便于視差計算。
[0169] 接著，說明根據(jù)第三實施例的視差運算系統(tǒng)。下面，將僅描述第三實施例與上面描 述的第一和第二實施例的區(qū)別。
[0170] 首先，說明根據(jù)本實施例的視差運算系統(tǒng)100中的立體圖像運算模塊120的功能配 置。圖20是示出根據(jù)本實施例的視差運算系統(tǒng)100中的立體圖像運算模塊120的功能配置的 框圖。
[0171] 圖20中所示的根據(jù)本實施例的立體圖像運算模塊120與圖7中所示的立體圖像運 算模塊120不同之處在于從激光雷達(dá)距離測量模塊110發(fā)送的距離信息被輸入到信息嵌入 單元2001。
[0172]信息嵌入單元2001配置來從由圖像拾取單元720拍攝的圖像420的像素中提取從 激光雷達(dá)距離測量模塊110接收到的距離數(shù)據(jù)與其關(guān)聯(lián)的像素。另外，信息嵌入單元2001配 置來從與圖像420中提取出的像素對應(yīng)的圖像410中的像素中提取在視差d的位置的像素。
[0173] 此外，信息嵌入單元2001配置來將圖像410中的提取出的像素的輝度值和圖像420 中的提取出的像素的輝度值(兩個提取出的像素相互對應(yīng)并且指示相同物體)改變?yōu)轭A(yù)定 輝度值。具體地，信息嵌入單元2001配置來將那些初始輝度值改變?yōu)槭沟秒S后由能量計算 單元732計算的能量值S(p)的變化能夠相對于視差的變化擴(kuò)大的輝度值。即，初始輝度值改 變?yōu)榕c提取出的像素周圍的像素的平均輝度值顯著區(qū)別并且對于圖像410和圖像420完全 相同的輝度值。
[0174] 由此，即使在具有平滑紋理的圖像部分的情況下，可以確定地執(zhí)行提取出的像素 的視差的計算，并且能夠增加視差計算的精度。
[0175] 接著，說明由信息嵌入單元2001執(zhí)行的信息嵌入處理。圖21A和21B是說明由信息 嵌入單元2001執(zhí)行的信息嵌入處理的圖。
[0176] 假設(shè)在圖21A所示的圖像420中，距離數(shù)據(jù)與在激光束的照射范圍520內(nèi)的像素 (Pxl，Pyl)、像素(Pxl，Py2)、像素(Pxl，Py3)和像素(Pxl，Py4)中的每個關(guān)聯(lián)。
[0177] 這里，假設(shè)Cl1表示基于與像素(Pxl，Pyl)關(guān)聯(lián)的距離數(shù)據(jù)UM+算出的視差，d 2表示 基于與像素(Pxl，Py2)關(guān)聯(lián)的距離數(shù)據(jù)LD2計算出的視差，d 3表示基于與像素(pxl，py3)關(guān)聯(lián)的 距離數(shù)據(jù)LD3計算出的視差，并且d 4表示基于與像素(Pxl，Py4)關(guān)聯(lián)的距離數(shù)據(jù)LD4計算出的 視差。
[0178] 在這種情況下，指示與由圖像420中像素(Pxl，Pyl)、（Pxl，P y2)、（Pxl，Py3)JP(Pxl， Py4 )指示的物體相同的物體的圖像410中的像素如下。
[0179] -(Pxi ,Pyi)->(Pxi+di ,Pyi)
[0180] -(Pxl,Py2)->(Pxl+d2,Py2)
[0181] -(Pxl,Py3)->(Pxl+d3,Py3)
[0182] -(Pxl, Py4)_> (Pxl+d4 , Py4)
[0183] 信息嵌入單元2001配置來將圖像410中的提取出的像素的初始輝度值和圖像420 中的提取出的像素的輝度值(兩個提取出的像素相互對應(yīng)并且指示相同物體），改變?yōu)榕c提 取出的像素周圍的像素的平均輝度值顯著不同并且對于圖像410和圖像420完全相同的第 二輝度值。
[0184] 圖21B示出通過信息嵌入單元2001將指示相同位置的像素的初始輝度值改變?yōu)榈?二輝度值的狀態(tài)。具體地，在圖21B中，圖像410中的像素(P xl+cU，Pyl)和圖像420中的像素 (Pxi，Pyi)的輝度值改變?yōu)間i，圖像410中的像素(P xl+d2，Py2)和圖像420中的像素(Pxl，P y2)的 輝度值改變?yōu)間2，圖像410中的像素(Pxl+d3，P y3)和圖像420中的像素(Pxl，Py3)的輝度值改變 為g 3,并且圖像410中的像素(Pxl+d4，Py4)和圖像420中的像素(P xl，Py4)的輝度值改變?yōu)間4。 [0185]假設(shè)輝度值gl、g2、g3和g4與周圍像素的平均輝度值顯著不同。以這樣的方式，可以 通過基于從激光雷達(dá)距離測量模塊110接收到的距離信息標(biāo)識指示立體圖像中的相同物體 的像素并且改變標(biāo)識出的像素的初始輝度值，確定地執(zhí)行能量計算單元732的視差的計算。 因此，能夠增加視差計算的精度。
[0186] 接著，說明由信息嵌入單元2001執(zhí)行的信息嵌入處理的流程。圖22是說明由信息 嵌入單元2001執(zhí)行的信息嵌入處理的流程圖。一旦開始由圖像拾取單元710和圖像拾取單 元720的拍攝，信息嵌入單元2001就開始執(zhí)行圖22中所示的信息嵌入處理。應(yīng)當(dāng)注意，對于 立體圖像的每個幀，基于逐幀重復(fù)執(zhí)行圖22中所示的信息嵌入處理，并且在圖22的示例中， 對立體圖像的一個幀執(zhí)行信息嵌入處理。
[0187] 如圖22中所示，在步驟S2201，信息嵌入單元2001讀取由圖像拾取單元710拍攝的 圖像和由圖像拾取單元720拍攝的圖像。在步驟S2202,信息嵌入單元2001讀取與在步驟 S2201讀取圖像同步地測量出的距離。
[0188] 在步驟S2203,信息嵌入單元2001基于在步驟S2202讀取的距離數(shù)據(jù)標(biāo)識在步驟 S2201讀取的每個圖像中指示相同物體的像素。
[0189] 在步驟S2204,信息嵌入單元2001以上面描述的方式分別改變在步驟S2203標(biāo)識出 的像素的輝度值。在步驟S2205,信息嵌入單元2001向成本計算單元731輸出在步驟S2204改 變標(biāo)識出的像素的輝度值的圖像。
[0190]如前面描述，根據(jù)本實施例的視差運算系統(tǒng)100包括通過使用激光束測量距離的 激光雷達(dá)距離測量模塊110和計算視差圖像的立體圖像運算模塊120。視差運算系統(tǒng)100的 這些模塊如下配置。
[0191] -立體圖像運算模塊120(或者信息嵌入單元2001)配置來基于從激光雷達(dá)距離測 量模塊110讀取的距離數(shù)據(jù)，從每個立體圖像的幀中包括的像素之中標(biāo)識指示相同物體的 像素。
[0192] -立體圖像運算模塊120(或者信息嵌入單元2001)配置來將基于距離數(shù)據(jù)標(biāo)識出 的像素的初始輝度值改變?yōu)榕c提取出的像素周圍的像素的平均輝度值顯著不同并且對于 比較圖像和參考圖像完全相同的第二輝度值。將初始輝度值改變?yōu)榇植诩y理的方向上的第 二輝度值。
[0193] 以這樣的方式，根據(jù)本實施例的視差運算系統(tǒng)100配置來基于從激光雷達(dá)距離測 量模塊110讀取出的距離數(shù)據(jù)，改變每個立體圖像的幀中的像素的輝度值，這可以有助于能 量計算單元732的視差的提取。因此，能夠增加視差計算的精度。
[0194] 第四實施例
[0195] 在前面的實施例中，已經(jīng)描述由圖像拾取單元710拍攝的圖像和由圖像拾取單元 720拍攝的圖像直接輸入到視差運算單元730的情況。然而，本發(fā)明不限于這樣的實施例。圖 23是示出立體圖像運算模塊120的另一功能配置的圖。如圖23中所示，可以在視差運算單元 730前面布置預(yù)處理單元2301和預(yù)處理單元2302。即，在對由圖像拾取單元720拍攝的圖像 和由圖像拾取單元710拍攝的圖像執(zhí)行預(yù)處理之后，預(yù)處理后的圖像可以輸入到視差運算 單元730。
[0196] 由預(yù)處理單元2301和2302執(zhí)行的預(yù)處理可以包括噪聲消除處理、失真校正處理、 伽瑪轉(zhuǎn)換處理等。通過執(zhí)行預(yù)處理，能夠增加視差計算的精度。
[0197] 第五實施例
[0198] 在前面的實施例中，在照射范圍中的四個測量點處由激光雷達(dá)距離測量模塊110 測量距離數(shù)據(jù)。然而，本發(fā)明不限于這些實施例。根據(jù)本發(fā)明的視差運算系統(tǒng)在照射范圍中 的一個或者多個測量點處測量距離數(shù)據(jù)是足夠的。
[0199] 在上面的第一實施例中，通過能量計算單元732,用作傳播參數(shù)的計算的開始點的 像素的數(shù)目是一個。然而，本發(fā)明不限于這個實施例。用作傳播參數(shù)的計算的開始點的像素 的數(shù)目可以是兩個或者更多。
[0200] 在上面的第一實施例中，當(dāng)計算成本時由能量計算單元732使用的塊大小設(shè)置為 Ixl個像素。然而，本發(fā)明不限于這個實施例。當(dāng)計算成本時由能量計算單元732使用的塊大 小可以是兩個或者更多像素。
[0201] 在上面的第一實施例中，（由整數(shù)單元)逐像素執(zhí)行從視差-能量圖形的視差的提 取。然而，本發(fā)明不限于這個實施例。可以由分?jǐn)?shù)單元執(zhí)行從視差-能量圖形的視差的提取。
[0202] 在上面的第一實施例中，當(dāng)生成視差-能量圖形時，在范圍p = 0-10中變化視差p。 然而，本發(fā)明不限于這個實施例?？梢栽诟鼘挼姆秶蛘吒姆秶凶兓暡睢?br>[0203]在上面的第一實施例中，與由激光雷達(dá)距離測量模塊110測量出的距離與其關(guān)聯(lián) 的參考圖像中的像素對應(yīng)的比較圖像中的像素的視差d的傳播參數(shù)被用作傳播參數(shù)的計算 的開始點。然而，本發(fā)明不限于這個實施例?？商娲?，視差d可以包括在另一方法的密集匹 配算法中。
[0204]在上面的第二實施例中，激光雷達(dá)距離測量模塊配置來在轉(zhuǎn)向方向上的三個照射 角度照射激光束。然而，本發(fā)明可以不限于這個實施例。激光束可以在轉(zhuǎn)向方向上的兩個照 射角度或者轉(zhuǎn)向方向上的四個或者更多照射角度照射。
[0205]在前面的實施例中，激光雷達(dá)距離測量模塊110被配置，以使得激光束的照射方向 可以在仰角方向上旋轉(zhuǎn)。然而，本發(fā)明不限于這個示例。激光雷達(dá)距離測量模塊110也可以 配置來在不需要旋轉(zhuǎn)激光束的照射方向的情況下，照射多個激光束。此外，在上面的第五實 施例中，也可以使用利用單個固定激光束的配置。
[0206] 在前面的實施例中，視差計算的精度的增加描述為針對立體圖像運算模塊120的 視差圖像的產(chǎn)生使用由激光雷達(dá)距離測量模塊110測量出的距離的有利效果。本發(fā)明的有 利效果不限于實施例。例如，由于增加視差計算的精度而增加道路表面上的物體的識別率 的效果，可以包括在本發(fā)明的有利效果中。
[0207] 在前面的實施例中，基于從激光雷達(dá)距離測量模塊110照射的激光束的反射后的 激光束，獲取指示到激光束的照射位置的距離的距離信息。然而，本發(fā)明不限于實施例?？?以基于從與激光雷達(dá)距離測量模塊110不同的電磁波距離測量模塊照射的電磁波的反射后 的波，獲取指示到照射位置的距離的距離信息。
[0208] 根據(jù)本發(fā)明的圖像處理裝置和視差運算系統(tǒng)不限于上面描述的實施例，并且可以 在不脫離本發(fā)明的范圍的情況下，作出各種變型和修改。
[0209] 本申請基于并且要求2013年12月26日提交的日本專利申請第2013-268506和2014 年12月19日提交的日本專利申請第2014-256864的優(yōu)先權(quán)的權(quán)益，其全部內(nèi)容通過引用的 方式并入本文。
[0210] 附圖標(biāo)記的描述
[0211] 100視差運算系統(tǒng)
[0212] 110激光雷達(dá)距離測量模塊
[0213] 120立體圖像運算模塊
[0214] 200 車輛
[0215] 410 圖像
[0216] 420 圖像
[0217] 520照射范圍
[0218] 601信號處理單元
[0219] 602仰角方向掃描驅(qū)動單元
[0220] 603 馬達(dá)
[0221] 604仰角方向掃描鏡
[0222] 605激光束接收單元
[0223] 606信號放大器
[0224] 607時間間隔計數(shù)器
[0225] 608激光輸出單元
[0226] 609激光驅(qū)動器
[0227] 710圖像拾取單元
[0228] 720圖像拾取單元
[0229] 730視差運算單元
[0230] 731成本計算單元
[0231] 732能量計算單元
[0232] 733視差計算單元
[0233] 1210-1214 像素
[0234] 1220 像素
[0235] 1711照射范圍
[0236] 1712照射范圍
[0237] 1713照射范圍
[0238] 1801 像素
[0239] 1802 像素
[0240] 2001信息嵌入單元
[0241 ] 2301預(yù)處理單元
[0242] 2302預(yù)處理單元
[0243] 現(xiàn)有技術(shù)文件
[0244][專利文獻(xiàn)]
[0245] [專利文獻(xiàn)1 ]日本專利第3，212，218
[0246] [專利文獻(xiàn)2]日本專利第4,265,931
【主權(quán)項】
1. 一種信息處理裝置，其基于由多個圖像拾取單元拍攝的圖像生成視差圖像，信息處 理裝置包括： 處理器；以及 存儲器，其存儲計算機(jī)可讀代碼，當(dāng)計算機(jī)可讀代碼由所述處理器執(zhí)行時使得處理器 充當(dāng) 關(guān)聯(lián)單元，配置來將指示到多個圖像拾取單元的拍攝方向上照射的電磁波的照射位置 的距離的距離信息與組成圖像的第一圖像中的第一像素關(guān)聯(lián)，距離信息基于所述電磁波的 反射后的波獲得并且所述第一像素與所述電磁波的照射位置對應(yīng);以及 生成單元，配置來通過使用與所述第一像素關(guān)聯(lián)的所述距離信息生成視差圖像，用于 組成圖像的第二圖像中的像素的視差計算。2. 如權(quán)利要求1所述的信息處理裝置，其中，所述生成單元配置為基于與所述第一像素 關(guān)聯(lián)的所述距離信息和多個像素拾取單元之間的已知距離，計算與所述第一圖像中的所述 第一像素對應(yīng)的所述第二圖像中的像素之中的第二像素的視差。3. 如權(quán)利要求2所述的信息處理裝置，其中，所述生成單元配置來基于所述第一圖像中 的像素和所述第二圖像中的像素的相似性，通過使用密集匹配算法順序計算所述第二圖像 中的像素的傳播參數(shù)，根據(jù)與所述第一圖像中的對應(yīng)像素的偏移量計算所述第二圖像中的 像素的能量值，并且根據(jù)所述偏離量的變化基于所述第二圖像中的計算出的像素的能量值 的變化，計算所述第二圖像中的像素的視差。4. 如權(quán)利要求3所述的信息處理裝置，其中，所述生成單元配置來包括密集匹配算法中 的所述第二像素的視差，并且順序計算所述傳播參數(shù)。5. 如權(quán)利要求3所述的信息處理裝置，其中，所述生成單元配置來基于與所述第一像素 關(guān)聯(lián)的距離信息和多個圖像拾取單元之間的已知距離計算所述第二圖像中的像素的視差， 并且配置為當(dāng)存在其視差沒有基于根據(jù)所述偏離量的變化對于所述第二圖像中的像素計 算出的能量值的變化而計算出的像素時，通過使用基于與所述第一像素關(guān)聯(lián)的距離信息計 算出的所述第二像素的視差，內(nèi)插視差沒有計算出的像素的視差。6. 如權(quán)利要求2所述的信息處理裝置，其中，所述生成單元配置來將所述第一圖像中的 所述第一像素的輝度值和在根據(jù)所述第二圖像中的所述第二像素的視差的位置處的所述 第二圖像中的像素的輝度值，改變?yōu)榈诙x度值，并且處理所述第一像素的輝度值和該像 素的輝度值改變?yōu)榈诙x度值之后的圖像。7. -種視差運算系統(tǒng)，包括多個圖像拾取單元、電磁波距離測量單元和信息處理裝置， 所述信息處理裝置包括存儲計算機(jī)可讀取代碼的存儲器，當(dāng)計算機(jī)可讀代碼由處理器執(zhí)行 時將處理器配置為： 獲取單元，配置來獲取由多個圖像拾取單元拍攝的圖像； 關(guān)聯(lián)單元，配置來將指示到多個圖像拾取單元的拍攝方向上照射的電磁波的照射位置 的距離與組成圖像的第一圖像中的第一像素關(guān)聯(lián)，所述距離信息基于所述電磁波的反射后 的波獲得并且所述第一像素與所述電磁波的照射位置對應(yīng);以及 生成單元，配置來通過使用與所述第一像素關(guān)聯(lián)的所述距離信息生成視差圖像，用于 組成圖像的第二圖像中的像素的視差計算。8. 如權(quán)利要求7所述的視差運算系統(tǒng)，其中，所述電磁波距離測量單元配置來照射電磁 波，以使得所述電磁波的照射范圍設(shè)置在由多個圖像拾取單元拍攝的圖像中包括的道路表 面部分中。9. 如權(quán)利要求7或8所述的視差運算系統(tǒng)，其中，所述電磁波距離測量單元配置為當(dāng)由 多個圖像拾取單元拍攝圖像時，通過改變所述電磁波的照射方向接收多個距離信息項。10. -種在視差運算系統(tǒng)中使用的信息處理方法，所述視差運算系統(tǒng)包括多個圖像拾 取單元、電磁波距離測量單元和信息處理裝置，該方法包括： 獲取由多個圖像拾取單元拍攝的圖像； 將指示到多個圖像拾取單元的拍攝方向上照射的電磁波的照射位置的距離與組成圖 像的第一圖像中的第一像素關(guān)聯(lián)，所述距離信息基于所述電磁波的反射后的波獲得并且所 述第一像素與所述電磁波的照射位置對應(yīng);以及 通過使用與所述第一像素關(guān)聯(lián)的所述距離信息生成視差圖像，用于組成圖像的第二圖 像中的像素的視差計算。11. 一種非臨時計算機(jī)可讀記錄介質(zhì)，存儲計算機(jī)可讀代碼的程序，當(dāng)計算機(jī)可讀代碼 由計算機(jī)執(zhí)行時，使得計算機(jī)執(zhí)行權(quán)利要求10所述的信息處理方法。
【文檔編號】G01C3/06GK105849504SQ201480070211
【公開日】2016年8月10日
【申請日】2014年12月22日
【發(fā)明人】關(guān)口洋義, 橫田聰郎, 橫田聰一郎, 鈴木修, 鈴木修一, 青木伸, 關(guān)?？? 吉田淳, 中島充, 藤本英臣
【申請人】株式會社理光