攝像裝置和相位差檢測方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及攝像裝置和相位差檢測方法等。
【背景技術(shù)】
[0002] 對位置偏移(存在相位差）的2個波形進(jìn)行比較并求出相位差的檢測法例如在立體 圖像3D計測中的視差量檢測、以及使相位與電信號中的基準(zhǔn)信號一致的控制(PLL控制)所 需要的相位差檢測等廣闊領(lǐng)域中成為不可欠缺的重要技術(shù)。
[0003] -般而言，一邊使2個相似的比較波形偏移一邊確定最匹配的位置，檢測偏移前的 位置與取得匹配的位置之差(偏移量)作為相位差。以往，關(guān)于用于求出2個相似波形的相位 差的匹配評價方法，例如提出了以ZNCC(Zero-mean Normalized Cross-Correlation)為代 表的歸一化相互相關(guān)運算法、基于相互的差分絕對值的合計的SAD(Sum of Absolute Difference)等各種方案。
[0004] 在這種匹配評價中，如后所述，比較波形的噪聲造成影響。作為減少該噪聲的影響 的方法，例如在專利文獻(xiàn)1中公開了如下的方法:從包含噪聲的比較波形(在文獻(xiàn)中稱為被 搜索圖像和模板圖像）中，分別估計噪聲成分并去除。在該方法中，任意選擇對稱的圖像的 微小區(qū)域，近似地求出該區(qū)域內(nèi)的方差值作為噪聲的方差值。在微小區(qū)域中，由于信號成分 的變化較小，所以取大致固定值，因此，假設(shè)方差值的估計值大致表示噪聲的方差值。使用 該方差值，從比較波形中去除噪聲成分，定義匹配評價值。
[0005] 現(xiàn)有技術(shù)文獻(xiàn)
[0006] 專利文獻(xiàn)
[0007] 專利文獻(xiàn)1:日本特開2001-22941號公報

【發(fā)明內(nèi)容】

[0008] 發(fā)明要解決的課題
[0009] 另外，在ZNCC或SAD等匹配評價方法中，在原理上，如果比較波形的形狀在振幅方 向上具有相似關(guān)系，則在歸一化后的比較波形彼此一致的位置處，相關(guān)系數(shù)示出極大或極 小的峰值。
[0010] 但是，當(dāng)對比較波形的彼此施加使比較波形的相似性減弱的劣化要因時，即使是 比較波形一致的位置，評價值也未必示出極大或極小的峰值。例如，具有隨機(jī)性的噪聲等劣 化要因每當(dāng)檢測圖像時變化，所以，極大峰值或極小峰值所示的相位差檢測位置相對于正 確位置包含誤差偏差。誤差偏差引起的檢測位置的變動范圍成為能夠檢測的匹配位置的檢 測分辨率或檢測精度，所以，在現(xiàn)有的匹配評價方法中，存在劣化要因較大程度地影響匹配 位置的檢測分辨率或檢測精度的課題。
[0011] 根據(jù)本發(fā)明的若干個方式，能夠提供能夠減少相位差檢測的誤差偏差的攝像裝置 和相位差檢測方法等。
[0012] 用于解決課題的手段
[0013] 本發(fā)明的一個方式涉及一種攝像裝置，所述攝像裝置具有:攝像部，其拍攝針對同 一被攝體具有視差的第1被攝體像和第2被攝體像；以及相位差檢測部，其求出拍攝所述第1 被攝體像得到的第1圖像與拍攝所述第2被攝體像得到的第2圖像之間的相關(guān)系數(shù)，根據(jù)所 述相關(guān)系數(shù)檢測所述第1圖像與所述第2圖像之間的相位差，所述相位差檢測部對所述第1 圖像的像素值和所述第2圖像的像素值進(jìn)行歸一化，求出所述歸一化后的所述第1圖像的像 素值和所述第2圖像的像素值的平均值，根據(jù)將對所述歸一化后的所述第1圖像的像素值和 所述第2圖像的像素值進(jìn)行減法處理后的值在所述平均值的減小區(qū)間內(nèi)進(jìn)行加法處理而得 到的值、以及將對所述歸一化后的所述第1圖像的像素值和所述第2圖像的像素值進(jìn)行減法 處理后的值在所述平均值的增大區(qū)間內(nèi)進(jìn)行加法處理而得到的值，求出所述相關(guān)系數(shù)。
[0014] 并且，本發(fā)明的另一個方式涉及一種相位差檢測方法，該相位差檢測方法具有以 下步驟:拍攝針對同一被攝體具有視差的第1被攝體像和第2被攝體像，針對拍攝所述第1被 攝體像得到的第1圖像的像素值和拍攝所述第2被攝體像得到的第2圖像的像素值進(jìn)行歸一 化，求出所述歸一化后的所述第1圖像的像素值和所述第2圖像的像素值的平均值，根據(jù)將 對所述歸一化后的所述第1圖像的像素值和所述第2圖像的像素值進(jìn)行減法處理后的值在 所述平均值的減小區(qū)間內(nèi)進(jìn)行加法處理而得到的值、以及將對所述歸一化后的所述第1圖 像的像素值和所述第2圖像的像素值進(jìn)行減法處理后的值在所述平均值的增大區(qū)間內(nèi)進(jìn)行 加法處理而得到的值，求出相關(guān)系數(shù)，根據(jù)所述相關(guān)系數(shù)檢測所述第1圖像與所述第2圖像 之間的相位差。
【附圖說明】
[0015] 圖1是匹配評價中的劣化要因的影響的說明圖。
[0016] 圖2是攝像裝置的結(jié)構(gòu)例。
[0017] 圖3是基于改良SAD的匹配評價的說明圖。
[0018] 圖4是相對于波形的SN比的相位差檢測值的統(tǒng)計方差值的仿真結(jié)果。
[0019] 圖5是第2實施方式的攝像裝置的結(jié)構(gòu)例。
[0020]圖6是基于光瞳分割方式的立體圖像計測的基本原理的說明圖。
[0021]圖7是第3實施方式的攝像裝置的結(jié)構(gòu)例。
[0022]圖8是光瞳分割濾波器和攝像元件的分光特性的例子。
[0023]圖9是高密度化處理的說明圖。
[0024]圖10(A)~圖10(D)是高密度化處理的說明圖。
[0025]圖11是高密度化處理的說明圖。
[0026]圖12(A)~圖12(C)是基于高密度化處理的相位差檢測的仿真結(jié)果。
[0027]圖13是高密度化處理的說明圖。
[0028]圖14是采樣數(shù)據(jù)的相似性的仿真結(jié)果。
[0029]圖15是歸一化方法的變形例的說明圖。
【具體實施方式】
[0030]下面，對本發(fā)明的優(yōu)選實施方式進(jìn)行詳細(xì)說明。另外，以下說明的本實施方式并非 對權(quán)利要求書所記載的本發(fā)明的內(nèi)容進(jìn)行不當(dāng)限定，作為本發(fā)明的解決手段，本實施方式 中說明的結(jié)構(gòu)不一定全部是必須的。
[0031] 1.本實施方式的概要
[0032] 在匹配評價中，有時對比較波形施加劣化要因。作為劣化要因，例如假設(shè)隨機(jī)噪 聲、量化噪聲、2個光瞳的點擴(kuò)散函數(shù)非對稱而引起的比較波形的相似性劣化、比較波形間 的串?dāng)_等。下面，以施加隨機(jī)噪聲作為劣化要因的情況為例進(jìn)行說明。并且，以將立體圖像 作為比較波形的情況為例進(jìn)行說明，但是，只要是對存在相位差的2個信號波形進(jìn)行比較， 就能夠應(yīng)用本實施方式的匹配評價方法。
[0033] 在現(xiàn)有的一般的匹配評價方法(ZNCC、SAD等）中，由于劣化要因而產(chǎn)生匹配位置的 檢測誤差，很難得到較高的檢測分辨率或檢測精度。
[0034]如圖1所示，比較波形的頻率成分越成為低頻，則噪聲的影響表現(xiàn)得越顯著。即，由 于光學(xué)分辨率較小的圖像的比較波形的相關(guān)系數(shù)是低頻成分的波形，所以，相關(guān)系數(shù)的峰 值與附近值的差異較小。因此，當(dāng)附加噪聲時，峰值的偏差顯著增大，很難確定真的峰值。由 此，作為高精度地求出相位差的條件，可以說是非常不利的狀態(tài)。
[0035] 實際上，在求出相位差的情況下，比較波形不一定是具有高頻成分的波形。例如， 在立體圖像3D計測中，在對焦位置處具有較多的高頻成分，但是，相對而言，在非對焦位置 (模糊狀態(tài)的位置)處僅具有低頻成分。在3D計測中，需要在進(jìn)深方向的規(guī)定計測范圍內(nèi)求 出相位差，在此不得不利用模糊狀態(tài)的圖像，所以，即使比較波形是低頻成分，也需要求出 正確的相位差。為了實現(xiàn)高精度的相位差檢測，盡可能排除噪聲的影響成為課題。
[0036] 在上述專利文獻(xiàn)1中，從比較波形中去除所估計出的噪聲，但是，根據(jù)對信號成分 和噪聲進(jìn)行相加后的比較波形來估計噪聲，所以，估計精度是否優(yōu)良成為問題。該估計以信 號成分在圖像的微小區(qū)域內(nèi)大致固定這樣的假設(shè)為前提，但是，在對比度變化激烈的區(qū)域 中，該假設(shè)不成立的情況很多。因此，可能強(qiáng)行將信號成分的一部分誤估計為噪聲成分，所 以，實現(xiàn)高精度的匹配檢測依然存在課題。
[0037] 如上所述，解決如何不受噪聲的影響而檢測更加正確的匹配位置這樣的課題在相 位差檢測中是重要的。
[0038] 因此，在本實施方式中，如圖2所示，攝像裝置包括:攝像部10,其拍攝針對同一被 攝體具有視差的第1被攝體像和第2被攝體像；以及相位差檢測部30,其求出拍攝第1被攝體 像得到的第1圖像與拍攝第2被攝體像得到的第2圖像之間的相關(guān)系數(shù)，根據(jù)該相關(guān)系數(shù)檢 測第1圖像與第2圖像之間的相位差。
[0039] 而且，相位差檢測部30對第1圖像的像素值和第2圖像的像素值進(jìn)行歸一化，求出 歸一化后的第1圖像的像素值和第2圖像的像素值的平均值，根據(jù)將對歸一化后的第1圖像 的像素值和第2圖像的像素值進(jìn)行減法處理后的值在平均值的減小區(qū)間內(nèi)進(jìn)行加法處理而 得到的值、以及將對歸一化后的第1圖像的像素值和第2圖像的像素值進(jìn)行減法處理后的值 在平均值的增大區(qū)間內(nèi)進(jìn)行加法處理而得到的值，求出相關(guān)系數(shù)。
[0040] 例如，以后述第1實施方式為例，圖3所示的左光瞳圖像IL和右光瞳圖像IR對應(yīng)于第 1圖像和第2圖像，求出對它們進(jìn)行歸一化后的左光瞳圖像nL·和右光瞳圖像nI R。如下式(4)、 (6)所示，在平均值nl的減小區(qū)間Fa和增大區(qū)間Ra內(nèi)，分別對歸一化后的左光瞳圖像nI L和 右光瞳圖像nIR進(jìn)行相減。在各區(qū)間內(nèi)對該相減后的值進(jìn)行相加，對該相加后的值進(jìn)行相 加，求出相關(guān)系數(shù)ISAD。
[0041]這樣，劃分成減小區(qū)間Fa和增大區(qū)間Ra，對左光瞳圖像nIL和右光瞳圖像nIR的減法 值進(jìn)行相加，由此，如下式(3)、（5)所示，能夠按照每個區(qū)間來改變相減的順序，以使得比較 波形的信號減法值D成為正值?；蛘撸缦率?13)所示，即使不改變相減的順序，通過在各區(qū) 間內(nèi)對減法值進(jìn)行相加并分別取絕對值，也能夠在各區(qū)間內(nèi)進(jìn)行相加后成為正值。
[0042]在這樣求出的相關(guān)系數(shù)ISAD中，如下式(9)所示，比較波形的信號成分成為差分絕 對值和（|IR-Il|的和），比較波形的噪聲成分成為簡單的差分和(nR-nL的和）。由此，噪聲成 分成為通過相加效果而減少的值。由此，通過將該相關(guān)系數(shù)ISAD最小的位置評價為匹配位 置，能夠進(jìn)行誤差偏差較小的高分辨率或高精度的相位差檢測。另外，下面將該方法稱為改 良 SAD〇
[0043] 2.第1實施方式
[0044] 2.1.基于改良SAD的匹配方法
[0045] 接著，對改良SAD的詳細(xì)情況進(jìn)行說明。攝像裝置的結(jié)構(gòu)與上述圖2的結(jié)構(gòu)相同。另 外，下面，以如下情況為例進(jìn)行說明：將單鏡頭(単眼）的攝像光學(xué)系統(tǒng)分割成左右的光瞳而 產(chǎn)生視差，將左光瞳圖像作為第1圖像，將右光瞳圖像作為第2圖像。但是，本實施方式不限 于此，例如還能夠應(yīng)用于使用雙鏡頭(雙眼）的攝像部的情況。
[0046] 圖3不出基于改良SAD(Improved Sum of