圖像處理裝置、圖像處理方法以及程序的制作方法
【專利摘要】本發(fā)明提供了圖像處理裝置、圖像處理方法以及程序。該圖像處理裝置包括關(guān)注區(qū)域檢測(cè)單元、亮度視差轉(zhuǎn)換單元以及視差估計(jì)單元。關(guān)注區(qū)域檢測(cè)單元被配置為從基準(zhǔn)圖像中檢測(cè)包括期望對(duì)象的關(guān)注區(qū)域。亮度視差轉(zhuǎn)換單元被配置為基于使用過去幀進(jìn)行估計(jì)的亮度視差轉(zhuǎn)換特性來對(duì)關(guān)注區(qū)域執(zhí)行亮度視差轉(zhuǎn)換。視差估計(jì)單元被配置為基于基準(zhǔn)圖像與參考圖像之間的相似性來進(jìn)行視差估計(jì)，以及參考位置的視點(diǎn)位置不同于基準(zhǔn)圖像的視點(diǎn)位置，并且通過使用由亮度視差轉(zhuǎn)換單元獲得的亮度視差轉(zhuǎn)換結(jié)果在關(guān)注區(qū)域內(nèi)進(jìn)行視差估計(jì)。
【專利說明】圖像處理裝置、圖像處理方法以及程序
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求于2013年4月15日提交的日本優(yōu)先專利申請(qǐng)JP2013-084669的權(quán)益， 通過引用將其全部?jī)?nèi)容結(jié)合在此。

【技術(shù)領(lǐng)域】
[0003] 本公開涉及圖像處理裝置、圖像處理方法以及程序，并且其可以從具有不同視點(diǎn) 的多個(gè)圖像中以高的準(zhǔn)確度進(jìn)行視差估計(jì)。

【背景技術(shù)】
[0004] 在相關(guān)技術(shù)中，為了顯示3D圖像等，獲得了真實(shí)空間的三維信息。例如，日本專利 申請(qǐng)?zhí)亻_公開第2001-103513號(hào)(在下文中，稱之為專利文獻(xiàn)1)公開了一種通過使用平方 反比定律對(duì)距期望對(duì)象的距離進(jìn)行估計(jì)的方法，平方反比定律涉及亮度，即從光源發(fā)射的 光的亮度與距離平方成反比例下降。例如，在專利文獻(xiàn)1中，當(dāng)拍攝內(nèi)臟器官圖像時(shí)，如果 圖像中有亞甲基藍(lán)，則該區(qū)域中的光吸收特性改變。對(duì)該區(qū)域進(jìn)行檢測(cè)，并且對(duì)圖像的亮度 成分值進(jìn)行校正，由此來估計(jì)深度距離。
[0005] 此外，在日本專利申請(qǐng)?zhí)亻_公開第2012-065851號(hào)(在下文中，稱之為專利文獻(xiàn)2) 中，使用了具有不同視點(diǎn)的多個(gè)攝取圖像，以由此獲得真實(shí)空間的三維信息。例如，獲得左 視點(diǎn)處拍攝圖像與右視點(diǎn)處拍攝圖像的視差的方法之一是使用基于動(dòng)態(tài)編程的立體匹配 的視差估計(jì)(在下文中，稱之為"DP匹配視差估計(jì)")。通常，在DP匹配視差估計(jì)中，基于像 素或者塊獲得左視點(diǎn)處拍攝圖像與右視點(diǎn)處拍攝圖像之間對(duì)應(yīng)點(diǎn)（或者對(duì)應(yīng)區(qū)域）的匹配 程度。并且對(duì)于作為整體的像素行或者塊行，以匹配程度變成最佳(最大）的方式來估計(jì)視 差。在該DP匹配視差估計(jì)中，像素或者塊的視差被確定為使得整行變得最佳，所以，即使在 圖像中局部產(chǎn)生噪聲，通常也能夠?qū)σ暡钸M(jìn)行絕對(duì)的估計(jì)。此外，其還可以從專利文獻(xiàn)2中 估計(jì)的視差和諸如光線等相機(jī)參數(shù)來估計(jì)到對(duì)象的絕對(duì)距離。


【發(fā)明內(nèi)容】

[0006] 附帶地，在專利文獻(xiàn)1中，在拍攝圖像中存在具有不同光吸收特性的對(duì)象的情況 下，則難以對(duì)到對(duì)象的距離進(jìn)行準(zhǔn)確地估計(jì)。例如，當(dāng)使用配備有雙鏡頭相機(jī)的內(nèi)窺鏡系統(tǒng) 時(shí)，外科場(chǎng)景圖像顯示為3D圖像，通常，各種工具(諸如，鑷子和紗布)、血、以及具有不同光 吸收特性的器官混合在圖像中。因此，應(yīng)用有關(guān)于拍攝圖像的亮度的平方反比定律難以對(duì) 距離進(jìn)行估計(jì)。此外，為了處理具有不同光吸收特性的多個(gè)對(duì)象，需要事先找出所有對(duì)象的 亮度成分的校正系數(shù)。此外，在專利文獻(xiàn)1中獲得的估計(jì)值是表示景深程度并且并不表示 絕對(duì)距離的值。
[0007] 此外，在專利文獻(xiàn)2中，在對(duì)對(duì)應(yīng)點(diǎn)（或者對(duì)應(yīng)區(qū)域）的匹配程度進(jìn)行確定的情況 下，使用表示匹配程度的估計(jì)值。例如，對(duì)于估計(jì)值，使用預(yù)定區(qū)域塊中像素的亮度值的絕 對(duì)差總和(在下文中，稱之為"SAD")或者預(yù)定區(qū)域塊中像素的亮度值的平方差總和(在下文 中，稱之為"SSD")。因此，例如，在圖像中亮度值變化較小的區(qū)域(沒有圖案的區(qū)域）中，任 何位置均具有相似的估計(jì)值，因此，通常不產(chǎn)生對(duì)應(yīng)誤差。此外，還是在重復(fù)相同圖案的區(qū) 域中，具有相似圖案的區(qū)域具有相似的估計(jì)值，所以，難以獲得準(zhǔn)確的對(duì)應(yīng)點(diǎn)(或者區(qū)域)。
[0008] 鑒于上述情況，需要提供一種能夠?qū)哂胁煌朁c(diǎn)的多個(gè)圖像以高準(zhǔn)確度的進(jìn)行 視差估計(jì)的圖像處理裝置、圖像處理方法以及程序。
[0009] 根據(jù)本技術(shù)的第一實(shí)施方式，提供一種包括關(guān)注區(qū)域檢測(cè)單元、亮度視差轉(zhuǎn)換單 元以及亮度視差轉(zhuǎn)換單元的圖像處理裝置。
[0010] 關(guān)注區(qū)域檢測(cè)單元被配置為從基準(zhǔn)圖像檢測(cè)包括期望對(duì)象的關(guān)注區(qū)域。
[0011] 亮度視差轉(zhuǎn)換單元被配置為基于通過使用過去幀估計(jì)出的亮度視差轉(zhuǎn)換特性來 對(duì)關(guān)注區(qū)域執(zhí)行亮度視差轉(zhuǎn)換。
[0012] 視差估計(jì)單元被配置為基于基準(zhǔn)圖像、參考圖像以及不同于基準(zhǔn)圖像的視點(diǎn)位置 來進(jìn)行視差估計(jì)，并且使用由亮度視差轉(zhuǎn)換單元獲得的亮度視差轉(zhuǎn)換結(jié)果在關(guān)注區(qū)域中進(jìn) 行視差估計(jì)。
[0013] 在本技術(shù)中，從基準(zhǔn)圖像中檢測(cè)期望對(duì)象的區(qū)域作為關(guān)注區(qū)域的。此外，從過去幀 的關(guān)注區(qū)域的視差估計(jì)結(jié)果和亮度值來估計(jì)亮度視差轉(zhuǎn)換特性，并且對(duì)基于估計(jì)結(jié)果進(jìn)行 檢測(cè)的關(guān)注區(qū)域進(jìn)行亮度視差轉(zhuǎn)換。根據(jù)至期望對(duì)象的深度距離對(duì)關(guān)注區(qū)域的亮度值進(jìn)行 校正，并且使用校正的亮度值來進(jìn)行亮度視差轉(zhuǎn)換。此外，在對(duì)亮度視差轉(zhuǎn)換特性進(jìn)行估計(jì) 時(shí)，在根據(jù)深度距離進(jìn)行校正的亮度值平方根與視差值成比例的假設(shè)下，來估計(jì)比例系數(shù) 和截距。例如，基于過去幀中關(guān)注區(qū)域的最大亮度值、最小亮度值、最大視差值以及最小視 差值來估計(jì)亮度視差轉(zhuǎn)換特性。此外，可基于關(guān)注區(qū)域中亮度值的分布和亮度值的平均值 來計(jì)算最大亮度值和最小亮度值，并且可基于關(guān)注區(qū)域中視差值的分布和視差值的平均值 來計(jì)算最大視差值和最小視差值。
[0014] 此外，對(duì)基準(zhǔn)圖像與參考圖像之間的相似性進(jìn)行計(jì)算，并且基于計(jì)算的相似性來 進(jìn)行視差估計(jì)，參考圖像的視點(diǎn)位置不同于基準(zhǔn)圖像的視點(diǎn)位置。在進(jìn)行檢測(cè)的關(guān)注區(qū)域 時(shí)，使用亮度視差轉(zhuǎn)換結(jié)果來計(jì)算相似性。例如，針對(duì)基準(zhǔn)圖像的各個(gè)視差估計(jì)目標(biāo)位置以 及成本值來設(shè)置第一匹配區(qū)域，并且成本值表示針對(duì)事先指定的各個(gè)視差值，第一匹配區(qū) 域與參考圖像中的對(duì)應(yīng)于各個(gè)視差值的第二匹配區(qū)域之間的相似性。在進(jìn)行檢測(cè)的關(guān)注區(qū) 域中，計(jì)算的成本值包括對(duì)應(yīng)于指定視差值與通過亮度視差轉(zhuǎn)換獲得的視差值之間的差的 成本值。在關(guān)注區(qū)域之外的區(qū)域中，計(jì)算成本值，沒有獲得差值。此外，在成本值中，包括對(duì) 應(yīng)于基準(zhǔn)圖像中視差估計(jì)目標(biāo)位置的視差值與之前視差估計(jì)目標(biāo)位置的視差值之間差的 成本值。通過動(dòng)態(tài)編程指定成本值變成具有最高相似性的最小值、按照這種方式計(jì)算的視 差值，由此生成視差估計(jì)結(jié)果。此外，通過對(duì)基準(zhǔn)圖像的色差值和亮度值與預(yù)定閾值進(jìn)行比 較或者通過對(duì)基準(zhǔn)圖像進(jìn)行紋理分析可檢測(cè)關(guān)注區(qū)域。
[0015] 根據(jù)本技術(shù)的第二實(shí)施方式，提供一種圖像處理方法，其中包括：從基準(zhǔn)圖像檢測(cè) 包括期望對(duì)象的關(guān)注區(qū)域；基于使用過去幀估計(jì)出的亮度視差轉(zhuǎn)換特性來對(duì)關(guān)注區(qū)域執(zhí)行 亮度視差轉(zhuǎn)換；基于基準(zhǔn)圖像、參考圖像以及不同于基準(zhǔn)圖像的視點(diǎn)位置來進(jìn)行視差估計(jì)； 并且使用亮度視差轉(zhuǎn)換結(jié)果在關(guān)注區(qū)域中進(jìn)行視差估計(jì)。
[0016] 根據(jù)本技術(shù)的第三實(shí)施方式，提供一種程序，該程序使計(jì)算機(jī)執(zhí)行以下操作：從基 準(zhǔn)圖像檢測(cè)包括期望對(duì)象的關(guān)注區(qū)域；基于使用過去幀估計(jì)的亮度視差轉(zhuǎn)換特性來對(duì)關(guān)注 區(qū)域執(zhí)行亮度視差轉(zhuǎn)換；基于基準(zhǔn)圖像、參考圖像以及不同于基準(zhǔn)圖像的視點(diǎn)位置來進(jìn)行 視差估計(jì)；并且使用亮度視差轉(zhuǎn)換結(jié)果在關(guān)注區(qū)域中進(jìn)行視差估計(jì)。
[0017] 應(yīng)當(dāng)注意，根據(jù)本技術(shù)的程序是一種能夠被提供給通用計(jì)算機(jī)的程序，通用計(jì)算 機(jī)通過以可讀計(jì)算機(jī)的形式提供的存儲(chǔ)介質(zhì)或者通信介質(zhì)能夠執(zhí)行各種程序代碼，例如， 光盤、磁盤半導(dǎo)體內(nèi)存等存儲(chǔ)介質(zhì)，以及諸如網(wǎng)絡(luò)等通信介質(zhì)。以可讀計(jì)算機(jī)形式提供該程 序，由此根據(jù)計(jì)算機(jī)上的程序來實(shí)現(xiàn)過程。
[0018] 根據(jù)本技術(shù)，對(duì)于從參考圖像檢測(cè)的關(guān)注區(qū)域，從過去幀的關(guān)注區(qū)域的亮度值和 視差估計(jì)結(jié)果來確定亮度視差轉(zhuǎn)換特性，并且基于估計(jì)結(jié)果來執(zhí)行亮度視差轉(zhuǎn)換。此外，基 于基準(zhǔn)圖像與參考圖像之間的相似性執(zhí)行視差估計(jì)，其中參考圖像的視點(diǎn)位置不同于基準(zhǔn) 圖像的視點(diǎn)位置，并且對(duì)于關(guān)注區(qū)域，通過使用亮度視差轉(zhuǎn)換結(jié)果來計(jì)算相似性。即，在關(guān) 注區(qū)域中，不僅使用基準(zhǔn)圖像與參考圖像之間的相似性，而且還使用亮度視差轉(zhuǎn)換結(jié)果，以 由此進(jìn)行視差估計(jì)。因此，即使在關(guān)注區(qū)域是其中基于相似性難以進(jìn)行視差估計(jì)的圖像的 情況下，也可以從具有不同視點(diǎn)位置的多個(gè)圖像以高準(zhǔn)確度進(jìn)行視差估計(jì)。
[0019] 如附圖所示，根據(jù)對(duì)最佳模式的實(shí)施方式的下列細(xì)節(jié)描述，本公開的這些目標(biāo)和 其他目標(biāo)、特征以及優(yōu)點(diǎn)將變得更為顯而易見。

【專利附圖】

【附圖說明】
[0020] 圖1A和圖1B是各自示出了使用圖像處理裝置的圖像處理系統(tǒng)的結(jié)構(gòu)的實(shí)施例的 示圖；
[0021] 圖2是示出了圖像處理裝置的結(jié)構(gòu)的實(shí)施例的示圖；
[0022] 圖3是示出了關(guān)注區(qū)域轉(zhuǎn)換處理單元的結(jié)構(gòu)的實(shí)施例的示圖；
[0023] 圖4是對(duì)立體相機(jī)中視差值與深度距離之間關(guān)系進(jìn)行解釋的示圖；
[0024] 圖5是示出了關(guān)注區(qū)域檢測(cè)單元和關(guān)注區(qū)域亮度校正單元的操作的實(shí)施例的流 程圖；
[0025] 圖6是示出了視差信息獲得單元的操作的實(shí)施例的流程圖；
[0026] 圖7是示出了在左圖像被設(shè)置為基準(zhǔn)圖像的情況下亮度值與視差值之間關(guān)系的 示圖；
[0027] 圖8是示出了在右圖像被設(shè)置為基準(zhǔn)圖像的情況下亮度值與視差值之間關(guān)系的 示圖；
[0028] 圖9是示出了亮度視差轉(zhuǎn)換單元的操作的實(shí)施例的流程圖；
[0029] 圖10A和圖10B是在有關(guān)于左圖像的視差值的情況下對(duì)操作進(jìn)行解釋的示圖；
[0030] 圖11A和圖11B是在有關(guān)于左圖像的視差值的情況下，通過使用關(guān)注區(qū)域轉(zhuǎn)換處 理單元的轉(zhuǎn)換結(jié)果對(duì)操作進(jìn)行解釋的示圖；
[0031] 圖12是示出了立體匹配視差估計(jì)單元的實(shí)施例的流程圖；并且
[0032] 圖13是對(duì)其中提供多個(gè)關(guān)注區(qū)域的情況進(jìn)行解釋的示圖。

【具體實(shí)施方式】
[0033] 在下文中，將對(duì)本技術(shù)的實(shí)施方式進(jìn)行描述。應(yīng)當(dāng)注意，將按照下列順序進(jìn)行描 述。
[0034] 1.圖像處理系統(tǒng)的結(jié)構(gòu)
[0035] 2.圖像處理裝置的結(jié)構(gòu)
[0036] 3.圖像處理裝置的操作
[0037] 4.圖像處理裝置的其他操作
[0038] 〈L圖像處理系統(tǒng)的結(jié)構(gòu)〉
[0039] 圖1A和圖1B是各自示出了使用根據(jù)本技術(shù)的圖像處理裝置的圖像處理系統(tǒng)的結(jié) 構(gòu)的示圖。圖像處理系統(tǒng)10包括圖像攝取裝置20、圖像處理裝置30、顯示裝置40以及存 儲(chǔ)裝置50等。如圖1A所示，圖像處理裝置30與圖像攝取裝置20、顯示裝置40以及存儲(chǔ)裝 置50連接。此外，如圖1B所示，圖像處理裝置30可經(jīng)由有線或者無線網(wǎng)絡(luò)連接到另一裝 置。而且，圖像處理裝置30可被整合到圖像攝取裝置20、顯示裝置40以及存儲(chǔ)裝置50的 任一種中。
[0040] 圖像攝取裝置20生成具有不同視點(diǎn)位置的多個(gè)拍攝圖像的圖像信號(hào)并且將信號(hào) 提供給圖像處理裝置30和存儲(chǔ)裝置50。例如，圖像攝取裝置20生成左眼視點(diǎn)位置處的拍 攝圖像(在下文中，稱之為"左圖像"）和右眼視點(diǎn)位置(在下文中，稱之為"右眼"）處的拍攝 圖像的圖像信號(hào)，并且將圖像信號(hào)提供給圖像處理裝置30和存儲(chǔ)裝置50。
[0041] 圖像處理裝置30從由圖像攝取裝置20產(chǎn)生的具有不同視點(diǎn)位置的多個(gè)拍攝圖像 的圖像信號(hào)或者存儲(chǔ)在存儲(chǔ)裝置50中的具有不同視點(diǎn)位置的多個(gè)拍攝圖像的圖像信號(hào)估 計(jì)視差值。圖像處理裝置30通過使用例如由圖像攝取裝置20產(chǎn)生或者存儲(chǔ)在存儲(chǔ)裝置50 中的左圖像和右圖像的圖像信號(hào)來進(jìn)行視差估計(jì)。圖像處理裝置30將視差估計(jì)結(jié)果輸出 給顯示裝置40或者存儲(chǔ)裝置50。應(yīng)當(dāng)注意，在通過使用存儲(chǔ)在存儲(chǔ)裝置50中的圖像信號(hào) 來進(jìn)行視差估計(jì)的情況下，圖像處理裝置30可將視差估計(jì)結(jié)果輸出給存儲(chǔ)裝置50并且使 存儲(chǔ)裝置50存儲(chǔ)具有該結(jié)果和彼此相關(guān)聯(lián)存儲(chǔ)圖像信號(hào)的結(jié)果。
[0042] 顯示裝置40進(jìn)行3D圖像顯示。顯示裝置40基于由圖像攝取裝置20生成的圖像 信號(hào)或者從存儲(chǔ)裝置50讀取的圖像信號(hào)以及由圖像處理裝置30進(jìn)行估計(jì)的視差估計(jì)結(jié)果 來進(jìn)行3D圖像顯示。
[0043] 存儲(chǔ)裝置50存儲(chǔ)由圖像攝取裝置20產(chǎn)生的具有不同視點(diǎn)位置的多個(gè)拍攝圖像的 圖像信號(hào)和圖像處理裝置30的視差估計(jì)結(jié)果。
[0044] 〈2.圖像處理裝置的結(jié)構(gòu)〉
[0045] 圖2是示出了根據(jù)本技術(shù)的圖像處理裝置的結(jié)構(gòu)的示圖。圖像處理裝置30包括 關(guān)注區(qū)域轉(zhuǎn)換處理單元31、立體匹配視差估計(jì)單元32以及關(guān)注區(qū)域視差信息獲得單元33。
[0046] 由圖像攝取裝置20產(chǎn)生的左圖像和右圖像的圖像信號(hào)或者從存儲(chǔ)裝置50讀取的 左圖像和右圖像的圖像信號(hào)被提供給立體匹配視差估計(jì)單元32。此外，將左圖像和右圖像 中任一個(gè)作為基準(zhǔn)的圖像的圖像信號(hào)被提供給關(guān)注區(qū)域轉(zhuǎn)換處理單元31。例如，在將左圖 像設(shè)置為基準(zhǔn)的情況下，左圖像的圖像信號(hào)被提供給關(guān)注區(qū)域轉(zhuǎn)換處理單元31，且左圖像 的圖像信號(hào)作為基準(zhǔn)圖像的圖像信號(hào)。
[0047] 圖3是示出了關(guān)注區(qū)域轉(zhuǎn)換處理單元31的結(jié)構(gòu)的實(shí)施例的示圖。關(guān)注區(qū)域轉(zhuǎn)換處 理單元31包括關(guān)注區(qū)域檢測(cè)單元311、關(guān)注區(qū)域亮度校正單元312、亮度信息存儲(chǔ)單元313、 視差信息存儲(chǔ)單元314以及亮度視差轉(zhuǎn)換單元315。
[0048] 關(guān)注區(qū)域檢測(cè)單元311基于基準(zhǔn)圖像的圖像信號(hào)從基準(zhǔn)圖像中檢測(cè)期望對(duì)象(經(jīng) 受視差估計(jì)的對(duì)象）的區(qū)域(作為關(guān)注區(qū)域)。關(guān)注區(qū)域檢測(cè)單元311將檢測(cè)結(jié)果輸出給圖 2中所示的立體匹配視差估計(jì)單元32和關(guān)注區(qū)域視差信息獲得單元33以及關(guān)注區(qū)域亮度 校正單元312。
[0049] 關(guān)注區(qū)域亮度校正單元312將關(guān)注區(qū)域中像素的亮度值校正為對(duì)應(yīng)于期望對(duì)象 的深度距離的亮度值。應(yīng)當(dāng)注意，后面將參照?qǐng)D4對(duì)深度距離進(jìn)行描述。關(guān)注區(qū)域亮度校 正單元312使用關(guān)注區(qū)域中像素的校正亮度值，由此生成亮度統(tǒng)計(jì)信息。例如，關(guān)注區(qū)域亮 度校正單元312計(jì)算表示關(guān)注區(qū)域中亮度值、校正亮度值的平均值、最大值以及最小值的 分布的函數(shù)值。關(guān)注區(qū)域亮度校正單元312將校正亮度值輸出給亮度視差轉(zhuǎn)換單元315。 此外，關(guān)注區(qū)域亮度校正單元312使亮度信息存儲(chǔ)單元313將生成的亮度統(tǒng)計(jì)信息存儲(chǔ)到 其中，從而用于對(duì)其隨后幀的視差估計(jì)。
[0050] 亮度信息存儲(chǔ)單元313存儲(chǔ)由關(guān)注區(qū)域亮度校正單元312生成的亮度統(tǒng)計(jì)信息。 此外，在對(duì)其隨后幀的關(guān)注區(qū)域進(jìn)行視差估計(jì)時(shí)，使用存儲(chǔ)在亮度信息存儲(chǔ)單元313中的 亮度統(tǒng)計(jì)信息。
[0051] 視差信息存儲(chǔ)單元314存儲(chǔ)由圖2中所示的關(guān)注區(qū)域視差信息獲得單元33獲得 的關(guān)注區(qū)域的視差信息。此外，在對(duì)其隨后幀的關(guān)注區(qū)域進(jìn)行視差估計(jì)時(shí)，使用存儲(chǔ)在視差 ?目息存儲(chǔ)單兀314中的視差彳目息。
[0052] 亮度視差轉(zhuǎn)換單元315從過去幀中關(guān)注區(qū)域的亮度值與視差估計(jì)結(jié)果之間的關(guān) 系估計(jì)亮度視差轉(zhuǎn)換特性，并且基于估計(jì)結(jié)果對(duì)由關(guān)注區(qū)域檢測(cè)單元檢測(cè)的關(guān)注區(qū)域執(zhí)行 亮度視差轉(zhuǎn)換。具體地，亮度視差轉(zhuǎn)換單元315假設(shè)根據(jù)景深距離進(jìn)行校正的亮度值平方 根與視差值成比例，并且基于存儲(chǔ)在亮度信息存儲(chǔ)單元313中的亮度統(tǒng)計(jì)信息和存儲(chǔ)在視 差信息存儲(chǔ)單元314中的視差信息來估計(jì)比例系數(shù)和截距。亮度視差轉(zhuǎn)換單元315使用估 計(jì)的比例系數(shù)和截距，由此執(zhí)行亮度視差轉(zhuǎn)換并且將關(guān)注區(qū)域中校正的亮度值轉(zhuǎn)換成視差 值。亮度視差轉(zhuǎn)換單元315將通過亮度視差轉(zhuǎn)換獲得的視差值輸出給立體匹配視差估計(jì)單 元32。
[0053] 圖2中所示的立體匹配視差估計(jì)單元32計(jì)算基準(zhǔn)圖像與參考圖像之間的相似性， 其中參考圖像的視點(diǎn)位置不同于基準(zhǔn)圖像的視點(diǎn)位置，并且基于計(jì)算的相似性來進(jìn)行視差 估計(jì)。此外，立體匹配視差估計(jì)單元32通過使用由關(guān)注區(qū)域檢測(cè)單元在關(guān)注區(qū)域中檢測(cè)的 亮度視差轉(zhuǎn)換單元的亮度視差轉(zhuǎn)換結(jié)果來計(jì)算相似性。例如，立體匹配視差估計(jì)單元32使 用左圖像(基準(zhǔn)圖像）的圖像信號(hào)和右圖像(參考圖像）的圖像信號(hào)，以由此進(jìn)行立體匹配視 差估計(jì)，從而計(jì)算有關(guān)于左圖像的視差。此外，在關(guān)注區(qū)域中對(duì)視差進(jìn)行估計(jì)的情況下，立 體匹配視差估計(jì)單元32使用通過關(guān)注區(qū)域轉(zhuǎn)換處理單元31從基準(zhǔn)圖像中的關(guān)注區(qū)域的亮 度值獲得的視差值，從而進(jìn)行視差估計(jì)。立體匹配視差估計(jì)單元32將視差估計(jì)結(jié)果輸出給 關(guān)注區(qū)域視差信息獲得單元33、顯示裝置40以及存儲(chǔ)裝置50。
[0054] 基于對(duì)關(guān)注區(qū)域轉(zhuǎn)換處理單元31的關(guān)注區(qū)域檢測(cè)單元311中關(guān)注區(qū)域的檢測(cè)結(jié) 果，關(guān)注區(qū)域視差信息獲得單元33通過立體匹配視差估計(jì)單元32從顯示視差估計(jì)結(jié)果的 視差信息中獲得關(guān)注區(qū)域的視差信息。關(guān)注區(qū)域視差信息獲得單元33使關(guān)注區(qū)域轉(zhuǎn)換處 理單兀31的視差彳目息存儲(chǔ)單兀314存儲(chǔ)獲得的視差彳目息。
[0055] 〈3.圖像處理裝置的操作〉
[0056] 接著，將描述圖像處理裝置的操作。在關(guān)注區(qū)域轉(zhuǎn)換處理單元31中，限制進(jìn)行視 差估計(jì)的期望對(duì)象，并且從對(duì)象的亮度來估計(jì)視差。具體地，從基準(zhǔn)圖像中來檢測(cè)經(jīng)受視差 估計(jì)的期望對(duì)象的區(qū)域(關(guān)注區(qū)域)，并且從關(guān)注區(qū)域的亮度值來估計(jì)視差值。在下文中，通 過獲得亮度值與視差值之間關(guān)系進(jìn)行視差估計(jì)并且基于亮度值與視差值之間關(guān)系將亮度 值轉(zhuǎn)換成視差值的方法被稱之為DfL (亮度差異）視差估計(jì)方法。
[0057] 在DfL視差估計(jì)中，使用來自對(duì)象的反射光強(qiáng)度與距離平方成反比例減少的特 性。此處，如表達(dá)式（1)所示，獲得在拍攝圖像中獲得的亮度值PY與從圖像攝取裝置到對(duì) 象上的點(diǎn)(光源）的距離r之間的關(guān)系。
[0058]

【權(quán)利要求】
1. 一種圖像處理裝置，包括： 關(guān)注區(qū)域檢測(cè)單元，所述關(guān)注區(qū)域檢測(cè)單元被配置為從基準(zhǔn)圖像檢測(cè)出包括期望對(duì)象 的關(guān)注區(qū)域； 亮度視差轉(zhuǎn)換單元，所述亮度視差轉(zhuǎn)換單元被配置為基于通過使用過去幀估計(jì)的亮度 視差轉(zhuǎn)換特性來對(duì)所述關(guān)注區(qū)域執(zhí)行亮度視差轉(zhuǎn)換；以及 視差估計(jì)單元，所述視差估計(jì)單元被配置為基于所述基準(zhǔn)圖像和參考圖像進(jìn)行視差估 計(jì)，并且通過使用由所述亮度視差轉(zhuǎn)換單元獲得的亮度視差轉(zhuǎn)換結(jié)果在所述關(guān)注區(qū)域中進(jìn) 行所述視差估計(jì)，所述參考圖像的視點(diǎn)位置不同于所述基準(zhǔn)圖像的視點(diǎn)位置。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中： 所述亮度視差轉(zhuǎn)換單元通過使用所述關(guān)注區(qū)域的亮度值來執(zhí)行所述亮度視差轉(zhuǎn)換，所 述關(guān)注區(qū)域的所述亮度值根據(jù)到所述期望對(duì)象的深度距離進(jìn)行了校正。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中： 假設(shè)在所述亮度視差轉(zhuǎn)換特性的估計(jì)中根據(jù)所述深度距離校正的所述亮度值的平方 根與視差值成比例，所述亮度視差轉(zhuǎn)換單元估計(jì)比例系數(shù)和截距。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其中： 所述亮度視差轉(zhuǎn)換單元基于所述過去幀的關(guān)注區(qū)域中的最大亮度值、最小亮度值、最 大視差值以及最小視差值對(duì)所述亮度視差轉(zhuǎn)換特性進(jìn)行估計(jì)。
5. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中： 所述亮度視差轉(zhuǎn)換單元基于所述關(guān)注區(qū)域中的所述亮度值的分布和所述亮度值的平 均值來計(jì)算所述最大亮度值和所述最小亮度值，并且基于所述關(guān)注區(qū)域中的所述視差值的 分布和所述視差值的平均值來計(jì)算所述最大視差值和所述最小視差值。
6. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中： 所述視差估計(jì)單元為所述基準(zhǔn)圖像的每個(gè)視差估計(jì)目標(biāo)位置設(shè)置第一匹配區(qū)域；針對(duì) 預(yù)先指定的每個(gè)像差值，計(jì)算表示所述第一匹配區(qū)域與所述參考圖像中的對(duì)應(yīng)于該像差值 的第二匹配區(qū)域之間的相似性的成本值，并且針對(duì)每一行將使行的成本值的總和為最小的 具有最高相似性的視差值設(shè)定為視差估計(jì)結(jié)果。
7. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其中： 在由所述關(guān)注區(qū)域檢測(cè)單元所檢測(cè)的所述關(guān)注區(qū)域中，所述視差估計(jì)單元使所述成本 值包含對(duì)應(yīng)于所指定的視差值與通過所述亮度視差轉(zhuǎn)換單元進(jìn)行亮度視差轉(zhuǎn)換獲得的視 差值之間的差值的成本值。
8. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中： 在除所述關(guān)注區(qū)域檢測(cè)單元所檢測(cè)到的關(guān)注區(qū)域之外的區(qū)域中，所述視差估計(jì)單元在 沒有獲得所述差值的情況下對(duì)所述成本值進(jìn)行計(jì)算。
9. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其中： 所述視差估計(jì)單元使對(duì)應(yīng)于所述基準(zhǔn)圖像中所述視差估計(jì)目標(biāo)位置的視差值與緊前 的視差估計(jì)目標(biāo)位置的視差值之間的差的成本值被包括。
10. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中： 所述視差估計(jì)單元在所述視差估計(jì)中使用動(dòng)態(tài)編程。
11. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中： 所述關(guān)注區(qū)域檢測(cè)單元將所述基準(zhǔn)圖像的色差值和亮度值與預(yù)定閾值比較，以檢測(cè)所 述關(guān)注區(qū)域。
12. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中： 所述關(guān)注區(qū)域檢測(cè)單元對(duì)所述基準(zhǔn)圖像執(zhí)行紋理分析，以檢測(cè)所述關(guān)注區(qū)域。
13. -種圖像處理方法，包括： 從基準(zhǔn)圖像中檢測(cè)出包括期望對(duì)象的關(guān)注區(qū)域； 基于通過使用過去幀估計(jì)的亮度視差轉(zhuǎn)換特性來對(duì)所述關(guān)注區(qū)域執(zhí)行亮度視差轉(zhuǎn)換； 以及 基于所述基準(zhǔn)圖像和參考圖像來進(jìn)行視差估計(jì)，并且通過使用亮度視差轉(zhuǎn)換結(jié)果在所 述關(guān)注區(qū)域中進(jìn)行所述視差估計(jì)，所述參考圖像的視點(diǎn)位置不同于所述基準(zhǔn)圖像的視點(diǎn)位 置。
14. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中： 通過使用所述關(guān)注區(qū)域的亮度值來執(zhí)行所述亮度視差轉(zhuǎn)換，所述關(guān)注區(qū)域的所述亮度 值根據(jù)到所述期望對(duì)象的深度距離進(jìn)行了校正。
15. -種程序，所述程序使計(jì)算機(jī)執(zhí)行： 從基準(zhǔn)圖像中檢測(cè)出包括期望對(duì)象的關(guān)注區(qū)域； 基于通過使用過去幀估計(jì)的亮度視差轉(zhuǎn)換特性來對(duì)所述關(guān)注區(qū)域執(zhí)行亮度視差轉(zhuǎn)換； 以及 基于所述基準(zhǔn)圖像和參考圖像進(jìn)行視差估計(jì)，并且通過使用亮度視差轉(zhuǎn)換結(jié)果在所 述關(guān)注區(qū)域中進(jìn)行所述視差估計(jì)，所述參考圖像的視點(diǎn)位置不同于所述基準(zhǔn)圖像的視點(diǎn)位 置。
16. -種圖像處理系統(tǒng)，包括： 圖像攝取裝置，用于產(chǎn)生具有不同視點(diǎn)位置的多個(gè)拍攝圖像的圖像信號(hào)并且將所述圖 像信號(hào)中的一個(gè)作為基準(zhǔn)圖像提供給圖像處理裝置： 所述圖像處理裝置，包括： 關(guān)注區(qū)域檢測(cè)單元，所述關(guān)注區(qū)域檢測(cè)單元被配置為從基準(zhǔn)圖像檢測(cè)出包括期望對(duì)象 的關(guān)注區(qū)域； 亮度視差轉(zhuǎn)換單元，所述亮度視差轉(zhuǎn)換單元被配置為基于通過使用過去幀估計(jì)的亮度 視差轉(zhuǎn)換特性來對(duì)所述關(guān)注區(qū)域執(zhí)行亮度視差轉(zhuǎn)換；以及 視差估計(jì)單元，所述視差估計(jì)單元被配置為基于所述基準(zhǔn)圖像和參考圖像進(jìn)行視差估 計(jì)，并且通過使用由所述亮度視差轉(zhuǎn)換單元獲得的亮度視差轉(zhuǎn)換結(jié)果在所述關(guān)注區(qū)域中進(jìn) 行所述視差估計(jì)，所述參考圖像的視點(diǎn)位置不同于所述基準(zhǔn)圖像的視點(diǎn)位置。
【文檔編號(hào)】H04N13/00GK104104937SQ201410138822
【公開日】2014年10月15日 申請(qǐng)日期:2014年4月8日 優(yōu)先權(quán)日:2013年4月15日
【發(fā)明者】上森丈士 申請(qǐng)人:索尼公司