專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理裝置、圖像處理方法和程序，具體而言涉及對(duì)二維圖像執(zhí)行圖像轉(zhuǎn)換并且生成符合立體視覺(jué)(stereoscopic vision)的雙眼視差圖像(binocular parallax image)的圖像處理裝置。
背景技術(shù)：
關(guān)于將二維圖像轉(zhuǎn)換成符合立體視覺(jué)的雙眼視差圖像的裝置和方法，在現(xiàn)有技術(shù)中已經(jīng)作出了各種提議?；诙S圖像生成的雙眼視差圖像是由供左眼觀察的左眼圖像和供右眼觀察的右眼圖像這一對(duì)構(gòu)成的。通過(guò)在能夠分離左眼圖像和右眼圖像以分別呈現(xiàn)給觀察者的左眼和右眼的顯示裝置上顯示由這樣的一對(duì)左眼圖像和右眼圖像構(gòu)成的雙眼視差圖像，用戶能夠?qū)⒃搱D像感知為立體圖像。聯(lián)系這種圖像的生成或顯示處理而公開的現(xiàn)有技術(shù)能夠基于其技術(shù)被分類成例如以下的類別。(A)從時(shí)間軸方向上的多個(gè)二維圖像生成三維圖像的技術(shù)(al)在時(shí)間軸方向上對(duì)兩個(gè)或更多個(gè)圖像成像并且用這些圖像中的兩個(gè)替代左右對(duì)的技術(shù)(a2)在時(shí)間軸方向上對(duì)兩個(gè)或更多個(gè)圖像成像并且通過(guò)確定圖像內(nèi)的物體的運(yùn)動(dòng)向量并利用物體越靠前、看起來(lái)其運(yùn)動(dòng)就越快且運(yùn)動(dòng)的距離就越大這個(gè)事實(shí)等等估計(jì)相對(duì)位置來(lái)執(zhí)行背景和主要被攝體的分離等等從而來(lái)進(jìn)行渲染(rendering)的技術(shù)(B)從單個(gè)二維圖像生成三維圖像的技術(shù)(bl)將一個(gè)圖像在水平方向上偏移預(yù)定量并且賦予圖像浮起的印象以便生成左右圖像的技術(shù)(b2)通過(guò)按邊緣、顏色、亮度、直方圖等等執(zhí)行僅一個(gè)圖像的構(gòu)圖(場(chǎng)景)分析并且估計(jì)深度來(lái)進(jìn)行渲染的技術(shù)(b3)通過(guò)利用頻率成分、邊緣成分等等從僅一個(gè)圖像中提取左右視差成分來(lái)進(jìn)行渲染的技術(shù)(C)從二維圖像的深度信息生成三維圖像的技術(shù)(cl)除了一個(gè)圖像以外還通過(guò)使用測(cè)距傳感器或者根據(jù)具有不同焦距的多個(gè)圖像運(yùn)算的方法來(lái)獲得深度信息并且主要利用二維圖像通過(guò)該深度信息進(jìn)行空間幾何渲染的技術(shù)(c2)除了一個(gè)圖像以外還通過(guò)使用測(cè)距傳感器或者根據(jù)具有不同焦距的多個(gè)圖像運(yùn)算的方法來(lái)獲得深度信息并且主要通過(guò)上述的從單個(gè)二維圖像生成三維圖像的方法而僅將深度信息用作輔助來(lái)生成三維圖像的技術(shù)作為從二維圖像生成三維圖像的技術(shù)，現(xiàn)有技術(shù)中提出的技術(shù)例如被分類如上。(al)在時(shí)間軸方向上對(duì)兩個(gè)或更多個(gè)圖像成像并且用這些圖像中的兩個(gè)替代左右對(duì)的技術(shù)
5
例如，日本未實(shí)審專利申請(qǐng)公布No. 9-107562描述了以上技術(shù)。日本未實(shí)審專利申請(qǐng)公布No. 9-107562公開了具有水平方向上的運(yùn)動(dòng)的運(yùn)動(dòng)圖像的圖像處理配置。具體而言，日本未實(shí)審專利申請(qǐng)公布No. 9-107562公開了一種配置，S卩，將原始圖像輸出到左眼圖像和右眼圖像之一并且將已按場(chǎng)單位延遲的圖像輸出到另一個(gè)。通過(guò)這種圖像輸出控制， 水平移動(dòng)的物體被感知為比背景更靠前。(a2)在時(shí)間軸方向上對(duì)兩個(gè)或更多個(gè)圖像成像并且通過(guò)確定圖像內(nèi)的物體的運(yùn)動(dòng)向量并利用物體越靠前、看起來(lái)其運(yùn)動(dòng)就越快且運(yùn)動(dòng)的距離就越大這個(gè)事實(shí)等等估計(jì)相對(duì)位置來(lái)執(zhí)行背景和主要被攝體的分離等等從而來(lái)進(jìn)行渲染的技術(shù)例如，日本未實(shí)審專利申請(qǐng)公布No. 20004618 、日本未實(shí)審專利申請(qǐng)公布 No. 9-161074和日本未實(shí)審專利申請(qǐng)公布No. 8-331607描述了以上技術(shù)。這些專利文獻(xiàn)公開了通過(guò)利用諸如塊匹配之類的技術(shù)從時(shí)間軸上的多個(gè)圖像估計(jì)深度來(lái)生成左右視差圖像的方法。(bl)將一個(gè)圖像在水平方向上偏移預(yù)定量并且賦予圖像浮起的印象以便生成左右圖像的技術(shù)例如，日本未實(shí)審專利申請(qǐng)公布No. 8-30806描述了以上技術(shù)。日本未實(shí)審專利申請(qǐng)公布No. 8-30806提出了一種裝置，其通過(guò)對(duì)靜止圖像或具有很小運(yùn)動(dòng)的圖像，使左眼圖像和右眼圖像在水平方向上僅偏移預(yù)定量，來(lái)賦予圖像浮出的印象。另外，上述的(bl)項(xiàng)和(b2)通過(guò)按邊緣、顏色、亮度、直方圖等等執(zhí)行僅一個(gè)圖像的構(gòu)圖(場(chǎng)景)分析并且估計(jì)深度來(lái)進(jìn)行渲染的技術(shù)日本未實(shí)審專利申請(qǐng)公布No. 10-51812是公開以上技術(shù)的現(xiàn)有技術(shù)。日本未實(shí)審專利申請(qǐng)公布No. 10-51812提出了一種方法，S卩，將圖像分離成多個(gè)視差計(jì)算區(qū)域，根據(jù)每個(gè)區(qū)域中的圖像的特征量計(jì)算偽深度并且基于該深度來(lái)水平偏移左眼圖像和右眼圖像。另外，日本未實(shí)審專利申請(qǐng)公布No. 2005-151534也描述了以上第(b2)項(xiàng)的技術(shù)。 日本未實(shí)審專利申請(qǐng)公布No. 2005-151534提出了將圖像的結(jié)構(gòu)擬合在相對(duì)簡(jiǎn)單的有限結(jié)構(gòu)(構(gòu)圖)模型中的配置，并且公開了抑制不自然深度的發(fā)生的配置。另外，日本未實(shí)審專利申請(qǐng)公布No. 2010-63083公開了(b3)通過(guò)利用頻率成分、 邊緣成分等等從僅一個(gè)圖像中提取左右視差成分來(lái)進(jìn)行渲染的技術(shù)。日本未實(shí)審專利申請(qǐng)公布No. 2010-63083提出了通過(guò)向原始圖像添加微分信號(hào)或從原始圖像中減去微分信號(hào)來(lái)生成左右視差圖像的方法。另外，日本未實(shí)審專利申請(qǐng)公布No. 2009-296272描述了(cl)除了一個(gè)圖像以外還通過(guò)使用測(cè)距傳感器或者根據(jù)具有不同焦距的多個(gè)圖像運(yùn)算的方法來(lái)獲得深度信息并且主要利用二維圖像通過(guò)該深度信息進(jìn)行空間幾何渲染的技術(shù)。日本未實(shí)審專利申請(qǐng)公布 No. 2009-296272提出了通過(guò)利用測(cè)距傳感器獲得深度信息來(lái)獲得三維圖像數(shù)據(jù)的方法。

發(fā)明內(nèi)容
如上所述，已提出了各種技術(shù)作為從二維圖像生成三維圖像的技術(shù)。然而，迄今為止提出的技術(shù)具有例如以下問(wèn)題。關(guān)于上述(al)的技術(shù)，對(duì)于靜止圖像或具有很小運(yùn)動(dòng)的圖像，偏移了整個(gè)畫面，而未表示圖像內(nèi)的物體的相對(duì)位置。關(guān)于(a2)的技術(shù)，對(duì)于靜止圖像或具有很小運(yùn)動(dòng)的圖像，未確定運(yùn)動(dòng)向量，未正確估計(jì)圖像內(nèi)的物體的相對(duì)位置，并且未賦予正確的視差。在技術(shù)(bl)中，對(duì)于靜止圖像或具有很小運(yùn)動(dòng)的圖像，偏移了整個(gè)畫面，而未表示圖像內(nèi)的物體的相對(duì)位置。關(guān)于(b2)的技術(shù)，雖然從圖像的特征量估計(jì)了偽深度，但估計(jì)是基于畫面中靠前的物體具有更大的銳度、更大的亮度、更大的飽和度等等這個(gè)假設(shè)來(lái)進(jìn)行的，而并不一定執(zhí)行了正確的估計(jì)。另外，難以從一個(gè)圖像檢測(cè)到詳細(xì)的深度，并且不容易執(zhí)行不是構(gòu)圖的部分(例如微小的細(xì)節(jié)，比如樹枝、電纜和頭發(fā))的深度估計(jì)。因此，對(duì)于深度估計(jì)錯(cuò)誤的部分，賦予了錯(cuò)誤的視差。另外，由于不是所有結(jié)構(gòu)(構(gòu)圖)都被覆蓋以有限結(jié)構(gòu)(構(gòu)圖)，所以沒(méi)有本質(zhì)上的解決。關(guān)于(b3)的技術(shù)，只使用了二維圖像內(nèi)的頻率成分(特別是高頻成分)，與實(shí)際深度的相關(guān)經(jīng)常很小，并且在圖像內(nèi)生成了不自然的深度。關(guān)于(cl)的技術(shù)，利用現(xiàn)有技術(shù)難以準(zhǔn)確測(cè)量圖像內(nèi)的所有像素的深度(距離) (準(zhǔn)確度低)，并且通過(guò)使用這種深度信息的方法生成了不自然的視差。(c2)的技術(shù)本質(zhì)上與(bl)至(b3)的技術(shù)相同，但是只將深度信息用作輔助。簡(jiǎn)言之，關(guān)于不使用深度信息的轉(zhuǎn)換方法，由于只估計(jì)了深度，所出發(fā)生如下問(wèn)題，即在許多情況下發(fā)生差錯(cuò)并且難出生成高質(zhì)量的左右視差圖像。另外，關(guān)于現(xiàn)有的技術(shù)標(biāo)準(zhǔn)，即使使用測(cè)距傳感器等等，也極難以像素單位的分辨能力獲得準(zhǔn)確的深度信息，并且通過(guò)主要使用這種不準(zhǔn)確的深度信息的幾何2D-3D轉(zhuǎn)換方法難以生成高質(zhì)量的左右視差圖像。如上所述，在僅從二維圖像生成左右視差圖像的情況、通過(guò)從二維圖像估計(jì)深度信息來(lái)生成左右視差圖像的情況以及從估計(jì)的深度信息和二維圖像幾何地生成左右視差圖像的情況中，都存在一些技術(shù)問(wèn)題，圖像質(zhì)量受深度信息的很大影響，并且難以利用現(xiàn)有的技術(shù)生成具有高質(zhì)量立體效果的左右視差圖像。也就是說(shuō)，關(guān)于使用錯(cuò)誤的深度信息的左右視差圖像生成，在要生成的圖像中賦予了錯(cuò)誤的視差，可能賦予不可調(diào)和的視差，或者出現(xiàn)透視偏離現(xiàn)實(shí)(錯(cuò)誤)的部分，并且在立體觀看時(shí)圖像看起來(lái)不自然且奇怪。已經(jīng)確定，使用低質(zhì)量左右視差圖像的立體圖像不僅令人感到不自然且難以舒適地觀看，而且也導(dǎo)致眼睛疲勞。希望提供一種實(shí)現(xiàn)抑制了由于所測(cè)量或估計(jì)的深度信息的差錯(cuò)而導(dǎo)致的錯(cuò)誤立體效果的發(fā)生的高質(zhì)量左右視差圖像的生成和呈現(xiàn)的圖像處理裝置、圖像處理方法和程序。根據(jù)本公開的一個(gè)實(shí)施例，提供了一種圖像處理裝置，包括圖像輸入單元，該圖像輸入單元輸入二維圖像信號(hào)；深度信息輸出單元，該深度信息輸出單元以構(gòu)成二維圖像信號(hào)的圖像區(qū)域?yàn)閱挝惠斎牖蛏缮疃刃畔?；深度信息可靠度輸出單元，該深度信息可靠度輸出單元輸入或生成深度信息輸出單元輸出的深度信息的可靠度；圖像轉(zhuǎn)換單元，該圖像轉(zhuǎn)換單元輸入從圖像輸入單元輸出的圖像信號(hào)、深度信息輸出單元輸出的深度信息以及深度信息可靠度輸出單元輸出的深度信息可靠度，并且生成和輸出用于實(shí)現(xiàn)雙眼立體視覺(jué)的左眼圖像和右眼圖像；以及圖像輸出單元，該圖像輸出單元輸出從圖像轉(zhuǎn)換單元輸出的左眼圖像和右眼圖像，其中，圖像轉(zhuǎn)換單元具有通過(guò)對(duì)輸入圖像信號(hào)的圖像轉(zhuǎn)換處理執(zhí)行左眼圖像和右眼圖像中的至少一個(gè)的圖像生成的配置，并且在圖像轉(zhuǎn)換期間執(zhí)行應(yīng)用深度信息和深度信息可靠度作為轉(zhuǎn)換控制數(shù)據(jù)的轉(zhuǎn)換處理。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像轉(zhuǎn)換單元可在深度信息可靠度等于或大于預(yù)先固定的閾值并且判定可靠度高的情況下執(zhí)行通過(guò)主要應(yīng)用深度信息的圖像轉(zhuǎn)換處理來(lái)從二維圖像生成左眼圖像或右眼圖像的處理。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像轉(zhuǎn)換單元可在深度信息可靠度小于預(yù)先固定的閾值并且判定可靠度低的情況下執(zhí)行通過(guò)不使用深度信息的圖像轉(zhuǎn)換處理來(lái)從二維圖像生成左眼圖像或右眼圖像的處理。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像轉(zhuǎn)換單元可執(zhí)行如下處理對(duì)輸入圖像信號(hào)設(shè)置亮度微分信號(hào)作為特征量，生成向輸入圖像信號(hào)添加特征量的信號(hào)和從輸入圖像信號(hào)中減去特征量的信號(hào)，并且生成這兩個(gè)信號(hào)構(gòu)成的一對(duì)作為一對(duì)左眼圖像和右眼圖像。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像轉(zhuǎn)換單元可在深度信息可靠度小于預(yù)先固定的第一閾值且等于或大于預(yù)先固定的第二閾值并且判定可靠度為中等的情況下執(zhí)行通過(guò)使用深度信息作為輔助的非幾何圖像轉(zhuǎn)換處理來(lái)從輸入二維圖像生成左眼圖像或右眼圖像的處理。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像轉(zhuǎn)換單元可包括視差強(qiáng)調(diào)成分計(jì)算單元，該視差強(qiáng)調(diào)成分計(jì)算單元提取輸入圖像信號(hào)的空間特征量并且計(jì)算被應(yīng)用了所提取的特征量的視差強(qiáng)調(diào)成分；成分量控制單元，該成分量控制單元基于深度信息和深度信息可靠度來(lái)執(zhí)行視差強(qiáng)調(diào)成分的調(diào)整；以及視差圖像生成單元，該視差圖像生成單元執(zhí)行如下處理通過(guò)對(duì)被應(yīng)用了視差強(qiáng)調(diào)成分的輸入圖像的圖像轉(zhuǎn)換處理，來(lái)從輸入二維圖像生成左眼圖像或右眼圖像，其中對(duì)于該視差強(qiáng)調(diào)成分，作為成分量控制單元的輸出的成分量被調(diào)整。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像轉(zhuǎn)換單元可包括深度控制單元，該深度控制單元基于深度信息可靠度執(zhí)行深度信息的加權(quán)并且生成加權(quán)設(shè)置深度信息；以及視差圖像生成單元，該視差圖像生成單元執(zhí)行如下處理通過(guò)對(duì)被應(yīng)用了作為深度控制單元的輸出的加權(quán)設(shè)置深度信息的輸入圖像的圖像轉(zhuǎn)換處理，來(lái)從輸入二維圖像生成左眼圖像或右眼圖像。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像處理裝置還可包括顯示由圖像轉(zhuǎn)換單元生成的經(jīng)轉(zhuǎn)換圖像的顯示單元。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像處理裝置還可包括成像單元，并且圖像轉(zhuǎn)換單元通過(guò)輸入成像單元的成像圖像來(lái)執(zhí)行處理。另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像處理裝置還可包括記錄由圖像轉(zhuǎn)換單元生成的經(jīng)轉(zhuǎn)換圖像的存儲(chǔ)單元。另外，根據(jù)本公開的另一實(shí)施例，提供了一種在圖像處理裝置中執(zhí)行圖像轉(zhuǎn)換處理的圖像處理方法，該圖像處理方法包括由圖像輸入單元進(jìn)行的圖像輸入，輸入二維圖像信號(hào)；由深度信息輸出單元進(jìn)行的深度信息輸出，以構(gòu)成二維圖像信號(hào)的圖像區(qū)域?yàn)閱挝惠斎牖蛏缮疃刃畔ⅲ挥缮疃刃畔⒖煽慷容敵鰡卧M(jìn)行的深度信息可靠度輸出，輸入或生成深度信息輸出單元輸出的深度信息的可靠度；由圖像轉(zhuǎn)換單元進(jìn)行的圖像轉(zhuǎn)換，輸入從圖像輸入單元輸出的圖像信號(hào)、深度信息輸出單元輸出的深度信息以及深度信息可靠度輸出單元輸出的深度信息可靠度，并且生成和輸出用于實(shí)現(xiàn)雙眼立體視覺(jué)的左眼圖像和右眼圖像；以及由圖像輸出單元進(jìn)行的圖像輸出，輸出從圖像轉(zhuǎn)換單元輸出的左眼圖像和右眼圖像，其中，圖像轉(zhuǎn)換通過(guò)對(duì)輸入圖像信號(hào)的圖像轉(zhuǎn)換處理執(zhí)行左眼圖像和右眼圖像中的至少一個(gè)的圖像生成，并且在圖像轉(zhuǎn)換期間執(zhí)行應(yīng)用深度信息和深度信息可靠度作為轉(zhuǎn)換控制數(shù)據(jù)的轉(zhuǎn)換處理。另外，根據(jù)本公開的另一實(shí)施例，提供了一種使圖像處理裝置執(zhí)行圖像轉(zhuǎn)換處理的程序，該圖像轉(zhuǎn)換處理包括由圖像輸入單元進(jìn)行的圖像輸入，輸入二維圖像信號(hào)；由深度信息輸出單元進(jìn)行的深度信息輸出，以構(gòu)成二維圖像信號(hào)的圖像區(qū)域?yàn)閱挝惠斎牖蛏缮疃刃畔ⅲ挥缮疃刃畔⒖煽慷容敵鰡卧M(jìn)行的深度信息可靠度輸出，輸入或生成深度信息輸出單元輸出的深度信息的可靠度；由圖像轉(zhuǎn)換單元進(jìn)行的圖像轉(zhuǎn)換，輸入從圖像輸入單元輸出的圖像信號(hào)、深度信息輸出單元輸出的深度信息以及深度信息可靠度輸出單元輸出的深度信息可靠度，并且生成和輸出用于實(shí)現(xiàn)雙眼立體視覺(jué)的左眼圖像和右眼圖像；以及由圖像輸出單元進(jìn)行的圖像輸出，輸出從圖像轉(zhuǎn)換單元輸出的左眼圖像和右眼圖像，其中， 在圖像轉(zhuǎn)換中，使得執(zhí)行通過(guò)對(duì)輸入圖像信號(hào)的圖像轉(zhuǎn)換處理進(jìn)行的左眼圖像和右眼圖像中的至少一個(gè)的圖像生成，并且在圖像轉(zhuǎn)換期間使得執(zhí)行應(yīng)用深度信息和深度信息可靠度作為轉(zhuǎn)換控制數(shù)據(jù)的轉(zhuǎn)換處理。這里，本公開的實(shí)施例的程序是能夠通過(guò)以計(jì)算機(jī)可讀格式提供的存儲(chǔ)介質(zhì)或組合介質(zhì)被提供到例如能夠執(zhí)行各種程序代碼的通用系統(tǒng)的程序。通過(guò)以計(jì)算機(jī)可讀格式提供這種程序，在計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)根據(jù)該程序的處理。通過(guò)稍后描述的基于本公開的實(shí)施例的更詳細(xì)描述和附加附圖將清楚本公開的實(shí)施例的其他目的、特性和優(yōu)點(diǎn)。這里，在說(shuō)明書中，系統(tǒng)是多個(gè)裝置的邏輯集合配置，并且每個(gè)配置的裝置不一定在同一外殼內(nèi)。根據(jù)本公開的實(shí)施例配置，實(shí)現(xiàn)了通過(guò)根據(jù)深度信息的可靠度的最優(yōu)信號(hào)處理來(lái)生成可立體觀看的圖像信號(hào)的配置。具體而言，在基于二維圖像生成被應(yīng)用到三維圖像顯示的左眼圖像或右眼圖像的配置中，輸入或生成以圖像信號(hào)的區(qū)域?yàn)閱挝坏纳疃刃畔⒒蛏疃瓤煽慷刃畔?，并且基于這種信息來(lái)執(zhí)行對(duì)圖像轉(zhuǎn)換的控制。輸入或生成以構(gòu)成二維圖像信號(hào)的圖像區(qū)域?yàn)閱挝坏纳疃刃畔⒑蜕疃刃畔⒌目煽慷?，并且例如基于這種信息來(lái)改變將 2D圖像轉(zhuǎn)換成3D圖像的轉(zhuǎn)換處理狀態(tài)?；蛘?，執(zhí)行對(duì)視差強(qiáng)調(diào)信號(hào)的應(yīng)用水平的控制等等。通過(guò)這種處理，根據(jù)二維圖像的深度信息和深度可靠度的最優(yōu)圖像轉(zhuǎn)換成為了可能。


圖1是示出根據(jù)本公開的實(shí)施例的圖像處理裝置的配置示例的示圖；圖2是示出根據(jù)本公開的實(shí)施例的圖像處理裝置的另一配置示例的示圖；圖3是描述根據(jù)本公開的實(shí)施例的圖像處理裝置執(zhí)行的處理的示圖；圖4是描述根據(jù)本公開的實(shí)施例的圖像處理裝置的圖像轉(zhuǎn)換單元的一個(gè)配置示例的示圖；圖5是描述根據(jù)本公開的實(shí)施例的圖像處理裝置的圖像轉(zhuǎn)換單元的另一配置示例的示圖；圖6是描述根據(jù)本公開的實(shí)施例的圖像處理裝置的圖像轉(zhuǎn)換單元的另一配置示例的示圖；圖7是描述根據(jù)本公開的實(shí)施例的圖像處理裝置的圖像轉(zhuǎn)換單元內(nèi)設(shè)置的成分量控制單元的一個(gè)配置示例的示圖；圖8是描述根據(jù)本公開的實(shí)施例的圖像處理裝置的圖像轉(zhuǎn)換單元內(nèi)設(shè)置的深度控制單元的一個(gè)配置示例的示圖；圖9是示出描述根據(jù)本公開的實(shí)施例的圖像處理裝置執(zhí)行的處理序列的流程圖的示圖；圖10是示出描述根據(jù)本公開的實(shí)施例的圖像處理裝置執(zhí)行的處理序列的另一流程圖的示圖；圖11是示出描述根據(jù)本公開的實(shí)施例的圖像處理裝置執(zhí)行的處理序列的另一流程圖的示圖；圖12是示出描述根據(jù)本公開的實(shí)施例的圖像處理裝置執(zhí)行的處理序列的另一流程圖的示圖；圖13是示出描述根據(jù)本公開的實(shí)施例的圖像處理裝置執(zhí)行的處理序列的另一流程圖的示圖；圖14是示出描述根據(jù)本公開的實(shí)施例的圖像處理裝置對(duì)運(yùn)動(dòng)圖像執(zhí)行的處理序列的流程圖的示圖；圖15是示出描述根據(jù)本公開的實(shí)施例的圖像處理裝置對(duì)運(yùn)動(dòng)圖像執(zhí)行的處理序列的另一流程圖的示圖；圖16是描述根據(jù)本公開的實(shí)施例的圖像處理裝置的配置示例的示圖；圖17是描述根據(jù)本公開的實(shí)施例的圖像處理裝置的另一配置示例的示圖；并且圖18是描述根據(jù)本公開的實(shí)施例的圖像處理裝置的另一配置示例的示圖。
具體實(shí)施例方式下面將參考附圖詳細(xì)描述本公開的實(shí)施例的圖像處理裝置、圖像處理方法和程序的細(xì)節(jié)。將根據(jù)以下項(xiàng)目來(lái)進(jìn)行描述。1.圖像處理裝置的配置示例2.深度信息輸出單元的處理3.深度信息可靠度輸出單元的處理4.圖像轉(zhuǎn)換單元的配置和處理5.成分量控制單元的處理6.深度控制單元的處理7.視差圖像生成單元的處理8.幾何視差圖像生成單元的處理9.與圖像顯示裝置有關(guān)的處理10.圖像轉(zhuǎn)換單元的處理序列11.圖像轉(zhuǎn)換單元的處理序列(運(yùn)動(dòng)圖像)
12.其他實(shí)施例[1.圖像處理裝置的配置示例]圖1和2分別是示出根據(jù)本公開的實(shí)施例的圖像處理裝置的示例的示圖。如圖1和2中所示，在本公開的實(shí)施例的圖像處理裝置100的前級(jí)示出了諸如數(shù)字相機(jī)之類的作為輸入要作為圖像處理裝置100的處理對(duì)象的圖像的輸入裝置的成像裝置51，并且在后級(jí)示出了諸如3D電視之類的作為輸出圖像處理裝置100的經(jīng)處理圖像的輸出裝置的顯示裝置52。圖像的這種輸入裝置和輸出裝置并不限于成像裝置和顯示裝置，而是可以設(shè)置多種裝置，例如記錄裝置，比如磁光存儲(chǔ)器或固態(tài)存儲(chǔ)器。也就是說(shuō)，對(duì)于被配置在圖像處理裝置100的前面和后面的裝置沒(méi)有具體限定，只要這種裝置具有使得要使用的信息的輸入和輸出成為可能的配置即可。另外，圖像處理裝置100本身可被配置為與成像裝置相集成或者可被配置為與諸如3D電視之類的顯示裝置相集成。圖1和2中所示的圖像處理裝置的構(gòu)成元件是相同的，只是連接配置不同。首先， 將參考圖1來(lái)描述圖像處理裝置100的配置和處理。圖1中所示的圖像處理裝置100通過(guò)圖像輸入單元101接收從各類成像裝置輸出的作為二維圖像OD圖像)的靜止圖像數(shù)據(jù)或運(yùn)動(dòng)圖像數(shù)據(jù)，并且將靜止圖像數(shù)據(jù)或運(yùn)動(dòng)圖像數(shù)據(jù)轉(zhuǎn)換成能夠被圖像處理裝置100內(nèi)的數(shù)據(jù)處理單元處理的內(nèi)部數(shù)據(jù)格式。這里， 內(nèi)部數(shù)據(jù)格式是基帶運(yùn)動(dòng)圖像數(shù)據(jù)，并且是紅(R)、綠(G)和藍(lán)(B)三原色的數(shù)據(jù)、亮度(Y) 或色差(Cb、Cr)的數(shù)據(jù)，等等。內(nèi)部數(shù)據(jù)格式可以是任何格式，只要該數(shù)據(jù)格式能夠被后級(jí)的圖像轉(zhuǎn)換單元104處理即可。深度信息輸出單元102從外部輸入與從圖像輸入單元101輸入的圖像信號(hào)相對(duì)應(yīng)的深度信息，或者在內(nèi)部生成深度信息，并將深度信息輸出到圖像轉(zhuǎn)換單元104。深度信息輸出單元102輸入或生成的深度信息可以是可以用來(lái)判定與輸入圖像信號(hào)的相對(duì)位置關(guān)系是否對(duì)應(yīng)以及每個(gè)像素具有多大的深度的信息。細(xì)節(jié)將在下文中描述。深度信息可靠度輸出單元103從外部輸入與深度信息輸出單元102輸出的深度信息相對(duì)應(yīng)的深度信息可靠度，或者從內(nèi)部生成深度信息可靠度，并且將深度信息可靠度輸出到圖像轉(zhuǎn)換單元104。深度信息可靠度信息103可以是可以用來(lái)判定與輸入圖像信號(hào)的相對(duì)位置關(guān)系是否對(duì)應(yīng)以及每個(gè)像素具有多大深度的信息。細(xì)節(jié)將在下文中描述。圖像轉(zhuǎn)換單元104執(zhí)行如下處理即，通過(guò)應(yīng)用從圖像輸入單元101輸入的二維圖像(2D圖像)、從深度信息輸出單元102輸入的深度信息以及從深度信息可靠度輸出單元 103輸入的可靠度信息，來(lái)將作為輸入圖像的二維圖像(2D圖像)轉(zhuǎn)換成被應(yīng)用于三維圖像顯示的三維圖像(3D圖像)。這里，這種處理在本說(shuō)明書中被稱為2D-3D轉(zhuǎn)換。圖像轉(zhuǎn)換單元104執(zhí)行如下處理即，執(zhí)行作為輸入圖像的二維圖像OD圖像)的圖像轉(zhuǎn)換并且生成左眼圖像和右眼圖像，即雙眼視差圖像。細(xì)節(jié)將在下文中描述。從圖像轉(zhuǎn)換單元104輸出的圖像數(shù)據(jù)在被轉(zhuǎn)換成適合于由圖像輸出單元105輸出的格式之后被輸出。分辨率轉(zhuǎn)換或者諸如JPEG和MPEG之類的編解碼器轉(zhuǎn)換是該處理的示例。[2.深度信息輸出單元的處理]
接下來(lái)，將詳細(xì)描述深度信息輸出單元102的處理。如上所述，深度信息輸出單元 102執(zhí)行通過(guò)從外部輸入深度信息而輸出或通過(guò)從內(nèi)部生成深度信息而輸出的處理。深度信息輸出單元102輸入或生成的深度信息可以是可以用來(lái)判定與輸入圖像信號(hào)的相對(duì)位置關(guān)系是否對(duì)應(yīng)以及每個(gè)像素具有多大的深度(例如與相機(jī)的距離)的信息。深度信息例如是以8比特(0到127)對(duì)每個(gè)像素表示從成像位置到無(wú)限遠(yuǎn)的值。然而， 該數(shù)據(jù)格式只是一個(gè)示例，而并未被具體限定。希望輸入圖像的像素?cái)?shù)目和深度信息的像素?cái)?shù)目是理想的一對(duì)一數(shù)據(jù)設(shè)置，其中每個(gè)像素具有深度信息。然而，即使沒(méi)有一對(duì)一關(guān)系，深度信息也可對(duì)應(yīng)于由多個(gè)像素構(gòu)成的塊。另外，也可能是這樣一種配置，其中對(duì)于輸入圖像大小被縮小的大小，即給定的區(qū)域， 設(shè)置深度信息。通過(guò)基于與縮小圖像的每個(gè)像素相對(duì)應(yīng)的深度信息應(yīng)用適當(dāng)?shù)牟逯堤幚恚?能夠計(jì)算出作為原始圖像的放大圖像的以每個(gè)像素為單位的深度信息。另外，在運(yùn)動(dòng)圖像的情況下，在輸入圖像信號(hào)和幀數(shù)之間具有一對(duì)一關(guān)系的深度信息的計(jì)算是不重要的。即，以多個(gè)幀(例如2個(gè)幀或4個(gè)幀)為單位使用一條共同的深度信息的配置也是可能的。對(duì)于在從外部輸入深度信息的情況下深度信息的獲得方法沒(méi)有具體限定。例如， 可以使用利用測(cè)距傳感器(例如可購(gòu)得的測(cè)距掃描儀)獲得深度信息的方法，通過(guò)利用多一個(gè)用于對(duì)圖像信號(hào)成像的相機(jī)(總共兩個(gè)相機(jī))對(duì)圖像成像并使用立體方法來(lái)獲得深度信息的方法，以及根據(jù)具有不同焦距的多個(gè)圖像進(jìn)行運(yùn)算來(lái)獲得深度信息的方法，等等。另外，深度信息輸出單元102可利用圖像輸入單元101輸入的作為二維圖像的輸入圖像信號(hào)在內(nèi)部生成深度信息，而不是從圖像處理裝置100的外部輸入深度信息。作為從二維圖像獲得距離信息的方法，能夠應(yīng)用以下文獻(xiàn)中描述的技術(shù)。也就是說(shuō)，有A. Saxena ^Ai "Make 3D :Learning 3-D Scene Structure from a Single Still Image" (IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2008)中發(fā)^白勺方法，日本專利申請(qǐng)公布No. 2005-151534中公開的方法，等等。通過(guò)使用這種文獻(xiàn)中描述的方法，深度信息輸出單元102能夠利用作為二維圖像的輸入圖像信號(hào)生成深度信息并將深度信息輸出到圖像轉(zhuǎn)換單元。這里，在這種配置的情況下，如圖2中所示那樣設(shè)置圖像處理裝置100。也就是說(shuō)， 深度信息輸出單元102具有這樣的配置即，經(jīng)由圖像輸入單元101輸入圖像，基于輸入圖像生成深度信息，并且將所生成的深度信息輸出到圖像轉(zhuǎn)換單元104。[3.深度信息可靠度輸出單元的處理]接下來(lái)，將詳細(xì)描述深度信息可靠度輸出單元103的處理示例。如上所述，深度信息可靠度輸出單元103執(zhí)行通過(guò)從外部輸入深度信息的可靠度(以下稱為可靠度信息)來(lái)輸出可靠度信息或者通過(guò)在內(nèi)部生成可靠度信息來(lái)輸出可靠度信息的處理。可靠度信息可以是能夠用來(lái)判定與深度信息的相對(duì)位置關(guān)系是否對(duì)應(yīng)以及每個(gè)像素有多可靠的信息。例如，可靠度信息是用為每個(gè)像素設(shè)置的3比特信息[(111) =7] 到[(000) = 0]來(lái)表示完全可靠(7)到完全不可靠(0)的值。然而，該數(shù)據(jù)格式只是示例， 而并未被具體限定。希望可靠度信息和深度信息之間的數(shù)據(jù)對(duì)應(yīng)關(guān)系對(duì)于每條深度信息也是理想的一對(duì)一對(duì)應(yīng)數(shù)據(jù)設(shè)置。然而，可能沒(méi)有一對(duì)一關(guān)系，并且也可能有深度信息是縮小的大小以指示深度信息被劃分成的區(qū)域的相應(yīng)可靠度的情況。另外，可能有對(duì)于每一個(gè)像素有一條可靠度信息的情況。另外，也可能有分別保持像素和區(qū)域的可靠度信息和一個(gè)圖像整體上的可靠度信息的情況。另外，在運(yùn)動(dòng)圖像的情況下，輸入圖像和深度信息的幀數(shù)可能不具有一對(duì)一關(guān)系。 艮口，以多個(gè)幀(例如2幀或4幀)為單位使用一條共同的可靠度信息的配置也是可能的。對(duì)于在從外部輸入可靠度信息的情況下可靠度信息的獲得(生成)方法可能有各種設(shè)置，并且對(duì)于獲得方法沒(méi)有具體限定。例如，在從外部輸入深度信息的情況下，可靠度信息一般是在生成深度信息的同時(shí)生成的。在對(duì)圖像成像的情況下，可以使用通過(guò)考慮到透鏡位置(變焦位置)、AF(自動(dòng)聚焦)、成像裝置的場(chǎng)景估計(jì)、通過(guò)設(shè)置進(jìn)行的場(chǎng)景設(shè)置等等的信息來(lái)進(jìn)行運(yùn)算或估計(jì)的方法。這里，“同時(shí)”是在廣義上使用的，意思是在輸入到圖像處理裝置100之前。在這種配置的情況下，如圖1中所示，圖像處理裝置100具有從圖像處理裝置100的外部輸入可靠度信息的配置。在從外部輸入的深度信息的格式與在內(nèi)部使用的格式不同的情況下，在這里通過(guò)轉(zhuǎn)換格式來(lái)輸出深度信息。在從內(nèi)部估計(jì)可靠度信息而不是從外部輸入的情況下，在估計(jì)時(shí)使用附加到深度信息、二維圖像和圖像的元數(shù)據(jù)等等?？梢允褂每紤]到二維圖像的頻率成分和構(gòu)圖分析的結(jié)果或者考慮到元數(shù)據(jù)(諸如變焦位置之類的成像條件)并且進(jìn)行運(yùn)算和估計(jì)的方法。首先，將描述僅從深度信息估計(jì)可靠度的方法的示例。(3-1.基于對(duì)特異點(diǎn)(outlier)的檢測(cè)的可靠度估計(jì)方法)如果深度信息的每條數(shù)據(jù)(深度值)被布置在一平面上，則存在一個(gè)像素與其周圍的深度值不同的情況。雖然有只是這樣的像素具有不同深度的情況，但更經(jīng)常得多的情況是在深度信息的獲得或估計(jì)中存在差錯(cuò)。因此，將指示與其周圍不同的深度值的一條數(shù)據(jù)視為特異點(diǎn)并降低可靠度，是重要的。將示出這種處理方法的示例。如圖3中所示，使用被考查的特定像素(或區(qū)域)的左、右、上、下兩個(gè)深度值的深度值。如圖3中所示，以被考查的像素(目標(biāo)坐標(biāo))為中心有5X5 = 25個(gè)深度值。除了中心坐標(biāo)以外的M個(gè)深度值的平均值被確定并與目標(biāo)坐標(biāo)的深度值相比較。在目標(biāo)坐標(biāo)具有與平均值相差5%以上的值的情況下，目標(biāo)坐標(biāo)被視為特異點(diǎn)，并且該坐標(biāo)的深度值的可靠度被降低1(在該示例中，可靠度最大為7，最小為0)。通過(guò)以下方式來(lái)指派可靠度在被考查的像素(目標(biāo)坐標(biāo))的深度值與除了中心坐標(biāo)以外的M個(gè)深度值的平均值之間的差異等于或大于10%的情況下將可靠度(7至0) 的值降低2，在該差異等于或大于15%的情況下將可靠度的值降低3，等等。在目標(biāo)坐標(biāo)的深度值的距離的極性(當(dāng)成像者期望成像的中心距離為0時(shí)，在更遠(yuǎn)為+且更近為-的情況下的正和負(fù))與其周圍完全相反的情況下，可靠度被立即降低7，到最小等級(jí)0。另外，在特異點(diǎn)與對(duì)應(yīng)于整個(gè)畫面的深度值的數(shù)目的比例等于或大于5%的情況下，一個(gè)圖像的可靠度被降低1。隨著特異點(diǎn)的比例增大到10%和15%，一個(gè)圖像的可靠度被降低的量也被增大到2和3。以這種方式，可以通過(guò)對(duì)特異點(diǎn)的分布狀態(tài)的分析處理來(lái)估計(jì)每個(gè)深度的可靠度。(3-2.利用深度值的動(dòng)態(tài)范圍等等的可靠度估計(jì)方法)接下來(lái)，將描述僅從深度信息估計(jì)可靠度的另一種方法。
將描述以像素或塊為單位的8比特?cái)?shù)據(jù)的深度信息被設(shè)置為深度值的設(shè)置的情況。將描述顯示表面(焦點(diǎn)對(duì)準(zhǔn)位置，成像者期望的中心距離)為0，無(wú)窮遠(yuǎn)為127并且相機(jī)位置為的情況作為示例。在整個(gè)一個(gè)圖像上深度值的最大值與最小值之間的差異(動(dòng)態(tài)范圍)極小的情況下，經(jīng)常的情況是在深度信息中存在差錯(cuò)。以這種方式，在整個(gè)一個(gè)圖像上的深度值的最大值與最小值之間的差異(動(dòng)態(tài)范圍)等于或低于固定的閾值的情況下，這種圖像的深度信息的可靠度被設(shè)置得較低。這里，即使在這種圖像中設(shè)置的深度信息是正確的深度信息，那么即使被攝體處在幾乎相同的距離并且利用這種深度值生成三維圖像，也會(huì)生成與二維圖像同樣的圖像，生成用于三維圖像顯示的圖像幾乎沒(méi)有意義。將描述通過(guò)計(jì)算一整個(gè)圖像上深度值的最大值與最小值之間的差異(動(dòng)態(tài)范圍) 來(lái)設(shè)置可靠度的處理方法的示例。首先，確定在處理對(duì)象圖像中設(shè)置的深度值的最大值和最小值。深度值的范圍是從127(無(wú)窮遠(yuǎn))到-128(相機(jī)位置)。在最小值與最大值之間的差異只是50的情況下，可靠度[完全可靠(7)到完全不可靠(0)]的值被降低7到最低等級(jí)。隨著該差異增大到75、100和150，可靠度的值被降低的量被減小并且等級(jí)被提高。在要使一個(gè)圖像的可靠度獨(dú)立的情況下，像素的可靠度被降低一個(gè)等級(jí)，等等。這里，如下設(shè)置也是可能的其中，不是計(jì)算最大值與最小值之間的差異(動(dòng)態(tài)范圍)，而是僅利用最大值的值來(lái)執(zhí)行類似的處理。例如，在處理對(duì)象圖像的深度值的最大值等于或小于固定的閾值的情況下，執(zhí)行降低可靠度的處理。其原因是，此時(shí)的圖像在背景側(cè)不具有足夠的深度，并且不是在生成三維圖像時(shí)喚起足夠的立體效果的圖像。在處理對(duì)象圖像中設(shè)置的深度值的最小值是正值的情況以及最大值是負(fù)值的情況下，都有可能深度信息是不自然的。在這種情況下，一個(gè)圖像的可靠度也被降低7到最小值。另外，深度值對(duì)于距離可能不是線性的，而可能是非線性的，其中目標(biāo)距離附近的動(dòng)態(tài)范圍被加寬，并且背景側(cè)的范圍被加寬。(3-3.使用二維數(shù)據(jù)和元數(shù)據(jù)的可靠度估計(jì)方法)接下來(lái)，將描述使用二維圖像數(shù)據(jù)和元數(shù)據(jù)的可靠度估計(jì)方法。首先，執(zhí)行要作為處理對(duì)象的二維圖像的構(gòu)圖分析。執(zhí)行邊緣檢測(cè)等等，并且分離被攝體區(qū)域和背景區(qū)域。確定被攝體區(qū)域的深度值的平均和背景區(qū)域的深度值的平均。這里，排除其間的邊界附近的部分。在多個(gè)被攝體的情況下，可以分別對(duì)這些被攝體取平均。 在本示例中，將描述深度值對(duì)于顯示表面(焦點(diǎn)對(duì)準(zhǔn)位置，成像者期望的中心距離)被設(shè)置為0，對(duì)于無(wú)窮遠(yuǎn)被設(shè)置為127并且對(duì)于相機(jī)位置被設(shè)置為-1 的情況作為示例。在被攝體與背景之間的深度值的差異不等于或大于50的情況下，判定距離差異不足并且一個(gè)圖像的可靠度[完全可靠(7)到完全不可靠(0)]被降低7到最低等級(jí)。另外，通過(guò)僅確定被攝體區(qū)域和背景區(qū)域各自的范圍的深度值的最大值和最小值，可以改變上述的使用特異點(diǎn)和動(dòng)態(tài)范圍的技術(shù)的閾值并使之對(duì)應(yīng)。例如，關(guān)于被攝體部分的深度值，由于最大值和最小值集中于0附近并且動(dòng)態(tài)范圍(最大值與最小值之間的差異)可能較小，所以在動(dòng)態(tài)范圍大于50的情況下，可靠度被降低7。相反，由于背景部分的深度值有可能不在0附近，而是較大的正值，所以例如在小于+50的深度值的情況下，可靠度被降低7。
14
另外，由于如果在被攝體與背景之間的邊界附近對(duì)深度值的判定存在差錯(cuò)，則該差錯(cuò)對(duì)像素的影響很突出，所以最安全的是執(zhí)行將可靠度降低3或4的處理，或者執(zhí)行將可靠度降低7并設(shè)置為完全忽略該深度信息的處理。關(guān)于如上所述的使用特異點(diǎn)的可靠度降低方法，在可以通過(guò)對(duì)二維圖像的分析區(qū)分焦距匹配的部分和是被攝體的部分的情況下，通過(guò)增大在這種部分的特異點(diǎn)的權(quán)重以使在被攝體部分的特異點(diǎn)的可靠度降低得更多的方法也是可能的。這里，在成像裝置中包括臉部檢測(cè)功能的情況下，存在這樣的情況，即，臉部的位置坐標(biāo)被記錄為所成像的圖像數(shù)據(jù)的元數(shù)據(jù)。在從這種圖像估計(jì)深度的情況下，從臉部的大小確定被攝體距離變得容易。由于使用這種臉部信息的深度信息是非常精確的，所以可以判定其可靠度較高。另外，如果變焦放大倍率被記錄在處理對(duì)象圖像的元數(shù)據(jù)中，則變焦放大倍率被與臉部檢測(cè)結(jié)果相組合并且諸如在對(duì)人成像的情況下驗(yàn)證圖像的被臉占據(jù)的比例是否異常的構(gòu)圖分析的精確度被提高了。另外，如果室內(nèi)和室外信息或者被包括作為近年來(lái)的相機(jī)的功能的成像時(shí)的場(chǎng)景分析的結(jié)果(人像、風(fēng)景、夜景、逆光、宏等等)被記錄在元數(shù)據(jù)中，則可以使構(gòu)圖分析和可靠度的判定更準(zhǔn)確。通過(guò)以這種方式使用被附加到圖像的元數(shù)據(jù)，可以估計(jì)深度信息的可靠度。如上所述，深度信息可靠度輸出單元103能夠利用作為二維圖像的輸入圖像信號(hào)、深度信息等等生成可靠度信息，并且將可靠度信息輸出到圖像轉(zhuǎn)換單元104。這里，在以這種方式基于輸入圖像執(zhí)行可靠度計(jì)算的情況下，如圖2中所示，在圖像處理裝置100中， 深度信息可靠度輸出單元103經(jīng)由圖像輸入單元101輸入圖像，經(jīng)由深度信息輸出單元102 或從外部輸入深度信息，并且基于這種輸入數(shù)據(jù)生成可靠度信息，并將所生成的可靠度信息輸出到圖像轉(zhuǎn)換單元104。[4.圖像轉(zhuǎn)換單元的配置和處理]接下來(lái)，將描述圖1和2中所示的圖像處理裝置100的圖像轉(zhuǎn)換單元104的處理的細(xì)節(jié)。(4-1.圖像轉(zhuǎn)換單元的第一實(shí)施例)將參考圖4描述圖像轉(zhuǎn)換單元104的第一實(shí)施例。圖4中所示的圖像轉(zhuǎn)換單元104包括并行執(zhí)行三類圖像轉(zhuǎn)換方法的第一至第三 2D-3D轉(zhuǎn)換單元202至204。通過(guò)根據(jù)處理對(duì)象圖像的深度信息可靠度選擇或合成三個(gè)第一至第三2D-3D轉(zhuǎn)換單元202至204的經(jīng)轉(zhuǎn)換圖像的任何一個(gè)來(lái)生成的輸出圖像。這里，在以下描述的實(shí)施例中，雖然描述了根據(jù)作為處理對(duì)象圖像的一整個(gè)圖像的可靠度來(lái)切換處理的設(shè)置，但是根據(jù)每個(gè)像素或以多個(gè)像素構(gòu)成的塊為單位的可靠度以像素為單位或以塊為單位來(lái)切換處理的設(shè)置也是可能的。輸入圖像預(yù)處理單元201從圖像輸入單元101輸入處理對(duì)象圖像的圖像信號(hào)并且將該圖像信號(hào)輸出到2D-3D轉(zhuǎn)換單元202至204中的每一個(gè)。第一 2D-3D轉(zhuǎn)換單元202主要利用深度信息輸出單元102輸出的深度信息，根據(jù)深度信息對(duì)二維圖像進(jìn)行幾何運(yùn)算，并且生成由被應(yīng)用到三維圖像顯示的左眼圖像和右眼圖像構(gòu)成的左右視差圖像。即，執(zhí)行基于深度信息的幾何2D-3D轉(zhuǎn)換處理。
由于從2D圖像和深度信息幾何地亦即通過(guò)坐標(biāo)變換或投影來(lái)生成左右視差圖像的方法是已經(jīng)公知的，所以將不作具體描述，例如在先前所述的日本未實(shí)審專利申請(qǐng)公布 No. 2009-296272中也描述了原理和轉(zhuǎn)換方法，并且在第一2D-3D轉(zhuǎn)換單元202中，執(zhí)行例如應(yīng)用這種方法來(lái)主要應(yīng)用深度信息的幾何2D-3D轉(zhuǎn)換處理。第二 2D-3D轉(zhuǎn)換單元203利用深度信息輸出單元102輸出的深度信息作為輔助， 生成由左眼圖像和右眼圖像構(gòu)成的左右視差圖像，其中作為處理對(duì)象圖像輸入的二維圖像被應(yīng)用到三維圖像顯示。即，執(zhí)行使用深度信息作為輔助的非幾何轉(zhuǎn)換?；旧希ㄟ^(guò)諸如使用構(gòu)圖分析的方法或使用邊緣成分、頻率成分等等的方法在不使用深度信息的情況下生成其中二維圖像被應(yīng)用到三維圖像顯示的左眼圖像和右眼圖像構(gòu)成的左右視差圖像。例如，在先前所述的日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述了使用頻率成分的左右視差圖像的生成方法，并且在第二 2D-3D轉(zhuǎn)換單元203中，例如通過(guò)應(yīng)用這種方法在不使用深度信息的情況下生成左右視差圖像。另外，利用由深度信息輸出單元102輸出的深度信息來(lái)細(xì)微地調(diào)整視差量或效果的水平。第三2D-3D轉(zhuǎn)換單元204在完全不使用深度信息輸出單元102輸出的深度信息的情況下，生成由左眼圖像和右眼圖像構(gòu)成的左右視差圖像，其中只有作為處理對(duì)象圖像輸入的二維圖像被應(yīng)用到三維圖像顯示。具體而言，應(yīng)用上述的使用構(gòu)圖分析的方法、使用邊緣成分、頻率成分等等的方法等等?？梢詰?yīng)用先前所述的日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的使用頻率成分的左右視差圖像的生成方法。第三2D-3D轉(zhuǎn)換單元204例如通過(guò)應(yīng)用這種方法來(lái)執(zhí)行不使用深度信息的2D-3D轉(zhuǎn)換處理。2D-3D轉(zhuǎn)換單元202至204分別生成的左右視差圖像被輸入到圖像選擇單元205。 另一方面，通過(guò)作為處理對(duì)象圖像的二維圖像設(shè)置的深度信息的可靠度信息也從深度信息可靠度輸出單元103被輸入到圖像選擇單元205。圖像選擇單元205根據(jù)可靠度信息(例如高可靠度7到低可靠度0)，例如通過(guò)以下圖像選擇處理來(lái)執(zhí)行輸出圖像的選擇。如果可靠度是6以上，則選擇由第一 2D-3D轉(zhuǎn)換單元20生成的應(yīng)用了深度信息的幾何轉(zhuǎn)換的左右視差圖像。如果可靠度是2以下，則選擇由第三2D-3D轉(zhuǎn)換單元204生成的通過(guò)不使用深度信息的轉(zhuǎn)換來(lái)確定的左右視差圖像。在可靠度處于6與2之間的范圍內(nèi)的情況下，選擇由第二 2D-3D轉(zhuǎn)換單元203生成的通過(guò)將深度信息用作輔助的非幾何2D-3D轉(zhuǎn)換生成的左右視差圖像。這里，雖然在上述處理示例中描述了基于作為處理對(duì)象的整個(gè)圖像的可靠度信息來(lái)選擇處理的示例，但是例如使用像素單位和塊單位的可靠度的以像素和塊為單位執(zhí)行選擇處理的配置也是可能的。在這種情況下，通過(guò)執(zhí)行如下處理來(lái)生成輸出圖像即，根據(jù)每個(gè)像素或以塊為單位的可靠度，對(duì)于每個(gè)像素或以塊為單位，按預(yù)定的比例加權(quán)并混合第一至第三2D-3D轉(zhuǎn)換單元的輸出。另外，雖然在圖4所示的圖像轉(zhuǎn)換單元中描述了存在由2D-3D轉(zhuǎn)換單元執(zhí)行的三種類型的處理形式的示例，但不限于三種類型，通過(guò)將轉(zhuǎn)換方法設(shè)置成兩種類型或四種類型或更多類型來(lái)根據(jù)深度信息的可靠度選擇輸出的配置也是可能的。從圖像選擇單元205輸出的圖像數(shù)據(jù)被輸入到輸出圖像后期處理單元206并且被轉(zhuǎn)換成適合于后級(jí)的圖像輸出單元的圖像數(shù)據(jù)格式。這里，輸出圖像后期處理單元206不是重要的配置，如果后級(jí)的圖像輸出單元能夠解讀圖像數(shù)據(jù)則可以省略這種配置。(4-2.圖像轉(zhuǎn)換單元的第二實(shí)施例)參考圖4描述的圖像轉(zhuǎn)換單元104執(zhí)行根據(jù)深度信息的可靠度來(lái)選擇或合成由不同的2D-3D轉(zhuǎn)換處理生成的圖像的處理。圖像轉(zhuǎn)換單元的配置不限于圖4中所示的配置， 而例如可以是圖5中所示的配置。圖5是示出根據(jù)本公開的實(shí)施例的圖像轉(zhuǎn)換單元的另一實(shí)施例的框圖。關(guān)于先前所述的圖4的圖像轉(zhuǎn)換單元104的配置，三種不同類型的圖像轉(zhuǎn)換方法是完全獨(dú)立和并行的，并且被設(shè)置為例如根據(jù)整個(gè)圖像的深度信息可靠度來(lái)切換處理。與圖4中所示的處理配置不同，圖5中所示的圖像轉(zhuǎn)換單元310不是并行執(zhí)行不同的2D-3D轉(zhuǎn)換處理。圖5中所示的圖像轉(zhuǎn)換單元310提取作為處理對(duì)象的二維圖像的空間特征量(視差強(qiáng)調(diào)成分)并且利用視差強(qiáng)調(diào)成分來(lái)生成被應(yīng)用到三維圖像顯示的左眼圖像(L圖像)和右眼圖像(R圖像)。也就是說(shuō)，圖像轉(zhuǎn)換單元310通過(guò)執(zhí)行其中視差強(qiáng)調(diào)成分被應(yīng)用到輸入二維圖像的不同強(qiáng)調(diào)處理的處理來(lái)生成L和R圖像。這里，在例如日本未實(shí)審專利申請(qǐng)公布 No. 2010-63083中有關(guān)于其中應(yīng)用了這種視差強(qiáng)調(diào)成分的L和R圖像生成處理的描述。將簡(jiǎn)要描述日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的處理。首先，作為處理對(duì)象的二維圖像的輸入圖像信號(hào)被微分的信號(hào)被提取作為視差強(qiáng)調(diào)成分。也就是說(shuō)，輸入到圖像轉(zhuǎn)換單元的圖像數(shù)據(jù)被分離成亮度信號(hào)和色度信號(hào)，并且針對(duì)亮度和色度信號(hào)中每一個(gè)的微分信號(hào)(H)被生成。具體而言，通過(guò)水平地輸入色度信號(hào)來(lái)生成輸入信號(hào)被一次微分的信號(hào)。一次微分處理例如使用在水平方向上具有三個(gè)抽頭的線性一次微分濾波器等等。隨后對(duì)微分信號(hào)(H)進(jìn)行非線性轉(zhuǎn)換，并且獲得最終的視差強(qiáng)調(diào)信號(hào)(E)。利用視差強(qiáng)調(diào)信號(hào)(E)和原始輸入圖像信號(hào)(S)，按照以下的表達(dá)式來(lái)生成作為左右視差圖像的R圖像和L圖像的圖像信號(hào)R和L中的每一個(gè)。R=S-EL = S+E通過(guò)向原始圖像信號(hào)加上或從原始圖像信號(hào)減去視差強(qiáng)調(diào)信號(hào)(E)來(lái)生成被應(yīng)用到三維圖像顯示的L圖像和R圖像。將描述圖5中所示的圖像轉(zhuǎn)換單元310的處理。輸入圖像預(yù)處理單元311把來(lái)自圖像輸入單元101的輸入圖像信號(hào)輸出到視差強(qiáng)調(diào)成分計(jì)算單元312。視差強(qiáng)調(diào)成分計(jì)算單元312提取用于生成左右視差圖像的視差強(qiáng)調(diào)成分并將視差強(qiáng)調(diào)成分輸出到成分量控制單元315。如上所述，在應(yīng)用例如日本未實(shí)審專利申請(qǐng)公布 No. 2010-63083中描述的配置的情況下，視差強(qiáng)調(diào)成分是圖像信號(hào)的微分信號(hào)(H)。使用其他成分信息的配置也是可能的。成分量控制單元315對(duì)處理對(duì)象圖像以處理像素為單位輸入視差強(qiáng)調(diào)成分并對(duì)輸入的視差強(qiáng)調(diào)成分量進(jìn)行微調(diào)整。在應(yīng)用日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的方法的情況下，成分量控制單元315對(duì)微分信號(hào)(H)進(jìn)行非線性轉(zhuǎn)換并且執(zhí)行計(jì)算最終視差強(qiáng)調(diào)信號(hào)(E)的處理。
視差圖像生成單元316隨后生成作為左右視差圖像的左眼圖像(L圖像)和右眼圖像(R圖像)。
圖5中所示的圖像轉(zhuǎn)換單元310的深度插值單元313輸入深度信息輸出單元102 輸出的深度信息。深度插值單元313把深度信息輸出單元102輸出的深度信息設(shè)置為與作為處理對(duì)象圖像的二維圖像的每個(gè)像素相對(duì)應(yīng)的信息。在與輸入圖像的像素沒(méi)有一對(duì)一對(duì)應(yīng)關(guān)系的情況下，通過(guò)諸如雙三次方法之類的插值方法來(lái)計(jì)算每個(gè)像素位置的深度信息， 并且將深度信息輸出到成分量控制單元315。
成分量控制單元315執(zhí)行視差成分量的微調(diào)整。
例如，在應(yīng)用日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的配置的情況下， 利用視差強(qiáng)調(diào)信號(hào)(E)和原始輸入圖像信號(hào)(S)，按照以下的表達(dá)式來(lái)生成作為左右視差圖像的R圖像和L圖像的圖像信號(hào)R和L中的每一個(gè)。
R = S-E
R = S+E
成分量控制單元315基于每個(gè)像素的深度信息來(lái)執(zhí)行如下調(diào)整當(dāng)設(shè)置大視差時(shí)將E設(shè)置得較大，而當(dāng)設(shè)置小視差時(shí)將E設(shè)置得較小。
通過(guò)這種調(diào)整處理來(lái)執(zhí)行視差成分量的微調(diào)整。
也就是說(shuō)，如果根據(jù)深度值來(lái)改變視差強(qiáng)調(diào)信號(hào)(E)的大小，則視差量的微調(diào)整成為了可能。也就是說(shuō)，通過(guò)在非線性轉(zhuǎn)換之前用遵循預(yù)先設(shè)置的規(guī)則的系數(shù)(增益系數(shù)) 乘以微分信號(hào)(H)控制微分信號(hào)的幅度值并生成作為微分信號(hào)的補(bǔ)正信號(hào)的補(bǔ)正微分信號(hào)(H')來(lái)改變視差強(qiáng)調(diào)信號(hào)(E)的大小。通過(guò)對(duì)補(bǔ)正微分信號(hào)(H')進(jìn)行非線性轉(zhuǎn)換來(lái)獲得最終的視差強(qiáng)調(diào)信號(hào)(E)。
這里，雖然以上理處示例是在應(yīng)用日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的配置的情況下的處理示例，但即使在其他方法的情況下，通過(guò)由成分量控制單元向從 2D圖像提取的視差強(qiáng)調(diào)成分(特征量)應(yīng)用與深度值相對(duì)應(yīng)的增益的方法也可能進(jìn)行視差量的微調(diào)整。
在本公開的實(shí)施例中，進(jìn)一步執(zhí)行了考慮到與處理對(duì)象圖像相對(duì)應(yīng)的獲得或計(jì)算出的深度信息的可靠度信息的處理。
從深度信息可靠度輸出單元103輸出的可靠度信息被輸入到可靠度插值單元 314。可靠度插值單元314執(zhí)行使可靠度信息變成與對(duì)應(yīng)于每個(gè)像素的深度信息一對(duì)一的信息的處理。通過(guò)諸如雙三次方法之類的插值方法來(lái)計(jì)算每個(gè)像素位置的可靠度信息。
與每個(gè)像素相對(duì)應(yīng)的可靠度信息被輸出到成分量控制單元315。成分量控制單元 315基于可靠度信息來(lái)設(shè)置視差成分量被乘以的增益量。設(shè)置在深度值不可靠的情況下的增益量0到在深度值可靠的情況下的增益量1。如果視差成分量被乘以增益量，則成分量控制單元315能夠通過(guò)在深度不可靠的情況下減小視差成分量來(lái)避免生成不必要的視差成分。
也就是說(shuō)，在應(yīng)用日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的配置的情況下，通過(guò)根據(jù)深度值的可靠度改變視差強(qiáng)調(diào)信號(hào)(E)的大小來(lái)執(zhí)行視差量的微調(diào)整。通過(guò)在非線性轉(zhuǎn)換之前用遵循預(yù)先設(shè)置的規(guī)則的系數(shù)(增益系數(shù))乘以微分信號(hào)(H)控制微分信號(hào)的幅度值并生成作為微分信號(hào)的補(bǔ)正信號(hào)的補(bǔ)正微分信號(hào)(H')來(lái)改變視差強(qiáng)調(diào)信號(hào)(E)的大小。通過(guò)對(duì)補(bǔ)正微分信號(hào)(H')進(jìn)行非線性轉(zhuǎn)換來(lái)獲得最終的視差強(qiáng)調(diào)信號(hào) ㈤。
即使在采用除日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的配置以外的配置的情況下，通過(guò)用與深度值相對(duì)應(yīng)的增益乘以從2D圖像中提取的視差成分量的方法，也可能在成分量控制單元315中對(duì)視差量進(jìn)行微調(diào)整。這里，稍后將利用圖7來(lái)描述成分量控制單元315的配置示例。
由成分量控制單元315最終確定的像素的視差強(qiáng)調(diào)成分被輸出到視差圖像生成單元316。在視差圖像生成單元316中，利用從輸入圖像預(yù)處理單元311輸出的二維圖像和從成分量控制單元315輸入的視差強(qiáng)調(diào)成分來(lái)生成左右視差圖像，并且將左右視差圖像輸出到輸出圖像后期處理單元317。
在應(yīng)用日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的配置的情況下，視差圖像生成單元316執(zhí)行的處理是利用從輸入圖像預(yù)處理單元311輸入的二維圖像信號(hào)(S)和從成分量控制單元315輸入的視差強(qiáng)調(diào)信號(hào)(E)按照以下的表達(dá)式生成作為左右視差圖像的R圖像和L圖像的圖像信號(hào)R和L中的每一個(gè)的處理。
R=S-E
L = S+E
然而，這里，視差強(qiáng)調(diào)信號(hào)(E)是根據(jù)深度信息的可靠度調(diào)整了的值。
(4-3.圖像轉(zhuǎn)換單元的第三實(shí)施例)
圖6是示出根據(jù)本公開的實(shí)施例的圖像轉(zhuǎn)換單元的另一實(shí)施例的框圖。與參考圖5描述的圖像轉(zhuǎn)換單元類似，不同于圖4中所示的處理配置，圖6中所示的圖像轉(zhuǎn)換單元 320不并行執(zhí)行不同的2D-3D轉(zhuǎn)換處理。
雖然參考圖5描述的圖像轉(zhuǎn)換單元310具有使用深度信息作為輔助的配置，但圖 6中所示的圖像轉(zhuǎn)換單元320是在主要使用深度信息(不從二維圖像估計(jì)深度)的情況下的配置示例。
將描述圖6中所示的圖像轉(zhuǎn)換單元320的處理。
圖6中所示的圖像轉(zhuǎn)換單元320的深度插值單元322輸入深度信息輸出單元102 輸出的深度信息。深度插值單元322把深度信息輸出單元102輸出的深度信息設(shè)置為與作為處理對(duì)象圖像的二維圖像的每個(gè)像素相對(duì)應(yīng)的信息。在與輸入圖像的像素沒(méi)有一對(duì)一對(duì)應(yīng)關(guān)系的情況下，通過(guò)諸如雙三次方法之類的插值方法來(lái)計(jì)算每個(gè)像素位置的深度信息， 并且將深度信息輸出到深度控制單元324。
從深度信息可靠度輸出單元103輸入的可靠度信息被輸入到可靠度插值單元 323?？煽慷炔逯祮卧?23執(zhí)行使可靠度信息變成與對(duì)應(yīng)于每個(gè)像素的深度信息一對(duì)一的信息的處理。通過(guò)諸如雙三次方法之類的插值方法來(lái)計(jì)算每個(gè)像素位置的可靠度信息。與每個(gè)像素相對(duì)應(yīng)的可靠度信息被輸出到深度控制單元324。
深度控制單元3 從輸入圖像預(yù)處理單元321輸入處理對(duì)象圖像的每條像素?cái)?shù)據(jù)，并且分別從深度插值單元322和可靠度插值單元323輸入與被處理的像素相對(duì)應(yīng)的深度信息和可靠度信息。
深度控制單元3M利用可靠度信息對(duì)于輸入的深度信息增大和減小深度(視差量)。作為示例，假定在可靠度信息為不可靠的情況下增益值為0并且在可靠度信息為可靠的情況下增益值為1，則通過(guò)將視差量進(jìn)一步乘以增益值并且在可靠度信息為不可靠的情況下減小視差量來(lái)避免不必要地生成視差。由深度控制單元3M最終確定的像素的深度(視差量)被輸出到圖像生成單元 325。在圖像生成單元325中，基于從輸入圖像預(yù)處理單元321輸出的二維圖像和從深度控制單元3M輸入的視差量來(lái)幾何地生成左右視差圖像，并且將左右視差圖像輸出到輸出圖像后期處理單元326。這里，雖然在圖4至6中描述了圖像轉(zhuǎn)換單元的三種類型的配置示例，但在生成左右視差圖像時(shí)，能夠從左右視差圖像同時(shí)生成、僅左眼圖像和僅右眼圖像這三種類型中選擇輸出圖像。[5.成分量控制單元的處理]接下來(lái)，將詳細(xì)描述圖5中所示的根據(jù)第二實(shí)施例的圖像轉(zhuǎn)換單元310內(nèi)設(shè)置的成分量控制單元315執(zhí)行的處理。圖7是示出成分量控制單元315的實(shí)施例的配置的框圖。在成分量控制單元315 中，基于類似輸入的深度信息和可靠度信息來(lái)控制輸入視差強(qiáng)調(diào)成分信號(hào)的幅度值。這里， 在以下所述的實(shí)施例中，深度信息及其可靠度信息是在對(duì)于與輸入圖像信號(hào)的一像素相對(duì)應(yīng)的每個(gè)視差強(qiáng)調(diào)成分像素具有一個(gè)值的狀態(tài)中輸入的。輸入到成分量控制單元315的像素的深度信息D被輸入到增益系數(shù)計(jì)算單元351， 并且為了后級(jí)的處理，通過(guò)利用在深度信息D中預(yù)先設(shè)置的函數(shù)f(x)被轉(zhuǎn)換成具有0和1 之間的值的增益系數(shù)β而被輸出到成分量調(diào)整單元353。β = f (D)類似地，輸入到成分量控制單元315的像素的可靠度信息S被輸入到增益系數(shù)計(jì)算單元352，并且為了后級(jí)的處理，通過(guò)利用在可靠度信息S中預(yù)先設(shè)置的函數(shù)g (χ)被轉(zhuǎn)換成具有0和1之間的值的增益系數(shù)Y而被輸出到成分量調(diào)整單元353。Y = g(S)成分量調(diào)整單元353從視差強(qiáng)調(diào)成分計(jì)算單元312輸入像素的視差強(qiáng)調(diào)成分α， 利用深度信息增益系數(shù)β和可靠度信息增益系數(shù)Y，按照以下的表達(dá)式將視差強(qiáng)調(diào)成分 α轉(zhuǎn)換成最終的視差強(qiáng)調(diào)成分α ‘。α ‘ = α X β X y這里，雖然為了方便增益系數(shù)值是0和1之間的值，但只要增益系數(shù)值遵循統(tǒng)一的規(guī)則，增益系數(shù)值不被具體限定到這種范圍。另外，函數(shù)f(x)和g(x)能夠使用多種設(shè)置。作為函數(shù)f (χ)和g(x)的示例，例如使用如以下表達(dá)式所示的線性函數(shù)。f(x) = AXx(其中 A 是常數(shù))g(x) =BXx(其中 B 是常數(shù))A和B是預(yù)先設(shè)置的常數(shù)，并且能夠設(shè)置多種值。另外，增益系數(shù)計(jì)算單元中的轉(zhuǎn)換函數(shù)不限于線性函數(shù)，而也可以執(zhí)行非線性轉(zhuǎn)換。
另外，作為示例，存在這樣的技術(shù)其中，取代使用增益值，在深度信息的可靠度較低的情況下，不使用該深度信息，而是使用該像素周圍的深度信息，通過(guò)諸如簡(jiǎn)單地確定平均值，確定垂直、水平和斜方向上的相關(guān)性并通過(guò)僅選擇具有強(qiáng)相關(guān)性的那些來(lái)確定平均值等等之類的方法來(lái)計(jì)算值，并且通過(guò)用平均值替換原始深度值之類的來(lái)調(diào)整視差強(qiáng)調(diào)成分。[6.深度控制單元的處理]接下來(lái)，將詳細(xì)描述先前參考圖6描述的根據(jù)第三實(shí)施例的圖像轉(zhuǎn)換單元320內(nèi)部設(shè)置的深度控制單元3M執(zhí)行的處理。圖8是示出深度控制單元324的實(shí)施例的配置的框圖。在深度控制單元324中， 從深度插值單元322輸入的深度信息的幅度值被基于從可靠度插值單元323類似輸入的可靠度信息來(lái)控制。這里，在以下所述的實(shí)施例中，將在深度信息及其可靠度信息在對(duì)于深度信息的每條數(shù)據(jù)具有一個(gè)值的狀態(tài)中被輸入的情況下進(jìn)行描述。輸入到深度控制單元3M的像素的可靠度信息S被輸入到增益系數(shù)計(jì)算單元371， 并且為了后級(jí)的處理，通過(guò)利用在可靠度信息S中預(yù)先設(shè)置的函數(shù)g(x)被轉(zhuǎn)換成具有0和 1之間的值的增益系數(shù)Y而被輸出到深度調(diào)整單元372。y = g (S)輸入到深度控制單元324的像素的深度信息被利用可靠度信息增益系數(shù)Y按照以下的表達(dá)式轉(zhuǎn)換成最終的深度信息D'并輸出。D ‘ =DXy這里，雖然為了方便增益系數(shù)值在0和1之間，但只要增益系數(shù)值遵循統(tǒng)一的規(guī)則，增益系數(shù)值不被具體限定到這種范圍。另外，函數(shù)f (χ)和g(x)能夠使用多種設(shè)置。作為函數(shù)f(x)和g(x)的示例，例如使用如以下表達(dá)式所示的線性函數(shù)。g(x) =BXx(其中 B 是常數(shù))B是預(yù)先設(shè)置的常數(shù)，并且能夠設(shè)置多種值。另外，增益系數(shù)計(jì)算單元中的轉(zhuǎn)換函數(shù)不限于線性函數(shù)，而也可以執(zhí)行非線性轉(zhuǎn)換。另外，作為示例，存在這樣的技術(shù)其中，取代使用增益值，在深度信息的可靠度較低的情況下，不使用該深度信息，而是使用該像素周圍的深度信息，通過(guò)諸如簡(jiǎn)單地確定平均值，確定垂直、水平和斜方向上的相關(guān)性并通過(guò)僅選擇具有強(qiáng)相關(guān)性的那些來(lái)確定平均值等等之類的方法來(lái)計(jì)算值，并且通過(guò)用平均值替換原始深度值之類的來(lái)調(diào)整視差強(qiáng)調(diào)成分。[7.視差圖像生成單元的處理]接下來(lái)，將描述參考圖5描述的根據(jù)第二實(shí)施例的圖像轉(zhuǎn)換單元310內(nèi)的視差圖像生成單元316的處理。視差圖像生成單元316執(zhí)行如下處理通過(guò)應(yīng)用作為處理對(duì)象的原始二維圖像和從該圖像生成的空間特征量，即從成分量控制單元315輸入的視差強(qiáng)調(diào)成分信號(hào)，來(lái)生成左眼圖像(L圖像)和右眼圖像(R圖像)。
21
利用原始二維圖像和視差強(qiáng)調(diào)成分，在例如應(yīng)用先前所述的日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的配置的情況下，視差圖像生成單元316執(zhí)行如下處理利用從輸入圖像預(yù)處理單元311輸入的二維圖像信號(hào)( 和從成分量控制單元315輸入的視差強(qiáng)調(diào)信號(hào)(E)，按照以下的表達(dá)式，生成作為左右視差圖像的R圖像和L圖像的圖像信號(hào)R和 L中的每一個(gè)。R = S-EL = S+E[8.幾何視差圖像生成單元的處理]接下來(lái)，將描述在圖6所示的根據(jù)第三實(shí)施例的圖像轉(zhuǎn)換單元320內(nèi)部配置的幾何視差圖像生成單元325的處理。幾何視差圖像生成單元325執(zhí)行通過(guò)使用原始二維輸入圖像和與該圖像相對(duì)應(yīng)的深度信息的幾何運(yùn)算來(lái)生成左眼圖像(L圖像)和右眼圖像(R圖像)的處理。幾何視差圖像生成單元325通過(guò)應(yīng)用使用原始二維輸入圖像和深度信息的方法來(lái)生成左眼圖像(L圖像)和右眼圖像(R圖像)。然而，所應(yīng)用的深度信息是根據(jù)可靠度來(lái)控制的值。[9.與圖像顯示裝置有關(guān)的處理]圖1和2中所示的根據(jù)本公開的實(shí)施例的圖像處理裝置的輸出被顯示在圖1和2 中所示的顯示裝置52上。作為執(zhí)行最終圖像顯示的顯示裝置的顯示方法，例如有以下類型。(1)以時(shí)間劃分方式交替輸出左眼圖像和右眼圖像的方法這種方法是與通過(guò)左右交替地打開和關(guān)閉例如液晶快門來(lái)在左右眼之間交替地以時(shí)間劃分方式劃分所觀察的圖像的主動(dòng)式眼鏡方法相對(duì)應(yīng)的圖像輸出方法。(隨著時(shí)間切換L和R圖像的方法)。(2)空間分離并同時(shí)輸出左眼圖像和右眼圖像的方法這種方法是與通過(guò)例如偏振濾波器或?yàn)V色器對(duì)于左右眼的每一只分離所觀察的圖像的被動(dòng)式眼鏡方法相對(duì)應(yīng)的圖像輸出方法。例如，在這種空間分離方法的立體顯示裝置中，被設(shè)置成使得偏振方向?qū)τ诿恳凰叫胁煌钠駷V波器被粘合在顯示前表面上，并且在通過(guò)用戶配備的偏振濾波器方法的眼鏡觀看圖像的情況下，左眼和右眼觀察到對(duì)于每一水平行分離的圖像。(空間切換L和 R圖像的方法)。關(guān)于在圖1和2中描述的圖像處理裝置100，將描述向根據(jù)以上所述的各種方法執(zhí)行圖像顯示的顯示裝置輸出的數(shù)據(jù)生成處理示例。首先，將描述在最終執(zhí)行圖像顯示的顯示裝置的顯示方法是隨著時(shí)間劃分左眼圖像和右眼圖像并且交替輸出圖像的情況下的圖像轉(zhuǎn)換單元的處理示例。在這種時(shí)間劃分圖像顯示方法的情況下，圖像轉(zhuǎn)換單元對(duì)于輸入圖像數(shù)據(jù)的每個(gè)幀(幀n、n+l、n+2、n+3……)切換、生成和輸出左眼圖像和右眼圖像。這里，在稍后階段將參考流程圖(圖1 來(lái)描述具體處理序列。圖像轉(zhuǎn)換單元104通過(guò)將輸入的圖像數(shù)據(jù)的奇數(shù)幀和偶數(shù)幀分別設(shè)置成左眼圖像和右眼圖像(或者右眼圖像和左眼圖像)，控制對(duì)每一幀切換轉(zhuǎn)換設(shè)置，來(lái)輸出左眼圖像和右眼圖像。通過(guò)以時(shí)間劃分方式交替輸出左眼圖像和右眼圖像，經(jīng)由圖1和2中所示的圖像輸出單元105將輸入圖像輸出到圖像顯示裝置52。利用這種方法，圖像轉(zhuǎn)換單元104生成和輸出與每個(gè)幀相對(duì)應(yīng)的右眼圖像和左眼圖像之中的一個(gè)圖像。接下來(lái)，將描述在最終執(zhí)行圖像顯示的顯示裝置的顯示方法是空間地劃分和交替地輸出左眼圖像和右眼圖像的方法的情況下圖像轉(zhuǎn)換單元的處理示例。在這種空間劃分的圖像顯示方法的情況下，圖像轉(zhuǎn)換單元104對(duì)于輸入圖像數(shù)據(jù)的每個(gè)幀(幀n、n+l、n+2、n+3……)切換、生成和輸出左眼圖像和右眼圖像。這里，在稍后階段將參考流程圖(圖14)來(lái)描述具體處理序列。圖像轉(zhuǎn)換單元104在以輸入的圖像數(shù)據(jù)的奇數(shù)行和偶數(shù)行分別作為左眼圖像和右眼圖像(或者右眼圖像和左眼圖像)的情況下控制對(duì)每一行切換轉(zhuǎn)換設(shè)置的同時(shí)輸出圖像。通過(guò)以時(shí)間劃分方式交替輸出左眼圖像和右眼圖像，經(jīng)由圖像輸出單元105將輸出圖像輸出到圖像顯示裝置52。利用這種方法，圖像轉(zhuǎn)換單元104生成和輸出與每一行相對(duì)應(yīng)的右眼圖像和左眼圖像之中的一個(gè)圖像。[10.圖像轉(zhuǎn)換單元的處理序列]接下來(lái)，將參考圖9及其他圖的流程圖來(lái)描述本公開的實(shí)施例的圖像處理裝置中執(zhí)行的圖像轉(zhuǎn)換處理的序列。(10-1.應(yīng)用了圖4中所示的第一實(shí)施例的圖像轉(zhuǎn)換單元的處理序列)首先，將參考圖9至11中示出的流程圖來(lái)描述應(yīng)用了圖4中所示的第一實(shí)施例的圖像轉(zhuǎn)換單元的處理序列。將參考圖9中所示的流程圖來(lái)描述應(yīng)用了圖4中所示的第一實(shí)施例的圖像轉(zhuǎn)換單元的處理序列的實(shí)施例。關(guān)于可靠度信息，以作為處理對(duì)象的一個(gè)輸入二維圖像為單位的設(shè)置、以諸如圖像的像素單位和塊單位之類的區(qū)域(area)為單位的設(shè)置等等是可能的。首先，在步驟SlOl中，像通常那樣通過(guò)成像裝置執(zhí)行圖像的成像。如果在成像期間生成深度信息，則使用該深度信息，而如果在成像期間不生成深度信息，則通過(guò)估計(jì)來(lái)生成深度信息。通過(guò)估計(jì)為輸入圖像生成以圖像或區(qū)域?yàn)閱挝坏目煽慷刃畔?。這里，在本示例中，存在可靠度信息的三個(gè)值，其中深度信息為(a)完全可靠(b)有點(diǎn)可靠(c)既不是(a)也不是(b)=不可靠。這里，通過(guò)用預(yù)先設(shè)置的閾值區(qū)分可靠度信息，能夠在上述之間進(jìn)行區(qū)別。在深度信息是完全可靠的情況下，步驟S102的判定是“是”，流程前進(jìn)到步驟 S103，并且通過(guò)執(zhí)行以深度信息為主體的(幾何的)2D_3D轉(zhuǎn)換處理來(lái)生成左右視差圖像。 這種處理對(duì)應(yīng)于圖4的圖像轉(zhuǎn)換單元104的第一 2D-3D轉(zhuǎn)換單元202的處理。在深度信息不可靠的情況下，步驟S102和步驟S104的判定是“否”，流程前進(jìn)到步驟S106，并且通過(guò)執(zhí)行完全不使用深度信息的2D-3D轉(zhuǎn)換處理來(lái)生成左右視差圖像。這種處理對(duì)應(yīng)于圖4的圖像轉(zhuǎn)換單元104的第三2D-3D轉(zhuǎn)換單元204的處理。
在深度信息只是有點(diǎn)可靠的情況下，步驟S102的判定是“否”并且步驟S104的判定是“是”，流程前進(jìn)到步驟S105，并且通過(guò)使用其中深度信息被用作輔助的2D-3D轉(zhuǎn)換處理來(lái)生成左右視差圖像。這種處理對(duì)應(yīng)于圖4的圖像轉(zhuǎn)換單元104的第2D-3D轉(zhuǎn)換單元 203的處理。取決于深度信息的可靠度，在執(zhí)行步驟S103、S105和S106之一的2D-3D轉(zhuǎn)換處理之后，在步驟S107中判定未處理數(shù)據(jù)的存在性。在存在未處理數(shù)據(jù)的情況下，對(duì)未處理數(shù)據(jù)執(zhí)行從步驟SlOl起的處理。在步驟S107中判定對(duì)所有數(shù)據(jù)的處理都已結(jié)束的情況下，
處理結(jié)束。圖10是描述在對(duì)于可靠度信息的判定存在兩個(gè)值的情況下的處理序列的流程圖。也就是說(shuō)，存在可靠度信息的兩個(gè)值，其中深度信息為(a)完全可靠(b)非(a)=不是完全可靠遵循這種流程的處理是在例如深度信息的可靠度經(jīng)常很高時(shí)適合的處理。首先，在步驟S201中，像通常那樣通過(guò)成像裝置執(zhí)行圖像的成像。如果在成像期間生成深度信息，則使用該深度信息，而如果在成像期間不生成深度信息，則通過(guò)估計(jì)來(lái)生成深度信息。通過(guò)估計(jì)為輸入圖像生成以圖像或區(qū)域?yàn)閱挝坏目煽慷刃畔?。這里，在本示例中，存在可靠度信息的兩個(gè)值，其中深度信息為(a)完全可靠(b)非(a)=不是完全可靠。這里，通過(guò)用預(yù)先設(shè)置的閾值區(qū)分可靠度信息，能夠在上述之間進(jìn)行區(qū)別。在深度信息是完全可靠的情況下，步驟S202的判定是“是”，流程前進(jìn)到步驟 S203，并且通過(guò)執(zhí)行以深度信息為主體的(幾何的)2D-3D轉(zhuǎn)換處理來(lái)生成左右視差圖像。 這種處理對(duì)應(yīng)于圖4的圖像轉(zhuǎn)換單元104的第一 2D-3D轉(zhuǎn)換單元202的處理。在深度信息不是完全可靠的情況下，步驟S202的判定是“否”，流程前進(jìn)到步驟 S204，并且通過(guò)執(zhí)行完全不使用深度信息的2D-3D轉(zhuǎn)換處理來(lái)生成左右視差圖像。這種處理對(duì)應(yīng)于圖4的圖像轉(zhuǎn)換單元104的第三2D-3D轉(zhuǎn)換單元204的處理。取決于深度信息的可靠度，在執(zhí)行步驟S203或S204的2D-3D轉(zhuǎn)換處理之后，在步驟S205中判定未處理數(shù)據(jù)的存在性。在存在未處理數(shù)據(jù)的情況下，對(duì)未處理數(shù)據(jù)執(zhí)行從步驟S201起的處理。在步驟S205中判定對(duì)所有數(shù)據(jù)的處理都已結(jié)束的情況下，處理結(jié)束。與圖10類似，圖11是描述在對(duì)于可靠度信息的判定存在兩個(gè)值的情況下的處理序列的流程圖。在本示例中，存在可靠度信息的兩個(gè)值，其中深度信息為(a)有點(diǎn)可靠(b)非(a)=不是有點(diǎn)可靠遵循這種流程的處理是在例如深度信息的可靠度經(jīng)常很低時(shí)適合的處理。首先，在步驟S301中，像通常那樣通過(guò)成像裝置執(zhí)行圖像的成像。如果在成像期間生成深度信息，則使用該深度信息，而如果在成像期間不生成深度信息，則通過(guò)估計(jì)來(lái)生成深度信息。通過(guò)估計(jì)為輸入圖像生成以圖像或區(qū)域?yàn)閱挝坏目煽慷刃畔?。這里，在本示例中，存在可靠度信息的兩個(gè)值，其中深度信息為(a)有點(diǎn)可靠
(b)非(a)=不是有點(diǎn)可靠。這里，通過(guò)用預(yù)先設(shè)置的閾值區(qū)分可靠度信息，能夠在上述之間進(jìn)行區(qū)別。在深度信息是有點(diǎn)可靠的情況下，步驟S302的判定是“是”，流程前進(jìn)到步驟 S303，并且通過(guò)執(zhí)行其中深度信息被用作輔助的非幾何2D-3sD轉(zhuǎn)換處理來(lái)生成左右視差圖像。這種處理對(duì)應(yīng)于圖4的圖像轉(zhuǎn)換單元104的第二 2D-3D轉(zhuǎn)換單元203的處理。在深度信息不是有點(diǎn)可靠的情況下，步驟S302的判定是“否”，流程前進(jìn)到步驟 S304,并且通過(guò)執(zhí)行完全不使用深度信息的2D-3D轉(zhuǎn)換處理來(lái)生成左右視差圖像。這種處理對(duì)應(yīng)于圖4的圖像轉(zhuǎn)換單元104的第三2D-3D轉(zhuǎn)換單元204的處理。取決于深度信息的可靠度，在執(zhí)行步驟S303或S304的2D-3D轉(zhuǎn)換處理之后，在步驟S305中判定未處理數(shù)據(jù)的存在性。在存在未處理數(shù)據(jù)的情況下，對(duì)未處理數(shù)據(jù)執(zhí)行從步驟S301起的處理。在步驟S305中判定對(duì)所有數(shù)據(jù)的處理都已結(jié)束的情況下，處理結(jié)束。(10-2.應(yīng)用了圖5中所示的第二實(shí)施例的圖像轉(zhuǎn)換單元的處理序列)接下來(lái)，將參考圖12中所示的流程圖來(lái)描述應(yīng)用了圖5中所示的第二實(shí)施例的圖像轉(zhuǎn)換單元的處理序列。遵循圖12中所示的流程的圖像轉(zhuǎn)換處理對(duì)應(yīng)于應(yīng)用圖5中所示的圖像轉(zhuǎn)換單元 310的情況下的處理。也就是說(shuō)，遵循圖12中所示的流程的圖像轉(zhuǎn)換處理不是切換轉(zhuǎn)換方法本身，而是在僅從二維圖像生成三維圖像的情況下和在通過(guò)應(yīng)用可靠度信息來(lái)調(diào)整轉(zhuǎn)換參數(shù)的情況下的流程圖的示例。首先，在步驟S401中，像通常那樣通過(guò)成像裝置執(zhí)行圖像的成像。如果在成像期間生成深度信息，則使用該深度信息，而如果在成像期間不生成深度信息，則通過(guò)估計(jì)來(lái)生成深度信息。通過(guò)估計(jì)為輸入圖像生成以圖像或區(qū)域?yàn)閱挝坏目煽慷刃畔?。在步驟S402中，從作為成像圖像的二維圖像的空間和頻率特征中提取視差強(qiáng)調(diào)成分。例如，在應(yīng)用先前所述的日本未實(shí)審專利申請(qǐng)公布No. 2010-63083中描述的配置的情況下，提取作為處理對(duì)象的二維圖像的輸入圖像信號(hào)的微分信號(hào)來(lái)作為視差強(qiáng)調(diào)成分。在步驟S403中，執(zhí)行按深度信息的視差強(qiáng)調(diào)成分的插值。這種處理例如對(duì)應(yīng)于參考圖7描述的成分量控制單元315的增益系數(shù)計(jì)算單元351的處理。增益系數(shù)計(jì)算單元 351利用預(yù)先設(shè)置的函數(shù)f(x)將深度信息D轉(zhuǎn)換成具有0和1之間的值的增益系數(shù)β，并且將深度信息D輸出到成分量調(diào)整單元353。β = f (D)在步驟S403中，通過(guò)例如這種處理來(lái)執(zhí)行基于深度信息的視差強(qiáng)調(diào)成分的插值。接下來(lái)，在步驟S404中，執(zhí)行按可靠度信息的視差強(qiáng)調(diào)成分的插值。這種處理例如對(duì)應(yīng)于參考圖7描述的成分量控制單元315的增益系數(shù)計(jì)算單元352的處理。增益系數(shù)計(jì)算單元352利用預(yù)先設(shè)置的函數(shù)g(x)將可靠度信息S轉(zhuǎn)換成具有0和1之間的值的增益系數(shù)Y，并且將可靠度信息S輸出到成分量調(diào)整單元353。y = g (S)在步驟S404中，通過(guò)例如這種處理來(lái)執(zhí)行按深度信息的可靠度的視差強(qiáng)調(diào)成分的插值。在步驟S405中，通過(guò)應(yīng)用插值的視差強(qiáng)調(diào)成分從二維圖像和視差強(qiáng)調(diào)成分生成左右視差圖像。這里，最終應(yīng)用的視差強(qiáng)調(diào)成分α ‘是例如按照以下表達(dá)式轉(zhuǎn)換來(lái)的值。CN 102547356 Aα ‘ = α X β X y在步驟S406中，判定未處理數(shù)據(jù)的存在性。在存在未處理數(shù)據(jù)的情況下，對(duì)未處理數(shù)據(jù)執(zhí)行從步驟S401起的處理。在步驟S406中判定對(duì)所有數(shù)據(jù)的處理都已結(jié)束的情況下，處理結(jié)束。(10-3.應(yīng)用了圖6中所示的第三實(shí)施例的圖像轉(zhuǎn)換單元的處理序列)接下來(lái)，將參考圖13中所示的流程圖來(lái)描述應(yīng)用了圖6中所示的第三實(shí)施例的圖像轉(zhuǎn)換單元的處理序列。遵循圖13中所示的流程的圖像轉(zhuǎn)換處理對(duì)應(yīng)于應(yīng)用圖6中所示的圖像轉(zhuǎn)換單元 320的情況下的處理。也就是說(shuō)，遵循圖13中所示的流程的圖像轉(zhuǎn)換處理不是切換轉(zhuǎn)換方法本身，而是在僅從二維圖像生成三維圖像的情況下和在通過(guò)應(yīng)用可靠度信息來(lái)調(diào)整轉(zhuǎn)換參數(shù)的情況下的流程圖的示例?？煽慷刃畔⒈惶砑拥缴疃刃畔?，從而具有低可靠度的深度信息執(zhí)行用周圍深度信息的平均值替代的處理以生成用于轉(zhuǎn)換的最終深度信息。然后，從最終深度信息和二維圖像執(zhí)行幾何運(yùn)算，并且生成左右視差圖像。首先，在步驟S501中，像通常那樣通過(guò)成像裝置執(zhí)行圖像的成像。如果在成像期間生成深度信息，則使用該深度信息，而如果在成像期間不生成深度信息，則通過(guò)估計(jì)來(lái)生成深度信息。通過(guò)估計(jì)為輸入圖像生成以圖像或區(qū)域?yàn)閱挝坏目煽慷刃畔ⅰＴ诓襟ES502中，從深度信息和可靠度信息生成用于轉(zhuǎn)換的深度信息。這種處理對(duì)應(yīng)于先前參考圖6描述的圖像轉(zhuǎn)換單元320的深度控制單元324的處理。深度控制單元3Μ利用可靠度信息對(duì)輸入的深度信息增大和減小深度(視差量)。 作為示例，假定在可靠度信息為不可靠的情況下增益值為0并且在可靠度信息為可靠的情況下增益值為1，則通過(guò)將視差量進(jìn)一步乘以增益值并且在可靠度信息為不可靠的情況下減小視差量來(lái)避免不必要地生成視差。在步驟S503中，通過(guò)應(yīng)用在步驟S502中確定的用于轉(zhuǎn)換的深度信息來(lái)生成左右視差圖像。這種處理對(duì)應(yīng)于參考圖7描述的幾何視差圖像生成單元325的幾何處理。在視差圖像生成單元325中，基于從輸入圖像預(yù)處理單元321輸出的二維圖像和從深度控制單元3Μ輸入的視差量來(lái)幾何地生成左右視差圖像，并且將左右視差圖像輸出到輸出圖像后期處理單元326。在步驟S504中，判定未處理數(shù)據(jù)的存在性。在存在未處理數(shù)據(jù)的情況下，對(duì)未處理數(shù)據(jù)執(zhí)行從步驟S501起的處理。在步驟S504中判定對(duì)所有數(shù)據(jù)的處理都已結(jié)束的情況下，處理結(jié)束。[11.圖像轉(zhuǎn)換單元的處理序列(運(yùn)動(dòng)圖像)]在處理對(duì)象圖像是運(yùn)動(dòng)圖像的情況下，圖像處理裝置生成與顯示裝置的顯示方法相對(duì)應(yīng)的左眼圖像和右眼圖像的運(yùn)動(dòng)圖像。如先前在[9.與圖像顯示裝置有關(guān)的處理]這一項(xiàng)中所述，大體來(lái)說(shuō)有以下兩種類型的運(yùn)動(dòng)圖像的顯示方法。(a)空間劃分方法，其中運(yùn)動(dòng)圖像的構(gòu)成幀之一被以例如行為單位劃分成左眼圖像和右眼圖像。(b)時(shí)間劃分方法，其中運(yùn)動(dòng)圖像被以幀為單位劃分成左眼圖像和右眼圖像。
圖像處理裝置根據(jù)這種顯示方法生成輸出圖像。下面將參考圖14和15中所示的流程圖來(lái)描述對(duì)于運(yùn)動(dòng)圖像的與這種方法相對(duì)應(yīng)的處理。(11-1.在顯示裝置使用空間劃分方法的情況下的處理示例)首先，將參考圖14中所示的流程圖來(lái)描述在顯示裝置使用空間劃分方法的情況下的處理示例。圖14中所示的流程圖示出了在構(gòu)成運(yùn)動(dòng)圖像的一幀的圖像處理中以行為單位生成左眼圖像和右眼圖像的情況下的處理。按行交替生成左眼圖像和右眼圖像以適應(yīng)顯示裝置。這里，每一行的左眼圖像和右眼圖像的生成處理執(zhí)行遵循先前在[10.圖像轉(zhuǎn)換單元的處理序列]這一項(xiàng)中描述的處理的圖像生成。在圖14中所示的流程的步驟S601中，判定一行是否是以處理圖像的行為單位生成左眼圖像的行。這里，該判定是根據(jù)諸如奇數(shù)行用于左眼且偶數(shù)行用于右眼之類的預(yù)先設(shè)置的信息來(lái)作出的。具體而言，例如，可以按照?qǐng)D像處理單元用于輸出的圖像顯示裝置的顯示方法并且根據(jù)設(shè)于圖像轉(zhuǎn)換單元內(nèi)的行計(jì)數(shù)器的值來(lái)作出判定。行計(jì)數(shù)器是保持與輸入圖像的行號(hào)相對(duì)應(yīng)的值的計(jì)數(shù)器。在圖像顯示裝置的輸出方法是例如空間劃分輸出方法的情況下，圖像轉(zhuǎn)換單元根據(jù)行計(jì)數(shù)器的值來(lái)判定是否輸出左眼圖像。也就是說(shuō)，圖像轉(zhuǎn)換單元執(zhí)行控制以使得僅對(duì)奇數(shù)行或偶數(shù)行輸出左眼圖像。在根據(jù)行計(jì)數(shù)器的值判定要輸出左眼圖像的情況下，流程前進(jìn)到左眼圖像生成。另一方面，在根據(jù)行計(jì)數(shù)器的值判定行不是用于左眼圖像輸出的行的情況下，流程前進(jìn)到下一條件分支。在行是左眼圖像生成行的情況下，流程前進(jìn)到步驟S602，并且基于輸入的二維圖像執(zhí)行左眼圖像的生成處理。這種處理是作為如下處理執(zhí)行的對(duì)于該處理，在根據(jù)先前在 [10.圖像轉(zhuǎn)換單元的處理序列]中描述的處理的圖像生成中應(yīng)用了左眼圖像的生成參數(shù)。當(dāng)在步驟S601中判定行不是左眼圖像生成行時(shí)，流程前進(jìn)到步驟S603，并且判定行是否是右眼圖像生成行。在行是右眼圖像生成行的情況下，流程前進(jìn)到步驟S604，并且基于輸入的二維圖像執(zhí)行右眼圖像的生成處理。這種處理是作為如下處理執(zhí)行的對(duì)于該處理，在根據(jù)先前在[10.圖像轉(zhuǎn)換單元的處理序列]中描述的處理的圖像生成中應(yīng)用了右眼圖像的生成參數(shù)。在步驟S605中，判定未處理行的存在性。在存在未處理行的情況下，流程返回到步驟S601并且執(zhí)行未處理行的處理。如果在步驟S605中判定沒(méi)有未處理的行，則處理結(jié)束。(11-2.在顯示裝置使用時(shí)間劃分方法的情況下的處理示例)接下來(lái)，將參考圖15中所示的流程圖來(lái)描述在顯示裝置使用時(shí)間劃分方法的情況下的處理示例。圖15中所示的流程圖是在構(gòu)成運(yùn)動(dòng)圖像的一幀的圖像處理中以幀為單位生成左眼圖像和右眼圖像的情況下的處理。按幀交替生成左眼圖像和右眼圖像以適應(yīng)顯示裝置。 這里，每個(gè)幀的左眼圖像和右眼圖像的生成處理執(zhí)行遵循先前在[10.圖像轉(zhuǎn)換單元的處理序列]這一項(xiàng)中描述的處理的圖像生成。
在圖15中所示的流程的步驟S701中，判定深度信息和可靠度信息的更新處理是否重要。這種判定是判定深度信息和可靠度信息的更新處理是否由于幀的變化而重要的處理。深度信息和可靠度信息的更新是根據(jù)諸如一幀單位、兩幀單位或四幀單位之類的預(yù)先設(shè)置的信息來(lái)執(zhí)行的。在執(zhí)行更新的情況下，步驟S701的條件分支處的判定是“是”，在步驟S702中執(zhí)行更新處理，并且流程前進(jìn)到步驟S703。在更新不重要的情況下，流程前進(jìn)到步驟S703，而不執(zhí)行步驟S702的更新處理。在步驟S703中判定幀是否是以處理圖像的幀為單位生成左眼圖像的幀。這種判定處理是根據(jù)預(yù)先設(shè)置的信息來(lái)判定的。具體而言，例如，可以按照?qǐng)D像處理單元用于輸出的圖像顯示裝置的顯示方法并且根據(jù)設(shè)于圖像轉(zhuǎn)換單元內(nèi)的幀計(jì)數(shù)器的值來(lái)作出判定。幀計(jì)數(shù)器是保持與輸入圖像的幀號(hào)相對(duì)應(yīng)的值的計(jì)數(shù)器。在圖像顯示裝置的輸出方法是例如上述的時(shí)間劃分輸出方法的情況下，圖像轉(zhuǎn)換單元根據(jù)幀計(jì)數(shù)器的值來(lái)判定是否輸出左眼圖像。也就是說(shuō)，圖像轉(zhuǎn)換單元執(zhí)行控制以使得僅對(duì)奇數(shù)幀或偶數(shù)幀輸出左眼圖像。在根據(jù)幀計(jì)數(shù)器的值判定要輸出左眼圖像的情況下，流程前進(jìn)到左眼圖像生成。另一方面，在根據(jù)幀計(jì)數(shù)器的值判定幀不是用于左眼圖像輸出的幀的情況下，流程前進(jìn)到下一條件分支。在幀是左眼圖像生成幀的情況下，流程前進(jìn)到步驟S704，并且基于輸入的二維圖像執(zhí)行左眼圖像的生成處理。這種處理是作為如下處理執(zhí)行的對(duì)于該處理，在根據(jù)先前在 [10.圖像轉(zhuǎn)換單元的處理序列]中描述的處理的圖像生成中應(yīng)用了左眼圖像的生成參數(shù)。當(dāng)在步驟S703中判定幀不是左眼圖像生成幀時(shí)，流程前進(jìn)到步驟S705，并且判定幀是否是右眼圖像生成幀。在幀是右眼圖像生成幀的情況下，流程前進(jìn)到步驟S706，并且基于輸入的二維圖像執(zhí)行右眼圖像的生成處理。這種處理是作為如下處理執(zhí)行的對(duì)于該處理，在根據(jù)先前在[10.圖像轉(zhuǎn)換單元的處理序列]中描述的處理的圖像生成中應(yīng)用了右眼圖像的生成參數(shù)。在步驟S707中，判定未處理幀的存在性。在存在未處理幀的情況下，流程返回到步驟S701并且執(zhí)行未處理幀的處理。如果在步驟S707中判定沒(méi)有未處理的幀，則處理結(jié)束。[12.其他實(shí)施例]以上所述的實(shí)施例例如是如圖1和2中所示的輸入成像裝置的成像圖像并且將所生成的圖像輸出到顯示裝置的配置示例。然而，本公開的實(shí)施例的圖像處理裝置例如可具有如圖16中所示的顯示單元501 在圖像處理裝置500的內(nèi)部的配置。另外，如圖17中所示，本公開的實(shí)施例的圖像處理裝置例如可以是在圖像處理裝置520的內(nèi)部包括成像單元521的相機(jī)。另外，如圖18中所示，本公開的實(shí)施例的圖像處理裝置可具有包括記錄在圖像處理裝置MO內(nèi)部生成的圖像數(shù)據(jù)的存儲(chǔ)單元Ml的配置。存儲(chǔ)單元541能夠由例如閃存、 硬盤、DVD、藍(lán)光盤(BD)等等構(gòu)成。以上已參考具體實(shí)施例詳述了本公開的實(shí)施例。然而，不言自明的是，本領(lǐng)域的技術(shù)人員在不脫離本公開的要旨的范圍內(nèi)可以作出校正和替代。也就是說(shuō)，本公開的實(shí)施例是作為示例被公開的，而不應(yīng)被解釋為限制性的。應(yīng)參考權(quán)利要求的范圍來(lái)確定本公開的要曰。另外，在說(shuō)明書中描述的處理的系列能夠由硬件、軟件或兩者的組合來(lái)執(zhí)行。在用軟件執(zhí)行處理的情況下，可以通過(guò)將記錄有處理序列的程序安裝在集成到專用硬件中的計(jì)算機(jī)內(nèi)的存儲(chǔ)器上來(lái)執(zhí)行該程序，或者通過(guò)將程序安裝在能夠執(zhí)行各種處理的通用計(jì)算機(jī)上來(lái)執(zhí)行該程序。例如，程序可被預(yù)先記錄在記錄介質(zhì)上。除了從記錄介質(zhì)將程序安裝在計(jì)算機(jī)上以外，還能夠經(jīng)由諸如LAN(局域網(wǎng))或因特網(wǎng)之類的網(wǎng)絡(luò)將程序安裝在諸如硬盤之類的接收和包含程序的記錄介質(zhì)上。這里，在說(shuō)明書中描述的各種處理不限于按根據(jù)描述的時(shí)間系列執(zhí)行，而是可以根據(jù)執(zhí)行處理的裝置的處理能力或者根據(jù)需要并行或分別執(zhí)行。另外，說(shuō)明書中的系統(tǒng)是多個(gè)裝置的邏輯集合配置，并且每個(gè)配置的裝置不一定在同一外殼內(nèi)。本公開包含與2010年12月27日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-290194中公開的主題相關(guān)的主題，特此通過(guò)引用將該申請(qǐng)的全部?jī)?nèi)容并入。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物的范圍之內(nèi)即可。
權(quán)利要求
1.一種圖像處理裝置，包括圖像輸入單元，該圖像輸入單元輸入二維圖像信號(hào)；深度信息輸出單元，該深度信息輸出單元以構(gòu)成所述二維圖像信號(hào)的圖像區(qū)域?yàn)閱挝惠斎牖蛏缮疃刃畔?；深度信息可靠度輸出單元，該深度信息可靠度輸出單元輸入或生成所述深度信息輸出單元輸出的深度信息的可靠度；圖像轉(zhuǎn)換單元，該圖像轉(zhuǎn)換單元輸入從所述圖像輸入單元輸出的圖像信號(hào)、所述深度信息輸出單元輸出的深度信息以及所述深度信息可靠度輸出單元輸出的深度信息可靠度， 并且生成和輸出用于實(shí)現(xiàn)雙眼立體視覺(jué)的左眼圖像和右眼圖像；以及圖像輸出單元，該圖像輸出單元輸出從所述圖像轉(zhuǎn)換單元輸出的左眼圖像和右眼圖像，其中，所述圖像轉(zhuǎn)換單元具有通過(guò)對(duì)輸入圖像信號(hào)的圖像轉(zhuǎn)換處理執(zhí)行左眼圖像和右眼圖像中的至少一個(gè)的圖像生成的配置，并且在所述圖像轉(zhuǎn)換期間執(zhí)行應(yīng)用所述深度信息和所述深度信息可靠度作為轉(zhuǎn)換控制數(shù)據(jù)的轉(zhuǎn)換處理。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像轉(zhuǎn)換單元在所述深度信息可靠度等于或大于預(yù)先固定的閾值并且判定可靠度高的情況下執(zhí)行通過(guò)主要應(yīng)用所述深度信息的圖像轉(zhuǎn)換處理來(lái)從二維圖像生成左眼圖像或右眼圖像的處理。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像轉(zhuǎn)換單元在所述深度信息可靠度小于預(yù)先固定的閾值并且判定可靠度低的情況下執(zhí)行通過(guò)不使用所述深度信息的圖像轉(zhuǎn)換處理來(lái)從二維圖像生成左眼圖像或右眼圖像的處理。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述圖像轉(zhuǎn)換單元執(zhí)行如下處理對(duì)輸入圖像信號(hào)設(shè)置亮度微分信號(hào)作為特征量，生成向輸入圖像信號(hào)添加特征量的信號(hào)和從輸入圖像信號(hào)中減去特征量的信號(hào)，并且生成這兩個(gè)信號(hào)構(gòu)成的一對(duì)作為一對(duì)左眼圖像和右眼圖像。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像轉(zhuǎn)換單元在所述深度信息可靠度小于預(yù)先固定的第一閾值且等于或大于預(yù)先固定的第二閾值并且判定可靠度為中等的情況下執(zhí)行通過(guò)使用所述深度信息作為輔助的非幾何圖像轉(zhuǎn)換處理來(lái)從輸入二維圖像生成左眼圖像或右眼圖像的處理。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，所述圖像轉(zhuǎn)換單元包括視差強(qiáng)調(diào)成分計(jì)算單元，該視差強(qiáng)調(diào)成分計(jì)算單元提取輸入圖像信號(hào)的空間特征量并且計(jì)算被應(yīng)用了所提取的特征量的視差強(qiáng)調(diào)成分；成分量控制單元，該成分量控制單元基于所述深度信息和所述深度信息可靠度來(lái)執(zhí)行所述視差強(qiáng)調(diào)成分的調(diào)整；以及視差圖像生成單元，該視差圖像生成單元執(zhí)行如下處理通過(guò)對(duì)被應(yīng)用了作為所述成分量控制單元的輸出的、調(diào)整了成分量的視差強(qiáng)調(diào)成分的輸入圖像的圖像轉(zhuǎn)換處理，來(lái)從輸入二維圖像生成左眼圖像或右眼圖像。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，所述圖像轉(zhuǎn)換單元包括深度控制單元，該深度控制單元基于所述深度信息可靠度執(zhí)行所述深度信息的加權(quán)并且生成加權(quán)設(shè)置深度信息；以及視差圖像生成單元，該視差圖像生成單元執(zhí)行如下處理通過(guò)對(duì)被應(yīng)用了作為所述深度控制單元的輸出的加權(quán)設(shè)置深度信息的輸入圖像的圖像轉(zhuǎn)換處理，來(lái)從輸入二維圖像生成左眼圖像或右眼圖像。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理裝置還包括顯示由所述圖像轉(zhuǎn)換單元生成的經(jīng)轉(zhuǎn)換圖像的顯示單兀。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理裝置還包括成像單元，并且所述圖像轉(zhuǎn)換單元通過(guò)輸入所述成像單元的成像圖像來(lái)執(zhí)行處理。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理裝置還包括記錄由所述圖像轉(zhuǎn)換單元生成的經(jīng)轉(zhuǎn)換圖像的存儲(chǔ)單兀。
11.一種在圖像處理裝置中執(zhí)行圖像轉(zhuǎn)換處理的圖像處理方法，該圖像處理方法包括由圖像輸入單元進(jìn)行的圖像輸入，輸入二維圖像信號(hào)；由深度信息輸出單元進(jìn)行的深度信息輸出，以構(gòu)成所述二維圖像信號(hào)的圖像區(qū)域?yàn)閱挝惠斎牖蛏缮疃刃畔ⅲ挥缮疃刃畔⒖煽慷容敵鰡卧M(jìn)行的深度信息可靠度輸出，輸入或生成所述深度信息輸出單元輸出的深度信息的可靠度；由圖像轉(zhuǎn)換單元進(jìn)行的圖像轉(zhuǎn)換，輸入從所述圖像輸入單元輸出的圖像信號(hào)、所述深度信息輸出單元輸出的深度信息以及所述深度信息可靠度輸出單元輸出的深度信息可靠度，并且生成和輸出用于實(shí)現(xiàn)雙眼立體視覺(jué)的左眼圖像和右眼圖像；以及由圖像輸出單元進(jìn)行的圖像輸出，輸出從所述圖像轉(zhuǎn)換單元輸出的左眼圖像和右眼圖像，其中，所述圖像轉(zhuǎn)換通過(guò)對(duì)輸入圖像信號(hào)的圖像轉(zhuǎn)換處理執(zhí)行左眼圖像和右眼圖像中的至少一個(gè)的圖像生成，并且在所述圖像轉(zhuǎn)換期間執(zhí)行應(yīng)用所述深度信息和所述深度信息可靠度作為轉(zhuǎn)換控制數(shù)據(jù)的轉(zhuǎn)換處理。
12.一種使圖像處理裝置執(zhí)行圖像轉(zhuǎn)換處理的程序，該圖像轉(zhuǎn)換處理包括 由圖像輸入單元進(jìn)行的圖像輸入，輸入二維圖像信號(hào)；由深度信息輸出單元進(jìn)行的深度信息輸出，以構(gòu)成所述二維圖像信號(hào)的圖像區(qū)域?yàn)閱挝惠斎牖蛏缮疃刃畔?；由深度信息可靠度輸出單元進(jìn)行的深度信息可靠度輸出，輸入或生成所述深度信息輸出單元輸出的深度信息的可靠度；由圖像轉(zhuǎn)換單元進(jìn)行的圖像轉(zhuǎn)換，輸入從所述圖像輸入單元輸出的圖像信號(hào)、所述深度信息輸出單元輸出的深度信息以及所述深度信息可靠度輸出單元輸出的深度信息可靠度，并且生成和輸出用于實(shí)現(xiàn)雙眼立體視覺(jué)的左眼圖像和右眼圖像；以及由圖像輸出單元進(jìn)行的圖像輸出，輸出從所述圖像轉(zhuǎn)換單元輸出的左眼圖像和右眼圖像，其中，在所述圖像轉(zhuǎn)換中，使得執(zhí)行通過(guò)對(duì)輸入圖像信號(hào)的圖像轉(zhuǎn)換處理進(jìn)行的左眼圖像和右眼圖像中的至少一個(gè)的圖像生成，并且在所述圖像轉(zhuǎn)換期間使得執(zhí)行應(yīng)用所述深度信息和所述深度信息可靠度作為轉(zhuǎn)換控制數(shù)據(jù)的轉(zhuǎn)換處理。
全文摘要
本發(fā)明提供了圖像處理裝置、圖像處理方法和程序。圖像處理裝置包括圖像輸入單元，輸入二維圖像信號(hào)；深度信息輸出單元，輸入或生成深度信息；深度信息可靠度輸出單元，輸入或生成深度信息輸出單元輸出的深度信息的可靠度；圖像轉(zhuǎn)換單元，輸入圖像信號(hào)、深度信息和深度信息可靠度，并且生成和輸出用于實(shí)現(xiàn)雙眼立體視覺(jué)的左眼圖像和右眼圖像；以及圖像輸出單元，輸出左眼圖像和右眼圖像，其中圖像轉(zhuǎn)換單元具有執(zhí)行左眼圖像和右眼圖像中的至少一個(gè)的圖像生成的配置，并且在圖像轉(zhuǎn)換期間執(zhí)行應(yīng)用深度信息和深度信息可靠度作為轉(zhuǎn)換控制數(shù)據(jù)的轉(zhuǎn)換處理。
文檔編號(hào)H04N13/00GK102547356SQ20111044195
公開日2012年7月4日 申請(qǐng)日期2011年12月20日 優(yōu)先權(quán)日2010年12月27日
發(fā)明者五位圭三 申請(qǐng)人:索尼公司