圖像處理裝置、圖像處理方法和程序的制作方法
【專利摘要】本發(fā)明公開了圖像處理裝置和圖像處理方法。所述圖像處理裝置以一種分割區(qū)域設(shè)定方法在作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像每一者中設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來校正所述左眼圖像和所述右眼圖像中的不作為顏色校正對象的一者圖像與所述左眼圖像和所述右眼圖像中的作為顏色校正對象的另一者圖像之間的顏色分歧；并且所述圖像處理裝置以與所述一種分割區(qū)域設(shè)定方法不同的一種以上的其它分割區(qū)域設(shè)定方法在所述左眼圖像和所述右眼圖像中依次設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來依次校正所述一者圖像與所述另一者圖像之間的顏色分歧。本發(fā)明能夠提高對左眼圖像與右眼圖像之間的顏色分歧進(jìn)行校正的精度。
【專利說明】圖像處理裝置、圖像處理方法和程序
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像處理裝置、圖像處理方法和程序。
【背景技術(shù)】
[0002]有一種裝置已經(jīng)日益普及，這種裝置在顯示屏上顯示例如與用戶的左眼的視圖對應(yīng)的圖像(以下，稱作“左眼圖像”)和與用戶的右眼的視圖對應(yīng)的圖像(以下，稱作“右眼圖像”)，并且由此能夠使用戶將所顯示的圖像識別為立體圖像。上述裝置利用視差(parallax)來使用戶將所顯示的圖像識別為立體圖像。
[0003]例如，通過使用兩個攝像裝置拍攝攝像對象的圖像來獲得作為立體圖像的構(gòu)成部分的上述左眼圖像和右眼圖像(下文中有時統(tǒng)稱為“立體像”)。然而，例如兩個攝像裝置之間的來自攝像對象的反射光的差別、兩個攝像裝置之間的曝光參數(shù)的差別或兩個攝像裝置之間的位置的差別可能導(dǎo)致左眼圖像和右眼圖像之間的顏色分歧(color discrepancy)。同時，近年來已經(jīng)盛行的是通過采用半透明鏡進(jìn)行立體像的攝像。例如，由于半透明鏡與攝像裝置之間形成的角度而造成的光學(xué)特性差別也會導(dǎo)致左眼圖像和右眼圖像之間的顏色分歧。
[0004]在這種背景下，已經(jīng)開發(fā)出了用于校正左眼圖像和右眼圖像之間的顏色分歧的技術(shù)。用于校正左眼圖像和右眼圖像之間的顏色分歧的技術(shù)的示例包括專利文獻(xiàn)JP2007-535829A中所描述的技術(shù)。
[0005]使用了 JP2007-535829A中所描述的技術(shù)的圖像處理裝置例如計算出用于繪出左眼圖像(下文中有時簡稱作“L”)和右眼圖像(下文有時簡稱作“R”)各者的每個色調(diào)的像素數(shù)量的直方圖(顏色直方圖)，并將左眼圖像的直方圖和右眼圖像的直方圖彼此關(guān)聯(lián)。然后，使用了 JP2007-535829A中所描述的技術(shù)的該圖像處理裝置例如基于上述關(guān)聯(lián)結(jié)果來校正左眼圖像的顏色或右眼圖像的顏色。于是，當(dāng)使用例如JP2007-535829A中所描述的技術(shù)時，有可能能夠校正左眼圖像和右眼圖像之間的顏色分歧。
[0006]此外，作為能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法，可想到以下方法。例如，分別從左眼圖像和右眼圖像中提取特征點，將左眼圖像和右眼圖像彼此關(guān)聯(lián)，然后，基于被關(guān)聯(lián)起來的各點(各像素)之間的顏色分歧來確定用于校正顏色的校正公式。
[0007]如同在例如JP2007-535829A中所描述的技術(shù)以及前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法中那樣，當(dāng)使用關(guān)于整個圖像的信息時，有可能能夠校正左眼圖像和右眼圖像之間的顏色分歧。然而，無法應(yīng)對局部的顏色分歧。
[0008]相比之下，在前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法中，是通過使用關(guān)于圖像中的局部點(例如特征點)的信息來進(jìn)行校正的。因此，取決于特征點的坐標(biāo)精度，被校正后的顏色可能變化很大。換言之，當(dāng)使用前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法時，校正結(jié)果可能不穩(wěn)定。
[0009]因此，即使使用例如JP2007-535829A中所描述的技術(shù)或前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法時，也不一定能夠以高精度校正左眼圖像和右眼圖像之間的顏色分歧。
[0010]而且，作為用于應(yīng)對局部的顏色分歧的方法，例如，可想到的是:分別分割左眼圖像和右眼圖像，然后，基于左眼圖像和右眼圖像中的相互對應(yīng)的分割區(qū)域來校正左眼圖像或右眼圖像。
[0011]然而，即使在各圖像中簡單地設(shè)定了分割區(qū)域并且通過使用例如JP2007-535829A中所描述的技術(shù)或前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法來進(jìn)行校正時，在校正后的圖像中，在這些分割區(qū)域之間的邊界處會呈現(xiàn)不自然的線或帶。這樣呈現(xiàn)出來的現(xiàn)象可歸因于例如具有局部解(local solution)的某種特定區(qū)域。
[0012]因此，即使使用前述的用于應(yīng)對局部的顏色分歧的方法，也不一定能夠以高精度校正左眼圖像和右眼圖像之間的顏色分歧。

【發(fā)明內(nèi)容】

[0013]鑒于上述問題，期望提供一種新穎的、改良的并且能夠提高對作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像之間的顏色分歧進(jìn)行校正的精度的圖像處理裝置、圖像處理方法以及程序。
[0014]本發(fā)明的實施例提供了一種圖像處理裝置，所述圖像處理裝置以一種分割區(qū)域設(shè)定方法在作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像每一者中設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來校正所述左眼圖像和所述右眼圖像中的不作為顏色校正對象的一者圖像與所述左眼圖像和所述右眼圖像中的作為顏色校正對象的另一者圖像之間的顏色分歧；而且，所述圖像處理裝置以與所述一種分割區(qū)域設(shè)定方法不同的一種以上的其它分割區(qū)域設(shè)定方法在所述左眼圖像和所述右眼圖像中依次設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來依次校正所述一者圖像與所述另一者圖像之間的顏色分歧。
[0015]此外，本發(fā)明的實施例提供了一種圖像處理方法，所述方法包括如下步驟:以一種分割區(qū)域設(shè)定方法在作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像每一者中設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來校正所述左眼圖像和所述右眼圖像中的不作為顏色校正對象的一者圖像與所述左眼圖像和所述右眼圖像中的作為顏色校正對象的另一者圖像之間的顏色分歧；而且，以與所述一種分割區(qū)域設(shè)定方法不同的一種以上的其它分割區(qū)域設(shè)定方法在所述左眼圖像和所述右眼圖像中依次設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來依次校正所述一者圖像與所述另一者圖像之間的顏色分歧。
[0016]此外，本發(fā)明的實施例提供了一種使計算機(jī)執(zhí)行以下步驟的程序，所述步驟包括:以一種分割區(qū)域設(shè)定方法在作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像每一者中設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來校正所述左眼圖像和所述右眼圖像中的不作為顏色校正對象的一者圖像與所述左眼圖像和所述右眼圖像中的作為顏色校正對象的另一者圖像之間的顏色分歧；而且，以與所述一種分割區(qū)域設(shè)定方法不同的一種以上的其它分割區(qū)域設(shè)定方法在所述左眼圖像和所述右眼圖像中依次設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來依次校正所述一者圖像與所述另一者圖像之間的顏色分歧。
[0017]根據(jù)本發(fā)明的本實施例，能夠提高對作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像之間的顏色分歧進(jìn)行校正的精度?！緦＠綀D】

【附圖說明】
[0018]圖1的A和B是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第一示例的說明圖；
[0019]圖2的A和B是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第一示例的說明圖；
[0020]圖3的A和B是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第一示例的說明圖；
[0021]圖4的A和B是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第二示例的說明圖；
[0022]圖5的A和B是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第二示例的說明圖；
[0023]圖6的A至D是圖示了本實施例的處理概要的說明圖；
[0024]圖7是圖示了本實施例的圖像處理方法的處理示例的說明圖；
[0025]圖8是圖示了本實施例的圖像處理方法的處理示例的說明圖；
[0026]圖9是圖示了本實施例的圖像處理方法的處理示例的說明圖；
[0027]圖10是圖示了在本實施例的圖像處理裝置中的本實施例的圖像處理方法的第一示例的流程圖；
[0028]圖11是圖示了在本實施例的圖像處理裝置中的本實施例的圖像處理方法的第二示例的流程圖；
[0029]圖12的A和B是圖示了通過使用本實施例的圖像處理方法而被校正的圖像的第一示例的說明圖；
[0030]圖13的A和B是圖示了通過使用本實施例的圖像處理方法而被校正的圖像的第二示例的說明圖；
[0031]圖14是圖示了本實施例的圖像處理裝置的示例的框圖；以及
[0032]圖15是圖示了本實施例的圖像處理裝置的硬件構(gòu)造的示例的說明圖。
【具體實施方式】
[0033]下面將參照附圖詳細(xì)說明本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，用同樣的附圖標(biāo)記來表示在功能和結(jié)構(gòu)上實質(zhì)相同的構(gòu)成元件，并且省略對這些構(gòu)成元件的重復(fù)說明。
[0034]按照下列順序進(jìn)行說明。
[0035]1、本實施例的圖像處理方法
[0036]2、本實施例的圖像處理裝置
[0037]3、本實施例的程序
[0038]1、本實施例的圖像處理方法
[0039]在說明本實施例的圖像處理裝置的構(gòu)造之前，首先說明本實施例的圖像處理方法。下面將以如下情況作為示例來說明本實施例的圖像處理方法:在該情況中，本實施例的圖像處理裝置進(jìn)行本實施例的圖像處理方法的處理。[0040][I]在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的示例
[0041]首先說明在使用以下方法時可能發(fā)生的問題的具體示例:諸如JP2007-535829A中所描述的技術(shù)等現(xiàn)有的圖像處理方法；前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法；前述的用于應(yīng)對局部的顏色分歧的方法；等等。
[0042](A)第一示例
[0043]圖1是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第一示例的說明圖，并且圖示了尚未應(yīng)用現(xiàn)有的圖像處理方法等的原始圖像。圖1的A圖示了左眼圖像(原始圖像)，而圖1的B圖示了右眼圖像(原始圖像)。
[0044]圖2是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第一示例的說明圖，并且圖示了通過使用前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法來校正圖1中所示的圖像而獲得的圖像的示例。圖2的A圖示了校正后的左眼圖像的示例，而圖2的B圖示了原始的右眼圖像。
[0045]通過比較圖2的A和圖2的B，圖2的A中的校正后的左眼圖像整體上呈綠色。換言之，在圖2的第一示例中，在整體圖像中在左眼圖像和右眼圖像之間存在顏色分歧。
[0046]圖3是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第一示例的說明圖，且圖示了應(yīng)用前述的用于應(yīng)對局部的顏色分歧的方法的示例。更具體地，圖3圖示了以如下方式獲得的圖像的示例:在該方式中，將圖1的A中的左眼圖像(原始圖像)和圖1的B中的右眼圖像(原始圖像)分別在垂直方向上分割成8個區(qū)域，隨后，通過使用前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法、基于對應(yīng)的分割區(qū)域來校正圖1中的圖像。圖3的A圖示了校正后的左眼圖像的示例，而圖3的B圖示了原始的右眼圖像。
[0047]在分別分割左眼圖像(原始圖像)和右眼圖像(原始圖像)并且通過使用前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法、基于對應(yīng)的分割區(qū)域來校正左眼圖像和右眼圖像之一的情況下，如由圖3的A中的箭頭指示的部分中所示，在校正后的圖像中由于不自然的變色因而會出現(xiàn)帶。因此，在基于分割區(qū)域簡單地校正右眼圖像或左眼圖像(簡單地使用前述的用于應(yīng)對局部的顏色分歧的方法)的情況下，無法期望精確地校正左眼圖像和右眼圖像之間的顏色分歧。
[0048](B)第二示例
[0049]圖4是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第二示例的說明圖，并且圖示了尚未應(yīng)用現(xiàn)有的圖像處理方法等的原始圖像。圖4的A圖示了左眼圖像(原始圖像)，而圖4的B圖示了右眼圖像(原始圖像)。
[0050]圖5是圖示了在使用現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第二示例的說明圖，并且圖示了通過使用前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法來校正圖4中兩個圖像中的一者而獲得的圖像的示例。圖5的A圖示了校正后的左眼圖像的示例，而圖5的B圖示了原始的右眼圖像。
[0051]在圖5的A與圖5的B、圖4的A(原始圖像)的比較中，圖5的A中的校正后的左眼圖像被校正為整體上呈紅色，但在該圖像的下部中過于紅了。換言之，在圖5的第二示例中，在整體圖像中在左眼圖像和右眼圖像之間存在顏色分歧。
[0052]如同在使用前述的現(xiàn)有的圖像處理方法等的情況下可能發(fā)生的問題的第一示例和第二示例中所示，即使例如使用諸如JP2007-535829A中所描述的技術(shù)等現(xiàn)有的圖像處理方法、前述的能夠校正左眼圖像和右眼圖像之間的顏色分歧的另一方法或者前述的用于應(yīng)對局部的顏色分歧的方法等，也無法期望精確地校正左眼圖像和右眼圖像之間的顏色分歧。
[0053][2]本實施例的圖像處理方法
[0054][2-1]本實施例的圖像處理方法的概要
[0055]因此，本實施例的圖像處理裝置以改變左眼圖像和右眼圖像的分割區(qū)域設(shè)定方法的方式來依次多次地設(shè)定分割區(qū)域(區(qū)域設(shè)定處理)。在每次設(shè)定分割區(qū)域時，圖像處理裝置對左眼圖像和右眼圖像中的作為顏色校正對象的圖像的顏色進(jìn)行校正(校正處理)。換言之，本實施例的圖像處理裝置以改變分割區(qū)域設(shè)定方法的方式來分階段地校正左眼圖像或右眼圖像的顏色。
[0056]這里，將要由本實施例的圖像處理裝置處理的左眼圖像和右眼圖像可以是例如靜止圖像或形成運(yùn)動圖像的幀圖像。
[0057]此外，本實施例的處理對象的左眼圖像和右眼圖像的示例包括與由本實施例的圖像處理裝置從存儲部(稍后將會說明)或外部記錄介質(zhì)讀取的圖像數(shù)據(jù)對應(yīng)的圖像。注意，本實施例的處理對象的左眼圖像和右眼圖像不限于上述示例。例如，本實施例的處理對象的左眼圖像和右眼圖像可以是由通信部(稍后將會說明)接收到的信號所表示的圖像或由攝像部(稍后將會說明)拍攝到的圖像。
[0058]更具體地，本實施例的圖像處理裝置以一種分割區(qū)域設(shè)定方法在作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像中設(shè)定分割區(qū)域。然后，本實施例的圖像處理裝置基于這樣設(shè)定的分割區(qū)域來校正左眼圖像和右眼圖像中的不作為顏色校正對象的一者圖像(下文中有時稱作“基準(zhǔn)圖像”)與左眼圖像和右眼圖像中的作為顏色校正對象的另一者圖像(下文中有時稱作“校正對象圖像”)之間的顏色分歧(第一次顏色校正)。
[0059]在第一次顏色校正之后，本實施例的圖像處理裝置以都與所述一種分割區(qū)域設(shè)定方法不同的一種以上的其它分割區(qū)域設(shè)定方法在左眼圖像和右眼圖像中依次設(shè)定分割區(qū)域。然后，本實施例的圖像處理裝置基于所設(shè)定的分割區(qū)域來依次校正上述基準(zhǔn)圖像(一者圖像)與上述校正對象圖像(另一者圖像)之間的顏色分歧(第二次顏色校正或隨后的顏色校正)。
[0060]這里，本實施例的圖像處理裝置中的校正的次數(shù)(本實施例的區(qū)域設(shè)定處理和校正處理的次數(shù))的示例包括預(yù)先設(shè)定的固定的次數(shù)。預(yù)先設(shè)定的次數(shù)的示例包括“三次”(假設(shè)處理對象圖像的尺寸是1080P)。
[0061]注意，本實施例的圖像處理裝置中的校正的次數(shù)不限于上述數(shù)量。例如，本實施例的圖像處理裝置可通過參照查找表來設(shè)定用于處理對象的左眼圖像或右眼圖像的校正次數(shù)，在所述查找表中處理對象的尺寸和校正次數(shù)是彼此關(guān)聯(lián)的。本實施例的圖像處理裝置還可基于例如用戶操作來設(shè)定校正次數(shù)。
[0062]此外，在本實施例的區(qū)域設(shè)定處理中所設(shè)定的分割區(qū)域的數(shù)量例如與在本實施例的校正處理中將左眼圖像和右眼圖像彼此關(guān)聯(lián)(稍后將要說明)所必需的像素數(shù)量成反比例關(guān)系。同時，可以想到，在本實施例的校正處理中，為了將左眼圖像和右眼圖像彼此關(guān)聯(lián)(稍后將會說明)，具有圖像中的例如大約數(shù)十行(line)的區(qū)域是必需的。[0063]因此，本實施例的圖像處理裝置例如基于處理對象圖像的尺寸來設(shè)定在區(qū)域設(shè)定處理中所設(shè)定的分割區(qū)域的數(shù)量的最大值。當(dāng)在區(qū)域設(shè)定處理中以不等的間隔來設(shè)定在處理對象圖像中所設(shè)定的分割區(qū)域的邊界時(稍后將會說明的如何改變分割區(qū)域設(shè)定方法的示例)，本實施例的圖像處理裝置還可基于處理對象圖像的尺寸來設(shè)定分割區(qū)域的最小尺寸。
[0064]更具體地，當(dāng)基于分割區(qū)域的數(shù)量以相同的尺寸設(shè)定分割區(qū)域時(當(dāng)在處理對象圖像中以等間隔來設(shè)定所設(shè)定的分割區(qū)域之間的邊界時)，本實施例的圖像處理裝置例如在區(qū)域設(shè)定處理中通過參照表或數(shù)據(jù)庫來確定對于處理對象的左眼圖像或右眼圖像而言合適的分割區(qū)域的最大設(shè)定數(shù)，在所述表或數(shù)據(jù)庫中，處理對象圖像的尺寸與分割區(qū)域的最大設(shè)定數(shù)是彼此關(guān)聯(lián)的。當(dāng)將要設(shè)定的分割區(qū)域的尺寸不相同時(當(dāng)在處理對象圖像中以不等的間隔來設(shè)定所設(shè)定的分割區(qū)域之間的邊界時)，本實施例的圖像處理裝置例如在區(qū)域設(shè)定處理中通過參照表或數(shù)據(jù)庫來確定對于處理對象的左眼圖像或右眼圖像而言合適的分割區(qū)域的最大設(shè)定數(shù)以及分割區(qū)域的最小尺寸，在所述表或數(shù)據(jù)庫中，處理對象圖像的尺寸與分割區(qū)域的最大設(shè)定數(shù)及分割區(qū)域的最小尺寸是彼此關(guān)聯(lián)的。
[0065]在本實施例的區(qū)域設(shè)定處理中，本實施例的圖像處理裝置例如在垂直方向上分割左眼圖像和右眼圖像每一者以設(shè)定分割區(qū)域。這是因為垂直分割有效地應(yīng)對了垂直位置之間的在顏色分歧方面的差異。稍后將說明本實施例的圖像處理裝置使用垂直分割來設(shè)定分割區(qū)域的具體示例。毋需多言的是，本實施例的圖像處理裝置可以在水平方向上分割或者在水平方向上和垂直方向上分割左眼圖像和右眼圖像每一者。本實施例的圖像處理裝置還可以在整個左眼圖像和整個右眼圖像每一者中設(shè)定一個分割區(qū)域。
[0066]圖6是圖示了本實施例的圖像處理方法的處理的概要的說明圖。在圖6中，分別以“L”和“R”表示左眼圖像和右眼圖像。這里，圖6的A圖示了本實施例的圖像處理方法的第一次處理。圖6的B和圖6的C分別圖示了本實施例的圖像處理方法的第二次處理和第三次處理。圖6的D圖示了作為本實施例的圖像處理方法的處理結(jié)果而獲得的校正后的圖像的示例。圖6圖示了將右眼圖像設(shè)定為基準(zhǔn)圖像且將左眼圖像設(shè)定為校正對象圖像的示例。雖然為了便于說明圖6僅圖示了在左眼圖像中所設(shè)定的分割區(qū)域，但在右眼圖像中同樣也設(shè)定有分割區(qū)域。
[0067]如圖6的A所示，例如，在本實施例的圖像處理方法的第一次處理中，本實施例的圖像處理裝置在整個左眼圖像和整個右眼圖像每一者中設(shè)定一個分割區(qū)域(也即是，左眼圖像自身和右眼圖像每一者自身都是分割區(qū)域)(區(qū)域設(shè)定處理)。然后，本實施例的圖像處理裝置在所述一個所設(shè)定的分割區(qū)域中相對于作為基準(zhǔn)圖像的右眼圖像來校正左眼圖像(校正對象圖像)中的顏色分歧(校正處理)。注意，下文中將會說明本實施例的校正處理的具體示例。
[0068]當(dāng)完成了本實施例的圖像處理方法的第一次處理時，本實施例的圖像處理裝置進(jìn)行如圖6的B所示的以下處理。例如，在本實施例的圖像處理方法的第二次處理中，本實施例的圖像處理裝置通過分別將左眼圖像和右眼圖像在垂直方向上分割成兩個區(qū)域，從而在整個左眼圖像和整個右眼圖像中分別設(shè)定了兩個分割區(qū)域。然后，本實施例的圖像處理裝置進(jìn)一步在兩個所設(shè)定的分割區(qū)域的每一者中相對于作為基準(zhǔn)圖像的右眼圖像來校正左眼圖像(校正對象圖像)中的顏色分歧。[0069]當(dāng)完成了本實施例的圖像處理方法的第二次處理時，本實施例的圖像處理裝置進(jìn)行如圖6的C所示的以下處理。例如，在本實施例的圖像處理方法的第三次處理中，本實施例的圖像處理裝置通過分別將左眼圖像和右眼圖像在垂直方向上分割成四個區(qū)域，從而在整個左眼圖像和整個右眼圖像中分別設(shè)定了四個分割區(qū)域。然后，本實施例的圖像處理裝置進(jìn)一步在四個所設(shè)定的分割區(qū)域的每一者中相對于作為基準(zhǔn)圖像的右眼圖像來校正左眼圖像(校正對象圖像)的顏色分歧。
[0070]例如，如圖6的A至圖6的C所示，本實施例的圖像處理裝置以改變分割區(qū)域的設(shè)定數(shù)(分割區(qū)域設(shè)定方法的示例)的方式來依次設(shè)定分割區(qū)域。然后，本實施例的圖像處理裝置基于這樣依次設(shè)定的分割區(qū)域來校正作為基準(zhǔn)圖像的右眼圖像(一者圖像)和作為校正對象圖像的左眼圖像(另一者圖像)之間的顏色分歧。換言之，本實施例的圖像處理裝置進(jìn)行例如如圖6所示的處理作為本實施例的圖像處理方法的處理。因而，本實施例的圖像處理裝置對諸如整個圖像、二分割后的分割區(qū)域和四分割后的分割區(qū)域等在多次處理中設(shè)定的各種分割區(qū)域的每一者依次地分階段地校正顏色分歧。
[0071]由于在本實施例的圖像處理方法的處理中，例如以如圖6所示的改變分割區(qū)域設(shè)定方法的方式來分階段地校正顏色分歧，因此不僅能夠應(yīng)對整個圖像中的顏色分歧，還能夠應(yīng)對局部的顏色分歧。此外，由于在本實施例的圖像處理方法的處理中，例如以如圖6所示的改變分割區(qū)域設(shè)定方法的方式來分階段地校正顏色分歧，因此實現(xiàn)了發(fā)生例如因具有局部解的某種特定區(qū)域而導(dǎo)致的校正誤差的可能性的進(jìn)一步降低，所述具有局部解的某種特定區(qū)域是當(dāng)使用前述的用于應(yīng)對局部的顏色分歧的方法時(當(dāng)基于分割區(qū)域簡單地校正右眼圖像或左眼圖像時)可能會產(chǎn)生的。
[0072]因此，本實施例的圖像處理裝置通過進(jìn)行本實施例的圖像處理方法的處理(例如，區(qū)域設(shè)定處理和校正處理)，能夠提高作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像之間的顏色分歧的校正精度。
[0073]注意，在本實施例的圖像處理方法的區(qū)域設(shè)定處理中，如何改變分割區(qū)域設(shè)定方法不限于如圖6中所示的分割區(qū)域的設(shè)定數(shù)的變化。例如，本實施例的圖像處理裝置可以通過改變用于分別分割左眼圖像和右眼圖像的邊界的位置來改變分割區(qū)域設(shè)定方法。
[0074][2-2]本實施例的圖像處理方法的處理
[0075]接下來，將更具體地說明本實施例的圖像處理方法的處理。
[0076](I)區(qū)域設(shè)定處理
[0077]本實施例的圖像處理裝置在左眼圖像和右眼圖像中設(shè)定分割區(qū)域。此外，本實施例的圖像處理裝置以改變分割區(qū)域設(shè)定方法的方式來依次多次地設(shè)定分割區(qū)域。
[0078]這里，本實施例的圖像處理裝置例如通過如圖6中所示的改變分割區(qū)域的設(shè)定數(shù)來改變分割區(qū)域設(shè)定方法。如圖6所示，如何改變分割區(qū)域的數(shù)量的示例包括:在之前的設(shè)定中的分割區(qū)域的數(shù)量的基礎(chǔ)上增加分割區(qū)域的數(shù)量。注意，本實施例的如何改變分割區(qū)域的數(shù)量不限于上述情況。例如，本實施例的圖像處理裝置可在之前的設(shè)定中所設(shè)定的分害I]區(qū)域的數(shù)量的基礎(chǔ)上減小分割區(qū)域的數(shù)量。
[0079]注意，本實施例的如何改變分割區(qū)域設(shè)定方法不限于改變分割區(qū)域的設(shè)定數(shù)。
[0080]例如，本實施例的圖像處理裝置可通過改變將要設(shè)定的分割區(qū)域之間的邊界的位置來改變分割區(qū)域設(shè)定方法。這里，本實施例的圖像處理裝置確定分割區(qū)域之間的邊界的位置，例如使得所設(shè)定的分割區(qū)域的尺寸能夠等于或大于(或者能夠大于)基于處理對象圖像的尺寸而被設(shè)定的分割區(qū)域的最小尺寸。
[0081]即使在多次處理中使用相同數(shù)量的將要設(shè)定的分割區(qū)域，但由于改變了將要設(shè)定的分割區(qū)域之間的邊界的位置，因此所設(shè)定的分割區(qū)域的尺寸也發(fā)生變化。因而，能夠從一種不同的觀點來分階段地校正顏色。因此，當(dāng)通過改變將要設(shè)定的分割區(qū)域之間的邊界的位置來改變分割區(qū)域設(shè)定方法時，本實施例的圖像處理裝置也能夠提高作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像之間的顏色分歧的校正精度。
[0082]而且，本實施例的圖像處理裝置可以例如通過將改變分割區(qū)域的設(shè)定數(shù)與改變將要設(shè)定的分割區(qū)域之間的邊界的位置相結(jié)合，從而改變分割區(qū)域設(shè)定方法?？梢园凑障铝蟹绞絹砀淖兩鲜龅母鶕?jù)結(jié)合的分割區(qū)域設(shè)定方法。例如，“在第二次顏色校正中，在第一次顏色校正中所設(shè)定的分割區(qū)域的數(shù)量的基礎(chǔ)上增加分割區(qū)域的設(shè)定數(shù)。在第三次顏色校正中，在將分割區(qū)域的設(shè)定數(shù)保持為與第二次顏色校正中所設(shè)定的分割區(qū)域的數(shù)量相同的同時，在第二次顏色校正中所設(shè)定的分割區(qū)域之間的邊界的基礎(chǔ)上改變將要設(shè)定的分割區(qū)域之間的邊界的位置?！?br> [0083](2)校正處理
[0084]本實施例的圖像處理裝置基于在上述(I)的處理(區(qū)域設(shè)定處理)中所設(shè)定的分割區(qū)域來校正左眼圖像和右眼圖像中的校正對象圖像(另一者圖像)的顏色。此外，每次在上述(I)的處理(區(qū)域設(shè)定處理)中設(shè)定分割區(qū)域時，本實施例的圖像處理裝置校正所述校正對象圖像(另一者圖像)的顏色。
[0085]更具體地，基于左眼圖像和右眼圖像中的相互對應(yīng)的分割區(qū)域，本實施例的圖像處理裝置計算左眼圖像和右眼圖像之間的基于左眼圖像和右眼圖像每一者中的各色調(diào)的差值(顏色差值)(差值計算處理)。然后，在根據(jù)分割區(qū)域計算出來的基于色調(diào)的差值的基礎(chǔ)上，本實施例的圖像處理裝置校正左眼圖像和右眼圖像中的校正對象圖像(另一者圖像)的顏色(顏色校正處理)。
[0086](2-1)差值計算處理
[0087]本實施例的圖像處理裝置基于每個色調(diào)且基于左眼圖像和右眼圖像中的相互對應(yīng)的分割區(qū)域?qū)⒈硎咀笱蹐D像和右眼圖像各者的每個色調(diào)的像素數(shù)量的直方圖相關(guān)聯(lián)。然后，本實施例的圖像處理裝置基于關(guān)聯(lián)后的色調(diào)來計算左眼圖像和右眼圖像之間的差值。
[0088]注意，雖然本實施例的圖像處理裝置通過使用左眼圖像和右眼圖像本身來計算表示各分割區(qū)域中的每個色調(diào)的像素數(shù)量的直方圖，但本實施例的圖像處理裝置中的直方圖計算的處理不限于上述情況。
[0089]例如，本實施例的圖像處理裝置可以通過減少原始左眼圖像和原始右眼圖像的色調(diào)位數(shù)的方式來計算直方圖。用于減少原始左眼圖像和原始右眼圖像的色調(diào)位數(shù)的方法的示例包括刪除原始左眼圖像和原始右眼圖像的色調(diào)位(tone bit)中的較低M(M為正整數(shù))位。
[0090]如上所述，本實施例的圖像處理裝置以減少原始左眼圖像和原始右眼圖像的色調(diào)位數(shù)的方式來計算直方圖，由此能夠減小各色調(diào)中的度數(shù)的散亂(scattering)。如上所述的減少了原始左眼圖像和原始右眼圖像的色調(diào)位數(shù)的直方圖的計算減小了差值計算處理
的計算量。[0091]同時，本實施例的圖像處理裝置例如是不管分割區(qū)域設(shè)定方法如何都以減少原始左眼圖像和原始右眼圖像中的特定的色調(diào)位數(shù)的方式來計算直方圖。然而，本實施例的如何減少左眼圖像和右眼圖像中的色調(diào)位數(shù)不限于上述情況。例如，本實施例的圖像處理裝置可以例如根據(jù)分割區(qū)域設(shè)定方法來改變?nèi)绾螠p少左眼圖像和右眼圖像中的色調(diào)位數(shù)。
[0092]在減少原始左眼圖像和原始右眼圖像中的色調(diào)位的情況下，存在這樣的優(yōu)點:SP，能夠減小各色調(diào)中的度數(shù)的散亂，并且減小了差值計算處理的計算量。不過，隨著色調(diào)位的減少，顏色校正精度會下降。因此，本實施例的圖像處理裝置根據(jù)分割區(qū)域設(shè)定方法來改變?nèi)绾螠p少左眼圖像和右眼圖像中的色調(diào)位數(shù)，由此進(jìn)一步改變本實施例的圖像處理方法的分階段的顏色分歧校正。
[0093]如何減少左眼圖像和右眼圖像中的色調(diào)位數(shù)的示例包括以下方式。在第一次顏色校正中，以刪除了左眼圖像和右眼圖像中的色調(diào)位的較低三位的方式來計算直方圖。在第二次顏色校正中，以刪除了色調(diào)位的較低兩位的方式來計算直方圖。在第三次或隨后的顏色校正中，以刪除了色調(diào)位的較低一位的方式來計算直方圖。本實施例的圖像處理裝置例如通過參照查找表來根據(jù)分割區(qū)域設(shè)定方法改變?nèi)绾螠p少左眼圖像和右眼圖像中的色調(diào)位數(shù)，所述查找表是其中將分割區(qū)域設(shè)定方法與如何減少色調(diào)位數(shù)彼此關(guān)聯(lián)的查找表或者是其中將校正次數(shù)(或者稍后所述的處理循環(huán)次數(shù))與如何減少色調(diào)位數(shù)彼此關(guān)聯(lián)的查找表。通過例如以前述的方式來改變?nèi)绾螠p少左眼圖像和右眼圖像中的色調(diào)位數(shù)，本實施例的圖像處理裝置能夠以低精度進(jìn)行第一次顏色校正、以中等精度進(jìn)行第二次顏色校正并以高精度進(jìn)行第三次或隨后的顏色校正。毋需多言，如何減少左眼圖像和右眼圖像中的色調(diào)位數(shù)不限于以上所示的示例。
[0094]根據(jù)分割區(qū)域設(shè)定方法來改變?nèi)绾螠p少左眼圖像和右眼圖像中的色調(diào)位數(shù)使得能夠以一種更加不同的觀點來分階段地進(jìn)行顏色校正。而且，當(dāng)根據(jù)分割區(qū)域設(shè)定方法來改變?nèi)绾螠p少左眼圖像和右眼圖像中的色調(diào)位數(shù)時，本實施例的圖像處理裝置能夠提高作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像之間的顏色分歧的校正精度。
[0095]在例如如上所述基于分割區(qū)域計算出了指示每個色調(diào)的像素數(shù)量的直方圖后，本實施例的圖像處理裝置針對各分割區(qū)域基于色調(diào)將指示左眼圖像和右眼圖像各者的每個色調(diào)的像素數(shù)量的直方圖彼此關(guān)聯(lián)(匹配處理)。在該匹配處理中的基于色調(diào)的關(guān)聯(lián)后，本實施例的圖像處理裝置例如將每個色調(diào)的關(guān)聯(lián)的結(jié)果記錄在查找表(顏色查找表)中。
[0096]圖7是圖示了本實施例的圖像處理方法的處理的示例的說明圖，并且圖示了在本實施例的差值計算處理中的匹配處理的示例。
[0097]例如，如圖7中所示，本實施例的圖像處理裝置基于色調(diào)將指示左眼圖像和右眼圖像各者的每個色調(diào)的像素數(shù)量的直方圖彼此關(guān)聯(lián)。同時，本實施例的圖像處理裝置通過使用例如DP (動態(tài)規(guī)劃，Dynamic Programming)來選擇最低成本組合，由此基于色調(diào)將指示左眼圖像和右眼圖像各者的每個色調(diào)的像素數(shù)量的直方圖彼此關(guān)聯(lián)。注意，本實施例的差值計算處理中的匹配處理不限于使用DP的處理。例如，本實施例的圖像處理裝置能夠通過使用任意的一維匹配技術(shù)，基于色調(diào)將指示左眼圖像和右眼圖像各者的每個色調(diào)的像素數(shù)量的直方圖彼此關(guān)聯(lián)。
[0098]在基于色調(diào)將指示左眼圖像和右眼圖像的每個色調(diào)的像素數(shù)量的直方圖彼此關(guān)聯(lián)后，本實施例的圖像處理裝置基于色調(diào)來計算右眼圖像和左眼圖像中的一者圖像與另一者圖像的差值。例如，通過基于關(guān)聯(lián)后的色調(diào)從左眼圖像的度數(shù)中減去右眼圖像的度數(shù)，或者通過基于關(guān)聯(lián)后的色調(diào)從右眼圖像的度數(shù)中減去左眼圖像的度數(shù)，本實施例的圖像處理裝置計算出每個關(guān)聯(lián)后的色調(diào)的差值。
[0099]這里，如果通過使用計算出的差值來校正左眼圖像(原始圖像)或右眼圖像(原始圖像)，則能夠在一定程度上校正左眼圖像和右眼圖像之間的顏色分歧。然而，當(dāng)通過使用計算出的差值來校正左眼圖像(原始圖像)或右眼圖像(原始圖像)時，如同在使用上述的現(xiàn)有的圖像處理方法時可能發(fā)生的問題一樣，存在局部的顏色分歧的風(fēng)險。
[0100]注意，本實施例的圖像處理裝置中的差值計算處理不限于上述情況。如果通過使用憑借如上所述的簡單減法計算出的差值來校正左眼圖像(原始圖像)或右眼圖像(原始圖像)，能夠在一定程度上校正左眼圖像和右眼圖像之間的顏色分歧。然而，當(dāng)通過使用憑借如上所述的簡單減法計算出的差值來校正左眼圖像(原始圖像)或右眼圖像(原始圖像)時，存在局部的顏色分歧的風(fēng)險。 [0101]同時，本實施例的圖像處理裝置如上所述分階段地進(jìn)行顏色校正。這導(dǎo)致了:gp使在某個階段的處理中通過使用憑借如上所述的簡單減法計算出的差值來校正左眼圖像(原始圖像)或右眼圖像(原始圖像)，在最終被校正的左眼圖像或右眼圖像中發(fā)生局部的顏色分歧的可能性也是低的。不管怎樣，在各個階段的處理中發(fā)生局部的顏色分歧的可能性的降低使得能夠進(jìn)一步提高左眼圖像和右眼圖像之間的顏色分歧的校正精度。
[0102]因此，本實施例的圖像處理裝置在差值計算處理中可以通過進(jìn)行例如下面的(A)和(B)中所示的處理來計算差值。
[0103](A)根據(jù)第一示例的處理
[0104]本實施例的圖像處理裝置在差值計算處理中例如通過對如下面的公式I中所示的多項式進(jìn)行擬合(通過求得多項式的系數(shù))來計算差值。這里，所示出的公式I是在右眼圖像是基準(zhǔn)圖像的情況下的多項式的示例，并且也是在左眼圖像和右眼圖像分別具有8位的色調(diào)位數(shù)的情況下的多項式的示例。公式I中的字母“R”表示右眼圖像中的特定色調(diào)中的度數(shù)，而公式I中的字母“L”表示左眼圖像中的該色調(diào)中的度數(shù)。
[0105]
【權(quán)利要求】
1.一種圖像處理裝置，所述圖像處理裝置以一種分割區(qū)域設(shè)定方法在作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像每一者中設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來校正所述左眼圖像和所述右眼圖像中的不作為顏色校正對象的一者圖像與所述左眼圖像和所述右眼圖像中的作為顏色校正對象的另一者圖像之間的顏色分歧；并且所述圖像處理裝置以與所述一種分割區(qū)域設(shè)定方法不同的一種以上的其它分割區(qū)域設(shè)定方法在所述左眼圖像和所述右眼圖像中依次設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來依次校正所述一者圖像與所述另一者圖像之間的顏色分歧。
2.如權(quán)利要求1所述的圖像處理裝置，其包括: 區(qū)域設(shè)定部，所述區(qū)域設(shè)定部用于在所述左眼圖像和所述右眼圖像中設(shè)定分割區(qū)域；和 校正處理部，所述校正處理部用于基于所設(shè)定的分割區(qū)域來校正所述另一者圖像的顏色， 其中，所述區(qū)域設(shè)定部以改變分割區(qū)域設(shè)定方法的方式依次多次地設(shè)定分割區(qū)域，并且 其中，在每次設(shè)定分割區(qū)域時，所述校正處理部校正所述另一者圖像的顏色。
3.如權(quán)利要求2所述的圖像處理裝置，其中，所述區(qū)域設(shè)定部通過改變分割區(qū)域的設(shè)定數(shù)來改變分割區(qū)域設(shè)定方法。
4.如權(quán)利要求3所述的圖像處理裝置，其中，所述區(qū)域設(shè)定部在前一次設(shè)定中的分割區(qū)域的數(shù)量的基礎(chǔ)上增加分割區(qū)域的數(shù)量。
5.如權(quán)利要求2或3所述的圖像處理裝置，其中，所述區(qū)域設(shè)定部通過改變將要設(shè)定的分割區(qū)域之間的邊界的位置來改變分割區(qū)域設(shè)定方法。
6.如權(quán)利要求2至4中任一項所述的圖像處理裝置，其中，所述校正處理部在所述左眼圖像和所述右眼圖像中的相互對應(yīng)的分割區(qū)域的基礎(chǔ)上，基于色調(diào)將分別指示所述左眼圖像和所述右眼圖像中的每個色調(diào)的像素數(shù)量的直方圖彼此關(guān)聯(lián)，且基于關(guān)聯(lián)后的色調(diào)來計算所述左眼圖像和所述右眼圖像之間的差值，并且其中，所述校正處理部在依據(jù)分割區(qū)域計算出的基于色調(diào)的所述差值的基礎(chǔ)上校正所述另一者圖像的顏色。
7.如權(quán)利要求6所述的圖像處理裝置，其中，所述校正處理部使依據(jù)分割區(qū)域計算出的基于色調(diào)的所述差值在色調(diào)間平滑化，并且在平滑化后的基于色調(diào)的所述差值的基礎(chǔ)上校正所述另一者圖像的顏色。
8.如權(quán)利要求6所述的圖像處理裝置，其中，所述校正處理部使依據(jù)分割區(qū)域計算出的基于色調(diào)的所述差值在相鄰分割區(qū)域間平滑化，并且在平滑化后的基于色調(diào)的所述差值的基礎(chǔ)上校正所述另一者圖像的顏色。
9.如權(quán)利要求6所述的圖像處理裝置，其中，所述校正處理部使依據(jù)分割區(qū)域計算出的基于色調(diào)的所述差值先在色調(diào)間平滑化，然后在相鄰分割區(qū)域間平滑化，并且在平滑化后的基于色調(diào)的所述差值的基礎(chǔ)上校正所述另一者圖像的顏色。
10.如權(quán)利要求6所述的圖像處理裝置，其中，所述校正處理部以減少所述左眼圖像和所述右眼圖像的色調(diào)位數(shù)的方式來計算所述直方圖。
11.如權(quán)利要求10所述的圖像處理裝置，其中，所述校正處理部根據(jù)分割區(qū)域設(shè)定方法來改變?nèi)绾螠p少所述左眼圖像和所述右眼圖像的色調(diào)位數(shù)。
12.如權(quán)利要求10所述的圖像處理裝置，其中，如何減少所述左眼圖像和所述右眼圖像的色調(diào)位數(shù)包括刪除所述左眼圖像和所述右眼圖像的色調(diào)位中的較低則立，這里M是正整數(shù)。
13.一種圖像處理方法，其包括如下步驟: 以一種分割區(qū)域設(shè)定方法在作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像每一者中設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來校正所述左眼圖像和所述右眼圖像中的不作為顏色校正對象的一者圖像與所述左眼圖像和所述右眼圖像中的作為顏色校正對象的另一者圖像之間的顏色分歧；并且 以與所述一種分割區(qū)域設(shè)定方法不同的一種以上的其它分割區(qū)域設(shè)定方法在所述左眼圖像和所述右眼圖像中依次設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域依次校正所述一者圖像與所述另一者圖像之間的顏色分歧。
14.一種使計算機(jī)執(zhí)行如下步驟的程序，所述步驟包括: 以一種分割區(qū)域設(shè)定方法在作為立體圖像的構(gòu)成部分的左眼圖像和右眼圖像每一者中設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域來校正所述左眼圖像和所述右眼圖像中的不作為顏色校正對象的一者圖像與所述左眼圖像和所述右眼圖像中的作為顏色校正對象的另一者圖像之間的顏色分歧；并且 以與所述一種分割區(qū)域設(shè) 定方法不同的一種以上的其它分割區(qū)域設(shè)定方法在所述左眼圖像和所述右眼圖像中依次設(shè)定分割區(qū)域，且基于所設(shè)定的分割區(qū)域依次校正所述一者圖像與所述另一者圖像之間的顏色分歧。
【文檔編號】H04N1/60GK103685854SQ201310373772
【公開日】2014年3月26日 申請日期:2013年8月23日 優(yōu)先權(quán)日:2012年9月4日
【發(fā)明者】小森谷陽多, 土場健太郎 申請人:索尼公司