圖像處理設(shè)備以及圖像處理方法和程序的制作方法
【專(zhuān)利摘要】本發(fā)明提供了一種用于執(zhí)行涉及轉(zhuǎn)換成不同像素陣列的圖像的重排馬賽克處理的設(shè)備和方法。將其中排列了由相同顏色的多個(gè)像素組成的像素塊的馬賽克圖像作為輸入圖像進(jìn)行輸入，并且執(zhí)行將輸入圖像的像素陣列轉(zhuǎn)換成不同的像素陣列的重排馬賽克處理。在該重排馬賽克處理中，從輸入圖像的組成像素中，在作為顏色轉(zhuǎn)換的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處檢測(cè)八個(gè)方向上的像素值梯度，并且基于該八個(gè)方向上的像素值梯度，確定針對(duì)轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式，并且根據(jù)因此而確定的處理模式來(lái)計(jì)算轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值。例如，具有四部分拜耳RGB陣列的圖像將被轉(zhuǎn)換成拜耳陣列，在該四部分拜耳RGB陣列中，針對(duì)拜耳RGB陣列的每個(gè)顏色排列了2×2像素單元。
【專(zhuān)利說(shuō)明】圖像處理設(shè)備以及圖像處理方法和程序
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)內(nèi)容涉及一種圖像處理設(shè)備以及圖像處理方法和程序，特別地，涉及一種執(zhí)行針對(duì)圖像的重排馬賽克處理的圖像處理設(shè)備以及圖像處理方法和程序。
【背景技術(shù)】
[0002]諸如數(shù)碼相機(jī)這樣的成像設(shè)備中使用的成像元件被配置成使得在其上安裝例如由RGB陣列組成的濾色器，且特定波長(zhǎng)的光入射在像素上。
[0003]具體而言，經(jīng)常使用例如具有拜耳(Bayer)陣列的濾色器。
[0004]拜耳陣列捕獲的圖像是被稱(chēng)為馬賽克圖像的圖像，其中只有對(duì)應(yīng)于任何RGB顏色的像素值被設(shè)定到成像元件的像素。照相機(jī)的信號(hào)處理單元執(zhí)行去馬賽克處理等，在其中關(guān)于該馬賽克圖像執(zhí)行各種信號(hào)處理比如像素值內(nèi)插并且將針對(duì)RGB的所有像素值設(shè)定到像素，并且生成和輸出彩色圖像。
[0005]已經(jīng)進(jìn)行了很多關(guān)于用于為其提供根據(jù)該拜耳陣列的濾色器的捕獲的圖像的信號(hào)處理的研究，并且可以說(shuō)在某種程度上已經(jīng)在技術(shù)上建立了該信號(hào)處理。然而，目前，還沒(méi)有對(duì)關(guān)于針對(duì)具有與拜耳陣列不同的陣列的圖像的信號(hào)處理進(jìn)行足夠的研究。
[0006]一般的照相機(jī)中的信號(hào)處理的執(zhí)行經(jīng)常被設(shè)定成關(guān)于拜耳陣列圖像來(lái)執(zhí)行，并且如果成像元件的像素陣列是與拜耳陣列不同的陣列，那么可以通過(guò)將從成像元件輸入的圖像的像素陣列轉(zhuǎn)換成拜耳陣列并且將其輸入照相機(jī)信號(hào)處理單元來(lái)應(yīng)用公知的信號(hào)處理。
[0007]因此，關(guān)于除了拜耳陣列之外的像素陣列的捕獲的圖像，優(yōu)選地在輸入到照相機(jī)信號(hào)處理單元之前執(zhí)行作為初步處理的用于將來(lái)自成像元件的輸入圖像轉(zhuǎn)換成拜耳陣列的處理。這種類(lèi)型的像素陣列轉(zhuǎn)換處理被稱(chēng)為“重排馬賽克處理”。然而，有針對(duì)成像元件像素陣列的各種陣列，并且沒(méi)有充分公開(kāi)關(guān)于這些各種像素陣列的最佳重排馬賽克處理的常規(guī)技術(shù)。
[0008]應(yīng)該注意的是在例如專(zhuān)利文獻(xiàn)2 (JP11-29880A)和專(zhuān)利文獻(xiàn)3 (JP2000-69491A)中描述了具有與拜耳陣列不同的陣列的配置。
[0009]在這些專(zhuān)利文獻(xiàn)2和3中，實(shí)現(xiàn)了如下設(shè)置:多個(gè)相同顏色的像素，例如具有2X2像素的R像素、具有2X2像素的G像素以及具有2X2像素的B像素布置在成像元件(圖像傳感器)中，具有相同顏色的2X2像素的組成像素被設(shè)定成不同的曝光時(shí)間，并且執(zhí)行成像。專(zhuān)利文獻(xiàn)2和專(zhuān)利文獻(xiàn)3描述了其中借助于這種類(lèi)型的圖像傳感器捕獲的不同曝光時(shí)間的相同顏色的像素值進(jìn)行合成，并且獲得寬動(dòng)態(tài)范圍圖像的配置。
[0010]然而，這些文獻(xiàn)描述了基于多個(gè)不同曝光時(shí)間的像素值的合成生成寬動(dòng)態(tài)范圍圖像，而沒(méi)有公開(kāi)關(guān)于重排馬賽克處理的清楚的說(shuō)明。
[0011]引用列表
[0012]專(zhuān)利文獻(xiàn)
[0013]專(zhuān)利文獻(xiàn)I JP2Oll-O55O38A
[0014]專(zhuān)利文獻(xiàn)2 JP11-29880A[0015]專(zhuān)利文獻(xiàn)3 JP2000-69491A
【發(fā)明內(nèi)容】

[0016]本發(fā)明要解決的問(wèn)題
[0017]本公開(kāi)內(nèi)容將如上所述的問(wèn)題進(jìn)行考慮，并且其目的是提供執(zhí)行圖像處理的圖像處理設(shè)備和圖像處理方法以及程序，特別是針對(duì)由設(shè)置了具有與拜耳陣列不同的陣列的濾色器的成像元件捕獲的圖像執(zhí)行最佳重排馬賽克處理的圖像處理設(shè)備和圖像處理方法以及程序。
[0018]問(wèn)題的解決方案
[0019]本公開(kāi)內(nèi)容的第一方面是一種圖像處理設(shè)備，該圖像處理設(shè)備包括針對(duì)輸入圖像的像素信號(hào)執(zhí)行校正處理的圖像信號(hào)校正單元，
[0020]其中，所述圖像信號(hào)校正單元輸入馬賽克圖像作為所述輸入圖像，在所述馬賽克圖像中排列了由多個(gè)相同顏色的像素配置而成的像素塊，
[0021]從所述輸入圖像的組成像素中，對(duì)顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處的八個(gè)方向上的像素值梯度進(jìn)行檢測(cè)，
[0022]基于所述八個(gè)方向上的像素值梯度決定針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式，以及
[0023]根據(jù)決定的處理模式計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值。
[0024]此外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的一個(gè)實(shí)施方式中，圖像信號(hào)校正單元執(zhí)行用于輸入馬賽克圖像作為所述輸入圖像并且將所述輸入圖像的像素陣列轉(zhuǎn)換成不同的像素陣列的重排馬賽克處理，在所述馬賽克圖像中排列了由多個(gè)相同顏色的像素配置而成的像素塊，
[0025]以及所述圖像信號(hào)校正單元在所述重排馬賽克處理中，
[0026]從所述輸入圖像的組成像素中，對(duì)顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處的八個(gè)方向上的像素值梯度進(jìn)行檢測(cè)，
[0027]基于所述八個(gè)方向上的像素值梯度決定針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式，以及
[0028]根據(jù)決定的處理模式計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值。
[0029]另外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的實(shí)施方式中，圖像信號(hào)校正單元執(zhí)行用于將具有四部分拜耳型RGB陣列的圖像作為所述輸入圖像進(jìn)行輸入、并且將所述輸入圖像轉(zhuǎn)換成拜耳陣列的重排馬賽克處理，在所述四部分拜耳型RGB陣列中拜耳型RGB陣列的各顏色被實(shí)現(xiàn)為2X2像素單元的陣列。
[0030]另外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的實(shí)施方式中，圖像信號(hào)校正單元執(zhí)行下述處理:基于所述八個(gè)方向上的像素值梯度選擇在具有小的梯度的方向上的像素作為參考像素，并且借助于選擇的參考像素的像素值的混合處理來(lái)計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插
像素值。
[0031]另外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的實(shí)施方式中，在所述八個(gè)方向上的像素值梯度的最大值等于或小于預(yù)定閾值的情況下，所述圖像信號(hào)校正單元執(zhí)行如下處理:計(jì)算基于所述轉(zhuǎn)換目標(biāo)像素的周?chē)袼氐南袼刂档钠交蟮男盘?hào)作為針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值。
[0032]另外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的實(shí)施方式中，圖像信號(hào)校正單元，在針對(duì)所述八個(gè)方向上的像素值梯度的計(jì)算處理中，當(dāng)計(jì)算至少一個(gè)方向上的梯度時(shí)，
[0033]計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度信息，
[0034]其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度信息，以及
[0035]其中應(yīng)用了包括在所述輸入圖像中的不同顏色的像素的不同顏色分量梯度信息，并且通過(guò)將所述三項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度。
[0036]另外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的實(shí)施方式中，所述圖像信號(hào)校正單元，在針對(duì)所述八個(gè)方向上的像素值梯度的計(jì)算處理中，當(dāng)計(jì)算至少一個(gè)方向上的梯度時(shí)，
[0037]計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度，
[0038]其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度，以及
[0039]其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的中頻分量梯度，并且通過(guò)將所述三項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度。
[0040]另外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的實(shí)施方式中，所述圖像信號(hào)校正單元，在針對(duì)所述八個(gè)方向上的像素值梯度的計(jì)算處理中，當(dāng)計(jì)算至少一個(gè)方向上的梯度時(shí)，
[0041]計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度，以及
[0042]其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度，并且通過(guò)將所述兩項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度。
[0043]另外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的實(shí)施方式中，所述圖像信號(hào)校正單元，在針對(duì)所述八個(gè)方向上的像素值梯度的計(jì)算處理中，當(dāng)計(jì)算垂直方向和水平方向上的梯度時(shí)，
[0044]計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度信息，
[0045]其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度信息，以及
[0046]其中應(yīng)用了包括在所述輸入圖像中的不同顏色的像素的不同顏色分量梯度信息，并且通過(guò)將所述三項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度，
[0047]當(dāng)計(jì)算右上方45度方向和右下方45度方向上的梯度時(shí)，
[0048]計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度信息，
[0049]其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度信息，以及
[0050]其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的中頻分量梯度信息，并且通過(guò)將所述三項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度，
[0051]以及當(dāng)計(jì)算右上方22.5度方向上的梯度、右下方22.5度方向上的梯度、右上方67.5度方向上的梯度以及右下方67.5度方向上的梯度時(shí)，
[0052]計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度信息，以及
[0053]其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度信息，并且通過(guò)將所述兩項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度。
[0054]另外，在本公開(kāi)內(nèi)容的圖像處理設(shè)備的實(shí)施方式中，圖像信號(hào)校正單元執(zhí)行內(nèi)插像素值計(jì)算處理，在所述內(nèi)插像素值計(jì)算處理中，根據(jù)由所述多個(gè)相同顏色的像素配置成的像素塊的組成像素位置改變參考像素位置。
[0055]另外，本公開(kāi)內(nèi)容的第二方面是圖像處理設(shè)備中執(zhí)行的圖像處理方法，[0056]其中，所述圖像信號(hào)校正單元輸入馬賽克圖像作為輸入圖像，在所述馬賽克圖像中排列了由多個(gè)相同顏色的像素配置而成的像素塊，
[0057]并且執(zhí)行如下處理:從所述輸入圖像的組成像素中、對(duì)作為顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處的八個(gè)方向上的像素值梯度進(jìn)行檢測(cè)，
[0058]用于基于所述八個(gè)方向上的像素值梯度決定針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式的處理，以及
[0059]用于根據(jù)決定的處理模式計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值的處理。
[0060]另外，本公開(kāi)內(nèi)容的第三方面是一種使圖像處理設(shè)備中執(zhí)行圖像處理的程序，
[0061]其中，使圖像信號(hào)校正單元輸入馬賽克圖像作為輸入圖像，在所述馬賽克圖像中排列了由多個(gè)相同顏色的像素配置而成的像素塊，
[0062]以及執(zhí)行用于從所述輸入圖像的組成像素中對(duì)顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處的八個(gè)方向上的像素值梯度進(jìn)行檢測(cè)的處理，
[0063]用于基于所述八個(gè)方向上的像素值梯度決定針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式的處理，以及
[0064]用于根據(jù)決定的處理模式計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值的處理。
[0065]而且，本公開(kāi)內(nèi)容的程序是例如關(guān)于能夠執(zhí)行各種程序代碼的信息處理設(shè)備或者計(jì)算機(jī)系統(tǒng)以計(jì)算機(jī)可讀的格式提供的可以借助于存儲(chǔ)介質(zhì)或者通信介質(zhì)來(lái)提供的程序。通過(guò)提供計(jì)算機(jī)可讀的格式的這種類(lèi)型的程序，在信息處理設(shè)備或計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)了對(duì)應(yīng)于程序的處理。
[0066]借助于基于下文中描述的本公開(kāi)內(nèi)容的實(shí)施方式的更詳細(xì)的說(shuō)明以及附圖，本公開(kāi)內(nèi)容的另外的目的、特征以及優(yōu)點(diǎn)將變得明顯。應(yīng)該注意的是本說(shuō)明書(shū)中的系統(tǒng)是多個(gè)設(shè)備的邏輯集合配置，并且不局限為同一外殼之內(nèi)的組成設(shè)備。
[0067]本發(fā)明的效果
[0068]根據(jù)本公開(kāi)內(nèi)容的實(shí)施方式的配置，實(shí)現(xiàn)了用于執(zhí)行用于進(jìn)行轉(zhuǎn)換成不同的像素陣列的圖像的重排馬賽克處理的設(shè)備和方法。
[0069]具體而言，執(zhí)行了用于將其中排列了由多個(gè)相同顏色的像素配置成的像素塊的馬賽克圖像作為輸入圖像進(jìn)行輸入，并且將輸入圖像的像素陣列轉(zhuǎn)換成不同的像素陣列的的重排馬賽克。在該重排馬賽克處理中，從輸入圖像的組成像素中，在作為顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處對(duì)八個(gè)方向上的像素值梯度進(jìn)行檢測(cè)，基于八個(gè)方向上的像素值梯度來(lái)決定針對(duì)轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式，并且根據(jù)決定的處理模式來(lái)計(jì)算針對(duì)轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值。例如，將具有其中拜耳型RGB陣列的顏色實(shí)現(xiàn)為2X2像素單元的陣列的四部分拜耳型RGB陣列的圖像轉(zhuǎn)換成拜耳陣列。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0070]圖1是示出了成像元件的示例性配置的圖。
[0071]圖2是示出了圖像處理設(shè)備的示例性配置的圖。
[0072]圖3是描繪了示出由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的處理的流程圖的圖。
[0073]圖4是描繪了示出由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的處理的流程圖的圖。
[0074]圖5是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。[0075]圖6是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0076]圖7是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0077]圖8是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0078]圖9是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0079]圖10是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0080]圖11是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0081]圖12是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0082]圖13是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0083]圖14是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的方向確定處理的圖。
[0084]圖15是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的G內(nèi)插處理的圖。
[0085]圖16是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的G內(nèi)插處理的圖。
[0086]圖17是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的G內(nèi)插處理的圖。
[0087]圖18是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的G內(nèi)插處理的圖。
[0088]圖19是示出了由本公開(kāi)內(nèi)容的圖像處理設(shè)備執(zhí)行的RB估計(jì)處理的圖。
【具體實(shí)施方式】
[0089]在下文中參考附圖對(duì)本公開(kāi)內(nèi)容的圖像處理設(shè)備以及圖像處理方法和程序的詳情進(jìn)行描述。應(yīng)該注意的是根據(jù)下述項(xiàng)目給出說(shuō)明。
[0090]1.關(guān)于成像元件的示例性配置
[0091]2.關(guān)于圖像處理設(shè)備的示例性配置
[0092]3.關(guān)于圖像處理的特定示例
[0093]4.關(guān)于重排馬賽克處理的詳情
[0094]5.本公開(kāi)內(nèi)容的配置的概要
[0095][1.關(guān)于成像元件的示例性配置]
[0096]參考圖1對(duì)成像元件的示例性配置進(jìn)行描述。圖1描繪了下述三個(gè)成像元件的示例性配置。
[0097](I)拜耳陣列
[0098](2)四部分拜耳型RGB陣列
[0099](3) RGBW 型陣列
[0100](I)拜耳陣列是很多照相機(jī)中采用的陣列，并且或多或少建立了針對(duì)具有濾色器的捕獲的圖像的信號(hào)處理，其中該濾色器具有該拜耳陣列。
[0101]然而，關(guān)于(2)四部分拜耳型RGB陣列和(3)RGBW型陣列，目前仍然不能說(shuō)對(duì)關(guān)于針對(duì)由設(shè)置了這些濾色器的成像元件捕獲的圖像的信號(hào)處理進(jìn)行了足夠的研究。
[0102]應(yīng)該注意的是(2)四部分拜耳型RGB陣列等同于(I)中描繪的拜耳陣列的單個(gè)R、G和B像素被設(shè)定成四個(gè)像素的陣列。
[0103]下文中對(duì)執(zhí)行針對(duì)由成像元件捕獲的圖像的信號(hào)處理的圖像處理設(shè)備進(jìn)行描述，其中該成像元件設(shè)置了具有這種(2)四部分拜耳型RGB陣列的濾色器。
[0104][2.關(guān)于圖像處理設(shè)備的示例性配置]
[0105]圖2描繪了作為本公開(kāi)內(nèi)容的圖像處理設(shè)備的示例性配置的成像設(shè)備100的示例性配置。
[0106]如圖2所示，成像設(shè)備100具有光學(xué)透鏡105、成像元件(圖像傳感器)110、圖像處理單元120、存儲(chǔ)器130以及控制單元140。
[0107]應(yīng)注意，圖2中描繪的成像設(shè)備100是本公開(kāi)內(nèi)容的圖像處理設(shè)備的示例，并且本公開(kāi)內(nèi)容的圖像處理設(shè)備還包括諸如PC這樣的設(shè)備。諸如PC這樣的圖像處理設(shè)備不具有圖2中描繪的成像設(shè)備100的光學(xué)透鏡105和成像元件110，而是由其他組成元件配置而成，并且是具有針對(duì)成像設(shè)備100獲取的數(shù)據(jù)的輸入單元或者具有存儲(chǔ)單元的配置。
[0108]在下文中，作為本公開(kāi)內(nèi)容的圖像處理設(shè)備的代表性示例描述圖2中描繪的成像設(shè)備100。應(yīng)注意，圖2中描繪的成像設(shè)備100是靜態(tài)照相機(jī)或者視頻攝像機(jī)等。
[0109]圖2中描繪的成像設(shè)備100的成像元件(圖像傳感器)110是設(shè)置了參考圖1 (2)描述的四部分拜耳型RGB陣列組成的濾色器的配置，并且是設(shè)置了具有下述三種類(lèi)型的波譜特性的濾波器的成像元件:
[0110]透射近紅色波長(zhǎng)的紅色(R)，
[0111]透射近綠色波長(zhǎng)的綠色(G)，以及
[0112]透射近藍(lán)色波長(zhǎng)的藍(lán)色(B)。
[0113]如前面所述，四部分拜耳型RGB陣列等于其中圖1 (I)中描繪的拜耳陣列的單個(gè)像素被設(shè)成四個(gè)像素的陣列。
[0114]具有這種四部分拜耳型RGB陣列181的成像元件110將任何RGB的光經(jīng)由光學(xué)透鏡105接收在像素單元中，并且借助于光電轉(zhuǎn)換，生成并且輸出對(duì)應(yīng)于光接收信號(hào)強(qiáng)度的電信號(hào)。該成像元件110獲得了由RGB三種類(lèi)型的光譜形成的馬賽克圖像。
[0115]成像元件(圖像傳感器)110的輸出信號(hào)被輸入到圖像處理單元120的圖像信號(hào)校正單元200。
[0116]圖像信號(hào)校正單元200執(zhí)行將具有四部分拜耳型RGB陣列181的圖像轉(zhuǎn)換成通常的照相機(jī)中經(jīng)常使用的拜耳陣列182的處理。
[0117]換言之，進(jìn)行用于將具有圖1 (2)中描繪的四部分拜耳型RGB陣列的捕獲的圖像轉(zhuǎn)換成圖1 (I)中描繪的拜耳陣列的處理。
[0118]在下文中，這種類(lèi)型的顏色陣列轉(zhuǎn)換處理被稱(chēng)為重排馬賽克處理。
[0119]作為圖像信號(hào)校正單元200中的重排馬賽克處理的結(jié)果，生成具有圖2中描繪的拜耳陣列182的圖像，并且將該圖像輸入到RGB信號(hào)處理單元250。RGB信號(hào)處理單元250執(zhí)行與設(shè)置有公知拜耳陣列濾色器的照相機(jī)中的信號(hào)處理單元的處理相同的處理，例如WB(白平衡)調(diào)整以及用于給像素設(shè)定RGB像素值的去馬賽克處理等，并且生成和輸出彩色圖像183。將彩色圖像183存儲(chǔ)在存儲(chǔ)器130中。
[0120]而且，將來(lái)自控制單元140的控制信號(hào)輸入到光學(xué)透鏡105、成像元件110以及圖像處理單元120，并且執(zhí)行成像處理控制和信號(hào)處理控制。根據(jù)例如存儲(chǔ)在存儲(chǔ)器130中的程序，控制單元140根據(jù)來(lái)自未示出的輸入單元的用戶(hù)輸入執(zhí)行例如除了成像之外的各種類(lèi)型的處理。
[0121][3.關(guān)于圖像處理的特定示例]
[0122]接著，參考圖3和其后的附圖對(duì)圖2的圖像處理單元120中執(zhí)行的處理進(jìn)行描述。
[0123]圖3 Ca)是描繪了圖像處理單元120中執(zhí)行的整個(gè)處理的整個(gè)信號(hào)處理序列。[0124]首先，在步驟SlOl中，從成像元件110輸入捕獲的圖像。
[0125]該捕獲的圖像是具有四部分拜耳型RGB陣列181的圖像。
[0126]接著，在步驟S102中，執(zhí)行重排馬賽克處理。這是由圖2中描繪的圖像信號(hào)校正單元200執(zhí)行的處理，并且是用于將具有四部分拜耳型RGB陣列181的捕獲的圖像轉(zhuǎn)換成拜耳陣列182的處理。
[0127]圖3 (b)中描繪的流程中描繪了該處理的詳情。在下文中對(duì)該處理進(jìn)行描述。
[0128]當(dāng)在步驟S102中完成了重排馬賽克處理時(shí)，作為重排馬賽克處理的結(jié)果，生成圖2中描繪的具有拜耳陣列182的圖像。
[0129]步驟S103和其后的步驟是由圖2中描繪的RGB信號(hào)處理單元250進(jìn)行的處理，并且是在普通照相機(jī)中執(zhí)行的信號(hào)處理。
[0130]在步驟S103中，執(zhí)行白平衡(WB)調(diào)整處理。
[0131]在步驟S104中，執(zhí)行用于給像素設(shè)定RGB像素值的去馬賽克處理。
[0132]在步驟S105中，執(zhí)行用于移除混合的顏色等的線性矩陣(LMTX)處理。
[0133]最后，在步驟S106中，生成圖2中描繪的彩色圖像183，并且將其作為輸出圖像輸出。
[0134]根據(jù)圖3 (b)中描繪的流程執(zhí)行步驟S102的重排馬賽克處理。這是用于將四部分拜耳型RGB陣列圖像轉(zhuǎn)換成拜耳陣列圖像的處理。
[0135]應(yīng)注意，參考圖4和其后的附圖對(duì)重排馬賽克處理的細(xì)節(jié)另外地進(jìn)行詳細(xì)描述。
[0136]首先，參考圖3 (b)中描繪的流程對(duì)重排馬賽克處理的概要進(jìn)行描述。
[0137]首先，在步驟S151中，針對(duì)作為輸入圖像的四部分拜耳型RGB陣列圖像的像素值梯度進(jìn)行方向確定。這是等同于被稱(chēng)為邊緣方向確定的處理。
[0138]接著，在步驟S152中，進(jìn)行估計(jì)并且設(shè)定針對(duì)四部分拜耳型RGB陣列圖像中的RB位置的G像素值的G內(nèi)插處理。在該內(nèi)插處理時(shí)，進(jìn)行其中應(yīng)用了在步驟SZ151中計(jì)算的像素值梯度信息的內(nèi)插處理，并且在具有小的像素值梯度的方向上的像素值被用作參考像素值。
[0139]另外，在步驟S153中，對(duì)G信號(hào)位置處的RB像素值進(jìn)行估計(jì)。該估計(jì)處理是基于G像素值和RB像素值在預(yù)定本地區(qū)域中具有固定相關(guān)性的估計(jì)來(lái)進(jìn)行的。
[0140]借助于這些步驟S152和步驟S153的處理，執(zhí)行基本像素值設(shè)置:將具有四部分拜耳型RGB陣列181的捕獲的圖像轉(zhuǎn)換成拜耳陣列182。
[0141]另外，步驟S154中的假彩色檢測(cè)和步驟S155中的假彩色校正與該處理并行地執(zhí)行。
[0142]如果輸入到成像元件(圖像傳感器)110的信號(hào)中包括其中超過(guò)成像元件(圖像傳感器)110的奈奎斯特(Nyquist)頻率(采樣頻率的1/2的頻率)的信號(hào)，那么發(fā)生基于采樣定理的混淆(折疊)，這是發(fā)生圖像質(zhì)量劣化的因素，具體而言即假彩色。
[0143]在步驟S154至步驟S155中，執(zhí)行這種類(lèi)型的假彩色檢測(cè)和假彩色校正。
[0144]在步驟S156中，生成并且輸出其中反映了步驟S154至步驟S155中的假彩色檢測(cè)和假彩色校正的結(jié)果的拜耳陣列圖像。
[0145][4.關(guān)于重排馬賽克處理的細(xì)節(jié)]
[0146]接著，參考圖4中描繪的流程圖和圖5以及其后的附圖的處理示例對(duì)重排馬賽克處理的細(xì)節(jié)進(jìn)行描述。
[0147]圖4中描繪的流程圖是對(duì)應(yīng)于圖3 Ca)的整個(gè)處理流程的步驟S102的處理的流程圖，并且更詳細(xì)地描繪了圖3 (b)的流程。
[0148]對(duì)圖4中描繪的流程進(jìn)行描述。圖4中描繪的流程是示出了圖2中描繪的圖像信號(hào)校正單元200中執(zhí)行的重排馬賽克處理的序列的流程。
[0149]圖2中描繪的圖像信號(hào)校正單元200從成像元件110順序輸入四部分拜耳型RGB陣列圖像的像素值，并且根據(jù)圖4中描繪的流程執(zhí)行處理。
[0150]首先，在步驟S201中，確定輸入像素值是否為G像素。
[0151]如果輸入像素值不是G像素，換言之，如果輸入像素值是RB像素，那么處理進(jìn)行至步驟S202，并且進(jìn)行方向確定。
[0152]該方向確定是用于確定像素值的梯度(grad)的處理，并且作為與邊緣方向確定相同的處理來(lái)執(zhí)行。
[0153]參考圖5及其后的附圖對(duì)步驟S202的方向確定處理進(jìn)行描述。
[0154]如圖5所示，關(guān)于總共八個(gè)方向計(jì)算像素值的梯度(grad)，八個(gè)方向包括以下四個(gè)方向:
[0155]水平方向(H)，
[0156]垂直方向(V)，
[0157]右上方45度方向(A)，以及
[0158]右下方45度方向(D)，
[0159]以及，另外，還有下述四個(gè)方向，
[0160]右上方22.5度方向(A2)，
[0161]右上方67.5度方向(A3),
[0162]右下方22.5度方向(D2)，以及
[0163]右下方67.5度方向(D3)。
[0164]關(guān)于先前參考圖1 (2)描述的四部分拜耳型RGB陣列，針對(duì)相同顏色分量的采樣間隔與圖1 (I)中描繪的拜耳陣列相比是稀疏的，因此在1/2奈奎斯特頻率上發(fā)生折疊。
[0165]為了準(zhǔn)確地檢測(cè)這種類(lèi)型的頻率折疊模式，在本公開(kāi)內(nèi)容的方向確定中，如上所述，在數(shù)量較大的八個(gè)方向上執(zhí)行確定。
[0166]而且，在本實(shí)施方式中，當(dāng)在這種數(shù)量較大的方向上進(jìn)行梯度檢測(cè)時(shí)，例如，除了如圖6中描繪的那樣通過(guò)只選擇來(lái)自梯度方向的相同顏色的像素計(jì)算的梯度信息之外，還進(jìn)行其中通過(guò)將不同顏色之間的像素值進(jìn)行比較而獲得的水平/垂直梯度進(jìn)行檢測(cè)的處理，并且考慮到了這種通過(guò)將不同顏色之間的像素值進(jìn)行比較而獲得的水平/垂直梯度。應(yīng)該注意的是，當(dāng)執(zhí)行借助于不同顏色像素值的這種類(lèi)型的梯度檢測(cè)時(shí)，優(yōu)選地在應(yīng)用于梯度檢測(cè)的像素的白平衡(WB)被調(diào)整了以后再執(zhí)行借助于不同顏色像素值的這種類(lèi)型的梯度檢測(cè)。參考圖7及其后的附圖對(duì)每個(gè)方向上的梯度檢測(cè)處理的詳情進(jìn)行描述。
[0167](水平方向(H)梯度:gradH)
[0168]圖7中描繪的示例描繪了對(duì)應(yīng)于圖7中描繪的6X6像素中的坐標(biāo)位置(2，2)的水平方向(H)梯度計(jì)算處理示例。
[0169]基于下述數(shù)據(jù)計(jì)算水平方向(H)梯度。[0170]低頻分量水平方向(H)梯度:gradH_low
[0171]高頻分量水平方向(H)梯度:gradH_high
[0172]不同顏色分量水平方向(H)梯度:gradH_color
[0173]應(yīng)注意，I (X，y)是坐標(biāo)(X，y)的位置處的像素值。
[0174]abs ()表示絕對(duì)值。
[0175]根據(jù)下式計(jì)算對(duì)應(yīng)于圖7中描繪的6X6像素中的坐標(biāo)位置(2，2)的水平方向(H)梯度，即 gradH (2，2)。
[0176][數(shù)學(xué)式I]
[0177]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括執(zhí)行針對(duì)輸入圖像的像素信號(hào)的校正處理的圖像信號(hào)校正單元， 其中，所述圖像信號(hào)校正單元輸入馬賽克圖像作為所述輸入圖像，在所述馬賽克圖像中排列了由多個(gè)相同顏色的像素配置而成的像素塊， 從所述輸入圖像的組成像素中，對(duì)作為顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處的八個(gè)方向上的像素值梯度進(jìn)行檢測(cè)， 基于所述八個(gè)方向上的像素值梯度決定針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式，以及 根據(jù)決定的處理模式計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述圖像信號(hào)校正單元執(zhí)行用于輸入馬賽克圖像作為所述輸入圖像并且將所述輸入圖像的像素陣列轉(zhuǎn)換成不同的像素陣列的重排馬賽克處理，在所述馬賽克圖像中排列了由多個(gè)相同顏色的像素配置而成的像素塊， 以及，所述圖像信號(hào)校正單元在所述重排馬賽克處理中， 從所述輸入圖像的組成像素中，對(duì)顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處的八個(gè)方向上的像素值梯度進(jìn)行檢測(cè)， 基于所述八個(gè)方向上的像素值梯度決定針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式，以及 根據(jù)決定的處理模式計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述圖像信號(hào)校正單元執(zhí)行用于將具有四部分拜耳型RGB陣列的圖像作為所述輸入圖像進(jìn)行輸入、并且將所述輸入圖像轉(zhuǎn)換成拜耳陣列的重排馬賽克處理，在所述四部分拜耳型RGB陣列中拜耳型RGB陣列的各顏色被實(shí)現(xiàn)為2X2像素單元的陣列。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述圖像信號(hào)校正單元執(zhí)行下述處理:基于所述八個(gè)方向上的像素值梯度選擇在具有小的梯度的方向上的像素作為參考像素，并且借助于選擇的參考像素的像素值的混合處理來(lái)計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，在所述八個(gè)方向上的像素值梯度的最大值等于或小于預(yù)定閾值的情況下，所述圖像信號(hào)校正單元執(zhí)行如下處理:計(jì)算基于所述轉(zhuǎn)換目標(biāo)像素的周?chē)袼氐南袼刂档钠交蟮男盘?hào)作為針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述圖像信號(hào)校正單元， 在針對(duì)所述八個(gè)方向上的像素值梯度的計(jì)算處理中， 當(dāng)計(jì)算至少一個(gè)方向上的梯度時(shí)， 計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度信息， 其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度信息，以及其中應(yīng)用了包括在所述輸入圖像中的不同顏色的像素的不同顏色分量梯度信息，并且通過(guò)將所述三項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述圖像信號(hào)校正單元， 在針對(duì)所述八個(gè)方向上的像素值梯度的計(jì)算處理中， 當(dāng)計(jì)算至少一個(gè)方向上的梯度時(shí)， 計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度， 其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度，以及其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的中頻分量梯度，并且通過(guò)將所述三項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述圖像信號(hào)校正單元， 在針對(duì)所述八個(gè)方向上的像素值梯度的計(jì)算處理中， 當(dāng)計(jì)算至少一個(gè)方向上的梯度時(shí)， 計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度，以及其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度，并且通過(guò)將所述兩項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述圖像信號(hào)校正單元， 在針對(duì)所述八個(gè)方向上的像素值梯度的計(jì)算處理中， 當(dāng)計(jì)算垂直方向和水平方向上的梯度時(shí)， 計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度信息， 其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度信息，以及其中應(yīng)用了包括在所述輸入圖像中的不同顏色的像素的不同顏色分量梯度信息，并且通過(guò)將所述三項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度， 當(dāng)計(jì)算右上方45度方向和右下方45度方向上的梯度時(shí)， 計(jì)算其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度信息， 其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度信息，以及其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的中頻分量梯度信息，并且通過(guò)將所述三項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度， 以及當(dāng)計(jì)算右上方22.5度方向上的梯度、右下方22.5度方向上的梯度、右上方67.5度方向上的梯度以及右下方67.5度方向上的梯度時(shí)， 計(jì)算其中 應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的低頻分量梯度信息，以及其中應(yīng)用了包括在所述輸入圖像中的相同顏色的像素的高頻分量梯度信息，并且通過(guò)將所述兩項(xiàng)梯度信息進(jìn)行加權(quán)求和來(lái)計(jì)算像素值梯度。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述圖像信號(hào)校正單元執(zhí)行內(nèi)插像素值計(jì)算處理，在其中，根據(jù)由所述多個(gè)相同顏色的像素配置成的像素塊的組成像素位置改變參考像素位置。
11.一種在圖像處理設(shè)備中執(zhí)行的圖像處理方法， 其中，所述圖像信號(hào)校正單元輸入馬賽克圖像作為輸入圖像，在所述馬賽克圖像中排列了由多個(gè)相同顏色的像素配置而成的像素塊，并且執(zhí)行如下處理:檢測(cè)所述輸入圖像的組成像素中作為顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處的八個(gè)方向上的像素值梯度， 用于基于所述八個(gè)方向上的像素值梯度決定針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式的處理，以及 用于根據(jù)決定的處理模式計(jì)算針對(duì)所述轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值的處理。
12.一種使得圖像處理設(shè)備中執(zhí)行圖像處理的程序， 其中，使得圖像信號(hào)校正單元: 輸入馬賽克圖像作為輸入圖像，在所述馬賽克圖像中排列了由多個(gè)相同顏色的像素配置而成的像素塊， 以及執(zhí)行用于檢測(cè)所述輸入圖像的組成像素中、作為顏色轉(zhuǎn)換處理的目標(biāo)的轉(zhuǎn)換目標(biāo)像素位置處的八個(gè)方向上的像素值梯度的處理， 用于基于所述八個(gè)方向上的像素值梯度決定針對(duì)所述轉(zhuǎn)換目標(biāo)像素的內(nèi)插像素值計(jì)算模式的處理，以及 用于根據(jù)決定的處理模式計(jì)算針`對(duì)所述轉(zhuǎn)換目標(biāo)像素位置的內(nèi)插像素值的處理。
【文檔編號(hào)】H04N9/07GK103765876SQ201280040908
【公開(kāi)日】2014年4月30日 申請(qǐng)日期:2012年6月29日 優(yōu)先權(quán)日:2011年8月31日
【發(fā)明者】館真透 申請(qǐng)人:索尼公司