專利名稱：圖像拾取設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像拾取設(shè)備，并且尤其涉及一種具有對所獲取的圖像執(zhí) 行校正倍率色像差的處理的功能的圖像拾取設(shè)備。
背景技術(shù)：
近年來， 一直存在提供諸如用作車輛的倒車監(jiān)視器(back monitor)等廣 角圖像拾取設(shè)備的需求。然而，隨著角度變得更寬，倍率色像差和失真像差也 會隨之增大。結(jié)果，很難設(shè)計出一種具有小像差的光學(xué)系統(tǒng)。出于這個原因， 需要通過組合圖像處理與圖像拾取操作以提高性能。
在現(xiàn)有技術(shù)中，存在可校正成像器件的像差的方法，其中該成像器件包括 了具有倍率色像差和失真像差的光學(xué)系統(tǒng)。 一個示例是變換R(紅色)、G(綠 色)、B (藍色)信號的坐標(biāo)的方法，其中R (紅色)、G (綠色)、B (藍色) 信號是利用諸如CCD或CMOS傳感器等圖像傳感器所獲取的，并且在后續(xù)階 段對于RGB分量中的每一個獨立單獨地執(zhí)行上述變換。相應(yīng)地，同時校正倍 率色像差和失真像差。在另一種方法中，忽略了倍率色像差，通過將RBG分 量的坐標(biāo)一起變換來只校正失真像差(例如，參見專利文件l)。在此方法中， 固定了坐標(biāo)變換參數(shù)。
專利文件1:日本^Hf專利申請No. 2006-345054
在具有像差校正處理功能的圖像拾取設(shè)備中，對利用具有大倍率色像差的 光學(xué)系統(tǒng)捕捉的圖像執(zhí)行倍率色像差校正。然而，卻存在由于執(zhí)行倍率色像差 校正而造成圖像質(zhì)量下降的情況，這與所期望得到的效果相反。例如，在車載 相機的情況下，當(dāng)車輛進入隧道中并且隧道的光源是鈉燈時，會由于倍率色像 差校正而造成圖像質(zhì)量下降，這與所期望得到的效果相反。當(dāng)打開/關(guān)閉車輛 的各種燈時會看到相同的結(jié)果。
這是由于光源(照明光)具有不同的波長分布(光譜)。相應(yīng)地，當(dāng)與波 長分布中的一個相對應(yīng)地設(shè)定倍率色像差的坐標(biāo)變換參數(shù)并且隨后光從一種變?yōu)榱硪环N時，圖像的色彩會變得模糊。因此，為了在執(zhí)行倍率色像差校正時
獲得較高質(zhì)量的圖像，倍率色像差校正的坐標(biāo)變換參數(shù)需要根據(jù)照明光的光譜
而變化。然而，在現(xiàn)有^t術(shù)中，坐標(biāo)變換系數(shù)被固定，因此當(dāng)光源或照明光改
變時，倍率色像差校正會不可避免地造成圖像質(zhì)量的下降，這與所期望得到的
效果相反。

發(fā)明內(nèi)容
本發(fā)明提供了 一種可解決上面所述的 一個或多個不利方面的圖像拾取設(shè)備。
本發(fā)明的優(yōu)選實施例提供了 一種諸如車載相機的圖像拾取設(shè)備，當(dāng)對具有 高倍率色像差的光學(xué)系統(tǒng)捕捉的圖像執(zhí)行倍率色像差校正時，利用該圖像拾取 設(shè)備，通過防止由于光源或照明光的改變所引起的圖像質(zhì)量的下降，可獲得高 質(zhì)量的圖像。
根據(jù)本發(fā)明的方面，提供了一種圖像拾取設(shè)備，包括廣角的光學(xué)系統(tǒng)， 在光學(xué)系統(tǒng)中至少倍率色像差是大的；圖像傳感器，用來讀取通過光學(xué)系統(tǒng)所 拾取的圖像；以及，倍率色像差校正單元，用來通過對圖像傳感器讀取的圖像 執(zhí)行坐標(biāo)變換，執(zhí)行倍率色像差校正，其中倍率色像差校正單元包括用于倍 率色像差校正的多個坐標(biāo)變換參數(shù)，并且在改變光源或照明光的情況下切換用 于倍率色像差校正的坐標(biāo)變換參數(shù)。
根據(jù)本發(fā)明的一個實施例，提供了 一種具備可執(zhí)行倍率色像差校正功能 的、諸如車載相機的圖像拾取設(shè)備，當(dāng)對圖像執(zhí)行倍率色像差校正時，利用該 圖像拾取設(shè)備，通過防止由于光源或照明光的改變所引起的圖像質(zhì)量的下降， 可獲得高質(zhì)量的圖像。


當(dāng)參考附圖閱讀如下的具體實施方式
時可以更加清楚本發(fā)明的其他目的， 特征和優(yōu)點，其中
圖1是根據(jù)本發(fā)明實施例的圖像拾取設(shè)備的示例的功能方框圖； 圖2A至圖2C示出了拜耳陣列彩色濾波器； 圖3是MTF校正單元的示意圓； 圖4示出了 FIR濾波器的示例；圖5是用來說明倍率色像差和失真像差的示意圖； 圖6示意性地說明了同時校正倍率色像差和失真像差的方法； 圖7A和圖7B示意性地說明了單獨地校正倍率色像差和失真像差的方法； 圖8示出了倍率色像差校正單元的實施例； 圖9示出了倍率色像差校正坐標(biāo)變換算術(shù)電路的第一示例； 圖IO示出了倍率色像差校正坐標(biāo)變換算術(shù)電路的第二示例； 圖11示出了倍率色像差校正坐標(biāo)變換算術(shù)電路的第三示例；以及 圖12示出了根據(jù)本發(fā)明實施例的失真像差校正單元。
具體實施例方式
參考所附的附圖，給出了關(guān)于本發(fā)明實施例的描述。 本實施例描述了 一種通過使用光學(xué)系統(tǒng)捕捉對象的圖像的圖像拾取設(shè)備， 其中該光學(xué)系統(tǒng)在寬的視角上具有大的倍率色像差和大的歪斜像差(skew aberration)。在本實施例中，圖像處理系統(tǒng)除倍率色像差校正之外還執(zhí)行失真 像差校正；然而，本發(fā)明的主要特征在于倍率色像差校正。圖像可以是通過使 用寬視角的光學(xué)系統(tǒng)捕捉的任意圖像，其中至少倍率色像差是大的。進一步， 在下面的具體實施方式
中圖像的顏色分量是紅色(R)、綠色(G)、以及藍色 (B)三種原色。然而，顏色分量還可以是黃色(Y)、紅紫色(M)、以及藍 綠色(C)三種減色法原色。
圖1是根據(jù)本發(fā)明實施例的圖像拾取設(shè)備中的圖像處理系統(tǒng)的示例的功 能性方框圖。盡管在圖1中沒有示出，該圖像拾取設(shè)備還包括操作單元、圖像 存儲單元、以及圖像顯示單元。假設(shè)該圖像拾取設(shè)備用作車載相機；盡管該圖 像拾取設(shè)備的用途并未局限于此(可用作店內(nèi)相機等)。
在圖1中，控制單元100通過向圖像拾取設(shè)備中的各個單元提供所需的控 制信號(時鐘、水平/垂直同步信號等)，按照流水線方式控制該圖像拾取設(shè)備 中的各個單元的操作?？刂茊卧?00包括倍率色像差坐標(biāo)變換參數(shù)切換控制單 元105，以便當(dāng)光源或照明光改變時，向倍率色像差校正單元140發(fā)送用來切 換倍率色像差校正的坐標(biāo)變換參數(shù)的切換控制信號。倍率色像差坐標(biāo)變換參數(shù) 切換控制單元105可單獨地設(shè)置在控制單元100之外。
例如，圖像傳感器IIO可以是用來將利用在廣角范圍內(nèi)具有大的倍率色像差和大的失真像差的光學(xué)系統(tǒng)(未示出)捕捉到的光學(xué)圖像轉(zhuǎn)換成電信號(圖
像信號)的CCD或CMOS傳感器。圖像傳感器110具有拜耳陣列彩色濾波器。 基于從控制單元100接收到的坐標(biāo)值(x， y )順序地輸出拜耳陣列的RGB圖 像數(shù)據(jù)。通過控制單元100的延遲定時，將向圖像傳感器110提供的坐標(biāo)值(x， y)順序地提供到后續(xù)階段?；谳斎霑r鐘、水平/垂直同步信號等在圖像傳感 器110中生成坐標(biāo)值(x, y)，并且將這些坐標(biāo)值順序地提供給圖像傳感器110 的后續(xù)階段。
A/D轉(zhuǎn)換器120將作為圖像傳感器IIO輸出的模擬信號的拜耳陣列的RGB 圖像數(shù)據(jù)轉(zhuǎn)換成數(shù)字信號，并且將所得到的數(shù)字信號發(fā)送到拜耳補充(Bayer complementary)單元130。例如，對于R、 G、 B中的每一個，數(shù)字信號可以 由8比特來表示。通常，在A/D轉(zhuǎn)換器120之前的階段設(shè)置有AGC電路，但 是在這里省略了 AGC電路。
拜耳補充單元130接收已被轉(zhuǎn)換成數(shù)字信號的拜耳陣列的RGB圖像數(shù)據(jù)。 拜耳補充單元130執(zhí)行線性補充以i"更對RGB中每一種顏色單獨地生成所有坐 標(biāo)位置的圖像數(shù)據(jù)(像素數(shù)據(jù))。隨后拜耳補充單元130將圖像數(shù)據(jù)發(fā)送到倍 率色像差4交正單元140。
圖2A至圖2C是拜耳陣列彩色濾波器的示意圖。Go從如下的等式中得到。
G0=(G2+G4+G6+G8)/4 (1)
進一步，R2、 R4、 R6、 R8、 Ro從如下的等式中得到。
Rf(R,+R3)/2 (2)
R4=(R3+R5)/2 (3)
R6=(R5+R7)/2 (4)
RHR一R7)/2 (5)
RC+R3+Rs+R7)/4 (6)
獲得B2、 B4、 B6、 Bs和Bo的方法與獲得R2、 R4、 R6、 Rg和Ro的方法是 相同的，因此不再進一步描述。
在本實施例中，給出了具有拜耳陣列的彩色濾波器的圖像傳感器的描述。 然而，對于采用諸如CMYG陣列或RGB+Ir (紅外)陣列的另一種陣列的彩色 濾波器的圖像傳感器而言也可獲得相同的效果。由于倍率色像差校正需要低等待時間的存儲器或四端口 RAM,因此這種具有四種顏色的彩色濾波器陣列的 圖像傳感器比具有例如RGB的三種顏色的彩色濾波器陣列的圖像傳感器更有 效。
倍率色像差校正單元140接收已經(jīng)經(jīng)過了拜耳補充后的RGB圖像數(shù)據(jù)。 在倍率色像差校正單元140中，通過使用諸如多項式等式的坐標(biāo)變換公式，對 R、 G、 B中的每一種顏色分量單獨地執(zhí)行坐標(biāo)變換(倍率色像差坐標(biāo)變換)。 倍率色像差校正單元140輸出經(jīng)過了倍率色像差校正后的RGB圖像數(shù)據(jù)。倍 率色像差校正單元140包括表示各種光源或照明光與坐標(biāo)變換參數(shù)(坐標(biāo)變換 系數(shù))之間的關(guān)系的坐標(biāo)變換參數(shù)表?；趤碜员堵噬癫钭鴺?biāo)變換參數(shù)切換 控制單元105的切換控制信號，倍率色像差校正單元140選擇特定的坐標(biāo)變換 參數(shù)表，并且切換到要在坐標(biāo)變換公式中輸入的坐標(biāo)變換參數(shù)。下面將會給出 關(guān)于倍率色像差校正單元140的具體實施方式
。對于倍率色像差校正中的坐標(biāo) 變換，可使用低容量的、低等待時間的存儲器或者低容量的、具有多個端口的 存儲器(SRAM等)。進一步，通過根據(jù)光源或照明光切換坐標(biāo)變換公式中使 用的參數(shù)，可以穩(wěn)定地獲得高質(zhì)量的圖像。
MTF校正單元150接收經(jīng)過了倍率色像差校正后的RGB圖像數(shù)據(jù)。在 MTF校正單元150中，利用FIR濾波器對RGB圖像數(shù)據(jù)執(zhí)行MTF校正處理。 MTF校正單元150輸出經(jīng)過了 MTF校正后的RGB圖像數(shù)據(jù)。
圖3是MTF校正單元150的示意圖。轉(zhuǎn)換器152基于下列公式將RGB 圖像數(shù)據(jù)轉(zhuǎn)換成YCbCr像素數(shù)據(jù)。
Y=0.299R+0.587G+0.114B (7) C產(chǎn)0.500R — 0.419G - 0.081B (8) Cb= - 0.169R - 0.332G+0.500B (9) FIR濾波器(5x5濾波器)154僅接收YCbCr信號當(dāng)中的Y亮度信號， 并且對Y亮度信號執(zhí)行預(yù)定的MTF校正處理。通過只對Y信號執(zhí)行濾波(MTF 校正)，可以獲得顏色噪聲的放大被抑制的高質(zhì)量圖像。圖4是用來說明FIR 濾波器的示例的示意圖。
逆轉(zhuǎn)換器156接收CbCr信號和經(jīng)過了 MTF校正后的Y信號，基于下列 公式逆轉(zhuǎn)換上述信號，并且輸出RGB圖像數(shù)據(jù)。R=Y+1.402Cr (10) G=Y - 0.714Cr - 0.344Cb (11) B=Y+1.772Cb (12) 失真像差校正單元160接收經(jīng)過了倍率色像差校正和MTF校正后的RGB 圖像數(shù)據(jù)。失真像差校正單元160使用預(yù)定的多項式公式對RGB中的每一種 顏色分量執(zhí)行相同的坐標(biāo)變換(失真像差坐標(biāo)變換)，并且輸出經(jīng)過了失真像 差校正后的RGB圖像數(shù)據(jù)。對于失真像差校正單元160中的坐標(biāo)變換，可使 用比用于倍率色像差校正的存儲器更大容量(對應(yīng)于一個屏幕的最大值)的存 儲器(DRAM等)，但是由于單個端口就可以滿足，因此該存儲器具有高等待 時間。下面將會詳細地描述失真像差校正單元160中的坐標(biāo)變換。
伽馬校正單元170接收從失真像差校正單元160輸出的RGB圖像數(shù)據(jù)， 使用為RGB中的每一個所提供的查詢表執(zhí)行預(yù)定的伽馬校正，并且輸出經(jīng)過 了伽馬校正后的RGB圖像數(shù)據(jù)。從伽馬校正單元170輸出的上述圖像數(shù)據(jù)被 發(fā)送到顯示設(shè)備(未示出)以便在顯示器上顯示出來。
以上描述了根據(jù)本發(fā)明實施例的圖1所示的圖像拾取設(shè)備的整體操作。下 面將會給出倍率色像差校正單元140和失真像差校正單元160的具體實施方 式。首先，描述倍率色像差校正和失真像差校正的原理。
圖5示意性地示出了 ，當(dāng)使用具有倍率色像差和失真像差的光學(xué)系統(tǒng)捕捉 圖像時，由于失真像差造成在屏幕的右上角處由l表示的位置(像素)處的圖 像數(shù)據(jù)(像素數(shù)據(jù))從原始位置處被移位，并且由于倍率色像差造成RGB中 的各顏色分量都被移動到不同的位置。因此，在利用圖像傳感器實際捕獲的圖 像中，位置1處的圖像被移動到位置2 (R)、 3 (G)、以及4 (B)。通過將位 置(像素)2 (R)、 3 (G)、以及4 (B)處的顏色分量RGB的圖像數(shù)據(jù)項復(fù) 制(移動)到作為原始位置的位置(像素)l處，即通過執(zhí)行坐標(biāo)變換，可執(zhí) 行對倍率色像差和失真像差的校正。在下文中，位置2、 3、 4被稱為坐標(biāo)變換 源的坐標(biāo)，而位置1被稱為坐標(biāo)變換目標(biāo)。
由于可以從光學(xué)系統(tǒng)的設(shè)計數(shù)據(jù)中找到失真像差的程度和倍率色像差的 程度，因此可以計算出顏色分量RGB將會被移動到的位置。
圖6示意性地說明了同時校正倍率色像差和失真像差的方法。具體的，位置(像素)-2 (R)、 3 (G)、以及4 (B)處的各顏色分量RGB的圖像數(shù)據(jù)項 被移動到作為它們原始位置的位置(像素)1處。即，可通過執(zhí)行坐標(biāo)變換同 時校正倍率色4象差和失真像差。然而，上述方法需要對于RGB中的每一種顏 色分量都具有大容量的存儲器，并且該存^f渚器具有低等待時間或多個端口單 元。例如，在圖6的情況下，對于RGB中的每一種顏色分量而言都需要使用 高速六行存儲器單元以執(zhí)行坐標(biāo)變換。進一步，對于RGB中的每一種顏色分 量，還需要坐標(biāo)變換算術(shù)電路或坐標(biāo)變換表(LUT)。
圖7A和圖7B示意性地說明了單獨地校正倍率色像差和失真像差的方法。 顏色分量可具有不同等級的倍率色像差，但是在這種情況下位移程度小。同時， 顏色分量具有相同等級的失真像差，但是在這種情況下位移程度大。根據(jù)這些 特征，RGB中的各種顏色分量的各圖像數(shù)據(jù)項都要經(jīng)過坐標(biāo)變換以校正倍率 色像差。隨后，經(jīng)過倍率色像差校正后的所有RGB圖像數(shù)據(jù)項都要進行坐標(biāo) 變換，從而校正失真像差。相應(yīng)地，可將用于坐標(biāo)變換的存儲器分為對RGB 中的每一種顏色分量都執(zhí)行倍率色像差校正所需的、小容量并且高速(低等待 時間或多個端口 )的存儲器、以及對RGB顏色分量執(zhí)行失真像差校正通常所 需的、大容量并且低速(高等待時間或單個端口 )的存儲器。從而可以降低整 體成本。
進一步，由于倍率色像差的緣故，R和B顏色分量通常會參考位于中間的 G顏色分量而纟皮此對稱地位移。相應(yīng)地，可通過只對R和B顏色分量4丸行坐 標(biāo)變換而實現(xiàn)倍率色像差校正，從而使它們移動到G分量的位置處。因此， 只有R和B顏色分量需要坐標(biāo)變換算術(shù)電路或坐標(biāo)變換表(LUT)。因此，可 減小電路尺寸，并且進一步降低整體成本。
圖7A示意性說明了倍率色像差校正，其中對于位置(像素)2 (R)和4 (B )處的R和B分量的圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換，以便將這些分量移動到對應(yīng) 于G分量的位置(像素)3 (G)處。通過執(zhí)行上述操作校正倍率色像差。圖 7B示意性地說明了失真像差校正，其中對經(jīng)過了倍率色像差校正后的并且位 于位置(像素)3 (G)處的R、 G、 B顏色分量的圖像數(shù)據(jù)選擇性地執(zhí)行坐標(biāo) 變換。上述坐標(biāo)變換的結(jié)果是，將R、 G、 B顏色分量的圖像數(shù)據(jù)移動到作為 原始(期望)位置的位置(像素)l處。通過執(zhí)行上述操作校正失真像差。在圖7A和圖7B所示的示例中，對應(yīng)于RGB的三行存儲器可滿足作為用 于倍率色像差校正的高速存儲器。進一步，盡管倍率色像差校正需要五行存儲 器，但通常用于RGB的低速存儲器也可滿足需要。因此，與圖6所示的情況 相比較，可降低整體成本。進一步，只有R和B顏色分量需要使用坐標(biāo)變換 算術(shù)電路或坐標(biāo)變換表(LUT)。因此，可進一步降低整體成本。
上述情況下的失真像差表示與目標(biāo)投影(target projection )方法相關(guān)的透 鏡失真。例如，目標(biāo)投影方法可用來通過相機獲取從頂部觀察到的圖像，或是 用來放大圖像中的一部分。
圖8示意性地說明了倍率色像差校正單元140的實施例。用于倍率色像差 校正的坐標(biāo)變換存儲器(行緩沖器)由142表示，其中142 (R)、 142 (G)、 142(B)分別對應(yīng)于R、 G、 B顏色分量。倍率色像差的坐標(biāo)變換算術(shù)電路由 144表示，該坐標(biāo)變換算術(shù)電路用來計算變換坐標(biāo)以便對RGB中的每一種(實 際上僅對R和G)執(zhí)行倍率色像差校正。坐標(biāo)變換參數(shù)表由146表示，該坐 標(biāo)變換參數(shù)表用來保存在坐標(biāo)變換公式中使用的參數(shù)(坐標(biāo)變換系數(shù))。存在 有對應(yīng)于多種光源和照明光的多個坐標(biāo)變換參數(shù)表146。坐標(biāo)變換參數(shù)選擇電 路由147表示，該選擇電路基于來自倍率色像差坐標(biāo)變換參數(shù)切換控制單元 105的切換控制信號來選擇預(yù)定的坐標(biāo)變換參數(shù)表，并且將坐標(biāo)變換參數(shù)發(fā)送 到倍率色像差校正坐標(biāo)變換算術(shù)電路144。
倍率色像差校正需要小容量但包括用于RGB的三個端口的存儲器、或是 具有低等待時間的存儲器作為行緩沖器(linebuffer)。在上述示例中，假定由 于倍率色像差引起的最大位移量是Y方向上的20行，因此用于倍率色像差校 正的各個坐標(biāo)變換存儲器142 (R)、 142 (G)、 142 (B)都是對應(yīng)于20行的 SRAM?；诜直媛蕘泶_定X方向上的大小。例如，如果分辨率是VGA (640 x480)，則X方向上的大小是640點。如果色彩深度是RGB 8比特，則以8 比特為單位將數(shù)據(jù)寫入用于倍率色像差校正的各個坐標(biāo)變換存儲器142 (R)、
142 (G)、 142(B),或是以8比特為單位從用于倍率色像差校正的各個坐標(biāo) 變換存儲器142 (R)、 142 (G)、 142 (B)中讀取數(shù)據(jù)。
如上所述，通過使用圖像拾取設(shè)備的圖像處理芯片中設(shè)置的三端口的 SRAM,用于倍率色像差校正的各個坐標(biāo)變換存儲器142 (R)、 142 (G)、 142(B)都是小容量的存儲器，并且優(yōu)選地具有對應(yīng)于20行的存儲區(qū)。在諸如 SRAM的低等待時間的存儲器的情況下，通過分時共享存儲器， 一個端口的存 儲器可用作三個端口的存儲器。
根據(jù)各個坐標(biāo)(x, y)，從起首行開始將具有倍率色像差和失真像差的拾
取圖像中的RGB圖像數(shù)據(jù)順序地寫入用于倍率色像差校正的坐標(biāo)變換存儲器 142(R)、 142(G)、 142(B)中。當(dāng)寫入了對應(yīng)于20行的圖像數(shù)據(jù)時，從起 首行開始順序地丟棄圖像數(shù)據(jù)，并且作為替換，將新的圖像數(shù)據(jù)寫入后續(xù)行 (trailing line )。相應(yīng)地，將對應(yīng)于倍率色像差校正坐標(biāo)變換所需的最大20行 的RGB圖像數(shù)據(jù)分別順序地存儲到用于倍率色像差校正的坐標(biāo)變換存儲器 142 (R)、 142 (G)、 142 (B)當(dāng)中。
坐標(biāo)值(x, y)表示讀取對應(yīng)于一幀的拾取圖像的起始位置。同時，坐標(biāo) 變換存儲器142 (R)、 142 (G)、 142 (B)中的每一個都是對應(yīng)于20行的行 緩沖器，并且循環(huán)地改變用于寫入數(shù)據(jù)的行，因此坐標(biāo)值(x, y)不能直接地 被用作坐標(biāo)變換存儲器142 (R)、 142 (G)、 142 (B)的寫入地址。出于這個 原因，需要一種可將坐標(biāo)值(x, y)轉(zhuǎn)換成坐標(biāo)變換存儲器142 (R)、 142 (G)、 142(B)的實際地址的配置，但是在圖8中省略了該配置。這同樣適用于在 以下描述的讀取操作中的變換后的坐標(biāo)值(X， Y)與坐標(biāo)變換存儲器142(R)、 142 (G)、 142 (B)的讀取地址之間的關(guān)系。
倍率色像差校正坐標(biāo)變換算術(shù)電路144接收作為坐標(biāo)變換目標(biāo)坐標(biāo)的輸 入坐標(biāo)值(x, y),使用諸如多項式等式的預(yù)定的坐標(biāo)變換公式對RGB中的每 一種計算用于倍率色像差校正的變換坐標(biāo)，并且輸出作為RGB中的每一種的 坐標(biāo)變換源坐標(biāo)的坐標(biāo)值(X, Y)。如圖7A所示，在倍率色像差校正中，只 有R和B顏色分量經(jīng)過坐標(biāo)變換，從而它們被移動到G顏色分量的位置處。 相應(yīng)地，對于G顏色分量，倍率色像差校正坐標(biāo)變換算術(shù)電路144將輸入坐 標(biāo)值(x, y)直接作為變換后的坐標(biāo)值(X， Y)輸出；對于R和B顏色分量 中的每一種，倍率色像差校正坐標(biāo)變換算術(shù)電路144使用預(yù)定的坐標(biāo)變換公式 將輸入坐標(biāo)值(x, y)變換成坐標(biāo)值(X, Y)，并且輸出變換后的坐標(biāo)值(X， Y)。對于各坐標(biāo)值(x， y)，重復(fù)地執(zhí)行該操作。
下面是坐標(biāo)變換公式(13)的示例，假設(shè)屏幕的中心作為坐標(biāo)原點X=x+[a(l)+a(2) x abs(x)+a(3) x abs(y)+a(4) x /] x x
Y=y+[b(l)+b(2) x abs(y)+b(3) x abs(x)+b(4) x x2] x y 其中，abs()是取絕對值，并且a(l)-a(4)和b(l) b(4)都是坐標(biāo)變換參數(shù)(坐 標(biāo)變換系數(shù))。
在坐標(biāo)變換參數(shù)表146中預(yù)先保存坐標(biāo)變換參數(shù)。如上所述，根據(jù)光源和 照明光的種類，存在多個坐標(biāo)變換參數(shù)表146。例如，通過如下方式獲得參凄丈 值a(l)-a(4)和b(l) b(4)。對于各個光源和照明光，使用不同的參數(shù)值重復(fù)倍 率色像差校正仿真，獲得在圖像中色彩模糊最小時的值，并且預(yù)先地在坐標(biāo)變 換參數(shù)表146中與光源ID相關(guān)聯(lián)地存儲所獲得的值。當(dāng)使用單個光譜的光源 作為照明光時，為了關(guān)閉倍率色像差校正功能，在一個坐標(biāo)變換參數(shù)表146 中將參數(shù)值a(l) ~ a(4)和b(l) ~ b(4)設(shè)定為"零"。
此外，近年來，各種LED燈光源變得越來越普遍。為了使用LED獲得白 色光源，存在有通過分時順序地使R、 G、 BLED發(fā)光的方法。在這種情況下， 根據(jù)發(fā)光定時來切換參數(shù)(包括R的坐標(biāo)變換參數(shù)、G的坐標(biāo)變換參數(shù)、以 及B的坐標(biāo)變換參數(shù))，以獲得高質(zhì)量的圖像。出于這個目的，進一步提供了 用來保存R的坐標(biāo)變換參數(shù)、G的坐標(biāo)變換參數(shù)、以及B的坐標(biāo)變換參數(shù)的 坐標(biāo)變換參數(shù)表146。
高靈敏度的單色圖像傳感器可用來在R、 G、 B的發(fā)光定時內(nèi)將該傳感器 的信號分配到R、 G、 B通道以獲得彩色圖像。同樣在這種情況下，根據(jù)發(fā)光 定時來切換參數(shù)，從而可以獲得高質(zhì)量的圖像，其中這些參數(shù)包括R的坐標(biāo) 變換參數(shù)、G的坐標(biāo)變換參數(shù)、以及B的坐標(biāo)變換參數(shù)。出于這個目的，可 以進一步提供用來保存R的坐標(biāo)變換參數(shù)、G的坐標(biāo)變換參數(shù)、以及B的坐 標(biāo)變換參數(shù)的坐標(biāo)變換參數(shù)表146。
如上所述，當(dāng)改變光源或照明光時，倍率色像差變換參數(shù)切換控制單元 105將預(yù)定的切換控制信號發(fā)送到坐標(biāo)變換參數(shù)選擇電路147。在對車輛的照 明光執(zhí)行切換操作的時刻、在打開/關(guān)閉車輛的剎車燈的時刻、或者在打開/關(guān) 閉車輛的尾燈的時刻，倍率色像差變換參數(shù)切換控制單元105發(fā)出切換控制信 號。在光源是分時地順序打開RGB的LED的情況下，在RGB的各個發(fā)光定 時內(nèi)發(fā)出RGB的坐標(biāo)變換參數(shù)的切換控制信號。進一步，在使用高靈敏度的單色圖傳_傳感器獲得彩色圖像的情況下，在R、 G、 B的發(fā)光定時內(nèi)分別對來 自圖像傳感器的信號分配R、 G、 B通道，以便按照上面相似的方式，在RGB 的發(fā)光定時內(nèi)發(fā)出RGB的坐標(biāo)變換參數(shù)的切換控制信號。
再次參考圖8,坐標(biāo)變換參數(shù)選擇電路147基于來自倍率色像差坐標(biāo)變換 參數(shù)切換控制單元105的切換控制信號選擇預(yù)定的坐標(biāo)變換參數(shù)表146,并且 將坐標(biāo)變換參數(shù)發(fā)送到倍率色像差校正坐標(biāo)變換算術(shù)電路144。在通常(默認(rèn)) 情況下，設(shè)定坐標(biāo)變換參數(shù)選擇電路147以選擇保存有對應(yīng)于太陽光(自然光) 的坐標(biāo)變換參數(shù)的坐標(biāo)變換參數(shù)表146。
倍率色像差校正坐標(biāo)變換算術(shù)電路144接收作為坐標(biāo)變換目標(biāo)坐標(biāo)的坐 標(biāo)值(x， y)和通過坐標(biāo)變換參數(shù)選擇電路147選擇的坐標(biāo)變換參數(shù)，使用坐 標(biāo)變換公式(13 )計算RGB中的每一種(實際上只有RB )的坐標(biāo)值(X， Y)， 并且輸出作為坐標(biāo)變換源坐標(biāo)的坐標(biāo)值(X, Y)。
與上面所描述的寫入操作并行地(實際上延遲了特定的時間量)，基于從 倍率色像差校正坐標(biāo)變換算術(shù)電路144輸出的坐標(biāo)值(X， Y)(實際上是從坐 標(biāo)值(X, Y)轉(zhuǎn)換得到的地址值)，坐標(biāo)變換存儲器142 (R)、 142 (G)、 142 (B)順序地讀出RGB圖像數(shù)據(jù)。在這種情況下，在坐標(biāo)變換存儲器142 (G) 中，從與寫入相同的位置處讀出G顏色分量圖像數(shù)據(jù)。同時，在坐標(biāo)變換存 儲器142 (R)和142 (B)中，從將寫入位置位移后的位置處讀出RB顏色分 量圖像數(shù)據(jù)，即從對應(yīng)于倍率色像差的位移后的位置處讀出RB顏色分量圖像 數(shù)據(jù)。
通過執(zhí)行上述處理，坐標(biāo)變換存儲器142 (R)、 142 (G)、 142 (B)分別 輸出經(jīng)過了倍率色像差校正后的RGB圖像數(shù)據(jù)。具體的，輸出對應(yīng)于坐標(biāo)變 換源坐標(biāo)值(X, Y)的RGB圖像數(shù)據(jù)作為對應(yīng)于坐標(biāo)變換目標(biāo)坐標(biāo)值(x， y) 的RGB圖像凄t據(jù)。在倍率色像差校正期間根據(jù)光源或照明光來切換倍率色像 差校正的坐標(biāo)變換參數(shù)，因此防止了在倍率色像差校正期間圖像質(zhì)量的下降， 并且獲得了高質(zhì)量的圖像。
圖9至圖11描繪了倍率色像差校正坐標(biāo)變換算術(shù)電路144的幾種配置。 在本說明書中，G顏色分量被用作參考；然而，可替代的，R或B也可被用作 參考。在圖9所示的實施例中，G顏色分量沒有經(jīng)過坐標(biāo)變換，因此直接地將輸 入坐標(biāo)值(x， y)作為對應(yīng)于坐標(biāo)變換源的G坐標(biāo)值(X， Y)輸出。僅對R 和B的顏色分量，使用公式(13 )通過坐標(biāo)變換算術(shù)單元1441、 1442變換輸 入坐標(biāo)值(x， y),以輸出作為坐標(biāo)變換源坐標(biāo)的R坐標(biāo)值(X, Y)和B坐 標(biāo)值(X， Y)。僅需要向R分量和B分量提供坐標(biāo)變換算術(shù)單元，因此電路 尺寸可以很小。
圖IO和圖ll描繪了考慮到R和B顏色分量相對于位于兩者中間的G顏 色分量基本上彼此對稱地位移的特征的實施例(參見圖7A)。在圖10中，坐 標(biāo)變換算術(shù)單元1443獲取坐標(biāo)值(x， y)的校正量(位移量)。減法單元1444 通過從坐標(biāo)值(x, y)減去校正量而獲得B坐標(biāo)值(X， Y)。加法單元1445 通過將校正量加到坐標(biāo)值(x, y)而獲得R坐標(biāo)值(X， Y)。與圖9所示的 實施例相類似，G坐標(biāo)值(x, y)被直接地作為G坐標(biāo)值(X, Y)輸出。在 圖11中，還考慮了對稱位置的位移，并且通過增益電路1446來調(diào)節(jié)R的校 正量?？稍贐側(cè)設(shè)置該增益電路。根據(jù)圖10和圖ll所示的實施例，只需要 一個坐標(biāo)變換算術(shù)單元，因此可進一步減小電路尺寸。
圖12描繪了失真像差校正單元160的實施例。圖12中所示的失真像差校 正單元160包括用來將RGB三種圖像數(shù)據(jù)項組合到 一起的RGB合成單元161、 RGB數(shù)據(jù)共同使用的失真像差校正坐標(biāo)變換存儲器162、用來將組合后的RGB 圖像數(shù)據(jù)分離成原始顏色分量的RGB分離單元163、用來使用預(yù)定坐標(biāo)變換 公式計算用于進行失真像差校正的變換坐標(biāo)的失真像差校正坐標(biāo)變換算術(shù)單 元164、以及用來保存輸入到坐標(biāo)變換公式的坐標(biāo)變換參數(shù)的坐標(biāo)變換參數(shù)表 165。
當(dāng)失真像差造成像素被位移時，位移量是大的。因此，對于失真像差校正 處理需要能夠存儲與一個屏幕的最大值對應(yīng)的圖像數(shù)據(jù)的緩沖存儲器。同時， 對于各RGB分量而言該位移量都相同，因此具有與RGB圖像數(shù)據(jù)對應(yīng)的總 比特寬度的僅僅一個緩沖存儲器即可滿足需要。在該示例中，分辨率是VGA (640 x 480 )， RGB圖像數(shù)據(jù)項中的每一個的比特數(shù)目(色彩深度)都是8比 特，并且坐標(biāo)變換存儲器162是以24比特作為單位執(zhí)行寫入/讀取的、640 x 480點的DRAM。如上所述，坐標(biāo)變換存儲器162需要具有非常大的容量。因此，從成本角 度而言很難將其提供作為圖像處理芯片中的SRAM。此外， 一個端口的存儲器 也可滿足RGB的需要。相應(yīng)地，DRAM優(yōu)選地被提供在圖像處理芯片之外。
RGB合成單元161順序地接收經(jīng)過了倍率色像差校正后的RGB圖像數(shù)據(jù) 項(各項都具有8比特)，將它們組合成一個圖像數(shù)據(jù)項(24比特)，并且輸 出所得到的圖像數(shù)據(jù)。根據(jù)各坐標(biāo)值(x， y)，從起首行開始將合成RGB圖像 數(shù)據(jù)順序地寫入坐標(biāo)變換存儲器162。
同時，失真像差校正坐標(biāo)變換算術(shù)單元164接收坐標(biāo)變換目標(biāo)的坐標(biāo)值 (x, y)，使用諸如多項式等式的預(yù)定坐標(biāo)變換公式計算RGB共有的、用于失 真像差校正的變換坐標(biāo)，并且輸出坐標(biāo)變換源的坐標(biāo)值(X, Y)?？墒褂猛瑯?的坐標(biāo)變換公式U3)作為用于倍率色像差校正的公式。然而，當(dāng)然也可使用 不同的坐標(biāo)變換參數(shù)。該坐標(biāo)變換參數(shù)預(yù)先保存在坐標(biāo)變換參數(shù)表165當(dāng)中。
如上所述，對于失真像差校正，可使用與用于倍率色像差校正相同的坐標(biāo) 變換公式(13)。對于公式(13)中所使用的項x2、 y2、 abs(x)、以及abs(y)， 可使用從倍率色像差校正獲得的計算結(jié)果(通過將結(jié)果保存在存儲器當(dāng)中)。 因此，無需再次計算這些項。相應(yīng)地，失真像差校正坐標(biāo)變換算術(shù)單元164 可具有小的電路尺寸。
與上述RGB合成圖像數(shù)據(jù)(24比特)的寫入操作并行地(實際上延遲了 特定的時間量)，坐標(biāo)變換存儲器162基于從失真像差校正坐標(biāo)變換算術(shù)單元 164輸出的坐標(biāo)值(X， Y)順序地讀出RGB合成圖像數(shù)據(jù)。RGB分離單元 163將從坐標(biāo)變換存儲器162讀出的RGB合成圖像(24比特)分離成對應(yīng)于 RGB的各顏色分量的原始圖像數(shù)據(jù)項(8比特)。
通過執(zhí)行上述處理，從RGB分離單元163輸出經(jīng)過了倍率色像差校正和 失真像差校正后的各RGB圖像數(shù)據(jù)項。具體的，各RGB圖像數(shù)據(jù)項被移動 到它們各自的原始(期望)位置(x， y)處。
可提供作為輸入坐標(biāo)值(x， y)和輸出坐標(biāo)值(X， Y)的關(guān)系表的查詢 表(LUT)，并且輸出坐標(biāo)值(X， Y)?？梢詮腖UT直接地獲得對應(yīng)于坐標(biāo)變 換目標(biāo)的坐標(biāo)值(x, y)的坐標(biāo)變換源的坐標(biāo)值(X， Y)。在這種情況下，無 需執(zhí)行關(guān)于坐標(biāo)變換的計算，并且基本上只使用存儲器芯片即可實現(xiàn)失真像差校正。
本發(fā)明并不限于具體公開的實施例，在不脫離本發(fā)明的保護范圍的前提下 還可作出各種變化和^f奮改。
本發(fā)明基于在2008年3月11日向日本專利局提交的日本優(yōu)先權(quán)專利申請 No. 2008-061180，并且該優(yōu)先權(quán)文件的全部內(nèi)容都包4舌在這里作為參考。
權(quán)利要求
1. 一種圖像拾取設(shè)備，包括廣角的光學(xué)系統(tǒng)，在所述光學(xué)系統(tǒng)中至少倍率色像差是大的；圖像傳感器，用來讀取通過所述光學(xué)系統(tǒng)所拾取的圖像；以及倍率色像差校正單元，用來通過對所述圖像傳感器讀取的圖像執(zhí)行坐標(biāo)變換，執(zhí)行倍率色像差校正，其中，所述倍率色像差校正單元包括用于倍率色像差校正的多個坐標(biāo)變換參數(shù)，并且在改變光源或照明光的情況下切換所述用于倍率色像差校正的坐標(biāo)變換參數(shù)。
2. 根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，進一步包括控制單元，用來^f企測光源或照明光的改變，并且輸出切換控制信號以-便在 檢測到改變的情況下切換所述坐標(biāo)變換參數(shù)，其中，所述倍率色像差校正單元基于從所述控制單元輸出的所述切換控制 信號，切換所述用于倍率色像差校正的坐標(biāo)變換參數(shù)。
3. 根據(jù)權(quán)利要求2所述的圖像拾取設(shè)備，其中所述控制單元根據(jù)對車輛的照明光執(zhí)行的切換操作來輸出所述切換控制 信號。
4. 根據(jù)權(quán)利要求2所述的圖像拾取設(shè)備，其中 當(dāng)打開/關(guān)閉車輛的剎車燈時，所述控制單元輸出所述切換控制信號。
5. 根據(jù)權(quán)利要求2所述的圖像拾取設(shè)備，其中當(dāng)打開/關(guān)閉車輛的尾燈時，所述控制單元輸出所述切換控制信號。
6. 根據(jù)權(quán)利要求2所述的圖像拾取設(shè)備，其中當(dāng)光源閃爍時，所述控制單元輸出所述切換控制信號，其中所述光源順序 地閃爍多種顏色分量中的每一種。
7. 根據(jù)權(quán)利要求6所述的圖像拾取設(shè)備，其中 所述圖像傳感器是高靈壽文度的單色圖像傳感器；并且 在照射顏色分量時，通過將所述圖像傳感器的輸出分配到對應(yīng)于所述顏色分量的通道而獲得彩色圖像。
8. 根據(jù)權(quán)利要求1至7中任一項所述的圖像拾取設(shè)備，其中 所述倍率色像差校正單元不對與特定顏色分量相對應(yīng)的圖像執(zhí)行所述坐標(biāo)變換，而是僅對與除所述特定顏色分量之外的顏色分量相對應(yīng)的圖像執(zhí)行所 述坐標(biāo)變換。
9. 根據(jù)權(quán)利要求8所述的圖像拾取設(shè)備，其中所述倍率色像差校正單元基于與除所述特定顏色分量之外的顏色分量相 對應(yīng)的圖像的坐標(biāo)值來獲取校正量，并且基于所述校正量對與除所述特定顏色 分量之外的顏色分量相對應(yīng)的圖像執(zhí)行所述坐標(biāo)變換。
10. 根據(jù)權(quán)利要求9所述的圖像拾取設(shè)備，其中所述倍率色像差校正單元通過將所述坐標(biāo)值乘以預(yù)定增益來調(diào)節(jié)與除所 述特定顏色分量之外的顏色分量相對應(yīng)的圖像。
全文摘要
一種圖像拾取設(shè)備，包括廣角的光學(xué)系統(tǒng)，在光學(xué)系統(tǒng)中至少倍率色像差是大的；圖像傳感器，用來讀取通過光學(xué)系統(tǒng)所拾取的圖像；以及，倍率色像差校正單元，用來通過對圖像傳感器讀取的圖像執(zhí)行坐標(biāo)變換，執(zhí)行倍率色像差校正。倍率色像差校正單元包括用于倍率色像差校正的多個坐標(biāo)變換參數(shù)，并且在改變光源或照明光的情況下切換用于倍率色像差校正的坐標(biāo)變換參數(shù)。
文檔編號H04N5/232GK101534385SQ200910127340
公開日2009年9月16日 申請日期2009年3月10日 優(yōu)先權(quán)日2008年3月11日
發(fā)明者笠原亮介 申請人:株式會社理光