專利名稱：圖像處理方法、圖像處理設(shè)備和成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理由具有廣角和大的倍率色^^差(chromatic aberration of magnification)的魚眼(fisheye )光學(xué)系統(tǒng)所捕獲的圖像的技術(shù)。
背景技術(shù)：
在近些年，對(duì)于例如交通工具的倒車監(jiān)視器的應(yīng)用，廣角成像設(shè)備的需求 曰益增加。然而，隨著角度變得更寬，倍率色像差和失真變得更大，使得設(shè)計(jì) 具有小色像差的光學(xué)系統(tǒng)變得困難。由此，需要結(jié)合圖像處理來改進(jìn)性能。
在使用具有倍率色像差和失真的光學(xué)系統(tǒng)的成像設(shè)備中，用于校正失真的 傳統(tǒng)技術(shù)包括一種同時(shí)校正倍率色像差和失真的方法，如日本專利申請(qǐng)公開第 2006-345054號(hào)所述，關(guān)于由例如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半 導(dǎo)體(CMOS)傳感器的成像裝置在后續(xù)級(jí)獲得的R信號(hào)、G信號(hào)和B信號(hào)， 通過對(duì)紅色(R)、綠色(G)和藍(lán)色(B)的每個(gè)顏色分量獨(dú)立執(zhí)行坐標(biāo)變換， 來同時(shí)校正倍率色像差和失真。而且，存在一種方法，通過對(duì)RGB的各個(gè)顏 色分量一起執(zhí)行坐標(biāo)變換，而忽略倍率色像差來僅校正失真。
在校正失真的時(shí)候，例如，如Deguchi在"Recent Trend of Camera Calibration Method" ， Information Processing Society of Japan, Study group material CV-82-1,1993中描述的那樣，已提出了基于下面的等式校正失真的一 種方法
y = x + iCx:(x2 + _y2) x義
y =少+ A:少(x2 +_y2)x_y 其中〗叚:沒坐標(biāo)變換的目的地(原始坐標(biāo))是(x， y)，坐標(biāo)變換的源(由于色 差導(dǎo)致的在目的地的坐標(biāo))是(X， Y),并且在x和y的各自方向確定失真量的參數(shù)是Kx和Ky。
雖然在RGB的各個(gè)顏色分量中失真是一致的，但倍率色像差對(duì)于每個(gè)顏 色分量是不同的。此外，倍率色像差小于失真。由此，期望分開校正倍率色像 差和失真。
根據(jù)通過對(duì)RGB的每個(gè)顏色分量獨(dú)立執(zhí)行坐標(biāo)變換來同時(shí)校正倍率色像 差和失真的傳統(tǒng)方法，需要在隨機(jī)存取時(shí)具有大容量和小等待時(shí)間的存儲(chǔ)器以 處理RGB的各個(gè)顏色，例如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)或多端口存儲(chǔ)器。 然而，大容量SRAM和具有多個(gè)端口的存儲(chǔ)器十分貴，特別是在需要大容量 存儲(chǔ)器的高分辨率的情況下，這樣的設(shè)備變得更貴。
同時(shí)，通過對(duì)RGB的各個(gè)顏色共同執(zhí)行坐標(biāo)變換來僅^f交正失真的方法需 要大容量存儲(chǔ)器，但是也可以使用具有單芯片配置的便宜的動(dòng)態(tài)RAM (DRAM)。然而，如果在具有不能忽略倍率色像差的廣角的情況下，不能應(yīng) 用該方法。
對(duì)于每個(gè)顏色分量需要獨(dú)立的校正電路來校正倍率色像差，并且需要以最 小的電路大小來執(zhí)行倍率色像差的校正以降低成本。然而，由于復(fù)雜的多項(xiàng)式 之類通常被用作坐標(biāo)變換的公式，因此存在電路大小增加的問題。例如，根據(jù) "Recent Trend of Camera Calibration"中描述的方法，由于包括了二次項(xiàng)或更 高次項(xiàng)，需要模擬乘法器來進(jìn)行計(jì)算。此外，在具有大的倍率色像差的魚眼光 學(xué)系統(tǒng)的情況下，模擬乘法器需要大規(guī)模電路，因?yàn)橛捎谟?jì)算精度的問題需要 大的比特?cái)?shù)。
魚眼光學(xué)系統(tǒng)指的是執(zhí)行例如立體投影少^2/tan(^/2)、等距投影 _y = /<9 、等立體角(equisolidangle )投影y = 2/sin(P/2)以及正交投影_y = /sin^ 的投影方法，而不執(zhí)行正常透鏡;^/tan0的投影方法的光學(xué)系統(tǒng)，其中圖像 高度是^，焦距是/，以及半視角是P。
本發(fā)明的目的在于至少部分地解決現(xiàn)有技術(shù)中的問題。 根據(jù)本發(fā)明的一個(gè)方面，提供了 一種處理包括倍率色像差的圖像數(shù)據(jù)的方法，
該圖像數(shù)據(jù)是從魚眼光學(xué)系統(tǒng)獲得的。該方法包括通過基于公式p = x + ^對(duì)
發(fā)明內(nèi)容該圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像差，其中，x和y表示以屏幕的中心 為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示以屏幕的中心為原點(diǎn)的變換源的坐 標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
此外，根據(jù)本發(fā)明的另一個(gè)方面，提供一種用于處理包括倍率色像差的圖像數(shù) 據(jù)的設(shè)備，該圖像數(shù)據(jù)是從魚眼光學(xué)系統(tǒng)獲得的。該設(shè)備包括倍率色像差校
正單元，基于公式{X = X + ^通過對(duì)該圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像
差，其中，x和y表示以屏幕的中心為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示 以屏幕的中心為原點(diǎn)的變換源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
此外，根據(jù)本發(fā)明的另一個(gè)方面，提供一種成像設(shè)備，包括成像裝置， 使用具有大的倍率色像差的魚眼光學(xué)系統(tǒng)來捕獲圖像，并且輸出包括倍率色像 差的圖像數(shù)據(jù)；以及，根據(jù)本發(fā)明的圖像處理設(shè)備。
通過結(jié)合附圖閱讀下面本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述會(huì)更好地理解本 發(fā)明的上述及其他目的、特征、優(yōu)點(diǎn)以及技術(shù)和工業(yè)意義。


圖1是根據(jù)本發(fā)明的實(shí)施例的成像設(shè)備的框圖； 圖2A是用于G信號(hào)的Bayer彩色濾波器陣列的示意圖； 圖2B是用于R信號(hào)的Bayer彩色濾波器陣列的示意圖； 圖2C是用于B信號(hào)的Bayer彩色濾波器陣列的示意圖； 圖3是根據(jù)實(shí)施例的MTF校正單元的框圖； 圖4是用于說明FIR濾波器的例子的示意圖； 圖5是用于解釋倍率色像差和失真的示意圖； 圖6是用于解釋校正倍率色像差和失真的一般方法的示意圖； 圖7A和7B是用于解釋根據(jù)本發(fā)明的校正倍率色像差和失真的方法的示 意圖8是根據(jù)實(shí)施例的倍率色像差校正單元的結(jié)構(gòu)圖； 圖9A到9C是倍率色像差校正坐標(biāo)變換計(jì)算器的例子；以及 圖IO是根據(jù)實(shí)施例的失真校正單元的結(jié)構(gòu)圖。
具體實(shí)施例方式
6下面將參考附圖詳細(xì)描述本發(fā)明的示意性實(shí)施例。實(shí)施例說明了通過使用 具有大的倍率色像差和失真的光學(xué)系統(tǒng)以廣角捕獲對(duì)象的成像設(shè)備，并且說明 了具有除了校正倍率色像差之外還校正失真的配置的圖像處理系統(tǒng)。然而，本 發(fā)明的主要特征是倍率色像差的校正，并且圖像需要是由至少具有廣角和大的 倍率色像差的魚眼光學(xué)系統(tǒng)捕獲的圖像。雖然圖像的顏色分量是加法三原色的
紅(R)、綠(G)和藍(lán)(B)，它們也可以是減法三原色的黃(Y)、紅紫(M) 和藍(lán)綠(C )。
圖1是根據(jù)本發(fā)明的實(shí)施例的成像設(shè)備中的圖像處理系統(tǒng)的功能框圖。除 了圖1所示的元件之外，根據(jù)本實(shí)施例的成像設(shè)備還包括圖1中沒有顯示的操 作單元、圖像存儲(chǔ)單元以及圖像顯示單元。例如，成像設(shè)備被用作車載攝像機(jī)， 但這不是限制本發(fā)明的唯一應(yīng)用。
如圖1所示，控制單元100向各個(gè)單元提供所需的控制信號(hào)(時(shí)鐘、水平 /垂直同步信號(hào)等)，以流水線的形式控制單元的操作。
例如，成像裝置110包括CCD或CMOS傳感器，以將光學(xué)圖像轉(zhuǎn)換為電 子信號(hào)(像素?cái)?shù)據(jù))，該光學(xué)圖像是使用具有廣角以及大的倍率色像差和失真 的魚眼光學(xué)系統(tǒng)(未顯示)所捕獲的。在成像裝置110中提供Bayer彩色濾波 器陣列，并且基于從控制單元100給出的坐標(biāo)數(shù)據(jù)(x, y)順序地輸出Bayer 陣列布置的RGB像素。控制單元100通過偏移(shifting)預(yù)定時(shí)間將賦予成 像裝置110的坐標(biāo)數(shù)據(jù)(x， y)順序地賦予后續(xù)級(jí)。坐標(biāo)數(shù)據(jù)(x， y)可以在 成像裝置110中生成，并且順序地被賦予后續(xù)級(jí)。
模數(shù)(A/D)轉(zhuǎn)換器120將Bayer陣列排列的RGB像素?cái)?shù)據(jù)轉(zhuǎn)換為數(shù)字 信號(hào)，并將該數(shù)字信號(hào)輸出至Bayer補(bǔ)償單元130,該Bayer陣列排列的RGB 像素?cái)?shù)據(jù)是從成像裝置110輸出的模擬信號(hào)。在本實(shí)施例中，假設(shè)對(duì)于RGB 中的每個(gè)，該數(shù)字信號(hào)包括8比特。通常，在A/D轉(zhuǎn)換器120的先前級(jí)提供 AGC電路，然而，在此省略了AGC電路。
Bayer補(bǔ)償單元130接收被轉(zhuǎn)換成數(shù)字信號(hào)的Bayer陣列排列的RGB像素 數(shù)據(jù)，通過線性內(nèi)插生成整個(gè)坐標(biāo)位置的圖像數(shù)據(jù)，并且將該像素?cái)?shù)據(jù)輸出至 倍率色像差校正單元140。
圖2A到2C是Bayer彩色濾波器陣列的示意圖，其中由等式(l)到(6)獲得GQ、 R2、 R4、 R6、 Rs和Ro。
Go = ( G2 + G4 + G6 + G8) /4 (1 )
R2 = (+ R3) /2 ( 2 )
R4 = ( R3 + R5) /2 ( 3 )
R6= (R5 + R7) /2 (4)
R8= (R, +R7) /2 (5)
Ro= (R+R3 + R5 + R7) /4 (6)
B2、 B4、 B6、 Bg和B。與R2、 R4、 Re、 Rs和Ro的情況相同。 雖然該實(shí)施例是關(guān)于采用Bayer彩色濾波器陣列的成^f象裝置，但對(duì)于采用 其他類型的CMYG陣列或RGB + Ir (紅外)的彩色濾波器陣列的成像裝置也 可以獲得相同的效果。特別地，與具有例如RGB的三色類型的彩色濾波器陣 列的成像裝置相比，具有四色的彩色濾波器陣列的成^f象裝置需要短等待時(shí)間 存儲(chǔ)器或4端口RAM,以期望好的效果。
倍率色像差校正單元140接收Bayer補(bǔ)償?shù)腞GB像素?cái)?shù)據(jù)，根據(jù)預(yù)定等 式對(duì)于RGB的顏色分量單獨(dú)執(zhí)行坐標(biāo)變換(倍率色像差坐標(biāo)變換)，并且輸出 倍率色像差校正的RGB像素?cái)?shù)據(jù)。稍后將和失真校正單元160 —起描述倍率 色像差校正單元140。然而，小容量和短等待時(shí)間存儲(chǔ)器或具有多個(gè)端口的小 容量存儲(chǔ)器(例如SRAM)可以被用于坐標(biāo)變換，以校正倍率色像差。
調(diào)制傳遞函數(shù)(MTF)校正單元150接收倍率色像差校正的RGB像素?cái)?shù) 據(jù)，使用FIR文件執(zhí)行MTF校正，并且輸出MTF校正的RGB像素?cái)?shù)據(jù)。 圖3是MTF校正單元150的框圖。轉(zhuǎn)換單元152基于等式(7 )到(9 )
將RGB圖像數(shù)據(jù)轉(zhuǎn)換為YCbCr圖像數(shù)據(jù)。
Y = 0.299R + 0.587G + 0.114B ( 7 )
Cr = 0.500R - 0.419G - 0.081B ( 8 )
Cb = -0.169R-0.332G + 0.500B (9)
FIR濾波器(5x5濾波器)154僅接受YCbCr的亮度信號(hào)Y，并且執(zhí)行 預(yù)定MTF校正。通過僅對(duì)Y信號(hào)濾波(執(zhí)行MTF校正)可以獲得具有顏色 噪聲的放大被壓縮的高質(zhì)量信號(hào)。圖4是用于說明FIR濾波器的例子的示意圖。 因?yàn)闉V除了Y信號(hào)，需要在倍率色像差校正之后執(zhí)行MTF校正。然而，當(dāng)在失真校正之后執(zhí)行MTF校正時(shí)，如下面所述，在失真校正中坐標(biāo)變換的變換
距離是大的，并且容易發(fā)生算術(shù)誤差。如在本實(shí)施例所述，在倍率色像差的校
正的后續(xù)級(jí)和失真才交正的先前級(jí)優(yōu)選地4丸行MTF校正，以避免誤差^皮MTF
校正方法放大而惡化圖像質(zhì)量。
逆轉(zhuǎn)換單元156接收CbCr信號(hào)和MTF校正的Y信號(hào)，并且基于等式(10)
到(12 )輸出逆轉(zhuǎn)換的RGB圖像數(shù)據(jù)。
R = Y+ 1.402Cr (10) G = Y-0.714Cr-0.344Cb (11) B = Y+ 1.772Cb (12) 失真校正單元160接收倍率色像差校正的和MTF校正的RGB ^f象素?cái)?shù)據(jù)，
根據(jù)預(yù)定等式對(duì)RGB的各個(gè)顏色分量共同執(zhí)行坐標(biāo)變換(失真坐標(biāo)變換)，并
且輸出失真校正的RGB像素?cái)?shù)據(jù)。
伽瑪校正單元170接收從失真校正單元160輸出的RGB像素?cái)?shù)據(jù)，通過
使用RGB的各自的查找表等來執(zhí)行預(yù)定的伽瑪校正，并且輸出伽瑪校正的
RGB像素?cái)?shù)據(jù)。
上面解釋了圖i所示的本實(shí)施例中的全部操作。下面詳細(xì)描述作為本實(shí)施 例主要元件的倍率色像差校正單元140和失真校正單元160。
首先解釋校正倍率色像差和失真的原理。如圖5所示，當(dāng)使用具有倍率色 像差和失真的光學(xué)系統(tǒng)來執(zhí)行成像時(shí)，處于屏幕右上方由1指示的位置(像素) 的像素?cái)?shù)據(jù)由于失真而偏離原始位置，并且由于倍率色像差對(duì)RGB的顏色分 量造成不同的偏離。由此，對(duì)于RGB,成像裝置實(shí)際捕獲的位置變成2 (R)、 3 (G)、 4 (B)的位置。通過將處于位置(像素)2 (R)、 3 (G)和4 (B) 的RGB的各個(gè)顏色分量的像素?cái)?shù)據(jù)復(fù)制到作為原始位置的位置(像素)1 ，即， 通過坐標(biāo)變換，來執(zhí)行倍率色像差和失真的校正。位置2、 3和4是源的坐標(biāo)， 位置l是目的地的坐標(biāo)。
因?yàn)榭梢愿鶕?jù)光學(xué)系統(tǒng)的統(tǒng)計(jì)數(shù)據(jù)來發(fā)現(xiàn)失真的大小和倍率色像差的大 小，因此可以計(jì)算相對(duì)于原始位置，RGB的各個(gè)顏色分量偏移到什么位置。
圖6是校正倍率色像差和失真的通用方法的示意圖。即，在位置(像素) 2(R)、 3(G)和4(B)的RGB的各個(gè)顏色分量的像素?cái)?shù)據(jù)通常被復(fù)制到作為原始位置的位置(像素)1。即，通過坐標(biāo)變換同時(shí)校正倍率色像差和失真。
然而，根據(jù)本方法，需要對(duì)于RGB的每個(gè)顏色分量具有大容量的存儲(chǔ)器，和 短等待時(shí)間或多端口存儲(chǔ)器。例如，在圖6的情況下，對(duì)于RGB的每個(gè)顏色 的坐標(biāo)變換需要具有六行的高速存儲(chǔ)器。
圖7A和7B是單獨(dú)校正倍率色像差和失真的方法的示意圖。對(duì)于每個(gè)顏 色分量倍率色像差是不同的，然而，其偏差很小。另一方面，雖然失真的偏差 是大的，但是對(duì)于每個(gè)顏色分量偏差是相同的。關(guān)于這點(diǎn)，通過對(duì)于RGB的 各個(gè)顏色分量的像素?cái)?shù)據(jù)分別執(zhí)行坐標(biāo)變換(坐標(biāo)變換RG的顏色分量并且將 顏色分量復(fù)制到G分量的位置)來校正倍率色像差，此后，倍率色像差校正 的RGB像素?cái)?shù)據(jù)被共同地位置變換以校正失真。由此，用于坐標(biāo)變換的存儲(chǔ) 器可以被分成校正倍率色像差所需的小容量和高速(短等待時(shí)間或多端口 ) RGB兼容的存儲(chǔ)器，以及校正失真所需的RGB共用的通常大容量和低速(長 等待時(shí)間和單端口)的存儲(chǔ)器，由此以減少整體成本。本發(fā)明通過簡化特別是 用于校正倍率色像差的坐標(biāo)變換的公式，以及以簡單和小的電路執(zhí)行倍率色像 差的校正來實(shí)現(xiàn)整體成本的進(jìn)一步減少。
在圖7A中，對(duì)在位置(像素)2 (R)和4 (B)的顏色分量的像素?cái)?shù)據(jù) 執(zhí)行坐標(biāo)變換，以將數(shù)據(jù)復(fù)制到G分量的位置(像素)3 (G)。通過這個(gè)操作 校正倍率色像差。在圖7B中，對(duì)在位置(像素)3的倍率色像差校正的RGB 的顏色分量的像素?cái)?shù)據(jù)共同地執(zhí)行坐標(biāo)變換，以將數(shù)據(jù)復(fù)制到作為原始位置的 位置(像素)1。通過這個(gè)操作來校正失真。
在圖7A和7B所示的例子中，RGB兼容的三行存儲(chǔ)器對(duì)于用于校正倍率 色像差的高速存儲(chǔ)器是足夠的。需要五行存儲(chǔ)器以分開校正失真，然而，對(duì)于 RGB可以共同使用低速存儲(chǔ)器，并且與圖6的情況相比可以實(shí)現(xiàn)整體成本的 減少。通過以簡單和小的電路執(zhí)行倍率色像差的校正可以進(jìn)一步實(shí)現(xiàn)整體成本 的減少。
失真指的是透鏡對(duì)于期望的投影方法的失真，例如，期望的投影方法包括 其中如從上面的照相機(jī)向下看而得到的圖像的投影方法，或者其中某部分被放 大顯示的投影方法。
圖8是根據(jù)本實(shí)施例的倍率色像差校正單元140的結(jié)構(gòu)圖。在本發(fā)明中，下面的等式被用作坐標(biāo)變換的公式以校正倍率色像差(倍率色像差的校正公 式)
其中x和y表示當(dāng)屏幕的中心被指定為原點(diǎn)時(shí)，目的地的坐標(biāo)(原始坐標(biāo))， X和Y表示源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。在x和y方向的像素偏 移量Ax和Ay (校正量)由Ax = ax和Ay = by表示。已經(jīng)確認(rèn)，即使倍率色 像差的公式被簡化為等式(13)而不是復(fù)雜的多項(xiàng)式等，也可以獲得和使用復(fù) 雜的多項(xiàng)式等時(shí)所獲得的校正效果相同的校正效果。具體地，在具有大的倍率 色像差的魚眼光學(xué)系統(tǒng)的情況下，由于計(jì)算精度的問題需要高的比特?cái)?shù)，以及 需要大規(guī)模電路。然而，根據(jù)本方法，因?yàn)閷?duì)于x和y的每一個(gè)僅需要一次乘 法，所以存在電路尺寸的大的減少效果。特別地，由于這里使用的模擬乘法器 僅需要執(zhí)行"常數(shù)x變量"的乘法，可以使用小規(guī)模的模擬乘法器，并且不需 要用于計(jì)算平方項(xiàng)的"變量x變量"的大規(guī)才莫模擬乘法器，這在"RecentTrend of Camera Calibration Method"等公開的方法中是需要的。
在圖8中，附圖標(biāo)記142表示用于校正倍率色像差的坐標(biāo)變換存儲(chǔ)器(行 緩存器)，并且142(R)、 142 (G)和142 (B)分別對(duì)應(yīng)于RGB的顏色分量。 附圖標(biāo)記144表示倍率色像差校正坐標(biāo)變換計(jì)算器，其根據(jù)等式(13 )的坐標(biāo) 變換的公式計(jì)算用于校正每個(gè)RGB的倍率色像差的變換坐標(biāo)，并且146表示 坐標(biāo)變換系數(shù)表，該坐標(biāo)變換系數(shù)表存儲(chǔ)在坐標(biāo)變換的公式中使用的系數(shù)a和 bo
對(duì)于倍率色像差的校正，需要RGB的小容量三端口存儲(chǔ)器或短等待時(shí)間 存儲(chǔ)器作為行緩存器。這里假設(shè)坐標(biāo)變換存儲(chǔ)器142 (R)、 142 (G)和142 (B)分別包括20行的SRAM，假設(shè)在y方向倍率色像差的最大偏差量是20 行。通過分辨率確定x方向的尺寸。例如，在分辨率VGA (640x480)的情 境下，x方向的尺寸是640點(diǎn)。色深度是RGB8比特，并且以8比特為單位執(zhí) 行關(guān)于坐標(biāo)變換存儲(chǔ)器142 (R)、 142 (G)和142 (B)的讀寫。
由此，因?yàn)橛糜谛Ｕ堵噬癫畹淖鴺?biāo)變換存儲(chǔ)器(行緩存器)142(R)、 142 (G)和142 (B)具有小的容量，所以通過使用在成像設(shè)備的圖像處理芯
li片中準(zhǔn)備的三端口 SRAM，期望分別確保20行的存儲(chǔ)器區(qū)域。在例如SRAM 的短等待時(shí)間的存儲(chǔ)器的情況下，通過時(shí)間共享可以使用單端口存儲(chǔ)器作為三 端口存儲(chǔ)器。
具有倍率色像差和失真的捕獲圖像的RGB的各個(gè)像素?cái)?shù)據(jù)根據(jù)坐標(biāo)數(shù)據(jù) (x， y)從頭行被順序地分別寫入到坐標(biāo)變換存儲(chǔ)器142 (R)、 142 (G)和 142 (B)。當(dāng)20行的圖像數(shù)據(jù)被分別寫入時(shí)，從頭行順序地丟棄像素?cái)?shù)據(jù)， 并且新寫入隨后行的像素?cái)?shù)據(jù)。坐標(biāo)變換以校正倍率色像差所分別需要的最多 20行的RGB像素?cái)?shù)據(jù)被順序存儲(chǔ)在坐標(biāo)變換存儲(chǔ)器142 (R)、 142 (G)和 142 (B)中。
坐標(biāo)數(shù)據(jù)(x， y)表示一幀的捕獲圖像的讀取位置。另一方面，因?yàn)樽鴺?biāo) 變換存儲(chǔ)器142 (R)、 142 (G)和142 (B)是20行的行緩存器，并且寫入行 被周期地改變，因此坐標(biāo)數(shù)據(jù)(x, y)不可以被直接用作坐標(biāo)變換存儲(chǔ)器142
(R)、 142 (G)和142 (B)的寫入地址。由此，坐標(biāo)數(shù)據(jù)(x， y)的值需要 被改變成坐標(biāo)變換存儲(chǔ)器142 (R)、 142 (G)和142 (B)的實(shí)際地址。然而， 在圖8中省略用于變換的配置。對(duì)于稍后描述的讀取操作中的源的坐標(biāo)數(shù)據(jù)
(X， Y)和坐標(biāo)變換存儲(chǔ)器142 (R)、 142 (G)和142 (B)的讀取地址之間 的關(guān)系應(yīng)用相同的變換。
倍率色像差校正坐標(biāo)變換計(jì)算器144根據(jù)等式(13 )的坐標(biāo)變換公式計(jì)算 變換坐標(biāo)，以校正每個(gè)RGB的倍率色像差，指定目的地的坐標(biāo)數(shù)據(jù)(x， y) 作為輸入，并且輸出作為每個(gè)RGB的源的坐標(biāo)數(shù)據(jù)(X, Y)。如圖7A所示， 在本實(shí)施例中，RG的顏色分量被坐標(biāo)變換，并且被復(fù)制到G分量的位置。由 此，倍率色像差校正坐標(biāo)變換計(jì)算器144直接輸出輸入的坐標(biāo)數(shù)據(jù)(X， Y) 作為G分量的坐標(biāo)數(shù)據(jù)(X, Y)，并且將使用等式(13)的坐標(biāo)變換公式分 別輸入的坐標(biāo)數(shù)據(jù)(x， y)轉(zhuǎn)換為RG分量的坐標(biāo)數(shù)據(jù)(X， Y)，并且輸出該 坐標(biāo)數(shù)據(jù)(X， Y)。對(duì)于每個(gè)坐標(biāo)數(shù)據(jù)(x, y)重復(fù)該操作。
坐標(biāo)變換存儲(chǔ)器142 (R)、 142 (G)和142 (B)基于從倍率色像差校正 坐標(biāo)變換計(jì)算器144輸出的坐標(biāo)數(shù)據(jù)(X, Y)(實(shí)際上，基于通過變換坐標(biāo)數(shù) 據(jù)(X, Y)的地址而獲得的值)，與上一個(gè)寫入操作并行(實(shí)際上，延長預(yù)定 時(shí)間)來分別順序地讀取RGB像素?cái)?shù)據(jù)。從坐標(biāo)變換存儲(chǔ)器142 (G)讀取在與寫入時(shí)間相同的位置的G分量像素?cái)?shù)據(jù)。另一方面，從坐標(biāo)變換存儲(chǔ)器142 (R)和142 (B)讀取從寫入時(shí)間的位置偏差了預(yù)定位置的RB分量像素?cái)?shù)據(jù) (△x, Ay),即，從坐標(biāo)變換存儲(chǔ)器142 (R)和142 (B)讀耳又偏差了部分倍 率色像差的RB分量像素?cái)?shù)據(jù)。
通過執(zhí)行上述處理，從坐標(biāo)變換存儲(chǔ)器142 (R)、 142 (G)和142 (B) 分別輸出倍率色像差校正的RGB像素?cái)?shù)據(jù)。即，源的RGB像素?cái)?shù)據(jù)(X， Y) 被輸出作為目的地的RGB像素(x， y )。
圖9A到9C是倍率色像差校正坐標(biāo)變換計(jì)算器144的三個(gè)特定例子。圖 9A是一個(gè)例子，其中對(duì)于G的顏色分量不執(zhí)行坐標(biāo)變換，并且輸入的坐標(biāo)數(shù) 據(jù)(x， y)被直接輸出作為G的坐標(biāo)數(shù)據(jù)(X， Y)，而通過使用等式(13) 通過坐標(biāo)變換計(jì)算器1441和1442來僅對(duì)R和B的顏色分量的輸入坐標(biāo)數(shù)據(jù) (x， y)分別執(zhí)行坐標(biāo)變換，并且輸出R的坐標(biāo)數(shù)據(jù)(X， Y)和B的坐標(biāo)數(shù) 據(jù)(X， Y)。由于等式(13)具有簡單的結(jié)構(gòu)，可以減少坐標(biāo)變換計(jì)算器的電 路大小，并且此外，僅需要對(duì)R和B的顏色分量來執(zhí)行坐標(biāo)變換，由此能夠 進(jìn)一步減少電路大小。
圖9B和9C針對(duì)以下事實(shí)由于R和B的顏色分量對(duì)于G是實(shí)質(zhì)上對(duì)稱 地偏移(見圖5)，通常會(huì)發(fā)生倍率色像差。圖9B是一個(gè)例子，其中坐標(biāo)變換 計(jì)算器1443獲得坐標(biāo)數(shù)據(jù)(x， y)的校正量(Ax和Ay)，并且由減法器1444 從坐標(biāo)數(shù)據(jù)(x， y)減去該校正量而獲得的值被指定為B的坐標(biāo)數(shù)據(jù)(X， Y), 同時(shí)由加法器1445將該校正量加到坐標(biāo)數(shù)據(jù)(x， y)而獲得的值被指定為R 的坐標(biāo)數(shù)據(jù)(X， Y)。如圖9A所示，對(duì)于G的坐標(biāo)數(shù)據(jù)(X, Y),直接輸出 坐標(biāo)數(shù)據(jù)(x， y)。
圖9C是一個(gè)例子，其中考慮對(duì)稱位置的偏移，由增益電路1446來調(diào)整R 的校正量。可以在B側(cè)提供增益電路。根據(jù)圖9B和9C所示的例子，坐標(biāo)變 換計(jì)算器可以僅為一個(gè)，由此能夠進(jìn)一步減少電路大小。
取代圖9A中的坐標(biāo)變換計(jì)算器1441和1442，可以準(zhǔn)備存儲(chǔ)了輸入坐標(biāo) 數(shù)據(jù)(x， y)和輸出坐標(biāo)數(shù)據(jù)(X, Y)之間的對(duì)應(yīng)關(guān)系的查找表(LUT)，使 得通過使用LUT可以直接獲得關(guān)于目的地的坐標(biāo)數(shù)據(jù)(x, y)的源的坐標(biāo)數(shù) 據(jù)(X， Y)。同樣地，取代圖9B和9C中的坐標(biāo)變換計(jì)算器1443,可以準(zhǔn)備
13存儲(chǔ)了輸入坐標(biāo)數(shù)據(jù)(x， y)和校正量之間的對(duì)應(yīng)關(guān)系的查找表，使得通過使 用LUT可以直接獲得對(duì)應(yīng)于坐標(biāo)數(shù)據(jù)(x， y)的校正量。由此，可以忽略坐 標(biāo)變換的計(jì)算，并且僅通過存儲(chǔ)器芯片可以基本實(shí)現(xiàn)倍率色像差的校正。
圖IO是失真校正單元160的結(jié)構(gòu)圖。下面的等式被用作坐標(biāo)變換的公式 (失真校正公式)以校正失真。即，魚眼圖像通過僅對(duì)x軸的坐標(biāo)變換被轉(zhuǎn)換 為人眼容易看到的圖像。
其中x和y表示當(dāng)屏幕的中心被指定為原點(diǎn)時(shí)，目的地的坐標(biāo)(原始坐標(biāo))， X和Y表示源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。在x方向的像素偏移量Ax 由Ax-x士 (a + by"x表示。
在圖10中，附圖標(biāo)記161表示RGB合成單元，RGB合成單元將RGB的 三個(gè)像素?cái)?shù)據(jù)合成為一個(gè)像素?cái)?shù)據(jù)，162表示用于校正RGB像素?cái)?shù)據(jù)共有的 失真的坐標(biāo)變換存儲(chǔ)器，163表示RGB分開單元，RGB分開單元將RGB像 素?cái)?shù)據(jù)分開為原始顏色分量，164表示失真校正坐標(biāo)變換計(jì)算器，失真校正坐 標(biāo)變換計(jì)算器根據(jù)等式(14)的坐標(biāo)變換的公式，關(guān)于合成的RGB像素?cái)?shù)據(jù) 計(jì)算變換坐標(biāo)以校正失真，以及165表示坐標(biāo)變換系數(shù)表，坐標(biāo)變換系數(shù)表存 儲(chǔ)了在坐標(biāo)變換公式中使用的系數(shù)a和b。
RGB合成單元161順序地接收各個(gè)倍率色像差校正的RGB像素?cái)?shù)據(jù)(8 比特，分別地)，將這些數(shù)據(jù)合成到一個(gè)像素?cái)?shù)據(jù)(24比特)，并且輸出合成 的像素?cái)?shù)據(jù)。合成的RGB像素?cái)?shù)據(jù)根據(jù)各自坐標(biāo)數(shù)據(jù)(x， y)從頭行被順序 地寫入到坐標(biāo)變換存儲(chǔ)器162。
另一方面，失真校正坐標(biāo)變換計(jì)算器164根據(jù)等式(14)的坐標(biāo)變換的公 式來計(jì)算變換坐標(biāo)，以校正RGB共有的失真，指定坐標(biāo)數(shù)據(jù)(x， y)作為輸 入，并且輸出變換后的坐標(biāo)數(shù)據(jù)(X， Y)。具體地，失真校正坐標(biāo)變換計(jì)算器 164根據(jù)等式(14 )計(jì)算x方向的變換坐標(biāo)，并且輸出該變換后的坐標(biāo)數(shù)據(jù)(X, Y),而不對(duì)y方向進(jìn)行處理。用于等式(14)中計(jì)算的坐標(biāo)變換系數(shù)預(yù)先保 存在坐標(biāo)變換系數(shù)表165中。因?yàn)榈仁?14)用于坐標(biāo)變換的公式以校正失真， 因此可以減小失真校正坐標(biāo)變換計(jì)算器164的電路大小。坐標(biāo)變換存儲(chǔ)器162基于從失真校正坐標(biāo)變換計(jì)算器164輸出的坐標(biāo)數(shù)據(jù) (X, Y),與上一個(gè)RGB合成的像素?cái)?shù)據(jù)(24比特)的寫入揭:作并行(實(shí)際 上，從寫入操作延長預(yù)定時(shí)間)來順序地讀取RGB合成的像素?cái)?shù)據(jù)。RGB分 開單元163將從坐標(biāo)變換存儲(chǔ)器162讀取的RGB合成的像素?cái)?shù)據(jù)(24比特) 分開為RGB的各個(gè)顏色分量的像素?cái)?shù)據(jù)(8比特)。通過使用等式(14)，像 素偏移僅在x方向上。由此，坐標(biāo)變換存儲(chǔ)器162最多僅需要一行，由此能夠 很大地減少所需的存儲(chǔ)器大小。
根據(jù)上述處理，RGB分開單元163輸出具有被校正的倍率色像差和失真 的各個(gè)RGB像素?cái)?shù)據(jù)。即，各個(gè)RGB像素?cái)?shù)據(jù)被復(fù)制到原始位置(x， y )。
此外在失真校正中，可以準(zhǔn)備存儲(chǔ)了輸入坐標(biāo)數(shù)據(jù)(x， y)和輸出坐標(biāo)數(shù) 據(jù)(X， Y)之間的對(duì)應(yīng)關(guān)系的查找表(LUT)，使得通過使用LUT可以直接 獲得關(guān)于坐標(biāo)數(shù)據(jù)(x， y)的變換后的坐標(biāo)數(shù)據(jù)(X， Y)。由此，可以省略坐 標(biāo)變換的計(jì)算，并且僅通過存儲(chǔ)器芯片就可以基本實(shí)現(xiàn)失真的校正。
用于校正失真的坐標(biāo)變換的公式不需要是等式(14),例如，該公式可以 表示為
義=x + [a(l) + a(2) x flfo(x) + fl(3) x血(力+ fl(4) x_y2]xx (15) y = ^ +工柳+ 6(2) x 。fo(力+ 6(3) x+ 6(4) x x2 ] x ;;
其中abs ()襲^遂對(duì)疽，以岌a (1)到a (4)以及b (1)到b (4)是坐標(biāo) 變換系數(shù)。根據(jù)等式(15)，雖然電路變得復(fù)雜，但在x和y方向的校正變得 可能。此外，因?yàn)閷?duì)于每個(gè)顏色分量僅需要一個(gè)計(jì)算電路，所以可以抑制電路 尺寸的復(fù)雜性。用于校正失真的坐標(biāo)變換存儲(chǔ)器162需要相對(duì)大的容量。由于 基于成本的考慮在圖像處理芯片中包括SRAM是困難的，并且單端口存儲(chǔ)器 對(duì)于RGB是不足夠的，因此期望使用圖像處理芯片之外準(zhǔn)備的DRAM。
即使在根據(jù)等式(1 )執(zhí)行關(guān)于圖像數(shù)據(jù)的坐標(biāo)變換的情況下，可以獲得 通過使用復(fù)雜的多項(xiàng)式等獲得的效果相同的校正效果。根據(jù)本發(fā)明的圖像處理 方法和圖像處理設(shè)備，可以以最小的電路尺寸來執(zhí)行倍率色像差的校正，而不 惡化性能。此外，根據(jù)本發(fā)明的成像設(shè)備，進(jìn)一步的成本減少是可能的。
雖然為了完整和清楚的公開而對(duì)于特定實(shí)施例描述了本發(fā)明，附帶的權(quán)利 要求并不由此受限，而應(yīng)被解釋為包含了本領(lǐng)域的普通技術(shù)人員可以進(jìn)行的完 全落入在此描述的基本教導(dǎo)中的所有變型和替換結(jié)構(gòu)。
權(quán)利要求
1. 一種處理包括倍率色像差的圖像數(shù)據(jù)的方法，所述圖像數(shù)據(jù)是從魚眼光學(xué)系統(tǒng)獲得的，所述方法包括通過基于公式對(duì)所述圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像差，其中，x和y表示以屏幕的中心為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示以屏幕的中心為原點(diǎn)的變換源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
2. 根據(jù)權(quán)利要求1所述的方法，其中，校正包括 從坐標(biāo)變換中排除特定顏色分量；以及執(zhí)行除了所述特定顏色分量之外的顏色分量的坐標(biāo)變換。
3. 根據(jù)權(quán)利要求2所述的方法，其中，所述校正包括 基于所述特定顏色分量的坐標(biāo)，分別獲得在x方向和y方向上的校正量Ax=ax和Ay = ay; 以及通過使用所述校正量來執(zhí)行除了所述特定顏色分量之外的顏色分量的坐 標(biāo)變換。
4. 根據(jù)權(quán)利要求2或3所述的方法，其中 以紅色、綠色、藍(lán)色信號(hào)形成所述顏色分量，以及 以綠色信號(hào)形成所述特定顏色分量。
5. —種用于處理包括倍率色像差的圖像數(shù)據(jù)的設(shè)備，所述圖像數(shù)據(jù)是從 魚眼光學(xué)系統(tǒng)獲得的，所述設(shè)備包括倍率色像差校正單元(140)，通過基于公式[^ = "^對(duì)所述圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像差，其中，x和y表示以屏幕的中心為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示 以屏幕的中心為原點(diǎn)的變換源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，倍率色像差校正單元(140)從坐 標(biāo)變換中排除特定顏色分量，并且執(zhí)行除了所述特定顏色分量之外的顏色分量的坐標(biāo)變換。
7. 根據(jù)權(quán)利要求6所述的設(shè)備，其中，倍率色像差校正單元(140)基于 所述特定顏色分量的坐標(biāo)，分別獲得在x方向和y方向上的校正量Ax = ax和 △y = ay，并且通過使用所述校正量來執(zhí)行除了所述特定顏色分量之外的顏色分 量的坐標(biāo)變換。
8. 根據(jù)權(quán)利要求6或7所述的設(shè)備，其中 以紅色、綠色、藍(lán)色信號(hào)形成所述顏色分量，以及 以綠色信號(hào)形成所述特定顏色分量。
9. 一種成像設(shè)備，包括成像裝置，使用具有大的倍率色像差的魚眼光學(xué)系統(tǒng)來捕獲圖像，并且輸 出包括倍率色像差的圖像數(shù)據(jù)；以及根據(jù)權(quán)利要求5到8的任一項(xiàng)所述的設(shè)備。
全文摘要
本發(fā)明提供涉及圖像處理方法、圖像處理設(shè)備和成像設(shè)備。通過基于公式X=x+ax Y=y+by對(duì)包括倍率色像差的圖像數(shù)據(jù)執(zhí)行坐標(biāo)變換來校正倍率色像差，該圖像數(shù)據(jù)是從魚眼光學(xué)系統(tǒng)獲得的，其中x和y表示以屏幕的中心為原點(diǎn)的變換目的地的坐標(biāo)，X和Y表示以屏幕的中心為原點(diǎn)的變換源的坐標(biāo)，并且a和b是坐標(biāo)變換系數(shù)。
文檔編號(hào)H04N5/243GK101500088SQ20091000323
公開日2009年8月5日 申請(qǐng)日期2009年1月21日 優(yōu)先權(quán)日2008年1月28日
發(fā)明者笠原亮介 申請(qǐng)人:株式會(huì)社理光