專利名稱：攝像系統(tǒng)和圖像處理裝置及攝像機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對(duì)被拍攝物體進(jìn)行顏色校正或穩(wěn)定圖像的濃度的攝像系統(tǒng)、及其使用的攝像機(jī)和圖像處理裝置。
背景技術(shù)：
物體的顏色容易受到入射光的影響，想讓由攝像機(jī)拍攝到的圖像的顏色不受入射光的影響而保持恒定是非常困難的。而人即使在這種情況下仍可以對(duì)物體的顏色有恒定的認(rèn)識(shí)，這種能力稱為顏色的不變性(Color Consistency)。
過去，為了保持顏色的不變性，對(duì)于由攝像機(jī)拍攝到的圖像有兩種顏色校正方式對(duì)攝像各分區(qū)分別校正的分區(qū)(Spatial)校正方式和對(duì)圖像整體平均校正的整體(Global)校正方式。使用前者的例子有Retinex方式，使用后者的例子有白色修補(bǔ)方式和強(qiáng)光部參照方式等。
第一種的Retinex方式基于GWA(Gray World Assumption)理論，即假定物體表面在光檢測(cè)路徑中的平均色為灰色。然后，使用某一分區(qū)，例如在某個(gè)像素周圍擴(kuò)散的光檢測(cè)路徑的顏色信息對(duì)該像素進(jìn)行顏色校正。
因此，采用Retinex方式時(shí)必須針對(duì)各像素根據(jù)光檢測(cè)路徑顏色進(jìn)行復(fù)雜的計(jì)算，因此存在整體上要求計(jì)算機(jī)的計(jì)算量十分巨大的問題。另外，如果畫面的顏色偏向某種顏色時(shí)，這種偏向的顏色會(huì)被當(dāng)作光源顏色使用，因此Retinex方式的適用范圍是十分有限的。
第二種的白色修補(bǔ)方式是在畫面中插入白色修補(bǔ)，將這些白色修補(bǔ)上的反射光作為光源顏色，并以此為依據(jù)進(jìn)行顏色校正。但是，現(xiàn)實(shí)中要在被拍攝畫面中直接插入白色修補(bǔ)是非常困難的。
第三種的強(qiáng)光部參照方式，例如假定飽和像素周圍的光為強(qiáng)光部，將其周圍的光作為光源顏色。因此，必須在被拍攝的畫面上單獨(dú)尋找強(qiáng)光部，圖像處理過程非常復(fù)雜。另外，由于對(duì)應(yīng)強(qiáng)光部的像素已經(jīng)飽和，從該處尋找光源顏色幾乎不可能。
因此，為解決上述方式中的問題，發(fā)明人建議使用稱為諾茲(nose)方式的分區(qū)校正方式。其國(guó)際申請(qǐng)編號(hào)為PCT/JP96/03683號(hào)(國(guó)際公開號(hào)WO98/27744號(hào))。使用該諾茲方式的攝像系統(tǒng)具有鏡頭，攝像元件和反射面，設(shè)有將主畫面拍攝在上述攝像元件上的攝像機(jī)和使用通過反射面得到的參照畫面的信息來校正上述主畫面中的圖像的圖像處理裝置。然后，預(yù)先在參照畫面與主畫面之間進(jìn)行使兩者對(duì)應(yīng)的映射，在圖像處理裝置中，用各主畫面中的各像素中的顏色除以與其對(duì)應(yīng)的參照畫面的顏色，從而實(shí)現(xiàn)對(duì)主畫面的顏色校正。
但是，使用諾茲方式時(shí)，必須在參照畫面與主畫面之間進(jìn)行使兩者對(duì)應(yīng)的映射操作。因此，為保證顏色校正的正確性，必須在映射前進(jìn)行復(fù)雜的校準(zhǔn)，而此項(xiàng)校準(zhǔn)工作十分繁瑣。另外，為了進(jìn)行映射操作，必須保證在拍攝后的圖像上有足夠面積的參照畫面。因此，當(dāng)主畫面與參照畫面存在于相同圖像范圍內(nèi)時(shí)，主畫面的大小將減少參照畫面部分那么大。
鑒于以上狀況，本發(fā)明的第一目的是提供一種通過簡(jiǎn)易的校準(zhǔn)進(jìn)行顏色校正以保持顏色的不變性并穩(wěn)定圖像的濃度的攝像系統(tǒng)、及其使用的攝像機(jī)和圖像處理裝置。
另外，本發(fā)明的第二目的是提供一種在參照畫面的面積很小時(shí)仍能進(jìn)行充分地顏色校正的攝像系統(tǒng)。

發(fā)明內(nèi)容
為實(shí)現(xiàn)上述要求，本發(fā)明涉及的攝像系統(tǒng)的特征是用于顏色校正，配備具有鏡頭、攝像元件、感光元件以及反射面并用于在攝像元件上拍攝主畫面的攝像機(jī)，上述攝像元件和感光元件具有多個(gè)顏色通道，上述反射面被配置在上述攝像機(jī)的視野之內(nèi)，并且反射來自主畫面或其附近的參照畫面的光以經(jīng)過上述鏡頭由感光元件接收，此外，還具有光源顏色測(cè)定部分和校正裝置，光源顏色測(cè)定部分將在上述每個(gè)顏色通道中從上述感光元件接收到的參照畫面的反射光中的一個(gè)或多個(gè)像素部分的平均值作為參照信號(hào)值(rn，gn，bn)。校正裝置則根據(jù)這個(gè)參照信號(hào)值對(duì)圖像進(jìn)行顏色校正。
在此攝像系統(tǒng)中，如果其構(gòu)成為用數(shù)字或模擬電路對(duì)上述的校正裝置進(jìn)行電圖像處理時(shí)，該校正裝置作為校正部分，用于獲得通過用上述攝像元件拍攝的主畫面的各坐標(biāo)位置的主信號(hào)值(r[x][y]，g[x][y]，b[x][y])分別除以上述每個(gè)顏色通道的參照信號(hào)值(rn，gn，bn)，來獲得上述主信號(hào)值的校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])。
具備上述特征的攝像系統(tǒng)可用來保持彩色圖像的顏色不變性，為此，上述攝像機(jī)的攝像元件及感光元件具有多個(gè)顏色通道，上述的圖像處理裝置用每個(gè)顏色通道的上述各主信號(hào)的值除以每個(gè)顏色通道的上述參照信號(hào)，來實(shí)現(xiàn)對(duì)主信號(hào)的校正。
這里，在說明本發(fā)明對(duì)穩(wěn)定圖像濃度方面所起的作用時(shí)，我們以彩色攝像機(jī)的顏色不變性為例。當(dāng)然本發(fā)明同樣可用于穩(wěn)定黑白攝像機(jī)中的圖像的濃度。
當(dāng)某畫面中的物體表面由一個(gè)光源照射時(shí)，反射光I(λ)可用以下公式表示I(λ)＝E(λ)S(λ)(1)這里的S(λ)是物體表面的反射函數(shù)，E(λ)是隨形狀幾何變化的光源的光譜強(qiáng)度分布(SPD)，λ是光源的波長(zhǎng)。
不均勻的絕緣性表面的反射，是由稱為邊界反射和固體(body)反射的兩個(gè)組成部分線性相加而得到的。我們周圍大多種類物體的表面，例如衣服，人，墻壁，噴涂過的金屬，塑料等，都屬于不均勻的絕緣性表面。圖36表示了將彩色顏料分散在彩色媒介物中的表面構(gòu)造。若干入射光被彩色媒介物的表面和周圍媒體的邊界所反射，這部分稱為邊界反射(I)，它代表了光源顏色。其它的入射光經(jīng)過多個(gè)彩色顏料間的連續(xù)相互反射，成為傳遞隨光原色變化的所謂表面色的顏料顏色的固體反射(B)部分。這些模型稱為二色性模型，物體表面的反射函數(shù)S(λ)可用以下公式表示S(λ)＝[mI(g)cI(λ)+mB(g)cB(λ)](2)mI(g)和mB(g)分別是邊界反射和固體反射的基準(zhǔn)系數(shù)，它們僅取決于照明及攝像范圍(viewing)的幾何關(guān)系。另外，cI(λ)和cB(λ)分別是邊界反射和固體反射的光學(xué)構(gòu)成要素，僅由光源的波長(zhǎng)決定。
如果物體是金或銅，上述的邊界反射(I)將改變?nèi)肷涔獾念伾?。但銀、鋁等金屬和脂肪，油，臘等彩色媒介物等地球上多數(shù)其它物體的表面遵循中性邊界反射(NIR)原理，即在不改變?nèi)肷涔忸伾那闆r下傳遞光的上述SPD值。多數(shù)情況下邊界反射(I)表現(xiàn)為強(qiáng)光部分，因此我們認(rèn)為大多數(shù)物體的鏡面反射(I)傳遞入射光的顏色。
上述的邊界反射到達(dá)攝像機(jī)時(shí)，對(duì)攝像元件的各像素上的光亮度進(jìn)行有上限的積分，則在某一點(diǎn)的光譜觀測(cè)結(jié)果可由下面的公式求出ki(x，y)＝[∫∫∫Ri(λ)(I(X，Y，λ)dλdxdy)γ+b (3)將這里的注腳i替換為1，2，3中的任何一個(gè)的值分別對(duì)應(yīng)紅、綠、藍(lán)，(x，y)是攝像的坐標(biāo)。(X，Y)是攝像中心的世界坐標(biāo)。Ri(λ)表示與采樣濾波器的特性建立關(guān)聯(lián)的第i項(xiàng)光譜的響應(yīng)。γ是圖像-電信號(hào)的轉(zhuǎn)換指數(shù)。b是傳感器偏移或稱為暗噪聲。調(diào)整這些指數(shù)γ和暗噪聲b的值，使得輸出信號(hào)確實(shí)為γ＝1和b＝0的線性圖像，下面，參照?qǐng)D37來考慮物體的反射光在前述的反射面中的相互反射(inter-reflection)的情況。射向物體的入射光作為表面反射(I)和固體反射(B)分別朝向攝像機(jī)和反射面。到達(dá)反射面的反射光，當(dāng)反射面符合二色性模型時(shí)，會(huì)作為表面-表面反射(II)，固體-表面反射(BI)，表面-固體反射(IB)，固體-固體反射(BB)進(jìn)行相互反射。當(dāng)然，反射面也遵循NIR原理對(duì)光源顏色進(jìn)行原樣反射，因此反射面最好采用鋁、白色或灰色樹脂或紙等材料制作。
這些相互反射的反射光中，固體-固體反射(BB)由于強(qiáng)度非常弱可以不予考慮。此外，表面-固體反射(IB)由于反射面是光學(xué)平面，因此不會(huì)改變光的光譜，另外比表面-表面反射(II)小。因此，反射面的材料不論選擇不符合二色性模型的鋁等材料，還是采用符合二色性模型的材料，均可認(rèn)為相互反射光的要素是相同的。這里，入射到反射面上、在反射面上的某坐標(biāo)相互反射的光C(Xn，Yn，λ)可由下式表示C(Xn，Yn，λ)＝∫∫B1(X，Y)Sn(X，Y，λ)S(X，Y，λ)E(X，Y，λ)dXdY(4)圖38是表示在反射面的表面上基于漫射鏡面反射的第一模糊現(xiàn)象的過程的圖。沿入射光路S1入射的入射光對(duì)于鏡面反射的反射光路S1’強(qiáng)度最大，遠(yuǎn)離S1’強(qiáng)度逐漸減小，呈現(xiàn)出曲線G1所示的強(qiáng)度分布。另外，沿入射光路S2入射的入射光同樣是對(duì)于鏡面反射的反射光路S2’的強(qiáng)度最大，遠(yuǎn)離S2’強(qiáng)度逐漸減小，呈現(xiàn)出曲線G2所示的強(qiáng)度分布。因此，沿反射光路C’的反射光的強(qiáng)度，例如是由曲線G1，G2與反射光路Sn’的交叉所定出的各值相加后的強(qiáng)度。上述公式(4)中的B1(X，Y)項(xiàng)是第一模糊現(xiàn)象的函數(shù)，僅由表面的粗糙度決定。另外，上述公式(4)中的Sn(X，Y，λ)項(xiàng)表示反射面的光譜的反射率，由世界坐標(biāo)及波長(zhǎng)λ決定。而且，在假定為NIR的情況下，Sn(X，Y，λ)的取值為1。
例如，從反射面反射的相互反射光通過鏡頭射入作為感光元件的攝像元件時(shí)，由于反射面被放置在鏡頭附近，該相互反射光被鏡頭散射。根據(jù)空間模糊函數(shù)B2(Xn，Yn)，反射面上的一點(diǎn)濃度產(chǎn)生變化，被投影為一個(gè)圓。圖39表示了由于散射造成的模糊。到達(dá)攝像元件上的點(diǎn)的相互反射光Cin(Xni，Yni，λ)可用下面的公式表示Cin(Xni，Yni，λ)＝∫∫B2(Xn，Yn)C(Xn，Yn，λ)dXndYn (5)這里的注腳ni例如對(duì)應(yīng)通過從反射面相互反射得到的參照畫面的攝像元件上的各像素。該光Cin(Xni，Yni，λ)例如到達(dá)攝像元件上時(shí)，該光的光譜觀測(cè)結(jié)果kin(x，y)可參照前面的公式(3)用如下方法求出kni(x，y)＝[∫∫∫Ri(λ)Cin(Xni，Yni，λ)dλdXnidYni]γ+b(6)簡(jiǎn)而言之，參照畫面中各坐標(biāo)的RGB強(qiáng)度kni(x，y)是將上述的邊界-邊界反射(II)和固體-邊界反射(BI)作為上述的B1，B2兩個(gè)模糊函數(shù)的卷積表現(xiàn)出來的。
當(dāng)主畫面中強(qiáng)光部的邊界反射光線I直接被攝像元件拍攝時(shí)，多數(shù)情況下光線會(huì)超過鏡頭的動(dòng)態(tài)范圍，而且會(huì)占據(jù)較小的面積。因此，即使強(qiáng)光部包含光源的信息也很難被有效利用。
對(duì)此，可以利用反射面甚至是鏡頭的模糊部分，通過上述兩個(gè)卷積使強(qiáng)光部的光擴(kuò)散，進(jìn)而動(dòng)態(tài)范圍由于反射而衰減變小。因此，與僅由直接圖像捕捉強(qiáng)光部的方法相比，利用反射面進(jìn)行強(qiáng)光部捕捉能更簡(jiǎn)單地利用強(qiáng)光部得到光源顏色的信息。另外，由于強(qiáng)光部的邊界反射I比固體反射B的灰度要高，因此比固體-邊界反射BI所起的作用還要大。但是，對(duì)于幾乎沒有強(qiáng)光部的畫面，固體-邊界反射BI在參照畫面中被用來對(duì)主畫面進(jìn)行校正。這種情況下，上述的兩個(gè)卷積實(shí)際上與先前提到的GWA理論在光學(xué)處理上等價(jià)。因此，本發(fā)明將通過參照強(qiáng)光部進(jìn)行校正與根據(jù)GWA理論進(jìn)行校正置于平行地位同時(shí)進(jìn)行。
然而，上述現(xiàn)有的第四個(gè)公報(bào)中記載的方法中，將參照畫面的各坐標(biāo)位置的光譜kni(x，y)，與主畫面的各坐標(biāo)位置的光譜kn(x，y)進(jìn)行映射，然后用每個(gè)坐標(biāo)的值進(jìn)行除法運(yùn)算，從而進(jìn)行作為分區(qū)方法的顏色校正。
但是，得出的結(jié)論是在多數(shù)場(chǎng)合下，對(duì)于太陽光和屋內(nèi)電燈等，光源顏色以主要的一種顏色來處理也沒什么問題。此外，由于由使用反射面導(dǎo)致的上述卷積將強(qiáng)光部的信息擴(kuò)散到參照畫面內(nèi)，因此可以找到一種從參照畫面的一部分對(duì)全體光源顏色進(jìn)行采樣的方法。
因此，在本發(fā)明中，通過將由感光元件接收到的參照畫面反射光中的一個(gè)像素部分的值或多個(gè)像素部分的平均值作為參照信號(hào)求出，求出代表光源顏色的一個(gè)值(對(duì)應(yīng)3種顏色的向量)。另外，反射面只需在反射主畫面或其附近的附屬參照畫面的光的同時(shí)使感光元件感光即可。在設(shè)計(jì)該反射面時(shí)，只要沿著反射光的主路徑反射主要來自主畫面或其附近的附屬參照畫面的光即可。
然后，為了用數(shù)字或模擬電路實(shí)現(xiàn)圖像校正，例如，用由攝像元件拍攝的主畫面中各坐標(biāo)位置的主信號(hào)值除以一個(gè)參照信號(hào)的值(向量)，來進(jìn)行主信號(hào)的校正。
本發(fā)明是原則上使用代表單一光源顏色的值的整體校正方式。因此，與反射面對(duì)應(yīng)的參照?qǐng)D像部分與主圖像部分間的對(duì)應(yīng)關(guān)系比現(xiàn)有技術(shù)粗略，從而校準(zhǔn)工作也非常簡(jiǎn)單易行。此外，因?yàn)閰⒄請(qǐng)D像部分與主要圖像的對(duì)應(yīng)關(guān)系可以比現(xiàn)有技術(shù)粗略，其結(jié)果，即使參照?qǐng)D像部分的面積很小仍能進(jìn)行顏色校正。另外，在顏色校正時(shí)，由于同一個(gè)參照信號(hào)值能夠適用于圖像的整體范圍，實(shí)際上在各顏色通道中只需除以一個(gè)相同的值即可，從而可以大幅度地提高校正的速度。
但是，在計(jì)算機(jī)上除法運(yùn)算比乘法運(yùn)算的處理負(fù)荷要高出許多。但是，根據(jù)本發(fā)明，作為進(jìn)行除法運(yùn)算時(shí)的分母的參照信號(hào)值在各顏色通道中是相同的，因此如果將用上述的參照信號(hào)值(rn，gn，bn)作為分母的系數(shù)(sr，sg，sb)預(yù)先算出，然后將這個(gè)系數(shù)(sr，sg，sb)與上述各主信號(hào)的值(r[x][y]，g[x][y]，b[x][y])相乘即可對(duì)主信號(hào)進(jìn)行校正，這樣的圖像處理裝置很容易實(shí)現(xiàn)。另外，上述各顏色通道中的上述各系數(shù)(sr，sg，sb)也可以將各顏色通道不同的參照信號(hào)(rn，gn，bn)作為分母，將各顏色通道相同的另一個(gè)系數(shù)(s)作為分子進(jìn)行處理。
也可以如下構(gòu)成圖像處理裝置從由上述的攝像元件或是感光元件順序送來的幀信號(hào)中的某一幀信號(hào)中求出前面提到的系數(shù)(sr，sg，sb)，用這個(gè)系數(shù)(sr，sg，sb)與從一段時(shí)間過后的其它幀中得到的各主信號(hào)值(r[x][y]，g[x][y]，b[x][y])相乘對(duì)主信號(hào)進(jìn)行校正。這時(shí)，如果將系數(shù)(sr，sg，sb)與多個(gè)分別從其它幀得到的各主信號(hào)值(r[x][y]，g[x][y]，b[x][y])共同相乘來進(jìn)行校正，即可減少上述系數(shù)的計(jì)算次數(shù)，從而進(jìn)一步提高速度。這樣的結(jié)構(gòu)可以通過設(shè)置一個(gè)能夠?qū)纳鲜銎渌膸玫降男盘?hào)與系數(shù)(sr，sg，sb)相乘的視頻放大器來實(shí)現(xiàn)。
上述的圖像處理裝置中，上述主信號(hào)值(r[x][y]，g[x][y]，b[x][y])取該信號(hào)集合中最大值(rm，gm，bm)時(shí)，通過設(shè)定上述另一個(gè)系數(shù)(s)的值，使作為最大值的值(rm，gm，bm)接近上述主信號(hào)值的最大標(biāo)度值(D)。通過這一設(shè)定，可以減小強(qiáng)光部與其周圍的校正圖像間極大的濃度差異。
此外，也可以如下構(gòu)成圖像處理裝置某個(gè)像素上兩個(gè)通道內(nèi)主信號(hào)的值達(dá)到上述最大標(biāo)度值(D)且其它通道內(nèi)的主信號(hào)值未達(dá)到上述最大標(biāo)度值(D)時(shí)，將該像素定義為不正確像素，通過設(shè)定另一個(gè)系數(shù)(s)的值，使該不正確像素集合中的上述其它通道內(nèi)的最小值(rcm，bcm)至少達(dá)到上述最大標(biāo)度值(D)。通過該構(gòu)成，可以像處理強(qiáng)光部一樣對(duì)不正確像素進(jìn)行修正，進(jìn)一步減少校正后圖像中不自然的成份。
實(shí)驗(yàn)證明，當(dāng)某個(gè)像素中僅藍(lán)色通道內(nèi)的主信號(hào)值達(dá)到上述最大標(biāo)度(D)且其余的紅色綠色通道內(nèi)的主信號(hào)未達(dá)到上述最大標(biāo)度(D)時(shí)，該藍(lán)色通道的主信號(hào)校正值(bc)可以根據(jù)紅色綠色通道內(nèi)的校正值(rc，gc)之間的比值算出。
互聯(lián)網(wǎng)等技術(shù)中使用了圖像壓縮。由于壓縮會(huì)損失有用的顏色信息，所以本發(fā)明的圖像處理裝置適用于在壓縮之前進(jìn)行校正。
在構(gòu)成本發(fā)明的攝像機(jī)時(shí)，也可以配備可將上述反射面配置在攝像機(jī)的視野外的反射面移動(dòng)裝置。這樣，在求出反射面的參照信號(hào)值(rn，gn，bn)后，通過反射面移動(dòng)裝置將反射面配置在攝像機(jī)視野外的狀態(tài)下進(jìn)行主畫面的拍攝，并根據(jù)參照信號(hào)值(rn，gn，bn)對(duì)主信號(hào)值(r[x][y]，g[x][y]，b[x][y])進(jìn)行校正。這種結(jié)構(gòu)可以防止參照?qǐng)D像部分出現(xiàn)在拍攝的主畫面的范圍中。
另一方面，在本發(fā)明的攝像系統(tǒng)中，可以將上述攝像元件及感光元件由單獨(dú)的具有相同特性的元件構(gòu)成，對(duì)應(yīng)這些攝像元件和感光元件分別設(shè)置上述鏡頭，并使兩鏡頭的變焦及光圈聯(lián)動(dòng)，形成反射面使其根據(jù)與鏡頭的焦距連續(xù)變更其起始點(diǎn)的坐標(biāo)位置和角度，并將反射面固定在鏡頭最大視野內(nèi)。這時(shí)，通過從感光元件上校正用圖像部分中的選擇校正部分，選擇與根據(jù)焦距的反射面對(duì)應(yīng)的部分，這樣即使不使用可移動(dòng)零件也可以使變焦與參照?qǐng)D像部分聯(lián)動(dòng)。另外，將不適于作為攝像元件使用的缺陷像素較多的感光元件用在這里，可以降低一些成本。這時(shí)可以設(shè)置一個(gè)坐標(biāo)表格以在選擇校正部分時(shí)除去感光元件中有缺陷像素，這樣可以保持處理速度。
通過上述反射面的設(shè)置或?yàn)閰⒄招盘?hào)選擇多個(gè)像素，可以將參照畫面主要限定在主畫面的中央部分及其附近。這樣的設(shè)置，可以保證主畫面的重要部分即中央部分及其附近得到正確的顏色校正。
本發(fā)明的攝像系統(tǒng)在圖像合成時(shí)也同樣適用。將攝像系統(tǒng)如下構(gòu)成至少有兩臺(tái)上述攝像機(jī)，對(duì)于一臺(tái)攝像機(jī)的校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])，用另一臺(tái)攝像機(jī)得到的參照信號(hào)值與各顏色通道相乘得到二次校正圖像，將這個(gè)二次校正圖像與另一攝像機(jī)的圖像合成后得到合成圖像。使用這種構(gòu)成方式，兩個(gè)圖像如同用相同顏色的光源照射，能夠組合出自然的圖像。
另外，也可以如下構(gòu)成攝像系統(tǒng)具有生成計(jì)算機(jī)圖像的CG(計(jì)算機(jī)圖像)圖像生成部和決定計(jì)算機(jī)圖像的光源顏色的CG光源顏色決定部，將CG光源顏色決定部得到的光源顏色值與上述各顏色通道中的上述校正信號(hào)(rc[x][y]，gc[x][y]，bc[x][y])分別相乘，得到二次校正圖像。將這個(gè)二次校正圖像與由CG圖像生成部生成的計(jì)算機(jī)圖像合成，從而得到合成圖像。使用這種構(gòu)成方式，可以非常自然地將計(jì)算機(jī)圖像與真實(shí)圖像組合在一起。
上述攝像機(jī)中，攝像元件與感光元件最好使用相同特性的元件。如公式(6)所示，各顏色通道的強(qiáng)度成分由某個(gè)函數(shù)的γ次方表示。但是，這個(gè)γ取決于攝像元件的特性，所以在主信號(hào)值中除以參照信號(hào)值之前，必須先將兩者的乘積求出，該信號(hào)處理較復(fù)雜。因此，通過將攝像元件及感光元件由相同特性的元件構(gòu)成，可省掉用來進(jìn)行無用信號(hào)處理的硬件。并且，即使是相同特性的元件，其批量間特性也會(huì)有所差異，廉價(jià)的攝像元件更是如此。但是，如果上述感光元件是攝像元件的一部分便不會(huì)產(chǎn)生什么問題，校正效果也會(huì)非常好。
上述攝像機(jī)中，可以設(shè)置存儲(chǔ)部來存儲(chǔ)記錄攝像元件上的圖像的圖像文件，或者設(shè)置容納部來容納記錄上述圖像的膠片，上述圖像可包含主圖像部分以及位于全圖像范圍的端部的參照?qǐng)D像部分。
另外，上述攝像機(jī)中，也可以將全圖像范圍定成矩形，使參照畫面位于其中一個(gè)角的位置。使用這種構(gòu)成方式，可以大大減小參照?qǐng)D像部分的面積。在該構(gòu)成中，可以使反射面繞鏡頭的中心軸旋轉(zhuǎn)，可以根據(jù)反射面的位置選擇將參照?qǐng)D像放置在上述的任一角上還是不將參照?qǐng)D像部分放置在全圖像范圍內(nèi)。此外，上述主圖像部呈橫向細(xì)長(zhǎng)的矩形，可以在全圖像范圍的上部或下部放置參照?qǐng)D像部分，因此本發(fā)明可以同樣適用于各種全景攝像。
上述攝像機(jī)中，可以將上述鏡頭作為變焦鏡頭，根據(jù)上述鏡頭的焦距改變反射面起始點(diǎn)的坐標(biāo)位置和角度。這時(shí)，可以讓反射面根據(jù)上述鏡頭的焦距連續(xù)改變其起始點(diǎn)的坐標(biāo)位置及角度，設(shè)置反射面移動(dòng)裝置，使反射面和上述鏡頭的相對(duì)位置根據(jù)鏡頭的焦距改變。
本發(fā)明中可以由具備用上述特征中所述的圖像處理裝置實(shí)現(xiàn)的功能的IC芯片或能實(shí)現(xiàn)同樣功能的電路來實(shí)現(xiàn)。另外，本發(fā)明還可以作為記錄媒體來實(shí)現(xiàn)，該記錄媒體記錄通過將用上述特征中所述的圖像處理裝置實(shí)現(xiàn)的功能載入計(jì)算機(jī)來實(shí)現(xiàn)的軟件。另外，在具有上述特征的圖像處理裝置中，上述圖像校正可以在通過用電話線或互聯(lián)網(wǎng)等通信線路連接的兩臺(tái)計(jì)算機(jī)之間實(shí)現(xiàn)。
上述攝像機(jī)中，為防止反射面的參照畫面受外部光線的影響，可以設(shè)置一些遮蓋物來防止主畫面外或參照畫面外的入射到反射面上。但是，當(dāng)其它光源顏色無法入射到反射面的場(chǎng)合，可以省去遮蓋物。
本發(fā)明同樣適用于黑白攝像機(jī)等單通道的攝像機(jī)。這時(shí)，可以將本發(fā)明作為穩(wěn)定圖像濃度的攝像系統(tǒng)。特征在于具有如下所述的圖像處理裝置具有鏡頭，攝像元件，感光元件和反射面的用于在攝像元件上拍攝主畫面的攝像機(jī)，將反射面放置在攝像機(jī)的視野內(nèi)，將主畫面以及其附近的參照畫面的光反射，通過鏡頭使感光元件感光。然后，在感光元件接收到的參照畫面的反射光中取一個(gè)像素的值或多個(gè)像素的平均值作為參照信號(hào)值(rn，gn，bn)，用通過攝像元件拍攝的主畫面各坐標(biāo)位置的主信號(hào)值(r[x][y]，g[x][y]，b[x][y])除以上述參照信號(hào)值(rn，gn，bn)，從而算出校正后的校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])。
上面論述說明了顏色校正裝置是對(duì)圖像信號(hào)進(jìn)行電子校正的情況。也就是在圖像被攝像元件和感光元件取入之后的信號(hào)處理。另一方面，CCD等攝像元件的攝像亮度范圍有一定限制，強(qiáng)光部周圍的某些像素會(huì)如上所述飽和，對(duì)圖像的顏色校正造成不好的影響。另外，參照畫面的反射光較弱時(shí)，校正時(shí)噪聲變大，同樣對(duì)顏色校正造成不好的影響。還有，如果用數(shù)字處理進(jìn)行顏色校正，校正后的圖像的顏色不是光滑連續(xù)，出現(xiàn)有欠缺的間隔。
因此，本發(fā)明建議用光學(xué)方法進(jìn)行顏色校正。這種情況下，在上述的校正裝置中配備用于對(duì)由參照信號(hào)的值(rg，gn，bn)確定的顏色的補(bǔ)色進(jìn)行測(cè)定的裝置，以及包含可以再現(xiàn)這一補(bǔ)色且能夠改變到達(dá)攝像元件的圖像顏色的光學(xué)濾光器的光學(xué)濾光器裝置。而且，這種光學(xué)校正裝置可以與上述利用反射面的光源顏色測(cè)定部以外的光源顏色測(cè)定方式共同使用。光學(xué)校正可以與例如上述的Retinex方式，白色修補(bǔ)方式，強(qiáng)光部參照方法及使用其它光源顏色測(cè)定傳感器的方法共同使用。
構(gòu)成上述光學(xué)濾光器時(shí)，基本上設(shè)置成能夠改變到達(dá)感光元件的圖像的顏色，計(jì)算上述補(bǔ)色的裝置通過控制光學(xué)濾光器使上述參照信號(hào)值(rn，gn，bn)的色平衡值盡可能接近求出的色平衡值。
做為光學(xué)濾光器的一個(gè)具體形式，可以設(shè)置多個(gè)色平衡值不同的預(yù)設(shè)置濾光器，然后選出與上述補(bǔ)色最相近的預(yù)設(shè)置濾光器。也可以將多個(gè)預(yù)設(shè)置濾光器組合起來同時(shí)使用。
上述的光學(xué)濾光器裝置包括媒體的泵；可以將多種顏色的彩色墨水單獨(dú)噴出的噴出部；可將多種顏色的墨水與媒體混合的混合器，以及能夠使混合物流動(dòng)的與上述光學(xué)濾光器相當(dāng)?shù)耐该魍?。另外，還可以包括媒體的泵；可以將多種顏色的彩色墨水單獨(dú)噴出的噴出部；可使媒體與各種墨水分別混合作成混合物的多個(gè)混合器，以及與能夠使各種混合物分別通過的與上述光學(xué)濾光器相當(dāng)?shù)亩鄠€(gè)透明通路。或者，還可以包括媒體的泵；可以將多種顏色的彩色墨水單獨(dú)噴出的噴出部；可使各色墨水與媒體分別混合的多個(gè)混合器，以及能夠使各種混合物分別通過的與上述光學(xué)濾光器相當(dāng)?shù)亩鄠€(gè)透明單元，每個(gè)單元設(shè)置在黑白攝像元件前表面與每個(gè)像素的RGB之一對(duì)應(yīng)。相同顏色的單元間用橋路(bridge path)的方法相互連接。
上述光學(xué)濾光器也可以使用改變?yōu)V光器特性的元件。這時(shí)，如果上述的光學(xué)濾光器裝置具有能夠隨著濾光器特性的改變而改變透光度的透光度改變裝置，就可以改變?yōu)V波特性中每個(gè)顏色的強(qiáng)度。
上述的攝像機(jī)可以是使用具有將光分解為RGB的光學(xué)塊(optical block)，和分別對(duì)應(yīng)RGB的3個(gè)攝像元件的例如3CCD攝像機(jī)，在這種情況下，上述的光學(xué)濾光器就是這里的光學(xué)塊。如果上述各光學(xué)濾光器裝置分別配備可以改變到達(dá)各攝像元件的圖像濃度的透光度改變裝置，就可以進(jìn)行光學(xué)校正。上述各透光度改變裝置，例如，可以通過設(shè)置兩個(gè)可以調(diào)整相對(duì)角度的偏振光濾光器來實(shí)現(xiàn)。另外，上述各透光度改變裝置，也可以配置有兩個(gè)可以調(diào)整相對(duì)角度的偏振光濾光器，將2個(gè)中的一個(gè)設(shè)置在上述光學(xué)塊前面，另一個(gè)放在每個(gè)通道的光學(xué)塊的后面。
如果用膠片作為上述的攝像元件，可以在從膠片洗印到感光紙上的過程中實(shí)施本發(fā)明。即上述測(cè)定補(bǔ)色的裝置包括燈；用于檢測(cè)通過上述感光元件的燈光顏色的光色檢測(cè)器；光源顏色測(cè)定部以及基于光源顏色測(cè)定部的補(bǔ)色測(cè)定部。上述光學(xué)濾光器裝置，可配備能夠使來自上述燈的光進(jìn)一步經(jīng)過上述膠片到達(dá)感光紙的濾光器，和能夠?qū)⑦@個(gè)濾光器的顏色作為上述補(bǔ)色的濾光器變換裝置。
但是，上述的光學(xué)濾光器裝置在顏色校正前可能會(huì)產(chǎn)生延遲。這里，上述校正裝置除了光學(xué)濾光器裝置之外，還配備有電子校正部，進(jìn)一步用由上述攝像元件拍攝的主畫面各坐標(biāo)位置的主信號(hào)值(r[x][y]，g[x][y]，b[x][y])除以各顏色通道求出的參照信號(hào)值(rn，gn，bn)，得到對(duì)主信號(hào)校正后的校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])。上述電子校正部，也可以在用光學(xué)濾光器裝置進(jìn)行顏色校正完成前進(jìn)行過渡的校正處理。
這樣，根據(jù)本發(fā)明的上述特征，可以提供為了通過簡(jiǎn)單校準(zhǔn)校正顏色，以實(shí)現(xiàn)顏色的不變性或穩(wěn)定圖像的濃度的攝像系統(tǒng)及其使用的攝像機(jī)和圖像處理裝置。
另外，根據(jù)本發(fā)明的上述特征，主圖像和參照?qǐng)D像的關(guān)系可以比傳統(tǒng)方式粗略，因此，即使參照畫面的面積很小，也可以進(jìn)行充分的顏色校正。
此外，在構(gòu)成為將顏色校正裝置配合上述的光學(xué)執(zhí)行的情況下，不論畫面的光線是強(qiáng)是弱，都可以得到鮮明自然的校正圖像。
可以通過下面的說明來了解本發(fā)明的其它目的、構(gòu)成和效果。


圖1是表示攝像系統(tǒng)的框圖。
圖2表示攝像系統(tǒng)所用的攝像機(jī)，圖(a)是側(cè)面圖，圖(b)是正面圖，圖(c)是透視圖。
圖3(a)～(c)表示用于說明主畫面與參照畫面關(guān)系的全圖像范圍。圖(d)～(f)是參照?qǐng)D像部分的擴(kuò)大圖。
圖4表示攝像系統(tǒng)所用的攝像機(jī)的改進(jìn)例，圖(a)是側(cè)面圖，圖(b)是正面圖，圖(c)是透視圖。
圖5是表示攝像系統(tǒng)的校正部中的處理步驟的流程圖。
圖6是續(xù)圖5的第二流程圖。
圖7是續(xù)圖6的第三流程圖。
圖8是續(xù)圖7的第四流程圖。
圖9是續(xù)圖8的第五流程圖。
圖10是續(xù)圖9的第六流程圖。
圖11是表示用于說明主畫面與參照畫面的其它關(guān)系的全圖像范圍的圖。
圖12是表示紅色通道中的顏色響應(yīng)值kr與顏色柱狀圖rh[kr]之間的關(guān)系的圖。
圖13是表示紅色通道中不良像素的顏色響應(yīng)值krc與不良像素顏色柱狀圖rhc[kr]之間的關(guān)系的圖。
圖14是表示在個(gè)人計(jì)算機(jī)中參照信號(hào)與主信號(hào)關(guān)系的時(shí)序圖。
圖15是本發(fā)明的第二實(shí)施方式中對(duì)應(yīng)于圖2的圖。
圖16是本發(fā)明的第三實(shí)施方式中對(duì)應(yīng)于圖2的圖。
圖17是本發(fā)明的第四實(shí)施方式的框圖。
圖18是本發(fā)明的第五實(shí)施方式的框圖。
圖19是本發(fā)明的第六實(shí)施方式的框圖。
圖20是表示被攝體，反射面的傾斜角以及攝像元件上的視角之間的關(guān)系的圖。
圖21(a)是表示本發(fā)明的第七實(shí)施方式的圖。圖(b)是(a)中反射面移動(dòng)裝置的正面圖。
圖22是本發(fā)明的第八實(shí)施方式的框圖。
圖23(a)～(c)是本發(fā)明的第八實(shí)施方式中對(duì)應(yīng)于圖2的圖，圖(d)是表示全圖像范圍的圖。
圖24是表示本發(fā)明的第九到第十八實(shí)施方式中使用的使用光學(xué)濾光器的一般模型的框圖。
圖25表示本發(fā)明的第九實(shí)施方式中的濾光器旋轉(zhuǎn)裝置。圖(a)是縱截面圖，圖(b)為正面圖。
圖26表示本發(fā)明的第十實(shí)施方式中的濾光器滑動(dòng)裝置。圖(a)是縱截面圖，圖(b)為正面圖。
圖27是本發(fā)明第十一種方式中的濾光器旋轉(zhuǎn)裝置示意圖。圖(a)是縱截面圖，圖(b)為正面圖。
圖28是本發(fā)明的第十二實(shí)施方式的框圖。
圖29是本發(fā)明的第十三實(shí)施方式的框圖。
圖30是本發(fā)明中第十四實(shí)施方式的框圖，圖(a)是CCD濾光器的正面圖，圖(b)是該濾光器的縱截面圖。
圖31是本發(fā)明的第十五實(shí)施方式中的照片洗印裝置的框圖。
圖32是本發(fā)明的第十六實(shí)施方式的框圖。
圖33是表示本發(fā)明的第十六實(shí)施方式中偏振濾光器與液晶可調(diào)濾光器的關(guān)系的透視圖。
圖34是表示本發(fā)明第十七實(shí)施方式的光學(xué)塊周圍的構(gòu)造圖。
圖35是表示作為本發(fā)明的第十八實(shí)施方式的圖34的一個(gè)改進(jìn)例。
圖36是表示不均勻非導(dǎo)電體表面的二色性反射模型的圖。
圖37是表示物體的反射光在反射面上相互反射的狀況的圖。
圖38是表示反射面的表面上基于漫射鏡面反射的第一模糊現(xiàn)象的過程的圖。
圖39是用于說明由鏡頭的漫射引發(fā)的模糊現(xiàn)象的過程的示意圖。
具體實(shí)施例方式
下面參照?qǐng)D1～14，對(duì)本發(fā)明的第一實(shí)施方式進(jìn)行說明。在說明之前，先對(duì)本實(shí)施方式中使用的記號(hào)進(jìn)行如下定義XMX圖像水平方向的像素?cái)?shù)的最大值。
YMX圖像垂直方向的像素?cái)?shù)的最大值。
NMIN反射面邊界線的最小值NMAX反射面邊界線的最大值S用戶定義的圖像亮度系數(shù)x以像素為單位的圖像水平坐標(biāo)y以像素為單位的圖像垂直坐標(biāo)rd[x][y]，gd[x][y]，bd[x][y]紅綠藍(lán)各通道的直接圖像信號(hào)值
rz[x][y]，gz[x][y]，bz[x][y]紅綠藍(lán)各通道的零圖像信號(hào)值r[x][y]，g[x][y]，b[x][y]紅綠藍(lán)各通道的有效輸入直接圖像信號(hào)值(主信號(hào)值)rc[x][y]，gc[x][y]，bc[x][y]紅綠藍(lán)各通道的校正圖像信號(hào)值(校正信號(hào)值)rn，gn，bn紅綠藍(lán)各通道的反射面平均信號(hào)值(參照信號(hào)值)kr，kg，kb紅綠藍(lán)各通道的顏色響應(yīng)值krc，kbc紅綠藍(lán)各通道的不良像素的顏色響應(yīng)值rh[kr]，gh[kg]，bh[kb]紅綠藍(lán)各通道的正常像素的彩色柱狀圖rhc[kr]，bhc[kb]紅綠藍(lán)各通道的不良像素的彩色柱狀圖ii不良像素的柱狀圖中的像素?cái)?shù)i校正用反射圖像中的像素?cái)?shù)rm，gm，bm正常像素中柱狀圖群的上限值rcm，bcm不良像素中柱狀圖群的起始值ra[i]，ga[i]，ba[i]反射面信號(hào)值的累加s比例常數(shù)ssr，ssg，ssb基于正常像素柱狀圖的柱狀圖的最大值的比例系數(shù)sr，sg，sb為得到補(bǔ)色用于與有效輸入信號(hào)值相乘的比例常數(shù)scr，scb為避免在不良像素中出現(xiàn)顏色的必要的比例常數(shù)。
C飽和像素的最大校正信號(hào)值首先，圖1表示的攝像系統(tǒng)1具有攝像機(jī)2和圖像處理裝置7。攝像機(jī)2如圖1，2所示，在攝像機(jī)主體部3中配置了鏡頭單元4和遮蓋物5。另外，遮蓋物5的內(nèi)側(cè)裝有反射體6。畫像通過攝像機(jī)主體部3的CCD31上的鏡頭單元4的鏡頭41成像，該圖像信號(hào)被送入后述的個(gè)人計(jì)算機(jī)8的同時(shí)由幀平均化部32處理。幀平均化部32計(jì)算入射到CCD31的總體光量，當(dāng)CCD31上產(chǎn)生很多飽和像素等，或入射到CCD31的光量太多時(shí)，開口調(diào)整電機(jī)44使光圈43縮??；當(dāng)光量太少時(shí)使光圈43擴(kuò)大。本實(shí)施方式中的CCD31是彩色CCD，每一個(gè)像素中包含具有紅綠藍(lán)三色的濾光器的三個(gè)感光部。分配給一個(gè)像素的紅綠藍(lán)三個(gè)感光部，除了分配給一個(gè)CCD元件之外，還可以通過圖中省略的棱鏡將光分散到3個(gè)CCD元件中。
遮蓋物5的作用是防止由CCD31和鏡頭41決定的最大視野及其附近邊界以外的光射入。本實(shí)施方式中，在遮蓋物5的內(nèi)側(cè)設(shè)置了凹槽6，在其內(nèi)側(cè)形成凹槽狀平面反射面61。例如，O的像直接通過鏡頭41在CCD31上的主攝像部31a上成像，由入射到反射面61的O的像在反射面61的表面產(chǎn)生上述第一模糊，通過使反射面61接近鏡頭41而產(chǎn)生第二模糊的狀態(tài)下到達(dá)CCD31的參照攝像部31b。如圖2(b)和圖3(a)(d)所示，將反射體6設(shè)置為與圖像范圍100的角對(duì)應(yīng)，使由反射面61射出的反射光在全圖像范圍100的下角形成參照?qǐng)D像部130。主圖像部110對(duì)應(yīng)主攝像部31a，參照?qǐng)D像部130對(duì)應(yīng)參照攝像部31b。反射體6的反射面后端的像位于全圖像范圍的100下角的周圍，反射體6的反射面前端62的像在反射面捕捉部120和參照?qǐng)D像部130之間漫射。
反射體6由例如鋁等材料構(gòu)成。那么由于61是平坦的，應(yīng)該設(shè)置少量的網(wǎng)使光產(chǎn)生漫反射。當(dāng)然，反射面61也可以由白色或灰色的紙構(gòu)成，反射面61可以由符合NIR原理的材料構(gòu)成。
這里，為便于對(duì)圖3進(jìn)行說明，將作為攝像對(duì)象的畫面與拍攝到的全圖像范圍100重疊表示，主畫面110也是主圖像部。從O入射到反射面61的光以與入射角相同的角度反射后到達(dá)CCD31。雖然從反射面前端62表面來的光到達(dá)CCD31的路徑由于上述的模糊作用被擴(kuò)大，但這里考慮亮度最高的光線通過的主要光線路徑。反射面捕捉部120由反射面的前端62的指向方向及主要光線路徑?jīng)Q定，通過反射面捕捉部120的中心的參照主軸101與全圖像范圍100下邊所成的主軸角A為45度。
通過反射面捕捉部120的反射面61的像在全圖像范圍100的下角作為參照?qǐng)D像部130出現(xiàn)。為了將反射面捕捉部120劃分為參照畫面121與無用畫面122，例如，只要通過下面的計(jì)算過程從參照?qǐng)D像部130中選擇與參照主軸101垂直的選擇內(nèi)邊界132與選擇外邊界133所包圍的選擇參照部131即可。本實(shí)施方式中全圖像范圍100的分辨率是水平方向680，垂直方向480。全部像素?cái)?shù)等于二者的乘積326400個(gè)像素。這時(shí)，由反射面造成的參照畫面部130的模糊范圍約占全體的3％。另外，本實(shí)施方式中將x，y的值大于50小于70之間的范圍作為選擇參照部131的對(duì)象。這些值只是一個(gè)例子，本發(fā)明不限于這些具體的值。
當(dāng)然，也可以使參照畫面包括圖3(a)中121x表示的全圖像范圍100的外側(cè)及附近邊界，以及121y表示的全圖像范圍100。本例中，由于遮蓋物5可以圍繞鏡頭單元4進(jìn)行旋轉(zhuǎn)，例如，也可以將反射體6移動(dòng)到全圖像范圍100的上角一側(cè)，如圖3(c)表示的那樣改變參照畫面121的范圍。此外，還可以使反射體6在全圖像范圍100的各邊之間移動(dòng)，使得將反射體6置于全圖像范圍100的外部。
圖3(b)的例子中，將反射面61配置在遮蓋物5上，使參照主軸101處在全圖像范圍100的對(duì)角線上。另外，在本例中選擇反射面捕捉部120的中間部分作為參照畫面121。這時(shí)，選擇內(nèi)邊界134和外邊界135時(shí)采用比前例小的大于30小于50的值。圖3(f)中，為了得到校正圖像，可以如掃描線136a～c和選擇點(diǎn)136d所示，從選擇內(nèi)邊界132和選擇外邊界133之間的部分得到參照信號(hào)。這樣，通過將參照畫面121限定在主畫面110的中心部，可以減小在主畫面110的邊緣部產(chǎn)生的不同的光的影響。如果只考慮在全圖像范圍100的對(duì)角線上改變反射面61的位置(旋轉(zhuǎn)180度)，可以象圖4那樣將遮蓋物5設(shè)計(jì)成截錐體狀。
下面說明用于構(gòu)成圖像處理裝置7的個(gè)人計(jì)算機(jī)8。個(gè)人計(jì)算機(jī)8通過視頻捕捉卡71將圖像從CCD31中取入。視頻捕捉卡71采用8位幀緩沖，將上述的信號(hào)值及顏色響應(yīng)值的動(dòng)態(tài)范圍限定在0～255之間。本說明書中將動(dòng)態(tài)范圍的最大值定義為D，在本實(shí)現(xiàn)方式中D＝255。視頻捕捉卡71根據(jù)定時(shí)器將圖像信號(hào)的坐標(biāo)換算成時(shí)間，用以下方式進(jìn)行處理。
校正部72作為利用上述反射面61進(jìn)行光源顏色的測(cè)定的光源顏色測(cè)定部工作。校正部72在處理圖像信號(hào)時(shí)設(shè)定時(shí)間門限，以限定由選擇內(nèi)邊界132和選擇外邊界133包圍的選擇參照部131。校正部72按照后面介紹的方法進(jìn)行校正處理。另外，輸出調(diào)整部73的作用是調(diào)整校正部72的用戶定義圖像亮度系數(shù)S。
開口操作部74為了對(duì)CCD31進(jìn)行調(diào)零，通過幀平均化部32和開口調(diào)節(jié)電機(jī)44調(diào)節(jié)光圈43使之完全關(guān)閉，同時(shí)控制校正部72的調(diào)零。通過開口操作部74關(guān)閉光圈43的操作和調(diào)零，除了可以手動(dòng)之外，也可以至少在攝像機(jī)2開始工作時(shí)自動(dòng)進(jìn)行調(diào)整。
校正部72的輸出通過視頻加速器75顯示到監(jiān)視器9上的同時(shí)，還可以通過I/076由彩色打印機(jī)輸出，進(jìn)而存儲(chǔ)到存儲(chǔ)部77中。存儲(chǔ)部77可由固定或移動(dòng)式硬盤，內(nèi)存元件或軟磁盤等構(gòu)成。
下面參照?qǐng)D5～9，對(duì)前面的光源顏色的測(cè)定和校正部72中的處理步驟進(jìn)行說明。
圖5是求當(dāng)光圈完全關(guān)閉時(shí)紅綠藍(lán)各通道中零圖像信號(hào)值的程序。首先，在S1中為了從原點(diǎn)開始掃描，將x，y代入0，在S2中判斷通過開口操作部74的操作是否設(shè)置標(biāo)志。通過開口操作部74將光圈完全關(guān)閉的場(chǎng)合，設(shè)置標(biāo)志F＝1。這時(shí)判斷需要求出零圖像，通過S3為使標(biāo)志復(fù)位使F＝0，通過S4求出原點(diǎn)的紅綠藍(lán)各通道的零圖像信號(hào)值rz[x][y]，gz[x][y]，bz[x][y]。然后，如S5，S7所示到達(dá)圖像的水平，垂直方向的像素?cái)?shù)的最大值XMX，YMX之前，在S6，S8中使x，y分別遞增一個(gè)像素，求出代表全圖像范圍100的全部坐標(biāo)中攝像機(jī)暗噪聲的零圖像信號(hào)值rz[x][y]，gz[x][y]，bz[x][y]。
圖6中進(jìn)行輸入信號(hào)的調(diào)零以及柱狀圖的處理。本程序中通過S9將坐標(biāo)復(fù)位，通過S18～S21對(duì)全圖像范圍100中的所有像素進(jìn)行掃描。在S10中保存紅綠藍(lán)各通道的直接圖像信號(hào)值rd[x][y]，gd[x][y]，bd[x][y]。然后，在S11中，為消除暗噪聲，從紅綠藍(lán)各通道的直接圖像信號(hào)值rd[x][y]，gd[x][y]，bd[x][y]中減去零圖像信號(hào)值rz[x][y]，gz[x][y]，bz[x][y]，從而求出紅綠藍(lán)各通道的有效輸入圖像信號(hào)值(主信號(hào)值)r[x][y]，g[x][y]，b[x][y]。此外，如果已經(jīng)為了除去攝像機(jī)的暗噪聲進(jìn)行了輸入信號(hào)的調(diào)零操作，S1～S11的步驟以及開口參照部74的設(shè)置就不需要了。
在S12中判斷紅綠藍(lán)各通道中直接圖像信號(hào)值rd[x][y]，gd[x][y]，bd[x][y]是否全部255飽和(是否小于255)。如果未飽和，通過S13在紅綠藍(lán)各通道的顏色響應(yīng)值kr，kg，kb中分別輸入有效輸入圖像信號(hào)值r[x][y]，g[x][y]，b[x][y]。然后在紅綠藍(lán)各通道上對(duì)正常像素的顏色柱狀圖rh[kr]，gh[kg]，bh[kb]分別進(jìn)行累加。
如果在紅綠藍(lán)各通道的直接圖像信號(hào)值rd[x][y]，gd[x][y]，bd[x][y]中至少有兩個(gè)通道飽和，則通過S14～S17處理不良像素。這里的不良像素指3種顏色中的紅色或藍(lán)色未飽和，而剩下的兩色飽和的情況。
首先，如S14中是(Yes)的情況所示，綠藍(lán)兩通道的直接圖像信號(hào)值gd[x][y]，bd[x][y]飽和，而紅色通道的直接圖像信號(hào)值rd[x][y]未飽和的情況下，在S15中對(duì)不良像素的柱狀圖中的像素?cái)?shù)ii進(jìn)行累加，將紅色通道的有效輸入圖像信號(hào)值r[x][y]設(shè)為不良像素的顏色響應(yīng)值krc。然后對(duì)紅色通道的不良像素的柱狀圖rhc[krc]進(jìn)行累加。
另外，如S16中是的情況所示，紅綠兩通道的直接圖像信號(hào)值rd[x][y]，gd[x][y]飽和，而藍(lán)色通道的直接圖像信號(hào)值bd[x][y]未飽和的情況下，由S17對(duì)不良像素的柱狀圖中的像素?cái)?shù)ii進(jìn)行累加，將藍(lán)色通道的有效輸入圖像信號(hào)值b[x][y]設(shè)為不良像素的顏色響應(yīng)值kbc。然后對(duì)藍(lán)色通道的不良像素的柱狀圖bhc[kbc]進(jìn)行累加。
圖7的程序用于求出正常像素的柱狀圖群F1的上限值rm，gm，bm。首先，S22中對(duì)紅綠藍(lán)各通道的顏色響應(yīng)值kr，kg，kb進(jìn)行復(fù)位，如S25，S26，S29，S30，S33，S34所示，從零開始到動(dòng)態(tài)范圍的最大值255之間按順序重復(fù)執(zhí)行程序。隨著kr的遞增反復(fù)執(zhí)行S23，S24的步驟，求出紅色通道中正常像素柱狀圖群的上限值rm。如圖12所示，這個(gè)上限值rm＝kr是大于10且柱狀圖rh超過1000時(shí)的最大kr值。同樣，通過S27，S28，S31，S32的步驟的反復(fù)執(zhí)行，可以求出綠色藍(lán)色通道中正常像素的柱狀圖群F1的上限值gm，bm。并且，rm，gm，bm的定義步驟不只限于此，與下面的情況一樣，上述值1000可能根據(jù)畫面的尺寸有所不同。
圖8的步驟用于求出飽和像素的柱狀圖群的開始值rcm，bcm。首先，S35中對(duì)紅和藍(lán)各通道中不良像素的顏色響應(yīng)值krc，kbc進(jìn)行復(fù)位，如S39，S40，S43，S44所示，從零開始到動(dòng)態(tài)范圍的最大值255之間按順序重復(fù)執(zhí)行步驟。隨著krc的遞增反復(fù)執(zhí)行S37，S38的步驟，求出紅色通道中不良像素柱狀圖群F2的開始值rcm。如圖13所示，這個(gè)開始值rcm＝krc是值大于10且柱狀圖rh超過0時(shí)的最小krc值。同樣，通過S41，S42的反復(fù)執(zhí)行，可以求出藍(lán)色通道中不良像素的柱狀圖F2的開始值bcm。并且，S36中ii為0時(shí)，由于不存在不良像素，S45中rcm，bcm的值都是255。
圖9的步驟用于求出紅綠藍(lán)各通道的反射面平均信號(hào)值rn，gn，bn，再利用它們求出為了得到補(bǔ)色與有效輸入圖像信號(hào)值相乘的比例常數(shù)sr，sg，sb。如前面的圖3(d)所示，參照?qǐng)D像部130采用選擇參照部131和選擇內(nèi)邊界132之間的部分。圖中，NMAX為70，NMIN為50。S46將x，y復(fù)位，S47將選擇條件賦予參照?qǐng)D像部130，S50，S51，S52，S53中，使x，y遞增直到達(dá)到NMAX的過程中，對(duì)S48，S49進(jìn)行反復(fù)執(zhí)行。S48中對(duì)校正中使用的反射圖像的像素?cái)?shù)i進(jìn)行累加。S49求出反射面信號(hào)值的累加值ra[i]，ga[i]，ba[i]。
S54中，通過將反射面信號(hào)值的累加值ra[i]，ga[i]，ba[i]分別除以i值，求出紅綠藍(lán)各通道的反射面平均信號(hào)值(參照信號(hào)值)rn，gn，bn。另外，將紅綠藍(lán)各通道的反射面平均信號(hào)值rn，gn，bn乘以動(dòng)態(tài)范圍最大值D＝255后，分別除以正常像素柱狀圖的上限值rm，gm，bm，可以求出基于正常像素柱狀圖的柱狀圖最大值的比例系數(shù)ssr，ssg，ssb。同樣，將紅藍(lán)各通道的不良像素中的反射面平均信號(hào)值rn，bn乘以D＝255后除以不良像素的柱狀圖群的開始值rcm，bcm，可以求出防止不良像素中出現(xiàn)顏色所必要的比例常數(shù)scr，scb。S54的意義是，當(dāng)圖12，13的rm，rcm接近255時(shí)可以更有效利用幀緩沖區(qū)。通過調(diào)整比例常數(shù)，可以減少?gòu)?qiáng)光部和其附近及周邊部分強(qiáng)烈的明暗差異。
S55在基于正常像素柱狀圖的柱狀圖最大值的比例系數(shù)ssr，ssg，ssb之中，求出最小值與最大值的平均值作為比例常數(shù)s。也可以將這些比例系數(shù)ssr，ssg，ssb中的最大值或最小值作為s求出。另外S56，S57判斷當(dāng)不良像素的柱狀圖中像素?cái)?shù)ii超過1000時(shí)不能無視不良像素的存在，將前面的s和為防止不良像素中出現(xiàn)顏色所必要的比例系數(shù)scr，scb中最大者作為比例系數(shù)s求出。然后，通過事先將這個(gè)比例系數(shù)s除以紅綠藍(lán)各通道的反射面平均信號(hào)值rn，gn，bn，求出為了得到補(bǔ)色與有效輸入圖像信號(hào)值相乘的比例常數(shù)sr，sg，sb。而且，值1000是考慮選取全圖像范圍的全部像素?cái)?shù)的約0.3％，但該值也可以適當(dāng)選擇。
圖10所示的算法在求出紅綠藍(lán)各通道的校正圖像信號(hào)值(校正信號(hào)值)rc[x][y]，gc[x][y]，bc[x][y]的同時(shí)，進(jìn)行超過動(dòng)態(tài)范圍D的值等的處理。本步驟也是通過S59將坐標(biāo)復(fù)位，S68～S71對(duì)全圖像范圍100的全部像素進(jìn)行掃描。首先，S60將紅綠藍(lán)各通道的有效輸入信號(hào)值r[x][y]，g[x][y]，b[x][y]分別乘以比例常數(shù)sr，sg，sb，得出紅綠藍(lán)各通道的校正圖像信號(hào)值rc[x][y]，gc[x][y]，bc[x][y]。這個(gè)運(yùn)算由于使用乘法，與傳統(tǒng)使用除法的方式相比，可以大大提高處理速度。
這時(shí)，可以從同一幀中抽出有效輸入圖像信號(hào)和比例常數(shù)sr，sg，sb。另外，如圖14的時(shí)序圖TC所示，可以從第一，第二參照幀群I1，I2中的一幀的第一，第二參照幀R1，R2中求出比例常數(shù)sr，sg，sb，然后將這個(gè)比例常數(shù)sr，sg，sb與從接下來的第二，第三參照幀群I2，I3的多個(gè)幀中抽出的有效輸入圖像信號(hào)值r[x][y]，g[x][y]，b[x][y]分別相乘即可。比例常數(shù)sr，sg，sb的算出步驟不但不會(huì)成為瓶頸，而且速度能進(jìn)一步提高。
S61中，當(dāng)紅綠藍(lán)各通道的有效輸入圖像信號(hào)值r[x][y]，g[x][y]，b[x][y]沒有一個(gè)超過255時(shí)，S62～65步驟將被省略。S62中當(dāng)全部紅綠藍(lán)各通道的直接圖像信號(hào)值rd[x][y]，gd[x][y]，bd[x][y]都超過255時(shí)，在S63中將紅綠藍(lán)各通道的校正圖像信號(hào)值rc[x][y]，gc[x][y]，bc[x][y]中最大者作為c，將這個(gè)c的值再次代入紅綠藍(lán)各通道的校正圖像信號(hào)值rc，gc，bc中。
S64中，當(dāng)紅綠兩通道的直接圖像信號(hào)值rd[x][y]，gd[x][y]不足255，且藍(lán)通道的直接圖像信號(hào)值bd[x][y]在255以上時(shí)，在S65中對(duì)藍(lán)通道的校正圖像信號(hào)值bc進(jìn)行再次修正。這里，使用紅和綠的信號(hào)值推算出藍(lán)色的信號(hào)值。藍(lán)色通道的校正圖像信號(hào)值bc，是用紅綠兩通道的直接圖像信號(hào)值rd[x][y]，gd[x][y]的差的一半加在綠色通道的直接圖像信號(hào)值gd[x][y]上得到的。根據(jù)發(fā)明者的實(shí)驗(yàn)，這種推算方法可以得到很好的結(jié)果。
S66中，當(dāng)紅綠藍(lán)各通道的校正圖像信號(hào)值rc[x][y]，gc[x][y]，bc[x][y]超過255時(shí)將255代入，不足零時(shí)將0代入。然后，S67將有選擇地進(jìn)行了以上修正的紅綠藍(lán)各通道的校正圖像信號(hào)值rc[x][y]，gc[x][y]，bc[x][y]輸出。S68，S70中，當(dāng)對(duì)全圖像范圍100進(jìn)行全部掃描完成后，全部程序結(jié)束。
上述的圖像處理裝置實(shí)現(xiàn)的各功能，可以將由軟磁盤，硬盤，CD-ROM等記錄媒體中的記錄的軟件裝入計(jì)算機(jī)來實(shí)現(xiàn)。當(dāng)然，同樣的功能也可以由一個(gè)或多個(gè)IC芯片或電子電路來實(shí)現(xiàn)。
這里，參照?qǐng)D11說明本實(shí)施方式中的反射面61、主畫面110和選擇參照部131的改進(jìn)例。
上述例子中的反射面61為平面，這里通過將反射面61設(shè)為凸曲面，如圖11(a)所示，可使參照畫面121a占選擇參照部131a的比例擴(kuò)大。另外，將反射面61對(duì)應(yīng)全圖像范圍100的角作成槽狀替換為通過在全圖像范圍100的橫向細(xì)長(zhǎng)放置，如圖(b)所示，可縱向設(shè)定細(xì)長(zhǎng)的參照部131b。
圖(c)中，將配置在全圖像范圍100的下側(cè)的100a的一部分作為選擇參照部131c，從參照畫面121c求出照明色。此外，圖(d)中的反射面與(a)一樣使用凸曲面，從寬度比選擇參照部131d的寬度大的參照畫面121d求出照明色。并且，(c)和(d)中，在對(duì)應(yīng)全圖像范圍100的CCD31下側(cè)設(shè)置了與CCD31不同、對(duì)應(yīng)100a的第二CCD33。
圖e中設(shè)定了在全圖像范圍100的上下橫向拉長(zhǎng)的選擇參照部131e，131e，由中央部的參照畫面121e射出的照明色集中在其中一個(gè)131e上。在這個(gè)改進(jìn)例中，假設(shè)需要拍攝的是畫面橫向拉長(zhǎng)的全景圖像。但是，為了在選擇參照部131e，131e得到圖像，不是象一般的全景攝像方法那樣隱藏?cái)z像范圍的一部分，而是遮擋取景器的一部分，使得只有取景器部分的圖像變得橫向拉長(zhǎng)。這里僅對(duì)圖11的各例中CCD元件上的參照畫面121和選擇參照部131的關(guān)系進(jìn)行了說明，使用膠片作為攝像元件的場(chǎng)合該關(guān)系同樣成立。
下面，對(duì)本發(fā)明的其它實(shí)施方式進(jìn)行說明。其中與第一實(shí)施方式相同的部件用同樣的符號(hào)表示。
圖15所示的第二實(shí)施方式中，由CCD31的主攝像部31a送來的主圖像經(jīng)過模擬或數(shù)字視頻放大器79直接進(jìn)行顏色校正，然后經(jīng)監(jiān)視器11顯示出來。校正部72上的比例常數(shù)sr，sg，sb通過利用圖14中第一，第二參照幀R1，R2計(jì)算，用于對(duì)經(jīng)過一段時(shí)間后的第一，第二參照幀I2，I3進(jìn)行校正。輸出調(diào)整部73是對(duì)視頻放大器79的輸出進(jìn)行調(diào)整的操作部。用這一構(gòu)成方式的有利之處是可以用視頻等級(jí)的處理速度對(duì)主圖像進(jìn)行校正。并且，利用從同一幀抽出的主圖像和參照?qǐng)D像進(jìn)行詳細(xì)校正過的圖像，可以通過視頻加速器75直接錄制在視頻錄像機(jī)12中。
圖16所示的第三實(shí)施方式中，不同之處是使用化學(xué)材料的彩色膠片37，例如使用鹵化銀膠片作為攝像元件。即在本發(fā)明中，攝像元件、感光元件的顏色通道在形狀上不分離，而是通過改變化學(xué)性質(zhì)構(gòu)成多個(gè)顏色的通道。彩色膠片37可以在膠片容納部36中裝上或卸下。
來自鏡頭41的入射光經(jīng)過棱鏡24分光后，在到達(dá)彩色膠片37的同時(shí)也到達(dá)感光元件35。感光元件35將圖像數(shù)據(jù)傳遞給幀平均化部32，控制光圈43和開口調(diào)節(jié)電機(jī)44。本實(shí)施方式中的不同之處是，與攝像機(jī)2分開的圖像處理裝置7具有個(gè)人計(jì)算機(jī)8和膠片掃描儀16。通過將顯像后的彩色膠片37放在膠片掃描儀16中進(jìn)行掃描，得到含有主圖像及參照?qǐng)D像的圖像數(shù)據(jù)，再傳遞到I/O76。這個(gè)圖像信號(hào)可用與上述其他的實(shí)施方式相同的方法進(jìn)行處理。
圖17所示的第四實(shí)施方式中，示出將圖像從一方的與圖像處理裝置7連接的攝像機(jī)2，通過通信方式傳遞給另一方與第二個(gè)人計(jì)算機(jī)13相連的監(jiān)視器9的系統(tǒng)。用與上述其他的實(shí)施方式相同的方法處理得到的校正圖像由圖像壓縮部81進(jìn)行JPEG等方式的圖像壓縮。本實(shí)施方式與圖像壓縮后進(jìn)行校正的方法相比，沒有顏色數(shù)據(jù)缺損的問題，因此能夠得到良好的效果。
校正并壓縮后的圖像信號(hào)，可以通過通信終端14、通信終端15和互聯(lián)網(wǎng)或電話線進(jìn)行傳輸，再經(jīng)過圖像處理部82及視頻加速器75后將圖像顯示在監(jiān)視器9上。此外，由于此方式由兩臺(tái)計(jì)算機(jī)相互設(shè)置構(gòu)成，因而可以實(shí)現(xiàn)雙向通信。
圖18所示的第五實(shí)施方式中，A和B的圖像Sa，Sb分別由第一、第二攝像機(jī)2a，2b拍攝，輸入視頻捕捉卡71，71。例如，A的圖像Sa是攝像棚中拍攝的播音員，B的圖像Sb是夕陽下的室外風(fēng)景。A的圖像Sa通過上述的處理步驟在校正部72進(jìn)行顏色校正。另一方面，從B的圖像Sb，通過畫面光計(jì)算部83可以根據(jù)反射面的作用計(jì)算出B的圖像Sb畫面中光源顏色。然后，用經(jīng)第二校正部84進(jìn)行顏色校正后的A的圖像Sa乘以光源顏色進(jìn)行第二次校正后，在圖像合成部85中與B的圖像Sb進(jìn)行合成，經(jīng)過監(jiān)視器9后可以表現(xiàn)出自然合成的A，B圖像Sab。
圖19所示的第六實(shí)施方式與第五種不同之處在于，B的圖像Sb使用計(jì)算機(jī)合成的圖像。這個(gè)B的圖像Sb可以經(jīng)過CG圖像生成部86顯示在監(jiān)視器9上。另外，CG圖像生成部86中的假想光源顏色可以由CG光源決定部87求出，在第二校正部84中與校正后的A圖像Sa進(jìn)行相乘，實(shí)現(xiàn)第二次顏色校正。將這樣進(jìn)行了二次顏色校正的A圖像Sa與圖像合成部85中的B圖像Sb圖像合成，經(jīng)過監(jiān)視器9可以得到計(jì)算機(jī)合成的風(fēng)景和人物自然融合的A，B圖像Sab。并且，第五，第六實(shí)施方式中在求出第一、第二次顏色校正的光源顏色時(shí)，不限于使用上述反射面，還可以使用白色修補(bǔ)等其它方法。
圖20，21所示的第七實(shí)施方式中，鏡頭41作為變焦鏡頭構(gòu)成，隨著其焦距的變化改變反射面61的位置及角度。圖20示出了其原理。首先，最大視野VF由CCD31和鏡頭41決定。反射面61的反射面后部63配置在最大視野VF上的適當(dāng)位置。然后，根據(jù)下列關(guān)系決定反射面61的反射角An。
攝像元件面Fd是CCD31表面的平面，反射位置頂點(diǎn)面Fn與通過反射面61上的反射點(diǎn)的攝像元件面Fd平行。被攝體面Fo與通過被攝體O的攝像元件面Fd平行。首先，考慮反射位置頂點(diǎn)面Fn的左側(cè)反射角As與其它角的關(guān)系有下式成立As＝π-An-Ao(7)另外，考慮反射面61的下側(cè)有下式成立2As＝π-Ad-Ao (8)將兩式的反射角As整理后，有下式成立π-Ad-Ao＝(π-Ad-Ao)/2 (9)將次式根據(jù)反射面角An整理后，得到下式An＝π/2+Ad/2-Ao/2 (10)這里，由于被攝體角Ao相對(duì)被攝體O的位置幾乎沒有變化，所以Ao/2可以認(rèn)為是常數(shù)。反射面角An由視角Ad決定，視角Ad由最大視野VF的位置決定。因此，反射面61的反射面后部63和視角Ad由鏡頭41的焦距唯一決定。
這里，參照?qǐng)D21(a)(b)說明具有使反射面63和反射面角An連續(xù)變化的反射面61的攝像機(jī)2。鏡頭41處在圖21(a)中實(shí)線所示的位置時(shí)，反射面61的一部分反射面61a由反射面后部63a和反射面角An1所決定。另外，在鏡頭41’的焦距稍微變長(zhǎng)而位于虛線位置的場(chǎng)合，反射面61b的反射面后部63b向比反射面后部63a離開鏡頭41的距離還大的一側(cè)移動(dòng)，反射面角An2比An1增大。沿著反射面61的反射面前端線，后端線62L，63L，配置亞反射面前端，后端62a，62b，63a，63b，在該反射面前端線，后端線62L，63L之間配置反射面61a，61b。
這樣具有可連續(xù)變化的反射面61的反射體6，連接到作為反射面移動(dòng)裝置65的支撐棒66，并可以繞大致與鏡頭41的中心軸正交的第一樞軸66a搖動(dòng)。此外，支撐棒66的根部通過第一樞軸66a由基礎(chǔ)部件67支撐，相對(duì)于攝像機(jī)主體部3可以繞與第一樞軸66a正交的第二樞軸67a搖動(dòng)并被支撐。另外，為了將反射體6插入遮蓋物5，如前面實(shí)施方式所示，將開口5a對(duì)應(yīng)全圖像范圍100的角部設(shè)置。此外，攝像機(jī)2中針對(duì)CCD31設(shè)置與圖像取入部分聯(lián)動(dòng)的閃光燈21。
圖21所示的攝像機(jī)2在實(shí)際使用時(shí)，繞第一樞軸66a搖動(dòng)反射體6，以根據(jù)鏡頭41的焦距選擇合適的反射面61a，62b。另外，將遮蓋物5a搖動(dòng)到適當(dāng)?shù)奈恢?，擋住最大視野外射來的光。靜態(tài)攝像的場(chǎng)合，在這種狀態(tài)下先點(diǎn)亮閃光燈21一次，通過CCD31取入上述的參照畫面121。然后，繞第二樞軸67a向外側(cè)搖動(dòng)支撐棒66使反射面61移動(dòng)到鏡頭單元4的視野外，再次點(diǎn)亮閃光燈121拍攝主畫面110。然后利用參照畫面121和主畫面110進(jìn)行上述顏色校正。在視頻攝像的場(chǎng)合可以不使用閃光燈21。另外，也可以使支撐棒66繞第一樞軸66a搖動(dòng)，將反射面61移動(dòng)到鏡頭單元4的視野外。
圖22，23所示的第八實(shí)施方式中，作為感光元件的第三CCD38與前面的第一CCD31分開設(shè)置，變焦鏡頭單元4，4分別設(shè)置在第一，第三CCD31，38處。各鏡頭單元4，4的光圈43，43及開口調(diào)節(jié)電機(jī)44，44由與第一CCD31聯(lián)動(dòng)的幀平均化部32進(jìn)行統(tǒng)一控制。另外，鏡頭41，41的焦距也是兩鏡頭聯(lián)動(dòng)的。針對(duì)第一，第三CCD31，CCD38分別設(shè)置了第一，第二視頻捕捉卡71x，71y。
第三CCD38與第一CCD31是同一種元件，不同之處是不良像素比CCD31多。第三CCD38之所以可以使用不良像素較多的元件，是因?yàn)橹灰ㄟ^反射面61能夠捕捉到參照畫面的光源顏色即可。然后，事先將檢測(cè)出的不良像素的位置記錄在71z中，在校正部72進(jìn)行光源顏色計(jì)算時(shí)將不良像素除去。
第三CCD38側(cè)面的遮蓋物5內(nèi)部裝配有環(huán)狀的反射體6。這個(gè)反射體6預(yù)先使反射面61的上述反射面角An和反射面后部63隨鏡頭41的焦距連續(xù)變化。例如，符號(hào)61a所示的由反射面61反射的參照畫面在第三CCD38上的選擇參照部38a1成像，符號(hào)61b所示的由反射面61反射的參照畫面在第三CCD38上的選擇參照部38a2成像。這樣，通過連續(xù)的反射面61在全圖像范圍100上拍攝到的參照?qǐng)D像部130中，通過選擇適當(dāng)?shù)膮⒄詹?37a，137b，可以針對(duì)鏡頭41的焦距選擇出適當(dāng)?shù)膮⒄债嬅?，從而?duì)主畫面進(jìn)行正確的顏色校正。
下面參照?qǐng)D24～35說明使用光學(xué)校正裝置的構(gòu)成。在不產(chǎn)生矛盾時(shí)，圖中未表示的部件與上述實(shí)施方式相同因而省略。例如光圈43由圖中未表示的幀平均化部32和開口調(diào)節(jié)電機(jī)44控制。
圖24是第九到十八實(shí)施方式中使用光學(xué)濾光器的一般模型的框圖。圖像處理裝置151包含并列接收來自CDD31的信號(hào)的圖像處理部152和光源顏色測(cè)定部153。圖像處理部152的基本構(gòu)成與上述實(shí)施方式中的部分相似，不同的是它不包含光源顏色測(cè)定部和校正部。圖像處理部152接收的信號(hào)輸出到攝像機(jī)3a，連接到監(jiān)視器等部分。
通過參照攝像部31b和光源顏色測(cè)定部153得到的光源顏色輸出由補(bǔ)色測(cè)定部154接收，在這里求出光源顏色的補(bǔ)色。將通過參照攝像部31b等求出的光源顏色的RGB成分強(qiáng)度分別表示為Rn，Gn，Bn，將補(bǔ)色的RGB成分強(qiáng)度分別表示為Rc，Gc，Bc，則一般有下列關(guān)系成立C＝RnRc＝GnGc＝BnBc但是，這里的C是常數(shù)。
因此，根據(jù)Rc/Gc＝Gn/Rn，Rc/Bc＝Bn/Rn的關(guān)系，可以求出補(bǔ)色的RGB成分的色平衡值Rc，Gc，Bc。
在顏色控制裝置155中，將通過補(bǔ)色測(cè)定部154求出的補(bǔ)色作為濾光器放置在第一至第三位置P1～3中的任何一個(gè)位置。顏色控制裝置155的具體裝置如以下各實(shí)施方式所示，但其濾光器的設(shè)置位置可以是第一～第三位置P1～3中的任何一個(gè)。鏡頭單元4中表示的鏡頭41是虛擬的鏡頭，實(shí)際的鏡頭41由多個(gè)鏡頭構(gòu)成，因此可以將濾光器設(shè)置在這些鏡頭之間。
第一～第三位置P1～3中的任何一個(gè)位置上設(shè)置的濾光器使攝像視野(viewing)以及反射面61射來的光通過后到達(dá)主攝像部31a和參照攝像部31b。光源顏色測(cè)定部153通過控制光學(xué)濾光器的反饋，使通過參照攝像部31b檢測(cè)出的參照信號(hào)值(rn，gn，bn)的色平衡值盡量接近求出的色平衡值。即，光源顏色測(cè)定部153的作用是，求出光源顏色使其接近白色，并控制反饋使參照信號(hào)值(rn，gn，bn)中包含與白光不同的要求的色平衡值。即，本發(fā)明中，在最終將光源顏色校正為白色光以外的場(chǎng)合，也內(nèi)在包含了將光源顏色校正為白色光的校正作用。因?yàn)樾Ｕ淖罱K目標(biāo)值不過是根據(jù)加色混合理論來確定的。
圖25所示的第九實(shí)施方式表示作為顏色控制裝置155的一個(gè)例子的濾光器旋轉(zhuǎn)機(jī)構(gòu)160。這個(gè)濾光器旋轉(zhuǎn)機(jī)構(gòu)160中，在由電機(jī)162控制可以單步繞軸161旋轉(zhuǎn)的圓盤163上設(shè)有多個(gè)貫通孔。在該貫通孔中設(shè)有多個(gè)色平衡值不同的預(yù)設(shè)置濾光器164a～h。這些預(yù)設(shè)置濾光器164a～h的特性按不同的色溫進(jìn)行篩選，例如，設(shè)定日光的色溫為5500K，鎢類型的人造光的色溫為3200K左右。選擇其色溫與補(bǔ)色的色溫最接近的預(yù)設(shè)置濾光器164a～h。
圖26所示的第十實(shí)施方式表示作為顏色控制裝置155的又一個(gè)例子的濾光器滑動(dòng)機(jī)構(gòu)170。這個(gè)濾光器滑動(dòng)機(jī)構(gòu)170中具有可通過圖中未畫出的驅(qū)動(dòng)部件沿與CCD31和鏡頭41的光軸垂直的xy方向移動(dòng)的濾光器支撐板171以及在濾光器支撐板171上形成的貫通孔中設(shè)置的多個(gè)預(yù)設(shè)置濾光器172a～i。本實(shí)施方式中，可以用與上述實(shí)施方式中相同的方法選擇適當(dāng)色溫的預(yù)設(shè)置濾光器172a～i。
上述第九和第十實(shí)施方式可以分別將兩個(gè)以上的軸161或?yàn)V光器支撐板171組合使用。這種情況下，可以在若干貫通孔中不設(shè)置濾光器。這樣可以將多個(gè)濾光器組合使用。
作為將多個(gè)濾光器組合使用的構(gòu)成方式，可以考慮使用圖27所示的第十一實(shí)施方式的濾光器旋轉(zhuǎn)機(jī)構(gòu)180。這種實(shí)施方式中，設(shè)置多個(gè)預(yù)設(shè)置濾光器183a～f，使其可以通過電機(jī)182繞軸181進(jìn)行單步搖動(dòng)。
圖28所示的第十二實(shí)施方式中，提供液體濾光器系統(tǒng)190作為與顏色控制裝置155相當(dāng)?shù)氖褂昧艘后w的光學(xué)濾光器裝置。這個(gè)液體濾光器系統(tǒng)190中，水箱191中儲(chǔ)存的水或油等媒體，經(jīng)過泵192輸送到混合器193。泵192使用隔板(diaphgram)型泵等結(jié)構(gòu)簡(jiǎn)單的可以輸出少量液體的泵即可。顏色控制器194根據(jù)補(bǔ)色測(cè)定部154的信息，對(duì)墨水噴嘴195a～c的各部分的墨水噴出量進(jìn)行控制。
墨水噴嘴195a～c儲(chǔ)存有青，洋紅，黃色(CMY)的墨水。這些墨水可以用酸性藍(lán)#25，酸性紅#289，酸性黃#23調(diào)和。墨水的顏色也可以是RGB，但由于攝像元件的濾光器等一般是RGB，而此液體濾光器系統(tǒng)190的目的是求出補(bǔ)色，所以最好使用CMY墨水。
墨水噴嘴195a～c噴出的墨水通過混合器193與媒體混合，輸送到透明通路196。這個(gè)透明通路196由透明的玻璃板以間隔非常小的距離重疊，形成非常薄的通路，內(nèi)部流動(dòng)的墨水混合物作為濾光器起作用。通過透明通路196的混合物經(jīng)排出口197排出。圖中未示出，鏡頭4實(shí)際是由多個(gè)鏡頭組合而成，因此可以將組合構(gòu)成的鏡頭間的空隙作為透明通路196。另外，也可以設(shè)置混合墨水漂白劑等的處理裝置198進(jìn)行媒體的循環(huán)。
圖29所示的第十三實(shí)施方式是前面第十二實(shí)施方式的改進(jìn)例。本實(shí)施方式中，針對(duì)三個(gè)墨水噴嘴195a～c，獨(dú)立設(shè)置了互不干擾的三個(gè)混合器193a～c和三個(gè)透明通路196a～c。各顏色通道的過濾特性可以根據(jù)墨水濃度進(jìn)行改變。
圖30所示的第十四實(shí)施方式，示出了改變CCD31等彩色CCD表面上的CCD濾光器200顏色的系統(tǒng)。該CCD濾光器200由分隔壁201分隔各單元202。對(duì)應(yīng)于像素203的RGB各通道設(shè)置單元202。另外，相同顏色通道的單元202由橋路204連通。紅色流入路徑205r，綠色流入路徑205g，藍(lán)色流入路徑205b分別連接到第十三實(shí)施方式中的混合器193a～c。紅色流入路徑205r，綠色流入路徑205g，藍(lán)色流入路徑205b供給的媒體墨水混合物通過各單元202起到濾光器作用的同時(shí)，經(jīng)紅色流入路徑205r，綠色流入路徑205g，藍(lán)色流入路徑205b排出。
圖31所示的第十五實(shí)施方式是將彩色膠片作為攝像元件使用，對(duì)感光紙213進(jìn)行印刷的情況下進(jìn)行的顏色校正。燈211經(jīng)過顏色校正用濾光器213將光投射到彩色膠片37上，再將彩色膠片37的圖像顯像在感光紙213上。光色傳感器214及光源顏色測(cè)定部215通過參照攝像部37求出攝像時(shí)的光源顏色。補(bǔ)色測(cè)定部216通過控制求取光源顏色補(bǔ)色的濾光器交換裝置217改變?yōu)V光器212的顏色。包含濾光器212及濾光器交換裝置217的顏色開口方式155可以由上述或以下介紹的實(shí)施方式實(shí)現(xiàn)。
圖32所示的第十六實(shí)施方式中涉及液晶可調(diào)濾光器系統(tǒng)220，CCD31是黑白CCD等，作為顏色控制裝置155使用可變液晶濾光器223和明暗可調(diào)濾光器224。這個(gè)液晶可調(diào)濾光器223使用可以將濾光特性，即顏色通道切換為RGB等的LCTF(Liquid Crystal Tunable Filter)。即，以極短時(shí)間間隔改變液晶可調(diào)濾光器223的顏色來拍攝彩色圖像，通過對(duì)每個(gè)濾光器特性，分別改變明暗度可調(diào)濾光器224的明暗度，可以構(gòu)成實(shí)用的補(bǔ)色濾光器。
作為明暗度可調(diào)濾光器224的一個(gè)例子，如圖33所示，與鏡頭單元4的光軸垂直設(shè)置第一，第二偏振光濾光器224a，b，可以采用可改變其相對(duì)角度的結(jié)構(gòu)。另外，作為明暗度可調(diào)濾光器224，可以切換使用明暗度不同的中性灰度的多個(gè)ND濾光器。
圖33所示的第十七實(shí)施方式涉及3CCD攝像機(jī)230，鏡頭單元4來的入射光經(jīng)光學(xué)塊231的棱鏡232分成RGB光，投影在三個(gè)黑白CCD元件紅CCD233r，綠CCD233g，藍(lán)CCD233b上。紅CCD233r，綠CCD233g，藍(lán)CCD233b與光學(xué)塊231之間分別設(shè)置紅色明暗度可調(diào)濾光器234，綠色明暗度可調(diào)濾光器235，藍(lán)色明暗度可調(diào)濾光器236，分別改變這些明暗度值可形成實(shí)際的補(bǔ)色濾光器。紅色明暗度可調(diào)濾光器234，綠色明暗度可調(diào)濾光器235，藍(lán)色明暗度可調(diào)濾光器236，與前面實(shí)施方式相同，分別具有第一，第二偏振光濾光器234a，b，235a，b，236a，b。并且，如果需要調(diào)節(jié)強(qiáng)光等的入射情況，最好使234a，b，235a，b，236a，b全部能夠進(jìn)行旋轉(zhuǎn)控制。
圖35所示的第十八實(shí)施方式是第十七實(shí)施方式的改進(jìn)例。本實(shí)施方式中，將一個(gè)第一偏振光濾光器237放置在光學(xué)塊231的前段，例如放在鏡頭單元4的采光側(cè)；而將第二偏振光濾光器234b，235b，236b對(duì)應(yīng)各顏色通道設(shè)置。強(qiáng)光等的光量可以由第一偏振光濾光器237調(diào)節(jié)，各通道的明暗度可以通過使第二偏振光濾光器234b，235b，236b針對(duì)光學(xué)塊231進(jìn)行旋轉(zhuǎn)進(jìn)行獨(dú)立調(diào)節(jié)。
最后，說明本發(fā)明其它實(shí)施方式的可能性。
上述各實(shí)施方式中，關(guān)于具有RGB三色通道的彩色攝像機(jī)對(duì)本發(fā)明進(jìn)行了說明。但是，本發(fā)明同樣可以適用于RGB三色通道以外的多通道彩色攝像機(jī)，或拍攝可見光的黑白攝像機(jī)和拍攝不可視的紅外線的紅外線攝像機(jī)等單通道攝像機(jī)。這時(shí)，有效輸入圖像顏色值除以反射面平均顏色值后所乘的系數(shù)s必須是常數(shù)。而且，顏色通道可以由包含可見光通道和紅外線等不可見光通道的兩個(gè)通道構(gòu)成。
上述各實(shí)施方式中，反射面61可以形成為平面，凸面或凹面。但是，該反射面也可以使用網(wǎng)狀，也可以使用小的半球狀。
上述第十二～十四實(shí)施方式中，對(duì)RGB或CMY是統(tǒng)一進(jìn)行控制的。但是，只對(duì)3色中的2色進(jìn)行控制也可以實(shí)現(xiàn)顏色校正。而且，對(duì)于沒有進(jìn)行控制的顏色通道，可以借助ND濾光器，通過光圈43進(jìn)行較粗的控制。
上述實(shí)施方式中，使用了CCD元件和彩色膠片作為攝像元件。但是，不限于此，還可以采用例如攝象管(vidicon)等作為攝像元件。另外，感光元件也可以使用光電二極管等。
上述實(shí)施方式中，只要不發(fā)生矛盾，可以將多種裝置組合使用。另外，各種實(shí)施方式中都可以用于視頻攝像機(jī)或靜物攝像機(jī)。特別是上述的第九～十四及第十六～十八實(shí)施方式，就是將上述第一～第八實(shí)施方式組合后，采納雙方的優(yōu)點(diǎn)而構(gòu)成的。即，上述第一～第八實(shí)施方式由于處理速度非?？欤瑢?duì)初始捕捉影像時(shí)較為有效，其后使用上述第九～十四及第十六～十八實(shí)施方式進(jìn)行校正，能夠得到更精確的顏色校正效果。
上述第五實(shí)施方式中，A的圖像Sa是攝像棚中拍攝的播音員，B的圖像Sb是夕陽下的室外風(fēng)景。另外在上述第六實(shí)施方式中，A的圖像Sa仍然是攝像棚中拍攝的播音員，不同的是B的圖像Sb是使用計(jì)算機(jī)合成的圖像。然而，將風(fēng)景作為A的圖像Sa，將播音員的肖像作為B的圖像Sb也是可以的。此外，在替換頭部或臉部以作成合成圖像時(shí)也可以使用本發(fā)明的顏色校正。例如，將作為肖像的A的圖像Sa中人物的頭部或臉部切出。另一方面，作為B的圖像Sb，使用從服裝模特的攝像圖像中除去頭部的圖像，或在作為發(fā)型等參考的頭部攝像圖像中留下發(fā)型而將臉部除去的圖像。然后，將A圖像與B圖像經(jīng)上述顏色校正后合成在一起，在統(tǒng)一的照明狀況下，可以根據(jù)顏色自然的合成圖像檢查衣服或發(fā)型是否適合本人。
生產(chǎn)上的應(yīng)用本發(fā)明涉及對(duì)被拍攝物體進(jìn)行顏色校正并穩(wěn)定圖像的濃度的攝像系統(tǒng)及其使用的攝像機(jī)和圖像處理裝置。本發(fā)明不僅適用于具有多種顏色通道的攝像元件的攝像機(jī)的顏色校正，而且適用于黑白攝像機(jī)等單一通道的攝像機(jī)。
權(quán)利要求
1.一種用于校正圖像的顏色的攝像系統(tǒng)，其特征在于，包括攝像機(jī)(2)具有鏡頭(41)、攝像元件(31，37)、感光元件(31，33，37，38)和反射面(61)并在攝像元件(31，37)上拍攝主畫面(110)，所述攝像元件(31，37)和所述感光元件(31，33，37，38)具有多個(gè)顏色通道，所述反射面(61)配置在上述攝像機(jī)(2)的視野之內(nèi)，并且在反射來自所述主畫面(110)以及其附近的參照畫面(121，121a～e)的光的同時(shí)通過鏡頭(41)使感光元件(31，33，37，38)感光；光源顏色測(cè)定部(72，153)將由所述感光元件(31，33，37，38)接收的參照畫面(121，121a～e)反射光中的一個(gè)像素部分(136d)的值或多個(gè)像素部分(131，131a～e，136a～c)在每個(gè)顏色通道上的平均值作為參照信號(hào)值(m，gn，bn)求出；以及校正裝置(72)根據(jù)該參照信號(hào)值(m，gn，bn)校正圖像的顏色。
2.如權(quán)利要求1所述的攝像系統(tǒng)，其特征在于，所述校正裝置是校正部(72)，該校正部通過用由所述攝像元件(31，37)拍攝的主畫面(110)的各坐標(biāo)位置的主信號(hào)值(r[x][y]，g[x][y]，b[x][y])分別除以所述求出的每個(gè)顏色通道的所述參照信號(hào)值(m，gn，bn)來得到對(duì)主信號(hào)值進(jìn)行校正后的校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])。
3.一種在權(quán)利要求2所述的攝像系統(tǒng)中使用的圖像處理裝置，其特征在于，通過預(yù)先求出分別以所述參照信號(hào)值(m，gn，bn)為分母的系數(shù)(sr，sg，sb)，然后將該系數(shù)(sr，sg，sb)與所述各主信號(hào)值(r[x][y]，g[x][y]，b[x][y])相乘，來校正主信號(hào)。
4.如權(quán)利要求3所述的圖像處理裝置，其特征在于，所述各顏色通道中的所述各系數(shù)(sr，sg，sb)是將各顏色通道不同的參照信號(hào)值(m，gn，bn)作為分母，將各顏色通道相同的另一系數(shù)(s)作為分子。
5.如權(quán)利要求4所述的圖像處理裝置，其特征在于，通過從所述攝像元件(31，37)或所述感光元件(31，33，37，38)順序送來的幀信號(hào)中的某一幀信號(hào)中求出所述系數(shù)(sr，sg，sb)，把該系數(shù)(sr，sg，sb)與從一段時(shí)間過后的其它幀中得到的所述各主信號(hào)值(r[x][y]，g[x][y]，b[x][y])相乘，來校正主信號(hào)。
6.如權(quán)利要求5所述的圖像處理裝置，其特征在于，通過將所述系數(shù)(sr，sg，sb)分別與多個(gè)從其它幀分別得到的所述各主信號(hào)值(r[x][y]，g[x][y]，b[x][y])相乘，來校正主信號(hào)。
7.如權(quán)利要求5所述的圖像處理裝置，其特征在于，具有用于將從所述其它幀得到的信號(hào)與所述系數(shù)(sr，sg，sb)相乘的視頻放大器(79)。
8.如權(quán)利要求4所述的圖像處理裝置，其特征在于，在所述主信號(hào)值(r[x][y]，g[x][y]，b[x][y])取作為主信號(hào)集合中的最大值的值(rm，gm，bm)時(shí)，所述另一個(gè)系數(shù)(s)的取值使作為該最大值的值(rm，gm，bm)接近所述主信號(hào)值的最大標(biāo)度值(D)。
9.如權(quán)利要求4所述的圖像處理裝置，其特征在于，當(dāng)某個(gè)像素上兩個(gè)通道內(nèi)的主信號(hào)值達(dá)到所述最大標(biāo)度值(D)并且其它通道內(nèi)的主信號(hào)值未達(dá)到所述最大標(biāo)度值(D)時(shí)，將該像素定義為不正確像素，所述另一個(gè)系數(shù)(s)的取值使該不正確像素集合中作為所述其它通道內(nèi)的主信號(hào)值的最小值的值(rcm，bcm)至少達(dá)到所述最大標(biāo)度值(D)。
10.一種在權(quán)利要求2所述的攝像系統(tǒng)中使用的圖像處理裝置，其特征在于，當(dāng)在某個(gè)像素中只有藍(lán)色通道內(nèi)的主信號(hào)值達(dá)到所述最大標(biāo)度值(D)并且其它的紅色綠色通道內(nèi)的主信號(hào)值未達(dá)到所述最大標(biāo)度值(D)時(shí)，能夠根據(jù)紅色綠色通道內(nèi)的校正值(rc，gc)之間的比值算出該藍(lán)色通道的主信號(hào)的校正值(bc)。
11.一種在權(quán)利要求2所述的攝像系統(tǒng)中使用的圖像處理裝置，其特征在于，進(jìn)一步具有所述主信號(hào)的壓縮裝置(81)，在對(duì)所述主信號(hào)進(jìn)行所述校正后進(jìn)行壓縮。
12.一種在權(quán)利要求1所述的攝像系統(tǒng)中使用的攝像機(jī)，其特征在于，具有將所述反射面(61)配置在所述攝像機(jī)(2)的視野外的反射面移動(dòng)裝置(65)。
13.如權(quán)利要求1所述的攝像系統(tǒng)，其特征在于，具有將所述反射面(61)配置在所述攝像機(jī)(2)的視野外的反射面移動(dòng)裝置(65)，在通過所述反射面(61)求出所述參照信號(hào)值(rn，gn，bn)之后，通過所述反射面移動(dòng)裝置(65)將所述反射面(61)配置在所述攝像機(jī)(2)視野外，在此狀態(tài)下拍攝主畫面，然后根據(jù)所述參照信號(hào)值(rn，gn，bn)校正主信號(hào)值(r[x][y]，g[x][y]，b[x][y])。
14.如權(quán)利要求1所述的攝像系統(tǒng)，其特征在于，所述攝像元件(31)及所述感光元件(38)由具有相同特性的元件獨(dú)立構(gòu)成，對(duì)應(yīng)這些攝像元件(31)和所述感光元件(38)分別設(shè)置所述鏡頭(41，41)，同時(shí)使兩鏡頭(41，41)的變焦及光圈聯(lián)動(dòng)，形成反射面(61)使其根據(jù)鏡頭(41)的焦距能夠連續(xù)改變其起始點(diǎn)的坐標(biāo)位置和角度，同時(shí)將反射面(61)固定在鏡頭(41)的最大視野內(nèi)，從所述感光元件(38)上的校正用圖像部分(130)中的選擇校正部分(137a，137b)選擇與根據(jù)所述焦距的反射面(61a，61b)對(duì)應(yīng)的部分。
15.如權(quán)利要求14所述的攝像系統(tǒng)，其特征在于，具有在選擇所述選擇校正部分(137a，137b)時(shí)，除去所述感光元件(38)中有缺陷的像素的坐標(biāo)表格。
16.如權(quán)利要求1所述的攝像系統(tǒng)，其特征在于，通過配置所述反射面或?yàn)樗鰠⒄招盘?hào)選擇多個(gè)像素，將所述參照畫面主要限定在主畫面的中央部分及其附近。
17.如權(quán)利要求2所述的攝像系統(tǒng)，其特征在于，至少具有兩臺(tái)所述攝像機(jī)，將一臺(tái)攝像機(jī)中的所述校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])與另一臺(tái)攝像機(jī)得到的參照信號(hào)值按每個(gè)顏色通道分別進(jìn)行相乘得到二次校正圖像，將該二次校正圖像與所述另一臺(tái)攝像機(jī)的圖像合成后得到合成圖像。
18.如權(quán)利要求2所述的攝像系統(tǒng)，其特征在于，具有生成計(jì)算機(jī)圖像的CG圖像生成部(86)和決定該計(jì)算機(jī)圖像的光源顏色的CG光源顏色決定部(87)，將所述校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])和CG光源顏色決定部(87)得到的光源顏色值按每個(gè)所述顏色通道分別相乘得到二次校正圖像，將該二次校正圖像與由CG圖像生成部(86)生成的計(jì)算機(jī)圖像合成，得到合成圖像。
19.一種在權(quán)利要求1所述的攝像系統(tǒng)中使用的攝像機(jī)，其特征在于，所述攝像元件(31，37)和所述感光元件(31，33，37，38)由相同特性的元件構(gòu)成。
20.如權(quán)利要求19所述的攝像機(jī)，其特征在于，所述感光元件(31，37)是所述攝像元件(31，37)的一部分。
21.一種在權(quán)利要求1所述的攝像系統(tǒng)中使用的攝像機(jī)，其特征在于，具有存儲(chǔ)包含攝像元件(31，37)上的圖像的圖像文件的存儲(chǔ)部(77)，或者存儲(chǔ)記錄所述圖像的膠片(37)的容納部(36)，所述圖像包括主圖像部分(110)以及位于全圖像范圍(100)端部的參照?qǐng)D像部分(130)。
22.一種在權(quán)利要求1所述的攝像系統(tǒng)中使用的攝像機(jī)，其特征在于，所述全圖像范圍(100)呈矩形，將所述參照畫面(130)置于其中一個(gè)角上。
23.如權(quán)利要求22所述的攝像機(jī)，其特征在于，所述反射面(61)可以繞所述鏡頭(41)的中軸線旋轉(zhuǎn)，可以根據(jù)所述反射面(61)的位置選擇將所述參照?qǐng)D像部分(130)放置在任一個(gè)角處，還是不將所述參照?qǐng)D像部分(130)放置在全圖像范圍(100)內(nèi)。
24.一種在權(quán)利要求1所述的攝像系統(tǒng)中使用的攝像機(jī)，其特征在于，當(dāng)所述主圖像部分呈橫向細(xì)長(zhǎng)的矩形時(shí)，在全圖像范圍(100)的上部或下部放置所述參照?qǐng)D像部分。
25.一種在權(quán)利要求1所述的攝像系統(tǒng)中使用的攝像機(jī)，其特征在于，所述鏡頭(41)是變焦鏡頭，反射面(61)根據(jù)鏡頭(41)的焦距改變其起始點(diǎn)的坐標(biāo)位置和角度。
26.一種在權(quán)利要求1所述的攝像系統(tǒng)中使用的攝像機(jī)，其特征在于，使反射面(61)根據(jù)鏡頭(41)的焦距連續(xù)改變其起始點(diǎn)的坐標(biāo)位置及角度，具有反射面移動(dòng)裝置(65)，其根據(jù)鏡頭(41)的焦距改變?cè)摲瓷涿婧退鲧R頭的相對(duì)位置。
27.具備用權(quán)利要求3～11所述的圖像處理裝置或權(quán)利要求13～18所述的攝像系統(tǒng)中的任何一個(gè)實(shí)現(xiàn)的功能的IC芯片或具有相同功能的電子電路。
28.一種記錄媒體，記錄通過將用權(quán)利要求3～11所述的圖像處理裝置或權(quán)利要求13～18所述的攝像系統(tǒng)中的任何一個(gè)實(shí)現(xiàn)的功能裝入計(jì)算機(jī)來實(shí)現(xiàn)該功能的軟件。
29.如權(quán)利要求3～11的任意一項(xiàng)所述的圖像處理裝置或權(quán)利要求13～18的任意一項(xiàng)所述的攝像系統(tǒng)，其特征在于，在通過用電話線或互聯(lián)網(wǎng)等通信線路連接的兩臺(tái)計(jì)算機(jī)之間實(shí)現(xiàn)所述圖像校正。
30.如權(quán)利要求13或19～25的任意一項(xiàng)所述的攝像機(jī)，其特征在于，設(shè)置遮蓋物防止主畫面外或參照畫面外的光入射到反射面上。
31.一種使圖像濃度穩(wěn)定的攝像系統(tǒng)，其特征在于，包括攝像機(jī)(2)具有設(shè)置鏡頭(41)，攝像元件(31，37)，感光元件(31，33，37，38)和反射面(61)并用于在攝像元件(31，37)上拍攝主畫面(110)，所述反射面(61)放置在所述攝像機(jī)(2)的視野內(nèi)，并且在反射所述主畫面(110)以及其附近的參照畫面(121，121a～e)的光的同時(shí)，通過所述鏡頭(41)使所述感光元件(31，33，37)感光；以及圖像處理裝置(7)在感光元件(31，33，37，38)接收到的參照畫面(121，121a～e)的反射光中取一個(gè)像素(136d)的值或多個(gè)像素(131，131a～e，136a～c)的平均值作為參照信號(hào)值(rn，gn，bn)，用通過攝像元件(31)拍攝的主畫面(110)各坐標(biāo)位置的主信號(hào)值(r[x][y]，g[x][y]，b[x][y])除以所述參照信號(hào)值(rn，gn，bn)，來得到對(duì)主信號(hào)進(jìn)行校正后的校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])。
32.一種在權(quán)利要求31所述的攝像系統(tǒng)中使用的攝像機(jī)，其特征在于，所述攝像機(jī)的感光元件可以感知可見光或不可見光。
33.如權(quán)利要求2所述的攝像系統(tǒng)，其特征在于，所述校正裝置具有測(cè)定由所述參照信號(hào)值(rg，gn，bn)確定的顏色的補(bǔ)色的裝置；和可以再現(xiàn)這一補(bǔ)色且能夠改變到達(dá)所述攝像元件的圖像顏色的光學(xué)濾光器裝置。
34.如權(quán)利要求33所述的攝像系統(tǒng)，其特征在于，配置所述光學(xué)濾光器以改變到達(dá)所述感光元件的圖像的顏色，所述求出補(bǔ)色的裝置控制所述光學(xué)濾光器使所述參照信號(hào)值(rn，gn，bn)的色平衡值盡可能接近要求的色平衡值。
35.如權(quán)利要求33所述的攝像系統(tǒng)，其特征在于，所述光學(xué)濾光器具有多個(gè)色平衡值不同的預(yù)設(shè)置濾光器，選擇與所述補(bǔ)色最相近的預(yù)設(shè)置濾光器。
36.如權(quán)利要求35所述的攝像系統(tǒng)，其特征在于，所述預(yù)設(shè)置濾光器由多個(gè)濾光器組合起來同時(shí)使用。
37.如權(quán)利要求33所述的攝像系統(tǒng)，其特征在于，所述光學(xué)濾光器裝置包括媒體泵；將多種顏色的彩色墨水單獨(dú)噴出的噴出部；作成多種顏色的墨水與媒體的混合物的混合器；以及與所述光學(xué)濾光器相當(dāng)?shù)哪軌蚴够旌衔锪鲃?dòng)的透明通路。
38.如權(quán)利要求33所述的攝像系統(tǒng)，其特征在于，所述光學(xué)濾光器裝置包括媒體泵；將多種顏色的彩色墨水單獨(dú)噴出的噴出部；將媒體和各墨水分別混合作成混合物的多個(gè)混合器；以及與所述光學(xué)濾光器相當(dāng)?shù)哪軌蚴垢鞣N混合物分別通過的多個(gè)透明通路。
39.如權(quán)利要求33所述的攝像系統(tǒng)，其特征在于，所述光學(xué)濾光器裝置包括媒體泵；將多種顏色的彩色墨水單獨(dú)噴出的噴出部；將媒體和各墨水分別混合作成混合物的多個(gè)混合器；以及與所述光學(xué)濾光器相當(dāng)?shù)哪軌蚴垢鞣N混合物分別通過的多個(gè)透明單元，每個(gè)單元設(shè)置在黑白攝像元件前表面上并與每個(gè)像素的RGB的一個(gè)值對(duì)應(yīng)，相同顏色的單元間用橋路的方法相互連接。
40.如權(quán)利要求33所述的攝像系統(tǒng)，其特征在于，所述光學(xué)濾光器可改變?yōu)V光器特性，所述光學(xué)濾光器裝置具有隨著濾光器特性的改變而改變透光度的透光度改變裝置。
41.如權(quán)利要求33所述的攝像系統(tǒng)，其特征在于，所述攝像機(jī)包括將光線分解為RGB的光學(xué)塊；和分別對(duì)應(yīng)RGB的3個(gè)攝像元件，所述光學(xué)濾光器就是這里的光學(xué)塊，所述光學(xué)濾光器裝置分別包括可以改變到達(dá)各攝像元件的圖像的濃度的透光度改變裝置。
42.如權(quán)利要求40或41的任何一項(xiàng)所述的攝像系統(tǒng)，其特征在于，所述透光度改變裝置包括兩個(gè)可以調(diào)整相對(duì)角度的偏振光濾光器。
43.如權(quán)利要求41所述的攝像系統(tǒng)，其特征在于，所述透光度改變裝置包括兩個(gè)可以調(diào)整相對(duì)角度的偏振光濾光器，兩個(gè)偏振光濾光器中的一個(gè)共有地設(shè)置在所述光學(xué)塊的前面，另一個(gè)分別放在每個(gè)通道的光學(xué)塊的后面。
44.如權(quán)利要求33所述的攝像系統(tǒng)，其特征在于，所述攝像元件是膠片(37)，所述測(cè)定補(bǔ)色裝置包括燈；用于檢測(cè)通過所述感光元件部分的燈光顏色的光顏色檢測(cè)器；光源顏色測(cè)定部；以及基于該光源顏色測(cè)定部的補(bǔ)色測(cè)定部，所述光學(xué)濾光器裝置具有能夠使來自所述燈的光進(jìn)一步經(jīng)過所述膠片到達(dá)感光紙的濾光器；和能夠?qū)⒃摓V光器的顏色作為所述補(bǔ)色的濾光器變換裝置。
45.如權(quán)利要求33～41或43，44的任何一項(xiàng)所述的攝像系統(tǒng)，其特征在于，所述校正裝置還具有電子校正部(72)，該電子校正部用由所述攝像元件(31，37)拍攝的主畫面(110)的各坐標(biāo)位置的主信號(hào)值(r[x][y]，g[x][y]，b[x][y])，分別除以各顏色通道中求出的參照信號(hào)值(rn，gn，bn)，來得到校正主信號(hào)后的校正信號(hào)值(rc[x][y]，gc[x][y]，bc[x][y])，所述電子校正部在用光學(xué)濾光器裝置進(jìn)行顏色校正處理完成之前進(jìn)行過渡的校正處理。
全文摘要
提供一種攝像系統(tǒng),通過簡(jiǎn)易的校準(zhǔn)即可對(duì)顏色進(jìn)行校正以實(shí)現(xiàn)顏色的不變性,并且即使參照?qǐng)D像部分很小也能進(jìn)行充分的顏色校正。包括具有鏡頭41、攝像元件31及反射面61并在攝像元件上拍攝主畫面的攝像機(jī)2。將通過攝像元件接收的參照畫面的反射光中多個(gè)像素部在每個(gè)顏色通道中的平均值作為參照信號(hào)值(m,gn,bn)求出。參照信號(hào)值代表光源顏色,用該參照信號(hào)值對(duì)主圖像進(jìn)行校正。校正除了可以由圖像處理裝置7中的數(shù)字或模擬等電子處理之外,還可以在攝像元件31的前面用補(bǔ)色濾光器進(jìn)行光學(xué)處理。
文檔編號(hào)H04N9/73GK1375166SQ00812961
公開日2002年10月16日 申請(qǐng)日期2000年9月14日 優(yōu)先權(quán)日1999年9月17日
發(fā)明者默罕默德·阿布里拉·阿部德拉迪夫, 北村光司 申請(qǐng)人:自然工藝株式會(huì)社