專利名稱：數(shù)字圖像中的偏色檢測和消除的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及數(shù)字圖像，更準(zhǔn)確地說，涉及數(shù)字圖像中的偏色檢測和消除。
背景因?yàn)槌偲毓鉁y定之外，在場景捕捉期間對(duì)場景光源知道很少，所以數(shù)字靜態(tài)照相機(jī)(DSC)在色彩表示方面具有很大的局限性。文獻(xiàn)中報(bào)告了估計(jì)場景光源的許多嘗試。最簡單的方法，被稱為灰色世界近似，假定場景中所有表面反射率的平均為灰色。從這種假定得出，如果任何平均色彩在從平均灰色表面反射后保留，那么它一定是照明顏色。在灰度世界近似無效的情況下碰到場景時(shí)，使用該方法一般會(huì)導(dǎo)致所得到圖像中的偏色。為了獲得更好的結(jié)果，開發(fā)了用于估計(jì)光源的更復(fù)雜算法。最廣泛使用的色彩校正方法是VonKries變換。將圖像的紅-綠-藍(lán)，或RGB值除以估計(jì)的照度，然后乘以參考照度的RGB值。其它照度估計(jì)方法包括測量特定色彩區(qū)，其中收集系綜平均并按色度圖的各種形式將其分類。這些估計(jì)方法利用大量色彩距離量度，搜索背離灰色世界近似的主要色彩偏斜(colorskew)，從而預(yù)測場景照度。
DSC制造商一般在被稱為白平衡(WB)的方法中調(diào)用多個(gè)方法中的元素。WB的目標(biāo)在于產(chǎn)生這樣一種圖像，其中白色對(duì)象顯現(xiàn)為白色，并最小化非等能量光源的視覺影響。當(dāng)沒有適當(dāng)?shù)孬@得WB時(shí)，圖像中將出現(xiàn)明顯的偏色(例如，當(dāng)傍晚出現(xiàn)太陽時(shí)，數(shù)字靜止圖像中的黃色偏色)。WB任務(wù)一般以應(yīng)用于圖像中的所有像素的Von Kries校正開始，它根據(jù)前面提到的方法中的某種照度估計(jì)假定，平衡RGB傳感器陣列的放大器增益。另外，一般進(jìn)行ad-hoc調(diào)整以迫使圖像的最大亮度值為純白(例如R＝G＝B＝1.0)。一些照相機(jī)還調(diào)整最小亮度，從而將黑點(diǎn)設(shè)為等能量級(jí)(例如R＝G＝B≌0.01)，它不是絕對(duì)黑色。對(duì)于光線良好的室外場景，通常由于曝光考慮，大多數(shù)DSC照相機(jī)將黑點(diǎn)設(shè)為絕對(duì)黑色(R＝G＝B＝0.0)。圖像白點(diǎn)和黑點(diǎn)區(qū)向預(yù)定目標(biāo)的移動(dòng)(通常具有相關(guān)色調(diào)控制)一般產(chǎn)生令人滿意的最強(qiáng)光區(qū)和陰影區(qū)。但它沒有提供對(duì)1/4到3/4色調(diào)中包含的大部分像素信息的附加補(bǔ)償。所得到的圖像在大半個(gè)圖像中可以表現(xiàn)出相當(dāng)?shù)钠Ｓ捎谠趫D像捕捉期間圖像白點(diǎn)(可能還有黑點(diǎn))以完全非線性的方式改變，所以只有有限的光源信息保留在照相機(jī)數(shù)據(jù)中用于后處理。
如果在圖像捕捉期間原始圖像白點(diǎn)和黑點(diǎn)保持未被改變，則有可能旋轉(zhuǎn)圖像的色空間，從而將白點(diǎn)與黑點(diǎn)相連的中心線允許該中心線與消色軸對(duì)齊。
現(xiàn)在參考

圖1(現(xiàn)有技術(shù))，其中用示意圖示出了上述L*a*b*色空間中被稱為“灰色軸再對(duì)齊”方法10的現(xiàn)有技術(shù)偏色檢測和消除方法，其中“L”是L*亮度或消色軸12上的亮度值，而“a*”和“b*”分別是“a*”和“b*”色度軸14和16上的色度值。原始圖像具有白點(diǎn)17、黑點(diǎn)18以及從白點(diǎn)17延伸到黑點(diǎn)18的中心線20。箭頭22表示中心線20的旋轉(zhuǎn)，從而通過重定位的白點(diǎn)22和重定位的黑點(diǎn)24與消色軸12對(duì)直。圓柱形中性色中心28表示在中心線20旋轉(zhuǎn)之后保留的內(nèi)容。
該方法假定場景最大照明區(qū)就是消色差強(qiáng)光，這是在大部分真實(shí)生活照片中證實(shí)了的事實(shí)。但是，一些專業(yè)照相機(jī)具有一種專用手動(dòng)白平衡模式，它不將最大照明像素調(diào)整為純白。在各種照明條件下(D50、D65、冷白熒光、水平日光、U30熒光以及白熾A)，以這種方法從MacBeth Spectralight III棚捕捉數(shù)據(jù)。簡單的后期數(shù)據(jù)捕捉算法旋轉(zhuǎn)L*a*b*色空間中從白點(diǎn)17延伸到黑點(diǎn)18的中心線20，直到它處于消色軸12上。根據(jù)在各種照明下通過測試樣本中包含的MacBeth比色圖表灰色修補(bǔ)的消色差純度進(jìn)行的測量，結(jié)果顯示圖像偏色顯著減少。但是，灰色軸重對(duì)齊的方法決定性地取決于知道圖像中最高照明點(diǎn)的色品。盡管由于在被檢查的照相機(jī)中發(fā)現(xiàn)很少的顏色內(nèi)容，所以黑點(diǎn)18的放置不那么關(guān)鍵，但白點(diǎn)17的小變化對(duì)圖像其它部分的近中性色在視覺上產(chǎn)生顯著影響。
本發(fā)明提供一種彩色圖像的偏色檢測和消除的方法，其中的彩色圖像由彩色像素構(gòu)成。為具有消色軸的色空間提供缺省的灰色半徑，用于建立色平面中的中性色箱。箱中根據(jù)像素色品裝有像素。用缺省灰色半徑內(nèi)箱中像素的色品峰計(jì)算色彩直方圖。根據(jù)色彩直方圖中的色品峰，將缺省的灰色半徑調(diào)整到某一灰色半徑。根據(jù)該灰色半徑內(nèi)同一有色象限中的多個(gè)色度峰來檢測偏色，并根據(jù)其到消色軸的平均平均距離來檢測偏色距離。通過從色空間中的彩色圖像減去偏色距離，從而從像素中消除偏色，并輸出去除了偏色的彩色圖像。
盡管灰度軸重對(duì)齊方法在沒有調(diào)整最大圖像照明像素的條件下工作良好，但是由于大部分DSC裝置在某些方面改變圖像的最亮像素，所以它很少有實(shí)際應(yīng)用。本發(fā)明的偏色檢測和消除方法通過檢查分布在整個(gè)圖像中的大的相鄰的近灰色對(duì)象的色品來克服這種局限性。
對(duì)于本領(lǐng)域的技術(shù)人員，通過閱讀以下詳細(xì)描述并參考附圖，本發(fā)明的以上和其它優(yōu)點(diǎn)將是顯而易見的。
圖2示出了結(jié)合了本發(fā)明的數(shù)字圖像系統(tǒng)的概況。
圖3示出了根據(jù)本發(fā)明的偏色檢測和消除方法。
圖4示出了根據(jù)本發(fā)明的缺省灰色半徑選擇。
圖5示出了根據(jù)本發(fā)明的中性色箱的定位。
圖6示出了根據(jù)本發(fā)明的直方圖計(jì)算。
圖7用示意圖示出了本發(fā)明的偏色檢測和消除方法。
現(xiàn)在參考圖2，這里示出了利用本發(fā)明的數(shù)字圖像系統(tǒng)30的概況。數(shù)字圖像系統(tǒng)30包括原始圖像32，它由本發(fā)明的箱方法34處理，以產(chǎn)生校正圖像36。
該系統(tǒng)的概念在于盡管圖像中的最亮像素可以已被折衷，但是所有其它的近中性像素保留了它們原來的顏色屬性?；镜南到y(tǒng)概念在于仔細(xì)地選擇表示殆灰色對(duì)象的所有像素，并識(shí)別其平均色彩。通過檢查這些對(duì)象的色彩位置，本發(fā)明的算法尋找這樣的證據(jù)或者存在所有對(duì)象共有的總偏色，或者對(duì)象具有隨機(jī)分散的色彩矢量。該算法對(duì)圖像沒有“殆灰色”對(duì)象或整個(gè)場景由單個(gè)大的多色對(duì)象占支配地位(這通常指的是“紅倉(red barn)”圖像)的可能性是敏感的。如果發(fā)現(xiàn)共有色彩分量出現(xiàn)在所有近中性色對(duì)象中，那么估計(jì)其大小并將與其相反的色品應(yīng)用于所有那些對(duì)象。校正機(jī)制具有實(shí)現(xiàn)三維查找表(LUT)的國際色彩聯(lián)盟(一個(gè)國際標(biāo)準(zhǔn)組織)簡檔的基本結(jié)構(gòu)。該簡檔能夠直接用于測試圖像，或者可以將它寫入磁盤文件中，以使得它能夠用于具有相似偏色特征的多個(gè)圖像。
現(xiàn)在參考圖3，其中示出了本發(fā)明的偏色檢測和消除方法的箱方法34。將原始圖像從圖2的框32輸入到框40“缺省灰色半徑”，它提供灰色色彩中心圓柱體的開始點(diǎn)。箱方法34接下來進(jìn)入框42“尋找中性色的箱”，箱方法34從框42進(jìn)入框44“計(jì)算所接受中心像素的2D色彩直方圖”。箱方法34從框44進(jìn)入判定框46“增長灰色半徑”，在其中判定由于已經(jīng)遇到另外的峰或因?yàn)榉宓恼穹栽谧兓欠窭^續(xù)增加灰色半徑。如果“是”，箱方法34進(jìn)入框48“根據(jù)峰位置調(diào)整半徑”，并返回框42“尋找中性色的箱”以進(jìn)行下一迭代。如果“否”，那么箱方法34進(jìn)入框50“建立3D校正LUT”，以建立具有各個(gè)色彩的校正因子的查找表(LUT)。接下來，在框52“通過LUT變換整個(gè)圖像”中，將LUT用于應(yīng)用校正因子以消除彩色圖像中的偏色。然后箱方法34“完成”并向圖2的框36輸出校正圖像。
注意，由于箱方法34嘗試選擇正確的色箱范圍以正好包含各個(gè)圖像對(duì)象(在近中性色區(qū)中)，所以它是在迭代算法中實(shí)現(xiàn)的。迭代方法的目的是發(fā)現(xiàn)最小的顏色半徑，在該半徑中將所有近中性色對(duì)象都收集到了適當(dāng)?shù)纳臻g箱中，并且色箱中發(fā)現(xiàn)的任何色彩峰都是穩(wěn)定的。通過顏色半徑發(fā)生小變化但沒有遇到另外的峰，以及相對(duì)固定的峰振幅來測量穩(wěn)定性(它是所分段的區(qū)中包括的像素?cái)?shù)的測量)。當(dāng)箱選擇參數(shù)達(dá)到某個(gè)給定的穩(wěn)定性水平時(shí)，則已經(jīng)識(shí)別了近中性色對(duì)象的最小集，并且到達(dá)了其平均色彩的最佳可能測量。這些對(duì)象的色空間坐標(biāo)(矢量)的分布確定是否出現(xiàn)偏色及其大小。這種分布還可以表示該圖像包括多個(gè)隨機(jī)分散的色彩矢量，這意味著不需要任何校正。類似地，這種分布可以證明具有固定顏色的大對(duì)象的出現(xiàn)(“紅倉”情況)。在這種情況下，該算法將推遲估算偏色。
現(xiàn)在參考圖4，其中示出了分別在L*a*b*軸12、14和16上根據(jù)本發(fā)明的圖3的框32“缺省灰色半徑”的缺省灰色半徑選擇60。不包括白點(diǎn)和黑點(diǎn)的灰色區(qū)域被示為具有灰色半徑64的圓柱形中性色中心62。在最佳模式中，缺省開始值為a*＝b*＝15國際照明委員會(huì)(CIELAB)單位。已發(fā)現(xiàn)的最大半徑大約是40 CIELAB單位，因?yàn)閳D像在超過這個(gè)極限時(shí)通常出現(xiàn)色飽和。
現(xiàn)在參考圖5，這里示出了建立根據(jù)本發(fā)明的圖3中框42“尋找中性色箱”的中性色的色箱66。在圖5中，8×8網(wǎng)格定義中性色中心62的色箱，例如色箱68，其中將匯集色彩段的統(tǒng)計(jì)計(jì)數(shù)。色箱66的數(shù)量隨著灰色半徑64的增加而增加。目的是發(fā)現(xiàn)8到20種近中性色的色彩，它們占圖像以及具有顯著偏色的白區(qū)域的一個(gè)大的百分比。
在像素選擇中，開始認(rèn)為在亮度和色度的某一中心范圍內(nèi)發(fā)現(xiàn)的圖像中所有像素應(yīng)該被分類到色箱中以識(shí)別對(duì)象。合理的限制亮度級(jí)在于“最亮像素”校正(以及可能的黑點(diǎn)變化)產(chǎn)生近中性色對(duì)象，其中這些對(duì)象并不具有場景真正色彩的特征。在用圖像數(shù)據(jù)庫試驗(yàn)后，可以很快明白，亮度限制不以任何有效方式改變偏色檢測。更重要的是，試驗(yàn)證明真實(shí)圖像包括大量表示小的獨(dú)立對(duì)象的像素，比如襯衫鈕扣、鋼筆和鉛筆或領(lǐng)邊。這些對(duì)象與諸如人的衣服、汽車或臺(tái)式電腦等場景的主要對(duì)象相比相當(dāng)小。偏色信息集中到場景的大的主要對(duì)象上。這些主要對(duì)象通常不是該圖像的主題(例如作為一對(duì)夫婦肖像背景的灰墻)，但是它們的絕對(duì)尺寸和相對(duì)固定的顏色支配著觀察者對(duì)場景的印象。從經(jīng)驗(yàn)上說，近中性色對(duì)象的最佳量度是某種近固定表面反射率，它占圖像像素計(jì)數(shù)的至少1％。它主要是大的對(duì)象，它在確定是否出現(xiàn)特定偏色方面給出一個(gè)有意義的一個(gè)表面的照明范例。
假定大對(duì)象具有分布在可能的彎面上的多個(gè)亮度級(jí)。箱方法34的算法目的是允許色箱亮度和色度約束的啟發(fā)式調(diào)整，以適應(yīng)對(duì)象的變化。如果遇到由數(shù)百個(gè)不同的小對(duì)象構(gòu)成的樣本圖像，那么由于各個(gè)色箱中的小像素計(jì)數(shù)，該算法表示沒有出現(xiàn)大對(duì)象。除非存在固定色彩的背景分布在各個(gè)對(duì)象周圍，并且其可以占到像素總數(shù)的1％的可能性，“Where’s Waldo(沃爾多在哪里)”照片例示將有可能被拒絕。幾乎所有的室外自然場景對(duì)于大的近中性色對(duì)象都認(rèn)可此標(biāo)準(zhǔn)。這可能是由于這樣的事實(shí)天空、草地、水泥、水和地被植物一般在室外景色中占支配地位。當(dāng)有結(jié)構(gòu)或有圖案的對(duì)象占支配地位時(shí)，室內(nèi)場景可能違背此標(biāo)準(zhǔn)。當(dāng)出現(xiàn)人的肖像時(shí)，由于臉和手臂的膚色一般屬于近中性色對(duì)象類并且一般占了圖像的5％到50％，所以沒有發(fā)現(xiàn)任何違背此標(biāo)準(zhǔn)的。
現(xiàn)在參考圖6，其中示出了根據(jù)本發(fā)明的框44“計(jì)算所接受的中心像素的2D色彩直方圖”的全局色度直方圖70。直方圖70具有色度軸14和16以及像素計(jì)數(shù)軸72。在一個(gè)典型圖像中，分段對(duì)象的色彩分布形成了中性色中心62中不同的獨(dú)立峰74、76和78。如果峰74、76或78不同，那么在圖3的判定框46“增長灰色半徑”中判定不增長灰色半徑64。應(yīng)該注意，色箱66只用于預(yù)測和調(diào)整灰色半徑64未來的增長。
算法從創(chuàng)建所有像素的全局色度直方圖70開始，這些像素的色度落在色空間范圍的后排中(center half)內(nèi)。對(duì)于具有8比特帶符號(hào)坐標(biāo)的L*a*b*色空間，它對(duì)應(yīng)于最靠近中性色中心的對(duì)象，其中|a*|＜64并且|b*|＜64。這種a*和b*2D直方圖70用于識(shí)別分段方法中找到的近中性色對(duì)象是否具有公共色分量。接下來，該算法通過濾去像素的任何2×2鄰域開始分段，這些鄰域不具有至少3個(gè)在亮度和色度值的缺省范圍內(nèi)的像素。如以后將論述的，該算法作用于具有一個(gè)亮度和兩個(gè)色度坐標(biāo)的幾乎任何色空間。4選3的像素標(biāo)準(zhǔn)(用于2×2鄰域)一般濾去全部圖像像素的30％，這是因?yàn)樾?duì)象和邊緣通常不能滿足這種約束。算法這個(gè)部分的目的是快速減少后續(xù)步驟中將處理的像素?cái)?shù)，并且只選擇近固定反射率的大對(duì)象。
通過前述條件的那些2×2像素組被分配給諸如箱68的色箱，并且計(jì)算亮度和色度范圍。當(dāng)已收集了大量色箱66時(shí)，采取壓縮搜索以連接那些亮度和色度范圍相當(dāng)并具有最接近色彩范圍的箱。目的是將色箱66的數(shù)量減少到更容易操作的色彩范圍數(shù)。已發(fā)現(xiàn)20左右的色彩范圍的壓縮集是最佳的。為適應(yīng)壓縮方法的亮度和兩個(gè)色度通道的增長構(gòu)成迭代反饋參數(shù)的第一集合?，F(xiàn)在，壓縮后的箱計(jì)算新的亮度和色度范圍加上新的平均色彩。另外，所涉及的所有像素的坐標(biāo)被存儲(chǔ)在新創(chuàng)建的箱中。該方法繼續(xù)到處理完整個(gè)圖像為止。
一旦色彩范圍的壓縮集減少到20個(gè)或更少的壓縮箱，則開始分段。分段的目的是檢測具有公共表面反射率的大對(duì)象。自然對(duì)象一般是彎曲的并在其表面上有亮度和色彩變化。分段允許即使在亮度和色度有相當(dāng)大的變化的情況下，將對(duì)象中的相鄰像素連接在一起，因?yàn)檫@些變化以平滑的方式發(fā)生，作為真實(shí)對(duì)象的代表。
分段方法如下進(jìn)行。按圖像x、y坐標(biāo)對(duì)各個(gè)色箱分類，以確定其是否8向連接到屬同一色彩組的另一像素組。創(chuàng)建分段箱，它包括這些像素、它們的坐標(biāo)、各自的色彩和組色彩。算法參數(shù)允許包括像素組，這些像素組從它們相鄰的8向連接像素偏移了一個(gè)或多個(gè)像素。試驗(yàn)結(jié)果表示，空間偏移零或1提供最佳結(jié)果。當(dāng)這些單元并沒有在空間上連接時(shí)，例如人的左臂和右臂，則可以從單個(gè)色箱產(chǎn)生出兩個(gè)或兩個(gè)以上的分段箱。分段方法以在相鄰像素的上升行上從左到右排列像素結(jié)束。這樣做允許簡單計(jì)算各個(gè)近中性色對(duì)象的形心，以及該對(duì)象對(duì)著的總面積(包括內(nèi)部像素區(qū)域，它并不是分段組的一部分，但完全被這些像素環(huán)繞)。該信息允許精確估計(jì)對(duì)象大小，甚至當(dāng)諸如襯衫鈕扣和筆等物品出現(xiàn)在諸如襯衫的另一對(duì)象上時(shí)也不例外。近中性色色度對(duì)象被很好地分類。分段程序不包括對(duì)象邊界。邊緣趨向于在分界面上具有非常明顯的色彩變化(對(duì)于彎曲的或矩形對(duì)象)，并且邊界鄰域中4個(gè)像素中將有3個(gè)沒有相似色彩的可能性很大(這種大的可能性使得在像素選擇階段去除了這些像素)。
沒有邊界邊緣倒是該算法的優(yōu)點(diǎn)。如果有人希望快速找到對(duì)象邊界，他只需要搜索對(duì)象之間四個(gè)像素寬的空隙。通過跟蹤這些空隙(各邊上存在對(duì)象像素)，可以快速地穿過近中性色對(duì)象的邊界。在設(shè)法發(fā)現(xiàn)具有高色品的對(duì)象的邊界時(shí)，只需要在像素選擇階段相反的使用該標(biāo)準(zhǔn)，也就是只考慮具有高色品的2×2鄰域。由于高色品對(duì)象具有非常清晰的邊界，因此這種類型的分段工作得非常好。
一旦填充并壓縮了所有分段箱，該算法就測量全局色度直方圖70，以確定近中性色區(qū)中出現(xiàn)了多少單個(gè)的色品峰。如果檢測到的一個(gè)其色品半徑大于在像素選擇階段所允許的范圍的峰，則增加4選3像素標(biāo)準(zhǔn)的色品選擇半徑以使其包含該峰。除了色品半徑的參數(shù)集之外，還有可能改變迭代反饋方法中的其它兩個(gè)參數(shù)集。第二參數(shù)集用于初始箱的亮度和色度范圍，而第三參數(shù)集用于從其初始箱范圍算起任何色箱的最大增長。
大量測試顯示，只需要改變像素選擇階段的灰色半徑64以獲得穩(wěn)定的偏色結(jié)果。其它兩個(gè)參數(shù)集快速收斂在同一結(jié)果上，并且保持不變以提高計(jì)算速度。一般來說，只需要一次或兩次迭代就可以達(dá)到穩(wěn)定偏色距離。
現(xiàn)在參考圖7，其中用示意圖示出了偏色檢測和消除方法，所述的本發(fā)明的箱方法34與圖6所述為同一空間。中性色中心62中互相接觸的三個(gè)峰組成單個(gè)的主色度峰80，其形心為82。箭頭84表示偏色消除以返回到中性色中心62中的“灰色世界”的方向，并且偏色距離為形心82移動(dòng)的距離，如箭頭84的長度所示。各色箱的內(nèi)容分別被移動(dòng)到消色軸12以完成形心82的移動(dòng)。應(yīng)該注意，在單個(gè)色度峰80被認(rèn)為是偏色之前，必須滿足許多統(tǒng)計(jì)和尺寸約束。
在三次迭代之后，相同的對(duì)象被重復(fù)地識(shí)別為具有幾乎相同的形狀。改變初始亮度和色度箱范圍的重要性在于通過大變化反射率的表面來識(shí)別復(fù)雜的近中性色對(duì)象。當(dāng)利用當(dāng)前算法的目的是對(duì)圖像中的對(duì)象進(jìn)行分段時(shí)，那么初始箱范圍變化是比色品半徑更有意義的參數(shù)集。
一旦修改了所需參數(shù)集，就重復(fù)整個(gè)方法。存在這樣的像素選擇階段的選項(xiàng)對(duì)圖像中所有原始近中性色像素重新采樣，或利用當(dāng)前放置在分段對(duì)象中的像素的縮減集。利用整個(gè)圖像像素集產(chǎn)生稍微精確一些的偏色消除結(jié)果。只利用分段對(duì)象像素得到明顯更快的處理時(shí)間。如果算法的目的是對(duì)圖像對(duì)象分段，則選擇較窄的初始箱范圍。同時(shí)，必須采用整個(gè)像素集來提供所需的對(duì)象增長。如果選擇了較寬的初始箱范圍選擇，那么使用當(dāng)前放置在分段對(duì)象中的像素大大提高處理速度，同時(shí)形狀精度沒有任何明顯退化。
迭代完成之后，算法測量調(diào)整參數(shù)集的變化。當(dāng)新變化低于某一閾值時(shí)，迭代停止。這時(shí)，分析全局色度直方圖70的當(dāng)前型式。如果在隨機(jī)方向上存在多個(gè)色度峰，則該算法推測圖像中不存在任何色度偏移。與此判定相關(guān)的邏輯是，如果存在全局偏色，則不能得到由不同顏色象限中的至少兩個(gè)近中性色對(duì)象表現(xiàn)的不同色度峰。盡管這兩個(gè)對(duì)象仍然可以出現(xiàn)小的偏色，但是它們一般在視覺上并不明顯。
當(dāng)直方圖只有一個(gè)色度峰，或多個(gè)峰全在所選色品色空間的同一象限中時(shí)，存在出現(xiàn)偏色的高可能性。色度直方圖的平均基線被定義為消除了主峰時(shí)近中性色色品平面中的平均箱像素?cái)?shù)。算法接下來詢問單個(gè)色度峰中包括的像素是否多于所選倍增閾值乘以平均基線。這樣做主要是詢問對(duì)象的色度峰是否高于近中性色區(qū)域的噪聲級(jí)。盡管并不作限制，但是已發(fā)現(xiàn)十(10)倍平均基線的倍增閾值是可接受的。如果答案為真，那么該算法假定一個(gè)偏色，它等于到單個(gè)色度峰的半徑。對(duì)于同一象限中的多個(gè)色度峰，偏色是到各個(gè)峰的平均半徑。校正是從分段方法中發(fā)現(xiàn)的所有對(duì)象減去這個(gè)色品量。這樣做有效地將“白到黑點(diǎn)軸”移回消色軸。當(dāng)然沒有移動(dòng)任何白點(diǎn)或黑點(diǎn)對(duì)象(因?yàn)樗鼈兛赡芤延沙跏及灼胶獠僮髡壑?。只校正包括圖像的1/4到3/4色調(diào)的近中性色對(duì)象。
如果色度峰的像素計(jì)數(shù)不超過倍增閾值10乘以基線，那么該算法估算不出現(xiàn)任何偏色。許多適當(dāng)曝光圖像的近中性色對(duì)象具有明確的色彩特征。但是從統(tǒng)計(jì)上說，還將存在具有不同色彩特征的其它對(duì)象。對(duì)圖像所有大的近中性色對(duì)象的平均應(yīng)該產(chǎn)生不同象限中的多個(gè)峰或非常接近色軸的單個(gè)峰。任何其中的所有峰均小于到近中性色軸的給定閾值的圖像在色度上被認(rèn)為是近中性色，并不對(duì)其進(jìn)行校正。該算法允許用戶忽略這種假設(shè)，從而在圖像內(nèi)容需要它時(shí)進(jìn)行小的偏色變化。這樣做通常與出現(xiàn)強(qiáng)膚色的圖像有關(guān)。許多膚色可以落在近中性色對(duì)象定義內(nèi)。在這種情況下，一般最好不要校正偏色，因?yàn)樗鼘?duì)最終膚色有負(fù)面影響。更詳細(xì)的內(nèi)容將在下面論述。
該算法對(duì)圖像異常執(zhí)行其它測試。如果所有近中性色對(duì)象的平均色品超過某一閾值，那么該算法估算該圖像具有非常多色的主題并且停止。這將是“紅倉”圖像的例子。一旦已確定偏色距離，那么如圖7所示，該算法從分段對(duì)象減去這種色品量。
如圖3所示，三維LUT(查找表)被用于框52“通過3D LUT變換整個(gè)圖像”，它將輸入RGB值變換為最終的輸出RGB值。在每個(gè)LUT表坐標(biāo)中，LUT的輸入RGB值被變換為亮度和色度色空間坐標(biāo)。將這些變換坐標(biāo)與各個(gè)箱平均色彩相比較。當(dāng)匹配時(shí)，從平均值(應(yīng)用了限幅)減去偏色色品。將得到的值重新變換回RGB。在LUT中作一個(gè)項(xiàng)目以顯示所得到的RGB輸出值的增長或降低。將內(nèi)插和平滑應(yīng)用于LUT以確保沒有“尖峰信號(hào)”校正引起最終圖像中顯著的人工信號(hào)。將LUT寫入永久存儲(chǔ)器中，以使得可以對(duì)它進(jìn)行分析或?qū)⑺鼞?yīng)用與已知具有相同色偏問題的其它圖像。
彩色圖像偏色消除之前和之后的結(jié)果證明本發(fā)明的偏色檢測和消除的箱方法34的有效性。為了測試的目的，選擇場景以說明可以由MacBeth光棚中找到的固定光源引起的外觀上的各種變化，箱方法34已經(jīng)在200種自然場景圖像中進(jìn)行了測試。用各種DSC裝置拍攝的室外日光圖像顯示發(fā)生在云、水泥地面和柏油路上的小的“紅偏色”變化。這些變化是細(xì)微的但是可見的。室外圖像的最強(qiáng)偏色消除結(jié)果出自出現(xiàn)主紅色或桔紅色時(shí)的日落狀態(tài)。
在室內(nèi)自然圖像中，閃光和熒光照明經(jīng)常生成綠偏色。箱方法34提供對(duì)這種自然場景極好的識(shí)別和校正。在固定照明情況下，與單個(gè)發(fā)光體試驗(yàn)相比，偏色消除看起來不完全。這可能是這樣一種情況導(dǎo)致的一些近中性色對(duì)象由日光照明而其它一些由熒光照明。在全局色度直方圖70中，兩種對(duì)象將顯示兩個(gè)光譜峰(每種光源一個(gè))，其差異可能足以使得各個(gè)峰出自不同的色彩象限。在這樣的情況下，箱方法34將避免做出強(qiáng)校正。在這些情況下，分段信息可以提供各個(gè)對(duì)象的空間坐標(biāo)?？梢赃M(jìn)行分析以根據(jù)近中性色對(duì)象的圖像坐標(biāo)對(duì)它們進(jìn)行分組。近中性色組之間的加權(quán)微分(differentiation)將提供位置與唯一偏色之間的相關(guān)性。在這種情況下，可以執(zhí)行兩個(gè)單獨(dú)的偏色消除，從而用對(duì)象的平均局部色彩平衡各個(gè)對(duì)象集。
對(duì)于箱方法34，選擇L*a*b*色空間，因?yàn)樗坪鯌?yīng)需要感知上的一致性以檢測和校正細(xì)微偏色。L*a*b*的浮點(diǎn)和立方根要求確實(shí)降低了處理速度。在233 MHz Pentium Windows計(jì)算機(jī)上，320×240RGB圖像的典型處理時(shí)間為7秒(沒有優(yōu)化所采用的程序設(shè)計(jì))。應(yīng)該注意，更大的圖像尺寸并不增加偏色坐標(biāo)的確定或分段的精確度。已發(fā)現(xiàn)，100×75像素圖像足以檢測中等色偏(8比特坐標(biāo)碼的12或12以上單位的a*、b*半徑)。但是，對(duì)真實(shí)場景的分段確定被嚴(yán)格限制在100×75像素偏色內(nèi)，因?yàn)樵谠摲直媛噬希?向連接對(duì)象趨向于相互脫離。從經(jīng)驗(yàn)上說，320×240像素圖像給出了相對(duì)于處理時(shí)間的最佳分段以及2個(gè)單位的偏色確定矢量半徑精度。
為了研究該算法如何依賴于色空間的選擇，因“YUV”在JPEG壓縮方案中的普及而選擇了它。RGB線性坐標(biāo)的變換如下YUV0.2990.5870.114-0.16875-0.331260.50.5-0.41869-0.08131×RGB---(1)]]>以及逆變換RGB=1.00.01.4021.0-0.34413-0.714141.01.7720.0×YUV---(2)]]>盡管YUV需要3×3矩陣乘法，但它仍然比L*a*b*快大約19％。320×240像素圖像在同一環(huán)境中進(jìn)行處理一般需要5.6秒。偏色消除的色軸矢量幾乎與L*a*b*結(jié)果一樣。但是，分段結(jié)果中存在明顯的不同。YUV結(jié)果更粗糙，因?yàn)樗话惆l(fā)現(xiàn)更少一些的近中性色對(duì)象。這些發(fā)現(xiàn)中，像素面積基本相同。沒有L*a*b*導(dǎo)致的平方根微分，YUV的顏色坐標(biāo)顯示在創(chuàng)建初始色箱時(shí)量化噪聲方面的明顯增大。兩次迭代之后，主色度峰的YUV布局變得與L*a*b*結(jié)果相同。
色空間的最后一個(gè)選擇是“Lst”。一個(gè)簡單顏色空間，通過簡單的加法和除法將RGB變換為L、s、tL＝(R+G+B)/3
(3)s＝R/(R+G)(4)t＝R/(R+B)(5)該算法的主要用途是在系統(tǒng)中設(shè)法快速地發(fā)現(xiàn)自然圖像中的膚色。盡管色軸非常原始且粗糙，但是該算法利用比L*a*b*色空間多50％的迭代，產(chǎn)生幾乎完美的對(duì)應(yīng)關(guān)系。應(yīng)該注意，在R和G平面中s從1到0，而t在R和B平面中也一樣。測試中，s、t顏色變化的粗糙度需要附加迭代以慢慢地穩(wěn)定在偏色矢量上。但是一旦穩(wěn)定，將觀察到校正圖像上同樣的視覺效果。對(duì)于320×240像素圖像環(huán)境，Lst速度是大約5.13秒。該算法的大部分處理時(shí)間被分類程序消耗，而很少時(shí)間花在色空間計(jì)算上。就象YUV結(jié)果，Lst產(chǎn)生相當(dāng)粗糙的分段結(jié)果，這些結(jié)果慢慢地收斂在近中性色對(duì)象的穩(wěn)定描述中。最有趣的是，膚色對(duì)象沒有立即被Lst色空間捕捉。相反，面部色調(diào)被分配的次數(shù)是L*a*b*和YUV系統(tǒng)的大約兩倍的色相數(shù)量。假定Lst色空間所提供的處理速度稍有提高，得出以下結(jié)論可以和Lst一樣快地執(zhí)行LUT增強(qiáng)的L*a*b*算法。加快收斂到穩(wěn)定的色度偏色距離和增強(qiáng)的分段結(jié)果使L*a*b*成為最佳模式。
開始，由于在起初算法開發(fā)期間，在亮度和兩個(gè)色度通道上利用了寬的預(yù)備箱范圍參數(shù)集，所以膚色出現(xiàn)了問題。這導(dǎo)致了分段覆蓋典型圖像中所有像素的80％，并且所有膚色被選為近中性色對(duì)象。如果早期的迭代階段是偏色校正，那么膚色對(duì)象將失去它們的一些黃-桔紅色度。該結(jié)果相當(dāng)明顯并且非常有害。隨后的開發(fā)允許將窄范圍用于亮度和色度通道，它快速地收斂在最小共用色度矢量上。這大大降低了最終近中性色對(duì)象中膚色的出現(xiàn)。為了安全地預(yù)防膚色的“沖淡”，一種軟件模塊被用于檢測分段對(duì)象中膚色的出現(xiàn)并降低色度的減少。如在文獻(xiàn)中定義的膚色的一般區(qū)域與圖像數(shù)據(jù)庫中發(fā)現(xiàn)的特殊情況實(shí)例一起使用。
盡管并不需要利用膚色模塊，但它有一個(gè)非常有用的特性。一旦分段箱已被填充，則通過軟件模塊利用膚色鑒別可被用于發(fā)現(xiàn)人的面部、手臂和手。分段箱包括它們像素分布的形心。創(chuàng)建附加探查模塊以確定箱的像素分布是否與橢圓體匹配并估計(jì)其長軸和短軸。只有對(duì)于膚色箱，該模塊才將利用人頭長短軸比的標(biāo)準(zhǔn)確定它是否可以屬于面部。即使有來自丟失像素、眼鏡和珠寶的噪聲，面部檢測器也顯示合理的性能。這些測試僅限于正面情況。確定頭部的估計(jì)高度后，程序?qū)z查具有這種頭部大小的人，他/她的頸、手臂和手位于的區(qū)域。可以成功地搜索其它膚色箱，從而在這些位置發(fā)現(xiàn)與頸、手臂和手對(duì)象對(duì)應(yīng)的對(duì)象，從而確定良好曝光圖像中是否可以執(zhí)行人數(shù)的精確計(jì)算。
使用分段有助于識(shí)別大的近中性色對(duì)象的空間位置。目標(biāo)是設(shè)法定位諸如吊燈、明亮照射的外窗和日光天空等光源的位置。箱方法34證明在識(shí)別和區(qū)分大的近中性色對(duì)象方面是非?？煽康??？焖俚貙?duì)具有變化亮度的彎曲對(duì)象進(jìn)行分類并放置在一個(gè)或兩個(gè)色箱中。通過箱方法34的迭代允許改變色彩特征的箱的區(qū)域合并與正發(fā)生明顯照明變化的對(duì)象一致。
根據(jù)區(qū)域的色度對(duì)圖像的這些區(qū)域進(jìn)行合并的能力是本發(fā)明的一個(gè)明顯特性。調(diào)整亮度和色度的初始范圍在具有紋理和低級(jí)圖案的分裂(collapsing)對(duì)象中是關(guān)鍵的。與初始箱范圍同時(shí)存在的是描述任何單個(gè)箱可以擁有的絕對(duì)最大色度范圍的參數(shù)集。這個(gè)集合允許8向連接箱和區(qū)域互相合并。目前，該算法保持箱的絕對(duì)最大色度增長為固定值，直到近中性色對(duì)象組的色度矢量穩(wěn)定。相信用亮度和色度的窄箱范圍的早期迭代可以有助于將圖像的內(nèi)容分為兩個(gè)計(jì)劃的類。第一類屬于具有少數(shù)非常大的對(duì)象的圖像，而第二類針對(duì)許多小的并且隨機(jī)定向的對(duì)象。根據(jù)這兩類的知識(shí)，應(yīng)該可能實(shí)現(xiàn)集中在發(fā)現(xiàn)作為圖像主題的少數(shù)關(guān)鍵對(duì)象的專門箱增長特性。
總的來說，當(dāng)前算法快速地確定較小的圖像(大約200×300像素)中是否出現(xiàn)偏色。任何具有一個(gè)亮度和兩個(gè)色度軸的色空間可以找到色度矢量，它表示到消色軸的大的近中性色對(duì)象的位移。試驗(yàn)上，L*a*b*在尋找穩(wěn)定的色品矢量方面是三個(gè)色空間中最堅(jiān)固的。一旦進(jìn)行了該矢量的測量，就生成簡單的象ICC一樣的簡檔以從該圖像中消除偏色表現(xiàn)。
盡管已通過特定最佳模式來描述本發(fā)明，但將理解，根據(jù)以上描述，許多替代、修改和變型對(duì)于本領(lǐng)域的技術(shù)人員來說都是顯而易見的。因此，本說明書旨在包括所有這種替代、修改和變型，它們均在所包括的權(quán)利說明書的精神和范圍內(nèi)。本文所述或附圖所示的所有內(nèi)容將被解釋為示意性的而非限制的意義。
權(quán)利要求
1.一種偏色檢測和消除的方法，它包括以下步驟提供由像素構(gòu)成的彩色圖像[32]；提供具有一個(gè)消色軸[12]和兩個(gè)色軸[14、16]的色空間；提供到所述消色軸[12]的缺省灰色半徑[60]；在色平面[14-16]中建立中性色[42]的箱[42]；根據(jù)像素色品將所述像素放入所述箱[42]；用所述缺省灰色半徑[60]內(nèi)所述箱[42]中的所述像素的色品峰[74、76、78]計(jì)算色彩直方圖[44]；根據(jù)所述色彩直方圖[44]中的所述色品峰[74、76、78]將所述缺省灰色半徑[60]調(diào)整到灰色半徑[64]；根據(jù)所述灰色半徑[64]內(nèi)的主色品峰[80]檢測偏色，并根據(jù)其到所述消色軸[12]的距離檢測偏色距離；通過從所述色空間中的所述彩色圖像[32]減去所述偏色距離，從而從所述像素消除所述偏色；以及輸出消除了偏色的彩色圖像[36]。
2.如權(quán)利要求1所述的方法，其特征在于計(jì)算色彩直方圖[44]的步驟包括以下步驟指定所述彩色圖像[32]中的相鄰像素組；以及除去其中大部分像素沒有相似色度值的那些相鄰像素組，從而將只處理近固定反射率的大對(duì)象。
3.如權(quán)利要求1所述的方法，其特征在于計(jì)算色彩直方圖[44]的步驟包括以下步驟建立色度值的范圍；以及通過連接具有近似色度值范圍的箱[42]來壓縮所述箱[42]。
4.如權(quán)利要求1所述的方法，其特征在于計(jì)算色彩直方圖[44]的步驟包括以下步驟建立色彩范圍；對(duì)所述箱[42]進(jìn)行分類，以確定其中像素到具有最接近色彩范圍的其它箱[42]中其它像素的連接；建立分段箱[66]，以包括具有所述最接近色彩范圍的連接像素；將具有所述最接近色彩范圍的連接像素放入所述分段箱[66]；以及計(jì)算所述分段箱[66]的形心。
5.如權(quán)利要求1所述的方法，其特征在于計(jì)算色彩直方圖[44]的步驟包括以下步驟建立色彩范圍；對(duì)所述箱[42]進(jìn)行分類，以確定其中像素到具有最接近色彩范圍的其它箱[42]中其它像素的連接；建立分段箱[66]，以包括具有所述最接近色彩范圍的連接像素；將具有所述最接近色彩范圍的連接像素放入所述分段箱[77]；以及檢測所述分段箱[66]之間的空間，從而確定所述彩色圖像[32]中對(duì)象的邊界。
6.如權(quán)利要求1所述的方法，其特征在于計(jì)算色彩直方圖[44]的步驟包括以下步驟建立色彩范圍；對(duì)所述箱[42]進(jìn)行分類，以確定其中像素到具有遠(yuǎn)端色彩范圍的其它箱[42]中其它像素的連接；建立分段箱[66]，以包括具有最接近色彩范圍的連接像素；將具有所述最接近色彩范圍的連接像素放入所述分段箱[66]；以及檢測具有非相鄰色彩范圍的所述分段箱[66]之間的空間，從而確定所述彩色圖像[32]中高色品對(duì)象的邊界。
7.如權(quán)利要求1所述的方法，其特征在于調(diào)整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及改變所述灰色半徑[64]，以包括最接近所述缺省灰色半徑[60]的所述色品峰[74、76、78]。
8.如權(quán)利要求1所述的方法，其特征在于調(diào)整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及改變所述灰色半徑[64]，以包括最接近所述缺省灰色半徑[60]的所述色品峰[74、76、78]。
9.如權(quán)利要求1所述的方法，其特征在于調(diào)整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及改變初始箱色度范圍。
10.如權(quán)利要求1所述的方法，其特征在于調(diào)整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及改變?nèi)魏蜗鋸某跏枷渖确秶淖畲笤鲩L。
11.如權(quán)利要求1所述的方法，其特征在于調(diào)整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及重新計(jì)算所述灰色半徑[64]內(nèi)箱[42]中像素的色彩直方圖[44]。
12.如權(quán)利要求1所述的方法，其特征在于調(diào)整所述缺省灰色半徑[60]的步驟包括以下步驟建立色彩范圍；對(duì)所述箱[42]進(jìn)行分類，以確定其中像素到具有最接近色彩范圍的其它箱[42]中其它像素的連接；建立分段箱[66]，以包括具有最接近色彩范圍的連接像素；將具有所述最接近色彩范圍的連接像素放入所述分段箱[66]；以及檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及重新計(jì)算所述灰色半徑[64]內(nèi)所述分段箱[66]中像素的色彩直方圖[44]。
13.如權(quán)利要求1所述的方法，其特征在于計(jì)算色彩直方圖[44]的步驟包括以下步驟確定所述色空間的不同顏色象限中主色品峰[80]的存在，以防止消除所述偏色的步驟。
14.如權(quán)利要求1所述的方法，其特征在于計(jì)算色彩直方圖[44]的步驟包括以下步驟當(dāng)所述主色品峰的幅度小于比非主色品峰[74、76、78]的平均幅度大數(shù)倍的倍增閾值時(shí)，從所述色彩直方圖[44]的計(jì)算中去除主色品峰[80]。
15.如權(quán)利要求1所述的方法，其特征在于提供缺省灰度半徑[60]的步驟包括以下步驟從由L*a*b*、YUV和Lst構(gòu)成的組中選擇的一個(gè)色空間中選擇色空間。
16.如權(quán)利要求1所述的方法，其特征在于消除所述偏色的步驟包括以下步驟建立具有偏色距離校正的查找表；以及利用所述查找表變換所述彩色圖像[32]，以提供消除了所述偏色的彩色圖像[36]。
全文摘要
一種色彩校正方法利用自適應(yīng)分段。具有缺省灰色半徑[60]的消色軸[12]的色空間在色平面中建立中性色箱[42]。將數(shù)字彩色圖像[32]的像素放入箱[42]中。用缺省灰色半徑[60]內(nèi)像素的色品峰[74、76、78]計(jì)算色彩直方圖，其中所述缺省灰色半徑被調(diào)整為灰色半徑[64]。從灰色半徑[64]內(nèi)的主色品峰[80]來檢測偏色，并從消色軸[12]檢測偏色距離。通過從色空間中的彩色圖像[32]減去偏色距離，從而從像素中消除偏色，并輸出消除了偏色的彩色圖像。
文檔編號(hào)H04N1/60GK1455910SQ01815498
公開日2003年11月12日 申請日期2001年7月5日 優(yōu)先權(quán)日2000年7月18日
發(fā)明者T·J·庫珀 申請人:索尼電子有限公司