專利名稱：圖像處理方法
圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖象處理方法，尤其(但并非排他性地)涉及用于增強(qiáng)那些至 少部分程度受噪聲效應(yīng)影響的圖像的方法。
有許多噪聲源都可能使景物圖像變差。例如，景物圖像常常因霧霾所引起 的光散射而變差。這種光散射使圖像的某些部分格外亮，這在許多文獻(xiàn)中被稱
為"空氣散射光(airlight)"。人們期望能處理圖像以便去除像素數(shù)值中可歸 因于空氣散射光的那些分量。
如果照相機(jī)位置與照相機(jī)產(chǎn)生的圖像所表示的景物的所有的點(diǎn)之間的距 離是大致恒定的，則通過將方程(l)應(yīng)用于該圖像的每一個像素便可以估計(jì)并去
除空氣散射光<formula>formula see original document page 6</formula> (i)
其中X是原始像素值；C是被選定用于表示"空氣散射光"的校正；m是
尺度參數(shù)；y是經(jīng)修正的像素值。
假定參數(shù)c己正確選定，則根據(jù)方程(l)處理單色圖像的每一個像素將通過
去除空氣散射光而增強(qiáng)圖像。然而，為參數(shù)c確定一個合適的數(shù)值卻常常是個問題。
可有各種已知方法通過利用對比度測量(比如像素值的標(biāo)準(zhǔn)偏差與像素值
的平均值的比值)來估計(jì)參數(shù)c。然而，這種對比度測量并不能區(qū)分出因空氣
中的光散射導(dǎo)致的對比度損失以及對比度本來就很低的景物。例如，即使不存 在空氣中的光散射，沙丘的圖像也常常無法在景物的明暗部分之間給出明顯的
對比。由此，這類用于確定參數(shù)c的特殊方案有時候會產(chǎn)生嚴(yán)重的圖像失真。
上述參照方程(1)所描述的方法可應(yīng)用于單色圖像。此外，若處理彩色圖像，
則會出現(xiàn)很多問題。通常，空氣散射光對像素值的貢獻(xiàn)以及參數(shù)c的數(shù)值將取
決于光的波長(顏色)。由此，如果將方程(l)應(yīng)用于彩色圖像，則對于圖像的
紅、綠、藍(lán)等通道可能需要不同數(shù)值的參數(shù)C。
上述方法假定照相機(jī)位置與圖像所表示的景物中所有的點(diǎn)都是等距的。已
公開的歐洲專利EP 0839361描述了本發(fā)明的發(fā)明人之一所開發(fā)的一種方法，其
中根據(jù)照相機(jī)位置與該像素所表示的景物中一位置之間的距離，針對不同的像
素將在方程(l)中使用不同數(shù)值的參數(shù)C。本發(fā)明是從下列認(rèn)識中得以產(chǎn)生的
反向散射光可能根據(jù)照相機(jī)位置和景物中一位置之間的距離而變化。 本發(fā)明各實(shí)施方式的目的是消除或減輕上述諸多問題中的至少一些問題。 根據(jù)本發(fā)明，提供了一種用于處理表示了景物圖像的圖像數(shù)據(jù)以產(chǎn)生關(guān)于 該圖像數(shù)據(jù)中存在的噪聲的估計(jì)的方法。該方法包括一個以該噪聲估計(jì)為輸入 的函數(shù)。針對上述估計(jì)的多個不同數(shù)值來計(jì)算該函數(shù)的數(shù)值，并且確定該函數(shù)
具有最佳值時的估計(jì)。該最佳值可能是函數(shù)的平穩(wěn)點(diǎn)(stationary point)，比如
最小值。
由此，本發(fā)明提供了一種通過簡單計(jì)算函數(shù)的數(shù)值并確定該函數(shù)具有最佳 值時的噪聲估計(jì)值從而確定圖像中存在的噪聲的有力方法。
在本文中，術(shù)語"噪聲"是指任何圖像偽像，這種偽像將慢變偏移傳遞給 圖像。下文進(jìn)一步詳述了各種噪聲示例，但應(yīng)該理解，這些噪聲示例包括空氣 中的光散射。
上述圖像數(shù)據(jù)可以包括該圖像中每一個像素的像素值，并且上述函數(shù)可以 至少以這些像素值的子集作為輸入。
該方法可以進(jìn)一步包括對圖像數(shù)據(jù)進(jìn)行濾波以產(chǎn)生濾波后的圖像數(shù)據(jù)，這 種濾波后的圖像數(shù)據(jù)包括用于每一個圖像像素的濾波后的像素值。然后，該函 數(shù)可以至少以所述濾波后的像素值的子集作為輸入。該子集最好被選成與該函 數(shù)以像素值為輸入時的那個像素子集相同。
上述函數(shù)可以具有如下形式
其中K是待處理的像素的個數(shù)；^是像素/t的數(shù)值；^是應(yīng)用低通濾波 器之后像素/t的數(shù)值；^是上述參數(shù)的數(shù)值；S(X)是待優(yōu)化的函數(shù)。
該最佳值可以通過使用本領(lǐng)域所公知的大量數(shù)值分析技術(shù)中的任何一種 來確定。對于圖像中所包括的噪聲，這種數(shù)值分析技術(shù)最好是以零作為初始估 計(jì)來開始。
已知，圖像中存在的某種噪聲是根據(jù)照相機(jī)位置和景物中一位置之間的距 離而變化的。在使用上述方法時，通過產(chǎn)生多個不同的估計(jì)，便可以將這種變
化置于考慮之中。
本發(fā)明還提供了一種用于從圖像中去除噪聲的方法。該方法包括利用上 述方法估計(jì)該圖像中所包括的噪聲；以及接下來處理該圖像的每一個像素以去 除所述噪聲估計(jì)從而產(chǎn)生所述輸出像素值。
去除噪聲的方法可以進(jìn)一步包括使所述輸出像素值乘以預(yù)定的系數(shù)。在使 用多種公知的照度補(bǔ)償技術(shù)之一時，使輸出像素值乘以預(yù)定的系數(shù)便可以提供 亮度補(bǔ)償。
圖像中所包括的噪聲可能至少部分程度上可歸因于下列中的一種或多種 大氣反向散射光；照相機(jī)的暗電流效應(yīng)；或照相機(jī)透鏡上的污物。
根據(jù)本發(fā)明的另一個方面，提供了一種用于承載被配置成使計(jì)算機(jī)執(zhí)行任 何權(quán)利要求所述方法的計(jì)算機(jī)可讀指令的承載介質(zhì)。
本發(fā)明還提供了一種用于產(chǎn)生表示圖像的圖像數(shù)據(jù)中所存在的噪聲的估 計(jì)的計(jì)算機(jī)裝置。該裝置包括程序存儲器，它包含處理器可讀指令；以及處 理器，它被配置成讀取并執(zhí)行所述程序存儲器中所存儲的指令。該處理器可讀 指令包括被配置成使計(jì)算機(jī)執(zhí)行上述方法的指令。
根據(jù)本發(fā)明的另一個方面，提供了一種用于處理多幀視頻數(shù)據(jù)以產(chǎn)生增強(qiáng) 的視頻數(shù)據(jù)的方法。該方法包括處理第一幀視頻數(shù)據(jù)以產(chǎn)生所述幀的視頻數(shù) 據(jù)內(nèi)所包括的噪聲的估計(jì)；存儲用于表示所述噪聲估計(jì)的數(shù)據(jù)；利用所述已存 儲的、關(guān)于在所述第一幀的視頻數(shù)據(jù)內(nèi)所包括的噪聲的估計(jì)，來處理至少一個 其它幀的視頻數(shù)據(jù)以從所述其它幀的視頻數(shù)據(jù)中去除噪聲；以及輸出利用所述 其它幀的視頻數(shù)據(jù)而產(chǎn)生的一幀增強(qiáng)的視頻數(shù)據(jù)。
由此，通過使用上述方法，有可能使第一幀視頻數(shù)據(jù)的處理相對緩慢地進(jìn) 行，同時至少一個其它幀的視頻數(shù)據(jù)的處理可能相對迅速地進(jìn)行，以便防止"抖 動(jerkiness)"的偽像出現(xiàn)在輸出視頻數(shù)據(jù)中。 上述第一幀的視頻數(shù)據(jù)可以根據(jù)上述方法來處理。該處理過程可能進(jìn)一步 產(chǎn)生對比度增強(qiáng)參數(shù)。
作為示例，參照附圖，現(xiàn)在將描述本發(fā)明的各種實(shí)施方式，其中
圖1是根據(jù)本發(fā)明的圖象處理方法的流程圖； 圖2是應(yīng)用了圖l所示處理方法的示例圖像；
圖3示出了在圖1所示處理方法應(yīng)用于圖2所示圖像時所使用的參數(shù)方程 的各個數(shù)值；
圖4示出了景物幾何學(xué)；以及
圖5是根據(jù)本發(fā)明的圖象處理方法的實(shí)現(xiàn)方式的示意圖。
圖像的像素值可能包括可歸因于由大氣反向散射光(常常被稱為空氣散射 光)所引起的噪聲的分量。這類噪聲利用上述方程(l)便可以從該圖像中去除，
下面是方程(l):
<formula>formula see original document page 9</formula>(i)
其中X是原始像素值；C是被選定用于表示"空氣散射光"的校正；m是 尺度參數(shù)；^是修正后的像素值。
本發(fā)明的一實(shí)施方式提供了一種用于估計(jì)參數(shù)c的數(shù)值的方法。圖1的流
程圖示出了該方法。該方法通過下列步驟來操作對與用于定義圖像的那些像 素中的至少一個子集相關(guān)聯(lián)的像素值進(jìn)行采樣；將這些數(shù)值輸入到參數(shù)函數(shù)； 以及確定在該函數(shù)具有最佳值時該參數(shù)函數(shù)的參數(shù)值。如此確定的參數(shù)值是針 對方程(l)中的參數(shù)c而產(chǎn)生的數(shù)值。
參照圖l，在步驟S1，采樣與待處理圖像內(nèi)的至少一些像素相關(guān)聯(lián)的像素 值p。在步驟S2，將低通濾波器應(yīng)用于待處理圖像，以產(chǎn)生用于每一個圖像像 素的濾波后的像素值^。該濾波器最好是具有高斯形核函數(shù)且ct的數(shù)值大約等 于5的低通濾波器。對于本領(lǐng)域的普通技術(shù)人員而言，這種低通濾波器的產(chǎn)生 是公知的。
在步驟S3,參數(shù)函數(shù)(下文會描述)的參數(shù)X通常被初始化為零。圖1 的步驟S4中所計(jì)算的參數(shù)函數(shù)是方程(2):
<formula>formula see original document page 10</formula>
其中K是待處理的像素的個數(shù)；外是像素A的數(shù)值；^是應(yīng)用低通濾波 器之后像素A的數(shù)值；X是上述參數(shù)的數(shù)值；S(X)是待優(yōu)化的函數(shù)。
如上所述，在步驟S3中X被初始化為零，然后在步驟S4中計(jì)算方程(2) 的數(shù)值。在步驟S5中，檢査對方程(2)進(jìn)行計(jì)算得到的數(shù)值是否是最佳值，在 本情形下該最佳值就是最小值。當(dāng)確定就是這種情況時，在步驟S6，將參數(shù)c 設(shè)為以確定的X的數(shù)值。直到找到令S(X)達(dá)到最小的那個X的數(shù)值，才在步驟 S7中更新X，并且處理過程返回到S4。
利用許多已知的數(shù)值優(yōu)化技術(shù)，可以實(shí)現(xiàn)S(X)的最小值的定位(步驟S3 到S7)。下文呈現(xiàn)了這樣一種技術(shù)的其它細(xì)節(jié)。
已指出實(shí)現(xiàn)處理過程以確定函數(shù)S(X)最小時X的數(shù)值?，F(xiàn)在示出，這種X 的設(shè)值將是對方程(l)中的參數(shù)c的很好的估計(jì)。
任何圖像都可以被視為多個區(qū)域的集合，其中每一個區(qū)域?qū)?yīng)于某一種可 視化表面。例如，樹可以被視為樹葉、樹干和樹枝等區(qū)域的集合。每一個區(qū)域 都具有與其局部色素沉著相關(guān)聯(lián)的確定的光譜反射率。在每一個區(qū)域之內(nèi)，也 有亮度變化，這主要是因局部表面取向的宏觀變化而導(dǎo)致的。這種關(guān)于圖像的 考慮對應(yīng)于一種相當(dāng)通用且基本的圖像結(jié)構(gòu)模型。
上述模型的關(guān)鍵特征是亮度的百分比變化大致獨(dú)立于實(shí)際亮度。因空氣中 的光散射而導(dǎo)致的任何偏移將改變這個特征并且是可檢測到的。這被用作參照 圖1和方程(2)所描述的處理過程的基準(zhǔn)。
在上述實(shí)施方式中，局部結(jié)構(gòu)變化被假定為具有正態(tài)(高斯)分布。
待處理的圖像被假定為包含M個區(qū)域，并且區(qū)域m的平均亮度是i w (m = 。這意味著不失一般性，因?yàn)镸可以非常大且這些區(qū)域可以非常小。并 不將該圖像清楚地分割成這些M個區(qū)域。
該圖像中的像素總數(shù)用《來表示，區(qū)域m中的像素數(shù)用^ 表示。區(qū)域附 中的第A個像素用A"'表示。
區(qū)域m中的第々個像素(《)被表達(dá)如下
其中A^N(0，CT)是帶有零平均標(biāo)準(zhǔn)偏差CJ的正態(tài)隨機(jī)變量；C是用于表示
空氣散射光的標(biāo)量常數(shù)。
上述低通濾波器消除局部像素值W的隨機(jī)波動，以產(chǎn)生用于每一個像素的
經(jīng)"平滑化，，的數(shù)值^。
如果濾波器的空間范圍對于平滑化這一目的而言己足夠大但相對于圖像 區(qū)域的尺寸而言仍然很小(所以邊界效應(yīng)并不顯著)，則
戶f 及
(4)
即，上述濾波過程去除了正態(tài)變量W所表示的變化, 再次引用方程(2):
'V/t - P。
A "A Pi —又
》=o
盡管方程(2)需要對圖像的所有像素進(jìn)行求和，但是它也可以用M個區(qū)域 中的每一個區(qū)域m來重新書寫，從而調(diào)用區(qū)域m中的那部分像素《m。 重新引用方程(3)和(4)，方程(2)便可以被重新寫成
(5)
簡化方程(5)并且重新引用A^N(0，cj)便給出了
柳=IX
擬,瓦,v 、
〔 十c-;i)2
附s似
'exp SfcK凡+e-兒))
(6)
假定^是W的平方的預(yù)期值,
定義:
<formula>formula see original document page 12</formula>(7)
并將方程(7)代入方程(6):
<formula>formula see original document page 12</formula>定義:
<formula>formula see original document page 12</formula>(9)
以及
<formula>formula see original document page 12</formula>(10)
相對于"對方程(9)求微分便給出了
<formula>formula see original document page 12</formula>
(11)
相對于"對方程(10)求微分便給出了
<formula>formula see original document page 12</formula>(12)
根據(jù)方程(8):
<formula>formula see original document page 12</formula>(13)
因此:
<formula>formula see original document page 13</formula>(14)
將方程(9)、 (10)、 (11)和(12)代入方程(14)便給出了
必
<formula>formula see original document page 13</formula>(15)
相對于X對方程(7)求微分便給出了
<formula>formula see original document page 13</formula>(16)
可以表述為
<formula>formula see original document page 13</formula>(17)
即
<formula>formula see original document page 13</formula>(18)
上文表明當(dāng)S最小，即當(dāng)dS/dX二0時，有義="如果義^c，則根據(jù)方程 (7)有"=0。將"=0代入方程(18)便給出了<formula>formula see original document page 14</formula>
，則可以看到dS/ca=0。這支持了當(dāng)義=c時方程(2)具有平
穩(wěn)點(diǎn)這一主張。這意味著通過向方程(2)施加一種有效數(shù)值搜索過程便可以確定
Co
已示出，S(X)最小時的X值將提供一個良好的關(guān)于c的估計(jì)，現(xiàn)在描述一 種使函數(shù)S仏)達(dá)到最小的方法。使方程(2)的函數(shù)達(dá)到最小的最簡單的方法是直 接計(jì)算方程(2)的數(shù)值。然而，這種代價函數(shù)的表述遇到了數(shù)值不準(zhǔn)確的問題。 一般，為使數(shù)值優(yōu)化算法起有效作用，目標(biāo)函數(shù)必須是其常數(shù)的連續(xù)且平滑的 函數(shù)。下文描述了代價函數(shù)的一種替代的但等價的表述。該表述是較佳的，因 為它能更迅速地確定X的最佳值。合適的優(yōu)化代碼的示例是牛津市Numerical Algorithms Group有限公司的例程E04UCC。
針對每一行i，逐行處理圖像數(shù)據(jù)。然后，以一種遞歸方式將這種逐行處 理的結(jié)果組合起來。
<formula>formula see original document page 14</formula>
對于給定的行i，其中M是列數(shù)，而m是目前正被處理的列
<formula>formula see original document page 15</formula>
其中n是行數(shù)。然后，它可以被看成:
<formula>formula see original document page 15</formula>重新引用方程(23)中的RTL(n)的定義，方程(25)可以被重新寫成:
S<formula>formula see original document page 15</formula>重新安排方程(26)的求和便給出了
<formula>formula see original document page 15</formula>重新安排便給出了
<formula>formula see original document page 15</formula>假設(shè)和的指數(shù)等于該和的各分量的指數(shù)相乘的結(jié)果，則方程(28)可以重
新寫成<formula>formula see original document page 16</formula>
(29)
它可以被重新寫成:
<formula>formula see original document page 16</formula>(30)
上式在重新引用方程(23)中的RTL(n)的定義的情況下便給出了
<formula>formula see original document page 16</formula>(31)
從方程(31)的表達(dá)式中相乘之后便給出了
<formula>formula see original document page 16</formula>(32)
它可以被重新寫成:
<formula>formula see original document page 16</formula>(33)
它可以被重新寫成:
<formula>formula see original document page 16</formula>
(34)
將上述乘法的第二項(xiàng)重寫便給出了<formula>formula see original document page 17</formula>(35)
重新引用方程(24)中的S(n)的定義便給出了
<formula>formula see original document page 17</formula>(36)
由此，可以看到，利用方程(36)便可以有效地計(jì)算方程2的代價函數(shù)的數(shù) 值。即，通過使圖像第一行的變量RS(i)和RL(i)以及RTL(n)進(jìn)行合適地初始化， 便可以像方程36所示那樣逐行計(jì)算代價函數(shù)S。
在該算法的計(jì)算機(jī)程序?qū)崿F(xiàn)方式中， 一種for循環(huán)依次處理圖像的每一行。 RS (i)的初始值是針對第一行計(jì)算的并且被存儲在變量RowProdSum中。針對 第一行，RL(i)的初始值也被計(jì)算出來并且被存儲在變量Row—Sum—Log中。然 后，在方程23被用于適當(dāng)更新RTL的數(shù)值的情況下，針對每一行使變量S初 始化并更新。變量wf被設(shè)為等于1.0/(i+1.0)，這對應(yīng)于上述方程中的項(xiàng)1/"+1。 在下面的代碼片段1中示出了合適的程序代碼。
在下文所示的行-遞歸結(jié)構(gòu)中，使用了兩個雙精度浮點(diǎn)變量A和RTB (它 表示RTL)。行號用i表示。
(處理每一圖像行，從行0開始。行號是i》 if ( i==0 )
<formula>formula see original document page 17</formula>
else
double wf= 1.0/(1 + 1.0);
double exp—term = exp (wf*row—sum—log);
double LineProdSumProd = wf*RowProdSum*exp—term;
double RTA1—terml= wf*i*A*exp (-wf*RTB);
double RTA1—term2 = exp (wf*i*RTB);
A = RTA1—term 1* exp—term + LineProdSumProd*RTAl—term2; RTB = wf* (RTB*i + row—sum—log [colour]);
i = i + 1;
{當(dāng)所有行都被處理過時，最終的代價函數(shù)值是A〉 代碼片段1
現(xiàn)在描述將圖1所示方法應(yīng)用于圖2所示的示例圖像的過程。 圖2所示圖像是已形成的用于示出本發(fā)明的方法和所描述的實(shí)施方式的合 成圖像。該圖像包括具有不同亮度級的兩個區(qū)域。
最初，產(chǎn)生一個在區(qū)域1中具有亮度30且在區(qū)域2中具有亮度120的圖 像。通過將隨機(jī)數(shù)添加到每一個像素，來模仿紋理效果。通過使用帶有零平均 以及等于像素值十分之一的標(biāo)準(zhǔn)偏差的正態(tài)分布，便產(chǎn)生了上述隨機(jī)數(shù)。通過 將常數(shù)數(shù)值50添加到每一個像素，來模仿空氣散射光的效果。在圖2的圖像 中，區(qū)域1中的平均值是80，區(qū)域2中的平均值是150。
圖3示出了對于X的不同數(shù)值方程(2)中所定義的函數(shù)S(X)的圖。利用取自 圖2中的所有像素的圖像數(shù)據(jù)以及以上述方式應(yīng)用合適的低通濾波器之后的像 素值，便產(chǎn)生了 S(X)的數(shù)值?？梢钥闯?，S(X)在1=53.42時具有最小值。這接 近于^50的準(zhǔn)確值(50是模擬的空氣散射光)。沿兩曲片邊緣的輕微失真使 所估計(jì)的偏移離真實(shí)數(shù)值X=50稍有偏移。 當(dāng)在計(jì)算S(X)的過程中排除上述邊緣附近的像素值時，該函數(shù)在X=49.9 處具有最小值，它非常接近真實(shí)數(shù)值。通過計(jì)算邊緣強(qiáng)度測量(例如，梯度的 模數(shù))并從分析中排除強(qiáng)邊緣，便可以自動地進(jìn)行圖像中尖銳邊緣附近像素的 計(jì)算。
上述方法可有效用于其中至少有兩個不同亮度的區(qū)域的任何圖像。這在實(shí) 踐中不是限制性的。
當(dāng)圖像包含已知電平的隨機(jī)噪聲時，可以修改上述方程(2)，在這種情況下，
S(X)由下列方程(37)來定義
<formula>formula see original document page 19</formula>(37)
其中K是待處理的像素的個數(shù)；外是像素A的數(shù)值；^是應(yīng)用低通濾波 器之后像素A的數(shù)值；Av是附加噪聲分量的方差；Tv是與圖像結(jié)構(gòu)相關(guān)的常量； X是待確定的參數(shù)數(shù)值；S(X)是待優(yōu)化的函數(shù)。
同樣，S(X)最小時的X值是對圖像中存在的空氣散射光分量的一個很好的 估計(jì)。
上述討論涉及單色圖像。對于彩色圖像而言，可以利用方程(2)或方程(37)
分別分析(并分別校正)三個不同的顏色通道(紅綠藍(lán))。
然而， 一種替代方法是較佳的，其中使用了一種復(fù)合函數(shù)并且執(zhí)行三-變量
優(yōu)化處理。
一種這樣的復(fù)合函數(shù)就是下列方程(38):
其中
<formula>formula see original document page 19</formula>(38)其中K是待處理的像素的個數(shù)；A,、 /7&、 /7w分別是紅、綠、藍(lán)通道的
像素*的數(shù)值；K^:，^分別是應(yīng)用低通濾波器之后紅、綠、藍(lán)通道的像素A
的數(shù)值；(A，^，^)I是待確定的參數(shù)數(shù)值；WV^W是待優(yōu)化的函數(shù)。
如上所述，受某些假設(shè)的影響(亮度的百分比變化大約獨(dú)立于實(shí)際的亮度，
并且在紅、綠、藍(lán)通道該百分比變化也是相似的)，當(dāng)^A入)I表示可歸因于
空氣散射光的各通道分量時，函數(shù)sa，、A)具有平穩(wěn)點(diǎn)(最小值)。 通過使用上述方程(38)，便可以將上述估值技術(shù)用于彩色圖像。 此處，上述參數(shù)RS被三個RS參數(shù)替代，每一個RS參數(shù)用于圖像的一個
通道。這些是根據(jù)下列方程(39)、 (40)和(41)來定義的
<formula>formula see original document page 20</formula>(41)
相似的是，上述參數(shù)RL被三個參數(shù)替代，每一個參數(shù)用于圖像的一個通
道，如下列方程(42)、 (43)和(44)所示
<formula>formula see original document page 20</formula> <formula>formula see original document page 21</formula>(44)
相似的是，上述參數(shù)RTL被三個數(shù)值替代，每一個數(shù)值用于一個通道，如 下列方程(45)、 (46)和(47)所示
<formula>formula see original document page 21</formula>(45)
<formula>formula see original document page 21</formula>(46)
<formula>formula see original document page 21</formula>(47)
每一次對單個通道進(jìn)行處理，相應(yīng)地，參數(shù)S被三個參數(shù)替代，如下列方 程(48)、 (49)和(50)所示
<formula>formula see original document page 21</formula>(48)
<formula>formula see original document page 21</formula>(49)
<formula>formula see original document page 21</formula>(50)
相應(yīng)地，方程37可以被重新寫成:
<formula>formula see original document page 21</formula>(51)
應(yīng)該理解，變量S和RTL的數(shù)值可以像上述單通道情況下所計(jì)算的那樣。
在計(jì)算實(shí)現(xiàn)方式中，變量RowProdSum被三元陣列替代，并且變量 Row—Sum—Log也被三元陣列替代。RTL變量RTB也被一個合適的三元陣列替 代。
圖像內(nèi)的空氣散射光分量可以根據(jù)照相機(jī)與像素所表示的景物中的一點(diǎn) 之間的距離而變化。圖4示出了定位成用于產(chǎn)生景物圖像的照相機(jī)3。照相機(jī) 3在與水平成e角的方向上瞄準(zhǔn)，并且具有視場角FOV。
己知，空氣散射光(X)通常將根據(jù)照相機(jī)3和像平面4之間的距離(被稱為 D)而變化，如下列方程(52)所示那樣
義oc(l -exp(O).Z)) (52)
其中^是波長為03的光的總的體積散射系數(shù)。歸一化的體積散射Pse' (OD) 系數(shù)定義如下
/do)' (53)
其中q是圖像中心所對應(yīng)的距離D的數(shù)值。在本發(fā)明的較佳實(shí)施方式中，
歸一化的散射系數(shù)卩sc'由三個標(biāo)量變量XQ、 Xt和X2來表示，分別對應(yīng)于紅、
綠、藍(lán)色帶中的標(biāo)稱波長。
圖4所示景物的幾何尺寸通常是未知的。因此，兩個其它的標(biāo)量變量X3 和X4定義如下
X| = FOV (54)
X，
0 (55)
即
其中FOV是視場角度，而e是水平與從照相機(jī)到圖像中心的距離之間的 角度。
0 rr---^
X-' (56)
所有這5個參數(shù)(Xo， Xh X2, X3, X4)都是通過多變量優(yōu)化而確定的。 照相機(jī)與像平面之間的距離根據(jù)像平面內(nèi)的位置而變化。該位置由變量v
來表示，在一個極端它的數(shù)值是0.5，在另一個極端它的數(shù)值是-0.5，在中心它
的數(shù)值是0。
對圖4應(yīng)用正弦規(guī)則。
D — 《 sin0 shiy (57)
可以看出
.一S0-(6i + ^) (58) 假設(shè)
#『_X4 (59) 則
nn《) (60)
并且
siny = sin(0 — 、OT4) (61)
所以:
<formula>formula see original document page 24</formula>(64)
將方程(64)代入方程(52)便給出了用于單色圖像或彩色圖像的單個通道(比 如紅通道)的像素的空氣散射光
sin(x4 / x3)
sin(x4[」一v])
(65)
其中C是方程(52)中的比例常數(shù)。隨后，用X(X。， X3, X"—項(xiàng)替代方程(2) 或(37)中的X。常數(shù)C的數(shù)值取決于大氣輻射率與照相機(jī)增益的乘積。通常， 這些參數(shù)都是未知的。C的估計(jì)可能以各種方式來形成。 一種方式是使用圖像 中最高像素值。如果使用方程(方程(38))的彩色版本，則在適當(dāng)?shù)臅r候用綠和藍(lán)通道 的X,或X2來替代Xo。針對圖像中每一行的像素，單獨(dú)計(jì)算該項(xiàng)。
當(dāng)視場角度相對很小時(約15度或更小)，則可以做出下列近似。
<formula>formula see original document page 24</formula>(66)
這種表達(dá)只涉及一個幾何參數(shù)。這顯示出，在實(shí)踐中視場角度(方程(67
中的參數(shù)X》)幾乎沒什么影響。在較佳的實(shí)現(xiàn)方式中，使用了方程(56)，但 X4的數(shù)值固定。如果照相機(jī)的視場未知，則X4被設(shè)為某個較小的數(shù)值，比如 說1度。
上述內(nèi)容涉及靜態(tài)圖像中的空氣散射光。應(yīng)該理解，上述技術(shù)可以通過依 次處理每一個幀來應(yīng)用于由多個幀構(gòu)成的視頻數(shù)據(jù)。當(dāng)以這種方式處理視頻數(shù) 據(jù)時，必須小心以確保圖象處理操作足夠地快從而不會在處理過的視頻數(shù)據(jù)中 產(chǎn)生"抖動"偽像。由此，為了速度，可能必須使圖象處理質(zhì)量有所妥協(xié)。
根據(jù)本發(fā)明的一些實(shí)施方式，圖象處理是利用圖5所示的安排來進(jìn)行的。 彩色輸入視頻數(shù)據(jù)6 (其中每一幀的每一像素都由單獨(dú)的紅、綠、藍(lán)通道來表 示)被接收到并且被同時傳送到分析模塊7和視頻處理模塊8。分析模塊工作 起來相對緩慢并且被配置成產(chǎn)生方程(1)中的參數(shù)c和m的數(shù)值。確定c的 過程可能是利用上述方法實(shí)現(xiàn)的。參數(shù)c和m的數(shù)值被存儲在系數(shù)緩沖器9中。
對于圖像分析而言，并不需要所有的圖像數(shù)據(jù)。例如，可以按因子2對圖 像進(jìn)行二次抽樣，使得分析只基于像素值的一半。這節(jié)省了計(jì)算時間。此外， 為了避開邊界或屏幕注解(它有時候被用在CCTV安裝中)。
視頻處理模塊8是這樣操作的根據(jù)方程(1)處理接收到的幀的每一個 像素，從系數(shù)緩沖器9中讀取用于參數(shù)c和m的合適的數(shù)值。經(jīng)視頻處理模塊 8處理過的數(shù)據(jù)被輸出到顯示屏10。
假定分析模塊7比視頻處理模塊8運(yùn)行得要慢，視頻處理模塊8通常應(yīng)用 那些利用先前的視頻數(shù)據(jù)幀產(chǎn)生的系數(shù)。假定在延長的時間周期內(nèi)往往發(fā)生空 氣散射光的變化，但在實(shí)踐中已發(fā)現(xiàn)這對圖像質(zhì)量幾乎沒有影響。
分析模塊7最好產(chǎn)生用于己處理的幀的每一個像素的c和m的數(shù)值。這是 一種考慮到空氣散射光會隨著離照相機(jī)位置的距離而變化的方法，比如最好使 用上述方法或EP0839361中所描述的方法。在本發(fā)明的這種實(shí)施方式中，使用 了總共6個表格，每一個顏色通道有2個表格。每一個表格具有用于圖像中每 一個像素的一個條目。紅、綠、藍(lán)通道經(jīng)單獨(dú)處理，再重新組合起來以形成最 后的圖像。
若需要的話，除了空氣散射光補(bǔ)償以外，還可以調(diào)節(jié)m的數(shù)值以提供用于 非均勻照度的補(bǔ)償。在文獻(xiàn)中可以找到許多用于估計(jì)局部照度的方法，比如
Jobson, J., Rahman, Z., Woodell, G.A.的文章"A multiscale retinex for bridging the gap between colour images and the human observation of scenes" (IEEE Transactions on Image Processing, Vol. 6, Issue 7, 1997年7月，第965 -976頁)
中所描述的方法。
現(xiàn)在簡單描述照度估計(jì)和補(bǔ)償。照度補(bǔ)償基于照度緩慢變化并且照度分布 估計(jì)可以利用低通濾波器來產(chǎn)生這一想法。己知，為了圖像增強(qiáng)的目的，可以 使用像同態(tài)濾波器這樣的低通濾波器來估計(jì)照度。這在上述Jobson、 Rahman 和Woodell的文獻(xiàn)中描述過。
上述類型的照度估計(jì)方法基于用于漫反射的朗伯模型(Lambertian model)。 這在Anya Hurlbert的文章"Formal connections between lightness algorithms" (J. Opt. Soc. Am. A, Vol.3, No.10, pp. 1684-1693, 1986年10月)中有過描述。如果
圖像中的可見表面具有朗伯特征并且該照度限于較窄的波長范圍中，貝U: /(jc,7)=及(x, j/)￡.(x'力 (67)
(68)
其中/rx，W是像素(x,力處的亮度數(shù)值，i^x,^是標(biāo)量反射因子，而Z^,W是標(biāo) 量輻照度數(shù)值。圖象處理過程是簡單的；首先形成丄(3c,W的估計(jì)，然后用c/丄f3c,力 來調(diào)整，其中選擇常量c以使像素保持在顯示范圍中。
在將窄帶濾波器用于每一個顏色通道的假設(shè)下，可以使該模型一般化以適 用于彩色圖像。即使在利用常規(guī)RGB濾波器使光譜局部化時，(68)所定義的模 型也能給出真實(shí)響應(yīng)的近似。這種分解的好處包括有可能去除背面/正面發(fā)光 的照度效應(yīng)，還有可能增強(qiáng)那些包括空間變化照度的電影鏡頭(比如含陰影的 圖像)。
己經(jīng)提出各種方法用于估計(jì)照度函數(shù)丄fx,W。在Akira Suzuki、 AMo Shio、 Hiroyuki Arai禾卩Sakuichi Ohtsuka的文章"Dynamic shadow compensation of aerial images based on color and spatial analysis" (Pattern Recognition, 2000. Proceedings. 15th International Conference on, 3-7 Sept. 2000, Vol. 1， pp. 317 -
320)中，使用了形態(tài)學(xué)平滑濾波器。Thomas Stockham, Jr.在文章"Image processing in the context of a visual model" (Proc. IEEE, Vol. 60, No. 7, pp. 828-842, 1972)中所描述的同態(tài)濾波器是一種早期的照度補(bǔ)償技術(shù)。Jobson, Rahman, and Woodell在文章"Properties and performance of a centre/surround retinex" (IEEE Transactions on Image Processing, Vol. 6, No. 3, 1997， pp. 451-462)中所描述的Retinex算法是一種更新的方法。
上述照度估計(jì)和補(bǔ)償技術(shù)可以應(yīng)用于圖5所示系統(tǒng)的環(huán)境中。具體來講， 分析模塊7可以估計(jì)照度，而視頻處理模塊8可以處理數(shù)據(jù)以執(zhí)行照度補(bǔ)償。
盡管上文己描述了本發(fā)明的較佳實(shí)施方式，但是應(yīng)該理解，在不背離權(quán)利 要求書所定義的本發(fā)明的精神和范圍的情況下可以對那些實(shí)施方式做出各種 修改。
上述內(nèi)容涉及從圖像中去除空氣散射光的影響的圖象處理技術(shù)。應(yīng)該理 解，還有許多除空氣散射光影響以外的圖像偏移來源。特別是，照相機(jī)的熱響 應(yīng)即所謂的"暗電流"也可以產(chǎn)生圖像偏移。照相機(jī)透鏡或保護(hù)窗口上的污物 可以產(chǎn)生偏移。另外，所謂的"基底"誤差有可能引起噪聲。 一些視頻標(biāo)準(zhǔn)(包 括PAL標(biāo)準(zhǔn)的某些變體)使用非零電壓電平來表示黑色。該電平被稱為"基底 電平"。如果視頻解碼器不當(dāng)?shù)卦试S該基底電平，則效果就是使所有的亮度級 向上或向下移動。所有這些類型的偏移都可以用上述方法來檢測(或減輕)。
權(quán)利要求
1.一種用于處理表示景物圖像的圖像數(shù)據(jù)以產(chǎn)生該圖像數(shù)據(jù)中存在的噪聲的估計(jì)的方法，所述方法包括針對所述估計(jì)的不同數(shù)值來計(jì)算一函數(shù)的值，所述函數(shù)以所述噪聲的估計(jì)為輸入；以及確定所述函數(shù)具有最佳值時的所述噪聲的估計(jì)。
2. 如權(quán)利要求1所述的方法，其特征在于，所述圖像數(shù)據(jù)包括所述圖像的每 一個像素的像素值，并且所述函數(shù)以所述像素值的至少一個子集為輸入。
3. 如上述權(quán)利要求中的任一項(xiàng)所述的方法，還包括對所述圖像數(shù)據(jù)進(jìn)行濾波，以產(chǎn)生濾波后的像素值所構(gòu)成的濾波后的圖像數(shù)據(jù)；其中所述函數(shù)以所述濾波后的像素值的至少一個子集為輸入。
4. 如上述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，所述函數(shù)的所述最 佳值是所述函數(shù)的平穩(wěn)點(diǎn)。
5. 如權(quán)利要求4所述的方法，其特征在于，所述平穩(wěn)點(diǎn)是最小值。
6. 如上述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，所述函數(shù)具有如下 形式<formula>formula see original document page 2</formula>其中K是待處理的像素的個數(shù)；外是像素A的數(shù)值；^是應(yīng)用上述低通 濾波器之后像素A的數(shù)值；義是所述估計(jì)的數(shù)值；以及S(X)是待優(yōu)化的函數(shù)。
7. 如上述權(quán)利要求中的任一項(xiàng)所述的方法，其特征在于，所述最佳值是用數(shù) 值分析技術(shù)來確定的。
8. 如權(quán)利要求6所述的方法，其特征在于，所述估計(jì)最初是零。
9. 如上述權(quán)利要求中的任一項(xiàng)所述的方法，包括產(chǎn)生多個估計(jì)，每一個估計(jì)都是所述圖像的各個像素子集中的噪聲估計(jì)。
10. 如權(quán)利要求9所述的方法，其特征在于，多個估計(jì)都是基于拍攝圖像的視點(diǎn)與像素所表示的景物中的一點(diǎn)之間的距離而產(chǎn)生的。
11. 一種用于從圖像中去除噪聲的方法，包括利用上述權(quán)利要求中的任一項(xiàng)所述的方法來估計(jì)所述噪聲；以及 處理所述圖像的每一個像素以去除所述噪聲的所述估計(jì)從而產(chǎn)生輸出像素值。
12. 如權(quán)利要求11所述的方法，還包括使所述輸出像素值乘以預(yù)定的系數(shù)。
13. 如上述權(quán)利要求中的任一項(xiàng)所述的方法 分程度上可歸因于大氣的反向散射光。
14. 如上述權(quán)利要求中的任一項(xiàng)所述的方法 分程度上可歸因于照相機(jī)的暗電流效應(yīng)。
15. 如上述權(quán)利要求中的任一項(xiàng)所述的方法 分程度上可歸因于照相機(jī)透鏡上的污物。
16. 如上述權(quán)利要求中的任一項(xiàng)所述的方法 加到所述圖像的至少一個像素子集上的偏移，對于所述圖像的所述像素子集中所有 的像素而言所述偏移基本上相等。
17. 如權(quán)利要求16所述的方法，其特征在于，所述偏移被加到所述圖像的所有像素上。
18. 如權(quán)利要求1到15中的任一項(xiàng)所述的方法，其特征在于，所述噪聲包括 被加到所述圖像的至少一些像素上的偏移，所述偏移的確定特別不依賴于在用于產(chǎn) 生所述圖像的照相機(jī)位置與該像素所表示的那一點(diǎn)之間的距離。
19. 一種承載介質(zhì)，用于承載被配置成使計(jì)算機(jī)實(shí)現(xiàn)上述任一權(quán)利要求所述 的方法的計(jì)算機(jī)可讀指令。
20. —種計(jì)算機(jī)裝置，用于產(chǎn)生在表示圖像的圖像數(shù)據(jù)中存在的噪聲的估計(jì)，所述計(jì)算機(jī)裝置包括程序存儲器，它包含處理器可讀指令；以及處理器，它被配置成讀取并執(zhí)行所述程序存儲器中所存儲的指令； 其中所述處理器可讀指令包括那些被配置成使計(jì)算機(jī)實(shí)現(xiàn)權(quán)利要求1到18中 任一項(xiàng)所述的方法的指令。
21. —種用于處理多幀視頻數(shù)據(jù)以產(chǎn)生增強(qiáng)的視頻數(shù)據(jù)的方法，包括，其特征在于，所述噪聲至少部 ，其特征在于，所述噪聲至少部 ，其特征在于，所述噪聲至少部 ，其特征在于，所述噪聲包括被處理第一幀視頻數(shù)據(jù)以產(chǎn)生所述視頻數(shù)據(jù)幀內(nèi)所包括的噪聲的估計(jì)； 存儲用于表示所述噪聲估計(jì)的數(shù)據(jù)；處理至少一個其它幀的視頻數(shù)據(jù)，以便通過減去所述第一幀視頻數(shù)據(jù)中所包 括的所述已存儲的噪聲估計(jì)進(jìn)而從所述其它幀的視頻數(shù)據(jù)中去除噪聲；以及 利用所述其它幀的視頻數(shù)據(jù)來輸出增強(qiáng)后的那一幀視頻數(shù)據(jù)。
22. 如權(quán)利要求21所述的方法，其特征在于，所述減去包括從所述圖像的像 素值中減去所述估計(jì)。
23. 如權(quán)利要求22所述的方法，還包括在從所述像素的數(shù)值中減去所述估 計(jì)之后，重新調(diào)整所述像素的數(shù)值。
24. 如權(quán)利要求21到23中的任一項(xiàng)所述的方法，其特征在于，處理至少一 個其它幀的視頻數(shù)據(jù)包括:利用所述已存儲的噪聲估計(jì)來處理多個其它幀的視頻數(shù) 據(jù)；以及所述方法包括輸出增強(qiáng)后的多幀視頻數(shù)據(jù)。
25. 如權(quán)利要求21到24中的任一項(xiàng)所述的方法，其特征在于，所述處理所 述第--幀視頻數(shù)據(jù)以產(chǎn)生所述估計(jì)包括根據(jù)權(quán)利要求1到18中的任一項(xiàng)來進(jìn)行 處理。
26. 如權(quán)利要求21到25中的任一項(xiàng)所述的方法，其特征在于，所述處理所 述第-呻貞視頻數(shù)據(jù)還產(chǎn)生對比度增強(qiáng)參數(shù)。
27. —種承載介質(zhì)，用于承載被配置成使計(jì)算機(jī)實(shí)現(xiàn)權(quán)利要求21到26中任 一項(xiàng)所述的方法的計(jì)算機(jī)可讀指令。
28. —種用于處理多幀視頻數(shù)據(jù)的計(jì)算機(jī)裝置，包括 程序存儲器，它包含處理器可讀指令；以及處理器，它被配置成讀取并執(zhí)行所述程序存儲器中所存儲的指令； 其中所述處理器可讀指令包括那些被配置成使計(jì)算機(jī)實(shí)現(xiàn)權(quán)利要求21到27 中任一項(xiàng)所述的方法的指令。
29. —種用于處理多幀視頻數(shù)據(jù)以產(chǎn)生增強(qiáng)的視頻數(shù)據(jù)的方法，包括 處理第一幀視頻數(shù)據(jù)以產(chǎn)生所述這一幀視頻數(shù)據(jù)中的圖像照度的估計(jì)； 存儲用于表示所述圖像照度估計(jì)的數(shù)據(jù)；利用所述已存儲的所述第一幀視頻數(shù)據(jù)中的圖像照度估計(jì)來處理至少一個其它幀的視頻數(shù)據(jù)以執(zhí)行照度補(bǔ)償；以及輸出利用所述其它幀的視頻數(shù)據(jù)所產(chǎn)生的增強(qiáng)后的那一幀視頻數(shù)據(jù)。
30. 如權(quán)利要求29所述的方法，其特征在于，處理至少一個其它幀的視頻數(shù) 據(jù)包括重新調(diào)整所述其它幀的視頻數(shù)據(jù)內(nèi)的像素值。
31. —種承載介質(zhì)，用于承載被配置成使計(jì)算機(jī)實(shí)現(xiàn)權(quán)利要求29或30所述 的方法的計(jì)算機(jī)可讀指令。
32. —種用于處理多幀視頻數(shù)據(jù)的計(jì)算機(jī)裝置，包括 程序存儲器，它包含處理器可讀指令；以及處理器，它被配置成讀取并執(zhí)行所述程序存儲器中所存儲的指令； 其中所述處理器可讀指令包括那些被配置成使計(jì)算機(jī)實(shí)現(xiàn)權(quán)利要求29或30 所述的方法的指令。
全文摘要
一種用于處理表示景物圖像的圖像數(shù)據(jù)以產(chǎn)生關(guān)于該圖像數(shù)據(jù)中存在的噪聲的估計(jì)的方法。該方法包括針對所述估計(jì)的不同數(shù)值來計(jì)算以所述噪聲估計(jì)為輸入的函數(shù)的數(shù)值；以及確定在所述函數(shù)具有最佳值時的所述噪聲估計(jì)。
文檔編號H04N5/361GK101185103SQ200680013423
公開日2008年5月21日 申請日期2006年3月16日 優(yōu)先權(quán)日2005年3月17日
發(fā)明者J·P·奧科雷 申請人:迪米斯特技術(shù)有限公司