影像還原方法
【專利摘要】本發(fā)明公開一種影像還原方法，用來去除一環(huán)境介質(zhì)的影響，包括有接收受該環(huán)境介質(zhì)影響的一捕捉影像；針對該捕捉影像中各個像素，定義各像素為一中心的一個別的區(qū)域性范圍；以及在以該捕捉影像中各像素為一中心的一區(qū)域性范圍中所有像素的原始顏色相同的假設(shè)下，對各區(qū)域性范圍進行最小化估算，以得到該捕捉影像中各像素相對應(yīng)的一光線傳播率。
【專利說明】影像還原方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種影像還原方法，尤指一種可針對各像素進行估算，以得到各像素 相對應(yīng)的一光線傳播率，進而以精確的光線傳播率圖進行還原的影像還原方法。

【背景技術(shù)】
[0002] -般來說，在充滿霧氣的環(huán)境中，影像捕捉裝置所得到的捕捉影像會受到霧氣影 響，距離愈遠的物體可視的程度愈低，因此需要進行去霧（dehazing)以得到未受霧氣影響 的真實影像。
[0003] 在公知技術(shù)中，進行去霧的方法可以分成三大類：第一類方法需要多張在不同特 定的環(huán)境下拍攝的捕捉影像(如在濃霧、淡霧以及無霧的環(huán)境下)，進而推測出無霧的真實 影像。此方法在捕捉影像取得上較為繁復(fù)與困難；第二類方法需要儀器或者是使用者介入 得到影像深度信息(如標的各物體的距離遠近)，再進行去霧過程，此方法在實作上同樣不 易進行；第三類方法利用單張影像，對在物體的原始顏色（radiance)、距離遠近或空氣光 (airlight)成分等變量進行假設(shè)并求出最佳解。
[0004] 然而，公知第三種方法僅對符合假設(shè)的區(qū)域計算，然后推導(dǎo)出區(qū)域性最佳解 (local optimal solution),對在未符合假設(shè)的區(qū)域所求得的光線傳播率（transmission) 會較為粗略，因此去霧效果并不精細（如圖1所示，公知以區(qū)域性最佳解所得的一光線傳 播率相當(dāng)模糊）；此外，公知紅、綠、藍三個不同的色彩通道（color channel)的衰變系數(shù) (attenuation coefficients)視為同一常數(shù)，但實際上霧氣對紅、綠、藍三個不同的色彩通 道的衰變系數(shù)并不相同，因此去霧后不符合真實物體的顏色。有鑒于此，公知技術(shù)實有改進 的必要。


【發(fā)明內(nèi)容】

[0005] 因此，本發(fā)明的主要目的即在于提供一種可針對各像素進行估算，以得到各像素 相對應(yīng)的一光線傳播率，進而以精確的光線傳播率圖進行還原的影像還原方法。
[0006] 本發(fā)明的一方面公開一種影像還原方法，用來去除一環(huán)境介質(zhì)的影響，包括有接 收受該環(huán)境介質(zhì)影響的一捕捉影像；針對該捕捉影像中各個像素，定義各像素為一中心的 一個別的區(qū)域性范圍；以及在以該捕捉影像中各像素為一中心的一區(qū)域性范圍中所有像素 的原始顏色相同的假設(shè)下，對各區(qū)域性范圍進行最小化估算，以得到該捕捉影像中各像素 相對應(yīng)的一光線傳播率。
[0007] 本發(fā)明的另一方面公開一種影像還原方法，用來去除一環(huán)境介質(zhì)的影響，包括有 接收受該環(huán)境介質(zhì)影響的一捕捉影像；獲得該捕捉影像的一光線傳播率趨勢；依據(jù)根據(jù)該 捕捉影像、該環(huán)境介質(zhì)的顏色，在該光線傳播趨勢的限制下，計算出該捕捉影像中各像素相 對應(yīng)的一光線傳播率；以及根據(jù)該捕捉影像及各像素相對應(yīng)的該光線傳播率，求得在該環(huán) 境介質(zhì)的影響被去除下的各像素的原始顏色。
[0008] 本發(fā)明的更另一方面公開一種影像還原方法，用來去除一環(huán)境介質(zhì)的影響，包括 有接收受該環(huán)境介質(zhì)影響的一捕捉影像；依據(jù)根據(jù)該捕捉影像、該環(huán)境介質(zhì)的顏色，在不同 的色彩通道的光線傳播率具有不同的衰變系數(shù)的限制下，計算出該捕捉影像中各像素相對 應(yīng)的一光線傳播率（transmission);以及根據(jù)該捕捉影像及各像素相對應(yīng)的該光線傳播 率，求得在該環(huán)境介質(zhì)的影響被去除下的各像素的原始顏色。
[0009] 在此配合下列圖示、實施例的詳細說明及權(quán)利要求書，將上述及本發(fā)明的其它目 的與優(yōu)點詳述于后。

【專利附圖】

【附圖說明】
[0010] 圖1為公知以區(qū)域性最佳解所得的一光線傳播率的示意圖。
[0011] 圖2為本發(fā)明實施例一影像還原流程的示意圖。
[0012] 圖3A至圖3C分別為一捕捉影像及以一成本函數(shù)求出的一光線傳播率以及一原始 顏色的示意圖。
[0013] 圖4A至圖4C分別為另一捕捉影像及以一成本函數(shù)求出的一光線傳播率以及一原 始顏色的示意圖。
[0014] 圖5為圖4A所示的捕捉影像及其光線傳播率趨勢的示意圖。
[0015] 圖6A至圖6B分別為以一成本函數(shù)所求出圖4A所示的捕捉影像的一光線傳播率 以及一原始顏色的示意圖。
[0016] 圖7A為對另一捕捉影像設(shè)定不同的色彩通道具有相同的衰變系數(shù)所得一原始顏 色的不意圖。
[0017] 圖7B為對該另一捕捉影像設(shè)定不同的色彩通道具有不同的衰變系數(shù)所得一原始 顏色的示意圖。
[0018] 其中，附圖標記說明如下：
[0019] 20 流程
[0020] 200 ?208 步驟
[0021] E1 (X，y)?E2(x，y)捕捉影像
[0022] α (χ, y) 光線傳播率
[0023] R(x, y) 原始顏色

【具體實施方式】
[0024] 請參考圖2,圖2為本發(fā)明實施例一影像還原流程20的示意圖。如圖2所示，影像 還原流程20可用于一影像處理裝置中去除一環(huán)境介質(zhì)的影響（如用于相機或手機進行實 時處理，或用于計算機中進行后制處理，以去除如霧氣、煙霧等環(huán)境介質(zhì)的影響)，影像還原 流程20包括有以下步驟：
[0025] 步驟200:開始。
[0026] 步驟202 :接收受該環(huán)境介質(zhì)影響的一捕捉影像。
[0027] 步驟204 :針對該捕捉影像中各個像素，定義各像素為一中心的一個別的區(qū)域性 范圍。
[0028] 步驟206 :在以該捕捉影像中各像素為一中心的一區(qū)域性范圍（local window) 中所有像素的原始顏色（radiance)相同的假設(shè)下，對各區(qū)域性范圍進行最小化 (minimizing)估算，以得到該捕捉影像中各像素相對應(yīng)的一光線傳播率（transmission)。
[0029] 步驟208:結(jié)束。
[0030] 根據(jù)影像還原流程20，影像處理裝置先接收受該環(huán)境介質(zhì)影響的一捕捉影像(如 一像機或手機在霧氣或煙霧所拍攝的影像)，再針對該捕捉影像中各個像素，定義各像素為 一中心的一個別的區(qū)域性范圍（如以各像素為中心的3*3像素范圍)，然后在以該捕捉影像 中各像素為一中心的一區(qū)域性范圍中所有像素的原始顏色相同的假設(shè)下（即區(qū)域性范圍中 所有像素所對應(yīng)的物體應(yīng)為相同顏色)，對各區(qū)域性范圍進行最小化估算，以得到該捕捉影 像中各像素相對應(yīng)的一光線傳播率。接著，影像處理裝置可根據(jù)該捕捉影像及各像素相對 應(yīng)的該光線傳播率，求得在該環(huán)境介質(zhì)的影響被去除下的各像素的原始顏色。如此一來，本 實施例假設(shè)各像素的區(qū)域性范圍中所有像素的原始顏色相同求得各像素的各光線傳播率， 而可將光線傳播率圖（transmission map)推導(dǎo)出全域的最佳解，因此可利用精確的光線傳 播率圖進行影像還原。
[0031] 詳細來說，受該環(huán)境介質(zhì)影響的捕捉影像可用以下的數(shù)學(xué)模型表示：
[0032] E (x, y) =R (x, y) d(x'y)+L ^ (1-e^d(x'y)) (1)
[0033] =R (X，y) α (x, y) +L " (1_ a (x, y))
[0034] 其中，E(x，y)代表所接收觀察(或拍攝）的捕捉影像，β為大氣中的衰變系數(shù) (atmospheric attenuation coefficient),L則為環(huán)境介質(zhì)的顏色(環(huán)境介質(zhì)為霧氣的情 況下可假設(shè)為白色)，d(x, y)是場景中各物體到鏡頭之間的距離，R(x, y)則是該環(huán)境介質(zhì) 的影響被去除下的各像素的原始顏色，α (X，y)定義為e-0dfcy)并稱作光線傳播率。
[0035] 換言之，由第（1)式可知，捕捉影像E(x, y)包括一直接衰變（direct attenuation)成份以及一空氣光（airlight)成分，其中該直接衰變成份代表成功傳送到 相機上的光線，由該環(huán)境介質(zhì)的影響被去除下的各像素的原始顏色R(x，y)以及光線傳播 率α (X，y)決定；而該空氣光成分代表環(huán)境介質(zhì)的顏色反射太陽光到鏡頭上，由該環(huán)境介 質(zhì)的顏色以及光線傳播率α (X，y)決定。值得注意的是，在其它實施例中，可使用不同 的數(shù)學(xué)模型，而不限于第（1)式。
[0036] 在此情況下，由于一般環(huán)境介質(zhì)的顏色可以由實驗獲得，因此需解出光線傳播 率a (X，y)以及該環(huán)境介質(zhì)的影響被去除下的各像素的原始顏色R(x，y)。因此，可將第（1) 式改寫如下以求解：
[0037] a(x, y) = -~1---[啡，V) -Lj R(x,y)-Lm (2)
[0038] 二 r(x, V) - ]
[0039] 其中，y (X，y)在此稱為一捕捉函數(shù)，由原始顏色R(x，y)與環(huán)境介質(zhì)的顏色L決 定?？杉僭O(shè)在一個小的區(qū)域性范圍w內(nèi)，物體原始顏色R(x，y)為定值(即區(qū)域性范圍中所 有像素所對應(yīng)的物體應(yīng)為相同顏色)，因此捕捉函數(shù)、(x, y)也為定值、：
[0040] α, = γ[Ε7 -ij, Vie w (3)
[0041] 接著，由假設(shè)該捕捉影像E(x，y)中各像素為中心的區(qū)域性范圍中所有像素的原 始顏色相同所得的第（3)式及Matting模型取前后背景分離，可根據(jù)捕捉影像E(x，y)、環(huán) 境介質(zhì)的顏色，在該環(huán)境介質(zhì)的影響被去除下的各像素的原始顏色R(x，y)以及該光線 傳播率α (χ，y)，而定義一成本函數(shù)（cost function) J(a, γ)，再計算出可使成本函數(shù) J( a，Υ )最小化的光線傳播率a (X，y)以及原始顏色R(x，y)，如下：

【權(quán)利要求】
1. 一種影像還原方法，用來去除一環(huán)境介質(zhì)的影響，其特征在于，包括有： 接收受該環(huán)境介質(zhì)影響的一捕捉影像； 針對該捕捉影像中各個像素，定義各像素為一中心的一個別的區(qū)域性范圍；以及 在以該捕捉影像中各像素為一中心的一區(qū)域性范圍中所有像素的原始顏色相同的假 設(shè)下，對各區(qū)域性范圍進行最小化估算，以得到該捕捉影像中各像素相對應(yīng)的一光線傳播 率。
2. 如權(quán)利要求1所述的影像還原方法，其特征在于，還包括： 根據(jù)該捕捉影像及各像素相對應(yīng)的該光線傳播率，求得在該環(huán)境介質(zhì)的影響被去除下 的各像素的原始顏色。
3. 如權(quán)利要求1所述的影像還原方法，其特征在于，對各區(qū)域性范圍進行最小化估算 的步驟包括有： 獲得該捕捉影像與該環(huán)境介質(zhì)的顏色，在該環(huán)境介質(zhì)的影響被去除下的各像素的原始 顏色以及該光線傳播率的一數(shù)學(xué)模型； 借由將該捕捉影像中各像素為一中心的一區(qū)域性范圍中所有像素的原始顏色相同的 該假設(shè)套用至該數(shù)學(xué)模型中，而定義一成本函數(shù)；以及 計算出可使該成本函數(shù)最小化的該光線傳播率與該原始顏色。
4. 如權(quán)利要求3所述的影像還原方法，其特征在于，在該數(shù)學(xué)模型中，該捕捉影像包括 一直接衰變成份以及一空氣光成分，其中該直接衰變成份由該環(huán)境介質(zhì)的影響被去除下的 各像素的原始顏色以及該光線傳播率決定，以及該空氣光成分由該環(huán)境介質(zhì)的顏色以及該 光線傳播率決定。
5. 如權(quán)利要求3所述的影像還原方法，其特征在于，獲得該成本函數(shù)的步驟其還包括： 加入一一般化參數(shù)在該成本函數(shù)中，以避免一捕捉函數(shù)Y等于零，其中該捕捉函數(shù)Y由該 原始顏色與該環(huán)境介質(zhì)的顏色來決定。
6. 如權(quán)利要求3所述的影像還原方法，其特征在于，獲得該成本函數(shù)的步驟其還包括： 區(qū)域性平滑化該光線傳播率。
7. 如權(quán)利要求6所述的影像還原方法，其特征在于，區(qū)域性平滑化該光線傳播率的步 驟包括有： 依據(jù)一平滑參數(shù)與光線傳播率該來定義一平滑函數(shù)，其中該平滑參數(shù)定義該光線傳播 率的區(qū)域平滑程度；以及 加入該平滑函數(shù)在該成本函數(shù)中。
8. 如權(quán)利要求3所述的影像還原方法，其特征在于，還包括： 獲得該捕捉影像的一光線傳播率趨勢，以在計算出可使該成本函數(shù)最小化的該光線傳 播率與該原始顏色的步驟中，利用該光線傳播率趨勢進行該光線傳播率的限制。
9. 如權(quán)利要求8所述的影像還原方法，其特征在于，利用該光線傳播率趨勢進行該光 線傳播率趨勢的限制的步驟包括有： 從對各區(qū)域性范圍進行最小化的一估算結(jié)果及各相對應(yīng)像素在該光線傳播率趨勢中 的一光線傳播率值，取出較大的光線傳播率，做為該捕捉影像中各相對應(yīng)像素的該光線傳 播率。
10. 如權(quán)利要求8所述的影像還原方法，其特征在于，獲得該捕捉影像的該光線傳播率 趨勢的步驟包括有： 獲得該捕捉影像中一地平線；以及 根據(jù)該地平線，設(shè)定該捕捉影像中非地面部分的光線傳播率值為一第一固定值，以及 設(shè)定該捕捉影像中地面部分的光線傳播率值由遠至近為該第一固定值至一第二固定值。
11. 如權(quán)利要求8所述的影像還原方法，其特征在于，該光線傳播率的限制包括有：設(shè) 定該捕捉影像的光線傳播率值由遠至近成對數(shù)遞增。
12. 如權(quán)利要求8所述的影像還原方法，其特征在于，該光線傳播率的限制包括有：設(shè) 定該捕捉影像中同一物體的光線傳播率值與該物體的一最低點的光線傳播率值相同。
13. 如權(quán)利要求3所述的影像還原方法，其特征在于，計算出可使該成本函數(shù)最小化的 該光線傳播率與該原始顏色的步驟在該原始顏色不為負值的限制下實施。
14. 如權(quán)利要求1所述的影像還原方法，其特征在于，還包括： 獲得該捕捉影像的一光線傳播率趨勢，以在對各區(qū)域性范圍進行最小化估算的步驟， 利用該光線傳播率趨勢進行該光線傳播率的限制。
15. 如權(quán)利要求14所述的影像還原方法，其特征在于，獲得該捕捉影像的該光線傳播 率趨勢的步驟包括有： 獲得該捕捉影像中一地平線；以及 根據(jù)該地平線，設(shè)定該捕捉影像中非地面部分的光線傳播率值為一第一固定值，以及 設(shè)定該捕捉影像中地面部分的光線傳播率值由遠至近為該第一固定值至一第二固定值。
16. 如權(quán)利要求1所述的影像還原方法，其特征在于，還包括：針對不同的色彩通道的 光線傳播率，設(shè)定不同的衰變系數(shù)。
17. 如權(quán)利要求16所述的影像還原方法，其特征在于，針對不同的色彩通道的光線傳 播率，設(shè)定不同的衰變系數(shù)的步驟包括有： 分別設(shè)定紅色色彩信道、綠色色彩信道以及藍色色彩信道的衰變系數(shù)大致等于〇. 83、 0. 93 以及 0. 95。
18. -種影像還原方法，用來去除一環(huán)境介質(zhì)的影響，其特征在于，包括有：接收受該 環(huán)境介質(zhì)影響的一捕捉影像； 獲得該捕捉影像的一光線傳播率趨勢 依據(jù)根據(jù)該捕捉影像、該環(huán)境介質(zhì)的顏色，在該光線傳播趨勢的限制下，計算出該捕捉 影像中各像素相對應(yīng)的一光線傳播率；以及 根據(jù)該捕捉影像及各像素相對應(yīng)的該光線傳播率，求得在該環(huán)境介質(zhì)的影響被去除下 的各像素的原始顏色。
19. 如權(quán)利要求18述的影像還原方法，其特征在于，計算出該捕捉影像中各像素相對 應(yīng)的步驟更在于不同的色彩通道的光線傳播率具有不同的衰變系數(shù)的限制下實施。
20. -種影像還原方法，用來去除一環(huán)境介質(zhì)的影響，其特征在于，包括有： 接收受該環(huán)境介質(zhì)影響的一捕捉影像； 依據(jù)根據(jù)該捕捉影像、該環(huán)境介質(zhì)的顏色，在不同的色彩通道的光線傳播率具有不同 的衰變系數(shù)的限制下，計算出該捕捉影像中各像素相對應(yīng)的一光線傳播率；以及 根據(jù)該捕捉影像及各像素相對應(yīng)的該光線傳播率，求得在該環(huán)境介質(zhì)的影響被去除下 的各像素的原始顏色。
【文檔編號】G06T5/00GK104050630SQ201310080078
【公開日】2014年9月17日 申請日期:2013年3月13日 優(yōu)先權(quán)日:2013年3月13日
【發(fā)明者】賴乙瑄, 陳以雷, 許秋婷 申請人:聯(lián)詠科技股份有限公司, 清華大學(xué)