一種用于便攜式終端的圖像處理方法及圖像處理裝置制造方法
【專利摘要】本發(fā)明提供一種用于便攜式終端的圖像處理方法及圖像處理裝置，所述圖像處理方法包括，基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理：通過所述便攜式終端的攝像頭捕捉第一圖像；通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像；將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像。本發(fā)明的用于便攜式終端的圖像處理方法及圖像處理裝置，實現(xiàn)了在不增加硬件成本的前提下，只需捕捉一張圖像并對其進行處理，就能夠獲得高動態(tài)范圍的圖像，從而無論拍攝場景為移動狀態(tài)還是靜止?fàn)顟B(tài)，都能夠獲得效果較優(yōu)的高動態(tài)范圍圖像。
【專利說明】一種用于便攜式終端的圖像處理方法及圖像處理裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)，尤其涉及一種用于便攜式終端的圖像處理方法及圖像處理裝置。

【背景技術(shù)】
[0002]真實世界場景中的動態(tài)范圍能夠達到1014個數(shù)量級，人類視覺系統(tǒng)(HVS)能夠感知到105個數(shù)量級的動態(tài)范圍，并且通過人類視覺系統(tǒng)自適應(yīng)機制的調(diào)整能夠感知到109個數(shù)量級的動態(tài)范圍。但是目前的數(shù)字圖像獲取設(shè)備和顯示設(shè)備的動態(tài)范圍卻相對有限，僅僅有102?103個數(shù)量級。因此，在圖像中若同時具有亮區(qū)和暗區(qū)，由于采集設(shè)備和顯示設(shè)備的局限性，亮區(qū)細節(jié)和暗區(qū)細節(jié)將被損失。
[0003]為了解決上述問題,現(xiàn)有技術(shù)通過高動態(tài)范圍圖像技術(shù),在有限動態(tài)范圍的顯示設(shè)備上，呈現(xiàn)更多細節(jié)，滿足圖像中的亮暗部的細節(jié)都很明顯的要求。在現(xiàn)有技術(shù)中通常采用以下兩個技術(shù)方案獲得高動態(tài)范圍圖像:
[0004]I)拍攝多重曝光圖片組，對多重曝光圖片組進行對齊校正，然后進行32位光譜圖(數(shù)字底片)生成。
[0005]2)通過硬件HDR精確地單獨控制每一行像素的曝光時間，從而在傳感器層面上就實現(xiàn)原生的高動態(tài)范圍渲染。
[0006]然而，使用技術(shù)方案I)的方法不能抓拍，不能拍動的物體，場景中若有移動物體，會出現(xiàn)重影，并且該方案存儲的HDR照片的文件非常大。而技術(shù)方案2)的硬件成本高，且無法自適應(yīng)匹配各種機型。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于提供一種用于便攜式終端的圖像處理方法及圖像處理裝置，在不增加硬件成本的前提下，無論拍攝場景為移動狀態(tài)還是靜止?fàn)顟B(tài)，都能夠獲得效果更優(yōu)的高動態(tài)范圍圖像。
[0008]根據(jù)本發(fā)明的一方面，本發(fā)明提供一種用于便攜式終端的圖像處理方法，包括，基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理:通過所述便攜式終端的攝像頭捕捉第一圖像；通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像；將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像。
[0009]根據(jù)本發(fā)明的另一方面，本發(fā)明提供一種用于便攜式終端的圖像處理裝置，包括第一高動態(tài)范圍圖像生成單元，所述第一高動態(tài)范圍圖像生成單元包括:第一圖像捕捉單元，用于通過所述便攜式終端的攝像頭捕捉第一圖像；第一亮度調(diào)整單元，用于通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像；第一圖像合成單元，用于將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像。
[0010]本發(fā)明提供的用于便攜式終端的圖像處理方法及圖像處理裝置，通過基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理，實現(xiàn)了在不增加硬件成本的前提下，只需捕捉一張圖像并對其進行處理，就能夠獲得高動態(tài)范圍的第六圖像，從而無論拍攝場景為移動狀態(tài)還是靜止?fàn)顟B(tài)，都能夠獲得效果較優(yōu)的高動態(tài)范圍圖像。

【專利附圖】

【附圖說明】
[0011]圖1為本發(fā)明示例性實施例的用于便攜式終端的圖像處理方法的流程圖；
[0012]圖2為本發(fā)明示例性實施例的用于便攜式終端的圖像處理的示例圖；
[0013]圖3為本發(fā)明的優(yōu)選實施例的用于便攜式終端的圖像處理方法的總體流程圖；
[0014]圖4為本發(fā)明的優(yōu)選實施例中基于多張圖像執(zhí)行高動態(tài)范圍圖像生成處理的示例圖；
[0015]圖5為本發(fā)明示例性實施例的用于便攜式終端的圖像處理裝置的邏輯框圖；
[0016]圖6為本發(fā)明的優(yōu)選實施例的用于便攜式終端的圖像處理裝置的總體邏輯框圖。

【具體實施方式】
[0017]本發(fā)明的總體發(fā)明構(gòu)思是，提供一種用于便攜式終端的圖像處理方法及圖像處理裝置，通過軟件處理的方式對攝像頭捕捉的單張圖像進行處理，以獲得質(zhì)量較優(yōu)的高動態(tài)范圍圖像。具體地，通過所述便攜式終端的攝像頭捕捉第一圖像，并通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像，然后將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像。通過上述的方法，實現(xiàn)了在不增加硬件成本的前提下，只需捕捉一張圖像并對其進行上述的處理，就能夠獲得高動態(tài)范圍的第六圖像，從而無論拍攝場景為移動狀態(tài)還是靜止?fàn)顟B(tài)，都能夠獲得效果較優(yōu)的高動態(tài)范圍圖像。
[0018]除此以外，在拍攝場景中的移動物體的位移較小時，還可以優(yōu)先采取基于多張圖像執(zhí)行高動態(tài)范圍圖像生成處理方案:通過調(diào)整所述便攜式終端的攝像頭的曝光補償，分別捕捉高亮圖像組和暗光圖像組，每組含有預(yù)定個數(shù)的圖像，從所述高亮圖像組和暗光圖像組中分別選取代表圖像作為第一高亮圖像和第一暗光圖像，然后對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像，再將所述亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像進行合成，生成高動態(tài)范圍圖像。
[0019]結(jié)合上述的發(fā)明構(gòu)思，本發(fā)明可在不提高硬件成本的前提下，自適應(yīng)選擇最適合當(dāng)前拍攝場景的獲取高動態(tài)范圍圖像的方案，無論拍攝場景為移動狀態(tài)還是靜止?fàn)顟B(tài)，都能夠獲得效果更優(yōu)的高動態(tài)范圍圖像。
[0020]下面結(jié)合附圖對本發(fā)明的用于便攜式終端的圖像處理方法及圖像處理裝置進行詳細描述。
[0021]圖1是示出本發(fā)明示例性實施例的用于便攜式終端的圖像處理方法的流程圖。
[0022]參照圖1，在步驟S110，通過所述便攜式終端的攝像頭捕捉第一圖像。具體地，可以通過調(diào)整曝光補償，捕捉在正常光照條件下的第一圖像。
[0023]在步驟S120，通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像。
[0024]根據(jù)本發(fā)明的示例性實施例，在步驟S120中，可根據(jù)預(yù)定的映射規(guī)則分別調(diào)整所述第一圖像的亮度，生成亮度提高的第二圖像和亮度降低的第三圖像。
[0025]例如，可根據(jù)式(I)將所述第一圖像每個像素的灰度值映射為所述第二圖像中相應(yīng)像素的灰度值，以生成所述第二圖像，
[0026]map [x] = min (x+c, 255) (I)
[0027]其中，X為像素在第一圖像中的灰度值，map[x]為在第二圖像中對應(yīng)像素的灰度值，c 為預(yù)定的常量，xe [0，255]，map [X] e [O, 255] ?
[0028]再例如，根據(jù)式(2)將所述第一圖像每個像素的灰度值映射為所述第三圖像中相應(yīng)像素的灰度值，以生成所述第三圖像，

Λ (.v +.vO)2
「3 vO + -- λ: > thre.
[0029]map[x] = <a(2)

Xλ: <= thre
[0030]其中，X為像素在第一圖像中的灰度值，map[x]為在第三圖像中對應(yīng)像素的灰度值，xe [O, 255], map [x] e [0，255]，x0、y0、a為常量，x0、y0、a是通過多次曲線調(diào)整試驗得到的經(jīng)驗值，可根據(jù)具體情況調(diào)整這三個系數(shù)的值。
[0031]具體地，對所述第一圖像中灰度值大于預(yù)定的灰度閾值的像素，將所述像素的灰度值按照預(yù)定的拋物線函數(shù)映射成為第三圖像中對應(yīng)像素的灰度值；對所述第一圖像中灰度值不大于所述灰度閾值的像素，將所述像素的灰度值不變地映射成為第三圖像中對應(yīng)像素的灰度值。
[0032]通過步驟S120的處理，根據(jù)第一圖像分別模擬出一張亮度提高的第二圖像和亮度降低的第三圖像，為后續(xù)步驟S130的合成處理提供了良好的基礎(chǔ)。
[0033]在步驟S130，將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像。
[0034]根據(jù)本發(fā)明的示例性實施例，在步驟S130中，對要進行合成的每兩個圖像，將所述兩個圖像中每個相互對應(yīng)的像素的灰度值按照各自的權(quán)值進行加權(quán)求和，得到合成的圖像中對應(yīng)像素的灰度值。
[0035]其中，對所述要進行合成的每兩個圖像，根據(jù)任一像素在所述兩個圖像中的RGB分量值計算所述像素的提亮權(quán)值。假設(shè)要對圖像Si和圖像s2進行合成，可按照以下式(3)計算任一像素(X，y)的提亮權(quán)值weight:
[0036]
wej(Tht —.vl(-v,y)-r + y) — g + 方10，V) — b + Sjjx1 y)_r土.s2(x,y) — g + s2(x,y)_b ⑴ne>gl _6*255
[0037]其中，si(x, y)_r、sl (x, y)_g 和 si (x, y)_b 分別為像素(x, y)在圖像 si 中紅、綠、藍分量值，s2(x，y)_r、82(義，7)_8和s2 (x, y)_分別為像素(x, y)在圖像s2中的紅、綠、藍分量值。
[0038]在將第一圖像和第二圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值weight賦予所述像素在第一圖像中的灰度值，那么所述像素在第二圖像中的權(quán)值為I 一 weight。
[0039]在將第一圖像和第三圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值weight賦予所述像素在第三圖像中的灰度值，那么所述像素在第一圖像中的權(quán)值為I 一 weight。
[0040]在將第四圖像和第五圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值weight賦予所述像素在第五圖像中的灰度值，那么所述像素在第四圖像中的權(quán)值為I 一 weight。
[0041]由此可見，根據(jù)本發(fā)明的發(fā)明構(gòu)思，將高的權(quán)值賦予像素在亮度相對低的圖像中的灰度值，以進行圖像亮度的均衡，并保留圖像中的細節(jié)。
[0042]根據(jù)本發(fā)明的優(yōu)選實施例，在步驟S130之后，還對第六圖像進行局部對比度增強。例如，但不限于:將第六圖像分成mXn塊區(qū)域(m、η各為自然數(shù))，對每一塊區(qū)域的圖像進行限制對比度直方圖均衡，并以邊界漸變方式，將mXn塊進行限制對比度直方圖均衡后的結(jié)果圖拼接，形成最終的呈現(xiàn)給用戶的圖像。本實施例也可以采取其它的方法來進行局部對比度增強的處理，不局限于上述方法。通過該局部對比度增強的處理，進一步提升了第六圖像的清晰度，給用戶提供了更高的成像質(zhì)量。
[0043]圖2為經(jīng)過上述的基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理的示例圖，其中左圖為在正常光照條件下便攜式終端拍攝的第一圖像，右圖為經(jīng)過本實施例的基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理后得到的第六圖像?？梢钥闯?，在第一圖像中不清楚的細節(jié)部分在第六圖像中得到了很清楚的呈現(xiàn)。
[0044]圖3是示出本發(fā)明的優(yōu)選實施例的用于便攜式終端的圖像處理方法的總體流程圖。
[0045]參照圖3，在步驟S310，調(diào)整所述便攜式終端的攝像頭的曝光補償，分別捕捉高亮圖像組和暗光圖像組，每組含有預(yù)定個數(shù)(如兩張)的圖像。
[0046]在步驟320，根據(jù)所述高亮圖像組和暗光圖像組中的多張圖像的位移差別基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理或者基于多張圖像執(zhí)行高動態(tài)范圍圖像生成處理。具體地，先獲得曝光補償調(diào)整時間tl，并計算高亮圖像組幀差diffl、s暗光圖像組幀差diff2,如果tl大于預(yù)定的時間閾值(如兩秒)，或者diff l+diff2大于預(yù)定的閾值，則確定述位移差別大于預(yù)定閾值，否則確定所述位移差別小于或等于預(yù)定閾值。如果所述位移差別大于預(yù)定閾值，則進行步驟SllO?S130，即基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理；如果所述位移差別小于或等于預(yù)定閾值，則進行步驟S330?S350，即基于多張圖像執(zhí)行聞動態(tài)范圍圖像生成處理。
[0047]在步驟S330,基于捕捉的聞売圖像組和暗光圖像組，從所述聞売圖像組和暗光圖像組中分別選取代表圖像作為第一高亮圖像和第一暗光圖像。
[0048]在步驟S340，對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像。
[0049]根據(jù)本發(fā)明的示例性實施例，在步驟S340中，對所述第一高亮圖像和所述第一暗光圖像分別進行亮度調(diào)整，生成第二高亮圖像和第二暗光圖像。具體地，先計算所述高亮圖像組的亮度平均值gray_avertoight和所述暗光圖像組的亮度平均值gray_avertok,然后根據(jù)gray_avertoight和gray_avertok的平均值分別對第一高亮圖像和第一暗光圖像分別進行亮度調(diào)整，生成第二高亮圖像和第二暗光圖像。
[0050]然后，通過對所述第二高亮圖像和所述第二暗光圖像進行特征點匹配，計算所述第二高亮圖像和第二暗光圖像之間的旋轉(zhuǎn)平移矩陣。在此，可以計算第二暗光圖像相對于第二高亮圖像的旋轉(zhuǎn)平移矩陣，也可以計算第二高亮圖像相對于第二暗光圖像的旋轉(zhuǎn)平移矩陣。根據(jù)所述第二高亮圖像和第二暗光圖像來計算旋轉(zhuǎn)平移矩陣，可以使計算的旋轉(zhuǎn)平移矩陣更加準(zhǔn)確。
[0051]此后，根據(jù)所述旋轉(zhuǎn)平移矩陣，對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像。
[0052]根據(jù)上述本發(fā)明的示例性實施例，即所述旋轉(zhuǎn)平移矩陣是第二暗光圖像相對于第二高亮圖像的旋轉(zhuǎn)平移矩陣，此處是對所述第一暗光圖像進行位置矯正與所述第一高亮圖像對齊，生成的亮度調(diào)整參考圖像為暗光。具體矯正方法可參考式(4)。其中，x、y為第一暗光圖像的坐標(biāo)值，x_new、y_new為亮度調(diào)整參考圖像的坐標(biāo)值，[< ^ <為所述旋
X — newl Γ r0 n tn ?
[0053]—=X γ
_y _newj \_r2 r3 tx J ^⑷
[0054]根據(jù)上述本發(fā)明的可選實施例，所述旋轉(zhuǎn)平移矩陣也可以是第二高亮圖像相對于第二暗光圖像的旋轉(zhuǎn)平移矩陣，此處是對所述第一高亮圖像進行位置矯正與所述第一暗光圖像對齊，生成的亮度調(diào)整參考圖像為亮光。具體矯正方法可參考式(4)。其中，x、y為第



-/γ* γ* 亡一聞売圖像的坐標(biāo)值，x_new> y_new為売度調(diào)整參考圖像的坐標(biāo)值，_為所述旋轉(zhuǎn)平移矩陣。
[0055]在步驟S350，將所述亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像進行合成，生成高動態(tài)范圍圖像。
[0056]根據(jù)前述本發(fā)明的示例性實施例，所述亮度調(diào)整參考圖像為暗光，在步驟S350，將所述売度調(diào)整參考圖像與第一聞売圖像進行合成，生成聞動態(tài)范圍圖像。在生成的売度調(diào)整參考圖像為亮光的可選實施例中，將所述亮度調(diào)整參考圖像與第一暗光圖像進行合成，生成高動態(tài)范圍圖像。具體地，將要合成的所述第一高亮圖像或第一暗光圖像中每個像素的灰度值與所述亮度調(diào)整參考圖像中對應(yīng)像素的灰度值按照各自的權(quán)值進行加權(quán)求和，得到所述聞動態(tài)范圍圖像的對應(yīng)像素的灰度值。
[0057]其中，根據(jù)任一像素在要進行合成的亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像中的RGB分量值計算所述像素的提亮權(quán)值weight。所述提亮權(quán)值的計算方法可參照式⑶。
[0058]在將所述第一高亮圖像和所述亮度調(diào)整參考圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值weight賦予所述像素在亮度調(diào)整參考圖像的灰度值。
[0059]在將所述第一暗光圖像和所述亮度調(diào)整參考圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值weight賦予所述像素在第一暗光圖像的灰度值。
[0060]根據(jù)本發(fā)明的優(yōu)選實施例，在步驟S350之后，還對所述高動態(tài)范圍圖像進行局部對比度增強，所述局部對比度增強的處理與前述對第六圖像執(zhí)行的對比度增強處理類似，在此不再贅述。
[0061]圖4為經(jīng)過上述的基于多張圖像執(zhí)行高動態(tài)范圍圖像生成處理的示例圖，其中從左邊數(shù)第一、二張圖像為第一暗光圖像和第一高亮圖像，第三張圖像為經(jīng)過本實施例的基于多張圖像執(zhí)行高動態(tài)范圍圖像生成處理后得到的高動態(tài)范圍圖像?？梢钥闯?，在第一高亮圖像和第一暗光圖像中不清楚的細節(jié)部分在高動態(tài)范圍圖像中得到了很清楚的呈現(xiàn)。
[0062]圖5是示出本發(fā)明示例性實施例的用于便攜式終端的圖像處理裝置的邏輯框圖。
[0063]參照圖5，本發(fā)明的用于便攜式終端的圖像處理裝置包括第一高動態(tài)范圍圖像生成單元500。第一高動態(tài)范圍圖像生成單元500包括:第一圖像捕捉單元510、第一亮度調(diào)整單元520、第一圖像合成單元530。
[0064]第一圖像捕捉單元510用于通過所述便攜式終端的攝像頭捕捉第一圖像。
[0065]第一亮度調(diào)整單元520用于通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像。
[0066]根據(jù)本發(fā)明的實例性實施例，第一亮度調(diào)整單元520用于根據(jù)預(yù)定的映射規(guī)則分別調(diào)整所述第一圖像的亮度，生成亮度提高的第二圖像和亮度降低的第三圖像。
[0067]例如，第一亮度調(diào)整單元520根據(jù)式(I)將所述第一圖像每個像素的灰度值映射為所述第二圖像中相應(yīng)像素的灰度值，以生成所述第二圖像。其中，X為像素在第一圖像中的灰度值，map[x]為在第二圖像中對應(yīng)像素的灰度值，C為預(yù)定的常量，X e [O, 255],map [x] e [0,255]。
[0068]再例如，第一亮度調(diào)整單元520根據(jù)式(2)將所述第一圖像每個像素的灰度值映射為所述第三圖像中相應(yīng)像素的灰度值，以生成所述第三圖像。
[0069]第一圖像合成單元530用于將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像。
[0070]根據(jù)本發(fā)明的示例性實施例，第一圖像合成單元530對要進行合成的每兩個圖像，將所述兩個圖像中每個相互對應(yīng)的像素的灰度值按照各自的權(quán)值進行加權(quán)求和，得到合成的圖像中對應(yīng)像素的灰度值。
[0071]其中，第一圖像合成單元530對所述要進行合成的每兩個圖像，根據(jù)任一像素在所述兩個圖像中的RGB分量值計算所述像素的提亮權(quán)值。
[0072]第一圖像合成單元530在將第一圖像和第二圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第一圖像中的灰度值。
[0073]第一圖像合成單元530在將第一圖像和第三圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第三圖像中的灰度值。
[0074]第一圖像合成單元530在將第四圖像和第五圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第五圖像中的灰度值。
[0075]由此可見，根據(jù)本發(fā)明的發(fā)明構(gòu)思，亮度較高時，將高的權(quán)值賦予像素在亮度相對低的圖像中的灰度值，在亮度較低時，將高的權(quán)值賦予像素在亮度相對高的圖像中的灰度值，以進行圖像亮度的均衡，并保留圖像中的細節(jié)。
[0076]根據(jù)本發(fā)明的優(yōu)選實施例，第一高動態(tài)范圍圖像生成單元500還包括局部對比度增強單元(圖中未示出)，用于對第六圖像進行局部對比度增強。通過局部對比度增強單元，進一步提升了第六圖像的清晰度，給用戶提供了更高的成像質(zhì)量。
[0077]圖6是示出本發(fā)明的優(yōu)選實施例的用于便攜式終端的圖像處理裝置的總體邏輯框圖。
[0078]參照圖6，本發(fā)明的用于便攜式終端的圖像處理裝置還包括處理方案確定單元610。處理方案確定單元610用于調(diào)整所述便攜式終端的攝像頭的曝光補償，分別捕捉高亮圖像組和暗光圖像組，每組含有預(yù)定個數(shù)的圖像，并用于根據(jù)所述高亮圖像組和暗光圖像組中的多張圖像的位移差別調(diào)用第一高動態(tài)范圍圖像生成單元或者調(diào)用第二高動態(tài)范圍圖像生成單元。具體地，如果處理方案確定單元610確定所述位移差別大于預(yù)定閾值，則處理方案確定單元610調(diào)用第一高動態(tài)范圍圖像生成單元500 ;如果所述位移差別小于或等于預(yù)定閾值，則處理方案確定單元610調(diào)用第二高動態(tài)范圍圖像生成單元620。
[0079]下面同樣結(jié)合圖6對第二高動態(tài)范圍圖像生成單元620進行詳細說明。
[0080]參照圖6，所述第二高動態(tài)范圍圖像生成單元620包括:圖像選取單元621、亮度調(diào)整參考圖像生成單元622和第二圖像合成單元623。
[0081]圖像選取單元621，用于基于處理方案確定單元捕捉的高亮圖像組和暗光圖像組，從所述高亮圖像組和暗光圖像組中分別選取代表圖像作為第一高亮圖像和第一暗光圖像。
[0082]亮度調(diào)整參考圖像生成單元622，用于對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像。
[0083]根據(jù)本發(fā)明的實例性實施例，亮度調(diào)整參考圖像生成單元622包括:第二亮度調(diào)整單元(圖中未示出)，用于對所述第一高亮圖像和所述第一暗光圖像分別進行亮度調(diào)整，生成第二高亮圖像和第二暗光圖像。具體地，所述第二亮度調(diào)整單元用于計算所述高亮圖像組的亮度平均值gray_avertoight和所述暗光圖像組的亮度平均值gray_avertok,并根據(jù)gray_averbright和gray_averdaA的平均值分別對第一高亮圖像和第一暗光圖像分別進行亮度調(diào)整，生成第二高亮圖像和第二暗光圖像；旋轉(zhuǎn)平移矩陣計算單元(圖中未示出)，用于通過對所述第二高亮圖像和所述第二暗光圖像進行特征點匹配，計算所述第二高亮圖像和第二暗光圖像之間的旋轉(zhuǎn)平移矩陣；圖像對齊單元(圖中未示出)，用于根據(jù)所述旋轉(zhuǎn)平移矩陣，對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像。
[0084]第二圖像合成單元623，用于將所述亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像進行合成，生成高動態(tài)范圍圖像。
[0085]根據(jù)本發(fā)明的實例性實施例，第二圖像合成單元623用于將所述第一高亮圖像或第一暗光圖像中每個像素的灰度值與所述亮度調(diào)整參考圖像中對應(yīng)像素的灰度值按照各自的權(quán)值進行加權(quán)求和，得到所述高動態(tài)范圍圖像的對應(yīng)像素的灰度值。
[0086]其中，所述第二圖像合成單元623根據(jù)任一像素在要進行合成的亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像中的RGB分量值計算所述像素的提亮權(quán)值。
[0087]所述第二圖像合成單元623在將所述第一高亮圖像和所述亮度調(diào)整參考圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在亮度調(diào)整參考圖像的灰度值。
[0088]或者，所述第二圖像合成單元623在將所述第一暗光圖像和所述亮度調(diào)整參考圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第一暗光圖像的灰度值。
[0089]根據(jù)本發(fā)明的優(yōu)選實施例，第二高動態(tài)范圍圖像生成單元620還包括局部對比度增強單元(圖中未示出)，用于對所述高動態(tài)范圍圖像進行局部對比度增強。通過局部對比度增強單元，進一步提升了第六圖像的清晰度，給用戶提供了更高的成像質(zhì)量。
[0090]根據(jù)上述實施例的用于便攜式終端的圖像處理方法及圖像處理裝置，通過基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理的方案，實現(xiàn)了在不增加硬件成本的前提下，只需捕捉一張圖像并對其進行本發(fā)明所述的處理，就能夠獲得高動態(tài)范圍的第六圖像，從而無論拍攝場景為移動狀態(tài)還是靜止?fàn)顟B(tài)，都能夠獲得效果較優(yōu)的高動態(tài)范圍圖像。
[0091]此外，通過根據(jù)所述高亮圖像組和暗光圖像組中的多張圖像的位移差別確定基于單張圖像執(zhí)行高動態(tài)范圍圖像生成處理還是基于多張圖像執(zhí)行高動態(tài)范圍圖像生成處理，使得高動態(tài)范圍圖像生成處理更加靈活，能夠自適應(yīng)選擇最適合當(dāng)前拍攝場景的獲取高動態(tài)范圍圖像的方案。
[0092]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準(zhǔn)。
【權(quán)利要求】
1.一種用于便攜式終端的圖像處理方法，其特征在于，所述方法包括: 基于單張圖像的高動態(tài)范圍圖像生成處理:捕捉第一圖像，通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像，并且將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像的處理包括: 根據(jù)預(yù)定的映射規(guī)則分別調(diào)整所述第一圖像的亮度，生成亮度提高的第二圖像和亮度降低的第三圖像。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)預(yù)定的映射規(guī)則調(diào)整所述第一圖像的亮度，生成亮度提高的第二圖像的處理包括: 根據(jù)下式將所述第一圖像每個像素的灰度值映射為所述第二圖像中相應(yīng)像素的灰度值，
map[x] = min (x+c,255) 其中，x為像素在第一圖像中的灰度值，map[x]為在第二圖像中對應(yīng)像素的灰度值，c為預(yù)定的常量，xe [0，255]，map [X] e [0, 255] ?
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)預(yù)定的映射規(guī)則調(diào)整所述第一圖像的亮度，生成亮度降低的第三圖像的處理包括: 根據(jù)下式將所述第一圖像每個像素的灰度值映射為所述第三圖像中相應(yīng)像素的灰度值， Γ1 +x>thre map[x] = ra
xx <= thre 其中，x為像素在第一圖像中的灰度值，map[x]為在第三圖像中對應(yīng)像素的灰度值，X e [0，255], map [X] e [0，255], x0、y0、a 為常量。
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，在將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像的處理中， 對要進行合成的每兩個圖像，將所述兩個圖像中每個相互對應(yīng)的像素的灰度值按照各自的權(quán)值進行加權(quán)求和，得到合成的圖像中對應(yīng)像素的灰度值。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，對所述要進行合成的每兩個圖像，根據(jù)任一像素在所述兩個圖像中的RGB分量值計算所述像素的提亮權(quán)值。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于， 在將第一圖像和第二圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第一圖像中的灰度值， 在將第一圖像和第三圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第三圖像中的灰度值， 在將第四圖像和第五圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第五圖像中的灰度值。
8.根據(jù)權(quán)利要求1-7任一項權(quán)利要求所述的方法，其特征在于，所述方法還包括: 調(diào)整所述便攜式終端的攝像頭的曝光補償，分別捕捉高亮圖像組和暗光圖像組，每組含有預(yù)定個數(shù)的圖像， 根據(jù)所述高亮圖像組和暗光圖像組中的多張圖像的位移差別，執(zhí)行所述基于單張圖像的高動態(tài)范圍圖像生成處理，或者基于多張圖像執(zhí)行高動態(tài)范圍圖像生成處理。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述基于多張圖像執(zhí)行高動態(tài)范圍圖像生成處理包括: 基于捕捉的高亮圖像組和暗光圖像組，從所述高亮圖像組和暗光圖像組中分別選取代表圖像作為第一高亮圖像和第一暗光圖像，對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像， 將所述亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像進行合成，生成高動態(tài)范圍圖像。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像的處理包括: 對所述第一高亮圖像和所述第一暗光圖像分別進行亮度調(diào)整，生成第二高亮圖像和第二暗光圖像， 通過對所述第二高亮圖像和所述第二暗光圖像進行特征點匹配，計算所述第二高亮圖像和第二暗光圖像之間的旋轉(zhuǎn)平移矩陣， 根據(jù)所述旋轉(zhuǎn)平移矩陣，對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述對所述第一高亮圖像和所述第一暗光圖像分別進行亮度調(diào)整，生成第二高亮圖像和第二暗光圖像的處理包括: 計算所述高亮圖像組的亮度平均值gray_avertoight和所述暗光圖像組的亮度平均值gray_averdark, 根據(jù)gray_avertoight和gray_averdaA的平均值分別對第一高亮圖像和第一暗光圖像分別進行亮度調(diào)整，生成第二高亮圖像和第二暗光圖像。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述將所述亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像進行合成，生成高動態(tài)范圍圖像的處理包括: 將所述第一高亮圖像或第一暗光圖像中每個像素的灰度值與所述亮度調(diào)整參考圖像中對應(yīng)像素的灰度值按照各自的權(quán)值進行加權(quán)求和，得到所述高動態(tài)范圍圖像的對應(yīng)像素的灰度值。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述將所述第一高亮圖像或第一暗光圖像中每個像素的灰度值與所述亮度調(diào)整參考圖像中對應(yīng)像素的灰度值按照各自的權(quán)值進行加權(quán)求和的處理包括: 根據(jù)任一像素在要進行合成的亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像中的RGB分量值計算所述像素的提亮權(quán)值。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于， 在將所述第一聞売圖像和所述売度調(diào)整參考圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在亮度調(diào)整參考圖像的灰度值，或者 在將所述第一暗光圖像和所述亮度調(diào)整參考圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第一暗光圖像的灰度值。
15.一種用于便攜式終端的圖像處理裝置，其特征在于，所述裝置包括: 第一高動態(tài)范圍圖像生成單元，用于基于單張圖像生成高動態(tài)范圍圖像，其包括: 第一圖像捕捉單元，用于通過所述便攜式終端的攝像頭捕捉第一圖像； 第一亮度調(diào)整單元，用于通過調(diào)整所述第一圖像的亮度分別生成亮度提高的第二圖像和亮度降低的第三圖像； 第一圖像合成單元，用于將所述第一圖像分別與所述第二圖像和第三圖像進行合成，生成第四圖像和第五圖像，再將所述第四圖像和所述第五圖像進行合成，生成第六圖像。
16.根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述第一亮度調(diào)整單元用于根據(jù)預(yù)定的映射規(guī)則分別調(diào)整所述第一圖像的亮度，生成亮度提高的第二圖像和亮度降低的第三圖像。
17.根據(jù)權(quán)利要求16所述的裝置，其特征在于，所述第一亮度調(diào)整單元根據(jù)下式將所述第一圖像每個像素的灰度值映射為所述第二圖像中相應(yīng)像素的灰度值，
map[x] = min (x+c, 255) 其中，x為像素在第一圖像中的灰度值，map[x]為在第二圖像中對應(yīng)像素的灰度值，c為預(yù)定的常量，xe [0，255]，map [X] e [0, 255] ?
18.根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述第一亮度調(diào)整單元根據(jù)下式將所述第一圖像每個像素的灰度值映射為所述第三圖像中相應(yīng)像素的灰度值，
「 i_yO+(JV + Jc0) X > thre lliQpyX\ —<q
xx <= thre 其中，x為像素在第一圖像中的灰度值，map[x]為在第三圖像中對應(yīng)像素的灰度值，X e [0，255], map [X] e [0，255], x0、y0、a 為常量。
19.根據(jù)權(quán)利要求16所述的裝置，其特征在于，所述第一圖像合成單元對要進行合成的每兩個圖像，將所述兩個圖像中每個相互對應(yīng)的像素的灰度值按照各自的權(quán)值進行加權(quán)求和，得到合成的圖像中對應(yīng)像素的灰度值。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述第一圖像合成單元對所述要進行合成的每兩個圖像，根據(jù)任一像素在所述兩個圖像中的RGB分量值計算所述像素的提亮權(quán)值，其中， 所述第一圖像合成單元在將第一圖像和第二圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第一圖像中的灰度值， 所述第一圖像合成單元在將第一圖像和第三圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第三圖像中的灰度值， 所述第一圖像合成單元在將第四圖像和第五圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第五圖像中的灰度值。
21.根據(jù)權(quán)利要求15-20任一項權(quán)利要求所述的裝置，其特征在于，所述裝置還包括處理方案確定單元，用于調(diào)整所述便攜式終端的攝像頭的曝光補償，分別捕捉高亮圖像組和暗光圖像組，每組含有預(yù)定個數(shù)的圖像，并用于根據(jù)所述高亮圖像組和暗光圖像組中的多張圖像的位移差別調(diào)用第一高動態(tài)范圍圖像生成單元或者調(diào)用第二高動態(tài)范圍圖像生成單元。
22.根據(jù)權(quán)利要求21所述的裝置，其特征在于，所述第二高動態(tài)范圍圖像生成單元包括: 圖像選取單元，用于基于處理方案確定單元捕捉的高亮圖像組和暗光圖像組，從所述高亮圖像組和暗光圖像組中分別選取代表圖像作為第一高亮圖像和第一暗光圖像； 亮度調(diào)整參考圖像生成單元，用于對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成売度調(diào)整參考圖像； 第二圖像合成單元，用于將所述亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像進行合成，生成高動態(tài)范圍圖像。
23.根據(jù)權(quán)利要求22所述的裝置，其特征在于，所述亮度調(diào)整參考圖像生成單元包括: 第二亮度調(diào)整單元，用于對所述第一高亮圖像和所述第一暗光圖像分別進行亮度調(diào)整，生成第二高亮圖像和第二暗光圖像； 旋轉(zhuǎn)平移矩陣計算單元，用于通過對所述第二高亮圖像和所述第二暗光圖像進行特征點匹配，計算所述第二高亮圖像和第二暗光圖像之間的旋轉(zhuǎn)平移矩陣； 圖像對齊單元，用于根據(jù)所述旋轉(zhuǎn)平移矩陣，對所述第一高亮圖像和所述第一暗光圖像進行位置對齊，生成亮度調(diào)整參考圖像。
24.根據(jù)權(quán)利要求23所述的裝置，其特征在于，所述第二亮度調(diào)整單元用于計算所述高亮圖像組的亮度平均值gray_avertoight和所述暗光圖像組的亮度平均值gray_avertok,并根據(jù)gray_avertoight和gray_avertok的平均值分別對第一高亮圖像和第一暗光圖像分別進行売度調(diào)整，生成第_■聞売圖像和第_■暗光圖像。
25.根據(jù)權(quán)利要求24所述的裝置，其特征在于，所述第二圖像合成單元用于將所述第一高亮圖像或第一暗光圖像中每個像素的灰度值與所述亮度調(diào)整參考圖像中對應(yīng)像素的灰度值按照各自的權(quán)值進行加權(quán)求和，得到所述高動態(tài)范圍圖像的對應(yīng)像素的灰度值。
26.根據(jù)權(quán)利要求25所述的裝置，其特征在于，所述第二圖像合成單元根據(jù)任一像素在要進行合成的亮度調(diào)整參考圖像與第一高亮圖像或第一暗光圖像中的RGB分量值計算所述像素的提亮權(quán)值，其中， 所述第二圖像合成單元在將所述第一高亮圖像和所述亮度調(diào)整參考圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在亮度調(diào)整參考圖像的灰度值，或者 所述第二圖像合成單元在將所述第一暗光圖像和所述亮度調(diào)整參考圖像中每個相互對應(yīng)的像素的灰度值進行加權(quán)求和的處理中，將計算的提亮權(quán)值賦予所述像素在第一暗光圖像的灰度值。
【文檔編號】H04N5/232GK104320575SQ201410522514
【公開日】2015年1月28日 申請日期:2014年9月30日 優(yōu)先權(quán)日:2014年9月30日
【發(fā)明者】程懿遠, 趙錚 申請人:百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司