專利名稱：圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明關(guān)于一種圖像處理方法，特別是一種將數(shù)字圖像裝置的圖像傳感器所接收到的原始圖像進行亮度特征混合與階層合并而得到高動態(tài)(highdynamic range,HDR)圖像的方法。
背景技術(shù)：
隨著科技的蓬勃發(fā)展以及現(xiàn)代人生活質(zhì)量的提升，數(shù)字圖像裝置，如數(shù)字相機 (Digital Still Camera)已逐漸成為現(xiàn)代人生活所必需。隨著研發(fā)技術(shù)的進步，數(shù)字相機的發(fā)展亦快速地推陳出新，成為市場主流。以數(shù)字相機為例，當擷取圖像為高反差的場景(如場景中同時具有天氣晴朗的天空與陰蔽處的建筑物)時，礙于數(shù)字相機本身軟、硬件的輸出限制，大部分動態(tài)范圍的場景會被犧牲掉，而無法完整地將整個場景的動態(tài)(Dynamicrange)以原貌保留起來。也就是說，如圖IA所示，其中圖像的高亮度區(qū)域(如天空的云朵)與低亮度區(qū)域(如圖中下方的大樓)于成像照片上相當朦朧，并且很難以不失真地情況下被呈現(xiàn)在照片中。目前，已知現(xiàn)有技術(shù)有根據(jù)被拍攝場景的亮度分布而改變其輸出色調(diào)映射(tone mapping)的做法。然而，此種利用色調(diào)映像(tone mapping)，來提升輸出圖像動態(tài)的做法， 其效果十分有限。其次，此種做法亦會造成色彩不自然且過于藝術(shù)化(artifact)的問題。 除此之外，當數(shù)字相機連續(xù)拍攝數(shù)張照片時，由于該些照片是連續(xù)拍攝，且其中間隔的時間非常有限。因此，現(xiàn)有技術(shù)并無法針對此同一場景，連續(xù)拍攝多張照片的情況，將數(shù)張照片以色調(diào)映射(tonemapping)的做法合并。于此情況之下，通常必須要借助拍攝腳架的輔助， 來拍攝連續(xù)的圖像，以增加圖像成功迭合的機率。但這一做法，不但無法有效得到去藝術(shù)化 (artifact)的照片，同時也勢必增加使用者于操作上的不便。

發(fā)明內(nèi)容
鑒于以上的問題，本發(fā)明在于提供一種圖像處理方法，將圖像傳感器所擷取到的原始圖像進行處理，除了能有效保有原始圖像的亮度特征外，亦考慮到避免人工化、色彩動態(tài)失真等因素，以解決前述問題。本發(fā)明提出一種圖像處理方法，適于一數(shù)字圖像裝置。圖像處理方法包括擷取一原始圖像；自原始圖像獲得一高亮圖像、一中亮圖像與一低亮圖像；根據(jù)高亮圖像、中亮圖像與低亮圖像決定對應(yīng)的一高亮權(quán)重陣列、一中亮權(quán)重陣列與一低亮權(quán)重陣列；以及根據(jù)高亮圖像、中亮圖像、低亮圖像與對應(yīng)的高亮權(quán)重陣列、中亮權(quán)重陣列與低亮權(quán)重陣列獲得一高動態(tài)圖像。是以，本發(fā)明提出的圖像處理方法，可自原始圖像獲取對應(yīng)于不同亮度特征的高亮圖像、中亮圖像與低亮圖像，再通過邊緣檢測程序或是亮度判斷程序，決定高亮圖像、中亮圖像與低亮圖像個別所占的相對權(quán)重。最后再以權(quán)重加總法得到一張可把不同亮度特征所融合起來的高動態(tài)圖像。有關(guān)本發(fā)明的特征、實例與效果，現(xiàn)配合附圖詳細說明如下。
以上的關(guān)于本發(fā)明的內(nèi)容說明及以下的實施方式的說明用以示范與解釋本發(fā)明的精神與原理，并且作為本發(fā)明的專利保護范圍的詳細解釋。


圖IA為現(xiàn)有的一圖像傳感器在接收具有高反差場景時所呈現(xiàn)的圖像相片效果圖；圖IB為根據(jù)本發(fā)明實施例的數(shù)字圖像裝置的結(jié)構(gòu)示意圖；圖2為根據(jù)本發(fā)明實施例的拜耳樣板示意圖；圖3A為根據(jù)本發(fā)明實施例的流程圖；圖3B為根據(jù)本發(fā)明步驟S308第二實施例的流程圖；圖3C為根據(jù)圖3B的流程圖；圖4A為根據(jù)本發(fā)明實施例的原始圖像于單一拜耳樣板示意圖；圖4B為根據(jù)本發(fā)明實施例的高亮圖像于單一拜耳樣板示意圖；圖4C為根據(jù)本發(fā)明實施例的中亮圖像于單一拜耳樣板示意圖；圖4D為根據(jù)本發(fā)明實施例的低亮圖像于單一拜耳樣板示意圖；圖5A為根據(jù)本發(fā)明實施例的高亮權(quán)重陣列示意圖；圖5B為根據(jù)本發(fā)明實施例的中亮權(quán)重陣列示意圖；圖5C為根據(jù)本發(fā)明實施例的低亮權(quán)重陣列示意圖；圖6A為根據(jù)本發(fā)明實施例的高亮圖像于單一拜耳樣板示意圖；圖6B為根據(jù)本發(fā)明實施例的高主柔圖像于單一拜耳樣板示意圖；圖6C為根據(jù)本發(fā)明實施例的中主柔圖像于單一拜耳樣板示意圖；以及圖6D為根據(jù)本發(fā)明實施例的低主柔圖像于單一拜耳樣板示意圖。其中，附圖標記20 拜耳樣板 100數(shù)字圖像裝置102圖像傳感器 104感測控制器106微處理器 108圖像信號處理器單元110編譯碼器112暫時儲存器114輸入輸出單元 116顯示引擎單元118結(jié)果儲存器 200顯示裝置S^1高亮圖像 Stl中亮圖像S1 低亮圖像 IL1高主柔圖像M0 中主柔圖像 M1低主柔圖像K0 原始圖像22K，22Gr，22Gb，22B感應(yīng)像素22η，22&_!，22^，22時感應(yīng)像素22K0，22Gr0，22Gb0，22B0感應(yīng)像素22E1,22Grl,22Gbl,22B1感應(yīng)像素24-h，24&_!，24^，24_時感應(yīng)像素24KQ，24Gr(1，24Gb(1，24B(1感應(yīng)像素
24E1，Mgki，4Gbl，24B1感應(yīng)像素Ee_i; Eeo, Eei邊緣值E^，EGr0, Ecrl邊緣值Eew，Ecbo, Eebl邊緣值Eb_1 Ebo, Ebi邊緣值We^1 , ffE0, Wei權(quán)重Wcr^1, ffGr0, Wcrl權(quán)重Wg^1, WGb0, Wcbl權(quán)重Wb^1 , Wbo, Wbi權(quán)重A^1高亮權(quán)重陣列A0中亮權(quán)重陣列A1低亮權(quán)重陣列
具體實施例方式請同時參照圖1Β，為根據(jù)本發(fā)明實施例的數(shù)字圖像裝置100的結(jié)構(gòu)示意圖。數(shù)字圖像裝置100可以是數(shù)字相機(Digital Still Camera)、數(shù)字攝影機(Digital Video Camera)、網(wǎng)絡(luò)攝影機(Webcamcorder)或是整合有數(shù)字圖像擷取功能的電子產(chǎn)品，如手機、個人數(shù)字助理(Personal Digital Assistant，PDA)等。數(shù)字圖像裝置100包括一圖像傳感器102、一感測控制器104、一微處理器106、一圖像信號處理器單元108、一編譯碼器110、一暫時儲存器112、一輸入輸出單元114、一顯示引擎單元116與一結(jié)果儲存器118。 數(shù)字圖像裝置100可利用其內(nèi)部各個組件(如上述)的分區(qū)處理，而將圖像顯示于顯示裝置200上。根據(jù)本發(fā)明一實施例的圖像傳感器102以適于數(shù)字相機的圖像傳感器為例，但并不以此為限。常見的圖像傳感器102可以是但不限于電荷耦合組件(Charge-coupled Device, CCD)0圖像傳感器102具有多個感應(yīng)像素(pixels)，且感應(yīng)像素可用以接收景像傳來的光線，并利用光電轉(zhuǎn)換而將該景像轉(zhuǎn)換成對應(yīng)的圖像數(shù)據(jù)。由于大部分的圖像傳感器 102為單色感應(yīng)像素，而非彩色感應(yīng)像素。也就是說，單一個感應(yīng)像素無法同時感應(yīng)出不同色彩。因此，為了能得到彩色感應(yīng)的效果，多個相鄰的感應(yīng)像素被群組成一濾鏡樣板 (Filtering Pattern) 0濾鏡樣板可以是拜耳樣板(Bayer Pattern，或稱貝爾圖樣)，但并不限于此。以圖2為例，每四個相鄰的感應(yīng)像素即構(gòu)成一個拜耳樣板。圖2中的四個感應(yīng)像素22K，22Gr, 22Gb, 22b即構(gòu)成一個拜耳樣板20。由于圖像傳感器102具有多個感應(yīng)像素，且感應(yīng)像素可依前述方式分群為多個拜耳樣板20，數(shù)字圖像裝置100即可藉由每一個拜耳樣板20內(nèi)的感應(yīng)像素22K，22Gr, 22Gb, 22B，接收景像傳來的光線，并利用光電轉(zhuǎn)換而擷取一對應(yīng)的原始圖像。為便于后續(xù)的說明，以下即就原始圖像中的單一拜耳樣板20作以下的解釋與說明。根據(jù)本發(fā)明一實施例的感應(yīng)像素22K，22to，22eb，22b各具有對應(yīng)的14位(bit)，但不以此為限，可視不同的圖像傳感器102而定，亦可為12位、10位、16位等，以下以感應(yīng)像素具有14位進行說明。
請參考圖3A，為根據(jù)本發(fā)明一實施例的圖像處理方法的流程圖。其適用于前述數(shù)字圖像裝置100，其中圖像傳感器102于一拜耳樣板20中，具有多個感應(yīng)像素22K，22to， 22Gb, 22b，并可利用感應(yīng)像素22K，22Gr, 22Gb, 22B據(jù)以轉(zhuǎn)換由一景像傳來的光線并擷取一原始圖像。此圖像處理方法包括步驟S302 擷取一原始圖像；步驟S304 :自原始圖像獲得一高亮圖像、一中亮圖像與一低亮圖像；步驟S306 根據(jù)高亮圖像、中亮圖像與低亮圖像決定對應(yīng)的一高亮權(quán)重陣列、一中亮權(quán)重陣列與一低亮權(quán)重陣列；及步驟S308 根據(jù)高亮圖像、中亮圖像、低亮圖像與對應(yīng)的高亮權(quán)重陣列、中亮權(quán)重陣列與低亮權(quán)重陣列獲得一高動態(tài)圖像。其中上述步驟S302至S308由圖IB中的微處理器106所執(zhí)行。關(guān)于步驟S304，請配合參閱圖4A至圖4D，為自原始圖像獲得一高亮圖像、一中亮圖像與一低亮圖像的步驟示意圖，換言之，步驟S304利用原始圖像具有多位的特性(容后詳述)，自原始圖像產(chǎn)生出數(shù)張不同亮度范圍的圖像。如圖4A所示，感應(yīng)像素22K，22to，22eb， 22b各具有對應(yīng)的14位，步驟S304為執(zhí)行一位篩選程序，以自原始圖像Ktl獲得如圖4B的高亮圖像、圖4C的中亮圖像Stl與圖4D的低亮圖像Sp舉例而言，感應(yīng)像素22K，22to，22eb， 22b各具有14位，因此位篩選程序即包括自原始圖像Ktl的各個感應(yīng)像素中對應(yīng)的一中位區(qū)間獲得中亮圖像Stl，自原始圖像Ktl的各個感應(yīng)像素中對應(yīng)的一高位區(qū)間獲得高亮圖像S— 與自原始圖像Ktl的各個感應(yīng)像素中對應(yīng)的一低位區(qū)間獲得低亮圖像Sp其中，中位區(qū)間可以取在各個感應(yīng)像素的14位中的第2至9個位，高位區(qū)間可以取在各個感應(yīng)像素的14位中的第3至10個位，低位區(qū)間可以取在各個感應(yīng)像素的14位中的第1至8個位。由于所取得的位位置不同，因此，高亮圖像、、中亮圖像Stl與低亮圖像S1 可分別保有原始圖像Ktl的較亮區(qū)域的特征、中亮度區(qū)域的特征與較暗區(qū)域的特征。然前述中位區(qū)間、高位區(qū)間及低位區(qū)間的位取樣范圍僅為舉例，并非用以限制本發(fā)明的范圍，且可分別保有原始圖像Ktl的不同亮度范圍的圖像數(shù)量可視實際需求而決定，非限定于三張。續(xù)承前例，更明確地說，由于高亮圖像S—自原始圖像Ktl的各個感應(yīng)像素中對應(yīng)的高位區(qū)間所擷取得的圖像數(shù)據(jù)，因此在高亮圖像中，大部分高亮度的區(qū)域特征會被保留，而低亮度的區(qū)域的特征則會被犧牲(以上述舉例而言，感應(yīng)像素中第0到2位所對應(yīng)的區(qū)域即被視為亮度為零，意即顯示成黑色，感應(yīng)像素中第11到13位所對應(yīng)的區(qū)域即被視為亮度255，意即顯示成全亮度或白色)。同理，于低亮圖像S1中，大部分低亮度的區(qū)域特征會被保留，而高亮度的區(qū)域的特征則會被犧牲(承上述舉例而言，感應(yīng)像素中第0位所對應(yīng)的區(qū)域即被視為亮度為零，意即顯示成黑色，感應(yīng)像素中第9到13位所對應(yīng)的區(qū)域即被視為亮度255，意即顯示成全亮度或白色)。至于中亮圖像Stl，即可保留原始圖像中相對中亮度的區(qū)域特征，而不在此區(qū)域的亮度值均被犧牲(即感應(yīng)像素中第0至1、及第10至13位的亮度值區(qū)域)。于此需說明的是，此一位篩選程序中的中位區(qū)間、高位區(qū)間與低位區(qū)間并不以此為限，可依據(jù)數(shù)字圖像裝置100所要呈現(xiàn)的圖像而決定所取感應(yīng)像素的位區(qū)間。其次， 上述位篩選程序中，高亮圖像S—、中亮圖像Stl與低亮圖像S1的成像順序亦無先后的限制。續(xù)請配合圖4B至圖4D —并閱覽。由于高亮圖像S、、中亮圖像S。與低亮圖像S1 為自原始圖像Ktl執(zhí)行前述位篩選程序后，所獲得的圖像數(shù)據(jù)。因此高亮圖像、中亮圖像S0與低亮圖像S1于同一拜耳樣板20內(nèi)分別各具有感應(yīng)像素22^，22^，？？^二？^二之㈨， 22Gr0，22Gb0，22bo 與 22E1 ？ 22Grl ？ 22GM，22B10關(guān)于步驟S306，為針對各張不同亮度范圍圖像的特性，決定各亮度范圍圖像于融
合過程中所占的權(quán)重。舉例而言，在對比高亮圖像、中亮圖像Stl與低亮圖像S1于同一拜
耳樣板20內(nèi)的同一光濾鏡(以紅光為例)時，感應(yīng)像素22η，22K(I，22K1分別具有其各自對
應(yīng)于高亮圖像S—、中亮圖像Stl與低亮圖像S1中的邊緣值Eim，Ekci，EK1。因此，于合并感應(yīng)像
素22η，22K(1，22K1時，其分別所占的權(quán)重Wim，Weo, Wei可為 FFF
權(quán)利要求
1.一種圖像處理方法，其特征在于，包括 擷取一原始圖像；自該原始圖像獲得一高亮圖像、一中亮圖像與一低亮圖像；根據(jù)該高亮圖像、該中亮圖像與該低亮圖像決定對應(yīng)的一高亮權(quán)重陣列、一中亮權(quán)重陣列與一低亮權(quán)重陣列；以及根據(jù)該高亮圖像、該中亮圖像、該低亮圖像與對應(yīng)的該高亮權(quán)重陣列、該中亮權(quán)重陣列與該低亮權(quán)重陣列獲得一高動態(tài)圖像。
2.如權(quán)利要求1所述的圖像處理方法，其特征在于，該自該原始圖像獲得一高亮圖像、 一中亮圖像與一低亮圖像的步驟為執(zhí)行一位篩選程序以自該原始圖像獲得該高亮圖像、 該中亮圖像與該低亮圖像。
3.如權(quán)利要求2所述的圖像處理方法，其特征在于，該位篩選程序包括 自該原始圖像的一中位區(qū)間獲得該中亮圖像；自該原始圖像的一高位區(qū)間獲得該高亮圖像；以及自該原始圖像的一低位區(qū)間獲得該低亮圖像。
4.如權(quán)利要求1所述的圖像處理方法，其特征在于，該決定對應(yīng)的一高亮權(quán)重陣列、一中亮權(quán)重陣列與一低亮權(quán)重陣列的步驟為執(zhí)行一邊緣檢測程序以自該高亮圖像、該中亮圖像與該低亮圖像獲得該高亮權(quán)重陣列、該中亮權(quán)重陣列與該低亮權(quán)重陣列。
5.如權(quán)利要求1所述的圖像處理方法，其特征在于，該決定對應(yīng)的一高亮權(quán)重陣列、一中亮權(quán)重陣列與一低亮權(quán)重陣列的步驟為執(zhí)行一亮度判斷程序以自該高亮圖像、該中亮圖像與該低亮圖像獲取該高亮權(quán)重陣列、該中亮權(quán)重陣列與該低亮權(quán)重陣列。
6.如權(quán)利要求1所述的圖像處理方法，其特征在于，該根據(jù)該高亮圖像、該中亮圖像、 該低亮圖像與對應(yīng)的該高亮權(quán)重陣列、該中亮權(quán)重陣列與該低亮權(quán)重陣列獲得一高動態(tài)圖像的步驟為以一權(quán)重加總法獲得該高動態(tài)圖像。
7.如權(quán)利要求1所述的圖像處理方法，其特征在于，該根據(jù)該高亮圖像、該中亮圖像、 該低亮圖像與對應(yīng)的該高亮權(quán)重陣列、該中亮權(quán)重陣列與該低亮權(quán)重陣列獲得一高動態(tài)圖像的步驟還包括根據(jù)該高亮圖像、該中亮圖像、該低亮圖像執(zhí)行一階層柔化程序，以獲得一柔化圖像； 根據(jù)該高亮圖像、該中亮圖像、該低亮圖像與對應(yīng)的該高亮權(quán)重陣列、該中亮權(quán)重陣列與該低亮權(quán)重陣列獲得一仿真圖像；以及根據(jù)該柔化圖像與該仿真圖像獲得該高動態(tài)圖像。
8.如權(quán)利要求7所述的圖像處理方法，其特征在于，該根據(jù)該高亮圖像、該中亮圖像、 該低亮圖像執(zhí)行一階層柔化程序，以獲得一柔化圖像的步驟包括根據(jù)該高亮圖像、該中亮圖像與該低亮圖像獲得對應(yīng)的一高主柔圖像、一中主柔圖像與一低主柔圖像；根據(jù)該高主柔圖像、該中主柔圖像與該低主柔圖像決定對應(yīng)的一高主柔權(quán)重陣列、一中主柔權(quán)重陣列與一低主柔權(quán)重陣列；以及以一權(quán)重加總法根據(jù)該高主柔圖像、該中主柔圖像、該低主柔圖像與對應(yīng)的該高主柔權(quán)重陣列、該中主柔權(quán)重陣列與該低主柔權(quán)重陣列獲得該柔化圖像。
全文摘要
本發(fā)明公開了一種圖像處理方法，適于一數(shù)字圖像裝置。圖像處理方法包括擷取一張或數(shù)張不同亮度的原始圖像，并利用圖像后制技巧自原始圖像產(chǎn)生出多張不同亮度范圍的圖像。針對各亮度范圍圖像的特性，定義出各亮度范圍圖像的重要性與權(quán)重。而后，根據(jù)其權(quán)重關(guān)系以對各不同亮度范圍的圖像進行階層融合，以形成一可呈現(xiàn)各個亮度范圍特征的高動態(tài)圖像。
文檔編號H04N5/232GK102457669SQ20101051401
公開日2012年5月16日 申請日期2010年10月15日 優(yōu)先權(quán)日2010年10月15日
發(fā)明者周詹閔, 李運錦 申請人:華晶科技股份有限公司