專利名稱：彩色內(nèi)插系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)字圖像處理方法，特別是涉及一種彩色內(nèi)插系統(tǒng)及方法。
背景技術(shù)：
圖像傳感器通常會(huì)結(jié)合使用具有拜爾圖樣(Bayer pattern)的彩色濾光陣列(color filter array, CFA),因此,擷取自圖像傳感器的原始圖像數(shù)據(jù)必須經(jīng)過內(nèi)插(demosaicing)以重建完整彩色圖像。圖像增強(qiáng)(image enhancement)經(jīng)常使用于數(shù)字圖像處理中，用以增強(qiáng)一或多個(gè)圖像參數(shù)，例如對比、銳利度等。圖像增強(qiáng)的執(zhí)行可根據(jù)邊緣檢測結(jié)果或梯度(gradient)。于傳統(tǒng)成像系統(tǒng)中，擷取自圖像傳感器的原始圖像數(shù)據(jù)首先經(jīng)內(nèi)插運(yùn)算，接著進(jìn)·行圖像增強(qiáng)處理。傳統(tǒng)成像系統(tǒng)的缺點(diǎn)之一在于紅色數(shù)據(jù)與藍(lán)色數(shù)據(jù)的取樣率遠(yuǎn)低于綠色的取樣率，使得成像系統(tǒng)產(chǎn)生低銳利度的失真圖像。鑒于上述理由，因此亟需提出一種新穎的成像系統(tǒng)，以增進(jìn)圖像質(zhì)量。

發(fā)明內(nèi)容
鑒于上述,本發(fā)明實(shí)施例的目的之一在于提出一種彩色內(nèi)插系統(tǒng)及方法，其可同時(shí)執(zhí)行內(nèi)插及增強(qiáng)，并具有改善的銳利度。根據(jù)本發(fā)明實(shí)施例，彩色內(nèi)插系統(tǒng)包含增強(qiáng)單元、第一內(nèi)插單元及增益產(chǎn)生器。增強(qiáng)單元自圖像傳感器接收多個(gè)原始信號，其中該多個(gè)原始信號包含至少一原始第一信號及一原始第二信號，且增強(qiáng)單元處理該原始信號以輸出增強(qiáng)第一信號。第一內(nèi)插單元接收并處理該原始第一信號，據(jù)以輸出內(nèi)插第一信號。增益產(chǎn)生器根據(jù)該增強(qiáng)第一信號及該內(nèi)插第一信號以產(chǎn)生增強(qiáng)增益。根據(jù)本發(fā)明另一實(shí)施例，彩色內(nèi)插系統(tǒng)包含增強(qiáng)單元、第一內(nèi)插單元、混合器及增益產(chǎn)生器。增強(qiáng)單元自圖像傳感器接收多個(gè)原始信號，其中該多個(gè)原始信號包含至少一原始第一信號及一原始第二信號，且增強(qiáng)單元處理該原始信號以輸出增強(qiáng)第一信號。第一內(nèi)插單元接收并處理該原始第一信號，據(jù)以輸出多個(gè)內(nèi)插第一信號?；旌掀鞣峙錂?quán)重予該增強(qiáng)第一信號及該多個(gè)內(nèi)插第一信號其中之一，用以產(chǎn)生加權(quán)增強(qiáng)第一信號。增益產(chǎn)生器根據(jù)該加權(quán)增強(qiáng)第一信號及該多個(gè)內(nèi)插第一信號，但饋至混合器的該內(nèi)插第一信號則除外，以產(chǎn)生增強(qiáng)增益。


圖IA顯示本發(fā)明實(shí)施例的彩色內(nèi)插系統(tǒng)的框圖；圖IB顯示圖IA的變化型實(shí)施例的彩色內(nèi)插系統(tǒng)的框圖；圖2顯示圖像像素的處理窗口，其中原始藍(lán)色信號位于中央；圖3顯示圖像像素的另一處理窗口，其中原始綠色信號位于中央，且其左右具有原始藍(lán)色信號；
圖4A顯示本發(fā)明另一實(shí)施例的彩色內(nèi)插系統(tǒng)的框圖；圖4B顯示圖4A的變化型實(shí)施例的彩色內(nèi)插系統(tǒng)的框圖。
具體實(shí)施例方式圖IA顯示本發(fā)明實(shí)施例的彩色內(nèi)插系統(tǒng)IA的框圖。彩色內(nèi)插系統(tǒng)IA的每一框的實(shí)施可使用硬件、軟件或其組合。在本實(shí)施例中，彩色內(nèi)插系統(tǒng)IA接收原始綠色信號G_raw、原始紅色信號R_raw及原始藍(lán)色信號B_raw。這些信號使 用原始格式，并輸出自圖像傳感器(未顯示于附圖中)，該圖像傳感器結(jié)合使用具有拜爾圖樣(Bayer pattern)的彩色濾光陣列(CFA),但也可使用其它圖樣，例如紅/綠/藍(lán)(RGB)圖樣或青綠/品紅/黃(CMY)圖樣。具有拜爾圖樣的彩色濾光陣列具有多個(gè)彩色濾光片，其中的50 %為綠色，25 %為紅色,另外的25 %為藍(lán)色。一般來說，于拜爾圖樣或其它圖樣中，綠色成分多于紅色成分或藍(lán)色成分。在本說明書中，綠色信號、紅色信號及藍(lán)色信號也可分別稱為第一信號、第二信號及第三信號。圖2顯示圖像像素(原始藍(lán)色信號8_以《位于中央)的處理窗口，其構(gòu)成圖像傳感器的一部分。增強(qiáng)單元10 (圖1A)接收并處理原始信號G_raw、R_raw和B_raw,用以輸出增強(qiáng)綠色信號G22_en，其位于處理窗口的中央。增強(qiáng)單元10的增強(qiáng)處理可藉由增強(qiáng)屏蔽(enhancing mask)來進(jìn)行,其一般可為高頻增強(qiáng)濾波器(high-boost filter),可表示如下G22_en = WOl XP01+W03XP03+ffl0XP10+ffl2XP12+ffl4XP14+W21 XP21+W23XP23+W30XP30+W32XP32+W34XP34+W41XP41+W43XP43 ；//W01-W43 :增強(qiáng)屏蔽的系數(shù)。第一內(nèi)插單元11接收并處理原始綠色信號G_raw，用以輸出內(nèi)插綠色信號G22_sm，其位于處理窗口的中央。第一內(nèi)插單元11可使用傳統(tǒng)內(nèi)插技術(shù)，例如雙線性(bi-linear)內(nèi)插、雙立方(bi_cubic)內(nèi)插、曲線(spline)內(nèi)插或其它內(nèi)插技術(shù)。類似的情形，第二內(nèi)插單元12接收并處理原始紅色信號R_raw，用以輸出內(nèi)插紅色信號R22_sm，其位于處理窗口的中央。第二內(nèi)插單元12可使用傳統(tǒng)內(nèi)插技術(shù)，例如雙線性內(nèi)插、雙立方內(nèi)插、曲線內(nèi)插或其它內(nèi)插技術(shù)。類似的情形，第三內(nèi)插單元13接收并處理原始藍(lán)色信號B_raw，用以輸出內(nèi)插藍(lán)色信號B22_sm，其位于處理窗口的中央。第三內(nèi)插單元13可使用傳統(tǒng)內(nèi)插技術(shù)，例如雙線性內(nèi)插、雙立方內(nèi)插、曲線內(nèi)插或其它內(nèi)插技術(shù)。在一實(shí)施例中，還可使用混合器14，根據(jù)增強(qiáng)綠色信號G22_en及內(nèi)插綠色信號G22_sm,以產(chǎn)生加權(quán)增強(qiáng)綠色信號WG22。其中，混合器14分配權(quán)重予增強(qiáng)綠色信號G22_en及內(nèi)插綠色信號G22_sm。加權(quán)增強(qiáng)綠色信號WG22可表示如下WG22 = (G22_enXweight+G22_smX (1-weight))；//weight :增強(qiáng)屏蔽的權(quán)重,其值不大于I且不小于O。上述的表示式針對原始藍(lán)色信號B_raw位于處理窗口中央的情形。當(dāng)原始紅色信號R_raw位于處理窗口中央時(shí)，也可得到類似的表示式。圖3顯示圖像像素的另一處理窗口，其中原始綠色信號G_raw位于中央，且其左右具有原始藍(lán)色信號B_raw。
對于此處理窗口，增強(qiáng)綠色信號G22_en及加權(quán)增強(qiáng)綠色信號WG22可表示如下G22_en = WOO X P00+W02 X P02+W04 X P04+W11 XP11+W13XP13+W20 X P20+W22 X P22+W24 X P24+W31XP31+W33X P33+W40 X P40+W42 X P42+W44 X P44 ；//W00-W44 :增強(qiáng)屏蔽的權(quán)重WG22 = (G22_enXweight+G22_smX (1-weight))；//weight :增強(qiáng)屏蔽的權(quán)重，其值不大于I且不小于。上述的表示式針對原始綠色信號G_raw位于處理窗口中央且其左右具有原始藍(lán)色信號B_raw的情形。當(dāng)原始綠色信號G_raw位于處理窗口中央且其左右具有原始紅色信號R_raw時(shí),也可得到類似的表示式。
增強(qiáng)綠色信號G22_en(若使用混合器14則為加權(quán)增強(qiáng)綠色信號WG22)以及內(nèi)插綠色信號G22_sm被饋至增益產(chǎn)生器16，其根據(jù)增強(qiáng)綠色信號G22_en (若使用混合器14則為加權(quán)增強(qiáng)綠色信號WG22)以及內(nèi)插綠色信號G22_sm以產(chǎn)生增強(qiáng)增益D。在一例子中，增強(qiáng)增益D的產(chǎn)生是根據(jù)加權(quán)增強(qiáng)綠色信號WG22及內(nèi)插綠色信號G22_sm的差值。在另一例子中，增強(qiáng)增益D的產(chǎn)生是根據(jù)加權(quán)增強(qiáng)綠色信號WG22及內(nèi)插綠色信號G22_sm的比值。在一實(shí)施例中，如果加權(quán)增強(qiáng)綠色信號WG22及內(nèi)插綠色信號G22_sm的絕對差值不大于預(yù)設(shè)噪聲臨界值，則增強(qiáng)增益D的值為“I”。否則，根據(jù)加權(quán)增強(qiáng)綠色信號WG22及內(nèi)插綠色信號G22_sm的差值以決定增強(qiáng)增益D的值，其可受一默認(rèn)值所調(diào)整。最后，增益乘法器17將內(nèi)插綠色信號G22_sm、內(nèi)插紅色信號R22_sm及內(nèi)插藍(lán)色信號B22_sm分別與增強(qiáng)增益D相乘，以得到增強(qiáng)內(nèi)插綠色信號G22’、增強(qiáng)內(nèi)插紅色信號R22’及增強(qiáng)內(nèi)插藍(lán)色信號B22’，如下所示G22，= G22_smXD ;R22，= R22_smXD ;B22，= B22_smXD。圖IB顯示圖IA的變化型實(shí)施例的彩色內(nèi)插系統(tǒng)IB的框圖。圖IB的彩色內(nèi)插系統(tǒng)IB類似于圖IA的彩色內(nèi)插系統(tǒng)1A，不同之處說明如下。于本實(shí)施例中，僅原始綠色信
受到內(nèi)插單元(亦即，第一內(nèi)插單元11)的處理。增益乘法器17將內(nèi)插綠色信號G22_sm、原始紅色信號R_raw及原始藍(lán)色信號B_raw分別與增強(qiáng)增益D相乘。圖4A顯示本發(fā)明另一實(shí)施例的彩色內(nèi)插系統(tǒng)4A的框圖。彩色內(nèi)插系統(tǒng)4A的每一框的實(shí)施可使用硬件、軟件或其組合。圖4A的彩色內(nèi)插系統(tǒng)4A類似于圖IA的彩色內(nèi)插系統(tǒng)1A，不同之處說明如下。在本實(shí)施例中，第一內(nèi)插單元IlB接收并處理原始綠色信號G_raw，用以輸出內(nèi)插綠色信號G11-G33 (例如3x3像素)，構(gòu)成了處理次窗口(其為處理窗口的一部分)，位于處理窗口的中央，如圖2所示。舉例而言，內(nèi)插綠色信號G11-G33可表示如下Gll = f (P01, P10, P21, P12)；G12 = f (P01, P03, P21, P23, P12)；G13 = f (P03, P12, P14, P23)；G21 = f (P10, P12, P30, P32, P21)；G22 = f (P12, P21, P23, P32)；G23 = f (P14, P12, P34, P32, P23)；
G31 = f (P21, P30, P41, P32)；G32 = f (P21, P23, P41, P43, P32)；G33 = f (P23, P32, P34, P43)；G22 = G22 ；//輸出綠色像素。混合器14B分配權(quán)重予增強(qiáng)綠色信號G22_en及內(nèi)插綠色信號G22。加權(quán)增強(qiáng)綠色信號WG22可表不如下WG22 = (G22_enXalpha+G22X (1-alpha))；// O = < alpha < = I。在本實(shí)施例中，增益產(chǎn)生器16可對加權(quán)增強(qiáng)綠色信號WG22及內(nèi)插綠色信號(例·如G11-G33，但除G22外)執(zhí)行低通濾波(LPF)，因而產(chǎn)生內(nèi)插綠色信號G22_sm。類似于圖IA的彩色內(nèi)插系統(tǒng)1A，加權(quán)增強(qiáng)綠色信號WG22以及內(nèi)插綠色信號G22被饋至增益產(chǎn)生器16，其根據(jù)加權(quán)增強(qiáng)綠色信號WG22以及內(nèi)插綠色信號G22的差值或比值以產(chǎn)生增強(qiáng)增益D。增益乘法器17將內(nèi)插綠色信號G22_sm、內(nèi)插紅色信號R22_sm及內(nèi)插藍(lán)色信號B22_sm分別與增強(qiáng)增益D相乘。上述是針對原始藍(lán)色信號B_raw位于處理窗口中央的情形(圖2)。當(dāng)原始紅色信號R_raw位于處理窗口中央時(shí)，也可得到類似的結(jié)果。圖4B顯示圖4A的變化型實(shí)施例的彩色內(nèi)插系統(tǒng)4B的框圖。圖4B的彩色內(nèi)插系統(tǒng)4B類似于圖4A的彩色內(nèi)插系統(tǒng)4A，不同之處說明如下。于本實(shí)施例中，僅原始綠色信號6_1^受到內(nèi)插單元(亦即，第一內(nèi)插單元11B)的處理。增益乘法器17將內(nèi)插綠色信號G22_sm、原始紅色信號R_raw及原始藍(lán)色信號B_raw分別與增強(qiáng)增益D相乘。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并非用以限定本發(fā)明的權(quán)利要求范圍；凡其它未脫離發(fā)明所揭示的精神下所完成的等效改變或修飾，均應(yīng)包含在下述的權(quán)利要求范圍內(nèi)。
權(quán)利要求
1.一種彩色內(nèi)插系統(tǒng),包含 增強(qiáng)單元，自圖像傳感器接收多個(gè)原始信號，其中所述多個(gè)原始信號包含至少一原始第一信號及一原始第二信號，且所述增強(qiáng)單元處理所述原始信號以輸出增強(qiáng)第一信號； 第一內(nèi)插單兀，接收并處理所述原始第一信號，據(jù)以輸出內(nèi)插第一信號；及 增益產(chǎn)生器，根據(jù)所述增強(qiáng)第一信號及所述內(nèi)插第一信號以產(chǎn)生增強(qiáng)增益。
2.如權(quán)利要求I所述的彩色內(nèi)插系統(tǒng)，還包含第二內(nèi)插單元，接收并處理所述原始第二信號，據(jù)以輸出內(nèi)插第二信號。
3.如權(quán)利要求2所述的彩色內(nèi)插系統(tǒng)，還包含增益乘法器，其將所述內(nèi)插第一信號及所述內(nèi)插第二信號分別乘以所述增強(qiáng)增益。
4.如權(quán)利要求I所述的彩色內(nèi)插系統(tǒng)，其中所述增強(qiáng)單元包含增強(qiáng)屏蔽，作為高頻增強(qiáng)濾波器。
5.如權(quán)利要求I所述的彩色內(nèi)插系統(tǒng)，其中所述增強(qiáng)單元及所述第一內(nèi)插單元執(zhí)行于處理窗口，其包含所述圖像傳感器的多個(gè)圖像像素。
6.如權(quán)利要求5所述的彩色內(nèi)插系統(tǒng)，其中所述圖像像素的處理窗口具有拜爾圖樣。
7.如權(quán)利要求I所述的彩色內(nèi)插系統(tǒng)，還包含增益乘法器，其將所述內(nèi)插第一信號及所述原始第二信號分別乘以所述增強(qiáng)增益。
8.如權(quán)利要求I所述的彩色內(nèi)插系統(tǒng)，還包含混合器，位于所述增強(qiáng)單元與所述增益產(chǎn)生器之間，其中所述混合器分配權(quán)重予所述增強(qiáng)第一信號及所述內(nèi)插第一信號。
9.一種彩色內(nèi)插系統(tǒng),包含 增強(qiáng)單元，自圖像傳感器接收多個(gè)原始信號，其中所述多個(gè)原始信號包含至少一原始第一信號及一原始第二信號，且所述增強(qiáng)單元處理所述原始信號以輸出增強(qiáng)第一信號； 第一內(nèi)插單元，接收并處理所述原始第一信號，據(jù)以輸出多個(gè)內(nèi)插第一信號； 混合器，分配權(quán)重予所述增強(qiáng)第一信號及所述多個(gè)內(nèi)插第一信號其中之一，用以產(chǎn)生加權(quán)增強(qiáng)第一信號；及 增益產(chǎn)生器，根據(jù)所述加權(quán)增強(qiáng)第一信號及所述多個(gè)內(nèi)插第一信號，但饋至所述混合器的所述內(nèi)插第一信號則除外，以產(chǎn)生增強(qiáng)增益。
10.如權(quán)利要求9所述的彩色內(nèi)插系統(tǒng)，還包含第二內(nèi)插單元，接收并處理所述原始第二信號，據(jù)以輸出內(nèi)插第二信號。
11.如權(quán)利要求10所述的彩色內(nèi)插系統(tǒng)，還包含增益乘法器，其將所述內(nèi)插第一信號及所述內(nèi)插第二信號分別乘以所述增強(qiáng)增益。
12.如權(quán)利要求9所述的彩色內(nèi)插系統(tǒng)，其中所述增強(qiáng)單元包含增強(qiáng)屏蔽，作為高頻增強(qiáng)濾波器。
13.如權(quán)利要求9所述的彩色內(nèi)插系統(tǒng)，其中所述增強(qiáng)單元執(zhí)行于處理窗口，其包含所述圖像傳感器的多個(gè)圖像像素；且所述第一內(nèi)插單元執(zhí)行于處理次窗口，其為所述圖像像素的處理窗口的一部分。
14.如權(quán)利要求13所述的彩色內(nèi)插系統(tǒng)，其中所述圖像像素的處理窗口具有拜爾圖樣。
15.如權(quán)利要求9所述的彩色內(nèi)插系統(tǒng)，還包含增益乘法器，其將所述內(nèi)插第一信號及所述原始第二信號分別乘以所述增強(qiáng)增益。
16.—種彩色內(nèi)插方法，包含 自圖像傳感器接收多個(gè)原始信號，其中所述多個(gè)原始信號包含至少一原始第一信號及一原始第二信號，其經(jīng)處理后輸出增強(qiáng)第一信號； 處理所述原始第一信號，以輸出內(nèi)插第一信號；及 根據(jù)所述增強(qiáng)第一信號及所述內(nèi)插第一信號以產(chǎn)生增強(qiáng)增益。
17.如權(quán)利要求16所述的彩色內(nèi)插方法，還包含如下步驟處理所述原始第二信號，以輸出內(nèi)插第二信號。
18.如權(quán)利要求17所述的彩色內(nèi)插方法，還包含如下步驟將所述內(nèi)插第一信號及所述內(nèi)插第二信號分別乘以所述增強(qiáng)增益。
19.如權(quán)利要求16所述的彩色內(nèi)插方法，還包含如下步驟將所述內(nèi)插第一信號及所述原始第二信號分別乘以所述增強(qiáng)增益。
20.一種彩色內(nèi)插方法，包含 自圖像傳感器接收多個(gè)原始信號，其中所述多個(gè)原始信號包含至少一原始第一信號及一原始第二信號，其經(jīng)處理后輸出增強(qiáng)第一信號； 處理所述原始第一信號，以輸出多個(gè)內(nèi)插第一信號； 分配權(quán)重予所述增強(qiáng)第一信號及所述多個(gè)內(nèi)插第一信號其中之一，以產(chǎn)生加權(quán)增強(qiáng)第一信號；及 根據(jù)所述加權(quán)增強(qiáng)第一信號及所述多個(gè)內(nèi)插第一信號，但分配有權(quán)重的所述內(nèi)插第一信號則除外，以產(chǎn)生增強(qiáng)增益。
21.如權(quán)利要求20所述的彩色內(nèi)插方法，還包含如下步驟處理所述原始第二信號，以輸出內(nèi)插第二信號。
22.如權(quán)利要求21所述的彩色內(nèi)插方法，還包含如下步驟將所述內(nèi)插第一信號及所述內(nèi)插第二信號分別乘以所述增強(qiáng)增益。
23.如權(quán)利要求20所述的彩色內(nèi)插方法，還包含如下步驟將所述內(nèi)插第一信號及所述原始第二信號分別乘以所述增強(qiáng)增益。
全文摘要
一種彩色內(nèi)插系統(tǒng)及方法。增強(qiáng)單元自圖像傳感器接收多個(gè)原始信號，并處理所述原始信號以輸出增強(qiáng)第一信號。第一內(nèi)插單元接收并處理原始第一信號，據(jù)以輸出內(nèi)插第一信號。增益產(chǎn)生器根據(jù)增強(qiáng)第一信號及內(nèi)插第一信號以產(chǎn)生增強(qiáng)增益。
文檔編號H04N9/04GK102857765SQ201110186010
公開日2013年1月2日 申請日期2011年6月30日 優(yōu)先權(quán)日2011年6月30日
發(fā)明者陳柏璋, 彭源智, 宋尤昱 申請人:英屬開曼群島商恒景科技股份有限公司