本發(fā)明有關(guān)于圖像處理,特別是有關(guān)于一種圖像處理器、顯示圖像處理方法及相關(guān)電子裝置。
背景技術(shù):
顯示器通常包括圖像處理器,其用來執(zhí)行圖像增強操作(image enhancement operations),譬如,噪聲抑制(noise reduction)、色彩增強(color enhancement)以及銳度增強(sharpness enhancement)。然而,這些圖像增強操作的功能參數(shù)設(shè)定是廣泛地對各式各樣的圖像來制定的,而此種處理方法可能無法對每一種圖像均提供最佳的提升效果,例如,在一個有噪聲的圖像上進行過度的增強操作,反而會帶來噪聲偽影(noise artifact)效果。
技術(shù)實現(xiàn)要素:
有鑒于此,本發(fā)明提供一種圖像處理器、顯示圖像處理方法及相關(guān)電子裝置。
依據(jù)本發(fā)明一實施方式,提供一種圖像處理器,包括:接收單元,用來接收圖像/視頻數(shù)據(jù)及對應(yīng)的元數(shù)據(jù);信息分析器,用來分析該圖像/視頻的該對應(yīng)的元數(shù)據(jù)來產(chǎn)生用以指示圖像/視頻品質(zhì)增強的強度的至少一個分析結(jié)果;以及調(diào)整電路,耦接于該信息分析器,用來依據(jù)該分析結(jié)果來調(diào)整圖像/視頻品質(zhì)。
依據(jù)本發(fā)明另一實施方式,提供一種顯示圖像處理方法,包括:接收圖像/視頻數(shù)據(jù)及對應(yīng)的元數(shù)據(jù);分析該圖像/視頻的該對應(yīng)的元數(shù)據(jù)來產(chǎn)生用以指示圖像/視頻品質(zhì)增強的強度的至少一個分析結(jié)果;以及依據(jù)該分析結(jié)果來調(diào)整圖像/視頻品質(zhì)。
依據(jù)本發(fā)明又一實施方式,提供一種電子裝置,包括:圖像傳感器,用來捕獲光線以產(chǎn)生原始圖像數(shù)據(jù);圖像信號處理器,耦接于該圖像傳感器,用來處理該原始圖像數(shù)據(jù)以產(chǎn)生圖像數(shù)據(jù)及對應(yīng)的元數(shù)據(jù);存儲器,耦接于該圖像 信號處理器,用來儲存該圖像信號處理器所產(chǎn)生的該圖像數(shù)據(jù)及該對應(yīng)的元數(shù)據(jù);以及圖像處理器,耦接于該存儲器,用來從該存儲器中得到該圖像數(shù)據(jù)及該對應(yīng)的元數(shù)據(jù),分析該圖像數(shù)據(jù)的該對應(yīng)的元數(shù)據(jù)來產(chǎn)生用以指示圖像品質(zhì)增強的強度的至少一個分析結(jié)果,以及依據(jù)該分析結(jié)果來調(diào)整圖像/視頻品質(zhì)。
本發(fā)明所提供的圖像處理器、顯示圖像處理方法及相關(guān)電子裝置,以分析圖像/視頻數(shù)據(jù)的元數(shù)據(jù)來分別地決定出噪聲抑制操作、色彩增強操作、銳度增強操作的適當(dāng)強度,因此,大部分的圖像就可以獲得最佳的圖像品質(zhì)提升。
對于已經(jīng)閱讀后續(xù)由各附圖及內(nèi)容所顯示的較佳實施方式的本領(lǐng)域的技術(shù)人員來說,本發(fā)明的各目的是明顯的。
附圖說明
圖1為本發(fā)明一實施例的電子裝置的示意圖。
圖2為本發(fā)明一實施例的圖像處理器的示意圖。
圖3為顯示本發(fā)明一實施例的ISO速度與噪聲抑制的強度之間的關(guān)系圖。
圖4為顯示本發(fā)明一實施例的ISO速度與色彩增強的強度之間的關(guān)系圖。
圖5為顯示本發(fā)明一實施例的ISO速度與銳度增強的強度之間的關(guān)系圖。
圖6為顯示本發(fā)明一實施例的快門速度與銳度增強的強度之間的關(guān)系圖。
圖7為顯示本發(fā)明一實施例的比特率與噪聲抑制的強度之間的關(guān)系圖。
圖8為顯示本發(fā)明一實施例的比特率與色彩增強的強度之間的關(guān)系圖。
圖9為顯示本發(fā)明一實施例的比特率與銳度增強的強度之間的關(guān)系圖。
圖10為顯示本發(fā)明一實施例的顯示圖像處理方法的流程圖。
具體實施方式
在權(quán)利要求書及說明書中使用了某些詞匯來指稱特定的組件。所屬領(lǐng)域中的技術(shù)人員應(yīng)可理解,硬件制造商可能會用不同的名詞來稱呼同樣的組件。本權(quán)利要求書及說明書并不以名稱的差異來作為區(qū)分組件的方式,而是以組件在功能上的差異來作為區(qū)分的準(zhǔn)則。在權(quán)利要求書及說明書中所提及的「包括」為開放式的用語,故應(yīng)解釋成「包括但不限定于」。另外,「耦接」一詞在此包括任何直接及間接的電氣連接手段。因此,若文中描述第一裝置耦接于第二裝置,則代表所述第一裝置可直接電連接于所述第二裝置,或通過其他裝置或連接手段間接地電連接至所述第二裝置。
請參照圖1,圖1為本發(fā)明一實施例的電子裝置100的示意圖。如圖1所示,電子裝置100包括圖像傳感器(image sensor)110、視頻解碼器(video decoder)120、圖像信號處理器(image signal processor,ISP)130、存儲器140、圖像處理器150以及顯示面板160。在本實施例中,電子裝置100可以是智能手機、平板電腦、筆記本電腦、照相機或任何其他有顯示面板的裝置。
在圖1中,圖像傳感器110可能會以互補金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor,CMOS)傳感器或電荷耦合元件(charge coupled device,CCD)傳感器來實施,而圖像傳感器110用來捕獲光線以產(chǎn)生原始圖像數(shù)據(jù)(raw image data)。視頻解碼器120用來解碼視頻流(video stream)以產(chǎn)生視頻數(shù)據(jù)至存儲器140,其中該視頻流可能是來自以無線連接或以網(wǎng)絡(luò)連接的其他電子裝置,或是來自其他適當(dāng)?shù)膩碓矗乙曨l標(biāo)頭(video header)包括元數(shù)據(jù)(metadata),譬如,比特率(bit-rate)和/或圖像分辨率。圖像信號處理器130用來從圖像傳感器110接收該原始圖像數(shù)據(jù),并處理該原始圖像數(shù)據(jù)以產(chǎn)生圖像數(shù)據(jù)及對應(yīng)的元數(shù)據(jù),其中該元數(shù)據(jù)可能包括關(guān)于產(chǎn)生該原始圖像數(shù)據(jù)的信息,譬如,ISO速度(其基于國際標(biāo)準(zhǔn)化組織(International Standardization Organization,ISO)的標(biāo)準(zhǔn))、快門速度和/或光圈值(aperture value)。此外,ISO速度用來控制吸收光線的傳感器的靈敏度,ISO速度越高,則傳感器對光線就越靈敏。
在一個實施例中,圖像信號處理器130將圖像數(shù)據(jù)及對應(yīng)的元數(shù)據(jù)進一步打包(packet)以使其符合聯(lián)合圖像專家小組(Joint Photographic Experts Group,JPEG)格式,而且該對應(yīng)的元數(shù)據(jù)在此JPEG檔案中是可交換圖像檔案格式(exchangeable image file format,EXIF)信息。存儲器140用來儲存要被顯示的圖像數(shù)據(jù)及視頻數(shù)據(jù)。圖像處理器150用來從存儲器140取得該圖像/視頻數(shù)據(jù)及對應(yīng)的元數(shù)據(jù),分析該圖像/視頻數(shù)據(jù)的元數(shù)據(jù)來產(chǎn)生至少一個分析結(jié)果,以指示所要施加的圖像品質(zhì)增強的強度/程度(strength or degree),以及依據(jù)該分析結(jié)果來調(diào)整圖像/視頻品質(zhì)以產(chǎn)生已調(diào)整的圖像/視頻數(shù)據(jù)。然后,該已調(diào)整的圖像/視頻數(shù)據(jù)就會被傳送到顯示面板160,并顯示于其上。
請參照圖2,圖2為本發(fā)明一實施例的圖像處理器150的示意圖。如圖2所示,圖像處理器150包括接收單元210、信息分析器220以及調(diào)整電路230,其中調(diào)整電路230包括噪聲抑制單元(noise reduction unit)232、色彩增強單元(color enhancement unit)234以及銳度增強單元(sharpness enhancement unit)236。在圖2中,接收單元210用來從存儲器140接收圖像/視頻數(shù)據(jù)及對應(yīng)的元數(shù)據(jù),信息 分析器220用來分析該圖像/視頻的元數(shù)據(jù)來產(chǎn)生分析結(jié)果,以及調(diào)整電路230依據(jù)該分析結(jié)果來調(diào)整圖像/視頻數(shù)據(jù),以產(chǎn)生已調(diào)整的圖像/視頻數(shù)據(jù)。以下說明中將詳述信息分析器220及調(diào)整電路230的操作細節(jié)。
關(guān)于噪聲抑制單元232、色彩增強單元234以及銳度增強單元236的操作方面,噪聲抑制單元232可以通過使用傳統(tǒng)的時間域(temporal)或空間域(spatial)噪聲抑制濾波器(noise reduction filter)或移動自適應(yīng)補償(motion-adaptive compensation)方法來對圖像數(shù)據(jù)進行噪聲抑制操作,其中噪聲抑制操作的強度可以通過設(shè)定時間域或空間域噪聲抑制濾波器的系數(shù)的方式來設(shè)定;色彩增強單元234可以通過使用傳統(tǒng)的色度、飽和度、亮度(hue、saturation、value,HSV)元件的方式來對圖像數(shù)據(jù)進行色彩增強操作;以及,銳度增強單元236可以通過使用傳統(tǒng)的邊緣對比增強(edge contrast enhancement)方法來對圖像數(shù)據(jù)進行銳度增強操作。因為熟悉此技術(shù)者應(yīng)該可以了解噪聲抑制、色彩增強及銳度增強操作的運作方式以及這些操作的強度是如何來設(shè)定的,所以在此省略進一步的敘述。
在一個實施例中,假設(shè)圖像處理器150從存儲器140中接收到JPEG格式的圖像檔案,則信息分析器220就會從EXIF信息中提取(extract)ISO速度信息,并且分析該ISO速度的級別(level)來產(chǎn)生分析結(jié)果,而噪聲抑制單元232、色彩增強單元234以及銳度增強單元236則分別地依據(jù)該分析結(jié)果來決定他們的操作的增強強度。詳細來說,因為較低的ISO速度可能意味著較低的圖像噪聲大小(magnitude),因此,當(dāng)圖像數(shù)據(jù)的ISO速度不高時,噪聲抑制單元232會在該圖像數(shù)據(jù)上應(yīng)用弱的(weak)噪聲抑制,色彩增強單元234則會在該圖像數(shù)據(jù)上應(yīng)用高強度的色彩增強(即,強的(strong)色彩增強),而銳度增強單元236則會在該圖像數(shù)據(jù)上應(yīng)用高強度的銳度增強(即,強的(strong)銳度增強)。在另一方面,因為較高的ISO速度可能意味著較高的圖像噪聲大小,因此,當(dāng)圖像數(shù)據(jù)的ISO速度比較高時,噪聲抑制單元232會在該圖像數(shù)據(jù)上應(yīng)用強的(strong)噪聲抑制以避免噪聲被強化,色彩增強單元234則會在該圖像數(shù)據(jù)上應(yīng)用低強度的色彩增強(即,弱的(weak)色彩增強)以避免噪聲被強化,而銳度增強單元236則會在該圖像數(shù)據(jù)上應(yīng)用低強度的銳度增強(即,弱的(weak)銳度增強)以避免噪聲被強化。
圖3為顯示本發(fā)明一實施例的ISO速度與噪聲抑制的強度之間的關(guān)系圖,圖4為顯示本發(fā)明一實施例的ISO速度與色彩增強的強度之間的關(guān)系圖,圖5 為顯示本發(fā)明一實施例的ISO速度與銳度增強的強度之間的關(guān)系圖。參照圖3到圖5,ISO速度越低,則噪聲抑制操作的強度越低,色彩增強操作的強度越高,以及銳度增強操作的強度越高。要注意的是,圖3到圖5所示的線性關(guān)系僅為說明用,并非是本發(fā)明的限制。在其他實施例中,ISO速度與噪聲抑制/色彩增強/銳度增強的強度之間的關(guān)系,可以依設(shè)計者的考量來決定。
在另一個實施例中,信息分析器220可以從EXIF信息中提取(extract)快門速度信息,并且分析該快門速度的級別來產(chǎn)生分析結(jié)果,而銳度增強單元236則會依據(jù)該分析結(jié)果來決定增強強度。詳細來說,因為較高的快門速度可能意味著圖像是在環(huán)境光線較強時所補獲的(captured)(即,意味著圖像數(shù)據(jù)會具有輕微的移動模糊(motion blur)),因此,當(dāng)圖像數(shù)據(jù)的快門速度較高時,銳度增強單元236會在該圖像數(shù)據(jù)上應(yīng)用正常或低強度的銳度增強操作。在另一方面,因為較低的快門速度可能意味著圖像數(shù)據(jù)會具有嚴(yán)重的移動模糊,因此,當(dāng)圖像數(shù)據(jù)的快門速度較低時,銳度增強單元236會在該圖像數(shù)據(jù)上應(yīng)用高強度的銳度增強操作來強化圖像清晰度。
圖6為顯示本發(fā)明一實施例的快門速度與銳度增強的強度之間的關(guān)系圖。參照圖6,快門速度越低,則銳度增強操作的強度越高。要注意的是,圖6所示的線性關(guān)系僅為說明用,并非是本發(fā)明的限制。在其他實施例中,快門速度與銳度增強的強度之間的關(guān)系,可以依設(shè)計者的考量來決定。
在一個實施例中,假設(shè)圖像處理器150從存儲器140中接收到視頻數(shù)據(jù),則信息分析器220就會從視頻標(biāo)頭中提取比特率信息(即,元數(shù)據(jù)),并且會分析該比特率的級別來產(chǎn)生分析結(jié)果,而噪聲抑制單元232、色彩增強單元234以及銳度增強單元236則分別地依據(jù)該分析結(jié)果來決定他們的操作的增強強度。詳細來說,因為較低的比特率可能指出視頻數(shù)據(jù)遭受到編碼偽影(coding artifact)的影響,譬如,方塊噪聲(blocking noise)或蚊狀噪聲(mosquito noise),因此,當(dāng)比特率較低時,噪聲抑制單元232會在視頻數(shù)據(jù)上應(yīng)用強的噪聲抑制以避免噪聲被強化,色彩增強單元234則會在視頻數(shù)據(jù)上應(yīng)用低強度的色彩增強(即,弱的色彩增強)以避免噪聲被強化,而銳度增強單元236則會在視頻數(shù)據(jù)上應(yīng)用低強度的銳度增強(即,弱的銳度增強)以避免噪聲被強化。
要注意的是,為了避免噪聲被強化,色彩增強操作及銳度增強操作應(yīng)該是在噪聲抑制操作執(zhí)行完畢之后才會進行。
圖7為顯示本發(fā)明一實施例的比特率與噪聲抑制的強度之間的關(guān)系圖,圖8 為顯示本發(fā)明一實施例的比特率與色彩增強的強度之間的關(guān)系圖,圖9為顯示本發(fā)明一實施例的比特率與銳度增強的強度之間的關(guān)系圖。參照圖7到圖9,比特率越低,則噪聲抑制操作的強度越高,色彩增強操作的強度越低,以及銳度增強操作的強度越低。要注意的是,圖7到圖9所示的線性關(guān)系僅為說明用,并非是本發(fā)明的限制。在其他實施例中,比特率與噪聲抑制/色彩增強/銳度增強的強度之間的關(guān)系,可以依設(shè)計者的考量來決定。
圖10為顯示本發(fā)明一實施例的顯示圖像處理方法的流程圖。參照上述所揭露的內(nèi)容,而將該流程描述如下:
步驟1000:流程開始。
步驟1002:提取圖像/視頻數(shù)據(jù)的元數(shù)據(jù)。
步驟1004:分析元數(shù)據(jù)來產(chǎn)生分析結(jié)果。
步驟1006:決定所要施加的增強操作的強度/程度(strength or degree)。
步驟1008:依據(jù)所決定的強度來對圖像/視頻數(shù)據(jù)進行增強操作。
步驟1010:決定是否已處理完全部的圖像/視頻數(shù)據(jù)?若是,進行步驟1012,反之,返回步驟1002。
步驟1012:流程結(jié)束。
簡單總結(jié)來說,在本發(fā)明的圖像處理器及相關(guān)顯示圖像處理方法之中,以分析圖像/視頻數(shù)據(jù)的元數(shù)據(jù)來分別地決定出噪聲抑制操作、色彩增強操作、銳度增強操作的適當(dāng)強度,也就是說,這些操作的強度是可以被適應(yīng)性地決定的,因此,大部分的圖像就可以獲得最佳的圖像品質(zhì)提升。
以上所述僅為本發(fā)明的較佳實施方式,凡依本發(fā)明權(quán)利要求所做的均等變化和修飾,均應(yīng)屬本發(fā)明的涵蓋范圍。