圖像處理裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的一個方面涉及圖像處理裝置以及圖像處理方法。
【背景技術(shù)】
[0002] 以往，作為圖像處理裝置，公知有對輸入圖像進(jìn)行噪聲去除處理的裝置。專利文獻(xiàn) 1的圖像處理裝置將拜耳（Bayer)信號的局部成分當(dāng)作特征向量。而且，該圖像處理裝置根 據(jù)周邊的向量差分計(jì)算權(quán)重系數(shù)和向量范數(shù)。專利文獻(xiàn)2的圖像處理裝置對YUV信號所表 示的輸入圖像進(jìn)行噪聲去除處理。
[0003] 現(xiàn)有專利文獻(xiàn)
[0004] 專利文獻(xiàn)
[0005] 專利文獻(xiàn)1 :日本特開2007 - 110338號公報(bào)
[0006] 專利文獻(xiàn)2 :日本特開2010 - 157163號公報(bào)

【發(fā)明內(nèi)容】

[0007] 發(fā)明所要解決的問題
[0008] 但是，YUV信號所表示的輸入圖像是進(jìn)行空間補(bǔ)全處理后的圖像。因此，YUV信號 所表示的輸入圖像的像素間的空間相關(guān)性較高，從而難以去除噪聲成分。因此，在本技術(shù)領(lǐng) 域中，希望有發(fā)揮優(yōu)異的噪聲去除效果的圖像處理裝置以及圖像處理方法。
[0009] 用于解決課題的手段
[0010] 本發(fā)明的一個方面的圖像處理裝置是對輸入圖像進(jìn)行去除噪聲的處理的圖像處 理裝置，所述圖像處理裝置具有：濾波設(shè)定部，其利用作為處理的對象的噪聲處理對象像素 所具有的第1對象像素值以及噪聲處理對象像素的周邊的多個參照像素所具有的參照像 素值，來設(shè)定第1濾波系數(shù)和第2濾波系數(shù)；以及噪聲去除部，其以第1濾波系數(shù)對參照像 素值的亮度成分進(jìn)行加權(quán)相加，并且以第2濾波系數(shù)對參照像素值的色差成分進(jìn)行加權(quán)相 加，來計(jì)算修正像素值，利用修正像素值來去除噪聲處理對象像素的噪聲，以拜耳圖案形式 保存輸入圖像的像素值。
[0011] 該圖像處理裝置對以拜耳圖案形式保存像素值的輸入圖像執(zhí)行濾波處理。在該濾 波處理中，首先，將輸入圖像的像素值分離成亮度成分和色差成分。然后，以第1濾波系數(shù) 對亮度成分進(jìn)行加權(quán)相加，以第2濾波系數(shù)對色差成分進(jìn)行加權(quán)相加。由于以拜耳圖案形 式保存該輸入圖像的像素值，所以不同的像素之間的空間相關(guān)性較低，周邊的像素值不會 受到可能因噪聲的發(fā)生等而產(chǎn)生的異常的像素值的影響。因此，該圖像處理裝置能夠發(fā)揮 優(yōu)異的噪聲去除效果。
[0012] 在一個實(shí)施方式中，也可以是，圖像處理裝置還具有以拜耳圖案形式存放構(gòu)成輸 入圖像的輸入像素值的輸入緩沖器。此外，也可以是，濾波設(shè)定部具有：縮小圖像生成部，其 利用存放在輸入緩沖器中的像素值，來生成縮小圖像；縮小圖像緩沖器，其存放構(gòu)成縮小圖 像的縮小像素值；以及參照像素選擇部，其從縮小圖像緩沖器中存放的縮小圖像中選擇參 照像素。在執(zhí)行濾波處理的情況下，利用作為濾波處理對象的像素的周圍處的參照像素來 進(jìn)行處理。根據(jù)噪聲去除效果的觀點(diǎn)，優(yōu)選從較大范圍中選擇多個參照像素。但是，在這樣 地選擇參照像素時，有可能導(dǎo)致處理負(fù)載增大。另一方面，根據(jù)該結(jié)構(gòu)，選擇構(gòu)成縮小圖像 的像素作為參照像素。通過縮小圖像中的參照像素的選擇，能夠抑制處理負(fù)載的增加，并且 能夠得到與從較大范圍中選擇了多個參照像素的情況下所獲得的效果接近的效果。
[0013] 在一個實(shí)施方式中，也可以是，濾波設(shè)定部具有：對象像素值生成部，其利用存放 在輸入緩沖器中的輸入像素值，來生成第1對象像素值；差分計(jì)算部，其利用由參照像素選 擇部選擇的參照像素的參照像素值以及由對象像素值生成部生成的第1對象像素值，來計(jì) 算像素值差分；以及系數(shù)計(jì)算部，其利用像素值差分來計(jì)算第1濾波系數(shù)和第2濾波系數(shù)， 像素值差分與第1濾波系數(shù)的關(guān)系、以及像素值差分與第2濾波系數(shù)的關(guān)系按照第1對象 像素值動態(tài)地變化。疊加在輸入圖像上的噪聲的強(qiáng)度取決于場景的像素值。根據(jù)該結(jié)構(gòu)， 濾波系數(shù)按照作為噪聲處理的對象的像素中的像素值動態(tài)地變化。因此，利用濾波設(shè)定部， 能夠恰當(dāng)?shù)厝コB加在輸入圖像上的噪聲。
[0014] 在一個實(shí)施方式中，也可以是，參照像素選擇部選擇縮小圖像緩沖器中存放的縮 小圖像中的一部分的縮小像素作為參照像素。根據(jù)該結(jié)構(gòu)，能夠進(jìn)一步抑制噪聲處理所需 要的處理負(fù)載的增加。
[0015] 在一個實(shí)施方式中，也可以是，所述圖像處理裝置還具有：后級緩沖器，其以拜耳 圖案形式存放修正像素值；以及異常像素處理部，其處理圖像的異常像素，異常像素處理部 具有：異常判定部，其通過比較后級緩沖器中存放的多個修正像素值中的異常處理對象像 素所具有的第2對象像素值與根據(jù)異常處理對象像素的周邊的周邊像素所具有的周邊像 素值來估計(jì)的異常處理對象像素的估計(jì)像素值，判定第2對象像素值是否異常；以及替換 處理部，其在異常判定部判定為第2對象像素值異常的情況下，將第2對象像素值替換為估 計(jì)像素值。根據(jù)該結(jié)構(gòu)，通過將異常的像素值替換為估計(jì)像素值，能夠排除濾波對象圖像所 包含的異常像素。因此，能夠發(fā)揮更優(yōu)異的噪聲去除效果。
[0016] 本發(fā)明的另一方面的圖像處理裝置是對輸入圖像進(jìn)行去除噪聲的處理的圖像處 理裝置，所述圖像處理裝置具有：后級緩沖器，其以拜耳圖案形式存放構(gòu)成輸入圖像的像素 值；以及異常像素處理部，其處理圖像的異常像素，異常像素處理部具有：異常判定部，其 通過比較后級緩沖器中存放的多個像素值中的異常處理對象像素所具有的第2對象像素 值與根據(jù)異常處理對象像素的周邊的周邊像素所具有的周邊像素值來估計(jì)的異常處理對 象像素的估計(jì)像素值，判定第2對象像素值是否異常；以及替換處理部，其在異常判定部判 定為第2對象像素值異常的情況下，將第2對象像素值替換為估計(jì)像素值。根據(jù)該結(jié)構(gòu)，通 過將異常的像素值替換為估計(jì)像素值，能夠排除濾波對象圖像所包含的異常像素。因此，能 夠發(fā)揮優(yōu)異的噪聲去除效果。
[0017] 本發(fā)明的另一方面的圖像處理方法是一種利用計(jì)算機(jī)對輸入圖像進(jìn)行去除噪聲 的處理的圖像處理方法，所述圖像處理方法具有：濾波設(shè)定步驟，利用作為處理的對象的噪 聲處理對象像素所具有的第1對象像素值以及噪聲處理對象像素的周邊的多個參照像素 所具有的參照像素值，來設(shè)定第1濾波系數(shù)和第2濾波系數(shù)；以及噪聲去除步驟，將參照像 素值分離成亮度成分和色差成分，以第1濾波系數(shù)對亮度成分進(jìn)行加權(quán)相加，并且以第2濾 波系數(shù)對色差成分進(jìn)行加權(quán)相加，來計(jì)算修正像素值，利用修正像素值來去除噪聲處理對 象像素的噪聲，以拜耳圖案形式保存輸入圖像的像素值。
[0018] 根據(jù)上述的圖像處理裝置和圖像處理方法，實(shí)現(xiàn)與上述的本發(fā)明的一個方面的圖 像處理裝置相同的效果。
[0019] 發(fā)明效果
[0020] 根據(jù)本發(fā)明的各個方面以及實(shí)施方式，提供發(fā)揮優(yōu)異的噪聲去除效果的圖像處理 裝置以及圖像處理方法。
【附圖說明】
[0021] 圖1是搭載了實(shí)施方式的圖像處理裝置的便攜終端的功能框圖。
[0022] 圖2是搭載了實(shí)施方式的圖像處理裝置的便攜終端的硬件結(jié)構(gòu)圖。
[0023] 圖3是實(shí)施方式的圖像處理裝置所具有的噪聲處理部的功能框圖。
[0024] 圖4是實(shí)施方式的圖像處理裝置所具有的異常像素處理部的功能框圖。
[0025] 圖5是對實(shí)施方式的圖像處理裝置的動作進(jìn)行說明的流程圖。
[0026] 圖6是對實(shí)施方式的圖像處理裝置的動作進(jìn)行說明的詳細(xì)的流程圖。
[0027] 圖7是對參照像素進(jìn)行選擇的處理的說明圖。
[0028] 標(biāo)號說明
[0029] 1 :圖像處理裝置；2 :噪聲處理部；3 :異常像素處理部；4 :輸入行緩沖器（輸入緩 沖器、輸入緩沖部）；6 :濾波設(shè)定部；7 :噪聲去除部；8 :縮小圖像生成部；9 :縮小圖像行緩 沖器（縮小圖像緩沖器）:參照像素選擇部；12 :對象像素值生成部；13 :差分計(jì)算部； 14 :閾值決定部；16a:空間濾波系數(shù)決定部；16b:亮度濾波系數(shù)決定部；16c:色差濾波系 數(shù)決定部；17a:濾波系數(shù)決定部（第1濾波系數(shù)決定部）；17b:濾波系數(shù)決定部（第2濾 波系數(shù)決定部）；18 :修正像素值計(jì)算部；19 :后級行緩沖器；20 :系數(shù)計(jì)算部；21 :異常判 定部；22 :替換處理部；23 :統(tǒng)計(jì)量計(jì)算部；24 :連續(xù)性判定部；25 :第1閾值決定部；26 :第 2閾值決定部；28 :偏離數(shù)判定部；29 :像素值替換部；31 :輸出行緩沖器；S10 :噪聲處理； S11 :存放到輸入緩沖器的處理；S15 :濾波系數(shù)的設(shè)定處理（濾波設(shè)定步驟）；S16 :噪聲去 除處理（噪聲去除步驟）；S20 :異常像素處理。
【具體實(shí)施方式】
[0030] 以下，參照附圖對實(shí)施方式進(jìn)行說明。需要說明的是，在各圖中，對相同或相當(dāng)部 分標(biāo)注相同的標(biāo)號，并省略重復(fù)的說明。
[0031] 本實(shí)施方式的圖像處理裝置例如輸出去除了噪聲的幀圖像。例如在多個圖像的 連續(xù)拍攝或運(yùn)動圖像拍攝的情況下，優(yōu)選采用圖像處理裝置。本實(shí)施方式的圖像處理裝置 例如優(yōu)選搭載于移動電話、數(shù)碼相機(jī)、PDA(PersonalDigitalAssistant:個人數(shù)字助理） 等的資源有限的移動終端。但是，圖像處理裝置不僅可以搭載于這些移動終端，也可以搭 載于例如通常的計(jì)算機(jī)系統(tǒng)。圖像處理裝置也包含裝入拍攝裝置的所謂的單片ISP(Image SignalProcessor:圖像信號處理器）等。需要說明的是，以下考慮到容易理解說明的觀 點(diǎn)，作為一例，對搭載于便攜終端的圖像處理裝置進(jìn)行說明。
[0032] 圖1所示的便攜終端T例如為用戶所攜帶的移動終端。便攜終端T具有圖2所 示的硬件結(jié)構(gòu)。如圖2所示，便攜終端T在物理上包含CPU(CentralProcessingUnit:中 央處理單元）100、RAM(RandomAccessMemory:隨機(jī)訪問存儲器）101 以及ROM(ReadOnly Memory:只讀存儲器）102等主存儲裝置、攝像頭或者鍵盤等輸入設(shè)備103、顯示器等輸出設(shè) 備104、硬盤等輔助存儲裝置105等。通過將規(guī)定的計(jì)算機(jī)軟件讀入到CPU100、RAM101、 ROM102等硬件上，使輸入設(shè)備103和輸出設(shè)備104在CPU100的控制下進(jìn)行動作，并且通 過進(jìn)行主存儲裝置和輔助存儲裝置105中的數(shù)據(jù)的讀出及寫入，從而實(shí)現(xiàn)后述的便攜終端 T和圖像處理裝置1的各功能。需要說明的是，便攜終端T也可以具有通信模塊等。上述的 說明是對便攜終端T的硬件結(jié)構(gòu)進(jìn)行的說明，但是，圖像處理裝置1也可以構(gòu)成為通常的計(jì) 算機(jī)系統(tǒng)。通常