用于抑制圖像中的噪聲的方法和系統(tǒng)的制作方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本專利申請是2013年7月16日申請的、申請?zhí)枮?3/943,035的美國專利申請的 繼續(xù)，其主張2012年7月16日申請的、申請?zhí)枮?1/672, 010的美國臨時(shí)專利申請的優(yōu)先 權(quán)，通過引用的方式將它們作為整體合并到本文中。
技術(shù)領(lǐng)域
[0003] 本發(fā)明的一個(gè)或多個(gè)實(shí)施例總體上設(shè)及數(shù)字圖像處理，并且更具體的，例如設(shè)及 圖像中的噪聲抑制。
【背景技術(shù)】
[0004] 噪聲是導(dǎo)致圖像傳感器捕獲的圖像（例如，視頻和靜止圖像）退化的主要原因之 一。在假設(shè)噪聲是隨機(jī)的和非結(jié)構(gòu)化的W便可W通過平均或平滑來去除噪聲的情況下，傳 統(tǒng)的噪聲濾波技術(shù)一般通過應(yīng)用各種平均或平滑操作來抑制噪聲。
[0005] 然而，噪聲的非結(jié)構(gòu)化隨機(jī)的假設(shè)是不準(zhǔn)確的。實(shí)際上，噪聲可W包括固定模式噪 聲（FPN)分量（例如，由于讀出電路中的列噪聲、不規(guī)則像素尺寸和/或其他不規(guī)則性導(dǎo)致 的噪聲）和隨機(jī)噪聲分量。FPN分量可W表現(xiàn)為基本上不隨時(shí)間變化的噪聲模式，因此通過 平均不能使其衰減，而是在傳統(tǒng)的噪聲濾波之后其通常變得更加明顯。對于低成本傳感器、 具有極窄像素間距的傳感器或者在執(zhí)行中W極低的信噪比（SNR)工作（例如，在微光成像、 熱成像、范圍成像或具有低SNR的其他成像應(yīng)用中）的傳感器來說，F(xiàn)PN變得更成問題。另 夕F，對于大多數(shù)成像器來說，F(xiàn)PN和隨機(jī)噪聲分量通常是結(jié)構(gòu)化的（例如，有色噪聲），并且 在FPN和隨機(jī)噪聲分量中存在不同的相關(guān)性。因此，傳統(tǒng)的濾波技術(shù)通常會產(chǎn)生具有明顯 結(jié)構(gòu)化的偽影的圖像。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明公開了有效地抑制圖像（例如，視頻或靜止圖像）中的噪聲的各種技術(shù)。例 如，可W將圖像中的噪聲更準(zhǔn)確的建模為具有結(jié)構(gòu)化的隨機(jī)噪聲分量和結(jié)構(gòu)化的固定模式 噪聲（FPN)分量?？蒞實(shí)時(shí)地W及在離線處理中穩(wěn)健地并有效地估計(jì)噪聲的各種參數(shù)?？?W基于各種噪聲參數(shù)和運(yùn)動參數(shù)，對圖像中的噪聲進(jìn)行自適應(yīng)地濾波。該種濾波技術(shù)可W 有效地抑制噪聲，甚至是具有突出的FPN分量的圖像中的噪聲，并且還可W提高可能受到 噪聲影響的其他操作的效率。
[0007] 在一個(gè)實(shí)施例中，一種方法包括：接收多個(gè)視頻圖像帖；通過對從所述視頻圖像 帖提取的多個(gè)圖像塊進(jìn)行分組，構(gòu)建多個(gè)時(shí)空體積；對所述時(shí)空體積進(jìn)行濾波，其中，所述 濾波為對所述視頻圖像帖中的隨機(jī)噪聲（RND)分量的功率譜密度（PSD)和固定模式噪聲 (FPN)分量的PSD進(jìn)行建模，W抑制該兩種類型的噪聲；W及對濾波后的時(shí)空體積的圖像塊 進(jìn)行聚合，W生成多個(gè)濾波后的視頻圖像帖。
[000引在另一個(gè)實(shí)施例中，一種系統(tǒng)包括；視頻接口，其被配置為接收多個(gè)視頻圖像帖； 處理器，其與所述視頻接口通信并被配置為：通過對從所述視頻圖像帖提取的多個(gè)圖像塊 進(jìn)行分組，構(gòu)建多個(gè)時(shí)空體積，對所述時(shí)空體積進(jìn)行濾波，其中，所述濾波為對所述視頻圖 像帖中的隨機(jī)噪聲（RND)分量的功率譜密度（PSD)和固定模式噪聲（FPN)分量的PSD進(jìn)行 建模，W抑制該兩種類型的噪聲；W及對濾波后的時(shí)空體積的圖像塊進(jìn)行聚合，W生成多個(gè) 濾波后的視頻圖像帖；W及存儲器，其與所述處理器通信并被配置為存儲所述視頻圖像帖。
[0009] 本發(fā)明的范圍由通過引用的方式合并到該部分的權(quán)利要求書限定。通過考慮下面 對一個(gè)或多個(gè)實(shí)施例的詳細(xì)描述，將向本領(lǐng)域技術(shù)人員提供對本發(fā)明實(shí)施例的更加完整的 理解W及其實(shí)現(xiàn)的附加的優(yōu)點(diǎn)。參考首先將簡要介紹的附圖。
【附圖說明】
[0010] 圖1示出了根據(jù)本公開實(shí)施例的視頻處理系統(tǒng)的框圖。
[0011] 圖2A-2B示出了根據(jù)本公開實(shí)施例的視頻圖像中的隨機(jī)噪聲的例子。
[0012] 圖2C示出了根據(jù)本公開實(shí)施例的視頻圖像中的固定模式噪聲腫腳的例子。
[0013] 圖3A和3B示出了根據(jù)本公開實(shí)施例的、分別表示隨機(jī)噪聲分量和FPN分量的功 率譜密度的例子的圖表。
[0014] 圖4示出了根據(jù)本公開實(shí)施例的、抑制視頻圖像中的噪聲的過程的流程圖。
[0015] 圖5示出了根據(jù)本公開實(shí)施例的、構(gòu)建并濾波時(shí)空體積W抑制視頻圖像中的噪聲 的過程的流程圖。
[0016] 圖6示出了根據(jù)本公開實(shí)施例的、為了構(gòu)建時(shí)空體積而提取圖像塊所沿著的運(yùn)動 軌跡的例子。
[0017] 圖7示出了根據(jù)本公開實(shí)施例的、對時(shí)空體積的=維（3D)光譜執(zhí)行濾波的視覺表 /J、- 〇
[0018] 圖8示出了根據(jù)本公開實(shí)施例的、隨機(jī)噪聲分量和FPN分量的功率譜密度的例子 的各種二維（2D)變換的表示。
[0019] 圖9示出了根據(jù)本公開實(shí)施例的、紅外成像傳感器捕獲的輸入視頻圖像帖的例 子。
[0020] 圖10A示出了通過使用傳統(tǒng)技術(shù)進(jìn)行濾波產(chǎn)生的視頻圖像帖的例子。
[0021] 圖10B示出了通過使用傳統(tǒng)技術(shù)進(jìn)行濾波和增強(qiáng)產(chǎn)生的視頻圖像帖的例子。
[0022] 圖11A示出了根據(jù)本公開實(shí)施例進(jìn)行濾波后產(chǎn)生的視頻圖像帖的例子。
[0023] 圖11B示出了根據(jù)本公開實(shí)施例進(jìn)行濾波和增強(qiáng)后產(chǎn)生的視頻圖像帖的例子。
[0024] 通過參考下面的詳細(xì)描述，可W最好地理解本發(fā)明的實(shí)施例及其優(yōu)點(diǎn)。應(yīng)當(dāng)理解 的是，相同的參考標(biāo)號用于標(biāo)識在一個(gè)或多個(gè)附圖中示出的相同的元件。
【具體實(shí)施方式】
[0025] 本文公開的方法和系統(tǒng)的各種實(shí)施例可用于對隨機(jī)噪聲和FPN建模W抑制圖像 (例如，視頻或靜止圖像）中的兩種類型的噪聲。更具體的，在一個(gè)或多個(gè)實(shí)施例中，即使 在具有突出的FPN分量的圖像中，通過更準(zhǔn)確地對噪聲建模W包括隨機(jī)噪聲分量和FPN分 量、估計(jì)一個(gè)或多個(gè)噪聲參數(shù)，基于運(yùn)動自適應(yīng)參數(shù)對圖像進(jìn)行濾波、和/或執(zhí)行本文描述 的其他操作，方法和系統(tǒng)可W允許有效地抑制噪聲。
[0026] 在本文公開的方法和系統(tǒng)的一個(gè)方面，可W在時(shí)空體積上執(zhí)行濾波，可W通過對 沿著運(yùn)動軌跡從視頻圖像帖序列提取的圖像塊進(jìn)行分組（例如，固定大小的部分或一段視 頻圖像帖）來構(gòu)建時(shí)空體積中的任意一個(gè)。因?yàn)樵摃r(shí)空體積中不同的圖像塊可W屬于視頻 圖像上的不同的空間位置，所WFPN可W顯示為體積中的隨機(jī)噪聲，從而可W將FPN作為該 種隨機(jī)噪聲進(jìn)行建模和濾波。如果運(yùn)動很少或沒有運(yùn)動，不同的圖像塊可W對準(zhǔn)（例如，屬 于視頻圖像帖上的相同的空間位置），從而FPN可W在時(shí)空體積中保持為該樣。就該方面而 言，如本文進(jìn)一步描述的，不僅基于各種噪聲參數(shù)，還基于在時(shí)空體積中捕獲的相對運(yùn)動， 通過自適應(yīng)地對時(shí)空體積濾波，本公開的各種實(shí)施例可W有效地抑制FPN。
[0027] 在本文公開的方法和系統(tǒng)的另一個(gè)方面，根據(jù)本公開的各個(gè)實(shí)施例，可W通過使 用待處理的視頻圖像和/或可W用于估計(jì)噪聲參數(shù)目的的其他視頻圖像，估計(jì)與FPN和隨 機(jī)噪聲都相關(guān)的一個(gè)或多個(gè)噪聲參數(shù)。
[002引因此，在各種實(shí)施例中，可W基于估計(jì)的噪聲參數(shù)和在體積中捕獲的運(yùn)動（例如， 圖像塊的逐帖的相對空間對準(zhǔn)），在時(shí)空體積上自適應(yīng)地執(zhí)行濾波操作。在某些實(shí)施例 中，可W通過對時(shí)空體積應(yīng)用=維（3D)變換（例如，離散余弦變換值CT)、離散正弦變換 值ST)、離散小波變換值WT)或其他正交變換）W獲得3D光譜、修改（例如，調(diào)整、自適應(yīng) 地縮?。?D光譜的系數(shù)并且應(yīng)用逆變換W獲得濾波后的時(shí)空體積，來有效地執(zhí)行該濾