3維區(qū)塊匹配的圖像去噪的方法與裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明關(guān)于圖像處理，特別是關(guān)于3維區(qū)塊匹配（three-dimensional block-matching)的圖像去噪（去噪）方法。
【背景技術(shù)】
[0002] 由攝影機或者其他視頻以及圖像系統(tǒng)獲得的圖像通常包含由模擬裝置引入的或 者在模擬信號轉(zhuǎn)換成數(shù)字信號時引入的噪聲（noise)。在低光條件下，噪聲可能是一個嚴(yán)重 的問題。因此需要圖像去噪的技術(shù)來增進捕獲圖像的信號質(zhì)量。依據(jù)使用的數(shù)據(jù)，圖像去 噪方法被分為空間去噪方法、時間去噪方法以及結(jié)合的去噪方法，其中空間去噪方法僅僅 使用幀內(nèi)信息，時間去噪方法使用幀間信息以及運動補償，以及結(jié)合的去噪方法結(jié)合使用 幀內(nèi)信息以及幀間信息。
[0003] 3維區(qū)塊匹配（以下簡稱為BM3D)方法被發(fā)展來執(zhí)行圖像去噪。通過區(qū)塊匹配（以 下也可簡稱為BM)，每一 2維（two-dimensional, 2D)參考圖像片（patch)的相似的2維圖 像片被識別來執(zhí)行去噪。從靜態(tài)圖像或者包含參考圖像片的視頻幀中通過空間去噪方法來 選擇相似的2D圖像片。對于時間去噪方法來說，相似的圖像片可以從一列數(shù)字視頻幀中找 到。依據(jù)分組的圖像片的相似性，參考圖像片以及匹配圖像片可以組成一個圖像片集合。圖 像片集合被轉(zhuǎn)換以及去噪。參考圖像片以及其相似圖像片（也可以稱為匹配圖像片）的加 權(quán)平均可用來減少參考圖像片中所有像素的噪聲。
[0004] 圖1是通過區(qū)塊匹配分析圖像，來識別相似圖像片以及分組多個圖像片為多個圖 像片集合，每一個圖像片集合可以代表一個數(shù)據(jù)陣列（data array)。如圖1所示，通過區(qū) 塊匹配來處理一個噪聲圖像，并且每一個處理的圖像片以及相似圖像片被分組為3D陣列。 每一個通過區(qū)塊匹配處理的圖像片也被認(rèn)為是一個參考圖像片。參考圖像片R10以及匹配 圖像片Mil與M12被分為一組，來組成3D數(shù)據(jù)陣列110。參考圖像片R20具有4個具有相 似的圖像內(nèi)容的匹配圖像片M21、M22、M23與M24。這5個圖像片進棧至3D數(shù)據(jù)陣列120。 圖像片R30與匹配圖像片M31、M32以及M33被分組至3D數(shù)據(jù)陣列130。圖像片R40與其 匹配圖像片M41、M42以及M43-同被分組至3D數(shù)據(jù)陣列140。在每一個3D數(shù)據(jù)陣列中， 使用每一個3D數(shù)據(jù)陣列中圖像片之間的關(guān)聯(lián)（correlation)來增強圖像處理的性能。
[0005] 依據(jù)使用區(qū)塊匹配去噪的結(jié)果，一個圖像的在轉(zhuǎn)換域的噪聲減弱。圖2是通過 BM3D方法執(zhí)行圖像去噪的流程圖的舉例說明。在具有噪聲的圖像210上去噪是通過兩個去 噪流程來執(zhí)行。第一個去噪流程是流程220,其通過硬閾值處理（hard-thresholding)執(zhí) 行圖像去噪，第二個去噪流程是流程230,其通過實證維納濾波（Wiener filtering)執(zhí)行圖 像去噪。在流程220中，在噪聲圖像210上執(zhí)行通過區(qū)塊匹配分組，來通過流程221尋找當(dāng) 前圖像片的相似圖像片。原始噪聲圖像的當(dāng)前圖像片被用作一個參考圖像片，以R1表示。 通過流程222,參考圖像片R1與其相似圖像片一同被分組為一個3D數(shù)據(jù)陣列。接著，從3D 轉(zhuǎn)換223開始，3D數(shù)據(jù)陣列通過轉(zhuǎn)換域收縮（transform-domain shrinkage)處理。3D轉(zhuǎn) 換對應(yīng)一個單一轉(zhuǎn)換，其以2D離散余弦轉(zhuǎn)換（2D discrete cosine transform DCT)連接 一個ID哈達瑪轉(zhuǎn)換（by ID Hadamard transform)來實現(xiàn)。3D陣列中的多個圖像片之間 的相似性或者關(guān)聯(lián)性是通過應(yīng)用3D單一轉(zhuǎn)換來產(chǎn)生一個3D轉(zhuǎn)換域的真實信號的空間代表 來實現(xiàn)。接著，通過在3D域中的轉(zhuǎn)換系數(shù)的硬閾值處理224,減弱噪聲，并且獲得對應(yīng)的權(quán) 重。執(zhí)行硬閾值處理224之后的反3D轉(zhuǎn)換（Inverse 3D transform) 225,來產(chǎn)生所有圖像 片的估計。噪聲圖像的所有圖像片以一個滑動的方式來處理，以產(chǎn)生所有圖像片的逐塊估 計。針對每一個參考區(qū)塊的重疊的逐塊估計形成了一個真實信號的冗余估計（redundant estimate)。為了獲得噪聲圖像的一個非冗余估計，在逐塊估計以及硬閾值處理224產(chǎn)生的 權(quán)重上執(zhí)行聚集（aggregation) 226。通過聚集226,在去噪流程220,獲得噪聲圖像的基本 估計（basic estimate) 〇
[0006] 噪聲圖像的基本估計（即所有圖像片的加權(quán)平均）在第二去噪流程230中被使 用。第二去噪流程230使用維納濾波，而不是硬閾值處理，來減弱噪聲。R1基本估計被標(biāo)示 為參考圖像片R2。在基本估計內(nèi)，而并非是在噪聲圖像210內(nèi)，執(zhí)行通過區(qū)塊匹配231的分 組，來找到參考圖像片R2的多個相似圖像片。R2以及其相似圖像片一同進棧，來通過流程 232形成一個3D數(shù)據(jù)陣列。通過包含2D離散余弦轉(zhuǎn)換以及1D哈達瑪轉(zhuǎn)換的3D轉(zhuǎn)換233 來處理3D數(shù)據(jù)。通過維納濾波234來處理轉(zhuǎn)換系數(shù)，以減弱轉(zhuǎn)換域（transform domain) 中的噪聲并且產(chǎn)生每一個圖像片的權(quán)重。接著執(zhí)行3D反轉(zhuǎn)換235,來獲得所有圖像片的估 計。圖像的所有圖像片以滑動的方式被處理，以產(chǎn)生逐塊估計。通過聚集236完成最后的 維納估計240。最后的維納估計240是依據(jù)維納濾波234獲得權(quán)重以及反3D轉(zhuǎn)換235獲得 逐塊估計來計算。
[0007] 在通過硬閾值處理的BM3D圖像去噪的過程中（例如圖2所示的流程220)，在轉(zhuǎn) 換系數(shù)收縮上利用噪聲方差（Noise variance)來實現(xiàn)去噪。
[0008] 圖3是通過在具有區(qū)塊匹配的3D轉(zhuǎn)換域中使用硬閾值處理來去噪的流程圖的 舉例說明。依據(jù)輸入的噪聲圖像估計噪聲方差。如圖3所示，首先通過方差估計311來 估計方差〇 2,以處理噪聲圖像310。依據(jù)估計結(jié)果，在程序312中計算標(biāo)準(zhǔn)差（standard deviation) 〇。標(biāo)準(zhǔn)差〇輸出至區(qū)塊匹配程序320以及去噪程序330,其通過硬閾值處理 收縮轉(zhuǎn)換系數(shù)。區(qū)塊匹配程序320在噪聲圖像310上執(zhí)行區(qū)塊匹配，以產(chǎn)生區(qū)塊匹配結(jié)果 S XK。區(qū)塊匹配結(jié)果SXK包含匹配圖像片的系數(shù)，匹配圖像片與參考圖像片（表示為R)相 似。通過在3D轉(zhuǎn)換域的硬閾值處理，去噪程序330使用區(qū)塊匹配結(jié)果以及標(biāo)準(zhǔn)差〇來執(zhí) 行去噪。
[0009] 依據(jù)區(qū)塊匹配的結(jié)果，每一個參考圖像片以及匹配圖像片被分組，以形成3D數(shù)據(jù) 陣列Z SXK。通過在3D轉(zhuǎn)換域的硬閾值處理實現(xiàn)的去噪程序在3D陣列ZSXK上執(zhí)行。在3D 轉(zhuǎn)換域的去噪程序包含3個步驟，其分別是3D轉(zhuǎn)換、硬閾值處理以及反3D轉(zhuǎn)換。3D轉(zhuǎn)換依 據(jù)分組的圖像片的相似性，產(chǎn)生真實信號在轉(zhuǎn)換域的空間代表。通過硬閾值處理轉(zhuǎn)換系數(shù)， 產(chǎn)生每一個分組圖像片的對應(yīng)的權(quán)重，并且依據(jù)標(biāo)準(zhǔn)差 〇的值來減弱分組圖像片的噪聲。 在硬閾值處理之后的反3D轉(zhuǎn)換重新構(gòu)建每一個圖像片的估計。在3D轉(zhuǎn)換域的去噪程序 332輸出重新構(gòu)建的圖像片估計的權(quán)重《SXK以及3D陣列fSxR。通過相乘程序341，凱賽窗 (Kaiser window)Wwin2D乘以權(quán)重c〇SxK來產(chǎn)生具有權(quán)重W(xR)的圖像片。通過程序343,分 母的總和，以wbuff來表示，累積至權(quán)重緩沖器（weights buffer)。通過使用凱賽窗Wwin2D, 減少在圖像片的邊界上的偽像的影響（邊界影響）。另一個相乘程序342被用來將具有權(quán) 重W(xR)的圖像片與每一個重新構(gòu)建的圖像片的估計相乘。通過程序344,相乘程序342 的結(jié)果累積至估計緩沖器（estimate buffer)。分子的總和以"ebuff"表示。程序345通 過將ebuff除以wbuff來計算噪聲圖像的中間估計（intermediate estimate)或者基本估 計，以產(chǎn)生估計的圖像。中間估計在通過維納濾波實現(xiàn)的去噪程序中被用作基本估計。
[0010] 在傳統(tǒng)的BM3D方法的硬閾值處理中，許多相關(guān)技術(shù)估計輸入噪聲圖像的用來去 噪的圖像噪聲方差，并且其他一些相關(guān)的技術(shù)假設(shè)輸入圖像的噪聲方差是已知的。噪聲方 差在輸入圖像或者在轉(zhuǎn)換域中定義。然而，所有的傳統(tǒng)的去噪方法具有相同的缺陷，即無論 噪聲方差是如何估計的，相同的噪聲方差應(yīng)用至整個圖像。舉例來說，使用相同的噪聲方差 來減少輸入圖像的所有圖像片的噪聲。另外一個舉例說明是，轉(zhuǎn)換輸入圖像至一個新的圖 像域，例如頻率域。接著，在新的圖像域執(zhí)行BM3D方法，并且使用相同的噪聲方差來處理輸 入圖像的所有圖像片。在去噪程序中，相同的方差也應(yīng)用在空間域或者轉(zhuǎn)換域的整體圖像。
[0011] 實際