專利名稱：一種基于精準圖像拼接的攝像機鏡頭去污方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像與視頻的修復和圖像匹配與拼接，屬于數(shù)字圖像處理領(lǐng)域。
背景技術(shù)：
在拍攝數(shù)字視頻或圖像時，機頭表面存在的污跡會對拍攝圖像質(zhì)量造成較大的影 響。尤其是在戶外拍攝時，更容易出現(xiàn)這種狀況。在得到有污跡的數(shù)字視頻或圖像后，解決 問題的一個有效的方法是利用圖像復原技術(shù)對有損的圖像區(qū)域進行復原。然而照相設(shè)備鏡 頭污跡引起的圖像噪音和一般的圖像噪音有很大的不同。首先，其噪音分布無規(guī)律，不同污 跡對圖像造成的影響也不同，無法用簡單的數(shù)學方法描述。其次，由污跡引起的噪音一般較 集中，經(jīng)常集中在一個或幾個范圍內(nèi)。鑒于以上原因，現(xiàn)今的圖像去污方法主要有兩種一種方法是利用圖像修描、紋理 合成等技術(shù)，對圖像的污跡范圍進行填充。這種方法最大的問題就是還原的圖像與真實圖 像有較大偏差。另一種方法是通過建立污跡引起圖像噪音的數(shù)學模型，模擬噪聲，進一步去 除噪音。這種方法的相比前一種方法，效果和效率較差，但是保證了和真實圖像的相近性。近年來，在圖像修描、紋理合成等技術(shù)方面在"CRIMINISI，A.，PEREZ,P.，AND Τ0ΥΑΜΑ, K. 2003. Object removal byexemplar-based inpainting. In In IEEE Conference on Computer Vision and PatternRecognition”中，Criminisi等人公開了一種基于紋理模型的圖像復原方法。該方 法結(jié)合了紋理合成與圖像修描的技術(shù)。該方法可以填補圖像中一定區(qū)域，但是填補區(qū)域需 要事先指定，而且復原圖像不能保證與真實圖像完全一致。因此無法很好的解決因攝像頭 污跡引起的圖像受損問題。在"LIU,Y.，BELKINA, T.，HAYS, J. H.，AND LUBLINERMAN, R. 2008. Imagede-fencing.In IEEE Conference on Computer Vision and Pattern Recognition (CVPR). ”中，LIU等人公開了一種自動尋找并修描結(jié)構(gòu)化物體的方法。該方法 通過圖像統(tǒng)計和聚類的方法，自動找出圖像中成結(jié)構(gòu)化的物體，之后通過紋理合成的方法 進行去除。但是此方法要求被去除物體有較強的結(jié)構(gòu)上的重復性，如類似柵欄的物體。因 此該方法無法實用于去除形狀隨機的物體的情況。在"SUN，J.，YUAN,L.，JIA, J.，AND SHUM, H. -Y. 2005. Image completion withstructure propagation. ACM Transactions on Graphics(SIGGRAPH)24,3,861-868.，， 中，SUN等人公開了一種利用結(jié)構(gòu)傳播修描圖像的方法。該方法利用修描區(qū)域周圍的物體 的結(jié)構(gòu)信息修復圖像。該方法對修描區(qū)域周圍的圖像信息有一定的要求，要求修描區(qū)域周 圍對修描區(qū)域內(nèi)部提供一定的結(jié)構(gòu)信息。因此在要求修描區(qū)域周圍無結(jié)構(gòu)信息的情況下， 不能很好的填充被修描區(qū)域。在模型化污跡圖像方面在‘‘TALVALA，Ε.-V.，ADAMS, Α.，HOROWITZ, Μ.，AND LEVOY, Μ. 2007. Veilingglare in high dynamic range imaging. ACM Transactions on Graphics (SIGGRAPH)26,3,37 1-37 10. ”中，TALVALA等人公開了一種模型化的方法，用于解決強光引起的圖像對比度不 足。但是該方法無法給不確定區(qū)域的攝像頭污跡引起的圖像受損建立模型。在"J Gu, R Ramamoorthi, P Belhumeur, S Nayar.2009. Removing Image ArtifactsDue to Dirty Camera Lenses and Thin Occluders-ACM Transactions on Graphics (SIGGRAPH). ”中，Gu等人對照相機鏡頭污跡引起的圖像偽影做了模型化處理。該 方法利用圖像統(tǒng)計方法，計算模型的參數(shù)。但該方法在進行圖像統(tǒng)計時需要極大量的圖像， 因此比較耗時，而且每次利用模型修復圖像時需要人工指定一些參數(shù)來優(yōu)化效果。

發(fā)明內(nèi)容
本發(fā)明解決的技術(shù)問題是克服現(xiàn)有技術(shù)的不足，提供一種基于精準圖像拼接的 攝像機鏡頭去污方法，該方法可以自動發(fā)現(xiàn)需要修復的區(qū)域，并且去污過程的耗時要遠小 于利用圖像統(tǒng)計建立模型的方法，最終所得的復原圖像的與真實圖像的吻合度相比其他方
法要尚O本發(fā)明的技術(shù)解決方案一種基于精準圖像拼接的攝像機鏡頭去污方法，包括以 下步驟(1)對于一個鏡頭表面存在污跡的照相設(shè)備，采用此鏡頭表面存在污跡的照相設(shè) 備拍攝的一組圖像或一段視頻；(2)該有污漬的一組圖像或視頻中的每一幀組成的輸入圖像序列為I1;I2，. . .,In, 其中Ik(l<k<n)為上述有污漬的一組圖像中的一幅圖像或視頻中的一幀圖像，η為圖像 序列中的圖像總數(shù)。對于輸入圖像序列，分RGB三通道逐像素點計算輸入圖像序列的方差， 得到方差矩陣D (x, y，ρ)，其中x，y為坐標位置，ρ為通道數(shù)(1彡ρ彡3)；(3)采用步驟( 求得的RGB三通道的輸入圖像序列的方差為每一個圖像坐標位 置Px, y建立一個三維的描述向量。對所有的坐標位置進行聚類，找出污跡范圍禮。其中污 跡范圍Rtl用與輸入圖像等大的二值矩陣表示，用1表示不存在污跡，0表示存在污跡；(4)對步驟(3)求得的污跡范圍Rtl進行放大，確保Rtl大于真實污跡范圍；(5)提取輸入圖像序列I1, 12，. . .，In的特征，然后對提取的輸入圖像序列的特征 進行匹配，之后建立輸入圖像間的匹配關(guān)系，即任意兩幅圖像是否匹配；(6)根據(jù)步驟( 所得的輸入圖像間的匹配關(guān)系，計算每兩幅圖像間的3x3透視變 換矩陣(單應性矩陣)；(7)利用步驟⑷得到的放大后的污跡范圍Rtl,剔除掉圖像序列中的污跡部分，得 到新的圖像序列I' I' 2，...，Γ 共11幅圖像，其中圖像Γ k(l<k<n)為圖像Ik 根據(jù)污跡范圍將有污跡區(qū)域剪裁掉所得；(8)對步驟(7)得到的一幅圖像Γ k(l < k < η)，根據(jù)步驟(5)所得的輸入圖像 間的匹配關(guān)系，可以找到與圖像Ik匹配的圖像所有圖像，共m幅。將這些圖像記為Ikl，Ik2,
Ik3，......Ikm，其中(1 < ki < n，1 < i < m)。將 Ikl，Ik2, Ik3,......Ikm 所對應的利用步驟
(7)所得到的圖像記為I' kl, I' k2, I' k3，......Γ km。利用步驟(6)得到的Ik與Ikl，
Ik2，Ik3，......！km 間的變換矩陣將圖像Γ kl，i k2，I k3，......I km 變換到Γ k所在
平面，然后利用圖像Γ kl，I' k2, I' k3，……I' km中的圖像區(qū)域填補r k的被剔除部 分，即可得到圖像Ik的復原圖像；
(9)對每幅要進行去污工作的圖像執(zhí)行步驟(8)，即可得到相應的復原圖像。所述的步驟O)的逐點計算圖像序列的方差D(x，y, ρ)的過程為對圖像序列的某一坐標點(Xl，yi)，分別計算其三通道的圖像序列方差D(Xl，yi，p)
權(quán)利要求
1.一種基于精準圖像拼接的攝像機鏡頭去污方法，其特征在于實現(xiàn)步驟如下(1)對于一個鏡頭表面存在污跡的照相設(shè)備，采用此鏡頭表面存在污跡的照相設(shè)備拍 攝的一組圖像或一段視頻；(2)該有污漬的一組圖像或視頻中的每一幀組成的輸入圖像序列為I1;I2，.. .，In，其中 Ik(l <k<n)為上述有污漬的一組圖像中的一幅圖像或視頻中的一幀圖像，η為圖像序列 中的圖像總數(shù)；對于輸入圖像序列，分RGB三通道逐像素點計算輸入圖像序列的方差，得到 方差矩陣D (x, y，ρ)，其中x，y為坐標位置，ρ為通道數(shù)，1彡ρ彡3 ；(3)采用步驟( 求得的RGB三通道的輸入圖像序列的方差矩陣為每一個圖像坐標位 置Px,y建立一個三維的描述向量；對所有的坐標位置進行聚類，找出污跡范圍Rtl ；(4)對步驟(3)求得的污跡范圍Rtl進行放大，確保Rtl大于真實污跡范圍；(5)提取輸入圖像序列I1,I2, ...,In的特征，然后對提取的輸入圖像序列的特征進行 匹配，之后建立輸入圖像間的匹配關(guān)系，即任意兩幅圖像是否匹配；(6)根據(jù)步驟(4)所得的輸入圖像間的匹配關(guān)系，計算每兩幅圖像間的3X3透視變換 矩陣，即單應性矩陣；(7)利用步驟(4)得到的放大后的污跡范圍Rtl，剔除掉圖像序列中的污跡部分，得到新 的圖像序列Γ2，...，Γ 共11幅圖像，其中圖像Γ k(l <k<n)為圖像Ik根據(jù) 污跡范圍將有污跡區(qū)域剪裁掉所得；(8)對步驟(6)得到的一幅圖像Γk(l <k<n)，根據(jù)步驟(5)所得的輸入圖像 間的匹配關(guān)系，找到與圖像Ik匹配的圖像所有圖像，共m幅，將這些圖像記為Ikl，Ik2,Ik3，......Ikm，其中(1 < ki < n，1 < i < m)；將 Ikl，Ik2, Ik3,......Ikm 所對應的利用步驟(7)所得到的圖像記為I' kl，I' k2,I' k3，......Γ km，利用步驟(6)得到的Ik與Ikl，Ik2，Ik3,......Ikm間的變換矩陣將圖像Γ kl, I' k2，Γ k3，......Γ km變換到Γ k所在平面，然后利用圖像Γ kl，I' k2，I' k3，……I' km中的圖像區(qū)域填補Γ k的被剔除部分， 即可得到圖像Ik的復原圖像；(9)對每幅要進行去污工作的圖像執(zhí)行步驟(7)，即可得到相應的復原圖像。
2.根據(jù)權(quán)利要求1所述的一種基于精準圖像拼接的攝像機鏡頭去污方法，其特征在 于所述步驟O)的逐點計算圖像序列的方差D(x，y, ρ)的過程為對圖像序列的某一坐標點(Xl，yi)，分別計算其三通道的圖像序列方差D(Xl，Yl, p)，1 ^ ρ ^ 3, ^1^1'^) = Σ'^))2，其中7為圖像序列的像素平均值，k 1l^k^ n，對圖像序列逐點求取方差，可以得到三通道的方差矩陣D。
3.根據(jù)權(quán)利要求1所述的一種基于精準圖像拼接的攝像機鏡頭去污方法，其特征在 于所述步驟(3)的聚類實現(xiàn)過程為根據(jù)步驟( 所計算的方差，為圖像序列的每個位置 Px, y建立一個三維描述向量(D (x, y，1)，D (χ, y，2)，D (χ, y，3))，然后使用k-means方法，對 輸入圖像序列中的位置進行聚類，其中k-means的中心點個數(shù)取2，最終將輸入圖像序列中 的位置分為兩類，比較兩類位置點的中心點的方差值，其中方差值較小的一組位置為有污 跡位置，以得到的污跡位置范圍建立一個污跡分布的二值圖Rtl，用1表示不存在污跡，0表 示存在污跡。
4.根據(jù)權(quán)利要求1所述的一種基于精準圖像拼接的攝像機鏡頭去污方法，其特征在于所述步驟中對污跡范圍Rtl進行圖像膨脹操作即可實現(xiàn)放大。
5.根據(jù)權(quán)利要求1所述的一種基于精準圖像拼接的攝像機鏡頭去污方法，其特征在 于所述步驟(5)提取輸入圖像序列的特征，進行匹配，之后建立圖像間的匹配關(guān)系的實現(xiàn) 過程如下首先提取輸入圖像序列的尺度不變特征，然后利用多維檢索樹型結(jié)構(gòu)kd-tree 對每兩幅圖像間的特征進行拼配，可得到特征間的匹配關(guān)系，根據(jù)兩幅圖像特征之間的匹 配關(guān)系以確定圖像之間匹配關(guān)系的有無。
6.根據(jù)權(quán)利要求1所述的一種基于精準圖像拼接的攝像機鏡頭去污方法，其特征在 于所述的步驟(6)的每兩幅圖像間的3X3透視變換矩陣的計算公式如下；記兩幅圖像Ip Ik之間的透視變換矩陣為Hjk
7.根據(jù)權(quán)利要求1所述的一種基于精準圖像拼接的攝像機鏡頭去污方法，其特征在 于所述的步驟(8)的修補污跡圖像中的填補過程為利用變換到圖像Γ k平面的圖像 塊，填補圖像Γ k中的被剔除區(qū)域，優(yōu)先以和Γ k匹配程度高的圖像中的圖像塊填補圖 像Γ k，在利用圖像&，修補圖像Γ k時，在圖像&中找出處于圖像Γ k被剔除區(qū)域里的 圖像塊，用之填補圖像Γ k，圖像Γ k的被剔除范圍縮小，&是與Γ k匹配的圖像變換到 I' k所在平面后所得的圖像；重復以上步驟，直到圖像Γ k的被剔除范圍全部被填充，得 到復原圖像Γ k的圖像。
全文摘要
一種基于精準圖像拼接的攝像機鏡頭去污方法。攝像機鏡頭存在污跡會對拍攝圖像質(zhì)量造成很大影響，且攝像機如視頻監(jiān)控設(shè)備等很容易在鏡頭表面附著污漬。手動方法去除這些污漬有可能比較的費力，而且也無法改變已經(jīng)拍攝好的視頻和圖像。本發(fā)明提出了一種利用精準全景圖像拼接的方法去除污跡的方法。對于一個鏡頭有污跡的攝像機，和用該鏡頭拍攝的一段視頻(連續(xù)圖像)。為了去除拍攝視頻或圖像中的污漬，本方法首先利用圖像累加的方法找出污跡范圍，然后用高精度匹配方法利用污漬圖像前后幀的相關(guān)信息填補污漬區(qū)域，從而得到?jīng)]有污跡的圖像。通過本方法得到的復原圖像或視頻和真實圖像無污染原始圖像有最大的相似度，實驗效果表現(xiàn)優(yōu)異，算法耗時不高。
文檔編號G06T5/50GK102096915SQ20111003503
公開日2011年6月15日 申請日期2011年2月9日 優(yōu)先權(quán)日2011年2月9日
發(fā)明者百曉, 鄭肖 申請人:北京航空航天大學