專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法，尤其涉及一種用于通過迭代反向投影方法進行超分辨率重建的圖像處理設(shè)備和圖像處理方法。
背景技術(shù)：
高分辨率圖像在計算機視覺、醫(yī)學(xué)、遙感等諸多領(lǐng)域有著廣泛的應(yīng)用。通過提高成像裝置的分辨力來提高圖像分辨率，將使攝像儀器成本昂貴，并且傳統(tǒng)工藝也制約了成像裝置分辨力的提高。于是，通過軟件途徑提高圖像分辨率的超分辨率重建技術(shù)已成為研究執(zhí)占。超分辨率重建是用多幅低分辨率圖像，諸如視頻中的低分辨率幀序列，合成一幅高分辨率圖像的技術(shù)。當(dāng)前常用的超分辨率重建方法之一是迭代反向投影(IBP，IterativeBack Projection)方法。例如，在發(fā)表于“中國科技論文在線”的郭偉偉、章品正等人的文章“基于IBP算法的超分辨率圖像重建”介紹了一種IBP算法。當(dāng)?shù)头直媛蕡D像序列中的各幀是采取交織模式的交織圖像時，直接應(yīng)用超分辨率技術(shù)，諸如迭代反向投影方法，將無法得到期望的結(jié)果。

發(fā)明內(nèi)容
要解決這一問題，最直接的方法是將η幀交織圖像的奇行和偶行拆出來，構(gòu)成分辨率為WX(H/2)的2n幅圖像(即，垂直分辨率降為原來的1/2)，以作為一序列的觀測圖像，然后進行超分辨率計算。這里，假設(shè)低分辨率圖像序列中的各幀圖像的分辨率為WXH，其中，W和H分別表示圖像在水平和豎直方向上每單位長度(英寸)的像素點數(shù)。但這樣做在低分辨率圖像上已經(jīng)損失了一半的分辨率，使得超分辨率圖像的分辨率也降低一半。另一種方法是先對低分辨率圖像去交織，由η幅交織圖像(分辨率為WXH)恢復(fù)出2η幅同樣大小(WXH)的圖像，再對這2η幅圖像應(yīng)用超分辨率計算。這一方法可以保持低分辨率圖像的分辨率，從而得到高分辨率的超分辨率圖像。但是去交織只是對未知像素值的估計，估計值和真實值之間的誤差經(jīng)常劣化超分辨率的結(jié)果。鑒于現(xiàn)有技術(shù)的以上不足，本發(fā)明旨在提供一種用于通過迭代反向投影方法進行超分辨率重建的圖像處理設(shè)備和圖像處理方法，其能夠更充分有效地利用交織模式下的序列低分辨率圖像的圖像信息，來生成更加清晰的超分辨率圖像。本發(fā)明的一個實施例是一種圖像處理設(shè)備，用于通過迭代反向投影方法進行超分辨率重建。該圖像處理設(shè)備包括提取單元，被配置為從交織模式的低分辨率圖像序列中的每個低分辨率圖像中提取相應(yīng)的奇場圖像和偶場圖像；投影單元，被配置為針對每一個所提取的奇場圖像和偶場圖像，通過把高分辨率參考圖像投影到所述奇場圖像和偶場圖像來獲得分別與所述奇場圖像和偶場圖像相對應(yīng)的構(gòu)造圖像；誤差計算單元，被配置為針對每個低分辨率圖像，分別計算從中所提取的奇場圖像與相應(yīng)的構(gòu)造圖像間的奇場誤差圖像和從中所提取的偶場圖像與相應(yīng)的構(gòu)造圖像間的偶場誤差圖像；以及反向投影單元，被配置為通過將奇場誤差圖像和偶場誤差圖像反向投影到高分辨率參考圖像上，以更新高分辨率參考圖像。進一步地，該圖像處理設(shè)備還可以包括參考圖像生成單元，被配置為根據(jù)低分辨率圖像序列中之一低分辨率圖像的奇場圖像或偶場圖像生成初始的高分辨率參考圖像；以及運動估計單元，被配置為計算每一奇場圖像和偶場圖像相對于高分辨率參考圖像的運動向量，以獲得投影單元的投影和反向投影單元的反向投影所需的運動位移，其中，如果高分辨率參考圖像初始生成時所根據(jù)的圖像與待計算的奇場圖像和偶場圖像具有不同的奇偶性，則對所計算的運動向量的垂直分量 進行奇偶校正。進一步地，投影單元的投影/反向投影單元的反向投影可以采用縱向與橫向比例為2 I的降/升采樣。進一步地，投影單元和/或反向投影單元可以進一步被配置為采用在待濾波圖像的高度方向上的軸長與寬度方向上的軸長之比為2I的橢圓低通濾波器進行低通濾波。進一步地，投影單元和/或反向投影單元可以進一步被配置為采用在待濾波圖像的高度方向上的軸長大于寬度方向上的軸長的橢圓低通濾波器進行低通濾波。進一步地，反向投影單元可以進一步被配置為針對每個低分辨率圖像，根據(jù)已反向投影到高分辨率參考圖像的奇場誤差圖像和偶場誤差圖像獲取組合誤差圖像，以更新高分辨率參考圖像。進一步地，反向投影單元可以進一步被配置為通過將已反向投影到高分辨率參考圖像的奇場誤差圖像和偶場誤差圖像上相對應(yīng)的像素分別相加來獲取組合誤差圖像。本發(fā)明的另一個實施例是一種圖像處理方法，用于通過迭代反向投影方法進行超分辨率重建。圖像處理方法包括提取步驟，從交織模式的低分辨率圖像序列中的每個低分辨率圖像中提取相應(yīng)的奇場圖像和偶場圖像；投影步驟，針對每一個所提取的奇場圖像和偶場圖像，通過把高分辨率參考圖像投影到奇場圖像和偶場圖像來獲得分別與奇場圖像和偶場圖像相對應(yīng)的構(gòu)造圖像；誤差計算步驟，針對每個低分辨率圖像，分別計算從中所提取的奇場圖像與相應(yīng)的構(gòu)造圖像間的奇場誤差圖像和從中所提取的偶場圖像與相應(yīng)的構(gòu)造圖像間的偶場誤差圖像；和反向投影步驟，通過將奇場誤差圖像和偶場誤差圖像反向投影到高分辨率參考圖像上，以更新高分辨率參考圖像。利用本發(fā)明，通過使用迭代反向投影方法，將高分辨率參考圖像分別投影到從交織模式的低分辨率圖像中提取的奇場圖像和偶場圖像來獲得相應(yīng)的構(gòu)造圖像，進而求取奇場和偶場誤差圖像來反向投影到高分辨率參考圖像并對其進行更新，充分利用了低分辨率圖像的圖像信息，并且避免了使用去交織的低分辨率圖像所帶來的超分辨率圖像劣化。


參照下面結(jié)合附圖對本發(fā)明實施例的說明，會更加容易地理解本發(fā)明的以上和其它目的、特點和優(yōu)點。在附圖中，相同的或?qū)?yīng)的技術(shù)特征或部件將采用相同或?qū)?yīng)的附圖標(biāo)記來表示。在附圖中不必依照比例繪制出單元的尺寸和相對位置。圖I是示出迭代反向投影算法的工作流程的示意圖。圖2是示出根據(jù)本發(fā)明實施例的用于通過迭代反向投影方法進行超分辨率重建的圖像處理設(shè)備的示意性結(jié)構(gòu)框圖。
圖3示出從交織模式的低分辨率圖像提取相應(yīng)奇場圖像和偶場圖像的示意圖。圖4示出根據(jù)本發(fā)明另一實施例的圖像處理設(shè)備的結(jié)構(gòu)。圖5示出根據(jù)本發(fā)明實施例的參考圖像生成單元生成高分辨率參考圖像的過程的示意圖。圖6示出根據(jù)本發(fā)明實施例的通過迭代反向投影方法進行超分辨率重建的圖像處理方法的流程圖。
圖7是示出根據(jù)本發(fā)明實施例的通過迭代反向投影方法進行圖像的高分辨率重建的具體應(yīng)用的流程圖。圖8是示出在本發(fā)明具體應(yīng)用中計算構(gòu)造圖像與觀測圖像之間的誤差圖像的方法的流程圖。圖9是示出實現(xiàn)本發(fā)明的計算機的示例性結(jié)構(gòu)的框圖。
具體實施例方式下面參照附圖來說明本發(fā)明的實施例。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域技術(shù)人員已知的部件和處理的表示和描述。下文中，將按如下順序?qū)Ω鶕?jù)本發(fā)明實施例的圖像處理設(shè)備和圖像處理方法進行說明I. IBP算法介紹2.圖像處理設(shè)備的示例結(jié)構(gòu)2. I奇/偶場圖像的提取2. 2投影單元的投影處理2. 3誤差計算單元的誤差計算2. 4反向投影單元的反向投影處理3.圖像處理設(shè)備的可選結(jié)構(gòu)3. I高分辨率參考圖像的生成3. 2運動估計與奇偶校正4.圖像處理方法的示例流程5.圖像的高分辨率重建實例L IBP算法介紹圖I是示出迭代反向投影算法的工作流程的示意圖。迭代反向投影算法的最初輸入包括觀測到的一系列低分辨率圖像，如圖I所示的一系列低分辨率觀測圖像103。一般地，該一系列低分辨率觀測圖像是對由諸如攝像機等圖像采集裝置獲得的圖像序列進行諸如去交織等處理后獲得的，是構(gòu)建超分辨率圖像的基礎(chǔ)。為了說明方便，將圖I中最小的正方形區(qū)域視為一個像素，則每個低分辨率觀測圖像103的分辨率為2X2。在迭代反向投影算法中，如果要構(gòu)建在水平和豎直方向上的分辨率都放大L倍(L> D的超分辨率圖像，則首先需要構(gòu)建一個分辨率為低分辨率觀測圖像的分辨率的L倍的初始推測圖像，即高分辨率參考圖像。與低分辨率觀測圖像103的分辨率相比，圖I中所示的高分辨率參考圖像101的分辨率分別在水平和豎直方向上放大了 L倍，即其總分辨率是(2L) X (2L)。迭代反向投影算法以初始的高分辨率參考圖像開始。針對每個低分辨率觀測圖像103，根據(jù)高分辨率參考圖像得到與低分辨率觀測圖像103的分辨率相同的低分辨率構(gòu)造圖像(圖I中所示的低分辨率構(gòu)造圖像102)。這個過程是高分辨率參考圖像101向低分辨率觀測圖像103投影的過程，也稱為將高分辨率參考圖像投影到低分辨率觀測圖像的過程。在這個過程中，與低分辨率觀測圖像103的像素(如以黑框示出的)相對應(yīng)的高分辨率參考圖像101的像素(同樣以黑框示出)被投影為低分辨率構(gòu)造圖像102中的對應(yīng)像素(以黑框示出)。然后，求取低分辨率構(gòu)造圖像102和相應(yīng)低分辨率觀測圖像103之間的誤差。如圖I所示，例如，將低分辨率構(gòu)造圖 像102中的像素與相應(yīng)低分辨率觀測圖像103中的對應(yīng)像素的值相減，以得到誤差圖像104。然后，將低分辨率構(gòu)造圖像102和相應(yīng)低分辨率觀測圖像103之間的誤差(誤差圖像104)反映在高分辨率參考圖像101中，以對其不斷進行修正。這個過程是誤差圖像104向高分辨率參考圖像101反向投影的過程。如圖I所示，誤差圖像104中的像素被反映到高分辨率參考圖像101的相應(yīng)像素集中。從初始的高分辨率參考圖像開始，針對一系列低分辨率觀測圖像中的每個重復(fù)上述投影和反投影的過程。最后，可以得到較理想的超分辨率圖像。下文中，對根據(jù)本發(fā)明實施例的用于通過迭代反向投影方法進行超分辨率重建的圖像處理設(shè)備進行詳細(xì)描述。2.圖像處理設(shè)備的示例結(jié)構(gòu)圖2是示出根據(jù)本發(fā)明實施例的通過迭代反向投影方法進行超分辨率重建的圖像處理設(shè)備200的示意性結(jié)構(gòu)框圖。如圖2所示，圖像處理設(shè)備200包括提取單元201、投影單元202、誤差計算單元203以及反向投影單元204。提取單元201被配置為從交織模式的低分辨率圖像的序列I中的每個低分辨率圖像IiQe [I, η], n e N)中提取相應(yīng)的奇場圖像OIi和偶場圖像EIitl交織模式的低分辨率圖像的序列可例如是采用隔行掃描方式的攝像機所記錄的一段視頻的幀序列。由這種攝像機所記錄的視頻的幀是以交織模式存儲的。即，一幀圖像的奇行和偶行分別存儲前后兩次拍攝的圖像的奇行和偶行。提取單元201針對每一幀圖像提取相應(yīng)的奇場圖像和偶場圖像。假設(shè)每一幀圖像的分辨率是WXH，則所提取的奇場圖像和偶場圖像的分辨率均為WX (H/2)。將在下面詳細(xì)說明提取單元201的提取操作。由提取單元201所提取的奇場圖像OIi和偶場圖像EIi被提供給投影單元202和誤差計算單元203。投影單元202被配置為針對每一個由提取單元201提取的奇場圖像OIi和偶場圖像EIi,通過將高分辨率參考圖像投影到所提取的奇場圖像OIi和偶場圖像EIi來獲得分別與該所提取的奇場圖像OIi和偶場圖像EIi相對應(yīng)的構(gòu)造圖像。高分辨率參考圖像是想要得到的高分辨率圖像的猜想，本領(lǐng)域技術(shù)人員可以根據(jù)需要以本領(lǐng)域常用的各種方式構(gòu)造，或預(yù)先準(zhǔn)備。需要注意的是，假設(shè)想要獲得的超分辨率圖像的分辨率是(FW) X (FH)，則高分辨率參考圖像的分辨率應(yīng)是(FW) X (FH)，其中F可以為大于I的任意數(shù)。而因為所提取的奇場圖像OIi和偶場圖像EIi的分辨率是WX (H/2)，所以，投影單元202分別針對奇場圖像OIi和偶場圖像EIi進行投影處理所得到的、相對應(yīng)的奇場構(gòu)造圖像OMi和偶場構(gòu)造圖像EMi的分辨率也是WX (H/2)。此外，投影單元202分別針對奇場圖像OIi和偶場圖像EIi進行投影處理所使用的投影方法可以采用IBP算法中常用的投影方法。投影單元202將獲得的奇場構(gòu)造圖像OMi和偶場構(gòu)造圖像EMi輸出到誤差計算單元 203。
誤差計算單元203被配置為針對每一個低分辨率圖像Ii,例如針對每一幀視頻圖像，分別計算從中所提取的奇場圖像OIi與相應(yīng)的奇場構(gòu)造圖像OMi間的奇場誤差圖像eoi (其中每個像素的值是奇場圖像和奇場構(gòu)造圖像中相應(yīng)像素的值的差)和從中所提取的偶場圖像EIi與相應(yīng)的偶場構(gòu)造圖像EMi間的偶場誤差圖像^ (其中每個像素的值是偶場圖像和偶場構(gòu)造圖像中相應(yīng)像素的值的差)。由于奇場圖像OIi以及與之相應(yīng)的奇場構(gòu)造圖像OMi的分辨率都是WX (H/2)，所以計算出的奇場誤差圖像e()i的分辨率也是WX (H/2)。同樣，由偶場圖像EIi與相應(yīng)的偶場構(gòu)造圖像EMi計算出的偶場誤差圖像eei的分辨率也是WX (H/2)。誤差計算單元203將計算出的誤差，即奇場誤差圖像 和偶場誤差圖像eei，輸出到反向投影單元204。反向投影單元204被配置為通過將由誤差計算單元203提供的奇場誤差圖像eoi和偶場誤差圖像eei反向投影到高分辨率參考圖像上，以更新高分辨率參考圖像。更新的高分辨率參考圖像被提供到投影單元202，以重復(fù)進行上述處理，直到預(yù)先設(shè)置的迭代次數(shù)，或者直到得到可接受(例如誤差小到預(yù)定程度)的超分辨率圖像。下面，將對以上各單元所進行的操作進行詳細(xì)說明。
_3] 2. I奇/偶場圖像的提取圖3示出從交織模式的低分辨率圖像Ii(i e [I, η], n e N)提取相應(yīng)奇場圖像OIi和偶場圖像EIi的不意圖。在圖3中，附圖標(biāo)記I表示交織模式的低分辨率圖像序列中的低分辨率圖像的集合U1,12，…,InIo Ii (i e [I,η],n e N)是一段視頻中按照時間序列排列的低分辨率幀，且IiE I。圖像Ii的分辨率為WXH。圖3示出了以時間順序排列的低分辨率圖像的實施例，但本領(lǐng)域技術(shù)人員可了解用于進行超分辨率重建的低分辨率圖像的處理順序可不限于任何排列順序。提取單元201對低分辨率圖像Ii進行處理，以提取相應(yīng)的奇場圖像OIi和偶場圖像EIit5如圖3所示的實施例中，提取單元201提取圖像Ii中的所有奇行像素，以生成只包含圖像Ii的奇行的奇場圖像OIit5奇場圖像OIi的分辨率為WX (H/2)。此外，提取單元201提取圖像Ii中的所有偶行像素，以生成只包含圖像Ii的偶行的偶場圖像EIit5偶場圖像EIi的分辨率為WX (H/2)。2. 2投影單元的投影處理投影單元202將分辨率為(FW) X (FH)的高分辨率參考圖像針對每一個所提取的奇場圖像OIi和偶場圖像EIi進行投影，從而獲得與各奇場圖像OIi和偶場圖像EIi分別相對應(yīng)的、分辨率為WX (H/2)的奇場構(gòu)造圖像OMi和偶場構(gòu)造圖像EMit5
投影單元202可以采用迭代反向投影算法應(yīng)用中慣常使用的各種方式進行該投影處理。例如，構(gòu)造成像過程，由高分辨率參考圖像得到分辨率為WXH的構(gòu)造圖像。然后，從該構(gòu)造圖像中提取奇場和偶場，得到分辨率為WX (H/2)的奇場構(gòu)造圖像和偶場構(gòu)造圖像。然而，使用這種方法，當(dāng)在圖像的垂直方向上存在高頻成分時，從低分辨率圖像中抽取奇場和偶場，會造成混疊，影響效果。在本發(fā)明的一個實施例中，投影單元202在投影處理中采用縱向與橫向比例為2 I的降采樣。具體來說，投影單元202對高分辨率參考圖像采用橫向(圖像的寬度方向，即圖像中像素的行的方向)1/F、縱向(圖像的高度方向，即圖像中像素的列的方向)I/(2F)的降采樣，以從高分辨率參考圖像直接獲得分辨率為WX (H/2)的奇/偶場構(gòu)造圖像。這樣做的好處是避免了混疊的發(fā)生。
此外，一般，在進行降采樣的抽取和升采樣的插入時，都要進行低通濾波處理，以避免頻域混疊產(chǎn)生的信號畸變。在本發(fā)明的各實施例中，在進行升/降采樣時，可以使用各種低通濾波器進行濾波。在本發(fā)明的一個實施例中，在降采樣時采用了橢圓低通濾波器進行低通濾波。進一步地，投影單元202可以選用在待濾波圖像的高度方向上的軸長大于寬度方向上的軸長的橢圓濾波器進行低通濾波。特別地，在采用縱向與橫向比例為2 I的降采樣的實施例中，投影單元202可以采用在待濾波圖像的高度方向上的軸長與寬度方向上的軸長之比為2I的橢圓低通濾波器進行低通濾波。使用橢圓低通濾波器，尤其是采用在待濾波圖像的高度方向上的軸長與寬度方向上的軸長之比大于I的橢圓低通濾波器出于以下考慮相機CCD工作于交織模式時，在寬度方向和高度方向的空間采樣頻率實際是不一樣的(當(dāng)CCD的縱橫比為理想的I : I時，寬度方向的采樣頻率為高度方向的采樣頻率的2倍)；采用橢圓濾波后可以補償這個差別，使
信號得到最佳重建。此外，在視頻中的諸如行人、車輛的拍攝對象運動速度較快時，或者，當(dāng)對超分辨率重建圖像的清晰度和準(zhǔn)確度要求較高時，投影單元202需要在高分辨率參考圖像和低分辨率觀測圖像(本發(fā)明中為奇場圖像和偶場圖像)之間進行運動校正。運動校正的方法以及運動校正所使用運動向量的獲取方法可以采用本領(lǐng)域慣用的各種方法。2. 3誤差計算單元的誤差計算誤差計算單元203接收從提取單元201提供的奇場圖像OIi和偶場圖像EIi,作為低分辨率觀測圖像。并且誤差計算單元203接收從投影單元202提供的奇場構(gòu)造圖像OMi和偶場構(gòu)造圖像EMi,作為低分辨率構(gòu)造圖像。誤差計算單元203針對每個低分辨率圖像Ii，分別計算奇場圖像OIi和相應(yīng)的奇場構(gòu)造圖像OMi之間的奇場誤差圖像eoi，以及偶場圖像EIi和相應(yīng)的偶場構(gòu)造圖像EMi之間的偶場誤差圖像eei。誤差計算單元203可以采用迭代反向投影算法中常用的誤差圖像計算方法來進行誤差計算。計算出的奇場誤差圖像eoi和偶場誤差圖像eei的分辨率分別為WX (H/2)。2. 4反向投影單元的反向投影處理奇場誤差圖像eoi和偶場誤差圖像eei被輸出到反向投影單元204，以進行反向投影處理。反向投影單元204將奇場誤差圖像eoi和偶場誤差圖像eei反向投影到高分辨率參考圖像上，以對高分辨率參考圖像進行更新。
反向投影單元可以采用反向迭代投影方法常用的各種方式進行反向投影處理。類似于投影單元202采用縱向與橫向比例為2 I的降采樣進行投影處理，反向投影單元204進行反向投影處理時可以采用縱向與橫向比例為2 I的升采樣，即，分別對奇場誤差圖像6&和偶場誤差圖像進行諸如橫向1/F、縱向1/(2F)的升采樣處理。此外，反向投影單元204可以對經(jīng)過升采樣的誤差圖像進行低通濾波，從而獲得能夠避免頻域混疊的、分辨率為(FW)X(FH)的奇場/偶場誤差圖像。然后，反向投影單元204使用獲得的奇場/偶場誤差圖像對高分辨率參考圖像 進行更新。反向投影單元204可以使用各種低通濾波器進行上述濾波。在本實施例中，在升采樣時采用橢圓低通濾波器進行低通濾波。進一步地，與降采樣中采用的低通濾波器相似，可以選用在待濾波圖像的高度方向上軸長大于寬度方向上軸長的橢圓低通濾波器。特別地，在采用縱向與橫向比例為2 I的升采樣的實施例中，可以采用在圖像高度方向上的軸長與寬度方向上的軸長之比為2I的橢圓低通濾波器進行低通濾波。在一些實施例中，反向投影單元204針對每個低分辨率圖像Ii，根據(jù)已反向投影到高分辨率參考圖像的(即分辨率為(FW) X (FH)的)奇場誤差圖像和偶場誤差圖像來獲取組合誤差圖像，并使用所獲取的組合誤差圖像來更新高分辨率參考圖像。獲取該組合誤差圖像的方法例如包括通過將已反向投影到高分辨率參考圖像的、分辨率為(FW)X(FH)的奇場誤差圖像和偶場誤差圖像上相對應(yīng)的像素分別相加來獲取該組合誤差圖像。此處，像素相加指對應(yīng)像素的亮度值相加。相似于投影單元202，在視頻中的諸如行人、車輛的拍攝對象運動速度較快時，或者，當(dāng)對超分辨率重建圖像的清晰度和準(zhǔn)確度要求較高時，反向投影單元204需要在低分辨率誤差圖像和高分辨率參考圖像之間進行運動校正。運動校正的方法以及運動校正所使用運動向量的獲取方法可以采用本領(lǐng)域慣用的各種方法。3.圖像處理設(shè)備的可詵結(jié)構(gòu)圖4示出根據(jù)本發(fā)明另一個實施例的圖像處理設(shè)備400的結(jié)構(gòu)。圖像處理設(shè)備400包括提取單元401、投影單元402、誤差計算單元403、反向投影單元404、參考圖像生成單元405以及運動估計單元406。其中，提取單元401、投影單元402、誤差計算單元403以及反向投影單元404與結(jié)合圖2說明的提取單元201、投影單元202、誤差計算單元203以及反向投影單元204的功能和結(jié)構(gòu)相同，因此，這里省略它們的詳細(xì)描述。參考圖像生成單元405被配置為根據(jù)低分辨率圖像序列I中的一個低分辨率圖像Ii的奇場圖像OIi或偶場圖像EIi生成初始的高分辨率參考圖像％。具體生成方式在后面詳細(xì)說明。由參考圖像生成單元405所生成的高分辨率參考圖像Rtl分別被輸入到投影單元402和反向投影單元404(未示出)，以進行最初的投影和反投影處理。此外，該高分辨率參考圖像Rtl還被輸入到運動估計單元406，以進行Rtl相對于每一個奇場圖像OIi和偶場圖像EIi的運動位移的計算。運動估計單元406被配置為計算每一個奇場圖像OIi和偶場圖像EIi相對于高分辨率參考圖像的運動向量，以獲得投影單元402進行投影處理和反向投影單元404進行反投影處理時使用的運動位移。如果該高分辨率參考圖像初始生成時所根據(jù)的圖像與待計算的奇場圖像OIi和偶場圖像EIi具有不同的奇偶性，則運動估計單元406對所計算的運動向量的垂直分量進行奇偶校正。將在后面對此進行詳細(xì)說明。3. I高分辨率參考圖像的生成一般地，可以采用迭代反向投影算法中常用的各種方法來構(gòu)造高分辨率參考圖像。對于圖2中所示的圖像處理設(shè)備200，用于進行迭代更新的高分辨率參考圖像也可以是預(yù)先準(zhǔn)備好的。 作為本發(fā)明的一個實施例，如圖4所示，圖像處理設(shè)備400包括參考圖像生成單元405。參考圖像生成單元405可以根據(jù)低分辨率圖像序列中的一個低分辨率圖像Ii的奇場圖像OIi或偶場圖像EIi生成初始的高分辨率參考圖像。圖5示出根據(jù)本實施例的參考圖像生成單元405生成高分辨率參考圖像的過程的示意圖。在圖5所示的例子中，參考圖像生成單元405從來自提取單元401的奇場圖像OIi或偶場圖像EIi中選取任意一個圖像，作為生成初始高分辨率參考圖像的依據(jù)。然后，參考圖像生成單元405對選中的該奇場圖像OIi或偶場圖像EIi進行線性內(nèi)插去交織等任何去交織方法，以得到一個分辨率為WXH的圖像。在圖5所示的例子中，選取由提取單元401提取的偶場圖像EIk并對其進行內(nèi)插得到大小為WXH的圖像EIk’。然后，對圖像EIk’進行F倍的升采樣，從而得到分辨率為(Fff) X (FH)的高分辨率參考圖像REk。其中，REk的下標(biāo)Ek表示該高分辨率參考圖像是根據(jù)第k幀圖像的偶場圖像EIk生成的。當(dāng)然，參考圖像生成單元405也可以直接從低分辨率圖像序列I中選取一幀圖像Ik,并使用從該幀得到的分辨率為WX (H/2)的奇場圖像OIi或偶場圖像EIi之一來生成參考圖像。為了減少圖像之間的相對運動，在本實施例中使用低分辨率圖像序列中間的，也就是從第n/2個圖像提取的奇場或偶場圖像，作為高分辨率參考圖像生成的根據(jù)。3. 2運動估計與奇偶校lH運動估計單元406可以使用圖像處理領(lǐng)域常用的各種方法進行運動估計，以得到各圖像與高分辨率參考圖像之間的運動向量。在進行運動估計之前，運動估計單元406可以將分辨率為WX (H/2)的奇場圖像OIi和偶場圖像EIi的各行的長度壓縮為原來的1/2，以得到分辨率為(W/2) X (H/2)的2n個圖像。下文中將經(jīng)過這種處理的圖像稱為待估計奇場圖像或待估計偶場圖像。進行這種壓縮的好處是壓縮后的圖像與參考圖像的縱橫比一致，便于估計各幅圖像相對于參考圖像的運動。在高分辨率參考圖像是根據(jù)奇場圖像OIi或偶場圖像EIi生成的情況下，為了使針對每一個奇場圖像和偶場圖像的運動估計結(jié)果更準(zhǔn)確，可以對得到的運動向量進行奇偶校正。在一個實施例中，假設(shè)高分辨率參考圖像是根據(jù)一個偶場圖像EIk生成的，則在進行運動估計時，都是計算各個待估計奇場圖像和待估計偶場圖像相對于該偶場圖像EIk對應(yīng)的待估計偶場圖像的變化。這里，估計的運動主要是水平(圖像的寬度方向)和垂直(圖像的高度方向)的運動位移hx和hy，且精度能夠達(dá)到亞像素層次。由于運動估計是在(W/2) X (H/2)的圖像上進行，而期望得到的是WXH的圖像的運動，所以獲得的各個運動位移要乘以2倍。此時，由于選取了偶場圖像EIk來生成參考圖像，求出的運動向量還要進行奇偶校正。具體來說，如果對待估計的奇場圖像求出運動向量為(2hx，2hy)，則要修正為(2hx，2hy+l)。而對偶場，所獲得的運動向量則保持不變。相反，如果選取了奇場圖像來生成參考圖像，則在對待估計的偶場圖像求出運動向量為(2hx，2hy)時，要將其修正為(2hx+l，2hy)。而對奇場，所獲得的運動向量保持不變。根據(jù)需要，運動估計單元可以只針對初始的高分辨率參考圖像求取用于運動補償?shù)倪\動向量，并在之后的迭代過程中沿用這些運動向量。當(dāng)然，也可以針對每一個更新的高分辨率參考圖像求取運動向量。
接下來，結(jié)合圖6說明通過迭代反向投影方法進行超分辨率重建的圖像處理方法。4.圖像處理方法的示例流程圖6示出根據(jù)本發(fā)明實施例的通過迭代反向投影方法進行超分辨率重建的圖像處理方法的流程圖。在步驟S601中，從交織模式的低分辨率圖像的序列I中的每個低分辨率圖像Ii中提取相應(yīng)的奇場圖像OIi和偶場圖像Eli。具體的提取方式如圖3中所示，此處不在贅述。在步驟S602中，針對每一個所提取的圖像，通過把高分辨率參考圖像投影到該所提取的圖像來獲得與該所提取的圖像相對應(yīng)的構(gòu)造圖像。該所提取的圖像即指在步驟S601中提取的奇場圖像OIi和偶場圖像EIit5所得到的構(gòu)造圖像可以表不為OMi和EMitl高分辨率參考圖像可以通過迭代反向投影方法中常用的構(gòu)造方法進行構(gòu)造，或預(yù)先提供。在上文中，結(jié)合圖5描述了一種適用于本實施例的高分辨率參考圖像構(gòu)造方法。在此不在進行詳細(xì)說明。在步驟S602中，可以采用縱向與橫向比例為2 I的降采樣來進行投影處理。具體來說，可以對高分辨率參考圖像采用橫向1/F、縱向1/(2F)的降采樣，以從高分辨率參考圖像直接獲得分辨率為WX (H/2)的奇/偶場構(gòu)造圖像。這樣做可以避免混疊的發(fā)生。此外，在本實施例中，在進行降采樣時，可以使用橢圓低通濾波器進行低通濾波。進一步地，可以選用在待濾波圖像的高度方向上的軸長大于寬度方向上的軸長的橢圓濾波器進行低通濾波。特別地，在采用縱向與橫向比例為2 I的降采樣的情況下，可以通過使用在待濾波圖像的高度方向上的軸長與寬度方向上的軸長之比為2I的橢圓低通濾波器進行低通濾波。在步驟S603中，針對每個低分辨率圖像Ii，分別計算從中所提取的奇場圖像叫與相應(yīng)的構(gòu)造圖像OMi間的奇場誤差圖像^和從中所提取的偶場圖像EIi與相應(yīng)的構(gòu)造圖像EMi間的偶場誤差圖像eei。該誤差計算步驟S603可以采用迭代反向投影算法中常用的誤差圖像計算方法來進行誤差計算。計算出的奇場誤差圖像eoi和偶場誤差圖像eei的分辨率分別為WX (H/2)。在步驟S604中，通過將所述奇場誤差圖像eoi和所述偶場誤差圖像eei反向投影到所述高分辨率參考圖像上，來更新所述高分辨率參考圖像。該反向投影步驟S604可以采用反向迭代投影方法常用的各種方式進行。在采用縱向與橫向比例為2 I的降采樣進行投影處理的實施例中，在步驟S604中可以采用縱向與橫向比例為2 I的升采樣進行反向投影處理。即，分別對奇場誤差圖像 和偶場誤差圖像eei進行諸如橫向1/F、縱向1/(2F)的升采樣處理。此外，在步驟S604中，可以針對經(jīng)過升采樣的誤差圖像采用橢圓低通濾波器進行低通濾波。進一步地，與降采樣中采用的低通濾波器相似，可以選用在待濾波圖像的高度方向上軸長大于寬度方向上軸長的橢圓低通濾波器。特別地，在采用縱向與橫向比例為2 I的升采樣的實施例中，可以采用在圖像高度方向上的軸長與寬度方向上的軸長之比為2I的橢圓低通濾波器進行低通濾波。在一些實施例中，在步驟S604中，可以針對每個低分辨率圖像I i，根據(jù)已反向投影到高分辨率參考圖像即分辨率為(FW)X(FH)的奇 場誤差圖像和偶場誤差圖像來獲取組合誤差圖像，并使用所獲取的組合誤差圖像來更新高分辨率參考圖像。獲取該組合誤差圖像的方法例如包括通過將已反向投影到高分辨率參考圖像的、分辨率為(FW)X(FH)的奇場誤差圖像和偶場誤差圖像上相對應(yīng)的像素分別相加來獲取該組合誤差圖像。此處，像素相加指對應(yīng)像素的亮度值相加。需要注意的是在視頻圖像中的諸如行人、車輛的拍攝對象運動速度較快時，或者，當(dāng)對超分辨率重建圖像的清晰度和準(zhǔn)確度要求較高時，在投影步驟S602和反向投影步驟S604中，需要在高分辨率參考圖像和低分辨率觀測圖像(即所提取的奇場圖像和偶場圖像)以及低分辨率誤差圖像和高分辨率參考圖像之間進行運動校正。運動校正的方法以及運動校正所使用運動向量的獲取方法可以采用本領(lǐng)域慣用的各種方法。在本實施例中，進行運動估計之前，可以將分辨率為WX (H/2)的奇場圖像OIi和偶場圖像EIi的各行的長度壓縮為原來的1/2，以得到分辨率為(W/2) X (H/2)的2n個圖像。下文中將經(jīng)過這種處理的圖像稱為待估計奇場圖像或待估計偶場圖像。進行這種壓縮的好處是壓縮后的圖像與參考圖像的縱橫比一致，便于估計各幅圖像相對于參考圖像的運動。在類似于圖5中所示方法使用奇場圖像或偶場圖像構(gòu)造高分辨率參考圖像的方法中，為了使針對每一個奇場圖像和偶場圖像的運動估計結(jié)果更準(zhǔn)確，可以對得到的運動向量進行奇偶校正。例如，在一個實施例中，假設(shè)高分辨率參考圖像是根據(jù)一個偶場圖像生成的。貝U，在進行運動估計的時候都是計算各個待估計奇場圖像和待估計偶場圖像相對于該偶場圖像對應(yīng)的待估計偶場圖像的變化。估計的運動主要是水平和垂直的運動位移hx和hy。由于運動估計是在(W/2) X (H/2)的圖像上進行，而期望得到的是WXH的圖像的運動，所以獲得的各個運動位移要乘以2倍。另外，由于選取了偶場圖像來生成參考圖像，求出的運動向量還要作奇偶校正。具體來說，如果對待估計的奇場圖像求出運動向量為(2hx，2hy)，則要修正為(2hx，2hy+l)。而對偶場,所獲得的運動向量則保持不變。反之亦然。下面，結(jié)合圖7和圖8描述根據(jù)本發(fā)明實施例的通過迭代反向投影方法進行圖像的高分辨率重建的具體實例。5.圖像的高分辨率重津?qū)嵗龍D7是示出根據(jù)本發(fā)明實施例的通過迭代反向投影方法進行圖像的高分辨率重建的具體應(yīng)用的流程圖。圖8是示出在本發(fā)明具體應(yīng)用中計算構(gòu)造圖像與觀測圖像之間的誤差圖像的方法的流程圖。如圖7所示，假設(shè)已經(jīng)計算出或預(yù)先提供了高分辨率參考圖像R、提取出了與低分辨率圖像Ii相對應(yīng)的奇場和偶場圖像，以及作為運動估計結(jié)果的運動向量，則在步驟S701中，計算高分辨率參考圖像R與第i幀Ii的誤差ei。計算該誤差ei的處理如圖8中所示。針對低分辨率圖像序列中的第i幀圖像，分別對與該第i幀圖像相對應(yīng)的奇場圖像和偶場圖像進行投影、誤差計算和反投影處理。以第i幀圖像的偶場為例，在步驟S801中，根據(jù)運動向量，按照到第i幀偶場的運動的F倍移動高分辨率參考圖像R。換句話說，根據(jù)運動向量的F倍對第i幀的偶場圖像和高分辨率參考圖像R進行像素配準(zhǔn)。在步驟S802中，使 用在高分辨率參考圖像R的高度方向上的軸長與寬度方向上的軸長之比為2I的橢圓低通濾波器對進行運動配準(zhǔn)后的高分辨率參考圖像R進行低通濾波。在步驟803中，對低通濾波后的圖像進行縱向與橫向比例為2 I的降采樣處理，以獲得針對第i幀偶場的構(gòu)造圖像EM”在步驟S804中，計算該構(gòu)造圖像EMi與第i幀偶場圖像EIi的誤差圖像eei。然后，在步驟S805中，對該誤差圖像eei進行縱向與橫向比例為2 I的升采樣處理，以獲得大小為的(FW)X(FH)的誤差圖像。然后，在步驟S806中，使用在該誤差圖像的高度方向上的軸長與寬度方向上的軸長之比為2I的橢圓低通濾波器對該誤差圖像進行低通濾波，以消除頻域混疊。進一步地，在步驟S807中，按照到第i幀的偶場圖像的反向運動的F倍移動經(jīng)過升采樣和低通濾波的誤差圖像。即，根據(jù)運動向量的F倍對經(jīng)過升采樣和低通濾波的誤差圖像相對于高分辨率參考圖像R進行運動配準(zhǔn)，從而得到適于用于更新高分辨率參考圖像R的偶場誤差圖像。同理，如圖8的右側(cè)示出的，可以針對第i幀的奇場圖像進行步驟S801到S807的處理，以得到適于用于更新高分辨率參考圖像R的奇場誤差圖像。其唯一的不同是，在高分辨率參考圖像是根據(jù)偶場圖像之一構(gòu)造時，可以對到奇場圖像的運動向量進行奇偶校正。在圖7和圖8的實施例中，假設(shè)提供的運動估計結(jié)果已經(jīng)進行了奇偶校正。在得到了運動配準(zhǔn)后分辨率為(FW) X (FH)的奇場和偶場誤差圖像后，可以分別對高分辨率參考圖像R進行更新，也可以合成為組合誤差圖像ei，如圖7和圖8中的實施例所示，以對高分辨率參考圖像R進行更新。下面，回到附圖7。在步驟S702中，計算累計誤差S。當(dāng)在步驟S703中確定為i< n(n為低分辨率圖像序列的總幀數(shù))時，重復(fù)步驟S701和S702的處理。當(dāng)在步驟S703
η
中確定為i = η時，s的最終值為s = Σ^_。則處理進行到步驟S704，更新超分辨率圖像R。
/-I
令R = R-X s，其中，λ的取值與迭代次數(shù)和更新率有關(guān)。根據(jù)實驗數(shù)據(jù)表明，λ的取值優(yōu)選是O < λ < I。接下來，在步驟S705中判斷迭代進行的次數(shù)是否達(dá)到了預(yù)設(shè)次數(shù)或大于預(yù)設(shè)次數(shù)。當(dāng)在步驟S705中確定為“否”時，使用更新后的高分辨率參考圖像R重復(fù)步驟S701到S705的處理。當(dāng)在步驟S705中確定為“是”時，輸出更新后的高分辨率參考圖像R，作為最終的超分辨率重建結(jié)果R’。此外，在步驟S705中，除了最大迭代次數(shù)，也可以設(shè)定其它迭代結(jié)束條件。例如，累積誤差的閾值。當(dāng)累積誤差小于該閾值時，結(jié)束迭代過程，輸出最終的超分辨率圖像R’。下文中，參考圖9描述實現(xiàn)本發(fā)明的數(shù)據(jù)處理設(shè)備的計算機的示例性結(jié)構(gòu)。圖9是示出實現(xiàn)本發(fā)明的計算機的示例性結(jié)構(gòu)的框圖。在圖9中，中央處理單元(CPU)901根據(jù)只讀存儲器(R0M)902中存儲的程序或從存儲部分908加載到隨機存取存儲器(RAM) 903的程序執(zhí)行各種處理。在RAM 903中，也根據(jù)需要存儲當(dāng)CPU 901執(zhí)行各種處理時所需的數(shù)據(jù)。CPU 901、ROM 902和RAM 903經(jīng)由總線904彼此連接。輸入/輸出接口 905也連接到總線904。下述部件連接到輸入/輸出接口 905 :輸入部分906，包括鍵盤、鼠標(biāo)等；輸出部分907，包括顯示器，諸如陰極射線管(CRT)、液晶顯示器(LCD)等，以及揚聲器等；存儲部分908，包括硬盤等；以及通信部分909，包括網(wǎng)絡(luò)接口卡諸如LAN卡、調(diào)制解調(diào)器等。通信部分909經(jīng)由網(wǎng)絡(luò)諸如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動器910也連接到輸入/輸出接口 905。可拆卸介質(zhì)99諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等根據(jù)需要被安裝在驅(qū)動器910上，使得從中讀出的計算機程序根據(jù)需要被安裝到存儲部分908中。在通過軟件實現(xiàn)上述步驟和處理的情況下，從網(wǎng)絡(luò)諸如因特網(wǎng)或存儲介質(zhì)諸如可拆卸介質(zhì)911安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲介質(zhì)不局限于圖9所示的其中存儲有程序、與方法相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)911。可拆卸介質(zhì)911的例子包含磁盤、光盤(包含光盤只讀存儲器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)和半導(dǎo)體存儲器?；蛘撸鎯橘|(zhì)可以是ROM 902、存儲部分908中包含的硬盤等，其中存有程序，并且與包含它們的方法一起被分發(fā)給用戶。本發(fā)明可以廣泛用于各種需要根據(jù)視頻圖像等低分辨率圖像序列獲得高分辨率圖像的領(lǐng)域，諸如，高清電視領(lǐng)域和監(jiān)控領(lǐng)域。具體來說，使用本發(fā)明，能夠?qū)鹘y(tǒng)制式的電視信號以及隔行掃描的DVD信號準(zhǔn)確有效地轉(zhuǎn)換為高清信號?；蛘?，使用本發(fā)明，可以根據(jù)交通監(jiān)控攝像機拍攝的交織低分辨率圖像獲得更加清晰的圖片，進而獲得車輛牌照等信
肩、O在前面的說明書中參照特定實施例描述了本發(fā)明。然而本領(lǐng)域的普通技術(shù)人員理解，在不偏離如權(quán)利要求書限定的本發(fā)明的范圍的前提下可以進行各種修改和改變。
權(quán)利要求
1.ー種圖像處理設(shè)備，用于通過迭代反向投影方法進行超分辨率重建，所述圖像處理設(shè)備包括 提取單元，被配置為從交織模式的低分辨率圖像序列中的每個低分辨率圖像中提取相應(yīng)的奇場圖像和偶場圖像； 投影単元，被配置為針對每ー個所提取的奇場圖像和偶場圖像，通過把高分辨率參考圖像投影到所述奇場圖像和偶場圖像來獲得分別與所述奇場圖像和偶場圖像相對應(yīng)的構(gòu)造圖像； 誤差計算單元，被配置為針對每個所述低分辨率圖像，分別計算從中所提取的奇場圖像與相應(yīng)的構(gòu)造圖像間的奇場誤差圖像和從中所提取的偶場圖像與相應(yīng)的構(gòu)造圖像間的偶場誤差圖像；以及 反向投影単元，被配置為通過將所述奇場誤差圖像和所述偶場誤差圖像反向投影到所述高分辨率參考圖像上，以更新所述高分辨率參考圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，還包括 參考圖像生成単元，被配置為根據(jù)所述低分辨率圖像序列中之一低分辨率圖像的奇場圖像或偶場圖像生成初始的高分辨率參考圖像；以及 運動估計單元，被配置為計算每一所述奇場圖像和偶場圖像相對于所述高分辨率參考圖像的運動向量，以獲得所述投影単元的投影和所述反向投影単元的反向投影所需的運動位移，其中，如果所述高分辨率參考圖像初始生成時所根據(jù)的圖像與待計算的所述奇場圖像或偶場圖像具有不同的奇偶性，則對所計算的運動向量的垂直分量進行奇偶校正。
3.根據(jù)權(quán)利要求I或2所述的圖像處理設(shè)備，其中，所述投影単元的投影/所述反向投影単元的反向投影采用縱向與橫向比例為2 I的降/升采樣。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述投影単元和/或所述反向投影單元進ー步被配置為，采用在待濾波圖像的高度方向上的軸長與寬度方向上的軸長之比為2 I的橢圓低通濾波器進行低通濾波。
5.根據(jù)權(quán)利要求I或2所述的圖像處理設(shè)備，其中，所述投影単元和/或所述反向投影單元進ー步被配置為，采用在待濾波圖像的高度方向上的軸長大于寬度方向上的軸長的橢圓低通濾波器進行低通濾波。
6.根據(jù)權(quán)利要求I或2所述的圖像處理設(shè)備，其中，所述反向投影単元進ー步被配置為針對每個所述低分辨率圖像，根據(jù)已反向投影到所述高分辨率參考圖像的所述奇場誤差圖像和所述偶場誤差圖像獲取組合誤差圖像，以更新所述高分辨率參考圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，所述反向投影単元進ー步被配置為通過將所述已反向投影到所述高分辨率參考圖像的所述奇場誤差圖像和所述偶場誤差圖像上相對應(yīng)的像素分別相加來獲取所述組合誤差圖像。
8.ー種圖像處理方法，用于通過迭代反向投影方法進行超分辨率重建，所述圖像處理方法包括 提取步驟，從交織模式的低分辨率圖像序列中的每個低分辨率圖像中提取相應(yīng)的奇場圖像和偶場圖像； 投影步驟，針對每ー個所提取的奇場圖像和偶場圖像，通過把高分辨率參考圖像投影到所述奇場圖像和偶場圖像來獲得分別與所述奇場圖像和偶場圖像相對應(yīng)的構(gòu)造圖像；誤差計算步驟，針對每個所述低分辨率圖像，分別計算從中所提取的奇場圖像與相應(yīng)的構(gòu)造圖像間的奇場誤差圖像和從中所提取的偶場圖像與相應(yīng)的構(gòu)造圖像間的偶場誤差圖像；和 反向投影步驟，通過將所述奇場誤差圖像和所述偶場誤差圖像反向投影到所述高分辨率參考圖像上，以更新所述高分辨率參考圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理方法，還包括 參考圖像生成步驟，根據(jù)所述低分辨率圖像序列中之一低分辨率圖像的奇場圖像或偶場圖像生成初始的高分辨率參考圖像；以及 運動估計步驟，計算每一所述奇場圖像和偶場圖像相對于所述高分辨率參考圖像的運動向量，以獲得所述投影步驟中的投影和所述反向投影步驟中的反向投影所需的運動位移，其中，如果所述高分辨率參考圖像初始生成時所根據(jù)的圖像與待計算的所述奇場圖像或偶場圖像具有不同的奇偶性，則對所計算的運動向量的垂直分量進行奇偶校正。
10.根據(jù)權(quán)利要求8或9所述的圖像處理方法，其中，在所述投影步驟/所述反向投影步驟中采用縱向與橫向比例為2 I的降/升采樣。
11.根據(jù)權(quán)利要求10所述的圖像處理方法，其中，在所述投影步驟和/或所述反向投影步驟中，采用在待濾波圖像的高度方向上的軸長與寬度方向上的軸長之比為2 I的橢圓低通濾波器進行低通濾波。
12.根據(jù)權(quán)利要求8或9所述的圖像處理方法，其中，在所述投影步驟和/或所述反向投影步驟中，采用在待濾波圖像的高度方向上的軸長大于寬度方向上的軸長的橢圓低通濾波器進行低通濾波。
13.根據(jù)權(quán)利要求8或9所述的圖像處理方法，其中，在所述反向投影步驟中，針對每個所述低分辨率圖像，根據(jù)已反向投影到所述高分辨率參考圖像的所述奇場誤差圖像和所述偶場誤差圖像獲取組合誤差圖像，以更新所述高分辨率參考圖像。
14.根據(jù)權(quán)利要求13所述的圖像處理方法，其中，在所述反向投影步驟中，通過將所述已反向投影到所述高分辨率參考圖像的所述奇場誤差圖像和所述偶場誤差圖像上相對應(yīng)的像素分別相加來獲取所述組合誤差圖像。
全文摘要
本發(fā)明提供一種圖像處理設(shè)備和圖像處理方法。該圖像處理方法用于通過迭代反向投影方法進行超分辨率重建，其包括提取步驟，從交織模式的低分辨率圖像序列中的每個低分辨率圖像中提取相應(yīng)的奇場圖像和偶場圖像；投影步驟，針對每一個所提取的奇場圖像和偶場圖像，通過把高分辨率參考圖像投影到奇場圖像和偶場圖像來獲得分別與奇場圖像和偶場圖像相對應(yīng)的構(gòu)造圖像；誤差計算步驟，針對每個低分辨率圖像，分別計算從中所提取的奇場圖像與相應(yīng)的構(gòu)造圖像間的奇場誤差圖像和從中所提取的偶場圖像與相應(yīng)的構(gòu)造圖像間的偶場誤差圖像；和反向投影步驟，通過將奇場誤差圖像和偶場誤差圖像反向投影到高分辨率參考圖像上，以更新高分辨率參考圖像。
文檔編號G06T5/00GK102682423SQ20111007491
公開日2012年9月19日 申請日期2011年3月18日 優(yōu)先權(quán)日2011年3月18日
發(fā)明者劉玉宇 申請人:索尼公司