專利名稱：：用于在隔行與逐行掃描視頻之間進行轉(zhuǎn)換的設(shè)備和方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及圖像處理。視頻圖像捕獲代表一種空間及時間采樣處理。圖像作為一組設(shè)置在各行或線中的像素而被捕獲。在間隔開的時刻處捕獲連續(xù)圖像。一種復(fù)雜情況是對于隔行視頻捕獲和處理的共同使用。在隔行視頻信號中，每個圖像作為兩組交替像素線或者交替像素線的兩個場而#皮操縱。例如，可以把奇數(shù)編號的各線包括在一個場內(nèi)，同時可以把偶數(shù)編號的各線包括在下一個場內(nèi)。所述隔行技術(shù)的一個優(yōu)點在于，其給出了圖像速率的表觀加倍，從而在不顯著增大視頻信號帶寬的情況下減輕了閃爍效應(yīng)。所述隔行在水平和垂直方向上給出了不同的空間采樣頻率如果期望在隔行視頻與逐行掃描(非隔行)視頻之間進行轉(zhuǎn)換，則對于非移動圖像來說僅僅需要對兩個連續(xù)場進行交織以重建存在所有像素線的非隔行幀。然而，如果有任何顯著的場間運動，則上述方法可能不適用。在這種情況下，更為適當(dāng)?shù)淖龇赡苁菑囊粋€場中的其他像素導(dǎo)出在該相同場中所缺失的像素線。換句話說，即使用內(nèi)插處理。由于一個場可能表示處于任何指向上的項目的圖像，因此適當(dāng)?shù)淖龇ㄊ歉鶕?jù)附近的圖像素材選擇用于進行內(nèi)插的方向，即嘗試與所述項目的特征大致對準(zhǔn)地進行內(nèi)插。例如可以通過使用塊匹配技術(shù)來4企測適當(dāng)?shù)膬?nèi)^翁方向。這種技術(shù)對于遠離垂直的圖像特征角度可能工作良好，但是在接近垂直角度的情況下則可能導(dǎo)致缺乏精度。參照附圖4a到4c,下面將對其進行更加詳細的描述。這三幅圖示意性地說明了利用塊匹配來嘗試檢測圖像特征的角度，其中用不同的陰影像素(正方形)來指示所述圖像特征。圖中的小圓圈表示將被內(nèi)插的缺失像素，并且所考慮的特定像素在其圓圏中有一個問號。應(yīng)當(dāng)注意到，在真實系統(tǒng)中，可以在不同的塊尺寸和位移下實施許多塊匹配操作，以便嘗試識別出特定像素位置處的圖像特征角度。可以利用真實像素實現(xiàn)圖4a和4c的設(shè)置。但是為了檢測出比圖4a中所示出的更加接近垂直的梯度，需要利用分?jǐn)?shù)像素位移來進行塊匹配。這對于真實像素來說是不可能的。為了解決這一問題，已經(jīng)提出應(yīng)當(dāng)在針對圖像特征角度檢測應(yīng)用塊匹配之前對圖像進行上變換，以便在水平方向上將其像素數(shù)加倍。本發(fā)明提供圖像處理設(shè)備，其中從輸入圖像的一個或多個像素的組生成輸出圖像的各像素，所述各組是根據(jù)所述輸入圖像中的圖像特征方向而選擇的，該i殳備包4舌內(nèi)插器，其用于對所述輸入圖像的各像素之間的中間像素進行內(nèi)插；以及塊比較器，其用于檢測所述輸入圖像中的各組測試像素塊之間的相關(guān)性，所述各組測試塊關(guān)于當(dāng)前像素位置被定向成使得具有最大相關(guān)性的組的指向表明適用于所述當(dāng)前像素位置的可能圖像特征方向；其中對于其關(guān)于當(dāng)前像素位置的角度指向處于垂直指向附近的預(yù)定范圍內(nèi)的至少一些測試塊組，所述測試塊包括所述輸入圖像的像素以及從所述輸入圖像的像素內(nèi)插的中間像素；以及對于其他測試塊組，所述測試塊僅僅包括所述輸入圖像的像素。本發(fā)明認識到，上述類型的像素加倍(或者更一般來說是過采樣)對于檢測接近垂直的圖像特征角度來說可能是非常有用的，但是其缺點在于，必須生成并且存儲所述圖像的經(jīng)過上變換的版本以便允許實施各種塊匹配測試。在通過一個或少數(shù)基于用戶可編程邏輯元件的集成電路(比如專用集成電路(ASIC)或現(xiàn)場可編程門陣列(FPGA))來實現(xiàn)所述技術(shù)的情況下，存儲雙倍分辨率圖像可能是特別成問題的，這是因為雙倍分辨率場存儲需要相對較大數(shù)目的這種邏輯元件。本發(fā)明通過提供對經(jīng)過縮放的圖像的選擇性使用而解決和減輕了上述問題，其中認識到所述縮放在距離垂直的較小角度位移下更具相關(guān)性。這種設(shè)置允許在需要時生成經(jīng)過縮放的像素，從而無需存儲整個經(jīng)過縮放的圖像。下面將參照附圖僅以舉例的方式來描述本發(fā)明的各實施例，其中:圖1示意性地示出了平屏顯示器設(shè)置；圖2示意性地示出了工作室環(huán)境中的視頻混合操作；圖3示意性地示出了隔行到逐行變換器；圖4a到4c示意性地示出了梯度檢測；圖5和6a到6e示意性地示出了空間塊匹配操作；圖7a和7b示意性地示出了混疊情況；圖8a到8d示意性地示出了混疊^r測技術(shù)；圖9示意性地示出了Kell因數(shù)濾波操作；圖10和11示意性地示出了Kell因數(shù)濾波操作中的各級；圖12a示意性地示出了運動自適應(yīng)內(nèi)插器；圖12b示意性地示出了連續(xù)^見頻場之間的運動^r測；圖13示意性地示出了高頻檢查操作；圖14a和14b示意性地示出了一種降低對于圖像縮放的需求的變型；圖15、16a、16b、17a和17b示意性地示出了主要的和替換的像素測試策略；以及圖18示意性地示出了差值的生成；圖1示意性地示出了平屏顯示器設(shè)置10，其包括隔行視頻素材源20、隔行到逐行掃描變換器30以及顯示面板40,所述顯示面板比如是液晶(LCD)或等離子顯示器。該圖示出了對于隔行到逐行掃描變換的典型使用，其中許多廣播信號具有隔行格式，而許多平板顯示器則在逐行掃描格式下最為成功地操作。相應(yīng)地，在圖1中，由所述隔行素材源20接收的廣播信號被用來生成隔行信號以供顯示。所述隔行信號被傳遞到所述隔行到逐行掃描變換器30,以便從該隔行信號生成逐行掃描信號。該逐行掃描信號被傳遞到顯示器40。應(yīng)當(dāng)認識到，所述隔行素材源20不必是廣播接收機，而可以是諸如DVD播放器之類的視頻回放設(shè)備以及諸如互聯(lián)網(wǎng)連接之類的網(wǎng)絡(luò)連接等等。圖2示意性地示出了工作室環(huán)境中的視頻混合操作，以便給出使用隔行到逐行掃描變換的另一個例子。在這里提供了隔行素材源50和逐行掃描素材源60。這些源可以是攝影機、諸如錄像機或硬盤記錄器之類的視頻回放設(shè)備、廣播接收機等等。來自所述隔行素材源50的隔行輸出被提供到隔行到逐行掃描變換器70，以便生成逐行掃描信號?？梢杂梢曨l混合器80把該逐行掃描信號連同來自源60的逐行掃描素材一起處理，以便生成經(jīng)過處理的逐行掃描輸出。當(dāng)然，如果需要的話可以把該視頻混合器80的逐行掃描輸出變換回到隔行格式，以便例如用于后續(xù)的廣播或記錄。還應(yīng)當(dāng)認識到，該視頻混合器80僅僅是視頻處理設(shè)備的一個例子；在圖2中的該位置處例如可以替換地使用數(shù)字視頻效果單元。圖3示意性地示出了隔行到逐行掃描變換器。概括地說，該變換器包括空間內(nèi)插器100、運動自適應(yīng)內(nèi)插器110和一組三個場存儲裝置120。圖3的變換器可操作地在與輸入隔行場相同的重復(fù)頻率下生成輸出逐行掃描幀。因此，所述變換器的主要要求是生成每個隔行場中的"缺失的"像素，以便把該隔行場變成逐行掃描幀。這一點可以按照兩種方式當(dāng)中的一種來實現(xiàn)。一方面，所述空間內(nèi)插器IOO通過在所涉及到的場內(nèi)進行空間內(nèi)插而生成所述"缺失的"像素。換句話說，這是場內(nèi)操作。另一方面，所述運動自適應(yīng)內(nèi)插器通過插入來自具有相反極性的相鄰場的像素而生成所述缺失的像素。這一點只有在場之間沒有圖像運動時才是有效的，因此圖3的基本組織是在檢測到圖像運動的圖像位置處使用所述空間內(nèi)插器IOO的輸出，而在沒有檢測到圖像運動的像素位置處則使用所述運動自適應(yīng)內(nèi)插器IIO的輸出。為了操作簡單，所述空間內(nèi)插器在每個像素位置處操作，而所述運動自適應(yīng)內(nèi)插器則選擇該空間內(nèi)插器的輸出，或者選擇來自具有相反極性的另一個場的像素以供輸出，或者混合所述二者。下面將更加詳細地描述所述運動自適應(yīng)內(nèi)插器。首先將描述所述空間內(nèi)插器。所述空間內(nèi)插器包括1-2水平像素縮放器130、空間塊匹配器140、最小誤差選擇器150、對角線內(nèi)插器160、點噪聲減少器170以及Kell因數(shù)校正器180。下面將更加詳細地描述其中的每一個的操作。所述縮放器130使用水平線性內(nèi)插在所述輸入隔行場的每兩個像素之間生成一個附加像素值。因此，水平分辨率(至少在可用像素值數(shù)目方面)被加倍，但是在此階段對于垂直分辨率沒有差別。下面將參照圖4A到4C描述水平縮放是適當(dāng)?shù)脑?。正如下面將描述的那樣，空間塊匹配器140和對角線內(nèi)插器160的總體操作是檢測關(guān)于將在其中內(nèi)插新像素的像素位置的圖像特征的指向，以及隨后沿著該圖像特征方向應(yīng)用內(nèi)插。因此，如果將被內(nèi)插的當(dāng)前像素位置位于例如與水平成45。的對角線圖像特征(線、邊緣等等)之內(nèi)，則對于該新像素的內(nèi)插將沿著該45°方向發(fā)生。這可能往往會給出比起把所述內(nèi)插限制到水平或垂直內(nèi)插的情況更好的輸出結(jié)果。因此，這一處理的關(guān)鍵部分顯然是檢測在每個像素位置處的圖像特征的方向。所述檢測是利用塊匹配處理實施的。下面將更加詳細地描述實際的塊匹配處理。但是在此階段，圖4A示意性地示出了未知像素220(內(nèi)部帶有問號的圓圏)的位置周圍的兩個像素塊200、210之間的成功塊匹配。實際上，在這里的附圖中所使用的符號是用正方形表示已知像素，同時用圓圈表示將被對角線內(nèi)插器160內(nèi)插的像素。圖4A到4C中的陰影是圖像特征的示意性表示。因此，參照圖4A,在未知像素位置220周圍的塊200、210之間獲得成功的塊匹配，從而表明1/2的圖像特征梯度。現(xiàn)在參照圖4C，圖像特征是垂直的，并且同樣地在重疊的塊230、240之間存在成功的塊匹配。然而，在圖4B中，所述圖像特征的梯度是1/1。不可能獲得與處在整凝j象素位置處的塊的成功的塊匹配。塊250、260之間的成功匹配在半整數(shù)像素位置處發(fā)生。相應(yīng)地，為了檢測這種性質(zhì)的梯度(實際上是比1/2更急劇的任何梯度)，必須在子像素(subpixel)精度下進行操作。在本例中采用了半像素精度。如果使用更高的精度(例如四分之一像素精度)，則將檢測到更加接近垂直的梯度。在該實施例中，半像素精度被選擇為處理要求與在非常尖銳的梯度下的精度之間的平衡。實際上，在下面將描述的本發(fā)明的實施例中，并不是通過任一級處的縮放器130對所有圖像進行1:2縮放。下面將更加詳細地描述對縮放的選擇性使用。圖5和6A到6E示意性地示出了所述空間塊匹配操作。如上所述，在子像素精度下實施空間塊匹配；在本例中是半像素精度。使用具有相應(yīng)的搜索范圍(相對于待測像素位置的最大位移)的塊尺寸范圍。考慮到所述1:2縮放操作，在下表中給出了示例性塊尺寸和搜索范圍塊尺寸(以經(jīng)縮放的像素計)搜索范圍(以經(jīng)縮放的像素計)3vx3h0h3vx5h3vx7h±2h…..'3vx41h±19h圖5示意性地示出了未知像素位置320周圍的兩個3vx7h像素塊300、310之間的塊匹配操作。變量d表示所述塊的水平中心與待測像素位置的水平位移。適用于所迷塊匹配的一個條件是，所述塊必須總是與待測像素位置重疊。此外，所述塊在整數(shù)的真實像素位移下;^皮移位(因此位移w對應(yīng)于2w個內(nèi)插^^素的位移)。相應(yīng)地，在圖5中示出的特定塊尺寸允許在-2像素(圖6A)、-1像素(圖6B)、0像素(圖6C)、+1像素(圖6D)、和+2像素(圖6E)的位移下進行5個可能的測試。應(yīng)當(dāng)注意到，所述位移被按照經(jīng)縮放的像素表示為與中心的位移。所述兩個塊被移位相等的數(shù)量，但是是在相反的方向上。使用對稱的位移是因為否則的話所述塊匹配可能會檢測到與待測像素不相關(guān)的線或邊緣。對于每個塊匹配計算絕對差值和(SAD)。其被如下定義■S^DOc,;^,")-22Hp(je-"血，；；+辦)-；(;(;+"a&i;,少+辦+2)1其中，x、y表示當(dāng)前像素坐標(biāo)(y是幀線號)，d是所測試的位移，并且n是所述塊的半徑(該塊寬度是n^2n+l)。一般來說，組合對應(yīng)于三個顏色分量(紅色、綠色和藍色)的所述SAD值，并且最小歸一化SAD值確定用于內(nèi)插的梯度。進行各種檢查以避免不良內(nèi)插，正如下面所描述的那樣。采取各種措施以避免由混疊情況所導(dǎo)致的問題。圖7A和7B示出了可能的混疊情況。參照圖7A,塊340與350之間的塊匹配暗示未知《象素330應(yīng)當(dāng)是暗灰色。這里，所述塊匹配是100%成功的，因此所述SAD值將是O(應(yīng)當(dāng)注意，這是一個示意性的例子)。然而，在圖7B中，塊360與塊370之間的塊匹配也是100%成功的，同樣給出為0的SAD值。圖7B的塊匹配暗示所述未知像素330應(yīng)當(dāng)是亮灰色。塊匹配結(jié)果的這一沖突是在圖7A和7B中示出的圖像部分內(nèi)的緊密間隔的對角線圖像特征之間的混疊的產(chǎn)物。雖然最初看起來任一條對角線都是同樣有效的(即從左上到右下的陡峭的對角線或者從右上到左下的更為平緩的對角線)，但是已經(jīng)建立了處理規(guī)則以允許做出適當(dāng)?shù)倪x擇。下面將描述所述規(guī)則。所述規(guī)則的基礎(chǔ)是所述塊匹配處理被限制到僅僅檢測被視為"線段，，的區(qū)域。也就是說，塊匹配中的每個塊應(yīng)當(dāng)包含線段。經(jīng)過數(shù)字化的線段被視為具有兩種屬性。首先，其沿著所討論的塊的中心掃描線行是單調(diào)的，其次，在所討論的塊內(nèi)的各掃描線之間有垂直跳變。下面將參照圖8A到8D描述應(yīng)用這些測試的方式。在圖8A中，源場包含多條對角線。圖8B示意性地示出了圖8A的圖像內(nèi)的一個像素行。圖8C和8D示出了圖8B中所示的對角線的兩個邊緣?？梢钥闯?，這些邊緣當(dāng)中每一個都具有表現(xiàn)出單調(diào)亮度變化的像素區(qū)域。此外，參照圖8A，可以看出這種片段在相鄰像素行之間展現(xiàn)出垂直跳變。因此，回到圖7A和7B,根據(jù)上面描述的規(guī)則，圖7A的塊匹配將被拒絕，而圖7B的塊匹配將是優(yōu)選的。這是因為圖7B的兩個塊的中心像素線表現(xiàn)出單調(diào)亮度變化，而圖7A中的塊340、350的中心像素線則不是這樣。實際上，所述規(guī)則并不是這么刻板地表示的。實際的規(guī)則涉及到所述線的以下各種屬性之間的平衡單調(diào)性=<formula>formulaseeoriginaldocumentpage10</formula>平均垂直能量=<formula>formulaseeoriginaldocumentpage10</formula>所述規(guī)則是單調(diào)性+C1十(C2/塊寬度)<平均垂直能量其中，Cl、C2是慮及數(shù)據(jù)中的噪聲的常數(shù)。如果滿足該條件，則把相關(guān)的塊匹配用作有效內(nèi)插方向。應(yīng)當(dāng)注意到，所述測試是關(guān)于每一個顏色分量(例如R、G和B)而單獨執(zhí)行的。必須單獨通過所有三個測試?？商鎿Q地，例如為了節(jié)省硬件，可以執(zhí)行少于三個測試。例如，可以但J又測試亮度或者^U又測試一個顏色分量。當(dāng)然，可以替換地測試YcbCr或YpbPr表示法。上面所暗示的適用于塊匹配的第二條規(guī)則是最小歸一化SAD值確定用于后續(xù)內(nèi)插的梯度。一般來說，所述方向是從具有最小誤差(最小歸一化SAD)的塊匹配選擇的。在這種情況下，如果所述歸一化SAD小于閾值KFCthresh,則將不在后面使用所述校正器180的Kell因數(shù)校正。然而，如果所述歸一化SAD值對于多個塊偏移量是類似的(在闊值數(shù)量內(nèi))，或者如果在所有塊匹配上獲得的最小歸一化SAD值大于預(yù)定的最大值，則將使用垂直內(nèi)插，在這些情況下將總是使用Kell因數(shù)校正，并且所述歸一化SAD值被設(shè)置到上面提到的預(yù)定最大值。適用于塊匹配的第三條規(guī)則如下。該規(guī)則的基礎(chǔ)是相鄰的"未知"(將被內(nèi)插的)像素應(yīng)當(dāng)表明與所考慮的當(dāng)前像素類似的梯度。對于當(dāng)前的"未知"像素，令G是預(yù)測梯度。令所述搜索范圍是問/4+1(由于"G，，是按照經(jīng)縮放的像素表示的，因此所述除法是必要的)。令C3…是可編程的常數(shù)。為了應(yīng)用所述規(guī)則，檢查處在相對于所述當(dāng)前像素的-搜索范圍到+搜索范圍(閉區(qū)間)處的當(dāng)前缺失線中的所有像素。在該范圍內(nèi)的滿足下面不等式的每個預(yù)測梯度g令"計數(shù)器"值遞增(IG卜d)<=C3(g-G)<=(|G|+d)隨后，如果計數(shù)器^4〈C5，2x范圍+l),則令v是原始值，令v，是垂直內(nèi)插后的值，并且把結(jié)果設(shè)置到C6v，+(l-C6)v(優(yōu)選形式)或者C6v，+C7v(更一般的形式)。把用于所述像素的歸一化SAD值遞增C8,該常數(shù)可以被設(shè)置成鼓勵使用所述KFC。所述對角線內(nèi)插器160是簡單的像素平均器給定一個方向后，該對角線內(nèi)插器選取下面的線中的該方向上的像素以及上面的線中的該方向上的像素，并且對其求平均。所述點噪聲減少器170涉及到#皮應(yīng)用于對角線內(nèi)插器160的輸出的處理。應(yīng)用一個測試以檢測內(nèi)插后的像素是否處在4個垂直和水平像素(即在上、下、左、右四方緊接所述內(nèi)插后的像素的各像素)的最大值與最小值之內(nèi)。應(yīng)當(dāng)注意到，在該內(nèi)插后的像素上方和下方的像素將是真實像素，而在其左側(cè)和右側(cè)的像素本身也將被內(nèi)插。如果所述內(nèi)插后的像素不在該范圍內(nèi)，貝'J:令v是所考慮的像素的原始值，令v，是v,其被限幅成處在所述4個局部相鄰像素的范圍內(nèi)。令新的像素值是kDNRv，+(l-kNDR)v,其中kDNR是可編程的。下面將參照圖9到11描述Kell因數(shù)校正器180的操作。Kell因數(shù)校正在這里的討論中，提到所述Kell因數(shù)僅僅是為了幫助解釋所述系統(tǒng)的該部分的操作。濾波器實際所利用的僅僅是關(guān)于所述源圖像沒有使用其可獲得的完全帶寬的知識，而不管這是由于掃描偽像還是由于低通濾波處理所造成的。所述Kell因數(shù)是表示逐行掃描和隔行圖像的屬性的量。為了表示所掃描的信息，通常認為僅僅表示了(或者應(yīng)當(dāng)表示)可能的垂直帶寬的700/()(Kell因數(shù))。因此，當(dāng)執(zhí)行隔行到逐行掃描變換時，嘗試產(chǎn)生完全垂直帶寬圖像可能是有害的。相反，可以使用針對小于1的Kell因數(shù)的補償。一種用以補償所述Kell因數(shù)的方法將是對于任何隔行到逐行掃描算法的幀輸出使用70%帶寬濾波器。然而，該幀中的其中一個場是"真實"數(shù)據(jù)，也就是說，其^^皮正確地采樣，因此來自該場的內(nèi)容在定義上肯定是完美的。因此使用一種僅僅對內(nèi)插的線進行濾波的方法。在圖9中示意性地示出了通用Kell因數(shù)濾波操作。下面的數(shù)學(xué)和算法描述了一種適于對內(nèi)插的線執(zhí)行70%帶寬濾波的濾波器。在經(jīng)驗測試中已經(jīng)發(fā)現(xiàn)，該濾波器可以大大減少偽像，并且很重要的是應(yīng)當(dāng)注意到其結(jié)果也顯著好于簡單地對輸入隔行視頻執(zhí)行l(wèi):2垂直放大(up-scaling)操作的情況。圖IO和11示意性地證明了所述概念。在圖10中示出了一般的想法，其中對逐行掃描幀中的真實像素I和內(nèi)插像素s(選擇性地)應(yīng)用垂直濾波器。為了解釋所述技術(shù)，考慮某些不存在的數(shù)據(jù)(特別是隔行場的缺失線)將是有用的。通過(對于所述導(dǎo)出的一部分)把這些線視為是確實存在的而進行處理，可以導(dǎo)出濾波器技術(shù)以便應(yīng)用于這些線的經(jīng)過內(nèi)插的形式，從而生成對所述缺失線的經(jīng)濾波的形式的近似。從下面的解釋中可以明顯看出這一點。參照圖11,考慮假設(shè)的100%垂直帶寬逐行圖像500。這當(dāng)然不存在；由于所述采樣處理中的固有的濾波，其在最好的情況下將是70%濾波的。這樣就形成了可以實現(xiàn)的逐行幀510。然而，即使是該幀我們也無法獲得；替換地，以隔行形式作為場520來提供。該場520是到本隔行到逐行掃描變換處理的源數(shù)據(jù)。所述隔行場520被提供到隔行到逐行變換器，該變換器隨后生成缺失的場線，以便產(chǎn)生重建幀530。然而，該幀530現(xiàn)在可能包含高于可用帶寬的70%的頻率。并不總是希望生成這種頻率，這是因為該信息不存在于到所述隔行到逐行掃描變換器的源數(shù)據(jù)中。因此，應(yīng)當(dāng)產(chǎn)生該幀的不超出所述帶寬極限的某一形式540,并且應(yīng)當(dāng)通過僅僅調(diào)節(jié)所述重建場線而不調(diào)節(jié)源場線來實現(xiàn)這一點一所述源場線是來自已經(jīng)通過這種濾波器的圖像，因此其是"完美"的。因此，產(chǎn)生所需的輸出可以被視為理論圖像550的低通濾波器輸出，所述理論圖像550是從來自與所述重建場隔行的原始100%垂直帶寬圖像的各線構(gòu)造的。然而，所述原始100。/。垂直帶寬圖像不可用，因此下面將描述一種用以規(guī)避該問題的技術(shù)。3抽頭源濾波器方法這是用以產(chǎn)生適當(dāng)?shù)臑V波器的三種方法當(dāng)中的第一種；僅僅推薦后兩種方法，在這里的描述中包括該第一種方法以顯示出演進?？紤]具有下面的形式的3抽頭低通對稱濾波器濾波器=并且還考慮來自已經(jīng)被從隔行轉(zhuǎn)換到逐行掃描的視頻的5條線的像素列尸<formula>formulaseeoriginaldocumentpage14</formula>其中，F(xiàn)是來自真實數(shù)據(jù)場的像素，/是內(nèi)插的像素。應(yīng)當(dāng)注意到，這些值是已知的。所述真實場像素F必須從所述系統(tǒng)輸出。在記錄所述視頻的過程中已經(jīng)根據(jù)所述Kell因數(shù)對這些像素進行了濾波。因此，考慮所述濾波之前的原始視頻一這是概念上的視頻源，這是因為在對光學(xué)信息的采樣中，實際的Kell因數(shù)濾波器將是固有的。如下描述該原始或偽輸入視頻偽輸入=<formula>formulaseeoriginaldocumentpage14</formula>工-1/，其中，；c是來自所述概念上的100%垂直帶寬源的未知的值，/是已經(jīng)被空間內(nèi)插的像素，并且有輸出=偽輸入*濾波器我們現(xiàn)在考慮輸出像素^,其與偽輸入像素/。垂直對準(zhǔn)。<formula>formulaseeoriginaldocumentpage14</formula>我們不知道;m和a的值，因此輸出像素的》值并不是直接已知的。然而，我們知道,尸i^以及y尸R，這是因為對于當(dāng)前場的輸出場線是已知的。因此可以找到H和Jd,并且隨后可以找到少o:<formula>formulaseeoriginaldocumentpage15</formula>現(xiàn)在，通過下面的矢量給出適當(dāng)?shù)?0%垂直帶寬濾波器:32768.5138224925138因此有a=5138以及6=22492。從而有:<formula>formulaseeoriginaldocumentpage15</formula>對于與內(nèi)插的線對準(zhǔn)的p。否則因此，實際上利用5抽頭濾波器解決了所述問題。5抽頭源濾波器方法所述初始的對稱3抽頭濾波器的濾波特性相對較差，因此開發(fā)了一種通過使用初始的對稱5抽頭濾波器來改進這一點的方法。然而，該方法還要求使用所述3抽頭濾波器，否則所述問題不會有解。令所述對稱5抽頭濾波器由3個系數(shù)a、b、c構(gòu)成，并且可以通過[a,b,c,b,a]T來描述完整濾波器。類似地，令所述3抽頭濾波器由兩個系數(shù)d、e構(gòu)成，并且可以通過[d,e,d]T來描述完整濾波器。根據(jù)前述內(nèi)容，但是擴展到使用所述5抽頭濾波器:<formula>formulaseeoriginaldocumentpage16</formula>如果我們嘗試使用與之前相同的方法來對其求解，則所述問題需要求解一組聯(lián)立等式，其中的未知數(shù)的數(shù)目多達所述圖像的高度的一半。因此，這將不適用于切合實際的硬件設(shè)計。相反，考慮所述濾波器的預(yù)測形式，來自更遠的相鄰像素的結(jié)果對于輸出的影響很可能要小于，的緊鄰像素標(biāo)準(zhǔn)的低通濾波器具有這種形式的圍繞中心抽頭的較重權(quán)重。因此，當(dāng)考慮像素w時，來自所述中心抽頭和各緊鄰像素的結(jié)果可以被視為從5抽頭濾波器形成，而更遠的結(jié)果則來自3抽頭濾波器。因此有下面的等式<formula>formulaseeoriginaldocumentpage16</formula><formula>formulaseeoriginaldocumentpage17</formula>上面定義的示例性3抽頭濾波器如下:<formula>formulaseeoriginaldocumentpage17</formula>因此，可以利用下面的矩陣計算輸出像素^:<formula>formulaseeoriginaldocumentpage17</formula>其中，十2被用來確保有單位DC增益(由于舍入誤差因而需要這樣做)。7抽頭源濾波器方法與所述5抽頭方法類似，所述7抽頭方法需要使用7抽頭濾波器、5抽頭濾波器以及3抽頭濾波器。令所述對稱7抽頭濾波器由4個系數(shù)a、6、c、t/構(gòu)成，并且可以通過[a,6,c,《c,6,a]T來描述完整濾波器。類似地，令所述5抽頭濾波器由3個系數(shù)e、/、g構(gòu)成，并且可以通過[e,/g,/e]T來描述完整濾波器。最后，令所述3抽頭濾波器由兩個系數(shù)y'、A構(gòu)成，并且可以通過[/',A,/]T來描述完整濾波器?，F(xiàn)在我們考慮所述輸出像素W及其相鄰像素<formula>formulaseeoriginaldocumentpage18</formula>同樣地，該等式求解起來不實際，因此我們應(yīng)當(dāng)利用7抽頭頭和3抽頭濾波器的組合來求解該等式<formula>formulaseeoriginaldocumentpage18</formula>該等式可以被如下求解:<formula>formulaseeoriginaldocumentpage19</formula><formula>formulaseeoriginaldocumentpage20</formula>上面定義的示例性3抽頭濾波器如下:<formula>formulaseeoriginaldocumentpage20</formula>因此，可以利用下面的矩陣計算所述輸出像素w:<formula>formulaseeoriginaldocumentpage20</formula>該等式被用在每一個空間內(nèi)插的像素上。其響應(yīng)是帶阻濾波器，其阻帶在0.66到0.8f;/2之間；然而，解釋該響應(yīng)是非常復(fù)雜的，這是因為其僅被用于交替的輸出像素。圖12a示意性地示出了所述運動自適應(yīng)內(nèi)插器IIO的操作。該內(nèi)插器110包括場間塊匹配器600、高頻檢查器610以及混合器620。所述場間塊匹配器600使用來自當(dāng)前輸入場和所述三個場存儲裝置120的數(shù)據(jù)來實施場間運動比較。這涉及到把當(dāng)前場(圖12b中的FN)的各像素塊與其相同類型的在前場(FN-2)中的相應(yīng)定位的各塊進行比較，同樣還涉及到把前一場(Fn^)與其相同類型的在前場(FN_3)進行比較。這些比較的結(jié)果被用來檢測圖像中的運動程度。特別地，如下生成絕對差值的加;^又和(SWAD)。執(zhí)行4個塊匹配以產(chǎn)生兩個加權(quán)SAD。它們是-場FN和FN-2上的5hx4v加權(quán)塊匹配。塊匹配。-場Fn"和FN-3上的lhxlv加權(quán)塊匹配。-場FN和FN_2上的lhx2v加權(quán)塊匹配。各加權(quán)塊匹配對重合像素之間的加權(quán)絕對差值進行求和，即SWAD。其中，fn-i(dx,dy)是在與當(dāng)前像素的幀相對位置dx、dy處的值。可以在附錄中找到w的示例性值。對前兩個SWAD求和給出了基于區(qū)域的塊匹配，即SWADAREA。對后兩個SWAD求和給出了局部化的塊匹配，即SWADlocal。所有三個顏色分量都按照相同的方式為所述SWAD做出貢獻。所述系統(tǒng)僅僅需要為每個像素保持所述三個分量的SAD,隨后對該SAD進行加權(quán)并且將其與來自所述塊中的其他像素的值相組合。這意味著所述處理的這方面僅僅需要大約10bpp(比特每像素)的5個線存儲裝置。所迷高頻檢查器610被設(shè)置成檢測輸入場中的高頻。所述算法是基于下面的原理。如果對兩個源場進行交織產(chǎn)生許多高頻能量，則適當(dāng)?shù)淖龇ㄊ菄L試確保所述輸入是合理地靜態(tài)的。只有靜態(tài)視頻才會產(chǎn)生可靠的高頻；高度混疊的運動可能產(chǎn)生高頻，但是這對于場間內(nèi)插來說并不是所期望的情況。如杲存在運動，則可能在所述場4支不正確地交織的位置處產(chǎn)生高頻。參照圖13,所述高頻檢查器使用來自當(dāng)前場Fw的處于當(dāng)前內(nèi)插的像素的上方和下方的線以及來自前一場F>m的對應(yīng)于所述缺失線的線。所述HFC可以祐j見為5x31象素鄰域4企查。令HFQhresM和HFCth^h2是兩個可編程的常數(shù)，其中前者大于后者。設(shè)置一個標(biāo)志exceededHighEnergy二假在每一個分量(或其子集)(RGB/YPbPr)上一其中YPbPr按照與標(biāo)準(zhǔn)清晰度系統(tǒng)中的YCbCr類似的方式表示高清晰度系統(tǒng)中的顏色空間設(shè)置energy(能量)=0對于具有水平位置x=-2,-l,0,l,2(相對于當(dāng)前像素)的像素，令經(jīng)過交織的場值是v。，并且其上方和下方的線的當(dāng)前場值是V-!和Vl,則有ifv0<min(vi,v—i),i殳置diff=min(vi,v—i)隱v0elseifvO〉max(vl，v國l),i殳置diff=vO畫max(vl,v國l)else設(shè)置diff=0If(dif&HFCthreshi),^殳置energy=energy+(HFCthreshi-HFCthresh2)*weighting[x]elseif(diff^HFQhresh2),i殳置energy=energy+(diff-HFCthresh2)*weighting[x]Ifenergy〉HFCaiio麗ce，設(shè)置標(biāo)志exceededHighEnergy二真這樣就結(jié)束了在每個分量上實施的處理。隨后，如果exceededHighEnergy-真，則把SWADAREA增大一個可編程的常數(shù)值HFCpenaity。SWADAREA的所述增大將往往會違反在該輸出位置處使用運動自適應(yīng)像素。所述混合器620根據(jù)SWADarea和SWADlocal以及各種閾值thresh等標(biāo)準(zhǔn)來操作。IfSWADLOCAL〉threshi,僅僅使用空間內(nèi)插的場FN，ElseifSWADAREA>thresh2,僅僅使用空間內(nèi)插的場FN，ElseifSWADAREA<thresh2,僅僅使用場Fj^Else混合場F^與FN，4^a=(thresh2-SWADAREA)/(thresh2-thresh3)所得到的像素值=&+(1-a)FN，圖14a和14b示意性地示出了降低了對于圖像縮放的需求的變型。特別地，圖14a示意性地示出了上面描述的實施例的操作，其中每一個像素行(在該圖中被表示為no口o...)包含真實像素以及來自縮放器130的經(jīng)過1:2內(nèi)插的像素。示出了兩個塊700、710之間的示例性塊匹配以及兩個塊720、730之間的另一個塊匹配。在圖14a中的兩個塊匹配之間的共同之處在于，所述各塊的最邊緣的像素是經(jīng)過1:2內(nèi)插的像素o。因此，該方法依賴于已經(jīng)被1:2縮放器縮放過的整個圖像。在圖14b中對于所述塊的尺寸做了非常小的改變，從而所述最邊緣的像素是真實像素而不是經(jīng)過內(nèi)插的像素。在圖14b的上部中，測試與圖14a的上部中相同的圖像特征角度，但是使得塊740、750略微更寬，從而使其邊緣像素是真實像素口。類似的考慮適用于圖14b的下部，其中示出了塊760、770之間的匹配，所述匹配測試與圖14a的下部中示出的匹配相同的圖像特征角度。于是情況就是對于例如在圖14a和14b中示出的那些大塊來說，實際上不需要在各對經(jīng)過內(nèi)插的像素之間進行比較?？梢詮恼鎸?非內(nèi)插)像素的基本比較中獲得相同的信息。然而，回想起之所以引入像素內(nèi)插的最初原因是允許檢測陡峭(接近垂直)的圖像特征角度。因此，在一種設(shè)置中，本實施例保留對于較小塊偏移量的1:2內(nèi)插操作，以便允許更好地檢測這種陡峭角度。例如，±1和0的塊偏移量范圍可以使用經(jīng)過1:2內(nèi)插的像素，而大于這一范圍的塊偏移量則不需要使用所述經(jīng)過1:2內(nèi)插的像素。在另一種變型中，僅僅對于其最大正偏移量和最大負偏移量在匹配操作中使用每個塊尺寸。這樣可以大大減少所需要的塊匹配操作的數(shù)目，同時實際上不損失任何信息，這是因為先前的方案例如對于每個塊尺寸在O位移處(垂直圖像特征)重復(fù)了所述塊匹配測試。當(dāng)結(jié)合在一起時，上述措施可以允許"按照需要"實施所述1:2內(nèi)插，也就是說，響應(yīng)于該子集內(nèi)的像素包含在將由例如所述塊匹配器內(nèi)的塊比較器測試的測試塊中，單獨地處理1:2像素塊，而不是由所述縮放器130處理整個內(nèi)插像素場。這樣降低了對于用來保存內(nèi)插像素場的場存儲裝置的需求。相反，僅僅需要由所述塊匹配器緩沖幾條線上的幾個內(nèi)插像素。圖15、16a、16b、17a和17b示意性地示出了主要和替換像素測試策略。針對上面描述的設(shè)置的另一個替換方案是對于適用于塊匹配的所述規(guī)則的另一種改變，以便降低該操作的硬件要求。對于上面描述的水平能量的原始等式如下<formula>formulaseeoriginaldocumentpage23</formula>其中x指代所述塊的中心行。其可以被以下等式替代。廣f塊寬度i￡《M,力l+(塊寬度,力-"l，y所述經(jīng)過修正的測試是關(guān)于內(nèi)插的行對稱的。圖15示意性地示出了塊匹配。圖16a和16b示意性地示出了將關(guān)于該塊匹配執(zhí)行的針對水平和垂直能量的原始測試。圖17a和17b示意性地示出了所述經(jīng)過修正的測試，其中示出了相同的兩行:故用于全部兩個測試。這意味著相同的邏輯可以實施全部兩個測試，從而導(dǎo)致減少了實現(xiàn)該規(guī)則所需的硬件。最后，圖18示意性地示出了差值的生成。利用圖18的設(shè)置，可以作為滾動平均值來計算SAD值，其中在插入一個新值時丟棄一個舊值。這同樣可以減少實現(xiàn)該特征所需要的處理和硬件。雖然關(guān)于隔行到逐行掃描變換描述了各實施例，但是相同的技術(shù)也適用于改變圖像(比如逐行掃描圖像)的尺寸(例如高度)。例如，所述技術(shù)可以^丸行1:3或1:4縮放。應(yīng)當(dāng)認識到，可以用在適當(dāng)軟件的控制下操作的可編程或半可編程硬件來實現(xiàn)本發(fā)明。這可以是通用計算機或者諸如ASIC(專用集成電路)或FPGA(現(xiàn)場可編程門陣列)之類的設(shè)置。所述軟件可以在諸如盤或固態(tài)存儲器之類的存儲介質(zhì)上提供，或者可以通過諸如網(wǎng)絡(luò)或互聯(lián)網(wǎng)連接之類的傳輸介質(zhì)提供，或者可以通過二者的組合來提供。附錄<table>tableseeoriginaldocumentpage25</column></row><table>權(quán)利要求1、圖像處理設(shè)備，其中從輸入圖像的一個或多個像素的組生成輸出圖像的像素，所述組是根據(jù)所述輸入圖像中的圖像特征方向而選擇的，該設(shè)備包括內(nèi)插器，其用于對所述輸入圖像的各像素之間的中間像素進行內(nèi)插；以及塊比較器，其用于檢測所述輸入圖像中的各組測試像素塊之間的相關(guān)性，所述各組測試塊關(guān)于當(dāng)前像素位置被定向成使得具有最大相關(guān)性的組的指向表明適用于所述當(dāng)前像素位置的可能圖像特征方向；其中對于其關(guān)于當(dāng)前像素位置的指向處于垂直指向附近的預(yù)定范圍內(nèi)的至少一些測試塊組，所述測試塊包括所述輸入圖像的像素以及從所述輸入圖像的像素內(nèi)插的中間像素；以及對于其他測試塊組，所述測試塊僅僅包括所述輸入圖像的像素。2、根據(jù)權(quán)利要求1所述的設(shè)備，其中，對于其關(guān)于所述當(dāng)前像素位置的指向處于垂直指向附近的預(yù)定范圍內(nèi)的全部測試塊組，所述測試塊包括所述輸入圖像的像素以及從所述輸入圖像的像素內(nèi)插的中間像素。3、根據(jù)權(quán)利要求1或2所述的設(shè)備，其中，所述內(nèi)插器可操作地關(guān)于所述輸入圖像的各像素子集來內(nèi)插所述中間像素，其中響應(yīng)于每個子集內(nèi)的像素^C包括在將由所述塊比較器測試的測試塊中而單獨處理該子集。4、根據(jù)權(quán)利要求3所述的設(shè)備，其中，每個子集包括一個測試像素塊。5、根據(jù)先前任一權(quán)利要求所述的設(shè)備，其中，所述測試塊的尺寸通常隨著與垂直指向的角度位移的增大而增大。6、視頻混合設(shè)備，其包括根據(jù)先前任一權(quán)利要求所述的圖像處理設(shè)備。7、視頻顯示設(shè)備，其包括根據(jù)權(quán)利要求1到5中的任一權(quán)利要求所述的圖像處理設(shè)備。8、圖像處理方法，其中從輸入圖像的一個或多個像素的組生成輸出圖像的像素，所述組是根據(jù)所述輸入圖像中的圖像特征方向而選擇的，該方法包括以下步驟對所述輸入圖像的各像素之間的中間像素進行內(nèi)插；以及檢測所述輸入圖像中的各組測試像素塊之間的相關(guān)性，所述各組測試塊關(guān)于當(dāng)前像素位置被定向成使得具有最大相關(guān)性的組的指向表明適用于所述當(dāng)前像素位置的可能圖像特征方向；其中對于其關(guān)于當(dāng)前像素位置的指向處于垂直指向附近的預(yù)定范圍內(nèi)的至少一些測試塊組，所述測試塊包括所述輸入圖像的像素以及從所述輸入圖像的像素內(nèi)插的中間像素；以及對于其他測試塊組，所述測試塊僅僅包括所述輸入圖像的像素。9、具有程序代碼的計算機軟件，當(dāng)由計算機執(zhí)行所述程序代碼時，其被設(shè)置成使得該計算機實施根據(jù)權(quán)利要求8所述的方法。10、一種介質(zhì)，其中通過該介質(zhì)來提供根據(jù)權(quán)利要求9所述的軟件。11、根據(jù)權(quán)利要求IO所述的介質(zhì)，該介質(zhì)是存儲介質(zhì)。12、根據(jù)權(quán)利要求IO所述的介質(zhì)，該介質(zhì)是傳輸介質(zhì)。全文摘要本發(fā)明涉及圖像處理設(shè)備，其中從輸入圖像的一個或多個像素的組生成輸出圖像的像素，所述組是根據(jù)所述輸入圖像中的圖像特征方向而選擇的，該設(shè)備包括內(nèi)插器，其用于對所述輸入圖像的各像素之間的中間像素進行內(nèi)插；以及塊比較器，其用于檢測所述輸入圖像中的各組測試像素塊之間的相關(guān)性，所述各組測試塊關(guān)于當(dāng)前像素位置被定向成使得具有最大相關(guān)性的組的指向表明適用于所述當(dāng)前像素位置的可能圖像特征方向；其中對于其關(guān)于當(dāng)前像素位置的指向處于垂直指向附近的預(yù)定范圍內(nèi)的至少一些測試塊組，所述測試塊包括所述輸入圖像的像素以及從所述輸入圖像的像素內(nèi)插的中間像素；以及對于其他測試塊組，所述測試塊僅僅包括所述輸入圖像的像素。文檔編號H04N5/44GK101283585SQ200680037397公開日2008年10月8日申請日期2006年10月27日優(yōu)先權(quán)日2005年10月31日發(fā)明者K·J·沙曼申請人:索尼英國有限公司