專利名稱：利用運(yùn)動(dòng)矢量和圖像邊緣檢測去交織視頻處理方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像增強(qiáng)處理的方法和系統(tǒng)，尤其是針對現(xiàn)代標(biāo)準(zhǔn)電視系統(tǒng)隔行掃描的數(shù)字信號進(jìn)行去交織的方法和系統(tǒng)。

背景技術(shù)：
目前，標(biāo)準(zhǔn)的電視系統(tǒng)都是基于隔行掃描的視頻信號傳輸技術(shù)。所謂隔行掃描(interlace)是電視系統(tǒng)為了減少帶寬的需求而采取的一種措施。即一個(gè)完整的圖像是由兩個(gè)域構(gòu)成，分別稱為奇數(shù)行和偶數(shù)行構(gòu)成。每幀只能傳輸一個(gè)域。
基于這種數(shù)據(jù)傳輸原理的設(shè)備都會(huì)產(chǎn)生以下問題在某一時(shí)刻，由照相機(jī)捕獲一幀圖像數(shù)據(jù)，并傳輸其奇數(shù)域。若干毫秒之后，再傳輸照相機(jī)捕獲圖像的偶數(shù)域。對于這種隔行掃描的設(shè)備，最大的缺陷就是容易產(chǎn)生“鋸齒型”邊緣。這種“交織”化了的圖像使得基于運(yùn)動(dòng)的處理變得困難。
針對以上問題，目前已經(jīng)有一些圖像交織的算法。這些方案試圖在增強(qiáng)圖像質(zhì)量與降低硬件成本上找到折中。通常包括以下幾類簡單的空間插值、基于方向的濾波和更高級的運(yùn)動(dòng)補(bǔ)償插值。對于基于運(yùn)動(dòng)補(bǔ)償型方案，雖然可以得到較高的圖像質(zhì)量，但復(fù)雜度始終無法降低到一個(gè)適合于商業(yè)應(yīng)用的標(biāo)準(zhǔn)。本文針對這一問題提出一種新的方案，使得可以輸出高視覺品質(zhì)的影像并可以達(dá)到低計(jì)算復(fù)雜度的要求。


發(fā)明內(nèi)容
[要解決的技術(shù)問題] 為了克服現(xiàn)有的這些方案在圖像質(zhì)量與計(jì)算復(fù)雜度上無法完美結(jié)合的不足，本發(fā)明提供出一種可以自動(dòng)適應(yīng)動(dòng)作變化，以邊緣偵測為補(bǔ)償基礎(chǔ)的除交織系統(tǒng)。
[技術(shù)方案] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是對影像動(dòng)作進(jìn)行運(yùn)動(dòng)偵測，將影像切割成動(dòng)態(tài)區(qū)域和表態(tài)區(qū)域，并分別針對兩種不同的區(qū)域采用不同的除交織方法。
本方法主要分為以下四個(gè)步驟進(jìn)行其中一、四步為算法開始與結(jié)束的必選步驟，二、三步分別針對每個(gè)圖像區(qū)域，選擇其中之一即可。
一、運(yùn)動(dòng)偵測(Motion detect)。這里偵測算法選取BPPD(brightness profile patterndifference)方法。不同于大多數(shù)的運(yùn)動(dòng)自適應(yīng)方法，此方法只采用亮度的差值偵測運(yùn)動(dòng)。它的特點(diǎn)是抗噪聲能力強(qiáng)且對運(yùn)動(dòng)反應(yīng)更加敏捷。
下面我們詳細(xì)介紹BPPD方法 首先定義fn-2，fn-1，fn，fn+1為連續(xù)的四幀數(shù)據(jù)，它們存放在內(nèi)存緩沖區(qū)中。其中，fn代表當(dāng)前幀。它的前趨是fn-2和fn-1，后繼是fn+1。
1.定義一些亮度值如下(下面是公式) 公式中f(x，n)代表域n中某一像素(x＝[x，y]t)的亮度值。xn＝[λ，1]t 2.定義亮度的差值Bd，代表一個(gè)特定的像素點(diǎn)在域n和域n-2之間的亮度差。
3.亮度的剖分(profile)值定義為 4.再構(gòu)造亮度剖分模式距離(brightness profile pattern difference)測量特定點(diǎn)在相鄰域之間的梯度值。
5.最后定義七個(gè)運(yùn)動(dòng)估計(jì)值，分別定義如下 針對這七個(gè)估算值，我們相應(yīng)得定義了三個(gè)域值(TA、TB和TC)，它們分別對應(yīng)于Bd，P和Pv。如果這七個(gè)估計(jì)值有一個(gè)或多個(gè)大于它們對應(yīng)的閾值，當(dāng)前像素(x)被認(rèn)為處于運(yùn)動(dòng)區(qū)域，否則x處于靜態(tài)區(qū)域。
二、靜態(tài)區(qū)域(Static region)處理。對于靜態(tài)區(qū)域，它與時(shí)間域有著密切的聯(lián)系。因此，通過域之間(inter-field)的均值濾波器得到相鄰兩幀的平均值。
采用域間均值(Inter-field Averaging)的方法，具體描述如下 輸出信號定義為 算法假設(shè)樣本在相鄰域在空間位置上有緊密的聯(lián)系，就是說這種方式只能用于靜太圖像(比如背景)。對于動(dòng)態(tài)的區(qū)域，將會(huì)產(chǎn)生模糊的圖像。
三、動(dòng)態(tài)區(qū)域(Moving region)處理。
對于動(dòng)態(tài)區(qū)域，則采取了以邊緣檢測為基礎(chǔ)的去交織算法。首先偵測出物體的邊緣，包括垂直、水平和其他方向的邊緣。針對不同的方向各自做除交織運(yùn)算。特別地，對于非水平或垂直方向的邊緣，用三步驟法更精確地判斷其方向和角度，用四分之一像素的精確度進(jìn)行內(nèi)插。
1.邊緣檢測(edge detection) 最有名的基于邊緣的插值算法是ELA算法。但這種方法很容易因?yàn)閭€(gè)別錯(cuò)誤的像素點(diǎn)造成整體判斷的失誤。因此，必須采用更精確估計(jì)邊緣方向的方法。
本方案提出用改進(jìn)的Sobel算子計(jì)算水平和垂直的梯度值。通常包括兩個(gè)算子分別計(jì)算水平和垂直的值。兩個(gè)濾波算子作為一個(gè)滑動(dòng)窗口以從左到右的順序進(jìn)行計(jì)算。垂直方向的計(jì)算結(jié)果被稱為(V_coeff)，水平方向的結(jié)果計(jì)做(H_coeff)。另外還有兩個(gè)預(yù)先定義的閾值分別是垂直閾值(vertical threshold)和水平閾值(horizontal threshold)。四個(gè)值共同作用來完成邊緣的探測。
2.基于邊緣探測的去交織算法 邊緣檢測的結(jié)果得到兩個(gè)分量，分別為V_coeff和H_coeff。將它們與預(yù)先定義的閾值比較，會(huì)得到以下四種情況 1)平滑區(qū)域(Smooth area)V_coeff＜VT，H_coeff＜HT 平滑區(qū)域沒有顯著的亮度變化，因此像素與其周圍點(diǎn)的亮度值相似。由于隔行掃描的圖像不存在左右點(diǎn)的值，因此，只能利用其上下各點(diǎn)的值進(jìn)行插值，公式如下 2)垂直邊緣(Vertical edge)V_coeff＞＝VT，H_coeff＜HT 此類圖像邊緣上的點(diǎn)與其上下各點(diǎn)的關(guān)系極其密切，因此，利用上下各點(diǎn)的值進(jìn)行插值公式同上。
3)水平邊緣(Horizontal edge)V_coeff＜VT，H_coeff＞＝HT 對于水平邊緣的插值會(huì)比較麻煩，因?yàn)槲覀儫o法知道左右相鄰的點(diǎn)的亮度值。如果通過運(yùn)動(dòng)估計(jì)的方式從相鄰幀獲取插值將會(huì)給系統(tǒng)帶來較高的計(jì)算復(fù)雜度。同樣，這里提出一種方法，可以在高圖像質(zhì)量與低計(jì)算復(fù)雜性之間找到折中。
通過觀察，水平邊緣圖像一般分為兩類一種是漸近式的邊緣，另一種則是很規(guī)則的邊緣。分別對兩種不同的邊緣取不同的點(diǎn)進(jìn)行插值 具體方法如下 首先定義方向差值 對于漸近式邊緣，選擇一個(gè)最相關(guān)的邊緣方式方向，對于規(guī)則的水平邊緣，任何一個(gè)方向計(jì)算都是等價(jià)的。
Dmin＝min(D1，D2) 插值的結(jié)果計(jì)算如下 4)傾斜角度(Edge with oblique angle)V_coeff＞＝VT，H_coeff＞＝HT 這種情況邊緣和x軸的角度會(huì)從0度到90度之間變化。因此，角度可能出現(xiàn)的區(qū)間比較大。直接計(jì)算角度的數(shù)值將會(huì)增加系統(tǒng)的負(fù)載。這里通過三步驟法來推測邊緣的方向。
第一步，通過一個(gè)粗糙的法則決定角度屬于以下三種分類中的哪一種 接近垂直(near vertical)、接近水平(near horizontal)和接近45度 第二步，判斷邊緣的方向右下(right-down)或左下(left-down)。
第三步，本步驟所采用的方法可以極大減少參考樣本的數(shù)目，如果步驟二中成功判斷了邊緣的方向，則參考樣本像素?cái)?shù)可以減半。
例如，如果當(dāng)前邊緣檢測為接近水平(near horizontal)，但第二步結(jié)果未確定。則參考點(diǎn)包括以下4個(gè)(Ua1，La1)，(Ua2，La2)，(Ua3，La3)，(Ua4，La4) 輸出信號滿足以下公式 D1＝|Ua1-La1| D2＝|Ua2-La2| D3＝|Ua3-La3| D4＝|Ua4-La4| 如果在第二步中確定邊緣的方向?yàn)橛蚁?right-down)，則插值的參考像素點(diǎn)從16個(gè)減少到2個(gè)(Ua1，La1)，(Ua2，La2)。
輸出信號滿足以下公式 D1＝|Ua1-La1| D2＝|Ua2-La2| 四、將靜態(tài)區(qū)域和動(dòng)態(tài)區(qū)域合并生成去交織圖像輸出。
[有益效果] 本發(fā)明的有益效果是，可以分別針對圖像的靜態(tài)區(qū)域和動(dòng)態(tài)區(qū)域采用不同的去交織算法。算法的效率會(huì)根據(jù)圖像中動(dòng)態(tài)區(qū)域的面積變化。但對于一般的圖像來說，動(dòng)態(tài)區(qū)域不會(huì)占據(jù)整個(gè)圖像，對于多數(shù)情況些算法會(huì)具有較高的計(jì)算復(fù)雜性。同時(shí)，相鄰的圖像域會(huì)被作為一個(gè)序列連續(xù)處理，綜合成唯一的輸出結(jié)果，這避免了圖像的抖動(dòng)，從而獲得更好的視覺效果。實(shí)驗(yàn)結(jié)果證明，本發(fā)明可輸出高視覺品質(zhì)的影像，且達(dá)到低計(jì)算復(fù)雜度的要求。



圖1是本算法的模塊圖 圖2是運(yùn)動(dòng)探測相關(guān)聯(lián)的四個(gè)域和用到的參考像素 圖3是經(jīng)過改進(jìn)的Sobel算子 圖4是邊緣探測中水平和垂直系數(shù)及其閾值 圖5是角度邊緣的三種不同類型 圖6是接近水平且右下方向的邊緣參考像素的提取 圖7是接近水平但邊緣方向不確定參考像素的提取。
權(quán)利要求
為了克服現(xiàn)有的這些方案在圖像質(zhì)量與計(jì)算復(fù)雜度上無法完美結(jié)合的不足，本發(fā)明提供出一種可以自動(dòng)適應(yīng)動(dòng)作變化，以邊緣偵測為補(bǔ)償基礎(chǔ)的除交織系統(tǒng)。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是對影像動(dòng)作進(jìn)行運(yùn)動(dòng)偵測，將影像切割成動(dòng)態(tài)區(qū)域和表態(tài)區(qū)域，并分別針對兩種不同的區(qū)域采用不同的除交織方法。本方法主要分為以下四個(gè)步驟進(jìn)行其中一、四步為算法開始與結(jié)束的必選步驟，二、三步分別針對每個(gè)圖像區(qū)域，選擇其中之一即可。1、運(yùn)動(dòng)偵測(Motion detect)。這里偵測算法選取BPPD(brightness profile pattern difference)方法。不同于大多數(shù)的運(yùn)動(dòng)自適應(yīng)方法，此方法只采用亮度的差值偵測運(yùn)動(dòng)。它的特點(diǎn)是抗噪聲能力強(qiáng)且對運(yùn)動(dòng)反應(yīng)更加敏捷。
下面我們詳細(xì)介紹BPPD方法
首先定義fn-2，fn-1，fn，fn+1為連續(xù)的四幀數(shù)據(jù)，它們存放在內(nèi)存緩沖區(qū)中。其中，fn代表當(dāng)前幀。它的前趨是fn-2和fn-1，后繼是fn+1。
1).定義一些亮度值如下(下面是公式)
公式中f(x，n)代表域n中某一像素(x＝[x，y]t)的亮度值。xn＝[λ，1]t
2).定義亮度的差值Bd，代表一個(gè)特定的像素點(diǎn)在域n和域n-2之間的亮度差。
3).亮度的剖分(profile)值定義為
4).再構(gòu)造亮度剖分模式距離(brightness profile pattern difference)測量特定點(diǎn)在相鄰域之間的梯度值。
5).最后定義七個(gè)運(yùn)動(dòng)估計(jì)值，分別定義如下
針對這七個(gè)估算值，我們相應(yīng)得定義了三個(gè)域值(TA、TB和TC)，它們分別對應(yīng)于Bd，P和Pv。如果這七個(gè)估計(jì)值有一個(gè)或多個(gè)大于它們對應(yīng)的閾值，當(dāng)前像素(x)被認(rèn)為處于運(yùn)動(dòng)區(qū)域，否則x處于靜態(tài)區(qū)域。
2、靜態(tài)區(qū)域(Static region)處理。對于靜態(tài)區(qū)域，它與時(shí)間域有著密切的聯(lián)系。因此，通過域之間(inter-field)的均值濾波器得到相鄰兩幀的平均值。
采用域間均值(Inter-field Averaging)的方法，具體描述如下
輸出信號定義為
算法假設(shè)樣本在相鄰域在空間位置上有緊密的聯(lián)系，就是說這種方式只能用于靜太圖像(比如背景)。對于動(dòng)態(tài)的區(qū)域，將會(huì)產(chǎn)生模糊的圖像。
3、動(dòng)態(tài)區(qū)域(Moving region)處理。
對于動(dòng)態(tài)區(qū)域，則采取了以邊緣檢測為基礎(chǔ)的去交織算法。首先偵測出物體的邊緣，包括垂直、水平和其他方向的邊緣。針對不同的方向各自做除交織運(yùn)算。特別地，對于非水平或垂直方向的邊緣，用三步驟法更精確地判斷其方向和角度，用四分之一像素的精確度進(jìn)行內(nèi)插。
1).邊緣檢測(edge detection)
最有名的基于邊緣的插值算法是ELA算法。但這種方法很容易因?yàn)閭€(gè)別錯(cuò)誤的像素點(diǎn)造成整體判斷的失誤。因此，必須采用更精確估計(jì)邊緣方向的方法。
本方案提出用改進(jìn)的Sobel算子計(jì)算水平和垂直的梯度值。通常包括兩個(gè)算子分別計(jì)算水平和垂直的值。兩個(gè)濾波算子作為一個(gè)滑動(dòng)窗口以從左到右的順序進(jìn)行計(jì)算。垂直方向的計(jì)算結(jié)果被稱為(V_coeff)，水平方向的結(jié)果計(jì)做(H_coeff)。另外還有兩個(gè)預(yù)先定義的閾值分別是垂直閾值(vertical threshold)和水平閾值(horizontal threshold)。四個(gè)值共同作用來完成邊緣的探測。
2).基于邊緣探測的去交織算法
邊緣檢測的結(jié)果得到兩個(gè)分量，分別為V_coeff和H_coeff。將它們與預(yù)先定義的閾值比較，會(huì)得到以下四種情況
(1)平滑區(qū)域(Smooth area)V_coeff＜VT，H_coeff＜HT
平滑區(qū)域沒有顯著的亮度變化，因此像素與其周圍點(diǎn)的亮度值相似。由于隔行掃描的圖像不存在左右點(diǎn)的值，因此，只能利用其上下各點(diǎn)的值進(jìn)行插值，公式如下
(2)垂直邊緣(Vertical edge)V_coeff＞＝VT，H_coeff＜HT
此類圖像邊緣上的點(diǎn)與其上下各點(diǎn)的關(guān)系極其密切，因此，利用上下各點(diǎn)的值進(jìn)行插值。公式同上。
(3)水平邊緣(Horizontal edge)V_coeff＜VT，H_coeff＞＝HT
對于水平邊緣的插值會(huì)比較麻煩，因?yàn)槲覀儫o法知道左右相鄰的點(diǎn)的亮度值。如果通過運(yùn)動(dòng)估計(jì)的方式從相鄰幀獲取插值將會(huì)給系統(tǒng)帶來較高的計(jì)算復(fù)雜度。同樣，這里提出一種方法，可以在高圖像質(zhì)量與低計(jì)算復(fù)雜性之間找到折中。
通過觀察，水平邊緣圖像一般分為兩類一種是漸近式的邊緣，另一種則是很規(guī)則的邊緣。分別對兩種不同的邊緣取不同的點(diǎn)進(jìn)行插值
具體方法如下
首先定義方向差值
對于漸近式邊緣，選擇一個(gè)最相關(guān)的邊緣方式方向，對于規(guī)則的水平邊緣，任何一個(gè)方向計(jì)算都是等價(jià)的。Dmin＝min(D1，D2)
插值的結(jié)果計(jì)算如下
(4)傾斜角度(Edge with oblique angle)V_coeff＞＝VT，H_coeff＞＝HT
這種情況邊緣和x軸的角度會(huì)從0度到90度之間變化。因此，角度可能出現(xiàn)的區(qū)間比較大。直接計(jì)算角度的數(shù)值將會(huì)增加系統(tǒng)的負(fù)載。這里通過三步驟法來推測邊緣的方向。
第一步，通過一個(gè)粗糙的法則決定角度屬于以下三種分類中的哪一種
接近垂直(near vertical)、接近水平(near horizontal)和接近45度
第二步，判斷邊緣的方向右下(right-down)或左下(left-down)。
第三步，本步驟所采用的方法可以極大減少參考樣本的數(shù)目，如果步驟二中成功判斷了邊緣的方向，則參考樣本像素?cái)?shù)可以減半。
例如，如果當(dāng)前邊緣檢測為接近水平(near horizontal)，但第二步結(jié)果未確定。則參考點(diǎn)包括以下4個(gè)(Ua1，La1)，(Ua2，La2)，(Ua3，La3)，(Ua4，La4)
輸出信號滿足以下公式
if min(D1，D2，D3，D4)＝D1
if min(D1，D2，D3，D4)＝D2
if min(D1，D2，D3，D4)＝D3
if min(D1，D2，D3，D4)＝D4
D1＝|Ua1-La1|
D2＝|Ua2-La2|
D3＝|Ua3-La3|
D4＝|Ua4-La4|
如果在第二步中確定邊緣的方向?yàn)橛蚁?right-down)，則插值的參考像素點(diǎn)從16個(gè)減少到2個(gè)(Ua1，La1)，(Ua2，La2)。
輸出信號滿足以下公式
D1＝|Ua1-La1|
D2＝|Ua2-La2|
4、將靜態(tài)區(qū)域和動(dòng)態(tài)區(qū)域合并生成去交織圖像輸出。
本發(fā)明的有益效果是，可以分別針對圖像的靜態(tài)區(qū)域和動(dòng)態(tài)區(qū)域采用不同的去交織算法。算法的效率會(huì)根據(jù)圖像中動(dòng)態(tài)區(qū)域的面積變化。但對于一般的圖像來說，動(dòng)態(tài)區(qū)域不會(huì)占據(jù)整個(gè)圖像，對于多數(shù)情況些算法會(huì)具有較高的計(jì)算復(fù)雜性。同時(shí)，相鄰的圖像域會(huì)被作為一個(gè)序列連續(xù)處理，綜合成唯一的輸出結(jié)果，這避免了圖像的抖動(dòng)，從而獲得更好的視覺效果。實(shí)驗(yàn)結(jié)果證明，本發(fā)明可輸出高視覺品質(zhì)的影像，且達(dá)到低計(jì)算復(fù)雜度的要求。
全文摘要
一種利用運(yùn)動(dòng)矢量合圖像邊緣檢測去交織視頻處理方法及系統(tǒng)。一個(gè)能夠適應(yīng)動(dòng)作變化，以邊緣偵測為補(bǔ)償基礎(chǔ)的除交錯(cuò)系統(tǒng)。為提高視覺效果并避免影像閃爍，本算法先對影像做動(dòng)作的偵測，將影像切割成動(dòng)態(tài)區(qū)域和靜態(tài)區(qū)域，并在兩個(gè)區(qū)域采用不同的除交錯(cuò)方法。
文檔編號H04N5/14GK101340539SQ20071012284
公開日2009年1月7日 申請日期2007年7月6日 優(yōu)先權(quán)日2007年7月6日
發(fā)明者曹喜信, 于敦山, 興 張 申請人:北京大學(xué)軟件與微電子學(xué)院