專利名稱：具有噪聲抑制的對(duì)角線增強(qiáng)的上變換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將隔行視頻上變換為逐行(非隔行)視頻的領(lǐng)域。更具體地說(shuō)，本發(fā)明涉及去交織算法的領(lǐng)域。
背景技術(shù)：
當(dāng)將隔行視頻變換為逐行掃描格式時(shí)，去交織算法一般在沒(méi)有檢測(cè)到運(yùn)動(dòng)的區(qū)域中使用時(shí)間估計(jì)(場(chǎng)間)，但在運(yùn)動(dòng)區(qū)域中使用空間估計(jì)(場(chǎng)內(nèi))?；谠谕粓?chǎng)中缺失行的上面和下面的行，使用空間內(nèi)插為所缺失的行產(chǎn)生一個(gè)估計(jì)。
一種去交織亮度像素的場(chǎng)、以創(chuàng)建空間上在場(chǎng)的現(xiàn)有行之間的像素行的簡(jiǎn)單方法是直接平均其上面和下面的像素值、以創(chuàng)建每個(gè)新的像素。然而，這種方法在場(chǎng)中的對(duì)角線細(xì)節(jié)上產(chǎn)生鋸齒狀的邊緣，諸如在不是水平的臺(tái)階(step)上，或在風(fēng)中飄動(dòng)和角度改變時(shí)的旗幟上的直立條紋。
一種用于增強(qiáng)的對(duì)角線細(xì)節(jié)的較好的方法是在三個(gè)像素平均中進(jìn)行選擇前面描述的垂直平均以及左、右對(duì)角線平均。所述左對(duì)角線平均是通過(guò)對(duì)被內(nèi)插的位置的左上方的像素和右下方的像素的值進(jìn)行平均來(lái)計(jì)算的。同樣，右對(duì)角線平均是右上方的像素和左下方的像素的平均。
在兩個(gè)對(duì)角線平均和垂直平均之間進(jìn)行選擇的基本思想在由湯姆森Thomson(這里的受讓人)資助的1990早期的一個(gè)研究項(xiàng)目中的SarnoffResearch Laboratories(薩爾諾夫研究實(shí)驗(yàn)室，Sarnoff)進(jìn)行了研究。在三個(gè)選項(xiàng)之間進(jìn)行選擇的最簡(jiǎn)單的算法在他們的報(bào)告中被表示為DIAG1算法。
選擇這三個(gè)平均中的一個(gè)的簡(jiǎn)單的算法被Sarnoff算出并表示為DIAG1。用于在兩個(gè)對(duì)角線平均和一個(gè)垂直平均之間進(jìn)行選擇的DIAG1算法使用與平均同樣的像素值計(jì)算并比較三個(gè)差值。對(duì)于每個(gè)平均，計(jì)算相應(yīng)的差值，并且比較那些差值的絕對(duì)值以找到最小值。對(duì)應(yīng)于該最小差值的像素平均被選擇為內(nèi)插值。
所提到的Sarnoff工作被記錄在兩篇報(bào)告中Spatially-AdaptiveDe-Interlacing Techniques for Digital Feature TV(數(shù)字特征電視的空間自適應(yīng)去交織技術(shù))，1990年12月31日，以及Digital Feature TV Project Final Report(數(shù)字特征電視計(jì)劃最終報(bào)告)，1991年3月31日。即使是有具有多個(gè)選項(xiàng)考慮空間內(nèi)插估計(jì)的明顯優(yōu)點(diǎn)，DIAG1的現(xiàn)有判定處理也表現(xiàn)得有點(diǎn)隨機(jī)和有噪聲，因?yàn)樽钚≈挡⒉豢偸亲詈玫倪x項(xiàng)。對(duì)于一種相對(duì)簡(jiǎn)單和實(shí)施便宜，而又有較小隨機(jī)性和噪聲的改進(jìn)的判定處理，是人們長(zhǎng)期所需求的。

發(fā)明內(nèi)容
依照發(fā)明的配置，為在兩個(gè)對(duì)角線平均和垂直平均之間進(jìn)行選擇的判定處理加入噪聲抑制，有利地改善了在存在對(duì)角線細(xì)節(jié)的區(qū)域中的畫(huà)面質(zhì)量。這個(gè)噪聲抑制導(dǎo)致了新的算法，標(biāo)為DIAG1T，以在不明確的情況下選擇(prefer)垂直平均。
更具體地說(shuō)，DIAG1T算法在兩種條件下有利地選擇垂直平均，代表除了DIAG1平均選擇算法的進(jìn)一步判定步驟。首先，如果最小差值不是唯一的，則選擇垂直平均。第二，如果所選擇的平均并不處于在被內(nèi)插的位置之上和之下的像素之間的值的范圍內(nèi)，則選擇垂直平均。
對(duì)角線相鄰像素對(duì)應(yīng)或依賴于采樣率，所以在顯示畫(huà)面中以一定角度進(jìn)行排列。例如，對(duì)于具有4×3屏幕高寬比的720×480畫(huà)面，對(duì)角線對(duì)應(yīng)于大約水平線以上41度的角度。改善的算法能夠改善在畫(huà)面中比這個(gè)角度陡峭的對(duì)角線特性。


圖1是依照本發(fā)明的DIAG1T對(duì)角線增強(qiáng)上變換系統(tǒng)的框圖。
圖2是用于解釋原始和內(nèi)插的像素的空間方位的圖形。
圖3是說(shuō)明圖1中的平均和差值(AVG-DIF)塊的細(xì)節(jié)的框圖。
圖4是說(shuō)明圖1中所示的DIAG1T電路中的信號(hào)流的框圖。
圖5是圖4中所示的DIAG1判定邏輯的框圖。
圖6是說(shuō)明圖4中的DIAG1T抑制邏輯的框圖。
具體實(shí)施例方式
依照發(fā)明配置的去交織算法在這里標(biāo)為DIAG1T。該DIAG1T去交織算法可以被用作只是空間(場(chǎng)內(nèi))的算法或用作在運(yùn)動(dòng)自適應(yīng)去交織算法中的空間估計(jì)。由DIAG1T算法所實(shí)現(xiàn)的改進(jìn)，在用于代替簡(jiǎn)單行平均(lineaverage)的空間估計(jì)時(shí)是意義重大的。
在下面的描述中，假設(shè)視頻信號(hào)是以分量形式存在的，并且只對(duì)亮度分量使用DIAG1T算法進(jìn)行處理。因此，這里使用的“亮度像素值”或“像素值”是指亮度分量。簡(jiǎn)單行平均對(duì)于去交織兩個(gè)較低分辨率的色度分量是令人滿意的。
如下所示，將關(guān)于輸入視頻的兩個(gè)連續(xù)行的亮度像素值標(biāo)記為Xij，并將內(nèi)插的逐行輸出行像素標(biāo)記為Yij，并且如圖2中所示輸入行1X11 X12 X13 X14 X15輸出行Y11 Y12 Y13 Y14 Y15輸入行2X21 X22 X23 X24 X25簡(jiǎn)單行平均空間估計(jì)將為Y1j＝(X1j+X2j)/2下面給出的對(duì)DIAG1T算法的描述將集中在為輸出位置Y13計(jì)算空間估計(jì)。對(duì)于其它的輸出像素，在描述中的像素標(biāo)記將相應(yīng)的調(diào)整。當(dāng)?shù)貌坏剿柘袼貢r(shí)，該算法的一個(gè)實(shí)施可以在行的起點(diǎn)和終點(diǎn)進(jìn)行選擇，以改變這里所描述的處理。
對(duì)于Y13，DIAG1T算法如下計(jì)算3像素平均和3像素差值，并且如圖1中所示y1L＝(X12+X24)/2；d1L＝abs(X12-X24)；y1V＝(X13+X23)/2；d1V＝abs(X13-X23)；y1R＝(X14+X22)/2；d1R＝abs(X14-X22)；這些平均和差值對(duì)應(yīng)于左對(duì)角線、垂直和右對(duì)角線估計(jì)。用于提供所有這些平均和差值的電路10的示例框圖被表示在圖1中，包括多個(gè)雙穩(wěn)態(tài)多諧振蕩器形式的延遲電路12、14、16、18和20，以及其它適當(dāng)?shù)钠骷?。例如，延遲電路16可以是一個(gè)行延遲。該電路還包括最小值電路22、最大值電路24，以及AVG-DIFF塊26、28和30。諸如圖1中的AVG-DIF塊26的示例AVG-DIF塊的細(xì)節(jié)在圖3中示出。AVG-DIF塊26最好在器件或塊的平均部分包括用于相加相鄰像素值的加法器34和二分電路38。在差值部分中，塊26還包括減法器36和絕對(duì)值功能部件39。
如下所示，基本DIAG1算法選擇對(duì)應(yīng)于最小差值的估計(jì)，并且如圖5中所示y＝y(tǒng)1V；d＝d1V；if(d1L＜d){y＝y(tǒng)1L；d＝d1L；}if(d1R＜d)y＝y(tǒng)1R；Y13＝y(tǒng)；更具體地說(shuō)，基本DIAG1判定邏輯42能夠如下來(lái)表示，使用如圖5中所示連接的比較器52和58，以及多路復(fù)用器54、56和59，以提供上述DIAG1算法的功能性，盡管本發(fā)明并不局限于此。應(yīng)當(dāng)注意到DIAG1算法或DIAG1判定邏輯42形成了圖1和4中所示的總DIAG1T判定邏輯32的一部分。
圖4和6中所示的噪聲抑制或DIAG1T抑制邏輯44被用來(lái)清除在DIAG1中的判定噪聲，并且這樣做區(qū)別開(kāi)DIAG1T和DIAG1，進(jìn)一步強(qiáng)調(diào)給定的輸出像素(Y13)的值落入定義給定的輸出像素的垂直平均的頂部像素和底部象素的值的范圍內(nèi)。根據(jù)公式也如此X13≤Y13≤X23或X13≥Y13≥X23如果不滿足這個(gè)約束，則輸出Y13＝y(tǒng)1V。
一個(gè)區(qū)別DIAG1T的附加抑制是左對(duì)角線差值等于或基本等于右對(duì)角線差值。換句話說(shuō)，左對(duì)角線相鄰像素與右對(duì)角線相鄰像素的差值需要是唯一，或d1R必須不同于d1L。按照公式如果d1L＝d1R，則輸出Y13＝y(tǒng)1V。
這些另外的抑制在圖4和6中說(shuō)明。特別是，圖6中所示的DIAG1T抑制邏輯44能夠由如所示配置和連接的比較器60、62和64，或門(mén)(OR)66和多路復(fù)用器68來(lái)具體體現(xiàn)，以提供上述功能。
Thomson的Princeton Engine實(shí)時(shí)數(shù)字視頻模擬器被編程，以論證Sarnoff的DAIG1、DIAG2和DIAG3W去交織算法和Thomson的新的DIAG1T去交織算法。Princeton Engine被編程以作為只是空間(場(chǎng)內(nèi))去交織器和作為運(yùn)動(dòng)自適應(yīng)去交織算法的空間估計(jì)來(lái)執(zhí)行每種算法。
這些算法對(duì)各種不同的觀察者進(jìn)行了模擬和論證，首先采用固定測(cè)試圖案、幀速率掃描，然后用靜止視頻場(chǎng)景，最后用實(shí)時(shí)運(yùn)動(dòng)視頻。
在幀速率掃描測(cè)試圖案中，存在多種水平、垂直和對(duì)角線頻率。所有的Sarnoff去交織算法導(dǎo)致去交織的測(cè)試圖案出現(xiàn)各種由可視邊界定義的區(qū)域，其中一些區(qū)域由垂直平均估計(jì)，而其它區(qū)域是用左或右對(duì)角線平均估計(jì)。在4種算法DIAg1、DIAG3、DIAG3W和DIAG1T之間的主要的可以看得見(jiàn)的不同在于區(qū)域之間的邊界的特性。當(dāng)數(shù)字地產(chǎn)生幀速率掃描圖案時(shí)，邊界非常干凈和筆直。然而，當(dāng)測(cè)試圖案由具有一些噪聲的模擬源形成時(shí)，邊界就定義的不太好了，并且是鋸齒狀的。而使用DIAG3W和DIAG1T的邊界則顯而易見(jiàn)的更清楚一些。DIAG3與DIAG1相比有一定改進(jìn)。在DIAG3W和DIAG1T的表現(xiàn)之間的差別很小，但是DIAG1T算法更簡(jiǎn)單，而且比DIAG3W更容易實(shí)現(xiàn)。與使用DIAG1算法相比，用DIAG1T算法的區(qū)域邊界更是非常的清楚。
在使用靜止或移動(dòng)視頻的仿真中，具有對(duì)角線細(xì)節(jié)的區(qū)域明顯地改進(jìn)了。一個(gè)觀察到的這樣的場(chǎng)景有一個(gè)在風(fēng)中搖動(dòng)的美國(guó)國(guó)旗。當(dāng)旗子隨風(fēng)移動(dòng)時(shí)，旗子上的條紋從水平改變到各種角度的對(duì)角線，而明顯地改進(jìn)了在具有對(duì)角線細(xì)節(jié)的這樣的區(qū)域中細(xì)節(jié)。在某些對(duì)角線角度上的鋸齒狀邊緣的改進(jìn)是顯著的。
當(dāng)作為運(yùn)動(dòng)自適應(yīng)算法的空間估計(jì)使用時(shí)，DIAG1T算法顯著地改進(jìn)畫(huà)面的移動(dòng)區(qū)域，而沒(méi)有顯著地增加復(fù)雜度或成本。畫(huà)面的固定區(qū)域已經(jīng)從視頻的相鄰場(chǎng)中有了較多的細(xì)節(jié)。
根據(jù)前述本發(fā)明的描述，應(yīng)該認(rèn)識(shí)到本發(fā)明能夠以硬件、軟件或硬件和軟件的組合來(lái)實(shí)現(xiàn)。根據(jù)本發(fā)明的當(dāng)將隔行視頻上變換為逐行視頻時(shí)，內(nèi)插給定的輸出像素值的方法能夠在一個(gè)處理系統(tǒng)中以集中的方式實(shí)現(xiàn)，或以不同元件被分開(kāi)到幾個(gè)互相連接的系統(tǒng)中的分布的方式實(shí)現(xiàn)。任何類(lèi)型的計(jì)算機(jī)系統(tǒng)，或其它適用于實(shí)施這里描述的方法的裝置是合適的。硬件和軟件的典型組合可以是具有計(jì)算機(jī)程序的通用計(jì)算機(jī)或數(shù)字信號(hào)處理器，該計(jì)算機(jī)程序當(dāng)被載入并運(yùn)行時(shí)，控制計(jì)算機(jī)系統(tǒng)，以便實(shí)施這里描述的方法。
本發(fā)明也可以用計(jì)算機(jī)程序產(chǎn)品來(lái)具體體現(xiàn)，該計(jì)算機(jī)程序產(chǎn)品包括所有使這里描述的方法能夠?qū)嵤┑乃刑卣?，并且?dāng)其載入計(jì)算機(jī)系統(tǒng)時(shí)，能夠執(zhí)行這些方法。這里上下文中的計(jì)算機(jī)程序或應(yīng)用是指任何表達(dá)形式的、任何語(yǔ)言、代碼或符號(hào)的、能夠使具有信息處理能力的系統(tǒng)直接執(zhí)行，或在下面步驟之一或兩個(gè)之后執(zhí)行特定功能的一組指令a)轉(zhuǎn)換為另一種語(yǔ)言、代碼或符號(hào)；b)以不同的材料形式再現(xiàn)。
此外，上面的描述只是為了示例，而不是為了以任何方式限制本發(fā)明，除了在下面權(quán)利要求中所作的限定。
權(quán)利要求
1.一種用噪聲抑制對(duì)角線增強(qiáng)將隔行視頻上變換為逐行視頻的方法，包括下列步驟對(duì)于給定的輸出像素確定垂直平均(y1V)、左對(duì)角線平均(y1L)、右對(duì)角線平均(y1R)、垂直差值(d1V)、左對(duì)角線差值(d1L)和右對(duì)角線差值(d1R)；基于在垂直差值(d1V)、左對(duì)角線差值(d1L)和右對(duì)角線差值(d1R)之中的最小差值，在垂直平均(y1V)、左對(duì)角線平均(y1L)、右對(duì)角線平均(y1R)之中進(jìn)行選擇；以及，如果左對(duì)角線差值基本上等于右對(duì)角線差值(d1L≈d1R)，則將選擇步驟約束到垂直平均(y1V)。
2.如權(quán)利要求1所述的方法，其中該方法還包括步驟如果給定的輸出像素(例如，y13)的值不在定義給定的輸出像素的垂直平均的頂部像素(例如，x13)和底部像素(例如，x23)的值的范圍之間，則約束選擇步驟到垂直平均(y1V)。
3.如權(quán)利要求1所述的方法，其中該方法還包括步驟如果給定的輸出像素的值不在由給定的輸出像素的上面的相鄰像素和給定的輸出像素的下面的相鄰像素所定義的值的范圍之間，則約束選擇步驟到垂直平均。
4.如權(quán)利要求1所述的方法，其中垂直平均是通過(guò)將給定的輸出像素的上面的垂直相鄰像素的亮度分量值與給定的輸出像素的下面的垂直相鄰像素的亮度分量值相加，得到一個(gè)和數(shù)并且除以2而獲得的。
5.如權(quán)利要求1所述的方法，其中左對(duì)角線平均是通過(guò)將給定的輸出像素的左上方的對(duì)角線相鄰像素的亮度分量值與給定的輸出像素的右下方的對(duì)角線相鄰像素的亮度分量值相加，得到一個(gè)和數(shù)并且除以2而獲得的。
6.如權(quán)利要求1所述的方法，其中右對(duì)角線平均是通過(guò)將給定的輸出像素的右上方的對(duì)角線相鄰像素的亮度分量值與給出的輸出像素的左下方的對(duì)角線相鄰像素的亮度分量值相加，得到一個(gè)和數(shù)并且除以2而獲得的。
7.如權(quán)利要求1所述的方法，其中在垂直差值、左對(duì)角線差值和右對(duì)角線差值之中的最小差值是通過(guò)比較垂直差值、左對(duì)角線差值和右對(duì)角線差值的絕對(duì)值，和在垂直差值、左對(duì)角線差值和右對(duì)角線差值之中選擇最小值來(lái)確定的。
8.如權(quán)利要求1所述的方法，其中約束步驟包括如果左對(duì)角線差值等于右對(duì)角線差值，則約束選擇步驟到垂直平均。
9.如權(quán)利要求1所述的方法，其中垂直平均基于垂直相鄰像素；左對(duì)角線平均基于左上方和右下方的對(duì)角線相鄰的像素；以及，右對(duì)角線平均基于右上方和左下方的對(duì)角線相鄰的像素。
10.如權(quán)利要求9所述的方法，其中在垂直相鄰像素、左對(duì)角線相鄰像素和右對(duì)角線相鄰像素之中選擇給定的輸出像素的內(nèi)插值的步驟基于在垂直相鄰像素、左對(duì)角線相鄰像素和右對(duì)角線相鄰像素分別的差值之中的絕對(duì)值的最小差值。
11.一種用于將隔行視頻上變換為逐行視頻的去交織電路，包括用于對(duì)給定的輸出像素確定垂直平均(y1V)、左對(duì)角線平均(y1L)、右對(duì)角線平均(y1R)、垂直差值(d1V)、左對(duì)角線差值(d1L)和右對(duì)角線差值(d1R)的裝置(26、28、30)；用于基于在垂直差值(d1V)、左對(duì)角線差值(d1L)和右對(duì)角線差值(d1R)之中的最小差值，在垂直平均(y1V)、左對(duì)角線平均(y1L)、右對(duì)角線平均(y1R)之中進(jìn)行選擇的裝置(32)；以及用于如果最小差值不確定時(shí)，則將選擇步驟約束到垂直平均(y1V)的裝置(44)。
12.如權(quán)利要求11所述的去交織電路，其中，如果給定的輸出像素的值不在由給定的輸出像素的上面的相鄰像素和給定的輸出像素的下面的相鄰像素所定義的值的范圍之間，則在垂直差值(d1V)、左對(duì)角線差值(d1L)和右對(duì)角線差值(d1R)之中的最小差值是不確定的。
13.如權(quán)利要求11所述的去交織電路，其中，如果左對(duì)角線相鄰像素和右對(duì)角線相鄰像素的平均值基本上相等，在垂直差值(d1V)、左對(duì)角線差值(d1L)和右對(duì)角線差值(d1R)之中的最小差值是不確定的。
14.如權(quán)利要求11所述的去交織電路，其中，確定、選擇和約束是指只實(shí)施空間去交織。
15.如權(quán)利要求11所述的去交織電路，其中，確定、選擇和約束是指實(shí)施運(yùn)動(dòng)自適應(yīng)去交織算法的空間估計(jì)。
全文摘要
一種當(dāng)將隔行視頻上變換為逐行視頻時(shí)內(nèi)插給定的輸出像素值的方法，包括確定給定的輸出像素的垂直相鄰像素、左對(duì)角線相鄰像素和右對(duì)角線相鄰像素的平均值的步驟，和確定在垂直相鄰像素、左對(duì)角線相鄰像素和右對(duì)角線相鄰像素之間的差值的步驟(28、30和26)?；谠诓钪抵械慕^對(duì)值的最小差值，進(jìn)一步在平均值之中為給定的輸出像素選擇(42)一個(gè)內(nèi)插值，并且如果給定的輸出像素的值不在由給定的輸出像素的上面和下面的相鄰像素所定義的值的范圍內(nèi)，或如果所選擇的最小差值不是唯一的，則進(jìn)一步約束(44)內(nèi)插值到垂直相鄰像素(y1V)的平均值。
文檔編號(hào)H04N5/217GK1643917SQ03807005
公開(kāi)日2005年7月20日 申請(qǐng)日期2003年3月19日 優(yōu)先權(quán)日2002年3月27日
發(fā)明者約翰·K·勒夫金 申請(qǐng)人:湯姆森特許公司