專利名稱:通過自適應(yīng)峰值增強(qiáng)視頻序列銳度的制作方法
技術(shù)領(lǐng)域:
本發(fā)明所聲明的實(shí)現(xiàn)總的涉及增強(qiáng)視頻信息的方案,尤其涉及改變視頻信息銳度的方案。
背景技術(shù):
視頻信息可以經(jīng)由介質(zhì)在時間和/或空間內(nèi)傳輸,以便在分開的時間和/或位置上觀察。在某些情形中,介質(zhì)可以是傳輸介質(zhì),諸如載波(例如,陸上和/或電纜載波)或基于協(xié)議的數(shù)據(jù)網(wǎng)絡(luò)。在某些情形中,介質(zhì)可以是在其播放前存儲視頻信息的存儲介質(zhì)(例如,磁帶、硬盤、數(shù)字視頻盤(DVD)等等)。通常在傳輸之前將視頻數(shù)據(jù)編碼成眾多格式之一。這些編碼格式可包括但不限于MPEG-1、MPEG-2, MPEG-4、高級視頻編碼(AVC)(例如,MPEG-4、part 10 和 ITU-T RecommendationH. 264)、Windows Media Video 9 (WMV-9)和/或 SMPTE 的 VC-I。視頻信息的這些編碼會移除(例如,通過量化等)原始視頻信息內(nèi)的某些高頻內(nèi)容。播放時,經(jīng)解碼信息會平滑和/或有些模糊地出現(xiàn)。該現(xiàn)象不僅在經(jīng)編碼的視頻數(shù)據(jù)中出現(xiàn),還可出現(xiàn)在例如由傳輸路徑中的阻礙所引起的模擬視頻傳輸中。于是就希望能夠増加所接收和/或解碼數(shù)據(jù)的銳度,以改善其被感知圖像的質(zhì)量。為了進(jìn)一歩介紹銳化視頻的概念,將參考圖IA和圖IB討論ー維示例。視頻序列中的圖象可例如包括在水平和垂直方向上都采樣的亮度(Iuma)和色度信號(例如,Y、U和V)。當(dāng)圖像在某一區(qū)域內(nèi)大致均勻時,采樣值會基本相同。然而,當(dāng)圖象內(nèi)存在邊緣(例如,水平邊緣)時,水平方向內(nèi)的采樣值可能會經(jīng)歷值的突變。圖IA示出在多個像素上有ー些突變的亮度值的ー維曲線110。為了銳化視頻信號,會通過向其本身増加曲線110的ニ階導(dǎo)數(shù)(例如,d2Y/dx2)而在信號(例如,Y、U或V)內(nèi)產(chǎn)生過沖/反沖(overshoot/undershoot)。圖IB示出通過添加反沖130和過沖140而變得尖銳的曲線120。添加過沖/反沖140/130可放大所感知的更高頻分量。因為曲線120的邊緣比曲線110的陡峭,則其轉(zhuǎn)換可被感知為在視覺上比未被銳化的曲線110更尖鋭。盡管如此,用于增加視頻信息銳度的某些方案也可能將視頻信息內(nèi)的噪聲增加至不可接受的水平。
發(fā)明內(nèi)容
根據(jù)本發(fā)明的ー種方法,包括在圖像內(nèi)生成用于像素值的銳化值;以非線性的方式放大所述銳化值以生成放大值;并且組合所述像素值和所述放大值。
根據(jù)本發(fā)明的一種系統(tǒng),包括銳化部分,銳化視頻數(shù)據(jù)的像素并輸出銳化值;放大器,對所述銳化值應(yīng)用根據(jù)銳化值的函數(shù)而改變的增益以生成改變值;以及組合器,組合所述改變值和所述視頻數(shù)據(jù)的像素并輸出一增強(qiáng)像素值。根據(jù)本發(fā)明的ー種方法,包括在圖像內(nèi)生成用于像素值的銳化值;在所述銳化值位于中央范圍內(nèi)時以非線性的方式放大所述銳化值以生成一放大值;并且組合所述像素值和所述放大值。
結(jié)合其中并組成本說明書一部分的附圖示出了符合本發(fā)明原理的ー個或多個實(shí)現(xiàn),并連同該說明書解釋這些實(shí)現(xiàn)。附圖無需按比例繪出,而著重于示出本發(fā)明的原理。在附圖中圖IA和圖IB概念性地示出了視頻信號的銳化;
·
圖2示出了視頻顯示系統(tǒng)的一部分;圖3示出了在圖2所示系統(tǒng)中的ー個典型的銳化模塊;圖4概念性地示出了一個卷積核實(shí)例;圖5示出了圖3所示銳化模塊中ー個典型的放大器的増益特性曲線;圖6示出了圖3所示銳化模塊中另ー個典型放大器的増益特性曲線;以及圖7示出了選擇性改變視頻數(shù)據(jù)銳度的典型過程。
具體實(shí)施例方式隨后的細(xì)節(jié)描述涉及附圖。在不同附圖中使用的相同標(biāo)號表示相同或類似的元件。在隨后的描述中,為了解釋而非限制,將闡述諸如特定結(jié)構(gòu)、體系結(jié)構(gòu)、接口和技術(shù)等等的具體細(xì)節(jié)以提供對本發(fā)明所聲明各方面的透徹理解。但是對于從本公開中獲益的本領(lǐng)域普通技術(shù)人員來說顯而易見的是,可以在不同于這些特定細(xì)節(jié)的其他示例中實(shí)現(xiàn)本發(fā)明所聲明的各方面。在某些實(shí)例中,將略去對已知設(shè)備、電路和方法的描述以免用不必要的細(xì)節(jié)混淆對本發(fā)明的描述。圖2示出了視頻顯示系統(tǒng)200的一部分。系統(tǒng)200可接收來自任何合適介質(zhì)的視頻信息,包括但不限于各種傳輸和/或存儲介質(zhì)。雖然為了解釋方便示出了単獨(dú)的功能單元,但是系統(tǒng)200的任何或所有元件都可被放置在一起和/或由ー組公共的門和/或晶體管實(shí)現(xiàn)。此外,系統(tǒng)200的實(shí)現(xiàn)可以經(jīng)由軟件、固件、硬件和/或它們的任意適當(dāng)組合。圖2中示出的部分顯示系統(tǒng)200可包括解碼器210、銳化模塊220、ー個或多個信號調(diào)節(jié)器230以及顯示緩沖器240。在某些實(shí)現(xiàn)中,解碼器210可解碼經(jīng)編碼的視頻數(shù)據(jù)以產(chǎn)生用于進(jìn)ー步處理的視頻數(shù)據(jù)流。解碼器210可以解碼以多種方案編碼的數(shù)據(jù),這些方案包括但不限于MPEG-l、MPEG-2、MPEG-4、高級視頻編碼(AVC)(例如,MPEG-4、part 10和ITU-T Recommendation H. 264)、Windows Media Video 9 (WMV-9)和/或 SMPTE 的 VC-1。在某些實(shí)現(xiàn)中,解碼器210可以包括解調(diào)器,例如用于接收模擬信號。該解調(diào)器通過從所接收的調(diào)制信號中提取視頻流,可以執(zhí)行與數(shù)字解碼器類似的功能。在其他實(shí)現(xiàn)中,解碼器210可以包括可期望提取能被銳化模塊使用的視頻像素流的任何其他諸如此類的電路或功能。
銳化模塊220可以起到選擇性銳化來自解碼器220的視頻流的作用。在某些實(shí)現(xiàn)中,銳化模塊220可以基于其幅度和/或其相鄰像素來有區(qū)別地銳化視頻流內(nèi)圖像的特定部分。圖3示出了銳化模塊220的ー個實(shí)現(xiàn)。銳化模塊220可以包括卷積器310、放大器320以及組合器330。雖然為了顯示方便示出了以特定方式連接的模塊,但是圖3中的銳化模塊220也可以其他的結(jié)構(gòu)連接。例如在某些實(shí)現(xiàn)中,組合器330可以位于放大器320之前以代替圖示中位于其后的位置。其他的變化也是可能并可預(yù)料的。卷積器310可配置為通過添加內(nèi)容至像素來銳化視頻數(shù)據(jù)的像素(例如,Y、U和/或V分量)。卷積器310可以使用圍繞所指像素的多個像素卷積ニ維(2D)拉普拉斯核函數(shù)以獲取導(dǎo)數(shù)值。該導(dǎo)數(shù)值,即卷積器310的輸出,可被稱為銳化值。例如在某些實(shí)現(xiàn)中,卷積器310可以使用5X5核函數(shù),諸如圖4所示的拉普拉斯算子卷積核函數(shù)410。卷積器310例如可使用含有所指像素的5X5亮度數(shù)據(jù)來卷積核函數(shù)410以獲取該亮度信號的2D導(dǎo)數(shù)。卷積器310的輸出例如可以是做為5X5亮度(或色 度)數(shù)據(jù)與5X5核函數(shù)的卷積結(jié)果的7X7陣列。由卷積器310輸出的銳化像素值可以是對應(yīng)于所指像素的所得陣列的中心值。也可預(yù)期不同于該特定實(shí)例的其他變化。例如,卷積器310可以使用不同大小的核函數(shù)。在某些實(shí)現(xiàn)中,可以將相同或不同的核函數(shù)用于亮度(例如,Y)和色度(例如,U和/或V)視頻數(shù)據(jù)。在某些實(shí)現(xiàn)中,僅可卷積亮度數(shù)據(jù)而對色度數(shù)據(jù)不做改變。放大器320可配置為選擇性地増大來自卷積器310的銳化值,從而生成放大值。在某些實(shí)現(xiàn)中,放大器320可以應(yīng)用取決于輸入的非線性增益曲線對值進(jìn)行銳化而產(chǎn)生放大值。例如在某些實(shí)現(xiàn)中,放大器320對那些輸入卷積器310的像素值的總動態(tài)范圍不超過約5% (或另ー個相對較小的閾值)的銳化值不添加(和/或添加)増益。通過放大器320選擇性的放大就可避免放大低于特定信號電平下的噪聲(例如,在組合器330輸出的最終、已銳化像素值內(nèi)避免“去噪(coring)”)。類似地在某些實(shí)現(xiàn)中,放大器320可以對那些超過一定閾值的銳化值不添加和/或添加増益。則放大器320也可能避免對組合器330輸出的最終已銳化像素值內(nèi)進(jìn)行削波(clipping)。圖5示出了放大器320的ー個典型增益特性曲線500。在某些實(shí)現(xiàn)中可產(chǎn)生如虛線所示的期望或較佳增益特性曲線510。在圖5的實(shí)現(xiàn)中,増益特性曲線500可以是期望特性曲線510的分段折線近似。當(dāng)然也可考慮其他實(shí)現(xiàn),諸如期望特性曲線510的曲線近似(例如,二次或立方函數(shù))。在某些實(shí)現(xiàn)中,期望特性曲線510諸如可通過查表而得以精確實(shí)現(xiàn)。増益特性曲線500示出了放大器320的増益(或増益比率因數(shù))與輸入信號(例如,來自卷積器310的亮度和/或色度銳化值)間的關(guān)系。増益特性曲線500在輸入信號小于去噪點(diǎn)520時基本為零,在去噪點(diǎn)520和中間點(diǎn)530之間逐漸增加,在中間點(diǎn)530和削波點(diǎn)540之間逐漸減小,而在大于削波點(diǎn)540時基本為零。當(dāng)輸入值是中間點(diǎn)530時可得到特性曲線500的最大值550。在某些實(shí)現(xiàn)中(例如在對應(yīng)8位其滿度值是255的情況下),去噪點(diǎn)520約為40,而中間點(diǎn)530約為50。在某些實(shí)現(xiàn)中,削波點(diǎn)540是能夠避免對組合器330輸出的最終已銳化像素值進(jìn)行削波的恰當(dāng)值。在某些實(shí)現(xiàn)中,可將最大值550設(shè)為125,幾乎等于滿度值的一半。當(dāng)然其他值也是可行的。應(yīng)該認(rèn)識到增益特性曲線500的非零部分無需關(guān)于中間點(diǎn)530對稱。圖6示出了代替増益特性曲線500的放大器320的另兩個増益特性曲線610和/或620。如圖6所示,增益特性曲線610在其輸入值比特性曲線500小時達(dá)到其最大值,而增益特性曲線620在其輸入值比特性曲線500大時達(dá)到其最大值。而且特性曲線610和620在期望特性曲線510的頂點(diǎn)并未達(dá)到其最大值,而是在該頂點(diǎn)的一側(cè)或另ー側(cè)達(dá)到。在某些實(shí)現(xiàn)中,特性曲線610要優(yōu)于特性曲線500,因為在較低亮度/色度值處銳化的知覺效應(yīng)相較之下要大于更大值處的銳化。雖然已經(jīng)基于卷積器310輸出的銳化值描述了放大器320 (以及在圖5和圖6中相關(guān)聯(lián)的増益特性曲線)的操作,但在某些實(shí)現(xiàn)中可基于輸入至卷積器310的視頻數(shù)據(jù)(例如,已預(yù)先鋭化值)來對放大器320進(jìn)行操作。在某些實(shí)現(xiàn)中,可基于對已預(yù)先鋭化像素數(shù) 據(jù)和卷積器310輸出銳化值的組合操作放大器320。無論放大器320基于哪種數(shù)據(jù)進(jìn)行操作,它都能起到避免對組合器330輸出的已銳化像素值進(jìn)行去噪和/或削波。組合器330可以使用來自放大器320的放大值和輸入至卷積器310的像素值來輸出已銳化像素值。在某些實(shí)現(xiàn)中,組合器330可以包括把來自放大器320的放大值與相應(yīng)的未經(jīng)銳化像素值相加的加法器。在某些實(shí)現(xiàn)中,組合器330包括能夠算術(shù)地(例如,減法器、乘法器等)和/或邏輯地(例如,AND、XOR等)組合放大值至相應(yīng)像素值的其他邏輯?;氐綀D2,銳化模塊220可以將增強(qiáng)的像素值輸出給可進(jìn)一歩地調(diào)節(jié)像素的ー個或多個調(diào)節(jié)器230。調(diào)節(jié)器230可以包括例如解交錯、噪聲減少、比例縮放和/或其他信號調(diào)節(jié)功能的ー個或多個。調(diào)節(jié)器230可以通過專用硬件、固件、軟件或它們的組合來實(shí)現(xiàn),從而在銳化模塊220執(zhí)行銳化之后執(zhí)行ー種或多種信號調(diào)節(jié)功能。顯示緩沖器240可以接收來自調(diào)節(jié)器230的視頻數(shù)據(jù),并可在輸出至顯示設(shè)備(未示出)之前臨時存儲這些數(shù)據(jù)的至少一部分。除了緩沖(例如,存儲)功能,顯示緩沖器240可以執(zhí)行其他的顯示相關(guān)任務(wù),諸如使其輸出信號與定時或同步信號同步以方便顯示。通??稍陲@示緩沖器中找到的其他功能也可在顯示緩沖240中出現(xiàn)。圖7示出了選擇性改變視頻數(shù)據(jù)銳度的典型過程700。雖然圖7為方便和清楚解釋參考了圖2和圖3中示出的銳化模塊220進(jìn)行描述,但是應(yīng)該理解也可通過其他硬件和/或軟件實(shí)現(xiàn)來執(zhí)行過程700。過程可以從生成銳化值(動作710)開始。銳化值可如前所述由卷積器310生成。過程繼續(xù),其中如果銳化值(或者任何放大器輸入信號)落入去噪?yún)^(qū)域內(nèi)(動作720)或者削波區(qū)域內(nèi)(動作740),則放大器320輸出為零(動作730)。參考圖5,小于去噪點(diǎn)520的輸入值位于去噪?yún)^(qū)域內(nèi),而大于削波點(diǎn)540的輸入值則位于削波區(qū)域內(nèi)。如果放大器輸入值位于去噪和削波區(qū)域,則放大器320就根據(jù)增益特性曲線輸出非零放大值(動作750)。在某些實(shí)現(xiàn)中,用于生成放大值的増益特性曲線可以包括特性曲線500。在某些實(shí)現(xiàn)中,使用的増益特性曲線可以不同(例如可以是非分段線性的),但ー般也可増加至中間點(diǎn)(例如,點(diǎn)530)并在中間點(diǎn)之后下降。應(yīng)該注意到中間點(diǎn)無需對稱地位于所使用増益特性曲線的削波和去噪點(diǎn)之間。組合器330可以組合放大器320輸出的放大值和輸入給卷積器310的原始像素值來生成已銳化像素值(動作760)。根據(jù)放大器320的輸入,該放大值可以是零(動作730)或非零(動作740)。于是術(shù)語“已銳化像素值”并不一定指示已被銳化的各像素值,因為某些放大值可以是零。這樣就可按照放大器320對來自卷積器310的銳化值所進(jìn)行的操作選擇性地和/或區(qū)別性地銳化組合器330輸出的已銳化像素值。前述對ー個或多個實(shí)現(xiàn)的說明提供了實(shí)例和描述,但并不g在將本發(fā)明的范圍窮盡或限制在公開的精確形式??梢越柚摻淌净蚋鶕?jù)本發(fā)明各個實(shí)現(xiàn)的實(shí)踐做出修改和變化。例如,雖然在此描述的方案是按像素執(zhí)行的,但是也可以按圖象中的像素集合或像素組來執(zhí)行這些方案。此外,圖7中的動作無需按所示順序?qū)崿F(xiàn);也無需執(zhí)行全部動作。另外,不依賴其他動作的動作可以與其他動作并行地執(zhí)行。此外,該圖中的至少部分動作可實(shí)現(xiàn)為機(jī)器可讀介質(zhì)中的指令或指令集。除非明確表述,否則不應(yīng)將本申請說明書中使用的元件、動作或指令解釋為對本發(fā)明是關(guān)鍵或必需的。同樣在本文中使用的冠詞“a”g在包括ー個或多個項目。可以在不·背離本發(fā)明的精神和原理的情況下對所聲明的本發(fā)明的上述實(shí)現(xiàn)做出變化和修改。所有的這些修改和變化g在位于本公開的范圍之內(nèi)并由所附權(quán)利要求保護(hù)。
權(quán)利要求
1.ー種方法,包括 在圖像內(nèi)生成用于像素值的銳化值; 以非線性的方式放大所述銳化值以生成放大值;并且 組合所述像素值和所述放大值。
2.如權(quán)利要求I所述的方法,其特征在于,所述生成包括 使用核函數(shù)卷積所述像素值和多個周圍像素來生成已銳化像素陣列。
3.如權(quán)利要求I所述的方法,其特征在于,所述放大包括 如果所述銳化值小于去噪點(diǎn)就對所述銳化值應(yīng)用零増益。
4.如權(quán)利要求I所述的方法,其特征在于,所述放大包括 如果所述銳化值大于削波點(diǎn)就對所述銳化值應(yīng)用零増益。
5.如權(quán)利要求I所述的方法,其特征在于,所述放大包括 如果所述銳化值位于預(yù)定區(qū)域內(nèi)就對所述銳化值應(yīng)用增益函數(shù)。
6.如權(quán)利要求5所述的方法,其特征在于,所述增益函數(shù)增加達(dá)到其輸入值的中間點(diǎn)并在所述中間點(diǎn)后減小。
7.一種系統(tǒng),包括 銳化部分,銳化視頻數(shù)據(jù)的像素并輸出銳化值; 放大器,對所述銳化值應(yīng)用根據(jù)銳化值的函數(shù)而改變的增益以生成改變值;以及 組合器,組合所述改變值和所述視頻數(shù)據(jù)的像素并輸出一增強(qiáng)像素值。
8.如權(quán)利要求7所述的系統(tǒng),其特征在于,所述銳化部分包括 使用大小類似的核函數(shù)卷積所述像素和多個周圍像素的卷積器。
9.如權(quán)利要求7所述的系統(tǒng),其特征在干,由所述放大器應(yīng)用的所述函數(shù)在第一銳化值和第二銳化值之間隨銳化值增加,而在第二銳化值和第三銳化值之間隨銳化值的增加而減小。
10.如權(quán)利要求9所述的系統(tǒng),其特征在于,所述函數(shù)以線性的方式増加和減小。
11.如權(quán)利要求9所述的系統(tǒng),其特征在于,所述函數(shù)以曲線的方式増加和減小。
12.如權(quán)利要求9所述的系統(tǒng),其特征在于,所述第二銳化值比所述第三銳化值更接近所述第一銳化值。
13.如權(quán)利要求9所述的系統(tǒng),其特征在于,所述放大器對小于所述第一銳化值或大于所述第三銳化值的銳化值應(yīng)用零増益。
14.如權(quán)利要求7所述的系統(tǒng),其特征在于,還包括 操作性地耦合至所述組合器輸出以進(jìn)ー步調(diào)節(jié)所述增強(qiáng)像素值的解交錯模塊、噪聲減少模塊或比例縮放模塊。
15.如權(quán)利要求7所述的系統(tǒng),其特征在于,還包括 操作性地耦合至所述組合器輸出用以在顯示前緩沖增強(qiáng)像素值的顯示緩沖器。
16.—種方法,包括 在圖像內(nèi)生成用于像素值的銳化值; 在所述銳化值位于中央范圍內(nèi)時以非線性的方式放大所述銳化值以生成一放大值;并且 組合所述像素值和所述放大值。
17.如權(quán)利要求16所述的方法,其特征在于,還包括當(dāng)所述銳化值位于中央范圍之外時為所述放大值輸出零。
18.如權(quán)利要求16所述的方法,其特征在于,所述放大包括在到達(dá)中間點(diǎn)前隨銳化值增加增益,以及在超過所述中間點(diǎn)之后隨銳化值減少增益。
全文摘要
公開了通過自適應(yīng)峰值增強(qiáng)視頻序列銳度的技術(shù)方案。根據(jù)本發(fā)明的一種選擇性銳化視頻數(shù)據(jù)的方法可包括對于視頻數(shù)據(jù)內(nèi)的至少部分像素生成圖像中像素值的銳化值。所述銳化值可被非線性地放大以生成放大值。隨后就組合所述像素值和所述放大值。
文檔編號G06T5/00GK102737366SQ20121010979
公開日2012年10月17日 申請日期2006年7月18日 優(yōu)先權(quán)日2005年7月19日
發(fā)明者J·卡維得斯, W·阿里 申請人:英特爾公司