專利名稱：用于進(jìn)行幀率轉(zhuǎn)換的視頻處理器結(jié)構(gòu)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理，更具體地說，涉及一種可進(jìn)行幀率轉(zhuǎn)換的視頻設(shè)備。
背景技術(shù)：
運(yùn)動畫面(moving picture)視頻通常以預(yù)定幀率進(jìn)行錄制或編碼。例如， 影院電影通常以24幀/秒(Q)s)的固定幀率進(jìn)行錄制。而另一方面，基于NTSC 標(biāo)準(zhǔn)的電視廣播類視頻則以30&S進(jìn)行編碼?；跉W洲PAL標(biāo)準(zhǔn)或SECAM標(biāo) 準(zhǔn)的廣播一見頻則以25*s進(jìn)行編碼。
幀率轉(zhuǎn)換帶來了挑戰(zhàn)。用于進(jìn)行幀率轉(zhuǎn)換的一種常見技術(shù)包括在幀序列中 丟棄或重播幀。例如，電視電影轉(zhuǎn)換(通常稱為3:2下拉(pull down))用于 將24Q)s的運(yùn)動畫面^L頻轉(zhuǎn)換為60場/秒(30&s)。每秒幀擴(kuò)展3個一見頻場， 而每另 一秒幀擴(kuò)展2個視頻場。電視電影轉(zhuǎn)換在例如Charles Poynton撰寫的 "Digital Video and HDTV Algorithms and Interface (數(shù)字視J貞和HDTV算法和 接口) ，， ( San Francisco: Morgan Kaufma皿出版社，2003)中進(jìn)4亍了詳細(xì)的描 述，本發(fā)明參考了其中的全部內(nèi)容。
在John Watkinson撰寫的"The Engineer's Guide to Standards Conversion (轉(zhuǎn)換標(biāo)準(zhǔn)工程師導(dǎo)讀)"(Snell和Wilcox手冊系列)中還描述了用于進(jìn)行幀率 轉(zhuǎn)換的多種其它技術(shù)。
最近，幀率轉(zhuǎn)換不僅用來在格式和標(biāo)準(zhǔn)之間進(jìn)行轉(zhuǎn)換，也用來增強(qiáng)整體視 頻質(zhì)量。例如，為了降低傳統(tǒng)PAL電視的可感覺得到的閃爍，已經(jīng)研制出高 幀率100場/秒(50Q)s)的電視。
將來，更高的幀率將成為用來提供更高質(zhì)量家庭視頻的重要組成。然而， 現(xiàn)有的視頻還不能在更高的幀率下使用。因此，幀率轉(zhuǎn)換變得非常必要。在實(shí) 時狀態(tài)下，這種轉(zhuǎn)換會帶來很多挑戰(zhàn)，這些挑戰(zhàn)部分來自于需要對進(jìn)站視頻進(jìn)行分析以便構(gòu)建更高幀率的視頻。這給當(dāng)前視頻接收器帶來很多困擾，這是因 為在當(dāng)前視頻接收器內(nèi)，幀率轉(zhuǎn)換和其它視頻處理功能是相互獨(dú)立的。 因此，需要一種改進(jìn)的幀率轉(zhuǎn)換技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的示范性實(shí)施例涉及，在視頻處理器中確定視頻屬性數(shù)據(jù)，并上行
發(fā)送至幀率轉(zhuǎn)換器(FRC)。該屬性數(shù)據(jù)將進(jìn)行格式化，并通過通道發(fā)往FRC， 以供FRC使用。通過這種方式，F(xiàn)RC可依靠視頻處理器獲取的屬性數(shù)據(jù)，并 避免對視頻幀再次進(jìn)行分析。屬性數(shù)據(jù)對于收到的幀是可用的，因此FRC可 據(jù)此進(jìn)行快速處理，降低延遲。
依據(jù)本發(fā)明的一個方面，提供了一種構(gòu)建幀率轉(zhuǎn)換后的視頻的方法。該方 法包括處理收到的視頻以構(gòu)建代表視頻幀的數(shù)據(jù)；從收到的視頻中獲取屬性數(shù) 據(jù)；將所述代表視頻幀的數(shù)據(jù)發(fā)往幀率轉(zhuǎn)換器；將所述屬性數(shù)據(jù)通過輔助通道 發(fā)往幀率轉(zhuǎn)換器；接收所述代表視頻幀的數(shù)據(jù)；接收輔助通道上的所述屬性數(shù)
據(jù)；基于所述屬性數(shù)據(jù)，使用所述代表視頻幀的數(shù)據(jù)來構(gòu)建幀率轉(zhuǎn)換后的視頻。 依據(jù)本發(fā)明的另一方面，提供了一種視頻接收器，包括視頻處理器，所述 視頻處理器包括解交錯器，用于對收到的視頻場進(jìn)行解交錯，以構(gòu)建視頻幀并 發(fā)往幀率轉(zhuǎn)換器。所述解交錯器用于探測所述收到的視頻場的節(jié)奏。所述視頻 接收器進(jìn)一步包括屬性格式化模塊，其與所述視頻處理器通信連接，用于接收 所述節(jié)奏的指示，并以此構(gòu)建屬性數(shù)據(jù)。通道編碼器對通往所述幀率轉(zhuǎn)換器的 通道中的所述屬性數(shù)據(jù)進(jìn)行編碼。
依據(jù)本發(fā)明的另一方面，提供了一種視頻接收器，包括視頻處理器，所述 視頻處理器包括多個視頻處理模塊，每一個模塊用于對收到的視頻執(zhí)行至少一 個視頻處理功能，以構(gòu)建幀并發(fā)往幀率轉(zhuǎn)換器，所述視頻處理模塊之中的每一 個用于獲取所述收到的視頻的屬性信息；屬性格式化模塊與所述視頻處理器通 信連接，用于從所述視頻處理模塊接收屬性信息，并據(jù)此構(gòu)建屬性數(shù)據(jù)；通道 編碼器對通往所述幀率轉(zhuǎn)換器的通道中的所述屬性數(shù)據(jù)進(jìn)行編碼。
依據(jù)本發(fā)明的另一方面，提供了一種構(gòu)建幀率轉(zhuǎn)換后的視頻的方法，包括在幀率轉(zhuǎn)換器中接收代表視頻幀的數(shù)據(jù)；在所述幀率轉(zhuǎn)換器中通過輔助通道接 收與所述代表視頻幀的數(shù)據(jù)有關(guān)的屬性數(shù)據(jù)；基于所述屬性數(shù)據(jù)，使用所述收 到的數(shù)據(jù)來構(gòu)建幀率轉(zhuǎn)換后的視頻。
依據(jù)本發(fā)明的另一方面，提供了一種幀率轉(zhuǎn)換器，包括通道解碼器，用 于解碼提供給所述幀率轉(zhuǎn)換器的視頻幀的屬性信息；插值器，用于基于所述屬 性信息，使用代表所述視頻幀的數(shù)據(jù)來構(gòu)建幀率轉(zhuǎn)換后的視頻。
在閱讀完下列本發(fā)明具體實(shí)施例的詳細(xì)描述并參考相關(guān)附圖之后，本發(fā)明


下列附圖僅以舉例的方式描述
具體實(shí)施例方式
圖1是依據(jù)本發(fā)明一較佳實(shí)施例的視頻接收器的簡化結(jié)構(gòu)示意圖； 圖2是構(gòu)成圖1中設(shè)備一部分的視頻解碼器的簡化結(jié)構(gòu)示意圖； 圖3是構(gòu)成圖1中設(shè)備一部分的^L頻處理器的簡化結(jié)構(gòu)示意圖； 圖4是構(gòu)成圖1中設(shè)備一部分的幀率轉(zhuǎn)換器的簡化結(jié)構(gòu)示意圖； 圖5是幀率轉(zhuǎn)換后的輸出幀、解碼/處理后的輸出幀和原始^f見頻源的幀的 對比示意圖6是用來展示3:2下拉方式的來自于解碼后的幀序列的幀率轉(zhuǎn)換后的視 頻輸出的運(yùn)動圖。
具體實(shí)施例方式
圖1是依據(jù)本發(fā)明一較佳實(shí)施例的視頻接收器10的結(jié)構(gòu)示意圖。如圖1 所示，視頻接收器10包括視頻解碼器12、 -現(xiàn)頻處理器14、幀率轉(zhuǎn)換器(FRC) 16和顯示器接口 18。視頻接收器IO可采用機(jī)頂盒、衛(wèi)星接收器、地面廣播接 收器、媒體播放器(例如DVD播放器)、媒體接收器或者類似設(shè)備的形式。 可選地，接收器10 (或其中的一部分)可集成在顯示設(shè)備中，例如平板電視 及、計算機(jī)顯示器、便攜式電視機(jī)、手持設(shè)備(例如個人數(shù)字助理、移動電話、視頻播放器)或者類似的設(shè)備。
接收器10可采用定制硬件的方式實(shí)現(xiàn)，或者采用由軟件控制的定制硬件
和通用計算機(jī)硬件的組合的方式實(shí)現(xiàn)。
很明顯，視頻接收器10接收視頻，這些視頻采用視頻廣播、數(shù)字視頻流 或者類似的形式。解碼器12用來解碼收到的3見頻，以構(gòu)建#見頻場或#見頻幀。 視頻處理器14處理解碼后的場或幀，縮放(scale)、解交錯，以及對收到的視 頻進(jìn)行其它處理。FRC 16用于對處理后^見頻的幀率進(jìn)行轉(zhuǎn)換，以生成所需幀 率的視頻，其中該幀率不同于解碼視頻的幀率。最后得到的更高幀率幀將由顯 示器接口 18在顯示器20上顯示以供用戶收看。顯示器接口 18可對FRC 16 生成的幀視頻進(jìn)行采樣或接收，以展示圖像用于顯示。
顯示器接口 18可以采用傳統(tǒng)的隨機(jī)訪問存儲器數(shù)模轉(zhuǎn)換器(RAMDAC) 的形式，或者遵守HDMI或DVI標(biāo)準(zhǔn)的單個終端或差分發(fā)射器的形式，或者 其它合適的接口，以便將數(shù)據(jù)進(jìn)行轉(zhuǎn)換，從而可以在顯示器20上以模擬或數(shù) 字形式進(jìn)行顯示。
視頻將由視頻處理器14進(jìn)行解碼和處理，由FRC 16用來對收到的視頻 進(jìn)行幀率轉(zhuǎn)換的視頻屬性信息將被提取出來。該屬性信息將從視頻處理器下行 傳送到FRC16。在描述的實(shí)施例中，可使用兩個獨(dú)立的通道22、 24來從^L頻 處理器14向FRC 16傳送視頻數(shù)據(jù)和屬性數(shù)據(jù)。FRC 16使用收到的屬性數(shù)據(jù)， 而無需分析解碼后的視頻幀來獲取(例如提取、確定、計算等等)相同或類似 的屬性信息。
特別地，視頻解碼器12將收到的視頻信號解碼為像素值流。到達(dá)視頻解 碼器12的視頻信號可來自傳統(tǒng)的視頻源，例如衛(wèi)星或有線電視通道、地面廣 播通道、本地視頻存檔或外圍設(shè)備例如DVD播放器。視頻信號可以是模擬信 號，也可以是數(shù)字信號。解碼器12因此可采用傳統(tǒng)^L頻解碼器來實(shí)現(xiàn)，其遵 循如下多種^見頻編碼/壓縮標(biāo)準(zhǔn)中的任意一種，諸如MPEG、 MPEG2、 MPEG4、 divX、 ITU建議ITU-H.264、 HDMI、 ATSC、 PAL或NTSC電視、數(shù)字電視(例 如ITUBT.601)或者類似的標(biāo)準(zhǔn)。
為便于解釋，3見頻解碼器12在圖2中舉例描述為遵循MPEG的解碼器，這樣一來，其可包括傳統(tǒng)MPEG解碼器中可包含的對于本領(lǐng)域技術(shù)人員而言 熟知的模塊，例如用于對收到的視頻流進(jìn)行解析的解析器、可變長度解碼器 (VLD )32、運(yùn)動補(bǔ)償模塊(MB )34、行程(run length )解碼器和反量化(RL&IQ) 模塊36、反離散余弦變換模塊(IDCT)38、圖像重建模塊40和用于存儲幀/場的 存儲器42。解碼器12通過鏈路26與視頻處理器14通信。鏈路26可以是串 行或并行鏈路。
圖3描述了視頻處理器14的一個范例。如圖所示，視頻處理器14包括至 少一個緩存存儲器58,用于緩存來自視頻解碼器12的像素值。示范性的視頻 處理器14包括用于處理視頻的幾個功能模塊。每個功能模塊可執(zhí)行一個功能， 例如，視頻處理器14可包括縮放器50、解交錯器52、色彩空間轉(zhuǎn)換器54、 效果/圖層引擎56和噪聲削弱模塊48。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)明白，視頻處理 器14還可包括本文沒有描述的其它功能模塊。
內(nèi)部總線60為縮放器50、解交錯器52、色彩空間轉(zhuǎn)換器54、效果/圖層 引擎56和存儲器58提供互聯(lián)。
屬性格式化模塊62與視頻處理器14的其它功能模塊通信。屬性格式化模 塊62接收來自縮放器50、解交錯器52、色彩轉(zhuǎn)換器54和效果/圖層引擎56 以及噪聲削弱器48的視頻屬性信息。另 一個通道編碼器64可進(jìn)一步對屬性格 式化模塊62格式化的屬性數(shù)據(jù)進(jìn)行格式化，以便通過通道24傳送到FRC 16 (圖1所示)。
圖4示出了 FRC 16的詳細(xì)示意圖。如圖4所示，示范性的FRC16包括 緩沖器66和插值器70，其中插值器70用于在緩沖器66中的幀進(jìn)行插值，以 便進(jìn)行幀率轉(zhuǎn)換。緩沖器66可以是先進(jìn)先出幀緩沖器，用來存儲將由插值器 70來合并的連續(xù)幀。緩沖器66可存儲例如4個用來進(jìn)行插值的連續(xù)幀F(xiàn)。幀 率轉(zhuǎn)換器16還包括通道解碼器74和屬性解碼器68，以^f更對通道編碼器64和 屬性編碼器62提供補(bǔ)充。
插值器70用于在緩沖器66進(jìn)行插幀，以便構(gòu)建幀率(頻率)的值等于幀 到達(dá)緩沖器66的頻率乘以縮^L因子SCALE—FREQU的輸出幀。時鐘信號 (CLK)記錄幀到達(dá)的時間，其允許FRC 16生成最終的幀率。由于FRC 16為收到的每個幀生成一個以上幀，插值器70用于構(gòu)建插值幀，以代表緩沖存 儲在緩沖器66之中的幀之間的運(yùn)動。幀率轉(zhuǎn)換器16使用緩沖器66中的兩個 輸入幀來執(zhí)行這種運(yùn)動補(bǔ)償插值。
可由插值器70執(zhí)行的運(yùn)動補(bǔ)償/插值技術(shù)在2005年出版的由Keith Jack 撰寫的第4期視頻(數(shù)字工程師手冊)中和Watkinson， John撰寫的"轉(zhuǎn)換標(biāo) 準(zhǔn)工程師導(dǎo)讀"(Snell和Wilcox手冊系列，
http:〃www.snellwilcox,com/communitv/knowledge center/egineering/estandard.pdf ) 中做了描述，
本文引用了其中的全部內(nèi)容。相關(guān)的技術(shù)在發(fā)明人為本申請發(fā)明人的美國專利
申請(xx/xxx，xxx)中做了詳細(xì)的描述，本文也引用了其中的全部內(nèi)容。
為便于表述，本文將緩沖幀(例如視頻處理器14輸出的解碼幀)表示為 幀F(xiàn)。、 F,、 F2、 ...Fn，而視頻源中的彼此不同的幀表示為幀S0、 S。 S2、...。 因此，例如，24$s源將具有源幀So、 S,、 S2、 S3、…，并轉(zhuǎn)換為電S見電影格 式，其將由視頻解碼器12解碼和/或重建為場或幀，并在隨后由視頻處理器14 進(jìn)行解交錯(如果需要的話)以構(gòu)建對應(yīng)于源幀(So、 So、 SQ、 S,、 S!、 S2、 S2、 S2、 S3、 S3、 ...}的幀卩0、 F。 F2、 F3、 F4、 F5、 F6、 F7、 F8、 F9、 ...}(60*s)。 電視電影轉(zhuǎn)換幀F(xiàn)o、 F!、...或場將存儲在存儲介質(zhì)上，例如DVD或者類似的 介質(zhì)，或者使用地面、衛(wèi)星或CATV廣播技術(shù)以模擬(例如NTSC)格式或數(shù) 字格式(MPEG流或類似的格式)進(jìn)行廣播，或者以其它方式進(jìn)行提供。具有 轉(zhuǎn)換后的幀率的輸出幀可表示為幀fG、 &、 f2、 ...fn，如本文所述，其可從幀 F0、 F。...中構(gòu)建。這在圖5中進(jìn)行了描述。
在本文中，插值幀也可表示為I{Sj、 Sj + 1、 I/m}。這種表示形式表示最終 的運(yùn)動插值幀，該幀表示原始幀Sj、 SjM之間的中間幀，插入該幀以表示從Sj 到Sj + ,的部分I/M運(yùn)動。例如插入的幀I(Sj、 Sj + 1、 1/2}用來表示Sj和Sjm之 間的運(yùn)動中途的運(yùn)動效果。這種運(yùn)動插值由幀率轉(zhuǎn)換器16使用從緩沖器66 中讀取的兩個輸入幀來進(jìn)行。
圖6描述了解碼/處理后的一見頻幀和幀率轉(zhuǎn)換后的幀。解碼/處理后的^f見頻 幀沿虛線表示；插入的視頻幀沿實(shí)線表示。解碼/處理后的^L頻幀由圓圈來表 示，插值后的幀由三角來表示。應(yīng)當(dāng)明白，解碼/處理后的幀之間的插值度，以及哪個幀將由插值器插入，
均與解碼/處理后的視頻幀f的節(jié)奏(cadence)有關(guān)。例如，在3:2下拉方式 中且頻率縮;故比為2 ( SCALE—FREQU = 2 )時，插值器70控制每個插值幀的 運(yùn)動，以使其在源幀的五分之一之前插入；在2:2下拉方式中，在四分之一之 前插入；在不采用下拉方式的情況下，在二分之一之前插入。
圖6展示了視頻處理器14輸出的示范性幀序列中的運(yùn)動。具體來說，圖 6示出了視頻處理器14輸出的示范性幀序列F()、 F,、 F2、 F3、…的運(yùn)動。所描 述的幀序列由3:2下拉源生成，通常在從24幀/秒(表示為源幀S。、 S!、 S2、 S3、…)到60交錯場/秒即轉(zhuǎn)換為60*s幀的轉(zhuǎn)換過程中產(chǎn)生。如此一來，原 始(電影)源中每一秒幀將采樣兩次，而原始源中的每另 一秒幀將將采樣三次。 生成的幀F(xiàn)o、 F。 F2、 F3展示了 3:2下拉方式，他們是通過對交錯場進(jìn)行解交 錯來生成的。
最終的幀序列展示了急動運(yùn)動(稱為"顫動")，其中只有在第3、第5、 第8、第10等解碼幀之后才出現(xiàn)運(yùn)動。這種顫動在幀率轉(zhuǎn)換之后仍然存在， 其無法解決視頻源的節(jié)奏問題。
為了消除或降低可以感覺得到的急動，幀率轉(zhuǎn)換器16插入相鄰的源幀， 以構(gòu)建幀率轉(zhuǎn)換后的幀序列。
在運(yùn)行過程中，視頻流由視頻解碼器12接收，視頻解碼器12隨后解析該 視頻流，并構(gòu)建一系列具有特定分辨率的場或幀。這一系列的場或幀將作為像 素流提供給視頻處理器14。解碼后的視頻的格式通常是由編碼后的視頻的格 式?jīng)Q定的。例如，水平、垂直分辨率；縱橫比；色彩格式；而是否以幀或場的 形式來提供該視頻是由視頻的編碼決定的。
在視頻處理器14中，縮放器50、解交錯器52、色彩轉(zhuǎn)換器54和圖層引 擎56以傳統(tǒng)方式工作，以提供輸出視頻幀。在如此處理視頻的過程中，縮放 器50、解交錯器52、色彩轉(zhuǎn)換器54和圖層引擎56提取和創(chuàng)建視頻屬性數(shù)據(jù)。 縮放器50、解交錯器52、色彩轉(zhuǎn)換器54和圖層引擎56的工作順序不是固定 的，其可基于設(shè)計目標(biāo)來進(jìn)行修改。
例如，縮放器50可將解碼后的視頻縮放到所需的尺寸和縱橫比。為進(jìn)行此操作，縮放器50可選擇對收到的幀進(jìn)行分析，以確定收到的視頻中的區(qū)域 是否包含黑條(black bar)、確定視頻內(nèi)容的頻率，以及類似的內(nèi)容。該屬性 進(jìn)一步可由縮放器50用來對解碼視頻進(jìn)行縮放。例如，解碼幀的頻率內(nèi)容可 作為代表柱狀圖的數(shù)據(jù)來提供；可提供交織后的(例如信箱)視頻圖像的起始、 結(jié)束行和/或列。屬性數(shù)據(jù)，包括從解碼器12接收到的和由擴(kuò)展器50構(gòu)建的， 還將向下傳送到屬性格式化模塊62。
類似地，解交錯器52可用來將視頻的交錯場轉(zhuǎn)換為幀，這是通過分析收 到的-見頻場的序列以確定他們的節(jié)奏來實(shí)線的，有關(guān)這方面的^t支術(shù)在美國專利 申請10/837835和11/381254中做了描述。通過使用該節(jié)奏數(shù)據(jù)，收到的場可 由解交錯器進(jìn)行合并，以生成解交錯4見頻幀。3見頻場可進(jìn)行例如插值(bob) 和合并(weave)操作來構(gòu)建幀。由于一幀-〖見頻可構(gòu)建兩個場，因此幀序列的 節(jié)奏仍將連續(xù)反應(yīng)場序列的節(jié)奏。這方面的技術(shù)在與本申請同時提交的美國專 利申請xx/xxxxxx(即上文提到的申請)中做了描述。解交錯器52探測到的節(jié) 奏信息將提供給屬性格式化模塊62。節(jié)奏信息可包括例如幾個比特，這些比 特用于表示解交錯器52所確定的節(jié)奏。示范性的探測到的節(jié)奏可包括3:2下 拉形式；2:2下拉形式；3:3下拉形式或者類似的內(nèi)容。類似地，若不存在節(jié)奏 信息，則這種情況也將通知屬性格式化模塊62。可選地，畫面變化將由解交 錯器通知屬性格式化模塊62。
色彩空間轉(zhuǎn)換器54可將收到的一見頻場/幀的色彩空間轉(zhuǎn)換為所需的色彩空 間。代表最終的色彩空間的數(shù)據(jù)還將向下傳送到屬性格式化模塊62。類似地， 代表視頻亮度和伽瑪(gamma)指示的數(shù)據(jù)以及類似的數(shù)據(jù)(例如亮度分布的 柱狀圖、伽瑪信息以及類似的信息)將由色彩空間轉(zhuǎn)換器54通知屬性格式化 模塊62。
圖層/效果引擎56可對收到的視頻場/幀進(jìn)行格式化，以將視頻表示為特 定的格式，例如畫中畫(picture - in - picture )、畫上畫(picture - on - picture )、 結(jié)合靜止圖像(例如TV導(dǎo)視或者類似的內(nèi)容)。屬性格式化模塊62可從圖層 /效果引擎56接收描述每一圖層的屬性(例如計算機(jī)生成的視頻、靜止、圖像 等等)的每張圖片的協(xié)坐標(biāo)、文本信息。噪聲削弱模塊48可對收到的視頻進(jìn)行濾波，以消除噪聲和/或失真(artifact )。屬性格式化模塊62可從噪聲削弱模塊48接收有關(guān)噪聲級別、信號類型、信號級別的信息和類似的信息。
這樣一來，屬性格式化模塊62從其它的功能模塊(例如縮放器50、解交錯器52、色彩轉(zhuǎn)換器54、圖層引擎56和噪聲削弱模塊48)接收視頻屬性。屬性格式化模塊62可將這些信息格式化為合適的格式，以便這些信息可在通道24上進(jìn)行編碼，并且明確的向下傳送到FRC 16。
屬性格式化模塊62將屬性數(shù)據(jù)格式化為適當(dāng)?shù)母袷?，以與處理器14生成的視頻幀相對應(yīng)。例如，對于每個幀，屬性格式化模塊62可將該幀的屬性編碼，并將該信息打包。每個數(shù)據(jù)包的實(shí)際格式是任意的。該數(shù)據(jù)包可采用比特、字節(jié)的形式來代表屬性信息。該數(shù)據(jù)包還可包含文本數(shù)據(jù)，這些數(shù)據(jù)可指示感興趣的屬性，或者可使用格式化語言例如XML進(jìn)行格式化。屬性格式化模塊62還可依據(jù)ITU建議ITU-BT.1364.1或本領(lǐng)域:汰術(shù)人員知曉的其它方式來對屬性數(shù)據(jù)進(jìn)行格式化。
在任何情況下，由屬性格式化模塊62所格式化的屬性數(shù)據(jù)都將向下傳送到通道編碼器64。通道編碼器64將該屬性數(shù)據(jù)在輔助通道中進(jìn)行編碼，以侵_該編碼數(shù)據(jù)能與視頻處理器14輸出的幀保持同步。輔助通道可采用任意一種形式。例如，輔助數(shù)據(jù)可通過專用通道(以單獨(dú)的物理鏈路的方式來提供)傳送，或者與^L頻或者其它數(shù)據(jù)復(fù)用。每個幀將生成一個或多個屬性數(shù)據(jù)包。通道編碼器64包括復(fù)用器，并可對屬性通道進(jìn)行格式化，以便將屬性數(shù)據(jù)與3見頻數(shù)據(jù)復(fù)用，從而使用視頻數(shù)據(jù)(例如垂直空白或者水平空白間隔)中未被占用的部分，或者類似的空間。類似地，通道編碼器64可對承載數(shù)據(jù)的單獨(dú)的物理通道進(jìn)行編碼，并使該通道與^見頻數(shù)據(jù)同步。例如，該通道可以是同步流，或者采用異步方式承載與每個幀一同發(fā)送的數(shù)據(jù)包。
在FRC 16，來自視頻處理器14的視頻數(shù)據(jù)將緩存在緩沖器66之中，由通道編碼器74和屬性提取器68從屬性通道中提取屬性數(shù)據(jù)。最終的屬性信息將提供給插值器70，可選地，也可提供給節(jié)奏探測器72。
如果屬性信息包含與進(jìn)站幀序列有關(guān)的節(jié)奏信息，則節(jié)奏探測器72將被
14禁用，或者由其生成的節(jié)奏數(shù)據(jù)將被忽略。另一方面，如果輔助數(shù)據(jù)不包含視
頻的節(jié)奏信息，則節(jié)奏探測器72將從緩沖器66中緩沖的幀中確定節(jié)奏信息， 這方面的技術(shù)在美國專利申請xx/xxxxxx (即上文提到的申請)中做了描述。 由探測器72確定的節(jié)奏信息只有在特定幀已經(jīng)被緩沖之后才能確定，因此將 比來自視頻處理器14的可用節(jié)奏信息滯后一幀。
FRC 16可使用屬性解碼器68所提取的其它屬性數(shù)據(jù)來調(diào)整FRC 16的操 作參數(shù)，以改善插值效果。例如，F(xiàn)RC可使用圖層文本屬性數(shù)據(jù)來獨(dú)立的處 理圖層區(qū)域。亮度信息可用來對插值幀進(jìn)行預(yù)濾波(可基于畫面的暗度分別進(jìn) 行不同形式的濾波)。伽瑪信息可用來首先進(jìn)行解伽瑪(de-gamma),然后再 進(jìn)行再伽瑪(re-gamma)?？墒褂门c視頻有關(guān)的頻率信息來調(diào)整或選擇FRC 16 的濾波器，以及其靈敏性(sensitivity)。反應(yīng)噪聲類型和信號級別的信息也可 用來調(diào)整FRC 16的濾波器和靈敏度。FRC 16對屬性數(shù)據(jù)的其它使用方式對本 領(lǐng)域的技術(shù)人員來說應(yīng)該是很明顯的。
特別地，視頻處理器14向FRC 16提供了一個下拉方式的標(biāo)識符，以執(zhí) 行插值操作，以便從原始源幀中生成運(yùn)動補(bǔ)償且插值的幀。為實(shí)現(xiàn)插值的精確， 可使用節(jié)奏指示符來在源中插入不同的幀(區(qū)別于重復(fù)的幀)，以及調(diào)整插值 參數(shù)(例如從插值幀到插值幀的所需部分運(yùn)動)
圖6描述了幀率轉(zhuǎn)換器16從幀序列F0、 F。 F2…輸出的所需的輸出幀序 列fo、 f" f2、 f3…中的運(yùn)動。在圖6中，運(yùn)動表示為幀數(shù)的一個函數(shù)。在描述 的例子中，幀率轉(zhuǎn)換器16將幀率增加一倍(也就是SCALE—FREQU = 2)。由 于幀率轉(zhuǎn)換器16輸出的幀比視頻處理器14原始生成的幀多，幀率轉(zhuǎn)換器16 的插值器70 (圖2)使用傳統(tǒng)運(yùn)動補(bǔ)償技術(shù)來生成幀，以便以更高的幀率進(jìn)行 展示。在描述的實(shí)施例中，每個插值幀fj或者與視頻處理器14輸出的幀F(xiàn)i相 同，或者由解碼后的幀序列(例如，Si, Si+1)中相鄰的兩個源幀構(gòu)建而成。 當(dāng)然，也可使用兩個以上的相鄰源幀來生成插值幀。
在描述的例子中，執(zhí)行運(yùn)動補(bǔ)償是用來產(chǎn)生相對平滑的運(yùn)動，以降低顫動。 在描述的實(shí)施例中，運(yùn)動是線性插值的，其中每組幀fo、 f\、 f2、 f3等等之間的 運(yùn)動是相等的。由于連續(xù)的源幀S解碼的時間間隔是不相等的，在由視頻處理器14進(jìn)行解碼的相同時刻，4壬何線性插入的序列fo、 f。
f2、 f3…通常不包含
對應(yīng)于源中的幀So、 S卜..的幀。
特別的，fo-F,,而f。
f2、 f3和f4是從對Fo(或同等地位的幀F(xiàn)!或者F2)
和F3 (也就是源幀S。和SJ的插值中生成的。每個插入的幀&、 f2、 G和f4都先于從F()到F3的運(yùn)動(也就是從原始源幀So到幀S。。輸出幀fs是原始源幀S"也就是幀F(xiàn)3/F4)。類似地，輸出幀f6和f;是從解碼幀F(xiàn)3/F4和F5 (對應(yīng)于源幀Si和S"中生成的。
在采用3:2下拉方式時，F(xiàn)RC 16依賴于緩沖的幀，這些幀之間間隔多達(dá)兩個幀(也就是Fo和F3; F3和Fs), FRC 16將在處理至少這些幀時引入處理
延遲。因此，f,生成的時刻不會早于對F3解碼的時刻。類似地，fe生成的時刻
不會早于對Fs解碼的時刻。fu生成的時刻不會早于對Fs解碼的時刻。
現(xiàn)在，在采用3:2下拉方式且頻率縮放值為2時，在理想狀態(tài)下，將為每5個(3 + 2)緩沖幀生成IO個輸出幀。這一點(diǎn)在圖6中也是很明顯的。最終的幀fo、 f!、 f2、 f3、 f4、 f5…fu)對應(yīng)于So， I{SQ、 S。 1/5}, I{S0、 S。 3/5}、I{S0、 S、4/5}、 S!， I(S。 S2、 1/5}, I{Si、 S2、 2/5}， I(S!、 S2、 3/5}， I{ S。S2、 4/5}, S2。
通過對比，2:2下拉源的最終的幀圖樣fo、 f,、 f2、 f3…fu)對應(yīng)于幀So, I{S0、S。 1/4}， I{S0、 S。 1/2}、 I{S0、 S!、 3/4}、 S!， I{ S,、 S2、 1/4}, I{S。 S2、1/2}, I{S。 S2、 3/4}， I{S。 S2、 4/5}, S2， I{ S2、 S3、 1/4}, I{ S2、 S3、 1/2}。也就是說，為每個緩沖幀生成四個輸出幀。
類似地，未釆用下拉方式的最終的幀圖樣(例如從交錯視頻中產(chǎn)生)將對應(yīng)于幀S。， I{S0、 St、 1/2}, I{Sp S2、 1/2}, S2, I{S2、 S3、 1/2}。為每個緩沖幀生成2個輸出幀。
當(dāng)然，取決于解碼幀F(xiàn)的節(jié)奏，源幀S在緩沖器66中的位置是可變的。
在^L頻處理器14接收到屬性數(shù)據(jù)時，這些屬性數(shù)據(jù)可與處理后的幀一同獲得。如此一來，F(xiàn)RC 16可對所提供的屬性數(shù)據(jù)作出快速反應(yīng)。例如，當(dāng)視頻處理器14提供的視頻的節(jié)奏發(fā)生變化時，F(xiàn)RC 16使用的插值參數(shù)將得到調(diào)整。因此， 一旦探測到從可以識別的下拉方式變化到無節(jié)奏時，就將進(jìn)行插值操作來構(gòu)建對應(yīng)于源幀So， I{S0、 S。 1/2}, S!, {S。 S2、 1/2}， S2， {S2、 S3、 1/2}的插值幀。由于視頻數(shù)據(jù)的屬性數(shù)據(jù)是可用的，因此進(jìn)行分析時所需 的延遲將得以降低。
應(yīng)當(dāng)明白，提供給FRC 16的屬性數(shù)據(jù)無需從視頻處理器14產(chǎn)生。作為 替代，屬性數(shù)據(jù)可在FRC 14的上行流中的其它位置產(chǎn)生。例如，其它的屬性 數(shù)據(jù)或上文描述的屬性數(shù)據(jù)之中的一部分可由解碼器12獲取。例如，運(yùn)動向 量數(shù)據(jù)可由構(gòu)成解碼器12的MPEG或類似的解碼器來提取，源和/或解碼;現(xiàn)頻 的類型(CVBS、組件、數(shù)字、逐行、隔行、VGA)可作為屬性數(shù)據(jù)來傳送。 再一次的，對于本領(lǐng)域的技術(shù)人員來說，F(xiàn)RC 14上行流中的其它屬性數(shù)據(jù)也 是可用的。
應(yīng)當(dāng)明白，視頻的接收無需包含解碼器12。作為替代，來自外部源的解 碼的3見頻可提供給作為本發(fā)明 一較佳實(shí)施例的3見頻設(shè)備，該設(shè)備可僅包含視頻 處理器14、幀率轉(zhuǎn)換器16和可選的顯示器接口 18。
類似地，視頻處理器14和FRC 16可以安裝在不同的物理設(shè)備中。例如， 視頻處理器14可以是視頻接收器、視頻播放器、專用視頻處理器或者類似設(shè) 備的一部分，而FRC16可以是顯示設(shè)備例如平板顯示器的一部分。視頻處理 器14與FRC 16之間的鏈路可以是物理鏈路，該鏈路遵循視頻互聯(lián)標(biāo)準(zhǔn)，例 如DVI或HDMI標(biāo)準(zhǔn)。通道22和24可以是用來實(shí)現(xiàn)互聯(lián)的通道。例如，通 道22和24可以通過HDMI互聯(lián)來實(shí)現(xiàn)。
此外，盡管在上文的描述中，屬性數(shù)據(jù)是同步提供的，其也可以緩存在視 頻處理器14中，并可由FRC 16或者其它類似的處理器(例如主處理器)從 視頻處理器14中提取或抽出。相應(yīng)的，視頻處理器14會包含用于存儲屬性數(shù) 據(jù)的足夠存儲空間，并提供一適當(dāng)?shù)慕涌?(例如軟件應(yīng)用編程接口 (API)) 用來詢問數(shù)據(jù)?？蛇x地，；〖見頻處理器14可緩存幾個幀的屬性數(shù)據(jù)。該屬性數(shù) 據(jù)隨后在需要時候被詢問。
當(dāng)然，上述實(shí)施例但J又用于描述，并非用于限定本發(fā)明的范圍。上文所述 的實(shí)施本發(fā)明的實(shí)施例可以進(jìn)行許多修改，包括構(gòu)成、各部分的排列、操作的 細(xì)節(jié)和順序等。如本發(fā)明權(quán)利要求所述，所有上述修改都應(yīng)劃歸到本發(fā)明的范
17圍之內(nèi)。
備注本申請與申請日為2006年12月26日、申請?zhí)枮?1/616,192、名 -爾為 "Low Latency Cadence Detection for Frame Rate Conversion"的美國專利 專利申請相關(guān)，本申請參考并結(jié)合其全部內(nèi)容。
權(quán)利要求
1、一種構(gòu)建幀率轉(zhuǎn)換后的視頻的方法，其特征在于，包括a、處理收到的視頻以構(gòu)建代表視頻幀的數(shù)據(jù)；b、從收到的視頻中獲取屬性數(shù)據(jù)；c、將所述代表視頻幀的數(shù)據(jù)發(fā)往幀率轉(zhuǎn)換器；d、將所述屬性數(shù)據(jù)通過輔助通道發(fā)往幀率轉(zhuǎn)換器；e、接收所述代表視頻幀的數(shù)據(jù)；f、接收輔助通道上的所述屬性數(shù)據(jù)；g、基于所述屬性數(shù)據(jù)，使用所述代表視頻幀的數(shù)據(jù)構(gòu)建幀率轉(zhuǎn)換后的視頻。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述處理包括解交錯所述收到的^f見頻以構(gòu)建所述幀。
3、 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述解交錯包括確定所述收到的視頻的節(jié)奏(cadence),其中所述屬性數(shù)據(jù)包括節(jié)奏信息。
4、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輔助通道中復(fù)用有所述代表視頻幀的數(shù)據(jù)。
5、 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括在確定所述屬性數(shù)據(jù)不包含所述收到的視頻的節(jié)奏信息時，作為響應(yīng)從緩沖在所述幀轉(zhuǎn)換器中的幀中確定所述節(jié)奏信息。
6、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輔助通道中的屬性數(shù)據(jù)與所述視頻幀同步，從而使得每一屬性數(shù)據(jù)與所述幀中特定的一個相關(guān)聯(lián)，所述方法還包括基于用于構(gòu)建所述幀率轉(zhuǎn)換后的數(shù)據(jù)的屬性數(shù)據(jù)調(diào)整幀率轉(zhuǎn)換器所使用的插值參數(shù)。
7、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述屬性數(shù)據(jù)包括所述視頻幀的頻率內(nèi)容。
8、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述屬性數(shù)據(jù)包括所述視頻幀的亮度內(nèi)容指示。
9、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述屬性數(shù)據(jù)包括所述視頻幀中的圖層的屬性信息。
10、 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括將所述代表視頻幀的數(shù)據(jù)與所述屬性數(shù)據(jù)復(fù)用在輔助通道中。
11、 根據(jù)權(quán)利要求11所述的方法，其特征在于，所述數(shù)據(jù)和所述屬性數(shù)據(jù)通過HDMI互聯(lián)來傳送。
12、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述傳送所述屬性數(shù)據(jù)包括詢問視頻處理器以獲取所述屬性數(shù)據(jù)。
13、 一種視頻接收器，其特征在于，包括a、 視頻處理器，其包括解交錯器，用于對收到的視頻場進(jìn)行解交錯，以構(gòu)建視頻幀并發(fā)往幀率轉(zhuǎn)換器，所述解交錯器可操作地探測所述收到的視頻場的節(jié)奏；b、 屬性格式化模塊，其與所述視頻處理器通信連接，用于接收所述節(jié)奏的指示，并以此構(gòu)建屬性數(shù)據(jù)；c、 通道編碼器，用于對通往所述幀率轉(zhuǎn)換器的通道中的所述屬性數(shù)據(jù)進(jìn)行編碼。
14、 根據(jù)權(quán)利要求13所述的視頻接收器，其特征在于，所述通道編碼器包括復(fù)用器，用于將所述視頻幀和所述屬性數(shù)據(jù)進(jìn)行復(fù)用。
15、 根據(jù)權(quán)利要求13所述的視頻接收器，其特征在于，還包括視頻解碼器，用于解碼收到的視頻流，并將所述視頻場發(fā)往所述^L頻處理器。
16、 根據(jù)權(quán)利要求13所述的視頻接收器，其特征在于，所述視頻處理器還包括噪聲削弱模塊、色彩轉(zhuǎn)換器和縮放器中的至少一個。
17、 根據(jù)權(quán)利要求16所述的視頻接收器，其特征在于，所述屬性數(shù)據(jù)還包括反映所述幀頻率內(nèi)容的信息和反映所述視頻幀色彩內(nèi)容的信息中的至少一個。
18、 一種^L頻接收器，其特征在于，包括a、視頻處理器，其包括多個視頻處理模塊，每一個模塊用于對收到的視頻執(zhí)行至少一個視頻處理功能，以構(gòu)建幀并發(fā)往幀率轉(zhuǎn)換器，所述視頻處理模塊中的每一個可操作地獲取所述收到的視頻的屬性信息；b、 屬性格式化模塊，其與所述視頻處理器通信連接，用于從所述視頻處理模塊接收屬性信息，并據(jù)此構(gòu)建屬性數(shù)據(jù)；c、 通道編碼器，用于對通往所述幀率轉(zhuǎn)換器的通道中的所述屬性數(shù)據(jù)進(jìn)行編碼。
19、 根據(jù)權(quán)利要求18所述的視頻接收器，其特征在于，所述視頻處理器包括解交錯器。
20、 根據(jù)權(quán)利要求19所述的視頻接收器，其特征在于，所述視頻處理器包括噪聲削弱模塊，色彩轉(zhuǎn)換器、縮放器和解交錯器中的至少一個。
21、 根據(jù)權(quán)利要求18所述的視頻接收器，其特征在于，還包括復(fù)用器，用于將所述通道和所述幀進(jìn)行復(fù)用。
22
23、 一種構(gòu)建幀率轉(zhuǎn)換后的視頻的方法，其特征在于，包括a、 在幀率轉(zhuǎn)換器中接收代表視頻幀的數(shù)據(jù)；b、 在所述幀率轉(zhuǎn)換器中接收與輔助通道中的所述代表視頻幀的數(shù)據(jù)有關(guān)的屬性數(shù)據(jù)；c、 基于所述屬性數(shù)據(jù)，從所述收到的數(shù)據(jù)構(gòu)建幀率轉(zhuǎn)換后的視頻。
24、 才艮據(jù)權(quán)利要求23所述的方法，其特征在于，所述屬性數(shù)據(jù)包括所述視頻幀的節(jié)奏信息，所述節(jié)奏信息用來調(diào)整從插入器構(gòu)建的插入幀到插入幀的運(yùn)動。
25、 根據(jù)權(quán)利要求24所述的方法，其特征在于，還包括緩沖所述接收幀中的連續(xù)幾個幀。
26、 根據(jù)權(quán)利要求25所述的方法，其特征在于，還包括在確定所述屬性數(shù)據(jù)不包含所述視頻的節(jié)奏信息時，作為響應(yīng)從所述收到幀的所述連續(xù)幾個幀中確定所述節(jié)奏信息。
27、 一種幀率轉(zhuǎn)換器，其特征在于，包括a、 通道解碼器，用于解碼提供給所述幀率轉(zhuǎn)換器的-見頻幀的屬性信息；b、 插值器，用于基于所述屬性信息，從代表所述視頻幀的數(shù)據(jù)中構(gòu)建幀率轉(zhuǎn)換后的視頻。
28、 根據(jù)權(quán)利要求27所述的幀率轉(zhuǎn)換器，其特征在于，還包括緩沖器，用于存儲所述視頻幀中的連續(xù)幾個幀。
29、 根據(jù)權(quán)利要求27所述的幀率轉(zhuǎn)換器，其特征在于，所述屬性信息包括所述^f見頻幀的節(jié)奏信息。
30、 根據(jù)權(quán)利要求29所述的幀率轉(zhuǎn)換器，其特征在于，所述屬性信息用于調(diào)整所述插值器構(gòu)建的插入幀到插入幀之間的運(yùn)動。
31、 根據(jù)權(quán)利要求27所述的幀率轉(zhuǎn)換器，其特征在于，所述屬性信息包括與提供給所述幀率轉(zhuǎn)換器的視頻幀的頻率內(nèi)容有關(guān)的信息。
32、 根據(jù)權(quán)利要求28所述的幀率轉(zhuǎn)換器，其特征在于，還包括節(jié)奏探測器，用于在所述屬性信息不包含所述節(jié)奏信息時，從所述收到幀中的所述連續(xù)幾個幀中確定節(jié)奏信息。
33、 一種視頻顯示設(shè)備，包括權(quán)利要求27所述的幀率轉(zhuǎn)換器。
全文摘要
一種視頻處理器，幀率轉(zhuǎn)換器的上行流確定視頻屬性數(shù)據(jù)。該屬性數(shù)據(jù)被格式化，并通過通道發(fā)往幀率轉(zhuǎn)換器。該幀率轉(zhuǎn)換器從該通道中提取該屬性數(shù)據(jù)，以便將其應(yīng)用到幀率轉(zhuǎn)換中。該幀率轉(zhuǎn)換器因此可依賴該視頻處理器獲取的該屬性數(shù)據(jù)，并無需再次分析視頻幀。
文檔編號H04N7/01GK101641952SQ200780043322
公開日2010年2月3日 申請日期2007年12月26日 優(yōu)先權(quán)日2006年12月26日
發(fā)明者丹尼爾·多斯沃爾德 申請人:美國博通公司