專利名稱：先進電視中時域和分辨率的分層方法
技術領域：
本發(fā)明涉及本發(fā)明一般涉及電子通信系統(tǒng)，并具體涉及一種具有壓縮圖象幀的時域(Temporal)和分辨率分層的先進電子通信系統(tǒng)。
2相關技術說明美國目前使用NTSC標準進行電視傳輸。不過，已經計劃用一種先進電視標準來代替NTSC標準。例如，到這個文件為止，先進電視業(yè)務顧問委員會(ACATS)正在計劃使U.S采用數字標準的清晰度和24Hz、30Hz、60Hz以及60Hz隔行掃描的先進電視格式。顯然這些幀頻是想持續(xù)(并且因此相兼容)現存的60Hz(或59.94Hz)的NTSC電視顯示率。顯然，當顯示具有每秒24幀的時域速率(fps)的電影時，則指定“3-2下降”(3-2Pulldown)用于在60Hz顯示裝置上顯示。盡管，ACATS提供一種可從可能的制式中選擇的菜單，每個菜單只編碼或解碼單一的分辨率和幀頻。由于這些制式的顯示或運動速率相互之間不是整數倍地相關，因此從一個向另一個轉換是很困難的。
另外，目前的ACATS建議并沒有提供一種與計算機顯示相兼容的關鍵性能力。這些所建議的圖象運動速率是基于可追溯至本世紀初期的數據的歷史速率。如果打算進行“凈化-打算”，則這些數據未必會被選中。在計算機工業(yè)中，顯示裝置在近十年中采用了任意的速率，在70至80Hz范圍中的速率已被證明是最優(yōu)的，72和75Hz是最常用的速率。遺憾的是ACATS所建議的30和60Hz速率不能與72或75Hz合作，結果損害了時域特性。
另外，由于在高幀頻處規(guī)定要有1000線以上的分辨率，因此本領域的技術人員建議采用幀隔行掃描，但是基于該理論，在常規(guī)6MHz廣播電視頻道的有效的18-19M比特/秒之內這種圖象是不能被壓縮的。
如果能采用一種單一信號制式，它包含所有希望的標準和高清晰度分辨率，則這是人們所特別希望的。不過，為了在常規(guī)6MHz廣播電視頻道的帶寬限制之內，就需要幀頻(時域)和分辨率(空間域)都被壓縮(或“可伸縮性”)。一種用來提供如此可測量性的具體方法是MPEG-2標準。不幸的是，MPEG-2內的規(guī)定的時域和空域可伸縮性特征并不足夠有效地適應U.S先進電視的需要。因此，針對基于時域(幀頻)和空域(分辨率)分層的U.S先進電視的目前的ACATS建議是無效的，并因此需要獨立的制式。
本發(fā)明克服該ACATS建議的這些和其它問題。
發(fā)明概要本發(fā)明提供一種圖象壓縮的方法和裝置，在高質量的高幀頻可證明實現好于1000線分辨率圖象壓縮。而且，在一個常規(guī)電視廣播頻道的有效帶寬之內還能實現以這種分辨率以這種高幀頻的時域和分辨率的可測量性。該發(fā)明的技術有效地實現由ACATS為先進電視所建議的壓縮率的兩倍。
圖象內容最好是以72fps的初始或基本幀頻獲取。然后產生一個MPEG-2數據流，它包括(1)一個基層，最好只使用MPEG-2P幀編碼，包括一個低分辨率(例如，1024×512像素)，低幀頻(24或36Hz)比特流；(2)一個可任選的基礎分辨率時間增強層，只使用MPEG-2B幀來編碼，包括一個低分辨率(例如，1024×512像素)，高幀頻(72Hz)比特流；(3)一個可任選的基礎時域高分辨率層，最好只使用MPEG-2P幀優(yōu)先地編碼，包括一個高分辨率(例如2K×2K像素)，低幀頻(24×36Hz)比特流；(4)一個可任選的高分辨率時域增強層，只使用MPEG-2B幀來編碼，包括一個高分辨率(例如，2K×1K像素)，高幀頻(72Hz)比特流。
本發(fā)明提供能夠顯著地改善ACATS計劃的一些關鍵技術屬性，并包括用單一分層的分辨率和幀頻代替多個的分辨率和幀頻；為了在一個6MHz電視頻道內以高幀頻(72Hz)實現好于2兆像素圖象的1000線分辨率，不需要隔行掃描；通過72fps的主幀頻的使用可與計算機顯示相兼容；以及，比目前針對先進電視的未分層的ACATS制式計劃更強的穩(wěn)健性，因為當碰到“重點”圖象內容時，所有的有效比特被分配至一個較低的分辨率基層。
本發(fā)明的優(yōu)選實施例的細節(jié)是由下面的附圖和說明書來體現的。對于本領域技術人員來說一旦了解了本發(fā)明的這些細節(jié)，則許多附加創(chuàng)新和改變將變得很顯然。
附圖的簡要說明

圖1是表示用于使24fps和36fps內容以60Hz顯示的下降速率(pulldown rate)的一個時序圖。
圖2是一個第一優(yōu)選的MPEG-2編碼圖。
圖3是一個第二優(yōu)選的MPEG-2編碼圖。
圖4是表示按照本發(fā)明的優(yōu)選實施例的時域層解碼的方框圖。
圖5是表示以60Hz隔行掃描輸入至一個36Hz和72Hz都能輸出的一個轉換器的一個方框圖。
圖6是表示用于24或36Hz的一個基礎MPEG-2層的“主模板”(master template)的一個框圖。
圖7是示出利用MPEG-2使用分級分辨率可測量性的一個基礎分辨率模板的增強的一個框圖。
圖8是示出優(yōu)選的分層分辨率編碼過程的一個框圖。
圖9是示出優(yōu)選的分層分辨率解碼過程的一個框圖。
圖10是示出按照本發(fā)明的用于一個解碼器的分辨率和時域可測量性的一個組合的一個方框圖。
發(fā)明的詳細說明在各種圖中相同的參考數字表示相同的單元。通過本說明書，所示出的優(yōu)選實施例和例子應該被當做范例看待，而非對本發(fā)明的限制。一個時域速率系列的目的經過考慮了現有技術的問題以后，并采用本發(fā)明，為了規(guī)定一個未來數字電視系統(tǒng)而定義了下面的目的·最佳地顯示高分辨率傳統(tǒng)的24幀/每秒電影，·平滑運動獲取快速移動圖象類型，諸如體育運動，·既可以在現有的模擬NTSC顯示裝置也可以在以72或75Hz上工作的計算機兼容顯示裝置上平滑顯示體育運動和相似的圖象。
·諸如新聞和室內劇，較少有快速移動圖象，對它進行適當的但更有效的運動獲取。
·經一個轉換盒到現有的NTSC顯示裝置上適當地顯示所有新的數字型圖象。
·在計算機兼容顯示裝置上高質量地顯示所有新數字型的圖象。
·如果60Hz數字標準或高分辨率顯示裝置進入市場，也能在這些顯示裝置上適當或高質量地顯示出來。
由于在除了24Hz的電影速率以外的任何速率60Hz和72/75Hz是根本上不兼容的，如果消取72/75或者消取60作為顯示速率，則這將是最好的結局。由于72或75Hz是N.I.I.(National InfornationInfrastructure)和計算機應用所需的幀頻，因此，去掉60Hz幀頻做為根本的廢除將是最面向未來的。不過，在廣播和電視工業(yè)中有許多競爭，并且存在一個很大的需求量，即，任何新數字電視基礎是基于60Hz(和30Hz)的。這就導致在電視、廣播和計算機工業(yè)之間激烈的爭辨。
另外，在廣播和電視工業(yè)中的一些利益所堅持的隔行掃描60Hz格式加寬了與計算機顯示需求的之間的距離。由于數字電視系統(tǒng)的類似計算機應用需要運行掃描顯示，因此當顯示隔行掃描信號時就需要去隔行掃描器(de-interlacer)。由于在每個這種接收裝置中都將需要去隔行掃描器，因此存在關于去隔行掃描器的造價和質量的很大爭論。除了去隔行掃描以外，幀頻轉換也影響成本和質量。例如，NTSC-PAL和PAL-NTSC轉換器依舊是非常昂貴的并且轉換操作對于很多公用型景物仍是不可靠的。由于隔行掃描的課目是一個復雜并且疑難的主題，并且為了試圖論述該問題和時域速率的課目，因此本發(fā)明是在一個沒有隔行掃描的數字電視標準的方面上進行介紹的。
選擇最佳時域速率差頻問題(beat Droblem)。如果生成具有等于該顯示速率(分別是72或75Hz)的一個運動速率的攝像或者模擬的圖象，則將會在72或75Hz顯示裝置上產生最佳顯示，并且反之亦然。同樣，在一個60Hz顯示裝置上的最佳運動保真度將來自于一個60Hz攝像或模擬圖象。用60Hz顯示裝置來顯示72Hz或75Hz的發(fā)生幀頻，結果分別地導致12Hz或15Hz的差頻，經過運動分解，可以消除這種差拍，但是運動分解是昂貴的并且不精確的，經常導致可視的人工痕跡和時域的混疊。在缺少運動分解的情況下，差頻支配著可察覺的顯示速率，使12或15差拍出現以提供比24Hz還低的低精確運動。這樣，24Hz構成一個在60與72Hz之間的固有的時域公分母。盡管75Hz比60Hz有一個稍高15Hz差拍，其運動仍然不象24Hz一樣平滑，并且除非24Hz速率提高到25Hz，否則在75Hz和24Hz之間不存在積分關系。(在歐洲50Hz圖象中，經常以25Hz即快4％地放映電影，這就能夠使電影顯示在75Hz顯示裝置上)。
在每個接收裝置缺少運動分解的情況下，在72或75Hz顯示裝置上的60Hz運動，以及在60Hz顯示裝置上的75或72Hz運動，將比24Hz圖象更不平滑。因此，72/75Hz和60Hz運動都不適于到達包括72或75Hz和60Hz顯示裝置的一個多元顯示總體。
3-2下降(3-2Pulldown)。由于在電視電影(電影至視頻)轉換處理過程中，組合了視頻效果的“3-2下降”的使用，使在選擇一個最佳幀頻過程中出現了另一個困難。在這樣的轉換過程中，該3-2下降模式重復3次第一幀(或場)，然后重復2次下一幀，然后重復3次下一幀，然后重復2次下一幀，等等。這就是24fps電影在電視上以60Hz(實際上，對于NTSC彩色為59.94Hz)顯示的原因。即，在一秒鐘內每12對2幀電影被顯示5次。圖1示出該3-2下降模式。
經過某些估算，在視頻上所有電影的大部分具有相當大的部分，已經以59.94Hz視頻場頻對這些部分做出調整以顯示24fps電影。這種調整包括“掃視和掃描”(pan-and scan)、色校正以及標題滾動。另外，為了適合在一個給定的廣播時刻表之內，許多電影是經過降低幀或者裁剪場景的開頭和結尾的時間調整的。這些操作使得該3-2下降處理過程不可逆，這是因為59.94Hz和24Hz運動都存在。這使得很難利用MPEG-2標準來壓縮電影。幸運的是，這種問題限于現有NTSC-分辨率內容，這是因為不存在太多利用3-2下降的較高分辨率數字電影的文庫。
運動模糊(motion blur)。為了進一步探測發(fā)現一個高于24Hz的共用時域速率的問題，注意在運動圖象的獲取過程中的運動模糊是很有意義的，在每幀的一部分周期內打開攝像傳感器和電影膠片來感測一個移動圖象。在電影攝像機和許多視頻攝像機上，這種曝光的周期是可調的。電影攝像機需要一段時間來推進電影，并且通常限于只以360度中的約210度，或者58％占空度打開。在具有CCD傳感器的視頻攝像機上，經常需要一部分的幀時間從傳感器“讀”圖象。這種時間可以在幀時間的10％-50％之間變化。在一些傳感器中，在這種讀出時間內，必須使用一個電子快門來斷開光線。這樣，CCD傳感器的占空度經常從50％至90％變化，并且在一些攝像機中，它是可調的。如果需要，有時可以調整該光快門以減少該占空度。不過，對于電影和視頻，最常用的傳感器占空度是50％。
優(yōu)選的速率考慮這種問題，可以考慮僅使用來自以60、72或75Hz獲取的圖象序列的一些幀，利用二、三或四等等中的一幀，可以導出表1所示的亞速率速率1/2速率 1/3速率 1/4速率 1/5速率 1/6速率75Hz37.525 18.2515 12.572Hz36 24 18 14.41260Hz30 20 15 12 10表115Hz的速率是在60和75Hz之間的一個統(tǒng)一速率。12Hz速率是在60和72Hz之間的一個統(tǒng)一速率。不過，一個需要大于24Hz的需求取消了這些頻率。24Hz不是共同的，但是3-2下降的使用已經逐步被工業(yè)所采納，以便在60Hz顯示裝置上顯示。因而僅僅30、36和37.5Hz是候選速率。由30Hz與75Hz有一個7.5Hz的差拍。并且與72Hz有一個6Hz差拍，因此作為一個候選它是無用的。
當在60和72/25Hz顯示裝置上顯示時，36和37.5Hz的運動速率成為用于比24Hz內容更平滑運動的首要候選。這些速率都比24Hz快約50％并且更平滑。由于37.5Hz的速率既不適于60也不適于72Hz，因此必須取消它，只剩下36Hz具有所需要的時域速率特征。(如果電視的60Hz顯示頻率能夠提高4％到62.5Hz，則可以使用37.5Hz的運動速率。注意60Hz的后面，62.5Hz不常出現-甚至存在用于新電視系統(tǒng)的那些建議的非常過時的59.94Hz速率。不過，如果將要做出這樣的改變，本發(fā)明的另一方面將適合該37.5Hz速率)。
剩下24、36、60和72Hz的速率做為一個時域速率系列的候選。如上所述，72和60Hz的速率不能用做分配速率，這是因為當在這兩個速率之間轉換時，比使用24Hz作為分配速率更不平滑。假設我們正在找一個比24Hz快的速率。因此，36Hz是用于使用60和72/75Hz顯示裝置的一個主要的、統(tǒng)一運動獲取以及圖象分配速率的一個首要候選。
如上所注，用于24Hz內容的該3-2下降模式重復3次第一幀(或場)、然后重復兩次下一幀，然后重復3次下一幀，然后重復兩次下一幀，等等，每個模式最佳地應該按照一個2-1-2模式被重復。這可以由表2和表1中看到。速率 幀數60H 1234567891024H 111223334436H 1123344566表236Hz和60Hz之間的這種關系只適用于真正的36Hz內容。如果是隔行掃描，則60Hz內容可“存儲”在36Hz內，但是沒有運動分解和重建則不能從60Hz中適當地生成36Hz。不過，在為運動尋找一個新的速率中，36Hz在60Hz上提供比24Hz所達到的稍微平滑的運動，而且在72Hz顯示裝置上提供明顯更好的圖象運動平滑性能。36Hz是用于一個主要的、統(tǒng)一運動獲取以及圖象分配速率的一個最佳速率，用來與60和72Hz顯示裝置使用，在這種顯示裝置上，顯示比24Hz內容更平滑的運動。
盡管36Hz迎合上述的目標，但不是唯一合適的獲取頻率。因為不能從60Hz是簡單地提取出36Hz,60Hz不能為獲取提供一個合適的速率。不過，72Hz可用于獲取，用每隔一幀然后用作36Hz分配的基礎。從使用72Hz內容的每隔一幀得到的運動模糊將是以36Hz獲取的運動模糊的一半。對從72Hz的每隔兩幀顯示的運動模糊的測定表明以24Hz斷續(xù)的選通是不能采用的。不過，使用從72Hz中每隔一幀用于36Hz顯示對于眼睛來說與36Hz原來的獲取相比并不是不能采用的。
這樣，通過以72Hz獲取，36Hz給予在72Hz顯示裝置上提供非常平滑運動的機會，同時通過使用72Hz原來獲取內容的隔一幀來實現一個36Hz分配速率并且然后利用2-1-2下降以導出一個60Hz圖象，36Hz在60Hz顯示裝置上提供比24Hz內容更好的運動?？傊?示出依照本發(fā)明的用于獲取和分配的該優(yōu)選的最佳時域速率。
優(yōu)選的速率獲取分配 最佳顯示裝置可允許的顯示裝置72Hz36Hz+36Hz72Hz 60Hz
表3這也是值得注意的，即利用從一個72Hz攝像機的隔一幀的這種技術可以利用一個增加的運動模糊占空度。正常的以72Hz的50％占空度引出一個以36Hz的25％占空度，這已經可論證地被允許了，并且在60Hz和72Hz顯示裝置上再現超過24Hz的一個顯示的改善。不過，如果把占空度提高至75-90％范圍之內，則36Hz取樣就會更開始接近更通用的50％占空度。例如，通過利用“后備存儲”(backing store)CCD設計可以實現占空比的提高該“后備存儲”CCD設計有一個短的遮光時間，產生一個高的占空度。可以采用包括22CCD復用設計在內的其它方法。
修改的MPEG-2壓縮為了有效地存儲和分配，應該壓縮具有該優(yōu)選的36Hz的時域速率的數字源內容。本發(fā)明的該優(yōu)選的壓縮的格式是利用一個MPEG-2標準的新的變型來實現的。
MPEG-2基礎。MPEG-2是定義一種視頻語法的一種國際視頻壓縮標準，該標準提供了以更復雜的編碼的數據的方法再現圖象順序的一種有效的途徑。編碼的比特的語言就是該“語法”。例如，一些令牌(token)可以再現一整個64取樣的塊。MPEG還描述了使已編碼的比特從該復雜的表示變換成為原來的圖象順序的“原始”制式的一種解碼(重建)過程。例如，在該編碼的比特流中的一個標記符表示后續(xù)的比特是用一種離散余弦變換(DCT)算法還是用一種預測算法來解碼。這些包括該解碼過程的算法是由MPEG所定義的語義來規(guī)定的。這種語法能用于探測通用的視頻特性，諸如空間冗余、時間冗余、均勻運動、空間掩蔽等等。實際上，MPEG-2定義了一種程序設計語言以及一種數據格式。一種MPEG-2解碼器必須能夠對一種輸入的數據流進行語法分析和解碼，但是一旦該數據流遵守MPEG-2語法，則可以采用廣泛的各種各樣可能的數據結構和壓縮技術。本發(fā)明通過導出用于使用MPEG-2標準的時域和分辨度換算的一種新的裝置和方法來利用這種靈活性。
MPEG-2使用一種幀內和幀間的壓縮的方法。在絕大多數視頻景物中，當在前景中發(fā)生動作時其背景保持相對地靜止。背景可能會移動，但許多景物是重復的。MPEG-2通過產生一個稱為I(即內部)幀的參照幀來開始它的壓縮處理。I幀是不必參考其它幀而被壓縮的并且因此包含一個完整的視頻信息幀。I幀提供入口點進入一個數據流用于隨機存取，但是可以僅僅被中等地壓縮。通常，每隔10至15幀就在比特流中放置表示I幀的數據。因此，由于僅僅屬于參考I幀的幀的一小部分與歸類在一起的I幀有差別，因此僅僅捕獲、壓縮和存儲該差異。兩種型式的幀用于這樣的差異-P(即預測)幀和B(即雙向內捕)幀。
P幀通常參照一個過去的幀(或者一個I幀或者一個前面的P幀)進行編碼，并且，通常將被用作給未來的P幀的一個參照。P幀接收相當高的壓縮。B幀圖象提供最高的壓縮但為了編碼通常過去幀和未來參考都需要。雙向幀從不做為參照幀。
P幀內的宏塊也可以利用幀內編碼來單獨地編碼。B幀內的宏塊也可以利用幀內編碼、向前預測編碼、向后預測編碼、或者既向前也向后、或者雙向內插、預測編碼來單獨地編碼。一個宏塊是由四個8×8DCT塊連同P幀的一個運動矢量以及B幀的一個或兩個運動矢量集聚成的一個16×16象素。
編碼以后，一個MPEG數據流就包括I、P和B幀的一個序列。一個序列可能由幾乎任何I、P和B幀的模式組成(在它們的位置上存在一些小型語法限制)。不過，在工業(yè)實踐中這是常用的以具有一個固定的模式(例如IBBPBBPBBPBBPBB)。
做為本發(fā)明的一個重要部分，即產生包含一個基層、至少一個可任選的時域增強層以及一個可任選的分辨率增強層的一個MPEG2數據流。下面將詳細描述這些層中的每一個。
時域可伸縮性(temporal scalability)基層。使用該基層以攜帶36Hz源內容，在該優(yōu)選的實施例中，兩種MPEG-2幀順序中的一個可用于該基層LBPBPBP或者IPPPPPP。后面的模式是最優(yōu)選的，這是因為如果還需解碼24Hz電影的話，解碼器將只需解碼P幀而不必解碼B幀，因此降低了所需的存儲帶寬。
72Hz時域增強型層。當利用MPEG-2壓縮時，如果P幀距離是偶數的話，嵌入一個36Hz時域增強型層做為用于36Hz基層的MPEG-2序列之內的B幀這是可能的。這允許36Hz顯示裝置和72Hz顯示裝置都支持的單一數據流。例如，兩種層都可被解碼以產生一個用于計算機顯示器的72Hz信號，而僅僅該基層可以被解碼并轉換以產生用于電視機的60Hz信號。
在優(yōu)選實施例中，IPBBBPBBBPBBBP或者IPBPBPBPB的MPEG-2編碼模式都允許用只含有時域增強型B幀的一個單獨的流中的另外的幀來代替，以處理36Hz至72Hz。圖2和3分別示出這些編碼模式。圖3的2幀P間隔編碼模式還有一個輔加的優(yōu)點，即如果還需解碼24Hz電影的話，則36Hz解碼器只需解碼P幀而不解碼B幀，因此降低了所需的存儲帶寬。
對高分辨率圖象的研究已經建議對于絕大多數圖象類型來說圖3的2幀P間隔是最佳的。即，圖3的結構顯示出提供用于60和72Hz都支持的該最佳時域結構，同時在現代72Hz計算機兼容顯示裝置上提供卓越的結果。這種結構允許兩種數字流，一個是以36Hz用于基層，一個以36Hz用于增強層B幀以實現72Hz。圖4中表示了這個，它以方框圖的形式示出36Hz基層MPEG-2解碼器50僅僅解碼P幀以產生36Hz輸出，然后該36Hz輸出準備被或者轉變至60Hz顯示裝置或者轉變至72Hz顯示裝置。一個可任選的第二解碼器52僅僅解碼B幀以產生第二36Hz輸出，該36Hz輸出當與基層解碼器50的36Hz輸出組合時結果形成一個72Hz輸出(下面討論一種組合的方法)，在另一實施例中，一個快速MPEG-2解碼器50能夠都解碼用于基層的P幀和用于增強層的B幀。
最佳主制式。一些公司正在制做以約11M像素/秒運行的MPEG-2解碼芯片。MPEG-2標準針對分辨率和幀頻已經定義了一些“輪廓”(profile)。盡管這些輪廓頑固地偏向于計算機非兼容制式諸如60Hz、無正方像素、以及隔行掃描，但是許多芯片制造商似乎正在開發(fā)操作在“主輪廓，主平面”(main-profile main level)上的解碼芯片。這些輪廓定義，至少水平分辨率達到720像素、至少垂直分辨率在高達25Hz處達到576線，以及在高到30Hz處幀頻達到480線，還規(guī)定了從近似1.5M比特/秒至約10M比特/秒的一個很寬范圍的數據速率。不過，從芯片的角度來說，主要的目標是解碼像素的速率。主平面、主輪廓像素速率是約10.5M像素/秒。
盡管在芯片制造商中存在變更，但絕大多數MPEG-2解碼器芯片實際上將工作在13M像素/秒，給予快的支持存儲。一些解碼器芯片將快到20M像素/秒或更快。使得CPU芯片能以一個給出的成本每年趨向于獲得50％的改善或者更高，在MPEG-2解碼器芯片的像素速率中可以期望一些臨近限度的靈活性。
表4示出一些希望的分辨率和幀頻、以及它們相應的像素速率分辨率 幀頻 像素速率XY(Hz) (M像素/秒)640 480 3611.1720 486 3612.6720 486 30(用于比較) 10.5704 480 3612.2704 480 30(用于比較) 10.1680 512 3612.51024 512 2412.6表4所有這些制式都可以被MPEG-2解碼器芯片利用它產生至少12.6M像素/秒。幾乎所有目前的芯片都能實現非常需要的36Hz的640×480像素的制式，因為它的速率是11.1M像素/秒。一個寬屏1024×512圖象可以通過一個1.5∶1壓縮被壓縮成680×512圖象，并且如果能處理12.5M像素/秒的話，則能36Hz來支持。當MPEG-2解碼器芯片可以處理約18.9M像素/秒時，非常希望的1024×512的矩形像素寬屏樣板可以達到36Hz。這將變得更合理，如果24Hz和36Hz內容只用P幀編碼，使得在72Hz時域增強層解碼器中只需要B幀。只利用P幀的解碼器要求更少的存儲容量和存儲寬度，它使得19M像素/秒的目標更容易達到。1024×512分辨率樣板將更經常用于24fps的2.35∶1和1.85∶1的寬高比的電影。這樣內容只需11.8M像素/秒，它應該在絕大多數現有的主水平-主輪廓解碼器的范圍之內。
在圖6中以24或36Hz的基層的一種“主樣板”(master template)的方式示出了所有這些制式。因此，本發(fā)明提供一種與現有技術相比能適應各種各樣寬高比和時域分辨率的獨特的方法。(下面是一個主樣板的進一步討論)。
利用一個具有雙倍的上述規(guī)定的像素速率的一個芯片或者使用相平行的輔助存取解碼器存儲的一個第二芯片能夠解碼產生72Hz的B幀的時域增強型層。在本發(fā)明的指導下，至少存在兩種方法用于增強型層和基層數據流的合并以插入該交替的B幀。第一，利用MPEG-2傳輸層來進行合并而不被解碼器芯片察覺?？梢园殃P于兩種PIDS(程序IDS)的該MPEG-2傳輸包認做包含了基層和增強型層，并可以把這些流的內容簡便地傳輸給一個雙速率能力解碼器芯片，或者給恰當構形的一對常規(guī)速率解碼器。第二，利用在MPEG-2數據流中的“數據劃分”特性代替從MPEG-2系統(tǒng)發(fā)出的傳輸層這也是可以的。該數據劃分特性允許把B幀標記成屬于在MPEG-2已壓縮的數據流之內的一個不同的級，并且因此可被標識以使只支持時域基層速率的36Hz解碼器忽略它。
由MPEG-2視頻壓縮所定義的時域可伸縮性并不如本發(fā)明的簡便B幀劃分優(yōu)秀。該MPEG-2時域可伸縮性僅僅向前參考前面的P或B幀，并因此對這里所建議的向前和向后都參考的B幀編碼來說缺乏有效的可利用性。另外，單純利用B幀做為時域增強層提供一種比在MPEG-2內所定義的時域可伸縮性更簡單并更有效的時域可伸縮性。盡管如此，這種使用B幀做為時域可伸縮性的機理完全依從MPEG-2。經過關于B幀的數據劃分或者交替的PID′s，識別這些B幀做為一個增強型層的兩種方法也是完全兼容的。
50/60Hz時域增強型層。除了或者做為上述的72Hz時域增強型層(編碼一個36Hz信號)的另一種，可以按相似的方式把一個60Hz時域增強型層(編碼一個24Hz信號)加至36Hz基層。對于編碼現有的60Hz隔行掃描的視頻內容來說60Hz時域增強型層是相當有用的。
絕大多數60Hz隔行掃描內容是按模擬的、D1或D2制式的NTSC視頻帶。也有小部分日本HDTV(SMPTE 240/260M)。也有此制式工作的攝像機。按照一種公知的方法可以處理任何這樣的60Hz隔行掃描制式以使信號被去隔行掃描并且?guī)l轉換。這種處理包含非常復雜的圖象認識技術，相似于自動控制觀測。即使利用非常完善的技術，由于算法和不時的得出人為現象(artifact)，通常時域混疊將導致“誤認識”。注意圖象捕獲的典型的50％占空度意味著攝像機一半時間“不看”。在電影中的“反向車輪”(“back ward wagon wheels”)就是由于這種時域欠抽樣的通常作法的時域混疊的一個例子。沒有人工輔助重建這樣的人工因素通常是不能消除的。因此，將會總存在不能自動地校正的情況。不過，運動轉換使得當前的技術應該對大多數內容有效。
單個高清晰度攝像機或者磁帶式機器的價格與這樣一個轉換器的造價是一樣的。因此，在具有幾個攝像機和磁帶式機器的一個演播室中，這樣轉換的成本變得適中。不過，進行這樣充分地處理目前是在家庭和辦公產品的預算之外的。因此，最好是在初始的演播室內完成關于現有內容的去隔行掃描和轉換幀頻的復雜的處理過程。這在圖5中示出，它以一個方框圖的形式表示了從攝像機60或者其它源(諸如非電影視頻帶60)輸入的60Hz隔行掃描的信號輸入至轉換器64，它包括了一個去隔行掃描功能和一個幀頻轉換功能并能夠輸出一個36Hz信號(只有36Hz基層)和一個72Hz信號(36Hz基層加上來自時域增強型層的36Hz)。
作為輸出一個72Hz信號(36Hz基層加上來自時域增強型層的36Hz)的另一個選擇，可以采用這種轉換處理以在36Hz基層上產生一個第二MPEG-2 24Hz時域增強型層，它能夠再生原始的60Hz信號，不過已去隔行掃描。如果相似的量化處理被用于60Hz時域增強型層B幀，則由于存在更少的B幀，因此數據速率應該比72Hz時域增強型層稍微少一些。
美國所感興趣的大量主要的節(jié)目是低分辨率NTSC。目前，在大多數家庭電視上大多數NTSC信號被質量降低地觀看。另外，觀眾已開始接收受利用3-2下降而在電視上顯示電影的方式中所固有的這種時域損傷。幾乎所有的早期電視是根據每秒24幀的電影而制作的。因此，只有體育新聞和其它視頻-原始節(jié)目需要按這種方法處理。通過對信號高質量的去隔行掃描所伴隨的提高，極大地補償了轉換這些節(jié)目至36/72Hz制式所帶來的人工因素和損失。
注意在60Hz(或59。94Hz)場中固有的運動模糊應該非常類似于在72Hz幀中的運動模糊。因此，提供一個基層和增強型層的這種技術，按運動模糊觀點來看，應該似乎與72Hz起因相似。因此，當隔行掃描的60Hz NTSC內容被處理成一種36Hz基層，加上來自時域增強型層的24Hz，并且以60Hz顯示時。幾乎沒有觀眾將注意到差別，除非可能做為一種稍稍的改善，不過那些購買了新的72Hz數字逐行掃描電視的人當觀看NTSC時，會注意到小的改善，而當觀看以72Hz獲取或組織的內容時會注意到一個大的改善。即使在72Hz顯示裝置上顯示的已解碼的36Hz基層看起來也將與高質量的數字NTSC一樣的好，代替了具有一個更慢的幀頻的隔行掃描的產物。
把現有的PAL 50Hz內容轉換成一個第二MPEG-2增強型層中也使用相同的處理方式。在這樣的轉換之前把PAL視頻帶最大地放慢至48Hz?；顒又腜AL需要利用分別不關聯的50、36和72Hz的速率來轉換。目前僅僅在廣播信號的源處買得起這樣的轉換單元，而在家庭和辦公室中的每個接收裝置目前并沒有實施。
分辨率可伸縮性這是可能的即利用使用MPEG-2的分層的分辨率可伸縮性來增強基層分辨率模板以實現建在一個基層之上的更高的分辨率。增強型的使用可以實現1.5×和2×基層的分辨率。分兩個步驟，通過使用3/2然后4/3，或者可以是兩個步驟的一個單一的因素，可以實現雙分辨率。圖7中表示了這種步驟。
通過產生一個分辨率增強型層做為一個獨立的MPEG-2流并且對該層進行MPEG-2壓縮能夠實現分辨率增強的處理。這種技術與MPEG-2所定義的已證明是相當低效率的“空間可伸縮性”不同。不過，MPEG-2包含所有的構造一個有效的分層分辨率以提供空間可伸縮性的工具。圖8示出本發(fā)明的優(yōu)選的分層分辨率編碼過程。圖9示出本發(fā)明的優(yōu)選的分層分辨率解碼過程。
分辨率層編碼。在圖8中，在每個方向上一個初始的2K×1K圖象80被按常規(guī)方式濾波成1/2分辨率以產生一個1024×516基層81，然后利用常規(guī)MPEG-2算法壓縮該基層81產生一個適合傳輸的MPEG-2基層82。重要的是，在這種壓縮步驟期間可以使用全部MPEG-2運動壓縮。然后利用常規(guī)的MPEG-2算法解壓縮同樣的信號還原成1024×512圖象83。該1024×512圖象83被擴展。(例如，通過像素復制或者最好利用諸如樣條內插的更好的濾波器)成一個第一2K×1K放大型84。
同樣，做為一個可選步驟，把該已濾波的1024×512基層81擴展成一個第二2K×1K放大型85。從初始的2K×1K圖象80減去該第二2K×1K放大型85以產生一個表示在初始的高分辨率圖象80與初始的基層圖象81之間的分辨率的最高倍頻程(top Octave)的圖象。把結果的圖象可任選地乘以一個銳度系數或者一個加權，并且與初始2K×1K圖象80與第二2K×1K放大型85的差值相加以產生一個中心-加權的2K×1K增強型層源圖象86。然后根據常規(guī)的MPEG-2算法壓縮這種增強型層源圖象86，產生適合傳輸的一個單獨的MPEG-2分辨率增強型層87。重要的是，在這種壓縮步驟期間可以使用全部MPEG-2運動壓縮。
分辨率層解碼。在圖9中，利用常規(guī)MPEG-2算法解壓縮基層82還原成1024×512圖象90。該1024×512圖象90擴展成一個第一2K×1K圖象91。同時，利用常規(guī)MPEG-2算法解壓縮該分辨率增強型層87還原成一個第二2K×1K圖象92。然后第一2K×1K圖象91和第二2K×1K圖象92相加以產生一個高分辨率2K×1K圖象93。
超過MPEG-2的改善。大體上，通過擴展已解碼的基層，找出初始圖象與已解碼的基層之間的差并進行壓縮，就產生了該增強型層。不過，一個已壓縮的分辨率增強型層也可以可任選地在解碼之后與基層相加以在解碼器中產生一個更高分辨率的圖象。本發(fā)明的分層分辨率編碼過程與MPEG-2空間可伸縮性有幾方面的差異。
·增強型層差分圖象被壓縮成它自己的MPEG-2數據流，用I、B和P幀。這種差異代表了MPEG-2空間可伸縮性無效的地方，但按所建議的，分辨率是有效的之處的主要原因。MPEG-2中所定義的空間可伸縮性允許編碼一個較上層作為該較上層圖象與該擴展了的基層之間的差異，或者作為一個已運動補償實際圖象的MPEG-2數據流，或者兩者的組合。不過，這些編碼方法都是無效的。因為本發(fā)明中，與基層的差異應該被認做該差異的I幀，它與一個已運動補償的差分圖象相比較是無效的。MPEG-2中所定義的上層編碼也是無效的。因為它與完全的上層的編碼是一樣的。如在本發(fā)明中，已運動補償的差分圖象的編碼因此明顯地更加有效。
·由于增強型層是一種獨立的MPEG-2數據流，MPEG-2系統(tǒng)傳輸層(或者另外相似的機構)必須被用來復用基層和加強型層。
·擴展和分辨率降低濾波可以是一種高斯或者樣條功能，它比MPEG-2空間可伸縮性中所規(guī)定的雙線內插更加優(yōu)秀。
·在優(yōu)選的實施例中在較低和較高層之間圖象寬高比必須相匹配。在MPEG-2空間可伸縮性中，擴展寬度和/或高度是允許的。由于有效性的需要，因此在優(yōu)選的實施例中這樣的擴展是不允許的。
·由于有效性的需要，以及在增強型層中使用的極罕見的壓縮，因此該增強型層的整個區(qū)域不編碼。通常，從增強型層排除的區(qū)域將是邊界區(qū)域。這樣，在優(yōu)選實施例中2K×1K增強型層源圖象86是中心加權的。在優(yōu)選實施例中，使用衰落功能(諸如線性加權)以使增強型層“滑”(feather)向圖象的中心并遠離邊界邊緣，以避免在圖象中的不連續(xù)的變換。另外，可以采用確定具有肉眼將觀察的細節(jié)的區(qū)域的任何人工或者自動方法，以選擇需要詳細細節(jié)的區(qū)域并排除不需要的多余細節(jié)的區(qū)域。所有圖象具有基層水平的詳細細節(jié)，因此顯示所有圖象。只有特別感興趣的區(qū)域受益于增強型層。在不存在其它準則的情況，如上面所述的中心-加權實施例，可以把幀的邊緣或者邊界從增強型中排除。MPEG-2參數“較低-層-預測-水平或垂直補償”參數用作為標識的負整數，與“水平或垂直-亞取樣-系數-m或n”值相結合，可用來規(guī)定增強型層矩形的總尺寸和在擴展的基層內的位置。
·把-個銳度系統(tǒng)加到該增強型層上以補償在凈化期間所發(fā)生的銳度損失。必須注意只使用這些參數存儲初始圖象的清晰度和銳度而不增強該圖象。如上面圖8有關方面所示，該銳度系數是初始高分辨率圖象80與初始基層圖象81(經擴展之后)之間分辨率的“高倍頻”。這種高倍頻圖象除了包含分辨率的高倍頻的銳度和細節(jié)以外，還將含有許多噪聲。加入太多的這種圖象可導致在已運動補償的增強型層編碼過程中的不穩(wěn)定性。應該加入的數量取決于在初始圖象中噪聲的程度。一個典型的加權值是0.25。對于有噪聲的圖象，銳度不應該加入，并且甚至在壓縮之前，利用用于保存細節(jié)的常規(guī)抑制噪聲技術來抑制增強型層的初始中的噪聲。這也是合理的。
·在基層和增強層上利用關于從36Hz至72Hz的時域增強型的B幀來內部混合時域和分辨率可伸縮性。以此方式，由于可得到兩級時間可伸縮性的選擇。四級解碼操作能具有兩層分辨率可伸縮性。
這些差異代表了超過MPEG-2空間和時間可伸縮性的顯著改善。不過，這些差異仍然與解碼器芯片相一致，盡管在解碼器中可能需要附加的邏輯以便在如圖9所示的分辨率增加型解碼過程中進行擴展和加法。這種附加邏輯與較低效的MPEG-2空間可伸縮法所需的相一致。
可任選的分辨率增強型層的非MPEG-2編碼。針對分辨率增強型層使用一種不同于MPEG-2的壓縮技術這是可能的。另外，針對分辨率增強型不必使用與基層所用的相同的壓縮技術。例如，當差異層被編碼時，可以使用經運動補償的塊子波來非常有效地匹配和跟蹤細節(jié)。即使由于改變了差異的數量使得子波布局的最有效位置在顯示屏周圍跳動，但在低幅增強型層中也將不會被察覺到。另外，不必覆蓋整個圖象-只需把子波放置在細節(jié)上。該子波可以由圖象中的細節(jié)區(qū)域來引導它們的布局。該布局也可以偏離邊界。
多重分辨率增強型層。按這里正在討論的比特速率，已經成功地證明只有在一個基層(1024×512×72fps)和一個單一分辨率增強型層上，才能以18.5M比特/秒對按每秒72幀的2M像素(2048×1024)進行編碼。不過，從分辨率增強型層編碼的進一步精加工所得到的預先改善的效率應該允許多個分辨率增強型層。例如，可以想象一個按512×256的基層可以被四層分辨-增強成1024×512,1536×768，以及2048×1024。借助現有的MPEG-2編碼按每秒24幀的電影幀頻這是可以實現的。在高頻率諸如每秒72幀的速率，在分辨率增強型層的編碼過程中MPEG-2不能提供有效的效率以允許目前的這些層。
主版制作格式(mastering formats)利用一個處于或接近2048×1024像素的樣板，能夠為各種各樣的釋出制式產生一個單數字活動圖象版格式源。如圖6所示，一個2K×1K樣板可以有效地支持1.85∶1和2.35∶1的共同寬屏幕寬高比。一個2K×1K樣板也可以適應1.33∶1和其它的寬高比。
盡管整數(尤其是2倍)和簡單的分數(3/2或4/3)是在分辨率分層處理中最有效的等級大小，利用任意比例來完成任何所需的分辨率分層也是可以的。不過，利用一個2048×1024樣板，或者接近的樣板，不僅提供一種高質量的數字主版制式，而且從兩倍基層(1K×512)中可提供許多其它常規(guī)的分辨率，包括NTSC、U.S電視標準。
按照更高的分辨率，諸如4K×2K、4K×3K或4K×1K來掃描電影也是可能的。利用任選的分辨率增強，這些較高的分辨率可以從一個接近2K×1K的中心主版制式分辨率中產生。這種針對電影的增強型層將都包括圖象細節(jié)、增益以及其它噪聲源(諸如掃描器噪聲)。由于這種噪聲，在增強型層中壓縮這些非常高分辨率的壓縮技術將需要使用代替MPEG-2型壓縮技術的另外技術。幸運的是，存在其它的壓縮技術，可以用它來壓縮這種噪聲信號，同時在圖象中仍保持所希望的細節(jié)。這種壓縮技術的一個例子是運動補償子波或者運動補償系數(fractals)。
最好，應該按照電影的幀頻產生數字制版格式，如果從現有的電影中(即按照每秒24幀)產生的話。3-2下降和隔行掃描的共同使用將不適合數字電影主版。對于新的數字電子內容，人們希望在不久的將來停止使用60Hz隔行掃描，而代之以與計算機更兼容的幀頻，諸如72Hz，如同這里所建議的一樣。應該按照獲取該圖象的任何頻率來制作數字圖象主版，無論是72Hz、60Hz、36Hz、37.5Hz、50Hz或者其它速率。
作為用于所有電子釋放格式的一個單數字源畫面制式的一個主版制作格式的概念有別于現有的常規(guī)，PAL、NTSC、信箱、掃視-和-掃描、以及其它主版通常全都是由一個電影原版獨立地制作成的。該主版制作格式的使用允許電影和數字/電子節(jié)目都被制作一次，以便釋出各種各樣的分辨率和格式。
組合的分辨率和時域增強型層如上所述，時域和分辨率增強分層兩者可以組合。時域增強型是通過解碼B幀來提供的，分辨率增強型層也有兩個時域層，并因此也含有B幀。
對于24fps電影，最有效并最低成本的解碼器可以只使用P幀，因此存儲器和存儲器帶寬都可最小化，而且通過刪除B幀解碼簡化了解碼器。這樣，根據本發(fā)明，可以利用不具備B幀解碼能力的解碼器對按24fps的電影和按36fps的先進電視進行解碼。如圖3所示，然后可以在P幀之間使用B幀，以產生72Hz的較高時域層，可以由第二解碼器來解碼該B幀。這種解碼器也是簡化的，這是因為只需解碼B幀。
這樣分層方式也可用于增強的分辨率層，它同樣可以只利用24和36fps速率的P幀和I幀。通過在分辨率增強型層內加入B幀解碼，該分辨率增強型層能加入高分辨率的72Hz的全時域速率。
圖10示出有關一個解碼器的組合的分辨率和時域可伸縮性的任選項。這個例子也示出了用于實現本發(fā)明的空間一時間分層的先進電視的一個幾乎18M比特/秒數據流的比例的分配。
在圖10中，一個基層MPEG-21024×512像素數據流(在優(yōu)選實施例中只含有P幀)被送至一個基本分辨率解碼器100。對于P幀需要幾乎5M比特/秒的帶寬。該基本分辨率解碼器100可以按24或36fps解碼。該基本分辨率解碼器100的輸出包括低分辨率、低幀頻圖象(按照24或36Hz的1024×512)。
來自相同數據流的B幀被語法分析出來并供給一個基本分辨率時域增強型層解碼器102。對于這種B幀需要幾乎3M比特/秒的帶寬。該基本分辨率解碼器100的輸出也耦合至時域增強型層解碼器102。該時域增強型層解碼器102能按36fps進行解碼。時域增強型層解碼器102的組合輸出包括低分辨率、高幀頻圖象(按照72Hz的1024×512像素)。
也是在圖10中，一個分辨率增強型層MPEG-22K×1K數據流(在優(yōu)選實施例中只含有P幀)被送至一個基本時域高分辨率增強型層解碼器104。對于該P幀需要幾乎6M比特/秒的帶寬。該基本分辨率解碼器100的輸出也耦合至該高分辨率增強型層解碼器104。該高分辨率增強型層解碼器104能按24或36fps進行解碼。該高分辨率增強型層解碼器104的輸出包括高分辨率、低幀頻圖象(按照24或36Hz的2K×1K像素)。
來自相同數據流的B幀被語法分析出來并供給一個高分辨率時域增強型層解碼器106。對于這樣的B幀需要幾乎4M比特/秒的帶寬。該高分辨率增強型層解碼器104的輸出被耦合至高分辨率時域增強型層解碼器106。時域增強型層解碼器102的輸出也耦合至高分辨率時域增強型層解碼器106。該高分辨率時域增強型層解碼器106能按照36fps進行解碼。該高分辨率時域增強型層解碼器106的組合的輸出包括高分辨率、高幀頻圖象(按照72Hz的2K×1K像素)。
注意由這種可伸縮編碼機理得到的壓縮速率例是非常高的、顯示出極好的壓縮效率。在表5中列出針對圖10中范例的每個時域和可伸縮性任選項的這些速率。這些速率是基于按24比特/像素的源RGB像素的。(如果帶入系數常規(guī)4∶2∶2編碼的16比特/像素或者常規(guī)4∶2∶0編碼的12比特/像素，則壓縮比例將分別為3/4和1/2
表5由兩種因素能夠實現這些高壓縮速率1)高幀頻72Hz圖象的高時域相關性；2)高分辨率2K×1K圖象的高空間相關性；3)分辨率增強技術應用于圖象的重要部分(例如，中心部分)而非不重要部分(例如，幀的邊緣)。
這些因素是通過采用MPEG-2編碼語法強度從本發(fā)明的分層壓縮技術中探索出來的。這些強度包括雙直接內插的關于時域可伸縮性的B幀。通過在基層和增強型層兩者中都使用運動矢量，MPEG-2語法還提供有效的運動表示法(efficent motion representation)。直到高噪聲和快速圖象變化的某個閾值，通過運動壓縮和DCT量化相結合，在增強型層內MPEG-2還能有效地編碼細節(jié)代替噪聲。在這個閾值之上，該數據帶寬被最好地分配給基層。依照本發(fā)明當使用這些機能時它們共同作用以產生很高的效率和有效的編碼，它既是時域性的也是空間性的可伸縮。
當與CCIR601數字視頻的5M比特/秒相比較時，表5中的壓縮速率是相當高的。一個原因是由于隔行掃描而導致的某種相關性的損失。隔行掃描消極地影響預測順序幀和場的能力，還消極地影響垂直相鄰像素之間的關聯。因此，這里描述的，壓縮效率的增長是由于不存在隔行掃描。
由本發(fā)明所實現的大的壓縮速率可以看成是每個MPEG-2宏塊可用來編碼的比特數的透視。如前所述，宏塊是由四個8×8DCT塊、和一個P幀運動矢量以及一個或兩個B幀運動矢量共同組成的一個16×16像素。表6示出關于每層的適合每宏塊的比特。
表6
在增強型層中每個宏塊可用來編碼的比特數少于在基層中的比特數。這是恰如其分的，因為對于基層來說它希望盡可能好的質量。運動矢量需要8比特左右，余下10至25比特給宏塊型碼和所有4個8×8DCT塊的DC和AC系數。這些余下空間只給少數“關鍵的”AC系數。這樣，據統(tǒng)計，每個宏塊可利用的絕大多數信息一定來自一個增強型層的前面的幀。
很容易發(fā)現按照這些壓縮速度的MPEG-2空間可伸縮性之所以無效的原因，是因為沒有足夠的數據空間可用來編碼足夠的DC和AC系數以再現由增強型差異圖象所代表的詳細的高倍頻程。這些倍頻程主要是用15至18水平和垂直AC系數來表示的。因此如果每DCT塊只有少數可利用的比特，則不能獲得這些參數。
這里所描述的系統(tǒng)通過利用來自前面增強型差異幀的運動補償預測來提高它的效率。這對于在時域和分辨率(空間)分層編碼中提供極好的結果是顯著有效的。
適度惡化。這里描述的時域劃分和分辨率劃分技術對于利用一個2K×1K初始源以每秒72幀正常運行的內容來說是很好的。這些技術還很好地處理以24fps運行的以電影為基礎的內容。不過，在高幀頻處，當編碼一個非常象噪聲的圖象時，或者當在一個圖象流內存在大量的散粒中斷(shot cuts)時，增強型層可能會損失有效編碼所必需的幀間相關性。這樣的損失是很容易檢測的，因為一個典型的MPEG-2編碼/解碼器的緩沖-充滿度/速率-控制將試圖將量化器設置為非常近似的設置。當碰到這種情況時，所有的通常用來編碼分辨率增強型層的比特可以被分配給基層，因為為了編碼應力(stressful)內容，基層將需要盡可能多的比特。例如，按照72幀/秒來傳輸約0.5與0.33M像素/秒之間的基層，則結果的像素速率將是24至36M像素/秒?；鶎涌衫玫乃斜忍匾?8.5M比特/秒提供額外的約0.5至0.67M比特/幀，它應該足夠用來很好地編碼，即使針對應力內容。
在絕大多數極端的情況下，即每幀都非常像噪聲和/或每幾幀就發(fā)生中斷的情況下，在基層中適度惡化甚至不必進一步的分辨率損失這是可能的。通過移去B幀編碼時域增強型層就可以達到這種適度惡化，并且因此允許以36fps的基層的、I幀和P幀使用所有可利用的帶寬。這種每個基層幀可使用的增加的數據量是在約1.0與1.5M比特/幀之間(取決于基層的分辨率)。在極端的應力編碼條件作用下，這種適度惡化將仍然以相當高質量的基層分辨率產生相當好的36fps的運動再現速率。不過，如果基層量化器在按36fps約18.5M比特/秒的條件下仍然以一個粗調水平運行的話，則基層幀頻可以動平衡地降至24、18甚至12fps(在1.5和4M比特/幀之間它將是可利用的)即使最病態(tài)的活動圖象型，它應該能夠控制，在這種情況中改變幀頻的方法是現有技術中公知的。
U.S先進電視的當前建議并不允許這些適應惡化的方法，并且因此不能如本發(fā)明的系統(tǒng)那樣在重要內容上很好地工作。
在大多數MPEG-2解碼器中，由輸出緩沖深度來控制自適應的量化級。按照本發(fā)明的分辨率增強型層中所包括的高壓縮比，這種機理可能不會最佳地起作用?？梢允褂酶鞣N各樣的技術來優(yōu)化至最恰當的圖象區(qū)的數據的分配。理論上最簡單的技術是在分辨率增強型層上進行預先(pre-pass)編碼，以便集中統(tǒng)計并找出應該預留的細節(jié)。從預先編碼中得出的結果可以用來設置適合的量化，以便優(yōu)選在分辨率增強型層中的細節(jié)預留。該設置也可以人為地偏置以便在圖象上形成非均勻性，從而使圖象細節(jié)偏置分配至主要屏幕區(qū)，而遠離幀的極邊緣處的宏塊。
除了保留一個按高幀頻的增強型層邊界以外，其它地方不再需要這些調整，這是因為不用這樣的改善現有的解碼器就能很好地起作用。不過，在增強型層編碼器中這些進一步的改善是有一些額外效果的。
總結選擇36Hz做為一個新的共同基礎時域速率看來是最佳的，對這種幀頻的使用的論證表明對于60Hz和72Hz顯示的顯示裝置來說它提供了超出24Hz的顯著改善。利用來自72Hz圖象獲取的隔一幀可以產生36Hz的圖象。它允許36Hz的一個基層(最好利用P幀)與36Hz的一個時域增強型層相合并以實現一個72Hz顯示。
本發(fā)明不局限于72Hz的“未來展望”(future-looking)速率，同時還為60Hz模擬NTSC顯示裝置提供轉換。如果其它的正在討論的“僅僅被動式娛樂”(passive-entertainment-only)(非計算機兼容)60Hz制式被接受，則本發(fā)明還允許為其它60Hz顯示提供轉換。
通過利用一個分辨率增強型層的單獨的MPEG-2圖象數據流，可以實現分辨率可伸縮性。分辨率可伸縮性可以利用B幀趨近于基層分辨率和增強型分辨率層中都提供時域可伸縮性。
這里所描述的發(fā)明具有許多特別需要的特點。
在U.S先進電視進程中所包含的一些方案中已經申明了這些特點，在地面廣播中可獲得的近似18.5M比特/秒的高清晰度分辨率既不能實現分辨率可伸縮性也不能實現時域可伸縮性。不過，本發(fā)明在這種可獲得的數據速率內既能實現時域可伸縮性也能實現空間分辨率可伸縮性。
并且已經申明，在該可獲得的18.5M比特/秒數據速率之內不使用隔行掃描不能實現高幀頻的2M像素。不過，不僅實現分辨率可伸縮性而且實現時域可伸縮性，它能以72幀/秒提供2M像素。
除了提供這些能力以外，特別是與先進電視的目前建議相比，本發(fā)明還非常堅固耐用。當碰到非常重要圖象內容時，通過把大多數的或者所有比特分配至基層使得它成為可能。這種重要內容的特點是既象噪聲又非常快地變化。在這種情況下，肉眼不能看與分辨度的增強層有關的細節(jié)。由于該比特被供給基層，所再現的幀明顯地比先進電視的目前建議更精確，它使用一個單一固定的較高的分辨率。
因此，該發(fā)明的系統(tǒng)使感性和編碼效率都最佳化，同時提供最大的可視反響。這種系統(tǒng)按照多數人已經認為是不可能的一種分辨率和幀頻特性來提供一種非常清楚的圖象?？梢韵嘈旁摪l(fā)明的系統(tǒng)可能會優(yōu)于ACATS所建議的先進電視制式。除了這種可預見的優(yōu)越性能之外，本發(fā)明還提供該相當高價值的時域和分辨率分層特性。
可以用硬件或軟件、或者硬件和軟件兩者相結合的形式來實現該發(fā)明。不過，最好用在可編程計算機上執(zhí)行的計算機程序來實現該發(fā)明，這種可編程計算機的每個包括一個處理器、一個數據存儲系統(tǒng)(包括易失性的和非易失性的存儲器和/或存儲單元)、至少一個輸入裝置以及至少一個輸出裝置。把程序碼加至輸入數據以執(zhí)行這里所描述的功能并產生一個輸出信息。把該輸出信息加至已知類型的一個或多個輸出裝置。
每個程序最好是按可與一個計算機系統(tǒng)通信的一個高級程序或面向目標可編程語言來實現。不過，如果需要，這些程序也可以用匯編或機器語言來實現?？傊?，該語言可以是一種匯編或翻譯語言。
每個這樣的計算機程序最好是存儲在由一種普通的或專用的可編程計算機來讀取的一種存儲介質或裝置上(例如ROM或軟磁盤)，當計算機讀取該存儲介質或裝置以執(zhí)行這里所描述的處理過程時，這樣的計算機程序用于配置和操作該計算機。也可以把該發(fā)明的系統(tǒng)看成是一種計算機可讀存儲介質，配置有一種計算機程序，該存儲介質中如此配置使得一種計算機按照一種特殊并且預定義的方式來操作以執(zhí)行這里描述的功能。
已經描述了本發(fā)明的許多實施例。不過，應該明白在不脫離本發(fā)明的精神和范圍下可以做出各種各樣的變更。例如，當該優(yōu)選實施例使用MPEG-2編碼和解碼時，該發(fā)明將工作在任何能提供B幀、P幀和層的等效物的比較標準下。另外，很小的偏離(小于1Hz)于上述給出的精確的頻率和幀率通常將不會明顯地響應本發(fā)明。因此，應該明白的是，本發(fā)明并不局限于特別示出的實施例，而僅由附加的權利要求書的范圍所局限。
權利要求
1．一種用于獲取和壓縮視頻信息的方法，包括以下步驟(a)按照從近似的36fps、72fps和75fps之中選出的一種初始幀頻，獲取多個幀中的視頻圖象；(b)把該獲取的視頻圖象編碼成一種壓縮的數據流，包括(1)一個基層，包含具有相當低的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選出的一種幀頻的一種已編碼的比特流；(2)可任選地，至少一個時域增強型層，包含具有相當低的分辨率和從近似的60Hz、72Hz和75Hz之中選出的一種幀頻的一種已編碼的比特流；(3)可任選地，至少一個高分辨率增強型層，包含具有相當高的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選出的一種幀頻的一種已編碼的比特流；(4)可任選地，至少一個高分辨率時域增強型層，包含具有相當高的分辨率和從近似的72Hz以及75Hz之中選出的一種幀頻的一種已編碼的比特流。
2．如權利要求2所要求的方法，其中該已壓縮的數據流具有不大于19M比特/秒的比特率。
3．如權利要求1所要求的方法，其中該已壓縮的數據流是利用MPEG-2壓縮方式來編碼的。
4．如權利要求3所要求的方法，其中只利用MPEG-2壓縮P幀來編碼該基層。
5．如權利要求3所要求的方法，其中只利用MPEG-2壓縮B幀來編碼每個時域增強型層。
6．如權利要求3所要求的方法，其中只利用MPEG-2壓縮P幀來編碼每個高分辨率增強型層。
7．如權利要求3所要求的方法，其中只利用MPEG-2壓縮B幀來編碼每個高分辨率時域增強型層。
8．如權利要求1所要求的方法，還包括利用一種2-1-2下降速率從該已壓縮的數據流的基層在近似60Hz提取用于顯示的幀的步驟。
9．如權利要求1所要求的方法，其中該基層具有從近似的640×480像素、近似的720×486像素、近似的704×480像素、近似的680×512像素以及近似的1024×512像素之中選出的一種分辨率。
10．如權利要求1所要求的方法，其中至少一個分辨率增強型層在每個維上具有兩倍于基層的分辨率。
11．如權利要求1所要求的方法，其中至少一個分辨率增強型層增強只在該基層的一個中央區(qū)域中的該基層的像素。
12．一種用于產生用于視頻信息的主制式的方法，包括以下步驟(a)產生一種單一數字源圖象制式，具有近似36Hz的幀頻的基層、當與基層相結合時的近似72Hz的幀頻的時域增強型層以及近似2048×1024像素的分辨率；以及(b)由該單一數字源圖象制式導出所有后續(xù)的顯示格式。
13．一種用于把在一些幀中按照一種初始的幀頻所獲取的視頻信息進行壓縮的裝置，該初始的幀頻是從近似的36fps、72fps和75fps之中選出的，該裝置包括用于把所獲取的視頻幀編碼并輸出成為一種已壓縮的數據流的編碼器，該已壓縮的數據流包括(a)一個基層，包含具有相當低的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選擇出的一個幀頻的已編碼的比特流；(b)可任選地，至少一個時域增強型層，包含具有相當低的分辨率和從近似的60Hz、72Hz以及75Hz之中選擇出的一個幀頻的已編碼的比特流；(c)可任選地，至少一個高分辨率增強型層，包含具有相當高的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選擇出的一個幀頻的已編碼的比特流；(d)可任選地，至少一個高分辨率增強型層，包含具有相當高的分辨率和從近似的72Hz與75Hz之中選擇出的一個幀頻的已編碼的比特流。
14．一種用于把在一些幀中按照一種初始的幀頻來獲取的視頻信息進行壓縮的的計算機程序，該初始的幀頻是從近似的36fps、72fps以及75fps之中選擇出的，在一種可由計算機系統(tǒng)讀取的介質中存儲的該計算機程序，用于當讀取時配置該計算機系統(tǒng)并且由該計算機系統(tǒng)來執(zhí)行以完成以下功能(a)把所獲取的視頻幀編碼成包括以下部分的一種已壓縮的數據流，它包括(1)一個基層，包含具有相當低的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選擇出的一個幀頻的已編碼的比特流；(2)可任選地，至少一個時域增強型層，包含具有相當低的分辨率和從近似的60Hz、72Hz以及75Hz之中選擇出的一個幀頻的已編碼的比特流；(3)可任選地，至少一個高分辨率增強型層，包含具有相當高的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選擇出的一個幀頻的已編碼的比特流；(4)可任選地，至少一個高分辨率時域增強型層，包含具有相當高的分辨率和從近似的72Hz與75Hz之中選擇出的一個幀頻的已編碼的比特流；(b)輸出該已壓縮的數據流。
15．一種計算機可讀取的存儲介質，配置有用于把在一些幀中按照一種初始的幀頻來獲取的視頻信息進行壓縮的一種計算機程序，該初始幀頻是從近似的36fps、72fps和75fps之中選擇出的，在存儲介質中如此配置以使得計算機按照一種特殊的并且預定義的方式進行操作來完成以下功能(a)把所獲取的視頻幀編碼成包括以下部分的一種已壓縮的數據流，它包括(1)一個基層，包含具有相當低的分辨率和從近似的24Hz、36Hz以及37.5之中選擇出的一個幀頻的已編碼的比特流；(2)可任選地、至少一個時域增強型層，包含具有相當低的分辨率和從近似的60Hz、72Hz以及75Hz之中選擇出的一個幀頻的已編碼的比特流；(3)可任選地，至少一個高分辨率增強型層，包含具有相當高的分辨率和從近似的24Hz、36Hz以及37.5Hz之中選擇出的一個幀頻的已編碼的比特流，(4)可任選地，至少一個高分辨率時域增強型層，包含具有相當高的分辨率和從近似的72Hz與75Hz之中選擇出的一個幀頻的已編碼的比特流；(b)輸出該已壓縮的數據流。
全文摘要
一種圖象壓縮的方法和裝置,證明它可以高質量在高幀頻處實現好于1000線分辨率的圖象壓縮、隨后產生一個MPEG－2數據流,它包括:(1)一個基層(100),只用MPEG－2P幀優(yōu)選地編碼,包括一個低分辨率(例如,1024×512像素),低幀頻(24或36Hz)比特流;(2)一個可任選的基礎分辨率時域增強層,只用MPEG－2B幀來編碼,包括一個低分辨率(例如,1024×512像素),高幀頻(72Hz)比特流;(3)一個可任選的基礎時域高分辨率增強型層(104),只用MPEG－2P幀優(yōu)選地編碼,包括高分辨率(例如,2K×1K像素),低幀頻(24或36Hz)比特流;(4)一個可任選的高分辨率時域增強層(106),只用MPGEG－2B幀來編碼,包括高分辨率(例如,2K×1K像素),高幀頻(72Hz)比特流。
文檔編號H04N5/44GK1219255SQ9719321
公開日1999年6月9日 申請日期1997年1月24日 優(yōu)先權日1996年1月30日
發(fā)明者G·E·德莫斯 申請人:德莫格拉夫克斯公司