專利名稱：處理媒體系統(tǒng)上的媒體信號的制作方法
技術領域：
本發(fā)明涉及一種處理媒體系統(tǒng)上的媒體信號的方法，該方法包括以下步驟-通過算法請求資源以便提供多個輸出質量等級；-給算法分配預算以便允許以多個質量等級中的第一質量等級來操作算法。
本發(fā)明進一步涉及一種用于執(zhí)行上述方法的計算機系統(tǒng)。
本發(fā)明進一步涉及一種用于執(zhí)行上述方法的計算機程序產品。
背景技術：
非在先公開的歐洲申請EP0109691(代理人委托號PHNL010327)描述了一種運行算法的方法和一種諸如VCR、DVD-RW、硬盤之類的系統(tǒng)上的可伸縮可編程處理設備或因特網鏈路上的可伸縮可編程處理設備。申請EP0109691利用資源來設置多個質量等級，并且分配資源的預算。所述方法進一步按優(yōu)化算法的次序來運行該算法，以確保已分配的預算等于所請求的算法的資源。
用于媒體信號處理的算法通常是為特定的或固定的質量等級而設計的，并且已經在其特定環(huán)境的專用硬件上實施了多年。舉例來說，在各種傳統(tǒng)的電視接收器上，將特定的IC組合起來以便執(zhí)行例如用于NTSC或PAL制式系統(tǒng)的彩色解碼、降噪或幀速率上變換。
在軟件模塊這邊，目前的算法是為指定資源上的最高質量而設計的。它們不是可升級的并且具有固定的功能。并行運行的算法數(shù)目是與平臺相關的并且是非常有限的。

發(fā)明內容
所描述的方法涉及到這樣一個問題，即由于現(xiàn)有技術僅僅在特定條件下處理媒體信號以實現(xiàn)預定的質量等級，因而其致力于已構思的目的?，F(xiàn)有技術的方法適用于媒體信號的可預測需求。
所描述的方法進一步涉及了這樣一個問題，即由于資源被共享，因而正在被處理的媒體信號的進度可能過快而導致過低的質量，或者正在被處理的媒體信號的進度可能過慢，也就是對任務或功能的處理沒有及時結束。
因此，有利的是提供一種能夠適應于改變媒體信號需求的方法，并且提供這樣一種方法，該方法本身可以進一步地從改變媒體信號中的要求的過程中得到學習。對于質量等級而言，改變媒體信號的需求可能是不可預測的需要，并且此外媒體信號本身可以變得不能預料地復雜，由此而需要更多的處理能力。
因此，本發(fā)明的一個目的是，提供一種能夠自動地適應于改變媒體信號的需求的方法。
因此，本發(fā)明的另一個目的是，提供一種能夠從先前媒體信號處理中得到學習和自適應的方法和媒體系統(tǒng)。
所述媒體系統(tǒng)可以為智能VCR、機頂盒、TV、個人電腦、存儲器、顯示器和/或可以處理、展示和/或存儲媒體信號的任何其它的電子設備。所述媒體系統(tǒng)還可以是一個能夠在已處理的媒體信號被使用或顯示給媒體系統(tǒng)的用戶以前先內部地處理媒體信號的設備。
所述媒體信號可以為視頻信號、音頻信號、多媒體信號、數(shù)據流或任何其它信號的表示，這些媒體信號都可以在媒體系統(tǒng)中被處理。
所述目的是通過開始段落中所提及的那種類型的方法來實現(xiàn)的，該方法進一步包括以下步驟-確定正在由算法處理的媒體信號的進度；-確定在操作算法期間所使用的預算；和-根據進度、已分配的預算和所使用的預算來設置用于媒體信號處理的第二質量等級。
作為第一步的結果，確定了正在處理的媒體信號的進度。確定媒體信號隨時間處理過程中的某個任務或功能的進展。可以將它確定為已處理的像素的數(shù)目、已處理的音頻分組的數(shù)目等等。
作為第二步的結果，確定了在操作期間使用的預算。它也可以根據處理能力的百分比、存儲單元的數(shù)目、帶寬使用、協(xié)處理器選擇使用等等來加以確定。
作為第三步的結果，可以根據進度、已分配的預算和所使用的預算來設置質量等級。當性能在操作算法期間是已知的時，——也就是，與已分配的預算相比的所使用的預算——該方法可以知道是否已經使用了過多的資源或者是否資源仍然可用。在那個基礎上——由于可以假定較高的質量可能會需要更多的資源，反之亦然——可以根據媒體信號的估計后的性能來設置質量等級。可以普遍地測算出媒體信號的性能，以便也普遍地精調資源使用和質量等級的設置。
通過這三個步驟，媒體信號處理過快或過慢的問題得以解決，這是因為用于處理的資源被最優(yōu)化，以便及時完成任務或功能和/或以便提供最佳的質量等級。
另外，通過這三個步驟，該方法更好地適應于改變媒體信號中的需求。
在權利要求2和3中描述了該方法的其它優(yōu)選實施例。
因此，該方法利用關于媒體信號的處理的歷史信息，來設置用于媒體信號處理的質量等級，也就是該方法可以學習先前處理媒體信號的結果和進一步地適應于這個結果。另外的一個優(yōu)點就是該方法可以由此更加迅速地精調成具有某個期望質量等級的指定媒體信號，這是因為它可以具有和使用與具有在相同或類似等級上獲得的質量的相同或類似媒體信號的相似情況的歷史信息(設置、結果等等)。因此實現(xiàn)了從先前的媒體信號的處理中學習和自適應的目的。
在權利要求4中描述了該方法的另一個優(yōu)選實施例。
當在處理媒體信號的過程中使用了少于已分配的預算時，這意味著空閑資源是可用的，并且這些可以用來增高質量等級，也就是設置更高的質量等級。
在權利要求5中描述了該方法的另一個優(yōu)選實施例。
因此，如果過高預算使用的情況繼續(xù)下去的話，那么預計媒體信號的剩余處理過程中的任務或功能可能不會及時結束。這意味著這些資源可能必須要被釋放和提供，以便及時幫助將要結束的任務或功能。資源的釋放可以通過降低媒體信號處理過程中的一個或多個任務或功能的質量等級來實現(xiàn)。
在權利要求6中描述了該方法的另一個優(yōu)選實施例。
因此，本發(fā)明先前陳述并實現(xiàn)的目的能夠幫助諸如VCR、TV、機頂盒、存儲器和顯示器之類的媒體系統(tǒng)自適應地將資源及時精調成質量和任務或功能的結束。
在權利要求7和8中描述了根據本發(fā)明的計算機系統(tǒng)和計算機程序產品的實施例。


下面結合優(yōu)選實施例并參照附圖，將更加充分地解釋本發(fā)明，在圖中圖1示出算法的基本結構；圖2示出可伸縮算法的詳圖；圖3示出已分配的預算與進度之間的最佳匹配；圖4示出慢進度的示例；圖5示出快進度的示例；圖6示出用于邊緣或銳度增強的算法上的可伸縮功能的示例；圖7示出自適應環(huán)境中的具有進度測算的可伸縮算法的功能性示例；圖8示出具有歷史存儲器的自適應環(huán)境中的具有進度測算的另一個可伸縮算法的功能性示例；圖9示出歷史存儲器的其它用途；和圖10示出處理媒體系統(tǒng)上的媒體信號的方法。
具體實施例方式
圖1示出了算法的基本結構。在該圖中，示出了本發(fā)明的優(yōu)選實施例，媒體系統(tǒng)中的媒體信號(參考標記101)通常可能會經歷改變——也就是由于如在下面的圖中更加詳細解釋的各種技術原因而被變換——成為媒體信號輸出(參考標記103)。該媒體信號可以是經歷上述改變或變換的信號或部分信號。
該媒體系統(tǒng)可以是智能VCR、機頂盒、TV、個人電腦、存儲器、顯示器和/或任何其它可以處理、呈現(xiàn)和/或存儲媒體信號的電子設備。一般而言，該媒體系統(tǒng)可以是能夠在可以使用或向媒體系統(tǒng)的用戶顯示已處理的媒體信號以前先進一步對媒體信號進行內部處理的系統(tǒng)。
‘用于媒體信號處理的算法’塊(參考標記102)對輸入信號(參考標記101)進行處理，并提供交換所需計算資源的許多質量等級。另外，在處理媒體信號信息過程中的進度—也就是‘信號輸入’-處理成‘信號輸出’變化的進度——是可以根據塊質量控制(參考標記104)來訪問的。
QC(參考標記104)，‘質量控制’塊將輸入控制信號轉化為用于‘媒體信號處理的算法’塊中所需的設置。此外，關于各種設置和資源需求的信息例如可以存儲在可外部訪問的‘查找表’或數(shù)據庫中?？梢韵蛲獠吭O備報告進度，所述外部設備可以用于自適應質量/資源控制。至少兩個測算是可以的一方面是進度測算PM(108)，另一方面是管理預算使用測算BU(106)。
可以設置和從質量控制104中檢索出質量等級QL105。
因此，已使用的預算——作為在會計學中公知的術語——可以是已分配的預算的一部分。
可以估計所分配的預算或所述預算，并且可以用必要的可用資源(例如，CPU周期數(shù)、時間)來表示它們，以便執(zhí)行確定的功能或執(zhí)行更多的功能。
相應地，進度測算——可以被視作為所使用的預算——可以用測算出的實際資源使用來表示，例如CPU周期數(shù)、使用時間以及更重要的所看到的和隨時間測算出的媒體信號處理過程中某個任務或功能的進程的計算。某個任務的進程或進度可以是時間緊迫的，這是因為任務的處理結果——如果在緊迫的實時相關媒體系統(tǒng)中被提供過遲的話——則可能具有這一結果要么無用(由于過遲的傳送以致它不能適當?shù)丶傻矫襟w信號中)，要么它可能以不合適的方式影響媒體信號的作用，因為當保持的媒體信號達到過遲的話，則其可能會在接收以及集成此類處理的任務的結果的過程中存在困難。
在當可伸縮算法僅僅能夠測算進度(例如，在諸如像多媒體媒體信號這樣的媒體信號情況下處理的像素、處理的音頻分組數(shù)目)時的情況下，則外部設備可以提供所使用的預算。所使用的預算可以以標準形式來提供。標準形式(即標準化預算)是用于已分配預算的預算比率。需要對進度和已分配預算的認識來計算性能。通過考慮性能值，可以將性能判斷為高或差。當多于已分配預算被使用時，存在性能差的情況。當標準化預算大于一個時也可以這樣來表示。相反地，當少于已分配的預算被使用時，存在高性能的情況。當正?；A算小于一個時也可以這樣來表示。其中若正?；A算等于一個，則剛好已分配的預算被使用，即所使用的預算等于已分配的預算。目前，可以在處理媒體信號期間計算性能。由此，性能可能隨時間變化。
然而，重要的是應當注意所述性能是在處理一個功能的進度或處理多個功能的綜合進度的情況下加以考慮的。一個功能或多個功能的質量測算是另一個方面，并且以更復雜方式與性能相關。在后面的圖中將描述關于設置等質量方面的處理。
可以在可伸縮算法的質量控制單元QC(104)內進行功率計算，或者在外部進行計算。
如果可伸縮算法能夠測算所使用的預算BU(106)(例如，CPU周期數(shù)、使用時間)以及進度PM(108)，那么由于該可伸縮算法自身能夠執(zhí)行測量，因而該可伸縮算法就可能會變得更獨立于外部控制。在不涉及外部處理能力或外部控制的情況下，所述可伸縮算法也許能通過內部的功能精調(fine-tuning)來對已分配預算執(zhí)行自適應。
圖2示出了可伸縮算法的詳圖。同圖1相比，該圖在參考標記202塊中示出了可伸縮算法102的更詳細的圖。該圖示出了本發(fā)明的另一個優(yōu)選實施例，這里參考標記201是媒體信號輸入，而參考標記203是媒體信號輸出。用于媒體信號處理的算法通常可以包括不同的功能，諸如像對應于功能F1至F4的參考標記207至210。雖然僅示出了四個功能，但是也可以在算法中使用別的功能數(shù)目。對于幾種質量等級而言，它們中的一些可能是可伸縮的，但是對于質量而言，其它的一些可能不是可伸縮的。對于將變得可伸縮的功能的需求與將變得不可伸縮的能夠的需求的混合將隨時間變化，或者可能會依將要處理的實際媒體信號而變，例如，MPEG信號可能會由于壓縮、使用的數(shù)據等來改變關于對隨時間的處理能力的需要?？缮炜s算法的輸出結果(媒體信號輸出)可能要取決于功能F1至F4的質量等級的適當組合。
質量等級的控制信號QL(參考標記205)可以同所選的質量等級一樣簡單。塊‘質量控制’QC(參考標記204)本身可以具有關于媒體信號處理算法的特定知識以及為所包含的功能而設置的組合。這種知識可以存儲在查找表或數(shù)據庫中，可以外部訪問所述查找表或數(shù)據庫。
就所使用的預算BU(參考標記206)而言，關于進度或性能的附加信息可以由可伸縮算法內的功能來提供。在對于具有視頻信息的媒體信號的簡單情況下，即視頻處理，僅僅可以計算已處理過的像素、塊、數(shù)據塊或數(shù)據組。該計算可以是功能F1至F4中一個或多個的一部分。通過質量控制塊QC(參考標記204)，可以外部訪問這個信息以計算當前的性能。另一個選擇就是計算參考標記202中所示的可伸縮算法的塊內的性能。作為進度測算的任務耗費的處理時間可以外部加以提供，或者內部加以測算。利用對當前性能的認識，可以進行處理資源的自適應精調以便適應于已分配的預算，其中功能F1至F4的質量等級可以被增高或降低。典型地，對媒體信號的高質量的需要可能需要更多的處理資源，反之亦然。
圖3示出了已分配的預算與進度之間的最佳匹配。該圖示出了經過已分配的一段周期所使用的預算——諸如像圖1或圖2的BU——以便完成任務或功能。在理想的情況下，隨著所述功能任務的完成(P相當于進度軸)，完全地使用了已分配預算(在B軸上)。實際上，性能可能在已分配的周期上變化，并且通常進度要么過慢(如圖4所示)，要么不必要地快(如圖5所示)。
圖4示出了本發(fā)明另一個優(yōu)選實施例中的慢進度的示例。在短進度周期A內，已分配的預算的主要部分都已被使用。繼續(xù)同樣的方式，據預估無法在已分配的預算內實現(xiàn)任務完成。根據整個媒體系統(tǒng)資源，即將要在功能間共享的資源，一個選擇就是為這個任務或功能給予更高的預算。校正性能差的另一種方法就是選擇具有更低資源需求(周期B)的低質量等級，以便保持在已分配的預算之內或者接近于已分配的預算。這是一個只具有一個校正點的示例，但事實上許多個校正點也是可能的。當完成任務或功能時也可以測算性能。對于下一個已分配的周期，可以選擇降低后的新(更低)質量等級，以便達到已分配預算與進度之間的更優(yōu)匹配。
圖5示出了快進度的示例。該圖示出了本發(fā)明的另一個優(yōu)選實施例，其中在周期A中實現(xiàn)了具有小預算使用的高進度或快進度。可預測的是已分配的預算過高并且將不會在同一質量等級(1)上持續(xù)使用它。一種可能性就是可以降低已分配的預算，即，使用更少的資源，借此來為其它任務或功能釋放資源。作為選擇，可以通過轉變成更高的質量等級來實現(xiàn)任務或功能，典型地，由此將使用已分配預算的更多資源。在周期B中，曲線(2)可以描繪出在更高質量等級上的增加后的預算使用。對于下一個已分配的周期，可以選擇新(更高)質量等級來達到已分配預算與進度之間的最佳匹配。
對于圖3至5而言，應當指出的是所述過程可能是一個具有適應于已分配預算與進度之間的相互關匹配的連續(xù)過程。對于視頻處理而言，具有新圖像開始的終止點或開始點可能是適合的。
當將所使用的預算精調成質量等級的設置時，在考慮資源提供情況下伸縮圖1至6的功能和任務的方法可以被視為是一種自適應過程控制方法。
在下面的圖7至10中，應用了自適應過程控制的相同基本思想。
圖6示出了在用于媒體信號中的邊緣或銳度增強的算法上的可伸縮功能的示例，所述媒體信號例如是視頻信號。該圖示出了本發(fā)明的另一個優(yōu)選實施例。這里參考標記601可以是媒體信號輸入，而參考標記603可以是媒體信號輸出。該算法包括具有以下功能的塊FILTER(參考標記602)，它可以是過濾器；NONL功能(參考標記608)，它可以是非線性功能；GAIN(參考標記609)，它可以是增益功能；ADD(參考標記610)，它可以是用于加法器的功能；以及NOISE MEAU(參考標記607)，它可以是用于噪聲測量的功能。通常，諸如像參考標記602、607，608、609或610這樣的功能、甚至是更多適合于本發(fā)明的功能，都可以作為電子電路和/或軟件組件來加以實施。
過濾器(參考標記602)，它可以是一個細節(jié)過濾器，它可以提取高頻成分；這些可以被添加到輸入的視頻信號中，以增加用戶所看到的視頻信號的整體銳度印象。來自于細節(jié)過濾器的大視頻信號振幅可能會導致可能會影響視頻信號的質量的斬波或其它不希望的影響。非線性功能和隨后的增益可以降低這種不希望有的視頻信號的影響。由于來自于高頻率的噪音也可能被增加，因此噪聲測量塊可以依據借助于參考標記707來測量的噪聲級而采用銳度增強。然而，由于諸如像參考標記602、607，608、609或610這樣的每個功能可以單獨伸縮，用于所涉及的功能的所有設置的組合就可能會導致巨大的設計空間，所述巨大的設計空間有相應巨大數(shù)量的特定復雜質量等級要控制。質量可以客觀地通過所示媒體系統(tǒng)內部的可用測算裝置來測算，這導致更多可控制的質量等級組。對于在最低媒體信號干擾情況下的質量等級之間的平滑轉換而言，在特定的處理體系結構上，一些質量等級可能是無用的。除了所描述的媒體信號處理的功能之外，可伸縮算法可以進一步需要用于諸如像圖2中所示的質量控制這類外部控制的裝置。質量控制QC604也可以是用于視頻信號中的邊緣或銳度增強的算法的一部分，比如它可以是具有隸屬(belonging)信號QL和BU(參考標記605和606)的塊(604)，所述隸屬信號QL和BU分別是質量等級和所用BU預算的控制信號。
在本發(fā)明的優(yōu)選實施例中，通常如圖4和5所解釋的隨時間分配各種資源的思想也可以適用于控制這個圖中參考標記602、607，608、609和610)的功能?？梢宰鳛槊襟w系統(tǒng)的一部分而嵌入的控制，可以通過塊‘質量控制’QC(參考標記604)來進行。已設置的和已實現(xiàn)的質量等級以及要使用的資源可能會變化，因為媒體信號的數(shù)據的復雜度和功能可能也會變化，進而數(shù)據的復雜度和功能可能是相關的平臺，例如，不同的媒體系統(tǒng)是以不同的硬件和/或軟件平臺來實現(xiàn)的，并且還要取決于實際的實施方案。因此，質量等級的設置和要使用的資源可能會變化。這個圖的參考標記602、604，607、608，609和610可以在對應每個塊的模塊化設計中實施，因此可以簡化重新設計和升級，并且靈活性和再可用性會增加。
算法相關的屬性和參數(shù)——諸如像先前提及的已設置的質量等級和要使用的資源——可以存儲在查找表或數(shù)據庫中。這種查找表或數(shù)據庫中的可用信息還可以包括如下參數(shù)，諸如像質量等級設置、信噪比、資源需要(CPU周期數(shù)、存儲器、帶寬、協(xié)處理器選擇)等等。
外部控制和/或質量控制可以選擇任何版本的可伸縮算法。更多質量等級的選擇會由于所述可用信息而成為可能。當選擇可伸縮算法的版本時，可能要考慮可用的硬件(CPU、協(xié)處理器等等)。雖然一些質量等級可以提供相同的輸出質量(算法功能)，但是可以使用不同的資源(例如，中央處理器、存儲器、帶寬和協(xié)處理器)。在那種情況下——當可以在不同的質量等級(具有不同的資源使用)中選擇時——可以選擇低質量等級(仍然提供相同的輸出質量)來釋放用于其它功能的資源。
所述塊QC‘質量控制’可以把這種外部質量請求轉化成用于不同功能的不同(質量)設置的組合。來自于功能的反饋可以提供關于視頻信號中已處理的像素-可以是進度的測量-以及所用預算的信息，或是任何其它相關的技術信息，該技術信息有助于支持性能測算。性能測算可以用于自適應地精調嵌入在媒體系統(tǒng)中的實時環(huán)境中的算法。
在圖7至9中，具有相同數(shù)字的參考標記通常具有以下含義。參考標記701可以是媒體信號輸入，相應地，參考標記703可以是媒體信號輸出。參考標記702可以是用于媒體信號處理的算法，參考標記704可以是新引入的塊帶有塊參考標記705、706和707的整個系統(tǒng)控制，其中參考標記705可以是整個系統(tǒng)控制的算法屬性，參考標記706可以是整個系統(tǒng)控制的預算測算(BM)，而參考標記707可以是整個系統(tǒng)控制的質量等級(QL)。P CALC(參考標記708)可以是性能計算，QL ADJ(參考標記709)可以是質量等級調節(jié)，OL SET(參考標記710)可以是質量等級設置，F(xiàn)1(參考標記713)可以是功能F1，標以F2的另一個功能(參考標記714)可以是具有嵌入的參考標記715的功能F2，PM進度測算可以對輸出媒體信號執(zhí)行。
圖7示出了在自適應環(huán)境中具有進度測算的可伸縮算法的功能性示例。這幅圖進一步擴展了上一幅圖中的質量等級的自適應精調。用于媒體信號處理的算法(參考標記702)僅僅包括最低限度需要的部分，兩個可伸縮功能F1和F2，以及最好處于最后的功能F2上的或者在媒體信號輸出上測算的至少一個進度測算(參考標記715)。
整個系統(tǒng)控制(參考標記705)可以通過參考標記710選擇性地請求關于可用質量等級和資源要求的信息，QL SET，塊‘質量等級設置’可以是可伸縮算法的一部分。除了靜態(tài)信息之外，也可以報告當前選擇出的質量等級或設置。利用可用質量等級和資源要求的信息，整個系統(tǒng)控制可以選擇適當?shù)馁|量等級(參考標記707)并相應地分配預算(參考標記706)。
來自于用于媒體信號處理的算法的進度測算PM(參考標記715)可以報告每幅圖像中已處理的像素的數(shù)目，或報告每單位所處理的像素的部分(例如，在媒體信號的圖像處理的情況下，是場或幀)。整個系統(tǒng)控制可以分配預算，并且可以報告已經使用的預算和/或來自于已分配預算的所使用預算的比率，所述預算先前被定義為標準化預算。進度測算和預算測算都是為性能計算P CALC的需要。取決于當前的性能，塊‘質量等級調節(jié)’可以改變預選的質量等級?？梢酝ㄟ^‘質量等級設置’QL SET(參考標記710)來將輸出轉換成媒體信號處理功能F1和/或F2的適當設置。
可以存在進一步的選擇，來在‘用于媒體信號處理的可伸縮算法’(參考標記702)與圖中所示的其余系統(tǒng)之間分配功能。圖中的可伸縮算法的最低限度需要的組件可以是用于媒體信號處理的兩個功能F1、F2，即至少是如下兩個功能最好位于處理鏈末尾處的進度測算PM，該處理鏈可以恰好位于媒體信號輸出前面；以及質量等級設置QL SET。
圖1、2和6中所示的QC‘質量控制’塊還可以包括塊QL SET‘質量等級設置’，作為選擇還可以包括PM‘進度測算’。
圖1、2和6中所示的‘質量控制’塊的第二個選擇還可以包括來自于圖7的‘質量等級調節(jié)’QL ADJ。
來自于圖1、2和6的‘質量控制’塊的第三個選擇可以進一步包括來自于圖7的‘性能計算’PM。
對于‘質量控制’塊而言，圖1、2和6的第四個選擇可以進一步包括‘預算測算’BM。
圖8示出了在具有歷史存儲器的自適應環(huán)境中、具有進度測算的可伸縮算法的另一個功能示例。
同圖7相比，在本發(fā)明的另一個優(yōu)選實施例中，這個圖包括兩個具有參考標記811和812的附加塊。HIST MEM(參考標記811)可以是‘歷史存儲器’，而QL PRE ADJ(參考標記812)可以是‘質量等級預調節(jié)’。
考慮先前媒體信號處理的歷史可以大大地提高可伸縮算法的性能以及媒體系統(tǒng)的性能。先前處理的歷史可以包括已分配的預算、所使用的預算、標準化預算、進度測算、性能、設置質量等級、測算出的質量、和/或在處理期間對改變參數(shù)的需要。先前處理的歷史可以進一步包括關于已實現(xiàn)的質量的成功和/或不成功的參數(shù)設置和/或已分配的預算是否足夠。
歷史信息對于提供質量等級的更少改變、從而導致媒體信號輸出更平滑且更可靠的質量，是有用的。因頻繁的質量等級改變而由媒體系統(tǒng)自身產生的媒體信號的突變錯誤信號，像突變運動顫抖、銳度方面的改變、出現(xiàn)圖像混疊等等，將被大大的減少。另一個優(yōu)點是算法也許能自我調節(jié)或自身精調。利用系統(tǒng)穩(wěn)健性增加的這一優(yōu)點，即使來自于整個系統(tǒng)控制的不良設置也可以自適應性地進行校正。
歷史存儲器HIST MEM可以存儲最后的質量設置，并且功能塊可以將歷史(例如，許多已處理的單元上的平均質量等級)與來自于整個系統(tǒng)控制的已分配的質量等級進行比較。根據差異，所請求的質量等級可以通過這個圖的新特征也就是QL PRE ADJ-質量等級預調節(jié)’(參考標記812)來預調‘。
最終可以連同‘質量等級調節(jié)’塊(參考標記709)中的運行時性能一起來評價預調后的質量等級，換言之，預調后的質量等級(參考標記812)可以比以下的‘質量等級調節(jié)’塊(參考標記709)更少地頻繁改變。
仍然可以存在更多的選擇，以便在‘用于媒體信號處理的可伸縮算法’(參考標記702)與該圖中所示的其余媒體系統(tǒng)之間的分配功能。對于這個圖的可伸縮算法而言，所最低限度需要的組件是用于媒體信號處理的功能至少是最好位于處理鏈末尾處也就是在輸出媒體信號之前的進度測算；以及質量等級設置。
圖1、2和6中的‘質量控制’塊可以包括塊‘質量等級設置’，還可以選擇性地包括‘進度測算’。在這種情況下，歷史存儲器可以包括作為系統(tǒng)控制的一部分的運行時自適應。該圖1的、2和6的可伸縮媒體信號算法也仍可以被視作為是簡單的，因為高級的，適應性處理是在可伸縮媒體信號算法之外被執(zhí)行的。
圖1、2和6中的‘質量控制’塊的其它選擇是還可以包括塊‘質量等級調節(jié)’、‘性能計算’、‘歷史存儲器’、‘質量等級預調節(jié)’和‘預算測算’中的任意一個。盡管所有所提及的塊都被包括在‘質量控制’中了，但是該算法能夠充分地自我調節(jié)其屬性。整個系統(tǒng)控制可以選擇性地從‘質量等級設置’塊中請求關于最后質量等級和質量設置的信息。
對于上述選擇，在圖8中示出了在自適應環(huán)境中帶有進度測算的更高級的可伸縮算法。
圖9示出了歷史存儲器的其它用途。歷史存儲器的使用是本發(fā)明的另一個優(yōu)選實施例。運行時性能(進程、質量等)和已分配的質量等級都可以被存儲起來并且用于質量等級調節(jié)。同圖8相比，在這個圖中已經忽略了塊‘質量等級預調節(jié)’(參考標記812)。當‘性能計算’和‘歷史存儲器’共同被用于確定‘質量等級調節(jié)’時，這可能是一種更加簡捷的方法，并且與圖8中的遞歸循環(huán)相比，這可能會因此而在‘歷史存儲器’與‘質量等級調節(jié)’之間導致媒體系統(tǒng)的更加穩(wěn)健的特性，在媒體系統(tǒng)的不良設計的情況下，這可能會導致交替的質量等級改變(交替的質量等級可以被視為是媒體信號中的干擾)。
通常，所示的功能或任務以及用于處理或計算等等的不同塊都可以作為電子電路和/或軟件組件實現(xiàn)。它可以是如下幾種形式軟件對象、像專用CPU這樣的電路、通用CPU、CPU核心、協(xié)處理器、ASIC、PAL或者使用分立組件。它可以進一步以上述電子電路部件與軟件組件的組合來實現(xiàn)。這同樣也適用于下一幅圖的方法。
圖10示出了處理媒體系統(tǒng)上的媒體信號的方法。
在步驟1000中，這方法開始。這里，不同的變量、參數(shù)、質量等級設置等的初始化都被設置成包含該方法的功能的默認值，該方法通過使用功能的軟件和/或硬件實現(xiàn)在媒體系統(tǒng)上運行。在此開始步驟之后，所述方法前進至步驟1001。
在步驟1001中，按照算法請求資源以便提供多個輸出質量等級。用于媒體信號處理的質量等級可以用來確定以及請求用于媒體信號處理的資源，即可以把質量等級轉換成資源。通常，較高的質量等級就是可以請求更多的資源，反之亦然。可以用所使用的存儲單元的數(shù)目、帶寬使用、處理能力的載荷、對協(xié)處理器選擇或功能調用的需要等等來表示所請求的資源。通常，資源可以被表示成在使用媒體系統(tǒng)的硬件和/或軟件處理能力的功能時的需求。
在步驟1002中，給算法分配預算以便允許以一個質量等級來操作算法。在某種意義上講，步驟1002與步驟1001相似，這是因為在這兩個步驟中，都在使用之前先確定資源。當給算法分配預算以便允許以指定質量等級來操作算法時，在進行處理之前，先確定將以期望的質量等級來處理的媒體信號所需的資源。來自于查找表和/或數(shù)據庫的用于預算的默認數(shù)據可能是有用的。從查找表和/或數(shù)據庫那里，該系統(tǒng)可以具有關于當將以某個質量來處理某個類型的媒體信號時要分配或分派多少資源的一些默認估計。對于所述方法或算法的每一個功能，可以判斷出當為實現(xiàn)所需的質量而正在處理功能時將要使用多少資源和/或哪些資源。媒體信號的資源和/或將要處理的每個功能的資源都可以通過估計媒體系統(tǒng)的CPU能力和/或處理能力的載荷來表示。它可以被判定成可用處理能力的百分比、要使用的存儲單元數(shù)目、帶寬使用、對協(xié)處理器選擇或協(xié)處理器的功能調用的需要，例如，費時的數(shù)學計算、和/或其它對諸如數(shù)字信號處理器之類的媒體系統(tǒng)中可用硬件的需要。舉例來說，為了為良好的模擬-數(shù)字轉換分配或分派預算，也就是為了實現(xiàn)良好轉換的高質量等級，可以在每個樣本中使用許多位，并可能進一步需要高采樣率，借此根據處理速率以及數(shù)據儲存，已分配的預算可能會需要許多的資源。相反地，如果情況是稍微差一點的模擬-數(shù)字轉換就足以的話，那么已分配的預算可能需要更少的資源，這是因為位數(shù)目和/或采樣率都可能會降低。然而，實際所需的資源可能會在幾秒或分數(shù)秒上變化而不是僅根據所需的信號質量，例如，諸如MPEG信號之類的媒體信號可能會由于信號的壓縮特性以及對實時解碼的需要，而需要在能夠及時解碼MPEG信號的幾秒的時間緊迫部分內分配許多資源。正如在上文中提到的那樣，所需的資源可能會隨幾秒而變化，這可能使實際地精確分派或分配預算變得困難。為此，正像按這個方法執(zhí)行那樣，頻繁地對所請求的資源、預算使用及預算分派進行再估計可能是一個好辦法。
在步驟1003中，可以確定處理媒體信號的進度。處理媒體信號的進度可以由測算出的實際資源使用來表示，例如，CPU周期數(shù)計算、在隨時間的媒體信號處理過程中的某個任務或功能的進程所使用的時間。例如，在媒體信號是多媒體媒體信號的情況下，被處理的媒體信號的進度可以被確定為所處理的像素數(shù)目、所處理的音頻分組數(shù)目等。
在步驟1004中，確定在操作期間使用的預算。與步驟1002相反，其中所述預算是在使用之前先被分配或分派給算法的，在步驟1004中，確定實際的預算使用，并且由此可以在步驟1002和1004中考慮基本相同的參數(shù)?？梢詫嶋H的預算使用確定為使用的處理能力的百分比、所使用的存儲單元的數(shù)目、帶寬使用、協(xié)處理器選擇使用和/或協(xié)處理器的功能調用的使用。所有這些使用的測算都可以顯示出使用了多少已分配或分派的預算?；旧希赡軙婕暗絻煞N情況，第一，當所使用的預算大于已分派的預算時，和相反，第二，當已分派的預算高于所使用的預算時。另外，也存在第三種情況，即最佳情況所使用的預算等于已分配的或已分派的預算。
在步驟1005中，根據進度、已分派的預算和所使用的預算，來為媒體信號處理設置質量等級。為了在所使用的預算與已分派的預算之間具有簡單關系，預先定義項性能。所述性能可以作為一種標準化形式的預算來計算。標準化形式即標準化預算是所使用的預算與為連續(xù)過程中的固定周期分配的或分派的預算的比。所使用的預算可以被理解成在處理期間的某種進度狀態(tài)下的資源使用。已分配的預算或已分派的預算都可以被理解成在處理之前將要處理的媒體信號的已確定資源。已分配的預算或已分派的預算也都可以被視作為在處理期間為某種期望的進度狀態(tài)而分配的資源。由于性能是標準化的預算，因此性能是更少單位的值。性能可以高或低。當多于已分配的預算被使用時，存在性能差的情況。也可以這樣來表示它，即標準化預算大于一個。它可能是由于媒體系統(tǒng)的處理能力的載荷高于期望的載荷，或者是由于某一周期內對功能的較高的質量需要；相應地，在另一方面，高性能是當少于已分配的預算被使用、且由此標準化預算少于一個時存在的。目前，可以在處理媒體信號的功能期間計算性能。借此，性能可能會隨時間變化。重要的是要注意可以根據處理功能的進度或處理多個功能的總進度來考慮性能。用于媒體信號處理的質量等級的設置可以進一步基于媒體信號的估計后的性能。通常，當性能高時，可以使用更多資源來提供更好的質量，即可以使用圖7至9中的質量等級調節(jié)塊和質量等級設置來為功能設置更高的質量等級。相應地，當性能低時，可能會由于設置了過高的質量等級，使用太多資源來實現(xiàn)高質量等級。因此，可以強制功能提供低質量的媒體信號輸出，即可以使用圖7至9中的質量等級調節(jié)塊和質量等級設置來為一個或多個功能設置別的低質量等級。值小于一個的媒體信號的性能可以用來增高將要處理的媒體信號的質量等級。換言之，當所使用的預算小于已分派的預算時，將要處理的媒體信號的質量等級增高。相應地，值大于一個的媒體信號的性能可以用來降低將要處理的媒體信號的質量等級。換言之，當所使用的預算大于已分派的預算時，將要處理的媒體信號的質量等級降低。
然而，在質量等級的調節(jié)及其它資源的調節(jié)中可以進一步考慮媒體信號的進度是怎樣的。簡言之，進度可以按照某個任務或功能的進展所使用的時間來表示，而在多媒體媒體信號情況下，所述進度可以由所處理的像素數(shù)目和/或所處理的音頻分組數(shù)目來表示。換言之，所述進度可以確定在所看到的和隨時間測算出的媒體信號處理過程中的某個任務或功能的進展。某個任務的進展或進度可以是時間緊迫的，因為如果提供的過遲的話，處理任務的結果可能具有以下影響，即這個結果可能會因過遲的傳送而無用，或者可能會以不合適的方式影響到媒體信號，這是因為當媒體信號到達過遲時，可能會在接收和集成這種已處理任務的結果的過程中難以保持該媒體信號。換言之，除了調節(jié)質量等級以便精調對預算的資源使用之外，也可以精調所述資源來加速或減速任務或功能的執(zhí)行，以便確保及時達到或不要過早地達到所述進度(即任務或功能的完成)。
在步驟1006中，可以存儲關于媒體信號的處理的歷史信息。關于媒體信號的處理的歷史信息通常可以包括處理媒體信號的先前結果、在處理之前和處理期間的參數(shù)設置、以及所達到的結果。通常，關于媒體信號的處理的歷史信息可以包括已分配的預算、已確定的進度、已使用的預算、已設置的質量等級和已達到的質量等級。此外，所述歷史信息可以包括標準化預算，即性能，和/或在處理期間是否存對改變參數(shù)的需要。關于媒體信號的處理的歷史信息可以進一步包括關于所達到的質量的成功和/或不成功的參數(shù)設置，和/或已分配的或已分派的預算是否足以滿足任務或功能的及時完成。
在步驟1007中，用于媒體信號處理的質量等級的設置可以進一步基于所存儲的歷史信息。步驟1007通?？梢员焕斫獬墒窃O置質量等級的步驟1005的進一步的擴展。由于關于媒體信號的處理的歷史信息可以記錄下已分配的和所使用的預算、進度、性能、質量等級設置、所達到的質量、成功和不成功的參數(shù)等等，所述歷史信息通?？梢员挥糜谘杆俚剡x擇適當?shù)馁|量等級以及用于該方法的功能所充分分配的預算。因此，由于該方法是從近乎最佳的狀態(tài)開始的，因而該方法可能僅僅必須改變幾次質量等級的設置。因此，結果是具有可靠的媒體信號輸出質量的平滑媒體信號。
通常，只要其中運行該方法的媒體系統(tǒng)被加電，則該方法就將再次從步驟1001開始。否則，該方法可以終止于步驟1008，然而，當媒體系統(tǒng)再次被加電時，該方法可以再次從步驟1001開始進行。
當這些步驟目前被連續(xù)執(zhí)行時，該方法可以實時地自適應于變化的媒體信號和改變質量等級需求。因此，所述方法是一種具有進度測算的可伸縮算法，所述進度測算允許質量要求隨著媒體系統(tǒng)上的指定硬件和/或軟件體系結構上的處理資源而進行自適應，它可以支持用于媒體信號處理的不同軟件和/或硬件平臺，它可以容易地受媒體系統(tǒng)的集成式控制設備的控制，所述媒體系統(tǒng)具有幾種重新定義的設置，以作為自適應的良好起點，并且所述方法可以訪問和使用至少一個功能塊的已達到的進度的信息。該方法可以運行于不同領域的媒體處理，比如代表圖像、視頻、圖形、和/或音頻的媒體信號的處理，并且在與所需的處理資源交換的情況下，考慮到不同的質量等級和/或不同的媒體信號，可以在幾種配置結構中設計它。
上文中示出的全部的圖都表示VCR、電視、機頂盒、多媒體PC、存儲器、顯示器和/或其它應用中的媒體信號處理，在其它應用中，可以為媒體信號的變換而執(zhí)行媒體信號處理。
注意通常關于預算而使用的詞“分配”和“分派”含概相同的含義。
計算機可讀的介質可以是磁帶、光盤、數(shù)字視頻盤(DVD)、光盤(CD或CD-ROM)、迷你盤、硬盤、軟盤、智能卡、PCMCIA卡。
權利要求
1.一種處理媒體系統(tǒng)上的媒體信號的方法，該方法包括以下步驟-通過算法請求資源(1001)以便提供多個輸出質量等級；-給算法分配預算(1002)以便允許以多個質量等級中的第一質量等級來操作算法；其特征在于，所述方法還包括以下步驟-確定正在由算法處理的媒體信號的進度(1003)；-確定在操作算法期間所使用的預算(1004)；和-根據進度、已分配的預算和所使用的預算來設置用于媒體信號處理的第二質量等級(1005)。
2.根據權利要求1所述的方法，其特征在于，所述方法還包括以下步驟-存儲關于媒體信號的處理的歷史信息(1006)；以及-進一步根據已存儲的歷史信息(1007)來設置用于媒體信號處理的第二質量等級。
3.根據權利要求2所述的方法，其特征在于已存儲的歷史信息包括已分配的預算、已確定的進度、已使用的預算、第一和第二質量等級中的至少一個。
4.根據權利要求1所述的方法，其特征在于，所述方法進一步包括以下步驟-當所使用的預算小于已分配的預算時，增高將要由算法處理的媒體信號的質量等級。
5.根據權利要求1所述的方法，其特征在于，所述方法還包括以下步驟-當所使用的預算大于已分配的預算時，降低將要由算法處理的媒體信號質量等級。
6.根據權利要求1至5中任何一項所述的方法，其特征在于所述媒體系統(tǒng)是來自于如下組中的一個，所述組包括VCR、TV、機頂盒、存儲器和顯示器。
7.一種用于執(zhí)行根據權利要求1至6中任何一項所述的方法的計算機系統(tǒng)。
8.一種計算機程序產品，其包括存儲在計算機可讀介質上的程序代碼裝置，當在計算機上運行所述計算機程序時，其用于執(zhí)行權利要求1至6中任何一項所述的方法。
全文摘要
一種自適應地處理媒體系統(tǒng)上的媒體信號的方法和系統(tǒng)。所述媒體系統(tǒng)可以是VCR、TV、機頂盒、存儲器或顯示器。所述方法包括以下步驟通過算法請求資源(1001)以便提供多個輸出質量等級；給算法分配預算(1002)，確定媒體信號的進度(1003)，確定所使用的預算(1004)；以及根據進度來設置用于媒體信號處理的質量等級、已分配的預算和所使用的預算(1005)。所述方法還包括以下步驟存儲關于處理的歷史信息(1006)；以及根據已存儲的歷史信息進一步設置用于媒體信號處理的第二質量等級(1007)。所述歷史信息包括已分配的預算、已確定的進度、已使用的預算、已設置和/或達到的質量等級。依據已使用的預算與已分配的預算的比來增高或降低質量等級。
文檔編號H04N5/00GK1695378SQ02824756
公開日2005年11月9日 申請日期2002年12月6日 優(yōu)先權日2001年12月12日
發(fā)明者C·亨特斯徹, C·C·A·M·范佐, M·加布拉尼, R·J·布里, E·F·M·斯特芬斯 申請人:皇家飛利浦電子股份有限公司