專利名稱：自動視頻質(zhì)量評價的可縮放客觀度量的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般針對評價視頻質(zhì)量的系統(tǒng)和方法，并且尤其是提供自動評價視頻圖象視頻質(zhì)量的可縮放客觀度量的改進系統(tǒng)和方法。
背景技術(shù)：
視頻專家們一直在尋求新的改進視頻圖象質(zhì)量的算法和方法。主要的目標(biāo)是使獲得感知上最吸引人的視頻圖象成為可能。最終的準(zhǔn)則是“觀看者對所得圖象有多喜歡？”的問題。一種回答該問題的方法是讓一組觀看者觀看某些視頻序列，然后記錄觀看者對有關(guān)所得圖象質(zhì)量的意見。但是，結(jié)果將會根據(jù)觀看組之間的不同而一組一組地有所不同。該問題通常會在依賴人的主觀意見時遇到。該問題的嚴(yán)重性在觀看組由非專家組成時會增加。
只是根據(jù)人的感知和主觀意見的結(jié)果通常要經(jīng)過后續(xù)的統(tǒng)計分析來去除由主觀結(jié)果的非確定性本性所導(dǎo)致的不定性。已經(jīng)建議了線性和非線性啟發(fā)式統(tǒng)計模型來標(biāo)準(zhǔn)化這些類型的主觀結(jié)果，以獲得表示視頻質(zhì)量的優(yōu)良(或下降)的某一品質(zhì)因數(shù)。在這種意義上，測量視頻質(zhì)量的過程稱為“主觀視頻質(zhì)量評估”。
主觀視頻質(zhì)量評估方法給出可視視頻非自然信號的有效指示。但是，主觀視頻質(zhì)量評估方法在本性是隨機的、復(fù)雜的、消耗時間的并且有時難于應(yīng)用。而且，在為觀看組選擇適當(dāng)?shù)挠^看者中存在問題。未訓(xùn)練的觀看者對于新視頻處理方法的適用性將是一個較差的評判者。但是，未訓(xùn)練的觀看者可能準(zhǔn)確地代表了市場中的一般消費者。另一方面，訓(xùn)練過的專家觀看者將過于偏重于檢測普通消費者不會注意的較小缺陷。
為了避免伴隨評價視頻質(zhì)量的主觀方法的缺點，期望使用自動的客觀方法來評價視頻質(zhì)量。自動的客觀方法尋求獲得客觀的品質(zhì)因數(shù)來量化視頻質(zhì)量的優(yōu)良(或下降)。獲得一個或多個視頻質(zhì)量客觀測量的過程必須自動化，以便能夠當(dāng)視頻算法在視頻流中順序出現(xiàn)時快速分析不同類型的視頻算法。
視頻質(zhì)量的客觀測量是完全確定性的。即，重復(fù)測試時結(jié)果將總是相同的(假定保持相同的設(shè)置)。
因為最終的目標(biāo)是向觀看者提供最吸引人的圖象，所以視頻質(zhì)量客觀測量值的最終判斷是客觀測量所具有的、與主觀結(jié)果的相關(guān)程度。統(tǒng)計分析通常被用于將客觀獲得(自動產(chǎn)生)的結(jié)果和主觀獲得(根據(jù)人的意見)的結(jié)果相關(guān)。
本領(lǐng)域需要自動測量視頻質(zhì)量的改進系統(tǒng)和方法。自動測量視頻質(zhì)量的處理稱為“客觀視頻質(zhì)量評估”。
已經(jīng)建議了幾種不同類型的能夠提供客觀視頻質(zhì)量評估的算法。這些算法通常稱為“客觀視頻質(zhì)量模型”。視頻質(zhì)量專家組(VQEG)的報告提出并說明了在十(10)個客觀視頻質(zhì)量模型上執(zhí)行的評價的結(jié)果。報告注明的日期是1999年12月，標(biāo)題是“Final Report from the VideoQuality Experts Group on the Validation of Objective Models ofVideo Quality Assessment(視頻質(zhì)量專家組對視頻質(zhì)量評估的客觀模型確認(rèn)的總結(jié)報告)”。報告目前在萬維網(wǎng)的http//www-ext.crc.ca/VQEG上可以得到。
每種不同的客觀視頻質(zhì)量模型提供各自不同的視頻質(zhì)量測量，稱為“客觀度量”?！半p端”客觀度量是使用第一原始的視頻圖象和第二經(jīng)過處理的視頻圖象來評價視頻質(zhì)量?！半p端”客觀度量比較第一原始的視頻圖象和第二經(jīng)過處理的視頻圖象，通過確定原始視頻圖象中的變化來評價視頻質(zhì)量。“單端”客觀度量是不參考原始視頻圖象來評價視頻質(zhì)量?！皢味恕笨陀^度量對視頻圖象應(yīng)用一種算法來評價它的質(zhì)量。
還沒有發(fā)現(xiàn)一種客觀度量在所有條件下和對于所有視頻非自然信號都優(yōu)于所有其它的客觀度量。每種客觀度量都有自己的優(yōu)點和缺點?？陀^度量在性能上(即，它們的結(jié)果與主觀質(zhì)量評估的結(jié)果的相關(guān)程度)、穩(wěn)定性上(即，它們對不同類型的視頻非自然信號的處理程度)、復(fù)雜性上(即，需要多少計算能力執(zhí)行算法的計算)差別很大。
存在著客觀度量可以應(yīng)用的很大的應(yīng)用范圍。例如，需要快速實時的客觀度量來判斷廣播視頻信號的質(zhì)量。另一方面，越復(fù)雜和可靠的客觀度量越適于判斷非實時視頻仿真的質(zhì)量。
僅使用一種客觀度量(和一種客觀視頻質(zhì)量模型)將視頻信號質(zhì)量的評價限制在了所用的客觀度量能獲得的評價等級上。因此期望對視頻質(zhì)量評價使用多于一種的客觀度量。一種對視頻質(zhì)量評價使用多于一種客觀度量的改進系統(tǒng)和方法已經(jīng)在美國專利申請中公開，申請?zhí)?9/734,823，由Ali等在2000年12月12日提交，標(biāo)題為“System andMethod for Providing a Scalable Dynamic Objective Metric forAutomatic Video Quality Evaluation(提供自動視頻質(zhì)量評價的可縮放動態(tài)客觀度量的系統(tǒng)和方法)”(代理人案號PHUS000384)。
發(fā)明概述本領(lǐng)域中需要合并客觀度量的改進系統(tǒng)和方法，以便形成更有效的視頻質(zhì)量評價的客觀度量。
本發(fā)明一般地包括提供可縮放客觀度量的改進系統(tǒng)和方法，它采用相互依賴的客觀度量來自動評價視頻圖象的視頻質(zhì)量。本發(fā)明由獨立權(quán)利要求來限定。從屬權(quán)利要求限定了有利的實施例。
在本發(fā)明的有利實施例中，本發(fā)明的改進系統(tǒng)包括客觀度量控制器，它能夠從多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)?？陀^度量控制器能夠?qū)ζ谕筒黄谕囊曨l圖象特性都使用客觀度量?？陀^度量控制器還能夠使用多個相互依賴的客觀度量。客觀度量控制器能夠從多個相互依賴的客觀品質(zhì)因數(shù)確定可縮放客觀度量。
在本發(fā)明的有利實施例中，本發(fā)明的改進方法包括步驟在客觀度量控制器中從包括至少一對相互依賴的客觀度量模型單元的多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)，和從該多個客觀度量品質(zhì)因數(shù)確定可縮放客觀度量。
本發(fā)明的主要目的是提供一種用于提供可縮放客觀度量的改進系統(tǒng)和方法，以便使用相互依賴的客觀度量模型單元來自動評價視頻圖象的視頻質(zhì)量。
在有利實施例中，本發(fā)明根據(jù)一相關(guān)因子提供可縮放客觀度量，該相關(guān)因子是從至少一對相互依賴的客觀度量模型單元的相互依賴性數(shù)學(xué)描述而導(dǎo)出的。
在有利實施例中，本發(fā)明根據(jù)一相關(guān)因子提供可縮放客觀度量，該相關(guān)因子是使用采用客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)的神經(jīng)網(wǎng)絡(luò)算法而導(dǎo)出的。
在有利實施例中，本發(fā)明在連續(xù)接收新的視頻圖象時從多個客觀度量品質(zhì)因數(shù)的新值連續(xù)確定可縮放客觀度量的新值。
前面已非常廣地概述了本發(fā)明的特征和技術(shù)優(yōu)點，從而本領(lǐng)域的技術(shù)人員可以更好地理解以下的發(fā)明詳述。構(gòu)成發(fā)明的權(quán)利要求主題的本發(fā)明另外的特征和優(yōu)點將在下文中說明。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)意識到他們可以容易地使用公開的概念和特定實施例作為基礎(chǔ)來修改或設(shè)計其它執(zhí)行本發(fā)明相同目的的結(jié)構(gòu)。本領(lǐng)域的技術(shù)人員還將認(rèn)識到這種相當(dāng)?shù)臉?gòu)造沒有脫離本發(fā)明最廣泛形式的范圍。
在開始發(fā)明詳述以前，提出在整個該專利文件中使用的某些單詞和短語的定義是有利的術(shù)語“包括”和“包含”和其派生詞，意思是沒有限制的包括；術(shù)語“或”，是可兼的，意思是和/或；短語“相關(guān)聯(lián)”和“與之相關(guān)聯(lián)”以及其派生詞，可以意味著包括，被包括在內(nèi)，互相連接，包含，包含在內(nèi)，與或和...連接，與或和...耦合，通信，合作，交錯，并置，接近，被縛于或與...相縛，具有，具有...特性，等等；而術(shù)語“控制器”，“處理器”或“裝置”意思是任何至少控制一種操作的裝置、系統(tǒng)或其部分，這樣的裝置可以由硬件、固件或軟件或它們中至少兩個的某種組合實現(xiàn)。應(yīng)當(dāng)注意，與任何特定控制器相關(guān)聯(lián)的功能性可以是集中或分散的，而不論是本地的還是遠程的。某些單詞和短語的定義被提供在整個該專利文件中，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，在許多，如果不是多數(shù)的實例中，這樣的定義適應(yīng)于這樣定義的單詞和短語的在前和將來的使用。
附圖簡述為了更全面地理解本發(fā)明和其優(yōu)點，現(xiàn)在結(jié)合相應(yīng)附圖參考以下的說明，其中相同的數(shù)字表示相同的對象，并且該圖示出了一個框圖，它舉例說明從視頻流獲得多個客觀度量品質(zhì)因數(shù)的多個客觀度量模型單元，以及一個能夠使用多個客觀度量品質(zhì)因數(shù)來確定可縮放客觀度量的客觀度量控制器。
發(fā)明詳述下面討論的附圖和在該專利文件中提出來說明本發(fā)明改進的系統(tǒng)和方法原理的各種實施例僅是作為舉例說明，而不應(yīng)當(dāng)以任何方式解釋為限制本發(fā)明的范圍。本領(lǐng)域的技術(shù)人員將容易地理解本發(fā)明的原理也可以成功地應(yīng)用在各類評價視頻質(zhì)量的裝置中。
附圖示出了系統(tǒng)100，它用于提供自動視頻質(zhì)量評價的可縮放客觀度量。系統(tǒng)100接收視頻流110。多個客觀度量模型單元(120，130，...，140)中的每個單元都接收視頻流110的視頻信號的副本?？陀^度量模型單元120應(yīng)用第一客觀度量模型(稱為“度量1”)來獲得第一品質(zhì)因數(shù)f(1)，它表示第一客觀度量模型基礎(chǔ)上的視頻信號的質(zhì)量。該第一品質(zhì)因數(shù)f(1)被提供給控制器150。
類似地，客觀度量模型單元130應(yīng)用第二客觀度量模型(稱為“度量2”)來獲得第二品質(zhì)因數(shù)f(2)，它表示第二客觀度量模型基礎(chǔ)上的視頻信號的質(zhì)量。第二品質(zhì)因數(shù)f(2)也被提供給控制器150。以這種方式繼續(xù)，其它的客觀度量模型單元被加入，直到最后的客觀度量模型單元140已經(jīng)加入為止?？陀^度量模型單元140應(yīng)用最后的客觀度量模型(稱為“度量N”)?？陀^度量模型單元(120，130，...，140)獲得多個品質(zhì)因數(shù)(f(1)，f(2)，...，f(N))并將它們提供給控制器150。
品質(zhì)因數(shù)(f(1)，f(2)，...，f(N))通過N個不同的客觀度量來表示視頻流質(zhì)量的一系列N個評價。品質(zhì)因數(shù)(f(1)，f(2)，...，f(N))也可以表示為f(i)，其中i的值從1到N。
如將在下面更詳細說明的，本發(fā)明的系統(tǒng)100提供使用品質(zhì)因數(shù)f(i)計算可縮放客觀度量的系統(tǒng)和方法。字母“F”(圖中所示)表示本發(fā)明的可縮放客觀度量。
本發(fā)明的系統(tǒng)100包括控制器150和存儲器160。控制器150可以包括傳統(tǒng)的微處理器芯片或者專門設(shè)計的硬件。控制器150經(jīng)信號通信線路(

圖1所示)連接到多個客觀度量模型單元(120，130，...，140)?？刂破?50結(jié)合位于存儲器160內(nèi)的操作系統(tǒng)(未示出)一起工作來處理數(shù)據(jù)、存儲數(shù)據(jù)、提取數(shù)據(jù)和輸出數(shù)據(jù)?？刂破?50通過執(zhí)行存儲在存儲器160中的計算機指令來計算可縮放客觀度量“F”。
存儲器160可以包括隨機存取存儲器(RAM)、只讀存儲器(ROM)，或者隨機存取存儲器(RAM)和只讀存儲器(ROM)的組合。在本發(fā)明的有利實施例中，存儲器160可以包括非易失性隨機存取存儲器(RAM)，例如閃存。存儲器160還可以包括大容量存儲數(shù)據(jù)裝置，例如硬盤驅(qū)動器(未示出)或者光盤只讀存儲器(CD-ROM)(未示出)。
注意，本發(fā)明的系統(tǒng)和方法可以在各種類型的視頻處理系統(tǒng)中使用，沒有限制地包括，基于硬盤驅(qū)動的電視機和基于硬盤驅(qū)動的視頻錄象機，例如ReplayTVTM視頻錄象機或TiVOTM視頻錄象機。
控制器150和度量計算算法170一起組成能夠?qū)崿F(xiàn)本發(fā)明的客觀度量控制器。在存儲器160內(nèi)存儲的度量計算算法170中的計算機指令的指示下，控制器150使用品質(zhì)因數(shù)f(i)計算可縮放客觀度量“F”。
控制器150內(nèi)的加權(quán)單元190動態(tài)檢測視頻序列目前出現(xiàn)的特性。目前出現(xiàn)的特性可以包括這樣的特征清晰度，色彩，飽和度，運動，和類似類型的特征。加權(quán)單元190將值(或“加權(quán)”)w(i)指定給每個客觀度量(度量1，度量2，...，度量N)，例如，如果度量1在某個第一類視頻信號上使用時特別好，那么給予w(1)值大于其它w(i)值的值。反過來，如果度量2在同樣的第一類視頻信號上使用時不是很好，那么將給予w(2)值小于其它w(i)值的值。如果存在第二類視頻信號，可能在第二類視頻信號上使用時度量1不如度量2好。在這種情況中，給予w(2)值高于其它w(i)值的值，給予w(1)值低于其它w(i)值的值。
一般來說，加權(quán)單元190選擇的w(i)值將根據(jù)加權(quán)單元190動態(tài)檢測的視頻信號的類型而變化?？刂破?50使用度量計算算法170來計算每個w(i)和f(i)乘積的和S。即，S＝w(1)f(1)+w(2)f(2)+...+w(N)f(N) (1)或 S＝w(i)f(i) (2)其中i的值從1進行到N。
相關(guān)因子r(i)和每個品質(zhì)因數(shù)f(i)相關(guān)聯(lián)。相關(guān)因子r(i)從下面的表達式獲得r(i)＝1-[A(i)/B] (3)其中A(i)＝6[X(i，j)-Y(i，j)]2(4)其中j的值從1進行到n。
并且其中B＝n(n2-1) (5)X(i，j)的值是視頻圖象的一組n個客觀數(shù)據(jù)值的值。Y(i，j)的值是同樣視頻圖象的一組n個主觀數(shù)據(jù)值的值。即，X數(shù)據(jù)點的數(shù)目(n)和Y數(shù)據(jù)點的數(shù)目(n)相同。
值r(i)稱為“槍兵等級(spearman rank)”的相關(guān)因子。值r(i)是客觀X值有多符合主觀Y值的測量。每個品質(zhì)因數(shù)f(i)的相關(guān)因子r(i)的值之前已經(jīng)由統(tǒng)計分析確定，是已知的。相關(guān)因子r(i)的值存儲在存儲器160中的度量參數(shù)查找表180中。
需要可縮放客觀度量“F”的“最佳擬合”值。“F”的“最佳擬合”值表示視頻質(zhì)量的客觀度量測量(自動產(chǎn)生)和視頻質(zhì)量的主觀測量(從人的意見)的最高相關(guān)等級?！癋”的“最佳擬合”值表示視頻質(zhì)量的客觀測量對視頻質(zhì)量的主觀測量的最接近近似值。因為視頻流中的視頻圖象持續(xù)變化，“最佳擬合”將需要持續(xù)自動更新。術(shù)語“動態(tài)”是指本發(fā)明的客觀度量連續(xù)改變它的值以考慮視頻流中的視頻圖象連續(xù)的能力。
如前所述，加權(quán)單元190在視頻序列的特性出現(xiàn)時連續(xù)(即，動態(tài))檢測它們。對于每個相關(guān)因子r(i)，加權(quán)單元190將w(i)的值連續(xù)指定給每個品質(zhì)因數(shù)f(i)。為了動態(tài)獲得“F”的“最佳擬合”值，度量計算算法170為每個r(i)值確定一個能使值S為最大值的w(i)的值。這些值中最大的(即最大值)被選定為可縮放客觀度量“F”。即，F(xiàn)＝Maximum[S(r(1))，S(r(2))，...，S(r(N))](6)因為新的客觀度量模型單元能夠容易地加入(只要它們的相關(guān)因子r(i)能被確定)，所以可縮放客觀度量“F”被稱為可縮放。另外，不再需要的客觀度量模型單元能夠容易地去除。
本發(fā)明的可縮放客觀度量“F”提供很大的靈活性。例如，對于快速(實時)視頻信號，任何復(fù)雜的測量客觀度量可以被斷開，從而它們的品質(zhì)因數(shù)不在度量計算處理中考慮。對于能夠使用更多時間來執(zhí)行度量計算的仿真和視頻鏈優(yōu)化應(yīng)用，則可以接入更復(fù)雜的測量客觀度量，從而它們的品質(zhì)因數(shù)可以在度量計算處理中被考慮。
本發(fā)明的可縮放客觀度量避免了任何單個客觀度量的缺點。這是因為加權(quán)單元190將把低值指定給在出現(xiàn)某組非自然信號時運行不好的任何客觀度量的w(i)。和任何單個客觀度量相比，本發(fā)明的可縮放客觀度量實現(xiàn)了和主觀測量結(jié)果的最高相關(guān)性。本發(fā)明的可縮放客觀度量將至少在所有環(huán)境下和最好的單個客觀度量一樣好。因為可縮放客觀度量允許包括任何客觀度量，所以本發(fā)明的系統(tǒng)和方法不限于使用特定類型的客觀度量(例如，“單端”客觀度量或“雙端”客觀度量)。
注意，如果需要，本發(fā)明已經(jīng)在軟件中實現(xiàn)的元件(例如，加權(quán)單元190)可以在硬件中實現(xiàn)。
如所示，本發(fā)明的系統(tǒng)100還包括神經(jīng)網(wǎng)絡(luò)單元195。在一個實施例中，神經(jīng)網(wǎng)絡(luò)單元195可以位于控制器150內(nèi)。神經(jīng)網(wǎng)絡(luò)單元195的工作將在下面更全面地說明。
本發(fā)明系統(tǒng)的工作方法能夠說明如下。來自視頻流110的視頻圖象被提供給N個客觀度量模型單元(120，130，...，140)。N個客觀度量模型單元(120，130，...，140)評價各個視頻圖象并獲得N個各自的品質(zhì)因數(shù)f(i)。
然后，客觀度量控制器150中的加權(quán)單元190動態(tài)檢測視頻圖象的視頻特性，并將N個加權(quán)w(i)指定給N個品質(zhì)因數(shù)，f(i)。對于每個相關(guān)因子r(i)，客觀度量控制器150計算和S(r(i))，它等于加權(quán)w(i)和品質(zhì)因數(shù)f(i)的各個乘積的和。
然后，客觀度量控制器150選擇和S(r(i))的最大值，它對應(yīng)于視頻質(zhì)量客觀測量和視頻質(zhì)量主觀測量的最佳相關(guān)性。然后客觀度量控制器150將該值指定為可縮放客觀度量“F”的值。然后客觀度量控制器150輸出該“F”值。
在“F”值已經(jīng)輸出以后，要確定客觀度量控制器150是否仍然接收視頻圖象。如果視頻已經(jīng)結(jié)束，那么該過程結(jié)束。如果視頻還沒有結(jié)束并且還有視頻圖象正在被接收，則控制返回到單元120-140執(zhí)行的第一步驟，并且客觀控制器150繼續(xù)以已經(jīng)說明的方式工作。
本發(fā)明已經(jīng)描述為評估計算視頻圖象的視頻質(zhì)量的可縮放客觀度量的系統(tǒng)。應(yīng)當(dāng)理解，本發(fā)明的“可縮放客觀度量”是廣義的情況，它包括作為子集的提供“靜態(tài)客觀度量”的更特定的情況。為了提供“靜態(tài)客觀度量”，本發(fā)明從多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)，為多個客觀度量品質(zhì)因數(shù)中的每一個確定加權(quán)值w(i)，然后在對視頻流110計算客觀度量“F”的處理期間保持加權(quán)值w(i)恒定(即，不變化)。
本發(fā)明還包括一種通過同時使用表示期望的圖象特征的單個客觀度量和表示不期望的圖象特征的單個客觀度量來計算客觀度量“F”的系統(tǒng)和方法。期望的圖象特征的例子是清晰度和對比度。不期望的圖象特征的例子是噪聲、塊狀和混疊。產(chǎn)生良好效果的動態(tài)客觀度量“F”可以通過使用競爭的單個客觀度量來獲得。這就是說，表示期望和不期望圖象特征的單個客觀度量要被合并。
單個客觀度量可以相互依賴。例如，考慮依賴于圖象中噪聲出現(xiàn)的簡單清晰度客觀度量。讓圖象的清晰度由高頻帶BH中的信號功率PH表示。增強圖象清晰度將使該頻帶中的信號功率增加到PH’，其中PH’等于PH加PH中的變化(即，ΔPH)。這可以表示為PH’＝PH+ΔPH(7)
測量到的信號功率是圖象清晰度的一種指示。
向干凈的圖象加上白噪聲也會使信號功率增加為PH”＝PH+NH(8)其中NH是頻帶BH中的噪聲功率。清晰度度量將因此被定義為整個信號功率PH減去測量的噪聲功率NH。清晰度度量相互依賴于噪聲度量。
如果使用不相互依賴的單個客觀度量，那么可縮放客觀度量“F”按方程式(6)來計算。指定給期望特征的加權(quán)因子被給予與指定給不期望特征的加權(quán)因子相反的符號。
如果使用相互依賴的單個客觀度量，那么可縮放客觀度量“F”不必是單個客觀度量值的線性函數(shù)。當(dāng)存在相互依賴的單個客觀度量時，可縮放客觀度量“F”的值可以通過(1)用數(shù)學(xué)方程式描述相互依賴性和(2)將相互依賴性對應(yīng)的圖象和主觀質(zhì)量分?jǐn)?shù)進行相關(guān)來確定。
可選地，可縮放客觀度量“F”的值可以通過使用同時采用客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)的神經(jīng)網(wǎng)絡(luò)算法來確定。在本發(fā)明的這個實施例中，控制器150采用神經(jīng)網(wǎng)絡(luò)單元195從相互依賴的客觀度量的值來計算可縮放客觀度量“F”的值。在一個實施例中，神經(jīng)網(wǎng)絡(luò)單元195位于控制器150內(nèi)。在另一個實施例中，神經(jīng)網(wǎng)絡(luò)單元195可以位于控制器150的外部。
本發(fā)明系統(tǒng)的一種可替換的工作方法能夠說明如下。來自視頻流110的視頻圖象被提供給N個客觀度量模型單元(120，130，...，140)。該N個客觀度量模型單元(120，130，...，140)評價該視頻圖象并獲得N個各自的品質(zhì)因數(shù)f(i)。
然后，客觀度量控制器150中的加權(quán)單元190動態(tài)檢測視頻圖象的視頻特性，并將N個加權(quán)w(i)指定給N個品質(zhì)因數(shù)f(i)。對于獨立的(即，非相互依賴的)客觀度量，客觀度量控制器150使用相關(guān)因子r(i)計算和S(r(i))。和S(r(i))等于加權(quán)w(i)和品質(zhì)因數(shù)f(i)的各個乘積的和。
然后，對于獨立的(即，非相互依賴的)客觀度量，客觀度量控制器150選擇和S(r(i))的最大值，它對應(yīng)于視頻質(zhì)量客觀測量和視頻質(zhì)量主觀測量的最佳相關(guān)性。然后客觀度量控制器150將該值指定為可縮放客觀度量“F”的值。
對于相互依賴的客觀度量，客觀度量控制器150從相互依賴的客觀度量相互依賴性的數(shù)學(xué)描述來計算可縮放客觀度量“F”的值。
客觀度量控制器150然后輸出“F”值?！癋”值已經(jīng)輸出以后，要確定客觀度量控制器150是否仍然接收視頻圖象。如果視頻已經(jīng)結(jié)束，那么該過程結(jié)束。如果視頻還沒有結(jié)束并且還有視頻圖象正在被接收，則控制返回到第一步驟，并且客觀控制器150繼續(xù)以已經(jīng)說明的方式工作。
本發(fā)明系統(tǒng)的另一種工作方法能夠說明如下。來自視頻流110的視頻圖象被提供給N個客觀度量模型單元(120，130，...，140)。N個客觀度量模型單元(120，130，...，140)評價該視頻圖象并獲得N個各自的品質(zhì)因數(shù)f(i)。
對于獨立的或相互依賴的客觀度量，控制器150使用神經(jīng)網(wǎng)絡(luò)單元195從相互依賴的客觀度量的值計算出可縮放客觀度量“F”的值。神經(jīng)網(wǎng)絡(luò)單元195中的神經(jīng)網(wǎng)絡(luò)算法之前已經(jīng)用主觀視頻質(zhì)量分?jǐn)?shù)訓(xùn)練過。
然后，客觀度量控制器150輸出“F”值?！癋”值已經(jīng)輸出以后，要確定客觀度量控制器150是否仍然接收視頻圖象。如果視頻已經(jīng)結(jié)束，那么該過程結(jié)束。如果視頻還沒有結(jié)束并且還有視頻圖象正在被接收，則控制返回到第一步驟，并且客觀控制器150繼續(xù)以已經(jīng)說明的方式工作。
雖然已經(jīng)詳細說明了本發(fā)明，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，他們能夠在其中進行各種改變、取代和替換，而不脫離由獨立權(quán)利要求限定的本發(fā)明最廣泛形式的范圍。在權(quán)利要求中，放置在括號之間的任何參考符號不應(yīng)當(dāng)解釋為限制權(quán)利要求。單詞“包括”不排除除了權(quán)利要求中列出的以外的元件或步驟的存在。元件前的單詞“一個”不排除多個這種元件的存在。本發(fā)明能夠通過包括幾個不同元件的硬件和通過適當(dāng)編程的計算機來實現(xiàn)。在列舉幾個裝置的裝置權(quán)利要求中，這些裝置中的幾個裝置能夠由同一項硬件實現(xiàn)。在相互不同的從屬權(quán)利要求中敘述某些措施的簡單事實不表示這些措施的組不能被有利地使用。
權(quán)利要求
1.一種提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，所述系統(tǒng)包括客觀度量控制器，能夠從多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)，并且能夠從所述多個客觀度量品質(zhì)因數(shù)來確定所述可縮放客觀度量，其中所述多個度量模型單元中至少一對單元是相互依賴的。
2.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述多個客觀度量品質(zhì)因數(shù)的數(shù)目可從二變化到N，這里N是一個整數(shù)。
3.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠從一相關(guān)因子確定所述可縮放客觀度量，所述相關(guān)因子從所述多個度量模型單元的所述至少一對相互依賴單元的相互依賴性的數(shù)學(xué)描述而導(dǎo)出。
4.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠從一相關(guān)因子確定所述可縮放客觀度量，所述相關(guān)因子是使用采用客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)的神經(jīng)網(wǎng)絡(luò)算法而得出的。
5.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，包括加權(quán)單元，通過對每個所述客觀度量品質(zhì)因數(shù)使用相關(guān)因子r(i)，將加權(quán)值指定給多個非相互依賴的客觀度量品質(zhì)因數(shù)的每一個，其中客觀度量品質(zhì)因數(shù)的每個相關(guān)因子r(i)表示客觀度量品質(zhì)因數(shù)對視頻圖象的特性評價的良好程度。
6.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述多個客觀度量模型單元包括至少一個用于期望的視頻圖象特征的客觀度量模型單元和至少一個用于不期望的視頻圖象特征的客觀度量模型單元。
7.如權(quán)利要求5所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器使用所述相互依賴的客觀度量的相互依賴性數(shù)學(xué)描述而從相互依賴的客觀度量計算所述可縮放客觀度量的值F。
8.如權(quán)利要求5所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠計算多個非相互依賴的客觀度量的多個和，其中對于各個所述的相關(guān)因子r(i)，每個和S(r(i))等于加權(quán)值w(i)和品質(zhì)因數(shù)f(i)的每個乘積的和。
9.如權(quán)利要求8所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠通過選擇所述可縮放客觀度量為該多個和S(r(i))的最大值來獲得所述可縮放客觀度量，其中所述最大值表示所述視頻圖象的客觀度量測量和所述視頻圖象的主觀測量的最佳相關(guān)。
10.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠在所述多個客觀度量模型單元連續(xù)接收新視頻圖象時從所述多個客觀品質(zhì)因數(shù)的新值連續(xù)確定所述可縮放客觀度量的新值。
11.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠?qū)⒅辽僖粋€客觀度量加到所述多個客觀品質(zhì)因數(shù)，并且其中所述客觀度量控制器能夠從所述多個客觀品質(zhì)因數(shù)中刪除至少一個客觀度量。
12.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器包括控制器，能夠從多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)f(i)；和包含在與所述控制器耦合的存儲器內(nèi)的度量計算算法，所述度量計算算法包含指令，能夠由所述控制器執(zhí)行來從所述多個客觀度量品質(zhì)因數(shù)f(i)的加權(quán)平均確定所述可縮放客觀度量的值F，其中所述多個客觀度量模型單元中的至少一對單元是相互依賴的。
13.如權(quán)利要求1所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，包括多個客觀度量模型單元，其中所述多個客觀度量模型單元中的至少一對單元是相互依賴的；客觀度量控制器，能夠從所述多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)，其中所述客觀度量控制器能夠從多個非相互依賴的客觀度量品質(zhì)因數(shù)f(i)確定所述可縮放客觀度量的值F，并且能夠從至少兩個相互依賴的客觀度量確定所述可縮放客觀度量的值F，其中所述值F表示一客觀度量，該客觀度量表示視頻質(zhì)量的客觀度量測量和視頻質(zhì)量的主觀測量的最大級相關(guān)。
14.一種提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的方法，包括步驟在客觀度量控制器中從多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)，其中所述多個度量模型單元中的至少一對單元是相互依賴的；和從所述多個客觀度量品質(zhì)因數(shù)確定所述可縮放客觀度量。
15.如權(quán)利要求14所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的方法，進一步包括步驟當(dāng)所述多個客觀度量模型單元接收新視頻圖象時，在所述客觀度量控制器中從所述多個客觀度量模型單元接收所述多個客觀度量品質(zhì)因數(shù)的新值；和從所述多個客觀度量品質(zhì)因數(shù)的所述新值連續(xù)確定所述可縮放客觀度量的新值。
16.如權(quán)利要求14所述的提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的方法，進一步包括步驟為所述多個客觀度量品質(zhì)因數(shù)中的每個品質(zhì)因數(shù)確定加權(quán)值w(i)；保持所述加權(quán)值恒定；和使用所述恒定加權(quán)值來計算所述可縮放客觀度量。
17.一種提供評價視頻圖象視頻質(zhì)量的可縮放客觀度量的方法，包括步驟在客觀度量控制器中從多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)，其中所述多個客觀度量模型單元中的每一個單元是獨立的；和由使用同時采用客觀質(zhì)量源和主觀質(zhì)量源的神經(jīng)網(wǎng)絡(luò)算法得到的相關(guān)因子，從所述多個客觀度量品質(zhì)因數(shù)確定所述可縮放客觀度量。
全文摘要
公開了一種提供自動評價視頻圖象視頻質(zhì)量的可縮放客觀度量的改進系統(tǒng)和方法。該系統(tǒng)包括客觀度量控制器，能夠從多個客觀度量模型單元接收多個客觀度量品質(zhì)因數(shù)。有些客觀度量模型單元是獨立的，有些是相互依賴的。系統(tǒng)從多個客觀度量品質(zhì)因數(shù)確定可縮放客觀度量。該可縮放客觀度量表示視頻圖象的客觀度量測量和視頻圖象的主觀測量的最佳相關(guān)。系統(tǒng)能夠在多個客觀度量模型單元接收新視頻圖象時連續(xù)確定可縮放客觀度量的新值。
文檔編號H04N17/00GK1416651SQ01806282
公開日2003年5月7日 申請日期2001年12月17日 優(yōu)先權(quán)日2001年1月10日
發(fā)明者C·C·A·M·范宗 申請人:皇家菲利浦電子有限公司