專利名稱：視頻序列中模糊的測量的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻服務(wù)質(zhì)量，并且更特別地涉及由于視頻處理引起的視頻序列中的模糊的測量。
背景技術(shù)：
許多不同的因素都影響著數(shù)字視頻序列的視頻質(zhì)量。眾多主觀研究表明，視頻序列中的模糊量是對整體視頻質(zhì)量具有最強(qiáng)烈影響的因素之一。因此，客觀地測量視頻序列中模糊量的能力是視頻質(zhì)量度量的一個(gè)關(guān)鍵因素。編解碼器開發(fā)者或壓縮服務(wù)提供者可以使用此信息來修改壓縮過程，并做出有關(guān)傳送優(yōu)質(zhì)數(shù)字視頻服務(wù)所需要的各種折衷方案的理性決斷。
雖然在模糊識(shí)別方面已經(jīng)進(jìn)行過許多研究，但諸如光譜、雙譜和基于最大似然方案的大部分模糊識(shí)別方案都是在假定均勻模糊的情況下或者是在僅容許存在白高斯噪聲的限制下開發(fā)的。由于用于編碼不同宏塊的不同量化參數(shù)而使從基于塊離散余弦變換(DCT)壓縮中得到的模糊效應(yīng)從一個(gè)塊到另一個(gè)塊可以不同。另外，源于DCT分量量化的噪聲在空間域中并不是獨(dú)立的，而是促成了阻塞錯(cuò)誤和邊緣四周的高頻噪聲。在MPEG和H.263視頻序列中的模糊失真是由于DCT量化而引起的。當(dāng)所述量化完全截?cái)喔哳lDCT系數(shù)時(shí)，在所述視頻序列中會(huì)出現(xiàn)損耗作為模糊。由于量化電平在塊邊界上改變，所導(dǎo)致的模糊以及量化噪聲相應(yīng)地改變。
由Jiuhuai Lu于2001年1月在加利福尼亞州圣何塞市在Proceedings SPIE4301-Machine Vision Applications in Industrial Inspection-題為“Image Analysis forVideo Artifact Estimation and Measurement”的論文中提出了一種單端模糊估算方案。該方案具有若干步驟，包括預(yù)處理步驟以消除產(chǎn)生偽邊緣(spurious edge)的非自然信號(artifact)、估算點(diǎn)選擇步驟以選擇用于模糊估算的適當(dāng)位置、在每一個(gè)所選定的估算點(diǎn)上的模糊估算步驟以及求平均值步驟，以提供基于幀的模糊估算。對于模糊估算，阻塞界限的邊緣可通過簡單的低通濾波來進(jìn)行削減。估算點(diǎn)選擇步驟根據(jù)邊緣強(qiáng)度和連通性來確定一組圖像邊緣點(diǎn)，以消除由于除了壓縮中的量化之外的處理而引起的模糊。最后，使用統(tǒng)計(jì)方法，通過使用如下的邊緣梯度標(biāo)準(zhǔn)提取所選擇的邊緣點(diǎn)上的邊緣輪廓擴(kuò)展(edge profilespread)，從而對圖像模糊的程度進(jìn)行估算1)計(jì)算當(dāng)前估算點(diǎn)上的梯度向量，2)沿著以估算點(diǎn)為中心的梯度向量的兩邊對邊緣圖像e(x，y)進(jìn)行取樣，3)設(shè)置所取樣的邊緣值的數(shù)據(jù)系列，作為該估算點(diǎn)上的邊緣輪廓，4)計(jì)算邊緣輪廓擴(kuò)展。
邊緣輪廓p以正在被估算的點(diǎn)(x，y)為中心并且等間隔隔開。所述邊緣輪廓的自相關(guān)被獲取并被用于獲得邊緣輪廓擴(kuò)展。如果所述邊緣輪廓在計(jì)算自相關(guān)函數(shù)之前具有一傾斜的基線，則校正所述邊緣輪廓。視頻圖像或幀的模糊估算是所有選擇的估算點(diǎn)處的邊緣輪廓擴(kuò)展的平均值。上述公開的技術(shù)是普遍的，并且未提供進(jìn)行精確和堅(jiān)固測量的具體細(xì)節(jié)，并且僅應(yīng)用于單端應(yīng)用，而不適用于雙端的或簡化基準(zhǔn)的應(yīng)用。
因而，需要提供一種用于在視頻序列中測量模糊的精確、堅(jiān)固、可重復(fù)并且在計(jì)算上可行的方法，以便在需要視頻質(zhì)量測量的任何應(yīng)用中使用。

發(fā)明內(nèi)容
因此，本發(fā)明用于通過利用邊緣定義(edge definition)濾波器和邊緣增強(qiáng)濾波器對測試視頻序列進(jìn)行濾波來測量視頻序列中的模糊。所述邊緣定義濾波器的輸出與塊大小信息一起被用于確定所述測試視頻序列的每個(gè)幀內(nèi)那些包含有效圖像邊緣的塊。在合適的時(shí)候消除由于視頻處理而引起的塊邊界邊緣之后，所述邊緣增強(qiáng)濾波器的輸出與塊大小信息一起、與有效的圖像邊緣塊一起用于選擇邊緣點(diǎn)。作為所述邊緣增強(qiáng)濾波器輸出的函數(shù)的所述邊緣點(diǎn)上的有效圖像邊緣的法線(normal)用于估算所述測試視頻序列的每一幀的模糊值。
對于簡化基準(zhǔn)或完整基準(zhǔn)應(yīng)用，從對應(yīng)于所述測試視頻序列的基準(zhǔn)視頻序列中產(chǎn)生一基準(zhǔn)模糊值，所述基準(zhǔn)模糊值在一信號源上產(chǎn)生，并且與所述測試視頻序列一起進(jìn)行傳送，或者在接收機(jī)上與所述測試視頻序列一起產(chǎn)生。將所述基準(zhǔn)模糊值與用于所述測試視頻序列的模糊值進(jìn)行比較，以確定一個(gè)相對模糊值。
從結(jié)合所附加的權(quán)利要求和附圖閱讀的以下的詳細(xì)說明中，本發(fā)明的目的、優(yōu)點(diǎn)以及其他新穎的特征將更加明顯。


附圖1是依照本發(fā)明的單端模糊估算算法的方框圖。
附圖2是說明選擇一個(gè)視頻幀內(nèi)的有效塊以便應(yīng)用依照本發(fā)明的模糊估算算法的圖解圖。
附圖3是說明選擇一個(gè)選定塊內(nèi)的有效邊緣點(diǎn)以便應(yīng)用依照本發(fā)明的模糊估算算法的圖解圖。
附圖4是依照本發(fā)明的雙端模糊估算算法的方框圖。
附圖5是一模糊映射輸出的平面圖，示出了根據(jù)本發(fā)明的模糊幀隨時(shí)間/幀數(shù)目變化的模糊值。
附圖6是一模糊映射輸出的平面圖，示出了根據(jù)本發(fā)明的壓縮幀隨時(shí)間/幀數(shù)目變化的模糊值。
附圖7是依照本發(fā)明獲得的具有引入的增加的模糊非自然信號的兩個(gè)不同視頻序列的單端模糊值的圖解圖。
具體實(shí)施例方式
參照附圖1，對于模糊的單端測量，將測試視頻圖像的亮度分量(Y)輸入至諸如Canny濾波器12的邊緣定義濾波器以及諸如Sobel濾波器14的邊緣增強(qiáng)濾波器。所述Canny濾波器12產(chǎn)生一映射圖，所述映射圖除了邊緣點(diǎn)為1之外，其余所有點(diǎn)均為0。所述Sobel濾波器14提供具有在0和1之間(歸一化)變化的值的邊緣增強(qiáng)。Canny濾波器12的輸出被輸入至檢測器模塊16，用于查找有效“邊緣”塊(即，量化塊或具有真正圖像邊緣的預(yù)定塊)。Sobel濾波器14的輸出被輸入至用于消除與壓縮視頻序列的量化塊相關(guān)的邊緣(即，不是真正圖像邊緣)的塊狀結(jié)構(gòu)(blockiness)消除模塊18。同時(shí)輸入至檢測器模塊16和塊狀結(jié)構(gòu)消除模塊18的是有關(guān)塊大小以及空間校準(zhǔn)(如果需要的話)所要求的任何偏移的信息。檢測器模塊16和塊狀結(jié)構(gòu)消除模塊18的輸出均被輸入至選擇器模塊20，用于選擇有效的圖像邊緣點(diǎn)。塊狀結(jié)構(gòu)消除模塊18的輸出還被輸入至映射生成器22。選擇器模塊20的輸出被輸入至一模糊計(jì)算模塊24，所述模糊計(jì)算模塊提供基于幀或視頻序列或基于二者的模糊值。所述模糊值還被輸入至所述映射生成器22，以產(chǎn)生用于顯示的加權(quán)模糊映射。
基本思想是在一視頻序列的圖像或幀中查找最清晰的邊緣和/或線，然后尋找這些點(diǎn)上的邊緣輪廓，以察看邊緣如何擴(kuò)展，從而給出所述圖像的模糊的指示。這些點(diǎn)上大的擴(kuò)展表明所述幀是極其模糊的，而窄的擴(kuò)展則建議所述圖像是清晰的。亮度幀(Y)和塊狀結(jié)構(gòu)大小以及任意偏移都作為輸入。塊狀結(jié)構(gòu)信息允許在適當(dāng)?shù)臅r(shí)候消除量化塊邊界，以便只使用真正的圖像邊緣，并提供圖像縮放，其中可以找到包含有效圖像邊緣的塊。所述塊狀結(jié)構(gòu)大小以及偏移可以從解碼器中的信息中直接獲得，或通過運(yùn)行如由Bozidar Janko等在1998年9月10日申請的題為“Picture Quality Analysis Using Blockiness”的美國專利申請系列號09/152495中所述的塊狀結(jié)構(gòu)檢測算法來獲得。在視頻序列不包含任何塊狀結(jié)構(gòu)的情況下，即其不利用基于模塊的編碼器進(jìn)行壓縮，則當(dāng)在選擇器模塊16中查找具有有效圖像邊緣的塊時(shí)，躍過塊狀結(jié)構(gòu)消除處理過程并使用默認(rèn)的塊大小。
通過利用從最近鄰域插入的Sobel輸出來替代在塊邊界上的Sobel濾波器14的輸出，可以在塊狀結(jié)構(gòu)消除模塊18中實(shí)現(xiàn)邊緣的消除。包括有效圖像邊緣的塊的檢測使用如附圖2所示的Canny濾波器12的輸出。使用默認(rèn)的塊大小或使用由塊狀結(jié)構(gòu)大小和偏移輸入確定的塊大小，將所述圖像分割為獨(dú)立的塊。如果所述塊邊界周圍從0轉(zhuǎn)換為1的數(shù)目等于2，如附圖2的A所示，則將此塊分類為包含圖像邊緣。含有多于2個(gè)轉(zhuǎn)換的塊例如C上所示有可能是紋理(texture)，并因此對于模糊估算不是十分有用的，而諸如B的含有少于2個(gè)轉(zhuǎn)換的塊有可能是平坦的，同樣不適于模糊估算。
選擇器模塊16中的每一個(gè)有效塊均被如附圖3所示進(jìn)行進(jìn)一步測試，以檢測有效邊緣點(diǎn)，而所述有效邊緣點(diǎn)可以被用于模糊估算。確定每一個(gè)有效塊的“安全”即中心區(qū)域內(nèi)消除塊狀結(jié)構(gòu)的Sobel邊緣映射圖的峰值的位置(x，y)。所述Sobel峰值表示為S(0)。從該點(diǎn)上的Sobel邊緣映射圖的x和y輸出中計(jì)算該點(diǎn)上的邊緣的方向。然后使該邊緣的輪廓垂直于邊緣方向。沿垂直于所述邊緣方向的一直線，利用加權(quán)的四點(diǎn)內(nèi)插法內(nèi)插從Sobel輸出的許多點(diǎn)N(一般在有效點(diǎn)的任何一邊上各有3-4個(gè)點(diǎn))。由于梯度的法線一般并不精確地與整數(shù)像素坐標(biāo)重合，所以該內(nèi)插是必不可少的。值S(-N)……S(N)形成中心在點(diǎn)(O)的邊緣的輪廓。所述邊緣輪廓通過如下所述進(jìn)行歸一化以產(chǎn)生SnormSfalt(n)＝S(-N)+(n+N)*(S(N)-S(-N))/(2N)Snorm(n)＝max
其中，k為一常數(shù)，被設(shè)置以消除非常小的邊緣，即，k＝0.2，并且n的范圍為-N至N。
需要一種確定Snorm擴(kuò)展的客觀方法。對于給出Rnorm的Snorm上的自相關(guān)成功操作。調(diào)節(jié)該自相關(guān)Rnorm，以使其系數(shù)之和等于1。然后通過加權(quán)系數(shù)Rnorm計(jì)算擴(kuò)展Sp，所述系數(shù)Rnorm與它們離開加權(quán)的中心位置Pprod的距離的平方成比例。
Pprod＝sum[nRnorm(n)]Sp＝sum[(n-Pprod)2Rnorm(n)]其中，n的范圍為-N到N。以這種方式為所述圖像中的每一個(gè)有效點(diǎn)確定擴(kuò)展的測量。Sp的高值指示高擴(kuò)展的邊緣，并因此具有較強(qiáng)的模糊，而擴(kuò)展的低值指示非常清晰的邊緣。對于給定的N值來說，可以計(jì)算理論上的擴(kuò)展的最大級別。這允許以基于最大可能的模糊的單元來表示所述模糊，這由于其允許不同邊緣和不同景象的有意義的比較而是非常有用的。
為了計(jì)算整個(gè)圖像或幀的模糊值，采用Sp值的直方圖，并且使用Pth最高百分比來表示所述圖像或幀的模糊的平均數(shù)量。P＝40-50％的值會(huì)產(chǎn)生好的結(jié)果。
也可以計(jì)算整個(gè)視頻序列或所述視頻序列的一個(gè)特定區(qū)域的模糊值。幀模糊值的平均值提供序列模糊的較好的指示。也可以使用其他更復(fù)雜的方法，例如Minkowski求和或極小-極大計(jì)算方法。
像輸出每一幀的模糊值一樣，還提供一模糊映射圖。所述模糊映射圖指出在所述圖像中所述模糊最可視的區(qū)域。所述模糊映射圖也可通過如下方式得到，即利用幀模糊測量來加權(quán)消除塊狀結(jié)構(gòu)的Sobel映射圖。根據(jù)映射圖被運(yùn)用的應(yīng)用，可以使用線性加權(quán)或非線性加權(quán)。如附圖5所示，對于未壓縮視頻序列中的模糊，已成功測試線性加權(quán)。附圖6是壓縮視頻圖像中的模糊的相應(yīng)視圖。附圖5和6在其上方示出了基準(zhǔn)和測試視頻圖像，在左下方示出了隨時(shí)間/幀數(shù)目變化的模糊值，并且在右下方示出了具有有效邊緣點(diǎn)的模糊映射圖。非線性加權(quán)可以以許多方式來實(shí)現(xiàn)，例如，通過利用非線性“S”曲線或通過基于每一個(gè)有效點(diǎn)上的邊緣的估算強(qiáng)度在所述有效點(diǎn)附近執(zhí)行局部加權(quán)來實(shí)現(xiàn)。
減少的基準(zhǔn)模糊測量以與上述的單端模糊測量極為相似的方式工作。有可能使用不同的頻道或視頻頭，利用測試幀傳送得到的模糊值，計(jì)算基準(zhǔn)幀的單端模糊。在接收機(jī)上，對測試幀執(zhí)行單端測量，以產(chǎn)生測試模糊值。將所述測試模糊值與基準(zhǔn)模糊值進(jìn)行比較，以確定在所述測試幀中引入的模糊量。再一次，線性和非線性方法兩者都可以用于執(zhí)行這一比較。對于基準(zhǔn)和測試模糊值的簡單相減可以提供較好的結(jié)果。
在執(zhí)行雙端模糊測量時(shí)，可以進(jìn)行一些細(xì)微的修改，如附圖4所示。在其最簡單的形式中，可以通過對基準(zhǔn)視頻和測試視頻執(zhí)行獨(dú)立的單端測量，并且然后比較這些結(jié)果，可以進(jìn)行雙端測量。一種可供選擇的方案是僅利用基準(zhǔn)視頻來執(zhí)行Canny濾波和有效邊緣模塊選擇。該方案提供了計(jì)算上以及可能的精確度方面的提高。還可以進(jìn)行進(jìn)一步的修改，諸如在模糊估算之前，對于基準(zhǔn)和測試幀使用相同的有效邊緣點(diǎn)。由于雙端測量提供所述基準(zhǔn)和測試視頻之間的模糊的相對估算，所以該方案對于不同類型的視頻一般更為一致，這是因?yàn)槠洳⒉缓退鰡味朔椒ㄒ粯邮窃匆蕾嚨摹?br> 因此，如附圖4所示，基準(zhǔn)亮度幀(Y_ref)被輸入至Canny濾波器12，同時(shí)測試或削弱的亮度幀(Y_imp)被輸入至所述Sobel濾波器14a。通過選擇器模塊16進(jìn)行的有效圖像邊緣塊的選擇利用Y_ref和所述塊狀結(jié)構(gòu)大小以及偏移信息來確定，同時(shí)利用Y_imp和塊狀結(jié)構(gòu)大小以及偏移信息來確定塊狀結(jié)構(gòu)消除模塊18的削弱的Sobel邊緣映射圖。對于Y_ref和Y_imp，如同在單端方案中一樣，計(jì)算有效邊緣點(diǎn)的確定、幀模糊估算和加權(quán)的模糊映射圖，而從Sobel濾波器14輸出的Y_ref旁通塊狀結(jié)構(gòu)消除模塊18，如虛線所示。所增加的是一個(gè)比較模塊26，所述比較模塊26比較基準(zhǔn)模糊值與削弱的模糊值，以確定一相對模糊估算。利用雙端方案，計(jì)算藝術(shù)模糊(artistic blurring)，使得只對由于產(chǎn)生削減的視頻的基準(zhǔn)視頻的視頻處理而引起的不期望的模糊進(jìn)行測量。
最后，附圖7示出了當(dāng)對于兩個(gè)不同的視頻序列隨時(shí)間/幀周期逐漸引入模糊時(shí)利用本發(fā)明所產(chǎn)生的結(jié)果。
因而，本發(fā)明提供對于視頻序列的模糊測量，通過在圖象中選擇具有基于所述視頻序列的Canny濾波輸出的有效邊緣的塊并使用Sobel濾波器從所述視頻序列中消除塊邊界、通過選擇中心位于所選擇的有效邊緣塊內(nèi)的有效邊緣點(diǎn)、通過估算垂直于所述邊緣的擴(kuò)展、而且通過根據(jù)所估算擴(kuò)展的直方圖確定所述圖像或序列或序列一部分的平均值來進(jìn)行所述模糊測量。也從利用模糊估算加權(quán)的塊邊界校正的Sobel輸出中生成模糊映射圖。
權(quán)利要求
1.一種估算模糊的方法，其中由于測試視頻序列中的視頻處理而引起所述模糊，所述方法包括如下步驟檢測所述測試視頻序列的每一幀內(nèi)具有有效圖像邊緣的塊；根據(jù)沒有視頻處理引起的塊邊界邊緣的所述測試視頻序列的邊緣增強(qiáng)版本，選擇中心位于每個(gè)檢測塊內(nèi)的邊緣點(diǎn)；以及根據(jù)在所述邊緣點(diǎn)上的所述有效圖像邊緣的法線，估算所述測試視頻序列的模糊值。
2.如權(quán)利要求1所述的方法，其中所述檢測步驟包括如下步驟濾波所述測試視頻序列的每一幀，以產(chǎn)生濾波的輸出，所述濾波的輸出在每一幀內(nèi)的每一個(gè)象素位置上具有0或1，其中1識(shí)別邊緣；以及根據(jù)所述濾波的輸出和塊大小值，識(shí)別每一幀內(nèi)具有有效圖象邊緣的塊。
3.如權(quán)利要求2所述的方法，其中所述識(shí)別步驟包括如下步驟計(jì)算每一塊的周邊四周從0到1轉(zhuǎn)換的數(shù)目；以及根據(jù)每一塊的所述數(shù)目確定所述塊是否具有有效邊緣。
4.如權(quán)利要求1所述的方法，進(jìn)一步包括從沒有視頻處理引起的塊邊界邊緣的所述測試視頻序列的邊緣增強(qiáng)版本和所述模糊值中生成一個(gè)模糊映射圖的步驟。
5.如權(quán)利要求1所述的方法，其中所述檢測步驟包括如下步驟濾波對應(yīng)于所述測試視頻序列的基準(zhǔn)視頻序列的每一幀，以產(chǎn)生濾波的輸出，所述濾波的輸出在每一幀內(nèi)的每一個(gè)象素位置上具有0或1，其中所述1識(shí)別邊緣；以及根據(jù)所述濾波的輸出和塊大小，識(shí)別每一幀內(nèi)具有有效圖象邊緣的塊；以及應(yīng)用所述基準(zhǔn)視頻序列的所述檢測塊，作為所述測試視頻序列的檢測塊。
6.如權(quán)利要求5所述的方法，進(jìn)一步包括比較步驟，比較所述模糊值和與所述測試視頻序列一起發(fā)送的基準(zhǔn)視頻序列的基準(zhǔn)模糊值，以獲得所述測試視頻序列的一個(gè)相對模糊值。
7.如權(quán)利要求1所述的方法，進(jìn)一步包括比較步驟，比較所述模糊值和與所述測試視頻序列一起發(fā)送的基準(zhǔn)視頻序列的基準(zhǔn)模糊值，以獲得所述測試視頻序列的一個(gè)相對模糊值。
8.如權(quán)利要求1所述的方法，進(jìn)一步包括如下步驟對于對應(yīng)于所述測試視頻序列的基準(zhǔn)視頻序列，重復(fù)所述檢測步驟、所述選擇步驟和所述估算步驟，以產(chǎn)生一個(gè)基準(zhǔn)模糊值；以及比較所述模糊值與所述基準(zhǔn)模糊值，從而對于所述測試視頻序列獲得一個(gè)相對模糊值。
全文摘要
一種用于確定由于視頻處理引起的測試視頻序列中的模糊的方法，包括檢測所述測試視頻序列的每一幀中具有有效圖像邊緣的塊。選擇在每一個(gè)有效圖像邊緣塊內(nèi)的邊緣點(diǎn)，并且從增強(qiáng)的邊緣映射圖中定義沿垂直于每一個(gè)邊緣點(diǎn)上的有效圖像邊緣的直線的一系列點(diǎn)，這一系列點(diǎn)定義所述塊中的邊緣輪廓，所述增強(qiáng)的邊緣映射圖中已消除了視頻處理塊狀結(jié)構(gòu)非自然信號。從所述邊緣輪廓中，估算所述測試視頻序列內(nèi)的每一個(gè)幀或每組幀的模糊值。另外，可以從基準(zhǔn)視頻序列中導(dǎo)出基準(zhǔn)模糊值，所述基準(zhǔn)視頻序列對應(yīng)于所述測試視頻序列，所述基準(zhǔn)模糊值可以在所述基準(zhǔn)視頻序列的源上產(chǎn)生，并且與所述測試視頻序列一起傳送至一個(gè)接收機(jī)，或者也可以在所述接收機(jī)上產(chǎn)生所述基準(zhǔn)模糊值。然后，比較所述基準(zhǔn)模糊值和所述測試視頻序列的所述模糊值，從而產(chǎn)生所述測試視頻序列的一個(gè)相對模糊值。
文檔編號H04N7/26GK1487749SQ0315551
公開日2004年4月7日 申請日期2003年7月18日 優(yōu)先權(quán)日2002年7月18日
發(fā)明者B·李, W·M·奧斯博格, B 李, 奧斯博格 申請人:特克特朗尼克公司