專利名稱：：基于視覺關(guān)注度的視頻編碼方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及到一種基于視覺關(guān)注度的視頻編碼方法。特別是與現(xiàn)有方法截然不同的是將人眼視覺關(guān)注度融入到視頻編碼中。
背景技術(shù)：
：ITU-T和ISO聯(lián)合推出視頻編碼的新標(biāo)準(zhǔn)H.264/AVC。H.264/AVC采用和發(fā)展了近幾年視頻編碼方面的先進(jìn)技術(shù)，以較高編碼效率和網(wǎng)絡(luò)友好性而著稱。但它仍基于以前視頻編碼標(biāo)準(zhǔn)的運(yùn)動補(bǔ)償混合編碼方案，主要不同有增強(qiáng)的運(yùn)動預(yù)測能力；準(zhǔn)確匹配的較小塊變換；自適應(yīng)環(huán)內(nèi)濾波器；增強(qiáng)的熵編碼。測試結(jié)果表明這些新特征使編碼效率比以前的標(biāo)準(zhǔn)約提高50%。然而，隨著各種壓縮編碼技術(shù)的日趨完善和成熟，壓縮效率己達(dá)到較高水平，壓縮比很難有較大的提高。視頻編碼中量化能提高壓縮效率的同時(shí)，也必然造成圖像的失真。視頻編碼的失真是由量化參數(shù)選取不當(dāng)或量化矩陣不合適造成的。HVS特性是選擇量化參數(shù)QP時(shí)需要考慮的一個(gè)關(guān)鍵的因素。近年來，國內(nèi)外研究學(xué)者逐漸將HVS特性應(yīng)用到視頻編碼算法中，一些學(xué)者提出了基于對象的視頻編碼方法，降低關(guān)注對象的量化參數(shù)，改善關(guān)注對象的質(zhì)量，從而提高視頻的主觀質(zhì)量。這類方法存在的問題需要對視頻關(guān)注對象進(jìn)行分割，在編碼器中引入了大量計(jì)算復(fù)雜度，很難應(yīng)用在實(shí)時(shí)性要求高的場合。由于人眼對于動態(tài)區(qū)域更敏感，在相同的MSE的條件下，人眼對于動態(tài)區(qū)域的失真敏感度比靜態(tài)區(qū)域高，在動態(tài)區(qū)域和靜態(tài)區(qū)域共存于一副圖像中時(shí)，人眼對于動態(tài)區(qū)域的敏感度更高。同時(shí)，人眼對圖像中心區(qū)域更為關(guān)注。根據(jù)上述理論，一些學(xué)者對圖像質(zhì)量的評測標(biāo)準(zhǔn)MSE和PSNR進(jìn)行修正，主要思路是對于人眼敏感的區(qū)域中的宏塊，通過對MSE加權(quán)，使得帶加權(quán)系數(shù)的MSE大于客觀評測標(biāo)準(zhǔn)，而對于人眼不敏感的區(qū)域中的宏塊，則做相反的修改。同時(shí)對失真模型中失真權(quán)數(shù)進(jìn)行修改，利用Lagrange求解帶感知權(quán)數(shù)的最優(yōu)量化步長，最終形成低時(shí)延視頻通信的可感知碼率控制算法。實(shí)驗(yàn)結(jié)果表明上述基于視覺特性改進(jìn)的碼率控制算法在幾乎相同的碼率下可以獲得更高的感知PSNR。但是，對于動態(tài)區(qū)域以及中心區(qū)域的提取沒有給出合適的算法。同時(shí)，對于失真模型以及MSE的加權(quán)系數(shù)沒有給出合理的計(jì)算方法。而前者是整個(gè)算法實(shí)現(xiàn)的基礎(chǔ)，后者關(guān)系到整個(gè)算法的精確程度。另外一些文獻(xiàn)利用人臉檢測算法和空域頻域Foveation加權(quán)模型進(jìn)行視覺注意點(diǎn)的選擇，并實(shí)現(xiàn)了分級編碼。該類算法需引入人臉檢測，增加了編碼器復(fù)雜度，且僅針對某一類視頻，普適性差。近來還有一些文獻(xiàn)根據(jù)宏塊的亮度特性、顏色分布特性、時(shí)域活動特性以及目標(biāo)大小等人眼的感興趣區(qū)域，結(jié)合分析鏡頭運(yùn)動為區(qū)域中的不同宏塊確定不同的視覺重要性，以此為基礎(chǔ)確定各個(gè)宏塊總的自適應(yīng)量化加權(quán)系數(shù)。這些算法首先根據(jù)序列復(fù)雜性分析確定幀級量化參數(shù)，然后利用各個(gè)宏塊總的自適應(yīng)量化加權(quán)系數(shù)進(jìn)行迭代算法調(diào)整并獲得宏塊的實(shí)際量化參數(shù)。從而實(shí)現(xiàn)與MPEG-2語法一致的非實(shí)時(shí)應(yīng)用下的感知碼率控制算法。然而，上述方法也存在以下不足之處首先，在編碼前要得到編碼幀各個(gè)宏塊的運(yùn)動矢量，必須要對當(dāng)前幀進(jìn)行預(yù)先編碼，會在原有的編碼器中引入一倍的計(jì)算量。其次，運(yùn)動有全局運(yùn)動和局部運(yùn)動，全局運(yùn)動為非關(guān)注區(qū)域，局部運(yùn)動為關(guān)注區(qū)域，上述方法中并沒有提出一個(gè)有效策略區(qū)分全局運(yùn)動(背景運(yùn)動)和局部運(yùn)動，將非關(guān)注背景區(qū)域誤認(rèn)為關(guān)注區(qū)域處理。再次，這類算法根據(jù)匹配估計(jì)的運(yùn)動矢量場分析鏡頭運(yùn)動、確定運(yùn)動目標(biāo)的分割。然而，塊匹配運(yùn)動估計(jì)算法是以最優(yōu)率失真性能為目標(biāo)，塊匹配的運(yùn)動向量場與實(shí)際運(yùn)動存在偏差。運(yùn)動向量場的準(zhǔn)確性對于HVS的時(shí)間掩蓋效應(yīng)和視覺興趣性有重要影響。從上述國內(nèi)外研究現(xiàn)狀分析可以發(fā)現(xiàn)，基于HVS模型的高效視頻編碼算法在國際上尚處在不成熟階段。國內(nèi)外現(xiàn)有的研究結(jié)果可以啟示我們，現(xiàn)有的應(yīng)用于視頻編碼的視覺特性只是模型中的某部分或只針對某一特定的對象(人臉或者皮膚)，而且大部分算法在確定感知的加權(quán)系數(shù)時(shí)是根據(jù)幾個(gè)序列的經(jīng)驗(yàn)值，這些值的選取不具有普遍的意義。如果不將這些宏觀的特性統(tǒng)一到一個(gè)較完整的感知模型下，所進(jìn)行的感知編碼算法只能是部分地反映人類視覺感知系統(tǒng)的局部特征。同時(shí)，上述大部分算法在確定感興趣區(qū)域需耗費(fèi)相當(dāng)大的計(jì)算量，如視頻對象的分割、人臉區(qū)域的檢測和局部運(yùn)動區(qū)域的提取，很難在實(shí)時(shí)性要求比較高的場合下應(yīng)用。
發(fā)明內(nèi)容本發(fā)明的目的是提供一種基于視覺關(guān)注度的視頻編碼方法，在計(jì)算量增加不大的同時(shí)，可顯著提高編碼效率，且能改善視覺編碼的主觀質(zhì)量。為達(dá)到上述發(fā)明目的，本發(fā)明構(gòu)思如附圖1所示，首先，檢測宏塊的局部運(yùn)動度，由宏塊的局部運(yùn)動度，快速分割局部運(yùn)動宏塊。接著，檢測宏塊的邊緣強(qiáng)度和紋理活動度，由宏塊邊緣強(qiáng)度和紋理活動度，快速分割邊緣、平滑和紋理宏塊。最后，根據(jù)人眼視覺關(guān)注度的不同，調(diào)節(jié)不同類型宏塊的量化參數(shù)。本發(fā)明可以提高關(guān)注區(qū)域的信噪比，降低非關(guān)注以及能夠掩蓋更多失真的區(qū)域的信噪比，從而可以在降低碼流比特率的同時(shí)，改善圖像的主觀質(zhì)量。運(yùn)動對我們的視覺注意力影響最大。我們的視覺注意力會不由自主地被吸引到與周圍環(huán)境發(fā)生了運(yùn)動的區(qū)域。運(yùn)動分為全局運(yùn)動和局部運(yùn)動，全局運(yùn)動為人眼視覺非關(guān)注區(qū)域，局部運(yùn)動為人眼視覺關(guān)注區(qū)域。時(shí)間域掩蓋效應(yīng)又表明，人眼對快速運(yùn)動目標(biāo)的細(xì)節(jié)分辨率會低于靜止的目標(biāo)。但是在平滑跟蹤眼睛移動效應(yīng)(SPEM)作用下，人眼對視頻中運(yùn)動區(qū)域的噪聲和視覺模糊的靈敏度會相對提高。當(dāng)觀察者的眼睛跟蹤感興趣的平滑運(yùn)動目標(biāo)時(shí)，SPEM效應(yīng)會改變?nèi)搜垡曈X系統(tǒng)的空間域和時(shí)間域的掩蓋效應(yīng)。在考慮圖像序列的運(yùn)動特性對視覺感知的影響時(shí)，必須要得到真實(shí)的運(yùn)動矢量。現(xiàn)有視頻編碼標(biāo)準(zhǔn)中采用的都是塊匹配的運(yùn)動估計(jì)算法，即假設(shè)整個(gè)塊內(nèi)的所有像素點(diǎn)有相同的運(yùn)動。所以估計(jì)的運(yùn)動矢量可能偏離真實(shí)運(yùn)動，特別是當(dāng)宏塊中包含運(yùn)動邊緣信息情況下。另一方面，在編碼前要得到編碼幀各個(gè)宏塊的運(yùn)動矢量，必須要對當(dāng)前幀進(jìn)行預(yù)編碼，會在原有的編碼器中引入一倍的計(jì)算量。運(yùn)動有全局運(yùn)動和局部運(yùn)動，需要一種方法有效的區(qū)分全局運(yùn)動和局部運(yùn)動?，F(xiàn)在文獻(xiàn)中一般采用全局運(yùn)動估計(jì)算法提取局部運(yùn)動。然而，全局運(yùn)動估計(jì)算法又要在編碼器中引入相當(dāng)大的計(jì)算量。為此本發(fā)明提出一種快速分割局部運(yùn)動的方法。宏塊的局部運(yùn)動度」(/，_/)定義如下1616爿O)=/力'.16+附，,16+w)—/M(/.16+m+附v義，/'16十w+mvy)|(1)其中，/,和分別代表當(dāng)前幀和前一幀，z'和j'為宏塊坐標(biāo)，；m^和mvy為前一幀對應(yīng)位置宏塊的運(yùn)動矢量。必須強(qiáng)調(diào)的是在計(jì)算宏塊局部運(yùn)動度之前對每一幀需進(jìn)行簡單的3x3低通濾波以減少高頻噪聲的影響。全局運(yùn)動由鏡頭引起，其運(yùn)動矢量在時(shí)域方向具有一致性。局部運(yùn)動由前景運(yùn)動引起，具有隨機(jī)性。其運(yùn)動矢量在時(shí)域方向是非連續(xù)的。全局運(yùn)動以及靜止區(qū)域宏塊的運(yùn)動矢量可以用前一幀相同位置宏塊的運(yùn)動矢量近似，由(1)式可知，這些宏塊具有比較小的局部運(yùn)動度。相反，局部(前景)運(yùn)動宏塊具有相當(dāng)大的局部運(yùn)動度。當(dāng)宏塊的局部運(yùn)動度v4(/,/)大于某個(gè)閾值r/^m時(shí)，本發(fā)明認(rèn)為此宏塊為局部運(yùn)動宏塊，77^,定義如下<formula>formulaseeoriginaldocumentpage7</formula>(2)上式中M和W分別表示幀在水平、垂直方向上的宏塊數(shù)。我們以QCIF為格式的"Children"圖像為例，各宏塊的圖像及相應(yīng)的局部運(yùn)動度的分布如附圖2所示?？臻g掩蓋效應(yīng)表明，失真容易在圖像平滑區(qū)和邊緣區(qū)容易被察覺，而在高頻成分比較豐富的紋理區(qū)可以被掩蓋。TM5中用方差來度量宏塊的空間活動度，方差可以有效的區(qū)分平滑區(qū)域和紋理區(qū)域，但是不能有效區(qū)分強(qiáng)邊緣區(qū)域和紋理區(qū)域。按照TM5的量化策略和定義的空間活動特性，強(qiáng)邊緣區(qū)和紋理區(qū)都被粗量化，這不符合人眼對邊緣敏感的特性。目前，很多學(xué)者在紋理活動度度量這個(gè)方面做了進(jìn)一步研究。紋理活動性的度量的方法可大致歸類為以下五種，宏塊方差、絕對方差、水平和垂直梯度、DCT系數(shù)以及邊緣檢測。Kim等學(xué)者對這五種紋理活動性度量方法進(jìn)行了比較，發(fā)現(xiàn)采用梯度的紋理活動度量方法相對來說準(zhǔn)確性和復(fù)雜度都有比較好的性能，但它不能有效區(qū)分強(qiáng)邊緣和紋理。邊緣檢測方法只能檢測出強(qiáng)邊緣，但不能有效檢測出紋理。為此，本發(fā)明提出將一種將梯度和邊緣檢測相結(jié)合的方法來區(qū)分平滑、紋理及邊緣區(qū)域。在我們發(fā)明中采用以下水平/垂直梯度式度量紋理活動度，宏塊的紋理活動度定義如下<formula>formulaseeoriginaldocumentpage7</formula>(3)上式中，分別表示宏塊的水平和垂直坐標(biāo)、7^CT(/,/)為宏塊M3,^的紋理活動度、/，，為位置(附,")的亮度值。當(dāng)宏塊紋理活動度大于閾值7V,，本發(fā)明認(rèn)為此宏塊為紋理宏塊或者邊緣宏塊。閾值7V,定義如下<formula>formulaseeoriginaldocumentpage7</formula>(4)上式中M和tV分別表示幀在水平、垂直方向的像素點(diǎn)數(shù)。本發(fā)明選擇Canny邊緣檢測器作為邊緣檢測的方法。該方法總結(jié)如下(1)圖像使用帶有指定標(biāo)準(zhǔn)偏差fx的高斯濾波器來平滑，從而減少噪聲。(2)在每一點(diǎn)計(jì)算局部梯度g(H)=[G〗+Gy2;T和邊緣方向a(;c,y)=arctan(CyGt)。邊緣定義為梯度方向上其強(qiáng)度局部最大的點(diǎn)。(3)在第2條中確定的邊緣點(diǎn)會導(dǎo)致梯度幅度圖像中出現(xiàn)脊。然后算法追蹤所有脊的頂部，并將所有不在脊的頂部像素設(shè)為零，以便在輸出中給出一條曲線，這就是眾所周知的非最大值抑制處理。脊像素使用兩個(gè)閾值t;和r;做閾值處理，其中7;<72。值大于i;的脊像素稱為強(qiáng)邊緣，z;和7;之間的脊像素稱為弱邊緣像素。最后，算法通過將不連接的弱像素集成到強(qiáng)像素，執(zhí)行邊緣鏈接。宏塊的邊緣強(qiáng)度定義如下，y.)=fge16,16.y+(5)上式中，z',/分別表示宏塊在水平方向和垂直方向上的坐標(biāo)，e^為點(diǎn)(w,;7)邊緣強(qiáng)度，五^(Cr(/J)為宏塊7kffi,」.的邊緣強(qiáng)度。當(dāng)宏塊的邊緣強(qiáng)度大于某個(gè)閾值77^,當(dāng)前宏塊被認(rèn)為邊緣宏塊。閾值17^定義如下一^,"(6)上式中M和iV分別表示幀在水平、垂直方向的像素點(diǎn)數(shù)。基于上述計(jì)算所得的宏塊紋理強(qiáng)度和邊緣強(qiáng)度，本發(fā)明可以有效區(qū)分邊緣宏塊、平滑宏塊和紋理宏塊。當(dāng)宏塊的邊緣強(qiáng)度大于閾值37^,，此宏塊為邊緣宏塊。當(dāng)宏塊的紋理活動度大于閾值rfe;且當(dāng)宏塊的邊緣強(qiáng)度小于閾值77^,，此宏塊為紋理宏塊。當(dāng)宏塊的紋理活動度小于閾值77^，此宏塊為平滑宏塊。以QCIF格式的視頻序列"Suize"為例，各宏塊的圖像、相應(yīng)的紋理活動度以及邊緣強(qiáng)度分布如附圖3所示。按照宏塊的局部運(yùn)動度、紋理活動度以及邊緣強(qiáng)度將宏塊可以分為下面四類局部運(yùn)動宏塊(1)、邊緣宏塊(11)、平滑宏塊(III)和紋理宏塊(IV)。人眼對于這四類宏塊失真敏感度高低排序依次如下局部運(yùn)動宏塊、邊緣宏塊、平滑宏塊和紋理宏塊。基于人眼視覺關(guān)注度不同，本發(fā)明對各類型宏塊的量化參數(shù)(gP)調(diào)整如下式所示e尸根據(jù)上述的發(fā)明構(gòu)思，本發(fā)明釆用下面所述的技術(shù)方案一種基亍視覺關(guān)注度視頻編碼方法，其特征在于將人眼視覺關(guān)注特性引入到視頻編碼中通過對宏塊局部運(yùn)動度、邊緣強(qiáng)度以及紋理活動度的分析，將宏塊歸類為局部運(yùn)動宏塊、邊緣宏塊、平滑宏塊以及紋理宏塊；基于人眼對于這四種類型宏塊關(guān)注度的不同，調(diào)節(jié)宏塊的量化參數(shù)；其步驟是(1)局部運(yùn)動宏塊快速分割對輸入的圖像幀進(jìn)行濾波，以減少高頻噪聲的影響，計(jì)算宏塊局部運(yùn)動度以及運(yùn)動度閾值，由局部運(yùn)動度及活動度閾值，將宏塊歸類為局部運(yùn)動宏塊和非局部運(yùn)動宏塊；(2)邊緣宏塊快速分割采用Canny邊緣檢測器檢測邊緣輸出各個(gè)像素點(diǎn)的邊緣強(qiáng)度，計(jì)算宏塊邊緣強(qiáng)度以及邊緣強(qiáng)度的閾值，將宏塊歸類為邊緣宏塊和非邊緣宏塊；(3)紋理宏塊的快速分割采用水平/垂直梯度檢測紋理輸出各個(gè)像素點(diǎn)的紋理活動度，計(jì)算宏塊紋理活動度以及紋理活動度的閾值，將宏塊歸類為紋理宏塊和平滑宏塊；(4)宏塊量化參數(shù)的調(diào)節(jié)選擇調(diào)節(jié)參數(shù)，基于人眼對不同類型的宏塊關(guān)注度不同，對宏塊的量化參數(shù)進(jìn)行調(diào)節(jié)。上述的局部運(yùn)動宏塊快速分割的步驟是(1)采用3x3低通濾波器對處理幀進(jìn)行濾波，以減弱高頻噪聲的影響；(2)由當(dāng)前幀宏塊的坐標(biāo)，提取前一幀對應(yīng)位置宏塊的運(yùn)動矢量；(3)由提取的宏塊運(yùn)動矢量、當(dāng)前幀亮度像素值以及前一幀亮度像素值，計(jì)算宏塊的局部運(yùn)動度和運(yùn)動度閾值7V",;(4)由步驟(3)得到的宏塊局部運(yùn)動度和閾值IT^，將宏塊歸類為局部運(yùn)動宏塊和非局部運(yùn)動宏塊。上述的邊緣宏塊的快速分割的步驟是-(1)采用Canny邊緣檢測器檢測邊緣，輸出各個(gè)像素點(diǎn)邊緣強(qiáng)度;(2)由步驟(1)輸出各個(gè)像素點(diǎn)邊緣強(qiáng)度，計(jì)算宏塊的邊緣強(qiáng)度和邊緣強(qiáng)度閾值(3)由步驟(2)得到的宏塊邊緣強(qiáng)度和邊緣強(qiáng)度閾值7T^，將宏塊歸類為邊緣宏塊和非邊緣宏塊。上述的紋理宏塊的快速分割的步驟是(1)采用水平/垂直梯度檢測紋理，輸出各個(gè)像素點(diǎn)紋理活動度；(2)由步驟(1)輸出各個(gè)像素點(diǎn)紋理活動度，計(jì)算宏塊的紋理活動度和紋理活動度閾值7^;(3)由步驟(2)得到的宏塊紋理活動度、紋理活動度閾值77^、宏塊邊緣強(qiáng)度以及強(qiáng)度闊值77u;，將宏塊歸類為紋理宏塊和平滑宏塊。上述的宏塊量化參數(shù)的調(diào)節(jié)的步驟是(1)確定調(diào)節(jié)參數(shù)"g戶；(2)調(diào)節(jié)各類型宏塊的量化參數(shù)(gP):對于局部運(yùn)動宏塊調(diào)節(jié)后的量化參數(shù)2,=2^-D^5/2，邊緣宏塊調(diào)節(jié)后的量化參數(shù)gP^2P，平滑宏塊調(diào)節(jié)后的量化參數(shù)gP^2P+Z)g/V2，紋理宏塊調(diào)節(jié)后的量化參數(shù)gr=,+，。本發(fā)明與現(xiàn)有技術(shù)相比較，其有如下顯而易見的突出實(shí)質(zhì)性特點(diǎn)和顯著優(yōu)點(diǎn)，本發(fā)朋引入運(yùn)動關(guān)注度模型和紋理關(guān)注度模型，提出了基于運(yùn)動和紋理關(guān)注度的碼率分配算法，在增加不到4%的計(jì)算量的同時(shí)，可提高10%編碼效率，且能改善視頻編碼的主觀質(zhì)量。附圖1是基于人眼視覺關(guān)注度視頻編碼的結(jié)構(gòu)框圖。附圖2是"Children"序列圖像及相應(yīng)的局部運(yùn)動度的分布。附圖3是"Suize"序列圖像、相應(yīng)的紋理活動度以及邊緣強(qiáng)度分布。附圖4是"Suize"序列本發(fā)明的解碼圖像和H.264解碼圖像。具體實(shí)施例方式本發(fā)明的一個(gè)優(yōu)選實(shí)施如下所述參見圖l，本發(fā)明是基于視覺關(guān)注度的視頻編碼方法。首先，基于宏塊局部運(yùn)動度、紋理活動度、邊緣強(qiáng)度，快速分割局部運(yùn)動宏塊、邊緣宏塊、紋理宏塊和平滑宏塊。接著，基于人眼視覺對各種類型宏塊關(guān)注度的不同，對宏塊的量化參數(shù)進(jìn)行調(diào)整。本方法提高視頻主觀質(zhì)量的同時(shí)，降低10%左右的碼率。其步驟是(1)快速分割局部運(yùn)動的宏塊提取前一幀相同位置宏塊的運(yùn)動矢量，由式(1)和(2)分別計(jì)算各個(gè)宏塊局部運(yùn)動度、運(yùn)動度的閾值77u;，如果宏塊的局部運(yùn)動度大于閾值77^;,,此宏塊被認(rèn)為局部運(yùn)動宏塊(I類)。(2)快速分割邊緣宏塊采用Canny邊緣檢測器檢測邊緣，由Canny邊緣檢測器檢測點(diǎn)邊緣強(qiáng)度，由式(5)和(6)分別計(jì)算宏塊邊緣強(qiáng)度、邊緣強(qiáng)度的閾值777/;，如果宏塊的邊緣強(qiáng)度大于閾值I^;，此宏塊被認(rèn)為邊緣宏塊(n類)。(3)快速分割紋理和平滑宏塊，采用水平和垂直方向的梯度檢測紋理的活動度，由式(3)和(4)分別計(jì)算宏塊紋理活動度、紋理活動度的閾值r，如果宏塊的紋理活動度大于閾值7V,且宏塊的邊緣強(qiáng)度小于閾值T7w;，此宏塊被認(rèn)為紋理宏塊(iv類)；如果宏塊的紋理活動度小于閾值，此宏塊被認(rèn)為平滑宏塊(m類)。(4)基于人眼視覺對各類宏塊關(guān)注度不同，對宏塊的量化參數(shù)進(jìn)行調(diào)整。調(diào)節(jié)參數(shù)為Z)gP,I類宏塊調(diào)節(jié)后的量化參數(shù)D0P/2，II類宏塊調(diào)節(jié)后的量化參數(shù)g,-^/5，111類宏塊調(diào)節(jié)后的量化參數(shù)2尸'-^P+D0尸/2,IV類宏塊調(diào)節(jié)后的量化參數(shù)=2i5+。上述局部運(yùn)動宏塊快速分割的步驟如下(1)采用3x3低通濾波器對處理幀進(jìn)行濾波，以減少高頻噪聲的影響。(2)根據(jù)當(dāng)前幀宏塊的坐標(biāo)，提取前一幀對應(yīng)位置宏塊的運(yùn)動矢量。(3)由提取的宏塊運(yùn)動矢量、當(dāng)前幀亮度像素值以及前一幀亮度像素值，計(jì)算各個(gè)宏塊的局部運(yùn)動度和運(yùn)動度閾值27^。(4)由歩驟(3)得到的宏塊局部運(yùn)動度和閾值7T^，將宏塊歸類為局部運(yùn)動宏塊和非局部運(yùn)動宏塊。上述的快速分割邊緣宏塊步驟如下uj術(shù)用Cannyx^琢檢測器f盒測邊球，輸-td合"n豕系后、;i^緣強(qiáng)反。(2)由步驟(1)輸出各個(gè)像素點(diǎn)邊緣強(qiáng)度，計(jì)算宏塊的邊緣強(qiáng)度和邊緣強(qiáng)度閾值(3)由步驟(2)得到的宏塊邊緣強(qiáng)度和邊緣強(qiáng)度閾值77z。，將宏塊歸類為邊緣宏塊和非邊緣宏塊。上述的快速分割紋理宏塊步驟如下(1)采用水平/垂直梯度檢測紋理的活動度，輸出各個(gè)像素點(diǎn)紋理活動度。(2)由歩驟(1)輸出各個(gè)像素點(diǎn)紋理活動度，計(jì)算宏塊的紋理活動度和紋理活動度閾值7V,。(3)由步驟(2)得到的宏塊紋理活動度、紋理活動度閾值7V,、宏塊邊緣強(qiáng)度以及邊緣強(qiáng)度閾值77^，將宏塊歸類為紋理宏塊和平滑宏塊。上述的基于人眼視覺關(guān)注度量化參數(shù)調(diào)節(jié)步驟如下(1)確定調(diào)節(jié)參數(shù)DgP。(2)調(diào)節(jié)各類型宏塊的量化參數(shù)g戶。局部運(yùn)動宏塊調(diào)節(jié)后的量化參數(shù)g戶'-gi3-Dg/v2，邊緣宏塊調(diào)節(jié)后的量化參數(shù)2,=2尸，紋理宏塊調(diào)節(jié)后的量化參數(shù)gP^gP+Dgi3,平滑宏塊調(diào)節(jié)后的量化參數(shù)W=gP+D，2。下面比較H.264碼率分配算法和本發(fā)明碼率分配算法，仿真條件如表l。表l.編碼參數(shù)<table>tableseeoriginaldocumentpage12</column></row><table>以下給出一個(gè)輸入的視頻格式為QCIF的實(shí)例。首先對輸入視頻進(jìn)行濾波、計(jì)算宏塊局部運(yùn)動度、快速分割局部運(yùn)動宏塊，接著進(jìn)行邊緣檢測、快速分割邊緣宏塊，然后采用水平/垂直梯度進(jìn)行紋理檢測、快速分割紋理宏塊，最后根據(jù)人眼視覺關(guān)注度的不同，對不同類型宏塊的量化參數(shù)進(jìn)行調(diào)節(jié)。實(shí)例以五個(gè)QCIF格式測試序列Salesman、Silent、Suzie、Foreman和Children作為輸入視頻。表2比較了H.264碼率分配和本發(fā)明碼率分配的編碼效率。圖2示出"Children"序列圖像和宏塊局部運(yùn)動度分布，其中圖a為28th幀圖像，圖b為28th宏塊局部運(yùn)動度分布。圖3示出"Suize"序列圖像(圖a)、相應(yīng)的紋理活動強(qiáng)度(圖b)及邊緣強(qiáng)度分布(圖c)。圖4以視頻序列"Suize"為例比較H.264解碼圖像(b圖、d圖)和本發(fā)明的解碼圖像(a圖、c圖)?？梢姳景l(fā)明可以降低10%碼流碼率、提高編碼效率的同時(shí)，圖像的主觀質(zhì)量也有所提高。表3比較了以H.264碼率分配的編碼復(fù)雜度和本發(fā)明的編碼復(fù)雜度，本發(fā)明僅增加了不到H.264編碼器4X運(yùn)算量。表2.&264碼率分配和本發(fā)明的碼率分配的編碼效率比較<table>tableseeoriginaldocumentpage13</column></row><table>表3.本發(fā)明運(yùn)算復(fù)雜度的分析<table>tableseeoriginaldocumentpage14</column></row><table>權(quán)利要求1、一種基于視覺關(guān)注度視頻編碼方法，其特征在于將人眼視覺關(guān)注特性引入到視頻編碼中通過對宏塊局部運(yùn)動度、邊緣強(qiáng)度以及紋理活動度的分析，將宏塊歸類為局部運(yùn)動宏塊、邊緣宏塊、平滑宏塊以及紋理宏塊；基于人眼對于這四種類型宏塊關(guān)注度的不同，調(diào)節(jié)宏塊的量化參數(shù)；其步驟是i.局部運(yùn)動宏塊快速分割對輸入的圖像幀進(jìn)行濾波，以減少高頻噪聲的影響，計(jì)算宏塊局部運(yùn)動度以及運(yùn)動度閾值，由局部運(yùn)動度及活動度閾值，將宏塊歸類為局部運(yùn)動宏塊和非局部運(yùn)動宏塊；ii.邊緣宏塊快速分割采用Canny邊緣檢測器檢測邊緣輸出各個(gè)像素點(diǎn)的邊緣強(qiáng)度，計(jì)算宏塊邊緣強(qiáng)度以及邊緣強(qiáng)度的閾值，將宏塊歸類為邊緣宏塊和非邊緣宏塊；iii.紋理宏塊的快速分割采用水平/垂直梯度檢測紋理輸出各個(gè)像素點(diǎn)的紋理活動度，計(jì)算宏塊紋理活動度以及紋理活動度的閾值，將宏塊歸類為紋理宏塊和平滑宏塊；iv.宏塊量化參數(shù)的調(diào)節(jié)選擇調(diào)節(jié)參數(shù)，基于人眼對不同類型的宏塊關(guān)注度不同，對宏塊的量化參數(shù)進(jìn)行調(diào)節(jié)。2、根據(jù)權(quán)利要求1所述的基于視覺關(guān)注度的視頻編碼方法，其特征在于所述的局部運(yùn)動宏塊快速分割的步驟是i.采用3x3低通濾波器對處理幀進(jìn)行濾波，以減弱高頻噪聲的影響；ii.由當(dāng)前幀宏塊的坐標(biāo)，提取前一幀對應(yīng)位置宏塊的運(yùn)動矢量；iii.由提取的宏塊運(yùn)動矢量、當(dāng)前幀亮度像素值以及前一幀亮度像素值，計(jì)算宏塊的局部運(yùn)動度和運(yùn)動度閾值77^，；iv.由步驟(iii)得到的宏塊局部運(yùn)動度和閾值77^，將宏塊歸類為局部運(yùn)動宏塊和非局部運(yùn)動宏塊。3、根據(jù)權(quán)利要求1所述的基于視覺關(guān)注度的視頻編碼方法，其特征在于所述的邊緣宏塊的快速分割的步驟是i.采用Canny邊緣檢測器檢測邊緣，輸出各個(gè)像素點(diǎn)邊緣強(qiáng)度；ii.由步驟(i)輸出各個(gè)像素點(diǎn)邊緣強(qiáng)度，計(jì)算宏塊的邊緣強(qiáng)度和邊緣強(qiáng)度iii.由步驟(ii)得到的宏塊邊緣強(qiáng)度和邊緣強(qiáng)度閾值77^，將宏塊歸類為邊緣宏塊和非邊緣宏塊。4、根據(jù)權(quán)利要求1所述的基于視覺關(guān)注度的視頻編碼方法，其特征在于所述的紋理宏塊的快速分割的步驟是i.采用水平/垂直梯度檢測紋理，輸出各個(gè)像素點(diǎn)紋理活動度；U.由步驟(i)輸出各個(gè)像素點(diǎn)紋理活動度，計(jì)算宏塊的紋理活動度和紋理活動度閾值7T^;iii.由步驟(ii)得到的宏塊紋理活動度、紋理活動度閾值r—、宏塊邊緣強(qiáng)度以及強(qiáng)度閾值77^，將宏塊歸類為紋理宏塊和平滑宏塊。5、根據(jù)權(quán)利要求1所述的基于視覺關(guān)注度的視頻編碼方法，其特征在于所述的宏塊量化參數(shù)的調(diào)節(jié)的步驟是i.確定調(diào)節(jié)參數(shù)"gP;ii.調(diào)節(jié)各類型宏塊的量化參數(shù)(gi3):對于局部運(yùn)動宏塊調(diào)節(jié)后的量化參數(shù)<formula>formulaseeoriginaldocumentpage3</formula>，邊緣宏塊調(diào)節(jié)后的量化參數(shù)<formula>formulaseeoriginaldocumentpage3</formula>,平滑宏塊調(diào)節(jié)后的量化參數(shù)<formula>formulaseeoriginaldocumentpage3</formula>，紋理宏塊調(diào)節(jié)后的量化參數(shù)全文摘要本發(fā)明涉及一種基于視覺關(guān)注度視頻編碼方法。本方法是將人眼視覺關(guān)注特性引入到視頻編碼中通過對宏塊局部運(yùn)動度、邊緣強(qiáng)度以及紋理活動度的分析，將宏塊歸類為局部運(yùn)動宏塊、邊緣宏塊、平滑宏塊以及紋理宏塊；基于人眼對于這四種類型宏塊關(guān)注度的不同，調(diào)節(jié)宏塊的量化參數(shù)。本發(fā)明在增加不到4％的計(jì)算量的同時(shí)，可提高10％編碼效率，且能改善視頻編碼的主觀質(zhì)量。文檔編號H04N7/24GK101184221SQ20071017184公開日2008年5月21日申請日期2007年12月6日優(yōu)先權(quán)日2007年12月6日發(fā)明者志劉,張兆揚(yáng),楊其彤,沈禮權(quán),王蕾睿申請人:上海大學(xué)