專利名稱：用于圖像上采樣的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例包括用于圖像上采樣的方法和系統(tǒng)。本發(fā)明的一些實(shí)施例包括用 于空間可縮放視頻編碼的圖像上采樣的方法和系統(tǒng)。
背景技術(shù)：
H. 264/MPEG-4 AVC[Joint Video Team of ITU-T VCEG and IS0/IECMPEG, "Advanced Video Coding (AVC)-4th Edition, " ITU-T Rec. H. 264and IS0/IEC 14496-10 (MPEG4-Part 10)，January 2005]是使用宏塊預(yù)測(cè)、之后為了壓縮效率而進(jìn)行殘 余編碼以減小圖像序列的時(shí)間和空間冗余的視頻編解碼規(guī)范，將其在此引入作為參考?？?間可縮放性是指這樣的功能比特流的部分可以被去除，同時(shí)維持任意支持的空間分辨率 上的比率失真性能。單層H. 264/MPEG-4AVC不支持空間可縮放性。H. 264/MPEG-4AVC的可 縮放視頻編碼(SVC)擴(kuò)展支持空間可縮放性。在此引入作為參考的H. 264/MPEG-4AVC的SVC擴(kuò)展[聯(lián)合可縮放視頻模型(JSVM) 的工作文件1. 0(WD-1. 0) (MPEG Doc. N6901)]是一種分層的視頻編解碼方案，其中通過層間 預(yù)測(cè)機(jī)制來探尋空間層之間的冗余。H. 264/MPEG-4 AVC的SVC擴(kuò)展的設(shè)計(jì)中包含有三種層 間預(yù)測(cè)技術(shù)層間運(yùn)動(dòng)預(yù)測(cè)、層間殘余預(yù)測(cè)以及層間內(nèi)部紋理預(yù)測(cè)。之前，SVC僅提出了二元空間可縮放性。二元空間可縮放性是指這樣的配置兩個(gè) 連續(xù)空間層之間的圖像尺度比是2的冪。已經(jīng)提出了被稱作具有剪切窗的非二元縮放的新 工具，這些新工具管理如下配置連續(xù)空間層之間的圖像尺寸比不是2的冪，而且更高級(jí)的 圖像包含相應(yīng)的更低級(jí)圖像中不存在的區(qū)域。所有的層間預(yù)測(cè)方法都包括圖像上采樣。圖像上采樣是從較低分辨率圖像中產(chǎn)生 較高分辨率圖像的過程。一些圖像上采樣過程包括采樣內(nèi)插。SVC設(shè)計(jì)中使用的先前的上 采樣過程基于H. 264中針對(duì)內(nèi)部預(yù)測(cè)而規(guī)定的四分之一 Iuma采樣內(nèi)插過程。當(dāng)應(yīng)用于空 間可縮放編碼時(shí)，先前的方法具有如下兩個(gè)缺點(diǎn)內(nèi)插分辨率被限制為四分之一采樣，因而不支持非二元縮放；以及需要 半采樣內(nèi)插以獲得四分之一采樣位置，這使得該方法在計(jì)算 上是麻煩的。期望一種克服這些限制的圖像上采樣過程。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例包括通過直接內(nèi)插而實(shí)現(xiàn)的圖像上采樣，所述直接內(nèi)插使用根據(jù) 待內(nèi)插的像素位置的相位而選擇的濾波器系數(shù)?？紤]下文結(jié)合附圖對(duì)本發(fā)明的詳細(xì)描述，本發(fā)明的上述和其他目的、特征和有點(diǎn) 將會(huì)更加易于理解。


圖1是示出增強(qiáng)層與底層之間的幾何關(guān)系的示意圖；圖2是示出增強(qiáng)層與底層中的采樣的相對(duì)位置的示意圖；圖3是本發(fā)明實(shí)施例的包括兩個(gè)方向上的內(nèi)插濾波的流程圖；圖4是示出增強(qiáng)層與底層中的宏塊之間的關(guān)系的示意圖；以及圖5是示出增強(qiáng)層與底層中的宏塊之間的關(guān)系的示意圖。
具體實(shí)施例方式通過參考附圖，本發(fā)明的實(shí)施例可以得到最佳的理解，其中相似的部分由相似的 數(shù)字來表示。上文列出的圖明確地被引入作為這個(gè)詳細(xì)描述的一部分。容易理解的是，附圖中大體描述并示出的本發(fā)明的組件可以按照各種不同的配置 來布置和設(shè)計(jì)。因此，下面對(duì)本發(fā)明的方法和系統(tǒng)的實(shí)施例的詳細(xì)描述不意欲限制本發(fā)明 的范圍，而僅僅代表本發(fā)明目前的優(yōu)選實(shí)施例。本發(fā)明實(shí)施例中的組件可以以硬件、固件和/或軟件來實(shí)現(xiàn)。雖然這里揭示的典 型實(shí)施例可能僅描述了這些形式之一，然而可以理解的是，本領(lǐng)域的技術(shù)人員能夠以這些 形式中的任意形式來實(shí)現(xiàn)這些元件，同時(shí)仍落入本發(fā)明的范圍。為了這個(gè)說明書和權(quán)利要求，術(shù)語(yǔ)“圖像(picture) ”可以包括像素的陣列、數(shù)字圖 像、數(shù)字圖像的細(xì)分、數(shù)字圖像的數(shù)據(jù)通道或圖像數(shù)據(jù)的另一種表示。圖1示出了與圖畫圖 像(image picture)相對(duì)應(yīng)的兩個(gè)圖像較低空間圖像10，也被稱作基礎(chǔ)空間圖像或底層 圖像；以及較高空間圖像100，也被稱作增強(qiáng)空間圖像或增強(qiáng)層圖像。如圖1所示，基礎(chǔ)空 間圖像10可能具有比增強(qiáng)空間圖像100更低的空間分辨率。如圖1所示，基礎(chǔ)空間圖像10 和增強(qiáng)空間圖像100可能不包括相同的空間區(qū)域。圖1中所示的是與從增強(qiáng)空間圖像100 中剪切的空間區(qū)域110相對(duì)應(yīng)的基礎(chǔ)空間圖像10。在本發(fā)明的一些實(shí)施例中，基礎(chǔ)空間圖像和增強(qiáng)空間圖像可以和可縮放視頻編碼 器/解碼器(編解碼器)中的兩個(gè)空間層相對(duì)應(yīng)。增強(qiáng)空間圖像100的寬度101和增強(qiáng)空間圖像100的高度102可以分別表示為We 和he?；A(chǔ)空間圖像10的寬度11和高度12可以分別表示為Wb和hb?；A(chǔ)空間圖像10可 以是位于增強(qiáng)空間圖像坐標(biāo)(x。rig，y ig) 103處的增強(qiáng)空間圖像100的子區(qū)域110的子采樣 形式。位置103表示剪切窗110左上角的位置。子區(qū)域110的寬度111和高度112可以分 別表示為Wex和hex。參數(shù)(x ig，yorig, Wex, hex, Wb, hb)定義了較高空間圖像100和較低空間圖像10之間的關(guān)系。圖像 上采樣可以是指從較低空間分辨率圖像中產(chǎn)生較高空間分辨率圖像。在一些 實(shí)施例中，上采樣可以是指在不限于空間尺度或時(shí)間尺度的任意尺度上增大分辨率。圖2 示出了較高空間分辨率圖像200中的像素位置220。在圖2中，像素位置220具有在較低空 間分辨率圖像20中的相應(yīng)位置22。位置220可以和較低空間分辨率圖像20中的像素位置 直接對(duì)齊，或不與較低空間分辨率圖像20中的像素位置直接對(duì)齊。在圖2中，所示的位置 22位于4個(gè)底層像素21、23、24和25之間。本發(fā)明的一些實(shí)施例包括方法和系統(tǒng)，用于對(duì)于給定基礎(chǔ)空間圖像20，對(duì)增強(qiáng)空 間圖像200的像素進(jìn)行直接內(nèi)插，其中尺度比不限于2的冪。本發(fā)明的一些實(shí)施例包括對(duì) 基礎(chǔ)空間圖像20的整個(gè)圖像進(jìn)行上采樣。本發(fā)明的其他實(shí)施例包括逐塊地對(duì)基礎(chǔ)空間圖 像20進(jìn)行上采樣。本發(fā)明的一些實(shí)施例包括在一個(gè)方向上進(jìn)行上采樣，之后在另一個(gè)方向 上進(jìn)行上采樣。對(duì)于以整數(shù)采樣為單位的增強(qiáng)空間圖像中的采樣位置(x，y)，以一-采樣為單位的
KL
基礎(chǔ)空間圖像中的相應(yīng)位置(P“(X)，Py,Jy))可由下式給出
權(quán)利要求
1.一種圖像解碼方法，使用由多個(gè)圖像宏塊構(gòu)成的底層圖像，對(duì)由多個(gè)圖像宏塊構(gòu)成 的增強(qiáng)層圖像的像素值進(jìn)行預(yù)測(cè)，該圖像解碼方法的特征在于包括步驟(a)，決定上述增強(qiáng)層圖像的預(yù)測(cè)對(duì)象宏塊；步驟(b)，計(jì)算與上述增強(qiáng)層圖像中的上述預(yù)測(cè)對(duì)象宏塊的左上像素(xC，yC)及右下 像素相對(duì)應(yīng)的、上述底層圖像中的左上像素(xCB，yCB)及右下像素(xCBl，yCBl)；步驟(c)，根據(jù)上述底層圖像的像素值陣列(baSe。[x，y])，計(jì)算與上述增強(qiáng)層圖像的像 素值陣列(pred。[X，y])中的上述預(yù)測(cè)對(duì)象宏塊的各像素相對(duì)應(yīng)的條目，上述步驟(c)作為對(duì)上述增強(qiáng)層圖像中的上述預(yù)測(cè)對(duì)象宏塊的各像素，計(jì)算臨時(shí)像素 值陣列(tempc[x,y])的條目的步驟(i)，而包括步驟(1)，按照分辨率的分?jǐn)?shù)間隔，計(jì)算與上述預(yù)測(cè)對(duì)象宏塊的各像素相對(duì)應(yīng)的、上述 底層圖像中的y位置(yfC)；步驟O)，根據(jù)上述y位置(yfC)，計(jì)算y位置內(nèi)插中心(yhtC)以及y位置相位 (yFracC)；步驟(3)，根據(jù)上述y位置相位(yFracC)，決定第1組濾波器系數(shù)； 步驟G)，將上述底層圖像的像素值陣列(baSe。[x，y])中的y坐標(biāo)為上述y位置內(nèi)插 中心(ylntC)時(shí)的條目作為中心，并運(yùn)用基于上述第1組濾波器系數(shù)組的內(nèi)插濾波處理，計(jì) 算上述臨時(shí)像素值陣列(temp。[x，y])的條目， 且上述步驟(c)還作為對(duì)應(yīng)上述增強(qiáng)層圖像中的上述預(yù)測(cè)對(duì)象宏塊的各像素，來計(jì)算上 述增強(qiáng)層圖像的像素值陣列(pred。[x，y])的條目的步驟(ii)，而包括步驟(5)，按照分辨率的分?jǐn)?shù)間隔，計(jì)算與上述預(yù)測(cè)對(duì)象宏塊的各像素相對(duì)應(yīng)的、上述 底層圖像中的χ位置(xfC)；步驟(6)，根據(jù)上述χ位置(xfC)，計(jì)算χ位置內(nèi)插中心OdntC)以及χ位置相位 (xFracC)；步驟(7)，根據(jù)上述χ位置相位(xFracC)，決定第2組濾波器系數(shù)； 步驟(8)，將上述臨時(shí)像素值陣列(temp。[x，y])中的χ坐標(biāo)為上述χ位置內(nèi)插中心 (XlntC)時(shí)的條目作為中心，并運(yùn)用基于上述第2組濾波器系數(shù)的內(nèi)插濾波處理，計(jì)算上述 增強(qiáng)層圖像的像素值陣列(pred。[x，y])的條目，上述像素值是像素的色度成分，上述步驟(b)中的計(jì)算處理包括相對(duì)相位的校正。
2.根據(jù)權(quán)利要求1所述的圖像解碼方法，其特征在于 在上述內(nèi)插濾波處理中，計(jì)算上述預(yù)測(cè)對(duì)象宏塊的邊界像素值時(shí)，關(guān)于由上述底層圖像中的左上像素(xCB， yCB)及右下像素(xCBl，yCBl)所構(gòu)成的矩形，將該矩形以外的像素值作為輸入。
3.根據(jù)權(quán)利要求1所述的圖像解碼方法，其特征在于 上述分?jǐn)?shù)間隔為分辨率的1/16 ；根據(jù)與相位對(duì)應(yīng)的16個(gè)索引，且參照已預(yù)先計(jì)算的濾波器系數(shù)表，來施行上述第1組 及第2組濾波器系數(shù)的決定步驟。
4.一種圖像解碼方法，基于與底層圖像的預(yù)測(cè)值相對(duì)應(yīng)的殘余，來計(jì)算與增強(qiáng)層圖像的預(yù)測(cè)值相對(duì)應(yīng)的殘余，其中，上述底層圖像以及上述增強(qiáng)層圖像分別由多個(gè)圖像宏塊構(gòu) 成，該圖像解碼方法的特征在于包括步驟(a)，決定上述增強(qiáng)層圖像的預(yù)測(cè)對(duì)象宏塊；步驟(b)，計(jì)算與上述增強(qiáng)層圖像中的上述預(yù)測(cè)對(duì)象宏塊的左上像素(xC，yC)及右下像素相對(duì)應(yīng)的、上述底層圖像中的左上像素(xCB，yCB)及右下像素(xCBl，yCBl)；步驟(c)，根據(jù)上述底層圖像的殘余陣列(resBaseJx，y])，計(jì)算與上述增強(qiáng)層圖像的 殘余陣列(resPred。[X，y])中的上述預(yù)測(cè)對(duì)象宏塊的各像素相對(duì)應(yīng)的條目，上述步驟(c)作為對(duì)上述增強(qiáng)層圖像中的上述預(yù)測(cè)對(duì)象宏塊的各像素，計(jì)算臨時(shí)殘余 陣列(tempc[x,y])的條目的步驟(i)，而包括步驟(1)，按照分辨率的分?jǐn)?shù)間隔，計(jì)算與上述預(yù)測(cè)對(duì)象宏塊的各像素相對(duì)應(yīng)的、上述 底層圖像中的y位置(yfC)；步驟O)，根據(jù)上述y位置(yfC)，計(jì)算y位置內(nèi)插中心(yhtC)以及y位置相位 (yFracC)；步驟(3)，將上述底層圖像的殘余陣列(resBase。[x，y])中的y坐標(biāo)為上述y位置內(nèi)插 中心(ylntC)時(shí)的條目作為中心，并運(yùn)用基于上述y位置相位(yFracC)的內(nèi)插濾波處理， 來計(jì)算上述臨時(shí)殘余陣列(temp。[X，y])的條目， 且上述步驟(c)還作為對(duì)應(yīng)上述增強(qiáng)層圖像中的上述預(yù)測(cè)對(duì)象宏塊的各像素，來計(jì)算上 述增強(qiáng)層圖像的殘余陣列(reSft~ed。[X，y])的條目的步驟(ii)，而包括步驟G)，按照分辨率的分?jǐn)?shù)間隔，計(jì)算與上述預(yù)測(cè)對(duì)象宏塊的各像素相對(duì)應(yīng)的、上述 底層圖像中的χ位置(XfC)；步驟(5)，根據(jù)上述χ位置(XfC)，計(jì)算χ位置內(nèi)插中心OdntC)以及χ位置相位 (xFracC)；步驟(6)，將上述臨時(shí)殘余陣列(temp。[x，y])中的χ坐標(biāo)為上述χ位置內(nèi)插中心 (XlntC)時(shí)的條目作為中心，并運(yùn)用基于上述χ位置相位(xFracC)的內(nèi)插濾波處理，來計(jì)算 上述增強(qiáng)層圖像的殘余陣列(reSft~ed。[X，y])的條目。
全文摘要
本發(fā)明的實(shí)施例包括使用直接內(nèi)插進(jìn)行圖像上采樣的系統(tǒng)和方法。本發(fā)明的一些實(shí)施例提供了一種被設(shè)計(jì)用于h.264/MPEG-4 AVC的可縮放視頻編碼擴(kuò)展的上采樣過程。
文檔編號(hào)H04N7/50GK102075755SQ201110029449
公開日2011年5月25日 申請(qǐng)日期2006年2月28日 優(yōu)先權(quán)日2005年3月18日
發(fā)明者孫式軍 申請(qǐng)人:夏普株式會(huì)社