專利名稱：基于網(wǎng)格的立體視頻空間可分級編碼器及其編碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于通信技術(shù)領(lǐng)域，涉及視頻處理，特別是涉及立體視頻的 空間可分級壓縮編碼器，可用于使解碼端根據(jù)不同的需求顯示不同分辨 率大小的單目和雙目視頻。
背景技術(shù)：
隨著多媒體的發(fā)展，視頻業(yè)務(wù)將是未來通信的主要業(yè)務(wù)。視頻分為 單目視頻和雙目視頻。單目視頻只能提供平面信息，而不能提供具有深
度的圖像；雙目視頻通過提供立體信息，給用戶一種身臨其境的感覺， 用戶能獲得更好的視覺效果，但雙目信息量大，通信帶寬資源十分有限， 如何有效地壓縮立體視頻成為立體視頻廣泛應(yīng)用的一個前提。隨著網(wǎng)絡(luò) 和多媒體的發(fā)展，兩者已密不可分。由于網(wǎng)絡(luò)傳輸條件不穩(wěn)定，要求視 頻編碼碼流能在網(wǎng)絡(luò)上漸進式傳輸，編碼能夠適應(yīng)網(wǎng)絡(luò)的變化，接收端 可以接收到基本質(zhì)量的視頻。目前用戶通過移動設(shè)備訪問多媒體資源的 需求在逐漸增加，由于通信環(huán)境的影響、用戶的需求不同、定購的業(yè)務(wù) 不同和用戶的終端設(shè)備能力不同，每個用戶所需的視頻碼流就不同，解 決這類問題的最好辦法是可分級視頻編碼?？煞旨壱曨l編碼，是指通過 單一編碼器提供不同層次的碼流。該碼流采用分層格式，第一層提供最 基本的解碼質(zhì)量，稱為基本層，其他層提供不同質(zhì)量層次的碼流，這些 層稱為增強層。可分級編碼分為時間可分級、質(zhì)量可分級、空間可分級。 其中空間可分級使碼流適應(yīng)不同分辨率大小的終端設(shè)備。具有低分辨率 的終端只需解碼基本層的碼流，顯示低分辨率的視頻；具有高分辨率的 終端可解碼基本層和增強層，顯示高分辨率的視頻。
目前，空間可分級編碼都是應(yīng)用基于塊方法的運動估計，塊中的每 一個像素具有相同的運動矢量，具有簡單、易于硬件實現(xiàn)的優(yōu)點。由于
每個塊只是考慮簡單的平移，沒有考慮旋轉(zhuǎn)、縮放等運動，因此并不能 反映實際的運動。這使得塊之間的運動不連續(xù)，在低比特編碼情況下，解碼圖像常常出現(xiàn)明顯的塊效應(yīng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述基于塊方法進行空間可分級編碼的不 足，提出了一種基于網(wǎng)格的立體視頻空間可分級編碼器及其編碼方法， 以避免解碼圖像出現(xiàn)的塊效應(yīng)，提高在低比特率下解碼視頻的顯示效 果。
為實現(xiàn)上述目的，本發(fā)明的立體視頻可分級編碼器包括左基本層、 左增強層、右基本層和右增強層，其中
左基本層中設(shè)有I幀網(wǎng)格描述單元、第一網(wǎng)格運動估計單元和第一 網(wǎng)格運動補償單元，用于通過Ddaimay三角形網(wǎng)格的運動估計完成時域 預(yù)測； '
左增強層中設(shè)有第二網(wǎng)格運動估計單元和第二網(wǎng)格補償單元，用于 完成網(wǎng)格時域預(yù)測；
右基本層中設(shè)有第三網(wǎng)格運動估計單元和網(wǎng)格視差估計單元，用于 完成網(wǎng)格時域預(yù)測和網(wǎng)格視差估計；
右增強層中設(shè)有紋理向上采樣單元，用于完成層間紋理預(yù)測；
所述的編碼器左基本層輸出網(wǎng)格節(jié)點運動矢量、本地恢復(fù)的紋理信 息和基本層的殘差信息到左增強層中，輸出網(wǎng)格節(jié)點的視差矢量到右基 本層中；右基本層輸出本地恢復(fù)的紋理信息到右增強層中。
為實現(xiàn)上述目的，本發(fā)明的立體視頻可分級編碼方法，包括如下步
驟
(1) 下采樣輸入的高分辨率立體視頻，得到低分辨率的左右圖像， 并對I幀左圖像采用DCT編碼，得到I幀低分辨率左恢復(fù)圖像；
(2) 對I幀低分辨率左恢復(fù)圖像進行Delaunay三角形網(wǎng)格剖分；
(3) 左基本層其他幀利用已得到的網(wǎng)格進行網(wǎng)格節(jié)點運動補償，得 到低分辨率左圖像的預(yù)測圖像；
(4) 左增強層將低分辨率圖像中的網(wǎng)格擴展到高分辨率圖像中，得 到高分辨層的網(wǎng)格，利用高分辨層的網(wǎng)格進行網(wǎng)格運動補償和層間紋理 預(yù)測，得到高分辨率左圖像的預(yù)測圖像；(5) 右基本層利用左低分辨圖像中的網(wǎng)格進行網(wǎng)格運動補償和視差 補償，得到低分辨率右圖像的預(yù)測圖像；
(6) 右增強層向上采樣右基本層本地恢復(fù)的圖像，得到高分辨率右 圖像的預(yù)測圖像；
(7) 由原圖像分別減去所述的低分辨率左圖像的預(yù)測圖像、低分辨 率右圖像的預(yù)測圖像和高分辨率右圖像的預(yù)測圖像，得到相對應(yīng)的殘差 圖像；由高分辨率左原圖像減去所述的高分辨率左圖像的預(yù)測圖像，得 到高分辨率左圖像的殘差圖像，并向上采樣低分辨率左圖像的殘差圖 像，得到高分辨率左圖像的預(yù)測殘差圖像，用該高分辨率左圖像的殘差 圖像減去高分辨率左圖像的預(yù)測殘差圖像，得到高分辨率左圖像的最終 殘差圖像；
(8) 對上述每個殘差圖像依次編碼，并將這些編碼數(shù)據(jù)進行復(fù)用形 成最終碼流。
本發(fā)明具有如下優(yōu)點
本發(fā)明由于對左低分辨率恢復(fù)圖像進行Delaimay三角形網(wǎng)格剖分， 因而使編碼端不需要編碼網(wǎng)格節(jié)點的位置，并且使網(wǎng)格節(jié)點能夠分布在 圖像的邊緣處，有利于運動補償；同時由于本發(fā)明采用網(wǎng)格運動估計/ 補償和視差估計/補償，不僅適用旋轉(zhuǎn)、縮放等復(fù)雜運動，而且更能反映 實際的運動，有利于預(yù)測當前編碼圖像，得到的運動矢量光滑，在低比 特下編碼情況下，塊效應(yīng)不明顯，解碼視頻顯示效果好；此外由于本發(fā) 明生成的碼流包含了對應(yīng)左右高低分辨率的碼流，用戶可以根據(jù)設(shè)備能 力解碼不同的碼流，即平面需求解碼不同分辨率的單目視頻，立體顯示 需求解碼不同分辨率的雙目視頻，以觀看立體視頻。


圖1為本發(fā)明左通道空間可分級編碼器結(jié)構(gòu)框圖； 圖2為本發(fā)明右通道空間可分級編碼器結(jié)構(gòu)框圖； 圖3為本發(fā)明編碼器不同幀的幀模式分布示意圖； 圖4為本發(fā)明編碼方法流程圖； 圖5為本發(fā)明編碼方法中的運動估計示意圖；圖6為本發(fā)明編碼方法中低分辨率的網(wǎng)格擴展示意圖。
具體實施例方式
參照圖1和圖2，本發(fā)明的編碼器包括左通道空間可分級和右通道 空間可分級編碼，共分為四個層次，即左通道空間可分級設(shè)有左基本層 和左增強層；右通道空間可分級設(shè)有右基本層和右增強層。本發(fā)明編碼 器的幀模式分布如圖3所示。其中I幀采用DCT的方法直接編碼；P幀 選擇時域預(yù)測、層間紋理預(yù)測、視差預(yù)測中的一種；B幀聯(lián)合考慮這三 種預(yù)測中的兩種預(yù)測。
所述的左基本層由向下采樣單元1、第一減法單元2、第一模式選 擇開關(guān)3、第二模式選擇開關(guān)7、第一變換與量化單元4、第一反量化與 反變換單元5、第一變長編碼單元6、第一加法單元8、第一幀存單元9、 I幀網(wǎng)格描述單元10、第一網(wǎng)格運動估計單元11和第一網(wǎng)格運動補償單 元12連接構(gòu)成。輸入的左通道視頻首先經(jīng)過向下采樣單元1得到基本 層的圖像。左基本層輸入幀采用I幀編碼模式時，第一模式選擇開關(guān)3 選擇I幀模式，該幀通過第一變換和量化單元4得到量化系數(shù)，經(jīng)過第 一變長編碼單元6得到可變長的碼流。同時量化系數(shù)經(jīng)過第一反量化和 反變換單元5得到本地解碼的紋理信息。在I幀模式下，該紋理信息是 圖像的像素值信息，所以第二模式選擇開關(guān)開關(guān)7選擇I幀模式方向， 得到的本地解碼圖像。該本地解碼圖像存儲到第一幀存儲器單元9中， 供下一 P幀進行運動估計，并且由I幀網(wǎng)格描述單元單元IO對該I幀進 行Ddaunay三角形網(wǎng)格剖分，得到網(wǎng)格節(jié)點的分布。當左基本層輸入幀 采用P幀編碼模式時，第一模式選擇開關(guān)3選擇P幀模式。首先把本地 解碼中的前一幀作為參考幀，由第一網(wǎng)格運動估單元11進行前向網(wǎng)格 運動估計，得到每一個節(jié)點的運動矢量，由仿射變換得到每個像素的運 動矢量，這些節(jié)點的運動矢量由第一變長編碼單元6進行編碼。第一運 動補償單元12根據(jù)第一網(wǎng)格運動估計單元11的運動得到當前幀的預(yù)測 圖像。原基本層經(jīng)過第一減法單元2減去預(yù)測圖像得到基本層的殘差圖 像，經(jīng)過變換、量化、變長編碼得到對應(yīng)的碼流。量化之后的系數(shù)經(jīng)過 第一反量化與反變換單元5并在第一加法單元8與預(yù)測圖像相加得到本地解碼圖像，存儲于第一幀存儲器單元9中。
所述的左增強層由第二網(wǎng)格運動估計13、第二網(wǎng)格運動補償單元14、第一向上采樣單元15和第二向上采樣單元20、第一加權(quán)平均單元16、第一預(yù)測選擇單元17、第二減法單元18和第三減法單元19、第二變換與量^:單元21、第二反量化和反變換單元22、第二加法單元23、第二幀存單元24和第二變長編碼單元25連接構(gòu)成。當對應(yīng)的左基本層幀采用I幀編碼模式時，增強層幀選擇開關(guān)采用P幀編碼模式。基本層中存儲的第一幀存儲單元9經(jīng)過第一向上采樣單元15得到增強層的預(yù)測圖像，第一預(yù)測選擇單元17中只選擇輸入的向上采樣信息。原視頻圖像在第二減法單元18中減去預(yù)測圖像得到殘差圖像。殘差圖像通過第二變化與量化單元21得到量化系數(shù)，經(jīng)第二變長編碼單元25得到對應(yīng)的碼流。量化系數(shù)通過第二反量化與反變換單元22得到解碼紋理，并在第二加法單元23與預(yù)測圖像相加，得到本地解碼圖像，存儲在第二幀存單元24中。當對應(yīng)的左基本層幀采用P幀編碼模式時，增強層采用B幀編碼模式。該幀采用聯(lián)合時域預(yù)測和層間紋理預(yù)測的方法。由基本層中的網(wǎng)格按照圖4中的方法擴展到高分辨率圖像中，對基本層中的運動矢量乘2作為增強層中節(jié)點的初始運動，在第二運動估計單元13再進行一個小范圍之內(nèi)的運動提升。每個節(jié)點的運動提升矢量進行變長編碼。第二運動補償單元14由節(jié)點的運動矢量得到時域預(yù)測圖像。同時在第一向上采樣單元15中由基本層中的第一幀存單元9的向上采樣作為層間紋理預(yù)測。第一預(yù)測選擇單元17通過在時域預(yù)測圖像、層間紋理預(yù)測和第一加權(quán)平均單元16中的兩者之平均中以宏塊為單位選擇最好的預(yù)測。然后經(jīng)過第二減法單元18得到殘差圖像，該殘差圖像與基本層中第一反量化與反變換單元5的第二向上采樣單元20與第三減法單元19相減得到最終殘差圖像，對此殘差圖像進行相應(yīng)的編碼。對該編碼碼流進行相反的過程得到本地恢復(fù)圖像，存儲于第二幀存單元24中。
所述的右基本層由向下采樣單元、網(wǎng)格視差估計和補償單元26、網(wǎng)格運動估計和補償單元27、第二加權(quán)單元28、第二預(yù)測選擇單元29、第三模式選擇開關(guān)單元30和第四模式選擇開關(guān)單元31、第四減法單元32、第三變換與量化單元33、第三反量化與反變換單元34、第三加法單元35、第三幀存單元36、第三變長編碼單元37連接構(gòu)成。首先由右圖像經(jīng)下采樣得到右基本層的圖像。當對應(yīng)的左基本層幀采用I幀編碼模式時，右基本層第三模式選擇開關(guān)單元30采用P幀編碼模式。在網(wǎng)格視差估計和補償單元26中由對應(yīng)左基本層中的網(wǎng)格和左基本層中的第一幀存單元9得到右圖像的基本層預(yù)測圖像。第三變長編碼單元37對量化系數(shù)進行編碼得到編碼碼流。原始基本層在第四減法單元32中減去預(yù)測圖像得到殘差圖像，經(jīng)第三變換與量化單元33得到量化系數(shù)，該量化系數(shù)經(jīng)反量化、反變換單元34得到恢復(fù)殘差圖像。恢復(fù)殘差圖像再經(jīng)過第三加法單元35與預(yù)測圖像相加，得到本地恢復(fù)圖像，存儲于第三幀存單元36中。當對應(yīng)的左基本層幀采用P幀編碼模式時，右基本層第三模式選擇開關(guān)單元30選擇采用B幀編碼模式。網(wǎng)格運動估計和補償單元27由上一幀的網(wǎng)格進行本幀的時域預(yù)測。網(wǎng)格視差估計和補償單元26由左基本層得到視差預(yù)測圖像。第二預(yù)測選擇單元29在時域預(yù)測、視差預(yù)測和第二加權(quán)單元28中的兩者之平均中以宏塊為單位選擇最終的預(yù)測圖像，并得到最終的殘差圖像。該殘差圖像經(jīng)第三變換與量化單元33得到最終碼流。該碼流經(jīng)相反的過程得到右基本層本地恢復(fù)圖像，存儲于第三幀存儲單元36中。
所述的右增強層由第三向上采樣單元38、第五減法單元39和第四變換與量化單元40連接構(gòu)成。右通道的增強層統(tǒng)一采用P幀模式。對應(yīng)的基本層解碼圖像經(jīng)向上采樣單元38得到增強層的層間預(yù)測圖像。右增強層在第五減法單元39減去這個預(yù)測圖像得到殘差，在第四變換與量化單元40變換、量化得到量化系數(shù)。該量化系數(shù)通過第三變長編碼單元37中編碼。
參照圖4，本發(fā)明編碼方法包括如下步驟
步驟l，向下采樣輸入的高分辨率立體視頻，獲取I幀左恢復(fù)圖像。通過隔點采樣的方法向下采樣輸入的高分辨率立體視頻，分別得到低分辨率的左圖像和低分辨率的右圖像，并對I幀左圖像進行DCT編碼得到I幀低分辨率的左恢復(fù)圖像。
步驟2，對I幀低分辨率的左恢復(fù)圖像進行Delaunay三角形網(wǎng)格剖分。
2. 1)將I幀低分辨率左恢復(fù)圖像的四個角點形成兩個三角形。 由I幀低分辨率左恢復(fù)圖像首先找到該圖像的四個角點；再將左上 角點、左下角點和右下角點三個節(jié)點構(gòu)成第一個三角形；最后將左上角 點、右上角點和右下角點三個節(jié)點構(gòu)成第二個三角形。 2.2)找到其他網(wǎng)格節(jié)點并構(gòu)成三角形網(wǎng)格。
在已有三角形中找到方差最大的那個三角形作為需要插入新節(jié)點 的候選三角形。在這個三角形中利用Laplace算子檢測灰度變化最大的 點，并計算該點與己有的節(jié)點的距離，如果該距離大于一個常數(shù)D，則 將該點作為新插入點，重新生成Delaunay三角形網(wǎng)格；如果該距離小于 D，則該點為無效點，在己有三角形中找方差其次的三角形，在該三角 形中用Laplace算子檢領(lǐng)!l，得到新插入點，重新生成Delaunay三角形網(wǎng) 格。重復(fù)以上過程，直到插入點的數(shù)目達到最大數(shù)iV要求為止。
步驟3，利用網(wǎng)格節(jié)點運動估計和補償?shù)玫阶蠡緦又衅渌麕念A(yù) 測圖像。
對于編碼左基本層中的P幀，以左低分辨率恢復(fù)圖像為參考圖像， 采用己得到的網(wǎng)格進行網(wǎng)格節(jié)點運動估計和補償，得到低分辨率左圖像 的預(yù)測圖像，其具體過程采用如圖5所述的傘形匹配搜索。
3.1) 對每個節(jié)點用塊匹配的方法得到每個節(jié)點的初始運動，如圖 5(a) 圖5 (b);
3.2) 固定每個節(jié)點的周邊節(jié)點，在傘形區(qū)域之內(nèi)移動節(jié)點F，對變 形后的每一個三角形用六參數(shù)仿射公式進行變換
Ay = a21x + a22_y + a23 (工)
式中，以AABF為例，(x,y)表示AABF內(nèi)部原像素的坐標，(Ax, Ay) 表示AABF中三節(jié)點分別至UAA，B，F(xiàn)"對應(yīng)三節(jié)點的位移，由三個頂點A、 B、 F的運動矢量得到六個參數(shù)，從而得到三角形內(nèi)部每個像素的運動根據(jù)這些運動矢量由參考圖像預(yù)測當前幀圖像得到預(yù)測圖像，選擇
使F'所在的傘形中，預(yù)測圖像與當前圖像的誤差最小的位置F"作為節(jié) 點F，的新位置，如圖5(b) 圖5(c)。
所述的3.2)可進行多次迭代，直到節(jié)點位置不變?yōu)橹?。在進行運 動估計時，節(jié)點F的位置必須限制在傘形ABCDE的區(qū)域之內(nèi)，以保證 整個Delaunay三角形網(wǎng)格的拓撲結(jié)構(gòu)不變。
3. 3)利用網(wǎng)格運動估計得到的所有節(jié)點的運動矢量和仿射變換公 式，由參考圖像進行網(wǎng)格運動補償?shù)玫疆斍暗头直媛蕩髨D像的預(yù)測圖
步驟4，左增強層利用網(wǎng)格運動補償和層間紋理預(yù)測，得到左增強 層的預(yù)測圖像。
左增強層采用圖6所示的擴展方法，將低分辨的網(wǎng)格中四個角點外 的節(jié)點位置乘以2，作為高分辨率的網(wǎng)格節(jié)點位置，并將網(wǎng)格中的四個 角點直接搬移到高分辨率對應(yīng)的四個角點處，得到高分辨層的網(wǎng)格。
對于左增強層中的P幀，編碼器中的左增強層將左低分辨率的圖像 向上采樣作為左高分辨率圖像的預(yù)測圖像；對于左增強層中的B幀編碼 方式，編碼器中的左增強層以同一層中前一幀圖像為參考，利用高分辨 層的網(wǎng)格進行網(wǎng)格運動補償?shù)玫綍r域預(yù)測圖像，同時利用低分辨率的已 恢復(fù)的圖像向上采樣得到層間紋理預(yù)測，取兩種預(yù)測和它們的平均三者 中預(yù)測誤差最小的作為最終高分辨率左圖像的預(yù)測圖像。
步驟5，右基本層利用網(wǎng)格運動補償和網(wǎng)格視差補償?shù)玫接一緦?的預(yù)測圖像。
對于右基本層的P幀，以左低分辨率恢復(fù)圖像為參考和左低分辨率 圖像中的網(wǎng)格采用傘形匹配搜索得到每個網(wǎng)格節(jié)點的視差信息，然后由 節(jié)點視差和仿射變換得到視差預(yù)測圖像；
對于右基本層的B幀，除了采用以上得到的視差預(yù)測圖像，同時采 用前一幀的網(wǎng)格進行網(wǎng)格運動補償?shù)玫綍r域預(yù)測圖像；取兩種預(yù)測圖像 和它們的平均圖像中與原圖像誤差最小的圖像，作為最終低分辨率右圖像的預(yù)測圖像。
步驟6，右增強層利用右基本層的信息編碼得到右增強層的預(yù)測圖像。
右增強層統(tǒng)一采用B幀方式，通過向上采樣右基本層本地恢復(fù)的圖 像，得到高分辨率右圖像的預(yù)測圖像。 步驟7,獲得所有殘差圖像。
7.1) 由低分辨率左原圖像減去低分辨率左圖像的預(yù)測圖像，得到 低分辨率左圖像的殘差圖像；
7.2) 由高分辨率左原圖像減去高分辨率左圖像的預(yù)測圖像，得到 高分辨率左圖像的殘差圖像，同時向上采樣以上所述的低分辨率左圖像 的殘差圖像，作為高分辨率左圖像的預(yù)測殘差圖像。用高分辨率左圖像 的殘差圖像減去高分辨率左圖像的預(yù)測殘差圖像得到高分辨率左圖像 最終殘差圖像；
7.3) 由低分辨率右原圖像減去低分辨率右圖像的預(yù)測圖像，得到 低分辨率右圖像的殘差圖像；
7.4) 由高分辨率右原圖像減去高分辨率右圖像的預(yù)測圖像，得到 高分辨率左圖像的殘差圖像；
步驟8，對上述所有的殘差圖像進行編碼，復(fù)合成一個碼流。 編碼低分辨率左圖像的殘差圖像、高分辨率左圖像最終殘差圖像、 低分辨率右圖像的殘差圖像和高分辨率左圖像的殘差圖像得到低分辨 率左圖像所對應(yīng)的碼流、高分辨率左圖像所對應(yīng)的碼流、低分辨率右圖 像所對應(yīng)的碼流和高分辨率右圖像所對應(yīng)的碼流；將這些碼流組成一個 復(fù)合碼流，形成最終碼流。
權(quán)利要求
1. 一種基于網(wǎng)格的立體視頻空間可分級編碼器，包括左基本層、左增強層、右基本層和右增強層，其特征在于左基本層中設(shè)有I幀網(wǎng)格描述單元(10)、第一網(wǎng)格運動估計單元(11)和第一網(wǎng)格運動補償單元(12)，用于通過Delaunay三角形網(wǎng)格的運動補償完成時域預(yù)測；左增強層中設(shè)有第二網(wǎng)格運動估計單元(13)和第二網(wǎng)格補償單元(14)，用于完成網(wǎng)格時域預(yù)測；右基本層中設(shè)有第三網(wǎng)格運動估計單元(27)和網(wǎng)格視差估計單元(26)，用于完成網(wǎng)格時域預(yù)測和網(wǎng)格視差補償；右增強層中設(shè)有紋理向上采樣單元(28)，用于完成層間紋理預(yù)測；所述的編碼器左基本層輸出網(wǎng)格節(jié)點運動矢量、本地恢復(fù)的紋理信息和基本層的殘差信息到左增強層中，輸出網(wǎng)格節(jié)點的視差矢量到右基本層中；右基本層輸出本地恢復(fù)的紋理信息到右增強層中。
2. —種基于網(wǎng)格的立體視頻空間可分級編碼方法，包括如下步驟(1) 下采樣輸入的高分辨率立體視頻，得到低分辨率的左右圖像，并對I幀左圖像采用DCT編碼，得到I幀低分辨率左恢復(fù)圖像；(2) 對I幀低分辨率左恢復(fù)圖像進行Delaunay三角形網(wǎng)格剖分；(3) 左基本層其他幀利用己得到的網(wǎng)格進行網(wǎng)格節(jié)點運動補償，得到 低分辨率左圖像的預(yù)測圖像；(4) 左增強層將低分辨率圖像中的網(wǎng)格擴展到高分辨率圖像中，得到 高分辨層的網(wǎng)格，利用高分辨層的網(wǎng)格進行網(wǎng)格運動補償和層間紋理預(yù) 測，得到高分辨率左圖像的預(yù)測圖像；(5) 右基本層利用左低分辨圖像中的網(wǎng)格進行網(wǎng)格運動補償和視差補 償，得到低分辨率右圖像的預(yù)測圖像；(6) 右增強層向上采樣右基本層本地恢復(fù)的圖像，得到高分辨率右圖 像的預(yù)測圖像；(7) 由原圖像分別減去所述的低分辨率左圖像的預(yù)測圖像、低分辨率右圖像的預(yù)測圖像和高分辨率右圖像的預(yù)測圖像，得到相對應(yīng)的殘差圖像；由高分辨率左原圖像減去所述的高分辨率左圖像的預(yù)測圖像，得到高 分辨率左圖像的殘差圖像，并向上采樣低分辨率左圖像的殘差圖像，得到 高分辨率左圖像的預(yù)測殘差圖像,用該高分辨率左圖像的殘差圖像減去高 分辨率左圖像的預(yù)測殘差圖像，得到高分辨率左圖像的最終殘差圖像；(8)對上述每個殘差圖像依次編碼，并將這些編碼數(shù)據(jù)進行復(fù)用形成 最終碼流。
3. 根據(jù)權(quán)利要求2所述的立體視頻空間可分級編碼方法，其中步驟(2) 所述的對第一幀低分辨率左圖像進行Delaunay三角形網(wǎng)格剖分，按 如下步驟進行(3a)將低分辨率左圖像的四個角點形成兩個三角形；(3b)在己有的三角形中找到灰度方差最大的那個三角形，用Laplace算子檢測出該三角形中灰度變化最大的像素點作為新插入點，對所有節(jié)點形成Delaunay三角形網(wǎng)格；(3c)重復(fù)步驟(3b),直到節(jié)點的個數(shù)達到最大數(shù)N為止。
4. 根據(jù)權(quán)利要求2所述的立體視頻空間可分級編碼方法，其中步驟(3) 所述的左基本層利用已得到的網(wǎng)格進行網(wǎng)格節(jié)點運動補償，按如下 傘形匹配搜索的步驟進行(4a)對參考幀中所有的網(wǎng)格節(jié)點在其鄰域找當前幀對應(yīng)的節(jié)點，將這 些節(jié)點的位置變化作為節(jié)點的初始運動矢量；(4b)依次處理所有的節(jié)點，固定該節(jié)點的相連節(jié)點的位置，移動該節(jié) 點的位置，利用仿射變換找到使該節(jié)點和它相連的節(jié)點所形成的區(qū)域誤差 最小的位置，作為節(jié)點的新位置；(4c)重復(fù)步驟(4b)，直到網(wǎng)格節(jié)點位置不變?yōu)橹?，得到?jié)點的最終 運動矢量；(4d)由網(wǎng)格節(jié)點的運動矢量和仿射變換得到當前幀的預(yù)測圖像。
5. 根據(jù)權(quán)利要求2所述的立體視頻空間可分級編碼方法，其中步驟(4) 所述的將低分辨率圖像中的網(wǎng)格擴展到高分辨率圖像，是將低分辨 的網(wǎng)格四個角點外的節(jié)點位置乘以2，作為高分辨率的網(wǎng)格節(jié)點位置，并將網(wǎng)格中的四個角點直接搬移到高分辨率對應(yīng)的四個角點處。
6.根據(jù)權(quán)利要求2所述的立體視頻空間可分級編碼方法，其 中步驟(5)所述的右基本層利用左低分辨圖像中的網(wǎng)格進行網(wǎng)格運動補 償和視差補償按如下步驟進行(6a)網(wǎng)格運動補償采用本層中的前一幀作為參考圖像，進行所述的傘 形匹配搜索，得到時域預(yù)測圖像；(6b)網(wǎng)格視差補償以對應(yīng)的左低分辨率圖像作為參考圖像，進行所述 的傘形匹配搜索，得到視差預(yù)測圖像；(6c)選擇以上兩種預(yù)測圖像中預(yù)測誤差最小的作為右基本層的最終預(yù) 測圖像。
全文摘要
本發(fā)明公開了一種基于網(wǎng)格的立體視頻空間可分級編碼器及其編碼方法。它屬于圖像壓縮技術(shù)領(lǐng)域，主要解決現(xiàn)有可分級編碼器基于塊方法產(chǎn)生的塊效應(yīng)問題。該編碼器首先對左低分辨率恢復(fù)圖像進行Delaunay三角形剖分，得到三角形網(wǎng)格；再應(yīng)用基于網(wǎng)格的運動補償和視差補償預(yù)測當前編碼圖像，以左通道低分辨率恢復(fù)圖像為參考圖像；通過網(wǎng)格節(jié)點的運動信息和視差信息得到左通道不同分辨率和右通道不同分辨率的預(yù)測圖像；由原圖像分別減去這些預(yù)測圖像得到對應(yīng)的殘差圖像；再對這些殘差圖像分別編碼，形成一個復(fù)合碼流。本發(fā)明不僅能實現(xiàn)可分級的功能，而且能減少基于塊方法產(chǎn)生的塊效應(yīng)，可用于使解碼端根據(jù)不同的需求顯示不同分辨率大小的單目和雙目視頻。
文檔編號H04N7/26GK101511017SQ20091002161
公開日2009年8月19日 申請日期2009年3月20日 優(yōu)先權(quán)日2009年3月20日
發(fā)明者盧朝陽, 靜 李, 焦衛(wèi)東, 胡星星, 郭大波, 韓軍功, 高全學(xué) 申請人:西安電子科技大學(xué)