專利名稱：一種多視點視頻的處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻的處理方法，尤其是涉及一種多視點視頻的處理方法。
技術(shù)背景在真實世界中，觀察者所看到的視覺內(nèi)容取決于觀察者相對于被觀察對象的位置， 觀察者可以自由地選擇各個不同的角度去觀察和分析事物。在傳統(tǒng)的視頻系統(tǒng)中，真實 的場景相對于一個視點的畫面是由攝像師或?qū)а葸x擇決定的，用戶只能被動地觀看攝像 機(jī)在單一視點上所攝制的視頻圖像序列，而不能自由選擇其它視點來觀察真實場景。這 些單方向上的視頻序列只能反映真實世界場景的一個側(cè)面。自由視點視頻系統(tǒng)可以使用 戶自由地選擇視點去觀看真實世界場景中的一定范圍內(nèi)的任意側(cè)面，被國際標(biāo)準(zhǔn)組織 MPEG (Moving Picture Experts Group,運動圖像專家組)稱為下一代視頻系統(tǒng)的發(fā)展方 向。多視點視頻技術(shù)是自由視點視頻技術(shù)中的一個核心環(huán)節(jié)，它能提供所拍攝場景的不 同角度的視頻信息。圖1為多視點平行相機(jī)系統(tǒng)成像示意圖，其中n+1個相機(jī)(或攝像 機(jī))被平行地放置以拍攝多視點視頻。利用多視點視頻信號中多個視點的信息可以合成 用戶所選擇的任意視點的視頻信息，達(dá)到自由切換任意視點視頻的目的。但是多視點視 頻信號的數(shù)據(jù)量隨著視點數(shù)目的增加而成倍增加，因此需要相應(yīng)的多視點視頻編碼壓縮 技術(shù)來減少其龐大的數(shù)據(jù)量，以節(jié)省多視點視頻信號傳送的帶寬和存儲的空間。另一方 面，由于在采集過程中各相機(jī)的場景光照、相機(jī)CCD噪聲、快門速度和曝光等要素不 一致，會導(dǎo)致不同相機(jī)采集的視頻圖像的顏色值差別很大，降低了后續(xù)多視點視頻編碼 的性能和虛擬視點繪制的質(zhì)量。針對上述存在的問題，目前提出了一種典型的多視點視頻的處理方法，如圖2所示， 在服務(wù)端，首先對多個相機(jī)采集得到的多視點視頻進(jìn)行顏色校正，然后對校正后的視頻 進(jìn)行多視點視頻編碼，編碼后的視頻通過網(wǎng)絡(luò)進(jìn)行傳輸；在客戶端，對接收到的編碼后 的視頻進(jìn)行解碼，并在解碼的視點間繪制虛擬視點視頻圖像?，F(xiàn)有的多視點顏色校正方法通常在全局的圖像間或在圖像最相似的區(qū)域間建立顏 色映射關(guān)系，區(qū)域間的顏色映射需要將目標(biāo)圖像和源圖像進(jìn)行聚類分割，在最相似的區(qū) 域間建立顏色映射關(guān)系，并以此映射關(guān)系對源圖像進(jìn)行校正。但這種顏色校正方法的精 度較低。而目前，在現(xiàn)有的顏色校正過程中利用的前背景信息通常是采用視差估計或區(qū)域分割前背景分離手段來實現(xiàn)的，前背景分離的精度與視差估計或區(qū)域分割的計算能力 有關(guān)，對于這兩種前背景分離方法來講，要提高精度需耗費大量的計算能力。針對多視點視頻編碼，目前JVT( Joint Video Team,聯(lián)合視頻編碼組)開發(fā)的JMVM (Joint Multiview Video Model,聯(lián)合多視點視頻模型)，推薦采用亮度補(bǔ)償方法。該方法 通過對編碼宏塊加權(quán)預(yù)測來補(bǔ)償視差估計和補(bǔ)償預(yù)測殘差，從而來提高編碼壓縮效率， 但采用這種方法，其解碼后的多視點視頻圖像的顏色仍然不能達(dá)到一致性，并且亮度補(bǔ) 償對編碼性能的提高并不是很大。發(fā)明內(nèi)容本發(fā)明所要解決的技術(shù)問題是提供一種能夠有效地保證解碼后的多視點視頻圖像 的顏色一致性，同時提高多視點視頻的編碼性能的多視點視頻的處理方法。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為 一種多視點視頻的處理方法，它的 處理過程為對由具有"+l個相機(jī)的多視點相機(jī)系統(tǒng)在同一時刻拍攝的多視點視頻在進(jìn) 行多視點視頻編碼處理過程中進(jìn)行視頻顏色校正處理，再將處理后的多視點視頻通過網(wǎng) 絡(luò)傳輸，最后在解碼的視點間繪制虛擬視點視頻圖像。所述的在進(jìn)行多視點視頻編碼處理過程中進(jìn)行視頻顏色校正處理的具體步驟為(1) 將由具有"+l個相機(jī)的多視點相機(jī)系統(tǒng)在同一時刻拍攝的多視點視頻，在時 域上以幀組為編碼單元進(jìn)行處理，根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，將一幀組內(nèi)I幀所處的視 點定義為參考視點，記為i ，其他的視點定義為源視點，記為S;(2) 判斷需編碼的當(dāng)前幀組是否為第一個幀組，如果是，則根據(jù)設(shè)定的編碼預(yù)測 結(jié)構(gòu)，對參考視點的參考視點視頻和源視點的源視點視頻在時域上和空域上進(jìn)行編碼預(yù) 測，并執(zhí)行步驟(5);否則，繼續(xù)執(zhí)行；(3) 利用前一個幀組的參考視點和源視點的前背景分離信息，對當(dāng)前幀組的源視 點視頻進(jìn)行顏色校正；(4) 根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，對參考視點視頻和顏色校正后的源視點視頻在時 域和空域上進(jìn)行編碼預(yù)測；(5) 根據(jù)當(dāng)前幀組內(nèi)的每幀中的每個宏塊采用的編碼模式信息，分別對參考視點 和源視點進(jìn)行前背景分離處理，得到當(dāng)前幀組的參考視點和源視點的前背景分離信息；(6) 判斷當(dāng)前幀組是否為最后一個幀組，如果是，則結(jié)束；否則，跳轉(zhuǎn)步驟(3) 對下一個幀組進(jìn)行處理。所述的步驟(5)中的前背景分離處理包括以下步驟a.統(tǒng)計同一視點的不同位置的宏塊，在幀組內(nèi)的每幀中采用P幀或B幀編碼的編碼模式，如果一宏塊在所有幀中的編碼模式都為SKIP模式，則確定該宏塊屬于背景； 否則，確定該宏塊屬于前景，得到初始的前背景分離信息；b.對初始的前背景分離信息進(jìn)行平滑，如果當(dāng)前宏塊屬于前景，且與其相鄰的左宏 塊、右宏塊、上宏塊和下宏塊中至少有三個宏塊屬于背景，則確定該當(dāng)前宏塊為孤立的 前景宏塊，修改該當(dāng)前宏塊使其屬于背景；如果當(dāng)前宏塊屬于背景，且與其相鄰的左宏 塊、右宏塊、上宏塊和下宏塊中至少有三個宏塊屬于前景，則確定該當(dāng)前宏塊為孤立的 背景宏塊，修改該當(dāng)前宏塊使其屬于前景，得到平滑的前背景分離信息。所述的步驟(3)中的對當(dāng)前幀組的源視點視頻進(jìn)行顏色校正的具體過程為利用 前一個幀組的參考視點和源視點的前背景分離信息，獲取參考視點的每幀參考圖像的第 l個分量y，第2個分量t/和第3個分量格背景區(qū)域的均值和標(biāo)準(zhǔn)差，以及源視點的每幀 源圖像的第l個分量r，第2個分量^/和第3個分量J/^背景區(qū)域的均值和標(biāo)準(zhǔn)差，然后對源圖像的y， f/和r各分量分別進(jìn)行顏色校正，/f(x,力-《(/f(x,力-;/f) + W ，其中/,(x， 力為源圖像的第/個分量的顏色值，/產(chǎn)Oc,力為顏色校正后的校正圖像的第/個分量的顏色值，P,為參考圖像的第Z'個分量在背景區(qū)域的均值，(T,為參考圖像的第/個分量在背景區(qū) 域的標(biāo)準(zhǔn)差，p,為源圖像的第/個分量在背景區(qū)域的均值，(^為源圖像的第/個分量在背景區(qū)域的標(biāo)準(zhǔn)差，/=1,2,3。與現(xiàn)有技術(shù)相比，本發(fā)明所提供的一種多視點視頻的處理方法的優(yōu)點在于1) 本發(fā)明方法將顏色校正處理過程嵌入到多視點視頻編碼處理過程中，與典型的先進(jìn)行顏色校正再進(jìn)行視點視頻編碼的方法相比，大大提高了多視點視頻的編碼性能；2) 本發(fā)明利用宏塊的編碼模式信息來進(jìn)行前背景分離處理，與現(xiàn)有的利用視差估 計或區(qū)域分割進(jìn)行前背景分離的方法相比，本發(fā)明方法的前背景分離處理快速而又精 確；3) 本發(fā)明利用背景信息來進(jìn)行顏色校正，與在全局的圖像間或在最相似的區(qū)域間 進(jìn)行顏色傳遞的方法相比，有利于獲得一致的參考平面，更加符合相機(jī)的成像原理，提 高了多視點視頻顏色校正的精度。


圖1為多視點平行相機(jī)系統(tǒng)成像示意圖； 圖2為典型的多視點視頻的處理流程示意圖； 圖3為本發(fā)明多視點視頻的處理方法的流程圖； 圖4為本發(fā)明采用的HBP編碼框架示意圖；圖5a為"flamencol"多視點測試集的參考視點視頻圖像背景標(biāo)記示意圖; 圖5b為"flamencol"多視點測試集的源視點視頻圖像背景標(biāo)記示意圖； 圖6a為"golf2"多視點測試集的參考視點視頻圖像背景標(biāo)記示意圖；圖6b為"golf2"多視點測試集的源視點視頻圖像背景標(biāo)記示意圖；圖7a為"flamencol"多視點測試集的源視點視頻經(jīng)本發(fā)明顏色校正處理后與經(jīng) JMVM不采用亮度補(bǔ)償編碼方法及JMVM采用亮度補(bǔ)償編碼方法處理后的Y分量編碼 率失真性能曲線比較示意圖；圖7b為"flaraencol"多視點測試集的源視點視頻經(jīng)本發(fā)明顏色校正處理后與經(jīng) JMVM不采用亮度補(bǔ)償編碼方法及JMVM采用亮度補(bǔ)償編碼方法處理后的U分量編碼 率失真性能曲線比較示意圖；圖7c為"flamencol"多視點測試集的源視點視頻經(jīng)本發(fā)明顏色校正處理后與經(jīng) JMVM不采用亮度補(bǔ)償編碼方法及JMVM采用亮度補(bǔ)償編碼方法處理后的V分量編碼 率失真性能曲線比較示意圖；圖8a為"golf2"多視點測試集的源視點視頻經(jīng)本發(fā)明顏色校正處理后與經(jīng)JMVM 不采用亮度補(bǔ)償編碼方法及JMVM采用亮度補(bǔ)償編碼方法處理后的Y分量編碼率失真 性能曲線比較示意圖；圖8b為"golf2"多視點測試集的源視點視頻經(jīng)本發(fā)明顏色校正處理后與經(jīng)JMVM 不采用亮度補(bǔ)償編碼方法及JMVM采用亮度補(bǔ)償編碼方法處理后的U分量編碼率失真 性能曲線比較示意圖；圖8c為"golf2"多視點測試集的源視點視頻經(jīng)本發(fā)明顏色校正處理后與經(jīng)JMVM 不采用亮度補(bǔ)償編碼方法及JMVM采用亮度補(bǔ)償編碼方法處理后的V分量編碼率失真 性能曲線比較示意圖；圖9a為"flamencol"多視點測試集經(jīng)JMVM不采用亮度補(bǔ)償編碼方法處理后再解碼 的參考視點視頻圖像；圖％為"flamencol"多視點測試集經(jīng)JMVM不采用亮度補(bǔ)償編碼方法處理后再解碼 的源視點視頻圖像；圖9c為"flamencol"多視點測試集經(jīng)JMVM采用亮度補(bǔ)償編碼方法處理后再解碼的 源視點視頻圖像；圖9d為"flamencol"多視點測試集經(jīng)本發(fā)明方法編碼處理后再解碼的源視點視頻圖像；圖10a為"goIf2"多視點測試集經(jīng)JMVM不采用亮度補(bǔ)償編碼方法處理后再解碼的 參考視點視頻圖像；圖10b為"golf2"多視點測試集經(jīng)JMVM不采用亮度補(bǔ)償編碼方法處理后再解碼的 源視點視頻圖像；圖10c為"golf2"多視點測試集經(jīng)JMVM采用亮度補(bǔ)償編碼方法處理后再解碼的源 視點視頻圖像；圖10d為"golf2"多視點測試集經(jīng)本發(fā)明方法編碼處理后再解碼的源視點視頻圖像。
具體實施方式
以下結(jié)合附圖實施例對本發(fā)明作進(jìn)一步詳細(xì)描述。下面首先描述本發(fā)明所采用的前背景分離的概念和通過背景信息進(jìn)行顏色校正的 過程。目前多視點視頻編碼主要采用JVT (Joint Video Team,聯(lián)合視頻編碼專家組)開發(fā)的 JMVM (Joint Multiview Video Model,聯(lián)合多視點視頻模型)，JMVM的宏塊編碼模式主 要包括SKIP, Motion SKIP, 16x16， 16><8， 8x16, 8x8, Intral6, Intra8， Intra4等編碼模式。其 中，SKIP編碼模式的特征是如果當(dāng)前宏塊的運動矢量為0，并且像素的殘差也為0， 則可以確認(rèn)該當(dāng)前宏塊為SKIP類型的宏塊，當(dāng)前宏塊的像素重構(gòu)值可以直接從前一幀 對應(yīng)宏塊位置拷貝得到。SKIP類型的宏塊為運動視頻中的靜止宏塊，可以確認(rèn)為是背 景區(qū)域的宏塊，從而為快速的前背景分離提供了理論依據(jù)。本發(fā)明采用的前背景分離包括以下步驟-a. 統(tǒng)計同一視點的不同位置的宏塊，在幀組內(nèi)的每幀中采用P幀或B幀編碼的編 碼模式，如果一宏塊在所有幀中的編碼模式都為SKIP模式，則確定該宏塊屬于背景； 否則，確定該宏塊屬于前景，得到初始的前背景分離信息；b. 對初始的前背景分離信息進(jìn)行平滑，如果當(dāng)前宏塊屬于前景，且與其相鄰的左宏 塊、右宏塊、上宏塊和下宏塊中至少有三個宏塊屬于背景，即與當(dāng)前宏塊的分類不一致， 則確定該當(dāng)前宏塊為孤立的前景宏塊，修改該當(dāng)前宏塊使其屬于背景；如果當(dāng)前宏塊屬 于背景，且與其相鄰的左宏塊、右宏塊、上宏塊和下宏塊中至少有三個宏塊屬于前景， 即與當(dāng)前宏塊的分類不一致，則確定該當(dāng)前宏塊為孤立的背景宏塊，修改該當(dāng)前宏塊使 其屬于前景，這樣就消除了一些孤立的前景宏塊或背景宏塊，得到平滑的前背景分離信 息。根據(jù)相機(jī)成像的原理，相機(jī)采集的顏色值是場景中對象的光學(xué)特性、場景光照和相 機(jī)傳感器三個因素共同作用的結(jié)果，多視點成像與單視點成像的區(qū)別在于多視點成像隨 著視點數(shù)目的增加，對三個因素的一致性控制也就越困難。不同相機(jī)的快門速度、曝光 時間、相機(jī)噪聲等很難調(diào)整到完全一致，同一光源對不同位置視點的作用也會不一致， 對于不規(guī)則的場景對象表面，光譜反射系數(shù)隨空間位置的微小變化會產(chǎn)生很大變化。而 根據(jù)背景成像一致性原則，在成像過程中背景對光照、光譜反射系數(shù)的影響相對穩(wěn)定， 將背景與前景進(jìn)行分離，相當(dāng)于獲得不同視點一致的參考平面，因此本發(fā)明方法中采用 的顏色校正的具體過程可描述為利用前一個幀組的參考視點和源視點的前背景分離信 息，獲取參考視點的每幀參考圖像的第1個分量y，第2個分量t/和第3個分量K在背 景區(qū)域的均值和標(biāo)準(zhǔn)差，以及源視點的每幀源圖像的第l個分量y，第2個分量f/和第 3個分量K在背景區(qū)域的均值和標(biāo)準(zhǔn)差，然后對源圖像的y， t/和K各分量分別進(jìn)行顏其中/,(:c,力為源圖像的第/個分量的顏色值，/尸(x,力為顏色校正后的校正圖像的第/個分量的顏色值，//,為參考圖像的第/個分量在 背景區(qū)域的均值，a,為參考圖像的第/個分量在背景區(qū)域的標(biāo)準(zhǔn)差，/^為源圖像的第/ 個分量在背景區(qū)域的均值，cr/為源圖像的第/個分量在背景區(qū)域的標(biāo)準(zhǔn)差，/=1,2,3。在上述前背景分離和基于背景信息進(jìn)行顏色校正的基礎(chǔ)上，結(jié)合圖3本發(fā)明的多視 點視頻的處理方法具體步驟如下(1) 首先將由具有w+l個相機(jī)的多視點相機(jī)系統(tǒng)在同一時刻拍攝的多視點視頻， 在時域上以幀組為編碼單元進(jìn)行處理，根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，將一幀組內(nèi)I幀所處 的視點定義為參考視點，記為i ，其他的視點定義為源視點，記為&在本實施例中設(shè) 定的編碼預(yù)測結(jié)構(gòu)采用JVT推薦的可分級B幀(Hierarchical B-Picture， HBP)編碼預(yù)測結(jié) 構(gòu)，如圖4所示，HBP編碼預(yù)測結(jié)構(gòu)在時間參考和視點間參考間做了比較好的均衡，使 其不論是對時間相關(guān)性強(qiáng)的序列還是對空間相關(guān)強(qiáng)的序列都表現(xiàn)出了較高的編碼性能；(2) 判斷需編碼的當(dāng)前幀組是否為第一個幀組，如果是，則根據(jù)設(shè)定的編碼預(yù)測 結(jié)構(gòu)，對參考視點的參考視點視頻和源視點的源視點視頻在時域上和空域上進(jìn)行編碼預(yù) 測，并執(zhí)行步驟(5);否則，繼續(xù)執(zhí)行；(3) 利用前一個幀組的參考視點和源視點的前背景分離信息，對當(dāng)前幀組的源視 點視頻進(jìn)行顏色校正；(4) 根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，對參考視點視頻和顏色校正后的源視點視頻在時 域和空域上進(jìn)行編碼預(yù)測；(5) 根據(jù)當(dāng)前幀組內(nèi)的每幀中的每個宏塊采用的編碼模式信息，分別對參考視點 和源視點進(jìn)行前背景分離處理，得到當(dāng)前幀組的參考視點和源視點的前背景分離信息；(6) 判斷當(dāng)前幀組是否為最后一個幀組，如果是，則結(jié)束；否則，跳轉(zhuǎn)步驟(3) 對下一個幀組進(jìn)行處理；(7) 將經(jīng)過上述顏色校正和多視點視頻編碼處理后的多視點視頻通過網(wǎng)絡(luò)傳輸， 最后在解碼的視點間繪制虛擬視點視頻圖像。以下就本發(fā)明進(jìn)行多視點視頻編碼的編碼性能及解碼圖像的主觀性能進(jìn)行比較。 對由KDDI公司提供的"flamencol"， "glof2"兩組多視點視頻測試集采用本發(fā)明的多 視點視頻的處理方法。圖5a和圖5b分別給出了"flamencol"多視點測試集的參考視點視 頻圖像和源視點視頻圖像背景標(biāo)記示意圖，圖6a和圖6b分別給出了"golf2"多視點測試 集的參考視點視頻圖像和源視點視頻圖像背景標(biāo)記示意圖，"flamencol"和"glof2"多視點 測試集的參考視點視頻圖像和源視點視頻圖像的圖像尺寸均為320x240， YUV(4:2:0)格 式。從圖5a和圖5b，及圖6a和圖6b中可以看出，圖5a和圖6a所示參考視點視頻圖 像和圖5b和圖6b所示的源視點視頻圖像的顏色外表明顯不一致，對圖5b和圖6b所示的源視點視頻進(jìn)行顏色校正就顯得十分必要，并且采用本發(fā)明的前背景分離方法處理， 能夠較精確地提取出背景信息。將采用本發(fā)明方法的編碼性能，與JMVM不采用亮度補(bǔ)償?shù)木幋a性能與JMVM采 用亮度補(bǔ)償?shù)木幋a性能進(jìn)行比較，設(shè)定量化步長baseQP:22,27,32，37，幀組的尺寸為 15，也即時域上需要編碼的幀數(shù)為15。圖7a、圖7b和圖7c分別給出了"flamencol"多 視點測試集的源視點視頻經(jīng)本發(fā)明顏色校正處理后與經(jīng)JMVM不采用亮度補(bǔ)償編碼方 法及JMVM采用亮度補(bǔ)償編碼方法處理后的Y分量、U分量及V分量編碼率失真性能 曲線比較示意圖，圖8a、 8b和8c分別給出了"golf2"多視點測試集的源視點視頻經(jīng)本發(fā) 明顏色校正處理后與經(jīng)JMVM不采用亮度補(bǔ)償編碼方法及JMVM采用亮度補(bǔ)償編碼方 法處理后的Y分量、U分量及V分量編碼率失真性能曲線比較示意圖，編碼的數(shù)據(jù)格 式為YUV(4:2:0)。對于"flamencol"多視點測試集，采用本發(fā)明方法的Y分量率失真性 能，與JMVM采用亮度補(bǔ)償編碼的率失真性能基本一致，而與JMVM不采用亮度補(bǔ)償 編碼在相同碼率下相比提高了 O.ldB;采用本發(fā)明方法的U分量率失真性能與JMVM采 用亮度補(bǔ)償編碼及JMVM不采用亮度補(bǔ)償編碼在相同碼率下相比提高了 0.2 0.3dB;采 用本發(fā)明方法的V分量率失真性能在相同碼率下提高了 0.25dB;對于"glof2"多視點測 試集，采用本發(fā)明方法的Y分量率失真性能，與JMVM采用亮度補(bǔ)償編碼及JMVM不 采用亮度補(bǔ)償編碼的率失真性能基本一致；采用本發(fā)明方法的U分量率失真性能與 JMVM采用亮度補(bǔ)償編碼及JMVM不采用亮度補(bǔ)償編碼在相同碼率下相比提高了 0.6~0.7dB，采用本發(fā)明方法的V分量率失真性能與JMVM采用亮度補(bǔ)償編碼及JMVM 不采用亮度補(bǔ)償編碼在相同碼率下相比提高了 0.3dB。綜上所述可以看出，采用本發(fā)明 方法處理后，大大提高多視點視頻的編碼性能，說明本發(fā)明方法中采用的顏色校正方法 是有效的。"flamencol"和"golf2"多視點測試集經(jīng)JMVM不采用亮度補(bǔ)償編碼后再解碼的參考 視點視頻圖像和源視點視頻圖像分別如圖9a、圖9b及圖10a、圖10b所示，"flamencol" 和"golf2"多視點測試集經(jīng)JMVM采用亮度補(bǔ)償編碼后再解碼的源視點視頻圖像如圖9c 和圖10c所示，"flamencol"和"golf2"多視點測試集采用本發(fā)明方法編碼后再解碼的源視 點視頻圖像如圖9d和圖10d所示，此處的量化步長baseQP=22，從圖中可以看出，采 用本發(fā)明方法中的顏色校正方法，解碼的源視點視頻圖像的顏色與解碼的參考視點視頻 圖像非常接近，更加適合于后續(xù)的虛擬視點繪制。
權(quán)利要求
1、一種多視點視頻的處理方法，其特征在于它的處理過程為對由具有n+1個相機(jī)的多視點相機(jī)系統(tǒng)在同一時刻拍攝的多視點視頻在進(jìn)行多視點視頻編碼處理過程中進(jìn)行視頻顏色校正處理，再將處理后的多視點視頻通過網(wǎng)絡(luò)傳輸，最后在解碼的視點間繪制虛擬視點視頻圖像。
2、 如權(quán)利要求1所述的一種多視點視頻的處理方法，其特征在于所述的在進(jìn)行多 視點視頻編碼處理過程中進(jìn)行視頻顏色校正處理的具體步驟為-(1) 將由具有W+1個相機(jī)的多視點相機(jī)系統(tǒng)在同一時刻拍攝的多視點視頻，在時 域上以幀組為編碼單元進(jìn)行處理，根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，將一幀組內(nèi)I幀所處的視 點定義為參考視點，記為/ ，其他的視點定義為源視點，記為&(2) 判斷需編碼的當(dāng)前幀組是否為第一個幀組，如果是，則根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，對參考視點的參考視點視頻和源視點的源視點視頻在時域上和空域上進(jìn)行編碼預(yù)測，并執(zhí)行步驟(5);否則，繼續(xù)執(zhí)行；(3) 利用前一個幀組的參考視點和源視點的前背景分離信息，對當(dāng)前幀組的源視 點視頻進(jìn)行顏色校正；(4) 根據(jù)設(shè)定的編碼預(yù)測結(jié)構(gòu)，對參考視點視頻和顏色校正后的源視點視頻在時 域和空域上進(jìn)行編碼預(yù)測；(5) 根據(jù)當(dāng)前幀組內(nèi)的每幀中的每個宏塊采用的編碼模式信息，分別對參考視點 和源視點進(jìn)行前背景分離處理，得到當(dāng)前幀組的參考視點和源視點的前背景分離信息；(6) 判斷當(dāng)前幀組是否為最后一個幀組，如果是，則結(jié)束；否則，跳轉(zhuǎn)步驟(3) 對下一個幀組進(jìn)行處理。
3、 如權(quán)利要求2所述的一種多視點視頻的處理方法，其特征在于所述的步驟(5) 中的前背景分離處理包括以下步驟a. 統(tǒng)計同一視點的不同位置的宏塊，在幀組內(nèi)的每幀中采用P幀或B幀編碼的編 碼模式，如果一宏塊在所有幀中的編碼模式都為SKIP模式，則確定該宏塊屬于背景； 否則，確定該宏塊屬于前景，得到初始的前背景分離信息；b. 對初始的前背景分離信息進(jìn)行平滑，如果當(dāng)前宏塊屬于前景，且與其相鄰的左宏 塊、右宏塊、上宏塊和下宏塊中至少有三個宏塊屬于背景，則確定該當(dāng)前宏塊為孤立的 前景宏塊，修改該當(dāng)前宏塊使其屬于背景；如果當(dāng)前宏塊屬于背景，且與其相鄰的左宏 塊、右宏塊、上宏塊和下宏塊中至少有三個宏塊屬于前景，則確定該當(dāng)前宏塊為孤立的 背景宏塊，修改該當(dāng)前宏塊使其屬于前景，得到平滑的前背景分離信息。
4、 如權(quán)利要求2所述的一種多視點視頻的處理方法，其特征在于所述的步驟(3)中的對當(dāng)前幀組的源視點視頻進(jìn)行顏色校正的具體過程為利用前一個幀組的參考視點 和源視點的前背景分離信息，獲取參考視點的每幀參考圖像的第l個分量y，第2個分 量C/和第3個分量F在背景區(qū)域的均值和標(biāo)準(zhǔn)差，以及源視點的每幀源圖像的第1個分量y，第2個分量u和第3個分量r在背景區(qū)域的均值和標(biāo)準(zhǔn)差，然后對源圖像的y，t/和7各分量分別進(jìn)行顏色校lH， "(x,_y) = 4(/fO,>0-//f) + 乂，其中/,、,力為源圖像的第/個分量的顏色值，/尸(x,力為顏色校正后的校正圖像的第/個分量的顏色值，a, 為參考圖像的第/個分量在背景區(qū)域的均值，a,為參考圖像的第f個分量在背景區(qū)域的 標(biāo)準(zhǔn)差，；uf為源圖像的第/個分量在背景區(qū)域的均值，af為源圖像的第；個分量在背景 區(qū)域的標(biāo)準(zhǔn)差，/=1，2，3。
全文摘要
本發(fā)明公開了一種多視點視頻的處理方法，由于本發(fā)明方法將顏色校正處理過程嵌入到多視點視頻編碼處理過程中，與典型的先進(jìn)行顏色校正再進(jìn)行視點視頻編碼的方法相比，大大提高了多視點視頻編碼的編碼性能；由于本發(fā)明是利用宏塊的編碼模式信息來進(jìn)行前背景分離處理，與現(xiàn)有的利用視差估計或區(qū)域分割進(jìn)行前背景分離的方法相比，本發(fā)明方法的前背景分離處理快速而又精確；此外，本發(fā)明利用背景信息來進(jìn)行顏色校正，與在全局的圖像間或在最相似的區(qū)域間進(jìn)行顏色傳遞的方法相比，有利于獲得一致的參考平面，更加符合相機(jī)的成像原理，提高了多視點視頻顏色校正的精度。
文檔編號H04N7/32GK101262606SQ20081005928
公開日2008年9月10日 申請日期2008年1月16日 優(yōu)先權(quán)日2008年1月16日
發(fā)明者蔣剛毅, 楓 邵, 梅 郁 申請人:寧波大學(xué)