專利名稱：編解碼多視點(diǎn)序列的方法及其顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼/解碼多視點(diǎn)序列的方法，且更為具體地說，涉及編碼/解碼多視點(diǎn)序列的方法和其顯示方法。盡管本發(fā)明適用于很廣范圍的應(yīng)用，但是其特別適用于執(zhí)行多視點(diǎn)序列數(shù)據(jù)的編解碼和使得能夠進(jìn)行用于解碼對應(yīng)于接收端請求的視點(diǎn)的移動畫面的視點(diǎn)選擇。
背景技術(shù)：
一般，當(dāng)前的媒體不僅顯示簡單的文本和2維圖像，而且也使得能夠通過視，聽，觸，嗅和嘗五種感覺的統(tǒng)一識別實(shí)現(xiàn)物體或狀態(tài)的清晰和生動的感知。多媒體與通信結(jié)合更重要且意義重大。由于快速和海量信息傳輸技術(shù)的發(fā)展，實(shí)現(xiàn)了視頻電話，遠(yuǎn)程視頻會議，遠(yuǎn)程購物等的多媒體通信。
如果發(fā)展到3維信號處理，多媒體技術(shù)會變得更有生命力。為此，要求開發(fā)實(shí)現(xiàn)人的生活空間的現(xiàn)實(shí)的和自然的再現(xiàn)的3維視頻處理和通信技術(shù)。
同時(shí)，人們生活在除了感覺頂部，底部，左右還包括深度感覺的3維世界之中。因此，除了提供二維感覺的二維圖像外，很多關(guān)注給予了人能夠體驗(yàn)深度感覺的立體效果和實(shí)際感覺的3維立體圖像。而且，3維圖像處理技術(shù)當(dāng)前應(yīng)用于通信，廣播，虛擬現(xiàn)實(shí)，教育，醫(yī)療保健，娛樂等各領(lǐng)域。
用2維圖像表示三維的最簡單方式是立體方法。用左右圖像構(gòu)成的立體圖像的缺點(diǎn)是數(shù)據(jù)的海量。所以，立體圖像需要巨量存儲裝置，網(wǎng)絡(luò)和快速計(jì)算機(jī)系統(tǒng)。并且，如果獨(dú)立編碼立體圖像，對于立體圖像需要2維圖像傳輸用的大約二倍的帶寬。在時(shí)間軸上延伸立體圖像產(chǎn)生的立體序列或從時(shí)間和視點(diǎn)(view)軸上延伸立體圖像產(chǎn)生的多視點(diǎn)序列的情況中，數(shù)據(jù)量與視點(diǎn)數(shù)目成比例地大量增加，并且要求的帶寬也提高。
由于更多的關(guān)注給予3維圖像，所以各種機(jī)構(gòu)，大學(xué)，實(shí)驗(yàn)室等做了很多工作以研究和開發(fā)3維圖像壓縮和再現(xiàn)顯示系統(tǒng)。
這樣的3維圖像系統(tǒng)的接收端需要能夠解碼和顯示多視點(diǎn)序列的3維顯示器。當(dāng)前開發(fā)的3維LCD(液晶顯示)監(jiān)視器向一位觀察者提供立體效果，并且演變成能夠向幾位觀察者提供立體效果和實(shí)際感覺的3維多視點(diǎn)顯示監(jiān)視器。
但是，由于根據(jù)視點(diǎn)數(shù)目的遞增3維多視點(diǎn)序列的數(shù)據(jù)量和操作量增加，需要能夠高效進(jìn)行3維多視點(diǎn)序列的編碼和解碼的多視點(diǎn)編碼器/解碼器(CODEC)。而且，也需要根據(jù)用戶顯示僅在接收端解碼特定視點(diǎn)。

發(fā)明內(nèi)容
因此，本發(fā)明涉及提供一種基本避免由于現(xiàn)有技術(shù)的限制和缺點(diǎn)造成的一個(gè)或多個(gè)問題的編碼/解碼多視點(diǎn)序列的方法和其顯示方法。
本發(fā)明的目的是提供多視點(diǎn)序列的編解碼方法和其顯示方法，通過其能夠高效編解碼多視點(diǎn)序列數(shù)據(jù)。
本發(fā)明的另一目的是提供高效將編碼成多視點(diǎn)序列的數(shù)據(jù)解碼的裝置和使用它的方法。
在下面的說明中部分地闡明，并且本領(lǐng)域技術(shù)人員通過下述說明或從本發(fā)明實(shí)踐部分地明了本發(fā)明的附加優(yōu)點(diǎn)，目的和特征。通過在說明中和權(quán)利要求以及附圖中指出的結(jié)構(gòu)可以獲得本發(fā)明的目的和其他優(yōu)點(diǎn)。
為了取得這些和其他優(yōu)點(diǎn)根據(jù)本發(fā)明的用途，如實(shí)施例表明和廣泛說明的，根據(jù)本發(fā)明的多視點(diǎn)序列編碼方法包括步驟通過編碼從多個(gè)視點(diǎn)獲得的多個(gè)畫面產(chǎn)生位流，其中所述位流包括多個(gè)畫面的每個(gè)的視點(diǎn)信息，并且其中所述視點(diǎn)信息是指定相應(yīng)畫面對應(yīng)于在多個(gè)視點(diǎn)中哪個(gè)視點(diǎn)的信息。
為進(jìn)一步取得這些和其他優(yōu)點(diǎn)和根據(jù)本發(fā)明的用途，多視點(diǎn)序列編碼方法包括步驟通過編碼主視點(diǎn)的第一畫面類型的畫面產(chǎn)生主位流，和產(chǎn)生用于至少一個(gè)或多個(gè)輔助視點(diǎn)的輔助位流，其中輔助位流是通過編碼利用第一畫面類型的畫面預(yù)測的第二畫面類型的畫面產(chǎn)生的，其中輔助位流包括第二畫面類型的每個(gè)畫面的視點(diǎn)信息，并且其中視點(diǎn)信息是指定第二畫面類型的相應(yīng)畫面對應(yīng)于在至少一個(gè)或多個(gè)輔助視點(diǎn)中哪個(gè)輔助視點(diǎn)的信息。
為進(jìn)一步取得這些和其他優(yōu)點(diǎn)和根據(jù)本發(fā)明的用途，多視點(diǎn)序列解碼方法包括步驟接收通過分別編碼從多個(gè)視點(diǎn)獲得的畫面產(chǎn)生的主位流，檢查指定特定畫面對應(yīng)于多個(gè)視點(diǎn)的哪一個(gè)的視點(diǎn)信息；和在顯示器中根據(jù)檢查的視點(diǎn)信息解碼與特定視點(diǎn)相關(guān)的畫面。
為進(jìn)一步取得這些和其他優(yōu)點(diǎn)和根據(jù)本發(fā)明的用途，多視點(diǎn)序列解碼方法包括步驟接收通過編碼從主視點(diǎn)獲得的畫面產(chǎn)生的主位流和通過編碼從多個(gè)輔助視點(diǎn)獲得的畫面產(chǎn)生的輔助位流；恢復(fù)在所述主位流內(nèi)的畫面；和根據(jù)在輔助位流內(nèi)存在的視點(diǎn)信息，利用在主位流內(nèi)的恢復(fù)的畫面，在顯示器中選擇性地進(jìn)行與特定輔助視點(diǎn)相關(guān)的畫面的預(yù)測恢復(fù)。
為了進(jìn)一步取得這些和其他優(yōu)點(diǎn)和根據(jù)本發(fā)明的用途，多視點(diǎn)序列解碼裝置包括主位流解碼單元，其接收通過編碼從主視點(diǎn)獲得的畫面產(chǎn)生的主位流以恢復(fù)主位流內(nèi)的畫面，和輔助位流解碼單元，其接收通過編碼從多個(gè)輔助視點(diǎn)獲得的畫面產(chǎn)生的輔助位流，所述輔助位流解碼單元根據(jù)在所述輔助位流內(nèi)存在的視點(diǎn)信息，利用在所述主位流內(nèi)的恢復(fù)的畫面，選擇性地進(jìn)行特定輔助視點(diǎn)的畫面的預(yù)測恢復(fù)。
為進(jìn)一步取得這些和其他優(yōu)點(diǎn)和根據(jù)本發(fā)明的用途，多視點(diǎn)序列顯示方法包括第一顯示模式，其顯示對應(yīng)于主視點(diǎn)的畫面，和第二顯示模式，其一起顯示對應(yīng)主視點(diǎn)的畫面和對應(yīng)至少一個(gè)或多個(gè)輔助視點(diǎn)的畫面，其中根據(jù)在包括所述畫面的位流內(nèi)存在的視點(diǎn)信息選擇第一顯示模式或第二顯示模式。
應(yīng)理解，上述一般說明和下面的詳細(xì)說明都是示范性的，并且用于提供權(quán)利要求所述的本發(fā)明的進(jìn)一步解釋。


為了提供本發(fā)明的進(jìn)一步理解，包括的附圖構(gòu)成本說明書的部分，與文字說明和權(quán)利要求一起解釋本發(fā)明原理。
在附圖中圖1是可應(yīng)用于本發(fā)明的多視點(diǎn)序列編碼裝置的框圖；圖2是根據(jù)本發(fā)明產(chǎn)生的輔助位流的例子的示意圖；圖3A-3C是根據(jù)本發(fā)明d編碼5-視點(diǎn)序列的“GGOP”的一個(gè)實(shí)施例示意圖；圖4A和4B是根據(jù)本發(fā)明的編碼9-視點(diǎn)序列的“GGOP”的一個(gè)實(shí)施例的示意圖；圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的多視點(diǎn)序列顯示方法的原理示意圖；圖6是位流示意圖，說明根據(jù)本發(fā)明解碼傳輸?shù)膱?bào)頭信息；圖7是根據(jù)本發(fā)明的多視點(diǎn)序列解碼裝置的框圖；
圖8A-8E是多視點(diǎn)序列示意圖，解釋根據(jù)本發(fā)明的編解碼方法；圖9A-9E是多視點(diǎn)序列示意圖，解釋根據(jù)本發(fā)明的編解碼方法；圖10是圖8A-8E的5-視點(diǎn)序列的各種位流速率的編碼結(jié)果的曲線圖；圖11A和圖11B是解釋圖9A的序列的各種位流速率的編碼結(jié)果的曲線圖；圖12A和12B是在分別通過“ONE-I”和“Two-I”類型解碼具有大基準(zhǔn)圖像時(shí)，圖像比較的示范例圖；圖13A和圖13B是結(jié)果圖像的示意圖，解釋本發(fā)明的Bt，s幀的性能；和圖14A-14D是如果在接收端設(shè)置3維監(jiān)視器的情況，接收了圖9A-9E的5-視點(diǎn)位流的用戶選擇第二和第四視點(diǎn)的結(jié)果圖像的示意圖，所述監(jiān)視器僅能夠顯示立體序列。
具體實(shí)施例方式
下面詳細(xì)參考在附圖中示出的本發(fā)明優(yōu)選實(shí)施例。
此外，盡管在本發(fā)明中使用的術(shù)語盡可能地選自當(dāng)前周知的，但是在某些情況中本申請人任意地選擇一些使用，以致在下面的說明中詳細(xì)解釋它們的意義。因此，應(yīng)以本申請人選擇的相應(yīng)術(shù)語的指定意義，而不是術(shù)語本身的簡單名字或含意理解本發(fā)明。
首先，在本發(fā)明中使用的“多視點(diǎn)序列”的意義是，在相同時(shí)間同時(shí)獲得對相同的對象的視點(diǎn)不同的運(yùn)動圖像。例如，“多視點(diǎn)序列”的含意是通過多個(gè)運(yùn)動圖像捕獲儀器(如相機(jī))的方式在各種角度和各種方向拍攝相同目標(biāo)獲得的運(yùn)動圖像。
具體地，在本發(fā)明中的“主視點(diǎn)”是在多個(gè)視點(diǎn)當(dāng)中作為編碼參考的視點(diǎn)。將對應(yīng)“主視點(diǎn)”的運(yùn)動圖像通過如MPEG-2，MPEG-4，H-623，H-264等常規(guī)運(yùn)動圖像編碼方案編碼成位流。并且，本發(fā)明中該位流被稱為“主位流”。為了解釋方便，取MPEG-2為常規(guī)運(yùn)動圖像編碼方案為例，但是關(guān)于此本發(fā)明沒有限制。
而且，在本發(fā)明中的“輔助視點(diǎn)”是在多視點(diǎn)當(dāng)中的非主視點(diǎn)的視點(diǎn)。通過下面說明的本發(fā)明的獨(dú)特的編碼方案將對應(yīng)“輔助視點(diǎn)”的運(yùn)動圖像編碼成位流。而且，這個(gè)位流在本發(fā)明中被稱為“輔助位流”。
另外，在本發(fā)明中預(yù)定，“位流”概括地用作“主位流”或“輔助位流”。
圖1是用于本發(fā)明的多視點(diǎn)序列編碼裝置的框圖。
在根據(jù)本發(fā)明的編碼方法中，通過MPEG-2編碼器編碼取作與MPRG-2兼容的參考的序列以產(chǎn)生主位流，并且從輔助視點(diǎn)序列產(chǎn)生輔助位流。即，主位流包括用于包括“I(下面說明)”畫面的序列的數(shù)據(jù)，且輔助位流包括通過其他序列的方差估計(jì)和運(yùn)動估計(jì)編碼的各類信息。
見圖1，適用本發(fā)明的多視點(diǎn)編碼裝置包括預(yù)處理單元110，運(yùn)動估計(jì)/補(bǔ)償單元140，方差估計(jì)/補(bǔ)償單元140，位速率控制單元150和差分(difference)圖像編碼單元160和170。
如果輸入多視點(diǎn)序列數(shù)據(jù)A，該預(yù)處理單元110除去噪聲，解決不平衡問題，通過經(jīng)預(yù)處理增加多視點(diǎn)序列數(shù)據(jù)之間的相關(guān)性，增加方差估計(jì)和運(yùn)動估計(jì)產(chǎn)生的向量的置信度(reliance)，且然后向方差估計(jì)/補(bǔ)償單元140，運(yùn)動估計(jì)/補(bǔ)償單元120和130和差分圖像編碼單元160和170提供預(yù)處理的數(shù)據(jù)。
在此過程中，以使用參考圖像的平均和分布和要補(bǔ)償?shù)难a(bǔ)償圖像補(bǔ)償不平衡和簡單地使用中值濾波器除去噪音的方式，能夠解決不平衡問題。
預(yù)處理單元110在輔助位流中插入“視點(diǎn)信息”，以提供在解碼器中恢復(fù)特定視點(diǎn)的信息，這在圖2中說明。
方差估計(jì)/補(bǔ)償單元140和運(yùn)動估計(jì)/補(bǔ)償單元120和130通過取包括“I”畫面的序列軸估計(jì)方差矢量和運(yùn)動矢量，并利用半象素(half-pel)補(bǔ)償來補(bǔ)償它們。
差分圖像編碼單元160和170能夠以在預(yù)處理單元110提供的原始圖像和方差估計(jì)/補(bǔ)償單元140和運(yùn)動估計(jì)/補(bǔ)償單元120和130補(bǔ)償?shù)幕謴?fù)圖像之間的差分信息上進(jìn)行編碼的方式對提供的多視點(diǎn)序列產(chǎn)生位流，以提供增強(qiáng)的圖像質(zhì)量和立體效果。
并且，位速率控制單元150能夠控制用于高效地向每個(gè)畫面分配位的位速率。
圖2是根據(jù)本發(fā)明產(chǎn)生的輔助位流的例子的示意圖。
見圖2，根據(jù)本發(fā)明插入的“視點(diǎn)信息210”例如能夠被以n位插入在輔助位流內(nèi)的畫面報(bào)頭中。在此過程中，n-位應(yīng)被考慮為支持最大2n個(gè)視點(diǎn)的情況。
即，將“視點(diǎn)信息”用作指定特定畫面對應(yīng)在多個(gè)輔助視點(diǎn)當(dāng)中哪個(gè)輔助視點(diǎn)的信息。因此，在一個(gè)輔助位流內(nèi)混合多個(gè)視點(diǎn)的畫面的情況中，為了選擇性地恢復(fù)僅與特定視點(diǎn)相關(guān)的畫面而需要該“視點(diǎn)信息”。
但是，“視點(diǎn)信息”不僅限于輔助位流，而是與主位流和輔助位流之間的區(qū)別無關(guān)，能夠以與特定視點(diǎn)相關(guān)的畫面的含意使用。
下面詳細(xì)說明根據(jù)本發(fā)明進(jìn)行多視點(diǎn)序列編碼的特定方法。
在普通的編碼方案中，如MPEG-2編碼方案中，編碼的基本單元是GOP(畫面組)。并且，GOP(畫面組)包括“I”畫面，“P”畫面和“B”畫面。
“I”畫面用于進(jìn)行內(nèi)編碼，和實(shí)現(xiàn)對序列的隨機(jī)存取?！癙”畫面通過取先前的編碼的“I”或“P”畫面作為參考圖像估計(jì)單向運(yùn)動矢量。并且，“B”畫面利用“I”和“P”畫面估計(jì)雙向的運(yùn)動矢量。GOP的長度，即，“N”是“I”畫面之間的距離，且“M”是“I”和“P”畫面之間的距離。
但是，“I”，“P”和“B”畫面是在MPEG-2編碼方案中使用的畫面項(xiàng)目(term)。如果該編碼方案彼此不同，可使用的項(xiàng)目彼此部分。例如，在依照不同于MPEG-2的方案的主位流中，不參考任何參考畫面可解碼的畫面名為“L”畫面。并且，參考至少一個(gè)或兩個(gè)參考畫面可解碼的畫面稱為“H”畫面。
為了編碼多視點(diǎn)序列，本發(fā)明提出作為多視點(diǎn)序列編碼的基本單元的“GGOP(GOP的組)”結(jié)構(gòu)。
本發(fā)明的“GGOP”與MPEG-2不同，包括對應(yīng)時(shí)間軸和視點(diǎn)軸(view axis)的畫面。即，通過使用“GGOP”結(jié)構(gòu)除去空間的相關(guān)，時(shí)間軸的相關(guān)和視點(diǎn)之間的相關(guān)，能夠高效編碼多視點(diǎn)序列。
圖3A-3C是根據(jù)本發(fā)明編碼5個(gè)視點(diǎn)序列的“GGOP”的一個(gè)實(shí)施例示意圖，其中示出“One-I”型(圖3A)，“Two-I”型(圖3B)和“Five-I”型(圖3C)。為說明的方便，取“N＝6和M＝3”的情況為例子。并且，本領(lǐng)域技術(shù)人員明了，本發(fā)明不限于“N＝6和M＝3”的情況。
見圖3A，本發(fā)明的“GGOP”結(jié)構(gòu)的“One-I”型包括一個(gè)“I”畫面，一個(gè)“Pt”畫面，四個(gè)“Bt”畫面，四個(gè)“Ps”畫面和二十個(gè)“Bt，s”畫面。
在此情況中，“Pt”畫面是估計(jì)單向運(yùn)動矢量的畫面類型，與在MPEG-2中使用的“P”畫面相同，“Bt”畫面是估計(jì)雙向的運(yùn)動矢量的畫面類型，與MEPG-2中使用的“B”相同。在本發(fā)明中，“I”，“Pt”和“Bt”畫面被命名為構(gòu)成主位流的第一類型畫面。
“Ps”畫面是利用視點(diǎn)之間的相關(guān)，即方差估計(jì)恢復(fù)的圖像。而，“Bt，s”畫面是利用瞬時(shí)軸(temporal axis)的運(yùn)動矢量和視點(diǎn)軸的方差矢量，或通過在兩個(gè)矢量之間的內(nèi)插恢復(fù)的圖像。
在與圖3A相同的“N＝3和M＝3”的情況“One-I”型中，包括作為參考的序列，即，要通過MPEG-2編碼的一個(gè)序列。此時(shí)，箭頭即為估計(jì)方差矢量和運(yùn)動矢量的方向。
通過與MPEG-2兼容的MEPG-2編碼器編碼“...Bt，Bt，I，Bt，Bt，Pt，...”，它是其中包括“I”畫面的主視點(diǎn)序列。而且，也能夠設(shè)定產(chǎn)生的位流等于MPEG-2的文法。如前所述，對應(yīng)主序列的位流被定義為主位流，對應(yīng)輔助視點(diǎn)的序列的數(shù)據(jù)被定義為輔助位流。因此，在與圖3A相同的50視點(diǎn)“One-I”型的情況中，也產(chǎn)生一個(gè)主位流和一個(gè)輔助位流。
在獲取多視點(diǎn)序列的相機(jī)之間的間隔很可觀的情況中，即如果基準(zhǔn)(baseline)大的情況中，能夠增加視點(diǎn)之間的誤差。因此，如果僅存在作為參考的一個(gè)序列，對應(yīng)離主視點(diǎn)遠(yuǎn)的視點(diǎn)軸的序列的圖像質(zhì)量可能惡化。所以，優(yōu)選地，為了編碼從具有大基準(zhǔn)的多視點(diǎn)相機(jī)獲得的多視點(diǎn)序列需要至少兩個(gè)主序列。
在根據(jù)相機(jī)拍攝角度指定多視點(diǎn)的情況，在相機(jī)之間的相機(jī)拍攝角度差成為基準(zhǔn)。而且，優(yōu)選是，在相機(jī)拍攝角度差大的情況中設(shè)定至少兩個(gè)主序列。
圖3B示出為了編碼從具有大基準(zhǔn)的多視點(diǎn)相機(jī)獲得的多視點(diǎn)序列提出的50視點(diǎn)“Two-I”型。此時(shí)，多視點(diǎn)序列編碼器能夠產(chǎn)生兩個(gè)主位流和一個(gè)輔助位流。
在第三視點(diǎn)上的“Bs”畫面是利用從彼此相鄰的左右圖像估計(jì)的方差或兩個(gè)方差的內(nèi)插恢復(fù)的畫面類型。
在本發(fā)明中，“Ps”，“Bs”，“Bt，s”畫面被命名為構(gòu)成輔助位流的第二類型畫面。
同時(shí)，在圖3C中的“Five-I”類型是多視點(diǎn)序列被認(rèn)為是不進(jìn)行方差估計(jì)而獨(dú)立編碼的MPEG-2序列。此時(shí)，產(chǎn)生五個(gè)主位流。而且，由于沒有進(jìn)行方差估計(jì)不產(chǎn)生輔助位流。
在通過圖3A-3C說明的本發(fā)明一個(gè)實(shí)施例中，取對應(yīng)5-視點(diǎn)序列的“GGOP”結(jié)構(gòu)為例，即使在增加視點(diǎn)數(shù)目的情況下它是可擴(kuò)展的。而且，下面參考圖4A和4B說明這樣的可擴(kuò)展例。
圖4A和4B是根據(jù)本發(fā)明編碼9-視點(diǎn)序列的“GGOP”的一個(gè)實(shí)施例的示意圖，其中分別示出“Two-I”和“Three-I”型。此時(shí)，為了與MEPG-2兼容，用MEPG-2編碼器編碼其中包括“I”畫面的主序列，以產(chǎn)生主位流。同樣，使得其他輔助視點(diǎn)序列生成輔助位流。
圖4A示出在“N＝6和M＝3”時(shí)的“Two-I”型的“GGOP”結(jié)構(gòu)。而且，該“GGOP”結(jié)構(gòu)包括兩個(gè)“I”畫面，兩個(gè)“Pt”畫面，六個(gè)“Ps”畫面，六個(gè)“Bs”畫面和三十八個(gè)“Bt，s”畫面。
圖4B示出在大基準(zhǔn)情況中多視點(diǎn)相機(jī)獲得的9-視點(diǎn)序列的“GGOP”結(jié)構(gòu)。此時(shí)，產(chǎn)生三個(gè)主位流和一個(gè)輔助位流。不使用與圖3C中的5-視點(diǎn)的“Five-I”型相同的方差估計(jì)，能夠用MEPG-2編碼器獨(dú)立編碼對應(yīng)每個(gè)視點(diǎn)的序列。
本發(fā)明提出的概念是，僅通過考慮接收端保留的顯示特征，實(shí)現(xiàn)恢復(fù)對應(yīng)特定視點(diǎn)的序列。
圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的多視點(diǎn)序列顯示方法的概念的示意圖。
見圖5，在根據(jù)本發(fā)明的顯示方法中，能夠通過根據(jù)接收端保留的顯示類型選擇特定視點(diǎn)，而恢復(fù)接收的多視點(diǎn)序列位流。
例如，當(dāng)發(fā)射端編碼5-視點(diǎn)序列，且然后將編碼的序列發(fā)送到接收端時(shí)，在接收端僅具有能夠顯示3視點(diǎn)序列的多視點(diǎn)監(jiān)視器的情況下，用戶不能夠看到3-視點(diǎn)序列以及5-視點(diǎn)序列。這個(gè)問題是由于在編碼多視點(diǎn)序列中沒有向發(fā)射端提供視點(diǎn)(view)信息引起的。因此，本發(fā)明的目的是解決這樣的問題。
即，當(dāng)發(fā)射端編碼5-視點(diǎn)序列，然后向接收端發(fā)送該編碼的序列時(shí)，在接收端具有僅能夠顯示3-視點(diǎn)序列的3維多視點(diǎn)監(jiān)視器(模式2這能夠被稱為“第二顯示模式”)的情況中用戶從五個(gè)視點(diǎn)選擇三個(gè)視點(diǎn)，使得能夠?qū)崿F(xiàn)相應(yīng)的恢復(fù)。而且，實(shí)現(xiàn)選擇性恢復(fù)的信息對應(yīng)上述的“視點(diǎn)信息”。
在接收端具有僅能夠顯示2維序列，而不是多視點(diǎn)監(jiān)視器時(shí)，能夠僅恢復(fù)主位流，以傳送到顯示器(模式0這能夠被稱為“第一顯示模式”)。
特別地，根據(jù)本發(fā)明的顯示方法的特征是，具有僅顯示對應(yīng)主視點(diǎn)的畫面的第一顯示模式和顯示對應(yīng)于主位流畫面和對應(yīng)于至少一個(gè)輔助視點(diǎn)的其他畫面的第二顯示模式，并且根據(jù)在包括畫面的位流內(nèi)存在的視點(diǎn)信息選擇該顯示模式之一以進(jìn)行顯示。
圖6是位流的示意圖，用于解釋根據(jù)本發(fā)明的為了解碼傳送的報(bào)頭信息。
見圖6，在產(chǎn)生多視點(diǎn)序列位流中將“視點(diǎn)信息”插在畫面報(bào)頭信息中，以便作為信息提供，所述信息表示當(dāng)前編碼畫面是對應(yīng)于多視點(diǎn)中的次序(order)的數(shù)據(jù)。該視點(diǎn)的信息被設(shè)定為能夠支持2n視點(diǎn)的序列的n-位。
盡管圖6示出“視點(diǎn)信息”僅插在輔助位流中，但是根據(jù)使用方法，“視點(diǎn)信息”也能夠被插在主位流內(nèi)的一側(cè)中。
圖7是應(yīng)用本發(fā)明的多視點(diǎn)序列解碼裝置的框圖。
見圖7，可應(yīng)用本發(fā)明的解碼裝置包括主位流解碼單元710和輔助位流解碼單元720。
主位流解碼單元710通過MPEG-2解碼器進(jìn)行解碼，且輔助位流解碼單元720利用方差和運(yùn)動矢量進(jìn)行解碼。在此過程中，在接收端為了解碼特定視點(diǎn)，以確認(rèn)畫面報(bào)頭信息的“視點(diǎn)信息”的方式，檢查當(dāng)前解碼的數(shù)據(jù)具有什么視點(diǎn)次序。也就是說，由于在本發(fā)明中恢復(fù)特定視點(diǎn)，能夠減小解碼時(shí)間和解碼單元的計(jì)算負(fù)荷。
特別是，主位流解碼單元710接收主視點(diǎn)產(chǎn)生的主位流，且然后恢復(fù)該主位流內(nèi)的畫面。
而且，該輔助位流解碼單元720接收多個(gè)輔助視點(diǎn)產(chǎn)生的輔助位流，然后通過利用在主位流解碼單元710恢復(fù)的主位流內(nèi)的畫面，根據(jù)在輔助位流內(nèi)存在的視點(diǎn)信息進(jìn)行關(guān)于特定輔助視點(diǎn)的畫面的預(yù)測恢復(fù)。
圖8A-8E是多視點(diǎn)序列的示范圖，其用于解釋根據(jù)本發(fā)明的編解碼方法，其中示出5-視點(diǎn)情況。
在測試中使用的圖像大小是720×576。宏塊大小為16×16。在方差估計(jì)的x方向中的搜索范圍被設(shè)定為-16到16。由于取平行相機(jī)而在y方向未設(shè)定搜索范圍。為了運(yùn)動估計(jì)，在x方向和y方向的搜索范圍被設(shè)定為-16到16。而且，在測試中使用的視頻格式被設(shè)定為Y∶U∶V＝4∶2∶0。
圖10是在圖8A-8E中5-視點(diǎn)序列的各種位速率的編碼結(jié)果的曲線圖。
見圖10，當(dāng)“One-I”和“Two-I”型與不帶方差估計(jì)的“Five-I”型比較時(shí)，能夠確認(rèn)在相似的位速率顯出良好的效率。
同時(shí)，如上所述，本發(fā)明提出靈活性(fluidity)的“GGOP”結(jié)構(gòu)。即，通過向具有大基準(zhǔn)的多視點(diǎn)序列編碼應(yīng)用補(bǔ)償視點(diǎn)之間相關(guān)性的至少“Two-I”型，并且通過向具有小基準(zhǔn)的多視點(diǎn)序列應(yīng)用“One-I”型，相比“Two-I”型向除了“I”幀的其余畫面類型分配較多位。
圖11A和11B是解釋在圖9A中的以序列各種位速率編碼結(jié)果的曲線圖，其中示出小基準(zhǔn)和大基準(zhǔn)的情況。
見圖11A和11B，在具有小基準(zhǔn)的多視點(diǎn)的PSNR方面“One-I”型在效率上優(yōu)越。在具有大基準(zhǔn)的多視點(diǎn)序列的PSNR方面在性能上“Two-I”型比“One-I”型優(yōu)越。
圖12A和12B是分別通過“One-I”和“Two-I”型編碼具有大基準(zhǔn)的圖像情況，圖像比較示意圖。
見圖12A和12B，在具有大基準(zhǔn)的多視點(diǎn)情況，視點(diǎn)之間的相關(guān)性降低。為了對此補(bǔ)償，增加“I”幀。而且，確認(rèn)增加“I”幀以補(bǔ)償這樣降低相關(guān)性的“Two-I”型具有較好的效率。因此，本發(fā)明的“GGOP”結(jié)構(gòu)具有根據(jù)多視點(diǎn)序列的基準(zhǔn)大小的靈活性。
同時(shí)，在本發(fā)明的“GGOP”結(jié)構(gòu)中，“Bt，s”畫面從方差矢量和運(yùn)動矢量選擇具有小預(yù)測誤差的矢量，或利用該兩個(gè)矢量的平均總和(average total)。在具有大運(yùn)動的多視點(diǎn)序列情況，因?yàn)榉讲钍噶炕謴?fù)中而不是運(yùn)動矢量恢復(fù)中更能夠減小誤差，僅選擇方差矢量。在另一方面，如果在時(shí)間軸上的相關(guān)性降低，由于使用運(yùn)動矢量的預(yù)測效率更高而選擇運(yùn)動矢量。
圖13A和13B是解釋本發(fā)明的Bt，s幀性能的結(jié)果圖像圖。圖13A示出在通過將多視點(diǎn)作為MPEG-2序列獨(dú)立編碼時(shí)的結(jié)果圖像。圖13B是根據(jù)本發(fā)明進(jìn)行解碼時(shí)的結(jié)果圖像。
見圖13A，由于常規(guī)MPEG-2不能夠使用方差矢量預(yù)測具有大運(yùn)動的區(qū)域，在常規(guī)MPEG-2中發(fā)生相當(dāng)大的誤差。但是，本發(fā)明使用方差矢量能夠預(yù)測具有大運(yùn)動的區(qū)域，從而降低誤差。
在本發(fā)明中，一旦發(fā)射端向接收端發(fā)送主位流和輔助位流，接收端僅能夠恢復(fù)特定視點(diǎn)。
圖14A-14D是在向接收端提供僅能夠顯示立體序列的3維監(jiān)視器的情況中，如果接收圖9A-9E的5-視點(diǎn)位流的用戶選擇第二和第四視點(diǎn)的結(jié)果圖像。
也就是說，圖14A和14B示出使用MPEG-2解碼器獲得的結(jié)果圖像，圖14C和14D示出使用根據(jù)本發(fā)明的解碼方法的解碼的結(jié)果圖像。
如圖所示，圖14C和14D的圖像比其他圖像清晰。圖14A和14B的圖像是僅使用方差矢量恢復(fù)的結(jié)果。圖14C和14D的圖像包括“Bt，s”畫面。因此，在運(yùn)動或方差矢量大時(shí)，能夠降低預(yù)測誤差。
工業(yè)應(yīng)用性因此，本發(fā)明高效編碼多視點(diǎn)序列，且在接收端僅解碼特定視點(diǎn)，從而進(jìn)行更順利和高效的編解碼。
而且，本發(fā)明可用于利用3維圖像處理技術(shù)的各種領(lǐng)域，如通信，廣播，虛擬顯示，教育，保健，娛樂等。
而且，本發(fā)明方法可實(shí)現(xiàn)為在計(jì)算機(jī)可讀記錄媒體(CD-ROM，RAM，ROM，軟盤，硬盤，磁光盤等)存儲的程序。
盡管參照優(yōu)選實(shí)施例說明了本發(fā)明，本領(lǐng)域技術(shù)人員明了，不偏離本發(fā)明的范圍可做出各種改變。因此，本發(fā)明包括權(quán)利要求范圍和其等效條款內(nèi)的各種變化。
權(quán)利要求
1.一種多視點(diǎn)序列編碼方法，其通過編碼從多個(gè)視點(diǎn)獲得的多個(gè)畫面產(chǎn)生位流，其中所述位流包括多個(gè)畫面的每個(gè)畫面的視點(diǎn)信息，且其中該視點(diǎn)信息是指定相應(yīng)畫面對應(yīng)于多個(gè)視點(diǎn)中的哪個(gè)視點(diǎn)的信息。
2.一種多視點(diǎn)序列編碼方法，包括步驟通過編碼主視點(diǎn)的第一畫面類型的畫面產(chǎn)生主位流；和產(chǎn)生至少一個(gè)或多個(gè)輔助視點(diǎn)的輔助位流，其中通過編碼使用第一畫面類型的畫面預(yù)測的第二畫面類型的畫面產(chǎn)生所述輔助位流，其中所述輔助位流包括第二畫面類型的每個(gè)畫面的視點(diǎn)信息，并且其中所述視點(diǎn)信息是指定第二畫面類型的相應(yīng)畫面對應(yīng)于在至少一個(gè)或多個(gè)輔助視點(diǎn)當(dāng)中哪個(gè)輔助視點(diǎn)的信息。
3.如權(quán)利要求2所述的多視點(diǎn)序列編碼方法，其中，所述視點(diǎn)信息被插在輔助位流內(nèi)的每個(gè)畫面報(bào)頭中。
4.如權(quán)利要求2所述的多視點(diǎn)序列編碼方法，其中，該第一畫面類型的畫面包括內(nèi)畫面(I畫面)，根據(jù)從內(nèi)畫面(I畫面)的單向運(yùn)動估計(jì)的預(yù)測畫面(Pt畫面)，和根據(jù)從內(nèi)畫面(I畫面)和/或預(yù)測畫面(Pt畫面)的雙向運(yùn)動估計(jì)的預(yù)測畫面(Bt畫面)。
5.如權(quán)利要求4所述的多視點(diǎn)序列編碼方法，其中，該第二畫面類型的畫面包括根據(jù)從第一類型畫面的畫面的方差估計(jì)的預(yù)測畫面(Ps，Bs)和根據(jù)從第一畫面類型和預(yù)測畫面(Ps，Bs)的運(yùn)動估計(jì)和方差估計(jì)的預(yù)測畫面(Bt，s)。
6.如權(quán)利要求5所述的多視點(diǎn)序列編碼方法，其中，所述輔助位流構(gòu)成一個(gè)位流，并且其中輔助位流包括與多個(gè)輔助視點(diǎn)相關(guān)的第二畫面類型的全部預(yù)測畫面(Ps，Bs，Bt，s)的組合。
7.如權(quán)利要求2所述的多視點(diǎn)序列編碼方法，其中，至少一個(gè)特定視點(diǎn)序列被指定為輸入的多個(gè)視點(diǎn)序列中的主視點(diǎn)，并且其中其余視點(diǎn)序列被指定為輔助視點(diǎn)。
8.如權(quán)利要求7所述的多視點(diǎn)序列編碼方法，其中，以主位流的數(shù)目對應(yīng)于主視點(diǎn)的數(shù)目的方式產(chǎn)生主位流。
9.如權(quán)利要求7所述的多視點(diǎn)序列編碼方法，其中，該主視點(diǎn)的數(shù)目取決于多視點(diǎn)序列的基準(zhǔn)范圍。
10.如權(quán)利要求7所述的多視點(diǎn)序列編碼方法，其中，與每個(gè)視點(diǎn)相關(guān)的序列是從每個(gè)單獨(dú)序列捕獲設(shè)備(如相機(jī))獲得的序列。
11.如權(quán)利要求7所述的多視點(diǎn)序列編碼方法，其中，與每個(gè)視點(diǎn)相關(guān)的序列是根據(jù)序列捕獲設(shè)備(如相機(jī))的拍攝角度獲得的序列。
12.一種多視點(diǎn)序列解碼方法，包括步驟接收通過分別編碼從多個(gè)視點(diǎn)獲得的畫面產(chǎn)生的主位流；檢查指定特定畫面對應(yīng)于所述多個(gè)視點(diǎn)的哪一個(gè)的視點(diǎn)信息；和根據(jù)檢查的視點(diǎn)信息解碼與顯示器中特定視點(diǎn)相關(guān)的畫面。
13.一種多視點(diǎn)序列解碼方法，包括步驟接收通過編碼從主視點(diǎn)獲得的畫面產(chǎn)生的主位流和通過編碼從多個(gè)輔助視點(diǎn)獲得的畫面產(chǎn)生的輔助位流；恢復(fù)在主位流內(nèi)的畫面；根據(jù)在輔助位流內(nèi)存在的視點(diǎn)信息，通過利用在主位流內(nèi)的恢復(fù)的畫面，在顯示器中選擇性地進(jìn)行與特定輔助視點(diǎn)相關(guān)的畫面的預(yù)測恢復(fù)。
14.如權(quán)利要求13所述的多視點(diǎn)序列解碼方法，其中，該視點(diǎn)信息是指定特定畫面對應(yīng)于多個(gè)輔助視點(diǎn)中哪一個(gè)的信息。
15.如權(quán)利要求14所述的多視點(diǎn)序列解碼方法，其中，所述視點(diǎn)信息被包括在每個(gè)畫面報(bào)頭信息內(nèi)。
16.一種多視點(diǎn)序列解碼裝置，包括主位流解碼單元，其接收通過編碼從主視點(diǎn)獲得的畫面產(chǎn)生的主位流以恢復(fù)主位流內(nèi)的畫面；和輔助位流解碼單元，其接收通過編碼從多個(gè)輔助視點(diǎn)獲得的畫面產(chǎn)生的輔助位流，所述輔助位流解碼單元根據(jù)在所述輔助位流內(nèi)存在的視點(diǎn)信息，通過利用主位流內(nèi)的恢復(fù)的畫面，選擇性地進(jìn)行關(guān)于特定輔助視點(diǎn)的畫面的預(yù)測恢復(fù)。
17.如權(quán)利要求16所述的多視點(diǎn)序列解碼裝置，其中，該視點(diǎn)信息是指定特定畫面對應(yīng)于多個(gè)輔助視點(diǎn)中哪一個(gè)的信息。
18.如權(quán)利要求17所述的多視點(diǎn)序列解碼裝置，其中，該視點(diǎn)信息被包括在每個(gè)畫面報(bào)頭信息內(nèi)。
19.一種多視點(diǎn)序列顯示方法，其包括顯示與主視點(diǎn)對應(yīng)的畫面的第一顯示模式和一起顯示對應(yīng)主視點(diǎn)的畫面和對應(yīng)至少一個(gè)或多個(gè)輔助視點(diǎn)的畫面的第二顯示模式，其中根據(jù)在包括畫面的位流內(nèi)存在的視點(diǎn)信息選擇第一顯示模式或第二顯示模式。
20.如權(quán)利要求19所述的多視點(diǎn)序列顯示方法，其中，該視點(diǎn)信息是指定特定畫面對應(yīng)于多個(gè)視點(diǎn)中哪一個(gè)的信息。
全文摘要
公開了一種多視點(diǎn)序列的編碼/解碼方法和其顯示方法，通過所述方法，能夠高效編碼和解碼多視點(diǎn)序列數(shù)據(jù)。根據(jù)本發(fā)明的多時(shí)間序列編碼方法包括步驟通過編碼從多個(gè)視點(diǎn)獲得多個(gè)畫面產(chǎn)生位流，其中位流包括多個(gè)畫面的每個(gè)畫面的視點(diǎn)信息，視點(diǎn)信息是指定相應(yīng)的畫面對應(yīng)多個(gè)視點(diǎn)當(dāng)中哪一個(gè)視點(diǎn)的信息。因此，編碼多視點(diǎn)序列以便選擇性地解碼以顯示。
文檔編號H04N7/24GK101023681SQ200580024800
公開日2007年8月22日 申請日期2005年6月24日 優(yōu)先權(quán)日2004年6月25日
發(fā)明者孫光熏, 林廷恩 申請人:Lg電子株式會社, 延世大學(xué)工業(yè)學(xué)術(shù)合作社