專利名稱：一種立體視頻實(shí)現(xiàn)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻實(shí)現(xiàn)方法和裝置，尤其涉及一種立體格式的視頻實(shí)現(xiàn)方 法和裝置。
背景技術(shù)：
隨著電視技術(shù)的不斷發(fā)展，電視視頻技術(shù)逐漸由平面視頻向立體視頻轉(zhuǎn)變。 與普通的平面視頻相比，立體視頻增加了物體的深度信息，將場(chǎng)景的三維信息完 全地再現(xiàn)出來，觀看者可以看出圖像中景物的遠(yuǎn)近、縱深，增強(qiáng)了視覺的現(xiàn)實(shí)感 和逼真感，在突顯形象和內(nèi)容上無疑具有更強(qiáng)烈的震撼力和沖擊力，呼之欲出的 形象使觀看者獲得身臨其境的感覺。
人眼在觀看物體時(shí)，不僅能看到物體的寬度和高度，而且能知道它們的深 度，能夠判斷物體間或觀看者與物體間的距離。這種三維視覺特性產(chǎn)生的主要原 因是人們通常總是雙目同時(shí)觀看物體，而由于兩眼視軸的間距，左右眼在看同 --個(gè)物體時(shí)，所接收到的視覺圖像是不同的，因而大腦通過眼球的運(yùn)動(dòng)調(diào)整，綜 合了這兩幅圖像的信息，產(chǎn)生了立體感。
如圖1所示，人眼在觀看物體時(shí)，不僅能看到物體的寬度和高度，而且能知 道它們的深度，能夠判斷物體間或觀看者與物體間的距離。這種三維視覺特性產(chǎn) 生的主要原因是人們通?？偸请p目同時(shí)觀看物體，而由于兩眼視軸的間距(約 65mm)，左右眼在看同一個(gè)物體時(shí)，所接收到的視覺圖像是不同的，因而大腦通過 眼球的運(yùn)動(dòng)調(diào)整，綜合了這兩幅圖像的信息，產(chǎn)生了立體感。在單用左眼和右眼 觀看物體時(shí)，所產(chǎn)生的圖像移位感覺稱為視差。如附圖一所示，用兩個(gè)完全相同 的攝像機(jī)，兩個(gè)圖像平面位于同一平面Q。兩機(jī)坐標(biāo)軸平行，X軸重合，兩機(jī)在X 方向間距為基線B。場(chǎng)景中特征點(diǎn)P在兩個(gè)圖像平面中的投影點(diǎn)&、 ^稱為共軛 對(duì)，即一個(gè)投影點(diǎn)是另一個(gè)的對(duì)應(yīng)點(diǎn)，也就是在重新組合左眼圖像與右眼圖像的 編碼過程中的左右兩幅圖像上代表空間同一點(diǎn)的一對(duì)對(duì)應(yīng)點(diǎn)。兩幅圖重疊后，共軛對(duì)之間的位置差Xr^為視差，依據(jù)三角形關(guān)系推出z^f/(XrXR)。由此可見，
物體的深度信息就是通過視差來計(jì)算的，通過計(jì)算空間點(diǎn)在兩幅圖像中的視差可 以恢復(fù)出物體的深度信息。
人眼的立體視覺特性是立體電視的基礎(chǔ)。通過這個(gè)原理我們可以提出立體電 視的解決思路。利用兩臺(tái)間隔一定距離的攝像機(jī)從兩個(gè)適當(dāng)角度同步拍攝立體圖 像，記錄下兩部分信息，通過電視播放后，由電視接收機(jī)將兩部分信息分別送入 左眼和右眼，確保讓人的左右眼分別看到對(duì)應(yīng)的圖像，在大腦中經(jīng)合成后顯示為 立體圖像，從而產(chǎn)生了立體感。
如圖2所示，目前普遍使用的立體電視視頻技術(shù)采用以一定速度輪換地傳送 左眼圖像和右眼圖像，顯像端在屏幕上輪流顯示左眼圖像和右眼圖像，觀看者需 佩戴一幅特殊的液晶眼鏡觀看立體電視圖像，眼鏡用一個(gè)與發(fā)送端同步的開關(guān)控 制，當(dāng)左眼圖像出現(xiàn)時(shí)，左眼的液晶鏡片透光，右眼的液晶鏡片不透光；相反，
當(dāng)右眼圖像出現(xiàn)時(shí)，只有右眼的液晶鏡片透光，左眼的液晶鏡片不透光，從而使 得左右兩眼只能看見各自所需的圖像。
這種方法會(huì)導(dǎo)致數(shù)據(jù)量增大，帶寬增加，使原來的60HZ圖像變?yōu)?20HZ圖 像，帶寬的增大會(huì)大大地提高對(duì)硬件的需求以及成本。但這種方法會(huì)產(chǎn)生較為嚴(yán) 重的閃爍。如果要消除閃爍，就必須提高幀率，從而增加帶寬，但這無疑會(huì)大大 地提高對(duì)硬件的需求以及成本。此外采用這種方法會(huì)導(dǎo)致數(shù)據(jù)量巨大，而且時(shí)序 控制復(fù)雜，采用傳統(tǒng)的立體視頻格式的立體電視，觀看時(shí)需要配戴的昂貴的主動(dòng) 式液晶眼鏡為光電檢測(cè)式，除需要輸入視頻驅(qū)動(dòng)信號(hào)外，還需要輸入導(dǎo)引信號(hào)， 電路結(jié)構(gòu)復(fù)雜，調(diào)試麻煩，成本較高，并且容易引起視覺疲勞。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述問題，提供了一種立體視頻實(shí)現(xiàn)方法，改善立體 視頻數(shù)據(jù)量巨大的問題，不會(huì)增加帶寬，降低了算法的復(fù)雜度，而且視頻處理簡(jiǎn) 單，降低了成本。
本發(fā)明的另一 目的是提供了一種立體視頻實(shí)現(xiàn)裝置。 本發(fā)明的技術(shù)方案為本發(fā)明揭示了一種立體視頻實(shí)現(xiàn)方法，包括-(1)分別將左眼圖像和右眼圖像分割為多個(gè)像素點(diǎn)；(2)將左眼圖像和右眼圖像的對(duì)應(yīng)的像素點(diǎn)以交替間隔的方式插入組合成一 組新的視頻圖像。
上述的立體視頻實(shí)現(xiàn)方法，其中，在步驟(1)中，左眼圖像由像素點(diǎn)Lm,n 構(gòu)成，右眼圖像由像素點(diǎn)Rn^構(gòu)成；
在步驟(2)中，新的視頻圖像的像素點(diǎn)Pm，n二L,或R，。 上述的立體視頻實(shí)現(xiàn)方法，其中，在步驟(2)之后還包括 將視頻圖像進(jìn)行壓縮編碼。
上述的立體視頻實(shí)現(xiàn)方法，其中，在步驟(2)之后還包括
在播放時(shí)，將新的視頻圖像以步驟(2)的反過程拆分為左眼圖像和右眼圖像。 上述的立體視頻實(shí)現(xiàn)方法，其中，還包括 在播放時(shí)先進(jìn)行解壓縮的過程。 本發(fā)明還揭示了一種立體視頻實(shí)現(xiàn)裝置，包括
圖像合成單元，分別將左眼圖像和右眼圖像分割為多個(gè)像素點(diǎn)，將左眼圖像 和右眼圖像的對(duì)應(yīng)的像素點(diǎn)以交替間隔的方式插入組合成一組新的視頻圖像。 上述的立體視頻實(shí)現(xiàn)裝置，其中，該裝置還包括
圖像編碼單元，連接該圖像合成單元，對(duì)該圖像合成單元輸出的視頻圖像進(jìn) 行壓縮編碼。
上述的立體視頻實(shí)現(xiàn)裝置，其中，該裝置還包括 存儲(chǔ)器，連接該圖像編碼單元，存儲(chǔ)壓縮后的視頻圖像。 上述的立體視頻實(shí)現(xiàn)裝置，其中，該裝置還包括
圖像解碼單元，連接該存儲(chǔ)器，對(duì)該存儲(chǔ)器中的壓縮后的視頻圖像進(jìn)行解壓 縮處理。
上述的立體視頻實(shí)現(xiàn)裝置，其中，該裝置還包括
圖像分離單元，連接該圖像解碼單元，以該圖像合成單元中的反過程將解壓 縮后的視頻圖像分拆為左眼圖像和右眼圖像。
本發(fā)明對(duì)比現(xiàn)有技術(shù)有如下的有益效果本發(fā)明的立體視頻實(shí)現(xiàn)方法將左眼 圖像和右眼圖像分離為一個(gè)個(gè)像素點(diǎn)，然后將左眼圖像和右眼圖像的對(duì)應(yīng)像素點(diǎn) 按照特點(diǎn)的算法經(jīng)過編碼計(jì)算重新組合得到一組新的視頻圖像信息，再一幀一幀地加以播放。對(duì)比現(xiàn)有技術(shù)，本發(fā)明的方法和裝置解決了傳統(tǒng)立體電視技術(shù)導(dǎo)致 的數(shù)據(jù)量巨大、帶寬太大的問題，降低了立體電視的成本。并且解決了傳統(tǒng)立體 數(shù)字電視畫面閃爍的問題。本發(fā)明提出的關(guān)聯(lián)性的像素點(diǎn)處理使得視頻處理簡(jiǎn)單 化，且方便與其他視頻格式進(jìn)行轉(zhuǎn)換。此外，本發(fā)明的技術(shù)方案使視頻數(shù)據(jù)具有 良好的保密性，具備了防盜版的功能。本發(fā)明使得相關(guān)配套使用被動(dòng)式眼鏡即可 觀看，降低成本，且眼睛不易疲勞。


圖1是立體視覺的原理示意圖。
圖2是傳統(tǒng)的立體視頻實(shí)現(xiàn)方法的示意圖。
圖3是本發(fā)明的立體視頻實(shí)現(xiàn)方法的原理圖。
圖4是本發(fā)明的立體視頻實(shí)現(xiàn)方法的示意圖。 圖5是本發(fā)明的間隔插值編碼算法的示意圖。 圖6是本發(fā)明的立體視頻實(shí)現(xiàn)裝置的原理圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的描述。 立體視頻實(shí)現(xiàn)方法的實(shí)施例
圖3示出了本發(fā)明的立體視頻實(shí)現(xiàn)方法的原理。本發(fā)明的立體視頻實(shí)現(xiàn)方法 的實(shí)施例是先分別將左眼圖像和右眼圖像分隔為多個(gè)像素點(diǎn)。在圖3中，左眼圖 像10被分割成1920X1080個(gè)像素點(diǎn)U。(其中m是1 1080中的任一值，n是l 1920中的任一值)，右眼圖像11被分割成1920X 1080個(gè)像素點(diǎn)IC,然后將左眼 圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)按照特定算法經(jīng)過編碼計(jì)算重新組合得到一組新的 視頻圖像信息進(jìn)行數(shù)據(jù)傳輸和播放。例如，在圖3中，重新組合的視頻圖像的像 素點(diǎn)Pll'是左眼圖像的像素點(diǎn)Lll與右眼圖像的像素點(diǎn)Rll經(jīng)過特定算法計(jì)算得 到的。重新組合的視頻圖像的像素點(diǎn)P12'是左眼圖像的像素點(diǎn)L12與右眼圖像的 像素點(diǎn)R12經(jīng)過特定算法計(jì)算得到的。依次類推，重新組合的視頻圖像的像素點(diǎn) Pmn'是左眼圖像的像素點(diǎn)Lnrn與右眼圖像的像素點(diǎn)Rnrn經(jīng)過特定算法計(jì)算得到的，
pir = lii rii，
P12' = L12 R12， P13' = L13 R13， P14' = L14 R14，
P21' -: L21 R21，
P22' = L22 R22，
P23' = L23 R23，
P24' = L24②R24，
Pmn' = Lnm②Rmn，
采用上述的方法，由于相鄰的像素點(diǎn)都是具有關(guān)聯(lián)性的，所以數(shù)據(jù)處理的相 關(guān)性高，可以降低算法的復(fù)雜度。并且由于各個(gè)相鄰的像素點(diǎn)都是具有關(guān)聯(lián)性， 因此可以方便地與其他的格式進(jìn)行轉(zhuǎn)換。
對(duì)于上述所述的特定的算法，在本實(shí)施例中是間隔插值編碼算法，可以用下
列的邏輯表達(dá)式來表示
Pll' = U1承1+R11水0， P12' 二 L12木0十R12承1， P13' = L13承l(wèi)+R13氺0'" P21' 二 L21*0+R21*l， P22' 二 L22*l+R22*0, P23' = L23*0+R23*l"' P31' = L31承l(wèi)+R31承0， P32' = L32求0+R32承l(wèi)， P33' = L33承l(wèi)+R33水0'屮 P41' = L41氺0+R41本l， P42' = L42木1十R42氺0， P43' 二 L43氺0+R43承l(wèi)", 這種間隔插值編碼算法的實(shí)質(zhì)是將左眼圖像的像素點(diǎn)與右眼圖像的像素點(diǎn)以 交替間隔的方式插入組合成一組新的視頻圖像，如圖5所示。在同一像素行或同 一像素列中，任何相鄰的像素點(diǎn)不會(huì)都同屬于左眼圖像或同屬于右眼圖像。本實(shí) 施例中的間隔插值編碼算法，其重新組合成的新的視頻圖像的像素點(diǎn)排列方式類 似于國(guó)際象棋棋盤格局，因此也將這種間隔插值編碼算法通俗的稱作國(guó)際象棋棋 盤格算法。
按照上述間隔插值編碼算法得到的新的視頻圖像，不會(huì)像傳統(tǒng)的立體視頻格 式所實(shí)現(xiàn)那樣輪流播出一幀左眼圖像和一幀右眼圖像，而是依序一幀一幀的播放，如圖4所示。因此，如果在數(shù)據(jù)傳輸過程中截得一段視頻流，沒有經(jīng)過本方 案的相應(yīng)的解碼算法，那么得到的視頻圖像是模糊的不可觀看的，因而使得本發(fā) 明的立體視頻格式具有良好的保密性，具備了防盜版的功能。
觀看上述的立體視頻格式的立體電視，只需要配戴非常便宜的被動(dòng)式偏振眼 鏡，電路結(jié)構(gòu)簡(jiǎn)單、方便制作且成本較低。
立體視頻實(shí)現(xiàn)裝置的實(shí)施例
對(duì)應(yīng)于上述的立體視頻實(shí)現(xiàn)方法，本發(fā)明還提供了一種立體視頻實(shí)現(xiàn)裝置，
如圖6所示。立體視頻實(shí)現(xiàn)裝置包括圖像合成單元20、圖像編碼單元21、存儲(chǔ)器 22、圖像解碼單元23、圖像分離單元24。其中圖像合成單元20分別將左攝像機(jī)拍 攝的左眼圖像和右攝像機(jī)拍攝的右眼圖像分割為多個(gè)像素點(diǎn)，將左眼圖像和右眼圖 像對(duì)應(yīng)的像素點(diǎn)以交替間隔的方式插入組合成一組新的視頻圖像。
在本實(shí)施例，請(qǐng)參見圖3，左眼圖像IO被分割成1920X1080個(gè)像素點(diǎn)Un(其 中m是1 1080中的任一值，n是1 1920中的任一值)，右眼圖像11被分割成 1920X 1080個(gè)像素點(diǎn)Rm,然后將左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)按照特定算法 經(jīng)過編碼計(jì)算重新組合得到一組新的視頻圖像信息進(jìn)行數(shù)據(jù)傳輸和播放。例如， 在圖3中，重新組合的視頻圖像的像素點(diǎn)P11'是左眼圖像的像素點(diǎn)L11與右眼圖 像的像素點(diǎn)R11經(jīng)過特定算法計(jì)算得到的。重新組合的視頻圖像的像素點(diǎn)P12'是 左眼圖像的像素點(diǎn)L12與右眼圖像的像素點(diǎn)R12經(jīng)過特定算法計(jì)算得到的。依次類 推，重新組合的視頻圖像的像素點(diǎn)Pmn'是左眼圖像的像素點(diǎn)Lmn與右眼圖像的像 素點(diǎn)Rmn經(jīng)過特定算法計(jì)算得到的，
Pll' = L11 R11，
P12' = L12 R12，
P13' = L13 R13，
P14' = L14 R14，
P21' = L21 R21，P22' = L22 R22， P23' 二 L23 R23， P24' = L24 R24，
Pmn' = Unn Rnm，
釆用上述的方法，由于相鄰的像素點(diǎn)都是具有關(guān)聯(lián)性的，所以數(shù)據(jù)處理的相 關(guān)性高，可以降低算法的復(fù)雜度。并且由于各個(gè)相鄰的像素點(diǎn)都是具有關(guān)聯(lián)性， 因此可以方便地與其他的格式進(jìn)行轉(zhuǎn)換。
對(duì)于上述所述的特定的算法，在本實(shí)施例中是間隔插值編碼算法，可以用下 列的邏輯表達(dá)式來表示
PIT = L11*1+R11*0， P12' = L12*0+R12*l， P13' = L13*l+R13*0".
P21' = L21*0+R21*l， P22' = L22*l+R22*0， P23' 二 L23*0+R23*P..
P31' = L31*l+R31*0， P32' = L32*0+R32*l， P33' 二 L33*l+R33*0...
P4l' = L41水0+R41傘l， P42' 二 L42木l+R42水0， P43' = L43木0+R43氺l',， 這種間隔插值編碼算法的實(shí)質(zhì)是將左眼圖像的像素點(diǎn)與右眼圖像的像素點(diǎn)以 交替間隔的方式插入組合成一組新的視頻圖像，如圖5所示。在同一像素行或同 一像素列中，任何相鄰的像素點(diǎn)不會(huì)都同屬于左眼圖像或同屬于右眼圖像。本實(shí) 施例中的間隔插值編碼算法，其重新組合成的新的視頻圖像的像素點(diǎn)排列方式類 似于國(guó)際象棋棋盤格局，因此也將這種間隔插值編碼算法通俗的稱作國(guó)際象棋棋 盤格算法。
按照上述間隔插值編碼算法得到的新的視頻圖像，不會(huì)像傳統(tǒng)的立體視頻格 式所實(shí)現(xiàn)那樣輪流播出一幀左眼圖像和一幀右眼圖像，而是依序一幀一幀的播 放，如圖4所示。因此，如果在數(shù)據(jù)傳輸過程中截得一段視頻流，沒有經(jīng)過本方 案的相應(yīng)的解碼算法，那么得到的視頻圖像是模糊的不可觀看的，因而使得本發(fā) 明的立體視頻格式具有良好的保密性，具備了防盜版的功能。
圖像編碼單元21連接圖像合成單元20，將圖像合成單元20輸出的視頻圖像 進(jìn)行壓縮編碼，例如MPEG壓縮或者HD高清壓縮等。存儲(chǔ)器22連接圖像編碼單元 21，存儲(chǔ)壓縮后的視頻圖像。圖像解碼單元23連接存儲(chǔ)器22，對(duì)存儲(chǔ)器22中的 壓縮后的視頻圖像進(jìn)行解壓縮處理，解壓縮處理是圖像編碼單元21的壓縮處理的逆過程。圖像分離單元24連接圖像解碼單元23，將圖像解碼單元23解壓縮后的 視頻圖像拆分為左眼圖像和右眼圖像，拆分過程是圖像合成單元20的組合過程的 逆過程。
上述實(shí)施例是提供給本領(lǐng)域普通技術(shù)人員來實(shí)現(xiàn)或使用本發(fā)明的，本領(lǐng)域普 通技術(shù)人員可在不脫離本發(fā)明的發(fā)明思想的情況下，對(duì)上述實(shí)施例做出種種修改 或變化，因而本發(fā)明的保護(hù)范圍并不被上述實(shí)施例所限，而應(yīng)該是符合權(quán)利要求 書提到的創(chuàng)新性特征的最大范圍。
權(quán)利要求
1、一種立體視頻實(shí)現(xiàn)方法，包括(1)分別將左眼圖像和右眼圖像分割為多個(gè)像素點(diǎn)；(2)將左眼圖像和右眼圖像的對(duì)應(yīng)的像素點(diǎn)以交替間隔的方式插入組合成一組新的視頻圖像。
2、 根據(jù)權(quán)利要求1所述的立體視頻實(shí)現(xiàn)方法，其特征在于，在步驟(l)中， 左眼圖像由像素點(diǎn)L，構(gòu)成，右眼圖像由像素點(diǎn)Rm,n構(gòu)成；在步驟(2)中，新的視頻圖像的像素點(diǎn)P,二L,或Rm，n。
3、 根據(jù)權(quán)利要求1所述的立體視頻實(shí)現(xiàn)方法，其特征在于，在步驟(2)之 后還包括將視頻圖像進(jìn)行壓縮編碼。
4、 根據(jù)權(quán)利要求1所述的立體視頻實(shí)現(xiàn)方法，其特征在于，在步驟(2)之 后還包括在播放時(shí)，將新的視頻圖像以步驟(2)的反過程拆分為左眼圖像和右眼圖像。
5、 根據(jù)權(quán)利要求3所述的立體視頻實(shí)現(xiàn)方法，其特征在于，還包括 在播放時(shí)先進(jìn)行解壓縮的過程。
6、 一種立體視頻實(shí)現(xiàn)裝置，包括圖像合成單元，分別將左眼圖像和右眼圖像分割為多個(gè)像素點(diǎn)，將左眼圖像 和右眼圖像的對(duì)應(yīng)的像素點(diǎn)以交替間隔的方式插入組合成一組新的視頻圖像。
7、 根據(jù)權(quán)利要求6所述的立體視頻實(shí)現(xiàn)裝置，其特征在于，該裝置還包括 圖像編碼單元，連接該圖像合成單元，對(duì)該圖像合成單元輸出的視頻圖像進(jìn)行壓縮編碼。
8、 根據(jù)權(quán)利要求7所述的立體視頻實(shí)現(xiàn)裝置，其特征在于，該裝置還包括 存儲(chǔ)器，連接該圖像編碼單元，存儲(chǔ)壓縮后的視頻圖像。
9、 根據(jù)權(quán)利要求8所述的立體視頻實(shí)現(xiàn)裝置，其特征在于，該裝置還包括 圖像解碼單元，連接該存儲(chǔ)器，對(duì)該存儲(chǔ)器中的壓縮后的視頻圖像進(jìn)行解壓縮處理。
10、 根據(jù)權(quán)利要求9所述的立體視頻實(shí)現(xiàn)裝置，其特征在于，該裝置還包括: 圖像分離單元，連接該圖像解碼單元，以該圖像合成單元中的反過程將解壓縮后的視頻圖像分拆為左眼圖像和右眼圖像。
全文摘要
本發(fā)明公開了一種立體視頻實(shí)現(xiàn)方法和裝置，改善立體視頻數(shù)據(jù)量巨大的問題，不會(huì)增加帶寬，降低了算法的復(fù)雜度，而且視頻處理簡(jiǎn)單，降低了成本。技術(shù)方案為方法包括(1)分別將左眼圖像和右眼圖像分割為多個(gè)像素點(diǎn)；(2)將左眼圖像和右眼圖像的對(duì)應(yīng)的像素點(diǎn)以交替間隔的方式插入組合成一組新的視頻圖像。本發(fā)明應(yīng)用于視頻處理領(lǐng)域。
文檔編號(hào)H04N13/00GK101547372SQ20091005047
公開日2009年9月30日 申請(qǐng)日期2009年4月30日 優(yōu)先權(quán)日2009年4月30日
發(fā)明者朱仕康 申請(qǐng)人:上海暉悅數(shù)字視頻科技有限公司