專利名稱：立體顯示方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體顯示技術(shù)，特別地，涉及一種基于多視點(diǎn)生成技術(shù)的立體顯示方 法和系統(tǒng)。
背景技術(shù)：
立體顯示裝置通常是將具有視差效果的至少兩個(gè)視圖同時(shí)在一個(gè)顯示屏幕上進(jìn) 行顯示，使得使用者能夠通過其左右眼同時(shí)觀看到具有視差的兩個(gè)視圖，從而感知到立體 畫面。立體顯示技術(shù)的原理決定了立體視頻源必須是具備視差效果的多個(gè)視圖。目前， 業(yè)界采用的立體視頻源從視圖結(jié)構(gòu)來分大致可分為三類多視圖、2D加深度、雙視圖。上述 三類視頻源格式所對(duì)應(yīng)的具體立體顯示技術(shù)各不一樣，比如，裸眼可視的立體顯示技術(shù)和 佩戴式立體顯示技術(shù)需要不同的立體源格式，也就是說，各種視頻源需要特定的立體顯示 裝置才能進(jìn)行立體畫面的顯示，因此上述三種視頻源格式在不同的立體顯示裝置上難以相 互兼容。另一方面，現(xiàn)有的立體顯示技術(shù)無法解決不良視差對(duì)用戶造成觀看效果不佳的問 題。在現(xiàn)有技術(shù)中，立體顯示源的各個(gè)視圖的拍攝角度都是固定的，且該立體視頻源都是以 固定畫面進(jìn)行保存、傳輸和顯示，因此，在顯示屏幕上顯示的各個(gè)視圖的視差是固定的。在 立體顯示裝置進(jìn)行畫面顯示時(shí)，基于特定的觀測(cè)需要，使用者有時(shí)可能需要對(duì)顯示畫面進(jìn) 行調(diào)整，比如對(duì)視頻播放窗口的尺寸進(jìn)行調(diào)整，此將導(dǎo)致在顯示屏幕上同時(shí)顯示的不同視 圖之間的視差發(fā)生改變。當(dāng)視差的變化量超出人眼的視覺感受能力范圍時(shí)，使用者觀測(cè)到 的立體畫面可能會(huì)存在重影現(xiàn)象。

發(fā)明內(nèi)容
針對(duì)上述問題，本發(fā)明提供了一種可兼容不同視頻源格式且立體效果較佳的立體 顯示方法，同時(shí)提供了一種可采用該立體顯示方法的立體顯示系統(tǒng)。本發(fā)明提供的立體顯示方法包括獲取至少兩個(gè)具有視差的初始視圖；根據(jù)立體 顯示裝置的實(shí)際視頻播放窗口的尺寸，調(diào)整各個(gè)初始視圖之間的平均視差值；根據(jù)該初始 視圖對(duì)立體視頻的三維場(chǎng)景信息進(jìn)行重建，并獲得每個(gè)視點(diǎn)的圖像；將視點(diǎn)的圖像進(jìn)行立 體像素排列處理，并將處理后的立體視頻數(shù)據(jù)提供給立體顯示裝置，以顯示對(duì)應(yīng)的立體畫 本發(fā)明提供的立體顯示系統(tǒng)包括視圖處理裝置和立體顯示裝置；該視圖處理裝置 用于獲取至少兩個(gè)具有視差的初始視圖，根據(jù)立體顯示裝置的實(shí)際視頻播放窗口的尺寸調(diào) 整各個(gè)初始視圖之間的平均視差值，根據(jù)該初始視圖對(duì)立體視頻的三維場(chǎng)景信息進(jìn)行重建 并獲得每個(gè)視點(diǎn)的圖像，將視點(diǎn)的圖像進(jìn)行立體像素排列處理，并將處理后的立體視頻數(shù) 據(jù)提供給立體顯示裝置；該立體顯示裝置用于接收該視圖處理裝置提供的立體視頻數(shù)據(jù)， 并根據(jù)該立體視頻數(shù)據(jù)顯示對(duì)應(yīng)的立體畫面。
本發(fā)明提供的立體顯示方法和系統(tǒng)可根據(jù)實(shí)際顯示需要生成額外的視圖，因此可 以兼容各種視圖格式的立體顯示裝置，并且，該立體顯示方法中，各個(gè)視點(diǎn)的生成考慮了視 頻播放窗口的尺寸參數(shù)以及使用者的具體位置參數(shù)，并根據(jù)該參數(shù)動(dòng)態(tài)調(diào)整在同一顯示屏 幕上顯示的各個(gè)視圖之間的視差，從而提高立體顯示質(zhì)量。為讓本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉一實(shí)施例，并 配合所附圖式，作詳細(xì)說明如下。


圖1為本發(fā)明立體顯示方法一種實(shí)施方式的流程圖。圖2為圖1所示的立體顯示方法中采用的具有視差的第一視圖和第二視圖的畫面 示意圖。圖3為圖2所示的第一視圖和第二視圖的合成畫面示意圖。圖4為立體顯示裝置的立體成像原理示意圖。圖5為屏幕大小為1440X900的立體顯示裝置當(dāng)實(shí)際視頻播放窗口的尺寸為 720X450的示意圖。圖6為屏幕大小為1440X900的立體顯示裝置當(dāng)實(shí)際視頻播放窗口的尺寸為 1080X675的示意圖。圖7為具有使用者位置跟蹤系統(tǒng)的立體顯示裝置的結(jié)構(gòu)示意圖。圖8為表示輔助視圖和視差調(diào)整對(duì)新的視點(diǎn)的影響的示意圖。圖9為表示運(yùn)動(dòng)視差對(duì)新的視點(diǎn)的影響的示意圖。圖10為通過偏移插值辦法實(shí)現(xiàn)視圖匹配關(guān)系的示意圖。
具體實(shí)施例方式為解決現(xiàn)有立體顯示技術(shù)的存在的問題，本發(fā)明提供了一種立體顯示方法，該方 法基于雙視圖格式的立體視頻源，能夠?qū)崟r(shí)根據(jù)顯示的需要生成額外的視圖，以解決視圖 格式的兼容使用；并且，該方法能夠?qū)崿F(xiàn)實(shí)時(shí)的動(dòng)態(tài)調(diào)整在同一顯示屏幕上顯示的各個(gè)視 圖之間的視差，從而提高立體顯示質(zhì)量。以下以視頻點(diǎn)播系統(tǒng)為例，對(duì)本發(fā)明提供的立體顯示方法一種具體實(shí)施例進(jìn)行詳 細(xì)介紹。請(qǐng)參閱圖1，其為本發(fā)明立體顯示方法一種實(shí)施例的流程圖。該立體顯示方法包括步驟Si，獲取具有視差的初始視圖。在具體實(shí)施例中，本步驟可以獲取立體視頻源提供的至少兩個(gè)立體視頻視圖，該 立體視頻源提供的立體視頻視圖可以為雙視圖格式，其包括第一視圖和第二視圖，比如，左 視圖和右視圖。請(qǐng)參閱圖2和圖3，其中圖2為所述第一視圖和第二視圖的畫面示意圖，圖3為所 述第一視圖和第二視圖的合成示意圖。在圖2中，位于左側(cè)的圖示表示該第一視圖，位于右 側(cè)的圖示表示該第二視圖。從圖2可以看出，所述第一視圖和第二視圖之間具有一定的視 差，在具體實(shí)施例中，所述第一視圖和第二視圖之間的視差是固定的。
5
本發(fā)明具體實(shí)施例中，該雙視圖格式的立體視頻數(shù)據(jù)是以視頻形式保存和傳輸 的，且所述雙視圖格式的立體視頻數(shù)據(jù)可以是由拍攝設(shè)備(比如相機(jī))實(shí)時(shí)拍攝的，也可以 是通過視頻制作軟件生成的。假設(shè)該視頻點(diǎn)播系統(tǒng)采用DirectShow架構(gòu)進(jìn)行視頻處理的， 在本步驟中，可以實(shí)時(shí)獲取每一幀視頻數(shù)據(jù)，并從該視頻數(shù)據(jù)中分離出第一視圖數(shù)據(jù)和第 二視圖數(shù)據(jù)。步驟S2，根據(jù)立體顯示裝置的類型，確定所述立體顯示裝置進(jìn)行顯示的視圖數(shù)量， 將獲取的所述初始視圖的數(shù)目調(diào)整到所述視圖數(shù)量。將初始視圖的數(shù)量調(diào)整到立體顯示裝置進(jìn)行顯示的視圖數(shù)量的方式包括減少或 者增加所述初始視圖的數(shù)量。具體地，當(dāng)初始視圖的數(shù)量大于立體顯示裝置進(jìn)行顯示的視圖數(shù)量，減少處于初 始視圖邊緣的的視圖。當(dāng)初始視圖的數(shù)量小于立體顯示裝置進(jìn)行顯示的視圖數(shù)量，以所述初始視圖為基 礎(chǔ)，生成立體顯示裝置進(jìn)行顯示的視圖數(shù)量與初始視圖的數(shù)量之間差額的輔助視圖。其中， 生成所述輔助視圖可以通過所述初始視圖的視差對(duì)應(yīng)關(guān)系，確定所述初始視圖之間的匹配 關(guān)系表，根據(jù)所述匹配關(guān)系表，插值生成。舉例說明，根據(jù)立體顯示裝置的類型，判斷出系統(tǒng)所需要的視圖數(shù)量N，并在所述 初始視圖包括的第一視圖和第二視圖基礎(chǔ)上，對(duì)應(yīng)地生成N-2個(gè)輔助視圖。對(duì)于不同類型的立體顯示裝置，由于成像原理的不同，其分別需要不同的視頻源 格式。比如，對(duì)于佩戴式立體顯示裝置，使用者在觀看畫面時(shí)需要佩戴立體顯示眼鏡，在該 立體顯示眼鏡的輔助作用下，此類型立體顯示裝置為實(shí)現(xiàn)立體畫面顯示時(shí)，僅要求立體視 頻源具有雙視圖格式。而對(duì)于裸眼可視式立體顯示裝置，使用者可通過裸眼直接觀看到立 體畫面，此類型的立體顯示裝置為實(shí)現(xiàn)立體畫面顯示，要求立體視頻源提供多視圖格式的 視頻數(shù)據(jù)。比如，為達(dá)到較佳的立體顯示效果，普通的裸眼可視式立體顯示裝置需要同時(shí)在 屏幕上顯示九個(gè)視圖，該九個(gè)視圖之間分別具有視差效果，且每?jī)蓚€(gè)視圖之間的視差大小 滿足特定的關(guān)系。在本步驟中，通過檢測(cè)如果判斷出立體顯示裝置需要多視圖格式的視頻數(shù)據(jù)，則 在其獲取到的該第一視圖和第二視圖基礎(chǔ)上，自動(dòng)生成N-2個(gè)輔助視圖。比如，可以根據(jù)預(yù) 先設(shè)定的視圖之間的視差對(duì)應(yīng)關(guān)系，利用已有的兩組視圖信息，實(shí)時(shí)地生成N-2個(gè)輔助視 圖，滿足立體顯示裝置對(duì)于多視圖格式的顯示需要。應(yīng)當(dāng)理解，步驟S2為可選的，當(dāng)檢測(cè)出視頻點(diǎn)播系統(tǒng)所采用的立體顯示裝置為基 于雙視圖格式的立體顯示裝置時(shí)，本步驟可以省去。步驟S3，根據(jù)立體顯示裝置的實(shí)際視頻播放窗口的尺寸，調(diào)整各個(gè)初始視圖之間 的平均視差值。具體地，立體顯示裝置通常是將具有視差的多個(gè)視圖通過像素排列算法合成后輸 出到立體顯示屏幕上，這樣的視差圖直接傳遞至使用者的左右眼合成立體圖像。在立體顯 示裝置中，在經(jīng)過立體化處理之后，具有不同視差大小的視圖在屏幕顯示時(shí)可以讓使用者 體驗(yàn)到不同的立體感，即感受到立體畫面具有不同的深度。當(dāng)在同一顯示屏幕所顯示的兩 個(gè)或多個(gè)視圖之間的視差發(fā)生變化的時(shí)候，使用者會(huì)感覺到屏幕顯示的物體的“深度”也發(fā) 生相應(yīng)變化。
為便于理解，以下結(jié)合圖4簡(jiǎn)單介紹立體顯示裝置的立體成像原理。請(qǐng)參閱圖4， 其為具有視差的兩個(gè)視圖中的對(duì)應(yīng)視點(diǎn)在人眼合成的光路示意圖。其中，&和Ek分別對(duì)應(yīng) 于使用者的左右眼，Ak和Ai為該兩個(gè)視圖中具有第一視差值的一對(duì)對(duì)應(yīng)點(diǎn)，Bk和B^為該兩 個(gè)視圖中具有第二視差值的一對(duì)對(duì)應(yīng)點(diǎn)，A為經(jīng)過立體顯示后在人眼中出現(xiàn)的虛像， B為Bk與&經(jīng)過立體顯示后在人眼中出現(xiàn)的虛像。從圖4可以看出，A點(diǎn)成像在屏幕之后， 則用戶會(huì)感受到A點(diǎn)具有“凹進(jìn)”的效果；B點(diǎn)成像在屏幕之前，使用者會(huì)感受到B點(diǎn)具有 “凸出”效果。其中，“凸出”與“凹進(jìn)”的程度就是使用者對(duì)于畫面的立體感知深度，即畫面 立體感的程度，其對(duì)應(yīng)于像點(diǎn)A和像點(diǎn)B與顯示屏幕的距離，即Ia和1B。具體地，該立體感知深度與視差關(guān)系可以大致地如以下公式表示
r I J SXld=-
s - e其中d為立體感知深度，s為兩個(gè)視圖之間的視差，1為人眼距離屏幕的距離，e為 兩眼瞳距。正常成年人的瞳距平均約為65mm。如果某物點(diǎn)在上述兩個(gè)視圖中的對(duì)應(yīng)視點(diǎn) 如慫和Ak所示，即從視點(diǎn)kL到視點(diǎn)Ak方向從與左眼&到Ek的方向相同，則此視點(diǎn)具有正 視差，其對(duì)應(yīng)的像點(diǎn)在屏幕之后成像，使用者對(duì)于該像點(diǎn)的立體感知深度為負(fù)。當(dāng)在某物點(diǎn) 在上述兩個(gè)視圖中的對(duì)應(yīng)視點(diǎn)如B^和Bk所示，即從視點(diǎn)B^到視點(diǎn)Bk方向與從左眼B^到Bk 的方向相反，則此視點(diǎn)具有負(fù)視差，其對(duì)應(yīng)的像點(diǎn)在屏幕之前成像，使用者對(duì)于該像點(diǎn)的立 體感知深度為正。立體視頻在制作過程中通常是針對(duì)特定的立體顯示裝置而制作的，比如，立體電 影是針對(duì)大屏幕的立體影院而制作的，因此在立體視頻的制作時(shí)所采用的拍攝設(shè)備位置、 拍攝角度以及特殊場(chǎng)景等因素會(huì)直接使得立體視頻的各個(gè)不同視圖之間的視差具有特定 的初始值，即視差初始值。當(dāng)該立體視頻在其他立體顯示裝置進(jìn)行顯示時(shí)，由于顯示屏幕與 該立體視頻對(duì)應(yīng)的特定立體顯示裝置可能會(huì)不一致，此將導(dǎo)致該立體視頻的實(shí)際畫面播放 窗口與理想的畫面播放窗口不一致，進(jìn)而導(dǎo)致在該立體顯示設(shè)備的顯示屏幕上顯示的各個(gè) 實(shí)際視圖之間的視差相較于理想視圖之間的視差將發(fā)生偏移。另外，當(dāng)立體顯示裝置的實(shí) 際播放窗口的尺寸發(fā)生改變時(shí)，各個(gè)視圖之間的視差同樣會(huì)產(chǎn)生變化。比如，請(qǐng)參閱圖5和圖6，假設(shè)立體顯示裝置的屏幕大小(分辨率)為1440X900， 對(duì)于同樣由兩個(gè)具有視差的視圖合成的立體畫面來說，當(dāng)播放窗口尺寸為720X450時(shí)，該 立體畫面的實(shí)際視差值Sl為41 (pixel)，而當(dāng)播放窗口尺寸S2為1080X675時(shí)，該立體畫 面的實(shí)際視差值被放大到61 (pixel)。從上面描述的立體感知深度與視差關(guān)系式可以看出，立體畫面在人眼的立體感知 深度是與視差值相關(guān)的。當(dāng)畫面的立體感知深度超出一定的范圍時(shí)，立體顯示裝置的屏幕 顯示的立體畫面會(huì)產(chǎn)生嚴(yán)重的重影現(xiàn)象(ghost)，而使得使用者產(chǎn)生眩暈感，從而影響立體 畫面的正常觀測(cè)。本發(fā)明的立體顯示方法中通過步驟S3，可以得到當(dāng)前視頻播放窗口對(duì)立體視頻的 各個(gè)視圖之間的視差的影響，并通過對(duì)視圖進(jìn)行縮放處理實(shí)現(xiàn)對(duì)視圖之間的視差的優(yōu)化調(diào) 整，使得各個(gè)視圖之間的視差值保持在特定范圍之內(nèi)，從而讓使用者可以從立體顯示裝置 的顯示屏幕上觀看到比較舒適的立體畫面，提高立體顯示裝置的立體顯示效果。具體地，假定立體視頻的原始尺寸為Rs，初始平均視差為Ss，當(dāng)前播放窗口的尺寸為Rw，則當(dāng)前播放窗口內(nèi)的平均視差Sw為
RSw =SsX-^;
KS在本步驟中，為了將視差值調(diào)整與所述視頻播放窗口相適應(yīng)的合理平均視差值 Sr, Sr為人眼能夠接受的合理平均視差，則要各個(gè)視圖進(jìn)行縮放處理，以將當(dāng)前視窗內(nèi)的平 均視差值Sw調(diào)整為上述民，其中，該縮放比例因子scale可以為
R SScale = —^χ。
Rw Ss步驟S4，根據(jù)使用者與立體顯示裝置的顯示屏幕之間的位置關(guān)系，對(duì)各個(gè)視圖進(jìn) 行調(diào)整。本步驟可為該立體視頻的各個(gè)視圖提供的運(yùn)動(dòng)視差，從而增加使用者的對(duì)于立體 視頻的真實(shí)體驗(yàn)感。具體而言，請(qǐng)參閱圖7，本實(shí)施例可以在立體顯示裝置設(shè)置使用者位置 跟蹤系統(tǒng)，比如，可以在該立體顯示裝置設(shè)置頭部感應(yīng)器件，比如光學(xué)攝像頭、紅外線感應(yīng) 設(shè)備、超聲波設(shè)備等，用來實(shí)時(shí)感測(cè)使用者頭部空間的具體位置。通過該頭部感應(yīng)器件獲取 到使用者頭部空間的具體位置之后，系統(tǒng)可計(jì)算出用戶頭部位置距離該立體顯示裝置的顯 示屏幕中心軸的偏移角度α，并根據(jù)這個(gè)偏移角度α去調(diào)整視圖的圖像在立體顯示裝置 的顯示面上的排列，等同于調(diào)整各個(gè)視圖的具體內(nèi)容，比如其對(duì)應(yīng)的視圖數(shù)據(jù)，從而使得是 使用者在不同位置或者不同那個(gè)角度可以從該立體顯示裝置的顯示屏幕分別觀測(cè)到不同 的顯示內(nèi)容，使得使用者可以產(chǎn)生一種身臨其境的觀看效果。另外，當(dāng)立體視頻的內(nèi)容是通過拍攝設(shè)備實(shí)時(shí)拍攝的，則本步驟中，可根據(jù)這個(gè)偏 移角度α去調(diào)整用于拍攝各個(gè)視圖的拍攝設(shè)備的位置和角度，以使得使用者可以從該立 體顯示裝置觀看到上述立體效果。步驟S5，根據(jù)該初始視圖對(duì)三維場(chǎng)景信息進(jìn)行重建，并獲得每個(gè)視點(diǎn)的圖像。在步驟S5中，首先，可通過立體匹配算法重建立體視頻的三維場(chǎng)景信息，并生成 新的視點(diǎn)信息。本步驟主要是完成視點(diǎn)偏移的準(zhǔn)備工作，比如，可利用該第一視圖和第二視圖的 原始視圖數(shù)據(jù)，完成場(chǎng)景的三維重建，并進(jìn)一步根據(jù)對(duì)上述步驟得到視點(diǎn)偏移參數(shù)(包括 縮放比例因子scale和用戶位置偏轉(zhuǎn)角度α)進(jìn)行統(tǒng)計(jì)，并生成所需視點(diǎn)的位置和角度信 肩、ο具體而言，本步驟中可通過立體匹配算法，找出場(chǎng)景稠密的深度信息，并進(jìn)一步重 建出三維場(chǎng)景信息。該立體匹配算法大致上可分為以下幾個(gè)步驟(1) 一致性代價(jià)計(jì)算為了權(quán)衡同一物點(diǎn)在兩個(gè)視圖中對(duì)應(yīng)的兩個(gè)視點(diǎn)的一致性程度，本實(shí)施例中的一 致性代價(jià)計(jì)算是逐像素進(jìn)行的。其中，為了視點(diǎn)生成視圖能夠達(dá)到更真實(shí)效果，除了考慮常 規(guī)的顏色一致性外，還考慮了梯度的一致性。假設(shè)某點(diǎn)ρ在該第一視圖和第二視圖中分別被投影到‘ Ae兩點(diǎn)，首先衡量kL和 Ak兩點(diǎn)的在顏色和梯度上的差異W(AyAK)w(Al, Ae) = wcX I color (Al) color (Ae) | |+wgX | Grad(Al) Grad(Ae) |接著，對(duì)該梯度差異值w (4，Ae)進(jìn)行正規(guī)化處理
進(jìn)一步地，對(duì)該正規(guī)化處理后的梯度差異值進(jìn)行指數(shù)運(yùn)算，得到一致性代價(jià)值C(p) = (w' (AljAe))6(2)連貫性計(jì)算為了使得該視點(diǎn)ρ周邊的視點(diǎn)同樣保持相同的顏色和梯度特定，本步驟在上述一 致性代價(jià)計(jì)算基礎(chǔ)上，可進(jìn)一步加入連貫性檢查，即對(duì)該視點(diǎn)P及其相鄰視點(diǎn)Pn進(jìn)行那個(gè) 連貫性運(yùn)算，具體運(yùn)算公式如下，其中S為連貫性閾值。V (ρ，pN) = min (| (pAL-pAE) - (pNAL-pNAE) |，δ )e(3)能量函數(shù)計(jì)算基于上述一致性代價(jià)計(jì)算和連貫性運(yùn)算的結(jié)果，通過以下能量函數(shù)計(jì)算式可以得 到立體視頻畫面的能量函數(shù)值，其中λ表示連貫性貢獻(xiàn)值。 進(jìn)一步地，通過對(duì)能量函數(shù)進(jìn)行那個(gè)最小化處理，便可找到第一視圖和第二視圖 中一對(duì)相互匹配的視點(diǎn)，即匹配點(diǎn)，根據(jù)該匹配點(diǎn)之間的距離就可以計(jì)算得出該視點(diǎn)的在 第一視圖和第二視圖之間的視差信息，進(jìn)而可以得到該第一視圖和第二視圖的匹配關(guān)系表。(4)遮擋處理遮擋問題是視點(diǎn)生成的一個(gè)非常重要和困難的問題，遮擋處理方法的好壞也直接 影響生成后的圖像的真實(shí)性，所以在建立第一視圖和第二視圖的匹配關(guān)系表之后，需要對(duì) 該第一視圖和第二視圖進(jìn)行遮擋處理。具體而言，本實(shí)施例的遮擋處理的實(shí)現(xiàn)方法可以如 下在上述第一視圖和第二視圖的視差匹配關(guān)系表中，查找出該第一視圖和第二視圖 中無法一一對(duì)應(yīng)的視點(diǎn)，并對(duì)這些視點(diǎn)進(jìn)行標(biāo)記，從而一個(gè)新的視圖匹配關(guān)系表。由于非遮 擋區(qū)域在第一視圖和第二視圖中都會(huì)有相應(yīng)的投影點(diǎn)與之對(duì)應(yīng)，而在遮擋區(qū)域的視點(diǎn)并不 是一一對(duì)應(yīng)的，利用這個(gè)特性，便可以查找出該第一視圖和該第二視圖中無法一一對(duì)應(yīng)的 視點(diǎn)。在完成上述視圖匹配工作后，便可以根據(jù)步驟S3和步驟S4計(jì)算到的視點(diǎn)偏移參 數(shù)，包括視頻縮放因子scale和用戶位置偏轉(zhuǎn)角度，產(chǎn)生新的視點(diǎn)信息。首先，如圖8所示，考慮輔助視圖和視差調(diào)整對(duì)新的視點(diǎn)產(chǎn)生的影響，在圖8中， (a)為原始第一視圖和第二視圖中的視點(diǎn)位置和視點(diǎn)間距，(b)中展示了當(dāng)N = 6，視差縮 放因子scale = Sb/Sa時(shí)，產(chǎn)生的新的視點(diǎn)位置和視點(diǎn)間隔。其次，還要考慮運(yùn)動(dòng)視差對(duì)視 點(diǎn)位置的影響，通過步驟S5中的頭部感應(yīng)器件獲取到用戶頭部空間的具體位置之后可得 到用戶頭部位置距離顯示器中心軸的偏移角度α，如圖9所示，其中(a)為未考慮運(yùn)動(dòng)視差 功能的視點(diǎn)分布，視點(diǎn)中心點(diǎn)為0 ； (b)考慮偏轉(zhuǎn)角度α，計(jì)算得到新的視點(diǎn)中心點(diǎn)0’，并重 新分布視點(diǎn)位置。由此，便可得到各個(gè)視點(diǎn)的位置信息和角度信息。進(jìn)一步地，在步驟S5中，在生成所述新的視點(diǎn)信息之后，可根據(jù)該三維場(chǎng)景信息 和視點(diǎn)信息，依次得到每個(gè)視點(diǎn)的圖像。
9
具體地，視圖生成可以采用傳統(tǒng)的相機(jī)投影矩陣來完成，也可以采用以下的偏移 插值的辦法來完成。請(qǐng)參閱圖10，其中虛線描述了第一視圖和第二視圖的匹配關(guān)系，其可以由之前的 立體匹配算法得來。圖中的投影平面(Projection plane)就是新的視點(diǎn)的投影平面，投影 平面位置就是由中間步驟中得到的新的視點(diǎn)位置來確定的。圖中的ABCEF等點(diǎn)經(jīng)過水平方 面的偏移后投影在Projection plane上就可以得到A’ B’ C’ E’ F’，逐像素的從左右視圖中 偏移這些點(diǎn)投影到Projection plane上就可以得到在新的視點(diǎn)位置所產(chǎn)生的視圖。如此 依次就可以產(chǎn)生所有視點(diǎn)的視圖。步驟S6，將每個(gè)視點(diǎn)的圖像進(jìn)行立體像素排列處理，得到立體視頻數(shù)據(jù)，并將立體 視頻數(shù)據(jù)提供給立體顯示裝置，以顯示對(duì)應(yīng)的立體畫面。本發(fā)明提供的立體顯示方法可根據(jù)實(shí)際顯示需要生成額外的視圖，因此可以兼容 各種視圖格式的立體顯示裝置，并且，該立體顯示方法中，各個(gè)視點(diǎn)的生成考慮了視頻播放 窗口的尺寸參數(shù)以及使用者的具體位置參數(shù)，并根據(jù)該參數(shù)動(dòng)態(tài)調(diào)整在同一顯示屏幕上顯 示的各個(gè)視圖之間的視差，從而提高立體顯示質(zhì)量?；谝陨系牧Ⅲw顯示方法，本發(fā)明還進(jìn)一步提供一種立體顯示系統(tǒng)。該立體顯示 系統(tǒng)包括視圖處理裝置和立體顯示裝置，該視圖處理裝置可以從立體視頻源獲取立體視頻 視圖，并對(duì)該視圖進(jìn)行處理并提供給該立體顯示裝置，處理的具體過程可參閱以上實(shí)施例 的描述；該立體顯示裝置可接收該視圖處理裝置提供的立體視頻數(shù)據(jù)，并根據(jù)該立體視頻 數(shù)據(jù)顯示對(duì)應(yīng)的立體畫面。進(jìn)一步地，該視圖處理裝置還用于根據(jù)立體顯示裝置的類型，確定立體顯示裝置 進(jìn)行顯示的視圖數(shù)量，判斷初始視圖的數(shù)量與立體顯示裝置進(jìn)行顯示的視圖數(shù)量是否相 等，若不相等，則將初始視圖的數(shù)量調(diào)整到立體顯示裝置進(jìn)行顯示的視圖數(shù)量。該視圖處理裝置包括計(jì)算模塊和調(diào)整模塊。其中，計(jì)算模塊用于根據(jù)立體顯示裝 置的實(shí)際視頻播放窗口的尺寸，計(jì)算出視圖縮放比例因子；調(diào)整模塊根據(jù)該視圖縮放比例 因子，通過視圖縮放處理對(duì)各個(gè)初始視圖之間的平均視差值進(jìn)行調(diào)整。所述計(jì)算模塊通過
公式
計(jì)算出視圖縮放比例因子Scale，其中，Rs為該初始視圖對(duì)應(yīng)的立體視
頻的初始尺寸，Ss為該立體視頻的初始平均視差，Rff為實(shí)際視頻播放窗口的尺寸，Sr為人眼 能夠接受的合理平均視差。該立體顯示裝置包使用者位置跟蹤系統(tǒng)，使用者位置跟蹤系統(tǒng)用于檢測(cè)使用者與 該立體顯示裝置之間的位置關(guān)系，并根據(jù)二者之間的位置關(guān)系調(diào)整視圖的圖像在立體顯示 裝置的顯示面上的排列。雖然本發(fā)明已以較佳實(shí)施例揭露如上，然而并非用以限定本發(fā)明，任何熟悉本專 業(yè)的技術(shù)人員，在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的技術(shù)內(nèi)容作出些許 更動(dòng)或修飾為等同變化的等效實(shí)施例，但凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明 的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方 案的范圍內(nèi)。
權(quán)利要求
一種立體顯示方法，其特征在于，包括獲取具有視差的初始視圖；根據(jù)立體顯示裝置的實(shí)際視頻播放窗口的尺寸，調(diào)整各個(gè)初始視圖之間的平均視差值；根據(jù)調(diào)整后的初始視圖，對(duì)三維場(chǎng)景信息進(jìn)行重建，并獲得每個(gè)視點(diǎn)的圖像；將視點(diǎn)的圖像進(jìn)行立體像素排列處理，得到立體視頻數(shù)據(jù)，并將所述立體視頻數(shù)據(jù)提供給該立體顯示裝置，以顯示對(duì)應(yīng)的立體畫面。
2.如權(quán)利要求1所述的立體顯示方法，其特征在于，還包括 根據(jù)立體顯示裝置的類型，確定立體顯示裝置進(jìn)行顯示的視圖數(shù)量；判斷初始視圖的數(shù)量與立體顯示裝置進(jìn)行顯示的視圖數(shù)量是否相等，若不相等，則將 初始視圖的數(shù)量調(diào)整到立體顯示裝置進(jìn)行顯示的視圖數(shù)量。
3.如權(quán)利要求1或2所述的立體顯示方法，其特征在于，所述根據(jù)立體顯示裝置的實(shí)際 視頻播放窗口的尺寸，調(diào)整各個(gè)初始視圖之間的平均視差值包括根據(jù)立體顯示裝置的實(shí)際視頻播放窗口的尺寸，計(jì)算出視圖縮放比例因子； 根據(jù)該視圖縮放比例因子，通過視圖縮放處理對(duì)各個(gè)初始視圖之間的平均視差值進(jìn)行 調(diào)整。
4.如權(quán)利要求3所述的立體顯示方法，其特征在于，所述縮放比例因子通過以下計(jì)算公式計(jì)算得到 ，其中，Rs為該初始視圖對(duì)應(yīng)的立體視頻的初始尺寸，Ss為該立體視頻KW ^S的初始平均視差，Rw為實(shí)際視頻播放窗口的尺寸，民為人眼能夠接受的合理平均視差。
5.如權(quán)利要求3所述的立體顯示方法，其特征在于，還包括檢測(cè)使用者與該立體顯示 裝置之間的位置關(guān)系，并根據(jù)二者之間的位置關(guān)系調(diào)整視圖的圖像在立體顯示裝置的顯示 面上的排列。
6.如權(quán)利要求5所述的立體顯示方法，其特征在于，所述檢測(cè)使用者與該立體顯示裝 置之間的位置關(guān)系，并根據(jù)二者之間的位置關(guān)系調(diào)整視圖的圖像在立體顯示裝置的顯示面 上的排列的步驟，包括通過使用者位置跟蹤系統(tǒng)，實(shí)時(shí)感測(cè)使用者頭部空間的位置； 根據(jù)感測(cè)到的使用者頭部空間的位置，計(jì)算出使用者頭部位置距離該立體顯示裝置的 顯示屏幕中心軸的偏移角度，根據(jù)所述偏移角度，調(diào)整視圖的圖像在立體顯示裝置的顯示 面上的排列。
7.如權(quán)利要求6所述的立體顯示方法，其特征在于，所述根據(jù)該初始視圖對(duì)三維場(chǎng)景 信息進(jìn)行重建，并獲得每個(gè)視點(diǎn)的圖像的步驟包括利用至少二個(gè)初始視圖，重建三維場(chǎng)景；根據(jù)該縮放比例因子和使用者位置的偏移角度，計(jì)算出三維場(chǎng)景中各個(gè)視圖中對(duì)應(yīng)的 視點(diǎn)位置和視點(diǎn)間隔；根據(jù)該三維場(chǎng)景信息和視點(diǎn)信息，通過偏移插值方式依次得到每個(gè)視點(diǎn)對(duì)應(yīng)的圖像。
8.如權(quán)利要求6所述的立體顯示方法，其特征在于，所述重建三維場(chǎng)景的步驟包括根 據(jù)視點(diǎn)的顏色一致性和梯度一致性，逐像素地對(duì)該初始視圖中對(duì)應(yīng)視點(diǎn)進(jìn)行一致性代價(jià)計(jì)算，并對(duì)該視點(diǎn)及其相鄰視點(diǎn)進(jìn)行連貫性計(jì)算；根據(jù)該一致性代價(jià)計(jì)算和連貫性運(yùn)算的結(jié) 果，通過能量函數(shù)計(jì)算式計(jì)算得到該立體視頻中各個(gè)視點(diǎn)的能量函數(shù)值；通過對(duì)各個(gè)視點(diǎn) 能量函數(shù)值進(jìn)行最小化處理，得到該立體視頻的各個(gè)視圖之間的匹配關(guān)系表；在該匹配關(guān) 系表中，查找出在不同視圖中無法一一對(duì)應(yīng)的視點(diǎn)，并對(duì)其進(jìn)行標(biāo)記，以得到一個(gè)新的視圖 匹配關(guān)系表，也即三維場(chǎng)景。
9.一種立體顯示系統(tǒng)，其特征在于，包括視圖處理裝置和立體顯示裝置，該視圖處理裝 置用于獲取具有視差的初始視圖，根據(jù)立體顯示裝置的實(shí)際視頻播放窗口的尺寸調(diào)整各個(gè) 初始視圖之間的平均視差值，根據(jù)該初始視圖對(duì)立體視頻的三維場(chǎng)景信息進(jìn)行重建，并獲 得每個(gè)視點(diǎn)的圖像，將視點(diǎn)的圖像進(jìn)行立體像素排列處理，得到立體視頻數(shù)據(jù)，并將立體視 頻數(shù)據(jù)提供給立體顯示裝置，該立體顯示裝置用于接收該視圖處理裝置提供的立體視頻數(shù) 據(jù)，并根據(jù)該立體視頻數(shù)據(jù)顯示對(duì)應(yīng)的立體畫面。
10.如權(quán)利要求9所述的立體顯示系統(tǒng)，其特征在于，該視圖處理裝置還用于根據(jù)立體 顯示裝置的類型，確定立體顯示裝置進(jìn)行顯示的視圖數(shù)量，判斷初始視圖的數(shù)量與立體顯 示裝置進(jìn)行顯示的視圖數(shù)量是否相等，若不相等，則將初始視圖的數(shù)量調(diào)整到立體顯示裝 置進(jìn)行顯示的視圖數(shù)量。
11.如權(quán)利要求9或10所述的立體顯示系統(tǒng)，其特征在于，該視圖處理裝置，包括計(jì)算 模塊和調(diào)整模塊，所述計(jì)算模塊，用于根據(jù)立體顯示裝置的實(shí)際視頻播放窗口的尺寸，計(jì)算出視圖縮放 比例因子；所述調(diào)整模塊，根據(jù)該視圖縮放比例因子，通過視圖縮放處理對(duì)各個(gè)初始視圖之間的 平均視差值進(jìn)行調(diào)整。
12.如權(quán)利要求11所述的立體顯示系統(tǒng)，其特征在于，所述計(jì)算模塊通過公式 R SScale = ^xf計(jì)算出視圖縮放比例因子Scale，其中，Rs為該初始視圖對(duì)應(yīng)的立體視頻的KW ^S初始尺寸，Ss為該立體視頻的初始平均視差，Rff為實(shí)際視頻播放窗口的尺寸，Sr為人眼能夠 接受的合理平均視差。
13.如權(quán)利要求12所述的立體顯示系統(tǒng)，其特征在于，該立體顯示裝置包使用者位置 跟蹤系統(tǒng)，使用者位置跟蹤系統(tǒng)用于檢測(cè)使用者與該立體顯示裝置之間的位置關(guān)系，并根 據(jù)二者之間的位置關(guān)系調(diào)整視圖的圖像在立體顯示裝置的顯示面上的排列。
全文摘要
本發(fā)明提供一種立體顯示方法，其包括獲取具有視差的初始視圖；根據(jù)立體顯示裝置的實(shí)際視頻播放窗口的尺寸，調(diào)整各個(gè)初始視圖之間的平均視差值；根據(jù)調(diào)整后的初始視圖，對(duì)三維場(chǎng)景信息進(jìn)行重建，并獲得每個(gè)視點(diǎn)的圖像；將視點(diǎn)的圖像進(jìn)行立體像素排列處理，得到立體視頻數(shù)據(jù)，并將所述立體視頻數(shù)據(jù)提供給該立體顯示裝置，以顯示對(duì)應(yīng)的立體畫面。本發(fā)明同時(shí)還提供一種立體顯示系統(tǒng)。本發(fā)明可兼容不同視頻源格式且立體效果較佳。
文檔編號(hào)G06T17/00GK101895779SQ20101023527
公開日2010年11月24日 申請(qǐng)日期2010年7月23日 優(yōu)先權(quán)日2010年7月23日
發(fā)明者簡(jiǎn)培云 申請(qǐng)人:深圳超多維光電子有限公司