專(zhuān)利名稱(chēng)：?jiǎn)文哭D(zhuǎn)多目的立體視頻生成方法、求解深度信息圖以及生成視差圖的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多視點(diǎn)立體視頻合成領(lǐng)域，尤其涉及一種單目轉(zhuǎn)多目的立體視頻生成方法、求解深度信息圖以及生成視差圖的方法。
背景技術(shù)：
隨著告別3D電視元年2010年以及進(jìn)一步放量發(fā)展的2011年，3D顯示技術(shù)已進(jìn)入3D電視的普及元年2012年。縱觀整個(gè)3D電視發(fā)展歷程，無(wú)論是眼鏡式3D顯示技術(shù)還是裸眼3D顯示技術(shù)都已進(jìn)入穩(wěn)定發(fā)展期。但是，相對(duì)于3D顯示技術(shù)的迅猛發(fā)展，3D片源逐漸成為制約3D電視在消費(fèi)市場(chǎng)上進(jìn)一步普及的最大瓶頸。
3D片源分為雙目片源和多目片源，雙目片源需要佩戴輔助設(shè)備進(jìn)行觀看，如通過(guò)主動(dòng)快門(mén)式、偏振式、紅藍(lán)式眼鏡等將雙目圖像分別發(fā)送至人的左右兩眼，從而形成立體視覺(jué)感知。這種方式需要用戶(hù)佩戴眼鏡，觀看不便。多目片源播放則采用裸眼3D立體顯示設(shè)備顯示，裸眼3D立體顯示技術(shù)能夠讓用戶(hù)無(wú)需佩戴輔助設(shè)備即可觀看視頻所具有的立體效果，是未來(lái)立體視頻顯示的發(fā)展方向。
無(wú)論是雙目還是多目片源，由于制作成本高、周期長(zhǎng)、對(duì)采集設(shè)備及輔助設(shè)備的要求高等問(wèn)題，成為制約3D電視普及的瓶頸，而且現(xiàn)有的大量2D視頻資料一方面提供了豐富的片源問(wèn)題，另一方面卻由于顯示不兼容的問(wèn)題而無(wú)法在3D立體顯示設(shè)備上顯示。發(fā)明內(nèi)容
針對(duì)上述問(wèn)題，本發(fā)明的目的在于提供一種單目轉(zhuǎn)多目的立體視頻生成方法、求解深度信息圖以及生成視差圖的方法，能夠?qū)F(xiàn)有的2D視頻源轉(zhuǎn)換成可以在3D立體顯示設(shè)備上播放的視頻。
為達(dá)到上述目的，本發(fā)明所述一種單目轉(zhuǎn)多目的立體視頻生成方法，包括以下步驟
將輸入的2D視頻求解得到圖像的深度信息圖，利用得到的深度信息圖渲染生成N 視點(diǎn)的3D視差圖，并合成3D視頻輸出；其中，
求解得到深度信息圖的具體步驟為
對(duì)視頻圖像進(jìn)行預(yù)處理；
對(duì)預(yù)處理后的圖像利用梯度法得到運(yùn)動(dòng)矢量；
對(duì)運(yùn)動(dòng)矢量進(jìn)行場(chǎng)景改變度檢測(cè)以得到視頻圖像的初始深度信息；
對(duì)初始深度信息進(jìn)行再處理以得到清晰的深度圖。
優(yōu)選地，生成視差圖的具體步驟為
結(jié)合深度信息圖和原始圖，視點(diǎn)區(qū)的N個(gè)視點(diǎn)在顯示屏后生成N路虛擬像點(diǎn)，設(shè)視點(diǎn)區(qū)的N個(gè)左視點(diǎn)為L(zhǎng)0、L1、L2......LN ;N個(gè)右視點(diǎn)為R0、R1、R2......RN ;則各視點(diǎn)在顯示屏后生成的N路虛擬像點(diǎn)曲線(xiàn)為L(zhǎng)0”、R0” ；L1”、Rl ” ；L2”、20”......LN，，、RN” ；
求得N視點(diǎn)視差圖為
LN” = S+(2N+1) *depth ；
RN” = S-(2N+1) *depth ；
進(jìn)而合成N幅輸入到顯示屏的視頻源；
根據(jù)顯示器特性將N幅視頻源合成一幅視頻源到顯示器上顯示。
優(yōu)選地，對(duì)視頻圖像進(jìn)行預(yù)處理具體為
將輸入的2D視頻由RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間；
對(duì)YUV空間的Y分量進(jìn)行重復(fù)下采樣處理，同時(shí)進(jìn)行場(chǎng)景自然度檢測(cè)和場(chǎng)景相關(guān)度檢測(cè)；
對(duì)初始深度信息進(jìn)行再處理具體為
對(duì)初始深度信息進(jìn)行重復(fù)平滑濾波和重復(fù)上采樣處理，并根據(jù)場(chǎng)景相關(guān)度檢測(cè)信息對(duì)視頻圖像內(nèi)的邊界信息進(jìn)行保留，得到清晰的深度根據(jù)場(chǎng)景自然度檢測(cè)信息和場(chǎng)景改變度檢測(cè)信息對(duì)深度圖進(jìn)行混合濾波，得到最終的圖像深度信息圖。
優(yōu)選地，對(duì)運(yùn)動(dòng)矢量進(jìn)行場(chǎng)景改變度檢測(cè)具體為
若場(chǎng)景發(fā)生變化，則重新計(jì)算變化后的圖像利用梯度法得到運(yùn)動(dòng)矢量；
反之，進(jìn)行運(yùn)動(dòng)矢量累加。
優(yōu)選地，所述場(chǎng)景自然度檢測(cè)是完成檢測(cè)視頻的電影模式中上方和下方有大面積的黑幕情況，形成有效的視頻圖像檢測(cè)區(qū)域；
所述場(chǎng)景改變度檢測(cè)是檢測(cè)前后幀的圖像是否發(fā)生場(chǎng)景變化，場(chǎng)景變化時(shí)將重新計(jì)算運(yùn)動(dòng)矢量；
所述場(chǎng)景相關(guān)度檢測(cè)是檢測(cè)同一幀圖像中的相鄰像素是否相關(guān)。
優(yōu)選地，所述下采樣處理具體是將視頻原始分辨率降到低分辨率。
優(yōu)選地，所述上采樣處理具體是將視頻所降到的低分辨率還原到原始分辨率。
優(yōu)選地，所述N視點(diǎn)的N = 2，為佩帶眼鏡的3D模式；所述N視點(diǎn)的N > 2，為裸眼的3D模式。
為達(dá)到上述目的，本發(fā)明所述一種求解深度信息圖的方法，具體包括以下步驟
將輸入的2D視頻由RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間；
對(duì)YUV空間的Y分量進(jìn)行重復(fù)下采樣處理，同時(shí)進(jìn)行場(chǎng)景自然度檢測(cè)和場(chǎng)景相關(guān)度檢測(cè)；
對(duì)下采樣處理的視頻圖像信息利用梯度法得到運(yùn)動(dòng)矢量，同時(shí)對(duì)運(yùn)動(dòng)矢量進(jìn)行場(chǎng)景改變度檢測(cè)，并判斷場(chǎng)景是否發(fā)生變化；
若場(chǎng)景發(fā)生變化，則重新計(jì)算變化后的圖像利用梯度法得到運(yùn)動(dòng)矢量；
反之，進(jìn)行運(yùn)動(dòng)矢量累加；
進(jìn)而得到視頻圖像的初始深度信息；
對(duì)初始深度信息進(jìn)行重復(fù)平滑濾波和重復(fù)上采樣處理，并根據(jù)場(chǎng)景相關(guān)度檢測(cè)信息對(duì)視頻圖像內(nèi)的邊界信息進(jìn)行保留，得到清晰的深度根據(jù)場(chǎng)景自然度檢測(cè)信息和場(chǎng)景改變度檢測(cè)信息對(duì)深度圖進(jìn)行混合濾波，得到最終的圖像深度信息圖。5
為達(dá)到上述目的，本發(fā)明所述一種生成視差圖的方法，具體包括以下步驟
結(jié)合深度信息圖和原始圖，視點(diǎn)區(qū)的N個(gè)視點(diǎn)在顯示屏后生成N路虛擬像點(diǎn)，設(shè)視點(diǎn)區(qū)的N個(gè)左視點(diǎn)為L(zhǎng)0、L1、L2......LN ;N個(gè)右視點(diǎn)為R0、R1、R2......RN ;則各視點(diǎn)在顯示屏后生成的N路虛擬像點(diǎn)曲線(xiàn)為L(zhǎng)0”、R0” ；L1”、Rl ” ；L2”、20”......LN，，、RN，，；
求得N視點(diǎn)視差圖為
LN” = S+(2N+1) *depth ；
RN” = S-(2N+1) *depth ；
進(jìn)而合成N幅輸入到顯示屏的視頻源；
根據(jù)顯示器特性將N幅視頻源合成一幅視頻源到顯示器上顯示。
本發(fā)明的有益效果為
本發(fā)明提供一種方法，能夠?qū)F(xiàn)有的2D視頻源轉(zhuǎn)換成可以在3D立體顯示設(shè)備上播放的片源，利用梯度法求解運(yùn)動(dòng)矢量，利用各種運(yùn)算簡(jiǎn)單的方法提取準(zhǔn)確的深度圖，同時(shí)運(yùn)用一路2D的深度圖合成多路的多視點(diǎn)視差圖解決3D片源短缺的難題，尤其能夠解決多視點(diǎn)裸眼立體顯示器的3D片源短缺難題，運(yùn)算復(fù)雜度低，運(yùn)算量小，利于芯片級(jí)硬件實(shí)現(xiàn)。


圖I是本發(fā)明實(shí)施例所述單目轉(zhuǎn)多目的立體視頻生成方法的框圖2是本發(fā)明實(shí)施例所述深度圖求解框圖3是人眼觀看3D顯示器產(chǎn)生深度感的原理圖4是生成視差圖像的基本原理；
圖5是一路2D視頻根據(jù)深度信息合成多路視頻的俯視圖。
具體實(shí)施方式
下面結(jié)合說(shuō)明書(shū)附圖對(duì)本發(fā)明做進(jìn)一步的描述。
單目視頻(2D)轉(zhuǎn)多目視頻(3D)是在現(xiàn)有3D信號(hào)比較少的情況下出現(xiàn)的一種技術(shù)，它能夠?qū)⑷粘Ｓ^看的普通2D電視節(jié)目，通過(guò)運(yùn)算產(chǎn)生出3D的顯示效果。
2D轉(zhuǎn)3D是在原有2D圖像的基礎(chǔ)上經(jīng)過(guò)運(yùn)算，生成新的視差圖像，然后將視差圖像以3D存儲(chǔ)格式輸出，通過(guò)佩戴合適的3D眼鏡，或者輸出合適的多視點(diǎn)視頻源，通過(guò)多視點(diǎn)立體顯示器，從而達(dá)到實(shí)現(xiàn)3D效果的目的。
為此，如圖I所示，本發(fā)明實(shí)施例所述一種單目轉(zhuǎn)多目的立體視頻生成方法，能夠?qū)F(xiàn)有的2D視頻源轉(zhuǎn)換成可以在3D立體顯示設(shè)備上播放的視頻。
該方法包括以下步驟
將輸入的2D視頻利用梯度法求解圖像運(yùn)動(dòng)矢量的方法得到圖像的深度信息利用得到的深度信息圖渲染生成N視點(diǎn)的3D視差圖，并合成3D視頻輸出。
本發(fā)明實(shí)現(xiàn)的內(nèi)容為兩個(gè)部分，一部分為利用2D視頻圖像求解深度圖；一部分為利用深度圖合成3D視頻源。
I、得到深度信息圖的具體步驟為
將輸入的2D視頻由RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間；
對(duì)YUV空間的Y分量進(jìn)行重復(fù)下采樣處理，同時(shí)進(jìn)行場(chǎng)景自然度檢測(cè)和場(chǎng)景相關(guān)度檢測(cè)；
對(duì)下采樣處理的視頻圖像信息利用梯度法得到運(yùn)動(dòng)矢量，同時(shí)對(duì)運(yùn)動(dòng)矢量進(jìn)行場(chǎng)景改變度檢測(cè)，并判斷場(chǎng)景是否發(fā)生變化；
若場(chǎng)景發(fā)生變化，則重新計(jì)算變化后的圖像利用梯度法得到運(yùn)動(dòng)矢量；
反之，進(jìn)行運(yùn)動(dòng)矢量累加；
進(jìn)而得到視頻圖像的初始深度信息；
對(duì)初始深度信息進(jìn)行重復(fù)平滑濾波和重復(fù)上采樣處理，并根據(jù)場(chǎng)景相關(guān)度檢測(cè)信息對(duì)視頻圖像內(nèi)的邊界信息進(jìn)行保留，得到清晰的深度根據(jù)場(chǎng)景自然度檢測(cè)信息和場(chǎng)景改變度檢測(cè)信息對(duì)深度圖進(jìn)行混合濾波，得到圖像的深度信息圖。
上述步驟的具體處理為如圖2所示；
將輸入的2D視頻先由RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間，在圖像的YUV空間內(nèi)Y向量表示明亮度，也就是灰階值，而U向量和V向量主要用于指定像素的顏色，在這里，Y向量集中絕大部分的圖像信息，因此，本發(fā)明中需要對(duì)Y向量進(jìn)行處理。
接著，對(duì)Y分量進(jìn)行下采樣到低分辨率以減少運(yùn)算復(fù)雜度(例如分辨率從 1080*1920下采樣到64*64等級(jí))，在這個(gè)分辨率降低過(guò)程中，由于分辨率的降低需要分階段的降低，因此，下采樣過(guò)程需要重復(fù)處理，以達(dá)到所需要的視頻分辨率。
在每次的下采樣的過(guò)程中需要運(yùn)用雙三次立方插值法以最大程度的保持圖像細(xì)節(jié)，同時(shí)在下采樣的過(guò)程中進(jìn)行場(chǎng)景自然度檢測(cè)和場(chǎng)景相關(guān)度檢測(cè)，該兩項(xiàng)檢測(cè)也隨著下采樣過(guò)程的重復(fù)處理，也需重復(fù)檢測(cè)，以便記錄每一次的檢測(cè)信息，為后續(xù)上采樣作為濾波條件生成深度圖。在這里，場(chǎng)景自然度檢測(cè)主要完成檢測(cè)視頻的電影模式中上方和下方有大面積的黑幕情況，形成有效的視頻圖像檢測(cè)區(qū)域；所述場(chǎng)景相關(guān)度檢測(cè)是檢測(cè)同一幀圖像中的相鄰像素是否相關(guān)，確保像素之間的合理配合。
然后，根據(jù)硬件配置，調(diào)低到合適的分辨率后根據(jù)梯度法求解圖像的運(yùn)動(dòng)矢量，通過(guò)視頻的連續(xù)播放，對(duì)運(yùn)動(dòng)矢量進(jìn)行場(chǎng)景改變度檢測(cè)。場(chǎng)景改變度檢測(cè)主要檢測(cè)前后幀的圖像是否發(fā)生場(chǎng)景變化，如發(fā)生鏡頭切換等，場(chǎng)景改變時(shí)將重新計(jì)算運(yùn)動(dòng)矢量。在場(chǎng)景未改變的視頻幀中進(jìn)行運(yùn)動(dòng)矢量累加，從而求得連續(xù)視頻幀的運(yùn)動(dòng)矢量，得到視頻幀的初始深度 目息。
接著，對(duì)初始深度信息進(jìn)行平滑濾波和上采樣操作，在這個(gè)過(guò)程中需要將低分辨率還原到原始的高分辨率(如從64*64等級(jí)到1080*1920)，還原過(guò)程同樣分階段的進(jìn)行， 因此，重復(fù)濾波和上采樣步驟需要重復(fù)處理，最終到原始的分辨率等級(jí)，在進(jìn)行平滑濾波的時(shí)候根據(jù)場(chǎng)景相關(guān)度檢測(cè)信息對(duì)圖像內(nèi)的邊界信息進(jìn)行保留，即濾波時(shí)只在邊界內(nèi)進(jìn)行濾波，這樣就能將圖像內(nèi)前景和背景在邊界處區(qū)分，從而形成清晰的深度圖。
最后，根據(jù)場(chǎng)景自然度信息和場(chǎng)景改變度信息對(duì)深度圖進(jìn)行混合濾波，得到圖像的深度信息圖。
2、生成視差圖的具體步驟為
結(jié)合深度信息圖和原始圖，視點(diǎn)區(qū)的N個(gè)視點(diǎn)在顯示屏中生成N路虛擬像點(diǎn)，進(jìn)而合成N幅輸入到顯示屏的視頻源；
根據(jù)顯示器特性將N幅視頻源合成一幅視頻源到顯示器上顯示。
對(duì)于上述的具體步驟需要一步步以形成原理進(jìn)行解釋說(shuō)明
首先，要知道人眼在觀看3D顯示器為什么能夠產(chǎn)生深度感，深度感的產(chǎn)生可以進(jìn)一步的使人眼看到立體場(chǎng)景。在這里，以圖3作為解釋視圖，在圖中，觀看者以觀看距離L觀看3D顯示器，左、右眼分別看到左、右視差圖像中的同源像點(diǎn)O1和Or時(shí)，會(huì)感覺(jué)到空間點(diǎn)O 位于顯示屏后方H距離處。同理，該行像素上其他同源像點(diǎn)也會(huì)相應(yīng)地產(chǎn)生深度感。這些同源像點(diǎn)綜合產(chǎn)生的視覺(jué)效果使得觀看者感覺(jué)到有一條曲線(xiàn)AB出現(xiàn)在顯示屏的后方。該曲線(xiàn)AB可看作是某一行像素的深度圖。那么，當(dāng)出現(xiàn)整幅圖像時(shí)，按照該原理，觀看者就可以感覺(jué)到具有深度感的整個(gè)場(chǎng)景。
由深度圖生成多幅視差圖像的原理是人眼觀看3D顯示器獲得深度感的一個(gè)逆過(guò)程，即要利用要顯示的深度反過(guò)來(lái)生成相應(yīng)的視差圖像。在這里，以圖4解釋生產(chǎn)視差圖像的基本原理。曲線(xiàn)A’B’為設(shè)定的場(chǎng)景某一行像素的深度圖，該深度圖反映了觀看者觀看 3D顯示器上產(chǎn)生的立體效果。在圖中，設(shè)3D顯示器最佳觀看距離為L(zhǎng)，則在距離顯示屏垂直距離L處設(shè)定多個(gè)水平放置且間距為人眼瞳距的視點(diǎn)來(lái)模擬人眼觀看3D顯示器的實(shí)際情況。圖中標(biāo)識(shí)了 3個(gè)視點(diǎn)，當(dāng)人眼位于視點(diǎn)I處觀看折線(xiàn)A’ B’時(shí)，其視覺(jué)效果等同于從顯示屏上觀看折線(xiàn)A’ B’的投影，同理，在視點(diǎn)2和視點(diǎn)3，以及在整個(gè)場(chǎng)景的每個(gè)視點(diǎn)都可以得到一個(gè)在顯示屏上的投影圖像。該投影圖像就是視差圖像。當(dāng)左、右眼位于兩個(gè)相鄰視點(diǎn)觀看到對(duì)應(yīng)的投影圖像時(shí)，就可以觀看到圖像的立體效果。
上述內(nèi)容介紹的是在單個(gè)視點(diǎn)看到的視差圖像，下面要解釋左、右視點(diǎn)是如何根據(jù)上述視差形成原理得到所需要的立體圖像。以圖5說(shuō)明，其中視點(diǎn)區(qū)代表N個(gè)視點(diǎn)，即L0、L1、L2......LN為左邊視點(diǎn)，R0、R1、R2......RN為右邊視點(diǎn)。以L(fǎng)O和RO這組左、右視點(diǎn)為例，在圖中，LO視點(diǎn)觀看深度曲線(xiàn)L0”上的三個(gè)虛擬像點(diǎn)，在顯示屏上投影三個(gè)影點(diǎn)， 其中包括L0’。而RO視點(diǎn)觀看深度曲線(xiàn)R0”上的三個(gè)虛擬像點(diǎn)，在顯示屏上投影三個(gè)影點(diǎn)， 其中包括R0’。L0’和R0’為左、右眼產(chǎn)生的視差圖像點(diǎn)。因此，可以得到N個(gè)視點(diǎn)生成N 路虛擬像點(diǎn)，即合成N幅輸入顯示屏的視頻源，最后根據(jù)顯示屏的類(lèi)型，從N幅視頻源中按照相應(yīng)的輸入格式合成一幅輸入視頻源在顯示屏上顯示。如圖上所示，顯示屏后的曲線(xiàn)L0” 表示LO視點(diǎn)看到的某一行像素形成的像，曲線(xiàn)R0”表示RO視點(diǎn)看到的這行像素形成的像， L0”和R0”之間的視差就是上述求解深度圖，即視差偏移量d印th，那么，用數(shù)學(xué)表達(dá)式表示為
LO ” = S+depth
RO ” = S-depth
其中S表示原2D圖像。
當(dāng)N = 2時(shí)，就可以作為普通輔助眼鏡觀看的3D顯示輸入視頻源。
當(dāng)N > 2時(shí)，N視點(diǎn)視差圖分別為
LN” = S+(2n+l) *depth ；
RN” = S-(2n+l) *depth ；
最后再根據(jù)裸眼立體顯示裝置的3D像素排列方式將N幅視差圖組合排列成一幅裸眼立體顯示圖，就可以在裸眼立體顯示器上進(jìn)行顯示。供于顯示的顯示器可有裸眼立體顯示器、SG屏立體顯示器、PR屏立體顯示器等。
以上，僅為本發(fā)明的較佳實(shí)施例，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本8技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求所界定的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1.一種單目轉(zhuǎn)多目的立體視頻生成方法，其特征在于，包括以下步驟 將輸入的2D視頻求解得到圖像的深度信息圖，利用得到的深度信息圖渲染生成N視點(diǎn)的3D視差圖，并合成3D視頻輸出；其中， 求解得到深度信息圖的具體步驟為 對(duì)視頻圖像進(jìn)行預(yù)處理； 對(duì)預(yù)處理后的圖像利用梯度法得到運(yùn)動(dòng)矢量； 對(duì)運(yùn)動(dòng)矢量進(jìn)行場(chǎng)景改變度檢測(cè)以得到視頻圖像的初始深度信息； 對(duì)初始深度信息進(jìn)行再處理以得到清晰的深度圖。
2.根據(jù)權(quán)利要求I所述的單目轉(zhuǎn)多目的立體視頻生成方法，其特征在于，生成視差圖的具體步驟為 結(jié)合深度信息圖和原始圖，視點(diǎn)區(qū)的N個(gè)視點(diǎn)在顯示屏后生成N路虛擬像點(diǎn)，設(shè)視點(diǎn)區(qū)的N個(gè)左視點(diǎn)為L(zhǎng)0、L1、L2......LN ;N個(gè)右視點(diǎn)為R0、R1、R2......RN ;則各視點(diǎn)在顯示屏后生成的N路虛擬像點(diǎn)曲線(xiàn)為L(zhǎng)O”、RO，，;L1”、Rl ” ;L2”、20”......LN”、RN” ； 求得N視點(diǎn)視差圖為L(zhǎng)N” = S+(2N+1)*depth ；RN” = S-(2N+l)*depth ； 進(jìn)而合成N幅輸入到顯示屏的視頻源； 根據(jù)顯示器特性將N幅視頻源合成一幅視頻源到顯示器上顯示。
3.根據(jù)權(quán)利要求I所述的單目轉(zhuǎn)多目的立體視頻生成方法，其特征在于，對(duì)視頻圖像進(jìn)行預(yù)處理具體為 將輸入的2D視頻由RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間； 對(duì)YUV空間的Y分量進(jìn)行重復(fù)下采樣處理，同時(shí)進(jìn)行場(chǎng)景自然度檢測(cè)和場(chǎng)景相關(guān)度檢測(cè)； 對(duì)初始深度信息進(jìn)行再處理具體為 對(duì)初始深度信息進(jìn)行重復(fù)平滑濾波和重復(fù)上采樣處理，并根據(jù)場(chǎng)景相關(guān)度檢測(cè)信息對(duì)視頻圖像內(nèi)的邊界信息進(jìn)行保留，得到清晰的深度圖； 根據(jù)場(chǎng)景自然度檢測(cè)信息和場(chǎng)景改變度檢測(cè)信息對(duì)深度圖進(jìn)行混合濾波，得到最終的圖像深度信息圖。
4.根據(jù)權(quán)利要求I所述的單目轉(zhuǎn)多目的立體視頻生成方法，其特征在于，對(duì)運(yùn)動(dòng)矢量進(jìn)行場(chǎng)景改變度檢測(cè)具體為 若場(chǎng)景發(fā)生變化，則重新計(jì)算變化后的圖像利用梯度法得到運(yùn)動(dòng)矢量； 反之，進(jìn)行運(yùn)動(dòng)矢量累加。
5.根據(jù)權(quán)利要求3所述的單目轉(zhuǎn)多目的立體視頻生成方法，其特征在于，所述場(chǎng)景自然度檢測(cè)是完成檢測(cè)視頻的電影模式中上方和下方有大面積的黑幕情況，形成有效的視頻圖像檢測(cè)區(qū)域； 所述場(chǎng)景改變度檢測(cè)是檢測(cè)前后幀的圖像是否發(fā)生場(chǎng)景變化，場(chǎng)景變化時(shí)將重新計(jì)算運(yùn)動(dòng)矢量； 所述場(chǎng)景相關(guān)度檢測(cè)是檢測(cè)同一幀圖像中的相鄰像素是否相關(guān)。
6.根據(jù)權(quán)利要求3所述的單目轉(zhuǎn)多目的立體視頻生成方法，其特征在于，所述下采樣處理具體是將視頻原始分辨率降到低分辨率。
7.根據(jù)權(quán)利要求3所述的單目轉(zhuǎn)多目的立體視頻生成方法，其特征在于，所述上采樣處理具體是將視頻所降到的低分辨率還原到原始分辨率。
8.根據(jù)權(quán)利要求I所述的單目轉(zhuǎn)多目的立體視頻生成方法，其特征在于，所述N視點(diǎn)的N = 2，為佩帶眼鏡的3D模式；所述N視點(diǎn)的N > 2，為裸眼的3D模式。
9.一種求解深度信息圖的方法，其特征在于，具體包括以下步驟 將輸入的2D視頻由RGB色彩空間轉(zhuǎn)換到Y(jié)UV空間； 對(duì)YUV空間的Y分量進(jìn)行重復(fù)下采樣處理，同時(shí)進(jìn)行場(chǎng)景自然度檢測(cè)和場(chǎng)景相關(guān)度檢測(cè)； 對(duì)下采樣處理的視頻圖像信息利用梯度法得到運(yùn)動(dòng)矢量，同時(shí)對(duì)運(yùn)動(dòng)矢量進(jìn)行場(chǎng)景改變度檢測(cè)，并判斷場(chǎng)景是否發(fā)生變化； 若場(chǎng)景發(fā)生變化，則重新計(jì)算變化后的圖像利用梯度法得到運(yùn)動(dòng)矢量； 反之，進(jìn)行運(yùn)動(dòng)矢量累加； 進(jìn)而得到視頻圖像的初始深度信息； 對(duì)初始深度信息進(jìn)行重復(fù)平滑濾波和重復(fù)上采樣處理，并根據(jù)場(chǎng)景相關(guān)度檢測(cè)信息對(duì)視頻圖像內(nèi)的邊界信息進(jìn)行保留，得到清晰的深度圖； 根據(jù)場(chǎng)景自然度檢測(cè)信息和場(chǎng)景改變度檢測(cè)信息對(duì)深度圖進(jìn)行混合濾波，得到最終的圖像深度信息圖。
10.一種生成視差圖的方法，其特征在于，具體包括以下步驟 結(jié)合深度信息圖和原始圖，視點(diǎn)區(qū)的N個(gè)視點(diǎn)在顯示屏后生成N路虛擬像點(diǎn)，設(shè)視點(diǎn)區(qū)的N個(gè)左視點(diǎn)為L(zhǎng)0、L1、L2......LN ;N個(gè)右視點(diǎn)為R0、R1、R2......RN ;則各視點(diǎn)在顯示屏后生成的N路虛擬像點(diǎn)曲線(xiàn)為L(zhǎng)O”、RO，，;L1”、Rl ” ;L2”、20”......LN”、RN” ； 求得N視點(diǎn)視差圖為L(zhǎng)N” = S+(2N+1)*depth ；RN” = S-(2N+l)*depth ； 進(jìn)而合成N幅輸入到顯示屏的視頻源； 根據(jù)顯示器特性將N幅視頻源合成一幅視頻源到顯示器上顯示。
全文摘要
本發(fā)明公開(kāi)一種單目轉(zhuǎn)多目的立體視頻生成方法、求解深度信息圖以及生成視差圖的方法，能夠?qū)F(xiàn)有的2D視頻源轉(zhuǎn)換成可以在3D立體顯示設(shè)備上播放的視頻，包括以下步驟將輸入的2D視頻利用梯度法求解圖像運(yùn)動(dòng)矢量的方法得到圖像的深度信息圖；利用得到的深度信息圖渲染生成N視點(diǎn)的3D視差圖，并合成3D視頻輸出。本發(fā)明提供一種方法，能夠?qū)F(xiàn)有的2D視頻源轉(zhuǎn)換成可以在3D立體顯示設(shè)備上播放的片源，利用梯度法求解運(yùn)動(dòng)矢量，利用各種運(yùn)算簡(jiǎn)單的方法提取準(zhǔn)確的深度圖，同時(shí)運(yùn)用一路2D的深度圖合成多路的多視點(diǎn)視差圖解決3D片源短缺的難題，尤其能夠解決多視點(diǎn)裸眼立體顯示器的3D片源短缺難題，運(yùn)算復(fù)雜度低，運(yùn)算量小，利于芯片級(jí)硬件實(shí)現(xiàn)。
文檔編號(hào)H04N15/00GK102932662SQ20121051780
公開(kāi)日2013年2月13日 申請(qǐng)日期2012年12月5日 優(yōu)先權(quán)日2012年12月5日
發(fā)明者劉麗麗, 邢文峰 申請(qǐng)人:青島海信信芯科技有限公司