兼容2d與多視點裸眼3d顯示的視頻處理裝置及方法
【專利摘要】本發(fā)明公開了一種兼容2D與多視點裸眼3D顯示的視頻處理裝置，包括視頻輸入接口、2D視頻輸出接口、3D合成視頻輸出接口、視頻解碼模塊、視頻圖像處理模式選擇模塊、深度圖生成模塊、深度圖像繪制模塊、可配置的圖像分解模塊、視頻圖像幀存儲模塊、并行圖像縮放模塊以及可配置的多視點裸眼3D視頻圖像組合計算模塊；相應(yīng)地，對于常見格式的視頻源，本裝置對應(yīng)的處理方法不僅能夠?qū)崿F(xiàn)實時的多視點裸眼3D顯示，亦能兼容2D播放模式，與此同時，通過參數(shù)的調(diào)整可以滿足目前主流的多種裸眼3D顯示技術(shù)的要求。與現(xiàn)有裸眼3D顯示處理裝置及方法相比，本發(fā)明對于實現(xiàn)多視點裸眼立體顯示處理提供了完整的解決方案。
【專利說明】兼容2D與多視點裸眼3D顯示的視頻處理裝置及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻圖像處理【技術(shù)領(lǐng)域】，具體涉及一種兼容2D與多視點裸眼3D顯示的視頻處理裝置及方法。
【背景技術(shù)】
[0002]裸眼3D顯示技術(shù)打破了二維顯示平面的局限，同時擺脫了眼鏡式3D技術(shù)需要佩戴特制眼鏡給用戶所帶來的束縛，真正實現(xiàn)了人們將三維場景搬上屏幕的愿景，在航天、醫(yī)療、教學(xué)、展覽等諸多領(lǐng)域都具有重要意義。
[0003]裸眼3D顯示方案包括視差屏障技術(shù)、柱狀透鏡技術(shù)、指向光源技術(shù)和多層顯示技術(shù)，當(dāng)前相對成熟的裸眼3D顯示技術(shù)大多是依靠在顯示面板上額外附加一層可以實現(xiàn)對屏幕圖像進(jìn)行“方向性”視覺阻擋的介質(zhì)，通過光的遮擋或者折射等物理手段來精確控制各像素的射出光路，使得左右眼畫面區(qū)分開來，進(jìn)一步利用人眼的雙目立體視覺生理特性，最終將兩幅略帶差異的圖像在大腦中融合形成立體視覺。
[0004]目前，裸眼3D顯示主流技術(shù)為視差屏障技術(shù)與柱狀透鏡技術(shù)，其中，視差屏障技術(shù)存在畫面亮度低、圖像分辨率損失嚴(yán)重(與視點數(shù)呈反比關(guān)系)的問題；柱狀透鏡技術(shù)雖不會對畫面亮度造成影響，但依舊存在著圖像分辨率損失的問題。此外，多視點裸眼3D顯示技術(shù)是一個呈現(xiàn)多極化的生態(tài)鏈，整個過程貫穿了前端3D片源制作到后端裸眼3D顯示處理一系列環(huán)節(jié)，伴隨而來的還有可視角度、可視距離、畫面立體深度感、2D轉(zhuǎn)3D技術(shù)、雙目轉(zhuǎn)多目技術(shù)等諸多現(xiàn)實問題。
[0005]盡管如此，就當(dāng)前顯示技術(shù)的發(fā)展方向來看，裸眼3D技術(shù)毫無疑問將會成為今后顯示領(lǐng)域的主流趨勢，同樣地，隨著裸眼3D顯示技術(shù)不斷朝著多視點、超高清(4K及4K以上分辨率)、大尺寸化方向的發(fā)展更新，當(dāng)前所突出的一系列問題也將得到很大程度上的改
盡
口 ο
[0006]與現(xiàn)有多視點裸眼3D顯示的視頻處理裝置及方法相比，本發(fā)明對于常見格式的視頻源(包括多視點3D視頻源、2D視頻源、符合BT.2160規(guī)范的雙目3D視頻源、(V+D)格式視頻源)的實時多視點裸眼立體顯示處理提供了完整的解決方案。本裝置適用性強(qiáng)，靈活性高，通過參數(shù)的調(diào)整，不僅能夠滿足目前主流的多視點裸眼3D顯示技術(shù)的要求，也能夠兼容2D播放模式。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供了一種兼容2D與多視點裸眼3D顯示的視頻處理裝置及方法，該裝置及方法支持多種格式視頻源的2D播放模式及3D播放模式，同時通過參數(shù)的調(diào)整能夠滿足目前主流的多視點裸眼3D顯示技術(shù)的要求。
[0008]為實現(xiàn)上述功能，本發(fā)明所述的兼容2D與多視點裸眼3D顯示的視頻處理裝置包括視頻輸入接口、2D視頻輸出接口、3D合成視頻輸出接口、視頻解碼模塊、深度圖生成模塊、深度圖像繪制模塊、可配置的圖像分解模塊、視頻圖像幀存儲模塊、并行圖像縮放模塊及可配置的多視點裸眼3D視頻圖像組合計算模塊、以及用于切換至2D播放模式或3D播放模式的視頻圖像處理模式選擇模塊；
[0009]所述視頻輸入接口與視頻解碼模塊的輸入端相連接，視頻解碼模塊的輸出端與視頻圖像處理模式選擇模塊的輸入端相連接，視頻圖像處理模式選擇模塊的第一輸出端與深度圖生成模塊的輸入端相連接，深度圖像繪制模塊的輸入端分別與深度圖生成模塊的輸出端、視頻圖像處理模式選擇模塊的第一輸出端及第二輸出端相連接，視頻圖像處理模式選擇模塊的第三輸出端與可配置的圖像分解模塊的輸入端相連接，視頻圖像幀存儲模塊的輸入端分別與視頻圖像處理模式選擇模塊的第四輸出端、可配置的圖像分解模塊的輸出端及深度圖像繪制模塊的輸出端相連接，視頻圖像幀存儲模塊的輸出端與并行圖像縮放模塊的輸入端相連接，并行圖像縮放模塊的輸出端分為兩路，一路與2D視頻輸出接口相連接，另一路與可配置的多視點裸眼3D視頻圖像組合計算模塊的輸入端相連接，可配置的多視點裸眼3D視頻圖像組合計算模塊的輸出端與3D合成視頻輸出接口相連接。
[0010]所述視頻圖像幀存儲模塊包括片外存儲器寫控制模塊、SDRAM控制器、SDRAM及片外存儲器讀控制模塊，片外存儲器寫控制模塊的輸入端分別與視頻圖像處理模式選擇模塊的第四輸出端、可配置的圖像分解模塊的輸出端及深度圖像繪制模塊的輸出端相連接，片外存儲器寫控制模塊的輸出端與SDRAM控制器的輸入端相連接，SDRAM控制器的輸出端與片外存儲器讀控制模塊的輸入端相連接，片外存儲器讀控制模塊的輸出端與并行圖像縮放模塊的輸入端相連接，SDRAM與SDRAM控制器相連接。
[0011 ]所述 SDRAM 包括 DDR2SDRAM 及 DDR3SDRAM。
[0012]相應(yīng)的，本發(fā)明還提供了一種兼容2D與多視點裸眼3D顯示的視頻處理方法，包括以下步驟:外部輸入視頻源經(jīng)視頻輸入接口輸入到視頻解碼模塊中，視頻解碼模塊接收及解碼所述外部輸入視頻源獲得相應(yīng)的視頻流，然后將得到的視頻流輸入到視頻圖像處理模式選擇模塊，所述外部輸入視頻源為多視點3D視頻源、2D視頻源、符合BT.2160規(guī)范的雙目3D視頻源或(V+D)格式視頻源中的一種，所述視頻圖像處理模式選擇模塊包括2D播放模式及3D播放模式；
[0013]當(dāng)輸入視頻源為多視點3D視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊將所述視頻流送至可配置的圖像分解模塊中，可配置的圖像分解模塊根據(jù)當(dāng)前視頻流的視頻特征按照像素從屬視場分離視頻流中視頻圖像的各視場視圖，并將各視場視圖以幀為單元存儲到視頻圖像幀存儲模塊中，然后從視頻圖像幀存儲模塊中同步讀取各視場視圖，并將所述視場視圖輸入到并行圖像縮放模塊中，并行圖像縮放模塊根據(jù)各視場視圖的分辨率及顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊中，可配置的多視點裸眼3D視頻圖像組合計算模塊根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，并將選取的子像素合成最終符合顯示終端要求的立體圖像，然后再通過3D合成視頻輸出接口輸出到顯示終端中；
[0014]當(dāng)輸入視頻源為2D視頻源或符合BT.2160規(guī)范的雙目3D視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊將所述視頻流分別輸入到深度圖生成模塊及深度圖像繪制模塊中，深度圖生成模塊根據(jù)視頻流獲取深度信息，并將所述深度信息送至深度圖像繪制模塊，深度圖像繪制模塊根據(jù)所述深度信息及視頻流生成與顯示終端視點數(shù)目相同的具有特定視差的第一視頻圖像序列，然后將所述第一視頻圖像序列輸入到視頻圖像幀存儲模塊，視頻圖像幀存儲模塊對第一視頻圖像序列進(jìn)行緩存，然后將第一視頻圖像序列輸入到并行圖像縮放模塊，并行圖像縮放模塊根據(jù)第一視頻圖像序列中各視場視圖的分辨率及顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊中，可配置的多視點裸眼3D視頻圖像組合計算模塊根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，然后將選取的子像素合成最終符合顯示終端要求的立體圖像，然后通過3D合成視頻輸出接口輸出到顯示終端中；
[0015]當(dāng)輸入視頻源為(V+D)格式視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊將所述視頻流輸入到深度圖像繪制模塊中，深度圖像繪制模塊根據(jù)所述視頻流生成與顯示終端視點數(shù)目相一致的具有特定視差的第二視頻圖像序列，然后將所述第二視頻圖像序列送至視頻圖像幀存儲模塊，視頻圖像幀存儲模塊對所述第二視頻圖像序列進(jìn)行緩存，然后將所述第二視頻圖像序列同步輸入到并行圖像縮放模塊，并行圖像縮放模塊根據(jù)第二視頻圖像序列中各視場視圖的分辨率與顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊中，可配置的多視點裸眼3D視頻圖像組合計算模塊根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，并將所選取的子像素合成符合顯示終端要求的立體圖像，然后通過3D合成視頻輸出接口輸出到顯示終端中；
[0016]當(dāng)輸入視頻源為2D視頻源，且當(dāng)前為2D播放模式時，所述視頻圖像處理模式選擇模塊將所述視頻流輸入到視頻圖像幀存儲模塊中，視頻圖像幀存儲模塊對所述視頻流進(jìn)行緩存，然后將所述視頻流輸入到并行圖像縮放模塊中，并行圖像縮放模塊根據(jù)視頻流中視頻圖像的分辨率及顯示終端的物理分辨率對視頻流中的視頻圖像進(jìn)行縮放處理，然后將縮放后的視頻流通過2D視頻輸出接口輸出到顯示終端中；
[0017]當(dāng)輸入視頻源為多視點3D視頻源、符合BT.2160規(guī)范的雙目3D視頻源或(V+D)格式視頻源，且當(dāng)前為2D播放模式時，視頻圖像處理模式選擇模塊將所述視頻流輸入到可配置的圖像分解模塊中，可配置的圖像分解模塊根據(jù)所述視頻流的視頻特征按照像素從屬視場對視頻流中的各視圖數(shù)據(jù)進(jìn)行分離，并選取其中任意一個有效視圖數(shù)據(jù)，然后將所述有效視圖數(shù)據(jù)送至視頻圖像幀存儲模塊中，視頻圖像幀存儲模塊對所述有效視圖數(shù)據(jù)進(jìn)行緩存，然后將所述有效視圖數(shù)據(jù)輸入到并行圖像縮放模塊中，并行圖像縮放模塊根據(jù)所述有效視圖的分辨率及顯示終端的物理分辨率對所述有效視圖進(jìn)行縮放處理，然后將縮放后的有效視圖數(shù)據(jù)通過2D視頻輸出接口輸出到顯示終端中。
[0018]本發(fā)明具有以下有益效果:
[0019]本發(fā)明所述的兼容2D與多視點裸眼3D顯示的視頻處理裝置及方法在對外部輸入視頻源進(jìn)行處理的過程中，首先通過視頻解碼模塊對外部輸入視頻源進(jìn)行解碼獲得相應(yīng)的視頻數(shù)據(jù)流，然后通過視頻圖像處理模式選擇模塊根據(jù)視頻源類型以及當(dāng)前播放模式選擇視頻圖像后續(xù)處理步驟與方法，從而實現(xiàn)對多視點3D視頻源、2D視頻源、符合BT.2160規(guī)范的雙目3D視頻源、(V+D)格式視頻源的兼容處理；本裝置適用性強(qiáng)，靈活性高，不僅能夠?qū)崿F(xiàn)實時多視點裸眼3D顯示，亦能夠兼容2D播放模式，與此同時，通過參數(shù)的調(diào)整可以滿足目前主流的多種裸眼3D顯示技術(shù)的要求。與現(xiàn)有裸眼3D顯示處理裝置及方法相比，本裝置及方法對于實現(xiàn)多視點裸眼立體實時顯示處理提供了完整的解決方案。
【專利附圖】

【附圖說明】
[0020]圖1為本發(fā)明一種兼容2D與多視點裸眼3D顯示的視頻處理裝置的系統(tǒng)結(jié)構(gòu)框圖；
[0021]圖2為本發(fā)明中視頻圖像幀存儲模塊5的結(jié)構(gòu)框圖；
[0022]圖3為本發(fā)明中K視點、M*N分辨率裸眼3D顯示終端的立體輸出視頻圖像子像素排布示意圖。
[0023]其中，I為視頻解碼模塊、2為視頻圖像處理模式選擇模塊、3為深度圖生成模塊、4為深度圖像繪制模塊、5為視頻圖像幀存儲模塊、6為可配置的圖像分解模塊、7為并行圖像縮放模塊、8為可配置的多視點裸眼3D視頻圖像組合計算模塊、51為SDRAM、52為片外存儲器寫控制模塊、53為SDRAM控制器、54為片外存儲器讀控制模塊。
【具體實施方式】
[0024]下面結(jié)合附圖對本發(fā)明做進(jìn)一步詳細(xì)描述:
[0025]參考圖1及圖2，本發(fā)明所述的兼容2D與多視點裸眼3D顯示的視頻處理裝置包括視頻輸入接口、2D視頻輸出接口、3D合成視頻輸出接口、視頻解碼模塊1、視頻圖像處理模式選擇模塊2、深度圖生成模塊3、深度圖像繪制模塊4、可配置的圖像分解模塊6、視頻圖像幀存儲模塊5、并行圖像縮放模塊7及可配置的多視點裸眼3D視頻圖像組合計算模塊8 ;所述視頻輸入接口與視頻解碼模塊I的輸入端相連接，視頻解碼模塊I的輸出端與視頻圖像處理模式選擇模塊2的輸入端相連接，視頻圖像處理模式選擇模塊2的第一輸出端與深度圖生成模塊3的輸入端相連接，深度圖像繪制模塊4的輸入端分別與深度圖生成模塊3的輸出端、視頻圖像處理模式選擇模塊2的第一輸出端及第二輸出端相連接，視頻圖像處理模式選擇模塊2的第三輸出端與可配置的圖像分解模塊6的輸入端相連接，視頻圖像幀存儲模塊5的輸入端分別與視頻圖像處理模式選擇模塊2的第四輸出端、可配置的圖像分解模塊6的輸出端及深度圖像繪制模塊4的輸出端相連接，視頻圖像幀存儲模塊5的輸出端與并行圖像縮放模塊7的輸入端相連接，并行圖像縮放模塊7的輸出端分為兩路，一路與2D視頻輸出接口相連接，另一路與可配置的多視點裸眼3D視頻圖像組合計算模塊8的輸入端相連接，可配置的多視點裸眼3D視頻圖像組合計算模塊8的輸出端與3D合成視頻輸出接口相連接。視頻圖像幀存儲模塊5包括片外存儲器寫控制模塊52、SDRAM控制器53、SDRAM51及片外存儲器讀控制模塊54，片外存儲器寫控制模塊52的輸入端分別與視頻圖像處理模式選擇模塊2的第四輸出端、可配置的圖像分解模塊6的輸出端及深度圖像繪制模塊4的輸出端相連接，片外存儲器寫控制模塊52的輸出端與SDRAM控制器53的輸入端相連接，SDRAM控制器53的輸出端與片外存儲器讀控制模塊54的輸入端相連接，片外存儲器讀控制模塊54的輸出端與并行圖像縮放模塊7的輸入端相連接，SDRAM51與SDRAM控制器53相連接。
[0026]所述SDRAM51 包括 DDR2SDRAM 及 DDR3SDRAM。
[0027]本發(fā)明所述的兼容2D與多視點裸眼3D顯示的視頻處理方法包括以下步驟:外部輸入視頻源經(jīng)視頻輸入接口輸入到視頻解碼模塊I中，視頻解碼模塊I接收及解碼所述外部輸入視頻源獲得相應(yīng)的視頻流，然后將得到的視頻流輸入到視頻圖像處理模式選擇模塊2，所述外部輸入視頻源為多視點3D視頻源、2D視頻源、符合BT.2160規(guī)范的雙目3D視頻源或(V+D)格式視頻源中的一種，所述視頻圖像處理模式選擇模塊2包括2D播放模式及3D播放模式；
[0028]當(dāng)輸入視頻源為多視點3D視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊2將所述視頻流送至可配置的圖像分解模塊6中，可配置的圖像分解模塊6根據(jù)當(dāng)前視頻流的視頻特征按照像素從屬視場分離視頻流中視頻圖像的各視場視圖，并將各視場視圖以幀為單元存儲到視頻圖像幀存儲模塊5中，然后從視頻圖像幀存儲模塊5中同步讀取各視場視圖，并將所述視場視圖輸入到并行圖像縮放模塊7中，并行圖像縮放模塊7根據(jù)各視場視圖的分辨率及顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊8中，可配置的多視點裸眼3D視頻圖像組合計算模塊8根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，并將選取的子像素合成最終符合顯示終端要求的立體圖像，然后再通過3D合成視頻輸出接口輸出到顯示終端中；
[0029]當(dāng)輸入視頻源為2D視頻源或符合BT.2160規(guī)范的雙目3D視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊2將所述視頻流分別輸入到深度圖生成模塊3及深度圖像繪制模塊4中，深度圖生成模塊3根據(jù)視頻流獲取深度信息，并將所述深度信息送至深度圖像繪制模塊4，深度圖像繪制模塊4根據(jù)所述深度信息及視頻流生成與顯示終端視點數(shù)目相同的具有特定視差的第一視頻圖像序列，然后將所述第一視頻圖像序列輸入到視頻圖像幀存儲模塊5，視頻圖像幀存儲模塊5對第一視頻圖像序列進(jìn)行緩存，然后將第一視頻圖像序列輸入到并行圖像縮放模塊7，并行圖像縮放模塊7根據(jù)第一視頻圖像序列中各視場視圖的分辨率及顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊8中，可配置的多視點裸眼3D視頻圖像組合計算模塊8根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，然后將選取的子像素合成最終符合顯示終端要求的立體圖像，然后通過3D合成視頻輸出接口輸出到顯示終端中；
[0030]當(dāng)輸入視頻源為(V+D)格式視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊2將所述視頻流輸入到深度圖像繪制模塊4中，深度圖像繪制模塊4根據(jù)所述視頻流生成與顯示終端視點數(shù)目相一致的具有特定視差的第二視頻圖像序列，然后將所述第二視頻圖像序列送至視頻圖像幀存儲模塊5，視頻圖像幀存儲模塊5對所述第二視頻圖像序列進(jìn)行緩存，然后將所述第二視頻圖像序列同步輸入到并行圖像縮放模塊7，并行圖像縮放模塊7根據(jù)第二視頻圖像序列中各視場視圖的分辨率與顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊8中，可配置的多視點裸眼3D視頻圖像組合計算模塊8根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，并將所選取的子像素合成符合顯示終端要求的立體圖像，然后通過3D合成視頻輸出接口輸出到顯示終端中；
[0031]當(dāng)輸入視頻源為2D視頻源，且當(dāng)前為2D播放模式時，所述視頻圖像處理模式選擇模塊2將所述視頻流輸入到視頻圖像幀存儲模塊5中，視頻圖像幀存儲模塊5對所述視頻流進(jìn)行緩存，然后將所述視頻流輸入到并行圖像縮放模塊7中，并行圖像縮放模塊7根據(jù)視頻流中視頻圖像的分辨率及顯示終端的物理分辨率對視頻流中的視頻圖像進(jìn)行縮放處理，然后將縮放后的視頻流通過2D視頻輸出接口輸出到顯示終端中；
[0032]當(dāng)輸入視頻源為多視點3D視頻源、符合BT.2160規(guī)范的雙目3D視頻源或(V+D)格式視頻源，且當(dāng)前為2D播放模式時，視頻圖像處理模式選擇模塊2將所述視頻流輸入到可配置的圖像分解模塊6中，可配置的圖像分解模塊6根據(jù)所述視頻流的視頻特征按照像素從屬視場對視頻流中的各視圖數(shù)據(jù)進(jìn)行分離，并選取其中任意一個有效視圖數(shù)據(jù)，然后將所述有效視圖數(shù)據(jù)送至視頻圖像幀存儲模塊5中，視頻圖像幀存儲模塊5對所述有效視圖數(shù)據(jù)進(jìn)行緩存，然后將所述有效視圖數(shù)據(jù)輸入到并行圖像縮放模塊7中，并行圖像縮放模塊7根據(jù)所述有效視圖的分辨率及顯示終端的物理分辨率對所述有效視圖進(jìn)行縮放處理，然后將縮放后的有效視圖數(shù)據(jù)通過2D視頻輸出接口輸出到顯示終端中。
[0033]所述視頻圖像幀存儲模塊5包括片外存儲器寫控制模塊52、SDRAM控制器53、SDRAM51、片外存儲器讀控制模塊54，能夠?qū)崿F(xiàn)對高速視頻數(shù)據(jù)流的緩存，在裸眼3D播放模式下，通過片外存儲器寫控制模塊52及SDRAM控制器53可將各視場視圖以幀為單元按照預(yù)先設(shè)計好的數(shù)據(jù)在外存中分配的存儲地址存儲進(jìn)SDRAM51，同時，由于讀寫操作是在不同幀當(dāng)中進(jìn)行的，因而當(dāng)以幀為單元的視頻圖像數(shù)據(jù)通過片外存儲器讀控制模塊54和SDRAM控制器53從SDRAM51讀出的過程當(dāng)中，便可以實現(xiàn)各視場視圖的并行輸出；特別地，在2D播放模式下，圖像數(shù)據(jù)均按序?qū)懭牒妥x出SDRAM51。
[0034]參考圖3，可配置的多視點裸眼3D視頻圖像組合計算模塊8最終輸出的合成立體視頻圖像中的每一個顯示像素都是由多個視圖當(dāng)中選取相應(yīng)的子像素分量通過一定的組合計算所獲得的，對于K視點、M*N分辨率的顯示終端而言，最終輸出的立體合成視頻圖像各像素點Pij的子像素分量與縮放后各視場(k1; k2，k3，k4，k5，k6)視圖對應(yīng)坐標(biāo)
位置的子像素分量
【權(quán)利要求】
1.一種兼容2D與多視點裸眼3D顯示的視頻處理裝置，其特征在于，包括視頻輸入接口、2D視頻輸出接口、3D合成視頻輸出接口、視頻解碼模塊(1)、深度圖生成模塊(3)、深度圖像繪制模塊(4)、可配置的圖像分解模塊(6)、視頻圖像幀存儲模塊(5)、并行圖像縮放模塊(7)、可配置的多視點裸眼3D視頻圖像組合計算模塊(8)、以及用于切換至2D播放模式或3D播放模式的視頻圖像處理模式選擇模塊(2); 所述視頻輸入接口與視頻解碼模塊(I)的輸入端相連接，視頻解碼模塊(I)的輸出端與視頻圖像處理模式選擇模塊(2)的輸入端相連接，視頻圖像處理模式選擇模塊(2)的第一輸出端與深度圖生成模塊(3)的輸入端相連接，深度圖像繪制模塊(4)的輸入端分別與深度圖生成模塊(3)的輸出端、視頻圖像處理模式選擇模塊(2)的第一輸出端及第二輸出端相連接，視頻圖像處理模式選擇模塊(2)的第三輸出端與可配置的圖像分解模塊(6)的輸入端相連接，視頻圖像幀存儲模塊(5)的輸入端分別與視頻圖像處理模式選擇模塊(2)的第四輸出端、可配置的圖像分解模塊(6)的輸出端及深度圖像繪制模塊(4)的輸出端相連接，視頻圖像幀存儲模塊(5)的輸出端與并行圖像縮放模塊(7)的輸入端相連接，并行圖像縮放模塊(7)的輸出端分為兩路，一路與2D視頻輸出接口相連接，另一路與可配置的多視點裸眼3D視頻圖像組合計算模塊(8)的輸入端相連接，可配置的多視點裸眼3D視頻圖像組合計算模塊(8)的輸出端與3D合成視頻輸出接口相連接。
2.根據(jù)權(quán)利要求1所述的兼容2D與多視點裸眼3D顯示的視頻處理裝置，其特征在于，所述視頻圖像幀存儲模塊(5)包括片外存儲器寫控制模塊(52)、SDRAM控制器(53)、SDRAM(51)及片外存儲器讀控制模塊(54)，片外存儲器寫控制模塊(52)的輸入端分別與視頻圖像處理模式選擇模塊(2)的第四輸出端、可配置的圖像分解模塊(6)的輸出端及深度圖像繪制模塊⑷的輸出端相連接，片外存儲器寫控制模塊(52)的輸出端與SDRAM控制器(53)的輸入端相連接，SDRAM控制器(53)的輸出端與片外存儲器讀控制模塊(54)的輸入端相連接，片外存儲器讀控制模塊(54)的輸出端與并行圖像縮放模塊(7)的輸入端相連接，SDRAM (51)與SDRAM控制器(53)相連接。
3.根據(jù)權(quán)利要求2所述的兼容2D與多視點裸眼3D顯示的視頻處理裝置，其特征在于，所述 SDRAM (51)包括 DDR2SDRAM 及 DDR3SDRAM。
4.一種兼容2D與多視點裸眼3D顯示的視頻處理方法，其特征在于，包括以下步驟:外部輸入視頻源經(jīng)視頻輸入接口輸入到視頻解碼模塊(I)中，視頻解碼模塊(I)接收及解碼所述外部輸入視頻源獲得相應(yīng)的視頻流，然后將得到的視頻流輸入到視頻圖像處理模式選擇模塊(2)，所述外部輸入視頻源為多視點3D視頻源、2D視頻源、符合BT.2160規(guī)范的雙目3D視頻源或(V+D)格式視頻源中的一種，所述視頻圖像處理模式選擇模塊(2)包括2D播放模式及3D播放模式； 當(dāng)輸入視頻源為多視點3D視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊(2)將所述視頻流送至可配置的圖像分解模塊(6)中，可配置的圖像分解模塊(6)根據(jù)當(dāng)前視頻流的視頻特征按照像素從屬視場分離視頻流中視頻圖像的各視場視圖，并將各視場視圖以幀為單元存儲到視頻圖像幀存儲模塊(5)中，然后從視頻圖像幀存儲模塊(5)中同步讀取各視場視圖，并將所述視場視圖輸入到并行圖像縮放模塊(7)中，并行圖像縮放模塊(7)根據(jù)各視場視圖的分辨率及顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊(8)中，可配置的多視點裸眼3D視頻圖像組合計算模塊(8)根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，并將選取的子像素合成最終符合顯示終端要求的立體圖像，然后再通過3D合成視頻輸出接口輸出到顯示終端中； 當(dāng)輸入視頻源為2D視頻源或符合BT.2160規(guī)范的雙目3D視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊(2)將所述視頻流分別輸入到深度圖生成模塊(3)及深度圖像繪制模塊(4)中，深度圖生成模塊(3)根據(jù)視頻流獲取深度信息，并將所述深度信息送至深度圖像繪制模塊(4)，深度圖像繪制模塊(4)根據(jù)所述深度信息及視頻流生成與顯示終端視點數(shù)目相同的具有特定視差的第一視頻圖像序列，然后將所述第一視頻圖像序列輸入到視頻圖像幀存儲模塊(5)，視頻圖像幀存儲模塊(5)對第一視頻圖像序列進(jìn)行緩存，然后將第一視頻圖像序列輸入到并行圖像縮放模塊(7)，并行圖像縮放模塊(7)根據(jù)第一視頻圖像序列中各視場視圖的分辨率及顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊(8)中，可配置的多視點裸眼3D視頻圖像組合計算模塊(8)根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，然后將選取的子像素合成最終符合顯示終端要求的立體圖像，然后通過3D合成視頻輸出接口輸出到顯示終端中； 當(dāng)輸入視頻源為(V+D)格式視頻源，且當(dāng)前為3D播放模式時，視頻圖像處理模式選擇模塊(2)將所述視頻流輸入到深度圖像繪制模塊(4)中，深度圖像繪制模塊(4)根據(jù)所述視頻流生成與顯示終端視點數(shù)目相一致的具有特定視差的第二視頻圖像序列，然后將所述第二視頻圖像序列送至視頻圖像幀存儲模塊(5)，視頻圖像幀存儲模塊(5)對所述第二視頻圖像序列進(jìn)行緩存，然后將所述第二視頻圖像序列同步輸入到并行圖像縮放模塊(7)，并行圖像縮放模塊(7)根據(jù)第二視頻圖像序列中各視場視圖的分辨率與顯示終端的物理分辨率對各視場視圖進(jìn)行并行插值縮放處理，然后將縮放處理后的各視場視圖輸入到可配置的多視點裸眼3D視頻圖像組合計算模塊(8)中，可配置的多視點裸眼3D視頻圖像組合計算模塊(8)根據(jù)顯示終端的像素排布方式從各視場視圖中選取所需子像素，并將所選取的子像素合成符合顯示終端要求的立體圖像，然后通過3D合成視頻輸出接口輸出到顯示終端中； 當(dāng)輸入視頻源為2D視頻源，且當(dāng)前為2D播放模式時，所述視頻圖像處理模式選擇模塊(2)將所述視頻流輸入到視頻圖像幀存儲模塊(5)中，視頻圖像幀存儲模塊(5)對所述視頻流進(jìn)行緩存，然后將所述視頻流輸入到并行圖像縮放模塊(7)中，并行圖像縮放模塊(7)根據(jù)視頻流中視頻圖像的分辨率及顯示終端的物理分辨率對視頻流中的視頻圖像進(jìn)行縮放處理，然后將縮放后的視頻流通過2D視頻輸出接口輸出到顯示終端中； 當(dāng)輸入視頻源為多視點3D視頻源、符合BT.2160規(guī)范的雙目3D視頻源或(V+D)格式視頻源，且當(dāng)前為2D播放模式時，視頻圖像處理模式選擇模塊(2)將所述視頻流輸入到可配置的圖像分解模塊(6)中，可配置的圖像分解模塊(6)根據(jù)所述視頻流的視頻特征按照像素從屬視場對視頻流中的各視圖數(shù)據(jù)進(jìn)行分離，并選取其中任意一個有效視圖數(shù)據(jù)，然后將所述有效視圖數(shù)據(jù)送至視頻圖像幀存儲模塊(5)中，視頻圖像幀存儲模塊(5)對所述有效視圖數(shù)據(jù)進(jìn)行緩存，然后將所述有效視圖數(shù)據(jù)輸入到并行圖像縮放模塊(7)中，并行圖像縮放模塊(7)根據(jù)所述有效視圖的分辨率及顯示終端的物理分辨率對所述有效視圖進(jìn)行縮放處理，然后將縮放后的有效視圖數(shù)據(jù)通過2D視頻輸出接口輸出到顯示終端中。
【文檔編號】H04N13/00GK103945205SQ201410136474
【公開日】2014年7月23日 申請日期:2014年4月4日 優(yōu)先權(quán)日:2014年4月4日
【發(fā)明者】任鵬舉, 余江, 劉庚, 孫宏濱, 趙季中, 鄭南寧 申請人:西安交通大學(xué)