專利名稱：一種基于gpu加速的2d視頻轉(zhuǎn)3d視頻系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及2D視頻轉(zhuǎn)3D視頻技術(shù)領(lǐng)域，具體是ー種使用GPU輔助CPU進(jìn)行的2D視頻轉(zhuǎn)3D視頻系統(tǒng)及方法。
背景技術(shù)：
目前，3D拍攝、制作及顯示技術(shù)已經(jīng)獲得廣泛的應(yīng)用。如圖I所示，ー個(gè)典型的3D應(yīng)用包含拍攝、制作階段，分發(fā)階段，觀看階段。拍攝、制作階段通過左視鏡頭和右視鏡頭分別采集左視和右視的畫面，通過合成模塊合成一路視頻。合成模塊可以采用拼接，色分等方式進(jìn)行合成。觀看階段通過分離模塊分離左右視，分離模塊可以采用快門、偏振光、色分等分離方式。分離之后的左右視分別進(jìn)入左眼和右眼，在人的大腦中產(chǎn)生3D視覺。由于3D視頻不同于以往的2D視頻，需要在拍攝階段就拍攝兩個(gè)視的畫面，因此目前3D視頻內(nèi)容較 為缺乏，限制了 3D市場(chǎng)的發(fā)展。將原有的2D視頻轉(zhuǎn)換為3D視頻成為補(bǔ)充3D視頻內(nèi)容的ー個(gè)重要手段。2D視頻轉(zhuǎn)3D視頻是通過視頻中物體運(yùn)動(dòng)信息、畫面結(jié)構(gòu)等線索，在原始2D視頻畫面的基礎(chǔ)上生成左右視視頻畫面。2D視頻轉(zhuǎn)3D視頻技術(shù)分為全自動(dòng)式和交互式，交互式需要人工參與，而全自動(dòng)式不需要人工參與，適合在實(shí)時(shí)播放等系統(tǒng)中應(yīng)用。一個(gè)較為普遍的全自動(dòng)式2D視頻轉(zhuǎn)3D視頻過程如圖2所示首先從原始2D視頻中提取深度線索，包括畫面結(jié)構(gòu)、畫面中物體運(yùn)動(dòng)信息等；然后根據(jù)這些信息并以像素塊為單位生成深度圖；再對(duì)深度圖進(jìn)行優(yōu)化，消除塊邊界并平滑深度圖；根據(jù)深度圖和原始2D視頻幀生成左右視視頻幀；最后將左右視視頻幀通過拼接模式或色分模式合成3D視頻幀，進(jìn)而生成3D視頻。全自動(dòng)式2D視頻轉(zhuǎn)3D視頻技術(shù)比較適合用于電視及PC的多媒體播放器中，將實(shí)時(shí)播放的2D視頻轉(zhuǎn)換為3D視頻。該應(yīng)用需要2D視頻轉(zhuǎn)3D視頻系統(tǒng)具有較高的轉(zhuǎn)換質(zhì)量，并且轉(zhuǎn)換速度需要達(dá)到實(shí)吋。目前已經(jīng)有基于硬件實(shí)現(xiàn)的2D視頻轉(zhuǎn)3D視頻系統(tǒng)并應(yīng)用在電視系統(tǒng)中。而在PC上基于軟件實(shí)現(xiàn)的全自動(dòng)式2D視頻轉(zhuǎn)3D視頻系統(tǒng)還無法達(dá)到實(shí)時(shí)。因此，在PC上利用GPU的運(yùn)算能力對(duì)2D視頻轉(zhuǎn)3D視頻系統(tǒng)進(jìn)行加速是ー個(gè)有效的方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于GPU加速的2D視頻轉(zhuǎn)3D視頻方法及系統(tǒng)，充分利用GPU的計(jì)算資源，分擔(dān)CPU計(jì)算負(fù)擔(dān)，并顯著提高2D視頻轉(zhuǎn)3D視頻的速度。為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案一種基于GPU加速的2D視頻轉(zhuǎn)3D視頻系統(tǒng)，它包括ー個(gè)深度線索提取模塊、ー個(gè)深度圖生成模塊、ー個(gè)深度圖優(yōu)化模塊、ー個(gè)左右視生成模塊、ー個(gè)合成模塊和ー個(gè)輸出模塊，其特征在于所述深度線索提取模塊和輸出模塊位于CPU，在CPU上執(zhí)行；所述深度圖生成模塊、深度圖優(yōu)化模塊、左右視生成模塊、合成模塊等位于GPU，在GPU上執(zhí)行；所述各模塊組織成三個(gè)線程，CPU工作線程驅(qū)動(dòng)深度線索提取模塊，GPU工作線程驅(qū)動(dòng)深度圖生成模塊、深度圖優(yōu)化模塊、左右視生成模塊、合成模塊，CPU輸出線程驅(qū)動(dòng)輸出模塊；GPU上開辟ー塊顯存空間存放原始2D視頻幀，供GPU上的各個(gè)模塊使用；所述深度線索提取模塊根據(jù)輸入的原始2D視頻幀提取圖像的空間結(jié)構(gòu)信息、運(yùn)動(dòng)信息等，并輸出給GPU上的深度圖生成模塊；所述深度圖生成模塊根據(jù)得到的深度線索信息生成初始的深度圖，并輸出給深度圖優(yōu)化模塊；所述深度圖優(yōu)化模塊根據(jù)原始2D視頻幀對(duì)初始的深度圖進(jìn)行邊緣修正濾波得到優(yōu)化的深度圖，并輸出給左右視生成模塊；所述左右視生成模塊根據(jù)優(yōu)化的深度圖和原始2D視頻幀生成左視視頻幀和右視視頻幀，并輸出給合成模塊；所述合成模塊將左視視頻幀和右視視頻幀合成為雙拼3D視頻幀或色分3D視頻幀，并將3D視頻幀傳回CPU的輸出模塊；所述輸出模塊從GPU接收3D視頻幀，并作為系統(tǒng)輸出，輸出到所需的系統(tǒng)外設(shè)備或系統(tǒng)。所述GPU上的深度優(yōu)化模塊將原分辨率為W H的深度圖按照合適的塊大小m n
劃分為
權(quán)利要求
1.一種基于GPU加速的2D視頻轉(zhuǎn)3D視頻系統(tǒng)，它包括ー個(gè)深度線索提取模塊、ー個(gè)深度圖生成模塊、ー個(gè)深度圖優(yōu)化模塊、ー個(gè)左右視生成模塊、ー個(gè)合成模塊和ー個(gè)輸出模塊，其特征在于 所述深度線索提取模塊和輸出模塊位于CPU，在CPU上執(zhí)行； 所述深度圖生成模塊、深度圖優(yōu)化模塊、左右視生成模塊、合成模塊等位于GPU，在GPU上執(zhí)行； 所述各模塊組織成三個(gè)線程，CPU工作線程驅(qū)動(dòng)深度線索提取模塊，GPU工作線程驅(qū)動(dòng)深度圖生成模塊、深度圖優(yōu)化模塊、左右視生成模塊、合成模塊，CPU輸出線程驅(qū)動(dòng)輸出模塊；
2.如權(quán)利要求I所述的深度圖優(yōu)化模塊，其特征在于將原分辨率為W*H的深度圖按照合適的塊大小m n劃分為I _ど個(gè)像素塊，并為每一個(gè)像素塊申請(qǐng)ー個(gè)線程塊，所述每ー個(gè)線程塊中申請(qǐng)ー個(gè)大小為m-n的ニ維線程組，線程組中ー個(gè)線程對(duì)ー個(gè)對(duì)應(yīng)位置的像素點(diǎn)進(jìn)行邊緣修正濾波。
3.如權(quán)利要求I所述的左右視生成模塊，其特征在于將原分辨率為W-H的原始2D視頻幀按照合適的塊大小m n劃分為！ ど個(gè)像素塊，并為每一個(gè)像素塊申請(qǐng)ー個(gè)線程塊，所述每ー個(gè)線程塊中申請(qǐng)ー個(gè)大小為m-n的ニ維線程組，線程組中一個(gè)線程處理ー個(gè)對(duì)應(yīng)位置的像素點(diǎn)，根據(jù)深度圖中該像素點(diǎn)的深度值分別生成左視和右視視頻幀上該像素點(diǎn)對(duì)應(yīng)的像素點(diǎn)。
4.如權(quán)利要求I所述的所述合成模塊,其特征在于將待生成的分辨率為W*H的3D視頻幀按照合適的塊大小m n劃分為[ ど個(gè)像素塊，并為每一個(gè)像素塊申請(qǐng)ー個(gè)線程塊，所述每ー個(gè)線程塊中申請(qǐng)ー個(gè)大小為m-n的ニ維線程組，線程組中一個(gè)線程處理ー個(gè)像素點(diǎn)，根據(jù)左右視視頻幀和合成規(guī)則生成該像素點(diǎn)像素值。
5.一種基于GPU加速的2D視頻轉(zhuǎn)3D視頻方法，其特征在于轉(zhuǎn)換過程操作步驟如下 第一歩CPU從系統(tǒng)外讀入原始2D視頻幀，井分成兩份，ー份傳輸給深度線索提取模塊，另ー份傳輸給GPU存于顯存空間； 第二步如權(quán)カ要求I所述的CPU工作線程調(diào)用所述深度線索提取模塊，根據(jù)之前輸入的若干原始2D視頻幀以及當(dāng)前輸入的原始2D視頻幀提取深度線索，包括圖像空間結(jié)構(gòu)信息、運(yùn)動(dòng)信息等，然后將得到的這些深度線索信息傳輸?shù)紾PU ； 第三步如權(quán)カ要求I所述的GPU工作線程從CPU接收深度線索信息，并開始GPUエ作，包括以下子步驟(a)調(diào)用所述深度圖生成模塊生成初始的深度圖，傳遞給深度圖優(yōu)化模塊；(b)調(diào)用所述深度圖優(yōu)化模塊根據(jù)顯存空間中的原始2D視頻幀對(duì)初始的深度圖進(jìn)行邊緣修正濾波，邊緣修正濾波以迭代方式多次進(jìn)行，迭代次數(shù)由系統(tǒng)使用者預(yù)先設(shè)定；(C)調(diào)用所述左右視生成模塊根據(jù)優(yōu)化的深度圖以及原始2D視頻幀生成左右視視頻幀；(d)調(diào)用所述合成模塊，根據(jù)預(yù)先設(shè)定的合成方式以及左右視視頻幀生成3D視頻幀；(e)GPU工作線程將3D視頻幀傳回CPU ； 第四步如權(quán)カ要求I所述的CPU輸出線程從GPU接收轉(zhuǎn)換完成的3D視頻幀，并輸出到系統(tǒng)外指定設(shè)備或其他系統(tǒng)。
6.如權(quán)利要求5所述的基于GPU加速的2D視頻轉(zhuǎn)3D視頻方法，其特征在于所述CPU工作線程、GPU工作線程、CPU輸出線程按照流水方式并行執(zhí)行。每ー個(gè)線程只要接收完ー幀圖像的相關(guān)數(shù)據(jù)之后即可開始工作，而無需等待該幀圖像整個(gè)轉(zhuǎn)換過程的完成。
全文摘要
本發(fā)明涉及一種基于GPU加速的2D視頻轉(zhuǎn)3D視頻系統(tǒng)，他包括一個(gè)深度線索提取模塊、一個(gè)深度圖生成模塊、一個(gè)深度圖優(yōu)化模塊、一個(gè)左右視生成模塊、一個(gè)合成模塊和一個(gè)輸出模塊，其特征在于所述深度線索提取模塊和輸出模塊位于CPU，在CPU上執(zhí)行；所述深度圖生成模塊、深度圖優(yōu)化模塊、左右視生成模塊、合成模塊等位于GPU，在GPU上執(zhí)行；所述各模塊組織成三個(gè)線程，CPU工作線程驅(qū)動(dòng)深度線索提取模塊，GPU工作線程驅(qū)動(dòng)深度圖生成模塊、深度圖優(yōu)化模塊、左右視生成模塊、合成模塊，CPU輸出線程驅(qū)動(dòng)輸出模塊；所述三個(gè)線程以流水方式并行執(zhí)行。
文檔編號(hào)H04N13/00GK102647602SQ201110040029
公開日2012年8月22日 申請(qǐng)日期2011年2月17日 優(yōu)先權(quán)日2011年2月17日
發(fā)明者王振宇, 王榮剛, 董勝富, 高文 申請(qǐng)人:北京大學(xué)深圳研究生院