發(fā)明涉及虛擬現(xiàn)實交互應(yīng)用領(lǐng)域，特別是針對虛擬現(xiàn)實中三維場景大規(guī)模實時直播裝置與算法。

背景技術(shù)：

傳統(tǒng)錄制：現(xiàn)有的視頻節(jié)目主要通過平面顯示器來播放，通過佩戴3d眼鏡播放3d視頻可實現(xiàn)3d視覺效果，但其視角和播放內(nèi)容是由節(jié)目制作方設(shè)定的，用戶只能被動接受。

360度全景錄制：隨著虛擬現(xiàn)實技術(shù)的普及，虛擬現(xiàn)實視頻節(jié)目也在逐漸普及，用戶通過佩戴vr頭戴顯示器，通過將虛擬攝像頭與vr頭戴顯示器的角度同步一致的方法，可以實現(xiàn)類似于環(huán)幕效果的沉浸式視頻體驗，但這種方法只能在1個視點上給用戶提供旋轉(zhuǎn)觀看的自由度，用戶并不能在虛擬場景中來回移動。

無論是普通的視頻節(jié)目還是vr視頻節(jié)目，均無法提供給用戶全方位的沉浸式的臨場體驗，普通視頻節(jié)目只能讓用戶通過屏幕窗口觀看，而vr視頻節(jié)目也只能夠讓用戶在固定的視點或由拍攝者選定的線路來觀看，這對體育賽事、綜藝節(jié)目、演唱會、發(fā)布會等有特定表演區(qū)域的節(jié)目由極大的內(nèi)容損失，通過現(xiàn)有的這些方式觀看節(jié)目無法全面地獲得現(xiàn)場的信息。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于多攝像頭光場拍攝的實時自由視點直播方法，以解決上述背景技術(shù)中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于多攝像頭光場拍攝的實時自由視點直播方法，包含以下步驟：

a、攝像機采集視頻信號，并傳輸?shù)教幚碓O(shè)備；

b、處理設(shè)備生成深度數(shù)據(jù)，計算每個像素與相機的距離；

c、按照相機組成的多邊形或三角形對相機進行分組，并將這些分組的視頻數(shù)據(jù)流進行合并壓縮；

d、根據(jù)用戶的觀測位置，程序自動選擇對應(yīng)的壓縮視頻和深度數(shù)據(jù)，并組裝成數(shù)據(jù)流通過網(wǎng)絡(luò)傳輸給用戶；

e、用戶客戶端對數(shù)據(jù)進行解壓縮；

f、根據(jù)幾個角度的圖像數(shù)據(jù)和深度數(shù)據(jù)合成用戶所在視點和視角的圖像并渲染顯示出來。

作為本發(fā)明的進一步技術(shù)方案：所述步驟2還有第二種工作模式，即由客戶端處理。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明可實現(xiàn)由用戶控制的任意角度、任意視點的固定舞臺區(qū)域表演的直播和錄播，相對于全景視頻，本發(fā)明的優(yōu)點是可以使用戶自由運動，更換視角和視點；相對于三維重構(gòu)的直播的好處是無需建模，快速、高效、并沒有細(xì)節(jié)信息損失，更接近照片級質(zhì)量；相對于光場傳輸方案，因為本發(fā)明是用戶的視點動態(tài)地選擇生成用戶視點圖像的分組的數(shù)據(jù)進行傳輸，可支持對大規(guī)模并發(fā)用戶視點分組極大減少數(shù)據(jù)傳輸量，克服自由視點移動虛擬現(xiàn)實應(yīng)用在互聯(lián)網(wǎng)大規(guī)模應(yīng)用的數(shù)據(jù)傳輸瓶頸；除此之外，本發(fā)明的輸出圖像是通過深度信息和鄰近相機合成而來，可極大減少相機的數(shù)量。

附圖說明

圖1為本發(fā)明的總體示意圖；

圖2為本發(fā)明的數(shù)據(jù)分組示意圖；

圖3為本發(fā)明的硬件結(jié)構(gòu)示意圖；

圖4為本發(fā)明的流程圖。

具體實施方式

下面將對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

參閱圖1-4；本發(fā)明實施例中，一種基于多攝像頭光場拍攝的實時自由視點直播方法，如圖一所示，本發(fā)明使用多臺攝像機環(huán)繞舞臺或表演區(qū)域，從多個角度同時拍攝視頻數(shù)據(jù)，對于在任意角度觀看的用戶，都可以找到一個由幾臺相機組成的三角形或多邊形區(qū)域覆蓋用戶的視角。

如圖二所示，1，3，4號相機即可覆蓋由1，3，4三個點圍成的三角區(qū)域的用戶，1，2，4號相機即可覆蓋由1，2，4三個點圍成的三角區(qū)域的用戶，以此類推。

如圖三所示，每臺相機的視頻數(shù)據(jù)將集中至視頻分配服務(wù)器，這些數(shù)據(jù)通過互聯(lián)網(wǎng)傳輸給用戶。

如圖四所示，本發(fā)明的流程可概括為7步：

第一步：攝像機采集視頻信號，并傳輸?shù)教幚碓O(shè)備；

第二步：處理設(shè)備生成深度數(shù)據(jù)，計算每個像素與相機的距離；此步驟也可以如圖四模式二所示，由客戶端處理；

第三步：按照相機組成的多邊形或三角形對相機進行分組，并將這些分組的視頻數(shù)據(jù)流進行合并壓縮，圖二描述了一種按三角形覆蓋區(qū)域的分組方式，例如1，3，4號相機進行合并壓縮成數(shù)據(jù)流a，1，2，4號相機進行合并壓縮成數(shù)據(jù)流b；

第四步與第五步：根據(jù)用戶的觀測位置，程序自動選擇對應(yīng)的壓縮視頻和深度數(shù)據(jù)，并組裝成數(shù)據(jù)流通過網(wǎng)絡(luò)傳輸給用戶，在圖二中，對于在1，3，4視角區(qū)域的用戶，將接收到a數(shù)據(jù)流，在1，2，4視角區(qū)域的用戶，將接收到b數(shù)據(jù)流；當(dāng)用戶從a區(qū)域移動到b區(qū)域，數(shù)據(jù)流也需要同時進行切換；

在網(wǎng)絡(luò)傳輸階段，針對互聯(lián)網(wǎng)大規(guī)模并發(fā)用戶，本發(fā)明將用戶按照其視點進行分組，同一組用戶使用同一組壓縮數(shù)據(jù)，以減少數(shù)據(jù)互聯(lián)網(wǎng)傳輸所需帶寬和計算量。

第六步：用戶客戶端對數(shù)據(jù)進行解壓縮；

第七步：根據(jù)幾個角度的圖像數(shù)據(jù)和深度數(shù)據(jù)合成用戶所在視點和視角的圖像并渲染顯示出來。

以上對本發(fā)明的較佳實施方式進行了具體說明，但本發(fā)明創(chuàng)造并不限于所述實施例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可作出種種的等同變型或替換，這些等同的變型或替換均包含在

本技術(shù)：
權(quán)利要求所限定的范圍內(nèi)。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明是一種基于多攝像頭光場拍攝的實時自由視點直播方法，本發(fā)明可實現(xiàn)由用戶控制的任意角度、任意視點的固定舞臺區(qū)域表演的直播和錄播，相對于全景視頻，本發(fā)明的優(yōu)點是可以使用戶自由運動，更換視角和視點；相對于三維重構(gòu)的直播的好處是無需建模，快速、高效、并沒有細(xì)節(jié)信息損失，更接近照片級質(zhì)量；相對于光場傳輸方案，因為本發(fā)明是用戶的視點動態(tài)地選擇生成用戶視點圖像的分組的數(shù)據(jù)進行傳輸，可支持對大規(guī)模并發(fā)用戶視點分組極大減少數(shù)據(jù)傳輸量，克服自由視點移動虛擬現(xiàn)實應(yīng)用在互聯(lián)網(wǎng)大規(guī)模應(yīng)用的數(shù)據(jù)傳輸瓶頸；除此之外，本發(fā)明的輸出圖像是通過深度信息和鄰近相機合成而來，可極大減少相機的數(shù)量。

技術(shù)研發(fā)人員：黃翔;許威威
受保護的技術(shù)使用者：深圳市望塵科技有限公司
技術(shù)研發(fā)日：2017.06.19
技術(shù)公布日：2017.09.22