本發(fā)明涉及虛擬現(xiàn)實(shí)(VR，Virtual Reality)技術(shù)，尤其涉及一種數(shù)據(jù)處理方法、裝置及采集設(shè)備。

背景技術(shù)：

VR技術(shù)是仿真技術(shù)的一個(gè)重要方向，是一門富有挑戰(zhàn)性的交叉技術(shù)前沿學(xué)科和研究領(lǐng)域。VR技術(shù)主要是指在視、聽、觸、嗅、味覺等方面高度逼真的計(jì)算機(jī)模擬環(huán)境。具體來說，VR技術(shù)是利用計(jì)算機(jī)技術(shù)模擬產(chǎn)生三維的虛擬世界，讓使用者即時(shí)、沒有閑置地感知虛擬空間內(nèi)的事物。VR技術(shù)是一種多門學(xué)科的綜合技術(shù)，包括：計(jì)算機(jī)圖形技術(shù)、多媒體技術(shù)、傳感器技術(shù)、人機(jī)交互技術(shù)、網(wǎng)絡(luò)技術(shù)、立體成像技術(shù)以及計(jì)算機(jī)仿真技術(shù)等。

目前虛擬現(xiàn)實(shí)音頻采集設(shè)備中，只布置較少的麥克風(fēng)，并未真正做到全向音頻采集，也就是說采集的范圍沒有做到經(jīng)緯方向上的360度；并且存儲(chǔ)和傳輸過程中并沒有音頻的空間信息，這樣在渲染時(shí)，也只重點(diǎn)考慮視頻數(shù)據(jù)，所以需要進(jìn)行后期人為簡單的制作，才能將當(dāng)前虛擬現(xiàn)實(shí)采集的音頻和視頻的空間方位配合渲染，這種配合渲染并不能達(dá)到真正同步的效果。

技術(shù)實(shí)現(xiàn)要素：

為解決現(xiàn)有存在的技術(shù)問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法、裝置及采集設(shè)備。

本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法，包括：

獲取采集設(shè)備的音頻采集設(shè)備的空間信息；所述采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體；所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)；

針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)；所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)。

上述方案中，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息為以下至少之一：

N個(gè)音頻采集設(shè)備物理或拾音空間信息；

N個(gè)音頻采集設(shè)備空間位置的中心點(diǎn)空間信息；

所拍攝視頻的中心點(diǎn)空間信息。

上述方案中，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息的表現(xiàn)形式為以下至少之一：

經(jīng)緯圖上的對(duì)應(yīng)方位信息；

三維坐標(biāo)系中的三維笛卡爾坐標(biāo)；

球坐標(biāo)系中的球坐標(biāo)；

與相對(duì)面方位信息。

上述方案中，所述采集設(shè)備采集到的視頻數(shù)據(jù)以及音頻數(shù)據(jù)滿足以下至少之一：

所有視頻采集設(shè)備采集的視頻數(shù)據(jù)能還原為球體；

所有音頻采集設(shè)備采集的音頻數(shù)據(jù)能還原為球體。

上述方案中，所述方法還包括：

將M路音頻數(shù)據(jù)存儲(chǔ)或者發(fā)出。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)處理方法，包括：

接收編碼后的M路音頻數(shù)據(jù)；

對(duì)編碼的M路音頻數(shù)據(jù)進(jìn)行解碼，獲得對(duì)應(yīng)的音頻的空間信息；M為正整數(shù)；

依據(jù)獲得的音頻的空間信息及揚(yáng)聲設(shè)備的方位信息，確定M路音頻數(shù)據(jù)對(duì)應(yīng)的Q個(gè)揚(yáng)聲設(shè)備；Q為正整數(shù)；

利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)。

上述方案中，所述方法還包括：

根據(jù)使用者的運(yùn)動(dòng)姿態(tài)，獲得視點(diǎn)和/或興趣區(qū)域在投影映射體上的方位信息；

依據(jù)Q個(gè)揚(yáng)聲設(shè)備的方位信息及所述音頻的空間信息，調(diào)整每個(gè)揚(yáng)聲設(shè)備所渲染的音頻數(shù)據(jù)。

上述方案中，利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)，包括以下至少之一：

將以揚(yáng)聲器方位為中心預(yù)設(shè)半徑范圍內(nèi)的至少兩路音頻數(shù)據(jù)混合后渲染；

揚(yáng)聲器的方位與音頻采集設(shè)備矢量一致，對(duì)應(yīng)渲染；

與音頻的空間信息對(duì)應(yīng)方位相對(duì)應(yīng)的揚(yáng)聲器一一渲染，與音頻的空間信息對(duì)應(yīng)方位不對(duì)應(yīng)的揚(yáng)聲器不做渲染；

位置滿足預(yù)設(shè)條件的至少兩個(gè)揚(yáng)聲器渲染同一個(gè)音頻數(shù)據(jù)；所述預(yù)設(shè)條件表征揚(yáng)聲器方位與音頻的空間信息對(duì)應(yīng)的方位之間的距離小于預(yù)設(shè)距離。

本發(fā)明實(shí)施例又提供了一種采集設(shè)備，所述采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體，所述采集設(shè)備包括：視頻采集設(shè)備及音頻采集設(shè)備；其中，

所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)。

上述方案中，所述采集設(shè)備還包括：

移動(dòng)裝置，用于接收控制指令，響應(yīng)所述控制指令移動(dòng)所述采集設(shè)備，使所述采集設(shè)備在移動(dòng)中采集數(shù)據(jù)；或者，使所述采集設(shè)備靜止，以在靜止的狀態(tài)下使所述采集設(shè)備采集數(shù)據(jù)。

上述方案中，視頻采集設(shè)備以及音頻采集設(shè)備的設(shè)置位置滿足以下至少之一：

所有視頻采集設(shè)備采集的視頻數(shù)據(jù)能還原為球體；

所有音頻采集設(shè)備采集的音頻數(shù)據(jù)能還原為球體。

上述方案中，所述幾何體的每面均設(shè)置有至少一個(gè)視頻采集設(shè)備。

上述方案中，所述采集設(shè)備還包括：

處理器，用于針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，獲取采集設(shè)備的音頻采集設(shè)備的空間信息；依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)；所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)處理裝置，包括：

獲取單元，用于獲取采集設(shè)備的音頻采集設(shè)備的空間信息；所述采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體；所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)；

編碼單元，用于針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)；所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)。

上述方案中，所述裝置還包括：

處理單元，用于將M路音頻數(shù)據(jù)存儲(chǔ)或者發(fā)出。

本發(fā)明實(shí)施例又提供了一種數(shù)據(jù)處理裝置，包括：

接收單元，用于接收編碼后的M路音頻數(shù)據(jù)；

解碼單元，用于對(duì)編碼的M路音頻數(shù)據(jù)進(jìn)行解碼，獲得對(duì)應(yīng)的音頻的空間信息；M為正整數(shù)；

第一確定單元，用于依據(jù)獲得的音頻的空間信息及揚(yáng)聲設(shè)備的方位信息，確定M路音頻數(shù)據(jù)對(duì)應(yīng)的Q個(gè)揚(yáng)聲設(shè)備；Q為正整數(shù)；

渲染單元，用于利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)。

上述方案中，所述裝置還包括：

第二確定單元，用于根據(jù)使用者的運(yùn)動(dòng)姿態(tài)，獲得視點(diǎn)和/或興趣區(qū)域在投影映射體上的方位信息，

所述渲染單元，還用于依據(jù)Q個(gè)揚(yáng)聲設(shè)備的方位信息及所述音頻的空間信息，調(diào)整每個(gè)揚(yáng)聲設(shè)備所渲染的音頻數(shù)據(jù)。

本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法、裝置及采集設(shè)備，采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體；所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)，將視頻采集設(shè)備及音頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體，如此，能夠?qū)崿F(xiàn)真正地全向音頻采集。同時(shí)，針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，獲取采集設(shè)備的音頻采集設(shè)備的空間信息；依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)；所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)；而接收到編碼后的M路音頻數(shù)據(jù)后，對(duì)編碼的M路音頻數(shù)據(jù)進(jìn)行解碼，獲得對(duì)應(yīng)的音頻的空間信息；依據(jù)獲得的音頻的空間信息及揚(yáng)聲設(shè)備的方位信息，確定M路音頻數(shù)據(jù)對(duì)應(yīng)的Q個(gè)揚(yáng)聲設(shè)備；Q為正整數(shù)；利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備，音頻數(shù)據(jù)有對(duì)應(yīng)的空間信息，這樣能夠?qū)⒁纛l數(shù)據(jù)進(jìn)行沉浸式的音頻呈現(xiàn)，達(dá)到音頻和時(shí)頻的空間方位配合同步的效果。

附圖說明

在附圖(其不一定是按比例繪制的)中，相似的附圖標(biāo)記可在不同的視圖中描述相似的部件。具有不同字母后綴的相似附圖標(biāo)記可表示相似部件的不同示例。附圖以示例而非限制的方式大體示出了本文中所討論的各個(gè)實(shí)施例。

圖1為本發(fā)明實(shí)施例一一種數(shù)據(jù)處理的方法流程示意圖；

圖2為本發(fā)明實(shí)施例一另一種數(shù)據(jù)處理的方法流程示意圖；

圖3為本發(fā)明實(shí)施例二采集設(shè)備結(jié)構(gòu)示意圖；

圖4A-4B為本發(fā)明實(shí)施例三一種采集設(shè)備結(jié)構(gòu)示意圖；

圖5A-5B為本發(fā)明實(shí)施例三另一種采集設(shè)備結(jié)構(gòu)示意圖；

圖6A-6B為本發(fā)明實(shí)施例三再一種采集設(shè)備結(jié)構(gòu)示意圖；

圖7為本發(fā)明實(shí)施例四球坐標(biāo)式的空間信息示意圖；

圖8為本發(fā)明實(shí)施例四立方體下面信息式的空間信息示意圖；

圖9為本發(fā)明實(shí)施例四圖8所示的空間信息展開后的空間信息示意圖；

圖10為本發(fā)明實(shí)施例五M大于揚(yáng)聲器數(shù)量時(shí)的音頻渲染示意圖；

圖11為本發(fā)明實(shí)施例五M等于揚(yáng)聲器數(shù)量時(shí)的音頻渲染示意圖；

圖12A-12B為本發(fā)明實(shí)施例五M小于揚(yáng)聲器數(shù)量時(shí)的音頻渲染示意圖；

圖13A-13B為本發(fā)明實(shí)施例六一種基于興趣區(qū)域或視點(diǎn)的音頻渲染示意圖；

圖14A-14B本發(fā)明實(shí)施例六另一種基于興趣區(qū)域或視點(diǎn)的音頻渲染示意圖；

圖15為本發(fā)明實(shí)施例六基于興趣區(qū)域或視點(diǎn)的音頻渲染流程示意圖；

圖16為本發(fā)明實(shí)施例七一種數(shù)據(jù)處理裝置結(jié)構(gòu)示意圖；

圖17為本發(fā)明實(shí)施例七另一種數(shù)據(jù)處理裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明再作進(jìn)一步詳細(xì)的描述。

在描述本發(fā)明實(shí)施例之前，先了解一下VR的相關(guān)技術(shù)。

目前虛擬現(xiàn)實(shí)音頻采集設(shè)備(也可以稱為VR音頻捕獲設(shè)備)中，通常只設(shè)置1到2個(gè)麥克風(fēng)，因此并未做到真正地全向音頻捕獲。

并且傳輸和存儲(chǔ)過程，目前也是重點(diǎn)考慮視頻，包括視頻的方位、基于VP以及ROI的視頻tiled存儲(chǔ)以及傳輸。然而，目前，由于音頻采集時(shí)沒有攜帶與對(duì)應(yīng)區(qū)域視頻相關(guān)的空間信息；加之傳輸和存儲(chǔ)過程，也未考慮攜帶空間信息(包括三維空間坐標(biāo)或面信息)，因此對(duì)于視角(VP)以及興趣區(qū)域(ROI)的音頻和視頻方位的配合渲染并未做過多考慮。雖然目前可以通過后期人為的制作，可以實(shí)現(xiàn)虛擬現(xiàn)實(shí)采集的音頻和時(shí)頻的空間方位配合渲染，但是這種配合渲染并不能達(dá)到方位同步的效果。

基于此，在本發(fā)明的各種實(shí)施例中：獲取采集設(shè)備的音頻采集設(shè)備的空間信息；所述采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體；所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)；依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)；所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)。

實(shí)施例一

本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法，如圖1所示，該方法包括：

步驟101：獲取采集設(shè)備的音頻采集設(shè)備的空間信息；

這里，所述采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體；所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)。

所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體是指：所述采集設(shè)備的至少兩個(gè)視頻采集設(shè)備設(shè)置在所述幾何體對(duì)應(yīng)的空間方位，且至少兩個(gè)視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體表面。

換句話說，采集設(shè)備上設(shè)置的所有視頻采集設(shè)備及音頻采集設(shè)備在空間方位上覆蓋整個(gè)幾何體表面。

所述采集設(shè)備可以為VR采集設(shè)備。

實(shí)際應(yīng)用時(shí)，音頻采集設(shè)備可以是麥克風(fēng)；視頻采集設(shè)備可以是攝像頭。

實(shí)際應(yīng)用時(shí)，采集設(shè)備發(fā)送的采集的音頻數(shù)據(jù)里可以攜帶音頻采集設(shè)備的空間信息，據(jù)此可以獲知每個(gè)音頻采集設(shè)備的空間信息。

音頻采集設(shè)備的空間信息可以是以下之一：

N個(gè)麥克風(fēng)的物理或拾音空間信息；

對(duì)應(yīng)攝像頭物理或所拍攝視頻的中心點(diǎn)空間信息。

所述采集設(shè)備采集到的視頻數(shù)據(jù)和/或音頻數(shù)據(jù)滿足以下至少之一：

所有視頻采集設(shè)備采集的視頻數(shù)據(jù)能夠直接還原為球體；

所有音頻采集設(shè)備采集的音頻數(shù)據(jù)能夠直接還原為球體。

步驟102：針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)。

其中，所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)。

這里，實(shí)際應(yīng)用時(shí)，根據(jù)編碼應(yīng)用場(chǎng)景的不同，編碼后的音頻數(shù)據(jù)的格式可以是：mpega、aac、mp3、G.711等。

所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息為以下至少之一：

N個(gè)音頻采集設(shè)備物理或拾音空間信息；

N個(gè)音頻采集設(shè)備空間位置的中心點(diǎn)空間信息；

所拍攝視頻的中心點(diǎn)空間信息。

其中，當(dāng)M等于N時(shí)，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息可以為以下之一：

N個(gè)音頻采集設(shè)備物理或拾音空間信息；

N個(gè)音頻采集設(shè)備空間位置的中心點(diǎn)空間信息；

所拍攝視頻的中心點(diǎn)空間信息。

當(dāng)M小于N時(shí)，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息可以為以下之一：

N個(gè)音頻采集設(shè)備空間位置的中心點(diǎn)空間信息；

所拍攝視頻的中心點(diǎn)空間信息。

實(shí)際應(yīng)用時(shí)，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息的表現(xiàn)形式可以為以下至少之一：

經(jīng)緯圖上的對(duì)應(yīng)方位信息；

三維坐標(biāo)系中的三維笛卡爾坐標(biāo)；

球坐標(biāo)系中的球坐標(biāo)；

與相對(duì)面方位信息。

編碼后的音頻數(shù)據(jù)可以保存也可以發(fā)送，以實(shí)現(xiàn)虛擬現(xiàn)實(shí)的交互性。

基于此，在一實(shí)施例中，該方法還可以包括：

將M路音頻數(shù)據(jù)存儲(chǔ)或者發(fā)出。

相應(yīng)地，本發(fā)明實(shí)施例還提供一種數(shù)據(jù)處理方法，可以認(rèn)為是一種實(shí)現(xiàn)虛擬現(xiàn)實(shí)交互性的方法。如圖2所示，該方法包括：

步驟201：接收編碼后的M路音頻數(shù)據(jù)；

這里，需要說明的是：接收的編碼后的M路音頻數(shù)據(jù)是通過圖1所示的方法得到的編碼數(shù)據(jù)。

步驟202：對(duì)編碼的M路音頻數(shù)據(jù)進(jìn)行解碼，獲得對(duì)應(yīng)的音頻的空間信息；

這里，M為正整數(shù)。

步驟203：依據(jù)獲得的音頻的空間信息及揚(yáng)聲設(shè)備的方位信息，確定M路音頻數(shù)據(jù)對(duì)應(yīng)的Q個(gè)揚(yáng)聲設(shè)備；

這里，Q為正整數(shù)。

具體地，假設(shè)揚(yáng)聲設(shè)備的總個(gè)數(shù)為L，L為正整數(shù)，確定揚(yáng)聲設(shè)備時(shí)，

當(dāng)M大于L時(shí)，將音頻的空間信息在以每個(gè)揚(yáng)聲設(shè)備的方位為中心，預(yù)設(shè)半徑范圍內(nèi)的至少一路音頻數(shù)據(jù)對(duì)應(yīng)一個(gè)揚(yáng)聲設(shè)備；

當(dāng)M等于L時(shí)，且每個(gè)揚(yáng)聲設(shè)備的方位與每路音頻數(shù)據(jù)的空間信息一致時(shí)，將每路音頻數(shù)據(jù)對(duì)應(yīng)一個(gè)揚(yáng)聲設(shè)備；

當(dāng)M小于L時(shí)，依據(jù)獲得的音頻的空間信息及揚(yáng)聲設(shè)備的方位信息，從L個(gè)揚(yáng)聲設(shè)備中選擇Q個(gè)揚(yáng)聲設(shè)備；或者，將揚(yáng)聲設(shè)備的方位在以每路音頻數(shù)據(jù)的空間方位為中心，預(yù)設(shè)半徑范圍內(nèi)的至少一個(gè)揚(yáng)聲設(shè)備，作為每路音頻數(shù)據(jù)的揚(yáng)聲設(shè)備。

這里，實(shí)際應(yīng)用時(shí)，預(yù)設(shè)半徑可以根據(jù)需要來設(shè)置。

步驟204：利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)。

這里，實(shí)際應(yīng)用時(shí)，可能會(huì)出現(xiàn)每個(gè)揚(yáng)聲設(shè)備所要渲染的音頻數(shù)據(jù)不是一路，而是至少兩路，在這種情況下，需要對(duì)至少兩路音頻數(shù)據(jù)進(jìn)行混合處理，就是進(jìn)行混音處理。

從上面的描述中可以看出，利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)，可以包括以下至少之一：

將以揚(yáng)聲器方位為中心預(yù)設(shè)半徑范圍內(nèi)的至少兩路音頻數(shù)據(jù)混合后渲染；

揚(yáng)聲器的方位與音頻采集設(shè)備矢量一致，對(duì)應(yīng)渲染；

與音頻的空間信息對(duì)應(yīng)方位相對(duì)應(yīng)的揚(yáng)聲器一一渲染，與音頻的空間信息對(duì)應(yīng)方位不對(duì)應(yīng)的揚(yáng)聲器不做渲染；

位置滿足預(yù)設(shè)條件的至少兩個(gè)揚(yáng)聲器渲染同一個(gè)音頻數(shù)據(jù)；所述預(yù)設(shè)條件表征揚(yáng)聲器方位與音頻的空間信息對(duì)應(yīng)的方位之間的距離小于預(yù)設(shè)距離。

其中，所述預(yù)設(shè)半徑以及預(yù)設(shè)距離可以根據(jù)需要設(shè)置。

實(shí)際應(yīng)用時(shí)，除了步驟204所描述的基本的音頻渲染操作之外，還可以配合視頻的興趣區(qū)域或視點(diǎn)，進(jìn)行音頻的渲染。

基于此，在一實(shí)施例中，該方法還可以包括：

根據(jù)使用者的運(yùn)動(dòng)姿態(tài)，獲得視點(diǎn)和/或興趣區(qū)域在投影映射體上的方位信息，并可以獲得Q個(gè)揚(yáng)聲設(shè)備對(duì)應(yīng)的方位信息；

依據(jù)Q個(gè)揚(yáng)聲設(shè)備的方位信息及所述音頻的空間信息，調(diào)整每個(gè)揚(yáng)聲設(shè)備所渲染的音頻數(shù)據(jù)。

這里，實(shí)際應(yīng)用時(shí)，揚(yáng)聲設(shè)備的方位信息可以是在所述投影映射體上對(duì)應(yīng)的方位信息，也可以不是在所述投影映射體上對(duì)應(yīng)的方位信息，此時(shí)，可以根據(jù)揚(yáng)聲設(shè)備的方位信息通過計(jì)算來確定如何調(diào)整揚(yáng)聲設(shè)備所渲染的音頻數(shù)據(jù)。

需要說明的是：實(shí)際應(yīng)用時(shí)，針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，所形成的編碼后的M路音頻數(shù)據(jù)，均執(zhí)行上述的渲染操作。

本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法，獲取采集設(shè)備的音頻采集設(shè)備的空間信息；所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)；針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)；所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)；而接收到編碼后的M路音頻數(shù)據(jù)后，對(duì)編碼的M路音頻數(shù)據(jù)進(jìn)行解碼，獲得對(duì)應(yīng)的音頻的空間信息；依據(jù)獲得的音頻的空間信息及揚(yáng)聲設(shè)備的方位信息，確定M路音頻數(shù)據(jù)對(duì)應(yīng)的Q個(gè)揚(yáng)聲設(shè)備；Q為正整數(shù)；利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備，音頻數(shù)據(jù)有對(duì)應(yīng)的空間信息，這樣能夠?qū)⒁纛l數(shù)據(jù)進(jìn)行沉浸式的音頻呈現(xiàn)，達(dá)到音頻和時(shí)頻的空間方位配合同步的效果音頻數(shù)據(jù)有對(duì)應(yīng)的空間信息，這樣能夠?qū)⒁纛l數(shù)據(jù)進(jìn)行沉浸式的音頻呈現(xiàn)，達(dá)到音頻和時(shí)頻的空間方位配合同步的效果。

實(shí)施例二

從實(shí)施例一可以看出，本發(fā)明實(shí)施例提供的采集設(shè)備可以全向采集音頻數(shù)據(jù)?；诖?，本實(shí)施例提供一種采集設(shè)備，采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體，如圖3所示，該采集設(shè)備包括：視頻采集設(shè)備31及音頻采集設(shè)備32；其中，

所述采集設(shè)備中的視頻采集設(shè)備31部署的空間方位覆蓋整個(gè)幾何體；

每個(gè)視頻采集設(shè)備31的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備32；N為正整數(shù)。

所述采集設(shè)備中的視頻采集設(shè)備31部署的空間方位覆蓋整個(gè)幾何體是指：所述采集設(shè)備的至少兩個(gè)視頻采集設(shè)備31設(shè)置在所述幾何體對(duì)應(yīng)的空間方位，且至少兩個(gè)視頻采集設(shè)備31部署的空間方位覆蓋整個(gè)幾何體表面。

換句話說，采集設(shè)備上設(shè)置的所有視頻采集設(shè)備31及音頻采集設(shè)備32在空間方位上覆蓋整個(gè)幾何體表面。

其中，實(shí)際應(yīng)用時(shí)，所述幾何體的每面均可以設(shè)置有至少一個(gè)視頻采集設(shè)備31，以實(shí)現(xiàn)在空間方位上覆蓋整個(gè)幾何體表面。

另外，當(dāng)每個(gè)視頻采集設(shè)備31的設(shè)置方位設(shè)置有多個(gè)音頻采集設(shè)備32時(shí)，每個(gè)視頻采集設(shè)備31的設(shè)置方位所設(shè)置的至少兩個(gè)音頻采集設(shè)備32，環(huán)繞視頻采集設(shè)備設(shè)置。

所述采集設(shè)備可以為VR采集設(shè)備。

實(shí)際應(yīng)用時(shí)，音頻采集設(shè)備32可以是麥克風(fēng)；視頻采集設(shè)備31可以是攝像頭。

在一實(shí)施例中，視頻采集設(shè)備31以及音頻采集設(shè)備31的設(shè)置位置滿足以下至少之一：

所有視頻采集設(shè)備31采集的視頻數(shù)據(jù)能夠直接還原為球體；

所有音頻采集設(shè)備32采集的音頻數(shù)據(jù)能夠直接還原為球體。

也就是說，所有視頻采集設(shè)備31在經(jīng)緯360度均可以還原視頻數(shù)據(jù)。所有音頻采集設(shè)備32在經(jīng)緯360度均可以還原音頻數(shù)據(jù)。

在一實(shí)施例中，所述采集設(shè)備能夠?qū)崿F(xiàn)移動(dòng)或靜止拍攝和拾音的功能。

基于此，在一實(shí)施例中，該采集設(shè)備還可以包括：

移動(dòng)裝置，用于接收控制指令，響應(yīng)所述控制指令移動(dòng)所述采集設(shè)備，使所述采集設(shè)備在移動(dòng)中采集數(shù)據(jù)；或者，使所述采集設(shè)備靜止，以在靜止的狀態(tài)下使所述采集設(shè)備采集數(shù)據(jù)。

這里，實(shí)際應(yīng)用時(shí)，所述移動(dòng)裝置的具體功能可以類似與航拍飛行器的功能，具體組成可以包括：槳葉、動(dòng)力驅(qū)動(dòng)裝置等。

在一實(shí)施例中，該采集設(shè)備還可以包括：

處理器，用于針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，獲取采集設(shè)備的音頻采集設(shè)備的空間信息；依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)；所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)。

其中，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息可以為以下至少之一：

N個(gè)音頻采集設(shè)備物理或拾音空間信息；

N個(gè)音頻采集設(shè)備空間位置的中心點(diǎn)空間信息；

所拍攝視頻的中心點(diǎn)空間信息。

所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息的表現(xiàn)形式可以為以下至少之一：

經(jīng)緯圖上的對(duì)應(yīng)方位信息；

三維坐標(biāo)系中的三維笛卡爾坐標(biāo)；

球坐標(biāo)系中的球坐標(biāo)；

與相對(duì)面方位信息。

本發(fā)明實(shí)施例提供的采集設(shè)設(shè)備，采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體；所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)，將視頻采集設(shè)備及音頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體，如此，能夠?qū)崿F(xiàn)真正地全向音頻采集。

實(shí)施例三

在實(shí)施例二的基礎(chǔ)上，本實(shí)施例詳細(xì)描述采集設(shè)備的各部件的設(shè)置方式。

在本實(shí)施例中，視頻采集設(shè)備為攝像頭，音頻采集設(shè)備為麥克風(fēng)。

結(jié)合實(shí)施例二可以看出，VR采集設(shè)備為麥克風(fēng)和攝像頭的組合，是有一個(gè)對(duì)應(yīng)的幾何體，有VR采集設(shè)備的麥克風(fēng)可以實(shí)現(xiàn)全向音頻采集，所以這些麥克風(fēng)可以稱為幾何體虛擬現(xiàn)實(shí)全向麥克風(fēng)。

其中，幾何體包括基本幾何體和組合幾何體?；編缀误w包括旋轉(zhuǎn)體(球體，圓柱體等)、多面體(柏拉圖立體和非柏拉圖立體)。組合幾何體為同一種或任意幾種的兩個(gè)以上的基本幾何體組成在一起的幾何體。

幾何體虛擬現(xiàn)實(shí)全向麥克風(fēng)具備移動(dòng)或者靜止拾音的功能，也就是說，在VR采集設(shè)備移動(dòng)過程中或者在靜止的狀態(tài)下能夠?qū)崿F(xiàn)音頻采集。當(dāng)然，在VR采集設(shè)備移動(dòng)過程中或在靜止的狀態(tài)下，攝像頭能夠?qū)崿F(xiàn)拍攝功能。

麥克風(fēng)和攝像頭部署的空間方位覆蓋整個(gè)幾何體表面。幾何體虛擬現(xiàn)實(shí)全向麥克風(fēng)采集的音頻可以還原為球體，所有攝像頭采集的視頻可以還原為球體，即在經(jīng)緯360度均可還原采集的音頻。

下面詳細(xì)描述麥克風(fēng)的部署位置。

幾何體每個(gè)面的麥克風(fēng)數(shù)量為N，N為正整數(shù)。

如圖4A及4B所示，當(dāng)幾何體為球體時(shí)，即全向麥克風(fēng)為球體的虛擬現(xiàn)實(shí)全向麥克風(fēng)，每個(gè)攝像頭方位對(duì)應(yīng)1個(gè)或多個(gè)麥克風(fēng)。具體地，在圖4A中，每個(gè)攝像機(jī)方位對(duì)應(yīng)麥克風(fēng)數(shù)量為1。在圖4B中，每個(gè)攝像機(jī)方位對(duì)應(yīng)麥克風(fēng)數(shù)量為多個(gè)，且多個(gè)麥克風(fēng)環(huán)繞攝像頭部署，以攝像頭為同心圓，一圈或多圈部署。

如圖5A及5B所示，當(dāng)幾何體為立方時(shí)，即全向麥克風(fēng)為立方體的虛擬現(xiàn)實(shí)全向麥克風(fēng)，每個(gè)攝像頭方位對(duì)應(yīng)1個(gè)或多個(gè)麥克風(fēng)。具體地，在圖5A中，每個(gè)攝像頭方位對(duì)應(yīng)麥克風(fēng)數(shù)量為1。在圖5B中，每個(gè)攝像頭方位對(duì)應(yīng)麥克風(fēng)數(shù)量為多個(gè)，且多個(gè)麥克風(fēng)環(huán)繞攝像頭部署，以攝像頭為同心圓，一圈或多圈部署。

如圖6A及6B所示，當(dāng)幾何體為正二十面體時(shí)，即全向麥克風(fēng)為正二十面體的虛擬現(xiàn)實(shí)全向麥克風(fēng)，每個(gè)攝像頭方位對(duì)應(yīng)1個(gè)或多個(gè)麥克風(fēng)。具體地，在圖6A中，每個(gè)攝像頭方位對(duì)應(yīng)麥克風(fēng)數(shù)量為1。在圖6B中，每個(gè)攝像頭方位對(duì)應(yīng)麥克風(fēng)數(shù)量為多個(gè)，且多個(gè)麥克風(fēng)環(huán)繞攝像頭分散部署。

實(shí)施例四

在本實(shí)施例中，采用實(shí)施例二、三所描述的VR采集設(shè)備采集音頻數(shù)據(jù)。

在實(shí)施例一的基礎(chǔ)上，本實(shí)施例詳細(xì)描述對(duì)采集的音頻數(shù)據(jù)的編碼過程。

N個(gè)麥克風(fēng)采集的音頻數(shù)據(jù)可攜帶以下信息之一：

N個(gè)麥克風(fēng)的物理或拾音空間信息；

對(duì)應(yīng)攝像頭物理或所拍攝視頻的中心點(diǎn)空間信息。

將N個(gè)麥克風(fēng)采集的音頻數(shù)據(jù)編碼成M路音頻，M為正整數(shù)。

其中，編碼后的M路音頻攜帶音頻的空間信息。

依據(jù)編碼的格式(如mpega、aac、mp3、或者G.711等)進(jìn)行編碼。

編碼后，將攜帶有音頻的空間信息的編碼音頻數(shù)據(jù)進(jìn)行存儲(chǔ)，存儲(chǔ)時(shí)，按照封裝格式(比如ISOBMFF文件、ts文件等)將音頻的空間信息。

當(dāng)然，如果需要傳輸音頻文件，則基于傳輸協(xié)議(例如DASH、超文本傳輸協(xié)議(HTTP)、HLS(HTTP Live Streaming)、實(shí)時(shí)傳輸協(xié)議(RTP)等)規(guī)定封裝攜帶有音頻的空間信息的編碼音頻數(shù)據(jù)。

這里，所攜帶的空間信息形式可以是以下至少一種：

經(jīng)緯圖上的對(duì)應(yīng)方位信息；

三維坐標(biāo)系中的三維笛卡爾坐標(biāo)；

球坐標(biāo)系中的球坐標(biāo)(如圖7所示)；

與相對(duì)面方位信息。

這里，方位信息可以是如圖8或9所示的攝像頭所在幾何體面的面信息。

其中，當(dāng)M＝N時(shí)，M路音頻攜帶的空間信息對(duì)應(yīng)N個(gè)麥克風(fēng)物理或拾音空間信息，或者對(duì)應(yīng)攝像頭物理或所拍攝視頻的中心點(diǎn)空間信息，如每個(gè)攝像頭對(duì)應(yīng)麥克風(fēng)的數(shù)量為1的情況。

當(dāng)M＝1時(shí)，M路音頻攜帶的空間信息為N個(gè)麥克風(fēng)的物理或拾音空間的中心點(diǎn)空間信息，或者對(duì)應(yīng)攝像頭物理或所拍攝視頻的中心點(diǎn)空間信息，例如每個(gè)攝像頭方位對(duì)應(yīng)麥克風(fēng)數(shù)量為N個(gè)的情況。

當(dāng)然，實(shí)際應(yīng)用過程中，在編碼的音頻數(shù)據(jù)中攜帶音頻的空間信息時(shí)，需要擴(kuò)展Audio空間信息參數(shù)，以用來描述攜帶空間信息的音頻。具體地，

實(shí)施例五

在本實(shí)施例中，采用實(shí)施例二、三所描述的VR采集設(shè)備采集音頻數(shù)據(jù)。

在實(shí)施例一的基礎(chǔ)上，本實(shí)施例纖細(xì)描述利用采集的音頻數(shù)據(jù)渲染的過程。

在基本渲染時(shí)，對(duì)M路編碼后的音頻數(shù)據(jù)進(jìn)行基本渲染時(shí)，需要考慮揚(yáng)聲器的數(shù)量及方位。具體來說，

當(dāng)M>揚(yáng)聲器數(shù)量時(shí)，將靠近揚(yáng)聲器方位的音頻混合后，收斂渲染。具體地，解碼后的M路音頻，按照每路音頻的空間信息，對(duì)應(yīng)當(dāng)前揚(yáng)聲器的方位，將揚(yáng)聲器方位附近的音頻混合后，進(jìn)行沉浸式地音頻渲染。如圖10所示，將上半圓對(duì)應(yīng)方位的多路音頻進(jìn)行收斂(混音處理)后，對(duì)應(yīng)四個(gè)揚(yáng)聲器進(jìn)行渲染，其他方位同理。

當(dāng)M＝揚(yáng)聲器數(shù)量時(shí)，且揚(yáng)聲器的方位與麥克風(fēng)矢量一致，則一一對(duì)應(yīng)渲染，如圖11所示。

當(dāng)M<揚(yáng)聲器數(shù)量時(shí)，可以做部分對(duì)應(yīng)渲染(方位相對(duì)應(yīng)的揚(yáng)聲器則一一渲染，剩余的揚(yáng)聲器不做渲染，如圖12A所示)，或者擴(kuò)散渲染，即位置相近的揚(yáng)聲器渲染同一個(gè)音頻，如圖12B所示。

實(shí)施例六

除了實(shí)施例五描述的基本的音頻渲染外，還可以配合視頻的興趣區(qū)域或視點(diǎn)，進(jìn)行音頻的渲染。本實(shí)施例描述基于興趣區(qū)域和/或視點(diǎn)的渲染過程。

圖13A和13B為音頻攜帶相對(duì)方位信息時(shí)的麥克風(fēng)的部署及音頻渲染示意圖。從圖13A和13B可以看出，而圖內(nèi)的內(nèi)切圓為虛擬現(xiàn)實(shí)渲染設(shè)備，部署四個(gè)麥克風(fēng)，F(xiàn)為正對(duì)人臉的方位，L和R分別為左右耳方位，B為后腦中央方位。立方體為還原的投影映射體，與圖8或圖9所示的采集方位對(duì)應(yīng)，每個(gè)面上的麥克風(fēng)采集的音頻攜帶face_id相對(duì)方位信息。如圖13A所示，假設(shè)當(dāng)前視點(diǎn)為“1前”，1前方位的音頻對(duì)應(yīng)F揚(yáng)聲器渲染，2右方位的音頻對(duì)應(yīng)R揚(yáng)聲器渲染，3后方位的音頻對(duì)應(yīng)B揚(yáng)聲器進(jìn)行渲染，4左方位的音頻對(duì)應(yīng)L揚(yáng)聲器進(jìn)行渲染。當(dāng)視點(diǎn)從“1前”變?yōu)椤?左”時(shí)，內(nèi)切圓揚(yáng)聲器的方位相對(duì)立方體有所變化，在這種情況下，如圖13B所示，4左采集的音頻對(duì)應(yīng)F揚(yáng)聲器進(jìn)行渲染，1前采集的音頻對(duì)應(yīng)R揚(yáng)聲器進(jìn)行渲染，2右采集的音頻對(duì)應(yīng)B揚(yáng)聲器進(jìn)行渲染，3后采集的音頻對(duì)應(yīng)L揚(yáng)聲器進(jìn)行渲染。實(shí)際的音效舉例為，假設(shè)視點(diǎn)為1前時(shí)聽到4左傳來水聲(由L揚(yáng)聲器渲染)，頭部轉(zhuǎn)動(dòng)，視點(diǎn)變?yōu)?左，此時(shí)水聲為正前方傳來(由F揚(yáng)聲器渲染)。

圖14A和14B為音頻攜帶球坐標(biāo)方位信息時(shí)的麥克風(fēng)的部署及音頻渲染示意圖。從圖14A和14B可以看出，而圖內(nèi)的內(nèi)同心圓為虛擬現(xiàn)實(shí)渲染設(shè)備，部署四個(gè)麥克風(fēng)，F(xiàn)為正對(duì)人臉的方位，L和R分別為左右耳方位，B為后腦中央方位。外同心圓為投影映射體。如圖14所示，假設(shè)當(dāng)前視點(diǎn)為(yaw1,pitch1)，該方位的音頻對(duì)應(yīng)F揚(yáng)聲器渲染，而(yaw2,pitch2)方位的音頻對(duì)應(yīng)R揚(yáng)聲器渲染，(yaw3,pitch3)方位的音頻對(duì)應(yīng)B揚(yáng)聲器進(jìn)行渲染，(yaw4,pitch4)方位的音頻對(duì)應(yīng)L揚(yáng)聲器進(jìn)行渲染。當(dāng)視點(diǎn)從(yaw1,pitch1)變?yōu)?yaw3,pitch3)時(shí)，同心圓揚(yáng)聲器的方位相對(duì)立方體有所變化，在這種情況下，如圖14B所示，(yaw3,pitch3)音頻對(duì)應(yīng)F揚(yáng)聲器進(jìn)行渲染，(yaw4,pitch4)的音頻對(duì)應(yīng)R揚(yáng)聲器進(jìn)行渲染，(yaw1,pitch1)音頻對(duì)應(yīng)B揚(yáng)聲器進(jìn)行渲染，(yaw2,pitch2)的音頻對(duì)應(yīng)L揚(yáng)聲器進(jìn)行渲染。

從上面的描述可以看出，基于視點(diǎn)和/或興趣區(qū)域的渲染，如圖15所示，首先獲得麥克風(fēng)采集的聲音的空間方位信息(步驟1501)；編碼音頻時(shí)考慮采集聲音的空間方位信息，也就是說，編碼后的音頻數(shù)據(jù)攜帶音頻空間方位信息(步驟1502)；根據(jù)頭部或眼部運(yùn)動(dòng)獲得視點(diǎn)和/或興趣區(qū)域在投影映射體上的方位信息(步驟1503)；獲得揚(yáng)聲器在投影映射體上的方位信息(步驟1504)；再根據(jù)多路音頻攜帶的方位信息(球坐標(biāo)/面id等)，結(jié)合基本渲染規(guī)則，動(dòng)態(tài)調(diào)整音頻渲染方位(1505)。

實(shí)施例七

為實(shí)現(xiàn)本發(fā)明實(shí)施例一的方法，本實(shí)施例還提供了一種數(shù)據(jù)處理裝置，如圖16所示，該裝置包括：

獲取單元161，用于獲取采集設(shè)備的音頻采集設(shè)備的空間信息；所述采集設(shè)備對(duì)應(yīng)的采集空間形成幾何體；所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體；每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置有N個(gè)音頻采集設(shè)備；N為正整數(shù)；

編碼單元162，用于針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，依據(jù)音頻采集設(shè)備的空間信息，將N個(gè)音頻采集設(shè)備采集的音頻數(shù)據(jù)進(jìn)行編碼，形成M路音頻數(shù)據(jù)；所述M路音頻數(shù)據(jù)中攜帶音頻的空間信息；M為正整數(shù)。

其中，所述采集設(shè)備中的視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體是指：所述采集設(shè)備的至少兩個(gè)視頻采集設(shè)備設(shè)置在所述幾何體對(duì)應(yīng)的空間方位，且至少兩個(gè)視頻采集設(shè)備部署的空間方位覆蓋整個(gè)幾何體表面。

對(duì)于所述采集設(shè)備上部署的視頻采集設(shè)備及音頻采集設(shè)備，換句話說，采集設(shè)備上設(shè)置的所有視頻采集設(shè)備及音頻采集設(shè)備在空間方位上覆蓋整個(gè)幾何體表面。

所述采集設(shè)備可以為VR采集設(shè)備。

實(shí)際應(yīng)用時(shí)，音頻采集設(shè)備可以是麥克風(fēng)；視頻采集設(shè)備可以是攝像頭。

實(shí)際應(yīng)用時(shí)，采集設(shè)備發(fā)送的采集的音頻數(shù)據(jù)里可以攜帶音頻采集設(shè)備的空間信息，據(jù)此可以獲知每個(gè)音頻采集設(shè)備的空間信息。

音頻采集設(shè)備的空間信息可以是以下之一：

N個(gè)麥克風(fēng)的物理或拾音空間信息；

對(duì)應(yīng)攝像頭物理或所拍攝視頻的中心點(diǎn)空間信息。

所述采集設(shè)備采集到的視頻數(shù)據(jù)和/或音頻數(shù)據(jù)滿足以下至少之一：

所有視頻采集設(shè)備采集的視頻數(shù)據(jù)能夠直接還原為球體；

所有音頻采集設(shè)備采集的音頻數(shù)據(jù)能夠直接還原為球體。

這里，實(shí)際應(yīng)用時(shí)，根據(jù)編碼應(yīng)用場(chǎng)景的不同，編碼后的音頻數(shù)據(jù)的格式可以是：mpega、aac、mp3、G.711等。

所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息為以下至少之一：

N個(gè)音頻采集設(shè)備物理或拾音空間信息；

N個(gè)音頻采集設(shè)備空間位置的中心點(diǎn)空間信息；

所拍攝視頻的中心點(diǎn)空間信息。

其中，當(dāng)M等于N時(shí)，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息可以為以下之一：

N個(gè)音頻采集設(shè)備物理或拾音空間信息；

N個(gè)音頻采集設(shè)備空間位置的中心點(diǎn)空間信息；

所拍攝視頻的中心點(diǎn)空間信息。

當(dāng)M小于N時(shí)，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息可以為以下之一：

N個(gè)音頻采集設(shè)備空間位置的中心點(diǎn)空間信息；

所拍攝視頻的中心點(diǎn)空間信息。

實(shí)際應(yīng)用時(shí)，所述M路音頻數(shù)據(jù)中攜帶的音頻的空間信息的表現(xiàn)形式可以為以下至少之一：

經(jīng)緯圖上的對(duì)應(yīng)方位信息；

三維坐標(biāo)系中的三維笛卡爾坐標(biāo)；

球坐標(biāo)系中的球坐標(biāo)；

與相對(duì)面方位信息。

編碼后的音頻數(shù)據(jù)可以保存也可以發(fā)送，以實(shí)現(xiàn)虛擬現(xiàn)實(shí)的交互性。

基于此，在一實(shí)施例中，該裝置還可以包括：

處理單元，用于將M路音頻數(shù)據(jù)存儲(chǔ)或者發(fā)出。

實(shí)際應(yīng)用時(shí)，所述獲取單元161、編碼單元162及處理單元可由數(shù)據(jù)處理裝置中的處理器實(shí)現(xiàn)。

相應(yīng)地，為了實(shí)現(xiàn)本發(fā)明實(shí)施例的方法，本實(shí)施例還提供了一種數(shù)據(jù)處理裝置，如圖17所示，該裝置包括：

接收單元171，用于接收編碼后的M路音頻數(shù)據(jù)；

解碼單元172，用于對(duì)編碼的M路音頻數(shù)據(jù)進(jìn)行解碼，獲得對(duì)應(yīng)的音頻的空間信息；M為正整數(shù)；

第一確定單元173，用于依據(jù)獲得的音頻的空間信息及揚(yáng)聲設(shè)備的方位信息，確定M路音頻數(shù)據(jù)對(duì)應(yīng)的Q個(gè)揚(yáng)聲設(shè)備；Q為正整數(shù)；

渲染單元174，用于利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)。

這里，需要說明的是：所述接收單元171接收的編碼后的M路音頻數(shù)據(jù)是通過圖1所示的方法得到的編碼數(shù)據(jù)。

假設(shè)揚(yáng)聲設(shè)備的總個(gè)數(shù)為L，L為正整數(shù)，確定揚(yáng)聲設(shè)備時(shí)，

當(dāng)M大于L時(shí)，所述第一確定單元173將音頻的空間信息在以每個(gè)揚(yáng)聲設(shè)備的方位為中心，預(yù)設(shè)半徑范圍內(nèi)的至少一路音頻數(shù)據(jù)對(duì)應(yīng)一個(gè)揚(yáng)聲設(shè)備；

當(dāng)M等于L時(shí)，且每個(gè)揚(yáng)聲設(shè)備的方位與每路音頻數(shù)據(jù)的空間信息一致時(shí)，所述第一確定單元173將每路音頻數(shù)據(jù)對(duì)應(yīng)一個(gè)揚(yáng)聲設(shè)備。

當(dāng)M小于L時(shí)，所述第一確定單元173依據(jù)獲得的音頻的空間信息及揚(yáng)聲設(shè)備的方位信息，從L個(gè)揚(yáng)聲設(shè)備中選擇Q個(gè)揚(yáng)聲設(shè)備；或者，所述第一確定單元173將揚(yáng)聲設(shè)備的方位在以每路音頻數(shù)據(jù)的空間方位為中心，預(yù)設(shè)半徑范圍內(nèi)的至少一個(gè)揚(yáng)聲設(shè)備，作為每路音頻數(shù)據(jù)的揚(yáng)聲設(shè)備。

這里，實(shí)際應(yīng)用時(shí)，預(yù)設(shè)半徑可以根據(jù)需要來設(shè)置。

這里，實(shí)際應(yīng)用時(shí)，可能會(huì)出現(xiàn)每個(gè)揚(yáng)聲設(shè)備所要渲染的音頻數(shù)據(jù)不是一路，而是至少兩路，在這種情況下，需要對(duì)至少兩路音頻數(shù)據(jù)進(jìn)行混合處理，就是進(jìn)行混音處理。

從上面的描述中可以看出，利用確定的Q個(gè)揚(yáng)聲設(shè)備，渲染M路音頻數(shù)據(jù)，可以包括以下至少之一：

將以揚(yáng)聲器方位為中心預(yù)設(shè)半徑范圍內(nèi)的至少兩路音頻數(shù)據(jù)混合后渲染；

揚(yáng)聲器的方位與音頻采集設(shè)備矢量一致，對(duì)應(yīng)渲染；

與音頻的空間信息對(duì)應(yīng)方位相對(duì)應(yīng)的揚(yáng)聲器一一渲染，與音頻的空間信息對(duì)應(yīng)方位不對(duì)應(yīng)的揚(yáng)聲器不做渲染；

位置滿足預(yù)設(shè)條件的至少兩個(gè)揚(yáng)聲器渲染同一個(gè)音頻數(shù)據(jù)；所述預(yù)設(shè)條件表征揚(yáng)聲器方位與音頻的空間信息對(duì)應(yīng)的方位之間的距離小于預(yù)設(shè)距離。

其中，所述預(yù)設(shè)半徑以及預(yù)設(shè)距離可以根據(jù)需要設(shè)置。

實(shí)際應(yīng)用時(shí)，除了上面描述的基本的音頻渲染操作之外，還可以配合視頻的興趣區(qū)域或視點(diǎn)，進(jìn)行音頻的渲染。

基于此，在一實(shí)施例中，該裝置還可以包括：

第二確定單元，用于根據(jù)使用者的運(yùn)動(dòng)姿態(tài)，獲得視點(diǎn)和/或興趣區(qū)域在投影映射體上的方位信息，并可以獲得Q個(gè)揚(yáng)聲設(shè)備的方位信息；

所述渲染單元174，還用于依據(jù)Q個(gè)揚(yáng)聲設(shè)備的方位信息及所述音頻的空間信息，調(diào)整每個(gè)揚(yáng)聲設(shè)備所渲染的音頻數(shù)據(jù)。

這里，實(shí)際應(yīng)用時(shí)，揚(yáng)聲設(shè)備的方位信息可以是在所述投影映射體上對(duì)應(yīng)的方位信息，也可以不是在所述投影映射體上對(duì)應(yīng)的方位信息，此時(shí)，可以根據(jù)揚(yáng)聲設(shè)備的方位信息通過計(jì)算來確定如何調(diào)整揚(yáng)聲設(shè)備所渲染的音頻數(shù)據(jù)。

需要說明的是：實(shí)際應(yīng)用時(shí)，針對(duì)每個(gè)視頻采集設(shè)備的設(shè)置方位對(duì)應(yīng)設(shè)置的N個(gè)音頻采集設(shè)備，所形成的編碼后的M路音頻數(shù)據(jù)，數(shù)據(jù)處理裝置中的個(gè)單元均執(zhí)行上述的功能。

實(shí)際應(yīng)用時(shí)，所述接收單元171、解碼單元172、第一確定單元173、渲染單元174、第二確定單元可由數(shù)據(jù)處理裝置中的處理器實(shí)現(xiàn)。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用硬件實(shí)施例、軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。