空間音頻處理系統(tǒng)和方法
【專利說(shuō)明】
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年10月7日提交的美國(guó)臨時(shí)專利申請(qǐng)No. 61/887,905和2014年4月 28日提交的美國(guó)臨時(shí)專利申請(qǐng)No. 61/985，244的優(yōu)先權(quán)權(quán)益，上述每個(gè)臨時(shí)專利申請(qǐng)全部 通過(guò)引用被并入于此。
技術(shù)領(lǐng)域
[0003] 本發(fā)明設(shè)及音頻信號(hào)處理的領(lǐng)域，并且具體地公開了空間音頻擅染(render)和分 發(fā)的有效形式。
【背景技術(shù)】
[0004] 在整個(gè)說(shuō)明書中【背景技術(shù)】的任何討論決不應(yīng)該被認(rèn)為是認(rèn)可運(yùn)種技術(shù)是廣泛知 道的或形成該領(lǐng)域中的公知常識(shí)的一部分。
[0005] 音頻和視覺(jué)的體驗(yàn)正變得越來(lái)越復(fù)雜。具體地，圍繞收聽者的音頻材料的空間化 已經(jīng)發(fā)展具有增大水平的復(fù)雜度。從歷史的單聲道、立體聲和其它音頻系統(tǒng)，技術(shù)近來(lái)已經(jīng) 看到在制作系統(tǒng)中引入圍繞收聽者的音頻源的幾乎全空間化。
[0006] 圖1示意性地示出了一般的視聽呈現(xiàn)的創(chuàng)建和回放的簡(jiǎn)化結(jié)構(gòu)1。初始，內(nèi)容創(chuàng)建 系統(tǒng)被提供給創(chuàng)作者視聽呈現(xiàn)2。創(chuàng)作通常包括圍繞收聽者的多個(gè)音頻源的空間化和同步。 總呈現(xiàn)然后被初始'擅染'3到包含用于回放給收聽者/觀看者的音頻和視覺(jué)信息的一個(gè)或 更多個(gè)文件形式4中。
[0007] 擅染的文件然后被分發(fā)用于在各種媒體擅染環(huán)境中回放。遺憾的是，回放環(huán)境的 基礎(chǔ)設(shè)施會(huì)高度不同。擅染的文件然后通過(guò)對(duì)應(yīng)的擅染引擎5被擅染，用于在特殊環(huán)境中回 放，擅染引擎5輸出揚(yáng)聲器和顯示器信號(hào)，用于通過(guò)一系列揚(yáng)聲器6和視覺(jué)顯示元件7回放， 從而重新創(chuàng)建圍繞觀看者的預(yù)期的視聽體驗(yàn)。
[0008] 一種特別的音頻空間化系統(tǒng)是Do化y Atmos?系統(tǒng)，其允許視聽體驗(yàn)的音頻內(nèi)容創(chuàng) 作者定位圍繞收聽者的音頻源的過(guò)剩。通過(guò)信號(hào)處理單元和音頻發(fā)射源的音頻材料的擅染 引擎的后續(xù)的擅染允許在圍繞收聽者的位置中在空間化音頻源中重現(xiàn)內(nèi)容創(chuàng)作者的意圖。
[0009] 收聽環(huán)境中的圍繞收聽者放置的實(shí)際音頻發(fā)射源(或揚(yáng)聲器)可W是可變的和依 位置而定的。例如，電影院可W包括在不同的相對(duì)位置中圍繞收聽者放置的揚(yáng)聲器的過(guò)剩。 在家庭環(huán)境中，揚(yáng)聲器布置可W是基本上不同的。理想地，創(chuàng)作的內(nèi)容能夠被擅染到可變揚(yáng) 聲器陣列使得再現(xiàn)原始內(nèi)容創(chuàng)作者的意圖。
[0010] 一系列音頻源到(諸如Do化y Atmos系統(tǒng)提供的）揚(yáng)聲器陣列的擅染很可能顯著地 使任何擅染系統(tǒng)的計(jì)算資源負(fù)重?fù)?dān)。
[0011] 因此一般需要在傳遞的點(diǎn)處提供簡(jiǎn)化的音頻擅染系統(tǒng)。

【發(fā)明內(nèi)容】

[0012] 根據(jù)本發(fā)明的第一方面，提供有一種擅染圍繞期望的收聽者的至少一個(gè)空間化的 虛擬音頻源到圍繞收聽者的一系列中間虛擬揚(yáng)聲器聲道(虛擬揚(yáng)聲器)的方法，該方法包括 如下的步驟:擅染音頻源到中間空間格式W供在布置在圍繞收聽者的一系列平面中的一系 列虛擬揚(yáng)聲器之上回放，其中到每個(gè)平面內(nèi)的虛擬揚(yáng)聲器的擅染使用一系列平移(pan)曲 線，運(yùn)一系列平移曲線空間平滑到滿足奈奎斯特采樣定理的程度。
[0013] -系列平面可至少包括基本上圍繞收聽者的水平面和空間上在收聽者上方的天 花板平面。每個(gè)平面內(nèi)的虛擬揚(yáng)聲器可圍繞收聽者W等距的角間隔布置。虛擬揚(yáng)聲器可與 期望的收聽者距離相等地布置。
[0014] 根據(jù)本發(fā)明的又一方面，提供有一種擅染圍繞期望的收聽者放置的至少一個(gè)空間 化的虛擬音頻源到圍繞期望的收聽者的一系列虛擬揚(yáng)聲器的方法，該方法包括如下的步 驟：（a)將一系列虛擬揚(yáng)聲器分成圍繞期望的收聽者的一系列水平面；（b)擅染音頻源到中 間空間格式W供在布置在圍繞收聽者的一系列平面中的每一個(gè)中的一系列虛擬揚(yáng)聲器之 上回放，該擅染包括：（i)空間化的虛擬音頻源到水平面中的每一個(gè)水平面的初始平移W便 產(chǎn)生平面擅染的音頻發(fā)射；（ii)每個(gè)平面擅染的音頻發(fā)射到每個(gè)平面內(nèi)的一系列虛擬揚(yáng)聲 器位置的后續(xù)的平移，其中該后續(xù)的平移使用一系列平移曲線，運(yùn)一系列平移曲線被空間 平滑成包括小于音頻源的奈奎斯特采樣率的空間頻率分量。
[0015] 初始平移可包括一系列水平面之間的分立的平移。
[0016] 根據(jù)本發(fā)明的又一方面，提供有一種回放中間空間格式信號(hào)的方法，信號(hào)被分成 限定多個(gè)收聽平面的第一系列聲道，每個(gè)收聽平面包括圍繞平面間隔的一系列虛擬音頻 源，該方法包括如下步驟:將每個(gè)平面內(nèi)的揚(yáng)聲器音頻源的位置重新映射W便映射揚(yáng)聲器 的期望輸出布置。
[0017] 根據(jù)本發(fā)明的又一方面，提供有一種回放編碼的音頻比特流的方法，所述比特流 包括用于在圍繞收聽者在一系列平面中布置的一系列虛擬揚(yáng)聲器之上回放的中間空間格 式的編碼，其中每個(gè)平面內(nèi)的虛擬揚(yáng)聲器具有使用一系列平移曲線形成的虛擬揚(yáng)聲器比特 流，運(yùn)一系列平移曲線已經(jīng)空間平滑到滿足奈奎斯特采樣定理的程度，該方法包括如下步 驟：（a)將比特流解碼成第一系列聲道，其中每個(gè)聲道限定多個(gè)收聽平面;并且在每個(gè)平面 內(nèi)，限定一系列對(duì)應(yīng)虛擬揚(yáng)聲器信號(hào)；（b)利用虛擬揚(yáng)聲器信號(hào)的加權(quán)和混合虛擬揚(yáng)聲器信 號(hào)W便產(chǎn)生一組重新映射的揚(yáng)聲器信號(hào)，運(yùn)一組重新映射的揚(yáng)聲器信號(hào)對(duì)應(yīng)于一系列實(shí)際 揚(yáng)聲器的輸出位置;W及(C)輸出實(shí)際揚(yáng)聲器信號(hào)到對(duì)應(yīng)的一系列實(shí)際揚(yáng)聲器。
【附圖說(shuō)明】
[0018] 現(xiàn)在將通過(guò)僅示例的方式參考附圖描述本發(fā)明的實(shí)施例，在附圖中：
[0019]圖1示意性地示出了視聽體驗(yàn)的創(chuàng)作和回放的過(guò)程；
[0020] 圖2示意性地示出了音頻對(duì)象平移器，其利用對(duì)象位置和揚(yáng)聲器位置；
[0021] 圖3示意性地示出了空間平移器的操作，編碼器給定關(guān)于揚(yáng)聲器高度的信息；
[0022] 圖4示出了構(gòu)成示例堆疊環(huán)格式平移空間的4個(gè)層；
[0023] 圖5示出了沿逆時(shí)鐘方向的順序布置的標(biāo)稱揚(yáng)聲器的4個(gè)環(huán)；
[0024] 圖6示出了揚(yáng)聲器的弧，音頻對(duì)象平移到角度d);
[0025] 圖7示出了用于對(duì)象的平移曲線，該對(duì)象具有穿過(guò)揚(yáng)聲器A、B和C的軌跡；
[0026] 圖8示出了用于可重新利用的揚(yáng)聲器陣列的平移曲線；
[0027] 圖9示出了用于將堆疊環(huán)格式作為分離的環(huán)解碼的解碼器；
[0028] 圖10示出了用于解碼其中不存在頂點(diǎn)揚(yáng)聲器的堆疊環(huán)格式的解碼器；
[0029] 圖11示出了用于解碼其中頂點(diǎn)揚(yáng)聲器或天花板揚(yáng)聲器不可用的堆疊環(huán)格式的解 碼器。
【具體實(shí)施方式】
[0030] 所描述的實(shí)施例提供將音頻對(duì)象重新映射到虛擬揚(yáng)聲器陣列的方法。
[0031] 現(xiàn)在轉(zhuǎn)到圖2,示出了音頻對(duì)象平移器20。音頻對(duì)象平移器20將空間化的音頻對(duì)象 平移到音頻環(huán)境中的圍繞收聽者放置的一系列揚(yáng)聲器。W單個(gè)對(duì)象為例，對(duì)象數(shù)據(jù)信息是 輸入21，其是在預(yù)定時(shí)變位置XYZi(t)處的單聲道的對(duì)象(例如對(duì)象1)，其被平移到N個(gè)輸出 揚(yáng)聲器，由此平移增益根據(jù)揚(yáng)聲器位置(xi,yi,zi),. . . , (XN，yN，ZN)和對(duì)象位置XYZi(t)被確 定。運(yùn)些增益值可W隨時(shí)間連續(xù)地改變，運(yùn)是因?yàn)閷?duì)象位置也可W是時(shí)變的。因此音頻對(duì)象 平移器要求相當(dāng)大的計(jì)算資源來(lái)執(zhí)行其功能。
[0032] 所描述的實(shí)施例提供中間空間格式結(jié)構(gòu)，其減少對(duì)象平移所需的計(jì)算資源而同時(shí) 仍然保留多個(gè)揚(yáng)聲器環(huán)境之上的回放能力。
[0033] 在圖3中示出了所描述的實(shí)施例的操作方面30。實(shí)施例使用中間空間格式，其將平 移操