專利名稱：多音頻對(duì)象信號(hào)的編解碼方法和裝置及轉(zhuǎn)碼方法和轉(zhuǎn)碼器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將多音頻對(duì)象信號(hào)編碼的方法和編碼裝置、解碼方法和解碼裝置、以及轉(zhuǎn)碼方法和轉(zhuǎn)碼器。特別是，涉及利用空間參數(shù)來(lái)將多音頻對(duì)象信號(hào)編碼、解碼、以及轉(zhuǎn)碼的方法和裝置。
背景技術(shù)：
最近，利用空間音頻對(duì)象編解碼(Spatial Audio Object Codec,以下稱SA0C)技術(shù)來(lái)壓縮多音頻對(duì)象信號(hào)。一般情況下，在使用SAOC技術(shù)時(shí)，按頻帶各自輸入的音頻對(duì)象信號(hào)的空間參數(shù)來(lái)壓縮多個(gè)輸入對(duì)象信號(hào)，從而生成聲音場(chǎng)景(Sound kene)。據(jù)此，在非常低的比特率中也可生成對(duì)象信號(hào)各自音量被控制的聲音場(chǎng)景。但由于利用限制的比特來(lái)壓縮和復(fù)原多音頻對(duì)象信號(hào)，必然在編碼和解碼的過(guò)程中發(fā)生有關(guān)對(duì)象信號(hào)自身的音質(zhì)劣化。為此，在完全清除類似聲音信號(hào)的特定信號(hào)或單獨(dú)再生的環(huán)境中，出現(xiàn)更嚴(yán)重的音質(zhì)劣化。因此，在使用SAOC技術(shù)時(shí)，一般限制可控制對(duì)象信號(hào)的范圍。本地卡的交易根據(jù)本地卡基準(zhǔn)交易程序被認(rèn)可，并具備交易認(rèn)可的手續(xù)費(fèi)被算定的特征，在此，在算定手續(xù)費(fèi)時(shí)， 具有不需要算定聯(lián)名機(jī)構(gòu)的手續(xù)費(fèi)的優(yōu)點(diǎn)，但存在沒(méi)有與海外交易參與者一對(duì)一的簽約時(shí)不能通過(guò)本地卡進(jìn)行海外交易的缺點(diǎn)。例如，在使用SAOC技術(shù)時(shí)，對(duì)多個(gè)輸入對(duì)象中要控制至極端水準(zhǔn)的對(duì)象信號(hào)(以下稱前景對(duì)象或reO(R)re Ground Object))執(zhí)行編碼和解碼，極端地進(jìn)行控制時(shí)發(fā)生了急劇的音質(zhì)的劣化。在這種情況下，作為要控制的前景對(duì)象信號(hào)，聲音信號(hào)最具代表性，并由此可成為用于服務(wù)的自動(dòng)伴奏錄音(Karaoke)。因此，需要一種音頻信號(hào)編碼技術(shù)，多個(gè)對(duì)象信號(hào)各自控制音量，同時(shí)在極端控制的環(huán)境下也可減少音質(zhì)劣化，向聽(tīng)眾提供滿意的音質(zhì)。

發(fā)明內(nèi)容
技術(shù)課題本發(fā)明為了類似自動(dòng)伴奏錄音的服務(wù)，提供多音頻對(duì)象信號(hào)編碼/解碼方法和裝置，以及轉(zhuǎn)碼方法和轉(zhuǎn)碼器，可按對(duì)象信號(hào)各自來(lái)控制類似聲音的前景對(duì)象和由其他信號(hào)組成的背景對(duì)象BGO(Back Ground Object)信號(hào)的音量。本發(fā)明提供多音頻對(duì)象信號(hào)編碼/解碼方法和裝置，以及轉(zhuǎn)碼方法和轉(zhuǎn)碼器，可將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)一起編碼和解碼來(lái)增加要控制的對(duì)象信號(hào)的個(gè)數(shù)。本發(fā)明提供多音頻對(duì)象信號(hào)編碼/解碼方法和裝置，以及轉(zhuǎn)碼方法和轉(zhuǎn)碼器。按對(duì)象信號(hào)各自來(lái)控制前景對(duì)象和背景對(duì)象信號(hào)的音量，在極端的控制環(huán)境中也可減少音質(zhì)的劣化。技術(shù)方案根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)編碼裝置，可包括第一編碼器和第二編碼器。第一編碼器將多個(gè)輸入對(duì)象信號(hào)中不包括前景對(duì)象信號(hào)的對(duì)象信號(hào)縮混來(lái)生成背景對(duì)象信號(hào)和SAOC參數(shù)；第二編碼器縮混所述前景對(duì)象信號(hào)和所述背景對(duì)象信號(hào)來(lái)生成最終縮混信號(hào)和EKS參數(shù)(Enhanced Karaoke-Solo)。此外，該裝置可進(jìn)一步包括多路傳輸單元，多路傳輸所述SAOC參數(shù)和所述EKS參數(shù)來(lái)生成SAOC比特流。在這種情況下，所述第一編碼器和第二編碼器可根據(jù)控制所述前景對(duì)象信號(hào)的 EKS編碼模式和控制所述背景對(duì)象信號(hào)的典型編碼模式選擇性地進(jìn)行運(yùn)作。根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)編碼方法，可包括以下步驟將多個(gè)輸入對(duì)象信號(hào)中不包括前景對(duì)象信號(hào)的對(duì)象信號(hào)縮混來(lái)生成背景對(duì)象信號(hào)和SAOC參數(shù)； 以及縮混所述前景對(duì)象信號(hào)和所述背景對(duì)象信號(hào)來(lái)生成最終縮混信號(hào)和EKS (Enhanced Karaoke-Solo)參數(shù)。此外，該方法可進(jìn)一步包括以下步驟多路傳輸所述SAOC參數(shù)和所述EKS參數(shù)來(lái)生成SAOC比特流。根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)解碼裝置，可包含比特流分析單元、 第一解碼器、第二解碼器、和渲染單元。比特流分析單元從被多路傳輸?shù)腟A0C(Spatial Audio Object Codec)比特流提取SAOC參數(shù)和EKS參數(shù)；第一解碼器利用所述EKS參數(shù)， 從最終縮混信號(hào)將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)復(fù)原；第二解碼器利用所述SAOC參數(shù)和渲染矩陣，從所述背景對(duì)象信號(hào)生成第一渲染信號(hào)；渲染單元利用所述前景對(duì)象信號(hào)和所述第一渲染信號(hào)來(lái)生成最終渲染信號(hào)。在這種情況下，所述渲染單元可基于所述渲染矩陣?yán)脧乃銮熬皩?duì)象信號(hào)生成的第二渲染信號(hào)和所述第一渲染信號(hào)來(lái)生成所述最終渲染信號(hào)。此外，所述第一解碼器可包括縮混預(yù)處理單元、SAOC轉(zhuǎn)碼器、和MPS解碼器。 縮混預(yù)處理單元根據(jù)所述渲染矩陣，預(yù)處理所述背景對(duì)象信號(hào)來(lái)生成修正的縮混信號(hào) (modified downmix signal) ；SAOC轉(zhuǎn)碼器根據(jù)所述渲染矩陣，將所述SAOC參數(shù)轉(zhuǎn)換成影像解壓縮環(huán)繞MPS (MPEG Surround)比特流；MPS解碼器基于所述MPS比特流，渲染所述修正的縮混信號(hào)來(lái)生成所述第1渲染信號(hào)。在這種情況下，所述渲染單元利用被渲染所述修正的縮混信號(hào)和所述前景對(duì)象信號(hào)來(lái)生成所述最終渲染信號(hào)。此外，所述第1解碼器和第2解碼器可根據(jù)控制所述前景對(duì)象信號(hào)的EKS解碼模式和控制所述背景對(duì)象信號(hào)的典型解碼模式選擇性地進(jìn)行運(yùn)作。此外，所述第1解碼器可根據(jù)所述渲染矩陣來(lái)渲染前景對(duì)象信號(hào)，且所述渲染單元可添加被渲染的所述前景對(duì)象信號(hào)和被渲染的所述背景對(duì)象信號(hào)來(lái)生成所述最終渲染信號(hào)。根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)解碼方法可包括以下步驟從被多路傳輸?shù)腟AOC (Spatial Audio Object Codec)比特流提取SAOC參數(shù)和EKS參數(shù)；利用所述 EKS參數(shù)，從最終縮混信號(hào)將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)復(fù)原；利用所述SAOC參數(shù)和渲染矩陣，從所述背景對(duì)象信號(hào)生成第一渲染信號(hào)；利用所述前景對(duì)象信號(hào)和所述第一渲染信號(hào)來(lái)生成最終渲染信號(hào)。在這種情況下，所述生成最終渲染信號(hào)的步驟可基于所述渲染矩陣，利用從所述前景對(duì)象信號(hào)生成的第二渲染信號(hào)和所述第一渲染信號(hào)來(lái)生成所述最終渲染信號(hào)。
6
此外，所述生成第1渲染信號(hào)的步驟可包括以下步驟根據(jù)所述渲染矩陣，預(yù)處理所述背景對(duì)象信號(hào)來(lái)生成修正的縮混信號(hào)(modified downmix signal)；根據(jù)所述渲染矩陣，將所述SAOC參數(shù)轉(zhuǎn)換成影像解壓縮環(huán)繞MPS比特流；以及基于所述MPS (MPEG Surround)比特流，渲染所述修正的縮混信號(hào)來(lái)生成所述第1渲染信號(hào)。此外，所述生成最終渲染信號(hào)的步驟可利用被渲染的所述修正的縮混信號(hào)和所述前景對(duì)象信號(hào)來(lái)生成所述最終渲染信號(hào)。此外，該方法可進(jìn)一步包括以下步驟根據(jù)所述渲染矩陣來(lái)渲染被復(fù)原的所述前景對(duì)象信號(hào)。且所述生成最終渲染信號(hào)的步驟可添加被渲染的所述前景對(duì)象信號(hào)和被渲染的所述背景對(duì)象信號(hào)來(lái)生成所述最終渲染信號(hào)。根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)解碼裝置，可包括比特流分析單元、 第一解碼器、第二解碼器、和渲染單元。比特流分析單元從被多路傳輸?shù)腟A0C(Spatial Audio Object Codec)比特流提取SAOC參數(shù)和EKS參數(shù)；第一解碼器利用所述EKS參數(shù)， 從最終縮混信號(hào)將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)復(fù)原，并根據(jù)渲染矩陣渲染被復(fù)原的所述前景對(duì)象信號(hào)；第二解碼器利用所述SAOC參數(shù)和所述渲染矩陣來(lái)渲染所述背景對(duì)象信號(hào)； 渲染單元添加被渲染的所述前景對(duì)象信號(hào)和被渲染的所述背景對(duì)象信號(hào)來(lái)生成最終渲染信號(hào)。根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)解碼方法，可包括以下步驟從被多路傳輸?shù)腟AOC (Spatial Audio Object Codec)比特流提取SAOC參數(shù)和EKS參數(shù)；利用所述EKS參數(shù)，從最終縮混信號(hào)將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)復(fù)原；渲染被復(fù)原的所述前景對(duì)象信號(hào)且根據(jù)渲染矩陣來(lái)渲染；利用所述SAOC參數(shù)和所述渲染矩陣來(lái)渲染所述背景對(duì)象信號(hào)；添加被渲染的所述前景對(duì)象信號(hào)和被渲染的所述背景對(duì)象信號(hào)來(lái)生成最終渲染信號(hào)。技術(shù)效果根據(jù)本發(fā)明的一個(gè)實(shí)施例，可按對(duì)象信號(hào)各自來(lái)控制類似自動(dòng)伴奏錄音的前景對(duì)象信號(hào)和背景對(duì)象信號(hào)的音量。根據(jù)本發(fā)明的一個(gè)實(shí)施例，可將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)一起編碼和解碼來(lái)增加要控制的對(duì)象信號(hào)的個(gè)數(shù)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，按對(duì)象信號(hào)各自來(lái)控制前景對(duì)象和背景對(duì)象信號(hào)的音量，在極端的控制環(huán)境中也可減少音質(zhì)的劣化。


圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)編碼裝置的構(gòu)成的示圖。圖2是為說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的將多音頻對(duì)象信號(hào)編碼的過(guò)程所提供的示圖。圖3是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)解碼裝置的構(gòu)成的示圖。圖4是為說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的將多音頻對(duì)象信號(hào)解碼的過(guò)程所提供的示圖。圖5是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)轉(zhuǎn)碼裝置的構(gòu)成的示圖。圖6是為說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的將多音頻對(duì)象信號(hào)轉(zhuǎn)碼的過(guò)程所提供的示圖。
具體實(shí)施例方式以下，參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)地說(shuō)明。圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)編碼裝置的構(gòu)成的示圖。 此外，圖2是為說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的將多音頻對(duì)象信號(hào)編碼的過(guò)程所提供的示圖。參照?qǐng)D1，多音頻對(duì)象信號(hào)編碼裝置100可包括第一編碼器110、第二編碼器120、 多路傳輸單元130。參照?qǐng)D1和圖2，多音頻對(duì)象信號(hào)是指多個(gè)輸入對(duì)象信號(hào)。在這種情況下， 多個(gè)輸入對(duì)象信號(hào)的個(gè)數(shù)為N個(gè)時(shí)，N個(gè)的輸入對(duì)象信號(hào)可由K個(gè)的前景對(duì)象信號(hào) FGOs (ForeGround Objects)和N-K個(gè)的對(duì)象信號(hào)來(lái)構(gòu)成。S卩，N-K個(gè)的對(duì)象信號(hào)為多個(gè)輸入對(duì)象信號(hào)中不包括K個(gè)的前景對(duì)象信號(hào)的對(duì)象信號(hào)，在此，N、K為常數(shù)。首先，在步驟201中，第一編碼器110縮混對(duì)象信號(hào)來(lái)生成背景對(duì)象信號(hào) BGOs (BackGround Objects)和 SAOC (Spatial Audio Object Codec)參數(shù)。由此，背景對(duì)象信號(hào)可被輸入至第二編碼器120。根據(jù)一個(gè)實(shí)施例，在第一編碼器110中，N個(gè)的對(duì)象信號(hào)中不包括K個(gè)的前景對(duì)象信號(hào)的N-K個(gè)的對(duì)象信號(hào)可被輸入。由此，SAOC參數(shù)作為N-K個(gè)的對(duì)象信號(hào)各自的空間參數(shù)(Spatial Cue Parameter)，可包括背景對(duì)象信號(hào)的能源信息和相關(guān)(correlation)信肩、ο在這種情況下，第一編碼器110可被定義為縮混N-K個(gè)的對(duì)象信號(hào)的典型模式編碼器(Classic Mode Encoder)，典型模式編碼器是只利用MPEG SAOC標(biāo)準(zhǔn)中定義的空間參數(shù)的編碼器。在此，前景對(duì)象信號(hào)reos是指多個(gè)輸入對(duì)象信號(hào)中單獨(dú)再生或完全消除時(shí)音質(zhì)劣化急劇發(fā)生的對(duì)象信號(hào)，是聽(tīng)眾特別要求控制的對(duì)象信號(hào)。根據(jù)一個(gè)實(shí)施例，多個(gè)輸入對(duì)象信號(hào)是由包含聲音的樂(lè)器信號(hào)所組成的多對(duì)象信號(hào)，且在特定控制對(duì)象信號(hào)為聲音(vocal)信號(hào)時(shí)，在多對(duì)象信號(hào)中將聲音信號(hào)完全消除時(shí)，最終信號(hào)可成為自動(dòng)伴奏錄音信號(hào)。在這種情況下，成為完全消除的對(duì)象的聲音信號(hào)可成為前景對(duì)象信號(hào)。此外，在步驟220中，第二編碼器120縮混前景對(duì)象信號(hào)和背景對(duì)象信號(hào)來(lái)生成最終縮混信號(hào)和EKS (Enhanced Karaoke-Solo)參數(shù)。在此，EKS參數(shù)背景對(duì)象信號(hào)作為前景對(duì)象信號(hào)和背景對(duì)象信號(hào)對(duì)象各自的空間參數(shù)(Spatial Cue Parameter)，可包括最終縮混信號(hào)的能源信息和相關(guān)信息，以及從縮混信號(hào)和前景個(gè)體信號(hào)算出的剩余信號(hào) (residual signal)0在這種情況下，第二編碼器120可被定義為將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)一起縮混的EKS模式編碼器(EKS Mode Encoder), EKS模式編碼器可利用MPEG SAOC標(biāo)準(zhǔn)中定義的剩余信號(hào)編碼(residual coding)來(lái)提高對(duì)象信號(hào)的音質(zhì)。接著，在步驟230中，多路傳輸單元130可多路傳輸SAOC參數(shù)和EKS參數(shù)來(lái)生成 SAOC比特流(bit stream)。根據(jù)一個(gè)實(shí)施例，多路傳輸單元130可接收輸入的SAOC參數(shù)和EKS參數(shù)，以SAOC標(biāo)準(zhǔn)比特流來(lái)多路傳輸。由此，在步驟MO中，多路傳輸單元130可將生成的SAOC比特流和最終縮混信號(hào)傳送至多音頻對(duì)象信號(hào)解碼裝置300中，即，多路傳輸單元130可將在SAOC比特流和第二編碼器120中生成的最終縮混信號(hào)一起傳送至多音頻對(duì)象信號(hào)解碼裝置300中。以上，對(duì)縮混前景對(duì)象信號(hào)和背景對(duì)象信號(hào)來(lái)生成最終縮混信號(hào)的編碼過(guò)程進(jìn)行了說(shuō)明。如圖1和圖2所述，多音頻對(duì)象信號(hào)編碼裝置100雖然在一般情況下，第一編碼器 110和第二編碼器120 —起運(yùn)作，但也可利用前景對(duì)象信號(hào)和背景對(duì)象信號(hào)中的任何一個(gè)來(lái)生成最終縮混信號(hào)。即，第一編碼器Iio和第二編碼器120可根據(jù)典型編碼模式或EKS 編碼模式來(lái)選擇性進(jìn)行運(yùn)作。根據(jù)一個(gè)實(shí)施例，在以典型編碼模式運(yùn)作時(shí)，第二編碼器120和多路傳輸單元130 被非活性化，有可能不運(yùn)作。由此，在第一編碼器110中生成的背景對(duì)象信號(hào)可成為最終縮混信號(hào)。據(jù)此，背景對(duì)象信號(hào)和SAOC參數(shù)可被傳送至多音頻對(duì)象信號(hào)解碼裝置300中。在此，典型編碼模式是以N個(gè)(K = O)的對(duì)象信號(hào)為對(duì)象，在要按N個(gè)的對(duì)象信號(hào)來(lái)限制性地控制音量的情況下運(yùn)作的模式。根據(jù)另一個(gè)實(shí)施例，在以EKS編碼模式運(yùn)作時(shí)，第一編碼器110和多路傳輸單元 130被非活性化，有可能不運(yùn)作。由此，第二編碼器120可縮混M個(gè)的背景對(duì)象信號(hào)和K個(gè)的前景對(duì)象信號(hào)來(lái)生成最終縮混信號(hào)和EKS參數(shù)。在此，EKS參數(shù)可包括從M個(gè)的背景對(duì)象信號(hào)和K個(gè)的前景對(duì)象信號(hào)算出的各自的空間參數(shù)，以及從縮混信號(hào)和前景個(gè)體信號(hào)算出的剩余信號(hào)(residual signal)。此外，在以EKS編碼模式運(yùn)作時(shí)，以根據(jù)EKS編碼模式生成的最終縮混信號(hào)和EKS 參數(shù)來(lái)構(gòu)成SAOC比特流，并可被傳送至多音頻對(duì)象信號(hào)解碼裝置300中。以上，參照?qǐng)D1和圖2對(duì)將多音頻對(duì)象信號(hào)編碼的過(guò)程進(jìn)行了說(shuō)明，以下參照?qǐng)D3 和圖4，對(duì)將多音頻對(duì)象信號(hào)解碼的過(guò)程進(jìn)行說(shuō)明。圖3是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)解碼裝置的構(gòu)成的示圖。 此外，圖4是為說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的將多音頻對(duì)象信號(hào)解碼的過(guò)程所提供的示圖。參照?qǐng)D3，多音頻對(duì)象信號(hào)解碼裝置300可包括比特流分析單元310、第一解碼器 320、第二解碼器330、渲染單元；340。參照?qǐng)D3和圖4，在步驟410中多音頻對(duì)象信號(hào)解碼裝置300可從多音頻對(duì)象信號(hào)編碼裝置100接收最終縮混信號(hào)和SAOC比特流。在此，最終縮混信號(hào)可為在第二編碼器 120中所生成的最終縮混信號(hào)(Downmix Signal)。由此，SAOC比特流被輸入至比特流分析單元310中，且最終縮混信號(hào)被輸入至第一解碼器320中。接著，在步驟420中，比特流分析單元310可在SAOC比特流中提取SAOC參數(shù)和 EKS參數(shù)。由此，被提取的EKS參數(shù)可被輸入至第一解碼器320中，且SAOC參數(shù)可被輸入至第二解碼器330中。根據(jù)一個(gè)實(shí)施例，比特流分析單元310可分析(Parsing)被輸入的SAOC比特流來(lái)提取SAOC參數(shù)和EKS參數(shù)。在此，SAOC參數(shù)為多個(gè)輸入對(duì)象信號(hào)中不包括前景對(duì)象信號(hào)的對(duì)象信號(hào)各自的空間參數(shù)(Spatial Cue Parameter)，且EKS參數(shù)為前景對(duì)象信號(hào)各自的 2SfS](Spatial Cue Parameter)。
9
此外，在步驟430中，第一解碼器320可利用EKS參數(shù)，從最終縮混信號(hào)將前景對(duì)象信號(hào)reos和背景對(duì)象信號(hào)BGOs復(fù)原。在此，第一解碼器320可被定義為EKS模式解碼器(EKS Mode Decoder)。在這種情況下，被復(fù)原的背景對(duì)象信號(hào)BGOs可被輸入至第二解碼器330中。接著，在步驟440中，第二解碼器330可利用SAOC參數(shù)和被預(yù)存儲(chǔ)的渲染矩陣來(lái)從背景對(duì)象信號(hào)生成第一渲染信號(hào)(Pre-rendered scene)。根據(jù)一個(gè)實(shí)施例，第二解碼器330可根據(jù)包含在渲染矩陣中增益值(gain value)，調(diào)節(jié)背景對(duì)象信號(hào)的增益來(lái)生成第一渲染信號(hào)。由此，生成的第一渲染信號(hào) (Pre-rendered Scene)可被輸入至渲染單元340中。此外，在步驟450中，渲染單元(Renderer) 340可將在第一解碼器320中復(fù)原的前景對(duì)象信號(hào)reos渲染來(lái)生成第二渲染信號(hào)。根據(jù)一個(gè)實(shí)施例，渲染單元340可根據(jù)包含在渲染矩陣中增益值(gain value)， 調(diào)節(jié)前景對(duì)象信號(hào)的增益來(lái)生成第二渲染信號(hào)。接著，在步驟460中，渲染單元340可添加第一渲染信號(hào)(Pre-rendered Scene) 和第二渲染信號(hào)來(lái)生成最終渲染信號(hào)(rendered scene)。在上述中，對(duì)利用被復(fù)原的前景對(duì)象信號(hào)和被復(fù)原的背景對(duì)象信號(hào)來(lái)生成最終渲染信號(hào)的解碼過(guò)程進(jìn)行了說(shuō)明。參照?qǐng)D3和圖4，如上所述，多音頻對(duì)象信號(hào)解碼裝置100 雖然在一般情況下第一解碼器320和第二解碼器330 —起運(yùn)作，但也可只利用被復(fù)原的前景對(duì)象信號(hào)和被復(fù)原的背景對(duì)象信號(hào)中的任何一個(gè)來(lái)生成最終渲染信號(hào)。S卩，第一解碼器 320和第二解碼器330可根據(jù)典型解碼模式或EKS編碼模式選擇性地進(jìn)行運(yùn)作。根據(jù)一個(gè)實(shí)施例，以典型解碼模式運(yùn)作時(shí)，第一解碼器320和渲染單元340被非活性化，有可能不運(yùn)作。由此，在多音頻對(duì)象信號(hào)編碼裝置100中被傳送的最終縮混信號(hào)可被直接輸入至至第二解碼器330中。在這種情況下，最終縮混信號(hào)可為在第一編碼器110中生成的背景對(duì)象信號(hào)BGOs。由此，第二解碼器330可利用SAOC參數(shù)和渲染矩陣來(lái)從背景對(duì)象信號(hào)BGOs生成最終渲染信號(hào)(rendered kene)。根據(jù)一個(gè)實(shí)施例，第二解碼器330可基于SAOC參數(shù)， 根據(jù)包含在渲染矩陣的增益值，調(diào)節(jié)背景對(duì)象信號(hào)的增益來(lái)生成最終渲染信號(hào)(rendered scene)0根據(jù)另一個(gè)實(shí)施例，在以EKS解碼模式運(yùn)作時(shí)，第二解碼器330被活性化，有可能不運(yùn)作。在此，第二解碼器330不運(yùn)作是指SAOC參數(shù)不存在于SAOC比特流中，且SAOC比特流只包括EKS參數(shù)。由此，第一解碼器320中被復(fù)原的前景對(duì)象信號(hào)reOs和被復(fù)原的背景對(duì)象信號(hào)BGOs可直接被輸入至渲染單元340中。此外，渲染矩陣也可被直接輸入至渲染單元340中。此外，渲染單元340可利用被預(yù)存儲(chǔ)的渲染矩陣來(lái)從被復(fù)原的前景對(duì)象信號(hào)reos 和被復(fù)原的背景對(duì)象信號(hào)BGOs生成最終渲染信號(hào)。根據(jù)一個(gè)實(shí)施例，渲染單元340可基于渲染矩陣，根據(jù)包含在渲染矩陣中的增益值，調(diào)節(jié)背景對(duì)象信號(hào)的增益來(lái)生成最終渲染信號(hào)(rendered scene)0以上，參照?qǐng)D3和圖4，對(duì)將多音頻對(duì)象信號(hào)解碼的過(guò)程進(jìn)行了說(shuō)明。以下，參照?qǐng)D 5和圖6，對(duì)多音頻對(duì)象信號(hào)的轉(zhuǎn)碼過(guò)程進(jìn)行說(shuō)明。
圖5是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的多音頻對(duì)象信號(hào)轉(zhuǎn)碼裝置的構(gòu)成的示圖。 此外，圖6是為說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的將多音頻對(duì)象信號(hào)轉(zhuǎn)碼的過(guò)程所提供的示圖。參照?qǐng)D5，多音頻對(duì)象信號(hào)轉(zhuǎn)碼器(SAOC Transcoder) 500可包括比特流分析單元 M0、第一解碼器520、第二解碼器530、渲染單元M0。在圖5中，比特流分析單元510、第一解碼器520、以及渲染單元540與圖3的相同，且在圖6中，步驟610至步驟630與圖4的步驟410至步驟430相同，因此，在此省略重復(fù)的說(shuō)明。S卩，在多音頻對(duì)象信號(hào)轉(zhuǎn)碼器500中， 第二解碼器530的構(gòu)成和圖3的多音頻對(duì)象信號(hào)解碼裝置300的構(gòu)成不同。參照?qǐng)D5，第二解碼器530可包括縮混預(yù)處理單元531、轉(zhuǎn)碼器532、MPS解碼器 533。參照?qǐng)D5和圖6，在步驟640中，縮混預(yù)處理單元(Downmix Pre-processor) 531可預(yù)處理(pre-processing)被復(fù)原的背景對(duì)象信號(hào)BGOs來(lái)生成修正的縮混信號(hào)(Modified Downmix signal) 0根據(jù)一個(gè)實(shí)施例，縮混預(yù)處理單元531可根據(jù)被預(yù)存儲(chǔ)的渲染矩陣，將被復(fù)原的背景對(duì)象信號(hào)預(yù)處理(pre-processing)。在這種情況下，根據(jù)渲染矩陣的預(yù)處理過(guò)程可作為與MPEG SAOC標(biāo)準(zhǔn)中定義的縮混預(yù)處理過(guò)程相同的過(guò)程被利用。接著，在步驟650中，轉(zhuǎn)碼器532可將SAOC參數(shù)轉(zhuǎn)換為影像解壓縮環(huán)繞MPS (MPEG Surround)比特流。根據(jù)一個(gè)實(shí)施例，轉(zhuǎn)碼器532可根據(jù)預(yù)存儲(chǔ)的渲染矩陣，將SAOC參數(shù)轉(zhuǎn)換為MPS比特流。在這種情況下，轉(zhuǎn)換過(guò)程可作為與MPEG SAOC標(biāo)準(zhǔn)中定義的轉(zhuǎn)換過(guò)程相同的過(guò)程被利用。此外，在步驟660中，MPS解碼器533可基于MPS比特流，渲染修正的縮混信號(hào) (Modified Downmix Signal)來(lái)生成第一渲染信號(hào)(Pre-rendered kene)。由此，生成的第一渲染信號(hào)(Pre-rendered Scene)可被輸入至渲染單元MO中。在這種情況下，MPS解碼器533可將修正的縮混信號(hào)(Modified Downmix Signal)渲染至多頻道中。S卩，MPS解碼器533可生成多頻道的第一渲染信號(hào)。接著，在步驟670中，渲染單元540可基于預(yù)存儲(chǔ)的渲染矩陣來(lái)從被復(fù)原的前景對(duì)象信號(hào)生成第二渲染信號(hào)。根據(jù)一個(gè)實(shí)施例，渲染單與540可根據(jù)包含在渲染矩陣中的增益值，調(diào)節(jié)被復(fù)原的前景對(duì)象信號(hào)的增益來(lái)生成第二渲染信號(hào)。此外，在步驟680中，渲染單元540可添加第一渲染信號(hào)(Pre-rendered Scene) 和第二渲染信號(hào)來(lái)生成最終渲染信號(hào)(rendered scene)。在此，第一渲染信號(hào)為被渲染的修正的縮混信號(hào)。由此，生成的最終渲染信號(hào)(rendered scene)可通過(guò)揚(yáng)聲器等音響裝置被重新生成。在這種情況下，為生成最終渲染信號(hào)需要頻率/時(shí)間轉(zhuǎn)換過(guò)程，該頻率/時(shí)間轉(zhuǎn)換過(guò)程可在MPS解碼器533和渲染單元MO中被選擇性地執(zhí)行。根據(jù)一個(gè)實(shí)施例，MPS解碼器533可將被渲染的修正的縮混信號(hào)(Pre-rendered Scene)從頻率區(qū)域轉(zhuǎn)換至?xí)r間區(qū)域中。根據(jù)另一個(gè)實(shí)施例，渲染單元540可將被復(fù)原的前景對(duì)象信號(hào)reos從頻率區(qū)域轉(zhuǎn)換至?xí)r間區(qū)域中。以上，參照?qǐng)D5和圖6，對(duì)利用被復(fù)原的前景對(duì)象信號(hào)和被復(fù)原的背景對(duì)象信號(hào)來(lái)生成最終渲染信號(hào)的多音頻對(duì)象信號(hào)的轉(zhuǎn)碼過(guò)程進(jìn)行了說(shuō)明。
11
如參照?qǐng)D5和圖6所述的，多音頻對(duì)象信號(hào)轉(zhuǎn)碼器500雖然在一般情況下，第一解碼器520和第二解碼器530 —起運(yùn)作，但也可只利用被復(fù)原的前景對(duì)象信號(hào)和被復(fù)原的背景對(duì)象信號(hào)中的任何一個(gè)來(lái)生成最終渲染信號(hào)。g卩，第一解碼器520和第二解碼器530可根據(jù)典型解碼模式或EKS解碼模式選擇性地進(jìn)行運(yùn)作。在這種情況下，根據(jù)典型模式和EKS模式來(lái)生成最終渲染信號(hào)的過(guò)程與圖 3和圖4所述相同，在此，省略詳細(xì)的說(shuō)明。此外，在圖3和圖5中，對(duì)渲染單元340、540渲染被復(fù)原的前景對(duì)象信號(hào)進(jìn)行了說(shuō)明，但替代渲染單元340、540，也可在第一解碼器320、520中渲染被復(fù)原的前景對(duì)象信號(hào)來(lái)生成第二渲染信號(hào)。即，圖3和圖5中所述的渲染過(guò)程可根據(jù)在SAOC標(biāo)準(zhǔn)中定義的與渲染相同的過(guò)程被執(zhí)行。根據(jù)一個(gè)實(shí)施例，參照?qǐng)D3和圖5的點(diǎn)線，第一解碼器320、520可根據(jù)包含在渲染矩陣中的增益值，調(diào)節(jié)被復(fù)原的前景對(duì)象信號(hào)的增益來(lái)生成第二渲染信號(hào)。由此，渲染單元340、540可添加第二渲染信號(hào)和在第二解碼器330、530中生成的第一渲染信號(hào) (Pre-rendered scene)來(lái)生成最終渲染信號(hào)(rendered scene)。即，參照點(diǎn)線，渲染矩陣也有可能不輸入至渲染單元；340、討0中。另一方面，在圖1和圖2中所述的多音頻對(duì)象信號(hào)編碼過(guò)程中，第一編碼器110和第二編碼器120可按順序地被執(zhí)行。此外，在N個(gè)的輸入對(duì)象信號(hào)中，當(dāng)前景對(duì)象信號(hào)reos 為K時(shí)，輸入至第二編碼器120的前景對(duì)象信號(hào)的最大個(gè)數(shù)可被限制為4個(gè)或2個(gè)以下。根據(jù)一個(gè)實(shí)施例，當(dāng)輸入至第二編碼器的前景對(duì)象信號(hào)為單聲道(mono)前景對(duì)象信號(hào)時(shí)，最大個(gè)數(shù)被限制為4個(gè)，且為立體聲(stereo)前景對(duì)象信號(hào)時(shí)，最大個(gè)數(shù)為2個(gè)，S卩，可被限制為4頻道。如上所示，本發(fā)明雖然已參照有限的實(shí)施例和附圖進(jìn)行了說(shuō)明，但是本發(fā)明并不局限于所述實(shí)施例，在本發(fā)明所屬領(lǐng)域中具備通常知識(shí)的人均可以從此記載中進(jìn)行各種修改和變形。因此，本發(fā)明的范圍不受說(shuō)明的實(shí)施例的局限或定義，而是由后附的權(quán)利要求范圍以及權(quán)利要求范圍等同內(nèi)容定義。
權(quán)利要求
1.一種編碼裝置，包括第一編碼器，其將多個(gè)輸入對(duì)象信號(hào)中不包括前景對(duì)象信號(hào)的對(duì)象信號(hào)縮混來(lái)生成背景對(duì)象信號(hào)和SAOC參數(shù)；和第二編碼器，其縮混所述前景對(duì)象信號(hào)和所述背景對(duì)象信號(hào)來(lái)生成最終縮混信號(hào)和 EKS參數(shù)。
2.如權(quán)利要求1所述的編碼裝置，進(jìn)一步包括多路傳輸單元，其多路傳輸所述SAOC參數(shù)和所述EKS參數(shù)來(lái)生成SAOC比特流。
3.如權(quán)利要求1所述的編碼裝置，其中，所述第一編碼器和第二編碼器，根據(jù)控制所述前景對(duì)象信號(hào)的EKS編碼模式和控制所述背景對(duì)象信號(hào)的典型編碼模式選擇性地進(jìn)行運(yùn)作。
4.一種編碼方法，包括以下步驟將多個(gè)輸入對(duì)象信號(hào)中不包括前景對(duì)象信號(hào)的對(duì)象信號(hào)縮混來(lái)生成背景對(duì)象信號(hào)和 SAOC參數(shù)；以及縮混所述前景對(duì)象信號(hào)和所述背景對(duì)象信號(hào)來(lái)生成最終縮混信號(hào)和EKS參數(shù)。
5.如權(quán)利要求4所述的編碼方法，進(jìn)一步包括以下步驟多路傳輸所述SAOC參數(shù)和所述EKS參數(shù)來(lái)生成SAOC比特流。
6.一種解碼裝置，包括比特流分析單元，其從被多路傳輸?shù)腟AOC比特流提取SAOC參數(shù)和EKS參數(shù)；第一解碼器，其利用所述EKS參數(shù)，從最終縮混信號(hào)將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)復(fù)原；第二解碼器，其利用所述SAOC參數(shù)和渲染矩陣，從所述背景對(duì)象信號(hào)生成第一渲染信號(hào)；和渲染單元，其利用所述前景對(duì)象信號(hào)和所述第一渲染信號(hào)來(lái)生成最終渲染信號(hào)。
7.如權(quán)利要求6所述的解碼裝置，其中，所述渲染單元，基于所述渲染矩陣?yán)脧乃銮熬皩?duì)象信號(hào)生成的第二渲染信號(hào)和所述第一渲染信號(hào)來(lái)生成所述最終渲染信號(hào)。
8.如權(quán)利要求7所述的解碼裝置，其中，所述渲染單元，根據(jù)包含在所述渲染矩陣中的增益值，調(diào)節(jié)所述背景對(duì)象信號(hào)的增益來(lái)生成所述第一渲染信號(hào)，并根據(jù)包含在所述渲染矩陣中的增益值，調(diào)節(jié)所述前景對(duì)象信號(hào)的增益來(lái)生成所述第二渲染信號(hào)。
9.如權(quán)利要求6所述的解碼裝置，其中，所述第一解碼器包括縮混預(yù)處理單元，其根據(jù)所述渲染矩陣，預(yù)處理所述背景對(duì)象信號(hào)來(lái)生成修正的縮混信號(hào)；SAOC轉(zhuǎn)碼器，其根據(jù)所述渲染矩陣，將所述SAOC參數(shù)轉(zhuǎn)換成影像解壓縮環(huán)繞MPS比特流；和MPS解碼器，其基于所述MPS比特流，渲染所述修正的縮混信號(hào)來(lái)生成所述第1渲染信號(hào)。
10.如權(quán)利要求9所述的解碼裝置，其中，所述渲染單元，利用被渲染所述修正的縮混信號(hào)和所述前景對(duì)象信號(hào)來(lái)生成所述最終渲染信號(hào)。
11.如權(quán)利要求6所述的解碼裝置，其中，所述第1解碼器和第2解碼器，根據(jù)控制所述前景對(duì)象信號(hào)的EKS解碼模式和控制所述背景對(duì)象信號(hào)的典型解碼模式選擇性地進(jìn)行運(yùn)作。
12.如權(quán)利要求6所述的解碼裝置，其中，所述第1解碼器，根據(jù)所述渲染矩陣來(lái)渲染前景對(duì)象信號(hào)，且所述渲染單元，添加被渲染的所述前景對(duì)象信號(hào)和被渲染的所述背景對(duì)象信號(hào)來(lái)生成所述最終渲染信號(hào)。
13.—種解碼方法，包括以下步驟從被多路傳輸?shù)腟AOC比特流提取SAOC參數(shù)和EKS參數(shù)； 利用所述EKS參數(shù)，從最終縮混信號(hào)將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)復(fù)原； 利用所述SAOC參數(shù)和渲染矩陣，從所述背景對(duì)象信號(hào)生成第一渲染信號(hào)；和利用所述前景對(duì)象信號(hào)和所述第一渲染信號(hào)來(lái)生成最終渲染信號(hào)。
14.如權(quán)利要求13所述的解碼方法，其中，所述生成最終渲染信號(hào)的步驟，基于所述渲染矩陣，利用從所述前景對(duì)象信號(hào)生成的第二渲染信號(hào)和所述第一渲染信號(hào)來(lái)生成所述最終渲染信號(hào)。
15.如權(quán)利要求13所述的解碼方法，其中，所述生成第1渲染信號(hào)的步驟，根據(jù)包含在所述渲染矩陣中的增益值，調(diào)節(jié)所述背景對(duì)象信號(hào)的增益來(lái)生成所述第一渲染信號(hào)，且所述生成最終渲染信號(hào)的步驟，根據(jù)包含在所述渲染矩陣中的增益值，調(diào)節(jié)所述前景對(duì)象信號(hào)的增益來(lái)生成所述第二渲染信號(hào)。
16.如權(quán)利要求13所述的解碼方法，其中，所述生成第1渲染信號(hào)的步驟，包括以下步驟根據(jù)所述渲染矩陣，預(yù)處理所述背景對(duì)象信號(hào)來(lái)生成修正的縮混信號(hào)； 根據(jù)所述渲染矩陣，將所述SAOC參數(shù)轉(zhuǎn)換成影像解壓縮環(huán)繞MPS比特流；以及基于所述MPS比特流，渲染所述修正的縮混信號(hào)來(lái)生成所述第1渲染信號(hào)。
17.如權(quán)利要求16所述的解碼方法，其中，所述生成最終渲染信號(hào)的步驟，利用被渲染的所述修正的縮混信號(hào)和所述前景對(duì)象信號(hào)來(lái)生成所述最終渲染信號(hào)。
18.如權(quán)利要求13所述的解碼方法，進(jìn)一步包括以下步驟 根據(jù)所述渲染矩陣來(lái)渲染被復(fù)原的所述前景對(duì)象信號(hào)，且所述生成最終渲染信號(hào)的步驟，添加被渲染的所述前景對(duì)象信號(hào)和被渲染的所述背景對(duì)象信號(hào)來(lái)生成所述最終渲染信號(hào)。
19.一種解碼裝置，包括比特流分析單元，其從被多路傳輸?shù)腟AOC比特流提取SAOC參數(shù)和EKS參數(shù)； 第一解碼器，其利用所述EKS參數(shù)，從最終縮混信號(hào)將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)復(fù)原，并根據(jù)渲染矩陣渲染被復(fù)原的所述前景對(duì)象信號(hào)；第二解碼器，其利用所述SAOC參數(shù)和所述渲染矩陣來(lái)渲染所述背景對(duì)象信號(hào)；和渲染單元，其添加被渲染的所述前景對(duì)象信號(hào)和被渲染的所述背景對(duì)象信號(hào)來(lái)生成最終渲染信號(hào)。
20.一種解碼方法，包括以下步驟從被多路傳輸?shù)腟AOC比特流提取SAOC參數(shù)和EKS參數(shù)； 利用所述EKS參數(shù)，從最終縮混信號(hào)將前景對(duì)象信號(hào)和背景對(duì)象信號(hào)復(fù)原； 渲染被復(fù)原的所述前景對(duì)象信號(hào)且根據(jù)渲染矩陣來(lái)渲染；利用所述SAOC參數(shù)和所述渲染矩陣來(lái)渲染所述背景對(duì)象信號(hào)； 添加被渲染的所述前景對(duì)象信號(hào)和被渲染的所述背景對(duì)象信號(hào)來(lái)生成最終渲染信號(hào)。
全文摘要
本發(fā)明提出多音頻對(duì)象信號(hào)的編碼方法和編碼裝置、解碼方法和解碼裝置、以及轉(zhuǎn)碼方法和轉(zhuǎn)碼器。多音頻對(duì)象信號(hào)編碼裝置可將多個(gè)輸入對(duì)象信號(hào)中不包括前景對(duì)象信號(hào)的對(duì)象信號(hào)編碼，并將前景對(duì)象信號(hào)編碼來(lái)向聽(tīng)眾提供滿意的音質(zhì)。
文檔編號(hào)G10L19/00GK102460571SQ201080025528
公開(kāi)日2012年5月16日 申請(qǐng)日期2010年6月10日 優(yōu)先權(quán)日2009年6月10日
發(fā)明者姜京玉, 徐廷一 申請(qǐng)人:韓國(guó)電子通信研究院