專利名稱：多視點(diǎn)媒體內(nèi)容的發(fā)送和播放方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，尤其涉及一種多視點(diǎn)々某體內(nèi)容的發(fā)送和播放方法、 裝置及系統(tǒng)。
背景技術(shù)：
多視點(diǎn)々某體內(nèi)容是指由多視點(diǎn)視頻信息和音頻信息組成的^某體內(nèi)容。其中， 所述多視點(diǎn)視頻信息是指使用多個(gè)攝像機(jī)，從不同角度對同 一場景進(jìn)行同步拍 攝獲得的多個(gè)視頻流組成的視頻信息。在多視點(diǎn)媒體內(nèi)容的播放端，觀看者可 以通過選擇不同的視點(diǎn)，從不同角度觀看所述多視點(diǎn)々某體內(nèi)容。但在多視點(diǎn)^某體內(nèi)容的播放端，聲音源的播放方向是固定不變的，即對所 述多視點(diǎn)媒體內(nèi)容進(jìn)行視點(diǎn)切換以后，觀看者觀看到的視頻信號(hào)和聽到的音頻信號(hào)之間可能存在角度差，使得視頻信號(hào)與音頻信號(hào)不匹配。例如如圖1所 示，觀看者P從三個(gè)不同的視點(diǎn)(對應(yīng)的角度分別為Z" 、 Z〃和Zy )觀看同一 個(gè)場景中的同一個(gè)人物，得到所述三個(gè)視點(diǎn)對應(yīng)的視頻信號(hào)A、 B和C，在圖1 中，聲音源位于S處(角度為Z")，當(dāng)觀看者選擇角度為Z"的視點(diǎn)進(jìn)行觀看時(shí)， 視頻信號(hào)A與音頻信號(hào)(從聲音源S發(fā)出)的角度相同，此時(shí)視頻信號(hào)A與音 頻信號(hào)相匹配；當(dāng)觀看者選擇角度為Z〃或者Zy的視點(diǎn)進(jìn)行觀看時(shí)，視頻信號(hào)B 或者C和音頻信號(hào)(從聲音源S發(fā)出)之間存在角度差，視頻信號(hào)和音頻信號(hào) 不匹配。發(fā)明內(nèi)容本發(fā)明的實(shí)施例提供一種多視點(diǎn)媒體內(nèi)容的發(fā)送和播放方法、裝置及系統(tǒng)， 能夠在切換視點(diǎn)以后，使視頻信號(hào)與音頻信號(hào)的播放方向匹配。為達(dá)到上迷目的，本發(fā)明的實(shí)施例采用如下^R術(shù)方案一種多視點(diǎn)媒體內(nèi)容的播放方法，包括接收多視點(diǎn)媒體內(nèi)容；當(dāng)進(jìn)行視 點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息；根據(jù)所述視點(diǎn)信息和多視點(diǎn)媒體內(nèi)容，生 成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和對應(yīng)的音頻信號(hào)；同步輸出所述視頻信號(hào)和 音頻信號(hào)。一種多視點(diǎn)媒體內(nèi)容的發(fā)送方法，包括根據(jù)多視點(diǎn)的視頻信息，獲取所 述視頻信息的三維信息；根據(jù)從多個(gè)不同位置接收到的音頻信息，獲得所迷音 頻信息的音源位置信息；將所述多視點(diǎn)的視頻信息以及該視頻信息的三維信息， 和所述音頻信息以及該音頻信息的音源位置信息進(jìn)行編碼，生成多視點(diǎn)i某體內(nèi) 容后發(fā)送。一種多視點(diǎn)媒體內(nèi)容的播放裝置，包括4某體內(nèi)容接收單元，用于接收多視點(diǎn)媒體內(nèi)容；視點(diǎn)信息生成單元，用于當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息；信號(hào)生成單元，用于根據(jù)所述視點(diǎn)信息生成單元生成的視點(diǎn)信息，以及媒 體內(nèi)容接收單元接收的多視點(diǎn)媒體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和 對應(yīng)的音頻信號(hào)；同步輸出單元，用于同步輸出所述信號(hào)生成單元生成的視頻信號(hào)和音頻信號(hào)。一種多視點(diǎn)媒體內(nèi)容的發(fā)送裝置包括視頻信息處理單元，用于根據(jù)多視點(diǎn)視頻信息，獲取所述視頻信息的三維 信息；音頻信息處理單元，用于根據(jù)從多個(gè)不同位置接收到的音頻信息，獲得所 述音頻信息的音源位置信息；信息進(jìn)行編碼，生成多視點(diǎn) 媒體內(nèi)容后發(fā)出。一種多視點(diǎn)媒體內(nèi)容的播放系統(tǒng)，包括多視點(diǎn)媒體內(nèi)容發(fā)送裝置，用于對接收到的多視點(diǎn)的視頻信息以及從多個(gè) 不同位置接收到的音頻信息進(jìn)行處理，獲取所述視頻信息的三維信息以及所述 音頻信息的音源位置信息，將所述多視點(diǎn)的視頻信息以及該視頻信息的三維信 息，和所述音頻信息以及該音頻信息的音源位置信息進(jìn)行編碼，生成多視點(diǎn)々某 體內(nèi)容后發(fā)送；多視點(diǎn)i某體內(nèi)容播放裝置，用于接收所述多視點(diǎn)4某體內(nèi)容發(fā)送裝置發(fā)送的 多視點(diǎn)々某體內(nèi)容，當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息，根據(jù)該視點(diǎn)信 息以及接收到的多視點(diǎn)媒體內(nèi)容，生成對應(yīng)的視頻信號(hào)和音頻信號(hào)，同步輸出 所述視頻信號(hào)和音頻信號(hào)。本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的發(fā)送和播放方法、裝置及系統(tǒng)，由 于發(fā)送端發(fā)送的多視點(diǎn)媒體內(nèi)容中包含了多視點(diǎn)視頻信息的三維信息以及音頻 信息的音源位置信息，所以播放端能夠根據(jù)切換后的視點(diǎn)信息以及接收到的多 視點(diǎn)媒體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和音頻信號(hào)，解決了現(xiàn)有技 術(shù)由于音頻信號(hào)是固定不變的，在進(jìn)行視點(diǎn)切換以后，音頻信號(hào)與切換后視點(diǎn) 所對應(yīng)的視頻信號(hào)不匹配的問題。


圖1為現(xiàn)有技術(shù)中觀看者從三個(gè)不同視點(diǎn)觀看多視點(diǎn)媒體內(nèi)容的示意圖； 圖2為本發(fā)明實(shí)施例提供的多視點(diǎn)i某體內(nèi)容的發(fā)送方法流程圖一；圖3為本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的發(fā)送方法流程圖二； 圖4為本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放方法流程圖； 圖5為本發(fā)明實(shí)施例提供的多視點(diǎn)々某體內(nèi)容的發(fā)送裝置結(jié)構(gòu)示意圖一； 圖6為本發(fā)明實(shí)施例提供的多視點(diǎn)々某體內(nèi)容的發(fā)送裝置結(jié)構(gòu)示意圖二； 圖7為本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放裝置結(jié)構(gòu)示意圖一； 圖8為本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放裝置結(jié)構(gòu)示意圖二； 圖9為本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放系統(tǒng)結(jié)構(gòu)示意圖一； 圖10為本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放系統(tǒng)結(jié)構(gòu)示意圖二。
具體實(shí)施方式
如圖2所示，本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的發(fā)送方法，包括 步驟201，根據(jù)多視點(diǎn)的視頻信息，獲取所述視頻信息的三維信息； 在本實(shí)施例中，所述多視點(diǎn)的視頻信息是通過一個(gè)攝像機(jī)組拍攝獲得的， 該攝像機(jī)組包括一個(gè)以上位于不同視點(diǎn)的攝像機(jī)，所述步驟201可以對所述多 視點(diǎn)的視頻信息進(jìn)行三維信息處理，獲得該多視點(diǎn)視頻信息的三維信息，其中， 該三維信息可以包括所述多視點(diǎn)視頻信息的深度信息以及相鄰視點(diǎn)視頻信息 之間的視差信息等；步驟202，根據(jù)從多個(gè)不同位置接收到的音頻信息，獲得所述音頻信息的音 源位置信息；在本實(shí)施例中，所述從多個(gè)不同位置接收到的音頻信息是通過一個(gè)麥克風(fēng) 陣列獲得的，該麥克風(fēng)陣列包括多個(gè)位于不同位置的麥克風(fēng)，所述步驟202可 以對所述通過麥克風(fēng)陣列獲得的音頻信息使用波束形成等陣列信號(hào)處理技術(shù)進(jìn) 行處理，獲得所述音頻信息的音源位置信息；在本實(shí)施例中，所述音頻信息中可能包括一個(gè)以上的音源信號(hào)，此時(shí)，所述步驟202獲得的音頻信息的音源位置信息為每個(gè)音源信號(hào)對應(yīng)的音源位置信
步驟203，將所述多視點(diǎn)的視頻信息以及該視頻信息的三維信息，和所述音 頻信息以及該音頻信息的音源位置信息進(jìn)行編碼，生成多視點(diǎn)i某體內(nèi)容后發(fā)送。
本發(fā)明實(shí)施例提供的的多視點(diǎn)i某體內(nèi)容的發(fā)送方法，由于其發(fā)送的多視點(diǎn) 媒體內(nèi)容中包含多視點(diǎn)視頻信息的三維信息以及音頻信息的音源位置信息，所 以，為播放端在視點(diǎn)切換以后生成切換后視點(diǎn)對應(yīng)的視頻信號(hào)和音頻信號(hào)提供 了條件。
當(dāng)本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的發(fā)送方法應(yīng)用在雙向系統(tǒng)中時(shí)， 如應(yīng)用在會(huì)場中，如圖3所示，在如圖2所示的步驟202之前，還可以包括 步驟200a,獲取播放的多視點(diǎn)媒體內(nèi)容的音頻信號(hào)；
步驟200b，根據(jù)所述獲取的播放的多視點(diǎn)媒體內(nèi)容的音頻信號(hào)，對所述從 多個(gè)不同位置接收到的音頻信息進(jìn)行回聲抵消處理。
所述步驟200a和200b可以位于所述步驟201之前，也可以位于所述步驟 201之后，在本實(shí)施例中，如圖3所示，所述步驟200a和200b位于步驟201之前。
本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的發(fā)送方法，由于對接收到的音頻信 息進(jìn)行了回聲抵消處理，使得在雙向系統(tǒng)中，播放端播放的音頻信號(hào)不會(huì)對發(fā) 送端接收到的音頻信息產(chǎn)生干擾。
如圖4所示，本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放方法，包括
步驟401,接收多視點(diǎn)4某體內(nèi)容；
在本實(shí)施例中，所述步驟401可以通過網(wǎng)全I(xiàn)4妄收多視點(diǎn)媒體內(nèi)容發(fā)送端發(fā) 送多視點(diǎn)媒體內(nèi)容；所述多視點(diǎn)媒體內(nèi)容可以包括視頻信息以及該視頻信息
10的三維信息(如深度信息或者視差信息等)，和音頻信息以及該音頻信息的音 源位置信息等，其中，所述視頻信息由一個(gè)以上視點(diǎn)拍攝獲得的視頻流組成， 所述音頻信息包括至少一個(gè)音源信息，所述音頻信息的音源位置信息是指每個(gè) 音源的位置信息；
步驟402，當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息，包括接收用戶通 過遙控器或者其他輸入設(shè)備發(fā)送的視點(diǎn)切換信息；根據(jù)所述視點(diǎn)切換信息以及 所述多視點(diǎn)媒體內(nèi)容中視頻信息的三維信息，生成切換后的視點(diǎn)信息；
步驟403，根據(jù)所述視點(diǎn)信息和多視點(diǎn)媒體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的 視頻信號(hào)和對應(yīng)的音頻信號(hào)；
理論上來講，所述多視點(diǎn)媒體內(nèi)容中包含的視頻信息應(yīng)該由所有視點(diǎn)拍攝 獲得的視頻流組成，然而，出于拍攝成本的考慮，實(shí)際上所述多視點(diǎn)媒體內(nèi)容 中包含的視頻信息僅由幾個(gè)關(guān)鍵視點(diǎn)拍攝獲得的視頻流組成，例如所述視頻 信息是由從景物的前面、左側(cè)面、右側(cè)面和后面拍攝獲得的視頻流組成；
綜上所述，在本實(shí)施例中，所述步驟403具體是利用與切換后的視點(diǎn)相鄰 的兩個(gè)關(guān)鍵視點(diǎn)的視頻信息以及該視頻信息之間的視差信息，使用虛擬視點(diǎn)合 成算法，合成所述切換后的視點(diǎn)對應(yīng)的視頻信號(hào)；
在本實(shí)施例中，所述步驟403生成與視點(diǎn)信息對應(yīng)的音頻信號(hào)的步驟可以 包括首先，根據(jù)所述步驟402中獲得的切換以后的視點(diǎn)信息，以及所述多視 點(diǎn)4某體內(nèi)容中音頻信息的音源位置信息，生成與該視點(diǎn)信息對應(yīng)的音頻信息的 音源位置信息；然后，根據(jù)所述生成的音頻信息的音源位置信息以及所述多視 點(diǎn)媒體內(nèi)容中包含的音頻信息，使用波前合成技術(shù)，生成與該視點(diǎn)信息對應(yīng)的 音頻信號(hào)；當(dāng)然，所述步驟403也可以采用其他類似于波前合成技術(shù)的三維音 頻播放技術(shù)生成與切換后的視點(diǎn)對應(yīng)的音頻信號(hào)，此處，不對其他情況進(jìn)行贅述；
當(dāng)所述音頻信息中包括一個(gè)以上的音源時(shí)，所迷步驟403需要為每個(gè)音源
分別生成與切換后的視點(diǎn)對應(yīng)的音源位置信息；
步驟404,同步輸出步驟403中生成的視頻信號(hào)和音頻信號(hào)。
進(jìn)一步地，本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放方法，在所述步驟
403之后，還可以包括將所述與切換后的視點(diǎn)對應(yīng)的音頻信號(hào)進(jìn)行回聲抵消處
理的步驟。
本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放方法，能夠根據(jù)切換后的視點(diǎn) 信息以及接收到的多視點(diǎn)J(某體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和音頻 信號(hào)，解決了現(xiàn)有技術(shù)由于音頻信號(hào)是固定不變的，在進(jìn)行視點(diǎn)切換以后，音 頻信號(hào)與切換后視點(diǎn)所對應(yīng)的視頻信號(hào)位置之間存在角度差，使得播放的音頻 信號(hào)與視頻信號(hào)不匹配的問題，實(shí)現(xiàn)了音頻信號(hào)與視頻信號(hào)同步切換的目的， 提高了用戶觀看所述多視點(diǎn)i某體內(nèi)容的真實(shí)感和臨場感。
所示，本發(fā)明實(shí)施例還提供一種多視點(diǎn)々某體內(nèi)容的發(fā)送裝置，包括
視頻信息處理單元501，用于根據(jù)多視點(diǎn)視頻信息，獲取所述視頻信息的三 維信息；
音頻信息處理單元502,用于根據(jù)從多個(gè)不同位置接收到的音頻信息，獲得 所述音頻信息的音源位置信息；
多視點(diǎn)媒體內(nèi)容生成單元503，用于將所述多視點(diǎn)的視頻信息以及所述視頻 信息處理單元501獲得的所述多視點(diǎn)視頻信息的三維信息，和所述音頻信息以 及所述音頻信息處理單元502獲得的所述音頻信息的音源位置信息進(jìn)行編碼， 生成多視點(diǎn)々某體內(nèi)容后發(fā)送。進(jìn)一步地，如圖6所示，本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的發(fā)送裝置， 還可以包括
音頻信號(hào)獲取單元504,用于獲取播放的多視點(diǎn)媒體內(nèi)容的音頻信號(hào)；
回聲抵消處理單元505,用于根據(jù)所述回聲抵消信息接收單元504獲取的播 放的音頻信號(hào)，對所述從多個(gè)不同位置接收到的音頻信息進(jìn)行回聲抵消處理；
所述音頻信息處理單元502，還用于對所述回聲4氐消處理單元505處理以后 的音頻信息進(jìn)行處理，獲取該音頻信息的三維信息。
本發(fā)明實(shí)施例提供的的多視點(diǎn)媒體內(nèi)容的發(fā)送裝置，由于其發(fā)送的多視點(diǎn) 媒體內(nèi)容中包含多視點(diǎn)視頻信息的三維信息以及音頻信息的音源位置信息，所 以，為播放端在視點(diǎn)切換以后生成切換后視點(diǎn)對應(yīng)的視頻信號(hào)和音頻信號(hào)提供 了條件。
如圖7所示，本發(fā)明實(shí)施例提供的多視點(diǎn)i某體內(nèi)容的播放裝置，包括 媒體內(nèi)容接收單元701,用于接收多視點(diǎn)媒體內(nèi)容；
在本實(shí)施例中，所述媒體內(nèi)容接收單元701可以通過網(wǎng)絡(luò)接口，從網(wǎng)絡(luò)上 接收發(fā)送端經(jīng)過處理以后的多視點(diǎn)媒體內(nèi)容；所述多視點(diǎn)i某體內(nèi)容可以包括 視頻信息以及該視頻信息的三維信息(如深度信息或者視差信息等)，和音頻 信息以及該音頻信息的音源位置信息等，其中，所述視頻信息由一個(gè)以上視點(diǎn) 拍攝獲得的視頻流組成，所述音頻信息包括至少一個(gè)音源信息，所述音頻信息 的音源位置信息是指每個(gè)音源的位置信息；
視點(diǎn)信息生成單元702,用于當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息； 信號(hào)生成單元703，用于根據(jù)所述視點(diǎn)信息生成單元702生成的視點(diǎn)信息， 以及媒體內(nèi)容接收單元701接收的多視點(diǎn)媒體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的 視頻信號(hào)和音頻信號(hào)；同步輸出單元704，用于同步輸出所述信號(hào)生成單元703生成的視頻信號(hào)和 音頻信號(hào)。
進(jìn)一步地，如圖8所示，所述視點(diǎn)信息生成單元702可以包括 切換信息獲取單元7021 ，用于獲取視點(diǎn)切換信息；
第一生成單元7022，用于根據(jù)所述切換信息獲取單元7021獲取的視點(diǎn)切換 信息，以及所述多視點(diǎn)媒體內(nèi)容中包含的視頻信息的三維信息，生成切換后的 視點(diǎn)信息。
進(jìn)一步地，如圖8所示，所述信號(hào)生成單元703包括音頻信息生成單元7031， 該音頻信號(hào)生成單元7031可以包括
位置信息生成單元70311 ，用于根據(jù)所述視點(diǎn)信息生成單元702生成的視點(diǎn) 信息，以及所述多視點(diǎn)媒體內(nèi)容中包含的音頻信息的音源位置信息，生成與所 述視點(diǎn)信息對應(yīng)的音頻信息的音源位置信息；
第二生成單元70312,用于根據(jù)所述多視點(diǎn)媒體內(nèi)容中包含的音頻信息以及 位置信息生成單元70311生成的與所述視點(diǎn)信息對應(yīng)的音頻信息的音源位置信 息，生成與所述^L點(diǎn)信息對應(yīng)的音頻信號(hào)。
進(jìn)一步地，如圖8所示，所述多視點(diǎn)媒體內(nèi)容的播放裝置，還可以包括
回聲抵消處理單元705,用于將所述與視點(diǎn)信息對應(yīng)的音頻信號(hào)進(jìn)行回聲抵 消處理。
本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放裝置，能夠根據(jù)切換后的視點(diǎn)
信息以及接收到的多視點(diǎn)i某體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和音頻
信號(hào)，解決了現(xiàn)有技術(shù)由于音頻信號(hào)是固定不變的，在進(jìn)行視點(diǎn)切換以后，音 頻信號(hào)與切換后視點(diǎn)所對應(yīng)的視頻信號(hào)位置之間存在角度差，使得音頻信號(hào)與
視頻信號(hào)不匹配的問題，實(shí)現(xiàn)了音頻與視頻同步切換的目的，提高了用戶觀看
14所述多視點(diǎn)々某體內(nèi)容的真實(shí)感和臨場感。
如圖9所示，本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放系統(tǒng)，包括
多視點(diǎn)i某體內(nèi)容發(fā)送裝置901，用于對接收到的多視點(diǎn)的視頻信息以及從一 多個(gè)不同位置接收到的音頻信息進(jìn)行處理，獲取所述視頻信息的三維信息以及 所述音頻信息的音源位置信息，將所述多視點(diǎn)的視頻信息以及該視頻信息的三 維信息，和所述音頻信息以及該音頻信息的音源位置信息進(jìn)行編碼，生成多視 點(diǎn)媒體內(nèi)容后發(fā)送；
多視點(diǎn)媒體內(nèi)容播放裝置902，用于接收所述多視點(diǎn)媒體內(nèi)容發(fā)送裝置901 發(fā)送的多視點(diǎn)媒體內(nèi)容，當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息，根據(jù)該 視點(diǎn)信息以及接收到的多視點(diǎn)4某體內(nèi)容，生成對應(yīng)的視頻信號(hào)和音頻信號(hào)，同 步輸出所述^L頻信號(hào)和音頻信號(hào)。
進(jìn)一步地，當(dāng)本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放系統(tǒng)為一個(gè)雙向 通信系統(tǒng)時(shí)，如會(huì)場，如圖IO所示，所述多視點(diǎn)4某體內(nèi)容的播放系統(tǒng)，還可以 包括
回聲抵消裝置903，用于接收所述多視點(diǎn)媒體內(nèi)容播放裝置902生成的音頻 信號(hào)，將該音頻信號(hào)發(fā)送給多視點(diǎn)媒體內(nèi)容發(fā)送裝置901;
所述多視點(diǎn)媒體內(nèi)容發(fā)送裝置901，還用于根據(jù)所述回聲抵消裝置903發(fā)送 的音頻信號(hào)，對從多個(gè)不同位置接收到的音頻信息進(jìn)行回聲抵消處理。
本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放系統(tǒng)，能夠根據(jù)切換后的視點(diǎn) 信息以及接收到的多視點(diǎn)々某體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和音頻 信號(hào)，解決了現(xiàn)有技術(shù)由于音頻信號(hào)是固定不變的，在進(jìn)行視點(diǎn)切換以后，音 頻信號(hào)與切換后視點(diǎn)所對應(yīng)的視頻信號(hào)位置之間存在角度差，使得音頻信號(hào)與 視頻信號(hào)不匹配的問題，實(shí)現(xiàn)了音頻與視頻同步切換的目的，提高了用戶觀看所述多視點(diǎn)々某體內(nèi)容的真實(shí)感和臨場感，
觀JA貫3LJJH又個(gè)八貝可》 可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存
儲(chǔ)介質(zhì)中，如ROM/RAM、磁碟或光盤等。
以上所述，僅為本發(fā)明的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于 此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到 變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng) 所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1、一種多視點(diǎn)媒體內(nèi)容的播放方法，其特征在于，包括接收多視點(diǎn)媒體內(nèi)容；當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息；根據(jù)所述視點(diǎn)信息和多視點(diǎn)媒體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和對應(yīng)的音頻信號(hào)；同步輸出所述視頻信號(hào)和音頻信號(hào)。
2、 根據(jù)權(quán)利要求1所述的多視點(diǎn)媒體內(nèi)容的播放方法，其特征在于，所述 多視點(diǎn)媒體內(nèi)容包括多視點(diǎn)的視頻信息以及該視頻信息的三維信息，和音頻 信息以及該音頻信息的音源位置信息。
3、 根據(jù)權(quán)利要求2所述的多視點(diǎn)媒體內(nèi)容的播放方法，其特征在于，所迷 生成切換后的視點(diǎn)信息包括獲取視點(diǎn)切換信息；根據(jù)所述視點(diǎn)切換信息和視頻信息的三維信息，生成切換后的視點(diǎn)信息。
4、 根據(jù)權(quán)利要求2所述的多視點(diǎn)媒體內(nèi)容的播放方法，其特征在于，所述 根據(jù)所述視點(diǎn)信息和多視點(diǎn)媒體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的音頻信號(hào)包括根據(jù)所述視點(diǎn)信息和所述音頻信息的音源位置信息，生成與所述視點(diǎn)信息 對應(yīng)的音頻信息的音源位置信息；根據(jù)所述音頻信息以及與所述視點(diǎn)信息對應(yīng)的音頻信息的音源位置信息， 生成與所述^L點(diǎn)信息對應(yīng)的音頻信號(hào)。
5、 根據(jù)權(quán)利要求1所述的多視點(diǎn)媒體內(nèi)容的播放方法，其特征在于，所述 根據(jù)所述視點(diǎn)信息和多視點(diǎn)々某體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和對 應(yīng)的音頻信號(hào)之后，還包括將所述與視點(diǎn)信息對應(yīng)的音頻信號(hào)進(jìn)行回聲^/消 處理。
6、 一種多視點(diǎn)媒體內(nèi)容的發(fā)送方法，其特征在于，包括 根據(jù)多視點(diǎn)的視頻信息，獲取所述視頻信息的三維信息； 根據(jù)從多個(gè)不同位置接收到的音頻信息，獲得所述音頻信息的音源位置十將所述多視點(diǎn)的視頻信息以及該視頻信息的三維信息，和所述音頻信息以 及該音頻信息的音源位置信息進(jìn)行編碼，生成多視點(diǎn)々某體內(nèi)容后發(fā)送。
7、 根據(jù)權(quán)利要求6所述的多視點(diǎn)媒體內(nèi)容的發(fā)送方法，其特征在于，所述 方法還包括獲取播放的多視點(diǎn)媒體內(nèi)容的音頻信號(hào)；根據(jù)獲取的播放的多視點(diǎn)媒體內(nèi)容的音頻信號(hào)，對所述從多個(gè)不同位置接 收到的音頻信息進(jìn)行回聲抵消處理。
8、 一種多視點(diǎn)々某體內(nèi)容的播放裝置，其特征在于，包括 媒體內(nèi)容接收單元，用于接收多視點(diǎn)媒體內(nèi)容；視點(diǎn)信息生成單元，用于當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息； 信號(hào)生成單元，用于根據(jù)所述視點(diǎn)信息生成單元生成的視點(diǎn)信息，以及媒體內(nèi)容接收單元接收的多視點(diǎn)媒體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和對應(yīng)的音頻信號(hào)；同步輸出單元，用于同步輸出所述信號(hào)生成單元生成的^L頻信號(hào)和音頻信號(hào)。
9、 根據(jù)權(quán)利要求8所述的多視點(diǎn)媒體內(nèi)容的播放裝置，其特征在于，所述 視點(diǎn)信息生成單元包括切換信息獲取單元，用于獲取視點(diǎn)切換信息；第一生成單元，用于根據(jù)所述切換信息獲取單元獲取的視點(diǎn)切換信息，以及所述多視點(diǎn)i某體內(nèi)容中包含的視頻信息的三維信息，生成切換后的視點(diǎn)信息。
10、 根據(jù)權(quán)利要求8所述的多視點(diǎn)i某體內(nèi)容的播放裝置，其特征在于，所 述信號(hào)生成單元包括音頻信號(hào)生成單元，該音頻信號(hào)生成單元包括位置信息生成單元，用于根據(jù)所述視點(diǎn)信息生成單元生成的視點(diǎn)信息，以 及所述多視點(diǎn)媒體內(nèi)容中包含的音頻信息的音源位置信息，生成與所述視點(diǎn)信 息對應(yīng)的音頻信息的音源位置信息；第二生成單元，用于根據(jù)所述多視點(diǎn)媒體內(nèi)容中包含的音頻信息以及位置 信息生成單元生成的與所述視點(diǎn)信息對應(yīng)的音頻信息的音源位置信息，生成與 所述視點(diǎn)信息對應(yīng)的音頻信號(hào)。
11、 根據(jù)權(quán)利要求8所述的多視點(diǎn)々某體內(nèi)容的播放裝置，其特征在于，還 包括回聲抵消處理單元，用于將所述與視點(diǎn)信息對應(yīng)的音頻信號(hào)進(jìn)行回聲抵消 處理。
12、 一種多視點(diǎn)+某體內(nèi)容的發(fā)送裝置，其特征在于，包括 視頻信息處理單元，用于根據(jù)多視點(diǎn)的視頻信息，獲取所述視頻信息的三維信息；音頻信息處理單元，用于根據(jù)從多個(gè)不同位置接收到的音頻信息，獲得所 述音頻信息的音源位置信息；多視點(diǎn)媒體內(nèi)容生成單元，用于將所述多視點(diǎn)的視頻信息以及所述視頻信 息處理單元獲得的所述多視點(diǎn)視頻信息的三維信息，和所述音頻信息以及所述 音頻信息處理單元獲得的所述音頻信息的音源位置信息進(jìn)行編碼，生成多視點(diǎn) 媒體內(nèi)容后發(fā)送。
13、 根據(jù)權(quán)利要求12所述的多視點(diǎn)i某體內(nèi)容的發(fā)送裝置，其特征在于，還包括音頻信號(hào)獲取單元，用于獲取播放的多視點(diǎn)媒體內(nèi)容的音頻信號(hào)；回聲抵消處理單元，用于根據(jù)所述音頻信號(hào)獲取單元獲取的播放的音頻信號(hào)，對所述從多個(gè)不同位置接收到的音頻信息進(jìn)行回聲抵消處理；所述音頻信息處理單元，還用于對所述回聲抵消處理單元處理以后的音頻 信息進(jìn)行處理，獲取該音頻信息的三維信息。
14、 一種多視點(diǎn)媒體內(nèi)容的播放系統(tǒng)，其特征在于，包括多視點(diǎn)媒體內(nèi)容發(fā)送裝置，用于對接多視點(diǎn)的視頻信息以及從多個(gè)不同位 置接收到的音頻信息進(jìn)行處理，獲取所述視頻信息的三維信息以及所述音頻信 息的音源位置信息，將所述多視點(diǎn)的視頻信息以及該視頻信息的三維信息，和 所述音頻信息以及該音頻信息的音源位置信息進(jìn)行編碼，生成多視點(diǎn)媒體內(nèi)容 后發(fā)送；多視點(diǎn)媒體內(nèi)容播放裝置，用于接收所述多視點(diǎn)媒體內(nèi)容發(fā)送裝置發(fā)送的 多視點(diǎn)媒體內(nèi)容，當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息，根據(jù)該視點(diǎn)信 息以及接收到的多視點(diǎn)媒體內(nèi)容，生成對應(yīng)的視頻信號(hào)和音頻信號(hào)，同步輸出 所述^f見頻信號(hào)和音頻信號(hào)。
15、 根據(jù)權(quán)利要求14所述的多視點(diǎn)々某體內(nèi)容的播放系統(tǒng)，其特征在于，還 包括回聲抵消裝置，用于接收所迷多視點(diǎn)媒體內(nèi)容播放裝置生成的音頻信號(hào)， 將該音頻信號(hào)發(fā)送給多視點(diǎn)媒體內(nèi)容發(fā)送裝置；所述多視點(diǎn)媒體內(nèi)容發(fā)送裝置，還用于根據(jù)所述回聲抵消裝置發(fā)送的音頻 信號(hào)，對從多個(gè)不同位置接收到的音頻信息進(jìn)行回聲抵消處理。
全文摘要
本發(fā)明實(shí)施例公開一種多視點(diǎn)媒體內(nèi)容的播放和發(fā)送方法、裝置及系統(tǒng)，涉及媒體內(nèi)容播放技術(shù)。為解決現(xiàn)有技術(shù)在進(jìn)行視點(diǎn)切換以后，音頻信號(hào)與切換后的視點(diǎn)所對應(yīng)的視頻圖像可能不匹配的問題而發(fā)明。本發(fā)明提供的技術(shù)方案為一種多視點(diǎn)媒體內(nèi)容的播放方法，包括接收多視點(diǎn)媒體內(nèi)容；當(dāng)進(jìn)行視點(diǎn)切換時(shí)，生成切換后的視點(diǎn)信息；根據(jù)所述視點(diǎn)信息和多視點(diǎn)媒體內(nèi)容，生成與該視點(diǎn)信息對應(yīng)的視頻信號(hào)和對應(yīng)的音頻信號(hào)；同步輸出所述視頻信號(hào)和音頻信號(hào)。本發(fā)明實(shí)施例提供的多視點(diǎn)媒體內(nèi)容的播放和發(fā)送方法、裝置及系統(tǒng)可以應(yīng)用在具有多視點(diǎn)媒體內(nèi)容播放功能的系統(tǒng)中。
文檔編號(hào)H04N7/24GK101662693SQ20081014672
公開日2010年3月3日 申請日期2008年8月27日 優(yōu)先權(quán)日2008年8月27日
發(fā)明者源 劉, 王東琦, 詹五洲 申請人:深圳華為通信技術(shù)有限公司