本發(fā)明涉及多媒體技術(shù)領(lǐng)域，尤其涉及一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的方法、裝置及系統(tǒng)。

背景技術(shù)：

虛擬場(chǎng)景合成技術(shù)當(dāng)前已廣泛應(yīng)用于電視臺(tái)演播廳錄播節(jié)目或電影制作中，例如天氣預(yù)報(bào)節(jié)目等。虛擬場(chǎng)景合成技術(shù)是將攝像機(jī)采集到的純色背景中的人像提取出來，與渲染出來的虛擬場(chǎng)景背景進(jìn)行疊加合成，再將合成后的畫面輸出的一種技術(shù)。這種技術(shù)目前均是以PC電腦為平臺(tái)實(shí)現(xiàn)，還需要配備專業(yè)攝像機(jī)采集視頻輸入給PC，所有設(shè)備整合后出售，設(shè)備較多且價(jià)格高昂，一般只有專業(yè)場(chǎng)合才會(huì)使用，例如電視臺(tái)演播廳。

嵌入式系統(tǒng)是指嵌入到對(duì)象系統(tǒng)中的專用計(jì)算機(jī)應(yīng)用系統(tǒng)，廣泛應(yīng)用于手機(jī)、機(jī)頂盒、GPS等手持或微型設(shè)備中，而嵌入式應(yīng)用是指基于嵌入式操作系統(tǒng)的應(yīng)用程序。隨著現(xiàn)代嵌入式產(chǎn)品需要的高速發(fā)展，嵌入式應(yīng)用開發(fā)愈發(fā)普遍?；诔杀净蚬牡瓤紤]，通常這類產(chǎn)品的硬件性能一般不高。

同時(shí)，目前虛擬場(chǎng)景合成技術(shù)在實(shí)效性上存在很大的缺陷，特別是無法通過嵌入式系統(tǒng)進(jìn)行實(shí)時(shí)虛擬場(chǎng)景合成。采用PC系統(tǒng)實(shí)現(xiàn)虛擬場(chǎng)景合成技術(shù)中，采用CPU進(jìn)行讀取攝像頭獲取的視頻，并進(jìn)行人像提取等處理。因嵌入式系統(tǒng)硬件性能低于PC設(shè)備，若在嵌入式方案中，也讓CPU進(jìn)行上述人像提取處理，CPU負(fù)擔(dān)太重，無法在顯示終端進(jìn)行流暢的實(shí)時(shí)顯示。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例所要解決的技術(shù)問題在于，提供一種一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的的嵌入式方案，該方案可以利用嵌入式設(shè)備所包含的攝像頭、GPU、編解碼模塊等功能，通過網(wǎng)絡(luò)傳輸，實(shí)現(xiàn)真實(shí)對(duì)象與虛擬場(chǎng)景的實(shí)時(shí)合成和顯示，并能被外部設(shè)備分享的效果。

為了解決上述技術(shù)問題，本發(fā)明提供一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的方法，其包括：

實(shí)時(shí)獲取攝像頭采集的圖像；

提取圖像中的對(duì)象；

將對(duì)象實(shí)時(shí)更新到虛擬場(chǎng)景中，得到更新后的畫面。

進(jìn)一步，將更新后的畫面在顯示終端上實(shí)時(shí)更新顯示。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的方法，還包括：

將更新后的畫面編碼得到視頻數(shù)據(jù)；

實(shí)時(shí)獲取音頻數(shù)據(jù)；

將音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，得到音視頻數(shù)據(jù)。

進(jìn)一步，在得到音視頻數(shù)據(jù)后，還包括：客戶端獲取音視頻數(shù)據(jù)并進(jìn)行播放。

進(jìn)一步，所述“客戶端獲取音視頻數(shù)據(jù)并進(jìn)行播放”具體為：客戶端通過實(shí)時(shí)流傳輸協(xié)議獲取音視頻數(shù)據(jù)，并對(duì)音視頻數(shù)據(jù)中的視頻數(shù)據(jù)解碼顯示畫面，音頻數(shù)據(jù)解碼后通過音頻播放設(shè)備播放。

進(jìn)一步，所述提取圖像中的對(duì)象具體步驟為：GPU將圖像中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值做比較；若像素的顏色值在預(yù)設(shè)的閾值內(nèi)，則將該像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色，提取出對(duì)象，所述背景為純色背景。

進(jìn)一步，在“實(shí)時(shí)獲取攝像頭采集的圖像”步驟前還包括：同步實(shí)時(shí)獲取音頻數(shù)據(jù)通過音頻輸出設(shè)備進(jìn)行播放；所述音頻數(shù)據(jù)為演唱者演唱的聲音，或演唱者演唱的聲音及歌曲伴奏的混合聲音。

進(jìn)一步，所述獲取音頻數(shù)據(jù)后，將音頻數(shù)據(jù)編碼成便于網(wǎng)絡(luò)傳輸?shù)囊纛l格式的音頻數(shù)據(jù)；所述音頻數(shù)據(jù)為演唱者演唱的聲音，或演唱者演唱的聲音及歌曲伴奏的混合聲音。

進(jìn)一步，所述“提取圖像中的對(duì)象”步驟中，所述對(duì)象為人像。

進(jìn)一步，所述將音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，得到音視頻數(shù)據(jù)后，還包括步驟：將音視頻數(shù)據(jù)進(jìn)行保存，并上傳至網(wǎng)關(guān)服務(wù)器，網(wǎng)關(guān)服務(wù)器將接收的音視頻數(shù)據(jù)上傳至云端服務(wù)器，云端服務(wù)器接收音視頻數(shù)據(jù)并生成分享地址。

本發(fā)明還提供一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，包括：

圖像獲取單元：用于實(shí)時(shí)獲取攝像頭采集的圖像；

對(duì)象提取單元：用于提取圖像中的對(duì)象；

畫面更新單元：用于將對(duì)象實(shí)時(shí)更新到虛擬場(chǎng)景中，得到更新后的畫面。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，其還包括：畫面顯示單元：用于將更新后的畫面在顯示終端上實(shí)時(shí)更新顯示。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，其還包括：

編碼單元：用于將更新后的畫面編碼得到視頻數(shù)據(jù)；

音頻獲取單元：用于實(shí)時(shí)獲取音頻數(shù)據(jù)；

音視頻封裝單元：用于將音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，得到音視頻數(shù)據(jù)。

播放單元：用于客戶端獲取音視頻數(shù)據(jù)并進(jìn)行播放。

進(jìn)一步，所述對(duì)象提取單元具體為：用于通過GPU將圖像中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值做比較；若像素的顏色值在預(yù)設(shè)的閾值內(nèi)，則將該像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色，提取出對(duì)象，所述背景為純色背景。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，其還包括分享單元，用于將音視頻數(shù)據(jù)進(jìn)行保存，并上傳至網(wǎng)關(guān)服務(wù)器，網(wǎng)關(guān)服務(wù)器將接收的音視頻數(shù)據(jù)上傳至云端服務(wù)器，云端服務(wù)器接收音視頻數(shù)據(jù)并生成分享地址。

本發(fā)明還提供一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的嵌入式設(shè)備，包括：攝像頭、GPU和處理器；

所述攝像頭用于實(shí)時(shí)采集圖像；

GPU用于提取圖像中的對(duì)象；

處理器用于將對(duì)象實(shí)時(shí)更新到虛擬場(chǎng)景中，得到更新后的畫面；將更新后的畫面在顯示終端上實(shí)時(shí)更新顯示。

進(jìn)一步，所述處理器還用于：將畫面編碼得到視頻數(shù)據(jù)；獲取音頻數(shù)據(jù)；將音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，得到音視頻數(shù)據(jù)。

進(jìn)一步，所述“GPU用于提取圖像中的對(duì)象”具體操作為：將圖像中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值做比較；若像素的顏色值在預(yù)設(shè)的閾值內(nèi)，則將該像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色，提取出對(duì)象，所述背景為純色背景。

本發(fā)明還提供一種基于虛擬場(chǎng)景合成視頻的嵌入式系統(tǒng)，包括權(quán)利要求17-19任一項(xiàng)的嵌入式設(shè)備，及

音效器：實(shí)時(shí)獲取音頻數(shù)據(jù)，并將音頻數(shù)據(jù)編碼成便于網(wǎng)絡(luò)傳輸?shù)囊纛l格式的音頻數(shù)據(jù)后，發(fā)送給嵌入式設(shè)備；所述音頻數(shù)據(jù)為演唱者演唱的聲音，或?yàn)檠莩哐莩穆曇艏案枨樽嗟幕旌下曇簦?/p>

客戶端：獲取嵌入式設(shè)備發(fā)送的封裝的音視頻數(shù)據(jù)并進(jìn)行實(shí)時(shí)播放；

顯示終端：實(shí)時(shí)顯示更新后的畫面；

網(wǎng)關(guān)服務(wù)器：接收嵌入式設(shè)備發(fā)送的音視頻數(shù)據(jù)；

云端服務(wù)器：接收網(wǎng)關(guān)服務(wù)器發(fā)送的音視頻數(shù)據(jù)，并進(jìn)行保存和生成分享地址。

本發(fā)明是采用嵌入式方案，利用嵌入式設(shè)備所包含的功能：攝像頭、GPU、編碼單元，實(shí)現(xiàn)了真實(shí)對(duì)象與虛擬場(chǎng)景的合成，并統(tǒng)一了輸出接口和輸出格式，大大降低了設(shè)備的成本，方便使用。利用嵌入式設(shè)備中安裝的系統(tǒng)(如Android、IOS等系統(tǒng))支持?jǐn)z像頭的特性，在嵌入式設(shè)備上實(shí)現(xiàn)畫面采集，畫面采集后通過GPU運(yùn)算實(shí)時(shí)提取出前景對(duì)象(主要為人像)，再和虛擬場(chǎng)景實(shí)時(shí)合成，將合成后的畫面經(jīng)過嵌入式設(shè)備進(jìn)行編碼后，通過網(wǎng)絡(luò)傳輸，實(shí)現(xiàn)人像與虛擬場(chǎng)景在客戶端的實(shí)時(shí)顯示。

本發(fā)明的方案實(shí)現(xiàn)的優(yōu)點(diǎn)在于：

1.利用嵌入式設(shè)備自帶的GPU進(jìn)行摳圖處理操作，不占用CPU時(shí)間，提高系統(tǒng)速度；并且由于GPU是專門對(duì)圖像進(jìn)行處理的硬件，對(duì)不同大小的像素運(yùn)算時(shí)間一樣，例如，8位、16位、32位的像素運(yùn)算時(shí)間均一樣，可大大節(jié)省了對(duì)像素的運(yùn)算時(shí)間；而普通的CPU會(huì)隨像素的大小的增大延長(zhǎng)處理時(shí)間；所以本發(fā)明的人像提前速度大大提高；上述的區(qū)別點(diǎn)也是本發(fā)明嵌入式方案能實(shí)現(xiàn)流暢顯示的關(guān)鍵點(diǎn)，因?yàn)榍度胧椒桨傅腃PU性能一般差于PC方案中的CPU性能，在PC方案中，CPU需進(jìn)行讀取攝像頭獲取的視頻，并進(jìn)行摳圖等處理。若在嵌入式方案中，也讓CPU進(jìn)行上述處理，CPU負(fù)擔(dān)太重，無法進(jìn)行流暢的顯示。而在本發(fā)明的嵌入式方案中，將上述摳圖處理放入GPU中進(jìn)行，既減輕了CPU的負(fù)擔(dān)，同時(shí)不會(huì)對(duì)GPU的運(yùn)行造成影響。

2、利用嵌入式設(shè)備的處理器對(duì)人像與虛擬場(chǎng)景合成的畫面進(jìn)行編碼得到視頻數(shù)據(jù)，通過編碼處理，大大降低視頻數(shù)據(jù)的大小，便于視頻數(shù)據(jù)流暢地進(jìn)行網(wǎng)絡(luò)傳輸，在其他客戶端上進(jìn)行流暢的實(shí)時(shí)顯示。

3、采用嵌入式設(shè)備(如Android系統(tǒng)或者IOS系統(tǒng))所自帶的攝像頭、GPU、處理器等部件，即可實(shí)現(xiàn)本發(fā)明上述的目的，相對(duì)PC方案而已，大大降低了達(dá)到同等效果的設(shè)備成本。

4.基于純色(藍(lán)色/綠色)背景摳圖算法，實(shí)現(xiàn)了對(duì)象提取，在虛擬場(chǎng)景中顯示，達(dá)到了將真實(shí)對(duì)象與虛擬場(chǎng)景的結(jié)合，實(shí)現(xiàn)了對(duì)象(演唱者)在虛擬場(chǎng)景上演唱的效果。

附圖說明

圖1是本發(fā)明實(shí)施例一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的方法的流程示意圖；

圖2是本發(fā)明實(shí)施例二一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置的結(jié)構(gòu)示意圖；

圖3為本發(fā)明實(shí)施例三一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的嵌入式設(shè)備的結(jié)構(gòu)示意圖；

圖4為本發(fā)明實(shí)施例四一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的嵌入式系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

實(shí)施例1

如圖1所示，本發(fā)明提供一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的方法，其包括：

S100：實(shí)時(shí)獲取攝像頭采集的圖像；

S200：提取圖像中的對(duì)象；所述對(duì)象可為人像；

S300：將對(duì)象實(shí)時(shí)更新到虛擬場(chǎng)景中，得到更新后的畫面。

本發(fā)明通過上述方案，實(shí)現(xiàn)對(duì)象與虛擬場(chǎng)景的實(shí)時(shí)合成。本發(fā)明中，所述虛擬場(chǎng)景包括3D虛擬舞臺(tái)、3D虛擬現(xiàn)實(shí)場(chǎng)景或3D視頻等。

3D虛擬舞臺(tái)是3D虛擬現(xiàn)實(shí)場(chǎng)景中的特例情況，通過計(jì)算機(jī)技術(shù)模擬現(xiàn)實(shí)舞臺(tái)，實(shí)現(xiàn)一種立體感、真實(shí)感強(qiáng)的舞臺(tái)效果。

3D虛擬現(xiàn)實(shí)場(chǎng)景技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種現(xiàn)實(shí)場(chǎng)景的3D模擬場(chǎng)景，是一種多源信息融合的交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真。虛擬場(chǎng)景包括任何現(xiàn)實(shí)生活中存在的實(shí)際場(chǎng)景，包含視覺、聽覺等任何能通過體感感受到的景象，通過計(jì)算機(jī)技術(shù)來模擬實(shí)現(xiàn)。

3D視頻為：拍攝影像時(shí)，用兩臺(tái)攝影機(jī)模擬左右兩眼視差，分別拍攝兩條影片，然后將這兩條影片同時(shí)放映到銀幕上，放映時(shí)讓觀眾左眼只能看到左眼圖像，右眼只能看到右眼圖像。最后兩幅圖像經(jīng)過大腦疊合后，就能看到具有立體縱深感的畫面，即為3D視頻。

所述提取圖像中的對(duì)象具體步驟為：GPU將圖像中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值做比較；若像素的顏色值在預(yù)設(shè)的閾值內(nèi)，則將該像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色，提取出對(duì)象，所述背景為純色背景。

由于背景為純色，所以本發(fā)明采用色度鍵法進(jìn)行摳圖。其中預(yù)設(shè)的閾值為背景顏色的顏色值，例如，背景顏色為綠色，則預(yù)設(shè)的像素點(diǎn)RGB顏色值的閾值為(0±10、255-10、0±10)。背景色優(yōu)選為綠色或藍(lán)色，在數(shù)字視聽場(chǎng)所可同時(shí)設(shè)置兩種顏色的背景，供用戶選擇。當(dāng)用戶穿與綠色反差較大的衣服唱歌時(shí)，可選用綠色的背景。在對(duì)象(人像)提取 過程中，由于用戶穿的衣服與背景色相差較大，所以圖像中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值進(jìn)行比較后，背景部分像素點(diǎn)的顏色值在預(yù)設(shè)的閾值內(nèi)，將背景部分像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色；而人像部分的像素點(diǎn)不在預(yù)設(shè)的閾值內(nèi)，保留人像部分，從而實(shí)現(xiàn)將人像從圖像中提取出來。

在本發(fā)明中，利用嵌入式設(shè)備自帶的GPU進(jìn)行摳圖處理操作，不占用CPU時(shí)間，提高系統(tǒng)速度；并且由于GPU是專門對(duì)圖像進(jìn)行處理的硬件，對(duì)不同大小的像素運(yùn)算時(shí)間一樣，例如，8位、16位、32位的像素運(yùn)算時(shí)間均一樣，可大大節(jié)省了對(duì)像素的運(yùn)算時(shí)間；而普通的CPU會(huì)隨像素大小的增大延長(zhǎng)處理時(shí)間；所以本發(fā)明的人像提前速度大大提高；上述的區(qū)別點(diǎn)也是本發(fā)明嵌入式方案能實(shí)現(xiàn)流暢顯示的關(guān)鍵點(diǎn)，因?yàn)榍度胧椒桨傅腃PU性能一般差于PC方案中的CPU性能，在PC方案中，CPU需進(jìn)行讀取攝像頭獲取的視頻，并進(jìn)行摳圖等處理。若在嵌入式方案中，也讓CPU進(jìn)行上述處理，CPU負(fù)擔(dān)太重，無法進(jìn)行流暢的顯示。而在本發(fā)明的嵌入式方案中，將上述摳圖處理放入GPU中進(jìn)行，既減輕了CPU的負(fù)擔(dān)，同時(shí)不會(huì)對(duì)GPU的運(yùn)行造成影響。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的方法，其還包括：

S400：將更新后的畫面在顯示終端上實(shí)時(shí)更新顯示。

通過在顯示終端上的更新顯示，用戶可看到對(duì)象與虛擬場(chǎng)景合成后的視頻。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的方法，還包括：

S500：將更新后的畫面編碼得到視頻數(shù)據(jù)；

S600：實(shí)時(shí)獲取音頻數(shù)據(jù)；

S700：將音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，得到音視頻數(shù)據(jù)。

步驟S500中，對(duì)更新后的畫面進(jìn)行編碼，本發(fā)明實(shí)現(xiàn)音視頻數(shù)據(jù)在客戶端實(shí)時(shí)流暢顯示的關(guān)鍵步驟。在現(xiàn)有技術(shù)中，一般不對(duì)原始畫面進(jìn)行處理，原始畫面數(shù)據(jù)量大，所以現(xiàn)有技術(shù)還未出現(xiàn)對(duì)人像和虛擬場(chǎng)景合成后的畫面，實(shí)時(shí)在客戶端顯示的技術(shù)。而本發(fā)明將更新后的畫面先進(jìn)行編碼，經(jīng)過編碼操作可大大減小畫面大小。

例如：在分辨率為720P的情況下，1幀視頻的大小為1.31MByte，1秒視頻為30幀畫面，所以，現(xiàn)有視頻中，1秒視頻的大小為：30*1.31＝39.3MByte；

本發(fā)明對(duì)畫面進(jìn)行編碼后，還是在分辨率為720P下，設(shè)碼率為4Mbit，1秒的視頻的大小為4Mbit，由于1Byte＝8bit，所以1秒的視頻為0.5MByte；與現(xiàn)有視頻相比，編碼 后的視頻數(shù)據(jù)大大減小，從而編碼后的視頻數(shù)據(jù)可流暢地在網(wǎng)絡(luò)上進(jìn)行傳輸，實(shí)現(xiàn)在客戶端流暢顯示音視頻數(shù)據(jù)。

本發(fā)明在得到音視頻數(shù)據(jù)后，還包括步驟S800：客戶端獲取音視頻數(shù)據(jù)并進(jìn)行播放。所述“客戶端獲取音視頻數(shù)據(jù)并進(jìn)行播放”具體為：客戶端通過實(shí)時(shí)流傳輸協(xié)議獲取音視頻數(shù)據(jù)，并對(duì)音視頻數(shù)據(jù)中的視頻數(shù)據(jù)解碼顯示畫面，所述畫面內(nèi)容可為3D場(chǎng)景渲染的畫面；音頻數(shù)據(jù)解碼后通過音頻播放設(shè)備(例如揚(yáng)聲器)播放。所述實(shí)時(shí)流傳輸協(xié)議可以是RTSP協(xié)議。通過步驟S500的編碼操作，在本步驟中，可實(shí)現(xiàn)客戶端流暢播放視頻數(shù)據(jù)。

本發(fā)明在“實(shí)時(shí)獲取攝像頭采集的圖像”步驟前還包括：S001：同步實(shí)時(shí)獲取音頻數(shù)據(jù)通過音頻輸出設(shè)備進(jìn)行播放。所述音頻數(shù)據(jù)為演唱者演唱的聲音，或演唱者演唱的聲音及歌曲伴奏的混合聲音。通過實(shí)時(shí)播放用戶演唱的聲音和歌曲伴奏，同時(shí)，在顯示終端實(shí)時(shí)顯示更新后的畫面。這樣，不僅可聽到自己演唱聲音，還可以在顯示終端看到與演唱聲音同步的畫面(人像與虛擬場(chǎng)景的結(jié)合)，實(shí)現(xiàn)了虛擬舞臺(tái)的效果。

本發(fā)明中，所述步驟S600獲取音頻數(shù)據(jù)后，將音頻數(shù)據(jù)編碼成便于網(wǎng)絡(luò)傳輸?shù)囊纛l格式的音頻數(shù)據(jù)，從而便于音頻數(shù)據(jù)的網(wǎng)絡(luò)傳輸；所述音頻數(shù)據(jù)為演唱者演唱的聲音，或演唱者演唱的聲音及歌曲伴奏的混合聲音。

本發(fā)明步驟S700所述將音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，得到音視頻數(shù)據(jù)后，還包括步驟S800：將音視頻數(shù)據(jù)進(jìn)行保存，并上傳至網(wǎng)關(guān)服務(wù)器，網(wǎng)關(guān)服務(wù)器將接收的音視頻數(shù)據(jù)上傳至云端服務(wù)器，云端服務(wù)器接收音視頻數(shù)據(jù)并生成分享地址。通過上述步驟，實(shí)現(xiàn)了音視頻數(shù)據(jù)的分享。在通過終端設(shè)備(例如手機(jī)、電腦、平板等帶顯示屏的電子設(shè)備)登錄分享地址，即可直接播放音視頻數(shù)據(jù)或下載音視頻數(shù)據(jù)。

實(shí)施例2

如圖2所示，本發(fā)明還提供一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，包括：

圖像獲取單元1：用于實(shí)時(shí)獲取攝像頭采集的圖像；

對(duì)象提取單元2：用于提取圖像中的對(duì)象；

畫面更新單元3：用于將對(duì)象實(shí)時(shí)更新到虛擬場(chǎng)景中，得到更新后的畫面。

通過上述裝置，實(shí)現(xiàn)對(duì)圖像中對(duì)象的提取，及對(duì)象與虛擬場(chǎng)景的合成。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，其還包括：畫面顯示單元4：用于將更新后的畫面在顯示終端上實(shí)時(shí)更新顯示。通過畫面顯示單元4，可在顯示終端觀看到實(shí)時(shí)更新的畫面。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，其還包括：音頻獲取及播放單元01，用于同步實(shí)時(shí)獲取音頻數(shù)據(jù)通過音頻輸出設(shè)備進(jìn)行播放。所述音頻數(shù)據(jù)為演唱者演唱的聲音，或演唱者演唱的聲音及歌曲伴奏的混合聲音。通過音頻獲取及播放單元01的操作，可在顯示終端播放更新畫面時(shí)，實(shí)時(shí)播放對(duì)應(yīng)的演唱音頻及伴音，實(shí)現(xiàn)虛擬舞臺(tái)的效果。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，其還包括：

編碼單元5：用于將更新后的畫面編碼得到視頻數(shù)據(jù)；

音頻獲取單元6：用于實(shí)時(shí)獲取音頻數(shù)據(jù)；

音視頻封裝單元7：用于將音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，得到音視頻數(shù)據(jù)。

播放單元8：用于客戶端獲取音視頻數(shù)據(jù)并進(jìn)行播放。

通過編碼單元5，對(duì)畫面進(jìn)行編碼后，視頻數(shù)據(jù)的大大減少，便于后續(xù)網(wǎng)絡(luò)傳輸。通過音視頻封裝單元7的封裝操作，即可得到音視頻數(shù)據(jù)。該音視頻數(shù)據(jù)通過播放單元8進(jìn)行播放，客戶端可實(shí)時(shí)流暢地觀看制作的虛擬舞臺(tái)視頻。

所述對(duì)象提取單元2具體為：用于通過GPU將圖像中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值做比較；若像素的顏色值在預(yù)設(shè)的閾值內(nèi)，則將該像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色，提取出對(duì)象，所述背景為純色背景。

本發(fā)明所述的將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的裝置，其還包括分享單元9，用于將音視頻數(shù)據(jù)進(jìn)行保存，并上傳至網(wǎng)關(guān)服務(wù)器，網(wǎng)關(guān)服務(wù)器將接收的音視頻數(shù)據(jù)上傳至云端服務(wù)器，云端服務(wù)器接收音視頻數(shù)據(jù)并生成分享地址。通過分享單元9，實(shí)現(xiàn)了音視頻數(shù)據(jù)的分享。在通過終端設(shè)備(例如手機(jī)、電腦、平板等帶顯示屏的電子設(shè)備)登錄分享地址，即可直接播放音視頻數(shù)據(jù)或下載音視頻數(shù)據(jù)。

實(shí)施例3

如圖3所示，本發(fā)明還提供一種將真實(shí)對(duì)象與虛擬場(chǎng)景融合顯示的嵌入式設(shè)備10，包括：攝像頭20、GPU 30和處理器40；

所述攝像頭20用于實(shí)時(shí)采集圖像；

GPU 30用于提取圖像中的對(duì)象；

處理器40用于將對(duì)象實(shí)時(shí)更新到虛擬場(chǎng)景中，得到更新后的畫面；將更新后的畫面在顯示終端上實(shí)時(shí)更新顯示。

所述處理器40還用于：將畫面編碼得到視頻數(shù)據(jù)；獲取音頻數(shù)據(jù)；將音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，得到音視頻數(shù)據(jù)。

本發(fā)明的嵌入式設(shè)備可安裝安卓操作系統(tǒng)，用安卓系統(tǒng)的圖像處理功能，對(duì)畫面進(jìn)行編碼，對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行封裝，從而大大減少了設(shè)備的成本。

本發(fā)明的嵌入式設(shè)備中，由GPU對(duì)圖像中的對(duì)象進(jìn)行提取，從而減輕處理器的負(fù)擔(dān)，又不影響GPU的工作，這樣不僅保證可在嵌入式設(shè)備中實(shí)現(xiàn)人像與虛擬場(chǎng)景的合成，還可實(shí)現(xiàn)合成編碼后視頻文件的實(shí)時(shí)流暢傳輸。

所述“GPU 30用于提取圖像中的對(duì)象”具體操作為：將圖像中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值做比較；若像素的顏色值在預(yù)設(shè)的閾值內(nèi)，則將該像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色，提取出對(duì)象，所述背景為純色背景。

實(shí)施例4

如圖4所示，本發(fā)明還提供一種基于虛擬場(chǎng)景合成視頻的嵌入式系統(tǒng)，包括嵌入式設(shè)備10，及

音效器50：實(shí)時(shí)獲取音頻數(shù)據(jù)，并將音頻數(shù)據(jù)編碼成便于網(wǎng)絡(luò)傳輸?shù)囊纛l格式的音頻數(shù)據(jù)后，發(fā)送給嵌入式設(shè)備；所述音頻數(shù)據(jù)為演唱者演唱的聲音，或?yàn)檠莩哐莩穆曇艏案枨樽嗟幕旌下曇簦?/p>

客戶端60：獲取嵌入式設(shè)備發(fā)送的封裝的音視頻數(shù)據(jù)并進(jìn)行實(shí)時(shí)播放；

顯示終端70：實(shí)時(shí)顯示更新后的畫面；

網(wǎng)關(guān)服務(wù)器80：接收嵌入式設(shè)備發(fā)送的音視頻數(shù)據(jù)；

云端服務(wù)器90：接收網(wǎng)關(guān)服務(wù)器發(fā)送的音視頻數(shù)據(jù)，并進(jìn)行保存和生成分享地址。