本發(fā)明涉及音視頻處理技術(shù)領(lǐng)域，更具體地，涉及一種音視頻壓制系統(tǒng)及方法。

背景技術(shù)：

在視頻解說直播中，需要將視頻同步的音頻采錄之后和所接收的視頻流進(jìn)行壓制。

為了實(shí)現(xiàn)此功能，目前的做法通常是有兩種，一種是在視頻錄制現(xiàn)場進(jìn)行音頻采集，然后將同時錄制的視頻和音頻進(jìn)行不同合流壓制；第二種是在解說端對視頻進(jìn)行同步配音，對視頻和音頻進(jìn)行合流壓制。

以上的第一種實(shí)現(xiàn)方式會要求進(jìn)行合流壓制的設(shè)備必須在視頻錄制現(xiàn)場；第二種實(shí)現(xiàn)方式由于解說端在音頻錄制的同時還要對音頻和視頻進(jìn)行合流壓制，對解說端的性能要求比較高，解說端寬帶壓力較大。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種克服上述問題或者至少部分地解決上述問題的音視頻壓制系統(tǒng)及方法，能夠克服音視頻合流壓制時解說端寬帶壓力大的問題。

一方面，本發(fā)明提供一種音視頻壓制系統(tǒng)，包括內(nèi)容分發(fā)網(wǎng)絡(luò)cdn服務(wù)器、錄音設(shè)備和合流服務(wù)器；

所述cdn服務(wù)器，用于同時向所述錄音設(shè)備和所述合流服務(wù)器推送元視頻流；

所述錄音設(shè)備，用于根據(jù)所述cdn服務(wù)器推送的元視頻流進(jìn)行音頻錄制，將音頻錄制后產(chǎn)生的音頻流推送至合流服務(wù)器；

所述合流服務(wù)器，用于將所述cdn服務(wù)器推送的元視頻流和所述錄音設(shè)備推送的音頻流進(jìn)行合流壓制。

其中，所述cdn服務(wù)器還用于在向所述錄音設(shè)備和所述合流服務(wù)器推送元視頻流時，將cdn服務(wù)器的當(dāng)前時間戳推送給錄音設(shè)備和合流服務(wù)器。

其中，所述錄音設(shè)備還用于：

根據(jù)cdn服務(wù)器推送元視頻流時的時間戳，以及錄音設(shè)備進(jìn)行音頻錄制時的時間戳，獲得兩者的差值，將兩者的差值作為第一時間差值，并同時將音頻流和所述第一時間差值推送給合流服務(wù)器。

其中，所述合流服務(wù)器還用于：

根據(jù)所述cdn服務(wù)器推送元視頻時的時間戳以及接收到所述元視頻流時的時間戳，獲得兩者的差值，將兩者的差值作為第二時間差值。

其中，所述合流服務(wù)器還用于：

計(jì)算所述第一時間差值和所述第二時間差值的差值，且將所述差值作為合流壓制參數(shù)對cdn服務(wù)器推送的元視頻流和錄音設(shè)備推送的音頻流進(jìn)行合流壓制。

另一方面，本發(fā)明還提供一種音視頻壓制方法，包括：

步驟s1，合流服務(wù)器接收cdn服務(wù)器推送的元視頻流以及錄音設(shè)備推送的音頻流，其中，所述音頻流是錄音設(shè)備根據(jù)cdn服務(wù)器推送的元視頻流進(jìn)行音頻錄制而生成的；

步驟s2，將cdn服務(wù)器推送的元視頻流和錄音設(shè)備推送的音頻流進(jìn)行合流壓制。

其中，所述cdn服務(wù)器同時向所述合流服務(wù)器和所述錄音設(shè)備推送元視頻流及cdn服務(wù)器推送元視頻流時的時間戳。

其中，所述步驟s1包括：

合流服務(wù)器在接收錄音設(shè)備推送的音頻流時，同時接收錄音設(shè)備推送的第一時間差值，其中，所述第一時間差值是cdn服務(wù)器推送元視頻流時的時間戳以及錄音設(shè)備錄制音頻時的時間戳之間的差值。

其中，所述步驟s1還包括：

根據(jù)cdn服務(wù)器推送元視頻流時的時間戳以及合流服務(wù)器接收到cdn服務(wù)器推送的元視頻流時的時間戳，獲得兩者的差值，將兩者的差值作為第二時間差值。

其中，所述步驟s2具體包括：

合流服務(wù)器計(jì)算所述第一時間差值和所述第二時間差值的差值，且將所述差值作為合流壓制參數(shù)對cdn服務(wù)器推送的元視頻流和錄音設(shè)備推送的音頻流進(jìn)行合流壓制。

本發(fā)明提供的音視頻壓制系統(tǒng)及方法，通過cdn服務(wù)器推送元視頻流至錄音設(shè)備及合流服務(wù)器，通過錄音設(shè)備錄制并推送音頻流至合流服務(wù)器，在合流服務(wù)器上進(jìn)行音頻和視頻合流壓制，相比現(xiàn)有技術(shù)在解說端將采集的音頻流與接收的視頻流進(jìn)行合流壓制，實(shí)現(xiàn)了合流壓制分離的效果，減輕了解說端的寬帶壓力，且合流服務(wù)器根據(jù)合流壓制參數(shù)對音頻流和視頻流進(jìn)行合流壓制，能夠保持壓制后的視頻流中的音畫同步。

附圖說明

圖1為根據(jù)本發(fā)明實(shí)施例提供的音視頻壓制系統(tǒng)的架構(gòu)圖；

圖2為根據(jù)本發(fā)明實(shí)施例提供的音視頻壓制方法流程示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1為根據(jù)本發(fā)明實(shí)施例提供的音視頻壓制系統(tǒng)的架構(gòu)圖，如圖1所示，該系統(tǒng)包括cdn服務(wù)器、錄音設(shè)備和合流服務(wù)器。所述cdn服務(wù)器，用于同時向所述錄音設(shè)備和所述合流服務(wù)器推送元視頻流；所述錄音設(shè)備，用于根據(jù)所述cdn服務(wù)器推送的元視頻流進(jìn)行音頻錄制，將音頻錄制后產(chǎn)生的音頻流推送給合流服務(wù)器；所述合流服務(wù)器，用于將所述cdn服務(wù)器推送的元視頻流和所述錄音設(shè)備推送的音頻流進(jìn)行合流壓制。

cdn(contentdeliverynetwork)即內(nèi)容分發(fā)網(wǎng)絡(luò)。其基本思路是盡可能避開互聯(lián)網(wǎng)上有可能影響數(shù)據(jù)傳輸速度和穩(wěn)定性的瓶頸和環(huán)節(jié)，使內(nèi)容傳輸?shù)母?、更穩(wěn)定。通過在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器所構(gòu)成的在現(xiàn)有的互聯(lián)網(wǎng)基礎(chǔ)之上的一層智能虛擬網(wǎng)絡(luò)，cdn系統(tǒng)能夠?qū)崟r地根據(jù)網(wǎng)絡(luò)流量和各節(jié)點(diǎn)的連接、負(fù)載狀況以及到用戶的距離和響應(yīng)時間等綜合信息將用戶的請求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點(diǎn)上。其目的是使用戶可就近取得所需內(nèi)容，解決internet網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的響應(yīng)速度。

cdn服務(wù)器獲取元視頻流，且實(shí)時將獲取的元視頻流向錄音設(shè)備和合流服務(wù)器同時推送。錄音設(shè)備接收到cdn服務(wù)器推送的元視頻流，對元視頻流進(jìn)行播放，并進(jìn)行音頻錄制，且將錄制后生成的音頻流推送至合流服務(wù)器。合流服務(wù)器根據(jù)從cdn服務(wù)器接收的元視頻流和從錄音設(shè)備推送的音頻流，對元視頻流和音頻流按照合流壓制參數(shù)進(jìn)行合流壓制。

本發(fā)明提供的音視頻壓制系統(tǒng)，通過cdn服務(wù)器推送元視頻流至錄音設(shè)備及合流服務(wù)器，通過錄音設(shè)備錄制并推送音頻流至合流服務(wù)器，而在合流服務(wù)器上進(jìn)行音頻和視頻合流壓制，相比現(xiàn)有技術(shù)在解說端將采集的音頻流與接收的視頻流進(jìn)行合流壓制，實(shí)現(xiàn)了合流壓制分離的效果，減輕了解說端的寬帶壓力。

在上述實(shí)施例的基礎(chǔ)上，所述cdn服務(wù)器在向所述錄音設(shè)備和所述合流服務(wù)器推送元視頻流時，也將cdn服務(wù)器推送元視頻流時的時間戳推送給錄音設(shè)備和合流服務(wù)器。

具體地，cdn服務(wù)器在向錄音設(shè)備和合流服務(wù)器推送元視頻流時，產(chǎn)生cdn服務(wù)器推送元視頻流時的時間戳，cdn服務(wù)器在向錄音設(shè)備和合流服務(wù)器推送元視頻流的過程中，由于cdn服務(wù)器和錄音設(shè)備之間的網(wǎng)絡(luò)狀態(tài)以及cdn服務(wù)器和合流服務(wù)器之間的網(wǎng)絡(luò)狀態(tài)可能不同。因此，即使cdn服務(wù)器同時向錄音設(shè)備和合流服務(wù)器推送元視頻流，錄音設(shè)備接收到元視頻流的時間和合流服務(wù)器接收到元視頻流的時間很可能不同，在這種情況下，合流服務(wù)器合流壓制后的視頻流中存在音畫不同步的現(xiàn)象。為了解決音畫不同步的問題，cdn服務(wù)器在向錄音設(shè)備和合流服務(wù)器推送元視頻流的同時，也將cdn服務(wù)器推送元視頻流時的時間戳推送給錄音設(shè)備和合流服務(wù)器。

在上述各實(shí)施例的基礎(chǔ)上，錄音設(shè)備還用于根據(jù)cdn服務(wù)器推送元視頻流時的時間戳，以及錄音設(shè)備進(jìn)行音頻錄制時的時間戳，將兩者的差值作為第一時間差值，并同時將音頻流和所述第一時間差值推送給合流服務(wù)器。

具體地，當(dāng)錄音設(shè)備接收到cdn服務(wù)器推送的元視頻流和cdn服務(wù)器推送元視頻流時的時間戳?xí)r，對元視頻流進(jìn)行音頻錄制，且記錄音頻錄制時的時間戳，將cdn服務(wù)器推送元視頻流時的時間戳和錄音設(shè)備錄制音頻時的時間戳之間的時間差值作為第一時間差值。從第一時間差值能夠看出cdn服務(wù)器推送給錄音設(shè)備的元視頻流的時間延遲。錄音設(shè)備將錄制的音頻流和第一時間差值推送給合流服務(wù)器。

例如，cdn服務(wù)器將元視頻流和cdn服務(wù)器推送元視頻流時的時間戳t推送至錄音設(shè)備，錄音設(shè)備接收到元視頻流并開始錄制音頻時，錄音設(shè)備的時間戳為t1，則計(jì)算第一時間差值gt1＝t1－t，第一時間差值gt1即為cdn服務(wù)器推送給錄音設(shè)備的元視頻流的時間延遲。錄音設(shè)備將錄制的音頻流和第一時間差值gt1推送給合流服務(wù)器。

在上述各實(shí)施例的基礎(chǔ)上，合流服務(wù)器具體用于根據(jù)cdn服務(wù)器推送元視頻時記錄的時間戳以及合流服務(wù)器接收到所述元視頻流時的時間戳，將兩者的差值作為第二時間差值。當(dāng)合流服務(wù)器接收到cdn服務(wù)器推送的元視頻流和cdn服務(wù)器推送元視頻流時的時間戳?xí)r，將cdn服務(wù)器推送元視頻流時的時間戳和合流服務(wù)器接收到元視頻時的時間戳之間的時間差值作為第二時間差值，從第二時間差值可以看出cdn服務(wù)器推送給合流服務(wù)器的元視頻流的時間延遲。

例如，cdn服務(wù)器將元視頻流和cdn服務(wù)器推送元視頻流時的時間戳t推送至合流服務(wù)器，合流服務(wù)器接收到元視頻流時記錄時間戳為t2，計(jì)算第二時間差值gt2＝t2－t，第二時間差值gt2即為cdn服務(wù)器推送給合流服務(wù)器的元視頻流的時間延遲。

在上述各實(shí)施例的基礎(chǔ)上，合流服務(wù)器還用于計(jì)算所述第一時間差值和所述第二時間差值的差值，且將所述差值作為合流壓制參數(shù)對cdn服務(wù)器推送的元視頻流和錄音設(shè)備推送的音頻流進(jìn)行合流壓制。

合流服務(wù)器接收到錄音設(shè)備推送的音頻流和第一時間差值，以及計(jì)算出的第二時間差值，通常由于一定的因素，比如網(wǎng)絡(luò)狀態(tài)不同的因素，第一時間差值和第二時間差值是不同的。因此，本實(shí)施例中的合流服務(wù)器計(jì)算第一時間差值與第二時間差值之間的差值，并將該差值作為合流壓制參數(shù)對音頻流和元視頻流進(jìn)行合流壓制。合流壓制后的視頻流中的音畫是同步的，克服了以往的音畫不同步的問題。

具體地，根據(jù)上述各實(shí)施例，合流服務(wù)器接收到錄音設(shè)備推送的音頻流和第一時間差值gt1，并計(jì)算出第二時間差值gt2。由于cdn服務(wù)器和錄音設(shè)備之間的網(wǎng)絡(luò)延遲gt1以及cdn服務(wù)器和合流服務(wù)器之間的網(wǎng)絡(luò)延遲gt2可能不同，計(jì)算它們的差值作為合流壓制參數(shù)st，st＝|gt2-gt1|，合流服務(wù)器將音頻流和元視頻流基于合流壓制參數(shù)st進(jìn)行合并壓制。其中st的取值范圍可為正數(shù)，負(fù)數(shù)，以及零，當(dāng)st為負(fù)數(shù)時表示音頻流要提前相應(yīng)絕對值時間與視頻流進(jìn)行壓制，當(dāng)st為正數(shù)時表示音頻流延遲相應(yīng)絕對值時間與視頻流進(jìn)行壓制，st為零時表示音頻流與視頻流無延遲同步壓制。

本發(fā)明提供的音視頻壓制系統(tǒng)，通過cdn服務(wù)器推送元視頻流至錄音設(shè)備及合流服務(wù)器，通過錄音設(shè)備錄制并推送音頻流至合流服務(wù)器，而在合流服務(wù)器上進(jìn)行音頻和視頻合流壓制，相比現(xiàn)有技術(shù)在解說端將采集的音頻流與接收的視頻流進(jìn)行合流壓制，實(shí)現(xiàn)了合流壓制分離的效果，減輕了解說端的寬帶壓力，且合流服務(wù)器根據(jù)合流壓制參數(shù)對音頻流和視頻流進(jìn)行合流壓制，能夠?qū)崟r保持壓制后的視頻流中的音畫同步。

圖2為根據(jù)本發(fā)明實(shí)施例提供的音視頻壓制方法流程示意圖，如圖2所示，該方法包括：s1，合流服務(wù)器接收cdn服務(wù)器推送的元視頻流以及錄音設(shè)備推送的音頻流，其中，所述音頻流是錄音設(shè)備根據(jù)cdn服務(wù)器推送的元視頻流進(jìn)行音頻錄制而生成的；s2，將cdn服務(wù)器推送的元視頻流和錄音設(shè)備推送的音頻流進(jìn)行合流壓制。

cdn服務(wù)器獲取元視頻流，且實(shí)時將獲取的元視頻流向錄音設(shè)備和合流服務(wù)器同時推送。錄音設(shè)備接收到cdn服務(wù)器推送的元視頻流，對元視頻流進(jìn)行播放，并進(jìn)行音頻錄制，且將錄制后生成的音頻流推送至合流服務(wù)器。合流服務(wù)器根據(jù)從cdn服務(wù)器接收的元視頻流和從錄音設(shè)備推送的音頻流，對元視頻流和音頻流按照合流壓制參數(shù)進(jìn)行合流壓制。

本發(fā)明提供的音視頻壓制方法，通過cdn服務(wù)器推送元視頻流至錄音設(shè)備及合流服務(wù)器，通過錄音設(shè)備錄制并推送音頻流至合流服務(wù)器，而在合流服務(wù)器上進(jìn)行音頻和視頻合流壓制，相比現(xiàn)有技術(shù)在解說端將采集的音頻流與接收的視頻流進(jìn)行合流壓制，實(shí)現(xiàn)了合流壓制分離的效果，減輕了解說端的寬帶壓力。

在上述實(shí)施例的基礎(chǔ)上，cdn服務(wù)器同時向所述合流服務(wù)器和所述錄音設(shè)備推送元視頻流和cdn服務(wù)器推送元視頻流時的時間戳。

具體地，cdn服務(wù)器在向錄音設(shè)備和合流服務(wù)器推送元視頻流時，產(chǎn)生cdn服務(wù)器推送元視頻流時的時間戳，cdn服務(wù)器在向錄音設(shè)備和合流服務(wù)器推送元視頻流的過程中，由于cdn服務(wù)器和錄音設(shè)備之間的網(wǎng)絡(luò)狀態(tài)以及cdn服務(wù)器和合流服務(wù)器之間的網(wǎng)絡(luò)狀態(tài)可能不同。因此，即使cdn服務(wù)器同時向錄音設(shè)備和合流服務(wù)器推送元視頻流，錄音設(shè)備接收到元視頻流的時間和合流服務(wù)器接收到元視頻流的時間很可能不同，在這種情況下，合流服務(wù)器合流壓制后的視頻流中存在音畫不同步的現(xiàn)象。為了解決音畫不同步的問題，cdn服務(wù)器在向錄音設(shè)備和合流服務(wù)器推送元視頻流的同時，也將cdn服務(wù)器推送元視頻流時的時間戳推送給錄音設(shè)備和合流服務(wù)器。

在上述各實(shí)施例的基礎(chǔ)上，步驟s1包括：

合流服務(wù)器在接收錄音設(shè)備推送的音頻流時，同時接收錄音設(shè)備推送的第一時間差值，其中，所述第一時間差值是所述cdn服務(wù)器推送元視頻流時的時間戳和錄音設(shè)備錄制音頻時的時間戳之間的差值。

具體地，當(dāng)錄音設(shè)備接收到cdn服務(wù)器推送的元視頻流和cdn服務(wù)器推送元視頻流時的時間戳?xí)r，對元視頻流進(jìn)行音頻錄制，且記錄音頻錄制時的時間戳，將cdn服務(wù)器推送元視頻流時的時間戳和錄音設(shè)備錄制音頻時的時間戳之間的時間差值作為第一時間差值。從第一時間差值能夠看出cdn服務(wù)器推送給錄音設(shè)備的元視頻流的時間延遲。錄音設(shè)備將錄制的音頻流和第一時間差值推送給合流服務(wù)器。

例如，cdn服務(wù)器將元視頻流和cdn服務(wù)器推送元視頻流時的時間戳t推送至錄音設(shè)備，錄音設(shè)備接收到元視頻流并開始錄制音頻時，錄音設(shè)備的時間戳為t1，則計(jì)算第一時間差值gt1＝t1－t，第一時間差值gt1即為cdn服務(wù)器推送給錄音設(shè)備的元視頻流的時間延遲。錄音設(shè)備將錄制的音頻流和第一時間差值gt1推送給合流服務(wù)器。

在上述各實(shí)施例的基礎(chǔ)上，步驟s1還包括：

根據(jù)cdn服務(wù)器推送元視頻流時的時間戳以及合流服務(wù)器接收到cdn服務(wù)器推送的元視頻流時的時間戳，獲得兩者的差值，將兩者的差值作為第二時間差值。

具體地，當(dāng)合流服務(wù)器接收到cdn服務(wù)器推送的元視頻流和cdn服務(wù)器推送元視頻流時的時間戳?xí)r，將cdn服務(wù)器推送元視頻流時的時間戳和合流服務(wù)器接收到元視頻時的時間戳之間的時間差值作為第二時間差值，從第二時間差值可以看出cdn服務(wù)器推送給合流服務(wù)器的元視頻流的時間延遲。

例如，cdn服務(wù)器將元視頻流和cdn服務(wù)器推送元視頻流時的時間戳t推送至合流服務(wù)器，合流服務(wù)器接收到元視頻流時記錄時間戳為t2，計(jì)算第二時間差值gt2＝t2－t，第二時間差值gt2即為cdn服務(wù)器推送給合流服務(wù)器的元視頻流的時間延遲。

在上述各實(shí)施例的基礎(chǔ)上，步驟s2具體包括，合流服務(wù)器計(jì)算所述第一時間差值和所述第二時間差值的差值，且將所述差值作為合流壓制參數(shù)對cdn服務(wù)器推送的元視頻流和錄音設(shè)備推送的音頻流進(jìn)行合流壓制。

合流服務(wù)器接收到錄音設(shè)備推送的音頻流和第一時間差值，以及計(jì)算出的第二時間差值，通常由于一定的因素，比如網(wǎng)絡(luò)狀態(tài)不同的因素，第一時間差值和第二時間差值是不同的。因此，本實(shí)施例中的合流服務(wù)器計(jì)算第一時間差值與第二時間差值之間的差值，并將該差值作為合流壓制參數(shù)對音頻流和元視頻流進(jìn)行合流壓制。合流壓制后的視頻流中的音畫是同步的，克服了以往的音畫不同步的問題。

具體地，根據(jù)上述各實(shí)施例，合流服務(wù)器接收到錄音設(shè)備推送的音頻流和第一時間差值gt1，并計(jì)算出第二時間差值gt2。由于cdn服務(wù)器和錄音設(shè)備之間的網(wǎng)絡(luò)延遲gt1以及cdn服務(wù)器和合流服務(wù)器之間的網(wǎng)絡(luò)延遲gt2可能不同，計(jì)算它們的差值作為合流壓制參數(shù)st，st＝|gt2-gt1|，合流服務(wù)器將音頻流和元視頻流基于合流壓制參數(shù)st進(jìn)行合并壓制。其中st的取值范圍可為正數(shù)，負(fù)數(shù)，以及零，當(dāng)st為負(fù)數(shù)時表示音頻流要提前相應(yīng)絕對值時間與視頻流進(jìn)行壓制，當(dāng)st為正數(shù)時表示音頻流延遲相應(yīng)絕對值時間與視頻流進(jìn)行壓制，st為零時表示音頻流與視頻流無延遲同步壓制。

本發(fā)明提供的音視頻壓制系統(tǒng)，通過cdn服務(wù)器推送元視頻流至錄音設(shè)備及合流服務(wù)器，通過錄音設(shè)備錄制并推送音頻流至合流服務(wù)器，而在合流服務(wù)器上進(jìn)行音頻和視頻合流壓制，相比現(xiàn)有技術(shù)在解說端將采集的音頻流與接收的視頻流進(jìn)行合流壓制，實(shí)現(xiàn)了合流壓制分離的效果，減輕了解說端的寬帶壓力，且合流服務(wù)器根據(jù)合流壓制參數(shù)對音頻流和視頻流進(jìn)行合流壓制，能夠保持壓制后的視頻流中的音畫同步。

最后，本申請的方法僅為較佳的實(shí)施方案，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。