視頻幀同步時嵌入音頻的處理系統(tǒng)及處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及音視頻數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地，涉及一種視頻幀同步時嵌入音頻的處理系統(tǒng)及處理方法。
【背景技術(shù)】
[0002]數(shù)字視頻的行逆程或者場逆程會放置嵌入音頻數(shù)據(jù)包，視頻從發(fā)送時鐘域(clk_tx)進入?yún)⒖紩r鐘域(clk_ref)，由于時鐘不同，需要進行幀同步操作，視頻幀同步的基本操作方法是，用clk_tx時鐘將視頻數(shù)據(jù)寫入緩沖區(qū)buf，再用clk_ref時鐘把視頻數(shù)據(jù)從緩沖區(qū)buf讀出，按照clk_ref時鐘域重新形成視頻流。由于發(fā)送時鐘clk_tx和參考時鐘clk_ref之間必然會存在偏差，為了視頻畫面不出現(xiàn)撕裂，跳幀等現(xiàn)象，必然要對視頻數(shù)據(jù)進行整幀拋幀，或者整幀重復(fù)輸出的操作。物體在快速運動時，當(dāng)人眼所看到的影像消失后，人眼仍能繼續(xù)保留其影像0.1-0.4秒左右的圖像，這種現(xiàn)象被稱為視覺暫留現(xiàn)象。視頻刷新率主要有 23.98HZ，24HZ，，25HZ，29.97HZ, 30Hz, 50HZ, 59.94HZ，60HZ 等，刷新率最低的23.98HZ的視頻，它一幀視頻的時間是0.0417秒，遠(yuǎn)低于人眼的視覺暫留時間0.1-0.4秒，所以，偶爾丟失一幀或者重復(fù)一幀視頻，人眼一般不會察覺。
[0003]數(shù)字音頻是我們保存聲音信號，傳輸聲音信號的一種方式，它的特點是信號不容易損失。而模擬信號是我們最后可以聽到的東西。采樣頻率就是采用一段音頻，作為樣本，因為wav使用的是數(shù)碼信號，它是用一堆數(shù)字來描述原來的模擬信號，所以它要對原來的模擬信號進行分析，我們知道所有的聲音都有其波形，數(shù)碼信號就是在原有的模擬信號波形上每隔一段時間進行一次取點，賦予每一個點以一個數(shù)值，這就是采樣，然后把所有的點連起來就可以描述模擬信號了，很明顯，在一定時間內(nèi)取的點越多，描述出來的波形就越精確，這個尺度我們就稱為“采樣頻率”。
[0004]經(jīng)過采樣得到的數(shù)字音頻樣點，封裝起來放到視頻的逆程中，隨著視頻數(shù)據(jù)進行傳輸，這就是音頻的嵌入過程。音頻的嵌入遵循標(biāo)準(zhǔn)SMPTE272M。
[0005]幀同步的操作中，視頻可以整幀進行拋棄或者重復(fù)，但是該幀進行拋棄或者重復(fù)的視頻中嵌入的音頻數(shù)據(jù)卻不能簡單拋棄或者重復(fù)，否則會造成音頻出現(xiàn)爆音，頻率不對，或者其他不可忽視的問題，因此對嵌入的音頻數(shù)據(jù)要進行專門的處理?，F(xiàn)有的嵌入音頻同步操作方法:如圖1所示，先用視音頻數(shù)據(jù)分離模塊把嵌入音頻從視頻數(shù)據(jù)中解嵌出來，再把解嵌出來的數(shù)字音頻數(shù)據(jù)進行數(shù)模轉(zhuǎn)換，恢復(fù)為模擬音頻信號，然后用參考時鐘對該模擬信號進行重采樣，對采樣后的模擬信號進行模數(shù)轉(zhuǎn)換，最后把采樣得到的音頻樣點由視音頻嵌入模塊重新嵌入到已做完幀同步的視頻信號中。這種方法使嵌入音頻的處理設(shè)備復(fù)雜，增大了電路面積，增加了開發(fā)資金和開發(fā)時間，同時，也擴大了音頻在視頻幀同步處理過程中所受的影響。

【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明的主要目的在于提供一種視頻幀同步時嵌入音頻的處理系統(tǒng)及處理方法，能夠解決現(xiàn)有技術(shù)中存在的處理設(shè)備復(fù)雜、音頻所受影響大的問題。
[0007]為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0008]一方面，本發(fā)明提供了一種視頻幀同步時嵌入音頻的處理系統(tǒng)，包括視音頻數(shù)據(jù)分離模塊、視頻幀同步模塊、音頻重采樣模塊和視音頻數(shù)據(jù)嵌入模塊，其中，視音頻數(shù)據(jù)分離模塊，用于將帶有嵌入音頻的視頻信號分離成同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)，并將視頻數(shù)據(jù)和音頻數(shù)據(jù)分別輸出給視頻幀同步模塊和音頻重采樣模塊；視頻幀同步模塊，用于對視頻數(shù)據(jù)進行處理，輸出幀同步的狀態(tài)信號給音頻重采樣模塊，同時輸出幀同步完成后的視頻數(shù)據(jù)給視音頻數(shù)據(jù)嵌入模塊；幀同步的狀態(tài)信號包括:拋幀信號和加幀信號；音頻重采樣模塊，用于對音頻數(shù)據(jù)進行重采樣，同時，基于接收到的拋幀信號或者加幀信號，進行相應(yīng)的減少音頻樣點或者增加音頻樣點的操作，并將完成重采樣后的音頻數(shù)據(jù)輸出給視音頻數(shù)據(jù)嵌入模塊；視音頻數(shù)據(jù)嵌入模塊，用于將幀同步完成后的視頻數(shù)據(jù)和完成重采樣后的音頻數(shù)據(jù)重新組合成帶有嵌入音頻的視頻信號并輸出。
[0009]優(yōu)選地，視頻幀同步模塊包括:第一接收單元、第一處理單元和第一存儲單元，其中，第一接收單元，用于接收視頻數(shù)據(jù)并將視頻數(shù)據(jù)緩存于第一存儲單元；第一處理單元，用于讀取緩存于第一存儲單元中的視頻數(shù)據(jù)并對視頻數(shù)據(jù)進行幀同步處理，將處理后的視頻數(shù)據(jù)緩存于第一存儲單元，同時，輸出拋幀信號或者加幀信號給音頻重采樣模塊。
[0010]優(yōu)選地，音頻重采樣模塊包括:第二接收單元、檢測單元、第二處理單元和第二存儲單元，其中，第二接收單元，用于接收音頻數(shù)據(jù)并將音頻數(shù)據(jù)緩存于第二存儲單元；檢測單元，用于檢測是否有來自于視頻幀同步模塊輸出的拋幀信號或者加幀信號，并將拋幀信號或者加幀信號發(fā)送給第二處理單元；第二處理單元，用于讀取緩存于第二存儲單元中的音頻數(shù)據(jù)并對音頻數(shù)據(jù)進行重采樣，同時，基于接收到的拋幀信號或者加幀信號，進行相應(yīng)的減少音頻樣點或者增加音頻樣點的操作，并將完成重采樣后的音頻數(shù)據(jù)緩存于第二存儲單元。
[0011]優(yōu)選地，基于接收到的拋幀信號進行相應(yīng)的減少音頻樣點的操作包括:每幀的任意點拋棄一個音頻樣點，這個操作一直進行到處理的幀數(shù)等于所需減少的音頻樣點的總數(shù)。
[0012]優(yōu)選地，基于接收到的加幀信號進行相應(yīng)的增加音頻樣點的操作包括:每幀的任意點增加一個音頻樣點，增加的音頻樣點的值等于所要插入地方的前一個樣點的值，這個操作一直進行到處理的幀數(shù)等于所需加的音頻樣點的總數(shù)。
[0013]另一方面，本發(fā)明還提供了一種視頻幀同步時嵌入音頻的處理方法，包括:視音頻數(shù)據(jù)分離模塊將帶有嵌入音頻的視頻信號分離成同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)，并將視頻數(shù)據(jù)和音頻數(shù)據(jù)分別輸出給視頻幀同步模塊和音頻重采樣模塊；視頻幀同步模塊對視頻數(shù)據(jù)進行處理，輸出幀同步的狀態(tài)信號給音頻重采樣模塊，同時輸出幀同步完成后的視頻數(shù)據(jù)給視音頻數(shù)據(jù)嵌入模塊；其中，幀同步的狀態(tài)信號包括:拋幀信號和加幀信號；音頻重采樣模塊對音頻數(shù)據(jù)進行重采樣，同時，基于接收到的拋幀信號或者加幀信號，進行相應(yīng)的減少音頻樣點或者增加音頻樣點的操作，并將完成重采樣后的音頻數(shù)據(jù)輸出給視音頻數(shù)據(jù)嵌入模塊；視音頻數(shù)據(jù)嵌入模塊將幀同步完成后的視頻數(shù)據(jù)和完成重采樣后的音頻數(shù)據(jù)重新組合成帶有嵌入音頻的視頻信號并輸出。
[0014]優(yōu)選地，視頻幀同步模塊對視頻數(shù)據(jù)進行處理，輸出幀同步的狀態(tài)信號給音頻重采樣模塊的步驟包括:第一接收單元接收視頻數(shù)據(jù)并將視頻數(shù)據(jù)緩存于第一存儲單元；第一處理單元讀取緩存于第一存儲單元中的視頻數(shù)據(jù)并對視頻數(shù)據(jù)進行幀同步處理，將處理后的視頻數(shù)據(jù)緩存于第一存儲單元，同時，輸出拋幀信號或者加幀信號給音頻重采樣模塊。
[0015]優(yōu)選地，音頻重采樣模塊對音頻數(shù)據(jù)進行重采樣，同時，基于接收到的拋幀信號或者加幀信號，進行相應(yīng)的減少音頻樣點或者增加音頻樣點的操作的步驟包括:第二接收單元接收音頻數(shù)據(jù)并將音頻數(shù)據(jù)緩存于第二存儲單元；檢測單元檢測是否有來自于視頻幀同步模塊輸出的拋幀信號或者加幀信號，并將拋幀信號或者加幀信號發(fā)送給第二處理單元；第二處理單元讀取緩存于第二存儲單元中的音頻數(shù)據(jù)并對音頻數(shù)據(jù)進行重采樣，同時，基于接收到的拋幀信號或者加幀信號，進行相應(yīng)的減少音頻樣點或者增加音頻樣點的操作，