如果攝像機采用的是IP幀組或IBP幀組模式，針對I幀進行強制編幀，即重新編出I幀。拼接組建立時強制編幀原理相同。
[0059]強制編幀主要克服了各個攝像機編幀時間不一致的問題，避免了拼接攝像機圖像時間不一樣導(dǎo)致拼接圖像出現(xiàn)重影或圖像不一致等現(xiàn)象。主要原理在于:由于攝像機啟動編碼時間與攝像機上電時間相關(guān)，各攝像機之間上電時間不一致，從而會導(dǎo)致攝像機進行編幀時的圖像會不一致，會導(dǎo)致在某一時刻，看到各個攝像機的幀不是同一時間的圖像。
[0060]如圖7所示，突起的黑點代表一幀圖像，假設(shè)攝像機A、B、C三個待拼接攝像機上電時間為圖7所示的順延關(guān)系，在時間上，攝像機C編碼第一幀圖像晚于攝像機B與攝像機A，攝像機B編碼第一幀圖像晚于攝像機A并且由于攝像機幀間隔為固定時間的，所以會導(dǎo)致攝像機A、B、C往后的所有顯示的圖像時間上都不一致。即如圖7中的現(xiàn)象，時刻Μ看到的分別是攝像機Α的編碼第二幀A2、攝像機B的編碼第一幀B1、攝像機C的編碼第一幀C1，而幀A、B、C的圖像在時間上B早于A早于C，圖像的新舊程度從新到舊順序為C>A>B。而假設(shè)在時刻Μ進行強制重新編幀后，則會有如圖8所示效果。圖8中在同一時刻Ν看到的圖像幀Α2、Β2、C2均是同一時間拍攝一致的圖像。
[0061]攝像機強制編幀后，在每幀的最后一個結(jié)束報文中，將當前的時間加入到時間戳字段timpstamp中，發(fā)送給解碼端。相關(guān)的報文如圖9所示，圖中小方框所框出的字段為時間戳字段。
[0062]步驟4，拼接顯示單元根據(jù)拼接位置關(guān)系同時顯示各待拼接攝像機輸出的待拼接圖像，以形成完整的圖像。
[0063]如圖10所示，假設(shè)之前攝像機A、B、C分別在窗格A、B、C上進行視頻播放，在窗格A、B、C的緩存隊列中，由于網(wǎng)絡(luò)抖動原因，隊列中的每幀排列順序可能不是按時間排列，因此，幀圖像進行送顯時，就會出現(xiàn)圖像不一致的現(xiàn)象。
[0064]而本發(fā)明當前實施例則采用時間戳來防止網(wǎng)絡(luò)抖動所造成的圖像顯示錯位。由于視頻流中加入了時間戳，各個窗格可以通過視頻流每幀中的時間戳對圖像送顯進行控制，只有等到拼接組中所有的同一時間的幀均已經(jīng)進入到緩存隊列中，才一起進行解碼顯示。解碼端收到拼接組的視頻流后，拼接顯示單元解析拼接組所有攝像機視頻報文中攜帶的時間戳，在解碼端的緩存中，當拼接組內(nèi)所有攝像機輸出的帶有同一時間戳的待拼接圖像幀均可以顯示時，才將在解碼器上顯示拼接組的待拼接圖像，這樣就可以使得網(wǎng)絡(luò)環(huán)境出現(xiàn)網(wǎng)絡(luò)抖動時，解碼端的各個攝像機的圖像時間是一樣的，不會出現(xiàn)圖像拼接不一致情況。
[0065]如圖4所示，將用戶選擇的待拼接圖像Sl、S2及S3拼接后，得到了所顯示的完整圖像。
[0066]在存儲視頻流時，會將攝像機發(fā)過來的攜帶時間戳的視頻流進行存儲，在對拼接組里的圖像進行回放時，由于存儲的視頻流中均攜帶有時間戳，因此解碼端解碼存儲的視頻流時，可以根據(jù)時間戳進行圖像的同步回放，播放的原理與實況相同，即將所有時間戳相同的待拼接圖像同步顯示回放。
[0067]本發(fā)明突出優(yōu)點在于，通過在同時顯示同時拍攝所得的待拼接圖像使得需要拼接的多個攝像機的待拼接圖像能夠不經(jīng)過解碼端的后期圖像處理，解碼之后在相應(yīng)位置進行播放即可達到圖像拼接的效果，達到降低解碼端的性能消耗，突破解碼端性能這個瓶頸，不再限制圖像拼接攝像機數(shù)量及分辨率，同時豐富了圖像拼接的用途及使用場景。僅僅對用戶關(guān)心的區(qū)域拼接，不需要消耗大量的解碼端性能去進行去除冗余及拉伸對齊這樣的處理，進一步減少解碼端的性能消耗；通過將各攝像機的本地時間調(diào)為一致，在解碼端通過判斷時間戳是否一致，來確保拼接的圖像均為同一時刻的圖像，從而使得拼接形成的圖像可以消除網(wǎng)絡(luò)抖動帶來的圖像不一致等影響。
【主權(quán)項】
1.一種多圖像拼接方法，其特征在于，包括: 解碼端獲取各待拼接攝像機所拍攝圖像中需拼接區(qū)域的區(qū)域信息和各待拼接攝像機的拼接位置關(guān)系，并將獲取到的需拼接區(qū)域的區(qū)域信息發(fā)送給對應(yīng)的攝像機； 各待拼接攝像機根據(jù)需拼接區(qū)域的區(qū)域信息進行圖像編碼，并輸出待拼接圖像； 解碼端根據(jù)所述拼接位置關(guān)系同時顯示各待拼接攝像機輸出的待拼接圖像，以形成完整的圖像。2.如權(quán)利要求1所述多圖像拼接方法，其特征在于，各待拼接攝像機所拍攝圖像中需拼接區(qū)域的區(qū)域信息為需拼接區(qū)域的坐標信息，所述解碼端獲取需拼接區(qū)域的區(qū)域信息過程包括:由用戶輸入需拼接區(qū)域的坐標信息，或由解碼端將用戶選擇的需拼接區(qū)域轉(zhuǎn)換為需拼接區(qū)域的坐標信息。3.如權(quán)利要求1所述多圖像拼接方法，其特征在于，所述各待拼接攝像機根據(jù)需拼接區(qū)域的區(qū)域信息進行圖像編碼，具體包括:所述各待拼接攝像機在采集的圖像區(qū)域中選擇需拼接的圖像區(qū)域，并僅對選擇的需拼接的圖像區(qū)域進行編碼。4.如權(quán)利要求1所述多圖像拼接方法，其特征在于，在所述解碼端根據(jù)所述拼接位置關(guān)系同時顯示各待拼接攝像機輸出的待拼接圖像之前，還包括:解碼端向各待拼接攝像機發(fā)送強制編幀的請求，以調(diào)整各待拼接攝像機的拍攝時間； 各待拼接攝像機根據(jù)該請求輸出相同時刻拍攝的待拼接圖像。5.如權(quán)利要求4所述多圖像拼接方法，其特征在于，待拼接攝像機輸出的待拼接圖像中還攜帶拍攝時間對應(yīng)的時間戳信息，各待拼接攝像機在相同時刻拍攝的待拼接圖像中所攜帶的時間戳信息一致； 對應(yīng)地，解碼端根據(jù)所述拼接位置關(guān)系將各待拼接攝像機輸出的時間戳信息一致的待拼接圖像進行同時顯示。6.一種多圖像拼接裝置，應(yīng)用于解碼端，其特征在于，包括: 拼接信息獲取單元，用于獲取各待拼接攝像機所拍攝圖像中需拼接區(qū)域的區(qū)域信息和各待拼接攝像機的拼接位置關(guān)系； 拼接信息發(fā)送單元，用于將獲取到的需拼接區(qū)域的區(qū)域信息發(fā)送給對應(yīng)的攝像機，使得各待拼接攝像機根據(jù)需拼接區(qū)域的區(qū)域信息進行圖像編碼并輸出待拼接圖像； 拼接顯示單元，用于根據(jù)所述拼接位置關(guān)系同時顯示各待拼接攝像機輸出的待拼接圖像，以形成完整的圖像。7.權(quán)利要求6所述多圖像拼接裝置，其特征在于，拼接信息發(fā)送單元發(fā)送到各待拼接攝像機所拍攝圖像中的需拼接區(qū)域的區(qū)域信息為需拼接區(qū)域的坐標信息，所述拼接信息獲取單元獲取需拼接區(qū)域的區(qū)域信息過程包括:由用戶輸入需拼接區(qū)域的坐標信息，或由解碼端將用戶選擇的需拼接區(qū)域轉(zhuǎn)換為需拼接區(qū)域的坐標信息。8.如權(quán)利要求6所述多圖像拼接裝置，其特征在于，所述各待拼接攝像機根據(jù)拼接信息發(fā)送單元發(fā)送的需拼接區(qū)域的區(qū)域信息進行圖像編碼，具體包括:所述各待拼接攝像機在采集的圖像區(qū)域中選擇需拼接的圖像區(qū)域，并僅對選擇的需拼接的圖像區(qū)域進行編碼。9.如權(quán)利要求6所述多圖像拼接裝置，其特征在于，還包括強制編幀單元，用于在所述拼接顯示單元根據(jù)所述拼接位置關(guān)系同時顯示各待拼接攝像機輸出的待拼接圖像之前，向各待拼接攝像機發(fā)送強制編幀的請求，以調(diào)整各待拼接攝像機的拍攝時間； 各待拼接攝像機根據(jù)該請求輸出相同時刻拍攝的待拼接圖像。10.如權(quán)利要求9所述多圖像拼接裝置，其特征在于，待拼接攝像機輸出的待拼接圖像中還攜帶拍攝時間對應(yīng)的時間戳信息，各待拼接攝像機在相同時刻拍攝的待拼接圖像中所攜帶的時間戳信息一致； 對應(yīng)地，所述拼接顯示單元根據(jù)所述拼接位置關(guān)系將各待拼接攝像機輸出的時間戳信息一致的待拼接圖像進行同時顯示。
【專利摘要】本發(fā)明公開了一種多圖像拼接方法，包括：解碼端獲取各待拼接攝像機所拍攝圖像中需拼接區(qū)域的區(qū)域信息和各待拼接攝像機的拼接位置關(guān)系，并將獲取到的需拼接區(qū)域的區(qū)域信息發(fā)送給對應(yīng)的攝像機；各待拼接攝像機根據(jù)需拼接區(qū)域的區(qū)域信息進行圖像編碼，并輸出待拼接圖像；解碼端根據(jù)拼接位置關(guān)系同時顯示各待拼接攝像機輸出的待拼接圖像，以形成完整的圖像。本發(fā)明還對應(yīng)地公開了多圖像拼接裝置。本發(fā)明的方法及裝置使多個攝像機的待拼接圖像能夠不經(jīng)過解碼端的后期圖像處理，解碼之后在相應(yīng)位置進行播放即可達到圖像拼接的效果，降低了解碼端的性能消耗，不再限制圖像拼接攝像機數(shù)量及分辨率，同時豐富了圖像拼接的用途及使用場景。
【IPC分類】H04N7/18, H04N5/262, H04N21/8547
【公開號】CN105306837
【申請?zhí)枴緾N201510706192
【發(fā)明人】林國亮, 葉倩燕
【申請人】浙江宇視科技有限公司
【公開日】2016年2月3日
【申請日】2015年10月27日