多圖像拼接方法及裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及圖像處理領域，尤其涉及多圖像拼接方法及裝置。
【背景技術】
[0002]由于攝像機的可視域有限，因此對于一個較為開闊的場景中會存在多個攝像機，從不同部分進行拍攝，并在后期對圖像進行拼接。由于各個攝像機的安裝位置并不一定在同一水平線上，因此拍攝到的圖像也不一定在同一水平線上，并且成像區(qū)域可能存在重疊冗余的現(xiàn)象，因此在解碼端需要對圖像進行耦合運算后期處理，包括將各攝像機成像區(qū)域中冗余部分刪除再進行拉伸使得大小一致后再進行圖像拼接，形成完整的視頻圖像之后再進行視頻圖像的存儲和回放。但是，在解碼端上進行圖像拼接存在如下問題:在解碼端進行上述圖像處理所需的性能消耗大，如果需要拼接圖像的攝像機數(shù)目較多，會導致解碼端無法處理。一般的解碼端能夠支持的攝像機路數(shù)不超過6路。
[0003]因此，現(xiàn)有技術的這種拼接圖像的方式對同時能夠進行拼接圖像的攝像機數(shù)量存在較大限制。

【發(fā)明內(nèi)容】

[0004]為了解決現(xiàn)有技術這種拼接方法所存在的問題，本發(fā)明提供了一種拼接方法，大大降低了解碼端性能對攝像機數(shù)量的限制，提高拼接圖像的攝像機路數(shù)，使得圖像拼接得到更大的圖像視野范圍并適用于更多的場景。
[0005]—種多圖像拼接方法，包括:
[0006]解碼端獲取各待拼接攝像機所拍攝圖像中需拼接區(qū)域的區(qū)域信息和各待拼接攝像機的拼接位置關系，并將獲取到的需拼接區(qū)域的區(qū)域信息發(fā)送給對應的攝像機；
[0007]各待拼接攝像機根據(jù)需拼接區(qū)域的區(qū)域信息進行圖像編碼，并輸出待拼接圖像；
[0008]解碼端根據(jù)所述拼接位置關系同時顯示各待拼接攝像機輸出的待拼接圖像，以形成完整的圖像。
[0009]各攝像機拍攝的圖像之間存在重疊、冗余部分；且由于實際施工的問題，各個攝像機所拍攝的圖像并不是在同一水平線上的，會導致圖像上下錯位。而實際上，用戶只關心各圖像中的部分區(qū)域，因此如果僅僅對用戶關心的區(qū)域拼接，則不需要消耗大量的解碼端性能去進行去除冗余及拉伸對齊這樣的處理。攝像機擺放位置決定了待拼接圖像拼接時的拼接位置關系，例如攝像機A、B、C、D所固定的位置分別拍攝場景左上角、右上角、左下角、右下角的圖像，則在顯示時對應的攝像機輸出的待拼接圖像也是按照這樣的位置關系進行顯示。因此，將此拼接位置關系存放在解碼端，在進行顯示時對應攝像機的待拼接圖像根據(jù)此拼接位置關系進行同時顯示，從而得到完整的圖像。
[0010]本發(fā)明的多圖像拼接方法，在解碼端不需要再對圖像進行去冗余、拉伸等耦合運算，只需要將同時拍攝得到的待拼接圖像按照一定的方位同時顯示即可達到圖像拼接的效果，因此極大地降低了解碼端的性能消耗，對應地可以大幅度地提高可拼接圖像的攝像機數(shù)量，使得圖像拼接達到更寬闊的場景，并增加了適用的場景。
[0011]進一步而言，各待拼接攝像機所拍攝圖像中需拼接區(qū)域的區(qū)域信息為需拼接區(qū)域的坐標信息，所述解碼端獲取需拼接區(qū)域的區(qū)域信息的過程包括:由用戶輸入需拼接區(qū)域的坐標信息，或由解碼端將用戶選擇的需拼接區(qū)域轉(zhuǎn)換為需拼接區(qū)域的坐標信息。
[0012]各攝像機在進行待拼接圖像的獲取時，先建立得到待拼接圖像的各個攝像機的實況，用戶在顯示的圖像中可以根據(jù)自己的需要，對關心的區(qū)域進行選擇，用戶在手動選擇時即可剔除冗余部分以及不重要的部分。用戶可以手動地輸入坐標以精確選擇，或者進行框選，由解碼端把用戶框選的區(qū)域轉(zhuǎn)化為坐標。這樣，在解碼端進行顯示時直接將用戶所需要的部分進行拼接顯示，而不需要調(diào)整水平位置或進行去重，從而降低了解碼端的性能消耗。
[0013]進一步而言，所述各待拼接攝像機根據(jù)需拼接區(qū)域的區(qū)域信息進行圖像編碼，具體包括:所述各待拼接攝像機在采集的圖像區(qū)域中選擇需拼接的圖像區(qū)域，并僅對選擇的需拼接的圖像區(qū)域進行編碼。
[0014]本發(fā)明通過只對用戶感興趣的區(qū)域(即需拼接的區(qū)域)進行拼接來降低解碼端的圖像處理性能消耗。攝像機在采集到模擬信號的圖像后，需要先經(jīng)過模數(shù)轉(zhuǎn)換再進行編碼，將編碼后的圖像發(fā)送至解碼端進行解碼。通過將編碼區(qū)域從原先的整個圖像縮減到僅僅為需拼接的區(qū)域，減少了攝像機需要編碼的工作量，從而也減少了解碼端解碼的工作量，可以提尚解碼端的效率。
[0015]進一步而言，在所述解碼端根據(jù)所述拼接位置關系同時顯示各待拼接攝像機輸出的待拼接圖像之前，還包括:解碼端向各待拼接攝像機發(fā)送強制編幀的請求，以調(diào)整各待拼接攝像機的拍攝時間；
[0016]各待拼接攝像機根據(jù)該請求輸出相同時刻拍攝的待拼接圖像。
[0017]由于攝像機啟動編碼時間與攝像機上電時間相關，各攝像機之間上電時間不一致，從而會導致攝像機進行編幀時的圖像不一致，解碼端所顯示的圖像之間就會存在時間差。因此，通過強制編幀的方式，強制所有的攝像機在啟動實況的時刻同時拍攝圖像并編碼，由于攝像機的拍攝圖像幀率是一致的，因此從強制編幀時刻起，隨后的各幀圖像均為同步拍攝，從而能夠保證解碼端顯示的圖像也是各攝像機同時拍攝的。強制編幀主要克服了各個攝像機編幀時間不一致的問題，避免了拼接圖像時間不一樣導致拼接圖像出現(xiàn)重影或圖像不一致等現(xiàn)象。
[0018]進一步而言，待拼接攝像機輸出的待拼接圖像中還攜帶拍攝時間對應的時間戳信息，各待拼接攝像機在相同時刻拍攝的待拼接圖像中所攜帶的時間戳信息一致；
[0019]對應地，解碼端根據(jù)所述拼接位置關系將各待拼接攝像機輸出的時間戳信息一致的待拼接圖像進行同時顯示。
[0020]由于網(wǎng)絡抖動原因，在解碼端收到的待拼接圖像緩存隊列中每幀的排列順序可能不是按時間排列，如果直接按照接收到的圖像順序進行顯示時，就會出現(xiàn)待拼接圖像不一致的現(xiàn)象。通過將各攝像機的本地時間調(diào)為一致，則在輸出的每幀待拼接圖像中加入的時間戳是一致的，而在解碼端，不依靠接收到的待拼接圖像先后順序而是通過判斷時間戳是否一致，來確保拼接的圖像均為同一時刻的圖像，從而使得拼接形成的圖像可以消除網(wǎng)絡抖動帶來的影響。
[0021]為了應用本發(fā)明的多圖像拼接方法，本發(fā)明還公開了對應的多圖像拼接裝置，解決現(xiàn)有技術所存在的問題。
[0022]—種多圖像拼接裝置，應用于解碼端，包括:
[0023]拼接信息獲取單元，用于獲取各待拼接攝像機所拍攝圖像中需拼接區(qū)域的區(qū)域信息和各待拼接攝像機的拼接位置關系；
[0024]拼接信息發(fā)送單元，用于將獲取到的需拼接區(qū)域的區(qū)域信息發(fā)送給對應的攝像機，使得各待拼接攝像機根據(jù)需拼接區(qū)域的區(qū)域信息進行圖像編碼并輸出待拼接圖像；
[0025]拼接顯示單元，用于根據(jù)所述拼接位置關系同時顯示各待拼接攝像機輸出的待拼接圖像，以形成完整的圖像。
[0026]各攝像機拍攝的圖像之間存在重疊、冗余部分；且由于實際施工的問題，各個攝像機所拍攝的圖像并不是在同一水平線上的，會導致圖像上下錯位。而實際上，用戶只關心各圖像中的部分區(qū)域，因此如果僅僅對用戶關心的區(qū)域拼接，則不需要消耗大量的解碼端性能去進行去除冗余及拉伸對齊這樣的處理。本發(fā)明通過只對用戶感興趣的區(qū)域(即需拼接的區(qū)域)進行拼接來降低解碼端的圖像處理性能消耗。攝像機在采集到模擬信號的圖像后，需要先經(jīng)過模數(shù)轉(zhuǎn)換再進行編碼，將編碼后的圖像發(fā)送至解碼端進行解碼。通過將編碼區(qū)域從原先的整個圖像縮減到僅僅為需拼接的區(qū)域，減少了攝像機需要編碼的工作量，從而也減少了解碼端解碼的工作量，可以提高解碼端的效率。攝像機擺放位置決定了待拼接圖像拼接時的拼接位置關系，例如攝像機A、B、C、D所固定的位置分別拍攝場景左上角、右上角、左下角、右下角的圖像，則在顯示時對應的攝像機輸出的待拼接圖像也是按照這樣的拼接位置關系進行顯示。因此，將此拼接位置關系存放在解碼端，在進行顯示時對應攝像機的待拼接圖像根據(jù)此拼接位置關系進行同時顯示，從而得到完整的圖像。
[0027]本發(fā)明的多圖像拼接方法，在解碼端不需要再對圖像進行去冗余、拉伸等耦合運算，只需要將同時拍攝得到的待拼接圖像按照一定的方位同時顯示即可達到圖像拼接的效果，因此極大地降低了解碼端的性能消耗，對應地可以大幅度地提高可拼接圖像的攝像機數(shù)量，使得圖像拼接達到更寬闊的場景，并增加了適用的場景。
[0028]進一步而言，拼接信息發(fā)