本技術涉及圖像處理,特別是涉及一種用于億級像素計算成像系統(tǒng)的目標跟蹤顯示方法、裝置、億級像素計算成像系統(tǒng)、計算機設備、存儲介質和計算機程序產(chǎn)品。
背景技術:
1、視頻監(jiān)控因具有可靠性高、及時性強、便于查看等優(yōu)點,已廣泛應用于安防領域。當監(jiān)控范圍較大時,為實現(xiàn)大場景的超高清視頻監(jiān)控,出現(xiàn)了基于陣列攝像機的億級像素計算成像系統(tǒng),通過陣列攝像機包含的多個長焦窄視野的子相機對監(jiān)控場景拍攝多路局部高清視頻,進而將各局部視頻拼接融合,得到大視野或寬視野的可達億像素級別的超高清融合視頻,用于顯示終端進行展示,適用于對機場、公路、園區(qū)、運動賽場、邊關、海面等較大場景進行視頻拍攝和安全監(jiān)控。
2、在某些場景下,由于受限于顯示終端的分辨率,為了在顯示終端顯示完整畫幅的融合視頻,通常需將高分辨率的融合視頻縮小(下采樣或降采樣)至合適的分辨率進行展示,當工作人員需跟蹤查看融合視頻中指定目標(如人、車等)的行跡和動態(tài)時,可選取指定目標所在的局部畫面進行放大顯示。
3、然而,隨著指定目標運動發(fā)生位移,若采用上述方法進行目標跟蹤顯示,需頻繁手動選取新的局部畫面進行放大,存在效率較低、操作便利性差的問題。
技術實現(xiàn)思路
1、基于此,有必要針對上述技術問題,提供一種能夠提高效率和操作便利性的目標跟蹤顯示方法、裝置、億級像素計算成像系統(tǒng)、計算機設備、計算機可讀存儲介質和計算機程序產(chǎn)品。
2、第一方面,本技術提供了一種用于億級像素計算成像系統(tǒng)的目標跟蹤顯示方法。所述方法包括:
3、獲取陣列攝像機拍攝的多路局部視頻,將各路所述局部視頻拼接融合得到融合視頻;
4、對所述融合視頻的各幀融合視頻圖像進行目標檢測和目標跟蹤,得到所述融合視頻圖像中各目標對象的融合位置信息和特征圖像,并將所述目標對象的全局唯一標識、所述融合視頻圖像的時間戳信息和所述融合位置信息對應存儲在目標信息表中;
5、獲取當前幀融合視頻圖像,基于所述當前幀融合視頻圖像生成全景播放圖像,并將所述全景播放圖像以及所述當前幀融合視頻圖像中各所述目標對象的全局唯一標識和特征圖像發(fā)送給客戶端;所述全景播放圖像用于所述客戶端在第一顯示界面的全景視頻播放區(qū)顯示所述全景播放圖像,所述特征圖像用于所述客戶端在所述第一顯示界面的目標展示區(qū)顯示各所述目標對象對應的特征圖像;
6、接收所述客戶端發(fā)送的目標跟蹤顯示請求,確定指定跟蹤目標的全局唯一標識;
7、基于所述指定跟蹤目標的全局唯一標識和當前獲取到的新的當前幀融合視頻圖像的時間戳信息,在所述目標信息表中查詢匹配的目標融合位置信息,并在所述新的當前幀融合視頻圖像中獲取所述目標融合位置信息對應的局部融合圖像,將所述局部融合圖像發(fā)送給所述客戶端,用于所述客戶端在第二顯示界面的目標跟蹤播放區(qū)顯示包含所述指定跟蹤目標的所述局部融合圖像。
8、在其中一個實施例中,根據(jù)權利要求1所述的方法,其特征在于,所述對所述融合視頻的各幀融合視頻圖像進行目標檢測和目標跟蹤,得到所述融合視頻圖像中各目標對象的融合位置信息和特征圖像,包括:
9、針對所述陣列攝像機包含的各子相機在同一時刻拍攝的一組局部視頻圖像,采用目標檢測算法分別檢測該組內每個所述局部視頻圖像包含的目標對象,得到該組局部視頻圖像中各目標對象的局部位置信息;
10、將所述局部視頻圖像中各目標對象的局部位置信息進行坐標轉換,得到各目標對象在該組局部視頻圖像對應的該幀融合視頻圖像中的融合位置信息;
11、基于各所述目標對象在相鄰幀融合視頻圖像中的融合位置信息,對各所述目標對象進行跟蹤,為不同幀融合視頻圖像中包含的同一目標對象分配同一個全局唯一標識;
12、基于所述融合位置信息在所述融合視頻圖像中獲取各所述目標對象的特征圖像。
13、在其中一個實施例中,所述將所述局部視頻圖像中各目標對象的局部位置信息進行坐標轉換,得到各目標對象在該組局部視頻圖像對應的該幀融合視頻圖像中的融合位置信息,包括:
14、基于各所述子相機對應的坐標轉換矩陣,將所述局部視頻圖像中各目標對象的局部位置信息進行坐標轉換,得到各目標對象在該組局部視頻圖像對應的融合視頻圖像中的初始融合位置信息;
15、將每個所述局部視頻圖像中的各目標對象與同組內其它局部視頻圖像中的各目標對象進行匹配處理,確定出匹配成功的目標對象;所述匹配成功的目標對象指在同組內至少兩個局部視頻圖像中檢測出的相同目標對象;
16、將匹配成功的目標對象的多個初始融合位置信息進行合并,得到該目標對象的融合位置信息,并將未匹配成功的目標對象的初始融合位置信息確定為融合位置信息。
17、在其中一個實施例中,所述將每個所述局部視頻圖像中的各目標對象與同組內其它局部視頻圖像中的各目標對象進行匹配處理,確定出匹配成功的目標對象,包括:
18、基于各所述目標對象的初始融合位置信息,計算同組內任意兩個局部視頻圖像間任意兩個目標對象的位置重疊度,并將所述位置重疊度大于預設閾值的目標對象確定為匹配成功的目標對象。
19、在其中一個實施例中,所述接收所述客戶端發(fā)送的目標跟蹤顯示請求,確定指定跟蹤目標的全局唯一標識,包括:
20、在接收到所述客戶端發(fā)送的第一類型目標跟蹤顯示請求的情況下,獲取所述目標跟蹤顯示請求攜帶的指定跟蹤目標的全局唯一標識;所述第一類型目標跟蹤顯示請求是所述客戶端檢測到用戶在所述目標展示區(qū)顯示的各特征圖像中針對指定特征圖像的選擇操作,基于所述指定特征圖像對應的指定跟蹤目標的全局唯一標識生成并發(fā)送給服務器的目標跟蹤顯示請求。
21、在其中一個實施例中,所述基于所述當前幀融合視頻圖像生成全景播放圖像之后,還包括:
22、將所述當前幀融合視頻圖像的時間戳信息確定為所述全景播放圖像的時間戳信息,并將所述全景播放圖像的時間戳信息發(fā)送給所述客戶端;
23、所述接收所述客戶端發(fā)送的目標跟蹤顯示請求,確定指定跟蹤目標的全局唯一標識,包括:
24、在接收到所述客戶端發(fā)送的第二類型目標跟蹤顯示請求的情況下,獲取所述目標跟蹤顯示請求攜帶的指定時間戳信息和指定融合位置信息;所述第二類型目標跟蹤顯示請求是所述客戶端檢測到用戶在所述全景視頻播放區(qū)中任意位置觸發(fā)的目標跟蹤顯示指令,將觸發(fā)指令時顯示的全景播放圖像的時間戳信息確定為指定時間戳信息,根據(jù)觸發(fā)指令的位置確定指定融合位置信息,基于所述指定時間戳信息和所述指定融合位置信息生成并發(fā)送給服務器的目標跟蹤顯示請求;
25、在所述目標信息表中查詢與所述指定時間戳信息和指定融合位置信息對應的全局唯一標識,得到指定跟蹤目標的全局唯一標識。
26、第二方面,本技術還提供了一種目標跟蹤顯示系統(tǒng)。所述億級像素計算成像系統(tǒng)包括陣列攝像機、服務器和客戶端,所述陣列攝像機包含多個子相機,其中:
27、所述陣列攝像機用于通過多個子相機對目標場景進行視頻拍攝,并將拍攝的多路局部視頻發(fā)送給服務器;
28、所述服務器,用于將獲取的各所述局部視頻拼接融合得到融合視頻;
29、所述服務器還用于對所述融合視頻的各幀融合視頻圖像進行目標檢測和目標跟蹤,得到所述融合視頻圖像中各目標對象的融合位置信息和特征圖像,并將所述目標對象的全局唯一標識、所述融合視頻圖像的時間戳信息和所述融合位置信息對應存儲在目標信息表中;獲取當前幀融合視頻圖像,基于所述當前幀融合視頻圖像生成全景播放圖像,并將所述全景播放圖像以及所述當前幀融合視頻圖像中各所述目標對象的全局唯一標識及特征圖像發(fā)送給客戶端;
30、所述客戶端用于接收所述服務器發(fā)送的所述全景播放圖像以及所述全景播放圖像對應的融合視頻圖像中各所述目標對象的全局唯一標識和特征圖像,在第一顯示界面的全景視頻播放區(qū)顯示所述全景播放圖像,在所述第一顯示界面的目標展示區(qū)顯示各所述目標對象對應的特征圖像;
31、所述客戶端還用于響應于用戶針對指定跟蹤對象的觸發(fā)操作,向所述服務器發(fā)送目標跟蹤顯示請求;
32、所述服務器還用于接收所述客戶端發(fā)送的目標跟蹤顯示請求,確定指定跟蹤目標的全局唯一標識;基于所述指定跟蹤目標的全局唯一標識和當前獲取到的新的當前幀融合視頻圖像的時間戳信息,在所述目標信息表中查詢匹配的目標融合位置信息,并在所述新的當前幀融合視頻圖像中截取所述目標融合位置信息對應的局部融合圖像,將所述局部融合圖像發(fā)送給所述客戶端;
33、所述客戶端還用于在第二顯示界面的目標跟蹤播放區(qū)顯示包含所述指定跟蹤目標的所述局部融合圖像。
34、第三方面,本技術還提供了一種目標跟蹤顯示裝置。所述裝置包括:
35、融合模塊,用于獲取陣列攝像機拍攝的多路局部視頻,將各路所述局部視頻拼接融合得到融合視頻;
36、目標跟蹤模塊,用于對所述融合視頻的各幀融合視頻圖像進行目標檢測和目標跟蹤,得到所述融合視頻圖像中各目標對象的融合位置信息和特征圖像,并將所述目標對象的全局唯一標識、所述融合視頻圖像的時間戳信息和所述融合位置信息對應存儲在目標信息表中;
37、第一發(fā)送模塊,用于獲取當前幀融合視頻圖像,基于所述當前幀融合視頻圖像生成全景播放圖像,并將所述全景播放圖像以及所述當前幀融合視頻圖像中各所述目標對象的全局唯一標識和特征圖像發(fā)送給客戶端;所述全景播放圖像用于所述客戶端在第一顯示界面的全景視頻播放區(qū)顯示所述全景播放圖像,所述特征圖像用于所述客戶端在所述第一顯示界面的目標展示區(qū)顯示各所述目標對象對應的特征圖像;
38、確定模塊,用于接收所述客戶端發(fā)送的目標跟蹤顯示請求,確定指定跟蹤目標的全局唯一標識;
39、第二發(fā)送模塊,用于基于所述指定跟蹤目標的全局唯一標識和當前獲取到的新的當前幀融合視頻圖像的時間戳信息,在所述目標信息表中查詢匹配的目標融合位置信息,并在所述新的當前幀融合視頻圖像中獲取所述目標融合位置信息對應的局部融合圖像,將所述局部融合圖像發(fā)送給所述客戶端,用于所述客戶端在第二顯示界面的目標跟蹤播放區(qū)顯示包含所述指定跟蹤目標的所述局部融合圖像。
40、第四方面,本技術還提供了一種計算機設備。所述計算機設備包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)第一方面所述的方法的步驟。
41、第五方面,本技術還提供了一種計算機可讀存儲介質。所述計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)第一方面所述的方法的步驟。
42、第六方面,本技術還提供了一種計算機程序產(chǎn)品。所述計算機程序產(chǎn)品,包括計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)第一方面所述的方法的步驟。
43、上述用于億級像素計算成像系統(tǒng)的目標跟蹤顯示方法、裝置、億級像素計算成像系統(tǒng)、計算機設備、存儲介質和計算機程序產(chǎn)品,通過陣列攝像機對目標區(qū)域進行視頻拍攝和拼接融合得到多幀融合視頻圖像,對每一幀融合視頻圖像中包含的目標對象進行檢測和跟蹤,得到各幀融合視頻圖像中個目標對象的融合位置信息,以及各目標對象的特征圖像,將融合視頻圖像對應的全景播放圖像(如與客戶端分辨率匹配的全景圖像)發(fā)送給客戶端顯示,并將該融合視頻圖像中包含的目標對象的特征圖像和全局唯一標識信息發(fā)送給客戶端,使得客戶端可以在當前界面同時顯示全景播放圖像和該圖像中包含的目標對象的特征圖像。用戶可以在當前界面觸發(fā)目標跟蹤顯示請求,如點擊特征圖像或在全景播放圖像中點擊目標所在的位置觸發(fā),從而服務器在接收到目標跟蹤顯示請求后,針對之后每個時刻的當前幀融合視頻圖像,根據(jù)指定跟蹤目標的全局唯一標識在目標信息表中查詢指定跟蹤目標在當前幀融合視頻圖像(通常是當前最新融合得到的一幀融合視頻圖像)中的位置信息,進而在當前幀融合視頻圖像中截取相應位置的局部融合圖像發(fā)送給客戶端進行顯示。
44、由于局部融合圖像中主要是指定跟蹤目標的像素點,尺寸遠小于原始融合視頻圖像的尺寸(通常小于一幀局部視頻圖像的尺寸),不需縮小即可與客戶端的顯示分辨率匹配,因而客戶端顯示的局部融合圖像可以保留指定跟蹤目標的細節(jié)信息,以滿足工作人員跟蹤監(jiān)控目標動態(tài)的需求。工作人員在觀看全景播放視頻的過程中,可以根據(jù)需要隨時觸發(fā)對當前播放畫面中任意目標的跟蹤顯示,操作便利、目標跟蹤顯示的效率高,且能保障目標跟蹤顯示的準確性和連續(xù)性。