一種證據(jù)鏈形式的船舶視頻的生成及顯示方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺(jué)及信息融合技術(shù)領(lǐng)域，具體涉及船舶監(jiān)控系統(tǒng)中查詢及取 證任務(wù)使用的一種證據(jù)鏈形式的船舶視頻的生成及顯示方法。
【背景技術(shù)】
[0002] 船舶視頻監(jiān)控系統(tǒng)通常被集成在船舶交通管理系統(tǒng)（VesselTraffic Service，VTS)或電子巡航系統(tǒng)中，用于港區(qū)船舶航行的監(jiān)控管理，以彌補(bǔ)雷達(dá)存在盲區(qū)、易 受電子干擾和無(wú)真實(shí)圖像等不足，其重要性在整個(gè)VTS中正逐漸增強(qiáng)。目前，國(guó)內(nèi)外部署的 VTS中，視頻監(jiān)控系統(tǒng)的各種應(yīng)用操作大多采用人工手段，智能化水平較低。
[0003] 對(duì)于船舶監(jiān)控系統(tǒng)來(lái)說(shuō)，調(diào)閱指定船舶的歷史視頻信息是一項(xiàng)基本的任務(wù)。然而， 從多個(gè)攝像機(jī)的長(zhǎng)時(shí)間視頻錄像中找出包含指定船舶的所有信息無(wú)疑是非常費(fèi)時(shí)費(fèi)力的， 而且很容易出錯(cuò)。另外，找到指定船舶的一段視頻后，自動(dòng)識(shí)別出指定船舶目標(biāo)和其他船 舶，對(duì)于觀察船舶目標(biāo)并分析船舶行為具有非常重要的意義。
[0004]目前關(guān)于船舶視頻監(jiān)控系統(tǒng)的文獻(xiàn)中，通常將CCTV系統(tǒng)與AIS系統(tǒng)進(jìn)行互聯(lián)互 通，以實(shí)現(xiàn)對(duì)船舶的智能監(jiān)控管理。如文章《AIS，CCTV，VTS整合及功能拓展》（龔瑞卿，中國(guó) 水運(yùn)，第10期，2005年，P42-43)介紹了一種CCTV與AIS整合聯(lián)動(dòng)的例子，當(dāng)船舶有碰撞危 險(xiǎn)或擱淺危險(xiǎn)時(shí)，除自動(dòng)報(bào)警外還可依據(jù)船舶的AIS信息控制CCTV自動(dòng)調(diào)整到對(duì)此船舶的 最佳觀測(cè)狀態(tài)，以便可以更好地發(fā)現(xiàn)問(wèn)題并及時(shí)解決；文章《基于AIS數(shù)據(jù)的智能船舶動(dòng)態(tài) 視頻監(jiān)控系統(tǒng)設(shè)計(jì)》（周劍敏，王捷，上海海事大學(xué)學(xué)報(bào)，第4期，第30卷，2009年，p26-29) 介紹了一種利用AIS數(shù)據(jù)進(jìn)行智能船舶動(dòng)態(tài)視頻監(jiān)控的方法，根據(jù)AIS系統(tǒng)中獲取的船舶 動(dòng)態(tài)數(shù)據(jù)，設(shè)計(jì)自動(dòng)監(jiān)控決策控制模塊，通過(guò)驅(qū)動(dòng)攝像機(jī)陣列對(duì)待監(jiān)控船舶隊(duì)列進(jìn)行智能 排序定位，實(shí)現(xiàn)對(duì)航行船舶的自動(dòng)化智能視頻跟蹤。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是：提供一種證據(jù)鏈形式的船舶視頻的生成及顯示方法，從眾多監(jiān) 控?cái)z像機(jī)的長(zhǎng)時(shí)間視頻錄像中快速提取出包含指定船舶的多個(gè)視頻片段，并將其按時(shí)間順 序排列起來(lái)形成證據(jù)鏈。
[0006] 本發(fā)明公開了一種證據(jù)鏈形式的船舶視頻的生成及顯示方法，包括如下步驟：
[0007] 步驟1 :計(jì)算監(jiān)控?cái)z像機(jī)的視場(chǎng)角范圍：依據(jù)攝像機(jī)的成像模型和自身參數(shù)，計(jì)算 出攝像機(jī)的視場(chǎng)角范圍，用于判斷船舶目標(biāo)能否進(jìn)入攝像機(jī)的監(jiān)控畫面中；
[0008] 步驟2 :推算船舶目標(biāo)進(jìn)入和駛離每一個(gè)攝像機(jī)監(jiān)控范圍的時(shí)間：根據(jù)船舶目標(biāo) 歷史AIS信息中的位置、時(shí)間信息以及攝像機(jī)的觀測(cè)范圍公式，判斷出該船舶目標(biāo)處于攝 像機(jī)的觀測(cè)范圍之內(nèi)的時(shí)刻，進(jìn)而計(jì)算出船舶目標(biāo)進(jìn)入和駛離監(jiān)控范圍的時(shí)間點(diǎn)；
[0009] 步驟3 :截取視頻片段并形成證據(jù)鏈：按照計(jì)算出來(lái)的船舶進(jìn)入和駛離每一個(gè)攝 像機(jī)監(jiān)控范圍的時(shí)間點(diǎn)，從每一個(gè)攝像機(jī)的監(jiān)控錄像中截取包含該船舶目標(biāo)的視頻片段并 按時(shí)間順序排列起來(lái)形成證據(jù)鏈；
[0010] 步驟4 :檢測(cè)視頻畫面中的運(yùn)動(dòng)船舶目標(biāo)；提取一幀證據(jù)鏈視頻圖像，采用幀間差 法，通過(guò)將當(dāng)前幀圖像與上一幀圖像相減來(lái)檢測(cè)出圖像中發(fā)生變化的區(qū)域，進(jìn)而得到船舶 目標(biāo)輪廓，實(shí)現(xiàn)船舶目標(biāo)檢測(cè)，得到船舶目標(biāo)檢測(cè)區(qū)域；
[0011] 步驟5 :獲取視頻畫面時(shí)刻進(jìn)入攝像機(jī)監(jiān)控范圍內(nèi)的船舶AIS信息：首先判斷視頻 畫面來(lái)自哪一臺(tái)攝像機(jī)，然后根據(jù)所有船舶的AIS信息序列及攝像機(jī)的觀測(cè)范圍公式，查 找視頻畫面時(shí)刻進(jìn)入該攝像機(jī)觀測(cè)范圍內(nèi)的所有船舶的AIS信息；
[0012] 步驟6 :融合船舶圖像信息與AIS信息，顯示視頻。
[0013] 本發(fā)明步驟1中，通過(guò)以下攝像機(jī)觀測(cè)范圍公式判斷船舶目標(biāo)所處的空間點(diǎn) P(H，z。）能否進(jìn)入攝像機(jī)的監(jiān)控畫面中：
[0014]
[0015] 其中，W表示視頻圖像的寬度，Η表示視頻圖像的高度，f'x，f' ￥分別表示水平方 向和豎直方向上的像素焦距，u。，V。表示攝像機(jī)光軸投影點(diǎn)的像素坐標(biāo)值，X。，y。，z。分別表示 目標(biāo)點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)值。下標(biāo)c表明是在攝像機(jī)坐標(biāo)系下的坐標(biāo)。
[0016] 本發(fā)明步驟2包括：
[0017] 步驟2-1 :獲取指定船舶目標(biāo)在各個(gè)時(shí)刻的AIS信息，并且按照時(shí)間先后順序排列 為一個(gè)序列；
[0018] 步驟2-2 :針對(duì)每一個(gè)攝像機(jī)，從AIS信息序列中找出第一個(gè)和最后一個(gè)滿足相機(jī) 觀測(cè)范圍公式的時(shí)刻，最早滿足公式的時(shí)刻即為船舶進(jìn)入相機(jī)觀測(cè)范圍的時(shí)刻，最后滿足 公式的時(shí)刻為船舶駛離觀測(cè)范圍的時(shí)刻；判斷船舶位置是否處于攝像機(jī)觀測(cè)范圍之內(nèi)的方 法為：將AIS信息中的船舶位置轉(zhuǎn)換為攝像機(jī)坐標(biāo)系下的坐標(biāo)，再將其代入攝像機(jī)觀測(cè)范 圍公式中進(jìn)行判斷。
[0019] 本發(fā)明步驟3通過(guò)推算船舶目標(biāo)進(jìn)入和駛離每一個(gè)攝像機(jī)監(jiān)控范圍的時(shí)間來(lái)截 取視頻片段，并按時(shí)間順序排列形成證據(jù)鏈，包括：
[0020] 步驟3-1 :按照計(jì)算出來(lái)的船舶進(jìn)入和駛離每一個(gè)攝像機(jī)監(jiān)控范圍的時(shí)間點(diǎn)，從 每一個(gè)攝像機(jī)的監(jiān)控錄像中截取包含該船舶目標(biāo)的視頻片段；
[0021] 步驟3-2:以船舶進(jìn)入攝像機(jī)觀測(cè)范圍的時(shí)刻為依據(jù)，將各個(gè)視頻片段按時(shí)間先 后順序排列起來(lái)形成證據(jù)鏈視頻。
[0022] 本發(fā)明步驟4包括：
[0023] 步驟4-1 :將當(dāng)前圖像與上一幀圖像相減，得到幀差圖：
[0024] Rt(i，j) = |lt(i，j)_Itl(i，j) |，
[0025] 其中，It(i，j)表示t時(shí)刻的視頻圖像，ItJi，j)表示t-1時(shí)刻的視頻圖像，Rt(i，j) 表示t時(shí)刻的幀差圖；
[0026] 步驟4-2 :使用預(yù)設(shè)閾值對(duì)幀差圖進(jìn)行二值化操作，得到運(yùn)動(dòng)區(qū)域圖：
[0027]
[0028] 其中，Wt(i，j)表示運(yùn)動(dòng)區(qū)域圖，thres為二值化閾值；
[0029] 步驟4-3:對(duì)區(qū)域圖進(jìn)行開運(yùn)算，濾除虛假船舶目標(biāo)；
[0030] 步驟4-4:對(duì)區(qū)域圖進(jìn)行閉運(yùn)算，填補(bǔ)船舶目標(biāo)區(qū)域中的空隙和間隔；
[0031] 步驟4-5:檢測(cè)聯(lián)通區(qū)域，得出船舶目標(biāo)輪廓和外接矩形框，顯示在視頻畫面上， 完成檢測(cè)，得到船舶目標(biāo)檢測(cè)區(qū)域。
[0032] 本發(fā)明步驟5包括：
[0033] 步驟5-1 :計(jì)算當(dāng)前視頻畫面所屬的攝像機(jī)；
[0034] 步驟5-2 :考察一個(gè)船舶目標(biāo)，獲取其各個(gè)時(shí)刻AIS信息所組成的序列；
[0035] 步驟5-3 :從中找出視頻畫面時(shí)刻所對(duì)應(yīng)的AIS信息；
[0036] 步驟5-4 :利用該AIS信息中的船舶位置和攝像機(jī)觀測(cè)范圍公式，判斷所述船舶目 標(biāo)此刻是否進(jìn)入攝像機(jī)觀測(cè)范圍內(nèi)，如果在觀測(cè)范圍內(nèi)，則將該AIS信息作為一項(xiàng)結(jié)果保 存起來(lái)，返回步驟5-2,直至考察完所有船舶。
[0037] 本發(fā)明步驟6包括：
[0038] 步驟6-1 :計(jì)算步驟4得到船舶目標(biāo)檢測(cè)區(qū)域的質(zhì)心，得到船舶在圖像上的位置點(diǎn) 集，即檢測(cè)點(diǎn)集；
[0039] 步驟6-2:從步驟5獲取的船舶AIS信息中提取空間位置信息，形成船舶在空間中 的位置點(diǎn)集，即空間點(diǎn)集；
[0040] 步驟6-3 :將船舶的空間位置投影至圖像上得到投影點(diǎn)集；
[0041] 步驟6-4:尋找檢測(cè)點(diǎn)集與投影點(diǎn)集之間的最佳匹配點(diǎn)對(duì)：遍歷匹配點(diǎn)對(duì)的所有 情況，由匹配點(diǎn)對(duì)之間的位置關(guān)系計(jì)算相應(yīng)的平移變換參數(shù)，對(duì)所有的投影點(diǎn)進(jìn)行平移變 換；計(jì)算所有檢測(cè)點(diǎn)與最近投影點(diǎn)間距離的平均值作為衡量該平移變換準(zhǔn)確與否的指標(biāo)； 選擇衡量指標(biāo)最好的那個(gè)平移變換對(duì)所有投影點(diǎn)進(jìn)行位置偏差補(bǔ)償；
[0042] 步驟6-5 :采用最近鄰法完成匹配任務(wù)：對(duì)于每一個(gè)投影點(diǎn)，與其距離最近的檢測(cè) 點(diǎn)為其匹配點(diǎn)；同時(shí)設(shè)置門限，當(dāng)最小距離大于一定閾值時(shí)認(rèn)為該投影點(diǎn)為局外野值；當(dāng) 兩個(gè)以上投影點(diǎn)對(duì)應(yīng)同一個(gè)檢測(cè)點(diǎn)時(shí)，判斷艦船檢測(cè)時(shí)出現(xiàn)船舶目標(biāo)粘連現(xiàn)象，則這個(gè)檢 測(cè)點(diǎn)為兩個(gè)以上船舶目標(biāo)聯(lián)合區(qū)域的中心；
[0043] 步驟6-6 :明確關(guān)聯(lián)關(guān)系，得到每一個(gè)船舶檢測(cè)區(qū)域所對(duì)應(yīng)的AIS信息；
[0044] 步驟6-7 :顯示視頻，在船舶檢測(cè)框內(nèi)展示出包括船舶的身份、航行狀態(tài)和航行計(jì) 劃的AIS信息。
[0045] 本發(fā)明綜合利用閉路電視監(jiān)控系統(tǒng)（ClosedCircuitTelevision,CCTV)和船舶 自動(dòng)識(shí)別系統(tǒng)（AutomaticIdentificationSystem,AIS)，智能地生成并顯示指定船舶的 視頻證據(jù)鏈，提高船舶監(jiān)控系統(tǒng)中查詢與取證的效率。
[0046]本發(fā)明具有智能化和全自動(dòng)的優(yōu)點(diǎn)，能夠從眾多攝像機(jī)的長(zhǎng)時(shí)間視頻錄