本發(fā)明涉及巡檢管理，尤其是涉及一種碼頭堆場全域可視化視頻融合智能巡檢方法及其平臺。

背景技術(shù)：

1、堆場作為干散貨碼頭貨物轉(zhuǎn)運輸?shù)木彌_區(qū)，在碼頭運輸中有著重要地位。堆場的人員、車輛安全管理及皮帶日常巡檢，是決定碼頭服務(wù)能力的關(guān)鍵因素之一?，F(xiàn)階段，主要是通過傳統(tǒng)視頻監(jiān)控結(jié)合人工巡檢的方式進行管理，現(xiàn)有的視頻監(jiān)控系統(tǒng)往往缺乏宏觀位置信息的整合和展示，各個攝像頭產(chǎn)生的視頻數(shù)據(jù)通常是分散、孤立、割裂、不連貫，難以形成對整個監(jiān)控區(qū)域的宏觀把握。這種分散的數(shù)據(jù)形態(tài)使得監(jiān)控人員需要花費大量時間和精力去分析各個攝像頭的視頻畫面，難以快速準(zhǔn)確地了解整個監(jiān)控區(qū)域的實時態(tài)勢。公開于該背景技術(shù)部分的信息僅僅旨在加深對本發(fā)明的總體背景技術(shù)的理解，而不應(yīng)當(dāng)被視為承認(rèn)或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域技術(shù)人員所公知的現(xiàn)有技術(shù)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供碼頭堆場全域可視化視頻融合智能巡檢方法及其平臺，通過集成視頻融合、視頻孿生、ai分析和物聯(lián)感知、地理信息、大數(shù)據(jù)等相關(guān)技術(shù)，實現(xiàn)堆場碼頭的全面可視化監(jiān)控與智能化管理。該平臺不僅提升了堆場管理的精細化水平，還集成了業(yè)務(wù)協(xié)同、指揮調(diào)度、監(jiān)測預(yù)警、風(fēng)險控制、設(shè)備維護等多項功能于一體，為堆場的安全生產(chǎn)與管理提供了強有力的技術(shù)支持，充分體現(xiàn)視頻融合技術(shù)基于三維場景的綜合應(yīng)用技術(shù)創(chuàng)新點。

2、為了實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、本發(fā)明提供了一種碼頭堆場全域可視化視頻融合智能巡檢方法，其包括：

4、s1、視頻融合處理

5、采用三維地理信息場景視頻拼接融合技術(shù)，利用圖像拼接的技術(shù)原理進行視頻拼接，通過獲取固定相機之間的位置關(guān)系，對圖像進行幾何變換，并三維空間信息融合，得到實時的三維全景視頻；

6、s2、視頻預(yù)處理

7、對采集的有重疊區(qū)域的每幀圖像進行亮度矯正、畸變矯正和柱面變換預(yù)處理以提高匹配的準(zhǔn)確性和拼接效果；

8、s3、特征點提取和匹配

9、依靠圖像中紋理信息較為豐富的特征點，建立相鄰圖像坐標(biāo)變換關(guān)系，進行統(tǒng)一坐標(biāo)變換得到全景拼接結(jié)果；

10、s4、單應(yīng)矩陣估計

11、采用ransac算法剔除匹配中的誤匹配點；

12、s5、坐標(biāo)變換

13、在對柱面變換后的圖像對計算sift匹配后得到單應(yīng)關(guān)系后，通過如下公式進行坐標(biāo)變換，將圖像變換到統(tǒng)一坐標(biāo)系下；

14、s6、圖像融合處理

15、采用基于灰度像素加權(quán)平均算法，進行拼縫融合；

16、s7、后處理

17、包括：捆綁調(diào)整和曝光補償。

18、優(yōu)選地，在s1中，包括：

19、對多路視頻圖像的圖像預(yù)處理(幾何校正、增強、去噪)；

20、對處理后的圖像配準(zhǔn)(拼接、剪裁)；

21、建立變換模型(色彩融合、透視變換)；

22、進行統(tǒng)一坐標(biāo)變換；

23、進行圖像時空融合和多源傳感設(shè)備融合；

24、融合后的的圖像在三維空間場景中進行數(shù)據(jù)分析和業(yè)務(wù)應(yīng)用。

25、優(yōu)選地，在s2中，

26、所述亮度矯正為直方圖均衡算法，該方法通過計算圖像全局整體對比度分布，通過概率均衡化思路自適應(yīng)擴展圖像亮度范圍，提高圖像對比度；

27、其中，圖像中每個灰度級出現(xiàn)的概率為：

28、p(x)＝xs/n；

29、式中，n為圖像全部像素個數(shù)，xs為灰度值為x的像素個數(shù)，從而得到累積分布函數(shù)：

30、

31、從而將ts映射到[0,256]區(qū)間得到歸一化后的均衡直方圖，然后對遍歷圖像中的每個像素得到新的像素值；

32、所述畸變矯正通過棋盤標(biāo)定算法，求解畸變系數(shù)，進行圖像畸變矯正，公式如下：

33、

34、其中，r2＝x2+y2，k1,k2為畸變系數(shù)；

35、所述柱面變換直接將平面圖像，投影到柱面上，使多幅圖像拼接后形成一個環(huán)視柱面；

36、柱面投影變換如下：

37、

38、其中，s＝f，f為相機焦距。

39、優(yōu)選地，在s3中，包括：

40、s31、尺度空間極值檢測：利用二維高斯核函數(shù)與圖像進行卷積獲取金字塔圖像；

41、二維高斯核函數(shù)為：

42、

43、一幅二維圖像，在不同的尺度下的尺度空間可以由圖像與高斯核卷積得到：

44、l(x，y，σ)＝g(x，y，σ)*i(x，y)

45、檢測尺度空間極值時，單個像素需要跟包括統(tǒng)一尺度周圍8鄰域像素和相鄰尺度對應(yīng)位置周圍鄰域9*2個像素進行比較；

46、s32、通過擬合三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺度，同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點；

47、s33、利用關(guān)鍵點鄰域像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具有旋轉(zhuǎn)不變形；

48、

49、θ(x,y)＝αtg2((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))

50、上式為像素(x,y)處的模值和方向公式；

51、s34、生成sift描述子，接下來以關(guān)鍵點中心取8*8的窗口，每個小格的箭頭代表該像素的梯度方向，箭頭長度代表梯度模值，在每個4*4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成種子點，每個種子點有8個方向的方向向量信息，作為描述子的值；

52、特征點的匹配，主要是根據(jù)sift描述子的歐式距離得到，距離小于一定閾值的作為匹配點，記錄匹配點對應(yīng)坐標(biāo)；

53、

54、優(yōu)選地，在s4中，包括：

55、s41、從數(shù)據(jù)集中隨機選取n個數(shù)據(jù)點的子集s1；

56、s42、對選取的子集s1求解模型m1；

57、s43、估計m1與其余數(shù)據(jù)點的距離，記錄距離在閾值內(nèi)的點的個數(shù)；

58、s44、如果點的個數(shù)大于一定比例則迭代完成，否則回到步驟a；

59、采用ransac算法剔除誤匹配點對，并且得到基于最大后驗概率的透視關(guān)系模型h。

60、優(yōu)選地，在s6中，包括：

61、假設(shè)圖像拼縫線作為中線，像素點與拼縫線的距離為d；

62、r′＝d×r1+(1-d)×r2

63、g′＝d×g1+(1-d)×g2

64、b′＝d×b1+(1-d)×b2；

65、r,g,b分別紅，綠，藍通道像素值，拼接區(qū)域新的像素值通過相鄰兩幅圖像像素值的距離加權(quán)得到；

66、本發(fā)明還提供一種全域可視化視頻融合智能巡檢平臺，采用所述的碼頭堆場全域可視化視頻融合智能巡檢方法。

67、采用上述技術(shù)方案，本發(fā)明具有如下有益效果：

68、本發(fā)明不僅提升了堆場管理的精細化水平，還集成了業(yè)務(wù)協(xié)同、指揮調(diào)度、監(jiān)測預(yù)警、風(fēng)險控制、設(shè)備維護等多項功能于一體，為堆場的安全生產(chǎn)與管理提供了強有力的技術(shù)支持，充分體現(xiàn)視頻融合技術(shù)基于三維場景的綜合應(yīng)用技術(shù)創(chuàng)新點。