本發(fā)明涉及圖像識別和深度學(xué)習(xí)，尤其涉及一種基于視頻監(jiān)控和圖像識別的船舶自動靠離泊方法。

背景技術(shù)：

1、隨著全球航運業(yè)的快速發(fā)展，港口和碼頭的自動化和智能化需求日益增長。傳統(tǒng)的船舶靠泊和離泊操作主要依賴于人工控制，操作人員通過目視觀察和經(jīng)驗判斷來完成復(fù)雜的靠泊和離泊操作。這種方式不僅工作強度大，操作難度高，而且容易受到環(huán)境因素的影響，如天氣、光線和水流等，導(dǎo)致船舶操作存在較高的風(fēng)險。同時，人工操作的效率和精度難以滿足現(xiàn)代港口高效運行的需求，迫切需要一種自動化的解決方案來提高船舶靠泊和離泊的安全性和效率。

2、目前，自動化船舶靠泊和離泊技術(shù)已經(jīng)取得了一定的進展，其中基于傳感器的環(huán)境感知和路徑規(guī)劃技術(shù)是關(guān)鍵。然而，現(xiàn)有技術(shù)中存在一些明顯的缺陷和不足。首先，單一傳感器的環(huán)境感知能力有限，難以在復(fù)雜和動態(tài)的環(huán)境中提供全面準確的感知信息。例如，攝像頭在低光和惡劣天氣條件下的表現(xiàn)不佳，雷達和激光雷達雖然能夠在一定程度上彌補視覺感知的不足，但單一傳感器的數(shù)據(jù)難以完全反映實際環(huán)境的復(fù)雜性。

3、其次，現(xiàn)有的圖像識別和目標(biāo)檢測算法在復(fù)雜場景下的實時性和精度方面仍存在挑戰(zhàn)。雖然深度學(xué)習(xí)算法，如yolo和ssd等，在目標(biāo)檢測領(lǐng)域表現(xiàn)出色，但在船舶自動靠離泊這種高實時性要求的應(yīng)用場景中，仍需要進一步優(yōu)化和提升算法的性能。此外，傳統(tǒng)的路徑規(guī)劃算法，如a*和dijkstra算法，雖然能夠找到較優(yōu)的路徑，但在動態(tài)避障和實時調(diào)整方面表現(xiàn)不佳，難以適應(yīng)復(fù)雜多變的環(huán)境。

4、因此，如何提供一種基于視頻監(jiān)控和圖像識別的船舶自動靠離泊方法是本領(lǐng)域技術(shù)人員亟需解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的一個目的在于提出一種基于視頻監(jiān)控和圖像識別的船舶自動靠離泊方法，本發(fā)明利用多模態(tài)傳感器融合、立體視覺技術(shù)和深度學(xué)習(xí)算法，實現(xiàn)船舶自動靠離泊。通過實時視頻監(jiān)控和目標(biāo)檢測，結(jié)合卡爾曼濾波和快速擴展隨機樹-星(rrt*)算法進行路徑規(guī)劃，確保船舶在復(fù)雜環(huán)境中的安全、高效和精準導(dǎo)航。該方法提高了環(huán)境感知的全面性和準確性，具備自適應(yīng)學(xué)習(xí)和持續(xù)優(yōu)化的能力，顯著提升了自動化操作的安全性和可靠性，適用于現(xiàn)代港口和碼頭的智能化發(fā)展。

2、根據(jù)本發(fā)明實施例的一種基于視頻監(jiān)控和圖像識別的船舶自動靠離泊方法，包括如下步驟：

3、s1、在船舶和碼頭周圍部署攝像頭獲取實時視頻數(shù)據(jù)，并進行圖像預(yù)處理，包括去噪、增強對比度和邊緣檢測；

4、s2、使用基于efficientdet算法的目標(biāo)檢測模型對預(yù)處理后的圖像進行實時目標(biāo)檢測，識別并定位船舶、碼頭、其他船只及動態(tài)障礙物，提取目標(biāo)特征信息；

5、s3、利用多模態(tài)傳感器融合技術(shù)，將攝像頭、雷達和慣性導(dǎo)航系統(tǒng)的實時數(shù)據(jù)與提取的目標(biāo)特征信息進行融合，通過卡爾曼濾波整合多傳感器數(shù)據(jù)，生成環(huán)境感知信息；

6、s4、基于融合后的環(huán)境感知信息，利用立體視覺技術(shù)計算障礙物的深度信息，構(gòu)建并實時更新船舶周圍環(huán)境的三維動態(tài)地圖；

7、s5、采用快速擴展隨機樹-星算法進行全局路徑規(guī)劃，綜合考慮船舶的動力學(xué)特性、環(huán)境約束和安全距離，計算最優(yōu)的靠泊或離泊路徑；

8、s6、結(jié)合雙級神經(jīng)網(wǎng)絡(luò)算法，利用環(huán)境感知信息和目標(biāo)特征信息進行局部動態(tài)避障，實時調(diào)整船舶的速度和航向；

9、s7、基于全局路徑規(guī)劃結(jié)果和局部動態(tài)避障策略，自適應(yīng)控制系統(tǒng)根據(jù)實時環(huán)境變化精確調(diào)整船舶的速度、航向和姿態(tài)；

10、s8、利用云計算平臺進行大數(shù)據(jù)分析和歷史數(shù)據(jù)挖掘，持續(xù)優(yōu)化全局路徑規(guī)劃和局部動態(tài)避障策略。

11、進一步的，所述s2具體包括：

12、s21、將預(yù)處理后的圖像數(shù)據(jù)輸入到基于efficientdet算法的目標(biāo)檢測模型中進行處理，通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像中的特征信息；

13、s22、在efficientdet模型中使用雙層金字塔結(jié)構(gòu)進行多尺度特征融合，對不同尺度的特征圖進行加權(quán)融合：

14、

15、其中，fout為融合后的特征圖，n1表示特征圖的總尺度數(shù)量，fi表示第i個尺度的特征圖，wi表示第i個尺度的特征圖的權(quán)重系數(shù)，滿足

16、s23、在efficientdet模型的檢測頭中，使用錨框機制對特征圖進行逐級回歸和分類，得到檢測框的三維位置、尺度和置信度分數(shù)；

17、s24、目標(biāo)檢測模型的損失函數(shù)由分類損失和邊界框回歸損失組成，總損失函數(shù)表示為：

18、

19、其中，n2表示檢測到的目標(biāo)總數(shù)，pi表示模型對第i個目標(biāo)的預(yù)測分類概率，表示第i個目標(biāo)的真實分類標(biāo)簽，ti表示模型對第i個目標(biāo)的預(yù)測邊界框參數(shù)，表示第i個目標(biāo)的真實邊界框參數(shù)，l表示總損失函數(shù)值，表示第i個目標(biāo)的分類損失：

20、

21、表示第i個目標(biāo)的邊界框回歸損失：

22、

23、其中，tij表示模型預(yù)測的第i個目標(biāo)在第j個參數(shù)上的值，表示第i個目標(biāo)在第j個參數(shù)上的真實值，smoothl1(x)用于平滑處理預(yù)測值和真實值之間的差異；

24、s25、根據(jù)分類結(jié)果和檢測框信息，進一步提取目標(biāo)的特征信息，包括三維位置(x,y,z)、尺度(w,h)、置信度分數(shù)a、速度v和方向θ，其中x,y表示目標(biāo)在圖像中的中心坐標(biāo)，z表示目標(biāo)的高度，w表示目標(biāo)圖像的寬度，h表示目標(biāo)圖像的長度；

25、s26、對目標(biāo)檢測模型的輸出進行非極大值抑制，根據(jù)置信度分數(shù)a選擇最優(yōu)檢測框，并消除重疊檢測框，獲得船舶、碼頭、其他船只及動態(tài)障礙物的精確位置、大小、類別和運動狀態(tài)信息；

26、s27、獲取目標(biāo)特征信息，并將提取的目標(biāo)特征信息存儲于特征向量f＝[x,y,z,w,h,v,θ,a]。

27、更進一步，所述s3具體包括：

28、s31、使用卡爾曼濾波器將攝像頭、雷達和慣性導(dǎo)航系統(tǒng)的實時數(shù)據(jù)與s27提取的目標(biāo)特征信息作為輸入，進行多模態(tài)傳感器融合，初始狀態(tài)向量為x0；

29、s32、在卡爾曼濾波器的預(yù)測階段，根據(jù)系統(tǒng)的動態(tài)模型預(yù)測下一時刻的狀態(tài)xk|k-1和協(xié)方差矩陣pk|k-1：

30、xk|k-1＝fxk-1+buk-1；

31、pk|k-1＝fpk-1ft+q；

32、其中，f表示狀態(tài)轉(zhuǎn)移矩陣,xk-1表示先驗狀態(tài)向量，pk-1表示先驗協(xié)方差矩陣，b表示控制輸入矩陣，uk-1表示控制向量，q表示過程噪聲協(xié)方差矩陣；

33、s33、在更新階段，使用傳感器觀測值向量zk更新狀態(tài)估計和協(xié)方差矩陣：

34、yk＝zk-hxk|k-1；

35、sk＝hpk|k-1ht+r；

36、

37、xk＝xk|k-1+kkyk；

38、pk＝(i-kkh)pk|k-1；

39、其中，yk表示測量殘差向量，h表示觀測矩陣，sk表示測量殘差協(xié)方差矩陣，r表示測量噪聲協(xié)方差矩陣，ht表示觀測矩陣的轉(zhuǎn)置，kk表示卡爾曼增益矩陣，表示測量殘差協(xié)方差矩陣的逆，xk表示更新后的狀態(tài)向量，結(jié)合了預(yù)測狀態(tài)和觀測信息后的最優(yōu)估計，pk表示更新后的協(xié)方差矩陣，i表示單位矩陣，用于保持矩陣維度一致性；

40、s34、最終生成環(huán)境感知信息，包括三維位置、尺度、置信度分數(shù)、速度和方向。

41、更進一步，所述s4具體包括：

42、s41、利用立體視覺技術(shù)，通過安裝在船舶上的雙目攝像頭獲取左右兩幅圖像，提取圖像對中的特征點并進行匹配，左圖像點坐標(biāo)為(ul,vl)，右圖像點坐標(biāo)為(ur,vr)；

43、s42、計算特征點在左右圖像間的視差δ：

44、

45、s43、根據(jù)視差δ和雙目攝像頭的基線距離b，結(jié)合鏡頭的徑向和切向畸變參數(shù)，計算特征點的深度z：

46、

47、其中，f表示攝像頭的焦距，k1和k2表示徑向畸變系數(shù)，p1和p2表示切向畸變系數(shù)；

48、s44、根據(jù)特征點的深度z和圖像點坐標(biāo)(u,v)，利用相機內(nèi)參矩陣將圖像坐標(biāo)轉(zhuǎn)換為三維空間坐標(biāo)(x,y,z)：

49、

50、其中，cx和cy表示相機主點坐標(biāo)，fx和fy表示相機焦距在x和y方向的縮放系數(shù)，r2＝u2+v2；

51、s45、將計算得到的三維空間坐標(biāo)與多模態(tài)傳感器融合的環(huán)境感知信息進行匹配與融合，更新目標(biāo)的三維位置、尺度、置信度分數(shù)、速度和方向；

52、s46、構(gòu)建船舶周圍環(huán)境的三維動態(tài)地圖，包含所有檢測到的目標(biāo)及目標(biāo)的精確位置、大小、運動狀態(tài)和類別信息；

53、s47、實時更新三維動態(tài)地圖，根據(jù)傳感器獲取的新數(shù)據(jù)和融合后的環(huán)境感知信息，不斷調(diào)整和優(yōu)化三維環(huán)境模型，確保環(huán)境地圖的準確性和實時性。

54、更進一步，所述s5具體包括：

55、s51、設(shè)定全局路徑規(guī)劃的起點為船舶當(dāng)前位置(x0,y0,z0)，終點為目標(biāo)靠泊位置(xt,yt,zt)；

56、s52、采用快速擴展隨機樹-星算法進行全局路徑規(guī)劃，初始化一棵包含起點(x0,y0,z0)的樹，逐步擴展節(jié)點以覆蓋整個搜索空間，直到找到一條從起點到終點的可行路徑；

57、s53、在路徑擴展過程中，利用代價函數(shù)評估每個節(jié)點的路徑代價：

58、j(si,sj)＝α·dist(si,sj)+β·risk(sj)+γ·dyn(si,sj)；

59、其中，j(si,sj)表示節(jié)點si到節(jié)點sj的路徑代價，α表示距離代價的權(quán)重系數(shù)，dist(si,sj)表示節(jié)點si到節(jié)點sj之間的距離，β表示風(fēng)險代價的權(quán)重系數(shù)，risk(sj)表示節(jié)點sj所在位置的風(fēng)險值，γ表示動力學(xué)代價的權(quán)重系數(shù)，dyn(si,sj)表示節(jié)點si到節(jié)點sj的船舶動力學(xué)特性代價；

60、

61、其中，m表示船舶質(zhì)量，aij表示節(jié)點si到節(jié)點sj的加速度，j1表示船舶慣性矩，ωij表示節(jié)點si到節(jié)點sj的角速度，η表示水動力阻力系數(shù)，fij表示節(jié)點si到節(jié)點sj之間的推力，φij表示推力方向與航向之間的夾角；

62、s54、擴展樹的節(jié)點，路徑搜索完成后，得到從起點到終點的最優(yōu)路徑p＝{s0,s1,…,st}，每個節(jié)點包含船舶的狀態(tài)信息；

63、s55、將最優(yōu)路徑中的每個節(jié)點位置和狀態(tài)信息傳遞給控制系統(tǒng)，指導(dǎo)船舶按照路徑規(guī)劃的結(jié)果進行航行和調(diào)整。

64、更進一步，所述s54具體包括：

65、s541、隨機采樣一個狀態(tài)srand；

66、s542、在樹中找到與srand最近的節(jié)點snearest；

67、s543、生成新的節(jié)點snew，使snew在控制輸入的作用下，從snearest向srand擴展；

68、s544、檢查snew是否在障礙物范圍內(nèi)，若不在則將snew添加到樹中，并更新路徑代價；

69、s545、重復(fù)執(zhí)行步驟s541-s544。

70、更進一步，所述s6具體包括：

71、s61、定義獎勵函數(shù)r(st,at)用于評估每個狀態(tài)-動作對的得分：

72、r(st,at)＝rgoal-(α·dist(st,sgoal)+β·risk(st)+γ·dyn(st,at))；

73、其中，r(st,at)表示在狀態(tài)st下執(zhí)行動作at所得到的獎勵，rgoal表示達到目標(biāo)狀態(tài)的獎勵值，dist(st,sgoal)表示當(dāng)前狀態(tài)st與目標(biāo)狀態(tài)sgoal之間的距離，risk(st)表示當(dāng)前狀態(tài)st的風(fēng)險值，dyn(st,at)表示狀態(tài)st下執(zhí)行動作at帶來的船舶動力學(xué)特性代價；

74、s62、隨機初始化兩個神經(jīng)網(wǎng)絡(luò)q和的權(quán)重參數(shù)，為目標(biāo)網(wǎng)絡(luò)，與q結(jié)構(gòu)相同，但參數(shù)獨立更新；

75、s63、基于∈-貪心策略選擇動作at：

76、

77、其中，表示當(dāng)前q網(wǎng)絡(luò)估計的最優(yōu)動作；

78、s64、在環(huán)境中執(zhí)行動作at，觀察新的狀態(tài)st+1和獎勵r(st,at)；

79、s65、將(st,at,r(st,at),st+1)存儲到經(jīng)驗回放緩沖區(qū)中；

80、s66、從經(jīng)驗回放緩沖區(qū)中隨機采樣小批量數(shù)據(jù)，利用均方誤差損失函數(shù)更新q網(wǎng)絡(luò)參數(shù)；

81、s67、在船舶航行過程中，利用訓(xùn)練好的雙級神經(jīng)網(wǎng)絡(luò)模型實時選擇最優(yōu)動作at，動態(tài)調(diào)整船舶的速度和航向，確保船舶在復(fù)雜環(huán)境中安全、精準地靠泊和離泊。

82、本發(fā)明的有益效果是：

83、首先，本發(fā)明通過部署高清攝像頭，獲取實時視頻數(shù)據(jù)，并進行圖像預(yù)處理，包括去噪、增強對比度和邊緣檢測，顯著提高了圖像的質(zhì)量和特征提取的準確性。使用基于efficientdet算法的目標(biāo)檢測模型，對預(yù)處理后的圖像進行實時目標(biāo)檢測，能夠精確識別和定位船舶、碼頭、其他船只及動態(tài)障礙物，提取詳細的目標(biāo)特征信息。這一過程中的創(chuàng)新性算法選擇和多尺度特征融合技術(shù)，確保了高效、準確的目標(biāo)檢測和識別，即使在復(fù)雜和動態(tài)的環(huán)境中也能表現(xiàn)出色。

84、其次，利用多模態(tài)傳感器融合技術(shù)，將攝像頭、雷達和慣性導(dǎo)航系統(tǒng)的實時數(shù)據(jù)與提取的目標(biāo)特征信息進行融合，通過卡爾曼濾波器整合多傳感器數(shù)據(jù)，生成精確的環(huán)境感知信息。這一融合過程提高了環(huán)境感知的全面性和準確性，能夠在不同的光照、天氣和環(huán)境條件下保持魯棒性。同時，基于融合后的環(huán)境感知信息，利用立體視覺技術(shù)計算障礙物的深度信息，構(gòu)建并實時更新船舶周圍環(huán)境的三維動態(tài)地圖，為后續(xù)的路徑規(guī)劃和動態(tài)避障提供了可靠的基礎(chǔ)數(shù)據(jù)。

85、最后，在路徑規(guī)劃方面，本發(fā)明采用快速擴展隨機樹-星(rrt*)算法，綜合考慮船舶的動力學(xué)特性、環(huán)境約束和安全距離，計算最優(yōu)的靠泊或離泊路徑。這種方法不僅能在復(fù)雜環(huán)境中找到最優(yōu)路徑，還能動態(tài)調(diào)整以適應(yīng)環(huán)境變化，確保船舶航行的安全性和高效性。結(jié)合雙級神經(jīng)網(wǎng)絡(luò)(double?dqn)算法，利用環(huán)境感知信息和目標(biāo)特征信息進行局部動態(tài)避障，系統(tǒng)能夠?qū)崟r調(diào)整船舶的速度和航向，有效避免潛在的碰撞風(fēng)險，提高了動態(tài)避障的效率和可靠性。