本技術(shù)涉及飛機(jī)加油管加油口定位的，尤其是涉及一種基于單目slam的飛機(jī)加油管加油口定位方法及系統(tǒng)。

背景技術(shù)：

1、隨著航空技術(shù)的發(fā)展，自主空中加油成為趨勢。在自主空中加油的過程中，受油機(jī)與加油機(jī)之間需要實(shí)現(xiàn)精準(zhǔn)的相對位姿測量和控制，以確保加油錐套與受油機(jī)的加油口準(zhǔn)確對接。這對定位裝置和方法的準(zhǔn)確性、實(shí)時性和可靠性提出了極高的要求。

2、傳統(tǒng)的空中加油方式主要依賴于人工操作和簡單的光學(xué)標(biāo)記輔助，難以滿足自主空中加油對高精度、高效率的要求。而且，這些方法容易受到環(huán)境因素如光照、天氣等的影響，導(dǎo)致定位精度下降。

3、另外，現(xiàn)有的一些基于視覺的定位方法，如利用多個led光標(biāo)進(jìn)行位姿解算的visnav視覺導(dǎo)航系統(tǒng)，雖然在一定程度上提高了定位精度，但仍存在依賴外部標(biāo)記等問題。特別是在復(fù)雜環(huán)境下，如加油過程中加油口的錐套傘骨開合狀態(tài)變化導(dǎo)致錐套的圓形特征發(fā)生形變，使得visnav視覺導(dǎo)航系統(tǒng)的應(yīng)用受到限制。

技術(shù)實(shí)現(xiàn)思路

1、為了提升現(xiàn)有加油口定位方法的精度，本技術(shù)提供一種基于單目slam的飛機(jī)加油管加油口定位方法及系統(tǒng)。

2、第一方面，本技術(shù)提供一種基于單目slam的飛機(jī)加油管加油口定位方法，采用如下的技術(shù)方案：

3、一種基于單目slam的飛機(jī)加油管加油口定位方法，包括如下步驟：

4、基于安裝在加油管上的單目攝像頭，拍攝周圍環(huán)境得到環(huán)境圖片；

5、根據(jù)所述環(huán)境圖片提取出環(huán)境特征點(diǎn)；

6、基于所述環(huán)境特征點(diǎn)與預(yù)設(shè)的參考圖像中的特征點(diǎn)進(jìn)行匹配，輸出特征匹配結(jié)果；

7、根據(jù)所述特征匹配結(jié)果通過slam算法構(gòu)建環(huán)境三維地圖，計(jì)算出所述環(huán)境特征點(diǎn)在所述環(huán)境圖片中的移動信息，根據(jù)所述移動信息更新所述環(huán)境三維地圖；

8、拍攝加油口得到加油口圖片，從所述加油口圖片中識別出加油口的加油口特征點(diǎn)；

9、基于所述加油口特征點(diǎn)與所述環(huán)境特征點(diǎn)之間的相對位置關(guān)系，計(jì)算出所述加油口特征點(diǎn)在所述環(huán)境三維地圖中的位置數(shù)據(jù)為加油口位置數(shù)據(jù)；

10、基于所述加油口特征點(diǎn)與所述環(huán)境特征點(diǎn)之間的相對距離數(shù)據(jù)和相對位置關(guān)系，計(jì)算出所述加油管的姿態(tài)數(shù)據(jù)為加油管姿態(tài)數(shù)據(jù)；

11、基于安裝在所述加油管上的第一定位標(biāo)簽與安裝在受油口旁的定位基站，計(jì)算出第一位置數(shù)據(jù)，基于安裝在所述加油管上的第二定位標(biāo)簽與所述定位基站計(jì)算出第二位置數(shù)據(jù)；

12、根據(jù)所述第一位置數(shù)據(jù)與所述第二位置數(shù)據(jù)使用第一算法計(jì)算出位置參考數(shù)據(jù)，使用所述位置參考數(shù)據(jù)校正所述加油口位置數(shù)據(jù)；

13、根據(jù)所述第一位置數(shù)據(jù)與所述第二位置數(shù)據(jù)使用第二算法計(jì)算出姿態(tài)參考數(shù)據(jù)，使用所述姿態(tài)參考數(shù)據(jù)校正所述加油管姿態(tài)數(shù)據(jù)；

14、根據(jù)預(yù)設(shè)的加油口標(biāo)準(zhǔn)位置數(shù)據(jù)與所述加油口位置數(shù)據(jù)計(jì)算出位置偏差數(shù)據(jù)，基于所述位置偏差數(shù)據(jù)調(diào)節(jié)所述加油管的位置；

15、根據(jù)預(yù)設(shè)的加油管標(biāo)準(zhǔn)姿態(tài)數(shù)據(jù)與所述加油管姿態(tài)數(shù)據(jù)計(jì)算出姿態(tài)偏差數(shù)據(jù)，基于所述姿態(tài)偏差數(shù)據(jù)調(diào)節(jié)所述加油管的姿態(tài)。

16、通過采用上述技術(shù)方案，單目slam算法通過提取環(huán)境特征點(diǎn)并構(gòu)建三維地圖，能夠?qū)崟r反映周圍環(huán)境的變化。不僅提高了對環(huán)境的感知能力，還確保了地圖的準(zhǔn)確性和實(shí)時性，為后續(xù)的加油口定位提供了堅(jiān)實(shí)的基礎(chǔ)。通過高清攝像頭拍攝加油口圖片，并識別出加油口的特征點(diǎn)，可以精確計(jì)算出加油口在三維地圖中的位置。避免了傳統(tǒng)方法中因環(huán)境因素導(dǎo)致的定位誤差，提高了定位的精度?；诩佑涂谔卣鼽c(diǎn)與環(huán)境特征點(diǎn)之間的相對距離數(shù)據(jù)，可以精確計(jì)算出加油管的姿態(tài)數(shù)據(jù)。不僅考慮了加油口的位置，還考慮了加油管的姿態(tài)，從而實(shí)現(xiàn)了對加油管位姿的精確測量。通過實(shí)時更新環(huán)境三維地圖和加油口位置數(shù)據(jù)，可以實(shí)現(xiàn)對加油過程的實(shí)時監(jiān)控和調(diào)節(jié)。這不僅提高了加油過程的效率，還確保了加油過程的安全性和穩(wěn)定性。自主空中加油技術(shù)減少了人工干預(yù)，降低了操作難度和成本。同時，由于系統(tǒng)能夠自動進(jìn)行位姿測量和調(diào)節(jié)，因此可以大大提高加油過程的自動化程度。該技術(shù)方案不依賴于外部標(biāo)記，減少了環(huán)境因素（如光照、天氣）對定位精度的影響。使得系統(tǒng)能夠在各種復(fù)雜環(huán)境下穩(wěn)定運(yùn)行，提高了系統(tǒng)的環(huán)境適應(yīng)性。通過采用多個定位標(biāo)簽和定位基站進(jìn)行輔助定位與校正，可以進(jìn)一步提高定位數(shù)據(jù)的準(zhǔn)確性。不僅提高了系統(tǒng)的可靠性，還增加了系統(tǒng)的容錯能力。由于系統(tǒng)能夠?qū)崟r進(jìn)行位姿測量和調(diào)節(jié)，因此可以及時發(fā)現(xiàn)并糾正加油過程中的偏差。這不僅可以確保加油過程的順利進(jìn)行，還可以有效避免因定位誤差導(dǎo)致的安全事故。因此，本技術(shù)中自主空中加油的精度、效率和可靠性將得到顯著提升。

17、可選地，方法還包括如下步驟：

18、根據(jù)所述位置偏差數(shù)據(jù)反相關(guān)調(diào)節(jié)位置校正的系數(shù)；所述位置偏差數(shù)據(jù)越大，所述位置校正的系數(shù)越小；所述位置偏差數(shù)據(jù)越小，所述位置校正的系數(shù)越大；其中，所述位置校正采用的是uwb定位技術(shù)。

19、通過采用上述技術(shù)方案，uwb定位技術(shù)雖然具有高精度、高抗干擾性的優(yōu)點(diǎn)，但在長距離情況下，其定位誤差可能會增大；因此通過反相關(guān)調(diào)節(jié)機(jī)制，可以減小因距離增大而導(dǎo)致的uwb定位誤差，提高加油過程的精度。

20、可選地，方法還包括如下步驟：

21、根據(jù)加油口姿態(tài)數(shù)據(jù)計(jì)算出代表晃動程度的晃動數(shù)據(jù)；

22、根據(jù)預(yù)設(shè)的晃動閾值，計(jì)算所述晃動數(shù)據(jù)和所述晃動閾值的差值為晃動差值；

23、根據(jù)所述晃動差值正相關(guān)調(diào)節(jié)位置校正的系數(shù)，所述晃動差值越高，所述位置校正的系數(shù)越大；所述晃動差值越低，所述位置校正的系數(shù)越小。

24、通過采用上述技術(shù)方案，晃動差值較高時，即加油口的晃動程度較大時，增加位置校正系數(shù)的值，以加強(qiáng)對加油管位置的動態(tài)調(diào)整和補(bǔ)償；當(dāng)晃動差值較低時，即加油口的晃動程度較小時，減小位置校正系數(shù)的值，以避免過度調(diào)整導(dǎo)致的不穩(wěn)定。根據(jù)加油口姿態(tài)數(shù)據(jù)代表的晃動程度的晃動差值正相關(guān)調(diào)節(jié)位置校正的系數(shù)，可以顯著提升加油過程的穩(wěn)定性和對接精度。利用安裝在加油口或附近的傳感器（如陀螺儀、加速度計(jì)等），實(shí)時獲取加油口的姿態(tài)數(shù)據(jù)，包括角度、角速度等；根據(jù)實(shí)時獲取的加油口姿態(tài)數(shù)據(jù)，可以通過分析姿態(tài)數(shù)據(jù)的波動范圍、頻率等特征來計(jì)算加油口的晃動數(shù)據(jù)。

25、可選地，方法還包括如下步驟：

26、基于設(shè)置在攝像頭上的慣性姿態(tài)傳感器獲取慣性姿態(tài)數(shù)據(jù)；

27、根據(jù)所述慣性姿態(tài)數(shù)據(jù)、所述姿態(tài)參考數(shù)據(jù)與所述加油管姿態(tài)數(shù)據(jù)采用加權(quán)平均的方式計(jì)算出姿態(tài)并更新所述加油管姿態(tài)數(shù)據(jù)。

28、通過采用上述技術(shù)方案，通過加權(quán)平均法計(jì)算得到的姿態(tài)數(shù)據(jù)將用于更新加油管的姿態(tài)數(shù)據(jù)，從而更準(zhǔn)確地反映加油管的當(dāng)前姿態(tài)。將更新后的加油管姿態(tài)數(shù)據(jù)應(yīng)用于加油管的控制系統(tǒng)，通過調(diào)整加油管的姿態(tài)和位置，來確保加油錐套能夠準(zhǔn)確對接到受油機(jī)的加油口。

29、可選地，方法還包括如下步驟：

30、根據(jù)所述相對距離數(shù)據(jù)正相關(guān)調(diào)節(jié)所述慣性姿態(tài)數(shù)據(jù)的加權(quán)計(jì)算系數(shù)，所述相對距離數(shù)據(jù)越大，所述慣性姿態(tài)數(shù)據(jù)的加權(quán)計(jì)算系數(shù)越大；所述相對距離數(shù)據(jù)越小，所述慣性姿態(tài)數(shù)據(jù)的加權(quán)計(jì)算系數(shù)越??；

31、獲取加油機(jī)的飛行速度；

32、根據(jù)所述飛行速度正相關(guān)調(diào)節(jié)所述加油管姿態(tài)數(shù)據(jù)的加權(quán)計(jì)算系數(shù)；所述飛行速度越大，所述加油管姿態(tài)數(shù)據(jù)的加權(quán)計(jì)算系數(shù)越大；所述飛行速度越小，所述加油管姿態(tài)數(shù)據(jù)的加權(quán)計(jì)算系數(shù)越小。

33、通過采用上述技術(shù)方案，相對距離越大，意味著飛機(jī)可能處于更不穩(wěn)定的環(huán)境中，因此，慣性姿態(tài)數(shù)據(jù)的加權(quán)系數(shù)會相應(yīng)增大，以確保姿態(tài)計(jì)算的準(zhǔn)確性。相反，當(dāng)相對距離較小時，環(huán)境可能相對穩(wěn)定，此時慣性姿態(tài)數(shù)據(jù)的權(quán)重可以適當(dāng)降低。加油管姿態(tài)數(shù)據(jù)對于空中加油過程至關(guān)重要，因?yàn)樗苯佑绊懙郊佑凸芘c受油機(jī)之間的對接精度和穩(wěn)定性。飛行速度的變化會影響加油管的姿態(tài)和穩(wěn)定性。飛行速度越大，加油管的動態(tài)響應(yīng)可能更加劇烈，因此，加油管姿態(tài)數(shù)據(jù)的加權(quán)系數(shù)會相應(yīng)增大，以提高姿態(tài)計(jì)算的靈敏度和準(zhǔn)確性。相反，當(dāng)飛行速度較小時，加油管的動態(tài)響應(yīng)相對穩(wěn)定，此時加油管姿態(tài)數(shù)據(jù)的權(quán)重可以適當(dāng)降低。

34、可選地，方法還包括如下步驟：

35、從所述環(huán)境圖片中提取出錐套特征；

36、在設(shè)定數(shù)量間隔的連續(xù)幀中，匹配出所述錐套特征的關(guān)鍵點(diǎn)；

37、根據(jù)所述關(guān)鍵點(diǎn)之間的距離變化，計(jì)算出所述錐套特征整體縮放變化幅度；

38、根據(jù)所述整體縮放變化幅度反相關(guān)調(diào)節(jié)所述加油管的伸縮動作速度，所述整體縮放變化幅度越大，所述加油管的伸縮動作速度越慢；所述整體縮放變化幅度越小，所述加油管的伸縮動作速度越快。

39、通過采用上述技術(shù)方案，當(dāng)整體縮放變化幅度較大時，說明錐套的運(yùn)動狀態(tài)不穩(wěn)定或受到較大的外部干擾，此時應(yīng)降低加油管的伸縮動作速度，以避免因過快調(diào)整而導(dǎo)致的對接失敗或安全隱患。相反，當(dāng)整體縮放變化幅度較小時，說明錐套的運(yùn)動狀態(tài)相對穩(wěn)定，此時可以提高加油管的伸縮動作速度，以加快對接過程并提高對接精度。

40、可選地，方法還包括如下步驟：

41、從所述環(huán)境圖片中提取出錐套特征；

42、在設(shè)定數(shù)量間隔的連續(xù)幀中，匹配出所述錐套特征的局部特征；

43、計(jì)算所述局部特征的扭曲變化幅度；

44、根據(jù)所述扭曲變化幅度反相關(guān)調(diào)節(jié)所述加油口的姿態(tài)調(diào)整速度，所述扭曲變化幅度越大，所述加油口的姿態(tài)調(diào)整速度越慢；所述扭曲變化幅度越小，所述加油口的姿態(tài)調(diào)整速度越快。

45、通過采用上述技術(shù)方案，錐套特征的局部扭曲變化幅度反映了錐套在空中的動態(tài)穩(wěn)定性和受外力干擾的程度。當(dāng)錐套受到較大的外力干擾或自身穩(wěn)定性較差時，其局部扭曲變化幅度會增大；反之，則減小。因此，可以通過監(jiān)測這一變化幅度來間接判斷錐套的運(yùn)動狀態(tài)和對接條件。

46、第二方面，本技術(shù)提供一種基于單目slam的飛機(jī)加油管加油口定位系統(tǒng)，采用如下的技術(shù)方案：

47、一種基于單目slam的飛機(jī)加油管加油口定位系統(tǒng)，基于上述的基于單目slam的飛機(jī)加油管加油口定位方法，包括單目攝像頭、圖像處理模塊、特征提取與匹配模塊、單目slam構(gòu)建模塊、加油管加油口定位模塊、誤差校正與反饋模塊以及控制與執(zhí)行模塊；

48、所述單目攝像頭，與所述圖像處理模塊連接，用于采集加油管及周圍環(huán)境得到圖像信息；

49、所述圖像處理模塊，用于接收并處理圖像信息，將處理后的圖像輸出至所述特征提取與匹配模塊；

50、所述特征提取與匹配模塊，用于從所述圖像處理模塊處理后的圖像中提取特征點(diǎn)，并將當(dāng)前圖像中的特征點(diǎn)與預(yù)設(shè)的參考圖像中的特征點(diǎn)進(jìn)行匹配，以確定攝像頭在空間中的位置和姿態(tài)；將匹配的結(jié)果傳輸給單目slam構(gòu)建模塊；

51、所述單目slam構(gòu)建模塊，用于基于所述特征匹配結(jié)果，采用單目slam算法構(gòu)建環(huán)境三維地圖，并同時計(jì)算攝像頭的運(yùn)動軌跡；將構(gòu)建的環(huán)境三維地圖和攝像頭的運(yùn)動軌跡信息傳輸給加油管加油口定位模塊；

52、所述加油管加油口定位模塊，利用構(gòu)建的環(huán)境三維地圖和攝像頭的位置和姿態(tài)，結(jié)合加油管的幾何特征，計(jì)算出加油管的加油口位置數(shù)據(jù)，將加油管加油口位置數(shù)據(jù)傳輸給誤差校正與反饋模塊和控制與執(zhí)行模塊；

53、誤差校正與反饋模塊，基于安裝在加油管上的第一定位標(biāo)簽與安裝在受油口旁的定位基站，計(jì)算出第一位置數(shù)據(jù)，基于安裝在加油管上的第二定位標(biāo)簽與定位基站計(jì)算出第二位置數(shù)據(jù)；利用第一位置數(shù)據(jù)和根據(jù)第一位置數(shù)據(jù)與第二位置數(shù)據(jù)使用第一算法計(jì)算出位置參考數(shù)據(jù)，使用位置參考數(shù)據(jù)校正加油口位置數(shù)據(jù)；根據(jù)第一位置數(shù)據(jù)與第二位置數(shù)據(jù)使用第二算法計(jì)算出姿態(tài)參考數(shù)據(jù)，使用姿態(tài)參考數(shù)據(jù)校正加油管姿態(tài)數(shù)據(jù)；將校正后的信息傳輸給控制與執(zhí)行模塊；

54、所述控制與執(zhí)行模塊，用于根據(jù)預(yù)設(shè)的加油口標(biāo)準(zhǔn)位置數(shù)據(jù)與加油口位置數(shù)據(jù)計(jì)算出的位置偏差數(shù)據(jù)調(diào)節(jié)加油管的位置；以及用于根據(jù)預(yù)設(shè)的加油管標(biāo)準(zhǔn)姿態(tài)數(shù)據(jù)與加油管姿態(tài)數(shù)據(jù)計(jì)算出的姿態(tài)偏差數(shù)據(jù)調(diào)節(jié)加油管的姿態(tài)。

55、綜上所述，本技術(shù)包括以下至少一種有益技術(shù)效果：

56、提高定位精度：利用slam技術(shù)進(jìn)行環(huán)境感知與地圖構(gòu)建，結(jié)合圖像處理和計(jì)算機(jī)視覺技術(shù)，實(shí)現(xiàn)對加油口的精確定位，提高了空中加油的準(zhǔn)確性和安全性。

57、降低操作難度：通過自主對準(zhǔn)技術(shù)，減少了飛行員的操作負(fù)擔(dān)，降低了空中加油的操作難度和風(fēng)險(xiǎn)。

58、增強(qiáng)適應(yīng)性：本發(fā)明的方法不受環(huán)境光照、天氣等條件的影響，具有較強(qiáng)的適應(yīng)性和魯棒性。

59、提升效率：自動化對準(zhǔn)過程減少了人工干預(yù)，提高了空中加油的效率。