本發(fā)明涉及圖像處理領(lǐng)域，特別是指一種設(shè)備智能自動糾偏方法。

背景技術(shù)：

1、當(dāng)智能傳感器設(shè)備(例如電力領(lǐng)域的各類傳感器)固定安裝在指定載體后，由于使用過程中出現(xiàn)固定裝置老化和抗震性變差，導(dǎo)致設(shè)備在安裝后承受動載荷沖擊載荷能力不足，造成設(shè)備偏移、傾斜等問題，嚴(yán)重影響智能傳感器設(shè)備獲取所需數(shù)據(jù)的準(zhǔn)確性，因此需要對設(shè)備進(jìn)行糾偏。

2、現(xiàn)有設(shè)備糾偏多依賴人工進(jìn)行重新安裝固定來完成，部分可以基于圖像來比較前后時(shí)刻圖像差異來輔助糾偏，但存在場景適配性差、魯棒性差、糾偏不準(zhǔn)確的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種設(shè)備智能自動糾偏方法，保證了糾偏的穩(wěn)定性、可靠性，提升了糾偏的效率。

2、本發(fā)明提供技術(shù)方案如下：

3、一種設(shè)備智能自動糾偏方法，所述設(shè)備固定安裝在云臺上，所述設(shè)備包括相機(jī)，所述方法包括：

4、s10：當(dāng)收到糾偏指令后，通過所述相機(jī)獲取場景的實(shí)時(shí)圖像數(shù)據(jù)；

5、s20：基于深度學(xué)習(xí)技術(shù)對所述實(shí)時(shí)圖像數(shù)據(jù)進(jìn)行固定目標(biāo)檢測，提取出場景中的至少一個(gè)固定目標(biāo)；

6、s30：基于深度學(xué)習(xí)技術(shù)對提取的固定目標(biāo)與預(yù)先存儲的基準(zhǔn)圖像數(shù)據(jù)中預(yù)設(shè)的固定目標(biāo)進(jìn)行對應(yīng)特征點(diǎn)對提取及匹配；

7、s40：當(dāng)匹配成功時(shí)，計(jì)算匹配的對應(yīng)特征點(diǎn)對的空間向量，并計(jì)算得到偏移角；

8、s50：判斷所述偏移角是否大于預(yù)設(shè)的限定值，若是，則所述云臺根據(jù)所述偏移角自動糾偏，否則，不糾偏。

9、進(jìn)一步的，當(dāng)匹配的對應(yīng)特征點(diǎn)對的數(shù)量多于3對時(shí)，且每對對應(yīng)特征點(diǎn)對的匹配置信度均大于90％時(shí)，判定匹配成功，否則，判定匹配失敗。

10、進(jìn)一步的，所述s30包括：

11、s31：通過卷積層和注意力層提取所述固定目標(biāo)的局部特征；

12、s32：在大尺度層面逐像素進(jìn)行粗匹配，然后在小尺度層面進(jìn)行迭代微調(diào)，進(jìn)行精匹配。

13、進(jìn)一步的，所述設(shè)備還包括點(diǎn)云獲取裝置，所述方法還包括：

14、s41：當(dāng)匹配失敗時(shí)，通過所述點(diǎn)云獲取裝置獲取場景的實(shí)時(shí)點(diǎn)云數(shù)據(jù)；

15、s42：對所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)與預(yù)先存儲的基準(zhǔn)點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云匹配；

16、s43：當(dāng)點(diǎn)云匹配成功時(shí)，計(jì)算所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)與所述基準(zhǔn)點(diǎn)云數(shù)據(jù)間的偏移矩陣，根據(jù)所述偏移矩陣計(jì)算得到所述偏移角，并轉(zhuǎn)至所述s50。

17、進(jìn)一步的，所述點(diǎn)云獲取裝置包括深度相機(jī)和激光雷達(dá)，所述激光雷達(dá)掃描得到所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)，所述深度相機(jī)拍攝深度圖像，根據(jù)所述深度圖像計(jì)算得到所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)。

18、進(jìn)一步的，所述s42包括：

19、s421：設(shè)置最大距離閾值；

20、s422：遍歷所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)中的所有點(diǎn)，計(jì)算與所述基準(zhǔn)點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)的距離，當(dāng)所述距離小于所述最大距離閾值時(shí)，認(rèn)為是對應(yīng)點(diǎn)對；

21、s423：當(dāng)所有對應(yīng)點(diǎn)對的數(shù)量高于所述基準(zhǔn)點(diǎn)云數(shù)據(jù)的點(diǎn)云總數(shù)的80％時(shí)，判定點(diǎn)云匹配成功。

22、進(jìn)一步的，所述s40包括：

23、s401：根據(jù)匹配的對應(yīng)特征點(diǎn)對查詢到對應(yīng)的深度信息；

24、s402：根據(jù)所述深度信息計(jì)算所述對應(yīng)特征點(diǎn)對在相機(jī)坐標(biāo)系下的坐標(biāo)；

25、

26、

27、

28、

29、其中，(usd,vsd)和(xsd,ysd)為所述對應(yīng)特征點(diǎn)對在所述基準(zhǔn)圖像數(shù)據(jù)上的點(diǎn)pi分別在圖像坐標(biāo)系和相機(jī)坐標(biāo)系下的坐標(biāo)，(urt,vrt)和(xrt,yrt)為所述對應(yīng)特征點(diǎn)對在所述實(shí)時(shí)圖像數(shù)據(jù)上的點(diǎn)qi分別在圖像坐標(biāo)系和相機(jī)坐標(biāo)系下的坐標(biāo)，zsd和zrt分別為所述對應(yīng)特征點(diǎn)對在所述基準(zhǔn)圖像數(shù)據(jù)上的點(diǎn)pi和所述實(shí)時(shí)圖像數(shù)據(jù)上的點(diǎn)qi的深度信息，f為相機(jī)焦距，u0和v0分別表示所述基準(zhǔn)圖像數(shù)據(jù)或?qū)崟r(shí)圖像數(shù)據(jù)的寬度的一半和高度的一半；

30、s403：將一個(gè)對應(yīng)特征點(diǎn)對的空間向量表示為

31、s404：根據(jù)多個(gè)對應(yīng)特征點(diǎn)對的空間向量計(jì)算得到所述偏移角θ；

32、

33、其中，n為匹配的對應(yīng)特征點(diǎn)對的數(shù)量。

34、進(jìn)一步的，所述s43包括：

35、s431：初始化偏移矩陣r，并設(shè)定損失函數(shù)f(r)；

36、

37、

38、其中，k＝1,2,…,n，j＝1,2,…,n，n為所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)或所述基準(zhǔn)點(diǎn)云數(shù)據(jù)的點(diǎn)云總數(shù)，psk表示所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)的第k個(gè)點(diǎn)，ptj表示所述基準(zhǔn)點(diǎn)云數(shù)據(jù)的第j個(gè)點(diǎn)；

39、s432：通過最小化損失函數(shù)，迭代計(jì)算，求解偏移矩陣；

40、s433：根據(jù)求解的偏移矩陣計(jì)算得到水平偏移角和垂直偏移角；

41、α＝atan(m13，m33)

42、β＝arcsin(-m23)

43、其中，α、β分別為所述水平偏移角和所述垂直偏移角。

44、本發(fā)明具有以下有益效果：

45、現(xiàn)有技術(shù)中的匹配方法直接對整張圖像進(jìn)行特征點(diǎn)提取及匹配，處理速度極慢，且需要將整張圖像縮放成小尺寸的圖像進(jìn)行特征點(diǎn)提取及匹配，會因部分圖像細(xì)節(jié)丟失導(dǎo)致特征點(diǎn)提取及匹配效果不好。本發(fā)明采用基于深度學(xué)習(xí)對場景中的固定目標(biāo)進(jìn)行提取，能夠極大提升特征點(diǎn)提取、匹配的速度，同時(shí)也避免了其他易變場景對于圖像中特征點(diǎn)檢測及匹配的影響，提高了糾偏的速度和準(zhǔn)確性。

46、本發(fā)明采用了基于多種傳感器自動糾偏的方案，優(yōu)先通過深度學(xué)習(xí)技術(shù)基于圖像數(shù)據(jù)進(jìn)行自動糾偏，當(dāng)圖像無法有效進(jìn)行特征點(diǎn)提取以及匹配，導(dǎo)致基于圖像數(shù)據(jù)無法實(shí)現(xiàn)自動糾偏時(shí)，再采用基于點(diǎn)云數(shù)據(jù)的自動糾偏方案達(dá)到自動糾偏目的，保證了整個(gè)糾偏系統(tǒng)的穩(wěn)定性、可靠性，同時(shí)極大提升了整個(gè)糾偏系統(tǒng)自動糾偏的效率。

技術(shù)特征：

1.一種設(shè)備智能自動糾偏方法，其特征在于，所述設(shè)備固定安裝在云臺上，所述設(shè)備包括相機(jī)，所述方法包括：

2.根據(jù)權(quán)利要求1所述的設(shè)備智能自動糾偏方法，其特征在于，當(dāng)匹配的對應(yīng)特征點(diǎn)對的數(shù)量多于3對時(shí)，且每對對應(yīng)特征點(diǎn)對的匹配置信度均大于90％時(shí)，判定匹配成功，否則，判定匹配失敗。

3.根據(jù)權(quán)利要求1所述的設(shè)備智能自動糾偏方法，其特征在于，所述s30包括：

4.根據(jù)權(quán)利要求1-3任一所述的設(shè)備智能自動糾偏方法，其特征在于，所述設(shè)備還包括點(diǎn)云獲取裝置，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的設(shè)備智能自動糾偏方法，其特征在于，所述點(diǎn)云獲取裝置包括深度相機(jī)和激光雷達(dá)，所述激光雷達(dá)掃描得到所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)，所述深度相機(jī)拍攝深度圖像，根據(jù)所述深度圖像計(jì)算得到所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)。

6.根據(jù)權(quán)利要求4所述的設(shè)備智能自動糾偏方法，其特征在于，所述s42包括：

7.根據(jù)權(quán)利要求4所述的設(shè)備智能自動糾偏方法，其特征在于，所述s40包括：

8.根據(jù)權(quán)利要求4所述的設(shè)備智能自動糾偏方法，其特征在于，所述s43包括：

技術(shù)總結(jié)
本發(fā)明公開了一種設(shè)備智能自動糾偏方法，屬于圖像處理領(lǐng)域，本發(fā)明采用了基于多種傳感器自動糾偏的方案，優(yōu)先通過深度學(xué)習(xí)技術(shù)基于圖像數(shù)據(jù)進(jìn)行自動糾偏，當(dāng)圖像無法有效進(jìn)行特征點(diǎn)提取以及匹配，導(dǎo)致基于圖像數(shù)據(jù)無法實(shí)現(xiàn)自動糾偏時(shí)，再采用基于點(diǎn)云數(shù)據(jù)的自動糾偏方案達(dá)到自動糾偏目的，保證了整個(gè)糾偏系統(tǒng)的穩(wěn)定性、可靠性，同時(shí)極大提升了整個(gè)糾偏系統(tǒng)自動糾偏的效率。另外，本發(fā)明采用基于深度學(xué)習(xí)對場景中的固定目標(biāo)進(jìn)行提取，能夠極大提升特征點(diǎn)提取、匹配的速度，同時(shí)也避免了其他易變場景對于圖像中特征點(diǎn)檢測及匹配的影響，提高了糾偏的速度和準(zhǔn)確性。

技術(shù)研發(fā)人員：王聰,蔡富東,呂昌峰,劉煥云,郭國信,劉偉,張陽,朱巖
受保護(hù)的技術(shù)使用者：山東信通電子股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2