本發(fā)明涉及巡檢機(jī)器人，尤其是指一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法。

背景技術(shù)：

1、目前智能巡檢機(jī)器人通常采用固定點(diǎn)位拍照識(shí)別的方式開(kāi)展工作，需要固定點(diǎn)位拍攝圖片/視頻段才可進(jìn)行識(shí)別的正常巡檢任務(wù)，使用此類巡檢方式進(jìn)行圖像算法識(shí)別有以下局限：

2、1.效率低下：當(dāng)前巡檢機(jī)器人在執(zhí)行單個(gè)定點(diǎn)圖像識(shí)別任務(wù)時(shí)，涉及云臺(tái)轉(zhuǎn)動(dòng)操作、攝像頭參數(shù)精細(xì)調(diào)節(jié)，以及截圖等一系列流程，當(dāng)面臨多個(gè)檢測(cè)點(diǎn)的情況下，累積的單次全路徑巡檢周期可能會(huì)超出1小時(shí)閾值，由此導(dǎo)致其無(wú)法充分滿足特定應(yīng)用場(chǎng)景下對(duì)高效巡檢作業(yè)的需求，例如不滿足高溫場(chǎng)景下，對(duì)機(jī)器人部件的保護(hù)。以具體某項(xiàng)目舉例，機(jī)器人巡視速度為0.4m/s，單個(gè)點(diǎn)位定點(diǎn)拍攝平均所需時(shí)間為大約15秒，待巡檢路線全長(zhǎng)120米，由于該項(xiàng)目待巡視區(qū)域點(diǎn)位比較密集，采用常規(guī)巡檢方式，需要每隔1米設(shè)置一個(gè)停靠點(diǎn)，每個(gè)停靠點(diǎn)按照2個(gè)設(shè)備計(jì)算，得出僅定點(diǎn)拍攝流程共需60分鐘左右，路段巡檢耗時(shí)5分鐘，其他調(diào)度邏輯處理10分鐘，總巡檢時(shí)間耗時(shí)較長(zhǎng)，整體巡檢效率低下。

3、2.靈活性低：當(dāng)前系統(tǒng)要求預(yù)先設(shè)定并精確標(biāo)定所有?？奎c(diǎn)位置，對(duì)于每一次位置變動(dòng)或新增識(shí)別點(diǎn)，均需現(xiàn)場(chǎng)工作人員重新進(jìn)行繁瑣的點(diǎn)位標(biāo)定過(guò)程。此種工作機(jī)制限制了系統(tǒng)對(duì)于使用場(chǎng)景中多變且復(fù)雜情況的快速響應(yīng)與靈活適應(yīng)能力。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是克服現(xiàn)有技術(shù)中的巡檢機(jī)器人需要在檢測(cè)點(diǎn)停車巡檢，總巡檢時(shí)間耗時(shí)較長(zhǎng)，整體巡檢效率低下，不能滿足特定環(huán)境巡檢時(shí)間不能超過(guò)時(shí)限的需求的缺陷，提供一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法。

2、本發(fā)明的目的是通過(guò)下述技術(shù)方案予以實(shí)現(xiàn)：

3、一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，包括以下步驟：

4、步驟1，獲取巡檢路線，按照機(jī)器人的云臺(tái)角度的不同將巡檢路線劃分出若干個(gè)不停車路線段，每個(gè)路線段預(yù)設(shè)開(kāi)始識(shí)別點(diǎn)和結(jié)束識(shí)別點(diǎn)；

5、步驟2，機(jī)器人沿巡檢路線開(kāi)始巡檢，位于開(kāi)始識(shí)別點(diǎn)時(shí)，機(jī)器人配置自身運(yùn)動(dòng)參數(shù)、云臺(tái)相機(jī)的參數(shù)以及當(dāng)前路線段需要識(shí)別的目標(biāo)，然后機(jī)器人沿著巡檢路線運(yùn)動(dòng)，同時(shí)云臺(tái)相機(jī)開(kāi)始獲取目標(biāo)圖像信息，直到機(jī)器人運(yùn)動(dòng)至結(jié)束識(shí)別點(diǎn)，云臺(tái)相機(jī)停止工作；

6、步驟3，對(duì)云臺(tái)相機(jī)獲取的目標(biāo)圖像信息進(jìn)行識(shí)別，判斷有無(wú)異常，若有異常則發(fā)送至遠(yuǎn)端進(jìn)行提醒，若無(wú)異常則繼續(xù)沿巡檢路線進(jìn)行巡檢，直到完成巡檢任務(wù)。

7、作為優(yōu)選，所述的步驟2中，配置云臺(tái)相機(jī)的參數(shù)具體包括通過(guò)倍率-偏心模型調(diào)整云臺(tái)相機(jī)放大倍率與偏心之間的關(guān)系，通過(guò)云臺(tái)-像素轉(zhuǎn)換模型調(diào)整云臺(tái)運(yùn)動(dòng)與云臺(tái)相機(jī)像素坐標(biāo)之間的轉(zhuǎn)換關(guān)系，配置機(jī)器人的關(guān)系參數(shù)。

8、作為優(yōu)選，所述的機(jī)器人的關(guān)系參數(shù)包括運(yùn)動(dòng)速度、云臺(tái)相機(jī)焦距、倍率和物距。

9、作為優(yōu)選，所述的倍率-偏心模型具體為：

10、

11、其中，pzn為不同放大倍率，pz1為基準(zhǔn)倍率，為總偏心量，表示從第n-1個(gè)放大倍率到第n個(gè)放大倍率之間的偏心量變化因子，依次類推。

12、作為優(yōu)選，所述的云臺(tái)-像素轉(zhuǎn)換模型具體為：

13、a1＝[tx?ty]×δ1+acur，

14、其中，[tx?ty]為目標(biāo)框距離圖像中心的偏移，acur為當(dāng)前云臺(tái)角度。

15、作為優(yōu)選，所述的步驟3中，對(duì)云臺(tái)相機(jī)獲取的目標(biāo)圖像信息進(jìn)行識(shí)別，具體為：構(gòu)建定位抽幀方案，按照預(yù)設(shè)的時(shí)間間隔獲取機(jī)器人的定位信息，基于定位的采樣頻率以及運(yùn)行速度，設(shè)計(jì)定時(shí)器預(yù)測(cè)機(jī)器人行進(jìn)距離實(shí)現(xiàn)實(shí)時(shí)圖像信息定位抽幀識(shí)別。

16、作為優(yōu)選，所述的步驟3中，對(duì)云臺(tái)相機(jī)獲取的目標(biāo)圖像信息進(jìn)行識(shí)別在后臺(tái)服務(wù)器完成，機(jī)器人通過(guò)網(wǎng)絡(luò)通信連接將目標(biāo)圖像信息傳輸至后臺(tái)服務(wù)器；機(jī)器人檢測(cè)網(wǎng)絡(luò)連接狀態(tài)，若檢測(cè)到網(wǎng)絡(luò)中斷，則機(jī)器人將獲取的目標(biāo)圖像信息在本地進(jìn)行存儲(chǔ)，在網(wǎng)絡(luò)恢復(fù)時(shí)，機(jī)器人將自動(dòng)上傳累積的本地的目標(biāo)圖像信息數(shù)據(jù)至后臺(tái)服務(wù)器。

17、作為優(yōu)選，機(jī)器人在不同的不停車路線段通過(guò)管道配置管理功能執(zhí)行不同類型的圖像識(shí)別。

18、作為優(yōu)選，基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法還對(duì)步驟3中，云臺(tái)相機(jī)獲取的目標(biāo)圖像信息進(jìn)行識(shí)別的方法進(jìn)行優(yōu)化，具體為：

19、步驟3a，獲取從開(kāi)始識(shí)別點(diǎn)至結(jié)束識(shí)別點(diǎn)的所有目標(biāo)圖像信息，并對(duì)目標(biāo)圖像信息進(jìn)行初步識(shí)別；

20、步驟3b，判斷所有目標(biāo)圖像信息在初步識(shí)別中出現(xiàn)異常的圖像數(shù)量，若出現(xiàn)異常的圖像占比大于等于設(shè)定的閾值，則跳轉(zhuǎn)至步驟3c，若出現(xiàn)異常的圖像占比小于設(shè)定的閾值，則跳轉(zhuǎn)至步驟3d；

21、步驟3c，在出現(xiàn)異常的圖像中提取異常的特征點(diǎn)，將異常的特征點(diǎn)與預(yù)存的噪聲項(xiàng)的特征點(diǎn)進(jìn)行比對(duì)，若異常的特征點(diǎn)與噪聲項(xiàng)的特征點(diǎn)的相似性小于設(shè)定值，則判斷目標(biāo)圖像信息異常，否則判斷為噪聲項(xiàng)的干擾，目標(biāo)圖像信息正常；

22、步驟3d，判斷出現(xiàn)異常的圖像是否連續(xù)，若圖像連續(xù)，則將異常的特征點(diǎn)與預(yù)存的噪聲項(xiàng)的特征點(diǎn)進(jìn)行比對(duì)，若異常的特征點(diǎn)與噪聲項(xiàng)的特征點(diǎn)的相似性小于設(shè)定值，則判斷目標(biāo)圖像信息異常，否則判斷為噪聲項(xiàng)的干擾，目標(biāo)圖像信息正常；若圖像不連續(xù)，則判斷目標(biāo)圖像信息正常。

23、本發(fā)明的有益效果是：本發(fā)明的方案，機(jī)器人在移動(dòng)過(guò)程中能夠連續(xù)采集圖像數(shù)據(jù)，避免了在不同預(yù)設(shè)點(diǎn)位之間轉(zhuǎn)換時(shí)的識(shí)別間隙，確保了對(duì)整個(gè)監(jiān)測(cè)路段的無(wú)縫覆蓋，從而大大提高了空間和時(shí)間上的識(shí)別效率；同時(shí)本發(fā)明不需要人工設(shè)置多個(gè)固定的拍攝位置，減少了人員布置和檢查的時(shí)間成本，提高了整體運(yùn)維效率。更多地，本發(fā)明的方案保證了機(jī)器人運(yùn)動(dòng)過(guò)程中可見(jiàn)光成像清晰度，確保機(jī)器人持續(xù)高速運(yùn)動(dòng)狀態(tài)下仍能保持拍攝畫(huà)面清晰的目標(biāo)，提高了圖像識(shí)別的準(zhǔn)確性和可靠性。

技術(shù)特征：

1.一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，所述的步驟2中，配置云臺(tái)相機(jī)的參數(shù)具體包括通過(guò)倍率-偏心模型調(diào)整云臺(tái)相機(jī)放大倍率與偏心之間的關(guān)系，通過(guò)云臺(tái)-像素轉(zhuǎn)換模型調(diào)整云臺(tái)運(yùn)動(dòng)與云臺(tái)相機(jī)像素坐標(biāo)之間的轉(zhuǎn)換關(guān)系，配置機(jī)器人的關(guān)系參數(shù)。

3.根據(jù)權(quán)利要求2所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，所述的機(jī)器人的關(guān)系參數(shù)包括運(yùn)動(dòng)速度、云臺(tái)相機(jī)焦距、倍率和物距。

4.根據(jù)權(quán)利要求2所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，所述的倍率-偏心模型具體為：

5.根據(jù)權(quán)利要求2所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，所述的云臺(tái)-像素轉(zhuǎn)換模型具體為：

6.根據(jù)權(quán)利要求1所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，所述的步驟3中，對(duì)云臺(tái)相機(jī)獲取的目標(biāo)圖像信息進(jìn)行識(shí)別，具體為：

7.根據(jù)權(quán)利要求1所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，所述的步驟3中，對(duì)云臺(tái)相機(jī)獲取的目標(biāo)圖像信息進(jìn)行識(shí)別在后臺(tái)服務(wù)器完成，機(jī)器人通過(guò)網(wǎng)絡(luò)通信連接將目標(biāo)圖像信息傳輸至后臺(tái)服務(wù)器；機(jī)器人檢測(cè)網(wǎng)絡(luò)連接狀態(tài)，若檢測(cè)到網(wǎng)絡(luò)中斷，則機(jī)器人將獲取的目標(biāo)圖像信息在本地進(jìn)行存儲(chǔ)，在網(wǎng)絡(luò)恢復(fù)時(shí)，機(jī)器人將自動(dòng)上傳累積的本地的目標(biāo)圖像信息數(shù)據(jù)至后臺(tái)服務(wù)器。

8.根據(jù)權(quán)利要求1所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，機(jī)器人在不同的不停車路線段通過(guò)管道配置管理功能執(zhí)行不同類型的圖像識(shí)別。

9.根據(jù)權(quán)利要求8所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，所述的管道配置管理功能包括將多個(gè)管道的輸出連接到同一個(gè)管道，或?qū)⒁粋€(gè)管道的輸出連接到多個(gè)管道，同時(shí)基于通訊協(xié)議控制實(shí)現(xiàn)動(dòng)態(tài)添加、修改、連接、刪除管道。

10.根據(jù)權(quán)利要求1所述的一種基于ai實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，其特征是，還對(duì)步驟3中，云臺(tái)相機(jī)獲取的目標(biāo)圖像信息進(jìn)行識(shí)別的方法進(jìn)行優(yōu)化，具體為：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于AI實(shí)時(shí)視覺(jué)的機(jī)器人視頻流巡檢方法，包括步驟1，獲取巡檢路線，按照機(jī)器人的云臺(tái)角度的不同將巡檢路線劃分出若干個(gè)不停車路線段；步驟2，機(jī)器人沿巡檢路線開(kāi)始巡檢，位于開(kāi)始識(shí)別點(diǎn)時(shí)，機(jī)器人配置自身運(yùn)動(dòng)參數(shù)、云臺(tái)相機(jī)的參數(shù)以及該路線段需要識(shí)別的目標(biāo)，然后機(jī)器人沿著巡檢路線運(yùn)動(dòng)，同時(shí)云臺(tái)相機(jī)開(kāi)始獲取目標(biāo)圖像信息，直到機(jī)器人運(yùn)動(dòng)至結(jié)束識(shí)別點(diǎn)，云臺(tái)相機(jī)停止工作；步驟3，對(duì)云臺(tái)相機(jī)獲取的目標(biāo)圖像信息進(jìn)行識(shí)別，判斷有無(wú)異常。本發(fā)明的方案保證了機(jī)器人運(yùn)動(dòng)過(guò)程中可見(jiàn)光成像清晰度，確保機(jī)器人持續(xù)高速運(yùn)動(dòng)狀態(tài)下仍能保持拍攝畫(huà)面清晰的目標(biāo)，提高了圖像識(shí)別的準(zhǔn)確性和可靠性。

技術(shù)研發(fā)人員：鄭艷,蔣鵬,王霞,胡悅,郭映余,陳志,王啟真,劉俊,劉志偉,張弛昊
受保護(hù)的技術(shù)使用者：浙江國(guó)自機(jī)器人技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9