本發(fā)明涉及天車控制,尤其涉及一種基于機(jī)器視覺的天車控制方法和系統(tǒng)。
背景技術(shù):
1、在工業(yè)自動(dòng)化領(lǐng)域,天車(也稱為橋式起重機(jī))作為重要的物料搬運(yùn)設(shè)備,廣泛應(yīng)用于各種工業(yè)場(chǎng)景中?;跈C(jī)器視覺的天車控制系統(tǒng),通過集成高清攝像機(jī)和圖像處理算法,捕捉天車作業(yè)區(qū)域的圖像信息,對(duì)圖像中的目標(biāo)物體進(jìn)行識(shí)別、定位與跟蹤,進(jìn)而指導(dǎo)天車的運(yùn)動(dòng)軌跡和作業(yè)操作,實(shí)現(xiàn)對(duì)天車運(yùn)行環(huán)境的實(shí)時(shí)監(jiān)測(cè)與精準(zhǔn)控制。其中,三維定位和避障是天車控制系統(tǒng)中的兩個(gè)關(guān)鍵環(huán)節(jié),對(duì)于確保天車運(yùn)行的安全性和高效性十分重要。
2、傳統(tǒng)天車控制系統(tǒng)在三維定位方面主要依賴于機(jī)械傳感器,如編碼器、限位開關(guān)以及簡(jiǎn)單的圖像處理技術(shù)。這些方法在復(fù)雜多變的工業(yè)環(huán)境中往往難以保證高精度的三維定位。機(jī)械傳感器易受磨損和干擾,影響定位精度;而簡(jiǎn)單的圖像處理技術(shù)則難以處理圖像中的噪聲、遮擋和光照變化等問題,導(dǎo)致定位結(jié)果不準(zhǔn)確。
3、此外,傳統(tǒng)天車控制系統(tǒng)在避障方面主要依賴于預(yù)設(shè)的安全距離。然而,在動(dòng)態(tài)變化的工業(yè)環(huán)境中,障礙物的位置、形狀和速度都可能發(fā)生變化,這使得傳統(tǒng)方法難以實(shí)現(xiàn)實(shí)時(shí)、準(zhǔn)確的障礙物檢測(cè)和預(yù)警,增加了天車運(yùn)行的安全風(fēng)險(xiǎn)。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此,本發(fā)明旨在提供一種基于機(jī)器視覺的天車控制方法和系統(tǒng),旨在解決傳統(tǒng)基于機(jī)器視覺的天車控制方法三維定位精度不足以及避障能力有限的問題。
2、一種基于機(jī)器視覺的天車控制方法,包括以下步驟:
3、s1:安裝雙目攝像頭,對(duì)雙目攝像頭進(jìn)行校準(zhǔn)以及網(wǎng)絡(luò)連接;
4、s2:利用雙目攝像頭收集天車圖像數(shù)據(jù)并進(jìn)行預(yù)處理,得到預(yù)處理后的天車圖像數(shù)據(jù);
5、s3:對(duì)預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行重物目標(biāo)檢測(cè),檢測(cè)出重物后進(jìn)行裁剪,得到重物圖像數(shù)據(jù);對(duì)重物圖像數(shù)據(jù)進(jìn)行特征提取,計(jì)算所需特征點(diǎn)對(duì)數(shù)量;再對(duì)重物圖像數(shù)據(jù)進(jìn)行sift特征點(diǎn)匹配,統(tǒng)計(jì)sift特征點(diǎn)對(duì)數(shù)量;
6、s4:若所需特征點(diǎn)對(duì)數(shù)量大于sift特征點(diǎn)對(duì)數(shù)量,則結(jié)合重物特征,計(jì)算補(bǔ)充特征點(diǎn)對(duì)及其描述子,并將補(bǔ)充特征點(diǎn)對(duì)及其描述子與sift特征點(diǎn)對(duì)及其描述子進(jìn)行合并,得到雙目匹配特征點(diǎn)對(duì)及其描述子;若所需特征點(diǎn)對(duì)數(shù)量小于sift特征點(diǎn)對(duì)數(shù)量,則結(jié)合重物特征,進(jìn)行sift特征點(diǎn)對(duì)刪除,得到雙目匹配特征點(diǎn)對(duì)及其描述子;根據(jù)雙目匹配特征點(diǎn)對(duì),計(jì)算重物的雙目深度以及重物中心在相機(jī)坐標(biāo)系中的橫、縱坐標(biāo);
7、s5:對(duì)預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行吊鉤目標(biāo)檢測(cè),得到吊鉤目標(biāo)框,并經(jīng)裁切得到吊鉤圖像數(shù)據(jù),計(jì)算吊鉤下放距離;對(duì)預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行障礙物目標(biāo)檢測(cè)并提取障礙物特征;結(jié)合吊鉤下放距離與障礙物特征,計(jì)算吊鉤安全范圍半徑函數(shù);當(dāng)檢測(cè)到障礙物在吊鉤安全半徑范圍內(nèi)時(shí)進(jìn)行告警;
8、s6:基于重物的雙目深度、重物中心在相機(jī)坐標(biāo)系中的橫縱坐標(biāo)以及吊鉤目標(biāo)框,計(jì)算天車控制參數(shù),并根據(jù)天車控制參數(shù)對(duì)天車進(jìn)行控制。
9、進(jìn)一步的,所述s1步驟包括:
10、s11:在天車小車前方的大車上安裝雙目攝像頭,雙目攝像頭與吊鉤的直線距離不小于1.5米;
11、s12:使用張正友標(biāo)定法對(duì)雙目攝像頭進(jìn)行校準(zhǔn);
12、s13:將雙目攝像頭通過千兆交換機(jī)與工業(yè)計(jì)算機(jī)進(jìn)行網(wǎng)絡(luò)連接,并配置攝像頭的網(wǎng)絡(luò)通信參數(shù)。
13、進(jìn)一步的,所述s2步驟包括:
14、s21:通過雙目攝像頭實(shí)時(shí)捕捉天車作業(yè)區(qū)域的天車圖像數(shù)據(jù),所述天車圖像數(shù)據(jù)包括左圖像數(shù)據(jù)和右圖像數(shù)據(jù),左圖像數(shù)據(jù)和右圖像數(shù)據(jù)分別由雙目攝像頭的兩個(gè)不同的攝像頭采集得到;
15、s22:采用高斯濾波對(duì)天車圖像數(shù)據(jù)進(jìn)行去噪處理,得到去噪后的天車圖像數(shù)據(jù);
16、s23:采用bouguet算法對(duì)去噪后的天車圖像數(shù)據(jù)中的左圖像數(shù)據(jù)與右圖像數(shù)據(jù)進(jìn)行立體校正,確保兩幅圖像在同一平面上,得到預(yù)處理后的天車圖像數(shù)據(jù);所述預(yù)處理后的天車圖像數(shù)據(jù)包括預(yù)處理后的左圖像數(shù)據(jù)、預(yù)處理后的右圖像數(shù)據(jù)。
17、進(jìn)一步的,所述s3步驟包括:
18、s31:對(duì)預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行重物目標(biāo)檢測(cè),并根據(jù)重物中心坐標(biāo)輸出重物水平位置,計(jì)算方式為:;
19、其中,為重物中心在預(yù)處理后的天車圖像數(shù)據(jù)中的橫、縱坐標(biāo),為由4個(gè)頂點(diǎn)坐標(biāo)構(gòu)成的矩形重物目標(biāo)框;為網(wǎng)絡(luò)操作,為預(yù)處理后的天車圖像數(shù)據(jù);
20、檢測(cè)出重物后,以矩形重物目標(biāo)框?yàn)檫吔?,將預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行裁剪,得到重物圖像數(shù)據(jù),記為;
21、s32:對(duì)重物圖像數(shù)據(jù)進(jìn)行特征提取,得到重物特征,并根據(jù)重物特征,計(jì)算所需特征點(diǎn)對(duì)數(shù)量,計(jì)算方式為:
22、;
23、其中,為重物特征,為卷積神經(jīng)網(wǎng)絡(luò)操作,為特征點(diǎn)對(duì)數(shù)量的概率分布,為softmax函數(shù),為多層感知機(jī)操作;
24、取中概率最大的特征點(diǎn)對(duì)數(shù)量類別,作為所需特征點(diǎn)對(duì)數(shù)量,記為;
25、在天車吊裝作業(yè)中,對(duì)重物進(jìn)行精確的特征提取是確保后續(xù)深度計(jì)算和控制準(zhǔn)確性的關(guān)鍵;傳統(tǒng)方法往往直接采用固定的特征點(diǎn)數(shù)量或簡(jiǎn)單的特征提取算法,無法適應(yīng)不同重物和作業(yè)環(huán)境的變化;s32步驟通過卷積神經(jīng)網(wǎng)絡(luò)(cnn)和多層感知機(jī)(mlp)結(jié)合softmax分類模型,實(shí)現(xiàn)了對(duì)重物特征的自適應(yīng)提取和特征點(diǎn)數(shù)量的智能選擇;
26、此處選擇用分類模型計(jì)算特征點(diǎn)對(duì)數(shù)量,而不是直接采用多層感知機(jī)生成一個(gè)值作為特征點(diǎn)數(shù)量,可以避免特征點(diǎn)數(shù)量不足或過多,進(jìn)而影響后續(xù)深度計(jì)算和控制的準(zhǔn)確性;而對(duì)于分類模型來說,特征點(diǎn)數(shù)量的類別,是可以提前設(shè)定的,通過分類模型生成的特征點(diǎn)數(shù)量,既具有自適應(yīng)的能力,又不會(huì)產(chǎn)生過于極端的數(shù)值;
27、s33:對(duì)重物圖像數(shù)據(jù)進(jìn)行sift特征點(diǎn)匹配,并統(tǒng)計(jì)sift特征點(diǎn)對(duì)數(shù)量,計(jì)算方式為:
28、;
29、其中,為sift特征點(diǎn)對(duì),為sift特征點(diǎn)對(duì)數(shù)量,為sift特征點(diǎn)對(duì)描述子,每個(gè)sift特征點(diǎn)對(duì)均對(duì)應(yīng)一個(gè)sift特征點(diǎn)對(duì)描述子,為sift特征點(diǎn)匹配算法。
30、進(jìn)一步的,所述s4步驟包括:
31、s41:若所需特征點(diǎn)對(duì)數(shù)量大于sift特征點(diǎn)對(duì)數(shù)量,則結(jié)合重物特征,計(jì)算補(bǔ)充特征點(diǎn)對(duì)及其描述子,并將補(bǔ)充特征點(diǎn)對(duì)及其描述子與sift特征點(diǎn)對(duì)及其描述子進(jìn)行合并,得到雙目匹配特征點(diǎn)對(duì)及其描述子,計(jì)算方式為:
32、;
33、其中,為補(bǔ)充特征點(diǎn)對(duì)的特征,為sigmoid函數(shù),為補(bǔ)充特征點(diǎn)對(duì),為補(bǔ)充特征點(diǎn)對(duì)的描述子,為拼接操作,為雙目匹配特征點(diǎn)對(duì),為雙目匹配特征點(diǎn)對(duì)的描述子;
34、s42:若所需特征點(diǎn)對(duì)數(shù)量小于sift特征點(diǎn)對(duì)數(shù)量,則結(jié)合重物特征,進(jìn)行sift特征點(diǎn)對(duì)刪除,計(jì)算方式為:
35、;
36、其中,為需要進(jìn)行刪除的sift特征點(diǎn)對(duì)的特征,為需要進(jìn)行刪除的sift特征點(diǎn)對(duì)的概率分布;
37、計(jì)算出后,按照需要進(jìn)行刪除的概率從大到小,對(duì)sift特征點(diǎn)對(duì)進(jìn)行排序,并刪除個(gè)sift特征點(diǎn)對(duì)及其描述子,未被刪除的sift特征點(diǎn)對(duì)及其描述子為雙目匹配特征點(diǎn)對(duì)及其描述子,分別記為;
38、所需特征點(diǎn)對(duì)數(shù)量大于sift特征點(diǎn)對(duì)數(shù)量時(shí),s41步驟通過結(jié)合重物特征和sift特征點(diǎn)信息,計(jì)算補(bǔ)充特征點(diǎn)對(duì),并與原有的sift特征點(diǎn)對(duì)進(jìn)行合并;當(dāng)所需特征點(diǎn)對(duì)數(shù)量小于sift特征點(diǎn)對(duì)數(shù)量時(shí),s42步驟通過結(jié)合重物特征和sift特征點(diǎn)信息,智能地選擇需要?jiǎng)h除的特征點(diǎn)對(duì),實(shí)現(xiàn)了計(jì)算量、干擾信息與特征表達(dá)能力的平衡,使得算法能夠應(yīng)對(duì)不同形狀、大小和紋理的重物;
39、s43:根據(jù)雙目匹配特征點(diǎn)對(duì),計(jì)算重物的雙目深度以及重物中心在相機(jī)坐標(biāo)系中的橫、縱坐標(biāo),計(jì)算流程為:
40、s431:對(duì)于每一個(gè)雙目匹配特征點(diǎn)對(duì),計(jì)算視差,計(jì)算方式為:
41、;
42、其中,為根據(jù)第 i個(gè)雙目匹配特征點(diǎn)對(duì)計(jì)算出的視差, i為雙目匹配特征點(diǎn)對(duì)索引,為第 i個(gè)雙目匹配特征點(diǎn)對(duì)在預(yù)處理后的左圖像數(shù)據(jù)中的橫坐標(biāo),為第 i個(gè)雙目匹配特征點(diǎn)對(duì)在預(yù)處理后的右圖像數(shù)據(jù)中的橫坐標(biāo);
43、s432:計(jì)算各個(gè)雙目匹配特征點(diǎn)對(duì)的深度,計(jì)算方式為:
44、;
45、其中,為第 i個(gè)雙目匹配特征點(diǎn)對(duì)的深度,f為相機(jī)焦距,b為基線距離;
46、s433:計(jì)算雙目匹配特征點(diǎn)對(duì)的權(quán)重,并根據(jù)由各個(gè)雙目匹配特征點(diǎn)對(duì)的深度,計(jì)算重物的雙目深度以及重物中心在相機(jī)坐標(biāo)系中的橫、縱坐標(biāo),計(jì)算方式為:
47、;
48、其中,為第 i個(gè)雙目匹配特征點(diǎn)對(duì)的權(quán)重,為注意力機(jī)制操作,為重物的雙目深度;分別為重物中心在相機(jī)坐標(biāo)系中的橫、縱坐標(biāo)。
49、通過計(jì)算左右圖像中雙目匹配特征點(diǎn)對(duì)的橫坐標(biāo)之差,s43步驟精確獲取了每個(gè)特征點(diǎn)對(duì)的視差信息;獲取到視差信息之后,s433步驟引入了注意力機(jī)制,根據(jù)特征點(diǎn)的重要性和可靠性動(dòng)態(tài)調(diào)整其權(quán)重,使得算法在面對(duì)復(fù)雜環(huán)境(如光照變化、遮擋、噪聲等)時(shí),能夠更有效地篩選出有用的特征點(diǎn),提高雙目測(cè)量的準(zhǔn)確性和穩(wěn)定性。
50、進(jìn)一步的,所述s5步驟包括:
51、s51:對(duì)預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行吊鉤目標(biāo)檢測(cè),得到吊鉤目標(biāo)框,計(jì)算方式為:
52、;
53、其中,為由4個(gè)頂點(diǎn)坐標(biāo)構(gòu)成的矩形的吊鉤目標(biāo)框;
54、然后,以吊鉤目標(biāo)框?yàn)檫吔?,將預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行裁剪,得到吊鉤圖像數(shù)據(jù),記為;
55、s52:統(tǒng)計(jì)吊鉤圖像數(shù)據(jù)中吊鉤的像素?cái)?shù)量,并結(jié)合吊鉤的像素?cái)?shù)量與吊鉤纜繩刻度,計(jì)算吊鉤下放距離,計(jì)算方式為:
56、;
57、其中,為吊鉤圖像數(shù)據(jù)中吊鉤的像素?cái)?shù)量,為求和統(tǒng)計(jì)函數(shù),為吊鉤下放距離,為吊鉤纜繩刻度;
58、在天車吊裝作業(yè)中,傳統(tǒng)方法往往依賴于鋼纜的刻度或傳感器來測(cè)量吊鉤的下放距離,但長(zhǎng)期使用時(shí),鋼纜可能會(huì)因受力、磨損或環(huán)境因素而逐漸被拉松,導(dǎo)致刻度不準(zhǔn)確,進(jìn)而影響吊鉤距離的測(cè)量精度;s52步驟基于深度學(xué)習(xí),統(tǒng)計(jì)吊鉤圖像數(shù)據(jù)中吊鉤的像素?cái)?shù)量,通過像素?cái)?shù)量與吊鉤實(shí)際尺寸之間的比例關(guān)系,更加準(zhǔn)確地計(jì)算吊鉤的下放距離;
59、s53:對(duì)預(yù)處理后的天車圖像數(shù)據(jù),進(jìn)行障礙物目標(biāo)檢測(cè)并提取障礙物特征,計(jì)算方式為:
60、;
61、其中,為由4個(gè)頂點(diǎn)坐標(biāo)構(gòu)成的矩形的障礙物目標(biāo)框,為初步障礙物特征,為vggnet網(wǎng)絡(luò)操作,為障礙物特征,分別為障礙物在相機(jī)坐標(biāo)系中的橫、縱、豎坐標(biāo);根據(jù)計(jì)算得到;
62、s54:結(jié)合吊鉤下放距離與障礙物特征,計(jì)算吊鉤安全范圍半徑函數(shù),計(jì)算方式為:
63、;
64、其中,為吊鉤安全范圍半徑函數(shù);
65、傳統(tǒng)的固定安全半徑方法往往會(huì)在空曠區(qū)域產(chǎn)生不必要的誤報(bào),而吊鉤安全范圍半徑函數(shù)通過自適應(yīng)調(diào)整,有效減少了這種情況的發(fā)生;本發(fā)明提出的吊鉤安全范圍半徑函數(shù)能夠根據(jù)吊鉤的下放距離和周圍環(huán)境中的障礙物特征自適應(yīng)地調(diào)整安全半徑;當(dāng)?shù)蹉^處于較高位置且周圍障礙物稀少時(shí),函數(shù)會(huì)自動(dòng)設(shè)定一個(gè)較大的安全半徑,以允許更靈活的操作空間;隨著吊鉤的下放,特別是當(dāng)進(jìn)入障礙物密集區(qū)域時(shí),函數(shù)會(huì)動(dòng)態(tài)縮小安全半徑,確保對(duì)潛在碰撞的及時(shí)預(yù)警;
66、s55:當(dāng)檢測(cè)到障礙物在吊鉤安全半徑范圍內(nèi)時(shí)進(jìn)行告警。
67、進(jìn)一步的,所述s6步驟包括:
68、s61:結(jié)合重物中心在相機(jī)坐標(biāo)系中的橫、縱坐標(biāo)和重物的雙目深度,以及吊鉤目標(biāo)框,輸出天車控制參數(shù),計(jì)算方式為:
69、;
70、其中,為天車控制參數(shù),包括大車、小車和吊鉤的移動(dòng)量;
71、s62:根據(jù)計(jì)算出的天車控制參數(shù),生成推薦控制指令計(jì)算方式為:
72、;
73、其中,為推薦控制指令的概率分布,選擇概率最大的推薦控制指令作為推薦控制指令;所述推薦控制指令包括:大車往左、大車往右、小車往前、小車往后、吊鉤上升、吊鉤下降以及暫停運(yùn)行。
74、本發(fā)明還公開了一種基于機(jī)器視覺的天車控制系統(tǒng),包括:
75、圖像收集與預(yù)處理模塊:利用雙目攝像頭收集天車圖像數(shù)據(jù)并進(jìn)行預(yù)處理,得到預(yù)處理后的天車圖像數(shù)據(jù);
76、特征點(diǎn)對(duì)數(shù)量計(jì)算模塊:對(duì)預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行重物目標(biāo)檢測(cè),檢測(cè)出重物后進(jìn)行裁剪,得到重物圖像數(shù)據(jù);對(duì)重物圖像數(shù)據(jù)進(jìn)行特征提取,計(jì)算所需特征點(diǎn)對(duì)數(shù)量;對(duì)重物圖像數(shù)據(jù)進(jìn)行sift特征點(diǎn)匹配,統(tǒng)計(jì)sift特征點(diǎn)對(duì)數(shù)量;
77、雙目匹配特征點(diǎn)對(duì)計(jì)算模塊:根據(jù)所需特征點(diǎn)對(duì)數(shù)量與sift特征點(diǎn)對(duì)數(shù)量,計(jì)算雙目匹配特征點(diǎn)對(duì)及其描述子,并計(jì)算重物的雙目深度以及重物中心在相機(jī)坐標(biāo)系中的橫、縱坐標(biāo);
78、吊鉤安全范圍半徑函數(shù)計(jì)算模塊:對(duì)預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行吊鉤目標(biāo)檢測(cè),得到吊鉤目標(biāo)框,并經(jīng)裁切得到吊鉤圖像數(shù)據(jù),計(jì)算吊鉤下放距離;對(duì)預(yù)處理后的天車圖像數(shù)據(jù)進(jìn)行障礙物目標(biāo)檢測(cè)并提取障礙物特征;結(jié)合吊鉤下放距離與障礙物特征,計(jì)算吊鉤安全范圍半徑函數(shù);當(dāng)檢測(cè)到障礙物在吊鉤安全半徑范圍內(nèi)時(shí)進(jìn)行告警;
79、天車控制模塊:基于重物的雙目深度、重物中心在相機(jī)坐標(biāo)系中的橫縱坐標(biāo)以及吊鉤目標(biāo)框,計(jì)算天車控制參數(shù),并根據(jù)天車控制參數(shù)對(duì)天車進(jìn)行控制。
80、與現(xiàn)有技術(shù)相比,本發(fā)明的優(yōu)點(diǎn)在于:
81、(1)本發(fā)明采用雙目攝像頭,以視距計(jì)算的思路提取重物的雙目深度;同時(shí),結(jié)合目標(biāo)檢測(cè)算法與特征提取網(wǎng)絡(luò),提高了特征點(diǎn)對(duì)的匹配效果,進(jìn)而提高了系統(tǒng)的三維定位能力;另外,本發(fā)明通過計(jì)算吊鉤安全范圍半徑函數(shù),并根據(jù)吊鉤下放距離和障礙物特征動(dòng)態(tài)調(diào)整安全半徑,及時(shí)發(fā)出避障預(yù)警,有效提升了避障能力。
82、(2)本發(fā)明通過卷積神經(jīng)網(wǎng)絡(luò)和多層感知機(jī),結(jié)合softmax分類模型,利用分類模型的思路,自適應(yīng)計(jì)算特征點(diǎn)對(duì)的數(shù)量,避免特征點(diǎn)數(shù)量不足或過多,進(jìn)而影響后續(xù)深度計(jì)算和控制的準(zhǔn)確性。
83、(3)本發(fā)明提出了吊鉤安全范圍半徑函數(shù)能夠根據(jù)吊鉤的下放距離和周圍環(huán)境中的障礙物特征自適應(yīng)地調(diào)整安全半徑;當(dāng)?shù)蹉^處于較高位置且周圍障礙物稀少時(shí),函數(shù)會(huì)自動(dòng)設(shè)定一個(gè)較大的安全半徑,以允許更靈活的操作空間;隨著吊鉤的下放,特別是當(dāng)進(jìn)入障礙物密集區(qū)域時(shí),函數(shù)會(huì)動(dòng)態(tài)縮小安全半徑,確保對(duì)潛在碰撞的及時(shí)預(yù)警。
84、(4)針對(duì)在天車吊裝作業(yè)中,鋼纜因受力、磨損等因素而逐漸被拉松,進(jìn)而導(dǎo)致的吊鉤下放距離測(cè)量不準(zhǔn)的問題,本發(fā)明基于深度學(xué)習(xí),統(tǒng)計(jì)吊鉤圖像數(shù)據(jù)中吊鉤的像素?cái)?shù)量,通過像素?cái)?shù)量與吊鉤實(shí)際尺寸之間的比例關(guān)系,更加準(zhǔn)確地計(jì)算吊鉤的下放距離。