本發(fā)明涉及生產(chǎn)管理，尤其是一種機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法、系統(tǒng)及程序產(chǎn)品。

背景技術(shù)：

1、機(jī)械手臂，作為機(jī)器人技術(shù)中應(yīng)用最廣泛的自動(dòng)化設(shè)備，已在工業(yè)生產(chǎn)、醫(yī)療手術(shù)、娛樂(lè)服務(wù)、軍事行動(dòng)、半導(dǎo)體制造以及太空探索等多個(gè)領(lǐng)域展現(xiàn)了其卓越的能力。盡管機(jī)械手臂的外觀和構(gòu)造各異，但它們都共有一個(gè)顯著特性：能夠接受指令，精確地定位到三維(或二維)空間上的某一點(diǎn)，并執(zhí)行相應(yīng)的任務(wù)。這種高度的精準(zhǔn)性和靈活性，使得機(jī)械手臂成為現(xiàn)代自動(dòng)化領(lǐng)域不可或缺的一部分，為我們生活的各個(gè)方面帶來(lái)了極大的便利和效率。

2、但是在實(shí)際生產(chǎn)環(huán)境中機(jī)械臂的運(yùn)動(dòng)軌跡可能會(huì)出現(xiàn)異常，主要受到機(jī)械臂的硬件、軟件、控制系統(tǒng)、外部環(huán)境等因素的影響。目前，為了在生產(chǎn)環(huán)境中發(fā)現(xiàn)機(jī)械臂異常，通常采用以下方式：第一，通過(guò)正逆運(yùn)動(dòng)學(xué)，實(shí)現(xiàn)數(shù)學(xué)建模以計(jì)算機(jī)械臂各個(gè)關(guān)節(jié)的姿態(tài)，具有較好的靈活性與實(shí)時(shí)性，但是當(dāng)機(jī)械臂程序出故障時(shí)，無(wú)法檢測(cè)機(jī)械臂的運(yùn)動(dòng)軌跡，從而導(dǎo)致嚴(yán)重的生產(chǎn)事故。第二，通過(guò)機(jī)器視覺(jué)算法檢測(cè)機(jī)械臂軌跡，但易受光線、遮擋、環(huán)境等因素的干擾，影響算法的精準(zhǔn)性。因此，現(xiàn)有的機(jī)械臂運(yùn)動(dòng)軌跡監(jiān)測(cè)方式的準(zhǔn)確度及穩(wěn)定性較低，導(dǎo)致監(jiān)測(cè)效果不佳。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法、系統(tǒng)及程序產(chǎn)品，用以解決現(xiàn)有的機(jī)械臂運(yùn)動(dòng)軌跡監(jiān)測(cè)方式的準(zhǔn)確度及穩(wěn)定性較低而導(dǎo)致監(jiān)測(cè)效果不佳的技術(shù)問(wèn)題。

2、第一方面，本申請(qǐng)?zhí)峁┮环N機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，用于處理裝置，所述方法包括：

3、獲取雙目攝像裝置發(fā)送的具有目標(biāo)機(jī)械臂的待處理圖像；

4、采用預(yù)先建立的關(guān)鍵點(diǎn)檢測(cè)模型對(duì)所述待處理圖像進(jìn)行檢測(cè)，得到至少一個(gè)姿態(tài)關(guān)鍵點(diǎn)及與之相應(yīng)的二維坐標(biāo)；

5、采用預(yù)設(shè)濾波模型對(duì)所述二維坐標(biāo)進(jìn)行平滑軌跡，得到關(guān)鍵點(diǎn)軌跡；

6、對(duì)所述關(guān)鍵點(diǎn)軌跡上的姿態(tài)關(guān)鍵點(diǎn)進(jìn)行視差處理及三角測(cè)量，得到所述姿態(tài)關(guān)鍵點(diǎn)的三維坐標(biāo)以及包含所述三維坐標(biāo)的目標(biāo)運(yùn)動(dòng)軌跡；

7、將所述目標(biāo)運(yùn)動(dòng)軌跡與預(yù)設(shè)運(yùn)動(dòng)軌跡進(jìn)行對(duì)比，依據(jù)對(duì)比結(jié)果獲得用于指示所述目標(biāo)機(jī)械臂是否異常的軌跡分析結(jié)果。

8、第二方面，本申請(qǐng)?zhí)峁┮环N機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)系統(tǒng)，包括：雙目攝像裝置以及處理裝置：

9、所述雙目攝像裝置，用于獲取具有目標(biāo)機(jī)械臂的待處理圖像，后發(fā)送到所述處理裝置；

10、所述處理裝置，連接于所述雙目攝像裝置，用于獲取所述待處理圖像；

11、采用預(yù)先建立的關(guān)鍵點(diǎn)檢測(cè)模型對(duì)所述待處理圖像進(jìn)行檢測(cè)，得到至少一個(gè)姿態(tài)關(guān)鍵點(diǎn)及與之相應(yīng)的二維坐標(biāo)；

12、采用預(yù)設(shè)濾波模型對(duì)所述二維坐標(biāo)進(jìn)行平滑軌跡，得到關(guān)鍵點(diǎn)軌跡；

13、對(duì)所述關(guān)鍵點(diǎn)軌跡上的姿態(tài)關(guān)鍵點(diǎn)進(jìn)行視差處理及三角測(cè)量，得到所述姿態(tài)關(guān)鍵點(diǎn)的三維坐標(biāo)以及包含所述三維坐標(biāo)的目標(biāo)運(yùn)動(dòng)軌跡；

14、將所述目標(biāo)運(yùn)動(dòng)軌跡與預(yù)設(shè)運(yùn)動(dòng)軌跡進(jìn)行對(duì)比，依據(jù)對(duì)比結(jié)果獲得用于指示所述目標(biāo)機(jī)械臂是否異常的軌跡分析結(jié)果。

15、第三方面，本申請(qǐng)?zhí)峁┮环N計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面或第一方面任一種可能的實(shí)現(xiàn)方式所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法。

16、本申請(qǐng)?zhí)峁┑臋C(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法、系統(tǒng)及程序產(chǎn)品，通過(guò)結(jié)合雙目攝像裝置和關(guān)鍵點(diǎn)檢測(cè)模型檢測(cè)目標(biāo)機(jī)械臂的姿態(tài)關(guān)鍵點(diǎn)，保證了關(guān)鍵點(diǎn)檢測(cè)的高精度和高穩(wěn)定性，并且能夠適用于復(fù)雜的工業(yè)環(huán)境場(chǎng)景和多機(jī)械臂同時(shí)工作的情況。繼而，對(duì)姿態(tài)關(guān)鍵點(diǎn)的二維坐標(biāo)進(jìn)行平滑軌跡，實(shí)現(xiàn)降低檢測(cè)干擾。進(jìn)而，通過(guò)雙目攝像裝置的雙目視覺(jué)處理及三角測(cè)量，將姿態(tài)關(guān)鍵點(diǎn)的二維坐標(biāo)轉(zhuǎn)化為三維坐標(biāo)，能夠?qū)崿F(xiàn)恢復(fù)空間維度信息，并形成相應(yīng)的目標(biāo)運(yùn)動(dòng)軌跡，提高了機(jī)械臂軌跡檢測(cè)的準(zhǔn)確度。從而，將標(biāo)記有姿態(tài)關(guān)鍵點(diǎn)的三維坐標(biāo)的目標(biāo)運(yùn)動(dòng)軌跡與預(yù)設(shè)運(yùn)動(dòng)軌跡進(jìn)行對(duì)比，實(shí)現(xiàn)在生產(chǎn)環(huán)境中及時(shí)發(fā)現(xiàn)機(jī)械臂異常，解決了現(xiàn)有的機(jī)械臂運(yùn)動(dòng)軌跡監(jiān)測(cè)方式的準(zhǔn)確度及穩(wěn)定性較低，導(dǎo)致監(jiān)測(cè)效果不佳的問(wèn)題。

技術(shù)特征：

1.一種機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，其特征在于，用于處理裝置，所述方法包括：

2.根據(jù)權(quán)利要求1所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，其特征在于，通過(guò)如下步驟以構(gòu)建關(guān)鍵點(diǎn)檢測(cè)模型，包括：

3.根據(jù)權(quán)利要求2所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，其特征在于，所述基于所述目標(biāo)檢測(cè)損失函數(shù)、所述第一關(guān)鍵點(diǎn)損失函數(shù)、所述第二關(guān)鍵點(diǎn)損失函數(shù)及所述排序分類損失函數(shù)，確定模型損失函數(shù)，包括：

4.根據(jù)權(quán)利要求1所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，其特征在于，所述對(duì)所述關(guān)鍵點(diǎn)軌跡上的姿態(tài)關(guān)鍵點(diǎn)進(jìn)行視差處理及三角測(cè)量，得到所述姿態(tài)關(guān)鍵點(diǎn)的三維坐標(biāo)以及包含所述三維坐標(biāo)的目標(biāo)運(yùn)動(dòng)軌跡，包括：

5.根據(jù)權(quán)利要求4所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，其特征在于，所述依據(jù)所述目標(biāo)機(jī)械臂的操作任務(wù)和/或環(huán)境數(shù)據(jù)，篩選所述關(guān)鍵點(diǎn)軌跡上的所述姿態(tài)關(guān)鍵點(diǎn)符合預(yù)設(shè)的篩選條件時(shí)所對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)，包括：

6.根據(jù)權(quán)利要求5所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，其特征在于，所述環(huán)境數(shù)據(jù)包括影響所述目標(biāo)機(jī)械臂執(zhí)行所述操作任務(wù)的障礙物；所述依據(jù)所述目標(biāo)機(jī)械臂的操作任務(wù)和/或環(huán)境數(shù)據(jù)，篩選所述關(guān)鍵點(diǎn)軌跡上的所述姿態(tài)關(guān)鍵點(diǎn)符合預(yù)設(shè)的篩選條件時(shí)所對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)，還包括；

7.根據(jù)權(quán)利要求6所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，其特征在于，所述對(duì)所述關(guān)鍵點(diǎn)軌跡上的姿態(tài)關(guān)鍵點(diǎn)進(jìn)行視差處理及三角測(cè)量，得到所述姿態(tài)關(guān)鍵點(diǎn)的三維坐標(biāo)以及包含所述三維坐標(biāo)的目標(biāo)運(yùn)動(dòng)軌跡，包括：

8.根據(jù)權(quán)利要求6所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法，其特征在于，所述對(duì)所述關(guān)鍵點(diǎn)軌跡上的姿態(tài)關(guān)鍵點(diǎn)進(jìn)行視差處理及三角測(cè)量，得到所述姿態(tài)關(guān)鍵點(diǎn)的三維坐標(biāo)以及包含所述三維坐標(biāo)的目標(biāo)運(yùn)動(dòng)軌跡，還包括：

9.一種機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)系統(tǒng)，其特征在于，包括：雙目攝像裝置以及處理裝置：

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-8任一項(xiàng)所述的機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N機(jī)械臂運(yùn)動(dòng)軌跡檢測(cè)方法、系統(tǒng)及程序產(chǎn)品，涉及生產(chǎn)管理技術(shù)領(lǐng)域。該方法包括：獲取雙目攝像裝置發(fā)送的具有目標(biāo)機(jī)械臂的待處理圖像；采用預(yù)先建立的關(guān)鍵點(diǎn)檢測(cè)模型對(duì)所述待處理圖像進(jìn)行檢測(cè)，得到至少一個(gè)姿態(tài)關(guān)鍵點(diǎn)及與之相應(yīng)的二維坐標(biāo)；采用預(yù)設(shè)濾波模型對(duì)所述二維坐標(biāo)進(jìn)行平滑軌跡，得到關(guān)鍵點(diǎn)軌跡；對(duì)所述關(guān)鍵點(diǎn)軌跡上的姿態(tài)關(guān)鍵點(diǎn)進(jìn)行視差處理及三角測(cè)量，得到所述姿態(tài)關(guān)鍵點(diǎn)的三維坐標(biāo)以及包含所述三維坐標(biāo)的目標(biāo)運(yùn)動(dòng)軌跡；將所述目標(biāo)運(yùn)動(dòng)軌跡與預(yù)設(shè)運(yùn)動(dòng)軌跡進(jìn)行對(duì)比，依據(jù)對(duì)比結(jié)果獲得用于指示所述目標(biāo)機(jī)械臂是否異常的軌跡分析結(jié)果。本申請(qǐng)?zhí)岣吡藱C(jī)械臂運(yùn)動(dòng)軌跡監(jiān)測(cè)的準(zhǔn)確度及及時(shí)性。

技術(shù)研發(fā)人員：支源,楊顯坤,張小山,凌元峰,李洪娥
受保護(hù)的技術(shù)使用者：四川懋潤(rùn)電力科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6