本技術(shù)涉及機(jī)器人，尤其涉及一種鋼筋綁扎機(jī)器人的自動(dòng)作業(yè)方法及鋼筋綁扎機(jī)器人。

背景技術(shù)：

1、在建筑工程領(lǐng)域，鋼筋施工一直是施工工序中耗時(shí)最長(zhǎng)的環(huán)節(jié)之一。這一環(huán)節(jié)的主要特征在于大量的人工重復(fù)性操作，這不僅效率低下，而且極易因人為因素導(dǎo)致施工質(zhì)量的不穩(wěn)定。

2、盡管近年來(lái)鋼筋工業(yè)化作業(yè)取得了一定的進(jìn)展，如某國(guó)外公司開(kāi)發(fā)的鋼筋籠自動(dòng)化裝備，能在三維模型的引導(dǎo)下進(jìn)行自動(dòng)化布置和綁扎，但這類裝備在實(shí)際應(yīng)用中仍受限于多種因素。某國(guó)內(nèi)大型建筑公司的鋼筋骨架智能生產(chǎn)線雖然實(shí)現(xiàn)了工廠環(huán)境下的自動(dòng)化焊接，但僅限于水平鋼筋網(wǎng)片，對(duì)于復(fù)雜的三維鋼筋骨架處理尚顯不足。

3、在機(jī)械化施工方面，盡管有某國(guó)外公司的的板筋自動(dòng)布設(shè)設(shè)備和另一國(guó)內(nèi)建筑公司的板筋自動(dòng)綁扎設(shè)備等產(chǎn)品問(wèn)世，但它們大多局限于平面鋼筋的鋪設(shè)和綁扎，對(duì)于三維鋼筋骨架的現(xiàn)場(chǎng)施工，無(wú)法實(shí)現(xiàn)自動(dòng)化鋼筋綁扎。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)的主要目的在于提供一種鋼筋綁扎機(jī)器人的自動(dòng)作業(yè)方法及鋼筋綁扎機(jī)器人，目的在于實(shí)現(xiàn)三維鋼筋骨架的自動(dòng)化施工。

2、本技術(shù)第一方面提供了一種鋼筋綁扎機(jī)器人的自動(dòng)作業(yè)方法，應(yīng)用于鋼筋綁扎機(jī)器人，該方法包括：

3、通過(guò)生產(chǎn)線上的相機(jī)群獲取鋼筋籠的全局圖像；

4、基于全局圖像生成鋼筋籠的三維點(diǎn)云模型；

5、識(shí)別三維點(diǎn)云模型中的鋼筋節(jié)點(diǎn)，根據(jù)鋼筋節(jié)點(diǎn)的位置對(duì)三維點(diǎn)云模型進(jìn)行分塊處理，以得到機(jī)器人定位點(diǎn)序列；

6、執(zhí)行機(jī)器人定位點(diǎn)序列的遍歷步驟，以對(duì)鋼筋籠進(jìn)行全局綁扎；

7、機(jī)器人定位點(diǎn)序列的遍歷步驟，包括：通過(guò)獲取鋼筋籠的周邊環(huán)境圖像，生成引導(dǎo)鋼筋綁扎機(jī)器人移動(dòng)到當(dāng)前遍歷的定位點(diǎn)的移動(dòng)路徑，基于移動(dòng)路徑移動(dòng)到當(dāng)前遍歷的定位點(diǎn)，生成當(dāng)前遍歷的捆扎定位點(diǎn)對(duì)應(yīng)的局部拍照點(diǎn)序列，并執(zhí)行局部拍照點(diǎn)序列的遍歷步驟，以對(duì)鋼筋籠進(jìn)行局部綁扎；

8、局部拍照點(diǎn)序列的遍歷步驟，以對(duì)鋼筋籠進(jìn)行局部綁扎，包括：獲取當(dāng)前遍歷的局部拍照點(diǎn)對(duì)應(yīng)的鋼筋籠的局部圖像，基于局部圖像生成綁扎路徑，并基于綁扎路徑對(duì)鋼筋籠進(jìn)行局部綁扎。

9、在本技術(shù)第一方面的一些實(shí)現(xiàn)方式中，在基于全局圖像生成鋼筋籠的三維點(diǎn)云模型之后，該方法還包括：

10、從三維點(diǎn)云模型中提取鋼筋籠的幾何信息，幾何信息包括以下至少一種信息：鋼筋間距、鋼筋籠尺寸以及鋼筋直徑；

11、將幾何信息與預(yù)先設(shè)置的建筑信息模型bim模型進(jìn)行比對(duì)，以判斷鋼筋籠是否符合bim模型指示的標(biāo)準(zhǔn)規(guī)格；

12、識(shí)別三維點(diǎn)云模型中的鋼筋節(jié)點(diǎn)，包括：當(dāng)鋼筋籠符合bim模型指示的標(biāo)準(zhǔn)規(guī)格時(shí)，識(shí)別三維點(diǎn)云模型中的鋼筋節(jié)點(diǎn)。

13、在本技術(shù)第一方面的一些實(shí)現(xiàn)方式中，當(dāng)鋼筋籠的鋼筋間距不符合bim模型指示的標(biāo)準(zhǔn)規(guī)格時(shí)，調(diào)整鋼筋籠的鋼筋間距直至滿足bim模型指示的標(biāo)準(zhǔn)規(guī)格。

14、在本技術(shù)第一方面的一些實(shí)現(xiàn)方式中，在執(zhí)行完機(jī)器人定位點(diǎn)序列的遍歷步驟之后，該方法還包括：

15、獲取鋼筋籠的新的全局圖像，并基于新的全局圖像判斷鋼筋籠是否存在漏綁點(diǎn)；

16、若鋼筋籠存在漏綁點(diǎn)，則獲取漏綁點(diǎn)對(duì)應(yīng)的局部圖像，基于漏綁點(diǎn)對(duì)應(yīng)的局部圖像生成補(bǔ)綁路徑，并基于補(bǔ)綁路徑對(duì)漏綁點(diǎn)進(jìn)行補(bǔ)綁。

17、在本技術(shù)第一方面的一些實(shí)現(xiàn)方式中，通過(guò)獲取鋼筋籠的周邊環(huán)境圖像，生成引導(dǎo)鋼筋綁扎機(jī)器人移動(dòng)到當(dāng)前遍歷的定位點(diǎn)的移動(dòng)路徑，包括：

18、獲取鋼筋籠的周邊環(huán)境圖像，通過(guò)液態(tài)神經(jīng)網(wǎng)絡(luò)生成引導(dǎo)鋼筋綁扎機(jī)器人移動(dòng)到當(dāng)前遍歷的定位點(diǎn)的移動(dòng)路徑。

19、在本技術(shù)第一方面的一些實(shí)現(xiàn)方式中，獲取鋼筋籠的周邊環(huán)境圖像，通過(guò)液態(tài)神經(jīng)網(wǎng)絡(luò)生成引導(dǎo)鋼筋綁扎機(jī)器人移動(dòng)到當(dāng)前遍歷的定位點(diǎn)的移動(dòng)路徑，包括：

20、獲取鋼筋籠的周邊環(huán)境圖像；

21、將周邊環(huán)境圖像輸入至液態(tài)神經(jīng)網(wǎng)絡(luò)的輸入層，以使輸入層輸出周邊環(huán)境圖像的圖像編碼；

22、將圖像編碼輸入至液態(tài)神經(jīng)網(wǎng)絡(luò)的液態(tài)層，以使液態(tài)層通過(guò)神經(jīng)元的密集連接和動(dòng)態(tài)行為，對(duì)圖像編碼進(jìn)行非線性處理和模式識(shí)別，以得到信息編碼，信息編碼包括：從圖像編碼中提取的特征信息，以及與特征信息對(duì)應(yīng)的決策；

23、將信息編碼輸入至液態(tài)神經(jīng)網(wǎng)絡(luò)的輸出層，以使輸出層將信息編碼中的特征信息以及特征信息對(duì)應(yīng)的決策轉(zhuǎn)換為一系列的行動(dòng)導(dǎo)航指令，以得到引導(dǎo)鋼筋綁扎機(jī)器人移動(dòng)到當(dāng)前遍歷的定位點(diǎn)的移動(dòng)路徑。

24、在本技術(shù)第一方面的一些實(shí)現(xiàn)方式中，液態(tài)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括：

25、獲取訓(xùn)練集，訓(xùn)練集包括：操控人員操控鋼筋綁扎機(jī)器人移動(dòng)過(guò)程中的傳感器數(shù)據(jù)以及鋼筋綁扎機(jī)器人接收到的行動(dòng)指令；

26、以傳感器數(shù)據(jù)作為液態(tài)神經(jīng)網(wǎng)絡(luò)的輸入，以行動(dòng)指令作為液態(tài)神經(jīng)網(wǎng)絡(luò)的輸出，通過(guò)液態(tài)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)適應(yīng)性能力和時(shí)變權(quán)重調(diào)整能力進(jìn)行模型訓(xùn)練，并在訓(xùn)練過(guò)程中，利用方向傳播算法優(yōu)化網(wǎng)絡(luò)參數(shù)，直至液態(tài)神經(jīng)網(wǎng)絡(luò)完成模型訓(xùn)練。

27、在本技術(shù)第一方面的一些實(shí)現(xiàn)方式中，獲取當(dāng)前遍歷的局部拍照點(diǎn)對(duì)應(yīng)的鋼筋籠的局部圖像，基于局部圖像生成綁扎路徑，包括：

28、獲取當(dāng)前遍歷的局部拍照點(diǎn)對(duì)應(yīng)的鋼筋籠的局部圖像；

29、將局部圖像輸入至神經(jīng)描述符模型，以使神經(jīng)描述符模型識(shí)別并輸出鋼筋節(jié)點(diǎn)在局部圖像中的位置和姿態(tài)；

30、基于鋼筋節(jié)點(diǎn)在局部圖像中的位置和姿態(tài)生成綁扎路徑。

31、在本技術(shù)第一方面的一些實(shí)現(xiàn)方式中，神經(jīng)描述符模型是預(yù)先通過(guò)標(biāo)注的多組用于模型訓(xùn)練的鋼筋節(jié)點(diǎn)集合的三維點(diǎn)云數(shù)據(jù)訓(xùn)練得到，局部圖像為包括多個(gè)局部鋼筋節(jié)點(diǎn)的局部點(diǎn)云圖像；

32、將局部圖像輸入至神經(jīng)描述符模型，以使神經(jīng)描述符模型識(shí)別并輸出鋼筋節(jié)點(diǎn)的位置和姿態(tài)，包括：

33、將局部圖像輸入至神經(jīng)描述符模型；

34、通過(guò)神經(jīng)描述符模型將局部圖像中各局部鋼筋節(jié)點(diǎn)的坐標(biāo)映射到空間描述符，以得到各局部鋼筋節(jié)點(diǎn)對(duì)應(yīng)的神經(jīng)描述符，各局部鋼筋節(jié)點(diǎn)的坐標(biāo)為各局部鋼筋節(jié)點(diǎn)在基于局部圖像建立的局部坐標(biāo)系中的坐標(biāo)，神經(jīng)描述符用于描述局部鋼筋節(jié)點(diǎn)在局部圖像中的位置；

35、選擇一組剛性查詢點(diǎn)表示鋼筋節(jié)點(diǎn)的局部坐標(biāo)框架，通過(guò)神經(jīng)描述模型估計(jì)各局部鋼筋節(jié)點(diǎn)在局部坐標(biāo)框架中的姿態(tài)，以得到各局部鋼筋節(jié)點(diǎn)的姿態(tài)描述符，姿態(tài)描述符用于描述局部鋼筋節(jié)點(diǎn)在圖像中的姿態(tài)。

36、本技術(shù)第二方面提供了一種鋼筋綁扎機(jī)器人，該鋼筋綁扎機(jī)器人包括：感知模塊、終端控制模塊、綁扎模塊、底盤(pán)模塊和通訊模塊；

37、終端控制模塊，用于控制感知模塊通過(guò)生產(chǎn)線上的相機(jī)群獲取并返回鋼筋籠的全局圖像，基于全局圖像生成鋼筋籠的三維點(diǎn)云模型，識(shí)別三維點(diǎn)云模型中的鋼筋節(jié)點(diǎn)，根據(jù)鋼筋節(jié)點(diǎn)的位置對(duì)三維點(diǎn)云模型進(jìn)行分塊處理，以得到機(jī)器人定位點(diǎn)序列；

38、終端控制模塊，還用于執(zhí)行機(jī)器人定位點(diǎn)序列的遍歷步驟，以控制綁扎模塊對(duì)鋼筋籠進(jìn)行全局綁扎；

39、機(jī)器人定位點(diǎn)序列的遍歷步驟，包括：控制感知模塊獲取并返回鋼筋籠的周邊環(huán)境圖像，生成引導(dǎo)鋼筋綁扎機(jī)器人移動(dòng)到當(dāng)前遍歷的定位點(diǎn)的移動(dòng)路徑，以控制底盤(pán)模塊將鋼筋籠綁扎機(jī)器人移動(dòng)到當(dāng)前遍歷的定位點(diǎn)；生成當(dāng)前遍歷的定位點(diǎn)對(duì)應(yīng)的局部拍照點(diǎn)序列，并執(zhí)行局部拍照點(diǎn)序列的遍歷步驟，以控制綁扎模塊對(duì)鋼筋籠進(jìn)行局部綁扎；

40、局部拍照點(diǎn)序列的遍歷步驟，包括：控制感知模塊獲取并返回當(dāng)前遍歷的局部拍照點(diǎn)對(duì)應(yīng)的鋼筋籠的局部圖像，基于局部圖像生成綁扎路徑；

41、感知模塊，用于獲取鋼筋籠的全局圖像、周邊環(huán)境圖像以及局部圖像；

42、綁扎模塊，用于基于綁扎路徑對(duì)鋼筋籠進(jìn)行局部綁扎；

43、底盤(pán)模塊，用于基于移動(dòng)路徑將鋼筋籠綁扎機(jī)器人移動(dòng)到當(dāng)前遍歷的定位點(diǎn)；

44、通訊模塊，用于分別建立感知模塊、綁扎模塊以及底盤(pán)模塊與終端控制模塊的通信。

45、本技術(shù)所提供的技術(shù)方案具有如下有益效果：

46、在本技術(shù)所提供的技術(shù)方案中，首先，鋼筋籠綁扎機(jī)器人（以下簡(jiǎn)稱綁扎機(jī)器人）獲取鋼筋籠的全局圖像，并基于全局圖像生成鋼筋籠的三維點(diǎn)云模型，以建立鋼筋籠的三維骨架；然后，鋼筋籠綁扎機(jī)器人識(shí)別三維點(diǎn)云模型中的鋼筋節(jié)點(diǎn)，并根據(jù)這些節(jié)點(diǎn)的位置對(duì)三維點(diǎn)云模型進(jìn)行分塊處理，得到機(jī)器人定位點(diǎn)序列，以便于鋼筋籠機(jī)器人按照這個(gè)序列確定的順序移動(dòng)到每一個(gè)定位點(diǎn)開(kāi)展綁扎作業(yè)，以完成鋼筋籠的全局綁扎。其中，在遍歷機(jī)器人定位點(diǎn)序列的過(guò)程中，綁扎機(jī)器人通過(guò)獲取機(jī)器人周邊環(huán)境的圖像來(lái)生成移動(dòng)路徑，并基于移動(dòng)路徑完成自動(dòng)導(dǎo)航和實(shí)時(shí)避障以到達(dá)當(dāng)前遍歷的定位點(diǎn)。在到達(dá)定位點(diǎn)后，綁扎機(jī)器人生成當(dāng)前定位點(diǎn)對(duì)應(yīng)的局部拍照點(diǎn)序列，并通過(guò)遍歷局部拍照點(diǎn)序列開(kāi)展局部綁扎作業(yè)。具體地，在遍歷局部拍照點(diǎn)序列的過(guò)程中，綁扎機(jī)器人將獲取當(dāng)前遍歷的局部拍照點(diǎn)對(duì)應(yīng)的鋼筋籠局部圖像，并給予局部圖像生成綁扎路徑，通過(guò)綁扎路徑開(kāi)展局部綁扎作業(yè)。從而實(shí)現(xiàn)了三維鋼筋骨架的自動(dòng)化施工。