本申請涉及機器人，尤其涉及一種基于視覺的機器人自建模方法、系統(tǒng)、設備及介質(zhì)。

背景技術：

1、機器人是協(xié)助、替代人類進行勞動的重要工具，可以在各個領域中起到降低負擔，提高效率的作用。機器人模型是控制機器人的基礎，根據(jù)機器人的模型，可以讓機器人工作在多種不同的環(huán)境中，完成多種不同的任務。

2、相關技術中，機器人的自建模技術存在訓練數(shù)據(jù)采集成本高、自建模結果受數(shù)據(jù)采集精度影響導致質(zhì)量較低以及自建模的機械臂自由度范圍不高，限制使用范圍等問題。

技術實現(xiàn)思路

1、本申請實施例的主要目的在于提出一種基于視覺的機器人自建模方法、系統(tǒng)、設備及介質(zhì)，旨在實現(xiàn)數(shù)據(jù)采集成本低、模型精度高、適用范圍廣的機器人自建模。

2、為實現(xiàn)上述目的，本申請實施例的一方面提出了一種基于視覺的機器人自建模方法，所述方法包括：

3、獲取機器人各種關節(jié)姿態(tài)的初始圖片，并獲取所述初始圖片對應的關節(jié)角度；其中，所述關節(jié)姿態(tài)包括標準狀態(tài)和隨機姿態(tài)；

4、對所述初始圖片進行數(shù)據(jù)預處理，得到第一圖片；

5、獲取拍攝所述初始圖片的相機的相機信息；

6、根據(jù)所述機器人處于標準狀態(tài)下的所述第一圖片和所述相機信息，基于三維高斯?jié)姙R算法進行機器人自建模，得到三維高斯?jié)姙R模型；

7、構建并訓練初始變形神經(jīng)網(wǎng)絡，得到目標變形神經(jīng)網(wǎng)絡；其中，所述初始變形神經(jīng)網(wǎng)絡用于根據(jù)隨機姿態(tài)的每張所述第一圖片對應的所述關節(jié)角度和所述相機信息，對所述三維高斯?jié)姙R模型的橢球參數(shù)進行變化；

8、將所述三維高斯?jié)姙R模型和所述目標變形神經(jīng)網(wǎng)絡組合為機器人模型，完成機器人的自建模。

9、在一些實施例中，所述對所述初始圖片進行數(shù)據(jù)預處理，得到第一圖片，包括以下步驟：

10、采用圖像分割算法，從所述初始圖片中分割出僅包括機器人的部分，得到中間圖片；

11、根據(jù)預設的長度和寬度，對所有的所述中間圖片進行縮放處理，得到第一圖片。

12、在一些實施例中，所述獲取拍攝所述初始圖片的相機的相機信息，包括以下步驟：

13、獲取輸入的相機信息；

14、或者，根據(jù)所述初始圖片提取相機信息。

15、在一些實施例中，所述根據(jù)所述初始圖片提取相機信息，包括以下步驟：

16、選取機器人位于同一關節(jié)角度時各個相機所拍攝的初始圖片，得到當前關節(jié)角度圖片；

17、通過運動中提取結構算法，根據(jù)所述當前關節(jié)角度圖片，提取各個所述相機的相機位置和相機參數(shù)，得到相機信息。

18、在一些實施例中，所述根據(jù)所述機器人處于標準狀態(tài)下的所述第一圖片和所述相機信息，基于三維高斯?jié)姙R算法進行機器人自建模，得到三維高斯?jié)姙R模型，包括以下步驟：

19、在三維空間范圍內(nèi)隨機生成高斯橢球，得到高斯橢球參數(shù)；其中，所述高斯橢球參數(shù)包括位置、半徑、旋轉(zhuǎn)姿態(tài)、特征和透明度；

20、根據(jù)所述相機信息中的相機參數(shù)，得到相機對應的成像平面；

21、按照所述高斯橢球到所述成像平面的距離，將所述高斯橢球由遠及近投影到所述成像平面；

22、根據(jù)每個所述高斯橢球的透明度，確定遮擋程度；

23、根據(jù)特征參數(shù)，通過球諧函數(shù)計算投影顏色；

24、根據(jù)投影的結果、所述遮擋程度和所述投影顏色，生成第二圖片；

25、計算所述第二圖片和所述第一圖片的第一誤差；

26、重復執(zhí)行所述根據(jù)所述相機信息中的相機參數(shù)，得到相機對應的成像平面的步驟，直至所述第一誤差符合預設的第一條件，得到三維高斯?jié)姙R模型。

27、在一些實施例中，所述構建并訓練初始變形神經(jīng)網(wǎng)絡，得到目標變形神經(jīng)網(wǎng)絡，包括以下步驟：

28、根據(jù)所述三維高斯?jié)姙R模型，初始化骨骼結構；

29、鎖定標準狀態(tài)下的三維高斯?jié)姙R模型的橢球參數(shù)，初始化初始變形神經(jīng)網(wǎng)絡；

30、在鎖定所述橢球參數(shù)并且限制機器人姿態(tài)變化幅度小于預設幅度值的情況下，對所述初始變形神經(jīng)網(wǎng)絡進行一次訓練，得到第一變形神經(jīng)網(wǎng)絡；

31、在鎖定所述橢球參數(shù)并且不限制機器人姿態(tài)變化幅度的情況下，對所述第一神經(jīng)網(wǎng)絡進行一次訓練，得到第二變形神經(jīng)網(wǎng)絡；

32、在解鎖所述橢球參數(shù)的情況下，對所述第二變形神經(jīng)網(wǎng)絡進行完整訓練，得到目標變形神經(jīng)網(wǎng)絡。

33、為實現(xiàn)上目的，本申請實施例的另一方面提出了一種基于視覺的機器人自建模系統(tǒng)，所述系統(tǒng)包括：

34、第一模塊，用于獲取機器人各種關節(jié)姿態(tài)的初始圖片，并獲取所述初始圖片對應的關節(jié)角度；其中，所述關節(jié)姿態(tài)包括標準狀態(tài)和隨機姿態(tài)；

35、第二模塊，用于對所述初始圖片進行數(shù)據(jù)預處理，得到第一圖片；

36、第三模塊，用于獲取拍攝所述初始圖片的相機的相機信息；

37、第四模塊，用于根據(jù)所述機器人處于標準狀態(tài)下的所述第一圖片和所述相機信息，基于三維高斯?jié)姙R算法進行機器人自建模，得到三維高斯?jié)姙R模型；

38、第五模塊，用于構建并訓練初始變形神經(jīng)網(wǎng)絡，得到目標變形神經(jīng)網(wǎng)絡；其中，所述初始變形神經(jīng)網(wǎng)絡用于根據(jù)隨機姿態(tài)的每張所述第一圖片對應的所述關節(jié)角度和所述相機信息，對所述三維高斯?jié)姙R模型的橢球參數(shù)進行變化；

39、第六模塊，用于將所述三維高斯?jié)姙R模型和所述目標變形神經(jīng)網(wǎng)絡組合為機器人模型，完成機器人的自建模。

40、為實現(xiàn)上述目的，本申請實施例的另一方面提出了一種電子設備，所述電子設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)前面所述的方法。

41、為實現(xiàn)上述目的，本申請實施例的另一方面提出了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)前面所述的方法。

42、本申請實施例至少包括以下有益效果：本申請?zhí)峁┮环N基于視覺的機器人自建模方法、系統(tǒng)、設備及介質(zhì)，該方案通過獲取機器人各種關節(jié)姿態(tài)的彩色圖片對標準狀態(tài)下的機器人進行三維高斯?jié)姙R算法的建模，并且根據(jù)隨機姿態(tài)的機器人圖片訓練一個變形神經(jīng)網(wǎng)絡，對三維高斯?jié)姙R模型的參數(shù)進行變化，能夠不需要深度相機即可完成機器人的自建模，降低了數(shù)據(jù)采集難度，提升了建模精度，并且可以適用于高自由度的機器人進行自建模。

技術特征：

1.一種基于視覺的機器人自建模方法，其特征在于，包括以下步驟：

2.根據(jù)權利要求1所述的方法，其特征在于，所述獲取機器人各種關節(jié)姿態(tài)的初始圖片，并獲取所述初始圖片對應的關節(jié)角度，包括以下步驟：

3.根據(jù)權利要求1所述的方法，其特征在于，所述對所述初始圖片進行數(shù)據(jù)預處理，得到第一圖片，包括以下步驟：

4.根據(jù)權利要求1所述的方法，其特征在于，所述獲取所述拍攝所述初始圖片的相機的相機信息，包括以下步驟：

5.根據(jù)權利要求4所述的方法，其特征在于，所述根據(jù)所述初始圖片提取相機信息，包括以下步驟：

6.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述機器人處于標準狀態(tài)下的所述第一圖片和所述相機信息，基于三維高斯?jié)姙R算法進行機器人自建模，得到三維高斯?jié)姙R模型，包括以下步驟：

7.根據(jù)權利要求1所述的方法，其特征在于，所述構建并訓練初始變形神經(jīng)網(wǎng)絡，得到目標變形神經(jīng)網(wǎng)絡，包括以下步驟：

8.一種基于視覺的機器人自建模系統(tǒng)，其特征在于，包括：

9.一種電子設備，其特征在于，包括處理器以及存儲器；

10.一種計算機存儲介質(zhì)，其中存儲有處理器可執(zhí)行的程序，其特征在于，所述處理器可執(zhí)行的程序在由所述處理器執(zhí)行時用于實現(xiàn)如權利要求1至7任一項所述的方法。

技術總結
本申請公開了一種基于視覺的機器人自建模方法、系統(tǒng)、設備及介質(zhì)，包括：獲取機器人各種關節(jié)姿態(tài)的初始圖片和對應的關節(jié)角度；對初始圖片進行數(shù)據(jù)預處理，得到第一圖片；獲取初始圖片的相機信息；根據(jù)機器人處于標準狀態(tài)下的第一圖片和相機信息，基于三維高斯?jié)姙R算法進行機器人自建模；構建并訓練初始變形神經(jīng)網(wǎng)絡，得到目標變形神經(jīng)網(wǎng)絡；其中，初始變形神經(jīng)網(wǎng)絡用于根據(jù)隨機姿態(tài)的每張第一圖片對應的關節(jié)角度和相機信息，對三維高斯?jié)姙R模型的橢球參數(shù)進行變化；將三維高斯?jié)姙R模型和目標變形神經(jīng)網(wǎng)絡組合為機器人模型，完成機器人的自建模。本申請無需深度相機，可以降低數(shù)據(jù)采集難度，并提高機器人自建模精度，可廣泛應用于機器人技術領域。

技術研發(fā)人員：譚寧,胡可鈞
受保護的技術使用者：中山大學
技術研發(fā)日：
技術公布日：2025/1/6