本公開總體上涉及計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)系統(tǒng)，并且更特別地涉及對(duì)于各種對(duì)象的基于圖像的姿態(tài)估計(jì)。

背景技術(shù)：

1、一般來說，存在各種各樣涉及六自由度(6dof)對(duì)象姿態(tài)估計(jì)的計(jì)算機(jī)應(yīng)用，諸如機(jī)器人導(dǎo)航、自動(dòng)駕駛和增強(qiáng)現(xiàn)實(shí)(ar)應(yīng)用。對(duì)于6dof對(duì)象姿態(tài)估計(jì)，原型方法通常依賴于為每一個(gè)對(duì)象預(yù)定義的語義關(guān)鍵點(diǎn)的檢測(cè)。然而，關(guān)于檢測(cè)無紋理或?qū)ΨQ對(duì)象的語義關(guān)鍵點(diǎn)存在許多挑戰(zhàn)，因?yàn)樗鼈兊囊恍┱Z義關(guān)鍵點(diǎn)可能成為互換的。因此，對(duì)跨不同參考系的那些對(duì)象的語義關(guān)鍵點(diǎn)的檢測(cè)可能是高度不一致的，使得它們不能對(duì)世界坐標(biāo)系下的有效6dof姿態(tài)做出貢獻(xiàn)。

技術(shù)實(shí)現(xiàn)思路

1、以下是下文詳細(xì)描述的某些實(shí)施例的概要。呈現(xiàn)所描述的方面僅僅是為了向讀者提供這些特定實(shí)施例的簡(jiǎn)要概要，并且這些方面的描述不旨在限制本公開的范圍。實(shí)際上，本公開可以包含下面可能沒有明確闡述的各種各樣的方面。

2、根據(jù)至少一個(gè)方面，一種計(jì)算機(jī)實(shí)施的方法包括獲得顯示具有第一對(duì)象和第二對(duì)象的場(chǎng)景的圖像。該方法包括生成對(duì)應(yīng)于所述第一對(duì)象的第一組二維(2d)關(guān)鍵點(diǎn)。該方法包括基于所述第一組2d關(guān)鍵點(diǎn)生成第一對(duì)象姿態(tài)數(shù)據(jù)。該方法包括基于所述第一對(duì)象姿態(tài)數(shù)據(jù)生成相機(jī)姿態(tài)數(shù)據(jù)。所述相機(jī)姿態(tài)數(shù)據(jù)對(duì)應(yīng)于所述圖像的捕捉。該方法包括基于所述相機(jī)姿態(tài)數(shù)據(jù)來生成關(guān)鍵點(diǎn)熱圖。該方法包括基于所述關(guān)鍵點(diǎn)熱圖生成對(duì)應(yīng)于所述第二對(duì)象的第二組2d關(guān)鍵點(diǎn)。該方法包括基于所述第二組2d關(guān)鍵點(diǎn)生成第二對(duì)象姿態(tài)數(shù)據(jù)。該方法包括使用所述第一對(duì)象姿態(tài)數(shù)據(jù)和所述相機(jī)姿態(tài)數(shù)據(jù)來生成所述第一對(duì)象在世界坐標(biāo)中的第一坐標(biāo)數(shù)據(jù)。該方法包括使用所述第二對(duì)象姿態(tài)數(shù)據(jù)和所述相機(jī)姿態(tài)數(shù)據(jù)來生成所述第二對(duì)象在所述世界坐標(biāo)中的第二坐標(biāo)數(shù)據(jù)。該方法包括使用所述第一坐標(biāo)數(shù)據(jù)在所述世界坐標(biāo)中跟蹤所述第一對(duì)象。該方法包括使用所述第二坐標(biāo)數(shù)據(jù)在所述世界坐標(biāo)中跟蹤所述第二對(duì)象。

3、根據(jù)至少一個(gè)方面，一種系統(tǒng)至少包括相機(jī)和處理器。所述處理器與所述相機(jī)進(jìn)行數(shù)據(jù)通信。所述處理器可操作為從所述相機(jī)接收多個(gè)圖像。所述處理器可操作為獲得顯示具有第一對(duì)象和第二對(duì)象的場(chǎng)景的圖像。所述處理器可操作為生成對(duì)應(yīng)于所述第一對(duì)象的第一組2d關(guān)鍵點(diǎn)。所述處理器可操作為基于所述第一組2d關(guān)鍵點(diǎn)生成第一對(duì)象姿態(tài)數(shù)據(jù)。所述處理器可操作為基于所述第一對(duì)象姿態(tài)數(shù)據(jù)生成相機(jī)姿態(tài)數(shù)據(jù)。所述相機(jī)姿態(tài)數(shù)據(jù)對(duì)應(yīng)于所述圖像的捕捉。所述處理器可操作為基于所述相機(jī)姿態(tài)數(shù)據(jù)來生成關(guān)鍵點(diǎn)熱圖。所述處理器可操作為基于所述關(guān)鍵點(diǎn)熱圖生成對(duì)應(yīng)于所述第二對(duì)象的第二組2d關(guān)鍵點(diǎn)。所述處理器可操作為基于所述第二組2d關(guān)鍵點(diǎn)生成第二對(duì)象姿態(tài)數(shù)據(jù)。所述處理器可操作為使用所述第一對(duì)象姿態(tài)數(shù)據(jù)和所述相機(jī)姿態(tài)數(shù)據(jù)來生成所述第一對(duì)象在世界坐標(biāo)中的第一坐標(biāo)數(shù)據(jù)。所述處理器可操作為使用所述第二對(duì)象姿態(tài)數(shù)據(jù)和所述相機(jī)姿態(tài)數(shù)據(jù)來生成所述第二對(duì)象在所述世界坐標(biāo)中的第二坐標(biāo)數(shù)據(jù)。所述處理器可操作為基于所述第一坐標(biāo)數(shù)據(jù)跟蹤所述第一對(duì)象。處理器可操作為基于所述第二坐標(biāo)數(shù)據(jù)跟蹤所述第二對(duì)象。

4、根據(jù)至少一個(gè)方面，一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)具有指令的計(jì)算機(jī)可讀數(shù)據(jù)，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，所述指令促使所述一個(gè)或多個(gè)處理器執(zhí)行一種方法。該方法包括生成對(duì)應(yīng)于所述第一對(duì)象的第一組2d關(guān)鍵點(diǎn)。該方法包括基于所述第一組2d關(guān)鍵點(diǎn)生成第一對(duì)象姿態(tài)數(shù)據(jù)。該方法包括基于所述第一對(duì)象姿態(tài)數(shù)據(jù)生成相機(jī)姿態(tài)數(shù)據(jù)。所述相機(jī)姿態(tài)數(shù)據(jù)對(duì)應(yīng)于所述圖像的捕捉。該方法包括基于所述相機(jī)姿態(tài)數(shù)據(jù)來生成關(guān)鍵點(diǎn)熱圖。該方法包括基于所述關(guān)鍵點(diǎn)熱圖生成對(duì)應(yīng)于所述第二對(duì)象的第二組2d關(guān)鍵點(diǎn)。該方法包括基于所述第二組2d關(guān)鍵點(diǎn)生成第二對(duì)象姿態(tài)數(shù)據(jù)。該方法包括使用所述第一對(duì)象姿態(tài)數(shù)據(jù)和所述相機(jī)姿態(tài)數(shù)據(jù)來生成所述第一對(duì)象在世界坐標(biāo)中的第一坐標(biāo)數(shù)據(jù)。該方法包括使用所述第二對(duì)象姿態(tài)數(shù)據(jù)和所述相機(jī)姿態(tài)數(shù)據(jù)來生成所述第二對(duì)象在所述世界坐標(biāo)中的第二坐標(biāo)數(shù)據(jù)。該方法包括使用所述第一坐標(biāo)數(shù)據(jù)在所述世界坐標(biāo)中跟蹤所述第一對(duì)象。該方法包括使用所述第二坐標(biāo)數(shù)據(jù)在所述世界坐標(biāo)中跟蹤所述第二對(duì)象。

5、本發(fā)明的這些和其他特征、方面和優(yōu)點(diǎn)在以下詳細(xì)說明中根據(jù)附圖進(jìn)行了討論，遍及所述附圖，相似的字符表示類似或相似的部件。

技術(shù)特征：

1.一種用于各種對(duì)象的語義定位的計(jì)算機(jī)實(shí)施的方法，該方法包括：

2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，其中：

3.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，進(jìn)一步包括：

4.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，進(jìn)一步包括：

5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，其中：

6.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，進(jìn)一步包括：

7.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，進(jìn)一步包括：

8.一種系統(tǒng)，包括：

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中：

10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述處理器進(jìn)一步可操作為：

11.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述處理器進(jìn)一步可操作為：

12.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中：

13.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述處理器進(jìn)一步可操作為：

14.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述處理器進(jìn)一步可操作為：

15.一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)具有指令的計(jì)算機(jī)可讀數(shù)據(jù)，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，所述指令促使所述一個(gè)或多個(gè)處理器執(zhí)行一種方法，所述方法包括：

16.根據(jù)權(quán)利要求15所述的一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中：

17.根據(jù)權(quán)利要求15所述的一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述方法進(jìn)一步包括：

18.根據(jù)權(quán)利要求15所述的一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述方法進(jìn)一步包括：

19.根據(jù)權(quán)利要求15所述的一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中：

20.根據(jù)權(quán)利要求15所述的一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述方法進(jìn)一步包括：

技術(shù)總結(jié)
一種用于各種對(duì)象的語義定位的計(jì)算機(jī)實(shí)施的系統(tǒng)和方法包括從相機(jī)獲得圖像。該圖像顯示具有第一對(duì)象和第二對(duì)象的場(chǎng)景。關(guān)于第一對(duì)象生成第一組2D關(guān)鍵點(diǎn)。基于第一組2D關(guān)鍵點(diǎn)生成第一對(duì)象姿態(tài)數(shù)據(jù)?；诘谝粚?duì)象姿態(tài)數(shù)據(jù)生成相機(jī)姿態(tài)數(shù)據(jù)。使用相機(jī)姿態(tài)數(shù)據(jù)生成關(guān)鍵點(diǎn)熱圖?；陉P(guān)鍵點(diǎn)熱圖，關(guān)于第二對(duì)象生成第二組2D關(guān)鍵點(diǎn)。基于第二組2D關(guān)鍵點(diǎn)生成第二對(duì)象姿態(tài)數(shù)據(jù)。使用第一對(duì)象姿態(tài)數(shù)據(jù)和相機(jī)姿態(tài)數(shù)據(jù)在世界坐標(biāo)中生成第一對(duì)象的第一坐標(biāo)數(shù)據(jù)。使用第二對(duì)象姿態(tài)數(shù)據(jù)和相機(jī)姿態(tài)數(shù)據(jù)在世界坐標(biāo)中生成第二對(duì)象的第二坐標(biāo)數(shù)據(jù)?；诘谝蛔鴺?biāo)數(shù)據(jù)跟蹤第一對(duì)象?；诘诙鴺?biāo)數(shù)據(jù)跟蹤第二對(duì)象。

技術(shù)研發(fā)人員：任騮,黃新宇,郭玉亮
受保護(hù)的技術(shù)使用者：羅伯特·博世有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/4