本技術(shù)涉及圖像處理，特別是涉及一種關(guān)鍵點(diǎn)檢測模型的訓(xùn)練方法、關(guān)鍵點(diǎn)檢測方法、裝置、計(jì)算機(jī)設(shè)備、存儲介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、在智能駕駛領(lǐng)域中，高精地圖作為其重要組成部分，在車輛的定位、感知、路徑規(guī)劃、決策中扮演著重要的角色。而高精地圖的制作需要提取路肩、標(biāo)識牌、交通燈、讀秒器、防護(hù)欄等多種道路元素的點(diǎn)云數(shù)據(jù)。

2、傳統(tǒng)技術(shù)中，可以通過采用二維感知的方式從道路元素圖像中提取出道路元素的關(guān)鍵點(diǎn)，然后利用關(guān)鍵點(diǎn)對道路元素進(jìn)行三維重建，從而得到道路元素的點(diǎn)云數(shù)據(jù)。但是，采用上述傳統(tǒng)技術(shù)中的關(guān)鍵點(diǎn)檢測手段時，通常只能識別矩形的道路元素，而難以滿足不同形狀道路元素的關(guān)鍵點(diǎn)檢測需求，存在魯棒性較差的問題。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種魯棒性較強(qiáng)的關(guān)鍵點(diǎn)檢測模型的訓(xùn)練方法、關(guān)鍵點(diǎn)檢測方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本技術(shù)提供了一種關(guān)鍵點(diǎn)檢測模型的訓(xùn)練方法。所述方法包括：

3、獲取包含目標(biāo)對象的圖像樣本，以及與所述圖像樣本對應(yīng)的樣本標(biāo)注結(jié)果，所述樣本標(biāo)注結(jié)果包括所述目標(biāo)對象的標(biāo)注類別，以及與所述標(biāo)注類別對應(yīng)的標(biāo)注關(guān)鍵點(diǎn)以及標(biāo)注檢測框，所述標(biāo)注類別用于表征所述目標(biāo)對象在所述圖像樣本中的顯示形態(tài)；

4、將所述圖像樣本輸入至初始關(guān)鍵點(diǎn)檢測模型，得到所述圖像樣本的樣本預(yù)測結(jié)果，所述樣本預(yù)測結(jié)果包括所述目標(biāo)對象的預(yù)測類別，以及與所述預(yù)測類別對應(yīng)的預(yù)測關(guān)鍵點(diǎn)和預(yù)測檢測框；

5、根據(jù)所述樣本標(biāo)注結(jié)果和所述樣本預(yù)測結(jié)果，得到目標(biāo)損失值；

6、基于所述目標(biāo)損失值調(diào)整所述初始關(guān)鍵點(diǎn)檢測模型，得到關(guān)鍵點(diǎn)檢測模型。

7、在其中一個實(shí)施例中，所述預(yù)測關(guān)鍵點(diǎn)的數(shù)量為預(yù)設(shè)的第一數(shù)量；所述方法還包括：

8、在與所述預(yù)測類別對應(yīng)的實(shí)際關(guān)鍵點(diǎn)的第二數(shù)量小于所述第一數(shù)量的情況下，所述預(yù)測關(guān)鍵點(diǎn)是根據(jù)所述實(shí)際關(guān)鍵點(diǎn)以及預(yù)設(shè)值得到的；

9、在所述第二數(shù)量等于所述第一數(shù)量的情況下，所述預(yù)測關(guān)鍵點(diǎn)是根據(jù)所述實(shí)際關(guān)鍵點(diǎn)得到的。

10、在其中一個實(shí)施例中，所述在與所述預(yù)測類別對應(yīng)的實(shí)際關(guān)鍵點(diǎn)的第二數(shù)量小于所述第一數(shù)量的情況下，所述預(yù)測關(guān)鍵點(diǎn)是根據(jù)所述實(shí)際關(guān)鍵點(diǎn)以及預(yù)設(shè)值得到的，包括：

11、使用所述實(shí)際關(guān)鍵點(diǎn)的檢測值填充預(yù)測關(guān)鍵點(diǎn)中的前第二數(shù)量個的待填充點(diǎn)位信息，使用所述預(yù)設(shè)值填充所述預(yù)測關(guān)鍵點(diǎn)中剩余的待填充點(diǎn)位信息，得到所述預(yù)測關(guān)鍵點(diǎn)。

12、在其中一個實(shí)施例中，所述根據(jù)所述樣本標(biāo)注結(jié)果和所述樣本預(yù)測結(jié)果，得到目標(biāo)損失值，包括：

13、獲取所述樣本預(yù)測結(jié)果中與每個所述預(yù)測關(guān)鍵點(diǎn)對應(yīng)的檢測值，以及所述樣本標(biāo)注結(jié)果中與每個所述預(yù)測關(guān)鍵點(diǎn)對應(yīng)的標(biāo)注關(guān)鍵點(diǎn)的真實(shí)值；

14、根據(jù)所述預(yù)測關(guān)鍵點(diǎn)的預(yù)測類別，對所述檢測值和所述真實(shí)值進(jìn)行掩膜處理，得到所述目標(biāo)損失值。

15、在其中一個實(shí)施例中，所述預(yù)測類別包括遮擋類別和未遮擋類別；所述根據(jù)所述預(yù)測關(guān)鍵點(diǎn)的預(yù)測類別，對所述檢測值和所述真實(shí)值進(jìn)行掩膜處理，得到所述目標(biāo)損失值，包括：

16、采用第一掩膜值對所述遮擋類別下的預(yù)測關(guān)鍵點(diǎn)的檢測值和對應(yīng)的真實(shí)值進(jìn)行掩膜處理，得到所述遮擋類別下的預(yù)測關(guān)鍵點(diǎn)的第一損失值；

17、采用第二掩膜值對所述未遮擋類別下的預(yù)測關(guān)鍵點(diǎn)對應(yīng)的檢測值和真實(shí)值進(jìn)行掩膜處理，得到所述未遮擋類別下的預(yù)測關(guān)鍵點(diǎn)的第二損失值；

18、根據(jù)所述第一損失值和所述第二損失值，得到所述目標(biāo)損失值。

19、在其中一個實(shí)施例中，當(dāng)所述標(biāo)注類別為遮擋類別時，所述標(biāo)注關(guān)鍵點(diǎn)包括標(biāo)注遮擋關(guān)鍵點(diǎn)和標(biāo)注未遮擋關(guān)鍵點(diǎn)，所述標(biāo)注遮擋關(guān)鍵點(diǎn)和所述標(biāo)注未遮擋關(guān)鍵點(diǎn)的顯示樣式不同；

20、相應(yīng)地，所述預(yù)測關(guān)鍵點(diǎn)包括預(yù)測遮擋關(guān)鍵點(diǎn)和預(yù)測未遮擋關(guān)鍵點(diǎn)，所述預(yù)測遮擋關(guān)鍵點(diǎn)和所述預(yù)測未遮擋關(guān)鍵點(diǎn)的顯示樣式不同。

21、在其中一個實(shí)施例中，所述目標(biāo)對象包括交通標(biāo)牌、交通燈或讀秒器中的任一種或多種。

22、第二方面，本技術(shù)還提供了一種關(guān)鍵點(diǎn)檢測方法。所述方法包括：

23、獲取待測圖像；

24、將所述待測圖像輸入至關(guān)鍵點(diǎn)檢測模型，在檢測到所述待測圖像中存在目標(biāo)對象的情況下，得到所述待測圖像的檢測結(jié)果，所述檢測結(jié)果包括所述目標(biāo)對象的類別、關(guān)鍵點(diǎn)以及檢測框，所述關(guān)鍵點(diǎn)檢測模型是采用上述第一方面任一項(xiàng)所述的方法訓(xùn)練得到的。

25、第三方面，本技術(shù)還提供了一種關(guān)鍵點(diǎn)檢測模型的訓(xùn)練裝置。所述裝置包括：

26、樣本獲取模塊，用于獲取包含目標(biāo)對象的圖像樣本，以及與所述圖像樣本對應(yīng)的樣本標(biāo)注結(jié)果，所述樣本標(biāo)注結(jié)果包括所述目標(biāo)對象的標(biāo)注類別，以及與所述標(biāo)注類別對應(yīng)的標(biāo)注關(guān)鍵點(diǎn)以及標(biāo)注檢測框，所述標(biāo)注類別用于表征所述目標(biāo)對象在所述圖像樣本中的顯示形態(tài)；

27、模型預(yù)測模塊，用于將所述圖像樣本輸入至初始關(guān)鍵點(diǎn)檢測模型，得到所述圖像樣本的樣本預(yù)測結(jié)果，所述樣本預(yù)測結(jié)果包括所述目標(biāo)對象的預(yù)測類別，以及與所述預(yù)測類別對應(yīng)的預(yù)測關(guān)鍵點(diǎn)和預(yù)測檢測框；

28、損失計(jì)算模塊，用于根據(jù)所述樣本標(biāo)注結(jié)果和所述樣本預(yù)測結(jié)果，得到目標(biāo)損失值；

29、模型訓(xùn)練模塊，用于基于所述目標(biāo)損失值調(diào)整所述初始關(guān)鍵點(diǎn)檢測模型，得到關(guān)鍵點(diǎn)檢測模型。

30、第四方面，本技術(shù)還提供了一種關(guān)鍵點(diǎn)檢測裝置。所述裝置包括：

31、圖像獲取模塊，用于獲取待測圖像；

32、模型檢測模塊，用于將所述待測圖像輸入至關(guān)鍵點(diǎn)檢測模型，在檢測到所述待測圖像中存在目標(biāo)對象的情況下，得到所述待測圖像的檢測結(jié)果，所述檢測結(jié)果包括所述目標(biāo)對象的類別、關(guān)鍵點(diǎn)以及檢測框，所述關(guān)鍵點(diǎn)檢測模型是采用上述第一方面任一項(xiàng)所述的方法訓(xùn)練得到的。

33、第五方面，本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲器和處理器，所述存儲器存儲有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)上述第一方面任一項(xiàng)實(shí)施例所述的關(guān)鍵點(diǎn)檢測方法。

34、第六方面，本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)。所述計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述第一方面任一項(xiàng)實(shí)施例所述的關(guān)鍵點(diǎn)檢測方法。

35、第七方面，本技術(shù)還提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述第一方面任一項(xiàng)實(shí)施例所述的關(guān)鍵點(diǎn)檢測方法。

36、上述關(guān)鍵點(diǎn)檢測模型的訓(xùn)練方法、關(guān)鍵點(diǎn)檢測方法、裝置、計(jì)算機(jī)設(shè)備、存儲介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，通過獲取包含目標(biāo)對象的圖像樣本，以及與圖像樣本對應(yīng)的樣本標(biāo)注結(jié)果，樣本標(biāo)注結(jié)果包括目標(biāo)對象的標(biāo)注類別，以及與標(biāo)注類別對應(yīng)的標(biāo)注關(guān)鍵點(diǎn)以及標(biāo)注檢測框，標(biāo)注類別用于表征目標(biāo)對象在圖像樣本中的顯示形態(tài)；將圖像樣本輸入至初始關(guān)鍵點(diǎn)檢測模型，得到圖像樣本的樣本預(yù)測結(jié)果，樣本預(yù)測結(jié)果包括目標(biāo)對象的預(yù)測類別，以及與預(yù)測類別對應(yīng)的預(yù)測關(guān)鍵點(diǎn)和預(yù)測檢測框；根據(jù)樣本標(biāo)注結(jié)果和樣本預(yù)測結(jié)果，得到目標(biāo)損失值；基于目標(biāo)損失值調(diào)整初始關(guān)鍵點(diǎn)檢測模型，得到關(guān)鍵點(diǎn)檢測模型，能夠利用標(biāo)注類別實(shí)現(xiàn)對不同顯示形態(tài)下的目標(biāo)對象的關(guān)鍵點(diǎn)檢測場景細(xì)分，從而提高關(guān)鍵點(diǎn)檢測的魯棒性以及準(zhǔn)確率。