本技術(shù)實施例涉及圖像處理領(lǐng)域，尤其涉及工件計件模型的訓(xùn)練方法、計件方法及相關(guān)裝置。

背景技術(shù)：

1、在工件生產(chǎn)過程中，需要統(tǒng)計工件數(shù)量，以便后續(xù)的倉儲管理、物流運輸、銷售訂單等物料管理流程。工件的分類和統(tǒng)計依賴于人工目視計數(shù)、逐一掃描并錄入系統(tǒng)等方法。由于工件產(chǎn)量大、種類繁多，工件統(tǒng)計過程需要大量的人力和物力投入，效率極低。

2、目前通常使用密度估計方法等圖像處理技術(shù)來進行工件計數(shù)，但是由于密度圖包含不明顯的高斯斑點，以及在密集的密度圖區(qū)域內(nèi)發(fā)現(xiàn)顯著的重疊，導(dǎo)致無法提供準(zhǔn)確的工件定位。另外，使用自注意力機制來統(tǒng)計工件，但這種方法限于識別同一類別的工件具有較好效果，對于多類別工件的統(tǒng)計則效果較差。

技術(shù)實現(xiàn)思路

1、以下是對本文詳細描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護范圍。

2、本技術(shù)的目的在于至少一定程度上解決相關(guān)技術(shù)中存在的技術(shù)問題之一，本技術(shù)實施例提供了工件計件模型的訓(xùn)練方法、計件方法及相關(guān)裝置，能夠?qū)崿F(xiàn)實時的工件統(tǒng)計方法。

3、本技術(shù)的第一方面的實施例，一種工件計件模型的訓(xùn)練方法，包括：

4、獲取訓(xùn)練工件圖像，將所述訓(xùn)練工件圖像輸入至工件計件模型，所述訓(xùn)練工件圖像設(shè)置有包含真實邊界框和真實類別的標(biāo)簽；

5、提取所述訓(xùn)練工件圖像的不同尺度的多個第一特征；

6、通過所述工件計件模型的骨干網(wǎng)絡(luò)根據(jù)所述第一特征確定錨框，根據(jù)所述錨框與所述真實邊界框的距離從所述錨框中選擇目標(biāo)錨框；

7、根據(jù)所述目標(biāo)錨框與所述真實邊界框的交并比的均值和標(biāo)準(zhǔn)差確定交并比的閾值，根據(jù)所述交并比的閾值將所述目標(biāo)錨框分為正樣本錨框和負樣本錨框，利用所述正樣本錨框和所述負樣本錨框訓(xùn)練所述骨干網(wǎng)絡(luò)得到訓(xùn)練好的骨干網(wǎng)絡(luò)；

8、通過訓(xùn)練好的骨干網(wǎng)絡(luò)根據(jù)所述第一特征確定候選框和第二特征；

9、根據(jù)所述候選框和所述第二特征確定預(yù)測邊界框和第三特征；

10、根據(jù)所述預(yù)測邊界框和所述第三特征進行聚類得到預(yù)測類別；

11、根據(jù)所述預(yù)測邊界框、所述真實邊界框、所述預(yù)測類別和所述真實類別調(diào)整所述工件計件模型的參數(shù)，得到訓(xùn)練好的工件計件模型。

12、根據(jù)本技術(shù)的第一方面的某些實施例，所述根據(jù)所述目標(biāo)錨框與所述真實邊界框的交并比的均值和標(biāo)準(zhǔn)差確定交并比的閾值，根據(jù)所述交并比的閾值將所述目標(biāo)錨框分為正樣本錨框和負樣本錨框，包括：

13、將所述目標(biāo)錨框與所述真實邊界框的交并比的均值和所述目標(biāo)錨框與所述真實邊界框的交并比的標(biāo)準(zhǔn)差相加，得到交并比的閾值；

14、將絕對值大于所述交并比的閾值且中心位于目標(biāo)真實邊界框內(nèi)的目標(biāo)錨框作為正樣本錨框；

15、將所述正樣本錨框以外的目標(biāo)錨框作為負樣本錨框；

16、其中，所述目標(biāo)真實邊界框為與所述目標(biāo)錨框的交并比最大的真實邊界框。

17、根據(jù)本技術(shù)的第一方面的某些實施例，所述根據(jù)所述候選框和所述第二特征確定預(yù)測邊界框和第三特征，包括：

18、根據(jù)所述第二特征和所述候選框確定第一層級的感興趣區(qū)域，將所述第一層級的感興趣區(qū)域通過全連接層和激活函數(shù)層得到第一層級的預(yù)測邊界框和第三特征；

19、根據(jù)所述第二特征和和上一層級的預(yù)測邊界框確定當(dāng)前層級的感興趣區(qū)域，將所述當(dāng)前層級的感興趣區(qū)域通過全連接層和激活函數(shù)層得到當(dāng)前層級的預(yù)測邊界框和第三特征。

20、根據(jù)本技術(shù)的第一方面的某些實施例，根據(jù)所述候選框和所述第二特征確定預(yù)測邊界框和第三特征所對應(yīng)的第一損失函數(shù)為：其中，xt為第t層級的第二特征，g為候選框，l(xt,g)為第一損失函數(shù)，lcls為分類損失函數(shù)，ht為第t層級的分類器，yt為xt在交并比的閾值下的背景標(biāo)簽，λ為權(quán)衡系數(shù)，ft為第t層級的回歸器，lloc為回歸損失函數(shù)，bt為第t層級的偏置值。

21、根據(jù)本技術(shù)的第一方面的某些實施例，所述根據(jù)所述預(yù)測邊界框和所述第三特征進行聚類得到預(yù)測類別，包括：

22、將包含所述預(yù)測邊界框和所述第三特征的特征圖的深層語義信息嵌入至低維空間，確定類別數(shù)據(jù)點的坐標(biāo)數(shù)組；

23、根據(jù)所述類別數(shù)據(jù)點的坐標(biāo)數(shù)組進行k均值聚類處理，得到目標(biāo)類別數(shù)；

24、將包含所述預(yù)測邊界框和所述第三特征的特征圖根據(jù)基向量從高維空間映射至低維空間，得到降維特征圖；

25、根據(jù)所述目標(biāo)類別數(shù)對所述降維特征圖進行聚類，得到預(yù)測類別；

26、其中，所述基向量是根據(jù)所述預(yù)測邊界框和所述第三特征的協(xié)方差矩陣選擇得到的。

27、根據(jù)本技術(shù)的第一方面的某些實施例，所述根據(jù)所述類別數(shù)據(jù)點的坐標(biāo)數(shù)組進行k均值聚類處理，得到目標(biāo)類別數(shù)，包括：

28、根據(jù)所述類別數(shù)據(jù)點的坐標(biāo)數(shù)組計算得到聚類分數(shù)；

29、根據(jù)所述聚類分數(shù)確定目標(biāo)類別數(shù)；

30、其中，所述聚類分數(shù)表示為：s(k)為聚類分數(shù)，bk為類別之間的協(xié)方差矩陣，wk為類內(nèi)樣本的協(xié)方差矩陣，tr(bk)為bk的跡，tr(wk)為wk的跡，n為類別數(shù)據(jù)點的坐標(biāo)數(shù)組的樣本的數(shù)量，k為簇的數(shù)量，x為類別數(shù)據(jù)點的坐標(biāo)數(shù)組的樣本，cq為簇q的樣本集合，nq為簇q的樣本的數(shù)量，c為簇q的樣本。

31、根據(jù)本技術(shù)的第一方面的某些實施例，所述根據(jù)所述目標(biāo)類別數(shù)對所述降維特征圖進行聚類，得到預(yù)測類別，包括：

32、對所述降維特征圖進行聚類確定各個類別的權(quán)重、均值和協(xié)方差矩陣，所述類別的數(shù)量為所述目標(biāo)類別數(shù)；

33、根據(jù)各個類別的權(quán)重、均值和協(xié)方差矩陣計算得到概率密度函數(shù)；

34、根據(jù)所述概率密度函數(shù)得到預(yù)測類別。

35、本技術(shù)的第二方面的實施例，一種工件計件方法，包括：

36、獲取待計件的工件圖像；

37、將所述待計件的工件圖像輸入至訓(xùn)練好的工件計件模型進行計件，得到工件數(shù)量；

38、其中，所述訓(xùn)練好的工件計件模型是根據(jù)本技術(shù)的第一方面的實施例所述的工件計件模型的訓(xùn)練方法訓(xùn)練得到的。

39、本技術(shù)的第三方面的實施例，一種電子設(shè)備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如本技術(shù)的第一方面的實施例所述的工件計件模型的訓(xùn)練方法和本技術(shù)的第二方面的實施例所述的工件計件方法。

40、本技術(shù)的第四方面的實施例，一種計算機存儲介質(zhì)，存儲有計算機可執(zhí)行指令，所述計算機可執(zhí)行指令用于執(zhí)行如本技術(shù)的第一方面的實施例所述的工件計件模型的訓(xùn)練方法和本技術(shù)的第二方面的實施例所述的工件計件方法。

41、上述方案至少具有以下的有益效果：通過根據(jù)訓(xùn)練工件圖像的不同尺度的第一特征確定錨框，根據(jù)錨框與真實邊界框的距離從錨框中選擇目標(biāo)錨框；根據(jù)目標(biāo)錨框與真實邊界框的交并比的均值和標(biāo)準(zhǔn)差確定交并比的閾值，根據(jù)交并比的閾值將目標(biāo)錨框分為正樣本錨框和負樣本錨框，利用正樣本錨框和負樣本錨框訓(xùn)練骨干網(wǎng)絡(luò)得到訓(xùn)練好的骨干網(wǎng)絡(luò)；通過訓(xùn)練好的骨干網(wǎng)絡(luò)根據(jù)第一特征確定候選框和第二特征；根據(jù)候選框和第二特征確定預(yù)測邊界框和第三特征；根據(jù)預(yù)測邊界框和第三特征進行聚類得到預(yù)測類別；根據(jù)預(yù)測邊界框、真實邊界框、預(yù)測類別和真實類別調(diào)整工件計件模型的參數(shù)，得到訓(xùn)練好的工件計件模型；實現(xiàn)了智能化的實時工件統(tǒng)計方法，通過類無關(guān)檢測器來完成對工件的檢測，并且利用聚類對工件進行分類計數(shù)，能夠有效地對多類別工件進行計件操作，提高了工件計數(shù)效率。