本技術涉及金融科技,尤其涉及一種目標檢測方法及目標檢測裝置、設備、存儲介質。
背景技術:
1、目標檢測是一種從圖像或視頻中識別出特定的目標,并確定出這些目標的位置和大小的算法。目標檢測包括小目標檢測,其中小目標檢測的應用場景包括遙感、自動駕駛、缺陷檢測等。又如,在金融科技的視頻剪輯場景中,需要根據(jù)視頻內(nèi)容進行剪輯,這就需要準確理解視頻中的各種大目標和小目標,才能更有效的進行視頻剪輯。
2、目前,相關技術對圖像中的小目標進行檢測的方法,通常是通過提高圖像分辨率或對圖像進行裁剪訓練的方式,以實現(xiàn)對圖像中的小目標進行檢測。然而,增加圖像分辨率容易使圖像變大,使得對目標檢測的計算量增加,且對圖像進行裁剪也相當于增加了圖像的數(shù)量,也會使得對目標檢測的計算量增加,從而影響目標檢測的效率。因此,如何提供一種能夠在保證檢測精度的基礎上,提高目標檢測效率的方法,成為了亟待解決的技術問題。
技術實現(xiàn)思路
1、本技術實施例的主要目的在于提出了一種目標檢測方法及目標檢測裝置、設備、存儲介質,能夠在保證檢測精度的基礎上,提高目標檢測效率。
2、為實現(xiàn)上述目的,本技術實施例的第一方面提出了一種目標檢測方法,所述方法包括:
3、獲取樣本目標的訓練樣本集,所述訓練樣本集包括具有所述樣本目標的樣本圖像和所述樣本圖像的樣本目標標簽,所述樣本目標標簽包括所述樣本圖像中所述樣本目標的目標尺寸標簽和樣本目標類別標簽;
4、基于所述目標尺寸標簽和預設目標尺寸對所述樣本圖像進行圖像調整,得到調整目標和包含所述調整目標的樣本調整圖像;
5、基于所述預設目標尺寸對所述調整目標進行目標劃分,得到調整小目標和調整大目標;
6、基于預設的初始檢測模型對所述樣本調整圖像進行目標檢測,得到所述調整目標的第一預測目標類別;
7、基于所述第一預測目標類別和所述樣本目標類別標簽進行損失貢獻計算,得到第一小目標損失貢獻值;
8、基于所述訓練樣本集中所述調整小目標的小目標總面積和所述調整大目標的大目標總面積,確定第一小目標面積占比;
9、基于所述第一小目標損失貢獻值和所述第一小目標面積占比對所述初始檢測模型進行模型參數(shù)調整,得到目標檢測模型;
10、獲取目標圖像,并基于所述目標檢測模型對目標圖像進行目標檢測。
11、在一些實施例中,所述第一預測目標類別包括所述調整小目標的預測小目標類別和所述調整大目標的預測大目標類別,所述基于所述第一預測目標類別和所述樣本目標類別進行損失貢獻計算,得到第一小目標損失貢獻值,包括:
12、基于所述預測小目標類別和所述調整小目標的所述樣本目標類別進行類別損失計算,得到小目標類別損失;
13、基于所述預測大目標類別和所述調整大目標的所述樣本目標類別進行類別損失計算,得到大目標類別損失;
14、對所述訓練樣本集的所述小目標類別損失進行損失計算,得到小目標類別總損失;
15、對所述訓練樣本集的所述大目標類別損失進行損失計算,得到大目標類別總損失;
16、基于所述小目標類別總損失和所述大目標類別總損失確定所述第一小目標損失貢獻值。
17、在一些實施例中,所述基于所述小目標類別總損失和所述大目標類別總損失確定所述第一小目標損失貢獻值,包括:
18、基于所述第一小目標面積占比確定損失權重,所述損失權重包括所述小目標類別總損失的第一損失子權重和所述大目標類別總損失的第二損失子權重;
19、基于所述小目標類別總損失、所述第一損失子權重、所述大目標類別總損失和所述第二損失子權重進行損失加權計算,得到加權總損失;
20、基于所述小目標類別總損失、所述第一損失子權重和所述加權總損失進行損失占比計算,得到所述第一小目標損失貢獻值。
21、在一些實施例中,所述基于所述目標尺寸標簽和預設目標尺寸對所述樣本圖像進行圖像調整,得到調整目標和包含所述調整目標的樣本調整圖像,包括:
22、若所述樣本圖像中所述樣本目標的所述目標尺寸標簽都大于所述預設目標尺寸,基于所述目標尺寸標簽確定所述樣本圖像的最大目標尺寸;
23、基于所述最大目標尺寸和所述預設目標尺寸確定圖像調整參數(shù);
24、基于所述圖像調整參數(shù)確定拼接圖像數(shù)量;
25、基于所述拼接圖像數(shù)量從所述訓練樣本集中選擇候選圖像;
26、基于所述圖像調整參數(shù)對所述樣本圖像和所述候選圖像進行圖像調整,得到所述調整目標和包含所述調整目標的所述樣本調整圖像。
27、在一些實施例中,所述基于所述圖像調整參數(shù)對所述樣本圖像和所述候選圖像進行圖像調整,得到所述調整目標和包含所述調整目標的所述樣本調整圖像,包括:
28、若所述樣本圖像和所述候選圖像相同,對所述候選圖像進行圖像增強,得到候選增強圖像;
29、基于所述圖像調整參數(shù)對所述樣本圖像進行圖像尺寸調整,得到第一調整子目標和包含所述第一調整子目標的第一調整圖像;
30、基于所述圖像調整參數(shù)對所述候選增強圖像進行圖像尺寸調整,得到第二調整子目標和包含所述第二調整子目標的第二調整圖像;
31、基于所述第一調整子目標和所述第二調整子目標確定所述調整目標;
32、對所述第一調整圖像和所述第二調整圖像進行圖像拼接,得到包含所述調整目標的拼接圖像,所述拼接圖像的圖像尺寸與所述樣本圖像的圖像尺寸相同;
33、對所述拼接圖像進行圖像平滑處理,得到所述樣本調整圖像。
34、在一些實施例中,在所述基于所述目標尺寸標簽和預設目標尺寸對所述樣本圖像進行圖像調整,得到調整目標和包含所述調整目標的樣本調整圖像之前,所述方法還包括:
35、若所述樣本圖像中包含所述目標尺寸標簽小于或等于所述預設目標尺寸的所述樣本目標,基于所述預設目標尺寸對所述樣本圖像中的所述樣本目標進行目標劃分,得到樣本小目標和樣本大目標;
36、基于所述初始檢測模型對所述樣本圖像進行目標檢測,得到所述樣本目標的第二預測目標類別;
37、基于所述第二預測目標類別和所述樣本目標類別標簽進行損失貢獻計算,得到第二小目標損失貢獻值;
38、基于所述訓練樣本集中所述樣本小目標的小目標總面積和所述樣本大目標的大目標總面積,確定第二小目標面積占比;
39、基于所述第二小目標損失貢獻值和所述第二小目標面積占比對所述初始檢測模型進行模型參數(shù)調整,得到所述目標檢測模型。
40、在一些實施例中,所述基于所述第一小目標損失貢獻值和所述第一小目標面積占比對所述初始檢測模型進行模型參數(shù)調整,得到目標檢測模型,包括:
41、若所述第一小目標損失貢獻值小于目標損失閾值,對所述樣本調整圖像進行圖像增強,得到增強調整圖像;
42、基于所述增強調整圖像更新所述訓練樣本集;
43、基于更新后的所述訓練樣本集確定更新后的所述第一小目標損失貢獻值,并基于更新后的所述第一小目標損失貢獻值與所述目標損失閾值比較,直至更新后的所述第一小目標損失貢獻值大于或等于所述目標損失閾值;
44、基于更新后的所述第一小目標損失貢獻值和所述第一小目標面積占比對所述初始檢測模型進行模型參數(shù)調整,得到所述目標檢測模型。
45、為實現(xiàn)上述目的,本技術實施例的第二方面提出了一種目標檢測裝置,所述裝置包括:
46、獲取模塊,用于獲取樣本目標的訓練樣本集,所述訓練樣本集包括具有所述樣本目標的樣本圖像和所述樣本圖像的樣本目標標簽,所述樣本目標標簽包括所述樣本圖像中所述樣本目標的目標尺寸標簽和樣本目標類別標簽;
47、調整模塊,用于基于所述目標尺寸標簽和預設目標尺寸對所述樣本圖像進行圖像調整,得到調整目標和包含所述調整目標的樣本調整圖像;
48、劃分模塊,用于基于所述預設目標尺寸對所述調整目標進行目標劃分,得到調整小目標和調整大目標;
49、第一檢測模塊,用于基于預設的初始檢測模型對所述樣本調整圖像進行目標檢測,得到所述調整目標的第一預測目標類別;
50、計算模塊,用于基于所述第一預測目標類別和所述樣本目標類別標簽進行損失貢獻計算,得到第一小目標損失貢獻值;
51、確定模塊,用于基于所述訓練樣本集中所述調整小目標的小目標總面積和所述調整大目標的大目標總面積,確定第一小目標面積占比;
52、訓練模塊,用于基于所述第一小目標損失貢獻值和所述第一小目標面積占比對所述初始檢測模型進行模型參數(shù)調整,得到目標檢測模型;
53、第二檢測模塊,用于獲取目標圖像,并基于所述目標檢測模型對目標圖像進行目標檢測。
54、為實現(xiàn)上述目的,本技術實施例的第三方面提出了一種電子設備,所述電子設備包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述第一方面所述的方法。
55、為實現(xiàn)上述目的,本技術實施例的第四方面提出了一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第一方面所述的方法。
56、本技術實施例提出的目標檢測方法及目標檢測裝置、設備、存儲介質,通過結合小目標損失貢獻值和小目標面積占比來對目標檢測模型進行訓練,結合提高模型對小目標檢測的準確性,從而能夠在保證檢測精度的基礎上,提高目標檢測效率。具體地,通過獲取樣本目標的訓練樣本集,該訓練樣本集包括具有樣本目標的樣本圖像和本圖像的樣本目標標簽,樣本目標標簽包括樣本圖像中樣本目標的目標尺寸標簽和樣本目標類別標簽;進一步地,基于目標尺寸標簽和預設目標尺寸對樣本圖像進行圖像調整,得到調整目標和包含調整目標的樣本調整圖像;基于預設目標尺寸對調整目標進行目標劃分,得到調整小目標和調整大目標;進一步地,基于預設的初始檢測模型對樣本調整圖像進行目標檢測,得到調整目標的第一預測目標類別;基于第一預測目標類別和樣本目標類別標簽進行損失貢獻計算,得到第一小目標損失貢獻值;基于訓練樣本集中調整小目標的小目標總面積和調整大目標的大目標總面積,確定第一小目標面積占比;進一步地,基于第一小目標損失貢獻值和第一小目標面積占比對初始檢測模型進行模型參數(shù)調整,得到目標檢測模型;最后,獲取目標圖像,并基于目標檢測模型對目標圖像進行目標檢測。相比于相關技術通過提高圖像分辨率或對圖像進行裁剪訓練的方式,本技術在對模型訓練的過程中,會基于目標尺寸進行目標劃分,并結合小目標損失貢獻值與小目標面積占比提高目標檢測模型對小目標檢測的準確性,因此,本技術能夠更好地在保證檢測精度的基礎上,提高目標檢測效率。