本發(fā)明涉及圖像檢測，尤其涉及一種圖像檢測網絡的訓練方法及圖像檢測方法、系統(tǒng)及設備。

背景技術：

1、隨著大模型的發(fā)展，視覺大模型已經在圖像識別、目標檢測、語義語義分割等任務中展現(xiàn)了卓越的性能。它們通過學習大規(guī)模數(shù)據(jù)集中的復雜模式和特征，能夠自動從數(shù)據(jù)中提取抽象的、高級的特征表示，實現(xiàn)比傳統(tǒng)方法更高的準確性和更好的泛化性。所以數(shù)據(jù)成為大模型的基石，大模型通常需要數(shù)以萬計的數(shù)據(jù)來支撐，這些數(shù)據(jù)通常包含大量的樣本和標簽用于模型學習和泛化。因而，基于大模型進行檢測具有重要的意義。

技術實現(xiàn)思路

1、本發(fā)明旨在至少在一定程度上解決相關技術中的技術問題之一。為此，本發(fā)明的第一個目的在于提出一種圖像檢測網絡的訓練方法，以實現(xiàn)支持基于大模型進行檢測。

2、本發(fā)明的第二個目的在于提出一種圖像檢測方法。

3、本發(fā)明的第三個目的在于提出一種電子設備。

4、本發(fā)明的第四個目的在于提出一種圖像檢測系統(tǒng)。

5、為達到上述目的，本發(fā)明第一方面實施例提出了一種圖像檢測網絡的訓練方法，所述方法包括：獲取多個圖像數(shù)據(jù)集和與所述圖像數(shù)據(jù)集對應的權重，并根據(jù)所述圖像數(shù)據(jù)集得到待訓練圖像檢測網絡；根據(jù)所述權重對所述圖像數(shù)據(jù)集進行采樣，得到采樣圖像；利用所述待訓練圖像檢測網絡對所述采樣圖像進行檢測，得到所述采樣圖像中檢測對象的第一類別識別結果和第一區(qū)域識別結果；根據(jù)所述第一區(qū)域識別結果得到第一損失值，并根據(jù)所述第一類別識別結果得到第二損失值；根據(jù)所述第一損失值和所述第二損失值調整所述待訓練圖像檢測網絡的網絡參數(shù)，并根據(jù)所述第二損失值調整所述權重，以及返回所述根據(jù)所述權重對所述圖像數(shù)據(jù)集進行采樣的步驟，直至調整所述網絡參數(shù)的次數(shù)已達到第一預設次數(shù)，得到訓練完成的圖像檢測網絡。

6、另外，根據(jù)本發(fā)明實施例的圖像檢測網絡的訓練方法，還可具有如下附加的技術特征：

7、在本發(fā)明一個實施例中，所述根據(jù)所述圖像數(shù)據(jù)集得到待訓練圖像檢測網絡，包括：根據(jù)所述圖像數(shù)據(jù)集的第一標簽確定分類頭，并根據(jù)所述分類頭得到所述待訓練圖像檢測網絡，其中，所述第一標簽為表示所述圖像數(shù)據(jù)集的類別的標簽。

8、在本發(fā)明一個實施例中，所述利用所述待訓練圖像檢測網絡對所述采樣圖像進行檢測，包括：根據(jù)所述采樣圖像的第二標簽得到第一嵌入向量，其中，所述第二標簽為表示所述采樣圖像中檢測對象的類別的標簽；利用所述待訓練圖像檢測網絡的特征提取模塊對所述采樣圖像進行特征提取，得到特征圖；利用所述分類頭對所述特征圖和所述第一嵌入向量進行處理，得到所述第一類別識別結果和所述第一區(qū)域識別結果。

9、在本發(fā)明一個實施例中，所述方法還包括：當調整所述網絡參數(shù)的次數(shù)達到第二預設次數(shù)時，根據(jù)當前圖像檢測網絡對多個所述圖像數(shù)據(jù)集中的圖像進行檢測，得到第二類別識別結果和第二區(qū)域識別結果，其中，所述第二預設次數(shù)小于所述第一預設次數(shù)；根據(jù)所述第二類別識別結果和所述第二區(qū)域識別結果對所述第一標簽和所述第二標簽進行更新，以根據(jù)更新后的所述第一標簽重新確定所述分類頭，并根據(jù)更新后的所述第二標簽重新得到所述第一嵌入向量。

10、在本發(fā)明一個實施例中，所述根據(jù)所述采樣圖像的第二標簽得到第一嵌入向量，包括：采用文本編碼器對所述第二標簽進行處理，得到第二嵌入向量；根據(jù)所述第二嵌入向量得到第三嵌入向量，其中，所述第三嵌入向量為空字符串的第二嵌入向量；計算得到所述第二嵌入向量與所述第三嵌入向量之間的差值，并對所述差值進行歸一化處理，得到所述第一嵌入向量。

11、在本發(fā)明一個實施例中，所述分類頭包括解碼器、分類器和回歸器，所述利用所述分類頭對所述特征圖和所述第一嵌入向量進行處理，包括：利用所述解碼器對所述特征圖和所述第一嵌入向量進行解碼處理，得到解碼結果；利用所述分類器對所述解碼結果進行分類處理，得到所述第一類別識別結果；利用所述回歸器對所述解碼結果進行回歸處理，得到所述第一區(qū)域識別結果。

12、在本發(fā)明一個實施例中，所述第一預設次數(shù)為64。

13、為達到上述目的，本發(fā)明第二方面實施例提出了一種圖像檢測方法，所述方法包括：獲取待檢測圖像；將所述待檢測圖像輸入上述的圖像檢測網絡的訓練方法訓練得到的圖像檢測網絡，得到圖像檢測結果。

14、為達到上述目的，本發(fā)明第三方面實施例提出了一種電子設備，包括存儲器、處理器和存儲在存儲器上并可在處理器上運行的計算機程序，所述計算機程序被所述處理器執(zhí)行時，實現(xiàn)上述的圖像檢測方法。

15、為達到上述目的，本發(fā)明第四方面實施例提出了一種圖像檢測系統(tǒng)，包括上述的電子設備。

16、根據(jù)本發(fā)明實施例的圖像檢測網絡的訓練方法及圖像檢測方法、系統(tǒng)及設備，獲取多個圖像數(shù)據(jù)集和與圖像數(shù)據(jù)集對應的權重，并根據(jù)圖像數(shù)據(jù)集得到待訓練圖像檢測網絡；根據(jù)權重對圖像數(shù)據(jù)集進行采樣，得到采樣圖像；利用待訓練圖像檢測網絡對采樣圖像進行檢測，得到采樣圖像中檢測對象的第一類別識別結果和第一區(qū)域識別結果；根據(jù)第一區(qū)域識別結果得到第一損失值，并根據(jù)第一類別識別結果得到第二損失值；根據(jù)第一損失值和第二損失值調整待訓練圖像檢測網絡的網絡參數(shù)，并根據(jù)第二損失值調整權重，以及返回根據(jù)權重對圖像數(shù)據(jù)集進行采樣的步驟，直至調整網絡參數(shù)的次數(shù)已達到第一預設次數(shù)，得到訓練完成的圖像檢測網絡。由此，可以實現(xiàn)基于大數(shù)據(jù)訓練得到圖像檢測網絡，該圖像檢測網絡為大模型，從而支持利用大模型進行圖像檢測。

17、本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

技術特征：

1.一種圖像檢測網絡的訓練方法，其特征在于，所述方法包括：

2.根據(jù)權利要求1所述的圖像檢測網絡的訓練方法，其特征在于，所述根據(jù)所述圖像數(shù)據(jù)集得到待訓練圖像檢測網絡，包括：

3.根據(jù)權利要求2所述的圖像檢測網絡的訓練方法，其特征在于，所述利用所述待訓練圖像檢測網絡對所述采樣圖像進行檢測，包括：

4.根據(jù)權利要求3所述的圖像檢測網絡的訓練方法，其特征在于，所述方法還包括：

5.根據(jù)權利要求3所述的圖像檢測網絡的訓練方法，其特征在于，所述根據(jù)所述采樣圖像的第二標簽得到第一嵌入向量，包括：

6.根據(jù)權利要求3所述的圖像檢測網絡的訓練方法，其特征在于，所述分類頭包括解碼器、分類器和回歸器，所述利用所述分類頭對所述特征圖和所述第一嵌入向量進行處理，包括：

7.根據(jù)權利要求1所述的圖像檢測網絡的訓練方法，其特征在于，所述第一預設次數(shù)為64。

8.一種圖像檢測方法，其特征在于，所述方法包括：

9.一種電子設備，其特征在于，包括存儲器、處理器和存儲在存儲器上并可在處理器上運行的計算機程序，所述計算機程序被所述處理器執(zhí)行時，實現(xiàn)如權利要求8所述的圖像檢測方法。

10.一種圖像檢測系統(tǒng)，其特征在于，包括如權利要求9所述的電子設備。

技術總結
本發(fā)明公開了一種圖像檢測網絡的訓練方法及圖像檢測方法、系統(tǒng)及設備，涉及圖像檢測技術領域。方法包括：獲取多個圖像數(shù)據(jù)集和與圖像數(shù)據(jù)集對應的權重，并根據(jù)圖像數(shù)據(jù)集得到待訓練圖像檢測網絡；根據(jù)權重對圖像數(shù)據(jù)集進行采樣，得到采樣圖像；利用待訓練圖像檢測網絡對采樣圖像進行檢測，得到采樣圖像中檢測對象的第一類別識別結果和第一區(qū)域識別結果；根據(jù)第一區(qū)域識別結果得到第一損失值，并根據(jù)第一類別識別結果得到第二損失值；根據(jù)第一損失值和第二損失值調整待訓練圖像檢測網絡的網絡參數(shù)，并根據(jù)第二損失值調整權重，以及返回根據(jù)權重對圖像數(shù)據(jù)集進行采樣的步驟，直至調整網絡參數(shù)的次數(shù)達到第一預設次數(shù)，得到訓練完成的圖像檢測網絡。

技術研發(fā)人員：劉海峰,李厚強,張沁薇,艾坤,賈偉,丁海松,常峰
受保護的技術使用者：合肥中科類腦智能技術有限公司
技術研發(fā)日：
技術公布日：2025/1/6