本申請(qǐng)涉及深度學(xué)習(xí)，具體地，涉及一種遷移模型訓(xùn)練方法、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、深度學(xué)習(xí)可以通過(guò)構(gòu)建和訓(xùn)練模型來(lái)擬合輸入與輸出之間的映射關(guān)系，在實(shí)際應(yīng)用中，由于樣本數(shù)據(jù)有限，通常利用在線的遷移學(xué)習(xí)技術(shù)將通用場(chǎng)景對(duì)應(yīng)的通用模型的能力遷移到新的遷移場(chǎng)景。

2、然而，由于遷移場(chǎng)景的樣本稀缺、遷移場(chǎng)景與通用場(chǎng)景的差異性較大等原因，模型在線訓(xùn)練時(shí)容易導(dǎo)致模型僅對(duì)已經(jīng)訓(xùn)練的通用場(chǎng)景有效而失去對(duì)遷移場(chǎng)景的泛化能力。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上內(nèi)容，有必要提出一種遷移模型訓(xùn)練方法、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠解決由于遷移場(chǎng)景的樣本稀缺、遷移場(chǎng)景與通用場(chǎng)景的差異性較大等原因?qū)е碌脑诰€訓(xùn)練得到的模型泛化能力不足的技術(shù)問(wèn)題。

2、本申請(qǐng)的實(shí)施例提供一種遷移模型訓(xùn)練方法，所述方法包括：基于元模型對(duì)輸入圖像的預(yù)測(cè)結(jié)果以及用戶對(duì)所述預(yù)測(cè)結(jié)果的校驗(yàn)結(jié)果，對(duì)所述輸入圖像進(jìn)行預(yù)處理，獲得訓(xùn)練樣本，其中，所述輸入圖像包括遷移場(chǎng)景對(duì)應(yīng)的圖像；利用所述元模型對(duì)應(yīng)的歷史樣本與所述訓(xùn)練樣本對(duì)所述元模型進(jìn)行訓(xùn)練，得到所述歷史樣本對(duì)應(yīng)的歷史梯度及所述訓(xùn)練樣本對(duì)應(yīng)的遷移梯度；根據(jù)所述歷史梯度與所述遷移梯度的相似度，確定所述歷史梯度與所述遷移梯度的混合梯度，及基于所述混合梯度對(duì)所述元模型的模型參數(shù)進(jìn)行更新，基于更新后的模型參數(shù)訓(xùn)練所述遷移場(chǎng)景對(duì)應(yīng)的遷移模型。

3、在一個(gè)實(shí)施例中，對(duì)所述元模型進(jìn)行的每個(gè)周期的訓(xùn)練包括：從所述訓(xùn)練樣本中依序采樣獲得每個(gè)批次的訓(xùn)練樣本，及從所述歷史樣本中依序采樣獲得所述每個(gè)批次的歷史樣本，直至所述訓(xùn)練樣本被全部采樣完畢，完成對(duì)所述元模型的當(dāng)前周期的更新。

4、在一個(gè)實(shí)施例中，所述方法還包括根據(jù)所述預(yù)測(cè)結(jié)果與所述校驗(yàn)結(jié)果確定所述輸入圖像的類別，包括：若所述校驗(yàn)結(jié)果指示所述預(yù)測(cè)結(jié)果與目標(biāo)對(duì)象相對(duì)應(yīng)，確定所述輸入圖像的類別為正確樣本；若所述校驗(yàn)結(jié)果指示所述預(yù)測(cè)結(jié)果沒(méi)有預(yù)測(cè)到所述目標(biāo)對(duì)象，確定所述輸入圖像的類別為漏檢樣本；若所述校驗(yàn)結(jié)果指示所述預(yù)測(cè)結(jié)果錯(cuò)誤地將其他對(duì)象預(yù)測(cè)為所述目標(biāo)對(duì)象，確定所述輸入圖像的類別為誤檢樣本。

5、在一個(gè)實(shí)施例中，所述預(yù)處理包括：若所述輸入圖像的類別為正確樣本，使用所述元模型對(duì)所述正確樣本的低于預(yù)設(shè)置信度閾值的邊界框進(jìn)行預(yù)測(cè)，從低于預(yù)設(shè)置信度閾值的邊界框中選擇與用戶標(biāo)注框的交并比大于預(yù)設(shè)交并比閾值的邊界框，將選擇的邊界框中置信度最高的邊界框作為所述正確樣本的標(biāo)注信息，得到所述訓(xùn)練樣本。

6、在一個(gè)實(shí)施例中，所述預(yù)處理還包括：若所述輸入圖像的類別為漏檢樣本，將所述漏檢樣本對(duì)應(yīng)的用戶標(biāo)注框作為所述漏檢樣本的標(biāo)注信息，得到所述訓(xùn)練樣本。

7、本申請(qǐng)的實(shí)施例提供一種遷移模型訓(xùn)練裝置，所述裝置包括：輸入模塊，用于基于元模型對(duì)輸入圖像的預(yù)測(cè)結(jié)果以及用戶對(duì)所述預(yù)測(cè)結(jié)果的校驗(yàn)結(jié)果，對(duì)所述輸入圖像進(jìn)行預(yù)處理，獲得訓(xùn)練樣本，其中，所述輸入圖像包括遷移場(chǎng)景對(duì)應(yīng)的圖像；梯度確定模塊，用于利用所述元模型對(duì)應(yīng)的歷史樣本與所述訓(xùn)練樣本對(duì)所述元模型進(jìn)行訓(xùn)練，得到所述歷史樣本對(duì)應(yīng)的歷史梯度及所述訓(xùn)練樣本對(duì)應(yīng)的遷移梯度；參數(shù)更新模塊，用于根據(jù)所述歷史梯度與所述遷移梯度的相似度，確定所述歷史梯度與所述遷移梯度的混合梯度，及基于所述混合梯度對(duì)所述元模型的模型參數(shù)進(jìn)行更新，基于更新后的模型參數(shù)訓(xùn)練所述遷移場(chǎng)景對(duì)應(yīng)的遷移模型。

8、本申請(qǐng)的實(shí)施例提供一種電子設(shè)備，所述電子設(shè)備包括處理器和存儲(chǔ)器，所述處理器用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)所述遷移模型訓(xùn)練方法。

9、本申請(qǐng)的實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述遷移模型訓(xùn)練方法。

10、綜上所述，本申請(qǐng)所述的遷移模型訓(xùn)練方法，通過(guò)元模型獲得遷移場(chǎng)景對(duì)應(yīng)的輸入圖像的預(yù)測(cè)結(jié)果，基于用戶對(duì)預(yù)測(cè)結(jié)果的校驗(yàn)結(jié)果對(duì)輸入圖像進(jìn)行預(yù)處理，從而獲得訓(xùn)練樣本；利用元模型對(duì)應(yīng)的歷史樣本與訓(xùn)練樣本對(duì)元模型進(jìn)行訓(xùn)練，獲得訓(xùn)練過(guò)程中歷史樣本對(duì)應(yīng)的歷史梯度與訓(xùn)練樣本對(duì)應(yīng)的遷移梯度；通過(guò)歷史梯度與遷移梯度之間的相似度確定混合梯度，基于混合梯度對(duì)元模型的模型參數(shù)進(jìn)行更新，從而實(shí)現(xiàn)基于對(duì)元模型的在線訓(xùn)練獲得遷移場(chǎng)景對(duì)應(yīng)的遷移模型。能夠減少模型遷移過(guò)程中的遺忘和偏見現(xiàn)象，進(jìn)而減少模型從通用場(chǎng)景遷移到遷移場(chǎng)景所需的數(shù)據(jù)量，實(shí)現(xiàn)降低場(chǎng)景遷移成本并提升遷移效果的作用。

技術(shù)特征：

1.一種遷移模型訓(xùn)練方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的遷移模型訓(xùn)練方法，其特征在于，所述根據(jù)所述歷史梯度與所述遷移梯度的相似度，確定所述歷史梯度與所述遷移梯度的混合梯度，包括：

3.根據(jù)權(quán)利要求1所述的遷移模型訓(xùn)練方法，其特征在于，所述方法還包括：

4.根據(jù)權(quán)利要求1所述的遷移模型訓(xùn)練方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求2所述的遷移模型訓(xùn)練方法，其特征在于，所述根據(jù)所述相似度確定所述歷史梯度對(duì)應(yīng)的權(quán)重與所述遷移梯度對(duì)應(yīng)的權(quán)重，包括：

6.根據(jù)權(quán)利要求4所述的遷移模型訓(xùn)練方法，其特征在于，所述根據(jù)所述歷史樣本對(duì)應(yīng)的歷史梯度及所述訓(xùn)練樣本對(duì)應(yīng)的遷移梯度對(duì)所述歷史樣本庫(kù)進(jìn)行更新，包括：

7.根據(jù)權(quán)利要求1所述的遷移模型訓(xùn)練方法，其特征在于，所述預(yù)測(cè)結(jié)果包括目標(biāo)對(duì)象對(duì)應(yīng)的預(yù)測(cè)邊界框與預(yù)測(cè)對(duì)象類別，所述預(yù)測(cè)邊界框包括置信度高于預(yù)設(shè)置信度閾值的邊界框。

8.根據(jù)權(quán)利要求7所述的遷移模型訓(xùn)練方法，其特征在于，所述方法還包括：

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至8中任一項(xiàng)所述的遷移模型訓(xùn)練方法。

技術(shù)總結(jié)
本申請(qǐng)涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，提供一種遷移模型訓(xùn)練方法、電子設(shè)備及存儲(chǔ)介質(zhì)，所述方法通過(guò)元模型獲得遷移場(chǎng)景對(duì)應(yīng)的輸入圖像的預(yù)測(cè)結(jié)果，基于用戶對(duì)預(yù)測(cè)結(jié)果的校驗(yàn)結(jié)果對(duì)輸入圖像進(jìn)行預(yù)處理，從而獲得訓(xùn)練樣本；利用元模型對(duì)應(yīng)的歷史樣本與訓(xùn)練樣本對(duì)元模型進(jìn)行訓(xùn)練，獲得訓(xùn)練過(guò)程中歷史樣本對(duì)應(yīng)的歷史梯度與訓(xùn)練樣本對(duì)應(yīng)的遷移梯度；通過(guò)歷史梯度與遷移梯度之間的相似度確定混合梯度，基于混合梯度對(duì)元模型的模型參數(shù)進(jìn)行更新，從而實(shí)現(xiàn)基于對(duì)元模型的在線訓(xùn)練獲得遷移場(chǎng)景對(duì)應(yīng)的遷移模型。利用上述方法能夠降低模型的場(chǎng)景遷移成本并提升遷移效果。

技術(shù)研發(fā)人員：李濱君,余曉填,肖嶸
受保護(hù)的技術(shù)使用者：深圳云天勵(lì)飛技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2