本技術涉及計算機,特別是涉及一種圖像處理方法、裝置、電子設備和可讀存儲介質(zhì)。
背景技術:
1、隨著計算機技術的發(fā)展,目前已經(jīng)可以在同一個電子設備中集成多個用于圖像處理的預定任務來滿足不同場景的需求。在相關技術中,每個預定任務往往由預定任務各自對應的圖像處理模型進行處理,因此,隨著預定任務的數(shù)量增加,預定任務在電子設備中占用的運算資源也隨之增加。
2、針對此情況,可以采用多任務模型中的各個任務網(wǎng)絡來處理各個預定任務(也即將多個預定任務對應的圖像處理模型集成在同一個多任務模型中)。但是,由于每個任務網(wǎng)絡可能分別用于處理不同的任務,因此,每個任務網(wǎng)絡對應的訓練集可能存在一定的差異,這會對多任務模型的訓練過程造成一定的阻礙,使得多任務模型的訓練效率較低、訓練效果較差,進而會使得多任務模型對于圖像處理的準確性較低。因此,如何有效提高多任務模型的性能是目前亟需解決的問題。
技術實現(xiàn)思路
1、有鑒于此,本技術實施例提供一種圖像處理方法、裝置、電子設備和可讀存儲介質(zhì),提高了多任務模型對于圖像處理的準確性和多任務模型的訓練效率。
2、第一方面,提供了一種圖像處理方法,所述方法包括:
3、獲取目標圖像,所述目標圖像中至少包括人臉區(qū)域。
4、基于多任務模型中各預定任務對應的任務網(wǎng)絡,對所述目標圖像進行處理,確定各所述預定任務對應的檢測結果,所述多任務模型至少用于圖像處理任務,所述多任務模型包括多個預定任務分別對應的任務網(wǎng)絡。
5、其中,所述多任務模型通過以下步驟訓練:
6、獲取多任務模型對應的綜合訓練集,所述綜合訓練集至少包括各所述任務網(wǎng)絡對應的圖像樣本、所述圖像樣本對應的至少一個訓練標簽以及所述訓練標簽對應的任務匹配標識,所述任務匹配標識用于標識各所述訓練標簽對于各所述預定任務的有效性。
7、針對每個任務網(wǎng)絡,根據(jù)所述任務匹配標識在各所述訓練標簽中確定所述任務網(wǎng)絡對應的有效標簽,以及所述有效標簽對應的有效樣本。
8、根據(jù)所述有效樣本和所述有效標簽,確定各所述任務網(wǎng)絡分別對應的目標損失。
9、根據(jù)各所述任務網(wǎng)絡分別對應的目標損失,確定聯(lián)合損失。
10、基于所述聯(lián)合損失,訓練所述多任務模型。
11、在一些實施例中,所述預定任務包括以下任務中的一項或多項組合:駕駛員人臉檢測任務、駕駛員分心狀態(tài)檢測任務、駕駛員疲勞狀態(tài)檢測任務、駕駛員危險動作檢測任務以及駕駛員人臉遮擋檢測任務。
12、在一些實施例中,所述根據(jù)各所述任務網(wǎng)絡分別對應的目標損失,確定聯(lián)合損失包括:
13、基于各所述任務網(wǎng)絡分別對應的目標損失和預設權重,對各所述目標損失進行加權求和,以確定聯(lián)合損失,其中,所述預設權重至少基于所述任務網(wǎng)絡對應的任務類型確定。
14、在一些實施例中,所述訓練標簽包括數(shù)值標簽。
15、所述根據(jù)所述有效樣本和所述有效標簽,確定各所述任務網(wǎng)絡分別對應的目標損失包括:
16、針對每個數(shù)值標簽,對所述數(shù)值標簽進行歸一化編碼,確定所述數(shù)值標簽對應的歸一化數(shù)值。
17、根據(jù)所述有效樣本和所述歸一化數(shù)值,確定各所述任務網(wǎng)絡分別對應的目標損失。
18、在一些實施例中,所述圖像樣本包括被檢測目標區(qū)域。
19、所述對所述數(shù)值標簽進行歸一化編碼,確定所述數(shù)值標簽對應的歸一化數(shù)值包括:
20、根據(jù)所述被檢測目標區(qū)域的尺寸、預先確定的調(diào)整參數(shù)和調(diào)節(jié)因子,對所述數(shù)值標簽進行歸一化編碼,確定所述數(shù)值標簽對應的歸一化數(shù)值。
21、在一些實施例中,所述方法還包括:
22、獲取至少一個原始樣本。
23、根據(jù)各所述原始樣本對應的樣本類型和各所述樣本類型對應預設增強方式,對各所述原始樣本進行數(shù)據(jù)增強,確定增強數(shù)據(jù)集合。
24、基于各所述原始樣本和所述增強數(shù)據(jù)集合,生成所述綜合訓練集。
25、第二方面,提供了一種圖像處理裝置,所述裝置包括:
26、目標圖像獲取模塊,被配置為執(zhí)行獲取目標圖像,所述目標圖像中至少包括人臉區(qū)域。
27、檢測結果確定模塊,被配置為執(zhí)行基于多任務模型中各預定任務對應的任務網(wǎng)絡,對所述目標圖像進行處理,確定各所述預定任務對應的檢測結果,所述多任務模型至少用于圖像處理任務,所述多任務模型包括多個預定任務分別對應的任務網(wǎng)絡。
28、其中,所述多任務模型通過以下模塊訓練:
29、綜合訓練集獲取模塊,被配置為執(zhí)行獲取多任務模型對應的綜合訓練集,所述多任務模型至少用于圖像處理任務,所述多任務模型包括多個預定任務分別對應的任務網(wǎng)絡,所述綜合訓練集至少包括各所述任務網(wǎng)絡對應的圖像樣本、所述圖像樣本對應的至少一個訓練標簽以及所述訓練標簽對應的任務匹配標識,所述任務匹配標識用于標識各所述訓練標簽對于各所述預定任務的有效性。
30、訓練數(shù)據(jù)篩選模塊,被配置為執(zhí)行針對每個任務網(wǎng)絡,根據(jù)所述任務匹配標識在各所述訓練標簽中確定所述任務網(wǎng)絡對應的有效標簽,以及所述有效標簽對應的有效樣本。
31、目標損失確定模塊,被配置為執(zhí)行根據(jù)所述有效樣本和所述有效標簽,確定各所述任務網(wǎng)絡分別對應的目標損失。
32、聯(lián)合損失確定模塊,被配置為執(zhí)行根據(jù)各所述任務網(wǎng)絡分別對應的目標損失,確定聯(lián)合損失。
33、訓練模塊,被配置為執(zhí)行基于所述聯(lián)合損失,訓練所述多任務模型。
34、在一些實施例中,所述預定任務包括以下任務中的一項或多項組合:駕駛員人臉檢測任務、駕駛員分心狀態(tài)檢測任務、駕駛員疲勞狀態(tài)檢測任務、駕駛員危險動作檢測任務以及駕駛員人臉遮擋檢測任務。
35、在一些實施例中,聯(lián)合損失確定模塊具體被配置為執(zhí)行:
36、基于各所述任務網(wǎng)絡分別對應的目標損失和預設權重,對各所述目標損失進行加權求和,以確定聯(lián)合損失,其中,所述預設權重至少基于所述任務網(wǎng)絡對應的任務類型確定。
37、在一些實施例中,所述訓練標簽包括數(shù)值標簽。
38、所述目標損失確定模塊具體被配置為執(zhí)行:
39、針對每個數(shù)值標簽,對所述數(shù)值標簽進行歸一化編碼,確定所述數(shù)值標簽對應的歸一化數(shù)值。
40、根據(jù)所述有效樣本和所述歸一化數(shù)值,確定各所述任務網(wǎng)絡分別對應的目標損失。
41、在一些實施例中,所述圖像樣本包括被檢測目標區(qū)域。
42、所述目標損失確定模塊具體被配置為執(zhí)行:
43、根據(jù)所述被檢測目標區(qū)域的尺寸、預先確定的調(diào)整參數(shù)和調(diào)節(jié)因子,對所述數(shù)值標簽進行歸一化編碼,確定所述數(shù)值標簽對應的歸一化數(shù)值。
44、在一些實施例中,所述裝置還包括:
45、原始樣本獲取模塊,被配置為執(zhí)行獲取至少一個原始樣本。
46、數(shù)據(jù)增強模塊,被配置為執(zhí)行根據(jù)各所述原始樣本對應的樣本類型和各所述樣本類型對應預設增強方式,對各所述原始樣本進行數(shù)據(jù)增強,確定增強數(shù)據(jù)集合。
47、訓練集生成模塊,被配置為執(zhí)行基于各所述原始樣本和所述增強數(shù)據(jù)集合,生成所述綜合訓練集。
48、第三方面,本技術實施例提供了一種電子設備,包括存儲器和處理器,所述存儲器用于存儲一條或多條計算機程序指令,其中,所述一條或多條計算機程序指令被所述處理器執(zhí)行以實現(xiàn)如第一方面所述的方法。
49、第四方面,本技術實施例提供了一種計算機可讀存儲介質(zhì),其上存儲計算機程序指令,所述計算機程序指令在被處理器執(zhí)行時實現(xiàn)如第一方面所述的方法。
50、第五方面,本技術實施例提供了一種計算機程序產(chǎn)品,包括計算機程序/指令,所述計算機程序/指令被處理器執(zhí)行時實現(xiàn)如第一方面所述的方法。
51、本技術實施例在針對多任務模型中的不同預定任務的任務網(wǎng)絡進行訓練時,可以根據(jù)當前預定任務對應的任務匹配標識,自動篩選出可使用的訓練標簽進行訓練。因此,通過上述方式可以使得每個任務網(wǎng)絡在訓練時使用的數(shù)據(jù)和單獨進行訓練時所使用的數(shù)據(jù)相同,保證了多任務模型的訓練效果,提高了多任務模型對于圖像處理的準確性。同時,由于本技術實施例無需對圖像樣本進行額外標注,因此,本技術實施例在保證多任務模型的訓練效果的同時,還可以提高多任務模型的訓練效率。