本技術(shù)屬于圖像處理，尤其涉及一種圖像處理方法、模型訓(xùn)練方法及電子設(shè)備。

背景技術(shù)：

1、隨著手機等終端拍攝應(yīng)用的不斷發(fā)展，用戶對手機等終端的拍攝要求越來越高。例如，用戶要求手機能夠滿足不同拍攝場景，并且在各拍攝場景下拍攝到高質(zhì)量的圖像。

2、但是，夜景拍攝場景由于環(huán)境光線條件差，導(dǎo)致拍攝的圖像存在模糊、偏色、噪聲大等問題。而夜景人像拍照場景作為夜景拍照場景中的特殊場景，由于環(huán)境光線條件差，導(dǎo)致拍攝的圖像存在人像模糊、紋理不自然等問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種圖像處理方法、模型訓(xùn)練方法及電子設(shè)備，能夠提升夜景拍攝場景的出圖質(zhì)量。

2、第一方面，本技術(shù)提供一種圖像處理模型的訓(xùn)練方法，所述圖像處理模型包括第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)，所述方法包括：獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括曝光圖像集合以及與所述曝光圖像集合對應(yīng)的標準圖像；其中，所述曝光圖像集合包括第一曝光圖像、第二曝光圖像、第三曝光圖像以及參考圖像，其中，所述第一曝光圖像的曝光時長大于所述第二曝光圖像的曝光時長，所述第二曝光圖像的曝光時長大于所述第三曝光圖像的曝光時長，所述參考圖像為所述第二曝光圖像中圖像質(zhì)量最好的圖像；利用所述第一網(wǎng)絡(luò)，對所述參考圖像進行人像特征提取，得到人像特征；利用所述第二網(wǎng)絡(luò)，對所述曝光圖像集合進行全局特征提取，得到全局特征；利用所述第二網(wǎng)絡(luò)，將所述人像特征與所述全局特征進行特征融合，得到融合特征；利用所述第二網(wǎng)絡(luò)，基于所述融合特征訓(xùn)練得到預(yù)測圖像；基于所述標準圖像和所述預(yù)測圖像，對所述圖像處理模型進行訓(xùn)練，得到訓(xùn)練后的圖像處理模型。

3、這樣，一方面，由于曝光圖像集合包括不同曝光時長對應(yīng)的曝光圖像，這樣，第二網(wǎng)絡(luò)可以基于不同曝光時長對應(yīng)的曝光圖像進行信息融合，實現(xiàn)動態(tài)范圍拓展，提高對不同夜景場景的圖像重建質(zhì)量。另一方面，融合人像特征和全局特征進行訓(xùn)練，這樣，可以實現(xiàn)對人像區(qū)域的細節(jié)恢復(fù)以及夜景的整體效果的恢復(fù)。

4、在一種可實現(xiàn)方式中，所述人像特征包括多個尺度的中間人像特征，所述全局特征包括與所述多個尺度中各尺度一一對應(yīng)的中間全局特征；所述利用所述第二網(wǎng)絡(luò)，將所述人像特征與所述全局特征進行特征融合，得到融合特征，包括：分別將相同尺度的所述中間人像特征與所述中間全局特征進行特征融合，得到所述融合特征。

5、這樣，由于不同尺度的特征關(guān)注的細節(jié)不同，因此，分別將不同尺度的中間人像特征和中間全局特征進行融合處理，可以學(xué)習(xí)到不同粒度的信息，以獲得更全面的特征表示。

6、在一種可實現(xiàn)方式中，所述分別將相同尺度的所述第一中間人像特征與所述第一中間全局特征進行特征融合，包括：利用第一gca模塊，分別將相同尺度的所述第一中間人像特征與所述第一中間全局特征進行特征融合。

7、這樣，由于gca具有計算簡單的優(yōu)點，因此，適用于配置在手機等終端設(shè)備中的模型，使手機等終端設(shè)備能夠快速對采集的圖像進行處理，提升出圖速度。

8、在一種可實現(xiàn)方式中，所述參考圖像為raw圖，所述利用所述第一網(wǎng)絡(luò)，對所述參考圖像進行人像特征提取，得到人像特征，包括：對所述參考圖像進行去馬賽克處理，得到rgb格式的參考圖像；識別所述rgb格式的參考圖像中人像區(qū)域，得到人體語義分割圖；將所述rgb格式的參考圖像與所述人體語義分割圖進行拼接處理，得到拼接特征圖；利用所述第一網(wǎng)絡(luò)對所述拼接特征圖進行人像特征提取，得到人像特征。

9、這樣，得到的人像特征可以包括圖像的rgb三個通道的顏色特征，又包括圖像中人像所在的位置信息。

10、在一種可實現(xiàn)方式中，所述識別所述rgb格式的參考圖像中人像區(qū)域，得到人體語義分割圖，包括：利用訓(xùn)練后的人體掩膜提取網(wǎng)絡(luò)，對所述rgb格式的參考圖像進行人體掩膜提取處理，得到所述人體語義分割圖。

11、這樣，可以利用訓(xùn)練后的人體掩膜提取網(wǎng)絡(luò)，提取人體語義分割圖，可以保證人體語義分割圖的準確性。

12、在一種可實現(xiàn)方式中，所述第一網(wǎng)絡(luò)包括第一編碼器和第一解碼器；所述利用所述第一網(wǎng)絡(luò)對所述拼接特征圖進行人像特征提取，得到人像特征，包括：利用所述第一編碼器對所述拼接特征圖編碼處理，得到多個尺度的第一中間人像特征；利用所述第一解碼器分別對所述多個尺度的第一中間人像特征解碼處理，得到多個尺度的第二中間人像特征；其中，第二中間人像特征的各尺度與所述第一中間人像特征的各尺度一一對應(yīng)；其中，所述人像特征包括所述多個尺度的第一中間人像特征和所述多個尺度的第二中間人像特征。

13、這樣，第一網(wǎng)絡(luò)可以采用unet網(wǎng)絡(luò)，提取得到多個尺度的中間人像特征。

14、在一種可實現(xiàn)方式中，所述第二網(wǎng)絡(luò)包括第二編碼器和第二解碼器；利用所述第二網(wǎng)絡(luò)，對所述曝光圖像集合進行全局特征提取，得到全局特征，包括：利用所述第二編碼器對所述曝光圖像集合編碼處理，得到多個尺度的第一中間全局特征；利用所述第二解碼器分別對所述多個尺度的第一中間全局特征解碼處理，得到多個尺度的第二中間全局特征；其中，第二中間全局特征的各尺度與所述第一中間全局特征的各尺度一一對應(yīng)；其中，所述全局特征包括所述多個尺度的第一中間全局特征和多個尺度的第二中間全局特征。

15、這樣，第二網(wǎng)絡(luò)可以采用unet網(wǎng)絡(luò)，提取得到與各中間人像特征一一對應(yīng)的中間全局特征，以進一步對相同尺寸的中間人像特征和中間全局特征進行特征融合處理。

16、在一種可實現(xiàn)方式中，所述利用所述第二編碼器對所述曝光圖像集合編碼處理，得到多個尺度的第一中間全局特征，包括：利用所述第二編碼器中第一卷積層對所述曝光圖像集合進行卷積計算，得到第一特征圖；利用所述第二編碼器中第一下采樣層基于所述第一特征圖，進行下采樣處理，得到第一尺度的第二特征圖；利用所述第二編碼器中第一特征融合層對所述第二特征圖中不同曝光圖像的全局特征進行融合處理，得到第一尺度的第一中間全局特征；利用所述第二編碼器中第二下采樣層基于所述第一尺度的第一中間全局特征，進行下采樣處理，得到第二尺度的第三特征圖；利用所述第二編碼器中第二特征融合層對所述第三特征圖中不同曝光圖像的全局特征進行融合處理，得到第二尺度的第一中間全局特征；所述第一尺度與所述第二尺度不同。

17、在一種可實現(xiàn)方式中，所述第一特征融合層包括標準化模塊、殘差模塊和第二gca模塊，所述利用所述第二編碼器中第一特征融合層對所述第二特征圖中不同曝光圖像的全局特征進行融合處理，得到第一尺度的第一中間全局特征，包括：利用所述標準化模塊對所述第二特征圖進行標準化處理；利用所述殘差模塊對標準化處理后的所述第二特征圖殘差處理；利用所述第二gca模塊對殘差處理后的所述第二特征圖中不同曝光圖像的全局特征進行融合處理；將融合處理后的所述第二特征圖和所述第二特征圖拼接處理，得到第一尺度的第一中間全局特征。

18、在一種可實現(xiàn)方式中，所述基于所述標準圖像和所述預(yù)測圖像，對所述圖像處理模型進行訓(xùn)練，得到訓(xùn)練后的圖像處理模型，包括：基于所述標準圖像和所述預(yù)測圖像，計算第一損失；基于所述標準圖像、所述預(yù)測圖像和所述人體語義分割圖，計算人像區(qū)域?qū)?yīng)的第二損失；基于所述第一損失和所述第二損失，確定第三損失；在所述第三損失小于損失閾值的情況下，結(jié)束對所述圖像處理模型的訓(xùn)練，得到訓(xùn)練后的圖像處理模型。

19、這樣，可以通過第一損失實現(xiàn)對圖像處理的全局質(zhì)量的把控，通過第二損失實現(xiàn)對圖像處理的人像區(qū)域的細節(jié)質(zhì)量的把控。從而實現(xiàn)對圖像細節(jié)以及圖像全局均恢復(fù)的效果。

20、在一種可實現(xiàn)方式中，所述訓(xùn)練數(shù)據(jù)包括夜景人像拍照場景對應(yīng)的曝光圖像集合以及與所述曝光圖像集合對應(yīng)的標準圖像。

21、第二方面，本技術(shù)提供一種圖像處理方法，應(yīng)該于電子設(shè)備，所述電子設(shè)備中配置有如第一方面中任一項所述方法訓(xùn)練得到的圖像處理模型，所述方法包括：獲取待處理圖像；利用所述圖像處理模型中第一網(wǎng)絡(luò)，對所述待處理圖像進行人像特征提取，得到人像特征；利用所述圖像處理模型中第二網(wǎng)絡(luò)，對所述待處理圖像進行全局特征提取，得到全局特征；利用所述第二網(wǎng)絡(luò)，將所述人像特征與所述全局特征進行特征融合，得到融合特征；利用所述第二網(wǎng)絡(luò)，基于所述融合特征，得到目標圖像。

22、這樣，上述訓(xùn)練得到的圖像處理模型可以被配置的手機等電子設(shè)備中，這樣，用戶使用配置有上述圖像處理模型的手機等電子設(shè)備，在夜景場景或者夜景人像場景拍攝圖像時，能夠輸出紋理清晰、人像區(qū)域細節(jié)表現(xiàn)好圖像，從而提升用戶體驗。

23、第三方面，本技術(shù)提供一種電子設(shè)備，包括存儲器和處理器；所述存儲器和所述處理器耦合；所述存儲器用于存儲計算機程序代碼，所述計算機程序代碼包括計算機指令，當(dāng)所述處理器執(zhí)行所述計算機指令時，使所述電子設(shè)備執(zhí)行如第一方面或第二方面中任一項所述的方法。

24、第四方面，本技術(shù)提供一種芯片系統(tǒng)，所述芯片系統(tǒng)包括處理器；所述處理器與存儲器耦合，所述存儲器用于存儲計算機程序代碼，所述計算機程序代碼包括計算機指令，當(dāng)所述處理器執(zhí)行所述計算機指令時，如第一方面或第二方面中任一項所述的方法被執(zhí)行。

25、第五方面，本技術(shù)提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機程序或指令，當(dāng)所述計算機程序或指令在計算機上運行時，使得計算機執(zhí)行如第一方面或第二方面中任一項所述的方法。

26、第六方面，本技術(shù)提供一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括：計算機程序或指令，當(dāng)所述計算機程序或指令在計算機上運行時，使得所述計算機執(zhí)行如第一方面或第二方面中任一項所述的方法。