本技術(shù)涉及圖像融合，特別是涉及一種圖像融合方法、裝置、計算機(jī)可讀存儲介質(zhì)和計算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著圖像融合技術(shù)的發(fā)展，出現(xiàn)了在圖像融合過程中結(jié)合陰影生成技術(shù)使得融合后的圖像更具立體感和真實感。然而，之前的陰影生成方法主要有兩類，一類是基于3d渲染的方法，需要提供光源方向等額外信息，但這在實際應(yīng)用中往往難以獲取，另一類是基于生成對抗網(wǎng)絡(luò)的方法，但這種方法生成的陰影在方向和亮度上往往與原始圖像中的其他陰影不一致，導(dǎo)致融合圖像的視覺效果不真實。

技術(shù)實現(xiàn)思路

1、基于此，本技術(shù)提供一種圖像融合方法、裝置、計算機(jī)可讀存儲介質(zhì)和計算機(jī)程序產(chǎn)品，用于在無需光源方向等信息的前提下，能夠在方向和亮度上使得生成陰影更加貼近原始圖像中的陰影。

2、一方面，本技術(shù)提供了一種圖像融合方法，包括：

3、獲取第一待融合圖像，并對所述第一待融合圖像進(jìn)行前景提取，得到目標(biāo)對象前景圖；

4、對所述目標(biāo)對象前景圖進(jìn)行第一預(yù)設(shè)處理，得到第一對象前景圖；

5、根據(jù)所述第一對象前景圖和第二待融合圖像的目標(biāo)區(qū)域進(jìn)行區(qū)域內(nèi)融合，得到候選融合圖像；

6、通過目標(biāo)擴(kuò)散模型，依據(jù)所述第一對象前景圖和所述候選融合圖像對所述候選融合圖像進(jìn)行第二預(yù)設(shè)處理，得到第二融合圖像；

7、對所述第二融合圖進(jìn)行一致性處理，得到目標(biāo)融合圖像。

8、在其中一個實施例中，所述對所述目標(biāo)對象前景圖進(jìn)行第一預(yù)設(shè)處理，得到第一對象前景圖，包括：

9、對所述目標(biāo)對象前景圖進(jìn)行膨脹腐蝕操作，得到邊緣不確定區(qū)域圖；

10、通過構(gòu)造邊緣模型對所述邊緣不確定區(qū)域圖進(jìn)行邊緣分割細(xì)化處理，得到所述第一對象前景圖。

11、在其中一個實施例中，所述根據(jù)所述第一對象前景圖和第二待融合圖像的目標(biāo)區(qū)域進(jìn)行區(qū)域內(nèi)融合，得到候選融合圖像，包括：

12、根據(jù)所述目標(biāo)區(qū)域?qū)λ龅谝粚ο笄熬皥D進(jìn)行協(xié)調(diào)性處理，得到協(xié)調(diào)前景圖；

13、將所述協(xié)調(diào)前景圖與所述目標(biāo)區(qū)域進(jìn)行融合，得到所述候選融合圖像。

14、在其中一個實施例中，所述目標(biāo)擴(kuò)散模型包括：目標(biāo)控制網(wǎng)絡(luò)和目標(biāo)穩(wěn)定擴(kuò)散模型；所述通過目標(biāo)擴(kuò)散模型，依據(jù)所述第一對象前景圖和所述候選融合圖像對所述候選融合圖像進(jìn)行第二預(yù)設(shè)處理，得到第二融合圖像，包括：

15、通過目標(biāo)控制網(wǎng)絡(luò)對所述第一對象前景圖和所述候選融合圖像進(jìn)行特征提取，得到目標(biāo)陰影條件特征；

16、通過所述目標(biāo)穩(wěn)定擴(kuò)散模型，依據(jù)所述目標(biāo)陰影條件特征對所述候選融合圖像進(jìn)行陰影生成，得到所述第二融合圖像。

17、在其中一個實施例中，所述對所述第二融合圖進(jìn)行一致性處理，得到目標(biāo)融合圖像，包括：

18、通過一致性處理模型對所述第二融合圖進(jìn)行色彩紋理分析，得到調(diào)整分析數(shù)據(jù)；

19、根據(jù)所述調(diào)整分析數(shù)據(jù)對所述第二融合圖進(jìn)行適應(yīng)性調(diào)整，得到所述目標(biāo)融合圖像。

20、在其中一個實施例中，所述方法還包括：

21、根據(jù)基礎(chǔ)訓(xùn)練陰影樣本對原始擴(kuò)散模型進(jìn)行模型訓(xùn)練，得到固定基礎(chǔ)擴(kuò)散模型；

22、獲取新增陰影訓(xùn)練樣本，并根據(jù)所述新增訓(xùn)練樣本對原始控制網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到新增控制網(wǎng)絡(luò)；

23、根據(jù)所述固定基礎(chǔ)擴(kuò)散模型和所述新增控制網(wǎng)絡(luò)進(jìn)行模型構(gòu)建，得到候選擴(kuò)散模型；

24、通過目標(biāo)損失函數(shù)對所述候選擴(kuò)散模型進(jìn)行損失調(diào)整處理，得到所述目標(biāo)擴(kuò)散模型。

25、在其中一個實施例中，所述根據(jù)所述新增訓(xùn)練樣本對原始控制網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到新增控制網(wǎng)絡(luò)，包括：

26、通過對所述原始控制網(wǎng)絡(luò)的模型權(quán)重進(jìn)行低秩分解，得到更新權(quán)重；

27、根據(jù)所述新增訓(xùn)練樣本對所述更新權(quán)重進(jìn)行學(xué)習(xí)適應(yīng)，得到目標(biāo)權(quán)重；

28、根據(jù)所述目標(biāo)權(quán)重對所述原始控制網(wǎng)絡(luò)進(jìn)行模型更新，得到所述新增控制網(wǎng)絡(luò)。

29、在其中一個實施例中，所述根據(jù)所述新增訓(xùn)練樣本對原始控制網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到新增控制網(wǎng)絡(luò)，包括：

30、通過對所述原始控制網(wǎng)絡(luò)的模型權(quán)重進(jìn)行低秩分解，得到更新權(quán)重；

31、根據(jù)所述新增訓(xùn)練樣本對所述更新權(quán)重進(jìn)行學(xué)習(xí)適應(yīng)，得到目標(biāo)權(quán)重；

32、根據(jù)所述目標(biāo)權(quán)重對所述原始控制網(wǎng)絡(luò)進(jìn)行模型更新，得到所述新增控制網(wǎng)絡(luò)。

33、一方面，本技術(shù)還提供了一種圖像融合裝置，包括：

34、前景提取模塊，用于獲取第一待融合圖像，并對所述第一待融合圖像進(jìn)行前景提取，得到目標(biāo)對象前景圖；

35、第一處理模塊，用于對所述目標(biāo)對象前景圖進(jìn)行第一預(yù)設(shè)處理，得到第一對象前景圖；

36、融合模塊，用于根據(jù)所述第一對象前景圖和第二待融合圖像的目標(biāo)區(qū)域進(jìn)行區(qū)域內(nèi)融合，得到候選融合圖像；

37、第二處理模塊，用于通過目標(biāo)擴(kuò)散模型，依據(jù)所述第一對象前景圖和所述候選融合圖像對所述候選融合圖像進(jìn)行第二預(yù)設(shè)處理，得到第二融合圖像；

38、一致性處理模塊，用于對所述陰影融合圖進(jìn)行一致性調(diào)優(yōu)，得到目標(biāo)融合圖像。

39、一方面，本技術(shù)還提供了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)以下步驟：

40、獲取第一待融合圖像，并對所述第一待融合圖像進(jìn)行前景提取，得到目標(biāo)對象前景圖；

41、對所述目標(biāo)對象前景圖進(jìn)行第一預(yù)設(shè)處理，得到第一對象前景圖；

42、根據(jù)所述第一對象前景圖和第二待融合圖像的目標(biāo)區(qū)域進(jìn)行區(qū)域內(nèi)融合，得到候選融合圖像；

43、通過目標(biāo)擴(kuò)散模型，依據(jù)所述第一對象前景圖和所述候選融合圖像對所述候選融合圖像進(jìn)行第二預(yù)設(shè)處理，得到第二融合圖像；

44、對所述第二融合圖進(jìn)行一致性處理，得到目標(biāo)融合圖像。

45、一方面，本技術(shù)還提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)以下步驟：

46、獲取第一待融合圖像，并對所述第一待融合圖像進(jìn)行前景提取，得到目標(biāo)對象前景圖；

47、對所述目標(biāo)對象前景圖進(jìn)行第一預(yù)設(shè)處理，得到第一對象前景圖；

48、根據(jù)所述第一對象前景圖和第二待融合圖像的目標(biāo)區(qū)域進(jìn)行區(qū)域內(nèi)融合，得到候選融合圖像；

49、通過目標(biāo)擴(kuò)散模型，依據(jù)所述第一對象前景圖和所述候選融合圖像對所述候選融合圖像進(jìn)行第二預(yù)設(shè)處理，得到第二融合圖像；

50、對所述第二融合圖進(jìn)行一致性處理，得到目標(biāo)融合圖像。

51、上述圖像融合方法、裝置、計算機(jī)可讀存儲介質(zhì)和計算機(jī)程序產(chǎn)品，通過獲取第一待融合圖像，并對第一待融合圖像進(jìn)行前景提取，得到目標(biāo)對象前景圖；對目標(biāo)對象前景圖進(jìn)行第一預(yù)設(shè)處理，得到第一對象前景圖；根據(jù)第一對象前景圖和第二待融合圖像的目標(biāo)區(qū)域進(jìn)行區(qū)域內(nèi)融合，得到候選融合圖像；通過目標(biāo)擴(kuò)散模型，依據(jù)第一對象前景圖和候選融合圖像對候選融合圖像進(jìn)行第二預(yù)設(shè)處理，得到第二融合圖像；對第二融合圖進(jìn)行一致性處理，得到目標(biāo)融合圖像。因此，通過利用目標(biāo)擴(kuò)散模型能夠模擬光線的傳播和陰影的形成過程，生成的陰影在方向、形狀和明暗程度等特征上與真實圖像類似，從而使得合成圖像的陰影更加自然和真實，提升了圖像的整體真實感和視覺效果。再通過一致化處理確保前景與背景之間的融合更加和諧自然，避免出現(xiàn)突兀的部分，從而提升整個圖像的視覺一致性和整體效果。因此，本方案能夠?qū)崿F(xiàn)在無需光源方向等信息的前提下，仍然能夠在方向和亮度上使得生成陰影更加貼近原始圖像中的陰影的圖像融合方法。