本技術(shù)涉及圖像處理領(lǐng)域，尤其涉及一種多幀圖像融合的方法及裝置。

背景技術(shù)：

1、圖像處理技術(shù)領(lǐng)域是一個高度發(fā)展的領(lǐng)域，涵蓋了通過算法和計算機技術(shù)來分析、處理、和解釋圖像數(shù)據(jù)的各種方法。該領(lǐng)域結(jié)合了計算機科學、數(shù)學和工程學，以改善和優(yōu)化圖像的質(zhì)量和信息內(nèi)容。多幀圖像融合作為圖像處理的一個分支，可以將來自不同源的多個圖像合成為單一圖像，以在最終的融合圖像中提供比單獨圖像更豐富、更準確的信息。

2、當用戶在低光照或者具有高動態(tài)范圍的光照條件下拍照時，由于進光量與感光器件限制，通常將會導致單次拍攝會得到信噪比與動態(tài)范圍均比較低的圖像，此時可以利用多幀圖像融合增強方法來將多張多幀圖像融合得到一張高質(zhì)量廣動態(tài)范圍的圖像。然而，目前大部分多幀圖像融合方法得出的圖像質(zhì)量均與參考幀的質(zhì)量相關(guān)，若參考幀的質(zhì)量較差，例如參考幀中出現(xiàn)了抖動模糊等問題，可能會出現(xiàn)穩(wěn)定性較差的情況，導致最終的多幀圖像融合的質(zhì)量明顯降低。因此，需要提供一種可以提升圖像融合的效果，且解決融合圖像質(zhì)量不穩(wěn)定問題的多幀圖像融合方案。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例所要解決的技術(shù)問題在于，提供一種多幀圖像融合的方法及裝置，可以提升多幀圖像融合方案的效果，且提升融合圖像質(zhì)量的穩(wěn)定性。

2、第一方面，本技術(shù)實施例提供了一種多幀圖像融合的方法，可包括：獲取n幀第一圖像，所述n幀第一圖像中的每幀第一圖像均為m通道圖像，所述m通道圖像包括m種不同類型的特征；基于所述n幀第一圖像確定所述m種不同類型的特征對應的m個偽圖像，并基于所述m個偽圖像確定第二圖像；其中，所述m個偽圖像中的每個偽圖像均為n通道圖像，所述n通道為分別提取所述n幀第一圖像中的目標通道的值所組合而成的通道，所述目標通道為所述m通道中的一種，且不同偽圖像對應的目標通道不同。

3、現(xiàn)有的多幀圖像融合方法均基于參考幀進行設計，也即是針對多幀輸入圖像中，選取其中一幀作為多幀圖像中的參考幀，且將該參考幀作為多幀圖像融合過程中的主要信息來源，導致融合效果非常依賴參考幀的質(zhì)量，例如當參考幀中出現(xiàn)了抖動模糊等質(zhì)量問題時，會導致融合效果較差，因此基于參考幀實現(xiàn)的多幀圖像融合方案生成的融合圖像質(zhì)量不穩(wěn)定。針對該技術(shù)問題，本技術(shù)實施例中可以基于不同的通道類型確定對應的偽圖像，并基于該偽圖像實現(xiàn)圖像融合處理以消除了多幀圖像融合方案對于參考幀的依賴，實現(xiàn)了無參考幀的圖像融合技術(shù)，并確保了融合后的圖像質(zhì)量的穩(wěn)定性。具體地，本技術(shù)實施例中，首先獲取n幀第一圖像，該n幀第一圖像可以為拍攝對象相同或拍攝場景相同的一系列圖像(例如，同一場景下連續(xù)拍攝得出的圖像)，并針對該n幀第一圖像中每幀圖像通道的類型確定對應的偽圖像(例如，從每幀第一圖像中分別提取出rgb三種不同類型的通道中的值，將同一類型的通道的值組合成一個n通道的偽圖像，共組成3個偽圖像)，并基于上述偽圖像進行圖像融合處理(例如可以通過對偽圖像進行操作，進而將有利于最后融合質(zhì)量提升的通道賦予較大權(quán)重，并基于該權(quán)重信息對圖像的特征進行進一步的操作)，最終確定圖像融合后的輸出圖像，提升了多幀圖像融合方案的效果。綜上，本技術(shù)實施例中可以在無參考幀的情況下實現(xiàn)多幀圖像融合(例如，基于多幀樣本圖像中通道的類型確定偽圖像，并對偽圖像進行操作，進而將n幀樣本圖像中質(zhì)量較高的特征進行融合)，以生成高質(zhì)量的融合圖像，從而避免了融合圖像的質(zhì)量隨著參考幀圖像質(zhì)量變差而變差，提升了融合后的輸出圖像質(zhì)量的穩(wěn)定性。

4、在一種可能的實現(xiàn)方式中，所述基于所述m個偽圖像確定第二圖像，包括；確定所述m個偽圖像對應的m個第一特征圖，所述m個偽圖像中的每個所述偽圖像對應一個第一特征圖；基于注意力機制確定所述m個第一特征圖對應的m個第二特征圖，所述m個第一特征圖中的每個所述第一特征圖對應一個第二特征圖；對所述m個第二特征圖進行圖像融合處理得到所述第二圖像。本技術(shù)實施例中，可以在基于偽圖像確定對應的特征圖后，基于通道注意力機制確定特征圖中每個特征通道的權(quán)重，并對特征圖進行圖像融合處理得到輸出圖像。具體地，本技術(shù)實施例中可以首先確定每個偽圖像對應的m個第一特征圖(例如通過卷積提取偽圖像的特征確定特征圖)，再通過注意力機制將有利于最后融合質(zhì)量提升的特征通道賦予較大權(quán)重，并生成加權(quán)處理后的m個第二特征圖，以及對m個第二特征圖進行圖像融合處理確定輸出圖像(例如，可以通過對m個第二特征圖進行通道上的拼接后確定一個融合的特征圖，并將該融合后的特征圖輸入由一系列卷積組成的輸出通道逐漸減少的神經(jīng)網(wǎng)絡，最后確定融合增強過的輸出圖像)。綜上，相較于目前的多幀圖像融合方案會因為參考幀的質(zhì)量影響輸出圖像的質(zhì)量，本技術(shù)實施例中可以基于m個偽圖像確定n幀圖像中質(zhì)量較好的特征(例如，對基于m個偽圖像生成的特征圖進行加權(quán)處理，并基于通道的權(quán)重進行后續(xù)的多幀圖像融合)，以生成高質(zhì)量的輸出圖像，極大的提升了多幀圖像融合方案的效果。

5、在一種可能的實現(xiàn)方式中，所述確定所述m個偽圖像對應的m個第一特征圖，包括；通過第一卷積操作對所述m個偽圖像進行第一特征提取，確定對應的所述m個第一特征圖，所述m個第一特征圖中的每個第一特征圖包括q個第一特征通道，q為大于0的整數(shù)。本技術(shù)實施例中，可以通過從m個偽圖像中提取特征以確定m個第一特征圖，以實現(xiàn)后續(xù)的多幀圖像的高效融合，例如，可以通過卷積操作從偽圖像中提取特征，以更準確地捕捉圖像的信息和特征，從而為后續(xù)的多幀圖像融合處理和分析提供了更為豐富和詳細的數(shù)據(jù)基礎(chǔ)。

6、在一種可能的實現(xiàn)方式中，所述基于注意力機制確定所述m個第一特征圖對應的m個第二特征圖，包括；針對所述m個第一特征圖中每個第一特征圖，確定每個所述第一特征圖的所述q個第一特征通道中的每個第一特征通道的權(quán)重；基于每個所述第一特征圖的所述q個第一特征通道的權(quán)重對所述q個第一特征通道進行加權(quán)處理，確定每個所述第一特征圖的所述q個第一特征通道對應的q個第二特征通道，所述q個第一特征通道中的每個第一特征通道對應一個第二特征通道；確定所述m個第一特征圖對應的所述m個第二特征圖，每個所述第二特征圖包括對應的第一特征圖的所述q個第一特征通道對應的q個第二特征通道。本技術(shù)實施例中，可以通過通道注意力機制對偽圖像中的不同幀貢獻的通道進行挑選，將有利于最后融合質(zhì)量提升的通道賦予較大權(quán)重。具體地，本技術(shù)實施例中可以通過通道注意力機制確定每個第一特征圖中q個第一特征通道的權(quán)重，并對這些特征通道進行加權(quán)處理，以生成q個第一特征通道對應的q個第二特征通道，進而形成m個第二特征圖，后續(xù)的多幀圖像融合方法可以基于本技術(shù)實施例中獲取的特征通道的權(quán)重信息，生成高質(zhì)量的融合圖像。綜上，本技術(shù)實施例中通過將有利于最后融合質(zhì)量提升的通道賦予較大權(quán)重，不僅提高了特征提取的準確性，而且優(yōu)化了多幀圖像融合的效果，可以更有效地處理和分析多幀圖像中的信息，從而在各種應用場景中(如低光照或者具有高動態(tài)范圍的光照條件下拍攝的照片等)實現(xiàn)更高質(zhì)量的圖像融合。

7、在一種可能的實現(xiàn)方式中，所述對所述m個第二特征圖進行圖像融合處理得到所述第二圖像，包括；將所述m個第二特征圖進行融合確定第三特征圖，所述第三特征圖包括p個第二特征通道，p為m與q的乘積，所述p個第二特征通道包括所述m個第二特征圖中所有的第二特征通道；對所述第三特征圖進行第二卷積操作，得到所述第二圖像。本技術(shù)實施例中，通過對m個第二特征圖進行圖像融合處理以得到最終融合后的輸出圖像，實現(xiàn)了圖像特征的高效融合與優(yōu)化。具體地，可以通過將m個第二特征圖融合以確定第三特征圖(例如，對m個第二特征圖實現(xiàn)通道上的拼接)，其中第三特征圖包含p個第二特征通道(即所有第二特征圖中的特征通道)，隨后，對第三特征圖執(zhí)行第二卷積操作以生成最終的第二圖像(例如，將該第三特征圖送入由一系列卷積組成的輸出通道逐漸減少的神經(jīng)網(wǎng)絡，最終得到一張經(jīng)過融合增強過的輸出圖像)。綜上，本技術(shù)實施例中提供了一種特征圖融合的方法，可以通過將m個第二特征圖進行通道上的拼接，從而生成具有更加豐富的特征信息的融合后的特征圖，并對該融合后的特征圖進行卷積操作(例如，將該第三特征圖送入由一系列卷積組成的輸出通道逐漸減少的神經(jīng)網(wǎng)絡中)，以獲取高質(zhì)量的特征信息，最后生成融合增強后的輸出圖像，提高了多幀圖像融合方案的效果和穩(wěn)定性。

8、在一種可能的實現(xiàn)方式中，應用于電子設備，所述電子設備包括多幀圖像融合模型；所述基于所述n幀第一圖像確定所述m種不同類型的特征對應的m個偽圖像，并基于所述m個偽圖像確定第二圖像，包括；將所述n幀第一圖像輸入所述多幀圖像融合模型中，輸出所述第二圖像。本技術(shù)實施例中，可以通過將n幀樣本圖像輸入到多幀圖像融合模型中，基于多幀樣本圖像中通道的類型確定偽圖像，并對偽圖像進行操作確定n幀第一圖像中質(zhì)量較好的特征，最后進行圖像融合以確定融合后的輸出圖像。進一步地，該多幀圖像融合模型可以為預先訓練的機器學習算法模型(例如卷積神經(jīng)網(wǎng)絡模型)，基于該多幀圖像融合模型確定融合后的輸出圖像，從而避免了多幀圖像融合后的圖像質(zhì)量隨著參考幀圖像的質(zhì)量的不穩(wěn)定而變差，以提升了融合后的輸出圖像質(zhì)量的穩(wěn)定性。

9、在一種可能的實現(xiàn)方式中，所述多幀圖像融合模型包括通道重組子模型、注意力子模型和多層卷積子模型；所述將所述n幀第一圖像輸入所述多幀圖像融合模型中，輸出所述第二圖像，包括；將所述n幀第一圖像輸入所述通道重組子模型中，輸出所述m個偽圖像；對所述m個偽圖像進行第一特征提取，確定對應的m個第一特征圖，所述m個第一特征圖中的每個第一特征圖包括q個第一特征通道；將所述m個第一特征圖輸入注意力子模型中，輸出所述m個第一特征圖對應的m個第二特征圖，每個所述第二特征圖包括對應的第一特征圖的所述q個第一特征通道對應的q個第二特征通道；對所述m個第二特征圖進行圖像融合處理得到所述第二圖像，并輸出所述第二圖像。本技術(shù)實施例中，通過使用多幀圖像融合模型(包括通道重組子模型、注意力子模型和多層卷積子模型)，可以有效地處理和融合n幀第一圖像，以生成高質(zhì)量的第二圖像。具體地，首先可以通過通道重組子模型將n幀第一圖像轉(zhuǎn)化為m個偽圖像，并對該m個偽圖像進行特征提取以確定對應的m個第一特征圖，其中每個特征圖包含q個第一特征通道；隨后，可以利用注意力子模型進一步優(yōu)化這些特征圖，生成對應的m個第二特征圖(該第二特征圖可以為加權(quán)后的特征圖)；最后，通過圖像融合處理(例如，將m個第二特征圖進行融合，并輸入輸出通道逐漸減少的卷積網(wǎng)絡中)，以生成第二圖像(即圖像融合后的圖像)。綜上，本技術(shù)實施例中通過綜合多幀圖像融合模型中的多個子模型(例如通道重組、注意力機制和多層卷積等子模型)共同實現(xiàn)多幀圖像融合，不僅提升了多幀圖像融合方案的效果，還確保了融合后的輸出圖像質(zhì)量的穩(wěn)定性。

10、在一種可能的實現(xiàn)方式中，所述對所述m個第二特征圖進行圖像融合處理得到所述第二圖像，并輸出所述第二圖像，包括：將所述m個第二特征圖進行融合確定第三特征圖，所述第三特征圖包括p個第二特征通道，p為m與q的乘積，所述p個第二特征通道包括所述m個第二特征圖中所有的第二特征通道；將所述第三特征圖的所述p個第二特征通道輸入所述多層卷積子模型中，輸出所述第二圖像，其中，所述第二圖像為所述m通道圖像，所述第二圖像為基于所述p個第二特征通道中的r個第二特征通道轉(zhuǎn)換得到的，所述r個第二特征通道為所述p個第二特征通道經(jīng)過一次或多次第二特征提取后確定的特征通道。本技術(shù)實施例中，可以通過對m個第二特征圖進行通道上的拼接以確定第三特征圖，并基于特征通道的權(quán)重進一步地提取第三特征圖中的特征，以得到融合后的輸出圖像。具體地，本技術(shù)實施例首先通過融合m個第二特征圖來確定第三特征圖，其中第三特征圖包含p個第二特征通道(即p個第二特征圖中的所有第二特征通道)；進一步地，可以通過將這些第二特征通道輸入到多層卷積子模型中(例如，該多層卷積子模型可以為由一系列卷積組成的輸出通道逐漸減少的神經(jīng)網(wǎng)絡，通過該神經(jīng)網(wǎng)絡對第三特征圖進行一次或多次特征提取，突出重要特征，弱化不重要信息，使得特征圖在融合時更加聚焦于權(quán)重較高的特征通道信息)，生成圖像融合后的第二圖像。綜上，本技術(shù)實施例中可以通過對加權(quán)后的特征圖進行通道上的拼接，并將其送入由多層卷積組成的輸出通道逐漸減少的神經(jīng)網(wǎng)絡中處理，最終生成一張m通道的經(jīng)過融合增強的輸出圖像，實現(xiàn)了從n幀輸入圖像選取質(zhì)量較高的特征進行融合，以提升經(jīng)過多幀圖像融合后的圖像的質(zhì)量。

11、在一種可能的實現(xiàn)方式中，所述多幀圖像融合模型為通過輸入n幀第三圖像作為樣本數(shù)據(jù)，并將融合后的第四圖像作為標簽訓練得到，或者基于歷史樣本單據(jù)訓練得到。本技術(shù)實施例中，多幀圖像融合模型可以是在服務器中通過輸入預先準備好的n幀第三圖像作為樣本數(shù)據(jù)，并以預設的融合增強后的第四圖像作為標簽進行訓練，或者，還可以是基于歷史樣本單據(jù)對多幀圖像融合模型進行訓練，該歷史樣本單據(jù)中可以包括已經(jīng)融合增強后的第四圖像和n幀第三圖像，通過分析這些歷史數(shù)據(jù)，上述多幀圖像融合模型可以從過去的事件中學習和訓練，以提升多幀圖像融合方案的效果。綜上，本技術(shù)實施例可以通過輸入n幀第三圖像作為樣本數(shù)據(jù)或者歷史事件分析對多幀圖像融合模型進行訓練，從而使模型能夠有效地識別和區(qū)分高質(zhì)量與低質(zhì)量的訓練結(jié)果，增強了多幀圖像融合模型在處理實際數(shù)據(jù)時的適應性和準確性，以獲得更高質(zhì)量的融合圖像，并基于該多幀圖像融合模型進一步的提升多幀圖像融合方案的效果。

12、在一種可能的實現(xiàn)方式中，所述n幀第三圖像為對預設的樣本圖像進行數(shù)據(jù)退化，和/或進行順序調(diào)整后確定的?，F(xiàn)有的多幀圖像融合方案中，可以通過對一張樣本圖像進行數(shù)據(jù)退化得到n幀訓練圖像，其中參考幀圖像與預設樣本圖像fov對齊，也即是針對多幀訓練圖像中，選取其中一幀作為多幀圖像中的參考幀，且將該參考幀作為多幀圖像融合過程中的主要信息來源，導致融合效果非常依賴參考幀的質(zhì)量，例如當參考幀中出現(xiàn)了抖動模糊等質(zhì)量問題時，會導致融合效果較差，因此基于參考幀實現(xiàn)的多幀圖像融合方案生成的融合圖像質(zhì)量不穩(wěn)定。針對該技術(shù)問題，本技術(shù)實施例中可以在n幀訓練圖像輸入多幀圖像融合模型(例如卷積神經(jīng)網(wǎng)絡模型)之前進行順序的隨機打亂，使得模型無法假設與樣本圖像fov對齊圖像的位置(即無法確定參考幀)，從而訓練得到可以挑選高質(zhì)量幀通道的能力(例如，可以基于n幀圖像生成偽圖像，并對偽圖像進行操作，并通過注意力機制確定偽圖像對應的加權(quán)后的特征圖，最后將該加權(quán)后的特征圖輸入由一系列卷積組成的輸出通道逐漸減少的多層卷積子模型中)，并在后續(xù)的多幀圖像融合方案的應用中基于該多幀圖像融合模型生成高質(zhì)量的圖像。

13、在一種可能的實現(xiàn)方式中，所述m通道圖像為rgb通道類型圖像。本技術(shù)實施例中，多幀圖像融合方案中的m通道圖像可以為rgb三種通道類型的圖像，由于rgb通道圖像在色彩表現(xiàn)上具有廣泛的應用和高度的普適性，使用這種類型的圖像可以確保融合過程中色彩信息的完整性和準確性，并有助于保留和加強圖像中的顏色細節(jié)，提高最終融合圖像的視覺質(zhì)量。

14、第二方面，本技術(shù)實施例中提供了一種多幀圖像融合的裝置，可包括：

15、第一圖像獲取單元，獲取n幀第一圖像，所述n幀第一圖像中的每幀第一圖像均為m通道圖像，所述m通道圖像對應m種不同類型的特征，m與n均為大于0的正整數(shù)；

16、第二圖像確定單元，基于所述n幀第一圖像確定所述m種不同類型的特征對應的m個偽圖像，并基于所述m個偽圖像確定第二圖像；

17、其中，所述m個偽圖像中的每個偽圖像均為n通道圖像，所述n通道為分別提取所述n幀第一圖像中的目標通道的值所組合而成的通道，所述目標通道為所述m通道中的一種，且不同偽圖像對應的目標通道不同。

18、現(xiàn)有的多幀圖像融合方法均基于參考幀進行設計，也即是針對多幀輸入圖像中，選取其中一幀作為多幀圖像中的參考幀，且將該參考幀作為多幀圖像融合過程中的主要信息來源，導致融合效果非常依賴參考幀的質(zhì)量，例如當參考幀中出現(xiàn)了抖動模糊等質(zhì)量問題時，會導致融合效果較差，因此基于參考幀實現(xiàn)的多幀圖像融合方案生成的融合圖像質(zhì)量不穩(wěn)定。針對該技術(shù)問題，本技術(shù)實施例中可以基于不同的通道類型確定對應的偽圖像，并基于該偽圖像實現(xiàn)圖像融合處理以消除了多幀圖像融合方案對于參考幀的依賴，實現(xiàn)了無參考幀的圖像融合技術(shù)，并確保了融合后的圖像質(zhì)量的穩(wěn)定性。具體地，本技術(shù)實施例中，首先獲取n幀第一圖像，該n幀第一圖像可以為拍攝對象相同或拍攝場景相同的一系列圖像(例如，同一場景下連續(xù)拍攝得出的圖像)，并針對該n幀第一圖像中每幀圖像通道的類型確定對應的偽圖像(例如，從每幀第一圖像中分別提取出rgb三種不同類型的通道中的值，將同一類型的通道的值組合成一個n通道的偽圖像，共組成3個偽圖像)，并基于上述偽圖像進行圖像融合處理(例如可以通過對偽圖像進行操作，進而將有利于最后融合質(zhì)量提升的通道賦予較大權(quán)重，并基于該權(quán)重信息對圖像的特征進行進一步的操作)，最終確定圖像融合后的輸出圖像，提升了多幀圖像融合方案的效果。綜上，本技術(shù)實施例中可以在無參考幀的情況下實現(xiàn)多幀圖像融合(例如，基于多幀樣本圖像中通道的類型確定偽圖像，并對偽圖像進行操作，進而將n幀樣本圖像中質(zhì)量較高的特征進行融合)，以生成高質(zhì)量的融合圖像，從而避免了融合圖像的質(zhì)量隨著參考幀圖像質(zhì)量變差而變差，提升了融合后的輸出圖像質(zhì)量的穩(wěn)定性。

19、在一種可能的實現(xiàn)方式中，所述第二圖像確定單元，具體用于：

20、確定所述m個偽圖像對應的m個第一特征圖，所述m個偽圖像中的每個所述偽圖像對應一個第一特征圖；

21、基于注意力機制確定所述m個第一特征圖對應的m個第二特征圖，所述m個第一特征圖中的每個所述第一特征圖對應一個第二特征圖；

22、對所述m個第二特征圖進行圖像融合處理得到所述第二圖像。

23、在一種可能的實現(xiàn)方式中，所述第二圖像確定單元，具體用于：

24、通過第一卷積操作對所述m個偽圖像進行第一特征提取，確定對應的所述m個第一特征圖，所述m個第一特征圖中的每個第一特征圖包括q個第一特征通道，q為大于0的整數(shù)。

25、在一種可能的實現(xiàn)方式中，所述第二圖像確定單元，具體用于：

26、針對所述m個第一特征圖中每個第一特征圖，確定每個所述第一特征圖的所述q個第一特征通道中的每個第一特征通道的權(quán)重；

27、基于每個所述第一特征圖的所述q個第一特征通道的權(quán)重對所述q個第一特征通道進行加權(quán)處理，確定每個所述第一特征圖的所述q個第一特征通道對應的q個第二特征通道，所述q個第一特征通道中的每個第一特征通道對應一個第二特征通道；

28、確定所述m個第一特征圖對應的所述m個第二特征圖，每個所述第二特征圖包括對應的第一特征圖的所述q個第一特征通道對應的q個第二特征通道。

29、在一種可能的實現(xiàn)方式中，所述第二圖像確定單元，具體用于：

30、將所述m個第二特征圖進行融合確定第三特征圖，所述第三特征圖包括p個第二特征通道，p為m與q的乘積，所述p個第二特征通道包括所述m個第二特征圖中所有的第二特征通道；

31、對所述第三特征圖進行第二卷積操作，得到所述第二圖像。

32、在一種可能的實現(xiàn)方式中，應用于電子設備，所述電子設備包括多幀圖像融合模型；

33、所述第二圖像確定單元，具體用于：

34、將所述n幀第一圖像輸入所述多幀圖像融合模型中，輸出所述第二圖像。

35、在一種可能的實現(xiàn)方式中，所述多幀圖像融合模型包括通道重組子模型、注意力子模型和多層卷積子模型；所述第二圖像確定單元，具體用于：

36、將所述n幀第一圖像輸入所述通道重組子模型中，輸出所述m個偽圖像；

37、對所述m個偽圖像進行第一特征提取，確定對應的m個第一特征圖，所述m個第一特征圖中的每個第一特征圖包括q個第一特征通道；

38、將所述m個第一特征圖輸入注意力子模型中，輸出所述m個第一特征圖對應的m個第二特征圖，每個所述第二特征圖包括對應的第一特征圖的所述q個第一特征通道對應的q個第二特征通道；

39、對所述m個第二特征圖進行圖像融合處理得到所述第二圖像，并輸出所述第二圖像。

40、在一種可能的實現(xiàn)方式中，所述第二圖像確定單元，具體用于：

41、將所述m個第二特征圖進行融合確定第三特征圖，所述第三特征圖包括p個第二特征通道，p為m與q的乘積，所述p個第二特征通道包括所述m個第二特征圖中所有的第二特征通道；

42、將所述第三特征圖的所述p個第二特征通道輸入所述多層卷積子模型中，輸出所述第二圖像，其中，所述第二圖像為所述m通道圖像，所述第二圖像為基于所述p個第二特征通道中的r個第二特征通道轉(zhuǎn)換得到的，所述r個第二特征通道為所述p個第二特征通道經(jīng)過一次或多次第二特征提取后確定的特征通道。

43、在一種可能的實現(xiàn)方式中，所述多幀圖像融合模型為通過輸入n幀第三圖像作為樣本數(shù)據(jù)，并將融合后的第四圖像作為標簽訓練得到，或者基于歷史樣本單據(jù)訓練得到。

44、在一種可能的實現(xiàn)方式中，所述n幀第三圖像為對預設的樣本圖像進行數(shù)據(jù)退化，和/或進行順序調(diào)整后確定的。

45、在一種可能的實現(xiàn)方式中，所述m通道圖像為rgb通道類型圖像。

46、第三方面，本技術(shù)實施例提供一種計算機存儲介質(zhì)，用于儲存為上述第二方面提供的一種多幀圖像融合的裝置中所用的計算機軟件指令，其包含用于執(zhí)行上述方面所設計的程序。

47、第四方面，本技術(shù)實施例提供了一種計算機程序，該計算機程序包括指令，當該計算機程序被計算機執(zhí)行時，使得計算機可以執(zhí)行上述第二方面中的多幀圖像融合的裝置中所執(zhí)行的流程。