本發(fā)明涉及計算機圖像處理領(lǐng)域，特別是涉及一種基于深度學習的圖像融合方法與計算機存儲介質(zhì)。

背景技術(shù)：

目前，日趨嚴重的毒品問題已經(jīng)成為全球性的災難。毒品不僅會嚴重損害人體健康，而且還從靈魂和心身摧殘和毀滅濫用個體。一方面會導致濫用個體經(jīng)濟崩潰、家庭解體；另一方面還會不可避免地衍生盜竊、搶劫、暴力、兇殺等惡性犯罪，給公共社會帶來了不可估量的災難性危害。

但是目前主要通過網(wǎng)絡報刊、電臺，利用公益廣告的版面和時段進行禁毒宣傳，這些禁毒宣傳的方式有很多缺點，例如信息傳播的速度較慢，傳播的范圍不夠廣泛，同時宣傳所需的成本很高。

技術(shù)實現(xiàn)要素：

本發(fā)明的一個目的是提供一種高效且低成本的禁毒宣傳途徑。

本發(fā)明一個進一步的目的是擴展圖像融合的應用范圍。

特別地，本發(fā)明提供了一種基于深度學習的圖像融合方法，該方法包括：獲取待處理圖片，待處理圖片中至少包括面部圖像；利用預先深度學習得出的吸毒肖像特征對待處理圖片進行圖像融合處理，吸毒肖像特征由深度學習網(wǎng)絡模型通過對樣本圖像訓練得出，樣本圖像為吸毒人員的面部圖像；以及輸出經(jīng)過圖像融合處理的圖片。

可選地，由深度學習網(wǎng)絡模型通過對樣本圖像訓練得出吸毒肖像特征的步驟包括：選取預定數(shù)量的吸毒人員的面部圖像作為樣本圖像，并將樣本圖像傳入卷積神經(jīng)網(wǎng)絡進行訓練，以提取吸毒肖像特征。

可選地，選取樣本圖像的步驟還包括：對圖片庫中吸毒人員的面部圖像進行圖像質(zhì)量篩選，提取出預定數(shù)量圖像質(zhì)量滿足要求的圖像作為樣本圖像。

可選地，卷積神經(jīng)網(wǎng)絡由19層vgg網(wǎng)絡的16個卷積層和5個池層提供。

可選地，將樣本圖像傳入卷積神經(jīng)網(wǎng)絡進行訓練的步驟包括：獲取卷積神經(jīng)網(wǎng)絡中特定層從樣本圖像中提取出來的圖像內(nèi)容，并用白色噪聲圖像執(zhí)行梯度下降計算，以找到與樣本圖像的圖像內(nèi)容特征相匹配的圖像；以及使用標準誤差反向傳播來計算相對于相匹配的圖像的梯度，從而提取吸毒肖像特征。

可選地，對待處理圖片進行圖像融合處理的步驟包括：將待處理圖片傳入卷積神經(jīng)網(wǎng)絡進行訓練，提取出待處理圖片的圖像內(nèi)容；以及將待處理圖片的圖像內(nèi)容與吸毒肖像特征進行融合。

可選地，將待處理圖片傳入卷積神經(jīng)網(wǎng)絡進行訓練的步驟包括：獲取卷積神經(jīng)網(wǎng)絡中特定層從待處理圖片提取出來的圖像風格；用白色噪聲圖像執(zhí)行梯度下降計算，找到與待處理圖片的內(nèi)容特征相匹配的圖像；以及通過使待處理圖片矩陣與相匹配的圖像的矩陣之間的均方距離最小化，提取出待處理圖片的圖像內(nèi)容，并且將待處理圖片的圖像內(nèi)容與吸毒肖像特征進行融合的步驟包括：使卷積神經(jīng)網(wǎng)絡中特定層從待處理圖片提取出來的圖像內(nèi)容和多個層處理的吸毒肖像特征聯(lián)合最小化，將圖像內(nèi)容與吸毒肖像特征融合，按照指定的卷積網(wǎng)絡的迭代次數(shù)進行融合處理。

可選地，獲取待處理圖片的步驟包括：接收用戶終端通過網(wǎng)絡上傳的圖片，作為待處理圖片。

可選地，輸出經(jīng)過圖像融合處理的圖片的步驟包括：保存圖像融合處理的圖片；以及通過網(wǎng)絡將圖像融合處理的圖片發(fā)送至上傳待處理圖片的用戶終端，以供用戶終端展示。

根據(jù)本發(fā)明的另一個方面，還提供了一種計算機存儲介質(zhì)，其中存儲有計算機程序，并且計算機程序運行時導致計算機存儲介質(zhì)的所在設備執(zhí)行上述任一種基于深度學習的圖像融合方法。

本發(fā)明的基于深度學習的圖像融合方法，通過獲取待處理圖片，利用預先深度學習得出的吸毒肖像特征對待處理圖片進行圖像融合處理，然后輸出經(jīng)過圖像融合處理的圖片，其中待處理圖片中至少包括面部圖像，吸毒肖像特征由深度學習網(wǎng)絡模型通過對樣本圖像訓練得出，樣本圖像為吸毒人員的面部圖像，通過圖像融合技術(shù)來處理人的肖像，使之展現(xiàn)出吸毒后的效果，可以達到宣傳吸毒有害身體健康的目的，宣傳范圍廣泛，不僅提升了宣傳效果，還有效降低了宣傳成本。

進一步地，本發(fā)明的基于深度學習的圖像融合方法與計算機存儲介質(zhì)，對圖片庫中吸毒人員的面部圖像進行圖像質(zhì)量篩選，提取出預定數(shù)量圖像質(zhì)量滿足要求的圖像作為樣本圖像，通過提升樣本圖像的質(zhì)量來提高圖像融合處理的圖片的質(zhì)量以及處理圖像的效率，上傳自己的肖像作為待處理圖片，經(jīng)過圖像融合處理后，以自己的肖像為輸出，相比傳統(tǒng)的以他人的事例為切入點，更加真實可信，有效提升警示效果。

根據(jù)下文結(jié)合附圖對本發(fā)明具體實施例的詳細描述，本領(lǐng)域技術(shù)人員將會更加明了本發(fā)明的上述以及其他目的、優(yōu)點和特征。

附圖說明

后文將參照附圖以示例性而非限制性的方式詳細描述本發(fā)明的一些具體實施例。附圖中相同的附圖標記標示了相同或類似的部件或部分。本領(lǐng)域技術(shù)人員應該理解，這些附圖未必是按比例繪制的。附圖中：

圖1是根據(jù)本發(fā)明一個實施例的基于深度學習的圖像融合方法的示意圖；

圖2是根據(jù)本發(fā)明一個實施例的基于深度學習的圖像融合方法適用的硬件系統(tǒng)架構(gòu)示意圖；

圖3是根據(jù)本發(fā)明一個實施例的基于深度學習的圖像融合方法的詳細流程圖；以及

圖4是根據(jù)本發(fā)明一個實施例的計算機存儲介質(zhì)的示意圖。

具體實施方式

本發(fā)明實施例提供的基于深度學習的圖像融合方法提供了一種低成本、高效的禁毒宣傳途徑，而且擴展了圖像融合的應用范圍，可以有效提高禁毒、緝毒的效果。

圖1是根據(jù)本發(fā)明一個實施例的基于深度學習的圖像融合方法的示意圖。如圖所示，該基于深度學習的圖像融合方法包括以下步驟：

步驟s102，獲取待處理圖片；

步驟s104，利用預先深度學習得出的吸毒肖像特征對待處理圖片進行圖像融合處理；

步驟s106，輸出經(jīng)過圖像融合處理的圖片。

在以上步驟中，步驟s102中的待處理圖片至少包括面部圖像，并且可以是用戶終端110通過網(wǎng)絡上傳。一般地，該待處理圖片可以包括用戶自己的面部圖像，以在進行圖像融合處理后，對輸出的圖片更加有代入感。用戶終端110可以是具備照相功能的終端設備，直接將拍攝的圖像作為圖片，也可以是具有圖片存儲功能的設備，以從已存儲的圖片中選取本地圖片作為待處理圖片。

在一種具體的實施例中，在獲取待處理圖片后，可以相對待處理圖片進行人臉檢測，若檢測到包括面部圖像，則判定為合理圖片；若沒有檢測到面部圖像，則判定為不合理圖片，與此同時，可以輸出報錯的提示信息，以提醒用戶重新上傳包括面部圖像的合理圖片。

另外，由于圖像融合的結(jié)果與待處理圖片的質(zhì)量息息相關(guān)，提高待處理圖片的質(zhì)量可以提高圖像融合結(jié)果的質(zhì)量以及效率。因此，在進行圖像融合之前可以首先進行圖像預處理，一個具體圖像預處理實例為：檢測出面部圖像的若干特征點，然后根據(jù)特征點，找到人雙眼的位置。在找到人雙眼位置之后，旋轉(zhuǎn)圖像，使其兩眼水平對齊，再對圖像進行切割，使其擁有合適的像素值，并且便于后續(xù)訓練。

步驟s104中，吸毒肖像特征由深度學習網(wǎng)絡模型通過對樣本圖像訓練得出，樣本圖像為吸毒人員的面部圖像。通過將吸毒人員的吸毒肖像特征與待處理圖片進行圖像融合處理，可以使處理后的圖片展現(xiàn)出吸毒后的效果，在待處理圖片為用戶本人肖像的情況下，使得用戶直面吸毒的后果，能夠有效提升警示效果。

本實施例的基于深度學習的圖像融合方法可以應用于禁毒、緝毒宣傳中，其可以由用戶終端直接執(zhí)行，在另一些實施例中，基于深度學習的圖像融合方法適用于一種包含網(wǎng)絡設備的硬件系統(tǒng)，以網(wǎng)絡為介質(zhì)，可以更加迅速、廣泛地進行禁毒、緝毒宣傳。

圖2是根據(jù)本發(fā)明一個實施例的基于深度學習的圖像融合方法適用的硬件系統(tǒng)架構(gòu)示意圖。該硬件系統(tǒng)一般性地可以包括：用戶終端110、網(wǎng)絡設備120以及圖像處理服務器130。圖像處理服務器130的計算機存儲介質(zhì)存儲有計算機程序，在該計算機程序運行時，可以導致圖像處理服務器130執(zhí)行基于深度學習的圖像融合算法。

用戶終端110和圖像處理服務器130可以通過網(wǎng)絡設備120進行數(shù)據(jù)交互，例如，用戶終端110通過網(wǎng)絡可以上傳圖片，作為待處理圖片；圖像處理服務器130在對待處理圖片進行圖像融合處理之后，可以將圖像融合處理處理的圖片保存，并通過網(wǎng)絡將圖像融合處理處理的圖片發(fā)送至用戶終端110，以供用戶終端110展示。在一種具體的實施例中，網(wǎng)絡設備120可以為路由器。通過本實施例的基于深度學習的圖像融合算法處理人的肖像，使之展現(xiàn)出吸毒后的效果，可以達到宣傳吸毒有害身體健康的目的。此外，以網(wǎng)絡為介質(zhì)進行吸毒販毒的法律宣傳，比傳統(tǒng)的紙質(zhì)介質(zhì)更為迅速，傳播也更為廣泛。

步驟s106中輸出經(jīng)過圖像融合處理的圖片的過程具體可以是：保存圖像融合處理的圖片；以及通過網(wǎng)絡將圖像融合處理的圖片發(fā)送至上傳待處理圖片的用戶終端110，以供用戶終端110展示。通過用戶終端110上傳圖片，并且接收圖像融合處理后的圖片進行展示，使得禁毒宣傳的范圍更加廣泛，禁毒宣傳的方式更加便捷，在提升禁毒宣傳效果的同時能夠有效降低成本。

在一些可選實施例中，可以通過對上述步驟的進一步優(yōu)化和配置使得基于深度學習的圖像融合方法實現(xiàn)更高的技術(shù)效果，以下結(jié)合對本實施例的一個可選執(zhí)行流程的介紹對本實施例的基于深度學習的圖像融合方法進行詳細說明，該實施例僅為對執(zhí)行流程的舉例說明，在具體實施時，可以根據(jù)具體實施需求，對部分步驟的執(zhí)行順序、執(zhí)行條件進行修改。圖3是根據(jù)本發(fā)明一個實施例的基于深度學習的圖像融合方法的詳細流程圖。該基于深度學習的圖像融合方法依次執(zhí)行以下步驟：

步驟s302，接收用戶終端110通過網(wǎng)絡上傳的圖片，作為待處理圖片；

步驟s304，將待處理圖片傳入卷積神經(jīng)網(wǎng)絡進行訓練，提取出待處理的圖片的圖像內(nèi)容；

步驟s306，將待處理圖片的圖像內(nèi)容與預先深度學習得出的吸毒肖像特征進行融合；

步驟s308，保存圖像融合處理的圖片；

步驟s310，通過網(wǎng)絡將圖像融合處理的圖片發(fā)送至上傳待處理圖片的用戶終端110，以供用戶終端110展示。

在以上步驟中，步驟s302中的待處理圖片至少包括面部圖像，并且可以是用戶終端110通過網(wǎng)絡上傳。一般地，該待處理圖片可以包括用戶自己的面部圖像，以在進行圖像融合處理后，對輸出的圖片更加有代入感。在一種具體的實施例中，在獲取待處理圖片后，可以相對待處理圖片進行人臉檢測，若檢測到包括面部圖像，則判定為合理圖片；若沒有檢測到面部圖像，則判定為不合理圖片，與此同時，可以輸出報錯的提示信息，以提醒用戶重新上傳包括面部圖像的合理圖片。

另外，由于圖像融合的結(jié)果與待處理圖片的質(zhì)量息息相關(guān)，提高待處理圖片的質(zhì)量可以提高圖像融合結(jié)果的質(zhì)量以及效率。因此，在進行圖像融合之前可以首先進行圖像預處理，以下對一個具體實例進行介紹：首先檢測出面部圖像的68個特征點，然后根據(jù)特征點，找到人雙眼的位置。在找到人雙眼位置之后，將圖像旋轉(zhuǎn)，使其兩眼水平對齊，再對圖像進行切割，使其擁有合適的像素值。需要說明的是，上述特征點的具體數(shù)量僅為例舉，而并非對本發(fā)明的限定，在其他一些實施例中，還可以根據(jù)實際需求設定其他數(shù)量的特征點。

步驟s304中將待處理圖片傳入卷積神經(jīng)網(wǎng)絡進行訓練的具體步驟可以包括：獲取卷積神經(jīng)網(wǎng)絡中特定層從待處理圖片提取出來的圖像風格；用白色噪聲圖像執(zhí)行梯度下降計算，找到與待處理圖片的內(nèi)容特征相匹配的圖像；以及通過使待處理圖片矩陣與相匹配的圖像的矩陣之間的均方距離最小化，提取出用戶傳入的待處理的圖像內(nèi)容。

步驟s306中的吸毒肖像特征通過預先深度學習得出，其具體提取步驟可以包括：對圖片庫中吸毒人員的面部圖像進行圖像質(zhì)量篩選，提取出預定數(shù)量圖像質(zhì)量滿足要求的圖像作為樣本圖像；以及將樣本圖像傳入卷積神經(jīng)網(wǎng)絡進行訓練，以提取吸毒肖像特征。

其中對圖片庫中吸毒人員的面部圖像進行圖像質(zhì)量篩選以選定樣本圖像，是由于圖像融合處理圖片的結(jié)果與吸毒人員的面部圖片的質(zhì)量息息相關(guān)，通過提升樣本圖像的質(zhì)量可以提高圖像融合處理的圖片的質(zhì)量以及處理圖像的效率。具體地，可以根據(jù)吸毒人員的面部圖像的類型以及大小來判斷是否滿足要求。此外，預定數(shù)量的具體數(shù)值可以根據(jù)實際需求進行預先設定。

將樣本圖像傳入卷積神經(jīng)網(wǎng)絡進行訓練的具體步驟可以包括：獲取卷積神經(jīng)網(wǎng)絡中特定層從樣本圖像中提取出來的圖像內(nèi)容，并用白色噪聲圖像執(zhí)行梯度下降計算，以找到與樣本圖像的圖像內(nèi)容特征相匹配的圖像；以及使用標準誤差反向傳播來計算相對于相匹配的圖像的梯度，從而提取吸毒肖像特征。并且，本實施例采用的卷積神經(jīng)網(wǎng)絡由19層vgg網(wǎng)絡的16個卷積層和5個池層提供。

卷積神經(jīng)網(wǎng)絡(convolutionalneuralnetworks，簡稱cnn)廣泛應用于模式分類領(lǐng)域，其基本結(jié)構(gòu)包括兩層，其一為特征提取層，每個神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來；其二是特征映射層，網(wǎng)絡的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經(jīng)元的權(quán)值相等。卷積神經(jīng)網(wǎng)絡中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。

本實施例的基于深度學習的圖像融合方法使用cnn，隱式地從訓練數(shù)據(jù)中進行學習，無需顯示特征的抽取，避免了特征提取和分類過程中數(shù)據(jù)重建的復雜度。

步驟s306中將待處理圖片的圖像內(nèi)容與吸毒肖像特征進行融合的具體步驟可以包括：使卷積神經(jīng)網(wǎng)絡中特定層從待處理圖片提取出來的圖像內(nèi)容和多個層處理的吸毒肖像特征聯(lián)合最小化，將圖像內(nèi)容與吸毒肖像特征融合，按照指定的卷積網(wǎng)絡的迭代次數(shù)進行融合處理。通過將吸毒人員的吸毒肖像特征與待處理圖片進行圖像融合處理，可以使處理后的圖片展現(xiàn)出吸毒后的效果，在待處理圖片為用戶本人肖像的情況下，使得用戶直面吸毒的后果，能夠有效提升警示效果。

步驟s310中通過用戶終端110展示圖像融合處理后的圖片，使得禁毒宣傳的范圍更加廣泛，禁毒宣傳的方式更加便捷，在提升禁毒宣傳效果的同時能夠有效降低成本。若用戶在處理完一張圖片之后想要處理其他的肖像圖片，可以通過網(wǎng)絡直接上傳新的肖像圖片即可，之后可以同樣按照步驟s304至步驟s310依次執(zhí)行。

本實施例的基于深度學習的圖像融合方法與計算機存儲介質(zhì)，通過獲取待處理圖片，利用預先深度學習得出的吸毒肖像特征對待處理圖片進行圖像融合處理，然后輸出經(jīng)過圖像融合處理的圖片，其中待處理圖片中至少包括面部圖像，吸毒肖像特征由深度學習網(wǎng)絡模型通過對樣本圖像訓練得出，樣本圖像為吸毒人員的面部圖像，通過圖像融合技術(shù)來處理人的肖像，使之展現(xiàn)出吸毒后的效果，可以達到宣傳吸毒有害身體健康的目的，并且宣傳至傳統(tǒng)方式達不到的盲區(qū)，不僅提升了宣傳效果，還有效降低了宣傳成本。

進一步地，本實施例的基于深度學習的圖像融合方法與計算機存儲介質(zhì)，對圖片庫中吸毒人員的面部圖像進行圖像質(zhì)量篩選，提取出預定數(shù)量圖像質(zhì)量滿足要求的圖像作為樣本圖像，通過提升樣本圖像的質(zhì)量來提高圖像融合處理的圖片的質(zhì)量以及處理圖像的效率，上傳自己的肖像作為待處理圖片，經(jīng)過圖像融合處理后，以自己的肖像為輸出，相比傳統(tǒng)的以他人的事例為切入點，更加真實可信，有效提升警示效果。

本實施例還提供了一種計算機存儲介質(zhì)10，圖4是根據(jù)本發(fā)明一個實施例的計算機存儲介質(zhì)10的示意圖，該計算機存儲介質(zhì)保存有計算機程序11，并且計算機程序11運行時導致計算機存儲介質(zhì)10的所在設備執(zhí)行上述任一實施例的基于深度學習的圖像融合方法，例如上述圖像處理服務器130可以執(zhí)行上述任一實施例的基于深度學習的圖像融合方法。

本實施例的計算機存儲介質(zhì)10可以是諸如閃存、eeprom(電可擦除可編程只讀存儲器)、eprom、硬盤或者rom之類的電子存儲器。計算機存儲介質(zhì)10具有用于執(zhí)行上述方法中的任何方法步驟的計算機程序11的存儲空間。這些計算機程序11可以從一個或者多個計算機程序產(chǎn)品中讀出或者寫入到這一個或者多個計算機程序產(chǎn)品中。這些計算機程序產(chǎn)品包括諸如硬盤，緊致盤(cd)、存儲卡或者軟盤之類的程序代碼載體。計算機存儲介質(zhì)10的所在設備運行上述計算機程序11時，可以執(zhí)行上述描述的方法中的各個步驟。

至此，本領(lǐng)域技術(shù)人員應認識到，雖然本文已詳盡示出和描述了本發(fā)明的多個示例性實施例，但是，在不脫離本發(fā)明精神和范圍的情況下，仍可根據(jù)本發(fā)明公開的內(nèi)容直接確定或推導出符合本發(fā)明原理的許多其他變型或修改。因此，本發(fā)明的范圍應被理解和認定為覆蓋了所有這些其他變型或修改。