實(shí)現(xiàn)自助合影的方法和照相設(shè)備的制作方法
【專利摘要】本發(fā)明提供一種實(shí)現(xiàn)自助合影的方法及照相設(shè)備，避免最終合成的影像中出現(xiàn)不完整的人。有鑒于此，本發(fā)明實(shí)施例提供一種實(shí)現(xiàn)自助合影的方法，包括：拍攝第一圖像；拍攝第二圖像；對(duì)所述第一圖像進(jìn)行人臉檢測(cè)，確定所述第一圖像中檢測(cè)出人臉的區(qū)域?yàn)榈谝缓嫌皩?duì)象；對(duì)所述第二圖像進(jìn)行人臉檢測(cè)，確定所述第二圖像中檢測(cè)出人臉的區(qū)域?yàn)榈诙嫌皩?duì)象；對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象。本發(fā)明還提供一種照相設(shè)備。
【專利說(shuō)明】實(shí)現(xiàn)自助合影的方法和照相設(shè)備

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，特別涉及一種實(shí)現(xiàn)自助合影的方法及照相設(shè)備。

【背景技術(shù)】
[0002]外出旅游或者多人聚會(huì)時(shí)，往往會(huì)有拍攝合影的需求。這時(shí)參加合影的人往往需要另外找一個(gè)陌生人來(lái)拍照，才能保證把所有人都拍下。然而，另找陌生人來(lái)拍照往往很不方便，例如在國(guó)外旅行，可能因?yàn)檠哉Z(yǔ)不通而難以找到幫忙拍照的人，有時(shí)參加合影的人又會(huì)對(duì)陌生人的拍照技巧不放心。因此，找到一種不需要另外找人幫忙就能實(shí)現(xiàn)合影的方法，是非常有必要的。
[0003]在現(xiàn)有技術(shù)中，有一種實(shí)現(xiàn)多人自助合影的方法，如圖1所示，首先，甲拍攝乙，之后乙和甲交換位置，乙再拍一張甲，之后算法首先通過(guò)細(xì)縫切割(seam carving)的方法尋找兩個(gè)圖像縫合的邊界。之后通過(guò)泊松圖像編輯(Poisson image editing)的方法沿著縫合邊界將兩個(gè)圖像縫合。
[0004]該方案由于沒(méi)有考慮拍照中人的信息，所以當(dāng)人的衣服和背景顏色、紋理接近的時(shí)候，縫合邊界很有可能穿過(guò)照片中的人，從而不能生成好的合成圖像。如圖2所示，在這樣一個(gè)場(chǎng)景中，由于右邊的人衣服紋理與背景相近，導(dǎo)致縫合邊界從右邊的人手臂穿過(guò)，產(chǎn)生被切掉一條手臂的效果。


【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種實(shí)現(xiàn)自助合影的方法及照相設(shè)備，避免最終合成的影像中出現(xiàn)不完整的人。
[0006]有鑒于此，本發(fā)明實(shí)施例提供:
[0007]一種實(shí)現(xiàn)自助合影的方法，包括:
[0008]拍攝第一圖像；
[0009]拍攝第二圖像；
[0010]對(duì)所述第一圖像進(jìn)行人臉檢測(cè)，確定所述第一圖像中檢測(cè)出人臉的區(qū)域?yàn)榈谝缓嫌皩?duì)象；
[0011]對(duì)所述第二圖像進(jìn)行人臉檢測(cè)，確定所述第二圖像中檢測(cè)出人臉的區(qū)域?yàn)榈诙嫌皩?duì)象；
[0012]對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象。
[0013]可選的，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象，具體包括:
[0014]使用細(xì)縫切割算法對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，其中在確定所述縫合邊界時(shí)提高細(xì)縫穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象的部分的能量值；或者，
[0015]對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，當(dāng)發(fā)現(xiàn)所述縫合邊界會(huì)穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象中的至少一個(gè)時(shí)，修改所述縫合邊界使其一部分與第一合影對(duì)象和/或第二合影對(duì)象的邊界重合。
[0016]可選的，在所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接之前，還包括:
[0017]對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)。
[0018]可選的，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)，具體包括:
[0019]提取所述第一圖像和所述第二圖像中的特征點(diǎn)；
[0020]對(duì)所述第一圖像和所述第二圖像中的特征點(diǎn)進(jìn)行匹配；
[0021]根據(jù)匹配結(jié)果，對(duì)所述第一圖像和第二圖像中的至少一個(gè)進(jìn)行全局變換，以使所述第一圖像和所述第二圖像的共同部分相似度最大。
[0022]可選的，在所述對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)之前，還包括:
[0023]對(duì)所述第一圖像進(jìn)行人臉識(shí)別；
[0024]對(duì)所述第二圖像進(jìn)行人臉識(shí)別，確定所述第一圖像和所述第二圖像中共同的人臉;
[0025]所述提取所述第一圖像和所述第二圖像中的特征點(diǎn)，包括:
[0026]提取所述第一圖像和所述第二圖像中的特征點(diǎn)，至少一對(duì)所述特征點(diǎn)位于所述共同的人臉?biāo)诘膮^(qū)域。
[0027]可選的，在所述拍攝第一圖像之后，所述拍攝第二圖像之前，還包括:
[0028]對(duì)取景畫(huà)面進(jìn)行人臉識(shí)別，確定取景畫(huà)面中和所述第一圖像中共同的人臉，并標(biāo)記所述共同的人臉或者所述共同的人臉?biāo)诘膮^(qū)域。
[0029]可選的，其特征在于，在所述拍攝第二圖像之前，所述對(duì)所述第一圖像進(jìn)行人臉檢測(cè)之后，還包括:
[0030]對(duì)取景畫(huà)面進(jìn)行人臉檢測(cè)，在所述取景畫(huà)面中確定并標(biāo)記所述第一圖像中檢測(cè)出人臉的位置。
[0031]本發(fā)明的另一實(shí)施例提供一種照相設(shè)備，包括:
[0032]拍攝單元，用于拍攝第一圖像和第二圖像；
[0033]人臉檢測(cè)單元，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行人臉檢測(cè)，確定檢測(cè)出人臉的區(qū)域?yàn)榈谝缓嫌皩?duì)象和第二合影對(duì)象；
[0034]圖像拼接單元，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象。
[0035]可選的，所述圖像拼接單元具體用于:
[0036]使用細(xì)縫切割算法對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，其中在尋找所述縫合邊界時(shí)提高細(xì)縫穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象的部分的能量值；或者，
[0037]對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，當(dāng)發(fā)現(xiàn)所述縫合邊界會(huì)穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象中的至少一個(gè)時(shí)，修改所述縫合邊界使其一部分與第一合影對(duì)象和/或第二合影對(duì)象的邊界重合。
[0038]可選的，所述照相設(shè)備還包括:
[0039]圖像配準(zhǔn)單元，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)。
[0040]可選的，所述圖像配置單元包括:
[0041]特征點(diǎn)提取單元，用于提取所述第一圖像和所述第二圖像中的特征點(diǎn)；
[0042]特征點(diǎn)匹配單元，用于對(duì)所述第一圖像和所述第二圖像中的特征點(diǎn)進(jìn)行匹配；
[0043]全局變換單元，用于根據(jù)匹配結(jié)果，對(duì)所述第一圖像和第二圖像中的至少一個(gè)進(jìn)行全局變換，以使所述第一圖像和所述第二圖像的共同部分相似度最大。
[0044]可選的，所述照相設(shè)備還包括:
[0045]人臉識(shí)別單元，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行人臉識(shí)別，確定所述第一圖像和所述第二圖像中共同的人臉；
[0046]所述特征點(diǎn)提取單元，具體用于提取所述第一圖像和所述第二圖像中的特征點(diǎn)，其中至少一對(duì)所述特征點(diǎn)位于所述共同的人臉?biāo)诘膮^(qū)域。
[0047]可選的，所述人臉識(shí)別單元，還用于對(duì)取景畫(huà)面進(jìn)行人臉識(shí)別，確定取景畫(huà)面中和所述第一圖像中共同的人臉，并標(biāo)記所述共同的人臉或者所述共同的人臉?biāo)诘膮^(qū)域。
[0048]可選的，所述人臉檢測(cè)單元，還用于對(duì)取景畫(huà)面進(jìn)行人臉檢測(cè)，在所述取景畫(huà)面中確定并標(biāo)記所述第一圖像中檢測(cè)出人臉的位置。
[0049]本發(fā)明的又一實(shí)施例提供一種照相設(shè)備，包括:
[0050]攝影裝置，用于拍攝第一圖像和第二圖像；
[0051]處理器，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行人臉檢測(cè)，確定檢測(cè)出人臉的區(qū)域?yàn)榈谝缓嫌皩?duì)象和第二合影對(duì)象，以及對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象。
[0052]可選的，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象，具體包括:
[0053]使用細(xì)縫切割算法對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，其中在尋找所述縫合邊界時(shí)提高細(xì)縫穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象的部分的能量值；或者，
[0054]對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，當(dāng)發(fā)現(xiàn)所述縫合邊界會(huì)穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象中的至少一個(gè)時(shí)，修改所述縫合邊界使其一部分與第一合影對(duì)象和/或第二合影對(duì)象的邊界重合。
[0055]可選的，所述處理器，還用于在對(duì)所述第一圖像和第二圖像進(jìn)行拼接之前，對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)。
[0056]可選的，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)，具體包括:
[0057]提取所述第一圖像和所述第二圖像中的特征點(diǎn)；
[0058]對(duì)所述第一圖像和所述第二圖像中的特征點(diǎn)進(jìn)行匹配；
[0059]根據(jù)匹配結(jié)果，對(duì)所述第一圖像和第二圖像中的至少一個(gè)進(jìn)行全局變換，以使所述第一圖像和所述第二圖像的共同部分相似度最大。
[0060]可選的，所述處理器還用于對(duì)所述第一圖像和所述第二圖像進(jìn)行人臉識(shí)別，確定所述第一圖像和所述第二圖像中共同的人臉；
[0061]所述提取所述第一圖像和所述第二圖像中的特征點(diǎn)，包括:
[0062]提取所述第一圖像和所述第二圖像中的特征點(diǎn)，其中至少一對(duì)所述特征點(diǎn)位于所述共同的人臉?biāo)诘膮^(qū)域。
[0063]可選的，所述照相設(shè)備還包括:
[0064]電子取景裝置，所述電子取景裝置的輸入端和所述攝影裝置的輸出端相耦合；
[0065]所述處理器還用于對(duì)所述攝影裝置實(shí)時(shí)輸出到所述電子取景裝置的第三圖像進(jìn)行人臉識(shí)別，確定所述第一圖像和所述第三圖像中共同的人臉；
[0066]所述電子取景裝置用于標(biāo)記所述共同的人臉。
[0067]可選的，所述照相設(shè)備還包括:
[0068]電子取景裝置，所述電子取景裝置的輸入端和所述攝影裝置的輸出端相耦合；
[0069]所述處理器還用于對(duì)所述攝影裝置實(shí)時(shí)輸出到所述電子取景裝置的第三圖像進(jìn)行人臉檢測(cè)，在所述第三圖像中確定所述第一圖像中檢測(cè)出人臉的位置；
[0070]所述電子取景裝置用于在所述第三圖像中標(biāo)記所述第一圖像中檢測(cè)出人臉的位置。
[0071]可選的，所述照相設(shè)備還包括:
[0072]存儲(chǔ)器，用于存儲(chǔ)所述第一圖像、第二圖像和所述處理器320拼接得到的圖像。
[0073]可選的，所述攝影裝置包括:
[0074]鏡頭、圖像傳感器和模/電A/D轉(zhuǎn)換電路，其中所述圖像傳感器的輸出端和所述A/D轉(zhuǎn)換電路的輸入端相耦合，所述A/D轉(zhuǎn)換電路的輸出端和所述處理器相耦合。
[0075]本發(fā)明實(shí)施例通過(guò)對(duì)拍攝的兩幅圖像進(jìn)行人臉檢測(cè)，從而確定出兩幅圖像中人的位置，在進(jìn)行拼接時(shí)縫合邊界避開(kāi)檢測(cè)出人臉的區(qū)域，可以有效避免在最終拼接成的圖像中出現(xiàn)不完整的人，提高了用戶體驗(yàn)。

【專利附圖】

【附圖說(shuō)明】
[0076]圖1是現(xiàn)有技術(shù)中自助合影的示意圖；
[0077]圖2是現(xiàn)有技術(shù)中拼接時(shí)縫合邊界穿過(guò)參加合影的人的示例；
[0078]圖3是本發(fā)明一個(gè)方法實(shí)施例的流程圖；
[0079]圖4是本發(fā)明一個(gè)實(shí)施例中圖像配準(zhǔn)方法的流程圖；
[0080]圖5是本發(fā)明實(shí)施例在取景畫(huà)面中標(biāo)記第一圖像中人臉位置的示意圖；
[0081]圖6是本發(fā)明實(shí)施例在取景畫(huà)面中標(biāo)記第一圖像中共同的人臉的示意圖；
[0082]圖7是本發(fā)明實(shí)施例進(jìn)行拼接的效果示意圖；
[0083]圖8是本發(fā)明實(shí)施例提供的一種照相設(shè)備的結(jié)構(gòu)示意圖；
[0084]圖9是本發(fā)明實(shí)施例提供的另一種照相設(shè)備的結(jié)構(gòu)圖；
[0085]圖10是本發(fā)明實(shí)施例中攝影裝置的結(jié)構(gòu)圖；
[0086]圖11是本發(fā)明在取景畫(huà)面中標(biāo)記第一圖像中人臉位置的流程圖；
[0087]圖12是本發(fā)明一個(gè)實(shí)施例中，在取景畫(huà)面中標(biāo)記第一圖像中人臉位置的流程圖。

【具體實(shí)施方式】
[0088]以下結(jié)合附圖詳細(xì)說(shuō)明本發(fā)明的【具體實(shí)施方式】。
[0089]參閱圖3，本發(fā)明實(shí)施例提供一種實(shí)現(xiàn)自助合影的方法，該方法包括:
[0090]100、拍攝第一圖像；
[0091]110、拍攝第二圖像；
[0092]120、對(duì)所述第一圖像進(jìn)行人臉檢測(cè)，確定所述第一圖像中檢測(cè)出人臉的區(qū)域?yàn)榈谝缓嫌皩?duì)象；
[0093]130、對(duì)所述第二圖像進(jìn)行人臉檢測(cè)，確定所述第二圖像中檢測(cè)出人臉的區(qū)域?yàn)榈诙嫌皩?duì)象；
[0094]人臉檢測(cè)是檢測(cè)圖像中是否有人臉并確定人臉的位置，所述檢測(cè)出人臉的區(qū)域?yàn)閳D像上的一個(gè)區(qū)域，該區(qū)域中包括一個(gè)或多個(gè)被檢測(cè)為人臉的圖形，優(yōu)選的，人臉圖形在該區(qū)域的“頂端”。這里“頂端” 一詞不一定是指上端，可以根據(jù)人臉的方向，如倒立、橫躺等情況確定。假設(shè)沿人臉中嘴向眼的方向作一矢量，則該區(qū)域的“頂端”在該矢量所指向的方向。該區(qū)域可以為一個(gè)簡(jiǎn)單的橢圓或者矩形，或者若干橢圓或者矩形的并集；也可以是一個(gè)人形區(qū)域，或者若干人形區(qū)域的并集。在一個(gè)實(shí)施例中，通過(guò)邊界檢查的方式確定所述人形區(qū)域。
[0095]步驟120和130可以在步驟100和110之后執(zhí)行，可以先執(zhí)行步驟120再執(zhí)行步驟130，也可以先執(zhí)行步驟130再執(zhí)行步驟120，或者同時(shí)執(zhí)行；或者和步驟100、110穿插執(zhí)行，即按照100 — 120 — 110 — 130的順序執(zhí)行。
[0096]140、對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象。
[0097]這里拼接的時(shí)候,可以按照細(xì)縫切割(seam carving)方法對(duì)兩個(gè)圖像進(jìn)行拼接。Seam carving算法起初是一種設(shè)計(jì)用來(lái)裁剪、拉伸圖像的方法,它對(duì)圖像定義一個(gè)能量函數(shù)，通過(guò)裁剪或復(fù)制能量低處的圖像片段，來(lái)實(shí)現(xiàn)圖像核心內(nèi)容無(wú)變形或微小變形的拉伸或縮窄。這種方法也可以應(yīng)用到兩幅圖像的無(wú)縫拼接，在拼接時(shí)，找到兩幅圖像中能量的低點(diǎn)，然后從能量低點(diǎn)處將兩幅圖像裂開(kāi)再拼接在一起。
[0098]下面對(duì)Seam Carving算法進(jìn)行介紹:首先將圖像I視為一個(gè)二元函數(shù)，然后利用圖像梯度算子(Sobel算子)定義一個(gè)能量函數(shù):
/ 八 31dI
[0099]e(I) - — + —
ax ay
[0100]細(xì)縫(seam)定義為一條從上到下或從左至右穿越整幅圖像的線，可以是直線、曲線或者折線。在數(shù)學(xué)上，對(duì)于一幅mXn圖像，細(xì)縫可以用如下集合定義:
[0101]S= {S (x, i) I X = X (i), i = 1,2,..., η}
[0102]或s = {S (i, y) I y = y (i), i = I, 2,..., m}
[0103]這里S(x，i)和S(i，y)代表圖像上點(diǎn)的坐標(biāo)，x(i)和y(i)均是關(guān)于i的函數(shù)，其中x(i)是一個(gè)從{1，2，…，n}到{1，2，…，m}的映射,而y(i)是一個(gè)從{1，2，---,ml到{1,2,…，η}的映射，并且
[0104]X (i) -X (1-1) I ^ I
[0105]y(j)-y(j-l) I ( I
[0106]對(duì)每條細(xì)縫計(jì)算其上各點(diǎn)的能量值之和，能量值之和最小的細(xì)縫選定為最優(yōu)細(xì)縫，拼接即可在最優(yōu)細(xì)縫處進(jìn)行，也即，將所述最優(yōu)細(xì)縫選定為所述縫合邊界。
[0107]根據(jù)本發(fā)明實(shí)施例，當(dāng)識(shí)別出圖像中有人臉時(shí)，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象，這可以通過(guò)多種方式來(lái)實(shí)現(xiàn):
[0108]在一個(gè)實(shí)施例中，當(dāng)發(fā)現(xiàn)縫合邊界會(huì)經(jīng)過(guò)第一合影對(duì)象和/或第二合影對(duì)象時(shí)，修改縫合邊界使其一部分與第一合影對(duì)象和/或第二合影對(duì)象的邊界重合。
[0109]在另一個(gè)實(shí)施例中，當(dāng)發(fā)現(xiàn)縫合邊界會(huì)經(jīng)過(guò)第一合影對(duì)象和/或第二合影對(duì)象時(shí)，對(duì)細(xì)縫穿過(guò)所述第一合影對(duì)象和/或第二合影對(duì)象的部分進(jìn)行能量值調(diào)整，比如可以將所述細(xì)縫穿過(guò)所述第一合影對(duì)象和/或第二合影對(duì)象的部分的各點(diǎn)的能量值都提到最高(當(dāng)然也可以提高到其他值)，這樣一來(lái)該條細(xì)縫的能量值之和被提高，便不會(huì)被選為縫合邊界了。此時(shí)，對(duì)調(diào)整后的圖像再運(yùn)行seam carving算法，尋找縫合邊界。這里，對(duì)細(xì)縫穿過(guò)所述第一合影對(duì)象和/或第二合影對(duì)象的部分進(jìn)行能量值調(diào)整，可以在完成人臉識(shí)另1J、確定第一合影對(duì)象和第二合影對(duì)象之后，開(kāi)始seam carving算法尋找縫合邊界之前就進(jìn)行。
[0110]在本方面的一些實(shí)施例中，所述seam carving算法只對(duì)兩幅圖像中有共同背景的部分施行，這樣可以減少運(yùn)算量。這里“背景”指的是圖像中除所述第一合影對(duì)象和第二合影對(duì)象之外的部分，以圖為例，圖中的墻壁、天花板等除第一合影對(duì)象和第二合影對(duì)象之外的部分就是背景。由于第一圖像和第二圖像是分別拍攝的，很難保證兩幅圖像的背景完全一致，而背景不一致的部分顯然是不能作為縫合邊界的，因此只對(duì)兩幅圖像中有共同背景的部分施行seam carving算法,可以減少無(wú)效的運(yùn)算,提高運(yùn)算效率。
[0111]第一圖像和第二圖像的取景范圍、拍攝角度、拍攝距離等一般不會(huì)完全一樣，在這種情況下，進(jìn)行拼接時(shí)一般要把兩幅圖像之間的這些差異消除才能實(shí)現(xiàn)無(wú)縫拼接。為此，在本發(fā)明的一個(gè)實(shí)施例中，在步驟110之后，步驟140之前，還包括:
[0112]115、對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)。
[0113]所謂“圖像配準(zhǔn)”(Image Registrat1n),是指將兩幅或更多的圖像映射到同一個(gè)坐標(biāo)之下，可以實(shí)現(xiàn)不同圖像之間的重疊、目標(biāo)識(shí)別、疊加曝光等操作。從數(shù)學(xué)上來(lái)說(shuō)，假設(shè)給定兩幅圖像If(X，y)和Im(X，y)，其中(x, y)是兩幅圖像If(x, y)和Im(x, y)中的某一點(diǎn)。圖像配準(zhǔn)算法的目標(biāo)是找到一種變換Τ: Ωρ- ΩΜ使得變換某一圖后兩幅圖像的相似程度c (T；IF, Im)達(dá)到最大。相似性測(cè)度c是一個(gè)跟變換有關(guān)并借助兩幅圖像數(shù)據(jù)計(jì)算出的用來(lái)衡量相似程度的函數(shù)，比如它可以是圖像灰度值的誤差平方和:
_ J ω1: Uf (x,y)- ^ y)]2dxdy o
[0115]最后通過(guò)一種數(shù)學(xué)優(yōu)化算法找到該函數(shù)的最優(yōu)解，即變換τ。
[0116]圖像配準(zhǔn)有多種算法可以實(shí)現(xiàn)，在本發(fā)明的一個(gè)實(shí)施例中，通過(guò)特征點(diǎn)匹配的方法來(lái)實(shí)現(xiàn)。特征點(diǎn)是指在幾何上有特別意義的可以定位的特征點(diǎn)集(比如不連續(xù)點(diǎn)，圖形的轉(zhuǎn)折點(diǎn)，線交叉點(diǎn)等)。如圖4所示，具體過(guò)程如下:
[0117]1151、提取所述第一圖像和所述第二圖像中的特征點(diǎn)；
[0118]如圖5所示，這里特征點(diǎn)一般選取在圖像中紋理比較豐富的部分，一般可以使用Harris角點(diǎn)檢測(cè)法或SIFT算法來(lái)提取特征點(diǎn)。
[0119]1152、對(duì)所述第一圖像和所述第二圖像中的特征點(diǎn)進(jìn)行匹配；
[0120]通過(guò)對(duì)特征點(diǎn)的匹配，可以找出第一圖像和第二圖像的共同部分，并可以得出第一圖像和第二圖像在取景范圍、拍攝角度、拍攝距離等方面的差異。對(duì)特征點(diǎn)的匹配，從數(shù)學(xué)上說(shuō)就是建立起第一圖像中的特征點(diǎn)和第二圖像中的特征點(diǎn)之間的一一對(duì)應(yīng)關(guān)系。目前有多種技術(shù)可以實(shí)現(xiàn)特征點(diǎn)的匹配，在一個(gè)實(shí)施例中，特征點(diǎn)匹配是通過(guò)塊匹配算法來(lái)實(shí)現(xiàn)的，即比較第一圖像中第一特征點(diǎn)代表的圖像小塊和第二圖像中每個(gè)特征點(diǎn)所代表的圖像小塊的相似度，取第二圖像中相似度最高的特征點(diǎn)作為所述第一特征點(diǎn)的匹配點(diǎn)。在另一個(gè)實(shí)施例中，特征點(diǎn)匹配算法匹配第一圖像中的第一特征點(diǎn)和第二圖像中的第二特征點(diǎn)的SIFT特征，這可以是全圖搜索，也可以不是全圖搜索，而只在第二特征點(diǎn)周圍一定區(qū)域范圍內(nèi)匹配所述第一特征點(diǎn)。
[0121]1153、根據(jù)匹配結(jié)果，對(duì)所述第一圖像和第二圖像中的至少一個(gè)進(jìn)行全局變換，以使所述第一圖像和所述第二圖像的共同部分相似度最大。
[0122]這里，相似度可以用相似性測(cè)度來(lái)衡量。相似性測(cè)度，如前所述，是一個(gè)跟所述全局變換有關(guān)并借助兩幅圖像數(shù)據(jù)計(jì)算出的用來(lái)衡量相似程度的函數(shù)。這里，全局變換是指對(duì)整幅圖像都做變換，而不是對(duì)圖像的一個(gè)局部做變換。通常這個(gè)全局變換T可以用一個(gè)透視矩陣來(lái)表達(dá):

【權(quán)利要求】
1.一種實(shí)現(xiàn)自助合影的方法，包括: 拍攝第一圖像； 拍攝第二圖像； 對(duì)所述第一圖像進(jìn)行人臉檢測(cè)，確定所述第一圖像中檢測(cè)出人臉的區(qū)域?yàn)榈谝缓嫌皩?duì)象； 對(duì)所述第二圖像進(jìn)行人臉檢測(cè)，確定所述第二圖像中檢測(cè)出人臉的區(qū)域?yàn)榈诙嫌皩?duì)象； 對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象。
2.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象，具體包括: 使用細(xì)縫切割算法對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，其中在確定所述縫合邊界時(shí)提高細(xì)縫穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象的部分的能量值；或者， 對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，當(dāng)發(fā)現(xiàn)所述縫合邊界會(huì)穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象中的至少一個(gè)時(shí)，修改所述縫合邊界使其一部分與第一合影對(duì)象和/或第二合影對(duì)象的邊界重合。
3.如權(quán)利要求1或2所述的方法，其特征在于，在所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接之前，還包括: 對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)。
4.如權(quán)利要求3所述的方法，其特征在于，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)，具體包括: 提取所述第一圖像和所述第二圖像中的特征點(diǎn)； 對(duì)所述第一圖像和所述第二圖像中的特征點(diǎn)進(jìn)行匹配； 根據(jù)匹配結(jié)果，對(duì)所述第一圖像和第二圖像中的至少一個(gè)進(jìn)行全局變換，以使所述第一圖像和所述第二圖像的共同部分相似度最大。
5.如權(quán)利要求4所述的方法，其特征在于，在所述對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)之前，還包括: 對(duì)所述第一圖像進(jìn)行人臉識(shí)別； 對(duì)所述第二圖像進(jìn)行人臉識(shí)別，確定所述第一圖像和所述第二圖像中共同的人臉； 所述提取所述第一圖像和所述第二圖像中的特征點(diǎn)，包括: 提取所述第一圖像和所述第二圖像中的特征點(diǎn)，至少一對(duì)所述特征點(diǎn)位于所述共同的人臉?biāo)诘膮^(qū)域。
6.如權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，在所述拍攝第一圖像之后，所述拍攝第二圖像之前，還包括: 對(duì)取景畫(huà)面進(jìn)行人臉識(shí)別，確定取景畫(huà)面中和所述第一圖像中共同的人臉，并標(biāo)記所述共同的人臉或者所述共同的人臉?biāo)诘膮^(qū)域。
7.如權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，在所述拍攝第二圖像之前，所述對(duì)所述第一圖像進(jìn)行人臉檢測(cè)之后，還包括: 對(duì)取景畫(huà)面進(jìn)行人臉檢測(cè)，在所述取景畫(huà)面中確定并標(biāo)記所述第一圖像中檢測(cè)出人臉的位置。
8.一種照相設(shè)備，包括: 拍攝單元，用于拍攝第一圖像和第二圖像； 人臉檢測(cè)單元，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行人臉檢測(cè)，確定檢測(cè)出人臉的區(qū)域?yàn)榈谝缓嫌皩?duì)象和第二合影對(duì)象； 圖像拼接單元，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象。
9.如權(quán)利要求8所述的照相設(shè)備，其特征在于，所述圖像拼接單元具體用于: 使用細(xì)縫切割算法對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，其中在尋找所述縫合邊界時(shí)提高細(xì)縫穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象的部分的能量值；或者， 對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，當(dāng)發(fā)現(xiàn)所述縫合邊界會(huì)穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象中的至少一個(gè)時(shí)，修改所述縫合邊界使其一部分與第一合影對(duì)象和/或第二合影對(duì)象的邊界重合。
10.如權(quán)利要求8或9所述的照相設(shè)備，其特征在于，還包括: 圖像配準(zhǔn)單元，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)。
11.如權(quán)利要求9所述的照相設(shè)備，其特征在于，所述圖像配置單元包括: 特征點(diǎn)提取單元，用于提取所述第一圖像和所述第二圖像中的特征點(diǎn)； 特征點(diǎn)匹配單元，用于對(duì)所述第一圖像和所述第二圖像中的特征點(diǎn)進(jìn)行匹配； 全局變換單元，用于根據(jù)匹配結(jié)果，對(duì)所述第一圖像和第二圖像中的至少一個(gè)進(jìn)行全局變換，以使所述第一圖像和所述第二圖像的共同部分相似度最大。
12.如權(quán)利要求9所述的照相設(shè)備，其特征在于，還包括: 人臉識(shí)別單元，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行人臉識(shí)別，確定所述第一圖像和所述第二圖像中共同的人臉； 所述特征點(diǎn)提取單元，具體用于提取所述第一圖像和所述第二圖像中的特征點(diǎn)，其中至少一對(duì)所述特征點(diǎn)位于所述共同的人臉?biāo)诘膮^(qū)域。
13.如權(quán)利要求8至12任一項(xiàng)所述的照相設(shè)備，其特征在于: 所述人臉識(shí)別單元，還用于對(duì)取景畫(huà)面進(jìn)行人臉識(shí)別，確定取景畫(huà)面中和所述第一圖像中共同的人臉，并標(biāo)記所述共同的人臉或者所述共同的人臉?biāo)诘膮^(qū)域。
14.如權(quán)利要求8至13任一項(xiàng)所述的照相設(shè)備，其特征在于: 所述人臉檢測(cè)單元，還用于對(duì)取景畫(huà)面進(jìn)行人臉檢測(cè)，在所述取景畫(huà)面中確定并標(biāo)記所述第一圖像中檢測(cè)出人臉的位置。
15.一種照相設(shè)備，包括: 攝影裝置，用于拍攝第一圖像和第二圖像； 處理器，用于對(duì)所述第一圖像和所述第二圖像進(jìn)行人臉檢測(cè)，確定檢測(cè)出人臉的區(qū)域?yàn)榈谝缓嫌皩?duì)象和第二合影對(duì)象，以及對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象。
16.如權(quán)利要求15所述的照相設(shè)備，其特征在于，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，拼接的縫合邊界避開(kāi)所述第一合影對(duì)象和所述第二合影對(duì)象，具體包括: 使用細(xì)縫切割算法對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，其中在尋找所述縫合邊界時(shí)提高細(xì)縫穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象的部分的能量值；或者， 對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，當(dāng)發(fā)現(xiàn)所述縫合邊界會(huì)穿過(guò)所述第一合影對(duì)象和第二合影對(duì)象中的至少一個(gè)時(shí)，修改所述縫合邊界使其一部分與第一合影對(duì)象和/或第二合影對(duì)象的邊界重合。
17.如權(quán)利要求15或16所述的照相設(shè)備，其特征在于: 所述處理器，還用于在對(duì)所述第一圖像和第二圖像進(jìn)行拼接之前，對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)。
18.如權(quán)利要求16所述的照相設(shè)備，其特征在于，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行圖像配準(zhǔn)，具體包括: 提取所述第一圖像和所述第二圖像中的特征點(diǎn)； 對(duì)所述第一圖像和所述第二圖像中的特征點(diǎn)進(jìn)行匹配； 根據(jù)匹配結(jié)果，對(duì)所述第一圖像和第二圖像中的至少一個(gè)進(jìn)行全局變換，以使所述第一圖像和所述第二圖像的共同部分相似度最大。
19.如權(quán)利要求17所述的電子設(shè)備，其特征在于: 所述處理器還用于對(duì)所述第一圖像和所述第二圖像進(jìn)行人臉識(shí)別，確定所述第一圖像和所述第二圖像中共同的人臉； 所述提取所述第一圖像和所述第二圖像中的特征點(diǎn)，包括: 提取所述第一圖像和所述第二圖像中的特征點(diǎn)，其中至少一對(duì)所述特征點(diǎn)位于所述共同的人臉?biāo)诘膮^(qū)域。
20.如權(quán)利要求15至19任一項(xiàng)所述的電子設(shè)備，其特征在于，還包括: 電子取景裝置，所述電子取景裝置的輸入端和所述攝影裝置的輸出端相耦合； 所述處理器還用于對(duì)所述攝影裝置實(shí)時(shí)輸出到所述電子取景裝置的第三圖像進(jìn)行人臉識(shí)別，確定所述第一圖像和所述第三圖像中共同的人臉； 所述電子取景裝置用于標(biāo)記所述共同的人臉。
21.如權(quán)利要求15至20任一項(xiàng)所述的電子設(shè)備，其特征在于，還包括: 電子取景裝置，所述電子取景裝置的輸入端和所述攝影裝置的輸出端相耦合； 所述處理器還用于對(duì)所述攝影裝置實(shí)時(shí)輸出到所述電子取景裝置的第三圖像進(jìn)行人臉檢測(cè)，在所述第三圖像中確定所述第一圖像中檢測(cè)出人臉的位置； 所述電子取景裝置用于在所述第三圖像中標(biāo)記所述第一圖像中檢測(cè)出人臉的位置。
22.如權(quán)利要求15至21任一項(xiàng)所述的電子設(shè)備，其特征在于，還包括: 存儲(chǔ)器，用于存儲(chǔ)所述第一圖像、第二圖像和所述處理器320拼接得到的圖像。
23.根據(jù)權(quán)利要求15至22任一項(xiàng)所述的電子設(shè)備，其特征在于，攝影裝置包括: 鏡頭、圖像傳感器和模/電A/D轉(zhuǎn)換電路，其中所述圖像傳感器的輸出端和所述A/D轉(zhuǎn)換電路的輸入端相耦合，所述A/D轉(zhuǎn)換電路的輸出端和所述處理器相耦合。
【文檔編號(hào)】H04N5/232GK104170371SQ201480000693
【公開(kāi)日】2014年11月26日 申請(qǐng)日期:2014年1月3日 優(yōu)先權(quán)日:2014年1月3日
【發(fā)明者】杜成, 鄧斌, 羅巍 申請(qǐng)人:華為終端有限公司