一種圖像處理方法及裝置制造方法
【專利摘要】本發(fā)明涉及數(shù)據(jù)處理【技術(shù)領(lǐng)域】，尤其涉及一種圖像處理方法及裝置。該方法包括：從前景圖片中獲取第一臉部輪廓中各個點的像素值，從背景圖片中獲取第二臉部輪廓中各個點的像素值；根據(jù)所述第一臉部輪廓中各個點的像素值和所述第二臉部輪廓中各個點的像素值，得到顏色映射表；根據(jù)所述顏色映射表，將所述第一臉部輪廓修改為第三臉部輪廓，所述第三臉部輪廓與所述第二臉部輪廓的顏色相匹配；在所述背景圖片中，使用所述第三臉部輪廓替換所述第二臉部輪廓。該方法能夠自動替換圖片中臉部區(qū)域，并且有效提高人物形象替換效率。
【專利說明】一種圖像處理方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及數(shù)據(jù)處理【技術(shù)領(lǐng)域】，尤其涉及一種圖像處理方法及裝置。
【背景技術(shù)】
[0002]在日常生活中，人們通常需要實現(xiàn)照片中人物形象的替換，即需要替換照片中的臉部區(qū)域。例如，急于提交具有特殊背景的證件照，但是手中只有他人證件照的電子版時，需要將他人證件照片中的臉部區(qū)域換成自己當(dāng)前照片的臉部區(qū)域，從而合成自己當(dāng)前的證件照片。又或者用戶拍的照片因為時間地點等原因，不能重新拍攝，但是卻由于拍攝時表情不好等原因需要替換照片中的臉部圖像區(qū)域。
[0003]現(xiàn)有的替換方法一般是用戶通過照片編輯軟件如photoshop等，打開一個具有待被替換臉部的第一圖片或照片，并打開一個具有可替換該待被替換臉部的臉部的第二圖片或照片，然后由用戶從第二圖片或照片中選取可替換待被替換臉部的臉部，并由用戶通過拖拽等操作覆蓋第二圖片或照片中的待被替換臉部，完成替換。
[0004]但是，現(xiàn)有的替換方法存在的問題一是替換得到的臉部效果差，二是完全需要手動操作，替換效率低。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供一種圖像處理方法及裝置，以實現(xiàn)圖片中臉部區(qū)域的自動替換，并使處理后的圖片效果更好。
[0006]一方面，本發(fā)明提出一種圖像處理方法，包括:
[0007]從前景圖片中獲取第一臉部輪廓中各個點的像素值，從背景圖片中獲取第二臉部輪廓中各個點的像素值；
[0008]根據(jù)所述第一臉部輪廓中各個點的像素值和所述第二臉部輪廓中各個點的像素值，得到顏色映射表；
[0009]根據(jù)所述顏色映射表，將所述第一臉部輪廓修改為第三臉部輪廓，所述第三臉部輪廓與所述第二臉部輪廓的顏色相匹配；
[0010]在所述背景圖片中，使用所述第三臉部輪廓替換所述第二臉部輪廓。
[0011]另一方面，本發(fā)明還提出一種圖像處理裝置，包括:
[0012]像素值獲取單元，用于從前景圖片中獲取第一臉部輪廓中各個點的像素值，從背景圖片中獲取第二臉部輪廓中各個點的像素值；
[0013]顏色映射表得到單元，用于根據(jù)所述第一臉部輪廓中各個點的像素值和所述第二臉部輪廓中各個點的像素值，得到顏色映射表；
[0014]臉部輪廓修改單元，用于根據(jù)所述顏色映射表，將所述第一臉部輪廓修改為第三臉部輪廓，所述第三臉部輪廓與所述第二臉部輪廓的顏色相匹配；
[0015]臉部輪廓替換單元，用于在所述背景圖片中，使用第三臉部輪廓替換所述第二臉部輪廓。[0016]本發(fā)明提出的圖像處理方法及裝置，通過根據(jù)所述顏色映射表將所述第一臉部輪廓修改為與所述第二臉部輪廓的顏色相匹配的第三臉部輪廓，并用所述第三臉部輪廓替換所述第二臉部輪廓，使得處理后的背景圖片更加自然，提高了臉部替換后產(chǎn)生的新圖片的效果，使得新圖片自然美觀，并且，本發(fā)明提供的方法在替換臉部時，不需要與用戶交互就可以自動的完成顏色匹配和臉部輪廓的替換，避免了手動操作，有效提高了圖像處理效率。
【專利附圖】

【附圖說明】
[0017]此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，并不構(gòu)成對本發(fā)明的限定。在附圖中:
[0018]圖1是本發(fā)明實施例中提供的一種圖像處理方法的實現(xiàn)流程圖；
[0019]圖2是在含有多個人臉的圖片中選擇臉部區(qū)域的示意圖；
[0020]圖3是用戶手動指定人臉區(qū)域的示意圖；
[0021]圖4是本發(fā)明一實施例中第一臉部輪廓中關(guān)鍵點效果圖；
[0022]圖5(1)是本發(fā)明一實施例中第一臉部輪廓圖；
[0023]圖5(2)是本發(fā)明一實施例中背景圖片；
[0024]圖5(3)是本發(fā)明一實施例中第三臉部輪廓直接替換背景圖片中第二臉部輪廓的效果圖；
[0025]圖6是采用Delaunay三角剖分效果圖；
[0026]圖7是本發(fā)明一實施例中第三臉部輪廓區(qū)域的三角剖分圖；
[0027]圖8是本發(fā)明一實施例中第三臉部輪廓的初始權(quán)重圖；
[0028]圖9是本發(fā)明一實施例中對臉部區(qū)域所有像素點計算權(quán)重效果圖；
[0029]圖10是本發(fā)明一實施例中權(quán)重疊加后的新圖形；
[0030]圖11(1)是本發(fā)明一實施例中前景圖片；
[0031]圖11(2)是本發(fā)明一實施例中背景圖片；
[0032]圖11 (3)是本發(fā)明一實施例中人物形象替換后的新圖片；
[0033]圖12是本發(fā)明實施例提供的另一種圖像處理方法的流程圖；
[0034]圖13是本發(fā)明實施例中提供的一種圖像處理裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0035]下面結(jié)合附圖及具體實施例對本發(fā)明進(jìn)行更加詳細(xì)與完整的說明?？梢岳斫獾氖牵颂幩枋龅木唧w實施例僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。
[0036]圖1是本發(fā)明實施例中提供的一種圖像處理方法的實現(xiàn)流程圖。本發(fā)明實施例提供的方法可以由本發(fā)明實施例提供的圖像處理裝置來執(zhí)行，該裝置可以由軟件和/或硬件來實現(xiàn)。如圖1所示，本發(fā)明實施例提供的方法包括:
[0037]步驟11、從前景圖片中獲取第一臉部輪廓中各個點的像素值，從背景圖片中獲取第二臉部輪廓中各個點的像素值。
[0038]例如，用戶可從圖像處理裝置的相冊中選擇兩張圖片，并將它們分別指定為前景圖片和背景圖片。隨后，可采用自動人臉檢測方法對前景圖片和背景圖片中的人臉區(qū)域進(jìn)行初步定位，標(biāo)定出包含人臉的矩形區(qū)域，丟棄圖片中的其它部分。當(dāng)前景圖片或背景圖片中有多個包含人臉的矩形區(qū)域時，可由用戶從檢測到的多個矩形臉部區(qū)域中選擇一個臉部區(qū)域。圖2是在含有多個人臉的圖片中選擇臉部區(qū)域的示意圖，如圖2所示，當(dāng)圖片中含有多個人臉時，圖像處理裝置可檢測到以矩形框表示的多個人臉區(qū)域，然后由用戶從其中選擇任意一個，圖像處理裝置根據(jù)用戶的選擇獲得前景圖片或背景圖片中臉部區(qū)域的信息。當(dāng)背景圖片或前景圖片中含有人臉，但是通過自動人臉檢測方法無法檢測到包含人臉的矩形區(qū)域時，用戶在圖片中手動選擇人臉區(qū)域。圖3是用戶手動指定人臉區(qū)域的示意圖，如圖3所示，此時需要用戶手動指定臉部區(qū)域中特征點的位置，例如用戶指定臉部區(qū)域中眼睛和嘴巴的位置，圖像處理裝置根據(jù)用戶的選擇獲得臉部區(qū)域的信息。
[0039]獲得第一臉部區(qū)域和第二臉部區(qū)域后，可通過自動輪廓提取方法分別獲得第一臉部輪廓和第二臉部輪廓。輪廓提取方法主要是提取人臉區(qū)域中包含五官及臉部的輪廓。例如采用T.F.Cootes提供的Active Shape Models方法提前臉部輪廓。采用Active ShapeModels方法提取第一臉部輪廓時，可標(biāo)出第一臉部輪廓區(qū)域中59個關(guān)鍵點。圖4是本發(fā)明一實施例中第一臉部輪廓中關(guān)鍵點效果圖，如圖4所示，藍(lán)色點即為關(guān)鍵點。獲得第一臉部輪廓和第二臉部輪廓后，
[0040]可采用編程語句(例如C語句等)分別獲得第一臉部輪廓中各個點的像素值和第二臉部輪廓中各個點的像素值。
[0041]其中，前景圖片和背景圖片可為彩色圖片，通過存儲圖片的像素值來存儲圖片的信息。在彩色圖片中，各個點的像素值通常采用紅綠藍(lán)的強度來表示，如，K點的像素值可以表示為(Rk，Gk, Bk)，其中，Rk, Gk, Bk均可以取O~255共256個值。
[0042]步驟12、根據(jù)所述第一臉部輪廓中各個點的像素值和所述第二臉部輪廓中各個點的像素值，得到顏色映射表。
[0043]為了使得第一臉部輪廓的顏色和第二臉部輪廓的顏色匹配，需要構(gòu)建顏色映射表。例如，分別計算所述第一臉部輪廓中顏色概率分布FbpFgi和Fri,以及分別計算所述第二臉部輪廓中顏色概率分布BbpBgi和Bri,依據(jù)如下公式:
[0044]
【權(quán)利要求】
1.一種圖像處理方法，其特征在于，包括: 從前景圖片中獲取第一臉部輪廓中各個點的像素值，從背景圖片中獲取第二臉部輪廓中各個點的像素值； 根據(jù)所述第一臉部輪廓中各個點的像素值和所述第二臉部輪廓中各個點的像素值，得到顏色映射表； 根據(jù)所述顏色映射表，將所述第一臉部輪廓修改為第三臉部輪廓，所述第三臉部輪廓與所述第二臉部輪廓的顏色相匹配； 在所述背景圖片中，使用所述第三臉部輪廓替換所述第二臉部輪廓。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一臉部輪廓中各個點的像素值和所述第二臉部輪廓中各個點的像素值，得到顏色映射表，包括: 分別計算所述第一臉部輪廓中顏色概率分布FbpFgi和Fri,以及分別計算所述第二臉部輪廓中顏色概率分布BbpBgi和Bri,依據(jù)如下公式:
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一臉部輪廓中和所述第二臉部輪廓中顏色概率分布，得到所述顏色映射表，包括: 依據(jù)如下公式分別計算藍(lán)色、綠色和紅色像素的顏色映射表匕、Gi和Ri: B^findFirstNotLessIndex (Bbj Fbi);
G^findFirstNotLessIndex (Bgj Fgi);
R^findFirstNotLessIndex (Br,Fri); 其中，Bb為Bbi構(gòu)成的數(shù)列，Bg為Bgi構(gòu)成的數(shù)列，Br為Bri構(gòu)成的數(shù)列，函數(shù)findFirstNotLessIndex (List,x)為從數(shù)列List中首項到尾項方向上第一個不小于x的項的序號，List為Bb、Bg或Br，對應(yīng)的，x為Fb^ Fgi或Fr”
4.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述根據(jù)所述顏色映射表，將所述第一臉部輪廓修改為所述第三臉部輪廓，包括: 根據(jù)顏色映射表，獲取所述第一臉部輪廓中各個點的像素值的映射值；用所述映射值替換所述第一臉部輪廓中各個點的像素值。
5.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述使用所述第三臉部輪廓替換所述第二臉部輪廓，包括: 采用三角剖分將所述第三臉部輪廓剖分為三角形區(qū)域的組合； 依據(jù)如下公式計算所述第三臉部輪廓區(qū)域內(nèi)每一點P的權(quán)重Wp:
6.一種圖像處理裝置，其特征在于，包括: 像素值獲取單元，用于從前景圖片中獲取第一臉部輪廓中各個點的像素值，從背景圖片中獲取第二臉部輪廓中各個 點的像素值； 顏色映射表得到單元，用于根據(jù)所述第一臉部輪廓中各個點的像素值和所述第二臉部輪廓中各個點的像素值，得到顏色映射表； 臉部輪廓修改單元，用于根據(jù)所述顏色映射表，將所述第一臉部輪廓修改為第三臉部輪廓，所述第三臉部輪廓與所述第二臉部輪廓的顏色相匹配； 臉部輪廓替換單元，用于在所述背景圖片中，使用第三臉部輪廓替換所述第二臉部輪廓。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述顏色映射表得到單元包括: 顏色概率分布計算子單元，用于分別計算所述第一臉部輪廓中顏色概率分布FbpFgi和Fri,以及分別計算所述第二臉部輪廓中顏色概率分布BbpBgi和Bri,依據(jù)如下公式:
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述顏色映射表獲得子單元具體用于依據(jù)如下公式分別計算藍(lán)色、綠色和紅色像素的顏色映射表Gi和Ri:
B^findFirstNotLessIndex (Bbj Fbi);
G^findFirstNotLessIndex (Bgj Fgi);
R^findFirstNotLessIndex (Br,Fri); 其中，Bb為Bbi構(gòu)成的數(shù)列，Bg為Bgi構(gòu)成的數(shù)列，Br為Bri構(gòu)成的數(shù)列，函數(shù)findFirstNotLess Index (List, x)為從數(shù)列List中首項到尾項方向上第一個不小于x的項的序號，List為Bb、Bg或Br，對應(yīng)的，x為Fb^ Fgi或Fr”
9.根據(jù)權(quán)利要求6-8任一項所述的裝置，其特征在于，所述臉部輪廓修改單元包括: 映射值獲得子單元，用于根據(jù)顏色映射表，獲取所述第一臉部輪廓中各個點的像素值的映射值； 像素值替換子單元，用于以所述映射值替換所述第一臉部輪廓中各個點的像素值。
10.根據(jù)權(quán)利要求6-8任一項所述的裝置，其特征在于，所述臉部輪廓替換單元包括: 輪廓剖分子單元，用于采用三角剖分將所述第三臉部輪廓剖分為三角形區(qū)域的組合； 權(quán)重計算子單元，用于計算所述第三臉部輪廓區(qū)域內(nèi)每一點P的權(quán)重Wp，依據(jù)如下公式:
【文檔編號】G06T3/40GK103810687SQ201410073290
【公開日】2014年5月21日 申請日期:2014年2月28日 優(yōu)先權(quán)日:2014年2月28日
【發(fā)明者】張斯聰, 邱鵬 申請人:北京京東尚科信息技術(shù)有限公司, 北京京東世紀(jì)貿(mào)易有限公司