基于人臉特征點(diǎn)的實(shí)時(shí)視頻人臉卡通化生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理和計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體地說，是對(duì)實(shí)時(shí)輸入的攝像頭 視頻信息進(jìn)行處理，生成相應(yīng)的卡通動(dòng)畫的方法。
【背景技術(shù)】
[0002] 目前視頻人臉卡通動(dòng)畫生成方法主要有基于視頻流的方法，基于素材重用的方 法，物理模型方法，行為驅(qū)動(dòng)方法。
[0003] 基于視頻流的方法可分為：直接卡通繪制、視頻信息提取繪制、表情驅(qū)動(dòng)繪制。直 接卡通繪制是依次將視頻流的內(nèi)容通過圖像處理，得到某種特定藝術(shù)風(fēng)格的卡通圖片序 列，這種方法未對(duì)視頻幀與幀之間十分相關(guān)的信息進(jìn)行利用，冗余度很大，對(duì)單幅圖的處理 時(shí)間有很高的要求，因此，對(duì)精細(xì)、復(fù)雜的處理不能達(dá)到較好的實(shí)時(shí)性要求。視頻信息提取 繪制對(duì)視頻流中有用的信息進(jìn)行了參考，其中，關(guān)鍵幀插值方法是獲取所需要的最有代表 性的關(guān)鍵幀，并對(duì)其進(jìn)行處理得到對(duì)應(yīng)的卡通圖像，然后在關(guān)鍵幀之間進(jìn)行插值，得到中間 時(shí)刻的相應(yīng)卡通圖像，該算法的局限性很強(qiáng)，魯棒性較差，只能針對(duì)同一個(gè)人的一類視頻， 對(duì)關(guān)鍵幀的得到也是一個(gè)難點(diǎn)。表情驅(qū)動(dòng)繪制是利用一些繪畫圖片以及有限的參數(shù)來描述 特定的人臉及表情，然后通過視頻信息記錄中人臉部表情的變化來驅(qū)動(dòng)卡通圖像，形成一 個(gè)動(dòng)畫序列，因?yàn)槟槻勘砬樽兓潜容^細(xì)微的運(yùn)動(dòng)，因此，這種方法對(duì)人臉部表情變化的追 綜有很尚的要求。
[0004] 基于素材重用的方法是將以往積累的大量動(dòng)畫素材進(jìn)行提取，得到運(yùn)動(dòng)信息、內(nèi) 容信息、紋理信息等，然后應(yīng)用到新的卡通動(dòng)畫中，這種技術(shù)關(guān)鍵在于尋找有相似規(guī)律的動(dòng) 畫素材，以便將素材里的規(guī)律運(yùn)用到新的卡通中，有很大的局限性，另外，對(duì)于攝像頭的輸 入有不可預(yù)測(cè)性，這個(gè)方法是不太合適的。
[0005] 基于物理模型的動(dòng)畫是將人臉視為一個(gè)可變型的彈性體，由彈性矢量單元將人臉 的皮膚層、軟組織、肌肉層和骨骼層的各個(gè)節(jié)點(diǎn)鏈接起來，將這些彈性矢量單以不同的方式 組合在一起，就形成可以發(fā)生形變的曲線和可以發(fā)生形變的曲面，然后利用物理模型的方 法模擬肌肉的運(yùn)動(dòng)，通常是采用Newtonian運(yùn)動(dòng)方程來模擬人臉的肌肉運(yùn)動(dòng)。該方法使人 臉表情動(dòng)畫更具有真實(shí)性，但是人臉模型很復(fù)雜，計(jì)算量相當(dāng)?shù)拇?，不適用于實(shí)時(shí)處理。
[0006] 行為驅(qū)動(dòng)方法是指通過運(yùn)動(dòng)捕捉設(shè)備，獲取視頻攝像頭拍攝的人臉運(yùn)動(dòng)的數(shù)據(jù)， 然后用這些運(yùn)動(dòng)數(shù)據(jù)控制計(jì)算機(jī)生成虛擬的人臉表情運(yùn)動(dòng)。為了更好的獲取人臉表情變化 的數(shù)據(jù)，可以在待跟蹤的人臉上選取特征點(diǎn)，通過對(duì)特征點(diǎn)的跟蹤來記錄人臉的運(yùn)動(dòng)數(shù)據(jù)。 根據(jù)數(shù)據(jù)的變化對(duì)卡通圖像進(jìn)行相應(yīng)的處理形成卡通動(dòng)畫?，F(xiàn)有的光流法對(duì)特征點(diǎn)的跟蹤 準(zhǔn)確度不高，對(duì)光照十分敏感，尤其當(dāng)特征點(diǎn)附近的紋理復(fù)雜時(shí)容易產(chǎn)生漂移，使人臉表情 變化的數(shù)據(jù)產(chǎn)生錯(cuò)誤，從而導(dǎo)致卡通人臉的變化與真實(shí)人臉的表情變化不一致。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的發(fā)明目的在于：針對(duì)上述存在的問題，提供一種基于人臉特征點(diǎn)的實(shí)時(shí) 視頻人臉卡通化生成方法。
[0008] 本發(fā)明的基于人臉特征點(diǎn)的實(shí)時(shí)視頻人臉卡通化生成方法包括下列步驟：
[0009] 步驟1 :從輸入視頻選擇一幀正面中性表情圖像作為參考幀，對(duì)參考幀進(jìn)行人臉 卡通化處理并保存參考幀的卡通眼睛、卡通眉毛、卡通鼻子以及包含頭發(fā)的面部輪廓的卡 通面部輪廓；
[0010] 步驟2 :基于視頻幀的人臉特征點(diǎn)，提取參考幀與視頻幀的人臉變化量并進(jìn)行歸 一化處理，查找與參考幀的人臉變化量滿足變化閾值的輸入視頻幀作為卡通視頻的起始 幀；
[0011] 步驟3 :對(duì)起始幀及起始幀的后續(xù)幀進(jìn)行視頻卡通生成：
[0012] 將參考幀的卡通面部輪廓作為當(dāng)前幀的卡通面部輪廓；
[0013] 將參考幀的卡通鼻子作為當(dāng)前幀的卡通鼻子；
[0014] 基于視頻幀的人臉特征點(diǎn)，分別計(jì)算當(dāng)前幀與起始幀的眼睛高度并進(jìn)行歸一 化處理，基于當(dāng)前幀的眼睛高度T與參考幀的眼睛高度V的比值a得到仿射變換矩陣
基于仿射變換矩陣W對(duì)參考幀的卡通眼睛進(jìn)行仿射變化得到當(dāng)前幀的卡 通眼睛；
[0015] 將參考幀的卡通眉毛作為當(dāng)前幀的卡通眉毛，取參考幀的卡通眉毛與卡通眼睛的 豎直距離并記為L(zhǎng)，當(dāng)前幀的眼睛高度T與參考幀的眼睛高度V的差記為M，若M大于零，則 當(dāng)前幀的卡通眉毛與卡通眼睛的豎直距離設(shè)置為：L+K*M，其中預(yù)設(shè)值K大于或等于1 ;否 貝1J，當(dāng)前幀的卡通眉毛與卡通眼睛的豎直距離設(shè)置為L(zhǎng) ;
[0016] 基于當(dāng)前幀的人臉特征點(diǎn)，對(duì)嘴巴特征點(diǎn)進(jìn)行多邊形擬合，得到當(dāng)前幀的卡通嘴 巴；
[0017] 基于當(dāng)前幀的人臉特征點(diǎn)的位置，以鼻子上的點(diǎn)為參考點(diǎn)，將當(dāng)前幀的卡通面部 輪廓、卡通鼻子、卡通眉毛、卡通眼睛、卡通嘴巴放到相應(yīng)位置，得到當(dāng)前幀的卡通幀。
[0018] 綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：提供了一種視頻人 臉卡通化方法，此方法生成的卡通視頻效果較好，滿足視頻的實(shí)時(shí)要求，對(duì)操作環(huán)境要求簡(jiǎn) 單。【附圖說明】
[0019] 圖1 :【具體實(shí)施方式】的流程示意圖；
[0020] 圖2 :對(duì)參考幀的剪裁流程不意圖；
[0021] 圖3 :查找卡通視頻的起始幀的流程示意圖。
【具體實(shí)施方式】
[0022] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合實(shí)施方式和附圖，對(duì)本發(fā) 明作進(jìn)一步地詳細(xì)描述。
[0023] 參見圖1，本發(fā)明的基于人臉特征點(diǎn)的實(shí)時(shí)視頻人臉卡通生成方法包括下列步 驟：
[0024] 步驟1 :開啟視頻采集設(shè)備，如開啟視頻或攝像頭；
[0025] 步驟2 :暫停視頻幀，對(duì)輸入的視頻截取一幀正面中性表情圖像，并將該視頻幀定 義為參考幀。為了更好的支持后續(xù)處理，所截取的正面中性表情圖像的人臉最好無遮擋。
[0026] 步驟3 :對(duì)所截取的圖像自動(dòng)剪裁得到適合處理的人臉圖像并進(jìn)行卡通化，得到 具有某種藝術(shù)風(fēng)格的卡通人臉C，此過程可通過樣本學(xué)習(xí)實(shí)現(xiàn)或其他慣用處理方式。同時(shí)保 存參考幀包含頭發(fā)的面部輪廓卡通面部輪廓、卡通眼睛、卡通眉毛、卡通鼻子。
[0027] 結(jié)合本專利實(shí)時(shí)性的要求，在確定視頻幀的人臉特征點(diǎn)時(shí)，可選擇ERT (Ensemble of Regression Trees)方法得到各幀的人臉特征點(diǎn)，同時(shí)對(duì)視頻進(jìn)行下采樣，以再次提高 處理速度，減少此過程中的時(shí)間開銷。如對(duì)參考幀進(jìn)行卡通化處理時(shí)，參考圖2,首先用ERT 方法進(jìn)行人臉特征點(diǎn)定位，然后再計(jì)算兩眼坐標(biāo)，基于眼睛坐標(biāo)按一定比例裁剪出需要處 理的人臉圖像后，再基于預(yù)設(shè)尺寸進(jìn)行上/下采樣至所預(yù)設(shè)尺寸，如250*300大小。
[0028] 步驟4 :相似幀查找。由于完成步驟1所花費(fèi)的時(shí)間是秒級(jí)別的，這個(gè)時(shí)候攝像頭 輸入的圖像與參考幀相比可能已經(jīng)有了很大的差別，而卡通視頻開始的圖像依然是和參考 幀相對(duì)應(yīng)的卡通人臉C。為了保證人臉視頻卡通化的連貫性和準(zhǔn)確性，要求視頻卡通化開始 時(shí)的人的表情、姿態(tài)和位置要和步驟1中盡可能相似。在以人臉為研究對(duì)像時(shí)，判斷兩幀圖 像是否相似重點(diǎn)在于對(duì)變化較大的五官的分析，因此，可通過人臉特征點(diǎn)得到描述人臉變 化的主要因素：頭部偏移角度（描述頭部正不正）、上下眼框高度（描述眼睛睜開程度）、嘴 唇高度（描述嘴巴張開程度）等?？紤]到頭部和攝像頭之間的距離會(huì)對(duì)這些絕對(duì)變化量有 影響，因此可引入一個(gè)參考量對(duì)上述變化量進(jìn)行歸一化處理，該參考量選擇的標(biāo)準(zhǔn)是臉部 在做任何表情時(shí)都沒有太大的改變，在本【具體實(shí)施方式】中，所引入的參考量為根據(jù)參考幀 的人臉特征點(diǎn)所計(jì)算得到的人臉寬度。參考圖3,首先基于視頻幀的人臉特征點(diǎn)提取參考 幀、當(dāng)前