一種二維人臉關(guān)鍵特征點(diǎn)定位方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種二維人臉關(guān)鍵特征點(diǎn)定位方法及系統(tǒng)。
【背景技術(shù)】
[0002]目前，在大多數(shù)的人機(jī)交互應(yīng)用中，需要對人臉進(jìn)行定位，進(jìn)而進(jìn)行人臉識別、表情分析、年齡估計等進(jìn)一步的分析應(yīng)用。定位人臉時需要對圖像中的人臉關(guān)鍵特征點(diǎn)位置進(jìn)行定位，即確定人臉上眼角、眼中心、眉毛、鼻子、嘴角等的位置。
[0003]從圖像的類型來分，人臉關(guān)鍵特征點(diǎn)定位有基于二維人臉圖像(亮度圖像)的定位方法和基于三維人臉圖像(深度圖像)的定位方法。二維人臉圖像的像素表示的是亮度，例如普通照相機(jī)拍出來的圖像就是二維人臉圖像，如圖1a所示。三維人臉圖像的每個像素值表示的則不是亮度，而是物體距離照相機(jī)的距離，如圖1b所示。
[0004]基于二維人臉圖像的方法只能根據(jù)人臉圖像的顏色變化來定位人臉上的關(guān)鍵特征點(diǎn)，對于正面人臉能得到相對比較好的結(jié)果，但是如果人臉是側(cè)臉或者低頭等大角度姿態(tài)，部分人臉信息會被遮擋(例如，側(cè)臉圖像只能看到一只眼睛，另一只眼睛被遮擋)，則很難獲得高精度的關(guān)鍵特征點(diǎn)定位。此外，不同的人臉型不同，僅靠二維信息很難判斷出人的臉型，所有的人臉都使用同樣一個人臉模型會導(dǎo)致關(guān)鍵特征點(diǎn)定位難以達(dá)到較高的精度。
[0005]基于三維人臉圖像的人臉關(guān)鍵特征點(diǎn)定位能判斷出人臉曲面的變化，精確獲得人臉的三維結(jié)構(gòu)，但是三維人臉圖像沒有二維人臉圖像里豐富的紋理信息，精度定位依然存在困難。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實(shí)施例的目的在于提供一種二維人臉關(guān)鍵特征點(diǎn)定位方法及系統(tǒng)，旨在解決由于現(xiàn)有技術(shù)無法提供一種人臉關(guān)鍵特征點(diǎn)定位方法，導(dǎo)致人臉關(guān)鍵特征點(diǎn)定位精確較低的問題。
[0007]本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種二維人臉關(guān)鍵特征點(diǎn)定位方法，所述方法包括下述步驟:
[0008]a)、接收輸入的二維人臉圖像，使用預(yù)設(shè)的人臉關(guān)鍵特征點(diǎn)獲取算法獲取人臉關(guān)鍵特征點(diǎn)的二維位置坐標(biāo)，將所述二維位置坐標(biāo)輸入到預(yù)先建立的特征點(diǎn)維度轉(zhuǎn)換模型；
[0009]b)、通過所述特征點(diǎn)維度轉(zhuǎn)換模型計算所述二維位置坐標(biāo)對應(yīng)的人臉關(guān)鍵特征點(diǎn)的三維位置坐標(biāo)；
[0010]C)、將所述三維位置坐標(biāo)投影到所述二維人臉圖像上，獲取所述三維位置在所述二維人臉圖像上的估計坐標(biāo)；
[0011]d)、通過所述估計坐標(biāo)和所述二維位置坐標(biāo)計算所述人臉關(guān)鍵特征點(diǎn)的定位精度；
[0012]e)、當(dāng)所述定位精度小于一預(yù)設(shè)閾值時，將所述二維位置坐標(biāo)在所述二維人臉圖像中對應(yīng)的像素點(diǎn)設(shè)置為所述二維人臉圖像的人臉關(guān)鍵特征點(diǎn)。
[0013]本發(fā)明實(shí)施例的另一目的在于提供一種二維人臉關(guān)鍵特征點(diǎn)定位系統(tǒng)，所述系統(tǒng)包括:
[0014]關(guān)鍵點(diǎn)二維坐標(biāo)獲取單元，用于接收輸入的二維人臉圖像，使用預(yù)設(shè)的人臉關(guān)鍵特征點(diǎn)獲取算法獲取人臉關(guān)鍵特征點(diǎn)的二維位置坐標(biāo)，將所述二維位置坐標(biāo)輸入到預(yù)先建立的特征點(diǎn)維度轉(zhuǎn)換模型；
[0015]關(guān)鍵點(diǎn)三維坐標(biāo)計算單元，用于通過所述特征點(diǎn)維度轉(zhuǎn)換模型計算所述二維位置坐標(biāo)對應(yīng)的人臉關(guān)鍵特征點(diǎn)的三維位置坐標(biāo)；
[0016]二維估計坐標(biāo)獲取單元，用于將所述三維位置坐標(biāo)投影到所述二維人臉圖像上，獲取所述三維位置在所述二維人臉圖像上的估計坐標(biāo)；
[0017]定位精度計算單元，用于通過所述估計坐標(biāo)和所述二維位置坐標(biāo)計算所述人臉關(guān)鍵特征點(diǎn)的定位精度；以及
[0018]特征點(diǎn)設(shè)置單元，用于當(dāng)所述定位精度小于一預(yù)設(shè)閾值時，將所述二維位置坐標(biāo)在所述二維人臉圖像中對應(yīng)的像素點(diǎn)設(shè)置為所述二維人臉圖像的人臉關(guān)鍵特征點(diǎn)。
[0019]在本發(fā)明實(shí)施例中，通過預(yù)先建立的特征點(diǎn)維度轉(zhuǎn)換模型計算人臉關(guān)鍵特征點(diǎn)的三維位置坐標(biāo)，利用該三維位置坐標(biāo)對人臉關(guān)鍵特征點(diǎn)的二維位置坐標(biāo)對坐標(biāo)精確度進(jìn)行判斷，當(dāng)定位精度小于一預(yù)設(shè)閾值時，將二維位置坐標(biāo)在二維人臉圖像中對應(yīng)的像素點(diǎn)設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點(diǎn)，從而結(jié)合二維人臉圖像和三維人臉圖像中的人臉關(guān)鍵特征點(diǎn)確定最終的人臉關(guān)鍵特征點(diǎn)，實(shí)現(xiàn)對人臉關(guān)鍵特征點(diǎn)的精確定位。
【附圖說明】
[0020]圖1a是二維人臉圖像的示意圖；
[0021]圖1b是人臉深度圖像的示意圖；
[0022]圖2是本發(fā)明實(shí)施例一提供的二維人臉關(guān)鍵特征點(diǎn)定位方法的實(shí)現(xiàn)流程圖；
[0023]圖3是本發(fā)明實(shí)施例二提供的二維人臉關(guān)鍵特征點(diǎn)定位方法的實(shí)現(xiàn)流程圖；
[0024]圖4是本發(fā)明實(shí)施例三提供的二維人臉關(guān)鍵特征點(diǎn)定位系統(tǒng)的結(jié)構(gòu)圖；以及；
[0025]圖5是本發(fā)明實(shí)施例四提供的二維人臉關(guān)鍵特征點(diǎn)定位系統(tǒng)的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0026]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0027]以下結(jié)合具體實(shí)施例對本發(fā)明的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述:
[0028]實(shí)施例一:
[0029]圖2示出了本發(fā)明實(shí)施例一提供的二維人臉關(guān)鍵特征點(diǎn)定位方法的實(shí)現(xiàn)流程，詳述如下:
[0030]在步驟S201中，接收輸入的二維人臉圖像，使用預(yù)設(shè)的人臉關(guān)鍵特征點(diǎn)獲取算法獲取人臉關(guān)鍵特征點(diǎn)的二維位置坐標(biāo)，將二維位置坐標(biāo)輸入到預(yù)先建立的特征點(diǎn)維度轉(zhuǎn)換模型。
[0031]在本發(fā)明實(shí)施例中，首先使用預(yù)設(shè)的人臉關(guān)鍵特征點(diǎn)獲取算法獲取人臉關(guān)鍵特征點(diǎn)的二維位置坐標(biāo)，即人臉關(guān)鍵特征點(diǎn)的初始二維位置坐標(biāo)，其中，人臉關(guān)鍵特征點(diǎn)獲取算法可以是主動形狀模型(Active Shape Mode，ASM)，也可以是隨機(jī)森林分類器等。
[0032]在本發(fā)明實(shí)施例中，需要預(yù)先建立特征點(diǎn)維度轉(zhuǎn)換模型，以建立二維人臉圖像和其對應(yīng)的三維人臉圖像中的人臉關(guān)鍵特征點(diǎn)之間的對應(yīng)關(guān)系，從而利用三維人臉圖像中的人臉關(guān)鍵特征點(diǎn)確定二維人臉圖像中的人臉關(guān)鍵特征點(diǎn)的定位精度。在建立特征點(diǎn)維度轉(zhuǎn)換模型時，首先采集多個人臉的二維人臉圖像和對應(yīng)的三維人臉圖像(訓(xùn)練樣本)，并對應(yīng)標(biāo)注出二維人臉圖像和對應(yīng)三維人臉圖像中的人臉關(guān)鍵特征點(diǎn)，以二維人臉圖像和三維人臉圖像中的人臉關(guān)鍵特征點(diǎn)的坐標(biāo)作為輸入，構(gòu)建出一特征點(diǎn)維度轉(zhuǎn)換模型X = f(u)，其中，U為二維人臉圖像中人臉關(guān)鍵特征點(diǎn)的坐標(biāo)，X為三維人臉圖像中人臉關(guān)鍵特征點(diǎn)的坐標(biāo)。優(yōu)選地，X = f (U)表示為 X = MU，其中，X = (X1, Y1, Z1, X2, y2, z2,…，xn, yn, zn)，(Xi, y” Zi)T是第i個關(guān)鍵點(diǎn)的三維坐標(biāo)，U= (U1, V1, u2, v2,…，un, vn)T，(Ui, Vi)是第i個關(guān)鍵點(diǎn)的二維坐標(biāo)，M為預(yù)設(shè)的一 3nX2n的矩陣。當(dāng)然，X = f (U)除了可以是如前所述的X = MU線性模型，還可以是其他模型，如支持向量機(jī)模型、神經(jīng)網(wǎng)絡(luò)模型等。
[0033]在本發(fā)明實(shí)施例中，通過轉(zhuǎn)換矩陣M將人臉關(guān)鍵特征點(diǎn)的三維位置坐標(biāo)和二維位置坐標(biāo)結(jié)合起來，為實(shí)現(xiàn)對人臉關(guān)鍵特征點(diǎn)的精確定位提供了基礎(chǔ)。
[0034]在步驟S202中，通過特征點(diǎn)維度轉(zhuǎn)換模型計算二維位置坐標(biāo)對應(yīng)的人臉關(guān)鍵特征點(diǎn)的三維位置坐標(biāo)。
[0035]在步驟S203中，將三維位置坐標(biāo)投影到二維人臉圖像上，獲取三維位置在二維人臉圖像上的估計坐標(biāo)。
[0036]在本發(fā)明實(shí)施例中，將計算得到的三維位置坐標(biāo)投影到二維人臉圖像，具體地，投影時可采用通用的相機(jī)成像模型，以簡化三維位置坐標(biāo)到二維人臉圖像中二維位置估計坐標(biāo)的轉(zhuǎn)換，提尚定位速度。
[0037]在步驟S204中，通過估計坐標(biāo)和二維位置坐標(biāo)計算人臉關(guān)鍵特征點(diǎn)的定位精度。
[0038]在本發(fā)明實(shí)施例中，優(yōu)選地，可通過計算每兩個最接近的坐標(biāo)的距離來計算定位精度，從而簡化定位精度計算復(fù)雜度，進(jìn)一步提高定位速度。當(dāng)然，也可以采用其他方式確定定位精度。
[0039]在步驟S205中，當(dāng)定位精度小于一預(yù)設(shè)閾值時，將二維位置坐標(biāo)在二維人臉圖像中對應(yīng)的像素點(diǎn)設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點(diǎn)。
[0040]在本發(fā)明實(shí)施中，可預(yù)設(shè)一預(yù)設(shè)閾值，以根據(jù)不同應(yīng)用情景要求，設(shè)置對應(yīng)的定位精度。當(dāng)定位精度小于該預(yù)設(shè)閾值時，將二維位置坐標(biāo)在二維人臉圖像中對應(yīng)的像素點(diǎn)設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點(diǎn)，從而完成二維人臉圖像的人臉關(guān)鍵特征點(diǎn)的定位。
[0041]在本發(fā)明實(shí)施例中，利用三維位置坐標(biāo)對人臉關(guān)鍵特征點(diǎn)的二維位置坐標(biāo)進(jìn)行的準(zhǔn)確度進(jìn)行判斷，當(dāng)定位精度小于一預(yù)設(shè)閾值時，將二維位置坐標(biāo)在二維人臉圖像中對應(yīng)的像素點(diǎn)設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點(diǎn)，從而結(jié)合二維人臉圖像和三維人臉圖像中的人臉關(guān)鍵特征點(diǎn)確定最終的人臉關(guān)鍵特征點(diǎn)，實(shí)現(xiàn)對人臉關(guān)鍵特征點(diǎn)的精確定位。
[0042]實(shí)施例二:
[0043]圖3示出了本發(fā)明實(shí)施例二提供的語音會議會場建立方法的實(shí)現(xiàn)流程，詳述如下:
[0044]在步驟S301中，接收輸入的二維人臉圖像，使用預(yù)設(shè)的人臉關(guān)鍵特征點(diǎn)獲取算法獲取人臉關(guān)鍵特征點(diǎn)的二維位置坐標(biāo)，將二維位置坐標(biāo)輸入到預(yù)先建立的特征點(diǎn)維度轉(zhuǎn)換模型。
[0045]在步驟S302中，通過特征點(diǎn)維度轉(zhuǎn)換模型計算二維位置坐標(biāo)對應(yīng)的人臉關(guān)鍵特征點(diǎn)的三維位置坐標(biāo)。
[0046]在步驟S303中，將三維位置坐標(biāo)投影到二維人臉圖像上，獲取三維位置在所述二維人臉圖像上的估計坐標(biāo)。
[0047]在步驟S304中，通過估計坐標(biāo)和二維位置坐標(biāo)計算人臉關(guān)鍵特征點(diǎn)的定位精度。
[0048]在本發(fā)明實(shí)施例中，步驟S301至S304與實(shí)施例一中的步驟S201至204對應(yīng)相同，在此不再贅述。
[0049]在步驟S305中，判斷計算得到的定位精度是否小于一預(yù)設(shè)閾值，是則跳轉(zhuǎn)至步驟S306，否則跳轉(zhuǎn)至步驟S307。
[0050]在步驟S306中，當(dāng)定位精度小于該預(yù)設(shè)閾值時，將二維位置坐標(biāo)在二維人臉圖像中對應(yīng)的像素點(diǎn)設(shè)置為二維人臉圖像的人臉關(guān)鍵特征點(diǎn)。
[0051]在步驟S307中，當(dāng)定位精度不小于該預(yù)設(shè)閾值時，將估計