基于單目攝像頭的虛擬穿戴方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理和虛擬穿戴技術(shù)領(lǐng)域，特別涉及一種基于單目攝像頭的虛擬穿戴方法及系統(tǒng)。
【背景技術(shù)】
[0002]目前國內(nèi)所有的做虛擬試衣間項目的技術(shù)公司都是基于微軟的Kinect來實現(xiàn)的PC(個人計算機)版本的虛擬試穿試戴技術(shù)。但是，目前人們對移動終端的使用頻率越來越高，還沒有出現(xiàn)一種可以適用于移動端的虛擬穿戴技術(shù)。
[0003]此外，現(xiàn)有的虛擬穿戴技中使用的人臉識別技術(shù)，采用常規(guī)人臉標(biāo)注點擬合算法比如ASM是求解全局標(biāo)注點的最優(yōu)解，在某些局部標(biāo)注點會出現(xiàn)定位不準(zhǔn)確或者錯誤。具體表現(xiàn)就是能識別臉部五官大體位置但在某些五官邊界判斷上和輸入有一定偏差。而且傳統(tǒng)方法在提高五官邊界擬合的精度時通常采用增加標(biāo)注點數(shù)量的方法。這種方法存在以下兩個問題:一是該方法提升的效率有限，二是會導(dǎo)致識別速度下降和訓(xùn)練成本上升。
[0004]并且，傳統(tǒng)的2D到3D的裁剪辦法是將3D模型渲染到一張紋理上，即3D模型2D柵格化，形成一張2D紋理。然后與通過面部構(gòu)邊算法所形成的測試紋理進(jìn)行2D紋理間的ALPHA測試，達(dá)到裁剪的目的。傳統(tǒng)方法設(shè)計復(fù)雜，效率低下，需要兩次以上的渲染流程，且會出現(xiàn)效果不一的紋理鋸齒。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的旨在至少解決所述技術(shù)缺陷之一。
[0006]為此，本發(fā)明的目的在于提出一種基于單目攝像頭的虛擬穿戴方法及系統(tǒng)，可以利用單目攝像頭采集包括人體圖像在內(nèi)的深度場景信息，通過人體骨骼定位、人臉識別技術(shù)和3D渲染技術(shù)，跨平臺實現(xiàn)實時渲染。
[0007]為了實現(xiàn)上述目的，本發(fā)明一方面的實施例提供一種基于單目攝像頭的虛擬穿戴方法，包括如下步驟:
[0008]步驟S1，利用單目攝像頭捕捉場景深度圖像，對所述場景深度圖像進(jìn)行人體骨骼定位，獲取所述用戶的頭部位置信息；
[0009]步驟S2，根據(jù)獲取的所述頭部位置信息，對人體面部特征進(jìn)行比對以判斷是否存在人臉，如果存在則結(jié)合預(yù)設(shè)人臉形狀模型和人臉紋理模型確定人臉區(qū)域，在所述人臉區(qū)域中提取人臉特征向量；
[0010]步驟S3，對所述人臉特征向量實時進(jìn)行3D渲染，繪制對應(yīng)的3D穿戴模型；
[0011]步驟S4，向所述用戶顯示所述3D穿戴模型中的人體與虛擬場景疊加形成的虛實結(jié)合影像。
[0012]進(jìn)一步，在所述步驟S1中，所述對場景深度圖像進(jìn)行人體骨骼定位，包括如下步驟:
[0013]從所述場景深度圖像中提取單幀深度圖像，將所述單幀深度圖像與預(yù)設(shè)的人體骨骼特征集進(jìn)行匹配，并在匹配成功后，計算人體的骨骼特征和人體中心位置向量；
[0014]根據(jù)所述人體的骨骼特征和人體中心位置向量獲取所述用戶的頭部位置信息。
[0015]進(jìn)一步，在所述步驟S2中，所述人體面部特征包括:膚色及面部幾何特征。
[0016]進(jìn)一步，在所述步驟S2中，所述確定人臉區(qū)域，包括如下步驟:將人臉圖像與預(yù)設(shè)人臉形狀模型和人臉紋理模型進(jìn)行匹配，獲取面部標(biāo)記點以確定人臉區(qū)域，
[0017]根據(jù)所述人臉區(qū)域計算所述面部標(biāo)記點變化姿態(tài)中的位移、轉(zhuǎn)動、尺寸變化的三維向量作為所述人臉特征向量。
[0018]進(jìn)一步，在所述步驟S3中，所述對所述人臉特征向量實時進(jìn)行3D渲染，包括如下步驟:
[0019]根據(jù)獲取的所述人臉區(qū)域，依次調(diào)整世界坐標(biāo)系、監(jiān)視矩陣和正交投影矩陣，繪制全透明遮擋模型；
[0020]調(diào)整Alpha混合因子，繪制所述3D穿戴模型。
[0021]本發(fā)明還提出一種基于單目攝像頭的虛擬穿戴系統(tǒng)，包括:單目攝像頭、控制裝置和顯示裝置，其中，所述單目攝像頭用于捕捉場景深度圖像，并將所述場景深度圖像發(fā)送至所述控制裝置；所述控制裝置用于對所述場景深度圖像進(jìn)行人體骨骼定位，獲取所述用戶的頭部位置信息，并根據(jù)所述頭部位置信息對人體面部特征進(jìn)行比對以判斷是否存在人臉，如果存在則結(jié)合預(yù)設(shè)人臉形狀模型和人臉紋理模型確定人臉區(qū)域，在所述人臉區(qū)域中提取人臉特征向量，再對所述人臉特征向量實時進(jìn)行3D渲染，繪制對應(yīng)的3D穿戴模型；所述顯示裝置用于向所述用戶顯示所述3D穿戴模型中的人體與虛擬場景疊加形成的虛實結(jié)合影像。
[0022]進(jìn)一步，所述控制裝置從所述場景深度圖像中提取單幀深度圖像，將所述單幀深度圖像與預(yù)設(shè)的人體骨骼特征集進(jìn)行匹配，并在匹配成功后，計算人體的骨骼特征和人體中心位置向量，進(jìn)而獲取所述用戶的頭部位置信息。
[0023]進(jìn)一步，所述人體面部特征包括:膚色及面部幾何特征。
[0024]進(jìn)一步，所述控制裝置用于將人臉圖像與預(yù)設(shè)人臉形狀模型和人臉紋理模型進(jìn)行匹配，獲取面部標(biāo)記點以確定人臉區(qū)域，根據(jù)所述人臉區(qū)域計算所述面部標(biāo)記點變化姿態(tài)中的位移、轉(zhuǎn)動、尺寸變化的三維向量作為所述人臉特征向量。
[0025]進(jìn)一步，所述控制裝置用于根據(jù)獲取的所述人臉區(qū)域，依次調(diào)整世界坐標(biāo)系、監(jiān)視矩陣和正交投影矩陣，繪制全透明遮擋模型，調(diào)整Alpha混合因子，繪制所述3D穿戴模型。
[0026]根據(jù)本發(fā)明實施例的基于單目攝像頭的虛擬穿戴方法及系統(tǒng)，利用單目攝像頭采集包括人體圖像在內(nèi)的深度場景信息，通過人體骨骼定位、人臉識別技術(shù)和3D渲染技術(shù)，跨平臺實現(xiàn)實時渲染，將人體與虛擬場景進(jìn)行疊加，形成虛實結(jié)合圖像，從而可以提升用戶在服飾網(wǎng)購的體驗度，用戶在線選購服飾類產(chǎn)品的時候，可以實現(xiàn)如同現(xiàn)實中照鏡子一樣的在線進(jìn)行試穿試戴效果，可以很好的看到顏色和款式適不適合自己，完美的解決了網(wǎng)購中“我”穿的好不好看的問題。方法提升的效率有限，二是會導(dǎo)致識別速度下降和訓(xùn)練成本上升。并且，本發(fā)明運用2D影像裁剪3D模型的方法，實現(xiàn)自身遮擋，從而全面展示穿戴后的效果，整個過程簡單高效，單次成像，不會出現(xiàn)紋理鋸齒。
[0027]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0028]本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中:
[0029]圖1為根據(jù)本發(fā)明實施例的基于單目攝像頭的虛擬穿戴方法的流程圖；
[0030]圖2為根據(jù)本發(fā)明實施例的人體識別的流程圖；
[0031]圖3為根據(jù)本發(fā)明實施例的人體骨骼篩選和面部定位的流程圖；
[0032]圖4為根據(jù)本發(fā)明實施例的面部識別的流程圖；
[0033]圖5為根據(jù)本發(fā)明實施例的五官精準(zhǔn)擬合的流程圖；
[0034]圖6為根據(jù)本發(fā)明實施例的運用2D影像裁剪3D模型的流程圖；
[0035]圖7為根據(jù)本發(fā)明實施例的3D模型姿態(tài)控制和渲染的流程圖；
[0036]圖8為根據(jù)本發(fā)明實施例的單目攝像頭下的虛擬試穿試戴的流程圖；
[0037]圖9為根據(jù)本發(fā)明一個實施例的基于單目攝像頭的虛擬穿戴方法的具體流程圖；
[0038]圖10為根據(jù)本發(fā)明另一個實施例的基于單目攝像頭的虛擬穿戴方法的具體流程圖；
[0039]圖11為根據(jù)本發(fā)明實施例的基于單目攝像頭的虛擬穿戴系統(tǒng)的結(jié)構(gòu)圖。
【具體實施方式】
[0040]下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0041]如圖1所示，本發(fā)明實施例的基于單目攝像頭的虛擬穿戴方法，包括如下步驟:
[0042]步驟S1，利用單目攝像頭捕捉場景深度圖像，對該場景深度圖像進(jìn)行人體骨骼定位，獲取用戶的頭部位置信息。
[0043]在本發(fā)明的實施例中，對場景深度圖像進(jìn)行人體骨骼定位，包括如下步驟:
[0044]從場景深度圖像中提取單幀深度圖像，將單幀深度圖像與預(yù)設(shè)的人體骨骼特征集進(jìn)行匹配，并在匹配成功后，計算人體的骨骼特征和人體中心位置向量。然后根據(jù)人體的骨骼特征和人體中心位置向量獲取用戶的頭部位置信息。
[0045]圖2為根據(jù)本發(fā)明實施例的人體識別的流程圖。
[0046]步驟S201，開始錄制。
[0047]步驟S202，捕捉深度圖像信息。
[0048]從單目攝像頭錄制的圖像中，獲取場景深度圖像。
[0049]步驟S203，結(jié)束錄制。
[0050]步驟S204，獲取深度特征。
[0051]從場景深度圖像中提取單幀深度圖像，獲取深度特征。
[0052]步驟S205，輸入深度特征數(shù)據(jù)集。
[0053]其中，該深度特征數(shù)據(jù)集即為人體骨骼特征集。
[0054]具體地，預(yù)定義多套人體部位與姿勢的深度圖像局域梯度特征表，制定該特征表時，用28維特征向量來描述人體共20根骨骼的關(guān)鍵點。
[0055]步驟S206，開始特征匹配。
[0056]將深度特征與人體骨骼特征進(jìn)行匹配。
[0057]步驟S207，結(jié)束特征匹配。
[0058]步驟S208，判斷是否匹配成功后，如果是，則執(zhí)行步驟S209和S210，否則執(zhí)行步驟S204。
[0059]步驟S209，獲取人體中心位置向量。
[0060]步驟S210，獲取人體骨骼點。
[0061]對提取的單幀深度圖像進(jìn)行子集查表，從而計算出人體包括頭部的骨骼特征以及人體中心位