虛擬試戴方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明提供了一種虛擬試戴方法，其至少包括如下步驟：打開(kāi)攝像頭，實(shí)時(shí)獲取實(shí)景視頻信息；從實(shí)景視頻中檢測(cè)出人眼瞳孔；實(shí)時(shí)跟蹤已檢測(cè)到的瞳孔位置并獲取人眼瞳孔實(shí)時(shí)坐標(biāo)；將眼鏡模型和人眼瞳孔位置相融合，生成眼鏡試戴三維模型。與現(xiàn)有技術(shù)相比，與現(xiàn)有技術(shù)相比，本發(fā)明的虛擬試戴方法以及裝置至少具有以下優(yōu)點(diǎn)：在實(shí)際操作中操作人只需要打開(kāi)攝像頭讀入視頻即可，其余操作完全由計(jì)算機(jī)完成；操作人隨意移動(dòng)，眼鏡模型都可以緊貼眼睛，可以讓操作人從各個(gè)角度觀察眼鏡和眼睛之間的契合程度。
【專(zhuān)利說(shuō)明】虛擬試戴方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種計(jì)算機(jī)視覺(jué)【技術(shù)領(lǐng)域】，尤其涉及一種虛擬試戴方法及裝置。

【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)技術(shù)是一種綜合了圖像識(shí)別跟蹤、運(yùn)動(dòng)捕捉、虛擬現(xiàn)實(shí)等計(jì)算機(jī)學(xué)科技術(shù)，它是一種將聲音、動(dòng)畫(huà)、錄像、文字、模型圖像等虛擬信息，實(shí)時(shí)疊加顯示到真實(shí)場(chǎng)景中，并與現(xiàn)實(shí)物體或者使用者實(shí)現(xiàn)自然互動(dòng)的創(chuàng)新的人機(jī)交互的技術(shù)。
[0003]現(xiàn)有技術(shù)的虛擬試戴裝置分為如下兩種:
[0004]一種是以虛擬現(xiàn)實(shí)為支持技術(shù)，在已有模特照片或者在用戶上傳的照片上結(jié)合不同款式、尺寸的虛擬眼鏡模型，從而實(shí)現(xiàn)眼鏡試戴的效果。例如:在一種方法中，將拍攝的人臉圖像標(biāo)準(zhǔn)化，再通過(guò)鼠標(biāo)定位兩眼瞳孔，進(jìn)行眼鏡的虛擬試戴；然而，這種方法需要手動(dòng)標(biāo)記人眼瞳孔的位置，增加了用戶操作的復(fù)雜性，并且眼鏡試戴效果存在失真。在另一種方法中，需要用戶上傳人臉圖像，并選擇瞳距，從而實(shí)現(xiàn)眼鏡試戴；然而，這種方法是在靜態(tài)的二維人臉圖像上實(shí)現(xiàn)眼鏡試戴的，用戶只能看到自己試戴眼鏡的正面影像，而無(wú)法從左右側(cè)面來(lái)觀看自己試戴眼鏡的側(cè)面影像，其也無(wú)法隨著用戶臉部的移動(dòng)而移動(dòng)，所以造成合成影像不真實(shí)，不能表現(xiàn)出滿意的試戴體驗(yàn)。
[0005]另一種是以基于標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)為支持技術(shù)，它需要用戶在使用前，先下載具有標(biāo)識(shí)信息的模型，將模型進(jìn)行裁剪之后佩戴在臉上，通過(guò)視頻獲取和實(shí)景融合實(shí)現(xiàn)實(shí)時(shí)佩戴效果顯示的實(shí)景視頻信息。例如:中國(guó)專(zhuān)利申請(qǐng)CN103413229A提出一種試戴佩飾物的效果呈現(xiàn)方法及裝置，其根據(jù)佩飾物的標(biāo)識(shí)信息得到佩飾物圖片，再根據(jù)視頻中實(shí)時(shí)獲取用戶肢體圖像，確定佩戴位置后得到試戴效果圖像。然而，這種方法雖然能實(shí)現(xiàn)實(shí)時(shí)觀察的效果，但是因?yàn)樾枰螺d并裁剪具有標(biāo)識(shí)信息的模型，加大了使用的復(fù)雜性，并不實(shí)用。


【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問(wèn)題在于提供一種精確便捷的虛擬試戴方法以及裝置。
[0007]本發(fā)明提供了一種虛擬試戴方法，其至少包括如下步驟:打開(kāi)攝像頭，實(shí)時(shí)獲取實(shí)景視頻信息；從實(shí)景視頻中檢測(cè)出人眼瞳孔；實(shí)時(shí)跟蹤已檢測(cè)到的瞳孔位置并獲取人眼瞳孔實(shí)時(shí)坐標(biāo)；將眼鏡模型和人眼瞳孔位置相融合疊加。
[0008]較佳地，本發(fā)明的虛擬試戴方法通過(guò)采用Haar特征和ASEF算法分別獲得人眼的坐標(biāo)并進(jìn)行實(shí)時(shí)跟蹤，然后采用OpenGL將眼鏡模型準(zhǔn)確地加載到人眼中心位置，最終讓眼鏡模型和人眼瞳孔位置相融合，從而可以完成三維眼鏡的試戴。
[0009]本發(fā)明還提供一種虛擬試戴裝置，其包括光學(xué)攝像頭、主機(jī)和顯示屏，其中，所述光學(xué)攝像頭用于獲取實(shí)時(shí)視頻信息；所述主機(jī)用于完成如前所述虛擬試戴方法的瞳孔的檢測(cè)、人眼跟蹤和三維眼鏡的加載等操作；所述顯示屏用于顯示眼睛和眼鏡貼合后的圖像效果O
[0010]與現(xiàn)有技術(shù)相比，本發(fā)明的虛擬試戴方法以及裝置至少具有以下優(yōu)點(diǎn):
[0011]1、傻瓜式操作:在實(shí)際操作中操作人只需要打開(kāi)攝像頭讀入視頻即可，其余操作完全由計(jì)算機(jī)完成。
[0012]2、操作人隨意移動(dòng)，眼鏡模型都可以緊貼眼睛，可以讓操作人從各個(gè)角度觀察眼鏡和眼睛之間的契合程度。
[0013]以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)的說(shuō)明，以使本發(fā)明的特性和優(yōu)點(diǎn)更為明顯。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0014]圖1所示為本發(fā)明一個(gè)實(shí)施例的虛擬試戴方法的流程示意圖；
[0015]圖2所示為本發(fā)明另一個(gè)實(shí)施例的虛擬試戴方法的流程示意圖；
[0016]圖3所示為本發(fā)明一個(gè)實(shí)施例的虛擬試戴裝置的示意圖。

【具體實(shí)施方式】
[0017]以下將對(duì)本發(fā)明的實(shí)施例給出詳細(xì)的說(shuō)明。盡管本發(fā)明將結(jié)合一些【具體實(shí)施方式】進(jìn)行闡述和說(shuō)明，但需要注意的是本發(fā)明并不僅僅只局限于這些實(shí)施方式。相反，對(duì)本發(fā)明進(jìn)行的修改或者等同替換，均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
[0018]另外，為了更好的說(shuō)明本發(fā)明，在下文的【具體實(shí)施方式】中給出了眾多的具體細(xì)節(jié)。本領(lǐng)域技術(shù)人員將理解，沒(méi)有這些具體細(xì)節(jié)，本發(fā)明同樣可以實(shí)施。在另外一些實(shí)例中，對(duì)于大家熟知的方法、流程、元件和設(shè)備未作詳細(xì)描述，以便于凸顯本發(fā)明的主旨。
[0019]圖1所示為本發(fā)明一個(gè)實(shí)施例的虛擬試戴方法的流程示意圖。如圖所示，本實(shí)施例的虛擬試戴方法至少包括如下步驟:
[0020]步驟SI，實(shí)時(shí)獲取實(shí)景視頻信息；
[0021]步驟S2，從實(shí)景視頻中檢測(cè)出人眼瞳孔；
[0022]步驟S3，實(shí)時(shí)跟蹤已檢測(cè)到的瞳孔位置并獲取人眼瞳孔實(shí)時(shí)坐標(biāo)；
[0023]步驟S4，將眼鏡模型和人眼瞳孔位置相融合疊加。
[0024]也即本發(fā)明所提供的虛擬試戴方法利用圖像處理技術(shù)為終端設(shè)備在場(chǎng)景中獲取視頻圖像，并在所述場(chǎng)景中即時(shí)獲取的監(jiān)控視頻圖像中檢測(cè)運(yùn)動(dòng)目標(biāo)，在拍攝狀態(tài)下將眼鏡和現(xiàn)實(shí)影像用戶的面部圖像重疊，實(shí)現(xiàn)眼鏡的虛擬試戴。
[0025]圖2所示為本發(fā)明另一個(gè)實(shí)施例的虛擬試戴方法的流程示意圖。如圖所示，本實(shí)施例的虛擬試戴方法更詳細(xì)地包括如下步驟:
[0026]步驟S101,視頻加載。
[0027]步驟S102,用Haar特征檢測(cè)瞳孔。更詳細(xì)而言,本實(shí)施例中的這一步驟進(jìn)一步包括先定義標(biāo)示人眼區(qū)域；隨后，創(chuàng)建一灰度圖像，歸一化圖像亮度和增強(qiáng)對(duì)比度；最后，利用Haar特征檢測(cè)。
[0028]步驟S103，判斷是否檢測(cè)到瞳孔，若是，則進(jìn)至步驟S104，否則，繼續(xù)執(zhí)行步驟S102。更詳細(xì)而言，本實(shí)施例中的人眼檢測(cè)利用到眼睛的Haar特征進(jìn)行人眼檢測(cè)，Haar算子可以非常迅速地處理圖像和實(shí)現(xiàn)高檢測(cè)率。此外，檢測(cè)算法在提取人眼有效特征的過(guò)程中用到了 Adaboost算法,在Adaboost的基礎(chǔ)上,它還從一個(gè)更大的組合收益率非常有效的分類(lèi)器里選擇了少數(shù)關(guān)鍵視覺(jué)特性。
[0029]步驟S104，用ASEF算法得到人眼坐標(biāo)并進(jìn)行跟蹤。更詳細(xì)而言，本實(shí)施例中的這一步驟進(jìn)一步包括:先用ASEF算法獲取人眼瞳孔坐標(biāo)，再跟蹤人眼瞳孔位置。
[0030]步驟S105，將眼鏡模型添加到對(duì)應(yīng)空間坐標(biāo)處。也即先將眼鏡模型導(dǎo)入到OpenGL視場(chǎng)中；然后，由已得到的兩個(gè)人眼坐標(biāo)計(jì)算出人眼的中點(diǎn)坐標(biāo)；最終，采用glTranslatef函數(shù)將眼鏡的中點(diǎn)坐標(biāo)加載到人眼的中點(diǎn)坐標(biāo)上去，完成眼鏡模型和人眼瞳孔位置的融入口 ο
[0031]步驟S106，圖像調(diào)整及優(yōu)化。在一個(gè)較佳實(shí)施例中，使用ARToolKit進(jìn)行調(diào)整和優(yōu)化。
[0032]最后，本實(shí)施例的虛擬試戴方法還包括顯示合成圖像(未示出)。
[0033]圖3所示為本發(fā)明一個(gè)實(shí)施例的虛擬試戴裝置的示意圖。如圖所示，本實(shí)施例的虛擬試戴裝置包括光學(xué)攝像頭20、主機(jī)10和顯示屏30，其中，所述光學(xué)攝像頭20用于獲取實(shí)時(shí)視頻信息；所述主機(jī)10用于完成如前所述的瞳孔的檢測(cè)、人眼跟蹤和三維眼鏡的加載等操作；所述顯示屏30用于顯示眼睛和眼鏡貼合后的圖像效果。
[0034]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法所示的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。
[0035]另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。
[0036]綜上所述，本發(fā)明的虛擬試戴方法以及裝置通過(guò)采用Haar特征和ASEF算法分別獲得人眼的坐標(biāo)并進(jìn)行實(shí)時(shí)跟蹤，然后采用OpenGL將眼鏡模型準(zhǔn)確地加載到人眼中心位置，最終讓眼鏡模型和人眼瞳孔位置相融合疊加，從而可以完成三維眼鏡的試戴。
[0037]本發(fā)明實(shí)施例所涉及的終端設(shè)備包括個(gè)人臺(tái)式電腦和移動(dòng)終端(包括手機(jī)，個(gè)人平板電腦，pad等電子設(shè)備)。
[0038]本發(fā)明的虛擬試戴方法以及裝置可以輔助用戶進(jìn)行網(wǎng)購(gòu)、方便增強(qiáng)用戶在電子商務(wù)網(wǎng)站的購(gòu)物體驗(yàn)，以下列舉幾個(gè)實(shí)例進(jìn)行進(jìn)一步說(shuō)明:
[0039]1、網(wǎng)絡(luò)購(gòu)物
[0040]在網(wǎng)上商城、網(wǎng)店中，顧客可以在網(wǎng)站上提供的試戴區(qū)域進(jìn)行三維眼鏡的試戴，觀察眼鏡適合自己后再?zèng)Q定是否購(gòu)買(mǎi)。
[0041]2、實(shí)體店購(gòu)物
[0042]在實(shí)體購(gòu)物店中，每位顧客都要在營(yíng)業(yè)員的幫助下試戴各種眼鏡，如果在實(shí)體店提供的機(jī)器面前進(jìn)行三維眼鏡試戴，不僅節(jié)約時(shí)間還節(jié)約人力物力。
[0043]3、廣告購(gòu)物
[0044]用戶在生活環(huán)境中接受到的眼鏡銷(xiāo)售信息，如:報(bào)紙雜志中的廣告、電視廣告、網(wǎng)絡(luò)廣告、海報(bào)或宣傳單廣告、手機(jī)收到的廣告信息等。用戶可以根據(jù)廣告中提供的試戴途徑利用移動(dòng)設(shè)備上的應(yīng)用軟件進(jìn)行三維眼鏡的試戴。
[0045]上文【具體實(shí)施方式】和附圖僅為本發(fā)明之常用實(shí)施例。顯然，在不脫離權(quán)利要求書(shū)所界定的本發(fā)明精神和發(fā)明范圍的前提下可以有各種增補(bǔ)、修改和替換。本領(lǐng)域技術(shù)人員應(yīng)該理解，本發(fā)明在實(shí)際應(yīng)用中可根據(jù)具體的環(huán)境和工作要求在不背離發(fā)明準(zhǔn)則的前提下在形式、結(jié)構(gòu)、布局、比例、材料、元素、組件及其它方面有所變化。因此，在此披露之實(shí)施例僅用于說(shuō)明而非限制，本發(fā)明之范圍由后附權(quán)利要求及其合法等同物界定，而不限于此前之描述。
【權(quán)利要求】
1.一種虛擬試戴方法，其至少包括下列步驟: 步驟，1，實(shí)時(shí)獲取實(shí)景視頻信息； 步驟2，從實(shí)景視頻中檢測(cè)出人眼瞳孔； 步驟3，實(shí)時(shí)跟蹤已檢測(cè)到的瞳孔位置并獲取人眼瞳孔實(shí)時(shí)坐標(biāo)； 步驟4，將眼鏡模型和人眼瞳孔位置相融合疊加。
2.根據(jù)權(quán)利要求1所述的虛擬試戴方法，其特征在于，在所述步驟I中通過(guò)攝像頭實(shí)時(shí)獲取實(shí)景視頻信息。
3.根據(jù)權(quán)利要求1所述的虛擬試戴方法，其特征在于，在所述步驟2中通過(guò)Haar特征檢測(cè)瞳孔。
4.根據(jù)權(quán)利要求3所述的虛擬試戴方法，其特征在于，所述步驟2進(jìn)一步包括: 定義標(biāo)示人眼區(qū)域； 創(chuàng)建一灰度圖像，歸一化圖像亮度和增強(qiáng)對(duì)比度； 利用Haar特征檢測(cè)。
5.根據(jù)權(quán)利要求1所述的虛擬試戴方法，其特征在于，所述步驟3中通過(guò)ASEF算法得到人眼坐標(biāo)并進(jìn)行跟蹤。
6.根據(jù)權(quán)利要求5所述的虛擬試戴方法，其特征在于，所述步驟2進(jìn)一步包括: 先用ASEF算法獲取人眼瞳孔坐標(biāo)； 再跟蹤人眼瞳孔位置。
7.根據(jù)權(quán)利要求1所述的虛擬試戴方法，其特征在于，所述步驟4進(jìn)一步包括: 將眼鏡模型導(dǎo)入到OpenGL視場(chǎng)中； 由已得到的兩個(gè)人眼坐標(biāo)計(jì)算出人眼的中點(diǎn)坐標(biāo)； 采用glTranslatef函數(shù)將眼鏡的中點(diǎn)坐標(biāo)加載到人眼的中點(diǎn)坐標(biāo)上去，完成眼鏡模型和人眼瞳孔位置的融合疊加。
8.—種虛擬試戴裝置，其特征在于，所述虛擬試戴裝置包括光學(xué)攝像頭、主機(jī)和顯示屏，其中， 所述光學(xué)攝像頭，用于獲取實(shí)時(shí)視頻信息； 所述主機(jī)，用于完成如前所述的瞳孔的檢測(cè)、人眼跟蹤和三維眼鏡的加載等操作； 所述顯示屏，用于顯示眼睛和眼鏡貼合后的圖像效果。
【文檔編號(hào)】G06Q30/00GK104299143SQ201410559174
【公開(kāi)日】2015年1月21日 申請(qǐng)日期:2014年10月20日 優(yōu)先權(quán)日:2014年10月20日
【發(fā)明者】黎明, 談曉穎, 丁文, 王漢玉, 計(jì)春雷 申請(qǐng)人:上海電機(jī)學(xué)院