專利名稱：視線跟蹤方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)視覺和圖像處理技術(shù)，具體涉及ー種視線跟蹤方法和設(shè)備。
背景技術(shù)：
視線方向跟蹤技術(shù)具有非常廣泛的應(yīng)用，如在認(rèn)知科學(xué)、心理學(xué)、醫(yī)學(xué)、殘疾人輔助等領(lǐng)域。隨著計算機(jī)技術(shù)的發(fā)展，視線跟蹤技術(shù)還被用于人機(jī)交互、虛擬現(xiàn)實等方面。例如，ー些研究工作嘗試使用視線或視點檢測裝置作為計算機(jī)的輸入接ロ，以獲得更迅速的響應(yīng)，在一定程度上取代鼠標(biāo)和鍵盤。另外，通過獲取觀察者的視線，得到其感興趣的位置，以進(jìn)行網(wǎng)頁、廣告等的設(shè)計優(yōu)化。使用不同的分類方法，視線跟蹤技術(shù)可以被分為很多類別，如接觸式、非接觸式，光學(xué)方法、電子方法、基于穿著設(shè)備的方法和遠(yuǎn)距離跟蹤等。下面介紹幾種比較典型的視線跟蹤方法或系統(tǒng)。 最早的視線跟蹤系統(tǒng)使用與眼球直接接觸的器件，跟隨眼球的運動。通過光學(xué)方法或者電磁傳感器，得到其運動信息，也就得到了眼球的運動信息，經(jīng)過校準(zhǔn)，就可以獲得視線方向。這類方法通常具有較高的靈敏性和精度，但由于采用侵入式獲取信息的方式，用戶使用非常不便，設(shè)備的價格較高。另ー種接觸式檢測方法基于眼球運動時眼部區(qū)域電勢場變化的原理，在眼睛周圍粘貼ー些電子傳感探頭，測量電子信號的變化。與基于光學(xué)的方法相比，這種方法對使用環(huán)境的光照條件沒有任何要求。在基于光學(xué)觀測的各種方法和系統(tǒng)中，最常用的手段是使用一個或多個近紅外或可見光光源，以及ー個或多個圖像傳感器，得到眼部圖像，測量反光位置以及虹膜、瞳孔的幾何參數(shù)來估計視線方向。眼球結(jié)構(gòu)中，有多個可以產(chǎn)生反光的位置，如角膜內(nèi)外表面，晶狀體內(nèi)外表面。另外，使用特殊設(shè)備，還可以直接捕獲視網(wǎng)膜表面的圖像，用于眼球運動和視線跟蹤。使用光學(xué)觀測的方法可以使傳感器不與用戶直接接觸，使用比較方便，所以成為應(yīng)用范圍最廣泛的ー種方式。視線方向可以看作頭部方向與眼球方向的合成。如果使用固定在頭部的跟蹤方法和系統(tǒng)，為了得到視線方向，通常還需測量頭部的運動。使用不依附于頭部的遠(yuǎn)距離跟蹤方法和系統(tǒng)，通?？梢灾苯拥玫揭暰€方向。在這類系統(tǒng)中，一部分要求用戶的頭部固定，另外一部分則允許用戶的頭部在一定范圍內(nèi)運動。大部分現(xiàn)有的技術(shù)依賴于專用設(shè)備，如電壓傳感器、紅外光源、高分辨率攝像頭、微距鏡頭、頭戴固定裝置等。在増加成本的同時，限制了這ー技術(shù)的應(yīng)用范圍。在精度要求不十分嚴(yán)格的應(yīng)用中，使用常見的普通分辨率攝像頭實現(xiàn)視線方向跟蹤，尤其是只使用一個攝像頭實現(xiàn)視線方向跟蹤，是非常必要的。在很多視線跟蹤系統(tǒng)中，用戶的頭部被限制為不能移動，或者僅允許平移，不允許旋轉(zhuǎn)，或者僅允許在很小的范圍內(nèi)旋轉(zhuǎn)，或者不允許面部表情變化，這些都降低了用戶使用的舒適性和跟蹤系統(tǒng)的應(yīng)用范圍。部分技術(shù)只根據(jù)頭部方位來確定視線方向，大大降低了精度。另外，大部分視線跟蹤系統(tǒng)需要校準(zhǔn)環(huán)節(jié)，降低了易用性。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供ー種視線跟蹤方法和設(shè)備，其能夠僅使用一個攝像頭捕獲的視頻圖像就可實現(xiàn)對視線的跟蹤。本發(fā)明的目的還在于提供ー種視線跟蹤方法和設(shè)備，其能夠在用戶面部表情和/或頭部姿態(tài)發(fā)生變化的情況下也可以實現(xiàn)對視線的跟蹤。本發(fā)明的一方面在于提供ー種視線跟蹤方法，其特征在于包括獲取包含用戶頭部的圖像作為輸入圖像；根據(jù)輸入圖像對面部關(guān)鍵點進(jìn)行跟蹤；根據(jù)跟蹤到的面部關(guān)鍵點，對瞳孔中心和眼球中心進(jìn)行定位，以確定瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)；使用瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)，計算用戶的視線方向。此外，對瞳孔中心進(jìn)行定位的步驟可包括根據(jù)面部關(guān)鍵點的ニ維坐標(biāo)或三維坐 標(biāo)獲得眼部紋理圖像，并計算形狀歸ー化的眼部紋理圖像；從形狀歸ー化的眼部紋理圖像中檢測實際瞳孔區(qū)域；根據(jù)實際瞳孔區(qū)域確定瞳孔中心的坐標(biāo)，并通過對瞳孔中心的坐標(biāo)進(jìn)行逆形狀歸ー化，來計算瞳孔中心在輸入圖像中的坐標(biāo)，其中，通過將瞳孔中心在輸入圖像中的坐標(biāo)映射到面部關(guān)鍵點的三維坐標(biāo)所在的坐標(biāo)系來獲得瞳孔中心的三維坐標(biāo)。此外，計算形狀歸ー化的眼部紋理圖像的步驟可包括將眼部紋理圖像所覆蓋的像素變換到規(guī)范化的紋理模板中，以獲得形狀歸ー化的眼部紋理圖像，其中，通過將在眼部處于預(yù)定形狀的條件下獲得的眼部關(guān)鍵點投影到輸入圖像所在的平面上得到規(guī)范化的紋理模板。此外，從形狀歸ー化的眼部紋理圖像中檢測實際瞳孔區(qū)域的步驟可包括從眼部紋理圖像中檢測多個瞳孔候選區(qū)域；從檢測的多個瞳孔候選區(qū)域中選擇瞳孔區(qū)域；根據(jù)瞳孔區(qū)域確定實際瞳孔區(qū)域。此外，從眼部紋理圖像中檢測多個瞳孔候選區(qū)域的步驟可包括使用窗ロ對眼部紋理圖像進(jìn)行掃描以獲得多個窗ロ區(qū)域；使用下面的等式計算每個窗ロ區(qū)域的分?jǐn)?shù)值
IS⑷= Χ/(Χ)- Σ W(X) + 4去 Σ(バ x)-?、?2]2 ァ⑷-W，
xeRxe I-RV 八 \eRJ其中，R表示窗ロ區(qū)域，ER表示窗ロ邊緣區(qū)域，X表示像素坐標(biāo)，I(X)為在像素坐標(biāo)X處的像素的亮度，▽ I(X)表示在像素坐標(biāo)X處的亮度梯度，N為窗ロ區(qū)域內(nèi)像素的個數(shù)，表示窗ロ區(qū)域內(nèi)的像素的亮度均值，α、β、Υ為權(quán)重系數(shù)，S(R)為窗ロ區(qū)域R的分?jǐn)?shù)值；選擇預(yù)定數(shù)量的分?jǐn)?shù)值最小的窗ロ區(qū)域作為瞳孔候選區(qū)域。此外，從檢測的多個瞳孔候選區(qū)域中選擇瞳孔區(qū)域的步驟可包括根據(jù)左瞳孔候選區(qū)域在左眼的形狀歸ー化的眼部紋理圖像中的相對位置和右瞳孔候選區(qū)域在右眼的形狀歸ー化的眼部紋理圖像中的相對位置，從左瞳孔候選區(qū)域和右瞳孔候選區(qū)域中確定出一對左右瞳孔區(qū)域。此外，從檢測的多個瞳孔候選區(qū)域中選擇瞳孔區(qū)域的步驟還可包括從所有的左瞳孔候選區(qū)域與所有的右瞳孔候選區(qū)域的所有配對中，去除相對位置差別大于預(yù)定閾值的配對，從剩余的配對中選出分?jǐn)?shù)值之和最小的ー對左右瞳孔候選區(qū)域作為ー對左右瞳孔區(qū)域。此外，眼部紋理圖像可包括左眼的眼部紋理圖像和右眼的眼部紋理圖像，計算形狀歸ー化的眼部紋理圖像的步驟包括計算左眼的形狀歸ー化的眼部紋理圖像和右眼的形狀歸ー化的眼部紋理圖像，其中，通過將在眼部處于預(yù)定形狀條件下的眼部關(guān)鍵點的三維坐標(biāo)投影到ー個平面上并連接映射到該平面上的關(guān)鍵點形成網(wǎng)格，來得到規(guī)范化的紋理模板。此外，所述平面可以為由眼部關(guān)鍵點在空間中形成的眼部所正對或背對的ー個平 面。此外，根據(jù)瞳孔區(qū)域確定實際瞳孔區(qū)域的步驟可包括(a)根據(jù)當(dāng)前的瞳孔區(qū)域中像素的亮度均值，設(shè)置大于等于亮度均值的拒絕閾值，并設(shè)置小于等于亮度均值的接受閾值；(b)確定在當(dāng)前的瞳孔區(qū)域內(nèi)部的與當(dāng)前的瞳孔區(qū)域的邊緣相鄰的像素中是否存在亮度大于拒絕閾值的像素，并確定在當(dāng)前的瞳孔區(qū)域外部的與當(dāng)前瞳孔區(qū)域的邊緣相鄰的像素中是否存在亮度小于接受閾值的像素；(C)當(dāng)存在亮度大于拒絕閾值的像素時，將亮度大于拒絕閾值的像素從當(dāng)前的瞳孔區(qū)域移除；當(dāng)存在亮度小于接受閾值的像素時，將亮度小于接受閾值的像素添加到當(dāng)前的瞳孔區(qū)域中；(d)對當(dāng)前的瞳孔區(qū)域的輪廓進(jìn)行平滑，并進(jìn)行操作(a) ；(e)當(dāng)不存在亮度大于拒絕閾值的像素并且不存在亮度小于接受閾值的像素吋，當(dāng)前的瞳孔區(qū)域為實際瞳孔區(qū)域。此外，對當(dāng)前的瞳孔區(qū)域的輪廓進(jìn)行平滑的步驟可包括將四鄰域都為當(dāng)前的瞳孔區(qū)域外像素的像素設(shè)置為瞳孔區(qū)域外像素，將四鄰域都為當(dāng)前的瞳孔區(qū)域內(nèi)像素的像素設(shè)置為瞳孔區(qū)域內(nèi)像素。此外，可基于眼球中心與頭部關(guān)鍵點的位置關(guān)系來確定眼球中心的三維坐標(biāo)。此外，對眼球中心進(jìn)行定位的步驟包括利用下面的等式來計算眼球中心的三維坐標(biāo)xM = xB+ a (Xk-Xb),其中，χκ為左右眼角的連線的中點的坐標(biāo)；xB為上下眼眶的中點的連線的中點的坐標(biāo)，α等于3. 5，其中，左眼角、右眼角、眼眶中點是面部關(guān)鍵點。此外，計算用戶的視線方向的步驟可包括根據(jù)左眼的瞳孔中心的三維坐標(biāo)和左眼的眼球中心的三維坐標(biāo)，計算左眼的瞳孔中心與左眼的眼球中心確定的直線作為左眼的視線方向，根據(jù)右眼的瞳孔中心的三維坐標(biāo)和右眼的眼球中心的三維坐標(biāo),計算右眼的瞳孔中心與右眼的眼球中心確定的直線作為右眼的視線方向；根據(jù)左眼的視線方向與右眼的視線方向確定用戶的視線方向，其中，當(dāng)左眼的視線方向與右眼的視線方向共面時，用戶的視線方向為左右眼的視線方向的交點與左右眼的眼球中心的中點確定的直線；當(dāng)左眼的視線方向與右眼的視線方向異面時，用戶的視線方向為左右眼視線方向的公垂線中點與左右眼的眼球中心的中點確定的直線。此外，對眼球中心進(jìn)行定位的步驟可包括在空間中設(shè)置至少兩個標(biāo)定點；當(dāng)用戶注視每ー個標(biāo)定點吋，記錄標(biāo)定點的三維坐標(biāo)以及當(dāng)時對應(yīng)的面部關(guān)鍵點的三維坐標(biāo)和左右瞳孔中心的三維坐標(biāo)；利用每個標(biāo)定點的三維坐標(biāo)以及對應(yīng)的左右瞳孔中心的三維坐標(biāo)，確定由標(biāo)定點與左瞳孔中心確定的左眼標(biāo)定視線以及由標(biāo)定點與右瞳孔中心確定的右眼標(biāo)定視線；基于左眼標(biāo)定視線的交點，確定左眼眼球中心的三維坐標(biāo)，基于右眼標(biāo)定視線的交點，確定右眼眼球中心的三維坐標(biāo)。此外，可使用面部關(guān)鍵點的三維坐標(biāo)來表示左右瞳孔中心的三維坐標(biāo)。此外，當(dāng)某側(cè)眼的標(biāo)定視線為異面直線時，通過最小化下面的目標(biāo)函數(shù)來獲得該側(cè)眼的眼球中心M的三維坐標(biāo)'YjDdM、，
/其中，DCTiUi, Μ)表示M到Ti與Ui確定的直線的距離，Ti表示標(biāo)定點的三維坐標(biāo)，Ui為用戶注視Ti時該側(cè)眼的瞳孔中心點的三維坐標(biāo)，i表示標(biāo)定點的標(biāo)號。此外，使用可變形的三維頭部模型來獲取面部關(guān)鍵點的三維坐標(biāo)。
此外，通過將瞳孔中心在輸入圖像中的坐標(biāo)映射到可變形的三維頭部模型來獲得瞳孔中心的三維坐標(biāo)。本發(fā)明的另一方面在于提供ー種視線跟蹤設(shè)備，其特征在于包括視頻采集模塊，獲取包含用戶頭部的圖像作為輸入圖像；頭部視頻處理模塊，根據(jù)輸入圖像對面部關(guān)鍵點進(jìn)行跟蹤；眼部視頻處理模塊，根據(jù)跟蹤到的面部關(guān)鍵點，對瞳孔中心和眼球中心進(jìn)行定位，以確定瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)；視線方向計算模塊,使用瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo),計算用戶的視線方向。此外，眼部視頻處理模塊可包括形狀歸ー化模塊，根據(jù)面部關(guān)鍵點的ニ維坐標(biāo)或三維坐標(biāo)獲得眼部紋理圖像，并計算形狀歸ー化的眼部紋理圖像；實際瞳孔區(qū)域檢測模塊，從形狀歸ー化的眼部紋理圖像中檢測實際瞳孔區(qū)域；瞳孔中心獲取模塊，根據(jù)實際瞳孔區(qū)域確定瞳孔中心的坐標(biāo)，并通過對瞳孔中心的坐標(biāo)進(jìn)行逆形狀歸ー化，來計算瞳孔中心在輸入圖像中的坐標(biāo)，其中，通過將瞳孔中心在輸入圖像中的坐標(biāo)映射到面部關(guān)鍵點的三維坐標(biāo)所在的坐標(biāo)系來獲得瞳孔中心的三維坐標(biāo)。此外，可以將眼部紋理圖像所覆蓋的像素變換到規(guī)范化的紋理模板中，以獲得形狀歸ー化的眼部紋理圖像，其中，通過將在眼部處于預(yù)定形狀的條件下獲得的眼部關(guān)鍵點投影到輸入圖像所在的平面上得到規(guī)范化的紋理模板。此外，視線方向計算模塊可包括左右眼視線檢測模塊，根據(jù)左眼的瞳孔中心的三維坐標(biāo)和左眼的眼球中心的三維坐標(biāo)，計算左眼的瞳孔中心與左眼的眼球中心確定的直線作為左眼的視線方向，根據(jù)右眼的瞳孔中心的三維坐標(biāo)和右眼的眼球中心的三維坐標(biāo)，計算右眼的瞳孔中心與右眼的眼球中心確定的直線作為右眼的視線方向；用戶視線檢測模塊，根據(jù)左眼的視線方向與右眼的視線方向確定用戶的視線方向，其中，當(dāng)左眼的視線方向與右眼的視線方向共面時，用戶的視線方向為左右眼的視線方向的交點與左右眼的眼球中心的中點確定的直線；當(dāng)左眼的視線方向與右眼的視線方向異面時，用戶的視線方向為左右眼視線方向的公垂線中點與左右眼的眼球中心的中點確定的直線。根據(jù)本發(fā)明的視線跟蹤方法和設(shè)備，簡化了現(xiàn)有視線跟蹤系統(tǒng)的硬件需求，同時對用戶不產(chǎn)生干擾，其只使用ー個普通攝像頭捕獲的視頻圖像就可以準(zhǔn)確跟蹤用戶的視線方向。另外，在視線跟蹤過程中，用戶的頭部可以在較大的范圍內(nèi)平移和旋轉(zhuǎn)，并且允許面部表情改變。將在接下來的描述中部分闡述本發(fā)明另外的方面和/或優(yōu)點，還有一部分通過描述將是清楚的，或者可以經(jīng)過本發(fā)明的實施而得知。


通過下面結(jié)合附圖進(jìn)行的詳細(xì)描述，本發(fā)明的上述和其它目的、特點和優(yōu)點將會變得更加清楚，其中圖I示出根據(jù)本發(fā)明實施例的視線跟蹤設(shè)備的框圖；圖2示出根據(jù)本發(fā)明實施例的頭部視頻處理模塊的處理的流程圖；圖3示出根據(jù)本發(fā)明實施例的計算瞳孔中心坐標(biāo)的處理的流程圖；圖4示出掃描窗ロ的示例；圖5示出對瞳孔區(qū)域進(jìn)行優(yōu)化的過程的一個示例；
圖6示出視線方向計算模塊計算視線方向的操作的流程圖；圖7示出根據(jù)本發(fā)明實施例的對瞳孔區(qū)域進(jìn)行優(yōu)化的處理的流程圖；圖8示出根據(jù)本發(fā)明實施例的計算眼球中心的三維坐標(biāo)的一個示例；圖9示出根據(jù)本發(fā)明實施例的通過標(biāo)定的方式來確定眼球中心的三維坐標(biāo)的流程圖；圖10示出標(biāo)定原理的示意圖；圖11示出通過面部關(guān)鍵點的三維坐標(biāo)來確定ー個眼球中心的三維坐標(biāo)的ー個實施例；圖12示出根據(jù)本發(fā)明實施例的計算視線方向的示意圖；圖13示出根據(jù)本發(fā)明實施例的眼部視頻處理模塊的框圖；圖14示出根據(jù)本發(fā)明實施例的視線方向計算模塊的框圖。
具體實施例方式現(xiàn)在，將參照附圖更充分地描述不同的示例實施例。圖I示出根據(jù)本發(fā)明實施例的視線跟蹤設(shè)備100的框圖。如圖I所示，根據(jù)本發(fā)明的視線跟蹤設(shè)備100包括視頻采集模塊110、頭部視頻處理模塊120、眼部視頻處理模塊130、視線方向計算模塊140。視頻采集模塊110獲取包含用戶頭部的圖像作為輸入圖像。例如，可使用設(shè)置在用戶前方的攝像頭來獲取該圖像。頭部視頻處理模塊120基于視頻采集模塊110獲取的圖像，對用戶的面部關(guān)鍵點(例如，人臉輪廓、面部器官部位等)進(jìn)行跟蹤?？衫靡延械母鞣N人臉跟蹤方法來跟蹤用戶面部關(guān)鍵點。例如，可使用現(xiàn)有技術(shù)的可變形的三維頭部模型來進(jìn)行跟蹤。該三維頭部模型的部分頂點與面部器官的關(guān)鍵點對應(yīng)。在跟蹤過程中，該三維頭部模型可跟隨用戶的頭部姿態(tài)和表情的變化(也即，獲取的圖像中用戶的頭部姿態(tài)和表情的變化)發(fā)生相應(yīng)的運動和變形。這樣，頭部視頻處理模塊120可根據(jù)該頭部模型得到用戶面部關(guān)鍵點的ニ維或三維坐標(biāo)，并且可得到用戶頭部的姿態(tài)。眼部視頻處理模塊130根據(jù)頭部視頻處理模塊120跟蹤到的頭部，對用戶瞳孔中心和眼球中心進(jìn)行定位，以確定瞳孔中心和眼球中心的三維坐標(biāo)。視線方向計算模塊140使用眼部視頻處理模塊130得到的用戶瞳孔中心和眼球中心的坐標(biāo)，計算用戶的視線方向。
下面示出一個根據(jù)可變形的頭部模型進(jìn)行頭部跟蹤，以得到用戶面部關(guān)鍵點的ニ維坐標(biāo)和三維坐標(biāo)的示例。應(yīng)該理解，下面的示出僅是示例性的，可以使用其他的可變形的三維頭部模型?？赏ㄟ^對手工標(biāo)定的樣本進(jìn)行訓(xùn)練來得到可變形的頭部模型。該頭部模型包括三個部分，即，ニ維頭部模型、三維頭部模型和表觀模型。ニ維頭部模型包含多個對應(yīng)于面部器官位置的關(guān)鍵點的ニ維坐標(biāo)。三維頭部模型包含多個對應(yīng)于面部器官位置的關(guān)鍵點的三維坐標(biāo)。表觀模型包含人臉面部原始紋理或?qū)υ技y理進(jìn)行變換(例如，如提取邊緣，提取角點等)后的表達(dá)。ニ維頭部模型可表示為
權(quán)利要求
1.一種視線跟蹤方法，其特征在于包括 獲取包含用戶頭部的圖像作為輸入圖像； 根據(jù)輸入圖像對面部關(guān)鍵點進(jìn)行跟蹤； 根據(jù)跟蹤到的面部關(guān)鍵點，對瞳孔中心和眼球中心進(jìn)行定位，以確定瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)； 使用瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)，計算用戶的視線方向。
2.根據(jù)權(quán)利要求I所述的視線跟蹤方法，其中，對瞳孔中心進(jìn)行定位的步驟包括 根據(jù)面部關(guān)鍵點的二維坐標(biāo)或三維坐標(biāo)獲得眼部紋理圖像，并計算形狀歸一化的眼部紋理圖像； 從形狀歸一化的眼部紋理圖像中檢測實際瞳孔區(qū)域； 根據(jù)實際瞳孔區(qū)域確定瞳孔中心的坐標(biāo)，并通過對瞳孔中心的坐標(biāo)進(jìn)行逆形狀歸一化，來計算瞳孔中心在輸入圖像中的坐標(biāo)， 其中，通過將瞳孔中心在輸入圖像中的坐標(biāo)映射到面部關(guān)鍵點的三維坐標(biāo)所在的坐標(biāo)系來獲得瞳孔中心的三維坐標(biāo)。
3.根據(jù)權(quán)利要求2所述的視線跟蹤方法，其中，計算形狀歸一化的眼部紋理圖像的步驟包括將眼部紋理圖像所覆蓋的像素變換到規(guī)范化的紋理模板中，以獲得形狀歸一化的眼部紋理圖像， 其中，通過將在眼部處于預(yù)定形狀的條件下獲得的眼部關(guān)鍵點投影到輸入圖像所在的平面上得到規(guī)范化的紋理模板。
4.根據(jù)權(quán)利要求2所述的視線跟蹤方法，其中，從形狀歸一化的眼部紋理圖像中檢測實際瞳孔區(qū)域的步驟包括 從眼部紋理圖像中檢測多個瞳孔候選區(qū)域； 從檢測的多個瞳孔候選區(qū)域中選擇瞳孔區(qū)域； 根據(jù)瞳孔區(qū)域確定實際瞳孔區(qū)域。
5.根據(jù)權(quán)利要求4所述的視線跟蹤方法，其中，從眼部紋理圖像中檢測多個瞳孔候選區(qū)域的步驟包括 使用窗口對眼部紋理圖像進(jìn)行掃描以獲得多個窗口區(qū)域； 使用下面的等式計算每個窗口區(qū)域的分?jǐn)?shù)值 I ‘S ⑷=Σζ(χ)-α Σ ▽,(*) + 々 Τ7Σ(7(Χ)-,⑷)I / (R)-γΝ ,xe/ xe!'；RN xeRJ 其中，R表示窗口區(qū)域，ER表示窗口邊緣區(qū)域，X表示像素坐標(biāo)，I (X)為在像素坐標(biāo)X處的像素的亮度，▽ I(X)表示在像素坐標(biāo)X處的亮度梯度，N為窗口區(qū)域內(nèi)像素的個數(shù)，7(7 )表示窗口區(qū)域內(nèi)的像素的亮度均值，α、β、γ為權(quán)重系數(shù)，S(R)為窗口區(qū)域R的分?jǐn)?shù)值；選擇預(yù)定數(shù)量的分?jǐn)?shù)值最小的窗口區(qū)域作為瞳孔候選區(qū)域。
6.根據(jù)權(quán)利要求5所述的視線跟蹤方法，其中，從檢測的多個瞳孔候選區(qū)域中選擇瞳孔區(qū)域的步驟包括根據(jù)左瞳孔候選區(qū)域在左眼的形狀歸一化的眼部紋理圖像中的相對位置和右瞳孔候選區(qū)域在右眼的形狀歸一化的眼部紋理圖像中的相對位置，從左瞳孔候選區(qū)域和右瞳孔候選區(qū)域中確定出一對左右瞳孔區(qū)域。
7.根據(jù)權(quán)利要求6所述的視線跟蹤方法，其中，從檢測的多個瞳孔候選區(qū)域中選擇瞳孔區(qū)域的步驟還包括 從所有的左瞳孔候選區(qū)域與所有的右瞳孔候選區(qū)域的所有配對中，去除相對位置差別大于預(yù)定閾值的配對，從剩余的配對中選出分?jǐn)?shù)值之和最小的一對左右瞳孔候選區(qū)域作為一對左右瞳孔區(qū)域。
8.根據(jù)權(quán)利要求2或4所述的視線跟蹤方法，其中，眼部紋理圖像包括左眼的眼部紋理圖像和右眼的眼部紋理圖像，計算形狀歸一化的眼部紋理圖像的步驟包括計算左眼的形狀歸一化的眼部紋理圖像和右眼的形狀歸一化的眼部紋理圖像， 其中，通過將在眼部處于預(yù)定形狀條件下的眼部關(guān)鍵點的三維坐標(biāo)投影到一個平面上并連接映射到該平面上的關(guān)鍵點形成網(wǎng)格，來得到規(guī)范化的紋理模板。
9.根據(jù)權(quán)利要求8所述的視線跟蹤方法，其中，所述平面為由眼部關(guān)鍵點在空間中形成的眼部所正對或背對的一個平面。
10.根據(jù)權(quán)利要求4所述的視線跟蹤方法，其中，根據(jù)瞳孔區(qū)域確定實際瞳孔區(qū)域的步驟包括 (a)根據(jù)當(dāng)前的瞳孔區(qū)域中像素的亮度均值，設(shè)置大于等于亮度均值的拒絕閾值，并設(shè)置小于等于亮度均值的接受閾值； (b)確定在當(dāng)前的瞳孔區(qū)域內(nèi)部的與當(dāng)前的瞳孔區(qū)域的邊緣相鄰的像素中是否存在亮度大于拒絕閾值的像素，并確定在當(dāng)前的瞳孔區(qū)域外部的與當(dāng)前瞳孔區(qū)域的邊緣相鄰的像素中是否存在亮度小于接受閾值的像素； (C)當(dāng)存在亮度大于拒絕閾值的像素時，將亮度大于拒絕閾值的像素從當(dāng)前的瞳孔區(qū)域移除；當(dāng)存在亮度小于接受閾值的像素時，將亮度小于接受閾值的像素添加到當(dāng)前的瞳孔區(qū)域中； (d)對當(dāng)前的瞳孔區(qū)域的輪廓進(jìn)行平滑，并進(jìn)行操作(a)； (e)當(dāng)不存在亮度大于拒絕閾值的像素并且不存在亮度小于接受閾值的像素時，當(dāng)前的瞳孔區(qū)域為實際瞳孔區(qū)域。
11.根據(jù)權(quán)利要求I所述的視線跟蹤方法，其中，計算用戶的視線方向的步驟包括 根據(jù)左眼的瞳孔中心的三維坐標(biāo)和左眼的眼球中心的三維坐標(biāo)，計算左眼的瞳孔中心與左眼的眼球中心確定的直線作為左眼的視線方向，根據(jù)右眼的瞳孔中心的三維坐標(biāo)和右眼的眼球中心的三維坐標(biāo)，計算右眼的瞳孔中心與右眼的眼球中心確定的直線作為右眼的視線方向； 根據(jù)左眼的視線方向與右眼的視線方向確定用戶的視線方向，其中，當(dāng)左眼的視線方向與右眼的視線方向共面時，用戶的視線方向為左右眼的視線方向的交點與左右眼的眼球中心的中點確定的直線；當(dāng)左眼的視線方向與右眼的視線方向異面時，用戶的視線方向為左右眼視線方向的公垂線中點與左右眼的眼球中心的中點確定的直線。
12.根據(jù)權(quán)利要求I所述的視線跟蹤方法，其中，對眼球中心進(jìn)行定位的步驟包括 在空間中設(shè)置至少兩個標(biāo)定點； 當(dāng)用戶注視每一個標(biāo)定點時，記錄標(biāo)定點的三維坐標(biāo)以及當(dāng)時對應(yīng)的面部關(guān)鍵點的三維坐標(biāo)和左右瞳孔中心的三維坐標(biāo)； 利用每個標(biāo)定點的二維坐標(biāo)以及對應(yīng)的左右瞳孔中心的二維坐標(biāo)，確定由標(biāo)定點與左瞳孔中心確定的左眼標(biāo)定視線以及由標(biāo)定點與右瞳孔中心確定的右眼標(biāo)定視線； 基于左眼標(biāo)定視線的交點，確定左眼眼球中心的三維坐標(biāo)，基于右眼標(biāo)定視線的交點，確定右眼眼球中心的三維坐標(biāo)。
13.根據(jù)權(quán)利要求12所述的視線跟蹤方法，其中，當(dāng)某側(cè)眼的標(biāo)定視線為異面直線時，通過最小化下面的目標(biāo)函數(shù)來獲得該側(cè)眼的眼球中心M的三維坐標(biāo)
14.一種視線跟蹤設(shè)備，其特征在于包括 視頻采集模塊，獲取包含用戶頭部的圖像作為輸入圖像； 頭部視頻處理模塊，根據(jù)輸入圖像對面部關(guān)鍵點進(jìn)行跟蹤； 眼部視頻處理模塊，根據(jù)跟蹤到的面部關(guān)鍵點，對瞳孔中心和眼球中心進(jìn)行定位，以確定瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)； 視線方向計算模塊，使用瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)，計算用戶的視線方向。
15.根據(jù)權(quán)利要求14所述的視線跟蹤設(shè)備，其中，眼部視頻處理模塊包括 形狀歸一化模塊，根據(jù)面部關(guān)鍵點的二維坐標(biāo)或三維坐標(biāo)獲得眼部紋理圖像，并計算形狀歸一化的眼部紋理圖像；實際瞳孔區(qū)域檢測模塊，從形狀歸一化的眼部紋理圖像中檢測實際瞳孔區(qū)域； 瞳孔中心獲取模塊，根據(jù)實際瞳孔區(qū)域確定瞳孔中心的坐標(biāo)，并通過對瞳孔中心的坐標(biāo)進(jìn)行逆形狀歸一化，來計算瞳孔中心在輸入圖像中的坐標(biāo)， 其中，通過將瞳孔中心在輸入圖像中的坐標(biāo)映射到面部關(guān)鍵點的三維坐標(biāo)所在的坐標(biāo)系來獲得瞳孔中心的三維坐標(biāo)。
16.根據(jù)權(quán)利要求14所述的視線跟蹤設(shè)備，其中，視線方向計算模塊包括 左右眼視線檢測模塊，根據(jù)左眼的瞳孔中心的三維坐標(biāo)和左眼的眼球中心的三維坐標(biāo)，計算左眼的瞳孔中心與左眼的眼球中心確定的直線作為左眼的視線方向，根據(jù)右眼的瞳孔中心的三維坐標(biāo)和右眼的眼球中心的三維坐標(biāo),計算右眼的瞳孔中心與右眼的眼球中心確定的直線作為右眼的視線方向； 用戶視線檢測模塊，根據(jù)左眼的視線方向與右眼的視線方向確定用戶的視線方向，其中，當(dāng)左眼的視線方向與右眼的視線方向共面時，用戶的視線方向為左右眼的視線方向的交點與左右眼的眼球中心的中點確定的直線；當(dāng)左眼的視線方向與右眼的視線方向異面時，用戶的視線方向為左右眼視線方向的公垂線中點與左右眼的眼球中心的中點確定的直線。
全文摘要
本發(fā)明提供一種視線跟蹤方法和設(shè)備。視線跟蹤設(shè)備包括視頻采集模塊，獲取包含用戶頭部的圖像作為輸入圖像；頭部視頻處理模塊，根據(jù)輸入圖像對面部關(guān)鍵點進(jìn)行跟蹤；眼部視頻處理模塊，根據(jù)跟蹤到的面部關(guān)鍵點，對瞳孔中心和眼球中心進(jìn)行定位，以確定瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)；視線方向計算模塊，使用瞳孔中心的三維坐標(biāo)和眼球中心的三維坐標(biāo)，計算用戶的視線方向。
文檔編號G06F3/01GK102830793SQ201110167218
公開日2012年12月19日 申請日期2011年6月16日 優(yōu)先權(quán)日2011年6月16日
發(fā)明者馮雪濤, 沈曉璐, 張輝, 金亭培 申請人:北京三星通信技術(shù)研究有限公司, 三星電子株式會社