本發(fā)明屬于立體視頻顯示與感知技術(shù)領(lǐng)域，更具體地，涉及一種適用于自由視點三維視頻的人眼注視方向跟蹤方法。

背景技術(shù)：

如今，傳統(tǒng)的數(shù)字高清2d電視和視頻已經(jīng)非常普及，而隨著科學(xué)技術(shù)的不斷發(fā)展，能為用戶提供身臨其境的觀感體驗的三維視頻正逐漸得到廣泛的研究和推廣。在現(xiàn)有的眾多三維顯示技術(shù)中，基于雙目視差原理的分光立體顯示是現(xiàn)在應(yīng)用最廣泛的一種三維立體顯示方式，它的實現(xiàn)形式有眼鏡式分光立體顯示和裸眼式分光立體顯示。戴眼鏡式的3d顯示技術(shù)由于要求用戶在使用時佩戴專門的眼鏡，降低了用戶的舒適度，也就限制了其應(yīng)用范圍。在這樣的背景條件下，用戶可以直接觀看的自由立體顯示技術(shù)，即“裸眼式3d顯示技術(shù)”最具應(yīng)用前景，成為近年來的研究熱點。裸眼3d顯示技術(shù)作為未來顯示技術(shù)的一大發(fā)展方向目前主要包括四大類：頭部跟蹤立體顯示、體三維顯示、全息三維顯示和平板自由立體顯示。其中，隨著液晶顯示技術(shù)的不斷成熟，特別是液晶顯示器、等離子顯示器等影像設(shè)備的快速發(fā)展，人們研究的熱點主要集中在基于液晶平板顯示器的裸眼3d顯示技術(shù)上。根據(jù)光線引導(dǎo)裝置的不同，平板自有立體顯示技術(shù)又可以分為狹縫式光柵自由立體顯示技術(shù)(barrierdisplays)和柱透鏡光柵式自由立體顯示技術(shù)(lenticulardisplays)。柱透鏡光柵式自由立體顯示技術(shù)最突出的優(yōu)點是顯示圖像的亮度不會因光柵的存在而受影響，但它制作成本高，對制備工藝的要求高無法輕易實現(xiàn)。而狹縫式光柵自由立體顯示技術(shù)是一種基于雙目視差的三維顯示技術(shù)，雖然會因狹縫的存在而使顯示圖像的亮度受損，但它制作成本要求不高，簡單易實現(xiàn)。因此，對比以上兩種光柵式三維顯示技術(shù)，顯然基于狹縫式光柵自由立體顯示技術(shù)的顯示器大有發(fā)展前途。而在狹縫式光柵自由立體顯示系統(tǒng)中，對人眼視線方向的跟蹤識別是使用戶獲得優(yōu)異的立體視覺體驗的關(guān)鍵因素。只有實時準(zhǔn)確的跟蹤獲取用戶觀看視頻時的視線方向，才能實時地渲染立體顯示器在用戶視覺區(qū)域?qū)?yīng)的視頻畫面，進(jìn)而減少用戶在使用過程中雙眼看到的立體視頻串?dāng)_問題，從而為用戶提供更好的三維觀感體驗。因此如何準(zhǔn)確的對用戶視線方向進(jìn)行計算獲取和實時跟蹤是目前學(xué)術(shù)界和工業(yè)界的研究熱點。在此方面，國內(nèi)外相關(guān)學(xué)者專家提出一種模型，是將人眼視線方向定義為穿過眼球和虹膜中心的光軸的方向，當(dāng)視線發(fā)生改變時，眼球也會圍繞著它的中心旋轉(zhuǎn)，那么視線角度也就會有水平旋轉(zhuǎn)角和垂直旋轉(zhuǎn)角。但是在這個模型中，首選要進(jìn)行實時標(biāo)定，計算眼睛中心位置作為校準(zhǔn)點，再對眼球中心位置進(jìn)行實時定位，依據(jù)眼球中心位置和校準(zhǔn)點位置之間的關(guān)系計算得到此時的視線方向角度。此外，它還需要進(jìn)行霍夫變換得到眼球半徑和虹膜半徑，從而得到眼球中心到虹膜平面的距離。

但是以上方法必須事先進(jìn)行實時標(biāo)定找到校準(zhǔn)點，并且現(xiàn)有的眼球中心實時定位算法復(fù)雜，而且要通過霍夫變換得到眼球半徑和虹膜半徑從而計算得到眼球中心到虹膜平面的距離，計算開銷大；現(xiàn)有人眼注視方向跟蹤方法存在算法復(fù)雜、可擴展性較差，計算開銷大，效率低等問題。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種適用于自由視點三維視頻的人眼注視方向跟蹤方法，其目的在于利用基于圖像梯度矢量場分析的眼球中心定位算法實時定位眼球中心位置，通過人臉結(jié)構(gòu)定位眼眶，根據(jù)眼眶中心計算得到基準(zhǔn)眼球中心位置，再利用梯度方向模型計算得到眼球注視方向角度，由此解決現(xiàn)有技術(shù)方案中需要實時對眼球進(jìn)行標(biāo)定找到校準(zhǔn)點，實時定位眼球中心算法復(fù)雜的技術(shù)問題。

為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種適用于自由視點三維視頻的人眼注視方向跟蹤方法，所述方法包括以下步驟：

(1)實時獲取用戶面部圖像，并對面部圖像進(jìn)行預(yù)處理；對預(yù)處理后的面部圖像進(jìn)行人臉檢測；

(2)根據(jù)眼眶在人臉上的位置關(guān)系，在人臉上定位眼眶，由眼眶中心位置定位基準(zhǔn)眼球中心位置坐標(biāo)；

(3)計算眼球中心實時位置坐標(biāo)c^*：

其中，n表示眼球圓周上的n個點，n個點的位置表示為ni,i∈{1,2,...,n}；di為圓內(nèi)一點c到圓周上ni處的位移向量；將di歸一化為單位向量，t表示求轉(zhuǎn)置；gi為圖像i中點ni處的梯度向量，其中xi，yi表示ni的橫縱坐標(biāo)；將梯度向量gi也歸一化為單位向量，||gi||2＝1；wc表示權(quán)值，是將原始輸入圖像i進(jìn)行高斯光滑和圖像灰度值反轉(zhuǎn)后得到的圖像i^*在點c處的灰度值，wc＝i^*(cx，cy)；

(4)由基準(zhǔn)眼球中心位置坐標(biāo)和眼球中心實時位置坐標(biāo)得到眼球運動向量眼球注視方向相對于初始位置產(chǎn)生的水平方向和垂直方向旋轉(zhuǎn)角α和β為：

其中，表示向量的實部，表示向量的虛部，d表示人眼眼球中心到虹膜平面的距離。

進(jìn)一步地，所述步驟(1)中預(yù)處理包括面部圖像灰度化和高斯濾波。

進(jìn)一步地，所述步驟(2)中眼眶在人臉上的位置關(guān)系為：眼眶寬為臉寬的0.35倍；兩眼眶的間距為臉高的0.3倍；眼眶頂部到臉框頂部距離為臉框高的0.25倍；左眼眶左邊到臉框左邊的距離和右眼眶右邊到臉框右邊的的距離為臉寬的0.13倍。

進(jìn)一步地，所述步驟(2)中基準(zhǔn)眼球中心位置坐標(biāo)(x0,y0)為：

y0＝y(tǒng)r＝y(tǒng)l

其中，(xl,yl)表示左眼角位置坐標(biāo)；(xr,yr)表示右眼角坐標(biāo)。

進(jìn)一步地，所述步驟(4)中人眼眼球中心到虹膜平面的距離d取固定值1.036cm。

總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)特征及有益效果：

(1)本技術(shù)方案采用了一種基于圖像梯度矢量場分析的眼球中心定位算法來實時定位人眼眼球中心，算法較簡單，對人體無干擾，在戴眼鏡、低對比度以及有陰影的情況下都能準(zhǔn)確定位，適用于各種現(xiàn)實場景；

(2)由于用戶在觀看視頻時頭部的運動是極其微小的，可基本認(rèn)為頭部是固定不動的，故本技術(shù)方案由眼眶中心模型計算得到基準(zhǔn)眼球中心位置，從而不需要進(jìn)行實時標(biāo)定，降低了算法的復(fù)雜度，減少了時間成本；

(3)本技術(shù)方案根據(jù)眼球中心實時位置坐標(biāo)和基準(zhǔn)眼球中心位置坐標(biāo)可得到初始眼球中心和運動后眼球中心所形成的向量，再根據(jù)梯度方向模型計算得到此時眼睛的視線方向，算法較簡單；

(4)由于對大多數(shù)人眼球中心到虹膜平面的距離的差別可忽略不計，故本技術(shù)方案將眼球中心到虹膜平面的距離設(shè)為一個固定值，不需要進(jìn)行霍夫變換，降低了算法復(fù)雜度和時間復(fù)雜度，提高了視線跟蹤效率。

附圖說明

圖1是本發(fā)明實施例中的方法流程圖；

圖2是本發(fā)明實施例中人臉和眼眶之間的幾何比例示意圖；

圖3是本發(fā)明實施例中眼眶中心模型示意圖；

圖4是本發(fā)明實施例中眼球中心定位算法的眼球中心定位模型；

圖5是本發(fā)明實施例中視線方向估計三維模型。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

如圖1所示，本發(fā)明方法包括以下步驟：

(1)用dellinspiration15-5545型號的筆記本電腦自帶的攝像頭采集用戶面部圖像，對面部圖像進(jìn)行預(yù)處理，預(yù)處理包括圖像灰度化和高斯濾波，圖像灰度化是提取三通道彩色圖像的某一通道作為灰度圖，高斯濾波是對圖像進(jìn)行平滑去噪；對預(yù)處理后的圖像進(jìn)行人臉檢測，采用opencv自帶的haar-like特征分類器進(jìn)行人臉檢測，檢測到面部圖像中的人臉；

(2)根據(jù)眼眶在人臉上的位置關(guān)系，在人臉上定位眼眶，由眼眶中心位置定位基準(zhǔn)眼球中心位置坐標(biāo)；

(21)根據(jù)人臉的結(jié)構(gòu)特征、眼眶特征及眼眶在人臉的位置約束等來進(jìn)行眼眶定位，如圖2臉框和眼眶幾何比例示意圖所示，眼眶相對于人臉的位置是固定的：眼眶寬最多為臉框的三分之一，將眼眶設(shè)為臉寬的0.35倍，能夠滿足眼眶最大寬度；兩眼眶的間距為臉高的0.3倍；眼眶頂部到臉框頂部距離為臉框高的0.25倍；左眼眶左邊到臉框左邊的距離和右眼眶右邊到臉框右邊的的距離為臉寬的0.13倍；

(22)在確定了眼眶區(qū)域后，定位初始基準(zhǔn)眼睛中心位置，如附圖3所示，初始基準(zhǔn)眼睛中心位置坐標(biāo)(x0,y0)可定義為：

y0＝y(tǒng)r＝y(tǒng)l

其中，xr是該幀圖像中用戶左或右眼的右眼角的橫坐標(biāo)位置，xl是該幀圖像中用戶左或右眼的左眼角的橫坐標(biāo)位置，yr是該幀圖像中用戶左或右眼的右眼角的縱坐標(biāo)位置，yl是該幀圖像中用戶左或右眼的左眼角的縱坐標(biāo)位置；

(3)在進(jìn)行了人臉檢測和人眼定位后，再進(jìn)行眼球中心實時位置的精確定位，眼球中心實時位置定位是人眼視線方向檢測的關(guān)鍵步驟，精確的眼球中心定位是高精度完成人眼視線方向估計的前提條件，此處采用的一種基于圖像梯度矢量場分析方法，如附圖4所示，左邊的園內(nèi)點c不是圓心，點c到xi的向量di與xi處的徑向向量gi不在一個方向上，而右邊的點c為圓心，點c到xi的向量di與xi處的徑向向量gi在同一方向上，也就是說若某點為圓心，則該點到圓周上任意一點的向量與該點處的徑向向量方向相同，因此眼球中心實時位置坐標(biāo)c^*為：

其中，n表示眼球圓周上的n個點，n個點的位置表示為ni,i∈{1,2,...,n}；di為圓內(nèi)一點c到圓周上ni處的位移向量；將di歸一化為單位向量，t表示求轉(zhuǎn)置；gi為圖像i中點ni處的梯度向量，計算圖像的部分偏導(dǎo)求得圖像的梯度向量，其中xi，yi表示ni的橫縱坐標(biāo)；將梯度向量gi也歸一化為單位向量，||gi||2＝1；wc表示權(quán)值，是將原始輸入圖像i進(jìn)行高斯光滑和圖像灰度值反轉(zhuǎn)后得到的圖像i^*在點c處的灰度值，wc＝i^*(cx，cy)；

(4)在得到眼球中心實時位置坐標(biāo)和初始基準(zhǔn)眼睛中心位置坐標(biāo)的前提下，可計算得到初始眼球中心與運動后眼球中心所形成的向量如附圖5所示，眼球注視方向相對于初始位置產(chǎn)生的水平方向和垂直方向旋轉(zhuǎn)角α和β為：

其中，表示向量的實部，表示向量的虛部，d表示人眼眼球中心到虹膜平面的距離，可以通過眼球半徑和虹膜半徑計算得到，如附表1所示，大部分人眼球半徑和虹膜半徑基本一致，即眼球中心到虹膜平面的距離d也是基本一樣的，所以此處我們將d取為一個固定值1.036cm。

表1

以上具體實施方式本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。