專利名稱：解釋對(duì)象的頭部和眼睛活動(dòng)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自動(dòng)數(shù)據(jù)處理的方法，更具體地說(shuō)，本發(fā)明涉及一種自動(dòng)化方法，用于分析和利用頭部和眼睛跟蹤數(shù)據(jù)，以推斷出諸如認(rèn)知與視覺(jué)分散的被觀察對(duì)象的特征，以及量化工作負(fù)荷水平。
背景技術(shù)：
正在進(jìn)行的關(guān)于駕駛員疲勞、精神分散、工作負(fù)荷以及其他與形成潛在危險(xiǎn)駕駛情況的駕駛員狀態(tài)研究是非常重要的。大約百分之九十五的交通事故是由于駕駛員的錯(cuò)誤造成的，這不是令人吃驚的估計(jì)，其中駕駛員的疏忽是最普通的起因因素。大量研究證明眼睛活動(dòng)與較高度的認(rèn)知過(guò)程之間的關(guān)系。這些研究主要討論眼睛活動(dòng)在一定程度上反映駕駛員的認(rèn)知狀態(tài)。在一些研究中，眼睛活動(dòng)用來(lái)直接衡量駕駛員的認(rèn)知注意水平，另一方面用來(lái)衡量心理負(fù)荷。
駕駛員所看到的一般作為系統(tǒng)的重要的輸入因素而被接受，該系統(tǒng)設(shè)計(jì)成避免車(chē)輛事故，特別是撞車(chē)事故。通過(guò)確定駕駛員所看到的，人機(jī)交互作用(HMI)系統(tǒng)能夠被優(yōu)化，并且根據(jù)駕駛員眼睛的定向和運(yùn)動(dòng)能夠調(diào)節(jié)諸如向前碰撞警告(FWC)的主動(dòng)安全功能。這可以作為許多對(duì)象的脫機(jī)分析，或使用聯(lián)機(jī)或?qū)崟r(shí)算法，可能將例如FCW閾值的事物調(diào)節(jié)到當(dāng)前的駕駛員狀態(tài)。
如上所述，眼睛運(yùn)動(dòng)的有趣的應(yīng)用是人機(jī)工程學(xué)和HMI領(lǐng)域。例如，這種用途可以用來(lái)確定道路和交通信息(RTI)的最好方位顯示，以及分析特定HMI是否比其他的提出較少的視覺(jué)需要。這些類型的分析能夠并且由研究對(duì)象的眼睛運(yùn)動(dòng)作出，同時(shí)利用裝置一HMI。然而，與當(dāng)前方法相關(guān)的主要缺點(diǎn)在于，幾乎沒(méi)有什么用于進(jìn)行分析的合適的自動(dòng)化工具；在沒(méi)有合適的自動(dòng)化工具的情況下，所憑借的方法通常是勞動(dòng)繁重的人工分析。
當(dāng)前眼睛運(yùn)動(dòng)研究的嚴(yán)重問(wèn)題在于，每個(gè)研究小組似乎都在用他們自己的定義和軟件解碼眼睛運(yùn)動(dòng)信號(hào)。這使得研究結(jié)果相互之間很不一樣。因此希望有定義視覺(jué)量度和概念的標(biāo)準(zhǔn)。ISO 15007和SAEJ-2396構(gòu)成這種標(biāo)準(zhǔn)的范例，因?yàn)樗麄円?guī)定了車(chē)內(nèi)視覺(jué)需求測(cè)量方法，并提供了像掃視頻率、掃視時(shí)間、離開(kāi)前面路面實(shí)況的時(shí)間以及掃視持續(xù)時(shí)間這一類的視覺(jué)特征的量化規(guī)則，并提供獲得這類視覺(jué)特征的步驟。但是，這兩個(gè)標(biāo)準(zhǔn)是基于視頻記錄技術(shù)并依靠逐個(gè)畫(huà)面定等級(jí)人的分析，這既費(fèi)時(shí)又很不可靠。由于大量的各種車(chē)內(nèi)信息和駕駛員輔助系統(tǒng)和裝置增加，駕駛員眼睛運(yùn)動(dòng)的興趣和其他認(rèn)知指示器也增加。因此需要用于眼睛運(yùn)動(dòng)的標(biāo)準(zhǔn)化的自動(dòng)的和健全的分析方法，并且在將來(lái)會(huì)變得更加重要。
關(guān)于ISO 15007和SAE J-2396的規(guī)定，已經(jīng)令人滿意地驗(yàn)證了某些眼睛跟蹤方法和分析程序。該系統(tǒng)的物理部分可以構(gòu)造成既不是侵入的也不十分依賴于環(huán)境。至少一個(gè)例子基于兩個(gè)設(shè)置在駕駛員前側(cè)攝像機(jī)(立體聲磁頭)。軟件用來(lái)實(shí)時(shí)地計(jì)算凝視矢量和其他感興趣的測(cè)量，以指示諸如頭部位置和轉(zhuǎn)動(dòng)(定向)、眨眼、眨眼頻率以及眼睛睜開(kāi)的程度這類事情。在這種軟件中的其他重要特征是實(shí)時(shí)的同時(shí)計(jì)算頭部位置/轉(zhuǎn)動(dòng)(定向)和凝視轉(zhuǎn)動(dòng)，得到以前沒(méi)有的特征。而且，對(duì)諸如發(fā)生在車(chē)內(nèi)的噪聲環(huán)境不敏感。尤其是，業(yè)已發(fā)現(xiàn)，數(shù)據(jù)中的“噪聲”是由于如可變的照明條件和頭部/凝視運(yùn)動(dòng)這些事情影響數(shù)據(jù)質(zhì)量變差的重要因素。
似乎在眼睛跟蹤相關(guān)研究領(lǐng)域中以前的工作已經(jīng)做得相當(dāng)徹底。然而，由于技術(shù)進(jìn)步使眼睛跟蹤能夠更健全、更輕便，這一技術(shù)領(lǐng)域繼續(xù)在擴(kuò)展。但是，缺少與駕駛工作相關(guān)的駕駛員特征的路上研究，并且到目前為止，沒(méi)有利用實(shí)時(shí)的眼睛跟蹤數(shù)據(jù)來(lái)計(jì)算諸如視覺(jué)或認(rèn)知錯(cuò)亂的測(cè)量(見(jiàn)圖16-18)。這是手工分段的耗時(shí)性和/或與通常利用的眼睛跟蹤系統(tǒng)的不易便攜性相關(guān)的技術(shù)困難的至少部分結(jié)果。然而，在實(shí)驗(yàn)室環(huán)境下進(jìn)行的研究中，已經(jīng)開(kāi)發(fā)出各種算法。已經(jīng)采用許多不同的手段，例如，神經(jīng)網(wǎng)絡(luò)，自適應(yīng)數(shù)字濾波器，Hidden Markow模型，最小均方法，分散或基于速度的方法和其他高階導(dǎo)數(shù)法。然而，許多這些方法是基于眼睛跟蹤者的典型特性，例如采樣頻率，并且不能與其他的這種系統(tǒng)很好地工作。
因此，還沒(méi)有標(biāo)準(zhǔn)用來(lái)定義要測(cè)量的駕駛員特征是什么以及怎樣測(cè)量這些特征。沒(méi)有涉及包括迅速掃視(saccade)、注視(fixation)和眼睛閉合的基本視覺(jué)分段的標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)僅僅涉及掃視(glance)，也就是說(shuō)，掠過(guò)視野的快速眼睛運(yùn)動(dòng)的發(fā)生。
有趣地，當(dāng)前沒(méi)有方法考慮到平穩(wěn)的眼睛運(yùn)動(dòng)或追蹤，即，遠(yuǎn)離駕駛路線有目的的觀察，例如通過(guò)路標(biāo)時(shí)看(讀)路標(biāo)。事實(shí)上，許多研究，例如通過(guò)確定沒(méi)有目標(biāo)追蹤，設(shè)計(jì)成以便不發(fā)生平穩(wěn)的追蹤。當(dāng)前研究的這種回避是可以理解的，因?yàn)楹茈y區(qū)分平穩(wěn)追蹤與迅速掃視或注視。在文獻(xiàn)中很少提到這些特征。不管這些特征沒(méi)有被考慮的理由，本發(fā)明考慮了平穩(wěn)追蹤，因?yàn)檫@種平穩(wěn)的眼睛運(yùn)動(dòng)在實(shí)際駕駛條件下相當(dāng)頻繁地發(fā)生。
駕駛車(chē)輛最基本的是必須使車(chē)輛對(duì)準(zhǔn)，檢查其路線或前進(jìn)方向，并且檢查潛在的碰撞危險(xiǎn)，無(wú)論它們是來(lái)自物體或事件。這種道路實(shí)況意識(shí)是縱向和橫向控制車(chē)輛的先決條件。應(yīng)當(dāng)明白，道路中心并非總是在車(chē)輛縱軸線前面筆直的，由于曲線而是經(jīng)常偏離中心線，這在道路上或多或少幾乎總是存在的。既便如此，研究表明，駕駛員在大多數(shù)時(shí)間，即百分之八十五到百分之九十五的時(shí)間，往往用他們的眼睛主要看道路基本筆直的前面(對(duì)于道路彎曲考慮合理的偏離)。還有，謹(jǐn)慎告訴一般的駕駛員，掃視遠(yuǎn)離道路中心或行進(jìn)路線被選擇最好的時(shí)機(jī)，以便不干擾使車(chē)輛對(duì)準(zhǔn)，并且符合發(fā)生意外事件或遇到物體的低概率。既便如此，上述統(tǒng)計(jì)表明，即使是謹(jǐn)慎的駕駛員也不總是專心地駕駛，也不是一貫地安排好他們自己的工作負(fù)荷，而是駕駛時(shí)精神分散。
在大多數(shù)場(chǎng)合駕駛不是特別要求的工作。例如，據(jù)估計(jì)，在大多數(shù)州際駕駛時(shí)，使用駕駛員的感知能力在百分之五十以下。因此，駕駛員經(jīng)常進(jìn)行次要的工作，例如撥打便攜式電話和改變收音機(jī)頻道。當(dāng)進(jìn)行次要的工作時(shí)，出現(xiàn)時(shí)間共享的掃視行為，眼睛在道路和該工作之間來(lái)回移動(dòng)。視覺(jué)的暫時(shí)分享是具有單一視覺(jué)源的牽涉動(dòng)作，可以說(shuō)，一方面在觀看道路，另一方面在進(jìn)行次要工作。包括撞車(chē)在內(nèi)的問(wèn)題是，在眼睛離開(kāi)道路的時(shí)間間隔中可能會(huì)發(fā)生意想不到的事情，并且對(duì)這些意想不到的事件或事物的反應(yīng)變得非常慢。
這里提出的新的測(cè)量和分析技術(shù)采用這種看筆直前方或車(chē)輛路線跡線的基本而必須的駕駛眼睛運(yùn)動(dòng)行為。該測(cè)量對(duì)進(jìn)行視覺(jué)上、認(rèn)知上或手動(dòng)需要的車(chē)內(nèi)工作的視覺(jué)影響給出精確的脫機(jī)評(píng)估，業(yè)已發(fā)現(xiàn)這些車(chē)內(nèi)工作與常規(guī)的測(cè)量高度相關(guān)。它們也能夠與正常駕駛進(jìn)行比較。這里提出的量度也非常適合這種視覺(jué)影響的聯(lián)機(jī)計(jì)算和評(píng)估，并且代表了能夠用于檢測(cè)精神分散和工作負(fù)荷的實(shí)時(shí)測(cè)量。

發(fā)明內(nèi)容
本發(fā)明的至少一個(gè)特征是被驗(yàn)證的分析方法和算法的措施，該分析方法和算法便于由頭部/眼睛跟蹤系統(tǒng)產(chǎn)生的眼睛運(yùn)動(dòng)數(shù)據(jù)的自動(dòng)化分析，基本上消除了人的評(píng)價(jià)，并且輸出過(guò)濾的、有效的特征數(shù)據(jù)，該數(shù)據(jù)是健全的并消除了錯(cuò)誤和噪聲。優(yōu)選地，這些便利是按照ISO/SEA進(jìn)行的并且是相似地被接受的現(xiàn)有和將來(lái)的標(biāo)準(zhǔn)。
另一個(gè)目的是對(duì)實(shí)時(shí)環(huán)境采用一定算法。另一個(gè)目的是識(shí)別并提供駕駛員支撐，該支撐是基于視覺(jué)行為并且由于執(zhí)行系統(tǒng)而能夠輔助駕駛員避免潛在的有害情況，所述執(zhí)行系統(tǒng)使駕駛員重新聚焦。
一方面，本發(fā)明提出在車(chē)內(nèi)需要有一種標(biāo)準(zhǔn)參考，其中駕駛員感興趣的不同事物和區(qū)域能夠被相對(duì)地定位。希望有一種參考的標(biāo)準(zhǔn)框架(該參考由在車(chē)輛內(nèi)部的相關(guān)位置/定位/定向所定義(在本公開(kāi)的內(nèi)容中，向前的斜杠符號(hào)“/”用來(lái)表示“和/或”關(guān)系))，參照該參考可以解釋來(lái)自不同尺寸、身材和行為的操作者的頭部/臉部/眼睛跟蹤數(shù)據(jù)，由于該參考的標(biāo)準(zhǔn)框架使為了這里描述的各種目、用于精確處理的這些數(shù)據(jù)標(biāo)準(zhǔn)化。
在至少一個(gè)實(shí)施例中，本發(fā)明可以被定義為用于分析車(chē)輛駕駛員的視覺(jué)和/或頭部定向特征的一種方法。應(yīng)當(dāng)理解，所述的分析技術(shù)或過(guò)程預(yù)期能夠被用于儲(chǔ)存跟蹤數(shù)據(jù)或?qū)崟r(shí)數(shù)據(jù)，跟蹤數(shù)據(jù)通常關(guān)于時(shí)間而被作標(biāo)記，實(shí)時(shí)數(shù)據(jù)本質(zhì)上將時(shí)間作為在數(shù)據(jù)流中的定義因素；因此是描述性的名稱，“實(shí)時(shí)”數(shù)據(jù)。在任何情況下，本發(fā)明的實(shí)施例預(yù)計(jì)檢測(cè)并量化駕駛員的頭部相對(duì)于乘客車(chē)廂內(nèi)的空間的位置。提供“基準(zhǔn)點(diǎn)”駕駛員頭部(或其一部分)的參考基準(zhǔn)位置，其能夠使駕駛員感興趣的區(qū)域/事物的位置相對(duì)其相互參照。應(yīng)當(dāng)理解，駕駛員感興趣的這些區(qū)域/事物可以在車(chē)輛內(nèi)部，也可以在車(chē)輛外部，并且可以由以下兩條構(gòu)成(1)諸如聲頻控制、速度表和其他儀表的“事物”，以及(2)諸如“道路前面”和與相鄰車(chē)道之間的改變車(chē)道的間隙空間的區(qū)域或位置。為了相對(duì)于所關(guān)心的車(chē)輛使跟蹤數(shù)據(jù)標(biāo)準(zhǔn)化，駕駛員頭部位置的量化對(duì)于參考基準(zhǔn)位置是標(biāo)準(zhǔn)化的，因而根據(jù)檢測(cè)的信息能夠推導(dǎo)駕駛員表現(xiàn)出興趣的位置，所述信息關(guān)于下列兩項(xiàng)中的任一項(xiàng)或兩項(xiàng)(1)駕駛員的視覺(jué)定向，(2)駕駛員的頭部定向。
在跟蹤信息是關(guān)于駕駛員的頭部和眼睛的特征兩者而獲得的情況下，優(yōu)先使用關(guān)于駕駛員的視覺(jué)定向的檢測(cè)信息作為推導(dǎo)駕駛員所關(guān)心的位置的基礎(chǔ)。當(dāng)關(guān)于駕駛員的視覺(jué)定向的檢測(cè)信息的質(zhì)量降低到規(guī)定的極限凝視置信度水平以下時(shí)，一個(gè)開(kāi)關(guān)用于關(guān)于駕駛員頭部定向的檢測(cè)信息，作為用來(lái)推導(dǎo)駕駛員已經(jīng)表示出興趣的地方的基礎(chǔ)。作為例子，當(dāng)駕駛員的眼睛閉合時(shí)，即以防止它們被跟蹤的某種方式被擋住或被蓋住時(shí)，這個(gè)開(kāi)關(guān)可以是必須的。也可以認(rèn)為閉合的狀態(tài)包括跟蹤傳感器不能跟蹤眼睛的狀態(tài)，例如因?yàn)椴荒茏R(shí)別/定位相關(guān)的臉部特征。例如，不能推導(dǎo)眼睛-到鼻子-到嘴的定向和參考(某些跟蹤系統(tǒng)需要參考框架，用于建立臉部，以便定位要被跟蹤并且被數(shù)據(jù)值特征化的眼睛)。當(dāng)臉部沒(méi)有被適當(dāng)參考時(shí)，例如，某些傳感器可能跟蹤錯(cuò)當(dāng)成眼睛的對(duì)象的鼻孔，或者，戴著的已(折射地)變形的或使眼睛圖象模糊(太陽(yáng)鏡)的眼鏡。眼睛閉合的另一個(gè)例子是當(dāng)駕駛員的頭部位置離開(kāi)眼睛向前(多數(shù)駕駛)的定向超過(guò)偏離允許的程度時(shí)。在這些情況下，駕駛員的眼睛有效地在視覺(jué)上與跟蹤設(shè)備(傳感器)被相阻擋開(kāi)，所述跟蹤設(shè)備(傳感器)產(chǎn)生眼睛定向數(shù)據(jù)。
優(yōu)選地，利用數(shù)學(xué)變換實(shí)現(xiàn)駕駛員頭部位置相對(duì)參考基準(zhǔn)位置的量化的標(biāo)準(zhǔn)化。在車(chē)上安裝，優(yōu)選為在基本為實(shí)時(shí)的基礎(chǔ)上使用車(chē)載計(jì)算機(jī)進(jìn)行數(shù)學(xué)變換。
在本發(fā)明的一種發(fā)展(方案)中，規(guī)定駕駛員關(guān)心的區(qū)域/事物相對(duì)于參考基準(zhǔn)位置的位置。在這方面，這種規(guī)定用作樣板，貼著它或在它上面可以讀取或覆蓋檢測(cè)數(shù)據(jù)。
可選地，駕駛員關(guān)心的區(qū)域/事物的可能的位置是根據(jù)檢測(cè)的駕駛員的視覺(jué)特征、相對(duì)于參考基準(zhǔn)位置定義的。在一個(gè)示例性的發(fā)展中，駕駛員關(guān)心的區(qū)域/事物的可能位置相對(duì)于參考基準(zhǔn)位置的這種定義可以根據(jù)檢測(cè)的駕駛員凝視頻率的視覺(jué)特征建立。在這里，根據(jù)對(duì)收集的凝視密度特征的量化建立凝視頻率。
在本發(fā)明的一個(gè)實(shí)施例中，通過(guò)將檢測(cè)的駕駛員視覺(jué)特征映射到所述規(guī)定或定義的駕駛員關(guān)心的區(qū)域/事物相對(duì)于參考基準(zhǔn)位置的可能位置，駕駛員關(guān)心的區(qū)域/事物(這往往是被解釋為包含多個(gè)駕駛員關(guān)心的區(qū)域/事物)根據(jù)駕駛員視覺(jué)特征(示例性地表示為跟蹤數(shù)據(jù))來(lái)識(shí)別。也就是說(shuō)，可以通過(guò)比較所觀察的數(shù)據(jù)(頭部和/或眼睛跟蹤數(shù)據(jù))和上面定義的規(guī)定的樣板，或通過(guò)對(duì)照與駕駛員將可能關(guān)心的特定事物和/或區(qū)域相關(guān)的已知數(shù)據(jù)組，作出已經(jīng)被推導(dǎo)作為駕駛員可能關(guān)心的區(qū)域或事物的識(shí)別。
示例性的例子是，為特定的車(chē)輛設(shè)計(jì)一個(gè)基于區(qū)域的樣板，并且識(shí)別駕駛員看各種定位/事物的相關(guān)頻率。例如，可能發(fā)現(xiàn)，一般的駕駛員在約百分之四十的駕駛時(shí)間里基本上筆直地向前看，而約百分之二十的駕駛時(shí)間看包含速度計(jì)的各種儀表。還知道，空間上，這兩個(gè)區(qū)域的中心的位置是一個(gè)在另一個(gè)的下面。因此，利用凝視方向數(shù)據(jù)(無(wú)論是否根據(jù)頭部定向或眼睛(視覺(jué))定向)，對(duì)于特定的駕駛員可以推導(dǎo)出道路中心和儀表組的相關(guān)位置。一旦參考的基本框架被建立之后，能夠推導(dǎo)特定車(chē)輛對(duì)現(xiàn)實(shí)的響應(yīng)，并且能夠確定參考框架的移動(dòng)。還有，也能夠推導(dǎo)對(duì)車(chē)輛聲頻控制的掃視，例如，如果統(tǒng)計(jì)可知道一般的駕駛員看聲頻控制大約占正常駕駛時(shí)間的百分之十。一旦已經(jīng)記錄“學(xué)習(xí)時(shí)間”周期，許多駕駛員關(guān)心的區(qū)域/事物的相關(guān)位置能夠根據(jù)統(tǒng)計(jì)確定，即使獨(dú)立于事物/區(qū)域的任何已知的映射，或車(chē)輛中的參考框架。
另一方面，本發(fā)明需要根據(jù)映射的駕駛員視覺(jué)特征由車(chē)輛執(zhí)行而適應(yīng)規(guī)定的功能性。這可能簡(jiǎn)單的如，當(dāng)檢測(cè)到駕駛員視線離開(kāi)道路的時(shí)間太長(zhǎng)時(shí)使精神分散警告發(fā)出聲音，通過(guò)自適應(yīng)巡游控制系統(tǒng)以使保持在前面車(chē)輛后面的緩沖區(qū)增加。
在一個(gè)特別有利實(shí)施例中，業(yè)已發(fā)現(xiàn)，這些駕駛員關(guān)心的區(qū)域/事物，可以部分地根據(jù)，或?qū)ｉT(mén)地根據(jù)關(guān)于專門(mén)由凝視角量度構(gòu)成的駕駛員視覺(jué)定向的檢測(cè)信息來(lái)識(shí)別。關(guān)于在一特定車(chē)輛(舉例性地識(shí)別為轎車(chē)的特定標(biāo)志和模型)內(nèi)的參考框架，區(qū)域/事物的角位置是特別精確的，因?yàn)椴恍枰紤]距離。也就是說(shuō)，如果區(qū)域定位被識(shí)別為統(tǒng)計(jì)地(概率地)表示可能的駕駛員關(guān)心的區(qū)域/事物，那么必須知道定位在遠(yuǎn)離該參考框架的區(qū)域的距離。這顯露出這樣一個(gè)事實(shí)，即定義的區(qū)域從焦點(diǎn)張開(kāi)很多，就像一個(gè)錐體從其頂點(diǎn)張開(kāi)一樣。然而從頂點(diǎn)的角度是離散的測(cè)量(見(jiàn)圖11)。
在本發(fā)明的一個(gè)示例性的方案中，凝視角的量度從基于眼球定向的檢測(cè)的凝視方向矢量導(dǎo)出的。這可以取自一個(gè)眼球的觀察，但是優(yōu)選取作取自兩個(gè)眼球的觀察的凝聚。因此，代表性的矢量更準(zhǔn)確地描述為從對(duì)象鼻梁區(qū)域發(fā)出的矢量，并定向?yàn)槠叫杏谟^察角的平均值。
雖然以上本發(fā)明就眼球角度進(jìn)行了細(xì)節(jié)描述，但是也可以認(rèn)為，從基于頭部定向的相似觀察可以獲得相似的結(jié)構(gòu)?？偟膩?lái)說(shuō)，比較可以描述為利用鼻子指向的(基于頭部)方向，相對(duì)眼睛從該參考框架定向的方向(該方向由參考框架的定向所定義)，根據(jù)檢測(cè)的頭部定向定義駕駛員關(guān)心的區(qū)域/事物相對(duì)于參考基準(zhǔn)位置的可能位置。
在至少一個(gè)實(shí)施例中，駕駛員關(guān)心的區(qū)域/事物的可能位置的定義根據(jù)檢測(cè)的頭部定向相對(duì)于參考基準(zhǔn)位置而確定，從該頭部定向推導(dǎo)出臉部朝前的方向。在這種情況下，如同眼球跡線測(cè)量數(shù)據(jù)一樣，特定的頭部定向和臉部朝前的方向可以利用密度映射而建立，該密度映射指示了駕駛員看某一確定的方向的頻率。
駕駛員關(guān)心的區(qū)域/事物可以使代表性的映射(因此，這也能夠從角的直接數(shù)據(jù)完成)與駕駛員關(guān)心的區(qū)域/事物相對(duì)于參考基準(zhǔn)位置的規(guī)定/定義的可能位置相關(guān)而識(shí)別。
當(dāng)提出基于頭部定向的分析時(shí)，凝視角的測(cè)量能夠從基于頭部定向的檢測(cè)的凝視方向矢量得到。
在另一個(gè)實(shí)施例中，本發(fā)明采用一種方法，用于研發(fā)在評(píng)價(jià)駕駛員活動(dòng)和/或駕駛員狀況中用于比較的基準(zhǔn)點(diǎn)(參考框架)。該方法包括(包括但不限于)根據(jù)檢測(cè)的駕駛員的特征，并根據(jù)從其研發(fā)的密度圖形而收集(其也可以包括利用記錄的數(shù)據(jù)流)凝視方向數(shù)據(jù)流，定義基于凝視方向的參數(shù)，其對(duì)應(yīng)于駕駛員可能關(guān)心的至少一個(gè)的區(qū)域。
如前所述，該方法需要利用下述兩個(gè)測(cè)量中的至少一個(gè)構(gòu)成凝視方向數(shù)據(jù)(1)駕駛員視覺(jué)定向，(2)駕駛員頭部定向。
表示一般眼睛朝前駕駛的區(qū)域是根據(jù)來(lái)自收集的凝視方向數(shù)據(jù)的高密度圖形而建立的。舉例來(lái)說(shuō)，該區(qū)域可以定義為在二維中定義的區(qū)域，例如拋物線，或在三維中定義的體積，例如從參考框架的頂點(diǎn)發(fā)出的錐形，該頂點(diǎn)相對(duì)于建立的參考框架基本上位于典型駕駛員的眼睛位置。
所收集的凝視方向數(shù)據(jù)與建立的代表性區(qū)域進(jìn)行比較，從而根據(jù)該比較識(shí)別凝視離開(kāi)(gaze departure)。根據(jù)類似的比較，可以推導(dǎo)環(huán)境或駕駛員的其他量。例如，凝視方向數(shù)據(jù)可以用來(lái)識(shí)別和/或測(cè)量諸如駕駛員的認(rèn)知分散、駕駛員的視覺(jué)分散，和/或駕駛員高度工作負(fù)荷的事物。
還有，該方法預(yù)期并提供一種手段，根據(jù)確定的頻率或持續(xù)時(shí)間(根據(jù)是否發(fā)生分散的或連續(xù)的事故)用于量化駕駛員關(guān)于完成駕駛工作所受傷害的嚴(yán)重性(程度)，其中在規(guī)定的時(shí)間段內(nèi)檢測(cè)作為凝視離開(kāi)、認(rèn)知分散、(3)視覺(jué)分散和(4)駕駛員高工作負(fù)荷的指示狀況。
所關(guān)心的事故可以記錄、存儲(chǔ)和/或傳輸，用于由處理器進(jìn)一步分析。相反，如果進(jìn)行實(shí)時(shí)傳輸，表示所關(guān)心的事故的數(shù)據(jù)也可以被就地或遠(yuǎn)程實(shí)時(shí)分析。
這種分析的至少一種典型應(yīng)用是，當(dāng)嚴(yán)重性量化超過(guò)規(guī)定的嚴(yán)重性極限水平時(shí)，給駕駛員提供反饋。例如，當(dāng)發(fā)生超過(guò)視覺(jué)分散(太多地移開(kāi)目光)或認(rèn)知分散(移開(kāi)目光不夠多——全神貫注時(shí)盯著前面)的水平時(shí)，駕駛員被警告。
來(lái)自分析的輸出的另一種應(yīng)用是，當(dāng)嚴(yán)重性量化超過(guò)規(guī)定的嚴(yán)重性極限水平時(shí)，處理由車(chē)輛完成的規(guī)定的功能。其中一個(gè)例子是當(dāng)確定駕駛員處于精神分散或不注意的狀態(tài)時(shí)，使自適應(yīng)巡游系統(tǒng)在與前面車(chē)輛之間設(shè)立附加的空間。
用于分析收集的凝視方向數(shù)據(jù)流的一種特別有利的模式是，利用橫向通過(guò)數(shù)據(jù)系列的規(guī)定時(shí)間段的主要移動(dòng)時(shí)間窗(統(tǒng)計(jì)分析領(lǐng)域的技術(shù)人員熟知的一種分析工具)，并檢測(cè)指示駕駛時(shí)間共享活動(dòng)發(fā)生的主要移動(dòng)時(shí)間窗內(nèi)的特征。其中一個(gè)例子是在移動(dòng)九十二窗內(nèi)取一定數(shù)據(jù)的平均值。當(dāng)窗口沿?cái)?shù)據(jù)系列前進(jìn)時(shí)，新數(shù)據(jù)加到需要考慮的事項(xiàng)，而不考慮最舊數(shù)據(jù)(根據(jù)時(shí)間，等量地新進(jìn)舊出)。
這種處理的應(yīng)用可以用于根據(jù)發(fā)生駕駛員時(shí)間共享活動(dòng)超過(guò)閾值的頻率識(shí)別駕駛員高工作負(fù)荷時(shí)間段。為了免去所檢測(cè)的事件效果的窗口，當(dāng)檢測(cè)到發(fā)生駕駛員時(shí)間共享活動(dòng)終止時(shí)，使主要移動(dòng)時(shí)間窗的更新(刷新或重新存儲(chǔ)到正常)。以這種方式，在檢測(cè)和分析之后使該事件的效果最小化，因此使該系統(tǒng)準(zhǔn)備好用于下一次從正常的離開(kāi)。
正如將要在下面詳細(xì)討論的，視覺(jué)活動(dòng)的若干特征可以根據(jù)觀察的眼睛活動(dòng)而識(shí)別。一些容易由外行識(shí)別的共同特征是眨眼和掃視。不容易被外行理解的是如根據(jù)不太知道的諸如具有可測(cè)量的定義特征的迅速掃視、注視和轉(zhuǎn)換構(gòu)成的眼睛活動(dòng)來(lái)表示特征或識(shí)別的掃視一類的事物。
在另一個(gè)實(shí)施例中，本發(fā)明采用一種方法，用于自動(dòng)分析眼睛運(yùn)動(dòng)的數(shù)據(jù)，該方法包括通過(guò)將分類規(guī)則應(yīng)用于數(shù)據(jù)，用基于計(jì)算機(jī)的程序處理代表對(duì)象被觀察的眼睛運(yùn)動(dòng)的數(shù)據(jù)，并且因此識(shí)別至少由該對(duì)象經(jīng)歷的視覺(jué)注視。這些規(guī)則或特征將在下面詳細(xì)討論。分析由與該識(shí)別的注視相關(guān)的凝視方向信息構(gòu)成，因而產(chǎn)生表示在數(shù)據(jù)收集期間對(duì)象視覺(jué)注視的方向的數(shù)據(jù)，該數(shù)據(jù)該被即刻分析。應(yīng)當(dāng)理解，在當(dāng)前描述的實(shí)施例中，該對(duì)象不限于車(chē)輛的駕駛員，而可以是在其他設(shè)置中感興趣的對(duì)象。設(shè)置在駕駛環(huán)境外面的至少一個(gè)例子置是試驗(yàn)場(chǎng)的區(qū)域，其中，不同地設(shè)置的產(chǎn)品展示被暴露給試驗(yàn)對(duì)象(舉例來(lái)說(shuō)，在一系列視頻顯示上)并且較之其他產(chǎn)品吸引他們注意的產(chǎn)品能夠被識(shí)別。還有，在觀察期間由對(duì)象的感受而產(chǎn)生的某些作用能夠從某些可跟蹤的眼睛活動(dòng)被確定。例如，能夠確定掃視發(fā)生有多長(zhǎng)，從而提供由第一感受引起的相關(guān)的感興趣的指示。
在優(yōu)選實(shí)施例中，應(yīng)用的分類規(guī)則至少包括定義注視和變化的準(zhǔn)則，更優(yōu)選地，提供定義迅速掃視準(zhǔn)則的分類規(guī)則被附加地利用。
至少部分地根據(jù)注視的凝視方向，數(shù)據(jù)被分成定界數(shù)據(jù)組，每個(gè)定界數(shù)據(jù)組表示在數(shù)據(jù)收集期間存在的對(duì)象感興趣的區(qū)域/事物。
在另一方面，掃視通過(guò)對(duì)數(shù)據(jù)應(yīng)用至少一個(gè)掃視定義規(guī)則來(lái)識(shí)別，每個(gè)被識(shí)別的掃視包含至少一個(gè)被識(shí)別的注視。在本發(fā)明的這方面，定義掃視的規(guī)則是基于下列特征的至少一個(gè)，包括掃視持續(xù)時(shí)間、掃視頻率、總的掃視時(shí)間和總的工作時(shí)間。
在另一方面，相對(duì)密度由一組掃視與至少另一組掃視進(jìn)行比較來(lái)評(píng)價(jià)，根據(jù)該比較，該方法識(shí)別被比較的所表示的掃視組的對(duì)象感興趣的區(qū)域/事物。
同樣，本發(fā)明的方法預(yù)期評(píng)價(jià)至少一組掃視在多組掃視中的相對(duì)密度，并且根據(jù)評(píng)估的相對(duì)密度到關(guān)于這種類型設(shè)置的已知相對(duì)密度的映射，其中收集眼睛運(yùn)動(dòng)數(shù)據(jù)，識(shí)別被比較掃視組的所表示的對(duì)象感興趣的區(qū)域/事物。例如，利用在正常駕駛條件下駕駛員感興趣的某個(gè)事物或區(qū)域已知的停止時(shí)間的典型百分比數(shù)，能夠從收集的數(shù)據(jù)中識(shí)別這些區(qū)域或事物。
另一方面，評(píng)價(jià)從在空間上已知的設(shè)置中描述觀察的眼睛運(yùn)動(dòng)的數(shù)據(jù)中產(chǎn)生的至少兩組掃視的相對(duì)密度，并且從該相對(duì)密度中確定兩個(gè)被比較的掃視組的每一組的所表示的對(duì)象感興趣的區(qū)域/事物。然后在已知的設(shè)置中確定所表示的對(duì)象感興趣的區(qū)域/事物的位置，從而建立用于已知設(shè)置的參考框架，因?yàn)橥茖?dǎo)的定位能夠被映射或重疊在事物/區(qū)域的已知定位上。
然而，在一個(gè)特定的優(yōu)選實(shí)施例中，該對(duì)象是車(chē)輛駕駛員，并且根據(jù)至少一個(gè)掃視數(shù)據(jù)組的密度，推導(dǎo)眼睛向前的正常駕駛員的眼睛定向。
本發(fā)明的又一方面，其中車(chē)輛駕駛員是對(duì)象，預(yù)期利用多個(gè)分析協(xié)議，其選擇是根據(jù)與被處理的數(shù)據(jù)組相關(guān)的主要噪聲特性。
在一種發(fā)展方案中，預(yù)定嚴(yán)格的第一數(shù)據(jù)濾波器被應(yīng)用于輸入數(shù)據(jù)流，該數(shù)據(jù)流包括代表車(chē)輛駕駛員被觀察的眼睛運(yùn)動(dòng)的數(shù)據(jù)。利用基于計(jì)算機(jī)的處理器，并且從該處理器輸出對(duì)應(yīng)于該輸入數(shù)據(jù)流的第一被過(guò)濾的數(shù)據(jù)流。這種對(duì)應(yīng)的概念可以是這樣的概念，其中每個(gè)輸出值對(duì)應(yīng)于輸入值，從該輸入值推導(dǎo)輸出值。輸出的第一過(guò)濾的數(shù)據(jù)流的質(zhì)量由對(duì)其應(yīng)用的第一認(rèn)可規(guī)則評(píng)估，通過(guò)第一認(rèn)可規(guī)則的被輸出的第一過(guò)濾的數(shù)據(jù)流被輸出并構(gòu)成被認(rèn)可的第一數(shù)據(jù)流。
在另一發(fā)展方案中，第二數(shù)據(jù)濾波器被應(yīng)用于輸入數(shù)據(jù)流，該第二數(shù)據(jù)濾波器比利用計(jì)算機(jī)處理器的第一數(shù)據(jù)濾波器更加嚴(yán)格(使數(shù)據(jù)更加平滑)；從該第二數(shù)據(jù)濾波器，經(jīng)由其來(lái)自輸入數(shù)據(jù)流的共同的導(dǎo)出物輸出對(duì)應(yīng)于第一被過(guò)濾的數(shù)據(jù)流第二被過(guò)濾的數(shù)據(jù)流(再一次，根據(jù)來(lái)自同一輸入數(shù)據(jù)值已經(jīng)計(jì)算的對(duì)應(yīng)/比較)。該輸出的第二被過(guò)濾的數(shù)據(jù)流的質(zhì)量由對(duì)其應(yīng)用的第二認(rèn)可規(guī)則評(píng)價(jià)，并且通過(guò)第二認(rèn)可規(guī)則的輸出的第二被過(guò)濾的數(shù)據(jù)流的數(shù)據(jù)被輸出并構(gòu)成被認(rèn)可的第二數(shù)據(jù)流。
從兩個(gè)被認(rèn)可的數(shù)據(jù)流，組成采集的被認(rèn)可的數(shù)據(jù)流，由整個(gè)第一被認(rèn)可的數(shù)據(jù)流構(gòu)成，所述采集的被認(rèn)可的數(shù)據(jù)流還由對(duì)應(yīng)于輸出的第一過(guò)濾的數(shù)據(jù)流的未認(rèn)可證部分的認(rèn)可的第二數(shù)據(jù)流部分構(gòu)成。
在至少一個(gè)實(shí)施例中，該第一和第二認(rèn)可規(guī)則是同樣的；在另一個(gè)實(shí)施例中，該第一和第二認(rèn)可規(guī)則是根據(jù)同樣的準(zhǔn)則，但可以是不一樣的規(guī)則。
在另一種發(fā)展方案中，該方法包括選擇至少兩種分析協(xié)議，以從包括下述的組中構(gòu)成多個(gè)(1)基于速度的雙閾值協(xié)議，相對(duì)該組的其他部分，最適合含有低噪聲的眼睛和眼瞼行為數(shù)據(jù)；(2)基于距離的分散間隔協(xié)議，相對(duì)該組的其他部分，最適合含有中等噪聲的眼睛和眼瞼行為數(shù)據(jù)；(3)基于視覺(jué)特征的定向規(guī)則協(xié)議，相對(duì)該組的其他部分，最適合含有高噪聲的眼睛和眼瞼行為數(shù)據(jù)。
在相關(guān)方面，對(duì)于任何給定的數(shù)據(jù)組，依據(jù)在數(shù)據(jù)組中所檢測(cè)的噪聲水平，協(xié)議的選擇偏向于三個(gè)協(xié)議之一。另一方面，定向規(guī)則協(xié)議在注視和迅速掃視之間考慮下述一個(gè)或多個(gè)區(qū)分標(biāo)準(zhǔn)(1)注視的持續(xù)時(shí)間必須超過(guò)150毫秒；(2)迅速掃視持續(xù)時(shí)間必須不超過(guò)200毫秒；并且迅速掃視開(kāi)始和結(jié)束是在兩個(gè)不同的位置。
在另一方面，描述眼睛運(yùn)動(dòng)的數(shù)據(jù)質(zhì)量根據(jù)該多個(gè)分析協(xié)議中各自分析協(xié)議的相對(duì)應(yīng)用評(píng)價(jià)。可選地，與其相關(guān)，可以在整個(gè)規(guī)定時(shí)間段考慮多個(gè)分析協(xié)議中基于時(shí)間的相應(yīng)分析協(xié)議的相關(guān)應(yīng)用作出質(zhì)量評(píng)價(jià)。
如上所述，可以利用規(guī)定時(shí)間段的橫過(guò)數(shù)據(jù)流的主要時(shí)間窗，進(jìn)行收集的駕駛員眼睛凝視數(shù)據(jù)流的分析，但是在這種場(chǎng)合，檢測(cè)使數(shù)據(jù)流的一部分的真實(shí)性變模糊的人為因素。在這種情況下，對(duì)輔助移動(dòng)時(shí)間窗口進(jìn)行分類，該輔助移動(dòng)時(shí)間窗口同時(shí)橫過(guò)該數(shù)據(jù)流并當(dāng)遇到人為現(xiàn)象時(shí)從收集的數(shù)據(jù)中產(chǎn)生高度過(guò)濾數(shù)據(jù)。規(guī)定類似的過(guò)程用于在數(shù)據(jù)流行進(jìn)期間處理質(zhì)量變差超過(guò)規(guī)定的質(zhì)量閾值的被檢測(cè)數(shù)據(jù)。在這種情況下，對(duì)輔助移動(dòng)時(shí)間窗口再一次進(jìn)行分類，該輔助移動(dòng)時(shí)間窗口同時(shí)橫過(guò)該數(shù)據(jù)流并且由此當(dāng)數(shù)據(jù)質(zhì)量變差超過(guò)規(guī)定的質(zhì)量閾值時(shí)從該收集的數(shù)據(jù)流生產(chǎn)高度過(guò)濾的數(shù)據(jù)。因此，當(dāng)檢測(cè)到數(shù)據(jù)質(zhì)量變差已經(jīng)落入在規(guī)定的質(zhì)量閾值內(nèi)時(shí)，返回該主要移動(dòng)時(shí)間窗口。


圖1是脫機(jī)混合算法的示意圖；圖2是聯(lián)機(jī)混合算法的示意圖；圖3是曲線圖，示出定義注視和迅速掃視的閾值規(guī)則；圖4是示意圖，示出根據(jù)信號(hào)噪聲量的分析工具選擇；圖5是曲線圖，示出根據(jù)事實(shí)的群或密度的對(duì)象感興趣的兩個(gè)區(qū)域/事物；圖6是兩個(gè)眼睛運(yùn)動(dòng)的詳細(xì)曲線圖，示出微小迅速掃視、飄移和顫動(dòng)；
圖7是眼睛運(yùn)動(dòng)采樣的不同成分的特征的曲線說(shuō)明圖；圖8示出多個(gè)注視和迅速掃視的曲線圖；圖9示出構(gòu)成掃視的眼睛運(yùn)動(dòng)成分；圖10是示意圖，示出實(shí)際頭部位置向參考框架位移；圖11是示意圖，示出凝視方向的測(cè)量；圖12-15用各種方式圖解示出示例性地識(shí)別百分比或峰值道路中心的日間組群或密度收集；圖16是曲線圖，示出利用百分比道路中心，以測(cè)量不同車(chē)內(nèi)工作的相關(guān)影響；圖17是相對(duì)于精神分散的其他量度的絕對(duì)百分比道路中心的曲線圖；圖18是用于不同時(shí)間閾值的離開(kāi)道路中心的百分比長(zhǎng)掃視曲線圖；圖19是朝向儀表板的車(chē)輛內(nèi)的透視圖，其中有兩個(gè)“立體”跟蹤攝像機(jī)或監(jiān)視器；圖20是朝向儀表板的車(chē)輛內(nèi)的透視圖，其中有一個(gè)跟蹤攝像機(jī)或監(jiān)視器；圖21是凝視水平信號(hào)的圖解說(shuō)明，其中插入有眨眼；圖22是水平凝視的圖解說(shuō)明，并且示出由于眨眼產(chǎn)生的三個(gè)下降；圖23是關(guān)于閾值的眼睛運(yùn)動(dòng)速度的圖解說(shuō)明；圖24是個(gè)分段凝視信號(hào)的圖解說(shuō)明；圖25是恢復(fù)的注視的圖解說(shuō)明；圖26是遠(yuǎn)離道路前面景象的多個(gè)掃視的圖解說(shuō)明；圖27是短暫停頓的頻率分布圖，示出兩個(gè)感興趣的區(qū)域/事物；圖28是另一種設(shè)置的示意圖，用于對(duì)定向數(shù)據(jù)的實(shí)時(shí)分析起作用；圖29圖解說(shuō)明道路景象前面邊界的確定；圖30-33圖解說(shuō)明由駕駛員產(chǎn)生的典型掃視狀況的各種成分；圖34-36圖解說(shuō)明掃視數(shù)據(jù)的特定統(tǒng)計(jì)分析。
具體實(shí)施例方式
在描述作為本發(fā)明的中心內(nèi)容的實(shí)際數(shù)據(jù)處理方法之前，提供一些關(guān)于眼睛運(yùn)動(dòng)基本特征的基礎(chǔ)信息，以及一些關(guān)于使用的典型跟蹤系統(tǒng)的一般信息，所述跟蹤系統(tǒng)用于感測(cè)、量化和選擇地記錄描述頭部和/或眼睛定向(位置和運(yùn)動(dòng)特征)的數(shù)據(jù)，以方便水平低于本領(lǐng)域普通技術(shù)人員的讀者。
至少關(guān)于基于眼睛運(yùn)動(dòng)的系統(tǒng)，目前能夠得到的用于搜集眼運(yùn)動(dòng)數(shù)據(jù)的檢測(cè)系統(tǒng)傳遞“未處理的”眼睛運(yùn)動(dòng)信號(hào)，這種信號(hào)具有相當(dāng)大噪聲并包括人為現(xiàn)象。正如通過(guò)閱讀本發(fā)明的內(nèi)容而變得非常明顯的，通常，頭部定向跟蹤數(shù)據(jù)能夠用作近似法，因此經(jīng)常有效地代替眼睛跟蹤數(shù)據(jù)。由于眼睛跟蹤數(shù)據(jù)顯然幾乎總是提供對(duì)象觀察處的更真實(shí)的指示(與頭部跟蹤數(shù)據(jù)相比)，但是，在本發(fā)明的內(nèi)容中主要考慮的正是眼睛跟蹤數(shù)據(jù)。
本發(fā)明的算法處理這種信息并產(chǎn)生表示這種事物的輸出作為掃視頻率(在預(yù)定的時(shí)間段內(nèi)對(duì)目標(biāo)區(qū)域掃視的次數(shù))、單次掃視持續(xù)時(shí)間、總的掃視時(shí)間和總的工作時(shí)間的量度。算法體現(xiàn)被定義的規(guī)則以引發(fā)不同的警告；例如，如果駕駛員看他或她的移動(dòng)電話多于兩秒鐘而不往回看道路。確切的引發(fā)規(guī)則的定義是在實(shí)時(shí)系統(tǒng)調(diào)整的產(chǎn)物，該實(shí)時(shí)系統(tǒng)還在繼續(xù)開(kāi)發(fā)。本發(fā)明在這里公開(kāi)的內(nèi)容也考慮人機(jī)交互作用(HMI)，這種人機(jī)交互作用概念的例子在2003年2月19日提交的美國(guó)專利申請(qǐng)No.10/248,798中已經(jīng)詳細(xì)地描述，該申請(qǐng)名稱為“SYSTEM AND METHOD FOR MONITORING AND MANAGINGDRIVER ATTENTION LOADS(用于監(jiān)控并管理駕駛員注意力負(fù)荷的系統(tǒng)和方法)”，其整個(gè)內(nèi)容因此包含于此。其中介紹了如何引起這些警告的概念。
本發(fā)明的各方面引入兩個(gè)不同的基本算法，一個(gè)用于數(shù)據(jù)收集之后的脫機(jī)處理，一個(gè)用于基本與數(shù)據(jù)收集同時(shí)的實(shí)時(shí)處理(在量化特征被進(jìn)行時(shí))。它們具有基本上類似，但是實(shí)時(shí)算法具有初始化程序并缺少某些脫機(jī)特性。脫機(jī)分析的主要目的和好處是處理已記錄或已存儲(chǔ)的特征數(shù)據(jù)。實(shí)時(shí)分析的主要目的是立即處理收集的數(shù)據(jù)，并且可以利用，基本上同時(shí)使用諸如向觀察的對(duì)象進(jìn)行反饋的方法，或當(dāng)觀察的對(duì)象是車(chē)輛駕駛員時(shí)適于諸如車(chē)輛系統(tǒng)的相關(guān)系統(tǒng)。
關(guān)于駕駛員，用于脫機(jī)算法的目的之一是分析來(lái)自工作的眼睛運(yùn)動(dòng)數(shù)據(jù)，例如收音機(jī)調(diào)臺(tái)，或(駕駛時(shí))使用RTI系統(tǒng)，以確定駕駛工作中的單個(gè)姿勢(shì)有怎樣多的視覺(jué)需要。實(shí)時(shí)算法的目的是確定駕駛員看道路有怎樣多。本發(fā)明的一個(gè)目的是適于或能夠用實(shí)時(shí)算法，以便其結(jié)果類似于脫機(jī)算法獲得的結(jié)果。
眼睛運(yùn)動(dòng)一般分成兩類迅速掃視和注視。當(dāng)眼睛凝視(注視)在某個(gè)事物上，例如某頁(yè)上的字母時(shí)發(fā)生注視。這也是當(dāng)頭腦能夠吸收解釋為被注視的事物的視覺(jué)圖像的信息時(shí)。另一方面，迅速掃視是在注視之間的運(yùn)動(dòng)，即，改變注意點(diǎn)。迅速掃視是非?？斓?對(duì)于大幅度，最大速度700°/秒)，并且由于這時(shí)光線移動(dòng)過(guò)視網(wǎng)膜太快不能被大腦解釋，觀看者的頭腦抑制對(duì)這些事故的認(rèn)知。
朝事物例如移動(dòng)電話的掃視，是遠(yuǎn)離預(yù)定的目標(biāo)區(qū)域(例如道路)的迅速掃視、掃視起始和在新目標(biāo)區(qū)域(例如移動(dòng)電話)注視的結(jié)合。當(dāng)遠(yuǎn)離第二個(gè)目標(biāo)區(qū)域的新的迅速掃視開(kāi)始時(shí)，掃視終止。在同一個(gè)目標(biāo)區(qū)域的連續(xù)的迅速掃視和注視定義為同一掃視的一部分。
本發(fā)明的一定目的和優(yōu)點(diǎn)可以總結(jié)為(1)混合算法是新的，甚至在僅僅結(jié)合基于速度和分散的算法的水平上說(shuō)，特別是當(dāng)結(jié)合視覺(jué)規(guī)則時(shí)。因此，在眼睛運(yùn)動(dòng)分段時(shí)眼睛的物理能力不予以考慮；(2)利用密度函數(shù)峰值作為道路中心來(lái)定位道路中心區(qū)域的構(gòu)思和方法比僅僅賦予“峰”的平均值更詳細(xì)；(3)算法作為整體和每種不同算法部分的方式與其他的配合。百分?jǐn)?shù)道路中心(PRC)和絕對(duì)百分?jǐn)?shù)道路中心(A-PRC)的概念作為駕駛員注意力的量度。算法不僅想要產(chǎn)生希望的量度，而且能夠用于確定在ISO15007-2中所定義的所有量度，以及在SAE J-2396中的量度。
轉(zhuǎn)動(dòng)眼球的構(gòu)思進(jìn)行了很好的研究，一般來(lái)說(shuō)，眼睛運(yùn)動(dòng)分為若干不同的種類，舉例來(lái)說(shuō)可以分為迅速掃視、微迅速掃視、平穩(wěn)追蹤、聚散度、顫動(dòng)、飄移等。但是，為了本發(fā)明的目的，眼睛運(yùn)動(dòng)分成兩種基本的種類迅速掃視和注視。本發(fā)明的合理性是所有的數(shù)據(jù)點(diǎn)不是迅速掃視，而是注視。這包括平穩(wěn)追蹤，平穩(wěn)追蹤在下面描述的注視概念中在駕駛期間經(jīng)常發(fā)生。
注視定義為在眼睛能夠吸收信息的信息提供區(qū)暫停。作為有效的注視，該暫停必須持續(xù)至少150毫秒，人的大腦利用信息所需要的時(shí)間大約是這個(gè)時(shí)間。雖然稱之為“注視”，但是眼睛仍然移動(dòng)，進(jìn)行微小的移動(dòng)，例如“注視”在該區(qū)域上時(shí)的飄移、顫動(dòng)、微迅速掃視。這些微小的運(yùn)動(dòng)具有很小的幅度并且屬于定義的注視的一部分。圖6是具有飄移、顫動(dòng)和微小迅速掃視的典型的注視。其中，對(duì)象的兩只眼睛的運(yùn)動(dòng)用曲線表示，一個(gè)在另一個(gè)上面。橫軸表示時(shí)間，垂直軸表示距離。所幸的是這些運(yùn)動(dòng)或者很慢(通常在4和200S-1的量級(jí))，或者很小(通常在20-40英寸)。這防止被用于這種類型的用途的一般設(shè)備所檢測(cè)。這是一個(gè)優(yōu)點(diǎn)，因?yàn)榉駝t這種偏離將會(huì)看作噪聲。
其他較大的運(yùn)動(dòng)，但是仍然在亞迅速掃視數(shù)度，稱作平穩(wěn)追蹤。它們是注視的子類，即在移動(dòng)目標(biāo)上注視，或注視在靜止(或移動(dòng))目標(biāo)上同時(shí)觀察者在運(yùn)動(dòng)中。當(dāng)我們跟蹤目標(biāo)時(shí)，眼睛用很小的迅速掃視使視網(wǎng)膜凹斑在該目標(biāo)上，然后變慢，根據(jù)目標(biāo)的速度進(jìn)行跟蹤目標(biāo)的連續(xù)運(yùn)動(dòng)。速度在大約每秒80到160度每秒范圍內(nèi)慢運(yùn)動(dòng)構(gòu)成平穩(wěn)追蹤。圖示于圖7的這種行為是對(duì)象在跟蹤在用曲線(a)表示的正弦路徑上運(yùn)動(dòng)的點(diǎn)。曲線(e)表示整個(gè)眼睛運(yùn)動(dòng)，包括迅速掃視和平穩(wěn)追蹤。曲線(esa)代表去除了平穩(wěn)追蹤，而曲線(esm)示出去除迅速掃視的曲線?？偟膩?lái)說(shuō)，整個(gè)跟蹤行為稱作平穩(wěn)追蹤，并且可以當(dāng)作滑移注視。為此，由于在運(yùn)動(dòng)期間信息被處理并且迅速掃視太小以做用可得到的眼睛運(yùn)動(dòng)跟蹤系統(tǒng)不能檢測(cè)，對(duì)于本發(fā)明這類行為在這里稱作注視。
迅速掃視是當(dāng)人的視線在兩點(diǎn)之間變化時(shí)發(fā)生的快速眼睛運(yùn)動(dòng)。迅速掃視運(yùn)動(dòng)在幅度、持續(xù)時(shí)間、速度和方向上變化。在幅度上大于約5度的迅速掃視的持續(xù)時(shí)間大約是20-30毫秒，其后，對(duì)于每增加1度可以加上約兩毫秒。峰值速度通常在從對(duì)于幅度小于0.1°的每秒10度到對(duì)于大幅度的每秒大于700度的范圍內(nèi)。
從一個(gè)注意點(diǎn)到另一點(diǎn)的典型迅速掃視示于圖8，圖8示出實(shí)際上沒(méi)有噪聲的很好的跟蹤測(cè)量的一個(gè)例子。所示的一個(gè)示例性的迅速掃視在點(diǎn)(A)開(kāi)始而在點(diǎn)(B)結(jié)束。而且，所示的眼睛運(yùn)動(dòng)僅僅包括繞一個(gè)軸線的運(yùn)動(dòng)，也就是說(shuō)，在水平面內(nèi)沒(méi)有檢測(cè)到迅速掃視。
在迅速掃視運(yùn)動(dòng)期間，由于光線在視網(wǎng)膜上移動(dòng)太快，人的大腦通常不察覺(jué)信息。但是，應(yīng)當(dāng)理解，事實(shí)上一些信息在迅速掃視期間實(shí)際上正被處理。如果被觀察的事物與眼睛以同樣的速度并且沿同樣的方向運(yùn)動(dòng)，僅僅產(chǎn)生認(rèn)知感知作用。信息的總體缺乏迫使大腦提前對(duì)幅度和持續(xù)時(shí)間進(jìn)行計(jì)算。在這種處理中幾乎總是在某種程度上或多或少產(chǎn)生不準(zhǔn)確性和噪聲。這被滑移或比前一迅速掃視短得多的新迅速掃視所校正，因此更準(zhǔn)確。在這兒，由跡線(A)的長(zhǎng)垂直部分表示的范圍小的迅速掃視被表示校正的小迅速掃視(B)的短垂直部分所校正。這種校正的迅速掃視常常是幅度很小，用已知的眼睛跟蹤設(shè)備不能檢測(cè)，而是當(dāng)作附加的噪聲。
除了這三種運(yùn)動(dòng)之外，還有不同種類的視覺(jué)行為，通常稱之為眨眼。人通常約每?jī)擅腌娬Ｒ淮窝?，這個(gè)特征對(duì)凝視判斷有破壞影響。在眨眼時(shí)眼睛實(shí)際閉合期間，凝視不能被測(cè)量，并且由于眨眼確實(shí)在迅速掃視和注視時(shí)都會(huì)發(fā)生，當(dāng)對(duì)于跟蹤設(shè)備來(lái)說(shuō)眼睛再一次可見(jiàn)時(shí)，很難預(yù)料眼睛將會(huì)看在什么地方。所幸的是，眨眼非?？?，整個(gè)眨眼為約200毫秒的量級(jí)。這意味著眼睛總的被閉合僅僅約100-150毫秒。由于對(duì)象通常完全沒(méi)有意識(shí)到眨眼的發(fā)生，本發(fā)明通過(guò)抑制迅速掃視和眨眼的認(rèn)知而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)更清晰、更穩(wěn)定的感知。
眼睛工作的性質(zhì)有利于分段，意味著存在提供分類規(guī)則的眼睛運(yùn)動(dòng)的物理邊界。例如，一次迅速掃視不能被間隔小于約180毫秒的另一次迅速掃視跟著，這意味著迅速掃視的持續(xù)不能多于200毫秒。200毫秒的迅速掃視將具有約90度的幅度，這是不常見(jiàn)的。還有，任何長(zhǎng)于約220毫秒的被測(cè)量的迅速掃視可能是兩次迅速掃視，在其之間有一次注視。另一個(gè)有趣的事實(shí)是上面提到的對(duì)象的眨眼認(rèn)知的抑制。對(duì)象通常意識(shí)不到眨眼的發(fā)生，由于眼睛行為不被它們的發(fā)生所影響，因此一般能夠從分析中去掉。下面構(gòu)成關(guān)于本發(fā)明的眼睛的物理邊界注視持續(xù)至少約150毫秒；迅速掃視不能被間隔小于約180毫秒的另一次迅速掃視跟著；人的視野有限；注視在空間上可以大(平穩(wěn)追蹤)；迅速掃視通過(guò)視覺(jué)中心而被抑制；眨眼被視覺(jué)中心抑制。
對(duì)于車(chē)輛駕駛員來(lái)說(shuō)，甚至可能存在更多的限制，例如在駕駛時(shí)不可能有內(nèi)頂棚上的或地板上的注視，特別是工作時(shí)不可能；對(duì)象注意力(和注視)的相當(dāng)大的比例可能是在道路中心，并且平穩(wěn)追蹤速度為低到中等速度。例如，迎面而來(lái)的交通和道路標(biāo)志觸發(fā)大多數(shù)被測(cè)量的追蹤。在本發(fā)明中，這些邊界用于定義能夠用作駕駛員眼睛運(yùn)動(dòng)分段部分的框架。
根據(jù)本發(fā)明，視覺(jué)測(cè)量分成兩組，基于掃視的測(cè)量和基于非掃視的測(cè)量。這兩組由基礎(chǔ)視覺(jué)分段的結(jié)果構(gòu)成，其中注視、迅速掃視和眼睛閉合被識(shí)別。
如上所述，不同的研究者有不同的分析數(shù)據(jù)和定義的注視/迅速掃視的方法。重要的是有一致的規(guī)則和基準(zhǔn)點(diǎn)，以便所有這些分析方法能夠基于一般被接受的國(guó)際標(biāo)準(zhǔn)。這就是為什么在這種工作中的量度是基于ISO 15007-2和SAE J-2396中的定義。這兩個(gè)標(biāo)準(zhǔn)關(guān)于駕駛員視覺(jué)行為的測(cè)量的使定義和量度標(biāo)準(zhǔn)以及方法標(biāo)準(zhǔn)化，以保證實(shí)際評(píng)估適當(dāng)?shù)剡M(jìn)行。SAE文件根據(jù)ISO標(biāo)準(zhǔn)的許多術(shù)語(yǔ)，并且每個(gè)標(biāo)準(zhǔn)作為另一個(gè)的補(bǔ)充。
在描述本發(fā)明的過(guò)程中，裝置和方法都適合模擬環(huán)境也適合路上的試驗(yàn)。但是，兩種標(biāo)準(zhǔn)(ISO和SAE)都基于視頻技術(shù)，例如，利用攝像機(jī)和記錄器，注視和迅速掃視的手工(脫機(jī))分類由定級(jí)人完成。手工視頻轉(zhuǎn)錄既費(fèi)時(shí)又不可靠，因此，本發(fā)明所基于的自動(dòng)化方法是優(yōu)選的。結(jié)合和示例性的信賴于ISO/SAE型量度可以有利地依靠使用任何眼睛運(yùn)動(dòng)分類系統(tǒng)，手工的或自動(dòng)化的。
下面描述基本視覺(jué)分段的三個(gè)細(xì)節(jié)，以及兩組測(cè)量。基礎(chǔ)視覺(jué)分段將眼睛運(yùn)動(dòng)分成用可得到的眼睛跟蹤系統(tǒng)能夠測(cè)量的最小量。這些眼睛運(yùn)動(dòng)“塊”表示一個(gè)基礎(chǔ)，從該基礎(chǔ)推導(dǎo)所有的基于掃視的和統(tǒng)計(jì)的量度?？偠灾鼈儼?1)當(dāng)從感興趣的一個(gè)區(qū)域看到另一個(gè)區(qū)域時(shí)，定義快速運(yùn)動(dòng)發(fā)生的迅速掃視；(2)提出眼睛位置的對(duì)齊或不變性的注視，以便注視發(fā)生在其上的目標(biāo)的圖像落在視網(wǎng)膜上一個(gè)給定的時(shí)間長(zhǎng)度；(3)眼睛閉合，短時(shí)間的閉合稱作眨眼，長(zhǎng)時(shí)間的閉合可能是困倦的特征。
為了充分理解用于ISO/SAE文件的量度，重要的是熟悉掃視的定義，根據(jù)SAE標(biāo)準(zhǔn)，掃視被認(rèn)為是在目標(biāo)區(qū)域上的一系列注視，直到眼睛對(duì)準(zhǔn)新區(qū)域。例如，如果駕駛員起初看筆直的前面(道路上)而然后看收音機(jī)，首先注視在顯示器上，而然后注視在音量控制上，他或她進(jìn)行兩次注視(不算第一個(gè)筆直前面)和兩個(gè)迅速掃視，所有這些構(gòu)成一次掃視。掃視當(dāng)離開(kāi)道路的第一次迅速掃視開(kāi)始(這個(gè)迅速掃視叫做轉(zhuǎn)換)而開(kāi)始，當(dāng)在收音機(jī)上的最后注視結(jié)束而結(jié)束。圖9提供了典型的駕駛員三個(gè)掃視系列的圖解說(shuō)明。其中，注視、迅速掃視和轉(zhuǎn)換被量化成若干個(gè)掃視的成分。
基于掃視的量度從這些定義推導(dǎo)并且當(dāng)作眼睛運(yùn)動(dòng)的“高水平”描述，眼睛運(yùn)動(dòng)構(gòu)成前面所述的“塊”。這些量度反映了不同的性質(zhì)，例如時(shí)間共享、工作負(fù)荷和視覺(jué)注意需要。在ISO和SAE協(xié)議中定義和使用的量度是(1)掃視持續(xù)時(shí)間，其定義為從凝視的方向移向目標(biāo)到離開(kāi)該目標(biāo)的瞬間的這段時(shí)間。較長(zhǎng)的持續(xù)時(shí)間表示在該區(qū)域需要高工作負(fù)荷；(2)掃視頻率，定義為在預(yù)定的采樣時(shí)間內(nèi)或預(yù)定工作期間掃視目標(biāo)的次數(shù)，其中每個(gè)掃視被至少一個(gè)向不同目標(biāo)的掃視分開(kāi)。由于低掃視頻率與長(zhǎng)掃視持續(xù)時(shí)間相關(guān)，這個(gè)量度應(yīng)當(dāng)與掃視持續(xù)時(shí)間一起考慮；(3)總的掃視時(shí)間，定義為與該目標(biāo)相關(guān)的總掃視時(shí)間，這提供了該場(chǎng)所提出的視覺(jué)需要的量度；(4)掃視概率，定義為對(duì)給定場(chǎng)所的掃視概率。該量度反映與該目標(biāo)相關(guān)的相關(guān)注意需求。如果對(duì)一組相互地全部的和完全的目標(biāo)進(jìn)行計(jì)算，這種分布能夠用于進(jìn)行統(tǒng)計(jì)比較；(5)短暫停留時(shí)間，定義為總的掃視時(shí)間減去開(kāi)始該掃視的迅速掃視時(shí)間；(6)連接值概率，定義為兩個(gè)不同場(chǎng)所之間掃視轉(zhuǎn)換的概率，該量度反映了對(duì)不同目標(biāo)區(qū)域之間的時(shí)間共享注意的需要；(7)離開(kāi)前面道路景觀(前面的道路景觀，不包括后視鏡和側(cè)視鏡)的時(shí)間，定義為對(duì)前面道路景觀的兩個(gè)連續(xù)的掃視之間的總的時(shí)間，其被向非道路目標(biāo)的掃視分開(kāi)；(8)轉(zhuǎn)換，定義為從一個(gè)定義的目標(biāo)場(chǎng)所到不同的目標(biāo)場(chǎng)所眼睛注視場(chǎng)所的改變，既開(kāi)始掃視的迅速掃視；(9)轉(zhuǎn)換時(shí)間，定義為在目標(biāo)場(chǎng)所上的注視結(jié)束和另一個(gè)目標(biāo)場(chǎng)所上的新注視的開(kāi)始之間的持續(xù)時(shí)間，由于在轉(zhuǎn)換時(shí)很少有或沒(méi)有新信息，因此增加的轉(zhuǎn)換時(shí)間反映了減少對(duì)駕駛員新信息的可得到性；(10)總的工作時(shí)間，定義為工作的總時(shí)間，這又定義為工作時(shí)從第一掃視開(kāi)始點(diǎn)到最后掃視結(jié)束的時(shí)間。
基于非掃視的量度是所有的其他能夠計(jì)算的量度，而不是ISO/SAE標(biāo)準(zhǔn)定義的量度。其中的兩個(gè)例子包括(1)在不同組群，例如前面的道路景觀和移動(dòng)電話內(nèi)的注視位置的平均值和標(biāo)準(zhǔn)偏差，；(2)不同組群和/或不同工作內(nèi)的注視短暫停留時(shí)間的平均值和標(biāo)準(zhǔn)偏差。分析時(shí)對(duì)這類量度感興趣，例如，如果駕駛員被卷入數(shù)學(xué)任務(wù)中，將高認(rèn)知負(fù)荷期間的駕駛與正常駕駛進(jìn)行比較。
本發(fā)明的總的目的是提供健全的眼睛運(yùn)動(dòng)數(shù)據(jù)分析的自動(dòng)化，其重點(diǎn)在ISO15007-2和SAE J-2396方法規(guī)定的量度，用于關(guān)于傳輸信息和控制系統(tǒng)的駕駛員視覺(jué)行為的測(cè)量。在本發(fā)明的自動(dòng)化中所用的示例性的工具包括眼跟蹤系統(tǒng)，其另外詳細(xì)討論。有利的是，算法和補(bǔ)充系統(tǒng)只需要很少的人工干預(yù)，例如裝載/存儲(chǔ)數(shù)據(jù)以及被檢測(cè)的組群和遠(yuǎn)離本體的事物的視覺(jué)檢查。
本公開(kāi)開(kāi)頭示出了能夠用可得到的檢測(cè)系統(tǒng)進(jìn)行自動(dòng)化分析，具體的研究揭示了所有量度的高度相關(guān)性。在這個(gè)例子中，信號(hào)用滑動(dòng)十三采樣中值窗口濾波器過(guò)濾以減少噪聲，消除某些遠(yuǎn)離本體的事物和眨眼。研發(fā)了速度閾值算法，使迅速掃視不同于注視(平穩(wěn)追蹤被當(dāng)作注視)，并且組群的人工分界提供掃視分類的基礎(chǔ)。該方法要求大量的操作者輸入和注意，例如，要被過(guò)濾的信號(hào)和遠(yuǎn)離本體的事物，短注視和其他人為現(xiàn)象要被人工識(shí)別。由于本發(fā)明研究出本公開(kāi)的要點(diǎn)，這些操作者時(shí)間密集法已經(jīng)能夠被取消。
起初，中值濾波器寬度對(duì)所有的對(duì)象優(yōu)化不是最佳的，長(zhǎng)度需要與噪聲大小成比例地保持。相應(yīng)地，使用不同類型的濾波器和參數(shù)。而且，已經(jīng)知道速度算法對(duì)噪聲很敏感。所以閾值設(shè)置成每秒340度，這明顯高于迅速掃視開(kāi)始和結(jié)束的速度。為了補(bǔ)償，迅速掃視之前和之后的兩個(gè)采樣點(diǎn)也標(biāo)記為具有迅速掃視速度。由于迅速掃視在幅度和峰值速度上變化，所以它們的加速度也變化。因此，只有這種先驅(qū)的方法提供迅速掃視開(kāi)始和結(jié)束的很好的近似。因此，本發(fā)明的目的是提供一種更精確地識(shí)別迅速掃視/注視的健全的技術(shù)。
此外，需要自動(dòng)識(shí)別掃視目標(biāo)區(qū)和掃視的分組技術(shù)。一個(gè)目的是以自動(dòng)化的方式消除遠(yuǎn)離本體的事物和其他人為現(xiàn)象，而不是用傳統(tǒng)的人工評(píng)估手段。
當(dāng)設(shè)計(jì)檢測(cè)算法時(shí)，這里所公開(kāi)的數(shù)據(jù)的來(lái)源和性質(zhì)的理解是重要的。因此，描述了可得到的數(shù)據(jù)和用于獲得該數(shù)據(jù)的技術(shù)平臺(tái)。
關(guān)于即將到來(lái)的本發(fā)明，圖1提供了示例性的脫機(jī)分析算法的總的概要。未處理的眼睛運(yùn)動(dòng)數(shù)據(jù)被輸入左上的方框中在那兒進(jìn)行預(yù)處理。舉例來(lái)說(shuō)，這種預(yù)處理包括中值濾波器，降低噪聲、人為現(xiàn)象和眨眼。還有所有的非跟蹤數(shù)據(jù)在這個(gè)功能站被去掉。
中間的大方框表示示例性的算法，如圖所示，是一種在兩個(gè)共用的數(shù)據(jù)處理算法(雙重閾值速度檢測(cè)和分散以及分散和基于規(guī)則的檢測(cè))之間的混合處理。如右面中等的方框所示，應(yīng)用的視覺(jué)規(guī)則是基于已知的眼睛行為的某些方面的限制或參數(shù)，例如通常由人的視覺(jué)能力限定的注視的最小長(zhǎng)度(關(guān)于時(shí)間)。混合算法內(nèi)的底部方框表示自適應(yīng)分組算法，根據(jù)其一個(gè)或多個(gè)特征對(duì)注視分組，并且在實(shí)踐中使分組趨向于當(dāng)采樣的掃視數(shù)目增加時(shí)“浮動(dòng)”到位。
由混合算法內(nèi)的上面方框表示的雙重閾值速度檢測(cè)算法是基于眼睛運(yùn)動(dòng)速度(度/秒)。參考圖3，高閾值(頂部、平的點(diǎn)虛線)將在具有低速度的眼睛運(yùn)動(dòng)之間的注視從迅速掃視中區(qū)分出來(lái)。下面的點(diǎn)劃曲線表示實(shí)際的眼睛運(yùn)動(dòng)，在一維中示出，而帶尖峰的實(shí)曲線表示其導(dǎo)數(shù)或眼睛運(yùn)動(dòng)速度。一旦迅速掃視被檢測(cè)到，低閾值(長(zhǎng)短劃虛線)用于確定開(kāi)始和結(jié)束點(diǎn)。使用兩個(gè)閾值的理由是避免由迅速掃視檢測(cè)引起的噪聲觸發(fā)。但是，應(yīng)當(dāng)理解，當(dāng)噪聲增加時(shí)該協(xié)議的誤差也增加。
除了迅速掃視檢測(cè)之外，分散協(xié)議與所用的視覺(jué)規(guī)則結(jié)合使用。該規(guī)則確定什么時(shí)候被檢測(cè)的迅速掃視和注視不是自然的，也就是說(shuō)，它們的定義的數(shù)據(jù)在某種方式上超出指定分類(迅速掃視和注視)可接收的特征參數(shù)。
這種規(guī)則的例子可以是，注視必須持續(xù)多于150毫秒，而迅速掃視由預(yù)定的較短的時(shí)間段測(cè)量。還有，迅速掃視不能返回到它開(kāi)始的同一個(gè)區(qū)域。無(wú)論什么時(shí)候這些規(guī)則用來(lái)將注視改變成迅速掃視的一部分或?qū)⒀杆賿咭暩淖兂勺⒁暤囊徊糠?，該分散算法確定該情況將被怎樣處理。例如，如果在同一目標(biāo)上的兩個(gè)連續(xù)的注視被檢測(cè)到在其之間具有60毫秒的迅速掃視，那么可以推導(dǎo)出可能有噪聲觸發(fā)該迅速掃視檢測(cè)。通過(guò)分散協(xié)議確定它是否是噪聲。如果兩個(gè)注視相互在一定距離內(nèi)(分散閾值)，那么它們是同一注視的一部分，并且迅速掃視改變成注視的一部分，否則它最可能是正確的檢測(cè)。
混合算法的主要規(guī)則是，關(guān)于哪一種處理算法(或其一部分)將用于根據(jù)當(dāng)前噪聲水平的數(shù)據(jù)，它自動(dòng)地偏離“決定”。如圖4所示，具有較高質(zhì)量的、相對(duì)無(wú)噪聲的跟蹤數(shù)據(jù)將主要用雙重閾值速度來(lái)處理。數(shù)據(jù)噪聲/質(zhì)量的平均值或中間量增加了對(duì)該數(shù)據(jù)的分散檢測(cè)處理的影響。最后，如圖4右側(cè)所示，當(dāng)數(shù)據(jù)的噪聲很?chē)?yán)重而質(zhì)量低時(shí)，注視恢復(fù)會(huì)受影響。通常這種低質(zhì)量或有噪聲的數(shù)據(jù)將僅僅是短暫的效果并且不會(huì)應(yīng)用到整個(gè)數(shù)據(jù)流。在數(shù)據(jù)的部分質(zhì)量相當(dāng)?shù)偷那闆r下，這部分的恢復(fù)通過(guò)對(duì)相應(yīng)的數(shù)據(jù)應(yīng)用嚴(yán)格的濾波器發(fā)生，以便看它是否能夠被“靜化”(平滑)到足以識(shí)別在該嚴(yán)重噪聲下的行為。當(dāng)更加嚴(yán)格的被過(guò)濾的輸出通過(guò)“有效性”規(guī)則時(shí)，恢復(fù)是通過(guò)嚴(yán)格處理部分的“替換”實(shí)現(xiàn)的，而該“有效性”規(guī)則使不太嚴(yán)格的被過(guò)濾的數(shù)據(jù)失效。
當(dāng)所有的注視和迅速掃視的檢測(cè)已經(jīng)完成時(shí)，數(shù)據(jù)被輸入到根據(jù)進(jìn)行的分組分析的結(jié)果識(shí)別掃視的分組算法，其示例性的細(xì)節(jié)將在下面更詳細(xì)地說(shuō)明。
圖2示出用于進(jìn)行實(shí)時(shí)跟蹤數(shù)據(jù)處理的混合算法。通常以任何數(shù)據(jù)流形式中的未處理的跟蹤數(shù)據(jù)，是從關(guān)于頭部和/或眼睛定向和運(yùn)動(dòng)的檢測(cè)系統(tǒng)獲得的。由于該處理在實(shí)時(shí)基礎(chǔ)上發(fā)生，如果它沒(méi)有滿足規(guī)則的準(zhǔn)則，能夠重循環(huán)該數(shù)據(jù)用于任何進(jìn)一步的過(guò)濾通過(guò)的特殊功能將不能被享用。必須總是能夠得到最好的可能的數(shù)據(jù)。因此，實(shí)時(shí)混合算法主要運(yùn)行同一數(shù)據(jù)的兩個(gè)前后串聯(lián)的處理。如圖2所示，源數(shù)據(jù)在上面用標(biāo)準(zhǔn)濾波器處理，同時(shí)平行地在下面用更嚴(yán)格的濾波器處理。同時(shí)，不同被過(guò)濾的源數(shù)據(jù)用規(guī)則組處理。通常用于每個(gè)被過(guò)濾的數(shù)據(jù)流的規(guī)則是同樣的，但是每個(gè)可能根據(jù)相應(yīng)的過(guò)濾特征而設(shè)計(jì)。
從兩個(gè)規(guī)則處理的每一個(gè)產(chǎn)生一個(gè)數(shù)據(jù)流。正如從圖2能夠理解的，兩個(gè)輸出的被過(guò)濾的數(shù)據(jù)流的特征是不同的。優(yōu)選地，標(biāo)準(zhǔn)濾波器關(guān)于平滑數(shù)據(jù)是很溫和的，而應(yīng)用于數(shù)據(jù)流的規(guī)則組盡力確定是否發(fā)生有效的迅速掃視或注視。如果不能滿足規(guī)則，那么不輸出數(shù)據(jù)流。這種數(shù)據(jù)中的空白在圖2的右上角被辨別。在未能滿足所用規(guī)則的數(shù)據(jù)流的部分中僅僅可能是噪聲太多。
在整個(gè)時(shí)間，如上所述，數(shù)據(jù)也用嚴(yán)格的濾波器處理。通常，嚴(yán)格的濾波器以努力去掉噪聲的形式的確明顯地“平滑”數(shù)據(jù)。輸出數(shù)據(jù)可能更平滑，但是當(dāng)同樣的規(guī)則應(yīng)用于對(duì)應(yīng)于空白區(qū)的沒(méi)有規(guī)則適應(yīng)的標(biāo)準(zhǔn)過(guò)濾的數(shù)據(jù)部分的更高過(guò)濾的數(shù)據(jù)時(shí)，迅速掃視或注視特征是可辨識(shí)的。當(dāng)情況是這樣時(shí)，規(guī)則被通過(guò)，并且獲得該數(shù)據(jù)的有效特征。該高過(guò)濾的數(shù)據(jù)的通過(guò)規(guī)則的部分相應(yīng)于作廢的、規(guī)則破壞、較少過(guò)濾數(shù)據(jù)區(qū)域，被合并到在標(biāo)準(zhǔn)過(guò)濾之后已經(jīng)通過(guò)的輸出數(shù)據(jù)流。這在圖2中示出為編輯處理數(shù)據(jù)流。
如果源數(shù)據(jù)具有大體上可接受的質(zhì)量(噪聲少)，那么在沒(méi)有通過(guò)該應(yīng)用規(guī)則的不同過(guò)濾的數(shù)據(jù)流處可能具有短空白部分時(shí)，該被編輯的數(shù)據(jù)基本上是連接的。也就是說(shuō)，質(zhì)量很低的數(shù)據(jù)決不能被接受，并且通常不能過(guò)濾或處理成能夠接受的。但是，在除了某些子標(biāo)準(zhǔn)部分外，源數(shù)據(jù)大體上能夠被接受的情況下，用于處理實(shí)時(shí)跟蹤數(shù)據(jù)的示例性混合算法產(chǎn)生被編輯數(shù)據(jù)的輸出流，所述被編輯的數(shù)據(jù)包括適于進(jìn)一步處理的可分類的注視和迅速掃視，諸如在這里詳細(xì)描述的分組和密度分析。
圖28示出另一種關(guān)于預(yù)處理數(shù)據(jù)的實(shí)時(shí)算法的代表性的示意圖，前面道路識(shí)別、混合算法的分組和應(yīng)用，它們一起產(chǎn)生有意義的輸出量度。
在這個(gè)結(jié)構(gòu)中，數(shù)據(jù)處理過(guò)程以找到什么被定義為前面道路景觀的自動(dòng)起動(dòng)開(kāi)始。這是在駕駛員沿由這個(gè)區(qū)域的凝視密度規(guī)定的某個(gè)方向看該區(qū)域時(shí)的情況下由形成密度面完成的。例如，駕駛員看一個(gè)區(qū)域越多，凝視密度在這個(gè)區(qū)域?qū)⒃黾釉蕉唷ｑ{駛員的大多數(shù)注意可能是在叫做前面道路景觀中心的地方被發(fā)現(xiàn)，在該區(qū)域中心有“注意尖峰”，如圖5所示。在該圖中，形成兩個(gè)尖峰的平面應(yīng)當(dāng)取作垂直于相面向風(fēng)擋玻璃時(shí)駕駛員的臉部。高尖峰表示前面道路景觀，而低尖峰表示集中點(diǎn)。在映射的例子中，該對(duì)象需要改變?cè)摰图夥灞硎镜膶?dǎo)航系統(tǒng)的語(yǔ)言。在駕駛時(shí)，高(左)尖峰逐漸形成，在大約兩分鐘之后，峰值道路中心(PRC)位置穩(wěn)定。該道路中心區(qū)域被定義為該高山的底面，而尖峰被定義為中心。根據(jù)近似法計(jì)算的該底面的準(zhǔn)確度認(rèn)為是95％，高山具有高斯形狀，而平均值是尖峰部分。做完這些之后，離開(kāi)前面道路部分的掃視可以被檢測(cè)，并且如下面將要描述的，因此用峰值路面中心的定義可以計(jì)算注意力和駕駛員工作負(fù)荷。
在識(shí)別道路中心構(gòu)思的進(jìn)一步研發(fā)中，數(shù)據(jù)的預(yù)處理是用純數(shù)學(xué)轉(zhuǎn)換和旋轉(zhuǎn)以及信號(hào)濾波器完成的。由于眼睛凝視是從兩眼之間的點(diǎn)開(kāi)始的矢量，因此它取決于頭部位置。駕駛員視野中的每個(gè)事物通過(guò)來(lái)自駕駛員眼睛的視角定位。雖然該角度主要決定于駕駛員的頭部位置和轉(zhuǎn)動(dòng)，但是也決定于駕駛員的高度和優(yōu)選的駕駛位置。不同的頭部位置/轉(zhuǎn)動(dòng)影響凝視信號(hào)以及頭部運(yùn)動(dòng)的性質(zhì)。為了使這些影響最小化，頭部位置被標(biāo)準(zhǔn)化為參考位置，取大多數(shù)駕駛員的近似平均位置是有利的。這是經(jīng)由位于駕駛員前面的理論鏡面實(shí)現(xiàn)的，如圖10所示。
在這里被測(cè)量的凝視和頭部角度經(jīng)由該平面被投影在靜止的或參考頭部上。在這個(gè)實(shí)施例中，它是用于該算法的靜止頭部的凝視和頭部角度。
當(dāng)凝視置信度低時(shí)，例如當(dāng)眼睛閉合時(shí)，該算法自動(dòng)轉(zhuǎn)換到頭部定向并用朝前的臉部指向的方向權(quán)且作為凝視矢量。結(jié)果得到的信號(hào)被饋送給這里描述的混合算法中，并且道路中心經(jīng)由凝視密度函數(shù)定位。初始化過(guò)程以大于70公里/小時(shí)的速度要用正常駕駛的約20秒鐘。在這個(gè)具體的應(yīng)用中，道路中心被定義為由筆直朝前看的密度函數(shù)估計(jì)定中心的20乘40度的橢圓形。但是，該道路中心的幾何形狀可以決定于速度和/或環(huán)境。
上述橢圓形對(duì)于具有中等交通量的雙車(chē)道上高于70公里/小時(shí)并低于約120公里/小時(shí)的速度是理想的。其他的幾何形狀對(duì)于在不同速度下行駛的一些環(huán)境和用于其他應(yīng)用能夠最好地工作。長(zhǎng)掃視持續(xù)時(shí)間的測(cè)量，即，在時(shí)間上延伸的一個(gè)掃視對(duì)于由凝視密度函數(shù)垂直定中心的20度的水平范圍似乎能較好地工作。
道路中心只定義駕駛員看到的世界事物。駕駛員或者看道路中心或者不看。轉(zhuǎn)換延遲用來(lái)避免當(dāng)凝視正好在道路中心邊緣上時(shí)的忽隱忽現(xiàn)的信號(hào)。凝視必須在兩個(gè)事物(在道路上，或不在道路上)之一上保持恒定大于100毫秒，以便記錄轉(zhuǎn)換。
一旦道路中心是有效的(即凝視密度函數(shù)穩(wěn)定)，PRC(這里取做或者峰值道路中心，或者百分比道路中心)將開(kāi)始計(jì)算。在必要范圍之外，無(wú)論什么時(shí)候沒(méi)有源跟蹤數(shù)據(jù)，該算法都暫停。還有，在優(yōu)選實(shí)施例，無(wú)論什么時(shí)候車(chē)輛速度低于65公里/小時(shí)，都不使用該算法。還將PRC的值重置為80％。
在PRC算法的一個(gè)方案中，最大PRC參數(shù)防止PRC超過(guò)80％。在正常駕駛時(shí)穩(wěn)定PRC(對(duì)一些對(duì)象正常駕駛PRC值大約在75％和85％之間變化)，這是一種簡(jiǎn)單的方法。利用這種限制，對(duì)于一定數(shù)目的掃視，PRC總是落入某個(gè)水平(從80％PRC)。對(duì)于最小PRC和認(rèn)知分散，也是同樣。
較短的PRC窗口(3-10秒)用于指示時(shí)間共享行為，即兩個(gè)目標(biāo)區(qū)之間的多個(gè)掃視。時(shí)間共享行為指示用于當(dāng)該行為結(jié)束時(shí)，即輔助工作結(jié)束時(shí)，將PRC重置為80％。
可以給出示例性的對(duì)于駕駛員的三種不同的警告/反饋。即便PRC落到低閾值以下，在駕駛員的眼離開(kāi)道路之前不發(fā)出警告(認(rèn)知警告除外)。在視覺(jué)分散的情況下，當(dāng)對(duì)象稍有分散時(shí)，即當(dāng)PRC低于65％時(shí)，達(dá)到反饋水平。只有當(dāng)駕駛員視線離開(kāi)道路時(shí)，在10秒鐘內(nèi)最多發(fā)出兩次警告，也就是說(shuō)，在PRC已經(jīng)低于65％之后，頭兩次離開(kāi)道路的掃視時(shí)將發(fā)出警告。當(dāng)對(duì)象嚴(yán)重精神分散時(shí)，即PRC低于58％時(shí)，達(dá)到另一種警告水平，在這種情況下，警告發(fā)出之后立即將PRC重設(shè)為正常駕駛，即80％。
在認(rèn)知分散的情況下，當(dāng)駕駛員處于認(rèn)知分散狀態(tài)時(shí)，即當(dāng)PRC高于92％時(shí)，發(fā)出認(rèn)知警告。然后PRC重設(shè)為80。無(wú)論什么時(shí)候在道路中心之外的掃視持續(xù)超過(guò)四秒鐘，都發(fā)出長(zhǎng)掃視(離開(kāi)道路)警告。
使用時(shí)間窗口不應(yīng)是最佳方案。一分鐘時(shí)間窗口具有一分鐘時(shí)間經(jīng)歷，因此，駕駛員在半分鐘時(shí)間之前所做的將影響PRC，以及當(dāng)前工作。如果駕駛員調(diào)諧收音機(jī)并且因此對(duì)收音機(jī)有四次掃視，那么由于這四次掃視他將受到懲罰至少半分鐘，也就是說(shuō)，PRC將保持在低水平至少30秒鐘，即使駕駛員已經(jīng)回到正常駕駛中(假定該工作持續(xù)最多30秒鐘)。處理該問(wèn)題有多種方式。
其中之一是使用具有阻尼因子(以獲得大致同樣的窗口動(dòng)態(tài)特性)的較短的時(shí)間窗口。另一種是無(wú)論什么時(shí)候完成工作就刷新該窗口。還有，可以用相當(dāng)短的時(shí)間窗口，例如3-15秒鐘，確定工作是否已經(jīng)被完成。
時(shí)間分享檢測(cè)器用來(lái)確定PRC的總和(通常是在時(shí)間窗口內(nèi)的道路中心掃視的總時(shí)間)是否應(yīng)當(dāng)忽略道路上的掃視，也就是當(dāng)完成工作時(shí)，該P(yáng)RC總和與離開(kāi)道路中心的掃視時(shí)間成比例減少，但是忽略在道路中心上的掃視時(shí)間，因此顯示和如同該窗口同樣的總和的動(dòng)態(tài)特性。
當(dāng)前算法的另一個(gè)問(wèn)題是，眨眼相當(dāng)經(jīng)常被解釋為向下掃視儀表板組。由于稍稍不同于凝視信號(hào)的性質(zhì)，標(biāo)準(zhǔn)數(shù)據(jù)過(guò)濾將不過(guò)濾出眨眼。提出的方案包括利用眼睛睜開(kāi)信號(hào)以確定它是眨眼或是掃視。當(dāng)程序在“非等待模式”時(shí)，這要求在記錄的數(shù)據(jù)中有眼睛睜開(kāi)信號(hào)?？蛇x的方案是設(shè)計(jì)眨眼檢測(cè)器。對(duì)于掃視來(lái)說(shuō)眨眼太短并且因此被停止在濾波器中。但是，這將引起系統(tǒng)延遲至少150毫秒。
上述算法對(duì)于以約70-120公里/小時(shí)的速度駕駛的中等交通量的公路是可行的。有多種方式使該算法適應(yīng)于不同的速度和環(huán)境。一種是使道路中心區(qū)域適應(yīng)于速度和環(huán)境。隨著速度的減少，道路中心的大小將增加，主要是在水平區(qū)域。道路中心增加，從而以這個(gè)速度和環(huán)境下的正常駕駛具有大約80％的PRC。這樣做有兩種方式。一種是適應(yīng)聯(lián)機(jī)的每個(gè)駕駛員。另一種是對(duì)于不同的速度和環(huán)境提供預(yù)定義的道路中心幾何形狀。還有一種是根據(jù)正常駕駛的PRC水平調(diào)節(jié)警告閾值，用于特定的速度和環(huán)境。還有一種是提供環(huán)境的描述，或至少由駕駛員行為指示的環(huán)境的描述。
限制是如果駕駛員的頭部從道路中心轉(zhuǎn)動(dòng)超過(guò)約60度，也就是，如果駕駛員看他的肩部或側(cè)面，以看相鄰車(chē)道是否有車(chē)，該算法將失效。可以使用圖形識(shí)別以填滿這些空白。
除了直接警告之外，PRC可以用來(lái)使第三組系統(tǒng)正常操作/失效或設(shè)置成不同模式。例如PRC能夠用來(lái)將向前碰撞警告(FCW)系統(tǒng)設(shè)置成“敏感”模式，并且即時(shí)的眼睛在道路中心的信號(hào)可以用來(lái)確定警告是否應(yīng)當(dāng)允許操作。它還可以用來(lái)調(diào)節(jié)用于自適應(yīng)巡航控制(ACC)控制回路(增加或減少安全距離)的時(shí)間間隙，或使其他警告和系統(tǒng)能夠起作用/不能夠起作用。
這里概述的許多量度利用道路中心點(diǎn)(RCP)的參考計(jì)算。垂直和水平道路中心點(diǎn)從例如三分鐘的數(shù)據(jù)的分段的眼睛運(yùn)動(dòng)數(shù)據(jù)組(分成注視/平穩(wěn)追蹤和迅速掃視)，計(jì)算出。首先，每個(gè)注視數(shù)據(jù)點(diǎn)被加到垂直和水平接受器(bin)，接受器的大小為0.98乘0.98度(128×128用于從筆直前面的+/-30度，或零點(diǎn))。其次，接受器的模式(接受器中最大頻率)設(shè)置為道路中心垂直和水平點(diǎn)。這些基于數(shù)據(jù)點(diǎn)的測(cè)量在圖12-15的圖示中被充分描述，其中道路中心點(diǎn)根據(jù)駕駛員眼睛位置的采樣密度來(lái)識(shí)別。在筆直的兩車(chē)道的快車(chē)道上正常駕駛條件下的眼睛運(yùn)動(dòng)在這些圖中描述。數(shù)據(jù)集中在道路中心點(diǎn)周?chē)?，并且根?jù)其道路中心點(diǎn)設(shè)置為零。單元的頻率表示每個(gè)接受器(一個(gè)接受器等于0.98度乘0.98度)總頻率的百分比。向左和向上眼睛運(yùn)動(dòng)是正的，向右和向下眼睛運(yùn)動(dòng)示為負(fù)的。
在移動(dòng)時(shí)間窗口中的每個(gè)步驟，例如，具有60Hz更新頻率的一分鐘時(shí)間窗口，計(jì)算下述內(nèi)容。在時(shí)間窗口內(nèi)的每個(gè)注視數(shù)據(jù)點(diǎn)被分類為或者是表示“道路中心”的“1”型，或者是表示“非道路中心”的“0”型，這種差別是根據(jù)在定義的道路中心區(qū)內(nèi)或道路中心區(qū)外而產(chǎn)生的。例如，通過(guò)從道路中心點(diǎn)以度或弧度取距離和設(shè)置截止閾值，例如，八度作為繞它的半徑范圍，計(jì)算道路中心區(qū)域。這些落入截止閾值內(nèi)的那些固定數(shù)據(jù)點(diǎn)被分類為“道路中心”，而那些落入截止閾值外的數(shù)據(jù)點(diǎn)被分類為“非道路中心”。在這個(gè)例子中，截止閾值定義了道路中心區(qū)域的形狀。
道路中心區(qū)域也可以以其他方式被定義為利用半徑截止閾值的可選方案。例如，道路中心區(qū)域可以被定義為非對(duì)稱形狀。當(dāng)在曲線或繁忙道路環(huán)境駕駛下，非對(duì)稱道路中心識(shí)別是有用的。定義非對(duì)稱形狀的一些方式為(1)閾值水平可以以每個(gè)接受器的頻率設(shè)置，例如圖14所示的水平道路中心區(qū)域線，像圖13的輪廓的幾何形狀是這種產(chǎn)物；(2)道路中心區(qū)域可以被定義為在例如從道路中心點(diǎn)的一個(gè)或兩標(biāo)準(zhǔn)偏差之內(nèi)的數(shù)據(jù)。標(biāo)準(zhǔn)偏差可以根據(jù)中心點(diǎn)的半徑，或分別地根據(jù)垂直和水平分量來(lái)定義。垂直/水平標(biāo)準(zhǔn)偏差定義將使形狀能夠被計(jì)算為橢圓形；(3)在曲線道路環(huán)境下，大多數(shù)注視數(shù)據(jù)點(diǎn)圍繞車(chē)輛的未來(lái)路徑定中心。瞬時(shí)路徑軌跡通常由車(chē)輛橫擺速率(或根據(jù)方向盤(pán)角度的量度)計(jì)算。這種曲線路徑軌跡(轉(zhuǎn)換成視角)能夠用來(lái)定義有效的“路徑上的注視”的區(qū)域。這種軌跡能夠用來(lái)定義，例如，在離車(chē)輛路徑一定距離內(nèi)的掃視的“在路徑上的區(qū)域”。因此，PRC、A-PRC和PLG可以用同樣的方式計(jì)算，如上所述用在路徑上的區(qū)域替換道路中心區(qū)域。最后，百分比計(jì)算是通過(guò)道路中心點(diǎn)的數(shù)目除以該窗口內(nèi)的注視數(shù)據(jù)點(diǎn)的總數(shù)并將該商乘以100來(lái)計(jì)算。百分比計(jì)算忽略迅速掃視和失去的數(shù)據(jù)。
絕對(duì)百分比道路中心(A-PRC)如在上所述在同樣的時(shí)間窗口內(nèi)被計(jì)算為與給定的PRC值的絕對(duì)差，例如正常駕駛的PRC值。圖17示出A-PRC與一些其他通常的精神分散量度的比較。
離開(kāi)道路中心的百分比長(zhǎng)掃視(PLG)，在上述同樣的窗口內(nèi)，計(jì)算為注視數(shù)據(jù)點(diǎn)的百分比，該注視數(shù)據(jù)點(diǎn)在一定的時(shí)間閾值內(nèi)，例如在圖18中舉例性的兩秒鐘，被分類為掃視(如用SAE J-2396標(biāo)準(zhǔn)定義的)。
離模型道路中心的標(biāo)準(zhǔn)偏差(SD-MRC)，在如上所述的時(shí)間窗口內(nèi)根據(jù)標(biāo)準(zhǔn)偏差公式計(jì)算，但是平均值被模型替換除外，例如DistRoadCenter＝sqrt(((VerticalPos-VerticalMode)^2)+((Horizontal-HorizontalMode)^2))SD-MRC＝sqrt(sum((DistRoadCenter)^2)/length(NonFixations))在如上所述的同樣時(shí)間窗口內(nèi)將車(chē)輛外面百分比(POV)計(jì)算為落入車(chē)輛外面的注視數(shù)據(jù)點(diǎn)和落入所述后視鏡或側(cè)視鏡的注視數(shù)據(jù)點(diǎn)的百分比。車(chē)輛內(nèi)部被定義為以度或弧度的幾何形狀區(qū)。
關(guān)于本發(fā)明收集舉例的數(shù)據(jù)組。驗(yàn)證研究在模擬環(huán)境進(jìn)行，利用7.5m×2.2m的、在48Hz下具有111度視角和具有2456×750分辨率的“動(dòng)力墻”屏幕。14個(gè)對(duì)象參加了該項(xiàng)研究并且在車(chē)內(nèi)的工作不同，例如用移動(dòng)電話，收音機(jī)換臺(tái)等。根據(jù)ISO 15007-2方法(ISO 1999)收集數(shù)據(jù)并且以視覺(jué)轉(zhuǎn)錄形式得到。在稱作GIB-T警戒研究中，在上述環(huán)境中進(jìn)行同樣的模擬，并且有12個(gè)人在輕交通量的四車(chē)道上駕駛。每個(gè)人參加兩個(gè)場(chǎng)合，一個(gè)人在正常條件下駕駛30分鐘并且大約兩小時(shí)又一刻鐘缺少睡眠；結(jié)果用視頻記錄儀記錄。這組是16個(gè)對(duì)象參加的較大的路上試驗(yàn)的一部分。每個(gè)人在30公里駕駛中完成不同的車(chē)內(nèi)工作并且約15分鐘的正常公路駕駛。
示例性的跟蹤系統(tǒng)跟蹤頭部位置和角度，以及相對(duì)于固定座標(biāo)系統(tǒng)的凝視角。該系統(tǒng)用立體影像，也就是兩臺(tái)設(shè)置在儀表板組前對(duì)象駕駛員頭部前面、但是在方向盤(pán)的后面的攝像機(jī)，用于跟蹤頭部運(yùn)動(dòng)和凝視，如圖19所示?？蛇x地，并且優(yōu)選地，可以用，如圖20所示的單獨(dú)一臺(tái)攝像機(jī)。與基于非影像的方案相比，使用這種技術(shù)的比較研究與使用某種角膜反射(±1°)的系統(tǒng)相比，具有稍微差的凝視估計(jì)(±3°)。其他類型的基于影像的系統(tǒng)取決于單影像并且工作得不好。本發(fā)明的系統(tǒng)一個(gè)主要的優(yōu)點(diǎn)是同時(shí)輸出頭部矢量和眼睛矢量。
所用的系統(tǒng)用樣板匹配算法以發(fā)現(xiàn)臉部特征，例如眉毛、嘴角和眼角。每個(gè)樣板當(dāng)作三維剛體臉部模型的一部分。當(dāng)若干個(gè)特征在兩幅畫(huà)面上看到時(shí)，頭部和眼睛的三維位置用該模型轉(zhuǎn)動(dòng)和平移的最小二乘方優(yōu)化法計(jì)算。這個(gè)問(wèn)題的解決方法是向跟蹤好的點(diǎn)偏移，這相對(duì)于閉合、噪聲和透視失真是健全的。此外，卡爾曼濾波器用來(lái)減少噪聲并預(yù)計(jì)在下一次迭代中的頭部姿勢(shì)，這減少下一個(gè)畫(huà)面的計(jì)算時(shí)間。
眼睛凝視估計(jì)是基于頭部一眼睛位置。利用轉(zhuǎn)動(dòng)的眼球中心和虹膜中心的量度，凝視被計(jì)算為通過(guò)這兩點(diǎn)的射線。當(dāng)兩個(gè)眼睛是可見(jiàn)的時(shí)，凝視方向被計(jì)算為兩個(gè)矢量的平均值，另外利用可見(jiàn)的眼睛射線。如果沒(méi)有眼睛可被檢測(cè)到，例如當(dāng)對(duì)象的頭部轉(zhuǎn)動(dòng)超過(guò)60度，或當(dāng)眼睛閉上時(shí)，則臉部的法線被用作凝視方向。
眼睛閉合檢測(cè)算法被用于確定什么時(shí)候?qū)ο笳Ｑ?。以眼角之間的距離按比例換算的上下眼瞼之間的距離，用作眼睛閉合的量度。為了計(jì)算這些距離，該系統(tǒng)用邊緣檢測(cè)器并且然后近似拋物線，每個(gè)眼瞼上一個(gè)，該拋物線通過(guò)兩個(gè)眼角。眼睛閉合量度和少數(shù)其他量度(眼睛圖像區(qū)垂直光學(xué)流、區(qū)域短暫變化速率、具有眼睛鞏膜顏色的像素的nr和眼睛樣板相關(guān)系數(shù))然后一起被加權(quán)并且閾值確定該對(duì)象何時(shí)眨眼。
該系統(tǒng)輸出許多信號(hào)，但是只有少數(shù)在本發(fā)明中進(jìn)行示例性的描述。這些包括(1)由于濾波器參數(shù)在所有的研究中都設(shè)置為零，凝視信號(hào)“凝視-轉(zhuǎn)動(dòng)-未處理”和“凝視-轉(zhuǎn)動(dòng)-過(guò)濾的”在瞬間情況下是同樣的信號(hào)。該信號(hào)包括兩個(gè)方向，俯仰和偏轉(zhuǎn)，以弧度給出。(2)“凝視-置信度”信號(hào)提供凝視估計(jì)算法的置信度的量度。(3)“頭部-位置-過(guò)濾的”和“頭部-轉(zhuǎn)動(dòng)-過(guò)濾的”唯一地確定頭部的三維位置和轉(zhuǎn)動(dòng)。由于所有的濾波器參數(shù)在可得到的數(shù)據(jù)中都設(shè)置為零，這些與“頭部-位置-偏轉(zhuǎn)和頭部-轉(zhuǎn)動(dòng)-偏轉(zhuǎn)”是同樣的。(4)“跟蹤”狀態(tài)指示該系統(tǒng)是否在跟蹤或研究模式中。(5)“眨眼”指示該對(duì)象是否在眨眼。(6)“時(shí)間”是與每個(gè)估計(jì)相關(guān)的CPU時(shí)間。
似乎是在凝視信號(hào)中的信息內(nèi)容完全不是恒定的，而是時(shí)時(shí)在變化。在記錄時(shí)，存在朝事物偶然的掃視，該事物不大可能地被聚焦在這一點(diǎn)，例如對(duì)象駕駛員的膝蓋，車(chē)輛的內(nèi)頂棚等。這些掃視中的一些可以被稱作引起凝視信號(hào)下降的未檢測(cè)的眼睛閉合。該系統(tǒng)也可以對(duì)不同的照明水平都是敏感的。它能夠處理背景照明的變化，但是不是變化很快的時(shí)候，例如，車(chē)輛從陰影道路帶移動(dòng)出進(jìn)入陽(yáng)光照耀的道路帶時(shí)。結(jié)果是高噪聲水平，有時(shí)幾乎不存在信息內(nèi)容。直接射入攝像機(jī)鏡頭的日光由于鏡頭閃光使信號(hào)的噪聲更大。偶爾這還會(huì)導(dǎo)致?lián)p失幾秒鐘跟蹤。
上述在眼睛閉合時(shí)的“下降”毫無(wú)疑問(wèn)是由于眼睛閉合引起的，其導(dǎo)致近似于故障(如在介紹中所述)。該下降在俯仰信號(hào)中非常明顯，約30-40度，但也能夠在偏轉(zhuǎn)信號(hào)中被發(fā)覺(jué)。典型的眨眼持續(xù)300毫秒的量級(jí)，然而，下降僅僅持續(xù)100毫秒。因此，該估計(jì)不消失直到眼睛幾乎閉上。該下降很容易在預(yù)處理階段用中等濾波器去掉。在實(shí)例性的實(shí)施例中，該系統(tǒng)僅僅去掉由眨眼信號(hào)表示的眨眼部分，并線性地在上一個(gè)已知的采樣和第一個(gè)新采樣之間插入眨眼，如在圖21中所示例的，在那兒眨眼已經(jīng)被插入。結(jié)果是相當(dāng)多的一部分?jǐn)?shù)據(jù)，經(jīng)常是幾乎300毫秒有價(jià)值的數(shù)據(jù)，被去掉并用相當(dāng)不自然的圖象替代，也就是說(shuō)，用直線代替。由于眨眼經(jīng)常在迅速掃視時(shí)發(fā)生，因此不能進(jìn)行適當(dāng)?shù)臏y(cè)量。為了精確測(cè)量，重新構(gòu)造這些特征會(huì)是有利的。
眨眼信號(hào)不總是與實(shí)際一致。當(dāng)對(duì)象進(jìn)行工作時(shí)這是很明顯的，并且按照眨眼信號(hào)，決不眨眼，但是實(shí)際上知道眨眼確實(shí)已經(jīng)發(fā)生。在示例性的系統(tǒng)中，對(duì)象移動(dòng)他們的凝視越多，眨眼信號(hào)越不精確。
凝視置信度信號(hào)可以用來(lái)克服上述大部分缺陷。但是，經(jīng)驗(yàn)表明，信號(hào)質(zhì)量和凝視置信度量度不總是相關(guān)的。不僅對(duì)于不同的對(duì)象，而且對(duì)取自同一對(duì)象的不同采樣，都可以是明顯不同的。此外，在每個(gè)眨眼，置信度量度下降為零。在未檢測(cè)的眨眼的情況下，不能確定事故實(shí)際上是駕駛置信度到零的眨眼，還是人為現(xiàn)象。因此，置信度信號(hào)不可能絕對(duì)可靠。
系統(tǒng)的計(jì)算速率為“約60Hz”的事實(shí)，采樣間隔不是恒定的，而是取決于每個(gè)畫(huà)面的計(jì)算時(shí)間。但是，在示例性的系統(tǒng)中，時(shí)間是以秒和毫秒得到的，計(jì)算延遲信號(hào)以毫秒計(jì)。這種延遲在150-200毫秒的量級(jí)。
最后，不同的對(duì)象具有不同的臉部特征使他們或多或少地適合于基于系統(tǒng)的測(cè)量。具有良好對(duì)比度的臉部特征經(jīng)常與良好的數(shù)據(jù)質(zhì)量相關(guān)，中心在攝像機(jī)畫(huà)面的正確的頭部位置也是如此。
改變檢測(cè)算法的設(shè)計(jì)總是在檢測(cè)真實(shí)性變化和避免假警告之間進(jìn)行折衷。變化的噪聲和信號(hào)性質(zhì)使凝視區(qū)更大。由于信號(hào)質(zhì)量變化，設(shè)想使用自適應(yīng)濾波器來(lái)克服這一問(wèn)題。一般來(lái)說(shuō)，當(dāng)提出白適應(yīng)濾波器時(shí)，濾波器系數(shù)適合于用某些類型估計(jì)(例如最小均方(LMS))處理的信號(hào)。但是，數(shù)據(jù)信號(hào)被證明具有一些特征，例如改變的信息內(nèi)容和奇怪的人為現(xiàn)象，這使它們不太適合于這種類型的適應(yīng)。取而代之，研發(fā)了利用兩種預(yù)處理的中等濾波器的混合算法。這在這一節(jié)中被描述用于脫機(jī)和實(shí)時(shí)算法。但是首先簡(jiǎn)要看一下通常用于眼睛運(yùn)動(dòng)分段的一些不同算法。
Salvucii和Gildberg的工作在“眼睛跟蹤協(xié)議中的識(shí)別注視和迅速掃視”中已經(jīng)被定義，其中，已經(jīng)搜集了若干不同的技術(shù)用于識(shí)別注視和迅速掃視。
基于速度的·速度閾值識(shí)別法(VT-I)·HMM識(shí)別法(HMM-I)基于分散的·分散閾值識(shí)別法(DT-I)·最小跨度樹(shù)(MST)識(shí)別法(MST-I)基于區(qū)域的·感興趣的區(qū)域識(shí)別法(AOI-I)這三種被認(rèn)為是本發(fā)明的條件和目的感興趣的，VT-I、HMM-I和DT-I也同樣。AOI-I和MST-I的主要問(wèn)題是它們不像其他的那么早應(yīng)用于ISO/SAE標(biāo)準(zhǔn)。由于在VT-I法中已經(jīng)做了核實(shí)工作，第一種方法是用DT-I法。DT-I算法被認(rèn)為相當(dāng)精確和健全，但是這里所用的眼睛跟蹤器的不精確性和噪聲使它不太合適。由于噪聲和尖峰值，迅速掃視被識(shí)別，而由于信號(hào)性質(zhì)，注視的開(kāi)始/結(jié)束是不精確的，例如在注視之前的偶然飄移或多或少成為定常的。另一個(gè)問(wèn)題是平穩(wěn)追蹤，當(dāng)平穩(wěn)追蹤被當(dāng)作一個(gè)注視時(shí)它使該算法失敗。因此分散法不能單獨(dú)使用。
另一方面，HMM-I，使利用概率分析確定最可能的識(shí)別。在HMM-I中的HMM模式是一個(gè)兩種狀態(tài)的模式。第一種狀態(tài)表示較高的速度迅速掃視點(diǎn)，第二種狀態(tài)表示較低的速度注視點(diǎn)。已知其轉(zhuǎn)換概率，則該HMM-I借助于最大概率確定每個(gè)協(xié)議點(diǎn)的最可能的識(shí)別。如果給出正確的參數(shù)，該算法則被認(rèn)為是精確和健全的。這些是用重估計(jì)過(guò)程估計(jì)的，HMMs的主要復(fù)雜之處在于重估計(jì)過(guò)程。這種估計(jì)的實(shí)現(xiàn)是既復(fù)雜又冗長(zhǎng)。
VT-I算法沒(méi)有上述提到的問(wèn)題。但是速度閾值在檢拾噪聲和注視在開(kāi)始和結(jié)束的識(shí)別精確性之間折衷。為了使這一問(wèn)題最小化，采用雙閾值算法(雙VT-I)。高閾值確保合適的迅速掃視識(shí)別。如果檢測(cè)到迅速掃視，低閾值用于計(jì)算開(kāi)始和結(jié)束。
VT-I算法的主要缺點(diǎn)是不健全。但是這在雙VT-I中被極大地改進(jìn)。
前面描述的識(shí)別方法無(wú)論如何沒(méi)有一個(gè)是十全十美的，它們都有不足之處。因此選擇兩種算法和用于眼睛運(yùn)動(dòng)的附加規(guī)則的結(jié)合用于這種工作，即雙VT-I和DT-I。這種結(jié)合工作作為在這種意義上的自適應(yīng)的算法，即判定自動(dòng)偏向DT-I和基于規(guī)則的部分，同時(shí)當(dāng)噪聲增加時(shí)保持雙VT-I性質(zhì)。這結(jié)合雙VT-I速度閾值協(xié)議的精確性和DT-1分散協(xié)議的健全性。一種看著它的方法當(dāng)作算法控制的規(guī)則，意味著它們將“判斷”偏向在現(xiàn)時(shí)工作最精確的算法部分。該算法合作示于圖4。
關(guān)于預(yù)處理，未處理的數(shù)據(jù)需要在分段之前進(jìn)行預(yù)處理。它或多或少是噪聲并包含眨眼和非跟蹤部分。
許多研究者指出，中等濾波器和FIR-混合-中等(FHM)濾波器用于眼睛運(yùn)動(dòng)是適當(dāng)?shù)?。具體特征是保持清晰邊緣同時(shí)噪聲和遠(yuǎn)離本體的事物減弱的中等濾波器適合于迅速掃視信號(hào)。一般的說(shuō)，F(xiàn)HM或加權(quán)的FHM濾波器被認(rèn)為工作得最好。但是15采樣滑動(dòng)窗口中等濾波器足以減少噪聲。無(wú)論什么時(shí)候該對(duì)象眨眼，作為正邊效應(yīng)，也抑制所產(chǎn)生的“眨眼下降”，足以通過(guò)未檢測(cè)的分段，如圖22所示。
完全不同的問(wèn)題是如前所述的眨眼插入，其中凝視信號(hào)被線性插入所替代。如果在注視時(shí)發(fā)生這個(gè)，它通常不是問(wèn)題。但是人在(眼睛)迅速掃視期間經(jīng)常發(fā)生眨眼，該迅速掃視只持續(xù)約100毫秒而200-300毫秒用直線替代。為了解決這個(gè)問(wèn)題，重新構(gòu)造是必要的。本發(fā)明采用提供適當(dāng)數(shù)量掃視的簡(jiǎn)單的、健全的方法，而基于時(shí)間測(cè)量精確性較差。出現(xiàn)在信號(hào)中具有相同幅度的噪聲被加到具有少于5度的分散的所有眨眼，其他所有的眨眼被標(biāo)記為迅速掃視。5度的閾值是基于所有得到的數(shù)據(jù)而設(shè)置的，而沒(méi)有檢測(cè)任何假注視。所幸的是對(duì)象在工作時(shí)由于多個(gè)掃視往往眨眼較少。
如前所述，選擇的識(shí)別算法是在速度和分散協(xié)議以及由眼睛的物理性質(zhì)和眼睛跟蹤設(shè)備擬定的規(guī)則之間的混合。在脫機(jī)方案中，處理順序地運(yùn)行，首先使用雙重閾值的速度協(xié)議被采用，然后采用那個(gè)具有規(guī)則的分散協(xié)議。這示于圖1。當(dāng)信號(hào)的噪聲或一些其他性質(zhì)妨礙注視的檢測(cè)時(shí)(應(yīng)當(dāng)按照眼睛規(guī)則)，用注視恢復(fù)算法。這被表示為一個(gè)從DT-I和基于規(guī)則的方塊向雙VT-I方塊的箭頭。還有，該自動(dòng)分組算法已經(jīng)能夠被包含在混合方框中。它管理掃視檢測(cè)。
將不再描述每種算法部分。導(dǎo)數(shù)(速度)的估計(jì)利用兩點(diǎn)中心差計(jì)算∂y(x)=y(x+h)-y(x-h)2h]]>應(yīng)用于每個(gè)凝視成分然后與平方和的根(平方之和開(kāi)方)一起加權(quán)以形成二維速度。當(dāng)微分該信號(hào)時(shí)噪聲總是問(wèn)題。處理這個(gè)問(wèn)題的一種方式是低通過(guò)濾該導(dǎo)數(shù)。但是中心差可以依次描述為理想的微分器并且順序低通過(guò)濾。頻率響應(yīng)用下述公式計(jì)算Y·(ωT)=Y(ωT)jsin(ωT)T]]>
由于采樣速率設(shè)置成約60Hz，這個(gè)濾波器具有約14Hz的3dB截止頻率。這種相當(dāng)?shù)偷慕刂诡l率防止混淆，確保大于30Hz的頻率減弱但是仍然足夠高，使迅速掃視的開(kāi)始和結(jié)束不失真。雙重閾值和速度估計(jì)示于圖23。
一個(gè)找到兩點(diǎn)中心差的五次導(dǎo)數(shù)算法的試驗(yàn)對(duì)比對(duì)于12比特?cái)?shù)據(jù)是最精確的技術(shù)。該方法的優(yōu)點(diǎn)是簡(jiǎn)單、精確和快速。
用于迅速掃視檢測(cè)的閾值主要通過(guò)將結(jié)果與前面進(jìn)行半自動(dòng)分析的結(jié)果進(jìn)行比較來(lái)設(shè)置。
雖然求導(dǎo)(近似法是自動(dòng)低通過(guò)濾的，但是它仍然是有噪聲的，噪聲水平為約70°/s。但是由于數(shù)據(jù)收集系統(tǒng)具有至多±3°的誤差，并且對(duì)于幅度大于約3-4度的迅速掃視運(yùn)動(dòng)的峰值速度高于100°/s，不會(huì)出現(xiàn)問(wèn)題。盡管如此，實(shí)際評(píng)估已經(jīng)表明偶然的誤差可以通過(guò)，特別是當(dāng)噪聲增加時(shí)。這些不精確的識(shí)別被檢測(cè)并且在分段處理的下一步通過(guò)DT-I部分去掉。因此用速度估計(jì)的三個(gè)采樣的被精度的折衷證明為可以忽略。
在第二步，前面所述的物理準(zhǔn)則和基于分散的算法的某些部分確定是否被檢測(cè)的迅速掃視和注視是有效的(規(guī)則應(yīng)用)。示例性的迅速掃視和注視的三維表示示于圖24。當(dāng)噪聲水平高時(shí)，求導(dǎo)近似成為比較敏感并且混淆的人為現(xiàn)象在注視中偶爾被檢測(cè)到。它們的去掉有用于防止誤判的少量基本規(guī)則1)如果新的注視分散小于閾值，迅速掃視能夠被變成注視的一部分；2)如果注視的變化小于閾值，迅速掃視能夠被變成注視的一部分。
如果這些準(zhǔn)則被實(shí)現(xiàn)，用具有一些附加噪聲的線性插入來(lái)結(jié)合兩個(gè)注視。引進(jìn)噪聲是為了避免產(chǎn)生信號(hào)非物理的那部分。原始信號(hào)經(jīng)常包含某種類型的尖峰值以及插入。
同樣，如果它們是非物理的，注視被去掉并且簡(jiǎn)單標(biāo)記為迅速掃視，這意味著持續(xù)時(shí)間少于約150毫秒。這發(fā)生在信號(hào)的信息內(nèi)容少的時(shí)候。
在脫機(jī)方案中(當(dāng)長(zhǎng)延遲是可接受的時(shí))，已經(jīng)研發(fā)出如圖25所示的注視恢復(fù)算法，有時(shí)候用來(lái)補(bǔ)償在凝視信號(hào)中的低信息內(nèi)容。當(dāng)算法本身尚未穩(wěn)定時(shí)，這可能發(fā)生在注視的開(kāi)始。這發(fā)生在假定迅速掃視不可能持續(xù)200毫秒以上的情況下并且如果情況就是這樣，最大可能是兩個(gè)迅速掃視和在其之間未檢測(cè)的注視。據(jù)此，該算法定位可能包含未檢測(cè)的注視的迅速掃視，然后用滑動(dòng)的中等濾波器過(guò)濾它們，該濾波器比在預(yù)處理中用的濾波器長(zhǎng)一些(20個(gè)采樣)。這有時(shí)足以將信號(hào)噪聲抑制到能夠檢測(cè)新的注視。這可能似乎是直接的、危險(xiǎn)的方法，或多或少?gòu)?qiáng)制檢測(cè)。但是，這僅僅是分段公式的自適應(yīng)性質(zhì)，并且已經(jīng)被證明為關(guān)于有效部分與實(shí)際非常相關(guān)。
掃視分類算法分兩步進(jìn)行。首先，所有組群根據(jù)它們總的停留時(shí)間自動(dòng)定位。在第二步，這些組群根據(jù)同樣的停留數(shù)據(jù)被自身分組，并且形成世界模型事物。世界模型是不同的預(yù)定義觀察區(qū)的簡(jiǎn)單描述，例如，右后視鏡或道路筆直朝前。所有的模型被定義在當(dāng)他或她看著筆直朝前的道路時(shí)垂直于駕駛員的平面內(nèi)。
在第一步，組群定位的粗略逼近用二維停留時(shí)間直方圖進(jìn)行，也就是說(shuō)，根據(jù)每個(gè)注視的持續(xù)時(shí)間和平均位置在不同觀察區(qū)的總的注視時(shí)間，如圖26和27所示。這種平均位置的運(yùn)用已經(jīng)證明是減少噪聲問(wèn)題的一種簡(jiǎn)單方法。直方圖接收器大小是3乘3度，主要依據(jù)檢查錯(cuò)誤。這形成一個(gè)很好的平滑的直方圖，其中每個(gè)尖峰表示組群的近似位置。由于凝視數(shù)據(jù)以弧度給出，實(shí)際組群(cluster)平面不是一個(gè)平面，而是圓柱的內(nèi)側(cè)。因此凝視角度不影響組群大小。一旦組群的近似位置被確定，每個(gè)平均的注視點(diǎn)由Euclidian法被賦予最接近的組群點(diǎn)。然后，所有的組群被更新到與各自組群相關(guān)點(diǎn)的平均位置。
該算法還產(chǎn)生分類記錄，其中每個(gè)分類的事件存儲(chǔ)在具有其位置、開(kāi)始、結(jié)束、持續(xù)時(shí)間、相關(guān)組群和數(shù)字編碼的類型的矩陣中，所述類型是迅速掃視或注視。該記錄矩陣是簡(jiǎn)單的數(shù)據(jù)壓縮，后面用作統(tǒng)計(jì)功能計(jì)算的基礎(chǔ)。
在第二步，所有的組群被映射在世界模型上。不同的幾何區(qū)域，例如盒子、圓或同樣形狀或其他不同形狀的組合，定義諸如鏡子、中心堆、儀表板等的事物。若干組群通常在屬于同一掃視的同一區(qū)域內(nèi)。這些現(xiàn)在被結(jié)合成一個(gè)組群并且重新計(jì)算它的平均位置。世界模型事物的數(shù)目隨著工而變化。三種事物的基本模型已經(jīng)被選定用于這種工作，基于停留時(shí)間直方圖的算法使事物“浮動(dòng)”進(jìn)平面內(nèi)。然后它計(jì)算該事物中心和所有組群的位置之間距離的標(biāo)準(zhǔn)偏差。落入事物95％置信度值內(nèi)的組群被當(dāng)作它的一部分，因此事物的尺寸被調(diào)節(jié)為包圍該組群。世界模型事物的數(shù)目經(jīng)由一個(gè)參數(shù)很容易控制。
這是可能需要檢查并且有時(shí)需要來(lái)自試驗(yàn)者的修正的一步。這是因?yàn)殛P(guān)于什么是什么不是事物的判斷由于在未處理信號(hào)中的噪聲和非跟蹤而變得非常之難，合格的估計(jì)必須由試驗(yàn)者作出。消除需要人來(lái)評(píng)估的一種方法是收集數(shù)據(jù)時(shí)避開(kāi)陽(yáng)光燦爛的白天。陽(yáng)光直射入攝像機(jī)是代表幾乎所有的注視錯(cuò)位的一個(gè)原因。
除了掃視分類之外，世界模型方法在其他測(cè)量方面也可以是非常有用的，例如，在道路上和不在道路上的比例和大比例視頻掃描圖形。當(dāng)凝視信號(hào)是有噪聲的或不可靠時(shí)(由于日光)它也是很有用的，并且注視在更大面積上散布，形成比實(shí)際多的組群。在處理中，記錄矩陣不斷更新。
感興趣的樣板區(qū)域，有兩個(gè)主要問(wèn)題1)對(duì)所有每個(gè)對(duì)象都需要校準(zhǔn)并運(yùn)行；2)由于傳感器系統(tǒng)的誤差，事物經(jīng)常需要被定義為比它實(shí)際大。很難在檢查數(shù)據(jù)之前確定世界事物需要為多大。如果事物太大，總是有這種可能，即遠(yuǎn)離本體的事物被包括或者這些事物不得不相互重疊。
從這點(diǎn)看，當(dāng)分析數(shù)據(jù)時(shí)定義世界模型并使它適于當(dāng)前環(huán)境是較為容易的。
最后，用記錄矩陣產(chǎn)生統(tǒng)計(jì)量度。所述量度被定義為1)停留時(shí)間；2)掃視持續(xù)時(shí)間；3)掃視頻率；4)總的掃視時(shí)間；5)掃視概率；6)連接值概率；7)離開(kāi)前面道路景觀的時(shí)間；8)總的工作時(shí)間；和9)轉(zhuǎn)換時(shí)間。
一旦完成掃視分類，這些量度的計(jì)算是直截了當(dāng)?shù)?，因此所說(shuō)計(jì)算不被包括。
一個(gè)示例性的實(shí)時(shí)執(zhí)行非常像脫機(jī)算法。不同之處在于只有“前面道路景觀”和“其他區(qū)域”被定義為世界模型事物。對(duì)于每個(gè)任務(wù)，輸出是在道路上和離開(kāi)道路的總的掃視次數(shù)和總的掃視時(shí)間。任務(wù)的開(kāi)始和結(jié)束由注釋或時(shí)間間隙表示在記錄文件中(在記錄時(shí)由人工進(jìn)行)。
在進(jìn)行任何分類之前，使前面道路景觀世界事物定位。這是使用初始化階段、校準(zhǔn)特定對(duì)象的建立并運(yùn)行來(lái)完成。前面道路景觀區(qū)通過(guò)凝視密度函數(shù)而定位。駕駛員的大多數(shù)注意力對(duì)著這個(gè)區(qū)域并停留時(shí)間密度函數(shù)在其中心總是有明顯的峰值，如圖27所示。注視在這個(gè)區(qū)域的分布近似于高斯分布。因此用停留時(shí)間直方圖的最高點(diǎn)作為平均注視位置值能夠計(jì)算標(biāo)準(zhǔn)偏差。技術(shù)上，計(jì)算的不是標(biāo)準(zhǔn)偏差，而是模態(tài)偏差。然后，前面道路景觀被看作95％置信度值。該過(guò)程對(duì)俯仰和偏轉(zhuǎn)分別進(jìn)行，因此形成表示前面道路景觀的橢圓形區(qū)域。
在初始化過(guò)程中，研究區(qū)域被限制在可能是前面道路景觀的地方，通常是具有弧度為10°并且中心在(0，0)的圓，并且只有落入這個(gè)區(qū)域的注視用來(lái)計(jì)算。盡管如此，95％置信度值邊界不得不被向下并向右偏移約2度，以便使它與一些對(duì)象工作；當(dāng)對(duì)象的凝視跟隨道路彎曲時(shí)特征出現(xiàn)。對(duì)于這些偏差的簡(jiǎn)單辦法是示例性的較長(zhǎng)的初始化時(shí)期或用允許它跟隨曲線的時(shí)間窗口進(jìn)行另外的計(jì)算。如果可得到橫擺速率，前面道路景觀的中心可能適于這種信號(hào)并解決該問(wèn)題，但是這不是目前在車(chē)輛中的共識(shí)。初始化階段可以看圖29。該校準(zhǔn)過(guò)程在產(chǎn)生有效值之前，用大約5分鐘正常駕駛被調(diào)整到以最佳狀態(tài)工作。
當(dāng)駕駛員進(jìn)行工作時(shí)產(chǎn)生相似的問(wèn)題。眼睛似乎不回到前面道路區(qū)域中心，而是有點(diǎn)在輔助工作(駕駛時(shí)主要工作)方向。頭部偏移是這種行為的答案，意味著它不垂直于前面道路景觀，因此產(chǎn)生凝視估計(jì)的偏移。對(duì)象離開(kāi)前面道路景觀看得越多，凝視估計(jì)的精度越低。
初始化階段一結(jié)束，雙VT-I、DT-I和規(guī)則起作用。雙VT-I首先識(shí)別迅速掃視-注視結(jié)合。即最短形式的掃視，然后與其掃視時(shí)間一起發(fā)送到DT-I和規(guī)則。如果它們屬于同一區(qū)域，微小掃視，例如在一個(gè)區(qū)域內(nèi)的一系列注視被連接。也就是說(shuō)，形成根據(jù)ISO/SAE標(biāo)準(zhǔn)的掃視。掃視時(shí)間被總計(jì)并且發(fā)送到與在前面道路上/不在前面道路上的信號(hào)同步的計(jì)數(shù)器，該信號(hào)是如圖28所述的分組算法的輸出。該計(jì)數(shù)器記錄屬于同一工作的所有的掃視和掃視時(shí)間，然后對(duì)于每個(gè)新工作，計(jì)數(shù)器被重置。但是，在進(jìn)行重置之前，數(shù)據(jù)被送出(處理)以便記錄。在這種情況下，時(shí)間間隙被用來(lái)指示工作的開(kāi)始和結(jié)束。
利用視頻轉(zhuǎn)錄，該算法已經(jīng)對(duì)來(lái)自VDM的數(shù)據(jù)有效——驗(yàn)證研究。該視頻轉(zhuǎn)錄按照ISO15007-2和SAE J-2396方法進(jìn)行。使用7個(gè)對(duì)象，4個(gè)量度，其中比較1)工作長(zhǎng)度；2)掃視頻率；3)平均掃視持續(xù)時(shí)間；和4)總的掃視時(shí)間。
驗(yàn)證一個(gè)工作接一個(gè)工作地被完成，每個(gè)掃視視覺(jué)上被確認(rèn)以確保正確的算法函數(shù)。少數(shù)的注視用恢復(fù)算法自動(dòng)恢復(fù)，該恢復(fù)算法被證明能很好地工作，并且實(shí)際上沒(méi)有誤算。
皮爾遜積矩(Pearson product-movement)揭示對(duì)所有重要量度的分析類型之間高相關(guān)性工作長(zhǎng)度r＝0.999，掃視頻率r＝0.998，平均掃視持續(xù)時(shí)間r＝0.816，和總的掃視持續(xù)時(shí)間r＝0.995。這是將要與“自動(dòng)駕駛員視覺(jué)行為測(cè)量”的結(jié)果進(jìn)行比較，其中相關(guān)性分別是r＝0.991，r＝0.997，r＝0.732，和r＝0.995。圖30-33繪出每個(gè)工作的平均和標(biāo)準(zhǔn)偏差。
實(shí)時(shí)算法已經(jīng)對(duì)于來(lái)自VDM——驗(yàn)證研究的六個(gè)視頻轉(zhuǎn)錄的對(duì)象已經(jīng)被有效。用于脫機(jī)驗(yàn)證的對(duì)象之一由于缺少基線駕駛(非校準(zhǔn)數(shù)據(jù))必須離開(kāi)。
其中被比較的三個(gè)量度1)掃視數(shù)目；2)總的掃視時(shí)間；3)平均掃視時(shí)間。
每個(gè)對(duì)象的整體駕駛是通過(guò)算法順序運(yùn)行的。雖然只要求5分鐘，但是在安全側(cè)每個(gè)運(yùn)行20分鐘正常公路(基線)駕駛，以校準(zhǔn)該系統(tǒng)。皮爾遜積矩揭示對(duì)兩個(gè)量度的分析類型之間的高度相關(guān)性掃視數(shù)目r＝0.925，和總的掃視時(shí)間r＝0.964。但是，平均掃視時(shí)間不十分相關(guān)，r＝0.301。圖34-36繪出每個(gè)工作的平均和標(biāo)準(zhǔn)偏差。
來(lái)自驗(yàn)證的結(jié)果證明該算法是非?？煽康?，即使當(dāng)數(shù)據(jù)質(zhì)量不是在其最佳水平；例如該算法對(duì)變化噪聲水平和信號(hào)精確性是健全的。還有，用眼睛運(yùn)動(dòng)規(guī)則，該算法能夠重新得到在信號(hào)中幾乎被消失的注視。
除了平均掃視持續(xù)時(shí)間之外，對(duì)所有量度在0.99的區(qū)域中(脫機(jī)方案)，分析方法之間的相關(guān)性是很高的，而平均掃視持續(xù)時(shí)間也仍然很相關(guān)(r＝0.82)。但是基于兩個(gè)其他的量度相關(guān)性低。
預(yù)處理也證明很有效。15個(gè)采樣中等濾波器保存迅速掃視的開(kāi)始/結(jié)束，同時(shí)非常有效地抑制了噪聲和眨眼。
雙VT-I、和DT-I和規(guī)則的組合證明了工作超過(guò)預(yù)計(jì)的情況。雙VT-I的精確性和DT-I的可靠性與眼睛運(yùn)動(dòng)物理規(guī)則的共同協(xié)作形成的算法對(duì)瞬時(shí)傳感器置信度下降和高噪聲水平是健全的。
已經(jīng)表明，有健全和可靠的實(shí)時(shí)掃視檢測(cè)是可能的。模擬揭示了兩個(gè)測(cè)量(掃視數(shù)目和總的掃視時(shí)間)的高相關(guān)性。但是，平均掃視時(shí)間的相關(guān)性是低的(r＝0.301)。記住，實(shí)時(shí)算法不能區(qū)別朝著反射鏡的掃視和朝著收音機(jī)的掃視，所有的量度都可能被認(rèn)為是相當(dāng)?shù)偷?。使?shí)時(shí)算法與脫機(jī)方案一樣精確是可能的。這將通過(guò)識(shí)別最通常的看車(chē)內(nèi)的事物來(lái)實(shí)現(xiàn)，例如，內(nèi)鏡、側(cè)鏡、儀表板組和中心堆。這些事物在車(chē)輛內(nèi)很好地分布開(kāi)，因此不會(huì)相互混淆。此外，在定義為最可能的區(qū)域，對(duì)那些事物之一只要掃視一或兩次，以對(duì)這些特定的事物開(kāi)始一個(gè)起始階段。最通?？吹氖挛锸亲羁赡馨l(fā)生錯(cuò)誤的事物和最容易檢測(cè)的事物。
由于沒(méi)有其他數(shù)據(jù)組被視覺(jué)轉(zhuǎn)錄或以任何其他方式分析，它只用來(lái)測(cè)試不同的算法部分，例如，實(shí)時(shí)初始化。但是這個(gè)工作已經(jīng)打開(kāi)了這些數(shù)據(jù)分析的大門(mén)。
已經(jīng)研發(fā)出按照ISO 15007-2和SAE J-2396標(biāo)準(zhǔn)的定義和量度工作的健全的混合算法。該方法比視頻轉(zhuǎn)錄快得多，與用該算法只要幾分鐘相比，一個(gè)小時(shí)的數(shù)據(jù)視頻轉(zhuǎn)錄要花約一天的時(shí)間，而且該算法還自動(dòng)適應(yīng)當(dāng)前噪聲水平。
在本發(fā)明的研發(fā)期間，已經(jīng)看到下述成績(jī)1)預(yù)處理中等濾波器長(zhǎng)度優(yōu)化為對(duì)于以60Hz采樣的數(shù)據(jù)是15個(gè)采樣；2)具有20個(gè)采樣的中等濾波器用于有噪聲的信號(hào)部分，其中按照視覺(jué)規(guī)則，應(yīng)當(dāng)有注視。這使信號(hào)平穩(wěn)足以檢測(cè)注視；3)兩個(gè)注視/迅速掃視檢測(cè)算法的健全混合，其適于當(dāng)前噪聲水平，并且已經(jīng)研發(fā)并調(diào)整出用于60Hz數(shù)據(jù)的判斷算法；4)眼睛運(yùn)動(dòng)的物理規(guī)則實(shí)現(xiàn)為智能判斷并控制算法；5)研發(fā)出需要最小干預(yù)的自動(dòng)和健全的分組方法，用于工作分析；6)已經(jīng)研發(fā)出算法的實(shí)時(shí)方案并使其有效；7)該算法的實(shí)時(shí)方案用新穎的構(gòu)架，其將掃視分段為“筆直的前面道路”或“其他”種類；8)已經(jīng)實(shí)施在ISO/SAE中的所有量度。
這個(gè)課題打開(kāi)了幾個(gè)感興趣的車(chē)內(nèi)產(chǎn)品應(yīng)用的大門(mén)，其能夠利用要在真實(shí)路上環(huán)境被測(cè)試的眼睛運(yùn)動(dòng)數(shù)據(jù)。例如，工作負(fù)荷估計(jì)、注意力估計(jì)、困倦檢測(cè)、自適應(yīng)界面、自適應(yīng)警告等。人類工程學(xué)評(píng)估、HMI研究、認(rèn)知工作負(fù)荷、精神分散、困倦等的研究都是這里定義的本發(fā)明潛在的感興趣的應(yīng)用。
因此，打開(kāi)了一條進(jìn)入駕駛員精神的新道路。在現(xiàn)在的環(huán)境中，仍然有少量人工步驟來(lái)進(jìn)行加載和存儲(chǔ)數(shù)據(jù)、視覺(jué)檢查分段和偶爾調(diào)節(jié)世界模型。然而，可以認(rèn)為，并且本領(lǐng)域的技術(shù)人員也能夠理解，按照本發(fā)明可是使這些手工工作自動(dòng)化并執(zhí)行這些工作。特別是在陽(yáng)光直接射進(jìn)攝像機(jī)的情況下，將使注視散布在一個(gè)大區(qū)域上，有時(shí)甚至使組件“混合”在一起。因此分析工具變得更健全和更精確，這些步驟中的一些將不再是必要的并且也可能進(jìn)行批處理。
本發(fā)明設(shè)想了一種實(shí)時(shí)算法，該實(shí)時(shí)算法健全地、智能地工作并為車(chē)輛(和研究者)提供盡可能多的來(lái)自駕駛員眼睛的有用的信息。該實(shí)時(shí)算法將能夠健全地、智能地將若干事物分類。世界模型事物對(duì)真實(shí)世界的實(shí)時(shí)適應(yīng)將記錄事件和數(shù)據(jù)。一種有趣的方法是將目標(biāo)區(qū)實(shí)現(xiàn)為HMM狀態(tài)。當(dāng)使得目標(biāo)區(qū)域邊界更浮動(dòng)時(shí)，引入這些統(tǒng)計(jì)方法可以提高目標(biāo)分類。一種有趣的想法是當(dāng)在外部或遠(yuǎn)離其他事物的距離處有注視被記錄時(shí)，使世界模型區(qū)意想不到地突然出現(xiàn)。世界模型可以用事物經(jīng)歷來(lái)校準(zhǔn)世界模型并進(jìn)行智能判斷，例如，事物的完全工作驅(qū)動(dòng)的識(shí)別。
關(guān)于檢測(cè)算法，可以利用其他傳感器信息。在現(xiàn)代汽車(chē)中，當(dāng)跟蹤轉(zhuǎn)向角度、轉(zhuǎn)動(dòng)指示器起動(dòng)、車(chē)輛速度以及某個(gè)按鈕是否被按下失靈時(shí)，CAN總線充滿可以用來(lái)估計(jì)凝視方向的傳感器信號(hào)。這也提供關(guān)于交通環(huán)境的信息，從而優(yōu)化了用于特定交通環(huán)境的分段參數(shù)，例如用于鄉(xiāng)下、郊區(qū)和城市。識(shí)別大量駕駛圖形的相當(dāng)成功的方法也已經(jīng)完成。能夠測(cè)試其他WHM濾波器以發(fā)現(xiàn)是否存在更好的方法來(lái)減少遠(yuǎn)離道路的注視開(kāi)始時(shí)的噪聲，其中利用恢復(fù)算法。濾波器群似乎很龐大。
支持算法的一種方式可以是這樣的事實(shí)，即對(duì)象的頭部經(jīng)常沿著與眼睛相同的方向移動(dòng)，至少用于橫向凝視。這種方法的缺點(diǎn)來(lái)自對(duì)象個(gè)體差別。一些對(duì)象實(shí)際上完全不移動(dòng)他們的頭部，而另一些則經(jīng)常移動(dòng)他們的頭部。還有，當(dāng)凝視有噪聲時(shí)，這應(yīng)當(dāng)是幫助分段的合適方法。
在實(shí)時(shí)算法中，下一組六個(gè)采樣的預(yù)計(jì)將增加100毫秒的速度。業(yè)已表明，利用五個(gè)點(diǎn)二次預(yù)測(cè)器以很小的誤差，可以至少在少量點(diǎn)預(yù)計(jì)迅速掃視信號(hào)。速度在實(shí)時(shí)算法中是最重要的。
按照上面所述，很清楚，精細(xì)地調(diào)整這些算法在將來(lái)還會(huì)繼續(xù)。一種已經(jīng)在進(jìn)行的研制是GUI算法，稱作“視覺(jué)要求測(cè)量工具”或簡(jiǎn)稱“VDM工具”。這項(xiàng)工作的目的是使分析工具對(duì)希望分析眼睛運(yùn)動(dòng)的任何人都容易使用。
本發(fā)明分析方法的許多方面，包括方法和執(zhí)行這些方法的裝置均已公開(kāi)。分析的重要特征至少包括關(guān)于駕駛員眼睛運(yùn)動(dòng)的部分基礎(chǔ)，和在實(shí)時(shí)基礎(chǔ)上進(jìn)行的評(píng)估。
權(quán)利要求
1.一種用于分析車(chē)輛駕駛員的眼睛和/或頭部定向特征的方法，所述方法包括檢測(cè)并量化駕駛員頭部相對(duì)于車(chē)輛乘客車(chē)廂內(nèi)的空間的位置；提供駕駛員頭部的參考基準(zhǔn)位置，從而能夠使駕駛員感興趣的區(qū)域/事物的位置相對(duì)其進(jìn)行相互參照；使所述駕駛員頭部位置對(duì)于所述參考基準(zhǔn)位置的量化標(biāo)準(zhǔn)化，因而能夠根據(jù)關(guān)于(1)駕駛員的視覺(jué)定向和(2)駕駛員的頭部定向的至少一個(gè)的檢測(cè)信息，推導(dǎo)駕駛員感興趣的位置。
2.如權(quán)利要求1的方法，還包括優(yōu)選地將關(guān)于駕駛員眼睛定向的檢測(cè)信息用作駕駛員感興趣位置的所述推導(dǎo)的基礎(chǔ)；和當(dāng)關(guān)于駕駛員眼睛定向的所述檢測(cè)信息的質(zhì)量降低到規(guī)定的閾值凝視置信度水平之外時(shí)，轉(zhuǎn)換到將關(guān)于駕駛員頭部定向的檢測(cè)信息用作駕駛員感興趣位置的所述推導(dǎo)的基礎(chǔ)。
3.如權(quán)利要求2的方法，其中當(dāng)駕駛員的眼睛閉合時(shí)，超過(guò)所述閾值凝視置信度水平。
4.如權(quán)利要求2的方法，其中當(dāng)駕駛員的頭部定向離開(kāi)眼睛向前的定向超過(guò)允許的偏離程度時(shí)，超過(guò)所述閾值凝視置信度水平。
5.如權(quán)利要求1的方法，還包括利用數(shù)學(xué)變換實(shí)現(xiàn)駕駛員頭部位置對(duì)于所述參考基準(zhǔn)位置的所述量化的所述標(biāo)準(zhǔn)化。
6.如權(quán)利要求5的方法，還包括在基本實(shí)時(shí)的基礎(chǔ)上利用基于車(chē)輛的計(jì)算機(jī)進(jìn)行所述數(shù)學(xué)變換。
7.如權(quán)利要求1的方法，還包括相對(duì)于所述參考基準(zhǔn)位置規(guī)定駕駛員感興趣的區(qū)域/事物的可能位置。
8.如權(quán)利要求1的方法，還包括根據(jù)所檢測(cè)的駕駛員眼睛特征，相對(duì)于所述參考基準(zhǔn)位置定義駕駛員感興趣的區(qū)域/事物的可能位置。
9.如權(quán)利要求8的方法，還包括根據(jù)所檢測(cè)的駕駛員凝視頻率的眼睛特征，相對(duì)于所述參考基準(zhǔn)位置建立駕駛員感興趣的區(qū)域/事物的可能位置的所述定義。
10.如權(quán)利要求9的方法，還包括根據(jù)所收集的凝視密度特征，量化所述凝視頻率的所述建立。
11.如權(quán)利要求的方法，還包括通過(guò)將所述檢測(cè)的駕駛員眼睛特征映射到所述規(guī)定的或定義的駕駛員感興趣的區(qū)域/事物相對(duì)于所述參考基準(zhǔn)位置的可能位置，根據(jù)駕駛員眼睛特征識(shí)別駕駛員感興趣的事物。
12.如權(quán)利要求11的方法，還包括根據(jù)所述映射的駕駛員眼睛特征，調(diào)整由該車(chē)輛執(zhí)行的規(guī)定的功能性。
13.如權(quán)利要求1的方法，其中關(guān)于駕駛員眼睛定向的所述檢測(cè)信息專門(mén)地由凝視角的量度構(gòu)成。
14.如權(quán)利要求1的方法，其中關(guān)于駕駛員眼睛定向的所述檢測(cè)信息包括凝視角的量度。
15.如權(quán)利要求13的方法，其中所述凝視角度的量度是從所檢測(cè)的基于眼球定向的凝視方向矢量導(dǎo)出的。
16.如權(quán)利要求1的方法，還包括根據(jù)所檢測(cè)的頭部定向，相對(duì)于所述參考基準(zhǔn)位置，定義駕駛員感興趣的區(qū)域/事物的可能位置。
17.如權(quán)利要求16的方法，還包括根據(jù)所檢測(cè)的頭部定向，相對(duì)于所述參考基準(zhǔn)位置，建立駕駛員感興趣的區(qū)域/事物的可能位置的所述定義，其中從該頭部定向可推導(dǎo)出臉部朝前的方向。
18.如權(quán)利要求17的方法，還包括收集多個(gè)數(shù)據(jù)點(diǎn)，每個(gè)都參考特定的被檢測(cè)的頭部定向并且因此參考臉部朝前的方向；根據(jù)所述的數(shù)據(jù)點(diǎn)，建立指示駕駛員沿某個(gè)方向看的頻率的密度映射。
19.如權(quán)利要求16的方法，還包括通過(guò)使所述映射與規(guī)定的/定義的駕駛員感興趣的事物/區(qū)域相對(duì)于所述參考基準(zhǔn)位置的可能位置相關(guān)，識(shí)別駕駛員感興趣的事物/區(qū)域。
20.如權(quán)利要求19的方法，還包括根據(jù)所述的相關(guān)，調(diào)整由該車(chē)輛執(zhí)行的規(guī)定的功能性。
21.如權(quán)利要求16的方法，其中關(guān)于頭部定向的所述檢測(cè)信息專門(mén)地由臉朝前的方向角的量度構(gòu)成。
22.如權(quán)利要求16的方法，其中關(guān)于頭部定向的所述檢測(cè)信息包括臉朝前的方向角的量度。
23.如權(quán)利要求21的方法，其中凝視角的所述量度從所檢測(cè)的基于頭部定向的凝視方矢量導(dǎo)出。
24.一種研發(fā)在評(píng)估駕駛員活動(dòng)和/或駕駛員狀況時(shí)用于比較的基準(zhǔn)點(diǎn)的方法，所述方法包括根據(jù)被檢測(cè)的駕駛員特征，收集凝視方向數(shù)據(jù)流；并根據(jù)從其中導(dǎo)出的密度圖形，定義對(duì)應(yīng)于駕駛員可能感興趣的至少一個(gè)區(qū)域的基于凝視方向的參數(shù)。
25.如權(quán)利要求24的方法，還包括利用(1)駕駛員眼睛定向和(2)駕駛員頭部定向的至少其中之一的量度以便構(gòu)成所述凝視方向數(shù)據(jù)。
26.如權(quán)利要求24的方法，還包括根據(jù)從所述收集的凝視方向數(shù)據(jù)中評(píng)估的高密度圖形，建立表示典型的眼睛朝前的駕駛的區(qū)域。
27.如權(quán)利要求26的方法，還包括與所述的建立的代表性區(qū)域相比較，利用所述收集的凝視方向數(shù)據(jù)；并根據(jù)所述比較來(lái)識(shí)別凝視離開(kāi)。
28.如權(quán)利要求26的方法，還包括與所述的建立的代表性區(qū)域相比較，利用所述收集的凝視方向數(shù)據(jù)；并根據(jù)所述比較來(lái)識(shí)別認(rèn)知分散。
29.如權(quán)利要求26的方法，還包括與所述的建立的代表性區(qū)域相比較，利用所述收集的凝視方向數(shù)據(jù)；并根據(jù)所述比較來(lái)識(shí)別視覺(jué)分散。
30.如權(quán)利要求26的方法，還包括與所述的建立的代表性區(qū)域相比較，利用所述收集的凝視方向數(shù)據(jù)；并根據(jù)所述比較來(lái)識(shí)別駕駛員的高工作負(fù)荷。
31.如權(quán)利要求27的方法，還包括根據(jù)所述(1)凝視離開(kāi)、(2)認(rèn)知分散、(3)視覺(jué)分散和(4)駕駛員高工作負(fù)荷的至少其中之一的識(shí)別的確定頻率，量化駕駛員狀況的嚴(yán)重程度。
32.如權(quán)利要求27的方法，還包括根據(jù)所述離開(kāi)、分散或駕駛員高工作負(fù)荷的識(shí)別的確定頻率，記錄量化駕駛員狀況的嚴(yán)重程度的被識(shí)別的事故。
33.如權(quán)利要求32的方法，還包括存儲(chǔ)所述記錄的事故用于將來(lái)的分析。
34.如權(quán)利要求32的方法，還包括將所述記錄的事故傳輸給處理器用于將來(lái)的分析。
35.如權(quán)利要求34的方法，還包括在實(shí)時(shí)基礎(chǔ)上進(jìn)行所述傳輸和所述分析。
36.如權(quán)利要求31的方法，還包括當(dāng)所述嚴(yán)重程度量化超過(guò)規(guī)定的嚴(yán)重程度閾值時(shí)，給駕駛員提供反饋。
37.如權(quán)利要求31的方法，還包括當(dāng)所述嚴(yán)重性量化超過(guò)規(guī)定的嚴(yán)重性閾值時(shí)，調(diào)整由該車(chē)輛執(zhí)行的規(guī)定的功能性。
38.如權(quán)利要求24的方法，還包括利用規(guī)定時(shí)間內(nèi)的主要移動(dòng)時(shí)間窗口，分析所述收集的凝視方向數(shù)據(jù)流；并且檢測(cè)在所述主要移動(dòng)時(shí)間窗口內(nèi)的表示出現(xiàn)駕駛員時(shí)間共享活動(dòng)的特征。
39.如權(quán)利要求38的方法，還包括根據(jù)超過(guò)閾值的駕駛員時(shí)間共享活動(dòng)發(fā)生的頻率，識(shí)別駕駛員高工作負(fù)荷的時(shí)期。
40.如權(quán)利要求38的方法，還包括當(dāng)檢測(cè)到發(fā)生駕駛員時(shí)間共享活動(dòng)終止時(shí)更新所述主要移動(dòng)時(shí)間窗口。
41.一種眼睛運(yùn)動(dòng)數(shù)據(jù)的自動(dòng)分析的方法，所述方法包括通過(guò)將分類規(guī)則應(yīng)用于數(shù)據(jù)，用基于計(jì)算機(jī)的處理器處理描述對(duì)象所觀察的眼睛運(yùn)動(dòng)的數(shù)據(jù)，因此至少識(shí)別由該對(duì)象經(jīng)歷的視覺(jué)注視；分析與該所識(shí)別的注視相關(guān)的凝視方向信息，從而產(chǎn)生在數(shù)據(jù)收集期間表示該對(duì)象視覺(jué)注視的方向的數(shù)據(jù)。
42.如權(quán)利要求41的方法，還包括至少部分地根據(jù)注視的凝視方向，將該數(shù)據(jù)分成定界數(shù)據(jù)組，每個(gè)定界的數(shù)據(jù)組表示在數(shù)據(jù)收集期間存在的對(duì)象感興趣的區(qū)域/事物。
43.如權(quán)利要求41的方法，還包括通過(guò)將至少一個(gè)掃視定義規(guī)則應(yīng)用于該數(shù)據(jù)來(lái)識(shí)別掃視，每個(gè)所述被識(shí)別的掃視包含至少一個(gè)被識(shí)別的注視。
44.如權(quán)利要求43的方法，還包括將所述至少一個(gè)掃視定義規(guī)則建立在至少一個(gè)選自下述一組的特征上，該組特征包括掃視持續(xù)時(shí)間、掃視頻率、總的掃視時(shí)間和總的工作時(shí)間。
45.如權(quán)利要求43的方法，還包括至少部分地根據(jù)在相應(yīng)的掃視期間的凝視方向，將所述被識(shí)別的掃視分成定界的掃視組，每個(gè)所述分開(kāi)的掃視組表示在數(shù)據(jù)收集期間存在的對(duì)象感興趣的區(qū)域/事物。
46.如權(quán)利要求45的方法，還包括與至少一個(gè)其他的掃視組相比較，評(píng)估一個(gè)掃視組的相對(duì)密度，并根據(jù)該比較，識(shí)別表示的被比較的掃視組的對(duì)象感興趣的區(qū)域/事物。
47.如權(quán)利要求45的方法，還包括評(píng)估多個(gè)掃視組中至少一個(gè)掃視組的相對(duì)密度，并根據(jù)將所述評(píng)估的相對(duì)密度到與眼睛運(yùn)動(dòng)數(shù)據(jù)被收集的該類設(shè)置相關(guān)的已知的相對(duì)密度的映射，識(shí)別表示的該被比較的掃視組的對(duì)象感興趣的區(qū)域/事物。
48.如權(quán)利要求45的方法，還包括從描述在已知設(shè)置中被觀察的眼睛運(yùn)動(dòng)的數(shù)據(jù)中，評(píng)估至少兩個(gè)掃視組的相對(duì)密度；并且識(shí)別該兩個(gè)比較掃視組中的每個(gè)的表示的對(duì)象感興趣的區(qū)域/事物，并確定在已知的設(shè)置中所述表示的對(duì)象感興趣的區(qū)域/事物的位置，從建立用于已知設(shè)置的特定參考框架。
49.如權(quán)利要求48的方法，其中所述對(duì)象是車(chē)輛駕駛員，并且根據(jù)至少一個(gè)掃視數(shù)據(jù)組的密度，推導(dǎo)眼睛向前的正常駕駛員的眼睛定向。
50.如權(quán)利要求41的方法，其中所述被應(yīng)用的分類規(guī)則包括至少定義注視和轉(zhuǎn)換的準(zhǔn)則。
51.如權(quán)利要求41的方法，其中所述被應(yīng)用的分類規(guī)則還包括定義迅速掃視的準(zhǔn)則。
52.如權(quán)利要求41的方法，其中所述對(duì)象是車(chē)輛駕駛員，并且該方法還包括利用多個(gè)分析協(xié)議，所述協(xié)議取決于與被處理的數(shù)據(jù)相關(guān)的經(jīng)常發(fā)生的噪聲的特征。
53.如權(quán)利要求52的方法，還包括將具有預(yù)定嚴(yán)格度的第一數(shù)據(jù)濾波器應(yīng)用于輸入數(shù)據(jù)流，該輸入數(shù)據(jù)流包括描述由車(chē)輛駕駛員的被觀察的眼睛運(yùn)動(dòng)的所述數(shù)據(jù)，利用基于計(jì)算機(jī)的處理器并且從該處理器輸出對(duì)應(yīng)于所述輸入數(shù)據(jù)流的第一被過(guò)濾的數(shù)據(jù)流；并且通過(guò)對(duì)所述輸出的第一被過(guò)濾的數(shù)據(jù)流應(yīng)用第一認(rèn)可規(guī)則，評(píng)估所述輸出的第一被過(guò)濾的數(shù)據(jù)流，并且所述輸出的第一被過(guò)濾的數(shù)據(jù)流的數(shù)據(jù)通過(guò)所述第一認(rèn)可規(guī)則而被輸出并構(gòu)成被認(rèn)可的第一數(shù)據(jù)流。
54.如權(quán)利要求53的方法，還包括將比所述第一數(shù)據(jù)濾波器更加嚴(yán)格的第二數(shù)據(jù)濾波器應(yīng)用于輸入數(shù)據(jù)流，利用所述基于計(jì)算機(jī)的處理器并且經(jīng)由來(lái)自輸入數(shù)據(jù)流的共同的導(dǎo)出輸出對(duì)應(yīng)于第一被過(guò)濾的數(shù)據(jù)流的第二被過(guò)濾的數(shù)據(jù)流；通過(guò)對(duì)所述輸出的第二被過(guò)濾的數(shù)據(jù)流應(yīng)用第二認(rèn)可規(guī)則，評(píng)估所述輸出的第二被過(guò)濾的數(shù)據(jù)流的質(zhì)量，并且所述輸出的第二被過(guò)濾的數(shù)據(jù)流的數(shù)據(jù)通過(guò)第二認(rèn)可規(guī)則被輸出并構(gòu)成被認(rèn)可的第二數(shù)據(jù)流。
55.如權(quán)利要求54的方法，還包括構(gòu)成的收集的被認(rèn)可的數(shù)據(jù)流由整個(gè)被認(rèn)可的第一數(shù)據(jù)流構(gòu)成，并且所述收集的被認(rèn)可的數(shù)據(jù)流由對(duì)應(yīng)于所述輸出的第一被過(guò)濾數(shù)據(jù)流中未被認(rèn)可部分的所述被認(rèn)可的第二數(shù)據(jù)流的部分進(jìn)一步構(gòu)成。
56.如權(quán)利要求54的方法，其中所述第一和第二認(rèn)可規(guī)則是相同的。
57.如權(quán)利要求54的方法，其中所述第一和第二認(rèn)可規(guī)則是基于同樣準(zhǔn)則的。
58.如權(quán)利要求52的方法，還包括選擇至少兩個(gè)分析協(xié)議以構(gòu)成來(lái)自下述組的所述多個(gè)(1)基于速度的雙閾值協(xié)議，相對(duì)該組的其他部分，它最適合含有低噪聲的眼睛行為數(shù)據(jù)；(2)基于距離的分散間隔協(xié)議，相對(duì)該組的其他部分，它最適合含有中等噪聲的眼睛和眼瞼行為數(shù)據(jù)；(3)基于眼睛特征的定向規(guī)則協(xié)議，相對(duì)該組的其他部分，它最適合含有高噪聲的眼睛行為數(shù)據(jù)。
59.如權(quán)利要求58的方法，其中用于任何給定數(shù)據(jù)組的協(xié)議的所述選擇，不依賴于在數(shù)據(jù)組中被檢測(cè)的噪聲水平而偏向于所述三個(gè)協(xié)議中的一個(gè)。
60.如權(quán)利要求58的方法，其中所述定向規(guī)則的協(xié)議在辨識(shí)注視和迅速掃視時(shí)考慮下列標(biāo)準(zhǔn)中的一個(gè)或多個(gè)(1)注視持續(xù)時(shí)間必須超過(guò)150毫秒；(2)跳動(dòng)持續(xù)時(shí)間必須不超過(guò)200毫秒；并且迅速掃視在兩個(gè)不同位置開(kāi)始和結(jié)束。
61.如權(quán)利要求52的方法，還包括根據(jù)在所述的多個(gè)分析協(xié)議中各自分析協(xié)議的相對(duì)利用，評(píng)估描述眼睛運(yùn)動(dòng)的所述數(shù)據(jù)的質(zhì)量。
62.如權(quán)利要求50的方法，還包括考慮在規(guī)定的時(shí)期內(nèi)、多個(gè)分析協(xié)議中基于時(shí)間的各自分析協(xié)議的相對(duì)利用，評(píng)估描述眼睛運(yùn)動(dòng)的所述數(shù)據(jù)的質(zhì)量。
63.如權(quán)利要求41的方法，還包括利用規(guī)定時(shí)期內(nèi)的數(shù)據(jù)流轉(zhuǎn)換的主要時(shí)間窗口，分析收集的駕駛員眼睛凝視數(shù)據(jù)流，并檢測(cè)使數(shù)據(jù)流的一部分的真實(shí)性變差的人為現(xiàn)象；并且當(dāng)受到所述人為現(xiàn)象時(shí)，采用第二移動(dòng)時(shí)間窗口，同時(shí)傳輸所述數(shù)據(jù)流并從所述采集的數(shù)據(jù)中產(chǎn)生高度過(guò)濾的數(shù)據(jù)。
64.如權(quán)利要求41的方法，還包括利用規(guī)定時(shí)期內(nèi)的數(shù)據(jù)流轉(zhuǎn)換的主要時(shí)間窗口，分析收集的駕駛員眼睛凝視數(shù)據(jù)流；并且檢測(cè)在所述主要時(shí)間窗口內(nèi)表示在數(shù)據(jù)流傳輸過(guò)程中數(shù)據(jù)質(zhì)量下降超過(guò)規(guī)定的質(zhì)量閾值的特征。
65.如權(quán)利要求64的方法，還包括當(dāng)所述數(shù)據(jù)質(zhì)量下降超過(guò)規(guī)定的質(zhì)量閾值時(shí)，采用第二移動(dòng)時(shí)間窗口，同時(shí)傳輸所述數(shù)據(jù)流并從所述采集的數(shù)據(jù)中產(chǎn)生高度過(guò)濾的數(shù)據(jù)。
66.如權(quán)利要求65的方法，還包括當(dāng)檢測(cè)到所述數(shù)據(jù)質(zhì)量下降已經(jīng)進(jìn)入規(guī)定的質(zhì)量閾值之內(nèi)時(shí)，返回到所述主要時(shí)間移動(dòng)窗口。
全文摘要
用于分析對(duì)象的眼睛和/或頭部定向特征的方法。駕駛員頭部位置和/或眼睛運(yùn)動(dòng)的檢測(cè)和量化相對(duì)于環(huán)境進(jìn)行。進(jìn)行數(shù)據(jù)測(cè)試，并從該數(shù)據(jù)推導(dǎo)出對(duì)象感興趣的已經(jīng)歷的區(qū)域/事物的定位。當(dāng)車(chē)輛駕駛員是該對(duì)象時(shí)，駕駛員感興趣的區(qū)域/事物可以在該車(chē)輛內(nèi)部或車(chē)輛外部，并且可以由(1)諸如收音機(jī)控制器、速度表和其他儀表的“事物”，和(2)諸如“前面的道路”和改變車(chē)道時(shí)相鄰車(chē)道的間隙空間的區(qū)域或位置構(gòu)成。為了使跟蹤數(shù)據(jù)關(guān)于感興趣的車(chē)輛“標(biāo)準(zhǔn)化”，駕駛員頭部位置的量化對(duì)于參考的基準(zhǔn)位置被標(biāo)準(zhǔn)化，因而根據(jù)關(guān)于(1)駕駛員的眼睛定向和(2)駕駛員的頭部位置中的任何一個(gè)或者全部?jī)蓚€(gè)的檢測(cè)信息，能夠推導(dǎo)駕駛員已經(jīng)表示出興趣的位置。
文檔編號(hào)G06F3/01GK1705454SQ200380101560
公開(kāi)日2005年12月7日 申請(qǐng)日期2003年10月15日 優(yōu)先權(quán)日2002年10月15日
發(fā)明者特倫特·維克托, 彼得·拉松 申請(qǐng)人:沃爾沃技術(shù)公司