自主駕駛系統(tǒng)及用于自主駕駛系統(tǒng)的方法
【專利摘要】本發(fā)明涉及用于車輛的激活系統(tǒng)，該激活系統(tǒng)包括轉(zhuǎn)向盤(20)和半自主或自主控制系統(tǒng)。激活系統(tǒng)包括諸如攝像機之類的至少一個成像裝置(12)，所述至少一個成像裝置(12)具有包含轉(zhuǎn)向盤的至少實質(zhì)部分的視場，所述至少一個成像裝置(12)設(shè)置成在使用中采集表示所述視場內(nèi)的被攝體的原始圖像的第一圖像數(shù)據(jù)集。還設(shè)置了控制模塊，該控制模塊用于處理所述第一圖像數(shù)據(jù)，并且做出關(guān)于駕駛員當前是否使其兩只手在轉(zhuǎn)向盤上的判定。響應于做出所述判定，激活系統(tǒng)構(gòu)造成和/或設(shè)置成觸發(fā)半自主或自主控制系統(tǒng)。
【專利說明】
自主駕駛系統(tǒng)及用于自主駕駛系統(tǒng)的方法
技術(shù)領(lǐng)域
[0001]本公開內(nèi)容涉及自主駕駛系統(tǒng)及方法。實施方式涉及適用于機動車輛的半自主和自主控制系統(tǒng)的激活系統(tǒng)，但是非排他地，涉及由激活系統(tǒng)自動觸發(fā)的半自主和自主控制系統(tǒng)。本發(fā)明的實施方式還涉及判定車輛的駕駛員已經(jīng)將他的手從車輛的轉(zhuǎn)向盤移開的方法，更特別地但非排他地，涉及以下識別方法:采用一系列決策來判定駕駛員已經(jīng)將他的手從轉(zhuǎn)向盤移開，使得響應于駕駛員已經(jīng)將他的手從轉(zhuǎn)向盤移開，在沒有來自駕駛員的進一步輸入的情況下，可以激活巡航控制或其他半自主駕駛系統(tǒng)。
[0002]本發(fā)明的各方面涉及激活系統(tǒng)、車輛、方法及程序。
【背景技術(shù)】
[0003]機動車輛的巡航控制(CC)系統(tǒng)，當手動地被激活時，自動地將機動車輛保持在所選擇的行駛速度，所選擇的行駛速度被稱為“設(shè)置速度”或“車輛巡航速度”。
[0004]機動車輛的自適應巡航控制(ACC)系統(tǒng)，當手動地被激活時，還使本文中稱為“主車輛”的機動車輛保持在所選擇的設(shè)置速度，并且當前方(目標)車輛被部署在主車輛的路徑中時使主車輛保持所選擇的“車輛巡航車間時距(headway)”。
[0005]機動車輛的半自主和自主控制系統(tǒng)，當手動地被激活時，可以使車輛保持在道路上的車道位置。與ACC系統(tǒng)一樣，這樣的系統(tǒng)可以另外允許由車輛的駕駛員選擇“設(shè)置速度”(當在巡航控制中時)和/或可以另外允許由車輛的駕駛員選擇“車間時距”。這樣的系統(tǒng)還可以包括排隊輔助或交通堵塞輔助特征件，所述排隊輔助或交通堵塞輔助特征件使得主車輛能夠以慢速度并且以短距離跟隨目標車輛。
[0006]本發(fā)明試圖提供對機動車輛的半自主和自主控制系統(tǒng)的領(lǐng)域中的改進。本發(fā)明的實施方式可以提供適合于機動車輛的半自主和自主控制系統(tǒng)的激活系統(tǒng)，對車輛的駕駛員而言，啟用該激活系統(tǒng)快捷簡單并且避免了需要駕駛員按控制按鈕。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的各方面提供了如所附權(quán)利要求書中要求保護的激活系統(tǒng)、方法、程序及車輛。
[0008]根據(jù)本發(fā)明的尋求保護的一方面，提供了一種用于車輛的激活系統(tǒng)，該激活系統(tǒng)包括駕駛員可操作轉(zhuǎn)向裝置和半自主或自主控制系統(tǒng)，該激活系統(tǒng)包括:
[0009](i)至少一個成像裝置，其具有包括車輛的駕駛員可操作轉(zhuǎn)向裝置的至少實質(zhì)部分的視場，并且所述至少一個成像裝置構(gòu)造成和/或設(shè)置成在使用中采集表示所述視場中的被攝體的原始圖像的第一圖像數(shù)據(jù)集;以及
[0010](?)控制模塊，構(gòu)造成和/或設(shè)置成對所述第一圖像數(shù)據(jù)進行處理，所述控制模塊用于做出關(guān)于駕駛員當前是否正在操作所述駕駛員可操作轉(zhuǎn)向裝置的判定，
[0011 ]其中，響應于做出所述判定，激活系統(tǒng)構(gòu)造成和/或設(shè)置成觸發(fā)半自主或自主控制系統(tǒng)。
[0012]可選地，所述關(guān)于駕駛員當前是否正在操作所述駕駛員可操作轉(zhuǎn)向裝置的判定通過判定駕駛員的兩只手是否離開了轉(zhuǎn)向裝置或者駕駛員的兩只手是否沒有離開轉(zhuǎn)向裝置來做出。
[0013]可選地，至少一個成像裝置包括選自以下的攝像機:熱成像攝像機、近紅外攝像機、立體攝像機、飛彳丁時間攝像機、黑白攝像機和RGB攝像機。
[0014]可選地，至少一個成像裝置位于:駕駛員座位上方區(qū)域中的車輛的內(nèi)車頂?shù)牟糠种?；在?nèi)車頂?shù)牟糠种?；在車?nèi)燈的外殼中；包括在車輛的后視鏡和/或B柱中。
[0015]可選地，駕駛員可操作轉(zhuǎn)向裝置是轉(zhuǎn)向盤。
[0016]可選地，控制模塊包括一個或更多個處理器，所述一個或更多個處理器具有與其相關(guān)聯(lián)的至少一個存儲器并且具有能夠在其上執(zhí)行的至少一個算法，所述算法構(gòu)造成:
[0017](i)接收第一圖像數(shù)據(jù)集；
[0018](ii)將第一圖像數(shù)據(jù)集與存儲在所述至少一個存儲器中的背景圖像數(shù)據(jù)集進行比較；
[0019](iii)根據(jù)所述第一圖像數(shù)據(jù)集并且根據(jù)所述背景圖像數(shù)據(jù)集來創(chuàng)建第一修改數(shù)據(jù)集；
[0020](iv)根據(jù)與第一修改數(shù)據(jù)集中的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性來創(chuàng)建第二修改數(shù)據(jù)集；以及
[0021](V)通過對第二修改數(shù)據(jù)集中的不調(diào)和元素進行識別和混合來創(chuàng)建第三修改數(shù)據(jù)集。
[0022]可選地，所述背景圖像數(shù)據(jù)集表征當沒有駕駛員(并且沒有手)出現(xiàn)在視場中時采集的背景圖像，并且其中，所述背景圖像數(shù)據(jù)集包括每個表示背景圖像的像素的數(shù)據(jù)元素的序列。
[0023]可選地，所述第一圖像數(shù)據(jù)集包括每個表示所述視場中的被攝體的所述原始圖像的像素的數(shù)據(jù)元素的序列；并且其中，所述背景圖像數(shù)據(jù)集與所述第一圖像數(shù)據(jù)集包括相同數(shù)量的數(shù)據(jù)元素。
[0024]可選地，通過以下操作來創(chuàng)建所述第一修改數(shù)據(jù)集:將所述第一圖像數(shù)據(jù)集的數(shù)據(jù)元素與所述背景圖像數(shù)據(jù)集中的(空間上)相對應的數(shù)據(jù)元素進行比較;用所述第二圖像數(shù)據(jù)集中的暗色數(shù)據(jù)元素和/或黑色數(shù)據(jù)元素來表征匹配數(shù)據(jù)元素；以及用白色數(shù)據(jù)元素和/或明亮數(shù)據(jù)元素來表征不同數(shù)據(jù)元素。
[0025]可選地，第一修改數(shù)據(jù)集的數(shù)據(jù)元素被分類為:在創(chuàng)建第二修改數(shù)據(jù)集中，在亮度閾值以上或在亮度閾值以下。
[0026]可選地，計算表示第二修改數(shù)據(jù)集中的一組數(shù)據(jù)元素中的暗像素的數(shù)據(jù)元素的密度，并且根據(jù)所述密度將第二修改數(shù)據(jù)集中的不調(diào)和數(shù)據(jù)元素轉(zhuǎn)變成第三修改數(shù)據(jù)集中的暗數(shù)據(jù)元素(或者反之亦然)。
[0027]可選地，將由表示白色像素的數(shù)據(jù)元素空間上包圍的、第二修改數(shù)據(jù)集中的表示暗像素的一個數(shù)據(jù)元素或空間上連接的一組數(shù)據(jù)元素轉(zhuǎn)變成第三修改數(shù)據(jù)集中的白色數(shù)據(jù)元素。
[0028]可選地，當判定第三修改數(shù)據(jù)集包括與兩個顯著大小的白色區(qū)域和/或明亮區(qū)域有關(guān)的數(shù)據(jù)元素時，做出駕駛員的手在駕駛員可操作轉(zhuǎn)向裝置上的肯定性判定。
[0029]可選地，在做出駕駛員的手在駕駛員可操作轉(zhuǎn)向裝置上的肯定性判定之前，對所述兩個顯著大小的白色區(qū)域和/或明亮區(qū)域執(zhí)行姿態(tài)識別算法。
[0030]根據(jù)本發(fā)明的尋求保護的另一方面，提供了一種包括根據(jù)任意相關(guān)的前述段落所述的激活系統(tǒng)的車輛。
[0031]可選地，激活系統(tǒng)包括自主或半自主控制系統(tǒng)，所述自主或半自主控制系統(tǒng)構(gòu)造成和/或設(shè)置成:響應于自主或半自主轉(zhuǎn)向控制系統(tǒng)的激活，對選自以下項中至少一者進行控制:車輛轉(zhuǎn)向、車輛速度、車間時距、跟車距離、加速度、減速度以及相對于其他車輛的空間定位。
[0032]根據(jù)本發(fā)明的尋求保護的又一方面，提供了一種識別手是否出現(xiàn)在圖像中的方法，所述方法包括:
[0033](i)接收表示所述圖像的第一圖像數(shù)據(jù)集；
[0034](ii)將第一圖像數(shù)據(jù)集與背景圖像數(shù)據(jù)集進行比較；
[0035](iii)根據(jù)所述第一圖像數(shù)據(jù)集并且根據(jù)所述背景圖像數(shù)據(jù)集來創(chuàng)建第一修改數(shù)據(jù)集；
[0036](iv)根據(jù)與第一修改數(shù)據(jù)集中的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性來創(chuàng)建第二修改數(shù)據(jù)集；
[0037](V)通過對第二修改數(shù)據(jù)集中的不調(diào)和元素進行識別和混合來創(chuàng)建第三修改數(shù)據(jù)集；以及
[0038](vi)根據(jù)與第三修改數(shù)據(jù)集中的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性來識別第三修改數(shù)據(jù)集中的數(shù)據(jù)元素，所述第三修改數(shù)據(jù)集中的數(shù)據(jù)元素與兩個顯著大小的區(qū)域有關(guān)。
[0039]在缺少與兩個顯著大小的區(qū)域有關(guān)的第三修改數(shù)據(jù)集中的數(shù)據(jù)元素時，所述方法可以包括做出所述手離開了出現(xiàn)在圖像中的轉(zhuǎn)向裝置的判定。
[0040]在存在與兩個顯著大小的區(qū)域有關(guān)的第三修改數(shù)據(jù)集中的數(shù)據(jù)元素時，所述方法可以包括做出所述手位于出現(xiàn)在圖像中的轉(zhuǎn)向裝置上的判定。
[0041]替代性地或附加地，根據(jù)上述方面的方法可以包括:根據(jù)第三修改數(shù)據(jù)集中的兩個顯著大小的區(qū)域的相對姿態(tài)和位置中的至少一者來判定所述手是在出現(xiàn)在圖像中的轉(zhuǎn)向裝置上還是離開了出現(xiàn)在圖像中的轉(zhuǎn)向裝置。可選地，還可以根據(jù)第一圖像數(shù)據(jù)集、背景圖像數(shù)據(jù)集、第一修改數(shù)據(jù)集和第二修改數(shù)據(jù)集中的一個或更多個來做出所述判定。
[0042]根據(jù)本發(fā)明的尋求保護的再一方面，提供了一種用于計算機的程序，所述程序構(gòu)造成和/或設(shè)置成:當在計算機上運行時，執(zhí)行根據(jù)前面的段落所述的方法。
[0043]根據(jù)本發(fā)明的尋求保護的甚至再一方面，提供了一種由車輛的駕駛員用于激活和停用設(shè)置在車輛中的自主或半自主轉(zhuǎn)向控制系統(tǒng)的方法，所述方法包括:(駕駛員)故意使兩只手移開轉(zhuǎn)向裝置以激活自主或半自主轉(zhuǎn)向控制系統(tǒng)；以及(駕駛員)故意將一只手或兩只手移動到轉(zhuǎn)向裝置上以停用自主或半自主轉(zhuǎn)向控制系統(tǒng)。
[0044]激活系統(tǒng)包括成像裝置，該成像裝置采集車輛的轉(zhuǎn)向盤的區(qū)域中的圖像數(shù)據(jù)。對所采集的圖像數(shù)據(jù)進行分析以判定駕駛員的手相對于轉(zhuǎn)向盤的位置，更特別地但非排他地，以判定駕駛員的兩只手是否離開了轉(zhuǎn)向盤或者駕駛員的兩只手是否沒有離開轉(zhuǎn)向盤。當做出駕駛員的兩只手離開了轉(zhuǎn)向盤的判定時，激活系統(tǒng)自動地觸發(fā)半自主或自主控制系統(tǒng)，以在沒有來自駕駛員的另外的輸入(手動激活)的情況下對轉(zhuǎn)向(并且可選地，其他功能如車輛速度和車間時距)進行控制。相反地，駕駛員可以使用激活系統(tǒng)來停用半自主或自主控制系統(tǒng)。
[0045]當做出駕駛員的兩只手沒有離開轉(zhuǎn)向盤(S卩，駕駛員的手中至少一者在轉(zhuǎn)向盤上)的判定時，停用半自主或自主控制系統(tǒng)并且車輛的控制返回至“手動模式”。
[0046]激活系統(tǒng)可以用于除了車輛以外的應用中。
[0047]如本文中所使用的，術(shù)語“半自主系統(tǒng)”和“自主系統(tǒng)”用來指代用于車輛和機動車輛的控制系統(tǒng)，特別用于(自動地)管理車輛(機動車輛)的轉(zhuǎn)向的控制系統(tǒng)。這樣的系統(tǒng)可以向車輛的電動助力轉(zhuǎn)向系統(tǒng)(EPAS)發(fā)出命令信號，或者在替代布置中，自主和半自主系統(tǒng)可以以其他方式與車輛的轉(zhuǎn)向機構(gòu)相關(guān)聯(lián)，使得自主和半自主系統(tǒng)可以對車輛的轉(zhuǎn)向方向做出調(diào)整?？蛇x地，術(shù)語“半自主系統(tǒng)”和“自主系統(tǒng)”用于指代修改、管理或以其他方式控制車輛相對于在車輛正在上面行駛的表面例如道路上表示“車道”的邊界的白線上設(shè)置的一個或更多個特征件的位置的系統(tǒng)。
[0048]如本文中所使用的，術(shù)語“手動模式”用于指代以下模式:駕駛員使至少一只手在轉(zhuǎn)向盤上并且從而沒有使兩只手都離開轉(zhuǎn)向盤。在手動模式下，半自主系統(tǒng)或自主系統(tǒng)不受轉(zhuǎn)向控制并且處于停用狀態(tài)。
[0049]在本申請的范圍內(nèi)，明顯地旨在:可以獨立地采用或者以任意組合采用在前面的段落、權(quán)利要求書和/或下面的說明書及附圖中闡述的各個方面、實施方式、示例和替代以及尤其所述各個方面、實施方式、示例和替代的各個特征。即，除非這樣的特征是不相容的，否則可以以任意方式和/或組合對所有實施方式和/或任意實施方式的特征進行組合。本
【申請人】保留了依據(jù)任何新的權(quán)利要求對任何原始提交的權(quán)利要求或文件進行修改的權(quán)利，包括對任何原始提交的權(quán)利要求進行修正以取決于和/或包括雖然并未以那種方式原始要求保護的任意其他權(quán)利要求的任意特征的權(quán)利。
【附圖說明】
[0050]現(xiàn)在將參照附圖僅借助于示例來描述本發(fā)明的一個或更多個實施方式，在附圖中:
[0051 ]圖1是包括根據(jù)本發(fā)明實施方式的激活系統(tǒng)的車輛的示意圖；
[0052]圖2是由圖1的激活系統(tǒng)的至少一個成像裝置獲得的第一圖像數(shù)據(jù)集的圖示；
[0053]圖3是由圖1的激活系統(tǒng)的控制模塊執(zhí)行的第一算法的示意圖，所述控制模塊輸出關(guān)于車輛的駕駛員(是否)正在操作車輛的轉(zhuǎn)向裝置的判定；
[0054]圖4是通過使用圖3中示意性表示的算法對第一圖像數(shù)據(jù)集(圖2中圖示的)進行操作而獲得的第一修改數(shù)據(jù)集的圖示；
[0055]圖5是通過使用圖3中示意性表示的算法對圖4中圖示的第一修改數(shù)據(jù)集進行操作而獲得的第二修改數(shù)據(jù)集的圖示；
[0056]圖6是通過使用圖3中示意性表示的算法對圖5中圖示的第二修改數(shù)據(jù)集進行操作而獲得的第三修改數(shù)據(jù)集的圖示；以及
[0057]圖7是由圖1的激活系統(tǒng)的控制模塊執(zhí)行的決策算法的圖示，提供所述決策算法用于判定:響應于圖3中的算法的輸出，是否應當自動激活車輛的半自主或自主系統(tǒng)(未示出)。
【具體實施方式】
[0058]在本文中公開了對本發(fā)明的激活系統(tǒng)、系統(tǒng)、方法、程序和車輛的【具體實施方式】的詳細描述。應當理解，所公開的實施方式僅僅是可以實施本發(fā)明的某些方面的方式的示例，并且不表示可以實現(xiàn)本發(fā)明的所有方式的詳盡列舉。當然，應當理解，可以以各種形式和替代形式實現(xiàn)本文中描述的激活系統(tǒng)、系統(tǒng)、方法、程序和車輛。圖不一定按比例繪制并且一些特征件可能放大或縮小以顯示特定部件的細節(jié)。不一定對公知的部件、材料或方法進行詳細地描述以避免使本公開內(nèi)容含糊不清。本文中所公開的任何特定結(jié)構(gòu)和功能細節(jié)不應當視為是限制性的，而應當視為僅作為權(quán)利要求的基礎(chǔ)并且作為教導本領(lǐng)域技術(shù)人員以各種不同的方式使用本發(fā)明的表示性基礎(chǔ)。
[0059]在圖1中，示出了包括激活系統(tǒng)90的車輛10，激活系統(tǒng)90用于自動觸發(fā)車輛10的半自主或自主轉(zhuǎn)向控制系統(tǒng)(未示出)?？蛇x地，自主或半自主控制系統(tǒng)可以是轉(zhuǎn)向控制系統(tǒng)或另外的控制系統(tǒng)，所述轉(zhuǎn)向控制系統(tǒng)或另外的控制系統(tǒng)構(gòu)造成和/或設(shè)置成響應于激活系統(tǒng)90對其的激活而對下面的車輛可控參數(shù)中的至少一者進行控制:車輛轉(zhuǎn)向(例如，使車輛保持在由白線限定的車道中)、車輛速度(例如，使車輛或系統(tǒng)采用或保持所選擇的巡航控制速度)、車間時距(例如，保持用戶選擇的或系統(tǒng)選擇的受控車輛與該受控車輛的路線中的緊前方車輛之間的時間差)、跟車距離(例如，使受控車輛與該受控車輛的路線中的緊前方車輛之間以米為單位保持間隔)、加速度、減速度以及相對于其他車輛的空間定位。
[0060]激活系統(tǒng)90構(gòu)造成和/或設(shè)置成不斷地監(jiān)測和評估車輛10的駕駛員(圖1中未示出)是否正在手動地控制車輛10的轉(zhuǎn)向。激活系統(tǒng)90做出關(guān)于車輛10的駕駛員(是否)正在操作車輛的轉(zhuǎn)向裝置20的判定;并且響應于該判定(并且可選地，連同對一個或更多個其他車輛參數(shù)的評估)，激活系統(tǒng)90輸出命令信號以觸發(fā)車輛10的半自主或自主轉(zhuǎn)向控制系統(tǒng)的自動激活(或停用)。
[0061]圖1所示的實施方式中的激活系統(tǒng)90包括與控制模塊50聯(lián)接的至少一個成像裝置
12。本實施方式中的至少一個成像裝置12包括單個近紅外(NIR)攝像機12?？蛇x地，至少一個成像裝置12安裝至車輛10的車頂22或結(jié)合在車輛10的車頂22內(nèi)，并且全部地布置在車輛10內(nèi)部。線束(未示出)可以將至少一個成像裝置12聯(lián)接至控制模塊50，并且可選地聯(lián)接至附加電源(未示出)。
[0062]為了便于顯示激活系統(tǒng)90，圖1所示的車輛10示出為移除了前乘客門和其他內(nèi)部特征件(如座位)。車輛10包括駕駛員可操作轉(zhuǎn)向裝置20，在此所示的實施方式中，駕駛員可操作轉(zhuǎn)向裝置20采用了轉(zhuǎn)向盤20的形式。轉(zhuǎn)向盤20安裝至內(nèi)部結(jié)構(gòu)16，并且布置在車輛10的駕駛室14內(nèi)并且在將坐在駕駛員座位(未示出)上的駕駛員(未示出)可達到的范圍內(nèi)。
[0063]應當理解，在車輛10具有右座駕駛的情境下描述并示出了本實施方式。在其他實施方式中，設(shè)想激活系統(tǒng)90的部件的其他相對位置和絕對位置以及駕駛員可操作轉(zhuǎn)向裝置20的其他相對位置和絕對位置用于在例如具有左座駕駛的車輛、將轉(zhuǎn)向盤布置在中央的車輛、或者具有給駕駛員的單個座位的車輛中應用。
[0064]在圖1中可以看到，在本布置中，至少一個成像裝置12結(jié)合在車輛10中，使得至少一個成像裝置12的視場(FOV) 18包含駕駛員可操作轉(zhuǎn)向裝置20的至少實質(zhì)部分(即便不是所有部分)。因此，視場18定位成并且設(shè)置成:獲取轉(zhuǎn)向裝置20的圖像數(shù)據(jù)，并且當駕駛員的手出現(xiàn)時獲取駕駛員的手的圖像數(shù)據(jù)。
[0065]至少一個成像裝置12的視場18可以附加地包含車輛10的其他部分，例如，內(nèi)部結(jié)構(gòu)16的部分以及前擋風玻璃24的一部分和通過前擋風玻璃24的視野內(nèi)的對象。在本文中將這些對象統(tǒng)稱為“被攝體”。當激活系統(tǒng)90在使用中并且車輛10的駕駛員位于轉(zhuǎn)向裝置20的可達范圍內(nèi)以對轉(zhuǎn)向裝置20進行操作時，至少一個成像裝置12的視場18可以附加地包含駕駛員的部分。為了便于圖示激活系統(tǒng)90，在圖1中未示出駕駛員。至少一個成像裝置12對FOV18(參見圖2)中的被攝體進行成像并且生成包括數(shù)據(jù)元素的序列的第一圖像數(shù)據(jù)集。
[0066]在本實施方式中，至少一個成像裝置12采集表示FOV18內(nèi)的被攝體的二維數(shù)字圖像65的第一圖像數(shù)據(jù)集33。還將該數(shù)字圖像65稱為FOV 18內(nèi)的被攝體的“原始圖像65”并且在圖2中示出了該數(shù)字圖像65。原始圖像65的被攝體包括轉(zhuǎn)向裝置20的實質(zhì)部分、前擋風玻璃24的一部分、內(nèi)部結(jié)構(gòu)16的一部分以及駕駛員的部分。特別地，包括在圖2的示意性原始圖像65中的駕駛員的部分包括:駕駛員的左臂“LA”的一部分、駕駛員的左手“LH”的一部分、駕駛員的左手“LH”的手指“LF”的部分、駕駛員的右手“RH”的一部分以及駕駛員的右手“RH”的手指“RF”的部分。在圖2的原始圖像65中不能看見駕駛員的左手“LH”和右手“RH”中的所有部分一一包括每只手的四個手指和拇指，原因是駕駛員的手正在轉(zhuǎn)向盤20的每一側(cè)上握著轉(zhuǎn)向盤20?？梢詫⑷缭紙D像65中所示的駕駛員在正常駕駛位置中采用的姿態(tài)稱為“緊握姿態(tài)”。
[0067]激活系統(tǒng)90重復地并且可選地連續(xù)地更新第一圖像數(shù)據(jù)集33，確保以這種方式重復地并且可選地不斷地監(jiān)測轉(zhuǎn)向盤20以及駕駛員的手相對于轉(zhuǎn)向盤20的位置。表示“原始圖像65”的第一圖像數(shù)據(jù)集33可選地借助于連接3傳送(重復地并且可選地不斷地)至控制模塊50。應當理解，連接3可以是數(shù)據(jù)網(wǎng)絡(luò)連接;可以是有線的或無線的；并且適合于發(fā)送電數(shù)據(jù)信號。可選地，本文中提到的所有數(shù)據(jù)通信可以通過在部件與控制器之間直接使用車輛CAN(控制器局域網(wǎng))、LIN(本地互聯(lián)網(wǎng)絡(luò))而發(fā)生，或者通過可以包括有線的、或無線的、或者有線與無線相組合的連接的任何其他合適的裝置而發(fā)生。
[0068]可選地，第一圖像數(shù)據(jù)集33是數(shù)字數(shù)據(jù)集(或流)，數(shù)字數(shù)據(jù)集(或流)可選地包括組織成行列的數(shù)據(jù)元素的序列，數(shù)字數(shù)據(jù)集(或流)表示由至少一個成像裝置12進行成像的被攝體的原始圖像65的像素。
[0069]可選地，控制模塊50結(jié)合有圖像處理引擎52或者與圖像處理引擎52適當?shù)叵嚓P(guān)聯(lián)。圖像處理引擎52可以包括一個或更多個處理器，一個或更多個處理器具有與其相關(guān)聯(lián)的至少一個存儲器并且具有能夠在其上執(zhí)行以對第一圖像數(shù)據(jù)集33進行處理的至少一個算法80。
[0070]圖3中示出了由圖像處理引擎52執(zhí)行的算法80的示例性、非限制性實施方式。通過通信鏈路3傳輸?shù)牡谝粓D像數(shù)據(jù)集33輸入至算法80中。
[0071]在算法80的第一步驟82中，表示原始圖像65的第一圖像數(shù)據(jù)集33由控制模塊50接收并且至少暫時地被存儲以供圖像處理引擎52使用。
[0072]在第二步驟84中，對第一圖像數(shù)據(jù)集33進行操作，以從原始圖像65有效地“提取”背景圖像并且創(chuàng)建第一修改數(shù)據(jù)集35。背景圖像數(shù)據(jù)集表征當沒有駕駛員出現(xiàn)在視場18內(nèi)時采集的背景圖像。背景圖像數(shù)據(jù)集包括數(shù)據(jù)元素的序列，每個數(shù)據(jù)元素均表示背景圖像的像素。
[0073]通過以下方式來創(chuàng)建第一修改數(shù)據(jù)集35:將第一圖像數(shù)據(jù)集33的數(shù)據(jù)元素與背景圖像數(shù)據(jù)集的對應的數(shù)據(jù)元素進行比較，以及用第一修改數(shù)據(jù)集35中的表示暗色像素和/或黑色像素的數(shù)據(jù)元素來表征匹配數(shù)據(jù)元素。在第一修改數(shù)據(jù)集35中，用表示明亮像素和/或白色像素的數(shù)據(jù)元素來表示第一圖像數(shù)據(jù)集33中的具有與背景數(shù)據(jù)集中的對應數(shù)據(jù)元素不同的特性的數(shù)據(jù)元素。
[0074]以這樣的方式，用基于第一修改數(shù)據(jù)集的數(shù)字圖像67中的暗色像素和/或黑色像素來表示原始圖像65中的與背景圖像中的對應像素相同的像素；以及，用數(shù)字圖像67中的明亮像素和/或白色像素來表示原始圖像65中的與背景圖像中的對應像素相比具有不同特性的像素。在圖4中，圖示了由第一修改數(shù)據(jù)集35表示的黑白數(shù)字圖像67。
[0075]圖像處理引擎52自身并不輸出基于第一圖像數(shù)據(jù)集33或第一修改數(shù)據(jù)集35的FOV18的圖像或者數(shù)字圖像65、67(激活系統(tǒng)90亦非如此)。然而，在圖2和圖4至圖6中示出了由通過至少分別在成像裝置12和圖像處理引擎52上創(chuàng)建的第一圖像數(shù)據(jù)集33、第一修改數(shù)據(jù)集35、第二修改數(shù)據(jù)集37和第三修改數(shù)據(jù)集39表示的數(shù)字圖像65、67、69、71。這按順序給讀者示出了本發(fā)明的本實施方式并且示出了圖像處理引擎52如何處理和分析第一圖像數(shù)據(jù)集33。
[0076]在本實施方式中，即使當駕駛員不出現(xiàn)時，正如至少一個成像裝置12正常使用中一樣，至少一個成像裝置12用于通過使至少一個成像裝置12的視場18指向轉(zhuǎn)向裝置20來采集背景圖像數(shù)據(jù)集。背景圖像中包括的特征件通常是靜止的。例如，轉(zhuǎn)向裝置20的內(nèi)部結(jié)構(gòu)
16、輪廓形狀、一般位置和大小以及前擋風玻璃24的相對位置和大小不會趨向于隨著時間而運動(即使可以提供對轉(zhuǎn)向裝置20的位置的一些調(diào)整一一參見下文)。在判定駕駛員是否使兩只手在轉(zhuǎn)向裝置20上并且當前在手動模式下使用轉(zhuǎn)向裝置20正使車輛10轉(zhuǎn)向中，本公開內(nèi)容的算法80有利地利用了可以一致地復制背景圖像的事實。由于由位于相同的(或非常相似的)位置(即，可選地安裝在車頂22內(nèi))的相同或相似的成像裝置12采集原始圖像數(shù)據(jù)和背景數(shù)據(jù)兩者，因此用于表征背景圖像的背景數(shù)據(jù)集和第一圖像數(shù)據(jù)集33的分辨率(數(shù)據(jù)元素的數(shù)量)是相同的。經(jīng)歷了執(zhí)行其他數(shù)據(jù)處理操作(例如，對所發(fā)送的第一圖像數(shù)據(jù)集解壓縮)，可以相對快地進行從第一圖像數(shù)據(jù)集“提取”背景數(shù)據(jù)集。
[0077]可以將背景圖像數(shù)據(jù)集存儲在與圖像處理引擎52相關(guān)聯(lián)的存儲器中，并且每當對算法80進行重復并且對新的且當前的第一圖像數(shù)據(jù)集33進行處理時可以參照背景圖像數(shù)據(jù)集。各種數(shù)據(jù)處理技術(shù)適用于從第一圖像數(shù)據(jù)集33提取可校正的背景數(shù)據(jù)集。
[0078]在算法80的可選的第三步驟86中，第一修改數(shù)據(jù)集35經(jīng)歷了“分割”并且然后創(chuàng)建了第二修改數(shù)據(jù)集37。在分割步驟中，根據(jù)與其相關(guān)聯(lián)的亮度特性來分類或操作第一修改數(shù)據(jù)集中的數(shù)據(jù)元素?？蛇x地，可以使用一個或更多個亮度閾值。在本設(shè)置中，使用單個亮度閾值，并且亮度特性在該閾值以下的數(shù)據(jù)元素使它們的亮度水平更進一步下降；可選地，亮度特性在該閾值以上的數(shù)據(jù)元素使它們的亮度水平升高。替代性地，可以使用兩個閾值，其中，亮度特性在第一閾值以下的數(shù)據(jù)元素使它們的亮度水平下降；亮度特性在第二閾值以上的數(shù)據(jù)元素使它們的亮度水平升高；以及，可以不改變亮度特性在第一閾值與第二閾值之間的數(shù)據(jù)元素。優(yōu)選地，使用單個閾值以提供暗區(qū)域與亮區(qū)域之間的較大差別。
[0079]這是有益的，原因是皮膚可以反射NIR攝像機12發(fā)出的近紅外輻射，并且在通過使兩個較亮和/或較白區(qū)域或形狀突出來自動識別駕駛員的左手和右手的位置中，該步驟可能是有用的。在圖5中，示出了第二修改數(shù)據(jù)集37的圖示69。
[0080]在算法80的可選的第四步驟88中，第二修改數(shù)據(jù)集37經(jīng)歷了 “連接的部件標記”，而且創(chuàng)建并輸出第三修改數(shù)據(jù)集39 ο在第四步驟88中，通過將數(shù)字圖像69中的由第二修改數(shù)據(jù)集37中的數(shù)據(jù)元素表示的不調(diào)和像素與所述不調(diào)和像素周圍的像素進行混合來進行進一步的增強，以使駕駛員的手和/或臂更加可識別(如果它們出現(xiàn))。
[0081 ]例如，考慮圖5所示的數(shù)字圖像69 ο對數(shù)字圖像69內(nèi)的相對孤立和/或與它們周圍的像素相對不同的像素進行修改，使得這些像素與它們周圍的像素更相似。在圖5中，由Wl表示的區(qū)域包括大密度的暗色像素和黑色像素、非常小的密度的白像素。第四步驟88處的算法80構(gòu)造成和/或設(shè)置成:數(shù)學上識別對第二修改數(shù)據(jù)集37內(nèi)的表示暗像素和黑像素的密集區(qū)域內(nèi)孤立的白像素的數(shù)據(jù)元素；以及，改變或修改那些數(shù)據(jù)元素、或者以其他方式創(chuàng)建第三修改數(shù)據(jù)集39中的對應的數(shù)據(jù)元素，在第三修改數(shù)據(jù)集39中，與不調(diào)和像素相對應的數(shù)據(jù)元素表示它們周圍的較大數(shù)量的暗像素和黑色像素、或者更緊密地匹配它們周圍的較大數(shù)量的暗像素和黑像素。圖6中的71圖示了第三數(shù)據(jù)集39，其中，同一區(qū)域“W1”被突出?？梢钥吹?，來自數(shù)字圖像69(由第二修改數(shù)據(jù)集37表示)的許多白像素已經(jīng)改變?yōu)榘迪袼?。任何剩余白像素在白像素的組中。
[0082]可以通過(數(shù)學上)將彼此靠近并且由相對小的黑色區(qū)域分開的一個或更多個白色區(qū)域“結(jié)合”或混合在一起來執(zhí)行“連接的部件標記”的步驟。類似地，可以通過(數(shù)學上)將彼此靠近并且由相對小的白色區(qū)域分開的一個或更多個黑色區(qū)域“結(jié)合”或混合在一起來執(zhí)行“連接的部件標記”的步驟。在本實施方式中，如果黑色區(qū)域由較大的白色區(qū)域包圍，則將該黑色區(qū)域變成白色。由此產(chǎn)生的第三修改數(shù)據(jù)集39進一步增強駕駛員的手相對于轉(zhuǎn)向裝置20的出現(xiàn)、形狀和位置。
[0083]在另外的步驟90中，算法80構(gòu)造成判定在FOV 18內(nèi)是否能夠識別兩只手。在一種實施方式中，這通過(數(shù)學上)判定在F0V18內(nèi)存在兩個相對大并且相對亮的區(qū)域來實現(xiàn)。如果出現(xiàn)了兩個這樣的區(qū)域(如在圖6中)，則可以做出以下判定:駕駛員沒有使兩只手離開轉(zhuǎn)向盤一一駕駛員正在操作轉(zhuǎn)向裝置20并且車輛10在“手動模式”下。
[0084]在另一實施方式中，進一步考慮“大的明亮區(qū)域和白色區(qū)域”的相對位置和/或姿態(tài)，以甚至更有把握地判定駕駛員是否使兩只手在轉(zhuǎn)向裝置上并且正在操作轉(zhuǎn)向裝置20。以下情況是可能的:在FOV 18的經(jīng)處理并且經(jīng)修改的圖像內(nèi)能夠識別兩個大的明亮區(qū)域和白色區(qū)域，但是事實上駕駛員并沒有緊握轉(zhuǎn)向裝置20并且并沒有正在使用轉(zhuǎn)向裝置20。可選地，此“姿態(tài)估計”步驟可以包括姿態(tài)估計算法的使用，在姿態(tài)估計算法中，考慮并分析大的明亮區(qū)域的形狀?？蛇x地，可以將所識別的形狀與一個或更多個基準形狀進行比較。比較的目的可能是識別駕駛員的手指的期望區(qū)域中表示手指正“緊握”或“沒有緊握”的(輪廓)形狀。期望通過使用激活系統(tǒng)90故意觸發(fā)半自主或自主駕駛模式的激活的駕駛員將做出清楚并故意的姿勢以使他的兩只手離開轉(zhuǎn)向盤。
[0085]在一些實施方式中，在做出駕駛員不再操作轉(zhuǎn)向裝置20(S卩，他的手“離開”了轉(zhuǎn)向盤20)的判定之前，控制模塊50進一步執(zhí)行檢查步驟并且考慮一個或更多個其他車輛參數(shù)，所述一個或更多個其他車輛參數(shù)可選地可以包括:駕駛員座位安全帶是否在使用中；與駕駛員的座位相關(guān)聯(lián)的壓力傳感器是否正發(fā)出指示駕駛員正坐在駕駛員座位上的信號；和/或，面向駕駛員的攝像機系統(tǒng)一一可選地基于駕駛員的眼睛的眼睛睜開水平一一已經(jīng)判定駕駛員是否清醒，并且是否故意執(zhí)行移動他的手離開轉(zhuǎn)向裝置20的姿勢。以此方式，如果判定駕駛員出現(xiàn)在駕駛員座位上并且駕駛員的兩只手不在FOV 18內(nèi)而且并沒有正在操作轉(zhuǎn)向裝置20，才執(zhí)行自主或半自主控制系統(tǒng)的自動激活。換言之，響應于駕駛員做出故意的姿勢，才執(zhí)行自主或半自主控制系統(tǒng)的自動激活。這提供了非常簡單的機理，駕駛員通過該機理可以故意地啟用車輛10的自主或半自主控制系統(tǒng)。除了駕駛員不得不按下按鈕以選擇車輛10的自主或半自主控制以外，本發(fā)明為駕駛員提供了只從轉(zhuǎn)向盤20移開他的兩只手以使手動駕駛模式停止并且調(diào)用自主或半自主駕駛模式。
[0086]在本設(shè)置中，當激活系統(tǒng)90判定駕駛員的手是在轉(zhuǎn)向盤20“上”還是“離開”了轉(zhuǎn)向盤20時，執(zhí)行后續(xù)算法以判定是否應當進行自主或半自主控制系統(tǒng)的自動激活。在圖7中，示意性示出了決策算法60。決策算法60由激活系統(tǒng)90的控制模塊50來執(zhí)行，并且設(shè)置成用于:響應于算法80 (圖3)的輸出，判定是否應當自動激活車輛10(未示出)的半自主或自主系統(tǒng)。
[0087]根據(jù)車輛10及其各種控制系統(tǒng)構(gòu)造的方式，“手動模式”控制信號在車輛10內(nèi)的數(shù)據(jù)網(wǎng)絡(luò)(如控制器局域網(wǎng)(CAN))上是可用的。車輛10的一個或更多個系統(tǒng)可以使用“手動模式”控制信號來判定例如它們是激活的還是未激活的，或者例如來判定它們應該如何操作。同樣地，在本發(fā)明的實施方式中，作為表示手動模式駕駛
[0088]“關(guān)閉”的“手動模式”控制信號的直接結(jié)果，可以導致半自主或自主駕駛系統(tǒng)的“激活”。
[0089]當運行算法60時，第一步驟42詢問:
[0090]步驟42:駕駛員的兩只手離開了轉(zhuǎn)向裝置20?！罢妗边€是“假”？
[0091]通過對由圖像處理引擎52執(zhí)行并且設(shè)置為算法60的輸入的處理算法80，來判定對該問題的“真”或“假”的回答。
[0092]如果步驟42處的回答為“真”(駕駛員的兩只手離開了轉(zhuǎn)向裝置20并且駕駛員沒有正在操作轉(zhuǎn)向裝置20)，則—步驟44(參見下面)；
[0093]如果步驟42處的回答為“假”(駕駛員的至少一只手在轉(zhuǎn)向盤上)，則—步驟48(參見下面)；
[0094]步驟44:手動模式開啟，“真”還是“假” ?
[0095]該步驟設(shè)置成檢查當駕駛員的手被識別為在轉(zhuǎn)向盤20上時，半自主或自主系統(tǒng)是未激活的——即，車輛10響應于駕駛員操作轉(zhuǎn)向盤20。
[0096]如果步驟44處的回答為“真”，則—返回至步驟42以繼續(xù)監(jiān)測駕駛員的手；
[0097]如果步驟44處的回答為“假”，則—轉(zhuǎn)到步驟46;
[0098]步驟46:激活或啟用手動駕駛模式并且返回至步驟42以繼續(xù)監(jiān)測FOV 18，從而監(jiān)測駕駛員的手相對于轉(zhuǎn)向盤20的位置。
[0099]步驟48:手動模式開啟，“真”還是“假” ?
[0100]該步驟設(shè)置成檢查:當駕駛員的手被識別為離開了轉(zhuǎn)向盤20時，半自主或自主系統(tǒng)是否已經(jīng)是激活的。
[0101]如果該步驟處的回答為“假”并且半自主或自主系統(tǒng)當前是激活的，則4返回至步驟42以繼續(xù)監(jiān)測駕駛員的手(以當駕駛員的至少一只手返回至轉(zhuǎn)向盤20時，在適合停用半自主或自主駕駛的時候，可以隨后停用半自主或自主駕駛);
[0102]如果答案為“真”，則—轉(zhuǎn)到步驟49;
[0103]步驟49:激活或啟用半自主或自主系統(tǒng)(換言之，停用或禁用“手動駕駛模式”)并且返回至步驟42以繼續(xù)監(jiān)測FOV 18，從而監(jiān)測駕駛員的手相對于轉(zhuǎn)向盤20的位置。
[0104]算法60連續(xù)地重復并且可選地以與采集第一圖像數(shù)據(jù)集33相同的速率連續(xù)地重復。為半自主或自主駕駛模式的自動激活和停用提供了對圖像數(shù)據(jù)的連續(xù)或頻繁采集、使用算法80以及決策算法60對圖像數(shù)據(jù)的處理和分析。
[0105]應當理解，在本發(fā)明的范圍內(nèi)，可以做出各種變化，例如，在本發(fā)明的其他實施方式中，設(shè)想使用不止一個成像裝置，所述不止一個成像裝置是彼此相同類型或不同類型的成像裝置。在其他實施方式中，至少一個成像裝置12不包括紅外線攝像機12。設(shè)想可以使用其他合適的成像裝置，并且在其他實施方式中，可以使用不同類型的成像裝置的組合。這樣，至少一個成像裝置12可以包括選自以下的一個或更多個成像裝置或者選自以下的成像裝置的組合:立體攝像機、飛行時間攝像機、熱成像攝像機、紅綠藍RGB(即，彩色)攝像機、黑白攝像機、立體攝像機以及任何其他合適的攝像機。
[0106]一些實施方式中，至少一個成像裝置可以適用于用于采集3D(三維)圖像。至少一個成像裝置可以以模擬或數(shù)字格式采集圖像數(shù)據(jù)。然而，在能夠?qū)D像數(shù)據(jù)進行處理和分析之前，優(yōu)選地，將任意模擬信號轉(zhuǎn)變成數(shù)字數(shù)據(jù)流。
[0107]在一些實施方式中，至少一個成像裝置位于相比所示的車頂位置而言的替代位置或附加的位置。例如，一個或更多個附加的成像裝置或替代的成像裝置可以位于:車頂?shù)闹胁慷皇邱{駛員側(cè);車內(nèi)燈的外殼中；結(jié)合在車輛10的后視鏡中和/或B柱中。也可以采用其他位置。
[0108]在本發(fā)明的一些實施方式中，可操作轉(zhuǎn)向裝置不是像這樣的轉(zhuǎn)向“盤”，而不過是由駕駛員以以下這樣的方式操作的裝置:本文中所公開的激活系統(tǒng)可以監(jiān)測轉(zhuǎn)向裝置的圖像數(shù)據(jù)以及駕駛員的出現(xiàn)和/或駕駛員的手相對于轉(zhuǎn)向裝置的位置，以判定駕駛員是否正在操作轉(zhuǎn)向裝置。在一些設(shè)置中，可操作轉(zhuǎn)向裝置可以是控制桿、桿式轉(zhuǎn)向裝置(例如，雙桿式裝置)以及開始被使用的其他轉(zhuǎn)向裝置，或者包括控制桿、杠桿式轉(zhuǎn)向裝置(例如，雙杠桿裝置)以及開始被使用的其他轉(zhuǎn)向裝置。
[0109]在一些實施方式中，至少一個成像裝置12構(gòu)造成采集表示被攝體的三維圖像的第一圖像數(shù)據(jù)。
[0110]在設(shè)想的實施方式中，可以將兩個或更多個背景圖像數(shù)據(jù)集存儲在與控制模塊(和/或圖像處理引擎)相關(guān)聯(lián)的存儲器中。兩個或更多個背景圖像數(shù)據(jù)集與針對駕駛員可操作轉(zhuǎn)向裝置20的不同位置獲取的兩個或更多個背景圖像相對應。在駕駛員可操作轉(zhuǎn)向裝置20是例如轉(zhuǎn)向盤的情況下，應當理解，轉(zhuǎn)向盤20可以具有可調(diào)節(jié)的高度、可調(diào)節(jié)的傾斜角和/或可調(diào)節(jié)的延伸距離(相對于內(nèi)部結(jié)構(gòu)16)。這樣，可以對與不同的轉(zhuǎn)向盤位置有關(guān)的兩個或更多個或者一系列背景圖像進行存儲。當執(zhí)行對第一圖像數(shù)據(jù)集的處理以及將第一圖像數(shù)據(jù)集與背景圖像數(shù)據(jù)集進行比較時，可以根據(jù)與獲取背景圖像處的、轉(zhuǎn)向盤的位置有關(guān)的轉(zhuǎn)向盤位置基準，從存儲器中檢索背景圖像數(shù)據(jù)集。例如，位置基準可以是以下形式的位置:中等高度、中等傾斜位置;或者最大高度、中等傾斜、完全延伸位置。以此方式，使用與轉(zhuǎn)向盤20實際上所處的情形更緊密地相對應的背景圖像數(shù)據(jù)集來執(zhí)行背景圖像“提取”的步驟。
[0111]可選地，在一些實施方式中，激活系統(tǒng)90可以從EPAS系統(tǒng)的控制模塊接收指示駕駛員施加的扭矩的數(shù)據(jù)信號。根據(jù)由駕駛員施加的扭矩的存在和/或大小，激活系統(tǒng)90可以判定駕駛員沒有使兩只手離開轉(zhuǎn)向裝置20。
[0112]下面帶標號的段落包括對本發(fā)明的陳述:
[0113]1.一種用于車輛的激活系統(tǒng)，所述系統(tǒng)包括駕駛員可操作轉(zhuǎn)向裝置和半自主或自主控制系統(tǒng)，所述激活系統(tǒng)包括:
[0114](i)至少一個成像器，其具有包含車輛的駕駛員可操作轉(zhuǎn)向裝置的至少實質(zhì)部分的視場，并且所述至少一個成像器構(gòu)造成和/或設(shè)置成在使用中采集表示所述視場內(nèi)的被攝體的原始圖像的第一圖像數(shù)據(jù)集;以及
[0115](ii)控制模塊，其構(gòu)造成和/或設(shè)置成對所述第一圖像數(shù)據(jù)進行處理，所述控制模塊用于做出關(guān)于駕駛員當前是否正在操作所述駕駛員可操作轉(zhuǎn)向裝置的判定；
[0116]其中，響應于做出所述判定，所述激活系統(tǒng)構(gòu)造成和/或設(shè)置成觸發(fā)半自主或自主控制系統(tǒng)。
[0117]2.根據(jù)段落I所述的激活系統(tǒng)，其中，所述關(guān)于駕駛員當前是否正在操作所述駕駛員可操作轉(zhuǎn)向裝置的判定通過判定所述駕駛員的兩只手是否離開了所述轉(zhuǎn)向裝置或者所述駕駛員的兩只手是否沒有離開所述轉(zhuǎn)向裝置來做出。
[0118]3.根據(jù)段落2所述的激活系統(tǒng)，其中，所述至少一個成像器包括選自以下的攝像機:熱成像攝像機、近紅外攝像機、立體攝像機、飛行時間攝像機、黑白攝像機和RGB攝像機。
[0119]4.根據(jù)段落I所述的激活系統(tǒng)，其中，所述至少一個成像器位于:駕駛員座位上方的區(qū)域中的所述車輛的內(nèi)車頂?shù)牟糠种?；所述?nèi)車頂?shù)牟糠种?；車?nèi)燈的外殼內(nèi)；結(jié)合在所述車輛的后視鏡和/或B柱中。
[0120]5.根據(jù)段落I所述的激活系統(tǒng)，其中，所述駕駛員可操作轉(zhuǎn)向裝置是轉(zhuǎn)向盤。
[0121]6.根據(jù)段落2所述的激活系統(tǒng)，其中，所述控制模塊包括一個或更多個處理器，所述一個或更多個處理器具有與其相關(guān)聯(lián)的至少一個存儲器并且具有能夠在其上執(zhí)行的至少一個算法，所述至少一個算法構(gòu)造成:
[0122](i)接收所述第一圖像數(shù)據(jù)集；
[0123](ii)將所述第一圖像數(shù)據(jù)集與存儲在所述至少一個存儲器中的背景圖像數(shù)據(jù)集進行比較；
[0124](iii)根據(jù)所述第一圖像數(shù)據(jù)集根據(jù)所述背景圖像數(shù)據(jù)集來創(chuàng)建第一修改數(shù)據(jù)集；
[0125](iv)根據(jù)與所述第一修改數(shù)據(jù)集中的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性來創(chuàng)建第二修改數(shù)據(jù)集;以及
[0126](V)通過對所述第二修改數(shù)據(jù)集內(nèi)的不調(diào)和元素進行識別和混合來創(chuàng)建第三修改數(shù)據(jù)集。
[0127]7.根據(jù)段落6所述的激活系統(tǒng)，其中，所述背景圖像數(shù)據(jù)集表征當無駕駛員出現(xiàn)在所述視場內(nèi)時采集的背景圖像，并且其中，所述背景圖像數(shù)據(jù)集包括數(shù)據(jù)元素的序列，每個數(shù)據(jù)元素均表示所述背景圖像的像素。
[0128]8.根據(jù)段落7所述的激活系統(tǒng)，其中，所述第一圖像數(shù)據(jù)集包括數(shù)據(jù)元素的序列，每個數(shù)據(jù)元素均表示所述視場內(nèi)的被攝體的所述原始圖像的像素;并且其中，所述背景圖像數(shù)據(jù)集和所述第一圖像數(shù)據(jù)集包括相同數(shù)量的數(shù)據(jù)元素。
[0129]9.根據(jù)段落8所述的激活系統(tǒng)，其中，所述第一修改數(shù)據(jù)集通過以下方式創(chuàng)建:將所述第一圖像數(shù)據(jù)集的數(shù)據(jù)元素與所述背景圖像數(shù)據(jù)集的對應數(shù)據(jù)元素進行比較;用所述第二圖像數(shù)據(jù)集中的暗色數(shù)據(jù)元素和/或黑色數(shù)據(jù)元素來表征匹配數(shù)據(jù)元素；以及用白色數(shù)據(jù)元素和/或明亮數(shù)據(jù)元素來表征不同數(shù)據(jù)元素。
[0130]10.根據(jù)段落9所述的激活系統(tǒng)，其中，在創(chuàng)建所述第二修改數(shù)據(jù)集中，所述第一修改數(shù)據(jù)集的數(shù)據(jù)元素被分類為在亮度閾值以上或在亮度閾值以下。
[0131]11.根據(jù)段落10所述的激活系統(tǒng)，其中，計算表示所述第二修改數(shù)據(jù)集中的一組數(shù)據(jù)元素內(nèi)的暗像素的數(shù)據(jù)元素的密度，并且根據(jù)所述密度，將所述第二修改數(shù)據(jù)集內(nèi)的不調(diào)和數(shù)據(jù)元素轉(zhuǎn)變成所述第三修改數(shù)據(jù)集中的暗數(shù)據(jù)元素。
[0132]12.根據(jù)段落11所述的激活系統(tǒng)，其中，將由表示白像素的數(shù)據(jù)元素在空間上包圍的、所述第二修改數(shù)據(jù)集內(nèi)的表示暗像素的一個數(shù)據(jù)元素或在空間上相連接的一組數(shù)據(jù)元素轉(zhuǎn)變成所述第三修改數(shù)據(jù)集中的白色數(shù)據(jù)元素。
[0133]13.根據(jù)段落12所述的激活系統(tǒng)，其中，當判定所述第三修改數(shù)據(jù)集包括與兩個顯著大小的白色區(qū)域和/或明亮區(qū)域有關(guān)的數(shù)據(jù)元素時，做出駕駛員的手離開了所述駕駛員可操作轉(zhuǎn)向裝置的否定性判定，和/或其中，當判定所述第三修改數(shù)據(jù)集不包括與兩個顯著大小的白色區(qū)域和/或明亮區(qū)域有關(guān)的數(shù)據(jù)元素時，做出駕駛員的手離開了所述駕駛員可操作轉(zhuǎn)向裝置的肯定性判定。
[0134]14.根據(jù)段落13所述的激活系統(tǒng)，其中，在做出駕駛員的手離開了所述駕駛員可操作轉(zhuǎn)向裝置的肯定性判定之前，對所述兩個顯著大小的白色區(qū)域和/或明亮區(qū)域執(zhí)行姿態(tài)識別算法。
[0135]15.—種包括根據(jù)段落I所述的激活系統(tǒng)的車輛。
[0136]16.根據(jù)段落15所述的車輛，其中，所述激活系統(tǒng)包括自主或半自主控制系統(tǒng)，所述自主或半自主控制系統(tǒng)構(gòu)造成和/或設(shè)置成響應于所述自主或半自主轉(zhuǎn)向控制系統(tǒng)的激活對選自以下項中的至少一者進行控制:車輛轉(zhuǎn)向、車輛速度、車間時距、跟車間距、加速度、減速度以及相對于其他車輛的空間定位。
[0137]17.—種識別手是否出現(xiàn)在圖像內(nèi)的方法，所述方法包括:
[0138](i)接收表示所述圖像的第一圖像數(shù)據(jù)集；
[0139](ii)將第一圖像數(shù)據(jù)集與背景圖像數(shù)據(jù)集進行比較；
[0140](iii)根據(jù)所述第一圖像數(shù)據(jù)集并且根據(jù)所述背景圖像數(shù)據(jù)集來創(chuàng)建第一修改數(shù)據(jù)集；
[0141](iv)根據(jù)與所述第一修改數(shù)據(jù)集中的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性來創(chuàng)建第二修改數(shù)據(jù)集；
[0142](V)通過對所述第二修改數(shù)據(jù)集內(nèi)的不調(diào)和元素進行識別和混合來創(chuàng)建第三修改數(shù)據(jù)集;以及
[0143](vi)根據(jù)與所述第三修改數(shù)據(jù)集內(nèi)的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性來識別所述第三修改數(shù)據(jù)集內(nèi)的數(shù)據(jù)元素，所述第三修改數(shù)據(jù)集中的數(shù)據(jù)元素與兩個顯著大小的區(qū)域有關(guān)。
[0144]18.根據(jù)段落17所述的方法，包括:
[0145](vii)在缺少與兩個顯著大小的區(qū)域有關(guān)的所述第三修改數(shù)據(jù)集內(nèi)的數(shù)據(jù)元素時，做出所述手離開了在所述圖像中出現(xiàn)的轉(zhuǎn)向裝置的判定。
[0146]19.根據(jù)段落17所述的方法，包括:
[0147](viii)在存在與兩個顯著大小的區(qū)域有關(guān)的所述第三修改數(shù)據(jù)集內(nèi)的數(shù)據(jù)元素時，做出所述手位于在所述圖像中出現(xiàn)的轉(zhuǎn)向裝置上的判定。
[0148]20.根據(jù)段落17所述的方法，包括:
[0149](ix)根據(jù)所述第三修改數(shù)據(jù)集內(nèi)的所述兩個顯著大小區(qū)域的相對姿態(tài)和位置中的至少一者，來判定所述手是位于在所述圖像中出現(xiàn)的轉(zhuǎn)向裝置上、還是離開了在所述圖像中出現(xiàn)的轉(zhuǎn)向裝置。
[0150]21.—種由車輛的駕駛員用于激活和停用設(shè)置在所述車輛中的自主或半自主控制系統(tǒng)的方法，所述方法包括:故意移動兩只手離開所述轉(zhuǎn)向裝置以激活所述自主或半自主轉(zhuǎn)向控制系統(tǒng)；以及，故意將一只手或兩只手移動到所述轉(zhuǎn)向裝置上以停用所述自主或半自主轉(zhuǎn)向控制系統(tǒng)。
[0151 ] 22.一種用于計算機的程序，所述程序構(gòu)造成和/或設(shè)置成:當在計算機上運行時，執(zhí)行根據(jù)段落17所述的方法。
【主權(quán)項】
1.一種用于車輛的系統(tǒng)，所述系統(tǒng)包括駕駛員可操作轉(zhuǎn)向裝置和半自主或自主控制系統(tǒng)，所述激活系統(tǒng)包括: (i)至少一個成像裝置，其具有包含所述駕駛員可操作轉(zhuǎn)向裝置的至少一部分的視場，并且所述至少一個成像裝置構(gòu)造成在使用中采集表示所述視場內(nèi)的被攝體的原始圖像的第一圖像數(shù)據(jù)集;以及 (ii)控制模塊，其構(gòu)造成對所述第一圖像數(shù)據(jù)進行處理，所述控制模塊用于做出關(guān)于駕駛員當前是否正在操作所述駕駛員可操作轉(zhuǎn)向裝置的判定； 其中，響應于做出所述判定，所述系統(tǒng)構(gòu)造成觸發(fā)半自主或自主控制系統(tǒng)。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，通過判定所述駕駛員的兩只手是否離開了所述轉(zhuǎn)向裝置、或者所述駕駛員的兩只手是否沒有離開所述轉(zhuǎn)向裝置，做出所述關(guān)于駕駛員當前是否正在操作所述駕駛員可操作轉(zhuǎn)向裝置的判定。3.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其中，所述至少一個成像裝置包括選自以下的攝像機:熱成像攝像機、近紅外攝像機、立體攝像機、飛行時間攝像機、黑白攝像機和RGB攝像機。4.根據(jù)權(quán)利要求1、2或3所述的系統(tǒng)，其中，所述至少一個成像裝置位于:駕駛員座位上方的區(qū)域中的所述車輛的內(nèi)車頂?shù)囊徊糠种?；所述?nèi)車頂?shù)囊徊糠种?；車?nèi)燈的外殼內(nèi)；結(jié)合在所述車輛的后視鏡和/或B柱中。5.根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，所述駕駛員可操作轉(zhuǎn)向裝置是轉(zhuǎn)向盤。6.根據(jù)前述權(quán)利要求中任一項所述的系統(tǒng)，其中，所述控制模塊包括一個或更多個處理器，所述一個或更多個處理器具有與其相關(guān)聯(lián)的至少一個存儲器并且具有能夠在其上執(zhí)行的至少一個算法，所述至少一個算法構(gòu)造成: (i)接收所述第一圖像數(shù)據(jù)集； (ii)將所述第一圖像數(shù)據(jù)集與存儲在所述至少一個存儲器中的背景圖像數(shù)據(jù)集進行比較； (iii)根據(jù)所述第一圖像數(shù)據(jù)集、根據(jù)所述背景圖像數(shù)據(jù)集創(chuàng)建第一修改數(shù)據(jù)集； (iv)根據(jù)與所述第一修改數(shù)據(jù)集中的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性，創(chuàng)建第二修改數(shù)據(jù)集；以及 (V)通過對所述第二修改數(shù)據(jù)集中的不調(diào)和元素進行識別和混合，創(chuàng)建第三修改數(shù)據(jù)集。7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述背景圖像數(shù)據(jù)集表征當無駕駛員出現(xiàn)在所述視場內(nèi)時采集的背景圖像，并且其中，所述背景圖像數(shù)據(jù)集包括每個均表示所述背景圖像的像素的數(shù)據(jù)元素的序列。8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述第一圖像數(shù)據(jù)集包括每個均表示所述視場內(nèi)的被攝體的所述原始圖像的像素的數(shù)據(jù)元素的序列；并且其中，所述背景圖像數(shù)據(jù)集和所述第一圖像數(shù)據(jù)集包括相同數(shù)量的數(shù)據(jù)元素。9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述第一修改數(shù)據(jù)集通過以下方式創(chuàng)建:將所述第一圖像數(shù)據(jù)集的數(shù)據(jù)元素與所述背景圖像數(shù)據(jù)集的對應的數(shù)據(jù)元素進行比較;用所述第二圖像數(shù)據(jù)集中的暗色數(shù)據(jù)元素和/或黑色數(shù)據(jù)元素來表征匹配數(shù)據(jù)元素；以及，用白色數(shù)據(jù)元素和/或明亮數(shù)據(jù)元素來表征不同的數(shù)據(jù)元素。10.根據(jù)權(quán)利要求6至9中任一項所述的系統(tǒng)，其中，在創(chuàng)建所述第二修改數(shù)據(jù)集中，所述第一修改數(shù)據(jù)集的數(shù)據(jù)元素被分類為在亮度閾值以上或在亮度閾值以下。11.根據(jù)權(quán)利要求6至10中任一項所述的系統(tǒng)，其中，計算表示所述第二修改數(shù)據(jù)集中的一組數(shù)據(jù)元素內(nèi)的暗像素的數(shù)據(jù)元素的密度，并且根據(jù)所述密度，將所述第二修改數(shù)據(jù)集內(nèi)的不調(diào)和數(shù)據(jù)元素轉(zhuǎn)變成所述第三修改數(shù)據(jù)集中的暗數(shù)據(jù)元素。12.根據(jù)權(quán)利要求6至11中任一項所述的系統(tǒng)，其中，將由表示白像素的數(shù)據(jù)元素在空間上包圍的、所述第二修改數(shù)據(jù)集內(nèi)的表示暗像素的一個數(shù)據(jù)元素或在空間上相連接的一組數(shù)據(jù)元素轉(zhuǎn)變成所述第三修改數(shù)據(jù)集中的白色數(shù)據(jù)元素。13.根據(jù)權(quán)利要求6至11中任一項所述的系統(tǒng)，其中，當判定所述第三修改數(shù)據(jù)集包括與兩個顯著大小的白色區(qū)域和/或明亮區(qū)域有關(guān)的數(shù)據(jù)元素時，做出駕駛員的手離開了所述駕駛員可操作轉(zhuǎn)向裝置的否定性判定，和/或其中，當判定所述第三修改數(shù)據(jù)集不包括與兩個顯著大小的白色區(qū)域和/或明亮區(qū)域有關(guān)的數(shù)據(jù)元素時，做出駕駛員的手離開了所述駕駛員可操作轉(zhuǎn)向裝置的肯定性判定。14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，在做出駕駛員的手離開了所述駕駛員可操作轉(zhuǎn)向裝置的肯定性判定之前，對所述兩個顯著大小的白色區(qū)域和/或明亮區(qū)域執(zhí)行姿態(tài)識別算法。15.—種包括根據(jù)任一前述權(quán)利要求所述的系統(tǒng)的車輛。16.根據(jù)權(quán)利要求15所述的車輛，其中，所述系統(tǒng)包括自主或半自主控制系統(tǒng)，所述自主或半自主控制系統(tǒng)構(gòu)造成響應于所述自主或半自主轉(zhuǎn)向控制系統(tǒng)的激活對選自以下各項中的至少一者進行控制:車輛轉(zhuǎn)向、車輛速度、車間時距、跟車間距、加速度、減速度以及相對于其他車輛的空間定位。17.一種識別手是否出現(xiàn)在圖像內(nèi)的方法，所述方法包括: (i)接收表示所述圖像的第一圖像數(shù)據(jù)集； (ii)將第一圖像數(shù)據(jù)集與背景圖像數(shù)據(jù)集進行比較； (iii)根據(jù)所述第一圖像數(shù)據(jù)集并且根據(jù)所述背景圖像數(shù)據(jù)集，創(chuàng)建第一修改數(shù)據(jù)集； (iv)根據(jù)與所述第一修改數(shù)據(jù)集中的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性，創(chuàng)建第二修改數(shù)據(jù)集； (V)通過對所述第二修改數(shù)據(jù)集內(nèi)的不調(diào)和元素進行識別和混合，創(chuàng)建第三修改數(shù)據(jù)集；以及 (vi)根據(jù)與所述第三修改數(shù)據(jù)集內(nèi)的數(shù)據(jù)元素相關(guān)聯(lián)的亮度特性，識別所述第三修改數(shù)據(jù)集中的數(shù)據(jù)元素，所述第三修改數(shù)據(jù)集中的數(shù)據(jù)元素與兩個顯著大小的區(qū)域有關(guān)。18.根據(jù)權(quán)利要求17所述的方法，包括: (vii)在缺少與兩個顯著大小的區(qū)域有關(guān)的所述第三修改數(shù)據(jù)集內(nèi)的數(shù)據(jù)元素時，做出所述手離開了出現(xiàn)在所述圖像中的轉(zhuǎn)向裝置的判定。19.根據(jù)權(quán)利要求17或18所述的方法，包括: (viii)在存在與兩個顯著大小的區(qū)域有關(guān)的所述第三修改數(shù)據(jù)集內(nèi)的數(shù)據(jù)元素時，做出所述手位于出現(xiàn)在所述圖像中的轉(zhuǎn)向裝置上的判定。20.根據(jù)權(quán)利要求17至19中任一項所述的方法，包括: (ix)根據(jù)所述第三修改數(shù)據(jù)集內(nèi)的所述兩個顯著大小區(qū)域的相對姿態(tài)和位置中的至少一者，判定所述手是位于出現(xiàn)在所述圖像中的轉(zhuǎn)向裝置上、還是離開了出現(xiàn)在所述圖像中的轉(zhuǎn)向裝置。21.—種由車輛的駕駛員用于激活和停用設(shè)置在所述車輛中的自主或半自主控制系統(tǒng)的方法，所述方法包括:故意移動兩只手離開所述轉(zhuǎn)向裝置以激活所述自主或半自主轉(zhuǎn)向控制系統(tǒng)；以及，故意將一只手或兩只手移動到所述轉(zhuǎn)向裝置上以停用所述自主或半自主轉(zhuǎn)向控制系統(tǒng)。22.一種用于計算機的程序，所述程序構(gòu)造成:當在計算機上運行時，執(zhí)行根據(jù)權(quán)利要求21所述的方法。23.—種基本上如本文中參照附圖和/或如附圖所示所描述的系統(tǒng)、車輛、方法或程序。
【文檔編號】B60W50/00GK106061817SQ201580009319
【公開日】2016年10月26日
【申請日】2015年2月17日
【發(fā)明人】愛德華多·迪亞斯
【申請人】捷豹路虎有限公司