利用指向的信息查詢的制作方法
【專利摘要】使用第一輸入設備導航顯示設備中的對象或項目以檢測用戶手指對對象或項目的指向，以及使用第二輸入設備以接收關于用戶對對象或項目的選擇的指示。手的圖像由第一輸入設備捕獲，并且被處理用于確定顯示設備上的對應于指向手指的指尖位置的位置。對應于指尖位置的對象或項目在第二輸入設備從第二輸入設備接收預定的用戶輸入之后進行選擇。
【專利說明】利用指向的信息查詢
[0001]相關申請的交叉引用
[0002]本公開基于35U.S.C.§ 119(e)要求于2013年3月13日遞交的共同未決美國臨時專利申請N0.61/780，023的優(yōu)先權，其通過引用的方式整體并入于此。

【技術領域】
[0003]本公開涉及通過追蹤用戶指尖的移動來在車輛中進行信息查詢。

【背景技術】
[0004]車輛的駕駛員通常使用開關、屏幕、小鍵盤或通常涉及手指或手其他輸入機制操作車輛中的設備。此類輸入機制可以用于例如操作導航系統(tǒng)、娛樂系統(tǒng)、氣候系統(tǒng)和電話系統(tǒng)。抬頭顯示器(HUD)也被用于呈現(xiàn)與車輛擋風玻璃上的此類系統(tǒng)相關聯(lián)的信息。HUD可以向駕駛員呈現(xiàn)各種類型的有用信息，而不需要用戶將注視點從公路改變到車輛的儀表板或控制臺。
[0005]有時，一系列復雜操作必須在輸入機制上操作以向車輛中的設備發(fā)送期望的命令。此類操作可以使得駕駛員一只手操作車輛的方向盤而使用另一只手操作輸入機制。然而，對于駕駛員更好是保持兩只手均在方向盤上，并且僅短暫時間間隙地用手操作這些輸入設備。取決于操作的復雜程度，在駕駛員可以按需執(zhí)行操作之前可能需要采取多次操作輸入設備的嘗試。
[0006]此外，車輛的速度有時要求來自駕駛員快速輸入。例如，如果駕駛員在高速路上尋找最近的餐館，他可能在通過高速出口之前具有有限的時間用于查詢導航系統(tǒng)。如果查詢和響應沒有在通過出口之前做出，則駕駛員可能要采取對下一出口附近餐館的另一查詢。此類查詢操作經(jīng)常在用戶主動參與車輛操作時進行，從而由于下降的注意力以及手的移動而加重錯誤輸入的可能性。
[0007]由于有限的注意力以及手的移動，駕駛員可能最終提供錯誤的用戶輸入。此類用戶輸入導致不期望的操作，并且浪費在后續(xù)補救行動上花費的時間。


【發(fā)明內(nèi)容】

[0008]各實施例涉及處理覆蓋用戶手的深度圖像以確定指向手指的指尖位置，以及由輸入設備接收選擇信號以執(zhí)行與在顯示設備的對應于指尖位置的位置或區(qū)域處示出的對象或項目相關聯(lián)的操作。被置于車輛中的深度相機捕獲用戶的手并且生成深度圖像。通過處理捕獲的深度圖像來確定指向手指的指尖位置。從輸入設備接收選擇信號，以指示對在顯示設備的對應于指尖位置的位置或區(qū)域處的項目或對象的選擇。在接收到選擇信號之后，執(zhí)行與該項目或對象相關聯(lián)的操作。
[0009]在一個實施例中，指尖的位置通過生成手的骨架結構來確定。該骨架結構包括多個線段，每個線段代表手的不同部分。
[0010]在一個實施例中，輸入設備包括用于從用戶接收口頭命令的麥克風。選擇信號通過對口頭命令執(zhí)行語音識別而生成。
[0011 ] 在一個實施例中，輸入設備包括按鈕或開關，并且選擇信號指示輸入設備被操作。
[0012]在一個實施例中，操作的結果被顯示在顯示設備上。
[0013]在一個實施例中，顯示設備被劃分成多個區(qū)域，其中所述區(qū)域的水平寬度基于區(qū)域的水平位置而不同。
[0014]在一個實施例中，顯示設備是向車輛擋風玻璃投射人造圖形元素的體積式抬頭顯不器(HUD)設備。
[0015]在一個實施例中，顯示設備的對應于指尖位置的位置或區(qū)域通過按照第一映射標識多個虛擬區(qū)域中的被映射至指尖的一個虛擬區(qū)域來確定。
[0016]在一個實施例中，顯示設備對應于指尖位置的位置或區(qū)域進一步通過按照第二映射標識顯示設備的對應于標識的虛擬區(qū)域的位置或區(qū)域來確定。
[0017]在一個實施例中，多個虛擬區(qū)域中的每個虛擬區(qū)域沿半圓的等角部分向平面上的投射進行分段。
[0018]說明書中描述的特征和優(yōu)點并非是無所不包的，并且具體而言，許多附加特征和優(yōu)勢對于本領域普通技術人員在參見附圖、說明書和權利要求書之后將變得容易理解。此夕卜，應當注意，說明書中使用的語言主要是出于可讀性和指導的目的而選擇的，并且不是選擇用于對主體做出劃定或限制。

【專利附圖】

【附圖說明】
[0019]本公開的教導可以通過結合附圖考慮以下詳細說明而變得容易理解。
[0020]圖1A是根據(jù)一個實施例的、配備有圖像捕獲設備和抬頭顯示單元的示例車輛的側視圖。
[0021]圖1B是根據(jù)一個實施例的、圖1A示例車輛的頂視圖。
[0022]圖2是根據(jù)一個實施例的示例性命令處理系統(tǒng)的框圖。
[0023]圖3是根據(jù)一個實施例的、命令處理系統(tǒng)中的示例性圖像處理模塊的框圖。
[0024]圖4是根據(jù)一個實施例的、用于處理用戶命令的示例性方法的流程圖。
[0025]圖5是圖示出根據(jù)一個實施例的、由用戶所見的投射有抬頭顯示器(HUD)圖像的在示例性擋風玻璃上的視圖的示圖。
[0026]圖6是圖示出根據(jù)一個實施例的、基于手指旋轉角的對單元的示例性水平劃分的示圖。
[0027]圖7是圖示出根據(jù)一個實施例的、手指的旋轉角至水平劃分的單元的映射的示圖。
[0028]圖8是圖示出根據(jù)一個實施例的、使用指向設備操作信息查詢系統(tǒng)的示例性命令系統(tǒng)的不圖。

【具體實施方式】
[0029]優(yōu)選實施例現(xiàn)在參考附圖進行描述，其中相似的參考標號指示相同或功能相似的元件。
[0030]說明書中對“一個實施例”或“實施例”的參考意味著結合該實施例描述的特定特征、結合或特性包括在至少一個實施例中。說明書中各處出現(xiàn)的短語“在一個實施例中”不必都指代相同實施例。
[0031]隨后詳細描述的一些部分以計算和計算機存儲器內(nèi)的數(shù)據(jù)比特上的運算的符號表示的形式呈現(xiàn)。這些算法描述和表示是在數(shù)據(jù)處理領域供本領域技術人員使用的含義，以更加有效地將他們工作的實質(zhì)轉達給本領域其他技術人員。在這里，算法通常設想為是導致所期望的結果的步驟(指令)的自洽序列。步驟是那些需要物理量的物理操縱。盡管不是必須的，但是通常這些量采取能夠存儲、傳輸、組合、比較或操作的電、磁或光信號的形式。這在某些時候是方便的，主要是出于共同使用的目的，將這些信號稱為比特、值、元素、符號、字符、術語、數(shù)字等。此外，這在某些時候也是方便的，涉及要求物理量的物理操作作為模塊或代碼設備的步驟的某些布置而不失一般性。
[0032]然而，所有這些和類似的術語是要與合適的物理量相結合、并且僅僅是應用于這些量的方便的標簽。除非特別聲明，否則從下面的討論可知，可以理解在整個說明書中，利用諸如“處理”或“計算”或“運算”或“確定”或“顯示”或“確定”等的術語的討論，指代計算機系統(tǒng)或類似的電子計算設備的動作或過程，所述計算機系統(tǒng)或類似的電子計算設備操作并轉換計算機系統(tǒng)存儲器或寄存器或其他此類信息存儲、傳輸或顯示設備內(nèi)的物理(電子)量表示的數(shù)據(jù)。
[0033]各實施例的某些方面包括這里以算法形式描述的處理步驟和指令。應當注意，處理步驟和指令可以體現(xiàn)在軟件、固件或硬件中，并且當體現(xiàn)在軟件中時，可以被下載以駐留并且通過各種操作系統(tǒng)所使用的不同平臺進行操作。
[0034]各實施例還涉及一種用于執(zhí)行本發(fā)明的操作的裝置。該裝置可以被特別地構造以用于所需目的，或者它可以包括由存儲在計算機中的計算機程序選擇性地激活或重新配置的通用目的的計算機。這樣的計算機程序可以存儲在諸如(但不限于)包括軟盤、光盤、⑶-ROM以及磁盤的任意類型的光盤、只讀存儲器(ROM)、隨機存取存儲器(RAM)、EPR0M、EEPR0M、磁或光卡、專用集成電路(ASIC)，或適合于存儲電子指令的任何類型的介質(zhì)的計算機可讀存儲介質(zhì)中，各個計算機可讀存儲介質(zhì)均耦合到計算機系統(tǒng)總線。此外，說明書中涉及的計算機可以包括單個處理器，或者可以是采用多個處理器設計的架構用于增加計算能力。
[0035]本文呈現(xiàn)的算法和顯示并不內(nèi)在地與任何特定的計算機或其他裝置有關。各種通用目的的系統(tǒng)可以根據(jù)本文的教導與程序一起使用，或者可證明便于構造更專門的裝置以執(zhí)行所需的方法步驟。將從下面的描述中描述針對各種這些系統(tǒng)所需的結構。此外，未參考任何特定的編程語言描述各實施例。將會理解，各種編程語言可以用來實現(xiàn)如本文所描述的教導，并且下面對特定語言的任意參考被提供用于實現(xiàn)和最佳模式的公開。
[0036]另外，說明書中的語言主要是出于可讀性和指導的目的而選擇的，并且不是選擇用于對主題做出劃定或限制。因此，本公開旨在于說明而不是限制下文在權利要求書中闡述的范圍。
[0037]各實施例涉及使用第一輸入設備(例如，相機)導航顯示設備(例如，抬頭顯示設備)中的對象或項目以檢測用戶手指(例如，食指)對對象或項目的指向，以及使用第二輸入設備(例如，麥克風)以接收用戶的關于對對象或項目的選擇的指示。手的圖像由第一輸入設備捕獲，并且被處理用于確定顯示設備上的對應于指向手指的指尖位置的位置。對應于指尖位置的對象或項目在第二輸入設備從第二輸入設備接收預定用戶輸入之后進行選擇。
[0038]如這里所使用的，術語“用戶”包括車輛的駕駛員以及車輛的乘客。用戶可以是嘗試控制車輛中一個或多個設備的任意一人。
[0039]如這里所使用的，“指向手指”是指用于通過指向來指示顯示設備上的位置的用戶的手指。指向手指是拉伸的，而其他手指合攏或抓住對象(例如，方向盤)。指向手指通常是食指，而其他手指也可以用作指向手指。
[0040]配備有指尖檢測機制的車輛的概述
[0041]圖1A和圖1B圖示了根據(jù)一個實施例的、配備有命令處理系統(tǒng)的車輛100。命令處理系統(tǒng)可以包括圖像捕獲設備120和抬頭顯示器(HUD)系統(tǒng)130以及其他組件。命令處理系統(tǒng)可以被連接至車輛100的其他組件(例如，無線通信系統(tǒng))以執(zhí)行各種操作。命令處理系統(tǒng)檢測顯示設備上的用戶的手指所指向的位置或區(qū)域。
[0042]圖像捕獲設備120捕獲用戶的圖像(駕駛員或乘客)，并且將該圖像發(fā)送至圖像處理模塊214用于進一步處理。圖像捕獲設備120被置于面對用戶，并且生成包括至少用戶左右手的用戶的正面圖像。在一個實施例中，圖像捕獲設備120是深度相機，該深度相機檢測其距用戶身體的不同部位的距離。捕獲的圖像可以是灰度圖像，其中較亮的像素指示用戶身體更靠近圖像捕獲設備120的部分，而較暗的像素指示用戶身體或背景材料較遠離圖像捕獲設備120的部分。
[0043]HUD系統(tǒng)130在車輛100的擋風玻璃上投射圖形元素，使得用戶可以查看覆蓋在車輛外部真實對象上的投射圖像。圖形元素例如可以包括:圖標、文本框、廣告、箭頭和線元素。這種圖形元素的某些或全部圖形元素可以由用戶選擇以用于某些操作。
[0044]在一個或多個實施例中，HUD系統(tǒng)130通過向用戶感知為出現(xiàn)在擋風玻璃相對側、車輛外部的實際對象上投射圖形元素來實現(xiàn)增強現(xiàn)實(AR)。圖形元素可以被置于實際對象上或與實際對象混合，使得用戶將圖形元素感知為實際對象的一部分。3D體積式HUD可以用于通過將圖形元素的焦點與真實世界實際對象進行匹配來給出圖形元素與真實世界實際對象更逼真的混合。使用AR在擋風玻璃上示出的圖像的示例下面參考圖5而被詳細描述。
[0045]命令處理系統(tǒng)可以包括圖1A和圖1B中未示出的其他組件。例如，命令處理系統(tǒng)可以包括車輛100的儀表板或其他區(qū)域內(nèi)安裝的計算設備，用于執(zhí)行圖像捕獲設備120捕獲的圖像的其他處理。
[0046]雖然各實施例主要參考使用HUD作為顯示設備進行描述，但是其他實施例可以使用液晶顯示器(LCD)或其他顯示設備。在此類實施例中，命令處理系統(tǒng)可以用于選擇在此類顯示設備中顯示的顯示項目。
[0047]示例命令處理系統(tǒng)
[0048]圖2是圖示了根據(jù)一個實施例的命令處理系統(tǒng)200的框圖。命令處理系統(tǒng)200使得用戶能夠操作并選擇要由車輛執(zhí)行的信息查詢操作。命令處理系統(tǒng)200可以包括圖像捕獲設備210、圖像處理模塊214、輸入設備220、選擇檢測模塊224、信息查詢系統(tǒng)240和HUD系統(tǒng)130以及其他組件。雖然未在圖2中示出，但是命令處理系統(tǒng)200還可以包括其他組件，諸如附加的輸入設備以及用于生成合成話音的揚聲器。
[0049]圖像處理模塊214是用于處理圖像212的硬件、固件、軟件或其組合以檢測用戶指尖的位置216。圖像212可以是深度圖像。圖像處理模塊214通過裁剪圖像212提取圖像212在用戶手周圍的區(qū)域，并且從圖像212生成手的骨架結構。
[0050]輸入設備220是用于使用圖像捕獲以外機制從用戶接收輸入的硬件、固件、軟件或其組合。輸入設備220可以是用于檢測口頭命令的麥克風。備選地，輸入設備220可以是車輛方向盤或者車輛其他容易接近區(qū)域(諸如儀表板)上提供的按鈕或開關。在用戶確定由指尖移動指示的顯示設備的位置或區(qū)域是用戶旨在對其執(zhí)行操作的位置或區(qū)域之后，輸入設備220接收指示操作的選擇的用戶輸入。作為提供用戶輸入的結果，輸入設備220生成傳感器信號222。
[0051]選擇檢測模塊224是接口設備，該接口設備接收傳感器信號222并且生成選擇信號226，該選擇信號226指示由指尖移動指示的顯示設備的位置或區(qū)域是用戶旨在對其執(zhí)行操作的位置或區(qū)域。當麥克風被用作用于檢測口頭命令的輸入設備220時，選擇檢測模塊224可以是語音識別系統(tǒng)的一部分。
[0052]信息查詢系統(tǒng)240是用于基于用戶輸入執(zhí)行各種信息查詢操作的硬件、軟件、固件或其組合。信息查詢系統(tǒng)240包括板載導航系統(tǒng)、娛樂系統(tǒng)、電話操作系統(tǒng)和車輛氣候控制系統(tǒng)以及其他組件。信息查詢系統(tǒng)240可以是用于執(zhí)行此類功能的全部或子集的組合系統(tǒng)。信息查詢系統(tǒng)240還可以向外部系統(tǒng)發(fā)送查詢信息228，以及從外部系統(tǒng)接收回復信息230。
[0053]信息查詢系統(tǒng)240接收用戶指尖的位置216和選擇信號226以執(zhí)行用戶期望的操作。在執(zhí)行由用戶指尖的位置216和選擇信號226指示的操作之后，信息查詢系統(tǒng)240向HUD系統(tǒng)130或其他顯示設備發(fā)送顯示信息244以向用戶呈現(xiàn)相關信息。
[0054]在一個或多個實施例中，輸入設備220和選擇檢測模塊224可以被消除。代之以，手指上的預定動作(例如，快速雙抽動動作)可以被檢測并用于指示對HUD系統(tǒng)130上示出的對象或項目的選擇。
[0055]圖像處理模塊的示例架構
[0056]圖3是圖示了根據(jù)一個實施例的圖像處理模塊214的各組件的框圖。圖像處理模塊216可以包括處理器312、輸入模塊324、輸出模塊326、存儲器340和連接這些組件的總線330以及其他組件。圖像處理模塊216可以是獨立操作的設備或者還執(zhí)行圖像處理之外的操作的更大系統(tǒng)的一部分。
[0057]處理器312是執(zhí)行存儲在存儲器340中的指令的硬件組件。輸入模塊324是用于從圖像捕獲設備210接收圖像212的硬件組件。輸入模塊324可以包括用于臨時存儲一個或多個圖像212的緩沖器。輸出模塊326是用于向信息查詢系統(tǒng)發(fā)送指尖位置216的組件。這些組件可以被體現(xiàn)在單個集成電路(IC)芯片或多個IC芯片中。
[0058]存儲器340是存儲軟件組件的非瞬態(tài)計算機可讀存儲介質(zhì)。存儲器340中存儲的軟件組件可以包括校準模塊342、提取模塊346、骨架模塊350、指尖檢測模塊354和坐標映射模塊358以及其他組件。存儲器340還可以存儲其他模塊，諸如用戶追蹤并存儲用戶的手或指尖的軌跡的追蹤模塊以及用于將圖像212中的噪聲濾除的過濾模塊。
[0059]校準模塊342存儲用于接收并存儲校準圖像處理模塊216的用戶輸入的指令。在一個或多個實施例中，校準通過指示用戶執(zhí)行以下操作來執(zhí)行:(i)將手以舒服的姿勢放置在方向盤上，以及(ii)移動指向手指(例如，食指)至最右、最左、底部和頂部位置同時手掌置于在方向盤上。指尖對應于該四個點的位置繼而被映射至顯示設備(例如，HUD擋風玻璃)的各位置或區(qū)域(即，單元)。指尖的中間位置以及顯示設備中的其他位置或區(qū)域通過插值進行映射。
[0060]提取模塊346存儲用于裁剪圖像212的指令，以提取圖像212的示出用戶手的區(qū)域。用戶的手易于最靠近相機，因此圖像212示出用戶手的區(qū)域可以通過使用圖像的深度信息提取。為了增加提取的準確性，像素集群的移動可以隨時間進行追蹤，例如，使用第7，308，112號美國專利(2007年12月11日公告，以下稱為“ 112專利”)以及第8，351，646號美國專利(2013年I月8日公告，以下稱為“646專利”)中描述的技術，其通過引用將其全部內(nèi)容并入于此。
[0061]骨架模塊350生成經(jīng)提取圖像中的手的骨架結構。可以用于生成骨架結構的許多技術之一在112專利中標題為“骨架生成”章節(jié)中進行了描述。骨架結構包括針對至少指向手指的線段，并且還可以包括針對用戶其他手指的其他線段。
[0062]指尖檢測模塊354基于手的骨架結構確定指尖的位置。用于確定指尖位置的一種方法是使用沿代表指向手指的線段移動的圈來確定指尖的位置。另一方法是使用手最靠近相機的一個或多個像素的位置作為指尖的位置。當指向手指指向相機時，骨架模塊350可以不生成準確代表指向手指的線段，因此手最靠近相機的像素點被選擇為對應于指尖而不需要使用骨架結構。由指尖檢測模塊354確定的指尖的位置被發(fā)送至坐標映射模塊358。
[0063]坐標映射模塊358處理校準模塊342中生成的映射信息以及由指尖檢測模塊354檢測的指尖的位置，以確定顯示設備中的對應于指尖的位置的坐標。在一個實施例中，坐標被轉換為顯示設備中的點或區(qū)域的坐標，這如下文參考圖5而詳細描述。
[0064]使用指尖位置查詢信息的示例方法
[0065]圖4是根據(jù)一個實施例的、用于處理用戶命令的方法的流程圖。首先，針對車輛中的用戶執(zhí)行(420)校準。校準可以包括使用戶將手放置在方向盤上并且使用戶以特定方向指向手指。作為校準的結果，可以建立用戶指尖位置與顯示設備上的點或區(qū)域之間的映射。
[0066]通過檢測用戶指向手指的尖部的位置來確定(430)在顯示設備上的位置。可以通過處理深度圖像來檢測用戶指尖的位置。
[0067]從輸入設備220接收(440)在與用戶指尖的位置對應的位置或區(qū)域處對項目或對象的選擇。對項目或對象的選擇可以比作在臺式或膝上型計算機中的操作，其中在指針被置于項目或對象上之后點擊或雙擊鼠標上的按鈕。
[0068]基于對項目或對象的選擇，由信息查詢系統(tǒng)240執(zhí)行(450)操作。該操作例如可以包括:從板載導航系統(tǒng)或娛樂系統(tǒng)獲取目標項目或對象的信息，從外部源收集遙測數(shù)據(jù)，發(fā)起用于執(zhí)行的應用，接打電話，以及獲取當前駕駛階段的統(tǒng)計(例如，駕駛距離和速度)。操作的結果可以顯示在顯示設備上。
[0069]雖然上述實施例使用從捕獲的圖像生成的骨架來描述用于檢測手指的指向方向，但是也可以使用各種其他機制來檢測指向方向而無需使用骨架。
[0070]顯示設備中的示例單元劃分
[0071]圖5是圖示了根據(jù)一個實施例的、由用戶在投射有HUD圖像的擋風玻璃上看到的視圖800的框圖。視圖800包括擋風玻璃外的真實對象以及由HUD系統(tǒng)130投射到擋風玻璃上的人造圖形元素。在一個實施例中，通過將真實圖像與人造圖形元素混合來實現(xiàn)增強現(xiàn)實(AR)。用戶可以使用指向手指(例如，食指)導航并選擇擋風玻璃中示出的對象或項目。
[0072]由于相比于水平移動、手指的垂直移動的范圍更受限制，因此HUD圖像800可以相比于水平分辨率具有更低的垂直分辨率。在圖5的示例中，垂直分辨率是10個區(qū)域(B卩，單元)而水平分辨率是17個單元。用戶可以移動指向手指以選擇這些單元中的一個單元(例如，單元810)來執(zhí)行某個操作。在圖5的示例中，選擇了單元810。因此,具有單元810中示出的圖像的一部分的建筑物804的信息814顯示在HUD擋風玻璃上。
[0073]此外，相比于右端或左端位置單元在中心位置具有大的尺寸。由于手指在右末端或左末端的受限移動，使得兩端更難于到達，如下文參考圖6詳細描述的那樣。因此，通過使得HUD擋風玻璃中心處的單元覆蓋更大的區(qū)域，用戶可以通過移動手指更直觀地控制單元的選擇。雖然每個單元的垂直高度與圖8中的相同，但是考慮到到達手指移動的頂端和底端的難度，每個單元的高度可以變化。
[0074]在一個或多個實施例中，將單元映射至指尖位置。在這些實施例中，圖像處理模塊214產(chǎn)生對應于指尖當前位置的單元的標識。在操作的其他模式中，圖像處理模塊214可以生成指尖位置中心的坐標。
[0075]在一個實施例中，HUD圖像800上的對應于指尖位置的位置被點亮以有助于用戶正確指向感興趣的對象或項目。
[0076]圖6是圖示了根據(jù)一個實施例的、基于手指的旋轉角對單元的水平劃分的示圖。指向手指具有有限的移動范圍，尤其是在其他手指正握住方向盤時。在圖6的實施例中，為了便于解釋僅示出了 8個單元，但在實踐中，顯示設備的區(qū)域以更高的分辨率分割(例如，水平劃分成30個單元)。
[0077]圖6中HUD圖像的單元水平劃分顯示設備的水平維度，使得每個單元具有對應于(sine ηχ Θ - sine (η-1) θ )的寬度,其中η是從中心單元(中心單元的η為O)開始并且向左端或右端增加的單元序列。換言之，單元在與沿中心切割的半圓的等角部分的投射對應的位置被劃分。當指向手指水平移動時，單元以圖6的方式的劃分使得選擇操作具有更直觀的控制。
[0078]圖5和圖6中所示的顯示設備的區(qū)域的水平劃分僅是說明性的?？梢允褂酶鞣N其他方式來水平分割顯示設備的區(qū)域。例如，顯示設備的區(qū)域可以被分割使得每個單元具有相同的水平寬度。
[0079]圖7是圖示了根據(jù)一個實施例的、手指旋轉角映射至水平劃分單元的映射的示圖。在圖7的實施例中，手指的旋轉角以如上文參考圖6所述的相似方式被映射至具有不同寬度的虛擬欄914之一。具體而言，虛擬欄在與沿中心切割的半圓的等角部分的投射對應的位置被劃分。
[0080]然而，虛擬欄914再次被映射至具有相等的水平間隔的單元的視圖屏幕800。換言之，通過使用雙映射，手指的旋轉被映射至單元，一個從手指到虛擬欄914，然后從虛擬欄到視圖屏幕800的單元。以此方式，手指在最右端和最左端附近的小旋轉造成在視圖屏幕800的左端和右端相對大的水平移動。通過將手指的旋轉雙映射至虛擬欄然后將虛擬欄映射至視圖屏幕800的單元，用戶可以使用手指的旋轉來更直觀地導航并執(zhí)行選擇操作。
[0081]在一個或多個實施例中，命令處理系統(tǒng)200以寫入模式操作，其中指尖的移動被追蹤使得用戶能夠通過移動指向手指來拖拽字母數(shù)字字符或符號。寫入模式通過在輸入設備220處提供特定用戶輸入而開啟。隨指尖的移動追蹤指尖的位置。獲得指尖的軌跡并將其與存儲的圖案集合比較以確定對應于指尖軌跡的字符或符號。為了去除噪聲并使得手指的追蹤更穩(wěn)健，可以使用濾波器(例如，Butterworth濾波器)。
[0082]在一個或多個實施例中,命令處理系統(tǒng)200被用于車輛之外的運輸裝置中。命令處理系統(tǒng)200例如可以在飛機或摩托車中使用。
[0083]在某些實施例中，可以使用指向設備而不是手指來指向車輛100的擋風玻璃上示出的項目或對象。圖8是圖示了根據(jù)一個實施例的、使用指向設備1010來操作信息查詢系統(tǒng)240的命令系統(tǒng)1000的示圖。指向設備1010可以被體現(xiàn)為各種便攜式設備，包括但不限于:鑰匙扣、蜂窩電話、遙控器和筆。指向設備由用戶握持并指向擋風玻璃中示出的特定對象或項目?？梢詫χ赶蛟O備或在其他設備中采取特定動作(例如，按下按鈕)以選擇指向設備1010指向的對象或項目。
[0084]便攜式設備1010可以包括用于感測便攜式設備的指向方向的傳感器1016、用于經(jīng)由有線或無線通信向信息查詢系統(tǒng)240發(fā)送信號1222的通信模塊1018以及其他組件。傳感器1016可以是包括加速器、陀螺儀和磁力計中的一個或多個的慣性傳感器，用于檢測便攜式設備1010的移動和定向。便攜式設備1010可以包括用于從傳感器1016接收傳感器信號的電路1020，并且處理傳感器信號以指示視圖屏幕800的坐標或單元。備選地，傳感器信號可以被發(fā)送至信息查詢系統(tǒng)240用于處理并檢測指向設備1010的指向定向。在一個實施例中，傳感器和電路可以被集成至單個單元中。例如，從Williston的LORD MICROSTAINSENSING SYSTEMS可獲得的3DM定向傳感器，Vermont可以被用作包括傳感器和電路的單個單元。
[0085]在一個實施例中，便攜式設備1010進一步包括用于向擋風玻璃上發(fā)射光的光源。當光命中擋風玻璃時，光點可以在擋風玻璃上可見。擋風玻璃上示出的光使得用戶能夠確認擋風玻璃上的執(zhí)行設備1010指向的位置，并且相應地調(diào)整指向設備1010的定向以選擇在擋風玻璃上顯示的對象或項目。
[0086]可以執(zhí)行校準以將指向設備1010的定向與擋風玻璃上的位置對準。來自全球定位系統(tǒng)(GPS)或磁力計的信息可以用于自動校準指向設備1010的定向。
[0087]系統(tǒng)1000的信息查詢系統(tǒng)240和HUD系統(tǒng)130的架構和功能實質(zhì)上與圖2的命令系統(tǒng)200的信息查詢系統(tǒng)和HUD系統(tǒng)的架構和功能相似或相同，因此為了簡潔這里省略對其的詳細描述。
[0088]雖然上文描述若干實施例，但是在本公開的范圍內(nèi)可以做出各種修改。
【權利要求】
1.一種方法，包括: 由被置于車輛中的深度相機捕獲深度圖像，所述深度圖像覆蓋用戶的手并且包括代表從所述深度相機到所述用戶的部位的距離的像素； 通過處理捕獲的所述深度圖像，確定所述手的指向手指的指尖的位置； 確定顯示設備的對應于所述指尖的所述位置的位置或區(qū)域； 接收指示對在確定的所述顯示設備的位置或區(qū)域處的項目或對象的選擇的選擇信號，所述選擇信號基于從所述車輛中的輸入設備接收的傳感器信號；以及 響應于接收到所述選擇信號而執(zhí)行與被選擇的所述項目或對象相關聯(lián)的操作。
2.根據(jù)權利要求1所述的方法，其中確定所述指尖的所述位置包括生成包括多個線段的所述手的骨架結構，所述多個線段中的每個線段代表所述手的不同部分。
3.根據(jù)權利要求1所述的方法，進一步包括追蹤所述指尖的所述位置以識別由所述指向手指繪制的字符或符號。
4.根據(jù)權利要求1所述的方法，其中所述輸入設備包括用于從所述用戶接收口頭命令的麥克風，并且所述選擇信號通過對所述口頭命令執(zhí)行語音識別而被生成。
5.根據(jù)權利要求1所述的方法，其中所述輸入設備包括按鈕或開關，并且所述選擇信號指示所述輸入設備被操作。
6.根據(jù)權利要求1所述的方法，進一步包括在所述顯示設備上顯示所述操作的結果。
7.根據(jù)權利要求1所述的方法，其中所述顯示設備被劃分成多個區(qū)域，所述多個區(qū)域具有基于所述多個區(qū)域的水平位置而不同的水平寬度，所述指尖的多個位置中的每個位置被映射至所述多個區(qū)域中之一。
8.根據(jù)權利要求1所述的方法，其中所述顯示設備包括體積式抬頭顯示器(HUD)設備，其向所述車輛的擋風玻璃上投射對應于項目或對象的人造圖形元素。
9.根據(jù)權利要求1所述的方法，其中所述顯示設備的對應于所述指尖的所述位置的位置或區(qū)域通過按照第一映射標識多個虛擬區(qū)域中的被映射至所述指尖的一個虛擬區(qū)域來確定。
10.根據(jù)權利要求9所述的方法，其中所述顯示設備的對應于所述指尖的所述位置的位置或區(qū)域進一步通過以下操作確定: 按照第二映射標識所述顯示設備的對應于標識的所述虛擬區(qū)域的位置或區(qū)域。
11.根據(jù)權利要求9所述的方法，其中所述多個虛擬區(qū)域中的每個虛擬區(qū)域是半圓的等角部分向平面上的投射。
12.—種命令處理系統(tǒng)，包括: 深度相機，被置于車輛中并且被配置為捕獲深度圖像，所述深度圖像覆蓋用戶的手并且包括代表從所述深度相機到所述用戶的部位的距離的像素； 圖形處理模塊，被配置為: 通過處理捕獲的所述深度圖像，確定所述手的指向手指的指尖的位置，并且 確定顯示設備的對應于所述指尖的所述位置的位置或區(qū)域；信息查詢系統(tǒng)，被配置為: 接收指示對在確定的所述顯示設備的位置或區(qū)域處的項目或對象的選擇的選擇信號，所述選擇信號基于從所述車輛中的輸入設備接收的傳感器信號；以及響應于接收到所述選擇信號而執(zhí)行與被選擇的所述項目或對象相關聯(lián)的操作。
13.根據(jù)權利要求12所述的系統(tǒng)，其中所述圖像處理模塊被配置為: 生成包括多個線段的所述手的骨架結構，所述多個線段中的每個線段代表所述手的不同部分。
14.根據(jù)權利要求12所述的系統(tǒng)，進一步包括追蹤所述指尖的所述位置以識別由所述指向手指繪制的字符或符號。
15.根據(jù)權利要求12所述的系統(tǒng)，進一步包括選擇檢測模塊，被配置對由所述輸入設備接收的口頭命令執(zhí)行語音識別。
16.根據(jù)權利要求12所述的系統(tǒng)，進一步包括所述顯示設備，被配置為顯示所述操作的結果。
17.根據(jù)權利要求12所述的系統(tǒng)，其中所述顯示設備被劃分成多個區(qū)域，所述多個區(qū)域具有基于所述多個區(qū)域的水平位置而不同的水平寬度，所述指尖的多個位置中的每個位置被映射至所述多個區(qū)域之一。
18.根據(jù)權利要求12所述的系統(tǒng)，其中所述顯示設備包括體積式抬頭顯示器(HUD)設備，其向所述車輛的擋風玻璃上投射對應于項目或對象的人造圖形元素。
19.根據(jù)權利要求12所述的系統(tǒng)，其中所述圖像處理模塊被配置為通過按照第一映射標識多個虛擬區(qū)域中的被映射至所述指尖的一個虛擬區(qū)域來確定所述顯示設備的對應于所述指尖的所述位置 的位置或區(qū)域。
20.根據(jù)權利要求19所述的系統(tǒng)，其中所述圖像處理模塊進一步被配置為通過以下操作確定所述顯示設備的對應于所述指尖的所述位置的位置或區(qū)域: 按照第二映射標識所述顯示設備的對應于標識的所述虛擬區(qū)域的位置或區(qū)域。
【文檔編號】G06F3/0487GK104049872SQ201410090116
【公開日】2014年9月17日 申請日期:2014年3月12日 優(yōu)先權日:2013年3月13日
【發(fā)明者】藤村希久雄, V·恩格-索-欣, B·達里厄施 申請人:本田技研工業(yè)株式會社