用于用戶界面的無觸摸輸入的制作方法
【專利說明】
【背景技術】
[0001]基于手指的觸摸輸入技術允許用戶直接與由觸摸屏顯示的用戶界面對象交互。然而，有效地實施這樣的觸摸輸入技術提出了幾個挑戰(zhàn)。例如，手指可能在視覺上遮蔽用戶界面的一些方面。作為另一個例子，指墊(finger pad)是相對較大的表面，可能很難使這個表面轉化為單個點。

【發(fā)明內容】

[0002]本概要被提供來以簡化的形式介紹概念的選擇，這些概念還將在下面的詳細說明中進一步描述。本概要既不打算確認所要求保護的主題的關鍵特征或必要特征，也不打算被使用來限制所要求保護的主題的范圍。而且，所要求保護的主題不限于解決在本公開內容的任何部分中指出的任何或全部缺點的實現(xiàn)。
[0003]一系列深度圖反映(image)某個場景。每個深度圖包括多個像素，在其中每個像素規(guī)定由該像素反映的表面的深度。在該系列的深度圖內，具有最淺深度的一組非靜態(tài)像素被標識。這組非靜態(tài)像素的位置被映射到光標位置。
【附圖說明】
[0004]圖1A和IB顯示按照本公開內容的實施例的、反映人類主體(human subject)的一部分的示例性無觸摸輸入系統(tǒng)。
[0005]圖2示意地顯示按照本公開內容的實施例的、骨骼跟蹤流水線(pipeline)的非限制性例子。
[0006]圖3顯示按照本公開內容的實施例的、接收無觸摸輸入的方法。
[0007]圖4示意地顯示按照本公開內容的實施例的、深度圖的視覺表示。
[0008]圖5顯不按照本公開內容的實施例的、各種光標映射策略。
[0009]圖6示意地顯示按照本公開內容的實施例的、深度圖的另一種視覺表示。
[0010]圖7示意地顯示按照本公開內容的實施例的、深度圖的再一種視覺表示。
[0011]圖8A和8B顯不按照本公開內容的實施例的各種光標映射策略。
[0012]圖9顯示按照本公開內容的實施例的、接收無觸摸輸入的另一種方法。
[0013]圖10顯示按照本公開內容的實施例的對手指建模的方法。
[0014]圖11顯示按照本公開內容的實施例的、接收無觸摸輸入的另一種方法。
[0015]圖12顯示按照本公開內容的實施例的計算設備。
【具體實施方式】
[0016]本公開內容針對在視覺上檢測無觸摸輸入。正如下面更詳細地描述的，包括深度相機和/或其它源的跟蹤系統(tǒng)被使用來接收反映包括一個或多個人類主體的場景的一個或多個深度圖。在所述一個或多個深度圖上的像素被分析，以便標識具有最淺深度的非靜態(tài)像素。然后，(一個或多個)非靜態(tài)像素的位置被映射成光標位置。這樣，尖的(pointed)手指的位置可被使用來控制顯示設備上的光標位置。無觸摸輸入還可以被接收和解譯，以便控制光標操作和多觸摸手勢。
[0017]圖1A和IB顯示無觸摸輸入系統(tǒng)100的非限制性例子。特別地，圖1A和IB顯示可被使用來接收來自用戶104的無觸摸輸入的計算設備102。正如這里使用的，“無觸摸輸入”是不需要物理地接觸屏幕的輸入(例如，手指指向(pointing))。
[0018]計算設備102包括集成的顯示屏幕106，它可被使用來呈現(xiàn)對應于由計算設備提供的計算功能性的畫面(visual)。在其它實施例中，顯示屏幕可以是計算設備的外圍裝置。計算設備可以以各種方式被配置成幾乎提供任何計算功能性，而不背離本公開內容的范圍。而且，雖然計算設備102以平板計算設備的形式被圖示，但應當理解，無觸摸輸入可以在幾乎任何類型的計算設備上被實施，無論形式如何。
[0019]在某些實施例中，無觸摸輸入可以被跟蹤系統(tǒng)108接收。在所圖示的例子中，跟蹤系統(tǒng)108包括深度相機110和可見光相機112。跟蹤系統(tǒng)108被顯示為容納在計算設備102內，然而在其它實施例中它可以作為外圍設備在外部提供。跟蹤系統(tǒng)108可被使用來在視覺上監(jiān)視和/或跟蹤用戶104。
[0020]無觸摸輸入系統(tǒng)可被使用來識別、分析和/或跟蹤一個或多個人類用戶(例如，用戶104)和/或物理對象(例如，輸入指示筆)。圖1A和IB顯示其中跟蹤系統(tǒng)108跟蹤用戶104的手的情景，這樣使得由手作出的移動可以被計算設備102解譯。具體地，用戶104的運動被解譯為可被使用來影響計算設備102的控制。
[0021]在圖1A和IB上圖示的示例性情景顯示用戶104導航顯示屏幕106上所顯示的圖形用戶界面(⑶I 114)。具體地，圖1A顯示計算設備102經(jīng)由跟蹤系統(tǒng)108跟蹤用戶104在物理空間的位置。計算設備102把手指的物理空間位置映射成在⑶I上光標116的位置。圖1B顯示:因為計算設備102不斷跟蹤手指位置，用戶104可以通過移動手指而把光標116移向文件夾118。
[0022]由用戶104作出的其它移動可被解譯為其它控制。作為非限制性例子，用戶104可以實行多個光標操作，包括點擊和拖動操作。而且，用戶104可以實行與光標不相關的其它操作，包括多觸摸手勢，諸如縮放和平移(panning)。雖然⑶I 114作為例子被提供，但應當理解，幾乎任何GUI和/或計算設備的其它方面都可以用這里描述的無觸摸輸入來控制。不同于人類的對象也可被建模和/或跟蹤。這樣的對象可以獨立于人類主體來被建模和/或跟蹤。例如，握住指示筆的用戶的運動和/或指示筆本身的運動都可以被跟蹤。
[0023]圖2圖形地顯示簡化的跟蹤流水線200，計算設備可以通過它接收無觸摸輸入。為了簡化說明，流水線200參照圖1A和IB的無觸摸輸入系統(tǒng)100進行描述。然而，流水線200可以在任何適當?shù)挠嬎阍O備上實施，而不背離本公開內容的范圍。例如，流水線200可以在圖12的計算設備1200上實施。而且，可以使用與流水線200不同的、用于接收無觸摸輸入的方法或流水線，而不背離本公開內容的范圍。
[0024]在202，圖2顯示從跟蹤系統(tǒng)108角度看的用戶104。跟蹤系統(tǒng)(諸如跟蹤系統(tǒng)108)可包括被配置成觀測諸如用戶104那樣的人類主體的一個或多個傳感器。
[0025]在204，圖2顯示由跟蹤系統(tǒng)(諸如跟蹤系統(tǒng)108)所收集的觀測數(shù)據(jù)的示意性表示206。所收集的觀測數(shù)據(jù)的類型將取決于被包括在跟蹤系統(tǒng)中的傳感器的數(shù)目和類型而變化。在所圖示的例子中，跟蹤系統(tǒng)包括深度相機和可見光(例如，彩色)相機。
[0026]深度相機可以針對深度相機的每個像素來確定在所觀測場景中的表面相對于深度相機的深度。圖2示意地顯示對于計算設備102的深度相機的DPixel [v, h]觀測的三維x/y/z坐標208。對于深度相機的每個像素可以記錄類似的三維x/y/z坐標。對于所有的像素的三維x/y/z坐標共同地構成深度圖。三維x/y/z坐標可以以任何適當?shù)姆绞奖淮_定，而不背離本公開內容的范圍。示例性深度尋找技術將參照圖12更詳細地討論。
[0027]當被包括時，可見光相機可以針對可見光相機的每個像素，來確定對于一個或多個光通道(例如，紅、綠、藍、灰度等等)的所觀測場景中的表面的相對光強度。圖2示意地顯示針對跟蹤系統(tǒng)108的可見光相機的V-LPixel [v, h]的所觀測的紅色/綠色/藍色顏色值210。對于可見光相機的每個像素可以記錄類似的紅色/綠色/藍色顏色值。對于所有的像素的紅色/綠色/藍色顏色值共同地構成數(shù)字彩色圖像。紅色/綠色/藍色顏色值可以以任何適當?shù)姆绞絹泶_定，而不背離本公開內容的范圍。示例性彩色成像技術將參照圖12更詳細地討論。
[0028]深度相機和可見光相機可以具有相同的分辨率，然而這不是必須的。不管這兩個相機是具有相同的還是不同的分辨率，可見光相機的像素可與深度相機的像素對準(register)。這樣，對于所觀測的場景的每個部分，通過考慮來自可見光相機和深度相機的對準的像素(例如，V-LPixel [V, h]和DPixel [v, h])，可以確定彩色和深度信息。
[0029]收集的數(shù)據(jù)可以取幾乎任何適當?shù)?一個或多個)數(shù)據(jù)結構的形式，其包括(但不限于)一種或多種矩陣，矩陣包括對于由深度相機成像的每個像素的三維x/y/z坐標和/或對于由可見光相機成像的每個像素的紅色/綠色/藍色顏色值。雖然圖2描繪了單個幀，但應當理解，人類主體可被連續(xù)地觀測和建模(例如，每秒30幀)。因此，可以對每個這樣觀測的幀收集數(shù)據(jù)。可經(jīng)由一個或多個應用編程接口(API)而使收集的數(shù)據(jù)可得到，和/或對收集的數(shù)據(jù)進一步分析，如在下面描述的。
[0030]跟蹤系統(tǒng)和/或合作的計算設備任選地可以分析深度圖以便把人類主體和/或其它要被跟蹤的目標與在所觀測的深度圖中的非目標單元區(qū)分開。深度圖的每個像素可被指派以主體索引(subject index) 214，主體索引將該像素標識為反映特定目標或非目標單元。作為例子，對應于第一主體的像素可被指派以等于I的主體索引，對應于第二主體的像素可被指派以等于2的主體索引，以及不對應于目標主體的像素可被指派以等于O的主體索引。這樣的主體索引可以以任何適當?shù)姆绞奖淮_定、指派和保存，而不背離本公開內容的范圍。
[0031]跟蹤系統(tǒng)和/或合作的計算設備任選地還可以分析人類主體的深度圖的像素，以便確定每個這樣的像素可能反映該主體