專利名稱：用于提供手部檢測的方法和裝置的制作方法
技術領域：
本發(fā)明的實施例通常涉及用戶接口技術，并且更加具體地涉及用于提供手部檢測的方法和裝置，例如用于視覺交互系統(tǒng)的手勢分析。
背景技術：
現(xiàn)代通信時代帶動了有線和無線網(wǎng)絡的巨大擴張。計算機網(wǎng)絡、電視網(wǎng)絡和電話網(wǎng)絡正在經(jīng)歷由消費者需求激起的前所未有的技術擴張。無線和移動聯(lián)網(wǎng)技術解決了相關的消費者需求，同時提供了信息傳輸?shù)母囔`活性和即時性。當前和未來聯(lián)網(wǎng)技術繼續(xù)方便信息傳輸?shù)谋憷院陀脩舻姆奖阈?。存在增加信息傳輸?shù)谋憷院陀脩舻姆奖阈缘男枨蟮囊粋€領域涉及簡化用于HCI (人機交互)的人機接口。隨著在計算設備和手持或者移動設備改善這種設備的能力的領域中的近來發(fā)展，下一代HCI已經(jīng)在許多人的腦海中。而且，假設這些設備將傾向于增加其能力以在請求時相對快速地處理內(nèi)容、創(chuàng)建內(nèi)容、存儲內(nèi)容和/或接收內(nèi)容，并且還假設諸如移動電話的移動電子設備經(jīng)常面臨顯示器尺寸、文本輸入速度和用戶接口(UI)的物理體現(xiàn)的限制，在HCI情景中經(jīng)常產(chǎn)生挑戰(zhàn)。而且，HCI的改善也可以增強用戶樂趣并且在可以以其他方式呈現(xiàn)有效HCI改變的環(huán)境中開辟計算設備的用戶接口的可能性。一種這樣的改善涉及手勢識別。與HCI中當前采用的諸如以小鍵盤和鼠標為例的其他交互性機制相比較，一些人會考慮手勢識別以改善通信的自然性和便利性。這樣，已經(jīng)研究了某些應用以使得手勢識別能夠用作數(shù)字家庭設備中的命令控制器，能夠用于文件/網(wǎng)頁導航或者能夠用作通常使用的遙控器的替代。然而，當前用于手勢分析的機制通常很慢或者難于采用。假定下一代HCI的通用效用，手勢分析的改善可能是期望的
發(fā)明內(nèi)容
因此提供一種方法、裝置和計算機程序產(chǎn)品以支持將手部檢測用于基于視覺的用戶接口。在一些情況中，可以針對一系列圖像幀的特征變換版本之間的非對稱差異來分析該一系列圖像幀。非對稱差異可以形成用于確定可以檢測手部或者其他移動對象的目標區(qū)域的基礎。在一個示例實施例中，提供一種提供手部檢測的方法。該方法可以包括:接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)，確定表明該一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)，以及基于非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域。在另一示例實施例中，提供一種用于提供手部檢測的裝置。該裝置可以包括至少一個處理器和包括計算機程序代碼的至少一個存儲器。該至少一個存儲器和計算機程序代碼可以配置成與該至少一個處理器一起使得裝置至少執(zhí)行:接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)，確定表明該一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)，以及基于非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域。在一個示例實施例中，提供一種用于提供手部檢測的另一裝置。該裝置可以包括:用于接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)的裝置，用于確定表明該一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)的裝置，以及用于基于非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域的裝置。在一個示例實施例中，提供一種用于提供手部檢測的計算機程序產(chǎn)品。該計算機程序產(chǎn)品可以包括存儲有計算機可執(zhí)行程序代碼指令的至少一個計算機可讀存儲介質(zhì)。該計算機可執(zhí)行程序代碼指令可以包括用于接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)，確定表明該一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)，以及基于非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域的程序代碼指令。本發(fā)明的實施例可以提供用于例如在移動或者固定環(huán)境中采用的方法、裝置和計算機程序產(chǎn)品。這樣，例如，計算設備用戶可以享受與其各自的計算設備交互的改善能力。


已經(jīng)大概地描述了本發(fā)明的一些實施例，現(xiàn)在將參照未必按照比例繪制的附圖，其中:圖1圖示了可以采用本發(fā)明示例實施例的移動終端的方框·
圖2圖示了根據(jù)本發(fā)明示例實施例的用于提供手部檢測的裝置的方框圖；圖3 (包括圖3A到31)圖示了根據(jù)本發(fā)明示例實施例的用于識別目標區(qū)域的非對稱中貞差異的不例確定；圖4圖示了根據(jù)采用對稱方法的示例的一系列圖像、相對應的變換圖像幀，每一個各自幀和基準幀之間的差異表示，差異表示的交集以及相對應的結果；圖5圖示了根據(jù)本發(fā)明示例實施例、針對非對稱方法的一系列圖像，相對應的變換圖像幀，每一個各自幀和基準幀之間的差異表示、差異表示的交集以及相對應的結果；以及圖6是根據(jù)本發(fā)明示例實施例的、根據(jù)用于提供手部檢測的示例性方法的流程圖。
具體實施例方式以下將參照附圖更加充分地描述本發(fā)明的一些實施例，其中示出了本發(fā)明的一些而非全部實施例。實際上，可以按照多種不同形式實施本發(fā)明的各種實施例并且本發(fā)明不應該被理解為局限于這里闡釋的實施例；而是提供這些實施例以使得本公開將滿足可申請的法律要求。類似的附圖標記貫穿全文指代類似的元件。如這里使用的，可以互換使用術語“數(shù)據(jù)”、“內(nèi)容”、“信息”以及類似術語以指代根據(jù)本發(fā)明一些實施例能夠被傳輸、接收和/或存儲的數(shù)據(jù)。因而，任何這種術語的使用不應該被用于限制本發(fā)明實施例的精神和范圍。此外，如這里使用的，術語“電路”指代(a)僅硬件電路實現(xiàn)(例如模擬電路和/或數(shù)字電路的實現(xiàn))；(b)電路以及包括存儲在一個或者多個計算機可讀存儲器上的軟件和/或固件指令的組合，其一起工作以使裝置執(zhí)行這里描述的一個或者多個功能；以及(C)要求軟件或者固件以操作的電路，即使該軟件或者固件不物理存在，例如一個或多個微處理器或者一個或多個微處理器的一部分?！半娐贰钡亩x在這里應用于該術語的全部使用，包括在任何權利要求中的使用。作為進一步示例，如這里使用的，術語“電路”還包括包含一個或者多個處理器和/或其一個或多個部分以及相關軟件和/或固件的實現(xiàn)。作為另一示例，這里使用的術語“電路”還例如包括基帶集成電路或者用于移動電話的應用處理器集成電路或者服務器、蜂窩網(wǎng)絡設備、其他網(wǎng)絡設備和/或其他計算設備中的類似集成電路。如這里定義的，“計算機可讀存儲介質(zhì)”指代非瞬態(tài)物理存儲介質(zhì)(例如易失性或者非易失性存儲器設備)，其可以區(qū)別于指代電磁信號的“計算機可讀傳輸介質(zhì)”。如上面表明的，本發(fā)明的一些實施例可以涉及提供一種機制，通過該機制，關于基于視覺的用戶接口得到改善，例如通過手勢分析。手部檢測和/或定位在基于視覺的用戶接口的更大主題內(nèi)會是有用主題。然而，由于手部提供相對大的關節(jié)形狀變化，與一些其他檢測方法(例如面部檢測方法)相比較，其具有相對較少的紋理(texture)特性，因此手部檢測有時會難于實現(xiàn)。手部也會呈現(xiàn)相對大的亮度變化，這會使基于顏色的檢測方法相對不穩(wěn)定，從而進一步復雜化手部檢測在基于視覺的用戶接口開發(fā)中的使用。本發(fā)明的一些實施例可以提供一種相對穩(wěn)健的機制，通過該機制，能夠實現(xiàn)基本上實時的手部檢測和/或定位以用于對傳入數(shù)據(jù)的視頻流的手勢分析。這樣，即使在具有有限計算資源的設備上也可以執(zhí)行相對簡單且計算有效的手勢分析。因而例如，使用一個或者多個手指，或者整個手部可以用于結合其他設備與移動設備用戶接口進行交互。作為示例，電視機可以在其屏幕上呈現(xiàn)數(shù)據(jù)并且可以與照相手機(或者簡單地為照相機)通信。照相手機可以聚焦于電視的屏幕并且通過用戶在照相手機的視場內(nèi)呈現(xiàn)手部手勢、基于在“插和觸摸”交互環(huán)境中識別的手部手勢來支持交互。圖1圖示了作為本發(fā)明一個示例實施例的可以得益于本發(fā)明實施例的移動終端10的方框圖。然而應該理解，所示出以及以下描述的移動終端僅說明可以得益于本發(fā)明實施例的設備的一個類型，并且因此不應該被用于限制本發(fā)明實施例的范圍。盡管出于示例目的可以圖示并 且在下面描述移動終端10的若干實施例，但是諸如便攜式數(shù)字助理(PDA)、尋呼機、移動電視、游戲設備、所有類型的計算機(例如膝上型或者移動計算機)、照相機、音頻/視頻播放器、無線電、全球定位系統(tǒng)(GPS)設備或者前面提及的任何組合以及其他類型的通信系統(tǒng)的其他類型的移動終端可以容易地采用本發(fā)明實施例。甚至是固定設備也可以采用一些示例實施例。移動終端10可以包括與發(fā)射器14和接收器16可操作通信的天線12 (或者多個天線)。移動終端10可以進一步包括諸如控制器20或者其他處理硬件的裝置，其控制分別從發(fā)射器14和接收器16提供信號和接收信號。信號可以包括根據(jù)可應用的蜂窩系統(tǒng)的空中接口標準的信令信息，和/或還可以包括與用戶語音、接收的數(shù)據(jù)和/或用戶生成的數(shù)據(jù)相對應的數(shù)據(jù)。就此而言，移動終端10可以能夠利用一個或者多個空中接口標準、通信協(xié)議、調(diào)制類型和接入類型進行操作。作為示例，移動終端10可以能夠根據(jù)多個第一代、第二代、第三代和/或第四代通信協(xié)議等等中的任意一個操作。例如，移動終端10可以能夠根據(jù)第二代(2G)無線通信協(xié)議IS-136 (時分多址(TDMA))、GSM (全球移動通信系統(tǒng))和IS-95(碼分多址(CDMA))，或者根據(jù)諸如通用移動電信系統(tǒng)(UMTS)、CDMA2000、寬帶CDMA (WCDMA)和時分同步CDMA (TD-CDMA)的第三代(3G)無線通信協(xié)議，根據(jù)諸如E-UTRAN (演進的通用地面無線接入網(wǎng)絡)的3.9G無線通信協(xié)議，根據(jù)第四代(4G)無線通信協(xié)議等等操作。作為可選(或者附加地)，移動終端10可以能夠根據(jù)非蜂窩通信機制操作。例如，移動終端10能夠與無線局域網(wǎng)(WLAN)或者其他通信網(wǎng)絡通信。應當理解，諸如控制器20的裝置可以包括實現(xiàn)移動終端10的音頻和邏輯功能等等的電路。例如，控制器20可以包括數(shù)字信號處理器設備、微處理器設備和各種模數(shù)轉換器、數(shù)模轉換器和/或其他硬件支持電路。移動終端10的控制和信號處理功能根據(jù)其各自能力在這些設備之間分配?？刂破?0因而也可以包括功能性以在調(diào)制和傳輸之前對消息和數(shù)據(jù)進行卷積編碼和交織。控制器20可以附加地包括內(nèi)部語音編碼器，并且可以包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。進而，控制器20可以包括功能性以操作可以存儲在存儲器中的一個或者多個軟件程序。例如，控制器20可以能夠操作諸如傳統(tǒng)網(wǎng)頁瀏覽器的連接性程序。該連接性程序可以然后允許移動終端10例如根據(jù)無線應用協(xié)議(WAP)、超文本傳輸協(xié)議(HTTP)等等傳輸和接收Web內(nèi)容，諸如基于位置的內(nèi)容和/或其他網(wǎng)頁內(nèi)容。移動終端10還可以包括用戶接口，其包括諸如耳機或者揚聲器24、振鈴器22、麥克風26、顯示器28的輸出設備和用戶輸入接口，其可以耦合到控制器20。允許移動終端10接收數(shù)據(jù)的用戶輸入接口可以包括諸如小鍵盤30、觸摸顯示器(未示出)、麥克風或者其他輸入設備的允許移動終端10接收數(shù)據(jù)的多個設備中的任意一個。在包括小鍵盤30的實施例中，小鍵盤30可以包括數(shù)字(0-9)和相關鍵(#，*)，以及用于操作移動終端10的其他硬鍵和軟鍵?？蛇x地，小鍵盤30可以包括傳統(tǒng)的QWERTY鍵區(qū)設置。小鍵盤30也可以包括具有相關聯(lián)功能的各種軟鍵。附加地或者可選地，移動終端10可以包括諸如游戲桿或者其他用戶輸入接口的接口設備。移動終端10進一步包括用于為用于操作移動終端10的各種電路供電并且可選地提供機械震動作為可檢測輸出的振動電池組的電池34。在一些實施例中，移動終端10包括與控制器20通信的諸如照相機、視頻和/或音頻模塊的媒體捕捉元件。媒體捕捉元件可以是用于捕捉圖像、視頻和/或音頻以用于存儲、顯示或者傳輸?shù)娜魏窝b置。例如，在媒體捕捉元件是照相機模塊36的示例實施例中，照相機模塊36可以包括能夠根據(jù)所捕捉的圖像形成數(shù)字圖像文件的數(shù)碼相機。這樣，照相機模塊36包括諸如鏡頭或者一個或多個其他光學部件的全部硬件以及用于根據(jù)捕捉的圖像創(chuàng)建數(shù)字圖像文件所需的軟件?？蛇x地，照相機模塊36可以僅包括瀏覽圖像所需的硬件，而移動終端10的存儲器設備存儲用于通過控制器20執(zhí)行的根據(jù)捕捉的圖像創(chuàng)建數(shù)字圖像文件所需的軟件形式的指令。在示例實施例中，照相機模塊36可以進一步包括諸如輔助控制器20處理圖像數(shù)據(jù)的協(xié)處理器的處理元件以及用于壓縮和/或解壓縮圖像數(shù)據(jù)的編碼器和/或解碼器。編碼器和/或解碼器可以根據(jù)JPEG標準格式或者另一類似格式進行編碼和/或解碼。在一些情況下，照相機模塊36可以向顯示器28提供現(xiàn)場圖像數(shù)據(jù)。而且，在示例實施例中，顯示器28可以位于移動終端10的一側上并且照相機模塊36可以包括相對顯示器28位于移動終端10相對側上的鏡頭，以使得照相機模塊36能夠在移動終端10的一側上捕捉圖像并且向位于移動終端10另一側的用戶呈現(xiàn)這樣圖像的查看。移動終端10可以進一步包括通常被稱為智能卡的用戶身份模塊(UH0 38。UIM38典型地是具有內(nèi)置處理器的存儲器設備。UM38可以例如包括訂戶身份模塊(SM)、通用集成電路卡(UICC) 、通用訂戶身份模塊(USM)、可移除的用戶身份模塊(R-UM)或者任何其他智能卡。UIM38典型地存儲與移動訂戶相關的信息元素。除了 WM38，移動終端10可以裝配有存儲器。例如，移動終端10可以包括易失性存儲器40，諸如包括用于數(shù)據(jù)臨時存儲的高速緩存區(qū)域的易失性隨機訪問存儲器(RAM)。移動終端10還可以包括可以被嵌入和/或可移除的其他非易失性存儲器42。非易失性存儲器42可以附加或者可選地包括電可擦除可編程只讀存儲器(EEPROM)、閃存等等。存儲器可以存儲由移動終端10使用以實現(xiàn)移動終端10的功能的多條信息和數(shù)據(jù)中的任意一個。圖2圖示了根據(jù)本發(fā)明示例實施例的用于提供手部檢測的裝置的示意性方框圖。現(xiàn)在將參照圖2描述本發(fā)明的示例實施例，其中顯示了用于提供手部檢測的裝置50的某些元件。圖2的裝置50可以例如在移動終端10上使用。然而，裝置50可以可選地在移動和固定的各種其他設備上采用。在一些情況下，可以在一個設備或者設備的組合上實施實施例。因此，本發(fā)明的一些實施例可以完全在單個設備(例如移動終端10)處實施，由分布式形式的多個設備實施或者由客戶端/服務器關系的設備實施。而且，應該注意到，下面描述的設備或者元件可能不是強制的并且因而在某些實施例中可以省去一些。現(xiàn)在參照圖2，提供用于提供手部檢測的裝置。裝置50可以包括或者以其他方式與處理器70、用戶接口 72、通信接口 74和存儲器設備76通信。在一些實施例中，處理器70(和/或協(xié)處理器或者輔助或者以其他方式與處理器70相關聯(lián)的任何其他處理電路)可以經(jīng)由總線與存儲器設備76通信以用于在裝置50的部件之間傳遞信息。存儲器設備76可以例如包括一個或者多個易失性和/或非易失性存儲器。換句話說，例如，存儲器設備76可以是包括被配置以存儲可由機器(例如類似處理器70的計算設備)獲取的數(shù)據(jù)(例如比特)的邏輯門的電子存儲設備(例如計算機可讀存儲介質(zhì))。存儲器設備76可以被配置以存儲信息、數(shù)據(jù)、應用、指令等等以用于支持裝置執(zhí)行根據(jù)本發(fā)明示例實施例的各種功能。例如，存儲器設備76能夠被配置以緩沖輸入數(shù)據(jù)以供處理器70處理。附加地或者可選地，存儲器設備76能夠被配置以存儲指令以供處理器70執(zhí)行。在一些實施例中，裝置50可以例如是移動終端(例如移動終端10)或者被配置以采用本發(fā)明示例實施例的固定通信設備或計算設備。然而，在一些實施例中，裝置50可以被實施為芯片或者芯片組。換句話說，裝置50可以包括一個或者多個物理封裝(例如芯片)，其包括結構組件(例如基板)·上的材料、部件和/或布線。結構組件可以對于包括在其上的部件電路提供物理強度、尺寸節(jié)約和/或電子相互作用限制。在一些情況下，裝置50因此可以被配置以在單個芯片上或者作為單個“片上系統(tǒng)”實現(xiàn)本發(fā)明的實施例。這樣，在一些情況下，芯片或者芯片組可以構成用于執(zhí)行用于提供這里描述的功能性的一個或者多個操作的裝置?？梢园凑詹煌姆绞骄唧w化處理器70。例如，處理器70可以被實施為各種處理裝置的一個或者多個，例如協(xié)處理器、微處理器、控制器、數(shù)字信號處理器(DSP)、具有或者不具有相關DPS的處理元件或者各種其他處理電路，包括例如以ASIC (專用集成電路)、FPGA(現(xiàn)場可編程門陣列)、微控制器單元(MCU)、硬件加速器、向量處理器、圖形處理單元(GPU)、專用計算機芯片或者其他類似的硬件處理器為例的集成電路。這樣，在一些實施例中，處理器70可以包括被配置以獨立執(zhí)行的一個或者多個處理核。多核處理器可以支持單個物理封裝內(nèi)的多處理。附加地或者可選地，處理器70可以包括經(jīng)由總線串聯(lián)配置的一個或者多個處理器以支持指令、流水線和/或多線程的獨立執(zhí)行。在示例實施例中，處理器70可以被配置以執(zhí)行存儲在存儲器設備76中或者以其他方式對于處理器70可訪問的指令。附加地或者可選地，處理器70可以被配置以執(zhí)行硬編碼的功能性。這樣，無論是通過硬件或者軟件方法進行配置，或者通過硬件和軟件方法的組合進行配置，處理器70在被進行相應配置時都可以代表能夠執(zhí)行根據(jù)本發(fā)明實施例的操作的實體(例如在物理上被具體化在電路中)。因而例如，在處理器70被實施為ASIC、FPGA等等時，處理器70可以是專門配置的硬件以用于進行這里描述的操作?？蛇x地，作為另一示例，在處理器70被實施為軟件指令的執(zhí)行者時，指令可以專門配置處理器70以在執(zhí)行指令時執(zhí)行這里描述的算法和/或操作。然而在一些情況下，處理器70可以是適于通過用于執(zhí)行這里描述的算法和/或操作的指令對處理器70進一步配置而實施本發(fā)明實施例的專門設備(例如移動終端、固定終端或者網(wǎng)絡設備)的處理器。除其他之外，處理器70可以包括被配置以支持處理器70的操作的時鐘、算術邏輯單元(ALU)和邏輯門等等。同時，通信接口 74可以是被配置以從/至網(wǎng)絡和/或與裝置50通信的任何其他設備或者模塊接收和/或傳輸數(shù)據(jù)的諸如被實施為硬件或者硬件和軟件的組合的設備或者電路的任意裝置。為此，通信接口 74可以例如包括天線(或者多個天線)和支持硬件和/或軟件以用于使能與無線通信網(wǎng)絡通信。在一些環(huán)境中，通信接口 74可以可選地或者還支持有線通信。這樣例如，通信接口 74可以包括通信調(diào)制解調(diào)器和/或其他硬件/軟件用于經(jīng)由電纜、數(shù)字訂戶線路(DSL)、通用串行總線(USB)或者其他機制支持通信。用戶接口 72可以與處理器70通信以在用戶接口 72處接收對用戶輸入的指示和/或向用戶提供音頻、視頻、機械或者其他輸出。這樣，用戶接口 72可以例如包括鍵盤、鼠標、游戲桿、顯不器、觸摸屏、軟鍵、麥克風、揚聲器或者其他輸入/輸出機制。在裝置50被實施為服務器或者一些其他網(wǎng)絡設備的示例性實施例中，用戶接口 72可以被限制或者去除。然而，在裝置被實施為通信設備(例如移動終端10)的實施例中，除了其他設備或元件之外，用戶接口 72可以包括揚聲器、麥克風、顯示器和鍵盤等的任一或全部。為此例如，處理器70可以包括被配置以控制用戶接口的一個或者多個元件的至少一些功能的用戶接口電路，例如揚聲器、振鈴器、麥克風、顯示器等等。處理器70和/或包括處理器70的用戶接口電路可以被配置以通過存儲在處理器70可訪問的存儲器(例如存儲器設備76等等)上的計算機程序指令(例如軟件和/或固件)來控制用戶接口的一個或者多個元件的一個或者多個功能。在示例實施例中，處理器70可以被實施為，包括或者以其他方式控制特征差異分析器80。這樣，在一些實施例中，可以說成處理器70引起、指導或者控制歸屬于這里描述的特征差異分析器80的各種功能的執(zhí)行或者發(fā)生。特征差異分析器80可以是諸如根據(jù)軟件或者以其他方式實施為硬件或者硬件和軟件的組合操作的設備或電路的任何裝置(例如在軟件控制下操作的處理器70、被實施為被專門配置以執(zhí)行這里描述的操作的ASIC或者FPGA的處理器70，或者其組合)，從而配置該設備或者電路執(zhí)行這里描述的特征差異分析器80的相對應功能。因而，在采用軟件的實施例中，執(zhí)行該軟件的設備或者電路(例如在一個示例中為處理器70)形成與這樣的裝置相關聯(lián)的結構。在示例實施例中，特征差異分析器80可以通常被配置以執(zhí)行在一些情況下可以包括如下操作的一系列操作中的任意一個或者全部:生 成特征變換圖像，確定幀之間的非對稱差異，針對非對稱差異執(zhí)行重新二值化以及基于非對稱差異之間的交集來提煉目標區(qū)域。在一些實施例中，代替生成特征變換圖像，特征差異分析器80可以接收已經(jīng)通過另一設備或者通過移動終端10的單獨模塊變換的特征變換圖像數(shù)據(jù)。
因此例如，特征差異分析器80可以被配置以生成或者接收特征變換圖像幀。在一些實施例中，圖像幀可以是例如使用局部二值模式(LBP)紋理算子變換的特征。之后，可以分析圖像幀以確定其間的非對稱差異?；谶@些差異，可以漸進式確定提煉的目標區(qū)域。這樣，在一些示例中，對于視頻序列中預定間隔的幀I。和UdiIdi彡1}可以確定變換的特征幀T。和{IVdi I di > 1}。如上面表明的，該變換可以是LBP和/或改性普查變換(MCT)。該變換可以使差異穩(wěn)健或者不太受諸如亮度變化的干擾的影響。在變換之后，可以以間隔di確定非對稱差異Dtl, D1，……，Di，……，其中Di=Hdi。特征差異分析器80然后可以被配置以利用自適應閾值機制重新二值化幀差異Mi。之后，可
以根據(jù)7:4 = p 基于幀差異來提煉目標區(qū)域(TA)。在一些實施例中，非對稱幀差異確定可以用作識別發(fā)生移動的圖像序列的區(qū)域的機制。而且，非對稱幀差異確定的使用可以降低復雜性和計算成本，以使得在移動或者手持設備上更加容易實現(xiàn)特征差異分析器80。非對稱幀差異確定在處理直接幀差異方面相對有能力，并且因此典型地不結合真實系統(tǒng)使用。然而在示例實施例中，幀差異可以是特征變換圖像，并且因此，非對稱幀差異可以相對好地工作。為了標識目標區(qū)域(TA)，諸如與IVd相對應的第一幀和與T。相對應的第二幀之間的差異的單個幀差異可能不太夠。因此，對稱幀差異可以用于通過分析幾個幀來確定目標區(qū)域(TA)。利用所確定的對稱差異，目標區(qū)域(TA)可以作為二值化的幀差異的交集而被獲得。然而，盡管目標區(qū)域(TA)或許能夠在先前變換的幀(例如IVdi)中而非在當前幀(例如T。)中利用對稱差異進行確定，這樣一種機制可能會在處理中產(chǎn)生dl幀的延遲并且因此會不太期望在實時交互應用中使用。因此，本發(fā)明的一些實施例可以構建Te-1Vdl,Tc-Tc_d2,……,Te-1Vdi,……形式的幀差異，以使得可以針對當前幀T。獲得目標區(qū)域(TA)。對稱差異的處理因此可以涉及檢查每一個連續(xù)幀之間的差異(例如第一幀和第二幀之間的差異，第二幀和第三幀之間的差異，第三幀和第四幀之間的差異等等)。同時，非對稱差異的處理可以涉及比較每一個各自幀與公 共幀(例如第一幀和第二幀之間的差異，第三幀和第一幀之間的差異，第四幀和第一幀之間的差異等等)。因而例如，具有間隔di的幾個幀可以用于按照Hdl，Tc_dl-Tc_d2，……，Te-d1-1-Te-di,……的形式確定幀非對稱差異，其中Ti代表LBP變換幀。包括圖3A到圖3L的圖3圖示了用于標識目標區(qū)域的非對稱幀差異的示例確定。為此，圖3A、圖3B、圖3C和圖3D圖示了示出具有在其上顯示的各種項目的顯示器的一系列幀(例如幀F(xiàn)e_d3，F(xiàn)c_d2, Fc_dl和F。)。如在圖3A到圖3D中能夠看出，存在指向圖3A中的顯示器的手部并且該手部在每一個隨后幀中向下移動一些。圖3E，圖3F，圖3G和圖3H分別示出了在圖3A，圖3B，圖3C和圖3D中示出的圖像幀的特征變換表示(例如Te_d3，Tc_d2, Tc_dl和T。)。特征差異分析器80可以被配置以確定這些特征變換表示之間的差異。因而例如，圖31可以代表IVd3和T。之間的差異。換句話說，圖31可以代表圖3E和圖3H中的巾貞的表不之間的差異。圖3J可以代表Tc_d2和T。之間的差異。換句話說，圖3J可以代表圖3F和圖3H中的巾貞的表不之間的差異。同時，圖3K可以代表Te_dl和T。之間的差異。換句話說，圖3K可以代表圖3G和圖3H中的幀的表示之間的差異。圖3L則圖示了二值化的幀差異的交集。換句話說，圖3L圖示了圖31，圖3J和圖3K中示出的表示的交集。因而，圖31，圖3J和圖3K的差異圖像的交集提供了給出當前幀T。中的手部位置的結果。相比于涉及對稱差異的確定(其將確定相鄰幀的每一個各自集合之間的差異并且因此確定IVd3和IVd2，IVd2和IVdl以及IVdl和T。之間的差異)，可以省去根據(jù)參照圖3提供的示例提供的延遲。在一些情形中，頭部、手部或者一些其他身體部位的移動可能不是非?？斓慕换?。因而，連續(xù)幀中這種對象的位置差異可能不是非常大。確定幀之間差異的對稱方法的使用在這樣的情況下可能不能提供非常有用的結果，因為隨后幀中的小改變可能會不可檢測。因而，除了創(chuàng)建延遲問題之外，對稱方法可能由于連續(xù)幀的小改變而不能夠檢測一些交互。作為示例，圖4圖示了用于確定幀之間的差異的對稱方法的使用。圖4中的第一行圖像84圖示了一系列幀。第二行85示出了第一行圖像84的特征變換表示。第三行86代表每一個連續(xù)幀之間的差異。能夠看出，由于頭部的移動在第一行圖像84的一系列幀的每一個中的移動相對小，因此差異相對小。最后，第四行87圖示了差異的交集結果并且第五行88示出了最終結果。再次，該交集的結果由于該移動并且因此每一個隨后幀之間的改變很小而非常小。最終結果是幾乎感覺不到的跟蹤區(qū)域。同時，非對稱方法可以更加精確地檢測移動區(qū)域，這是因為如上所述，在非對稱地確定差異時考慮到較大的時間跨度(例如，差異不總是位于相鄰幀之間，而是位于一系列幀和基準幀之間，基準幀諸如當前幀或者一系列幀中的最近幀)。關于圖5示出了這種差別。在實現(xiàn)中，漢明距離可以用于在LBP變換之后獲得二值化幀差異信息。相對應的代碼因此可以針對LBP值中的比特數(shù)量而不同。為了消除或者至少降低噪聲干擾，如果幀差異中第i個像素處的漢明距離不大于1，則差異圖像中的像素可以設置為零。因而例如，對于幀差異圖像中的像素P:
權利要求
1.一種方法，包括: 接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)； 確定表明所述一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)；以及 基于所述非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域。
2.如權利要求1的方法，其中接收特征變換圖像數(shù)據(jù)包括接收使用局部二值模式(LBP)算子變換的數(shù)據(jù)。
3.如權利要求1或者2的方法，其中確定非對稱差異數(shù)據(jù)包括確定所述多個幀的連續(xù)幀和當前幀的特征變換圖像數(shù)據(jù)之間的差異。
4.如權利要求1到3中的任意一項的方法，進一步包括重新二值化所述非對稱差異數(shù)據(jù)。
5.如權利要求1到4中的任意一項的方法，其中確定所述目標區(qū)域包括基于重新二值化的非對稱差異數(shù)據(jù)的交集來確定所述目標區(qū)域。
6.如權利要求1到5中的任意一項的方法，其中重新二值化所述非對稱差異數(shù)據(jù)包括使用局部自適應閾值來進行重新二值化。
7.如權利要求1到6中的任意一項的方法，其中接收特征變換圖像數(shù)據(jù)包括接收表明在所述多個幀中的手部位置的數(shù)據(jù)。
8.如權利要求1到7中的任意一項的方法，其中確定所述目標區(qū)域包括確定在所述多個幀 中發(fā)生對象移動 的區(qū)域。
9.一種裝置，包括至少一個處理器和包括計算機程序代碼的至少一個存儲器，所述至少一個存儲器和所述計算機程序代碼配置成與所述至少一個處理器一起使得所述裝置至少: 接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)； 確定表明所述一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)；以及 基于所述非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域。
10.如權利要求9的裝置，其中所述至少一個存儲器和計算機程序代碼配置成與所述至少一個處理器一起使得所述裝置:通過接收使用局部二值模式(LBP)算子變換的數(shù)據(jù)來接收特征變換圖像數(shù)據(jù)。
11.如權利要求9或者10的裝置，其中所述至少一個存儲器和計算機程序代碼配置成與所述至少一個處理器一起使得所述裝置:通過確定所述多個幀的連續(xù)幀和當前幀的特征變換圖像數(shù)據(jù)之間的差異來確定非對稱差異數(shù)據(jù)。
12.如權利要求9到11中的任意一項的裝置，其中所述至少一個存儲器和計算機程序代碼配置成與所述至少一個處理器一起使得所述裝置:重新二值化所述非對稱差異數(shù)據(jù)。
13.如權利要求9到12中的任意一項的裝置，其中所述至少一個存儲器和計算機程序代碼配置成與所述至少一個處理器一起使得所述裝置:通過基于重新二值化的非對稱差異數(shù)據(jù)的交集確定所述目標區(qū)域來確定所述目標區(qū)域。
14.如權利要求9到13中的任意一項的裝置，其中所述至少一個存儲器和計算機程序代碼配置成與所述至少一個處理器一起使得所述裝置:通過使用局部自適應閾值進行重新二值化來重新二值化所述非對稱差異數(shù)據(jù)。
15.如權利要求9到14中的任意一項的裝置，其中所述至少一個存儲器和計算機程序代碼配置成與所述至少一個處理器一起使得所述裝置:通過接收表明在所述多個幀中的手部位置的數(shù)據(jù)來接收特征變換圖像數(shù)據(jù)。
16.如權利要求9到15中的任意一項的裝置，其中所述至少一個存儲器和計算機程序代碼配置成與所述至少一個處理器一起使得所述裝置:通過確定在所述多個幀中發(fā)生對象移動的區(qū)域來確定所述目標區(qū)域。
17.如權利要求9到16中的任意一項的裝置，其中所述裝置是移動終端并且進一步包括被配置以方便用戶控制所述移動終端的至少一些功能的用戶接口電路。
18.一種計算機程序產(chǎn)品，包括存儲有計算機可執(zhí)行程序代碼指令的至少一個計算機可讀存儲介質(zhì)，所述計算機可執(zhí)行程序代碼指令包括在被執(zhí)行時至少使所述裝置執(zhí)行如下的程序代碼指令: 接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)； 確定表明所述一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)；以及 基于所述非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域。
19.如權利要求18的計算機程序產(chǎn)品，進一步包括用于重新二值化所述非對稱差異數(shù)據(jù)的程序代碼指令。
20.如權利要求18或者19的計算機程序產(chǎn)品，其中用于確定所述目標區(qū)域的程序代碼指令包括用于基于重新二值化的非對稱差異數(shù)據(jù)的交集來確定所述目標區(qū)域的指令。
21.一種裝置，包括: 用于接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)的裝置； 用于確定表明所述一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)的 裝置；以及 用于基于所述非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域的裝置。
全文摘要
一種用于提供手部檢測的方法可以包括接收針對一系列圖像幀的特征變換圖像數(shù)據(jù)，確定表明該一系列圖像幀的多個幀和基準幀的特征變換圖像數(shù)據(jù)之間的差異的非對稱差異數(shù)據(jù)，以及基于該非對稱差異數(shù)據(jù)的交集來確定目標區(qū)域。還提供與該方法相對應的裝置和計算機程序產(chǎn)品。
文檔編號G06K9/00GK103250166SQ201080069663
公開日2013年8月14日 申請日期2010年10月18日 優(yōu)先權日2010年10月18日
發(fā)明者方亦凱, 徐磊, 汪孔橋 申請人:諾基亞公司