用于基于多個(gè)傳感器信號(hào)的融合識(shí)別手勢(shì)的方法和設(shè)備的制作方法
【專利摘要】提供一種允許基于不同類型的傳感器信號(hào)的融合來(lái)改進(jìn)手勢(shì)識(shí)別的方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品。在一種方法的情境中，接收一系列圖像幀和雷達(dá)信號(hào)序列。該方法確定指示手勢(shì)的針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)。該評(píng)估分?jǐn)?shù)的確定可以基于圖像區(qū)域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間的移位。該方法也確定指示手勢(shì)的針對(duì)雷達(dá)信號(hào)序列的評(píng)估分?jǐn)?shù)。該評(píng)估分?jǐn)?shù)的確定可以基于序列中的符號(hào)分布和序列中的強(qiáng)度分布。該方法對(duì)評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)并且在加權(quán)之后融合評(píng)估分?jǐn)?shù)以識(shí)別手勢(shì)。
【專利說(shuō)明】用于基于多個(gè)傳感器信號(hào)的融合識(shí)別手勢(shì)的方法和設(shè)備

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的一示例實(shí)施例一般涉及用戶界面技術(shù)并且更具體地涉及一種用于識(shí)別 手勢(shì)的方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品。

【背景技術(shù)】
[0002] 為了有助于用戶與計(jì)算設(shè)備交互，已經(jīng)開發(fā)了用戶界面以對(duì)用戶的手勢(shì)做出響 應(yīng)。通常，這些手勢(shì)是直觀的并且因此用于有助于使用計(jì)算設(shè)備并且改善總體用戶體驗(yàn)。計(jì) 算設(shè)備可以識(shí)別的手勢(shì)可以服務(wù)于許多功能、諸如打開文件、關(guān)閉文件、移到文件內(nèi)的不同 位置、增加音量等。計(jì)算設(shè)備可以識(shí)別的一種類型的手勢(shì)是揮手（hand-wave)。可以定義揮 手以提供各種類型的用戶輸入、例如包括用于控制媒體播放器的導(dǎo)航命令、圖庫(kù)瀏覽或者 幻燈片演示。
[0003] 計(jì)算設(shè)備一般提供基于由單個(gè)傳感器、諸如相機(jī)、加速度計(jì)或者雷達(dá)傳感器提供 的信號(hào)的手勢(shì)識(shí)別。然而通過(guò)依賴于單個(gè)傳感器，計(jì)算設(shè)備就識(shí)別手勢(shì)而言可能有些受限。 例如依賴于相機(jī)以捕獲從其識(shí)別手勢(shì)的圖像的計(jì)算設(shè)備可能難以適應(yīng)照明改變以及在相 機(jī)捕獲的圖像內(nèi)的白平衡。而且，依賴于加速度計(jì)或者陀螺儀以提供從其識(shí)別手勢(shì)的信號(hào) 的計(jì)算設(shè)備不能在計(jì)算設(shè)備本身固定就位的實(shí)例中檢測(cè)手勢(shì)。此外，依賴于雷達(dá)傳感器以 提供從其識(shí)別手勢(shì)的信號(hào)的計(jì)算設(shè)備可能難以確定產(chǎn)生手勢(shì)的對(duì)象實(shí)際上是什么。


【發(fā)明內(nèi)容】

[0004] 因此根據(jù)一示例實(shí)施例提供一種方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品以便提供基于不同 類型的傳感器所提供的信號(hào)的融合的改進(jìn)的手勢(shì)識(shí)別。在一個(gè)實(shí)施例中，例如提供一種方 法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品以便基于相機(jī)或者其它圖像捕獲設(shè)備和雷達(dá)傳感器所提供的信 號(hào)的融合識(shí)別手勢(shì)。通過(guò)依賴于不同類型的傳感器所提供的信號(hào)并且通過(guò)對(duì)與不同類型的 傳感器所提供的信號(hào)關(guān)聯(lián)的評(píng)估分?jǐn)?shù)適當(dāng)加權(quán)，可以用比依賴于單個(gè)傳感器以用于識(shí)別手 勢(shì)的計(jì)算設(shè)備更可靠的方式以更少的限制來(lái)識(shí)別手勢(shì)。
[0005] 在一個(gè)實(shí)施例中，提供一種方法，該方法包括接收一系列圖像幀并且接收雷達(dá)信 號(hào)序列。這一實(shí)施例的該方法還確定指示手勢(shì)的針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)。就這一點(diǎn) 而言，確定評(píng)估分?jǐn)?shù)可以包括基于在圖像區(qū)域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間的移位確 定評(píng)估分?jǐn)?shù)。這一實(shí)施例的該方法也包括確定指示手勢(shì)的針對(duì)雷達(dá)信號(hào)序列的評(píng)估分?jǐn)?shù)。 就這一點(diǎn)而言，確定評(píng)估分?jǐn)?shù)可以包括基于序列中的符號(hào)分布和序列中的強(qiáng)度分布確定評(píng) 估分?jǐn)?shù)。這一實(shí)施例的該方法還對(duì)評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)并且在加權(quán)之后融 合評(píng)估分?jǐn)?shù)，以識(shí)別手勢(shì)。
[0006] 該方法可以通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行下采樣以生成針對(duì)一系列圖像幀的下采樣圖像 塊，從下采樣圖像塊提取多個(gè)特征并且確定下采樣圖像塊的移動(dòng)狀態(tài)以便基于連續(xù)圖像幀 中的相應(yīng)特征的值的改變而確定運(yùn)動(dòng)塊來(lái)確定針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)。就這一點(diǎn)而 言，該方法也可以基于投影直方圖的第一邊界和第二邊界的基于相應(yīng)下采樣圖像塊的移動(dòng) 狀態(tài)確定的移動(dòng)來(lái)確定手勢(shì)的運(yùn)動(dòng)方向。
[0007] -個(gè)實(shí)施例的該方法可以通過(guò)基于圖像區(qū)域中的平均運(yùn)動(dòng)塊比率確定評(píng)估分?jǐn)?shù) 來(lái)確定針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)。雷達(dá)信號(hào)的強(qiáng)度可以取決于產(chǎn)生手勢(shì)的對(duì)象與雷達(dá) 傳感器之間的距離，而與雷達(dá)信號(hào)關(guān)聯(lián)的符號(hào)可以取決于對(duì)象相對(duì)于雷達(dá)傳感器的運(yùn)動(dòng)方 向。對(duì)評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)加權(quán)可以包括基于線性判別分析、Fisher判別分析或者 線性支持向量機(jī)確定將與評(píng)估分?jǐn)?shù)關(guān)聯(lián)的權(quán)重。一個(gè)實(shí)施例的該方法還可以包括在識(shí)別手 勢(shì)的實(shí)例中基于一系列圖像幀確定該手勢(shì)的運(yùn)動(dòng)方向。
[0008] 在另一實(shí)施例中，提供一種設(shè)備，該設(shè)備包括至少一個(gè)處理器和包括計(jì)算機(jī)程序 代碼的至少一個(gè)存儲(chǔ)器，其中存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置成，通過(guò)處理器，使該設(shè)備接 收一系列圖像幀并且接收雷達(dá)信號(hào)序列。這一實(shí)施例的至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼 還被配置成，通過(guò)處理器，使該設(shè)備通過(guò)基于圖像區(qū)域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間 的移位確定指示手勢(shì)的針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)來(lái)確定該評(píng)估分?jǐn)?shù)。這一實(shí)施例的至 少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼還被配置成，通過(guò)處理器，使該設(shè)備通過(guò)基于雷達(dá)信號(hào)序 列中的符號(hào)分布和雷達(dá)信號(hào)序列中的強(qiáng)度分布確定指示手勢(shì)的針對(duì)雷達(dá)信號(hào)序列的評(píng)估 分?jǐn)?shù)來(lái)確定該評(píng)估分?jǐn)?shù)。這一實(shí)施例的至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼還被配置成，通 過(guò)處理器，使該設(shè)備對(duì)評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)并且在加權(quán)之后融合評(píng)估分?jǐn)?shù) 以識(shí)別手勢(shì)。
[0009] 至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼還被配置成，通過(guò)處理器，使一個(gè)實(shí)施例的該 設(shè)備通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行下采樣以生成針對(duì)一系列圖像幀的下采樣圖像塊、從下采樣圖像 塊提取多個(gè)特征并且確定下采樣圖像塊的移動(dòng)狀態(tài)以便基于連續(xù)圖像幀中的相應(yīng)特征的 值的改變確定運(yùn)動(dòng)塊來(lái)確定針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)。這一實(shí)施例的至少一個(gè)存儲(chǔ)器 和計(jì)算機(jī)程序代碼還可以被配置成，通過(guò)處理器，使該設(shè)備基于投影直方圖的第一邊界和 第二邊界的基于相應(yīng)下采樣圖像塊的移動(dòng)狀態(tài)確定的移動(dòng)來(lái)確定手勢(shì)的運(yùn)動(dòng)方向。
[0010] 一個(gè)實(shí)施例的至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼可以被配置成，通過(guò)處理器，使 該設(shè)備通過(guò)基于圖像區(qū)域中的平均運(yùn)動(dòng)塊的比率確定評(píng)估分?jǐn)?shù)來(lái)從一系列圖像幀確定該 評(píng)估分?jǐn)?shù)。雷達(dá)信號(hào)的強(qiáng)度可以取決于產(chǎn)生手勢(shì)的對(duì)象與雷達(dá)傳感器之間的距離，而與雷 達(dá)信號(hào)關(guān)聯(lián)的符號(hào)可以取決于對(duì)象相對(duì)于雷達(dá)傳感器的運(yùn)動(dòng)方向。至少一個(gè)存儲(chǔ)器和計(jì)算 機(jī)程序代碼被配置成，通過(guò)處理器，使一個(gè)實(shí)施例的該設(shè)備通過(guò)基于線性判別分析、Fisher 判別分析或者線性支持向量機(jī)確定將與評(píng)估分?jǐn)?shù)關(guān)聯(lián)的權(quán)重來(lái)對(duì)評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估 分?jǐn)?shù)進(jìn)行加權(quán)。至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼還被配置成，通過(guò)處理器，使一個(gè)實(shí)施例 的該設(shè)備在識(shí)別手勢(shì)的實(shí)例中基于一系列圖像幀確定手勢(shì)的運(yùn)動(dòng)方向。一個(gè)實(shí)施例的該設(shè) 備還可以包括：用戶界面電路，該用戶界面電路被配置成有助于用戶通過(guò)使用顯示器來(lái)控 制該設(shè)備的至少一些功能并且使該設(shè)備的用戶界面的至少一部分被顯示于顯示器上以有 助于用戶控制該設(shè)備的至少一些功能。
[0011] 在又一實(shí)施例中，提供一種包括至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的計(jì)算機(jī)程序產(chǎn) 品，至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行程序代碼部分，其中該計(jì)算機(jī)可 執(zhí)行程序代碼部分包括被配置為接收一系列圖像幀并且接收雷達(dá)信號(hào)序列的程序指令。這 一實(shí)施例的程序指令還被配置為通過(guò)基于圖像區(qū)域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間的 移位確定指示手勢(shì)的針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)來(lái)確定該評(píng)估分?jǐn)?shù)。這一實(shí)施例的程序 指令還被配置為通過(guò)基于雷達(dá)信號(hào)序列中的符號(hào)分布和雷達(dá)信號(hào)序列中的強(qiáng)度分布確定 指示手勢(shì)的針對(duì)雷達(dá)信號(hào)序列的評(píng)估分?jǐn)?shù)來(lái)確定該評(píng)估分?jǐn)?shù)。這一實(shí)施例的程序指令還 被配置為對(duì)評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)并且在加權(quán)之后融合評(píng)估分?jǐn)?shù)，以識(shí)別手 勢(shì)。
[0012] 根據(jù)一個(gè)實(shí)施例的計(jì)算機(jī)可執(zhí)行程序部分還可以包括被配置為通過(guò)對(duì)圖像數(shù)據(jù) 進(jìn)行下采樣以生成針對(duì)一系列圖像幀的下采樣圖像塊、從下采樣圖像塊提取多個(gè)特征并且 確定下采樣圖像塊的移動(dòng)狀態(tài)以便基于連續(xù)圖像幀中的相應(yīng)特征的值的改變確定運(yùn)動(dòng)塊 來(lái)針對(duì)一系列圖像幀確定評(píng)估分?jǐn)?shù)的程序指令。這一實(shí)施例的計(jì)算機(jī)可執(zhí)行程序部分還可 以包括被配置為基于投影直方圖的第一邊界和第二邊界的基于相應(yīng)下采樣圖像塊的移動(dòng) 狀態(tài)確定的移動(dòng)來(lái)確定手勢(shì)的運(yùn)動(dòng)方向的程序指令。
[0013] 根據(jù)一個(gè)實(shí)施例的被配置為針對(duì)一系列圖像幀確定評(píng)估分?jǐn)?shù)的程序指令可以包 括被配置為基于圖像區(qū)域中的平均運(yùn)動(dòng)塊比率確定評(píng)估分?jǐn)?shù)的程序指令。雷達(dá)信號(hào)可以具 有強(qiáng)度和符號(hào)，該強(qiáng)度取決于產(chǎn)生手勢(shì)的對(duì)象與雷達(dá)傳感器之間的距離，該符號(hào)取決于對(duì) 象相對(duì)于雷達(dá)傳感器的運(yùn)動(dòng)方向。被配置為對(duì)評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)的程序 指令可以在一個(gè)實(shí)施例中包括被配置為基于線性判別分析、Fisher判別分析或者線性支持 向量機(jī)確定將與評(píng)估分?jǐn)?shù)關(guān)聯(lián)的權(quán)重的程序指令。一個(gè)實(shí)施例的計(jì)算機(jī)可執(zhí)行程序代碼部 分還可以包括被配置為在識(shí)別手勢(shì)的實(shí)例中基于一系列圖像幀確定手勢(shì)的運(yùn)動(dòng)方向的程 序指令。
[0014] 在再另一個(gè)實(shí)施例中，提供一種設(shè)備，該設(shè)備包括用于接收一系列圖像幀的裝置 和用于接收雷達(dá)信號(hào)序列的裝置。這一實(shí)施例的該設(shè)備還包括用于確定指示手勢(shì)的針對(duì)一 系列圖像幀的評(píng)估分?jǐn)?shù)的裝置。就這一點(diǎn)而言，用于確定評(píng)估分?jǐn)?shù)的裝置可以基于圖像區(qū) 域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間的移位確定評(píng)估分?jǐn)?shù)。這一實(shí)施例的該設(shè)備還包括用 于確定作為手勢(shì)的指示的針對(duì)雷達(dá)信號(hào)序列的評(píng)估分?jǐn)?shù)的裝置。就這一點(diǎn)而言，用于確定 評(píng)估分?jǐn)?shù)的裝置可以基于序列中的符號(hào)分布和序列中的強(qiáng)度分布確定評(píng)估分?jǐn)?shù)。這一實(shí)施 例的該設(shè)備還包括用于對(duì)評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)的裝置和用于在加權(quán)之后 融合評(píng)估分?jǐn)?shù)以識(shí)別手勢(shì)的裝置。

【專利附圖】

【附圖說(shuō)明】
[0015] 因此已經(jīng)概括地描述了本發(fā)明的某些示例實(shí)施例，現(xiàn)在將參照附圖，附圖未必按 比例繪制并且在附圖中：
[0016] 圖1是根據(jù)本發(fā)明的一示例實(shí)施例的用于基于來(lái)自至少兩個(gè)傳感器的信號(hào)識(shí)別 手勢(shì)的設(shè)備的框圖；
[0017] 圖2是根據(jù)本發(fā)明的一示例實(shí)施例執(zhí)行的操作的流程圖；
[0018] 圖3是為了評(píng)估一系列圖像幀而執(zhí)行的操作的流程圖；
[0019] 圖4圖示了均包括多個(gè)運(yùn)動(dòng)塊的三個(gè)連續(xù)圖像幀，其中圖像幀在圖像幀之間從右 向左移位；
[0020] 圖5是相對(duì)于如根據(jù)本發(fā)明的一示例實(shí)施例的設(shè)備所限定的顯示平面的各種手 勢(shì)的圖示；以及
[0021] 圖6是相對(duì)于雷達(dá)傳感器的手勢(shì)平面的圖示。

【具體實(shí)施方式】
[0022] 現(xiàn)在將在下文參照附圖更充分地描述本發(fā)明的一些實(shí)施例，在附圖中示出了本發(fā) 明的一些、但是并非所有實(shí)施例。實(shí)際上，本發(fā)明的各種實(shí)施例可以用許多不同形式來(lái)體現(xiàn) 并且不應(yīng)被解釋為限于本文所闡述的實(shí)施例；相反地，提供這些實(shí)施例使得本公開將滿足 適用法律要求。在全部?jī)?nèi)容中相似附圖標(biāo)記指代相似元件。如這里所用的，術(shù)語(yǔ)"數(shù)據(jù)"、 "內(nèi)容"、"信息"和相似術(shù)語(yǔ)可以可互換地用來(lái)指代能夠根據(jù)本發(fā)明的實(shí)施例被發(fā)送、接收 和/或存儲(chǔ)的數(shù)據(jù)。因此，使用任何這樣的術(shù)語(yǔ)不應(yīng)被理解為限制本發(fā)明的實(shí)施例的精神 和范圍。
[0023] 另外地，如本文所用的，術(shù)語(yǔ)'電路'指代（a)僅硬件電路實(shí)現(xiàn)方式（例如模擬電路 和/或數(shù)字電路中的實(shí)現(xiàn)方式）；(b)電路與計(jì)算機(jī)程序產(chǎn)品的組合，該計(jì)算機(jī)程序產(chǎn)品包 括在一個(gè)或者多個(gè)計(jì)算機(jī)可讀存儲(chǔ)器上存儲(chǔ)的軟件和/或固件指令，這些電路與計(jì)算機(jī)程 序產(chǎn)品一起工作以使設(shè)備執(zhí)行本文描述的一個(gè)或者多個(gè)功能；以及（c)電路、例如微處理 器或者微處理器的部分，這些電路需要用于操作的軟件或者固件，即使該軟件或者固件未 在物理上存在也是如此。'電路'的這一定義適用于這一術(shù)語(yǔ)在本文、包括在任何權(quán)利要求 中的所有使用。作為另一示例，如本文所用的，術(shù)語(yǔ)'電路'還包括如下實(shí)現(xiàn)方式，該實(shí)現(xiàn)方 式包括一個(gè)或者多個(gè)處理器和/或其部分以及附隨的軟件和/或固件。作為另一示例，如 本文所用的術(shù)語(yǔ)'電路'還例如包括用于移動(dòng)電話的基帶集成電路或者應(yīng)用處理器集成電 路或者在服務(wù)器、蜂窩網(wǎng)絡(luò)設(shè)備、其它網(wǎng)絡(luò)設(shè)備、和/或其它計(jì)算設(shè)備中的相似集成電路。
[0024] 如本文所定義的，指代非瞬態(tài)物理存儲(chǔ)介質(zhì)（例如易失性或者非易失性存儲(chǔ)器設(shè) 備）的"計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)"可以有別于指代電磁信號(hào)的"計(jì)算機(jī)可讀傳輸介質(zhì)"。
[0025] 如以下描述的，提供一種允許基于多個(gè)且不同類型的傳感器信號(hào)的融合識(shí)別手 勢(shì)、諸如揮手的方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品。例如，一個(gè)實(shí)施例的該方法、設(shè)備和計(jì)算機(jī)程 序產(chǎn)品可以基于來(lái)自相機(jī)或者其它圖像捕獲設(shè)備的傳感器信號(hào)和來(lái)自雷達(dá)傳感器的傳感 器信號(hào)的融合識(shí)別手勢(shì)。如以下描述的，在一個(gè)示例實(shí)施例中，可以如圖1中所示配置可以 基于傳感器信號(hào)的融合識(shí)別手勢(shì)的設(shè)備。盡管可以在移動(dòng)終端，諸如便攜數(shù)字助理（PDA)、 移動(dòng)電話、尋呼機(jī)、移動(dòng)電視、游戲設(shè)備、膝上型計(jì)算機(jī)、相機(jī)、平板計(jì)算機(jī)、觸摸表面、可佩 戴設(shè)備、視頻記錄器、音頻/視頻播放器、無(wú)線電、電子書、定位設(shè)備（例如全球定位系統(tǒng) (GPS)設(shè)備）或者前述移動(dòng)終端的任何組合，以及其它類型的語(yǔ)音和文本通信系統(tǒng)中體現(xiàn) 圖1的設(shè)備，但是應(yīng)當(dāng)注意的是，也可以在移動(dòng)和固定的各種其它設(shè)備中體現(xiàn)圖1的設(shè)備， 并且因此本發(fā)明的實(shí)施例不應(yīng)限于在移動(dòng)終端上應(yīng)用。
[0026] 也應(yīng)當(dāng)注意的是，盡管圖1圖示了用于基于傳感器信號(hào)的融合識(shí)別手勢(shì)的設(shè)備10 的配置的一個(gè)實(shí)施例，但是許多其它配置也可以用來(lái)實(shí)施本發(fā)明的實(shí)施例。因此，在一些實(shí) 施例中，雖然設(shè)備或者元件被示出為相互通信，但是在下文中應(yīng)當(dāng)認(rèn)為這樣的設(shè)備或者元 件能夠被體現(xiàn)于相同設(shè)備或者元件內(nèi)，因此應(yīng)當(dāng)理解被示出處于通信的設(shè)備或者元件另選 地是相同設(shè)備或者元件的部分。
[0027] 現(xiàn)在參照?qǐng)D1，用于基于傳感器信號(hào)的融合識(shí)別手勢(shì)的設(shè)備10可以包括處理器 12、存儲(chǔ)器14、通信接口 16以及可選地包括用戶界面18或者以其他方式與它們通信。在一 些實(shí)施例中，處理器12(和/或輔助處理器或者以其他方式與處理器關(guān)聯(lián)的協(xié)同處理器或 者任何其它處理電路）可以經(jīng)由用于在設(shè)備10的部件之中傳遞信息的總線與存儲(chǔ)器14通 信。存儲(chǔ)器14可以例如包括一個(gè)或者多個(gè)易失性和/或非易失性存儲(chǔ)器。換言之，例如，存 儲(chǔ)器14可以是包括門的電子存儲(chǔ)設(shè)備（例如計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)），這些門被配置為存儲(chǔ) 通過(guò)機(jī)器（例如計(jì)算設(shè)備、諸如處理器12)可以可取回的數(shù)據(jù)（例如，位）。存儲(chǔ)器14可以 被配置為存儲(chǔ)用于使設(shè)備10能夠根據(jù)本發(fā)明的一示例實(shí)施例執(zhí)行各種功能的信息、數(shù)據(jù)、 內(nèi)容、應(yīng)用、指令等。例如，存儲(chǔ)器14可以被配置為緩沖用于由處理器12處理的輸入數(shù)據(jù)。 另外地或者另選地，存儲(chǔ)器14可以被配置為存儲(chǔ)用于由處理器12執(zhí)行的指令。
[0028] 設(shè)備10在一些實(shí)施例中可以是被配置為采用本發(fā)明的一示例實(shí)施例的用戶終端 (例如，移動(dòng)終端）或者固定通信設(shè)備或者計(jì)算設(shè)備。然而，在一些實(shí)施例中，設(shè)備10或者 至少該設(shè)備的部件、諸如處理器12可以被體現(xiàn)為芯片或者芯片組。換言之，設(shè)備10可以包 括一個(gè)或者多個(gè)物理封裝（例如，芯片），該一個(gè)或者多個(gè)物理封裝包括在結(jié)構(gòu)組件（例如， 基板）上的材料、部件和/或線。結(jié)構(gòu)組件可以為在其上包括的部件電路提供物理強(qiáng)度、尺 寸守恒和/或電相互作用的限制。設(shè)備10因此可以在一些情況下被配置為在單個(gè)芯片上 或者作為單個(gè)"芯片上的系統(tǒng)"實(shí)施本發(fā)明的一實(shí)施例。因此，在一些情況下，芯片或者芯 片組可以構(gòu)成用于執(zhí)行一個(gè)或者多個(gè)操作以提供本文所述的功能性的裝置。
[0029] 可以用多個(gè)不同方式體現(xiàn)處理器12。例如，處理器12可以被體現(xiàn)為各種硬件處 理裝置中的一個(gè)或多個(gè)硬件處理裝置，，諸如協(xié)同處理器、微處理器、控制器、數(shù)字信號(hào)處理 器（DSP)、有或者無(wú)附帶DSP的處理元件，或者各種其它處理電路，這些其它處理電路包括 集成電路，諸如ASIC(專用集成電路）、FPGA (現(xiàn)場(chǎng)可編程門陣列）、微控制器單元（MCU)、硬 件加速器、專用計(jì)算機(jī)芯片等。因此，在一些實(shí)施例中，處理器12可以包括被配置為獨(dú)立執(zhí) 行的一個(gè)或者多個(gè)處理核心。多核心處理器可以在單個(gè)物理封裝內(nèi)實(shí)現(xiàn)多處理。另外地或 者另選地，處理器12可以包括經(jīng)由總線被串接配置以能夠獨(dú)立執(zhí)行指令、流水線操作和/ 或多線程的一個(gè)或者多個(gè)處理器。
[0030] 在一示例實(shí)施例中，處理器22可以被配置為執(zhí)行存儲(chǔ)器14中所存儲(chǔ)的或者以其 他方式對(duì)于處理器可訪問(wèn)的指令。另選地或者另外地，處理器12可以被配置為執(zhí)行硬編碼 的功能。因此，無(wú)論是通過(guò)硬件或軟件方法，或者通過(guò)其組合來(lái)配置，處理器12都可以代表 能夠在被因此配置時(shí)根據(jù)本發(fā)明的一個(gè)實(shí)施例執(zhí)行操作的（例如在電路中物理地體現(xiàn)的） 實(shí)體。因此，例如，在處理器12被體現(xiàn)為ASIC、FPGA等時(shí)，處理器可以是用于進(jìn)行本文描 述的操作的特定配置的硬件?？蛇x地，作為另一示例，在處理器12被體現(xiàn)為軟件指令的執(zhí) 行器時(shí)，指令可以特定配置處理器12以在執(zhí)行指令時(shí)履行本文描述的算法和/或操作。然 而，在一些情況下，處理器12可以是特定設(shè)備（例如，移動(dòng)終端）的處理器，該處理器被配 置為通過(guò)按照指令進(jìn)一步配置處理器12來(lái)采用本發(fā)明的一個(gè)實(shí)施例，這些指令用于執(zhí)行 本文描述的算法和/或操作。除了其他部件以外，處理器12可以包括被配置為支持處理器 的操作的時(shí)鐘、算術(shù)邏輯單元（ALU)和邏輯門。
[0031] 同時(shí)，通信接口 16可以是在硬件或者硬件與軟件的組合中體現(xiàn)的任何裝置、諸如 設(shè)備或者電路，該裝置被配置為從/向與設(shè)備10通信的網(wǎng)絡(luò)和/或任何其它設(shè)備或者模塊 接收和/或傳輸數(shù)據(jù)。就這一點(diǎn)而言，通信接口 16可以例如包括用于實(shí)現(xiàn)與無(wú)線通信網(wǎng)絡(luò) 的通信的天線（或者多個(gè)天線）以及支持硬件和/或軟件。另外地或者另選地，通信接口 16可以包括用于與天線交互以引起經(jīng)由天線傳輸信號(hào)或者處置經(jīng)由天線接收的信號(hào)的接 收的電路。在一些環(huán)境中，通信接口 16可以可選地或者也支持有線通信。因此，例如，通信 接口 16可以包括用于支持經(jīng)由線纜、數(shù)字用戶線（DSL)、通用串行總線（USB)或者其它機(jī)構(gòu) 的通信的通信調(diào)制解調(diào)器和/或其它硬件/軟件。
[0032] 在一些實(shí)施例、諸如其中設(shè)備10由用戶設(shè)備體現(xiàn)的實(shí)例中，該設(shè)備可以包括用戶 界面18,該用戶界面繼而可以與處理器12通信以接收用戶輸入的指示和/或引起向用戶 提供可聽、可視、機(jī)械或者其它輸出。因此，用戶界面18可以例如包括鍵盤、鼠標(biāo)、操縱桿、 顯示器、觸屏、觸摸區(qū)域、軟鍵、麥克風(fēng)、揚(yáng)聲器或者其它輸入/輸出機(jī)構(gòu)。另外地或者另選 地，處理器12可以包括被配置為控制一個(gè)或者多個(gè)用戶界面元件、諸如揚(yáng)聲器、振鈴器、麥 克風(fēng)、顯示器等的至少一些功能的用戶界面電路。處理器12和/或包括處理器的用戶界面 電路可以被配置為通過(guò)在對(duì)于處理器可訪問(wèn)的存儲(chǔ)器（例如，存儲(chǔ)器14,和/或等等）上存 儲(chǔ)的計(jì)算機(jī)程序指令（例如，軟件和/或固件）控制一個(gè)或者多個(gè)用戶界面元件的一個(gè)或 者多個(gè)功能。然而在其它實(shí)施例中，設(shè)備10可以未包括用戶界面18。
[0033] 設(shè)備10可以包括被配置為捕獲包括手勢(shì)、諸如揮手的圖像的一系列圖像幀的相 機(jī)20或者其它圖像捕獲元件或者以其他方式與該相機(jī)20或其它圖像捕獲元件關(guān)聯(lián)或者通 信。在一個(gè)示例實(shí)施例中，相機(jī)20與處理器12通信。如上所述，相機(jī)20可以是用于捕獲 圖像以分析、顯示和/或傳輸?shù)娜魏窝b置。例如，相機(jī)20可以包括能夠從捕獲的圖像形成 數(shù)字圖像文件的數(shù)碼相機(jī)。因此，相機(jī)20包括為了從捕獲的圖像創(chuàng)建數(shù)字圖像文件而必需 的所有硬件、諸如透鏡或者其它光學(xué)器件以及軟件?？蛇x地，相機(jī)20可以僅包括為了觀看 圖像而需要的硬件，而存儲(chǔ)器14存儲(chǔ)呈為了從捕獲的圖像創(chuàng)建數(shù)字圖像文件而必需的軟 件的形式的用于由處理器12執(zhí)行的指令。在一個(gè)示例實(shí)施例中，相機(jī)20還可以包括輔助 處理器12處理圖像數(shù)據(jù)的處理元件、諸如協(xié)同處理器以及用于壓縮和/或解壓圖像數(shù)據(jù)的 編碼器和/或解碼器。編碼器和/或解碼器可以根據(jù)聯(lián)合圖像專家組（JPEG)標(biāo)準(zhǔn)格式編 碼和/或解碼?？梢栽诖鎯?chǔ)器14中存儲(chǔ)記錄的圖像以用于將來(lái)觀看和/或操縱。
[0034] 設(shè)備10也可以包括被配置為捕獲雷達(dá)信號(hào)序列的雷達(dá)處理器22或者以其他方式 與雷達(dá)處理器關(guān)聯(lián)或者通信，該雷達(dá)信號(hào)序列指示對(duì)象，諸如產(chǎn)生手勢(shì)（諸如揮手）的用戶 的手的存在和移動(dòng)。雷達(dá)支持對(duì)象檢測(cè)系統(tǒng)，該對(duì)象檢測(cè)系統(tǒng)利用電磁波、諸如無(wú)線電波以 檢測(cè)對(duì)象的存在、它們的移動(dòng)速度和方向、以及它們距雷達(dá)傳感器22的范圍。從對(duì)象彈回、 例如反射的發(fā)射波被雷達(dá)傳感器22檢測(cè)到。在一些雷達(dá)系統(tǒng)中，可以基于發(fā)射波與反射波 之間的時(shí)間差確定至對(duì)象的范圍。另外，可以通過(guò)檢測(cè)多普勒頻移來(lái)檢測(cè)對(duì)象朝著或者遠(yuǎn) 離雷達(dá)傳感器22的移動(dòng)。此外，可以通過(guò)具有兩個(gè)或者更多接收器信道的雷達(dá)傳感器22 借助角度估計(jì)方法、例如波束成形來(lái)確定至對(duì)象的方向。雷達(dá)傳感器22可以由多種雷達(dá)設(shè) 備，諸如多普勒雷達(dá)系統(tǒng)、調(diào)頻連續(xù)波（FMCW)雷達(dá)或者脈沖/超寬帶雷達(dá)中的任何雷達(dá)設(shè) 備體現(xiàn)。
[0035] 可以參照?qǐng)D2的流程圖描述由一個(gè)示例實(shí)施例的方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品執(zhí) 行的操作。就這一點(diǎn)而言，圖2的塊30圖示了設(shè)備10可以包括用于接收一系列圖像幀的 裝置，諸如圖像捕獲設(shè)備，例如相機(jī)20、處理器12等。就這一點(diǎn)而言，一系列圖像幀可以是 一系列連續(xù)的圖像幀。如圖2的塊32中所示，這一實(shí)施例的設(shè)備10還可以包括用于接收 雷達(dá)信號(hào)序列的裝置，諸如雷達(dá)傳感器22、處理器12等。雷達(dá)傳感器22和圖像捕獲設(shè)備 (諸如相機(jī)20) -般同時(shí)操作并且通常具有公共視野，使得所得圖像幀和雷達(dá)信號(hào)提供關(guān) 于相同手勢(shì)的信息。
[0036] 然后可以處理一系列圖像幀和雷達(dá)信號(hào)序列，并且可以針對(duì)一系列圖像幀和針對(duì) 雷達(dá)信號(hào)序列確定相應(yīng)評(píng)估分?jǐn)?shù)。就這一點(diǎn)而言，針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)可以指示 手勢(shì)，這是因?yàn)樵u(píng)估分?jǐn)?shù)提供關(guān)于在一系列圖像幀內(nèi)識(shí)別手勢(shì)的可能性的指示。相似地，針 對(duì)雷達(dá)信號(hào)序列確定的評(píng)估分?jǐn)?shù)提供關(guān)于在雷達(dá)信號(hào)序列內(nèi)識(shí)別手勢(shì)的可能性的指示。
[0037] 就這一點(diǎn)而言并且如圖2的塊34中所示，設(shè)備10還可以包括用于確定指示手勢(shì) 的針對(duì)一系列圖像幀的評(píng)估分?jǐn)?shù)的裝置，諸如處理器12等。就這一點(diǎn)而言，針對(duì)一系列圖 像幀確定評(píng)估分?jǐn)?shù)可以基于圖像區(qū)域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間的移位。為了針對(duì) 一系列圖像幀確定評(píng)估分?jǐn)?shù)，一個(gè)實(shí)施例的設(shè)備10,諸如處理器12可以執(zhí)行運(yùn)動(dòng)塊分析以 便識(shí)別圖像區(qū)域中的運(yùn)動(dòng)塊其中運(yùn)動(dòng)塊然后被用來(lái)確定評(píng)估分?jǐn)?shù)。盡管可以根據(jù)各種技術(shù) 分析圖像幀并且識(shí)別運(yùn)動(dòng)塊，但是一個(gè)實(shí)施例的設(shè)備10,諸如處理器12可以以圖3中圖示 的和在以下描述的方式識(shí)別圖像區(qū)域中的運(yùn)動(dòng)塊。
[0038] 就這一點(diǎn)而言并且如圖3中所示，可以如圖3中的虛線塊所示接收輸入數(shù)據(jù)序列 (例如圖3中的η至n-3所示）以用于預(yù)處理。預(yù)處理可以一般包括操作50處的下采樣和 操作52處的特征提?。ɡ缰饓K特征提?。┑牟僮鳌Ｔ谔卣魈崛≈?，可以在操作54處 關(guān)于各種不同特征（例如特征F n、Fn_i、Fn_2、Fn_ 3等）中的每個(gè)特征進(jìn)行移動(dòng)塊估計(jì)。此后， 在操作56處，可以基于投影直方圖執(zhí)行運(yùn)動(dòng)檢測(cè)。在一些實(shí)施例中，可以針對(duì)各種不同的 運(yùn)動(dòng)方向（例如，完全水平或者〇度運(yùn)動(dòng)、45度運(yùn)動(dòng)、135度運(yùn)動(dòng)和/或可以遇到的任何其 它適當(dāng)或者預(yù)期方向）計(jì)算直方圖。在操作58處，可以精化結(jié)果以驗(yàn)證檢測(cè)結(jié)果。在一個(gè) 示例實(shí)施例中，可以在操作62處利用色直方圖分析以輔助結(jié)果精化。此后，在操作60處， 可以識(shí)別有效手勢(shì)（例如揮手）。
[0039] 在一些實(shí)施例中，預(yù)處理可以包括如以上指示的下采樣以便減少可以以其他方式 由逐像素噪聲引起的影響。在一個(gè)示例實(shí)施例中，可以對(duì)每個(gè)輸入圖像進(jìn)行平滑和下采樣 使得可以向下采樣圖像的對(duì)應(yīng)像素分配預(yù)定數(shù)目的像素（例如具有4個(gè)像素高度的補(bǔ)丁） 的平均值。因此，在示例中，工作分辨率將是輸入分辨率的1/16。在示例情況下，對(duì)于工作 圖像Fi，」，其中1 < i <H，1 < j <W，其中W和Η分別是圖像的寬度和高度，如果給定長(zhǎng)度 λ (在一個(gè)示例中為10)，可以將圖像分割成ΜΧΝ個(gè)方塊Zi;j，而1彡i 并且1彡j彡Ν， 其中Μ = Η/ λ并且N = W/ λ，則對(duì)于每個(gè)塊，可以關(guān)于描述下采樣圖像內(nèi)的像素值的紅色、 綠色和藍(lán)色通道計(jì)算各種統(tǒng)計(jì)特性。然后可以從下采樣圖像提取多個(gè)特征。在一個(gè)示例實(shí) 施例中，可以計(jì)算以下6個(gè)統(tǒng)計(jì)特性（或者特征），包括：亮度的均值L、亮度的方差LV、紅 色通道的均值R、綠色通道的均值G、藍(lán)色通道的均值Β和歸一化的紅色通道的均值NR?？?以如下面的公式1中所示計(jì)算歸一化的紅色值：
[0040] nr = 255*r/ (r+g+b) (1)
[0041] 其r、g和b分別是原有三個(gè)通道的值。一個(gè)示例實(shí)施例已經(jīng)示出歸一化的紅色值 可以經(jīng)常是可以用來(lái)近似地描述在電話相機(jī)環(huán)境中的皮膚顏色的最簡(jiǎn)單值。正常地，對(duì)于 圖像中的典型皮膚區(qū)域（例如手部和/或臉部），歸一化的紅色值與背景對(duì)象的那些值比較 將是相當(dāng)大的值。
[0042] 然后可以關(guān)于與在以上描述的示例中提取的6個(gè)統(tǒng)計(jì)特性（或者特征）對(duì)應(yīng)的數(shù) 據(jù)執(zhí)行移動(dòng)塊估計(jì)。對(duì)于手勢(shì)檢測(cè)，諸如揮手檢測(cè)，可以通過(guò)校查在當(dāng)前幀和先前幀的塊之 間的改變來(lái)確定塊的移動(dòng)狀態(tài)。
[0043] 更具體而言，如果以下條件成立則可以將塊Zi;j，t(其中t表示幀的索引）視為移 動(dòng)塊：
[0044] (1) | Li;y-Li，」，t-l | > Θ i或者NRut-NRwH > Θ 2。這一條件強(qiáng)調(diào)在連續(xù)幀之間的 差值。
[0045] (2)LVu' Θ 3。這一條件基于手部區(qū)域通常具有均勻顏色分布的事實(shí)。
[0046] (3)RiJt>04
[0047]⑷ Ri, t> Θ 5*Gi, t 并且 Ri, t> Θ 5*Bi,丄 t
[0048] (5) Ri;」，t> Θ 6*Gi;」，t 或者 Ri;」，t> Θ 6*Bi; J; t
[0049] 注意條件（3-5)表明紅色通道與藍(lán)色和綠色通道比較通常具有相對(duì)更大值。
[0050] (6) Θ 7 < Li;j;t < Θ 8。這是用于丟棄最明顯背景對(duì)象的經(jīng)驗(yàn)條件。在一個(gè)示例實(shí) 施例中，可以分別將以上Θ廠Θ 8設(shè)置為15、10、30、10、0. 6、0. 8、10和240。
[0051] 圖4圖示了根據(jù)一個(gè)示例實(shí)施例的采樣圖像序列和對(duì)應(yīng)圖像結(jié)果?；诓蓸訄D像 序列，然后可以進(jìn)行移動(dòng)塊（例如在圖4的每個(gè)差分圖像中的白色塊）的確定，使得可以 確定一系列直方圖以圖示手部從圖像的右側(cè)向圖像的左側(cè)的移動(dòng)。就這一點(diǎn)而言，圖4描 繪了具有在t、t-1、t-2、t-3和t-4捕獲的移動(dòng)塊的五個(gè)圖像幀的序列以及對(duì)應(yīng)堅(jiān)直直方 圖?？梢栽谝恍┣闆r下精化運(yùn)動(dòng)檢測(cè)，這是因?yàn)槭植康膮^(qū)域通?？梢源笥趬K大小。就這一 點(diǎn)而言，例如移動(dòng)塊可以基于它們的拓?fù)浔贿M(jìn)一步精化。在一個(gè)示例實(shí)施例中，在其8個(gè)連 接塊鄰域中無(wú)任何移動(dòng)塊的塊可以視為非移動(dòng)塊。因此，例如，在具有用于當(dāng)前幀的移動(dòng)塊 = {ZilMovO = 1}的情況下，其中Mov(Z) = 1意指塊Z是移動(dòng)塊，可以采用直方圖分 析以確定不同類型的手勢(shì)（例如不同類型的揮手，諸如左到右、上到下、前到后或者反之亦 然）。然而，以下描述用于左到右檢測(cè)的具體示例；可以基于所示示例推導(dǎo)用于在其它類型 的情況下采用的修改。對(duì)于右揮手，可以計(jì)算Ν維堅(jiān)直投影直方圖為：
[0052]

【權(quán)利要求】
1. 一種方法，包括： 接收一系列圖像幀； 接收雷達(dá)信號(hào)序列； 確定指示手勢(shì)的針對(duì)所述一系列圖像幀的評(píng)估分?jǐn)?shù)，其中確定所述評(píng)估分?jǐn)?shù)包括基于 圖像區(qū)域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間的移位確定所述評(píng)估分?jǐn)?shù)； 確定指示所述手勢(shì)的針對(duì)所述雷達(dá)信號(hào)序列的評(píng)估分?jǐn)?shù)，其中確定所述評(píng)估分?jǐn)?shù)包括 基于所述序列中的符號(hào)分布和所述序列中的強(qiáng)度分布確定所述評(píng)估分?jǐn)?shù)； 對(duì)所述評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)；以及 在所述加權(quán)之后融合所述評(píng)估分?jǐn)?shù)以識(shí)別所述手勢(shì)。
2. 根據(jù)權(quán)利要求1所述的方法，其中確定針對(duì)所述一系列圖像幀的所述評(píng)估分?jǐn)?shù)包 括： 對(duì)圖像數(shù)據(jù)進(jìn)行下采樣以生成針對(duì)所述一系列圖像幀的下采樣圖像塊； 從所述下采樣圖像塊提取多個(gè)特征；以及 確定所述下采樣圖像塊的移動(dòng)狀態(tài)以便基于連續(xù)圖像幀中的相應(yīng)特征的值的改變確 定所述運(yùn)動(dòng)塊。
3. 根據(jù)權(quán)利要求2所述的方法，還包括基于投影直方圖的第一邊界和第二邊界的基于 相應(yīng)下采樣圖像塊的所述移動(dòng)狀態(tài)確定的移動(dòng)來(lái)確定所述手勢(shì)的運(yùn)動(dòng)方向。
4. 根據(jù)權(quán)利要求1-3中的任一權(quán)利要求所述的方法，其中確定針對(duì)所述一系列圖像幀 的評(píng)估分?jǐn)?shù)包括基于所述圖像區(qū)域中的平均運(yùn)動(dòng)塊比率確定所述評(píng)估分?jǐn)?shù)。
5. 根據(jù)權(quán)利要求1-4中的任一權(quán)利要求所述的方法，其中所述雷達(dá)信號(hào)的幅值取決于 產(chǎn)生所述手勢(shì)的對(duì)象與雷達(dá)傳感器之間的距離，并且與所述雷達(dá)信號(hào)關(guān)聯(lián)的符號(hào)取決于所 述對(duì)象相對(duì)于所述雷達(dá)傳感器的運(yùn)動(dòng)方向。
6. 根據(jù)權(quán)利要求1-5中的任一權(quán)利要求所述的方法，其中對(duì)所述評(píng)估分?jǐn)?shù)中的每個(gè)評(píng) 估分?jǐn)?shù)進(jìn)行加權(quán)包括基于線性判別分析、Fisher判別分析或者線性支持向量機(jī)確定將與所 述評(píng)估分?jǐn)?shù)關(guān)聯(lián)的權(quán)重。
7. 根據(jù)權(quán)利要求1-6中的任一權(quán)利要求所述的方法，還包括在識(shí)別所述手勢(shì)的實(shí)例中 基于所述一系列圖像幀確定所述手勢(shì)的運(yùn)動(dòng)方向。
8. -種設(shè)備，包括至少一個(gè)處理器和包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，其中所 述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置成，通過(guò)所述處理器，使所述設(shè)備： 接收一系列圖像幀； 接收雷達(dá)信號(hào)序列； 通過(guò)基于圖像區(qū)域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間的移位確定指示手勢(shì)的針對(duì)所 述一系列圖像幀的評(píng)估分?jǐn)?shù)來(lái)確定所述評(píng)估分?jǐn)?shù)； 通過(guò)基于所述序列中的符號(hào)分布和所述序列中的強(qiáng)度分布確定指示所述手勢(shì)的針對(duì) 所述雷達(dá)信號(hào)序列的評(píng)估分?jǐn)?shù)來(lái)確定所述評(píng)估分?jǐn)?shù)； 對(duì)所述評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)；并且 在所述加權(quán)之后融合所述評(píng)估分?jǐn)?shù)以識(shí)別所述手勢(shì)。
9. 根據(jù)權(quán)利要求8所述的設(shè)備，其中所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配 置成，通過(guò)所述處理器，使所述設(shè)備通過(guò)以下操作確定針對(duì)所述一系列圖像幀的所述評(píng)估 分?jǐn)?shù)： 對(duì)圖像數(shù)據(jù)進(jìn)行下采樣以生成針對(duì)所述一系列圖像幀的下采樣圖像塊； 從所述下采樣圖像塊提取多個(gè)特征；以及 確定所述下采樣圖像塊的移動(dòng)狀態(tài)以便基于連續(xù)圖像幀中的相應(yīng)特征的值的改變確 定所述運(yùn)動(dòng)塊。
10. 根據(jù)權(quán)利要求9所述的設(shè)備，其中所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼還 被配置成，通過(guò)所述處理器，使所述設(shè)備基于投影直方圖的第一邊界和第二邊界的基于相 應(yīng)下采樣圖像塊的所述移動(dòng)狀態(tài)確定的移動(dòng)來(lái)確定所述手勢(shì)的運(yùn)動(dòng)方向。
11. 根據(jù)權(quán)利要求8-10中的任一權(quán)利要求所述的設(shè)備，其中所述至少一個(gè)存儲(chǔ)器和所 述計(jì)算機(jī)程序代碼還被配置成，通過(guò)所述處理器，使所述設(shè)備通過(guò)基于所述圖像區(qū)域中的 平均運(yùn)動(dòng)塊比率確定針對(duì)所述一系列圖像幀的評(píng)估分?jǐn)?shù)來(lái)確定所述評(píng)估分?jǐn)?shù)。
12. 根據(jù)權(quán)利要求8-11中的任一權(quán)利要求所述的設(shè)備，其中所述雷達(dá)信號(hào)的幅值取決 于產(chǎn)生所述手勢(shì)的對(duì)象與雷達(dá)傳感器之間的距離，并且與所述雷達(dá)信號(hào)關(guān)聯(lián)的符號(hào)取決于 所述對(duì)象相對(duì)于所述雷達(dá)傳感器的運(yùn)動(dòng)方向。
13. 根據(jù)權(quán)利要求8-12中的任一權(quán)利要求所述的設(shè)備，其中所述至少一個(gè)存儲(chǔ)器和所 述計(jì)算機(jī)程序代碼被配置成，通過(guò)所述處理器，使所述設(shè)備通過(guò)基于線性判別分析、Fisher 判別分析或者線性支持向量機(jī)確定將與所述評(píng)估分?jǐn)?shù)關(guān)聯(lián)的權(quán)重來(lái)對(duì)所述評(píng)估分?jǐn)?shù)中的 每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)。
14. 根據(jù)權(quán)利要求8-13中的任一權(quán)利要求所述的設(shè)備，其中所述至少一個(gè)存儲(chǔ)器和所 述計(jì)算機(jī)程序代碼還被配置成，通過(guò)所述處理器，使所述設(shè)備在識(shí)別所述手勢(shì)的實(shí)例中基 于所述一系列圖像幀確定所述手勢(shì)的運(yùn)動(dòng)方向。
15. 根據(jù)權(quán)利要求8-14中的任一權(quán)利要求所述的設(shè)備，還包括：用戶界面電路，其被配 置成： 有助于用戶通過(guò)使用顯示器來(lái)控制所述設(shè)備的至少一些功能；并且 使所述設(shè)備的用戶界面的至少一部分顯示于所述顯示器上以有助于用戶控制所述設(shè) 備的至少一些功能。
16. -種包括至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，所述至少一個(gè)計(jì)算機(jī) 可讀存儲(chǔ)介質(zhì)具有在其中存儲(chǔ)的計(jì)算機(jī)可執(zhí)行程序代碼部分，所述計(jì)算機(jī)可執(zhí)行程序代碼 部分包括被配置成執(zhí)行以下操作的程序指令： 接收一系列圖像幀； 接收雷達(dá)信號(hào)序列； 通過(guò)基于圖像區(qū)域中的運(yùn)動(dòng)塊和運(yùn)動(dòng)塊在圖像幀之間的移位確定指示手勢(shì)的針對(duì)所 述一系列圖像幀的評(píng)估分?jǐn)?shù)來(lái)確定所述評(píng)估分?jǐn)?shù)； 通過(guò)基于所述序列中的符號(hào)分布和所述序列中的強(qiáng)度分布確定指示所述手勢(shì)的針對(duì) 所述雷達(dá)信號(hào)序列的評(píng)估分?jǐn)?shù)來(lái)確定所述評(píng)估分?jǐn)?shù)； 對(duì)所述評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)；以及 在所述加權(quán)之后融合所述評(píng)估分?jǐn)?shù)以識(shí)別所述手勢(shì)。
17. 根據(jù)權(quán)利要求16所述的計(jì)算機(jī)程序產(chǎn)品，其中被配置成確定針對(duì)所述一系列圖像 幀的所述評(píng)估分?jǐn)?shù)的所述程序指令包括被配置成執(zhí)行以下操作的程序指令： 對(duì)圖像數(shù)據(jù)進(jìn)行下采樣以生成針對(duì)所述一系列圖像幀的下采樣圖像塊； 從所述下采樣圖像塊提取多個(gè)特征；以及 確定所述下采樣圖像塊的移動(dòng)狀態(tài)以便基于在連續(xù)圖像幀中的相應(yīng)特征的值的改變 確定所述運(yùn)動(dòng)塊。
18. 根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)可執(zhí)行程序代碼部分還 包括被配置成基于投影直方圖的第一邊界和第二邊界的基于相應(yīng)下采樣圖像塊的所述移 動(dòng)狀態(tài)確定的移動(dòng)來(lái)確定所述手勢(shì)的運(yùn)動(dòng)方向的程序指令。
19. 根據(jù)權(quán)利要求16-18中的任一權(quán)利要求所述的計(jì)算機(jī)程序產(chǎn)品，其中被配置成確 定針對(duì)所述一系列圖像幀的評(píng)估分?jǐn)?shù)的所述程序指令包括被配置成基于在所述圖像區(qū)域 中的平均運(yùn)動(dòng)塊的比率確定所述評(píng)估分?jǐn)?shù)的程序指令。
20. 根據(jù)權(quán)利要求16-19中的任一權(quán)利要求所述的計(jì)算機(jī)程序產(chǎn)品，其中所述雷達(dá)信 號(hào)的幅值取決于產(chǎn)生所述手勢(shì)的對(duì)象與雷達(dá)傳感器之間的距離，并且與所述雷達(dá)信號(hào)關(guān)聯(lián) 的符號(hào)取決于所述對(duì)象相對(duì)于所述雷達(dá)傳感器的運(yùn)動(dòng)方向。
21. 根據(jù)權(quán)利要求16-20中的任一權(quán)利要求所述的計(jì)算機(jī)程序產(chǎn)品，其中被配置成對(duì) 所述評(píng)估分?jǐn)?shù)中的每個(gè)評(píng)估分?jǐn)?shù)進(jìn)行加權(quán)的所述程序指令包括被配置成基于線性判別分 析、Fisher判別分析或者線性支持向量機(jī)確定將與所述評(píng)估分?jǐn)?shù)關(guān)聯(lián)的權(quán)重的程序指令。
22. 根據(jù)權(quán)利要求16-21中的任一權(quán)利要求所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī) 可執(zhí)行程序代碼部分還包括被配置成在識(shí)別所述手勢(shì)的實(shí)例中基于所述一系列圖像幀確 定所述手勢(shì)的運(yùn)動(dòng)方向的程序指令。
【文檔編號(hào)】G06F3/01GK104094194SQ201180076318
【公開日】2014年10月8日 申請(qǐng)日期:2011年12月9日 優(yōu)先權(quán)日:2011年12月9日
【發(fā)明者】謝曉輝, 方亦凱, 汪孔橋, T·T·勞蒂艾南 申請(qǐng)人:諾基亞公司