識別動作的方法及其裝置制造方法

文檔序號：6501954閱讀：234來源：國知局

識別動作的方法及其裝置制造方法
【專利摘要】本發(fā)明公開了一種識別動作的方法及其裝置。該方法包括：根據(jù)動作傳感器檢測到動作的發(fā)生，確定視覺傳感器采集到的當前視頻幀中包括動作；獲取包括該當前視頻幀的動作視頻幀序列；識別該動作視頻幀序列中的目標動作。根據(jù)本發(fā)明實施例的識別動作的方法及其裝置，通過視覺傳感器和動作傳感器共同識別動作，且由動作傳感器檢測到觸發(fā)動作來啟動動作識別過程，從而能夠為動作識別提供更為精確的背景和前景確定機會，提高對動作識別的識別能力和識別精度；此外，由于只有在動作傳感器檢測到觸發(fā)動作時，動作識別設備才會啟動動作識別過程，從而能夠降低由于一直進行動作識別而造成的資源消耗，提高用戶體驗。
【專利說明】識別動作的方法及其裝置

【技術領域】
[0001] 本發(fā)明實施例涉及人機交互領域，并且更具體地，涉及識別動作的方法及其裝置。

【背景技術】
[0002] 現(xiàn)有技術中，移動終端一般采用攝像頭等視覺方法來識別空間動作，例如，空間手勢，然而，基于視覺的方法計算復雜度高，由于沒有基準畫面，所以很難區(qū)分背景和前景，人手與人臉可能重合難辨，因此識別準確度較低。此外，移動終端（包括視覺攝像頭）可能經常移動，會給視覺識別帶來很大困難。如果移動終端長期保持待機識別狀態(tài)，會極大地耗費其能量消耗，用戶體驗較差。

【發(fā)明內容】

[0003] 本發(fā)明實施例提供了一種識別動作的方法及其裝置，能夠提高動作識別能力和識別精度。
[0004] 第一方面，提供了一種識別動作的方法，包括：根據(jù)動作傳感器檢測到動作的發(fā) 生，確定視覺傳感器采集到的當前視頻幀中包括動作；獲取包括該當前視頻幀的動作視頻幀序列；識別該動作視頻幀序列中的目標動作。
[0005] 結合第一方面，在第一種可能的實現(xiàn)方式中，該識別該動作視頻幀序列中的目標動作，包括：獲取Μ個靜態(tài)視頻巾貞，該Μ個靜態(tài)視頻巾貞與該動作視頻巾貞序列的間隔采集時間不超過第一預設閾值，Μ為大于一的整數(shù)；根據(jù)該Μ個靜態(tài)視頻幀，確定該動作視頻幀序列的目標背景幀；根據(jù)該目標背景幀，識別該動作視頻幀序列中的目標動作。
[0006] 結合第一方面的第一種可能的實現(xiàn)方式，在第二種可能的實現(xiàn)方式中，該根據(jù)該Μ 個靜態(tài)視頻幀，確定該動作視頻幀序列的目標背景幀，包括：確定該Μ個靜態(tài)視頻幀的設備運動信息，該靜態(tài)視頻幀的設備運動信息用于表示動作識別設備在采集該靜態(tài)視頻幀時的運動狀態(tài)；根據(jù)該Μ個靜態(tài)視頻幀的設備運動信息，確定該目標背景幀。
[0007] 結合第一方面的第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，該根據(jù)該 Μ個靜態(tài)視頻幀的設備運動信息，確定該目標背景幀，包括：根據(jù)第一靜態(tài)視頻幀的設備運動信息和第二靜態(tài)視頻幀的設備運動信息，確定第一設備相對運動值，該Μ個靜態(tài)視頻幀包括該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀，該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀構成第一相鄰巾貞；當該第一設備相對運動值大于零且小于第一運動補償閾值時，對該第一靜態(tài) 視頻幀和該第二靜態(tài)視頻幀中的其中一幀進行運動補償；根據(jù)該運動補償后的該第一相鄰中貞，確定該第一相鄰巾貞的巾貞差；根據(jù)該第一相鄰巾貞的巾貞差，確定該目標背景中貞。
[0008] 結合第一方面或結合第一方面的第一種至第三種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，該識別該動作視頻幀序列中的目標動作，包括：確定該動作視頻幀序列中的視頻幀的設備運動信息，該視頻幀的設備運動信息用于表示動作識別設備在采集該視頻幀時的運動狀態(tài)；根據(jù)該動作視頻幀序列中的視頻幀的設備運動信息，識別該目標動作。
[0009] 結合第一方面的第四種可能的實現(xiàn)方式，在第五種可能的實現(xiàn)方式中，該根據(jù)該動作視頻巾貞序列中的視頻巾貞的設備運動信息，識別該目標動作，包括：根據(jù)該動作視頻巾貞序列包括的第一視頻幀的設備運動信息和該目標背景幀的設備運動信息，確定第二設備相對運動值；當該第二設備相對運動值大于第二運動補償閾值時，對該第一視頻幀和該目標背景幀中的其中一幀進行運動補償；根據(jù)該其中一幀進行運動補償后的該第一視頻幀和該目標背景幀，確定該第一視頻幀中的前景信息；根據(jù)該第一視頻幀中的前景信息，識別該目標動作。
[0010] 第二方面，提供了一種動作識別設備，包括：確定模塊，用于根據(jù)動作傳感器檢測到動作的發(fā)生，確定視覺傳感器采集到的當前視頻幀中包括動作；獲取模塊，用于獲取包括該確定模塊確定包括動作的該當前視頻幀的動作視頻幀序列；識別模塊，用于識別該獲取模塊獲取的該動作視頻幀序列中的目標動作。
[0011] 結合第二方面，在第一種可能的實現(xiàn)方式中，該識別模塊包括：獲取單元，用于獲取Μ個靜態(tài)視頻幀，該Μ個靜態(tài)視頻幀與該動作視頻幀序列的間隔采集時間不超過第一預設閾值，Μ為大于一的整數(shù)；第一確定單元，用于根據(jù)該獲取單元獲取的該Μ個靜態(tài)視頻幀，確定該動作視頻幀序列的目標背景幀；第一識別單元，用于根據(jù)該第一確定單元確定的該目標背景幀，識別該動作視頻幀序列中的目標動作。
[0012] 結合第二方面的第一種可能的實現(xiàn)方式，在第二種可能的實現(xiàn)方式中，該第一確定單元具體用于確定該Μ個靜態(tài)視頻幀的設備運動信息，該靜態(tài)視頻幀的設備運動信息用于表示動作識別設備在采集該靜態(tài)視頻幀時的運動狀態(tài)，以及根據(jù)該Μ個靜態(tài)視頻幀的設備運動信息，確定該目標背景幀。
[0013] 結合第二方面的第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，該第一確定單元包括：第一確定子單元，用于根據(jù)第一靜態(tài)視頻幀的設備運動信息和第二靜態(tài)視頻幀的設備運動信息，確定第一設備相對運動值，該Μ個靜態(tài)視頻幀包括該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀，該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀構成第一相鄰幀；運動補償子單元，用于當該第一確定子單元確定的該第一設備相對運動值大于零且小于第一運動補償閾值時，對該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀中的其中一幀進行運動補償；第二確定子單元，用于根據(jù)該運動補償子單元進行運動補償后的該第一相鄰幀，確定該第一相鄰幀的幀差；第三確定子單元，用于根據(jù)該第二確定子單元確定的該第一相鄰幀的幀差，確定該目標背景幀。
[0014] 結合第二方面或結合第二方面的第一種至第三種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，該識別模塊還包括：第二確定單元，用于確定該動作視頻幀序列中的視頻幀的設備運動信息，該視頻幀的設備運動信息用于表示動作識別設備在采集該視頻幀時的運動狀態(tài)；第二識別單元，用于根據(jù)該第二確定單元確定的該動作視頻幀序列中的視頻幀的設備運動信息，識別該目標動作。
[0015] 結合第二方面的第四種可能的實現(xiàn)方式，在第五種可能的實現(xiàn)方式中，該第二識別單元包括：第一確定子單元，用于根據(jù)該動作視頻幀序列包括的第一視頻幀的設備運動信息和該目標背景幀的設備運動信息，確定第二設備相對運動值；運動補償子單元，用于當該第一確定子單元確定的該第二設備相對運動值大于第二運動補償閾值時，對該第一視頻幀和該目標背景幀中的其中一幀進行運動補償；第二確定子單元，用于根據(jù)該運動補償子單元對其中一幀進行運動補償后的該第一視頻幀和該目標背景幀，確定該第一視頻幀中的前景信息；識別子單元，用于根據(jù)該第二確定子單元確定的該第一視頻幀中的前景信息，識別該目標動作。
[0016] 基于上述技術方案，根據(jù)本發(fā)明實施例的識別動作的方法及其裝置，通過視覺傳感器和動作傳感器共同識別動作，且由動作傳感器檢測到觸發(fā)動作來啟動動作識別過程，從而能夠為動作識別提供更為精確的背景和前景確定機會，提高對動作識別的識別能力和識別精度；此外，由于只有在動作傳感器檢測到觸發(fā)動作時，動作識別設備才會啟動動作識別過程，從而能夠降低由于一直進行動作識別而造成的資源消耗，提高用戶體驗。

【專利附圖】

【附圖說明】
[0017] 為了更清楚地說明本發(fā)明實施例的技術方案，下面將對本發(fā)明實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面所描述的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0018] 圖1是本發(fā)明實施例的識別動作的方法的示意性流程圖。
[0019] 圖2是本發(fā)明實施例的識別動作的方法的另一示意性流程圖。
[0020] 圖3是本發(fā)明實施例的識別動作的方法的再一示意性流程圖。
[0021] 圖4是本發(fā)明實施例的識別動作的方法的再一示意性流程圖。
[0022] 圖5是本發(fā)明實施例的識別動作的方法的再一示意性流程圖。
[0023] 圖6是本發(fā)明實施例的識別動作的方法的再一示意性流程圖。
[0024] 圖7是本發(fā)明另一實施例的識別動作的方法的示意性流程圖。
[0025] 圖8是根據(jù)本發(fā)明實施例的動作識別設備的示意性框圖。
[0026] 圖9是根據(jù)本發(fā)明實施例的動作識別設備的識別模塊的示意性框圖。
[0027] 圖10是根據(jù)本發(fā)明實施例的動作識別設備的識別模塊的第一確定單元的示意性框圖。
[0028] 圖11是根據(jù)本發(fā)明實施例的動作識別設備的識別模塊的另一示意性框圖。
[0029] 圖12是根據(jù)本發(fā)明實施例的動作識別設備的識別模塊的第二識別單元的示意性框圖。
[0030] 圖13是根據(jù)本發(fā)明另一實施例的動作識別設備的示意性框圖。

【具體實施方式】
[0031] 下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明的一部分實施例，而不是全部實施例?；诒景l(fā) 明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都應屬于本發(fā)明保護的范圍。
[0032] 應理解，本發(fā)明實施例的技術方案可以應用于各種基于硬件設備的動作識別，例如，對設備(包括屏幕）前手勢動作的檢測和識別，對設備(包括屏幕）后手勢動作的檢測和識別，對手持物體(如普通筆）在設備前移動的物體運動動作的識別等。具體的應用場景包括操控TV的手勢識別、操控PC的手勢識別、操控移動終端的手勢識別等，但本發(fā)明實施例不限于此。
[0033] 本發(fā)明實施例的核心思想是利用動作識別設備中的動作傳感器和視覺傳感器共同完成動作識別。該視覺傳感器用于采集視覺畫面，該動作傳感器用于檢測在動作檢測區(qū) 域內是否有動作發(fā)生，例如，手經過動作識別設備的屏幕上方，手的滑動、手的抓取動作、手持物體的移動，等等，該動作識別設備只有在該動作傳感器在某一時間點檢測到有動作發(fā) 生時，才啟動動作識別，從而能夠提供準確的背景和前景，提高動作識別精度。其中，該視覺傳感器可以是普通攝像頭、或紅外攝像頭、或深度攝像頭，等等；該動作傳感器可以為下列傳感器中的一種或多種：紅外感應傳感器、超聲距離傳感器、電磁場感應傳感器和光線傳感器，等等，但本發(fā)明實施例不限于此。
[0034] 圖1是本發(fā)明實施例的識別動作的方法100的示意性流程圖，該方法可以由動作識別設備來執(zhí)行，例如，移動終端，等等。如圖1所示，該方法100包括：
[0035] S110,根據(jù)動作傳感器檢測到動作的發(fā)生，確定視覺傳感器采集到的當前視頻幀中包括動作；
[0036] S120,獲取包括該當前視頻幀的動作視頻幀序列；
[0037] S130,識別該動作視頻幀序列中的目標動作。
[0038] 因此，根據(jù)本發(fā)明實施例的識別動作的方法，通過視覺傳感器和動作傳感器共同識別動作，且由動作傳感器檢測到觸發(fā)動作來啟動動作識別過程，從而能夠為動作識別提供更為精確的背景和前景確定機會，提高對動作識別的識別能力和識別精度；此外，由于只有在動作傳感器檢測到觸發(fā)動作時，動作識別設備才會啟動動作識別過程，從而能夠降低由于一直進行動作識別而造成的資源消耗，提高用戶體驗。
[0039] 應理解，本發(fā)明實施例的視頻幀是指由視覺傳感器在某一時刻采集到的視覺畫面，這里可以將該視覺傳感器在當前時刻采集到的視覺畫面稱為當前視頻幀，具體地，該當前視頻幀可以是由普通攝像頭在當前時刻采集到的一個視覺畫面，也可以是雙目等立體攝像頭在當前時刻采集到的不同角度的多個視覺畫面，即當前時刻采集到的多個視頻幀，還可以是由深度攝像頭(例如體感設備Kinect等)采集到的帶有深度信息的視覺畫面，或帶有深度信息的視覺畫面與普通視覺畫面的組合，但本發(fā)明實施例不限于此。
[0040] 在S110中，動作傳感器實時檢測在動作檢測區(qū)域內是否有動作發(fā)生，同時，該視覺傳感器可以實時采集視頻幀，動作識別設備可以將動作傳感器在某一時刻的檢測結果對應到視覺傳感器在該時刻采集到的視頻幀，從而確定該視頻幀中是否包括動作?？蛇x地，該視覺傳感器也可以只有在該動作傳感器檢測到有動作發(fā)生時，才開始在預設時間段內采集視頻幀，并確定其在當前時刻采集的視頻幀，即當前視頻幀中包括動作，但本發(fā)明實施例不限于此。
[0041] 為了便于描述，本發(fā)明實施例中將包括動作的視頻幀稱為動作視頻幀，而將不包括動作的視頻幀稱為靜態(tài)視頻幀。應理解，靜態(tài)視頻幀是指在該視頻幀被采集的時刻，動作傳感器未在動作檢測區(qū)域檢測到動作的發(fā)生，本發(fā)明實施例不限于此。
[0042] 可選地，動作識別設備還可以將視覺傳感器采集到的視頻幀緩存，并且根據(jù)動作傳感器的檢測結果，為每個視頻幀設置動作標識，該動作標識用于標識該視頻幀中是否包括動作，即標識該視頻巾貞為動作視頻巾貞還是靜態(tài)視頻巾貞。具體地，該動作識別設備可以將動作視頻幀的動作標識設置為1，并將靜態(tài)視頻幀的動作標識設備設置為〇 ;可選地，該動作識別設備也可以將動作視頻巾貞的動作標識設置為0,而將靜態(tài)視頻巾貞的動作標識設置為1 ; 可選地，該動作識別設備還可以采用其它標準設置視頻幀的動作標識，本發(fā)明實施例不限于此。
[0043] 可選地，作為另一實施例，該動作識別設備也可以只為部分視頻幀設置動作標識，例如，只為連續(xù)的動作視頻幀序列和連續(xù)的靜態(tài)視頻幀序列之間的轉換幀設置動作標識，例如，假設視頻幀1?5為靜態(tài)視頻幀，視頻幀6?15為動作視頻幀，視頻幀16?30為靜態(tài)視頻幀，則該動作識別設備可以為視頻幀5設置動作標識0,為視頻幀6設置動作標識1，為視頻幀15設置動作標識1，為視頻幀16設置動作標識0 ;可選地，該動作識別設備也可以為視頻巾貞1設置動作標識〇,為視頻巾貞6設置動作標識1，為視頻巾貞16設置動作標識0,等等，本發(fā)明實施例不限于此。所有能夠確定每個視頻幀為靜態(tài)視頻幀還是動作視頻幀的動作標識的設置方法，都在本發(fā)明實施例的保護范圍之內。
[0044] 在S120中，該動作識別設備獲取包括該當前視頻幀在內的動作視頻幀序列。具體地，該動作識別設備可以從當前視頻幀開始，連續(xù)獲取下一視頻幀，直到下一視頻幀為靜態(tài)視頻幀為止，這些動作視頻幀構成動作視頻幀序列；可選地，該動作識別設備也可以從當前視頻幀開始，在預設時間內以一預設步長采集若干個視頻幀構成動作視頻幀序列，其中，該預設步長可以為1或大于1的預設整數(shù)；可選地，該動作識別設備還可以從當前視頻幀開始，以一預設步長采集預設個數(shù)的視頻幀構成動作視頻幀序列，其中，該預設步長可以為 1或大于1的預設整數(shù)；可選地，該動作識別設備還可以從該當前視頻幀的前幾幀中的某一幀作為該動作視頻幀序列的起始幀，使用上述方式中的任一種方式獲取該動作視頻幀序列，但本發(fā)明實施例不限于此。
[0045] 在S130中，該動作識別設備可以通過多種方式確定該動作視頻幀序列中的目標動作?？蛇x地，該動作識別設備可以確定該動作視頻幀序列的目標背景幀，并根據(jù)該目標背景幀確定該動作視頻幀序列中的視頻幀的前景信息，進而根據(jù)該動作視頻幀序列中的視頻幀的前景信息，識別該目標動作；可選地，該動作識別設備也可以采用其它方法識別該目標動作，本發(fā)明實施例不限于此。
[0046] 可選地，如圖2所示，130,識別該動作視頻幀序列中的目標動作，包括：
[0047] S131，獲取Μ個靜態(tài)視頻幀，該Μ個靜態(tài)視頻幀與該動作視頻幀序列的間隔采集時間不超過第一預設閾值，Μ為大于一的整數(shù)；
[0048] S132,根據(jù)該Μ個靜態(tài)視頻幀，確定該動作視頻幀序列的目標背景幀；
[0049] S133,根據(jù)該目標背景幀，識別該動作視頻幀序列中的目標動作。
[0050] 其中，在S131中，該Μ個靜態(tài)視頻幀可以是連續(xù)采集的靜態(tài)視頻幀，也可以是以一定步長采集的靜態(tài)視頻幀。該Μ個靜態(tài)視頻幀可以是采集于該動作視頻幀序列之前或之后的靜態(tài)視頻幀，一種優(yōu)選方式為采用在該動作視頻幀序列之前采集的且與該動作視頻幀序列相鄰的Μ個靜態(tài)視頻幀，來確定該目標背景幀，由于該優(yōu)選方式中確定的目標背景幀與該動作視頻幀序列的背景更接近，因此可以提高動作識別的精度，但本發(fā)明實施例不限于此。
[0051] 在S132中，該動作識別設備可以通過多種方式確定該目標背景幀。可選地，該動作識別設備可以確定該Μ個靜態(tài)視頻幀構成的（Μ-1)個相鄰幀的幀差；并根據(jù)該（Μ-1)個相鄰幀的幀差，從該Μ個靜態(tài)視頻幀中確定L個候選背景幀，其中，L為大于二的整數(shù)且L小于Μ ;最后，根據(jù)該L個候選背景幀，確定該目標背景幀，但本發(fā)明實施例不限于此。其中，相鄰幀為該Μ個靜態(tài)視頻幀中采集時間最接近的兩個視頻幀，該動作識別設備可以確定該 (Μ-1)個相鄰幀中的每個相鄰幀的幀差，其中，該相鄰幀的幀差可以是該相鄰兩幀的對應像素點的像素差的平均值，也可以是該相鄰兩幀的對應像素點的像素差的平方的平均值，但本發(fā)明實施例不限于此。
[0052] 可選地，該L個候選背景幀的確定條件可以是該L個候選背景幀構成的每個相鄰幀的幀差不超過第二預設閾值，該第二預設閾值與視覺傳感器本身的穩(wěn)定性及其在采集視頻幀的過程中的相對運動情況有關。對于某些視覺傳感器，其在連續(xù)采集視頻幀時采集到的相鄰幀的對應圖像像素可能會有細微差別，尤其在該視覺傳感器在采集該相鄰幀的過程中有相對運動的情況下，該第二預設閾值可以設定為接近零的正數(shù)，但本發(fā)明實施例不限于此。
[0053] 可選地，該動作識別設備還可以根據(jù)該L個候選背景幀，利用多種方法確定該目標背景幀?？蛇x地，該動作識別設備可以選取該L個候選背景幀中的其中一個候選背景幀作為目標背景幀，也可以通過對該L個候選背景幀進行處理來確定該目標背景幀，例如，對該L個候選背景幀的對應像素點取平均值，但本發(fā)明實施例不限于此。
[0054] 在S133中，該動作識別設備可以基于該動作視頻幀序列中的視頻幀的前景信息，采用多種方法識別該目標動作，例如，采用梯度方向直方圖（Histogram of Oriented Gradients,簡稱為"HoG"）進行特征提取，以及采用支持向量基（Support Vector Machine，簡稱為"SVM"）進行訓練和分類，來識別該動作視頻幀序列中的目標動作，但本發(fā) 明實施例不限于此。
[0055] 可選地，作為另一實施例，為了避免由于動作識別設備在采集視頻幀的過程中發(fā) 生相對移動而造成的動作識別能力和精度的下降，該動作識別設備還可以利用設備運動傳感器來檢測該動作識別設備的運動信息，并在動作識別過程中根據(jù)該動作識別設備的相對運動情況來進行動作識別。相應地，如圖3所示，S132中，根據(jù)該Μ個靜態(tài)視頻幀，確定該動作視頻幀序列的目標背景幀，包括：
[0056] S132a，確定該Μ個靜態(tài)視頻幀的設備運動信息，該靜態(tài)視頻幀的設備運動信息用于表示動作識別設備在采集該靜態(tài)視頻幀時的運動狀態(tài)；
[0057] S132b，根據(jù)該Μ個靜態(tài)視頻幀的設備運動信息，確定該目標背景幀。
[0058] 具體地，該設備運動傳感器可以在該視覺傳感器采集視頻幀的同時實時檢測該動作識別設備的運動，并將檢測到的該動作識別設備在某一時刻的運動信息對應到該時刻采集的視頻幀上，作為該視頻幀的設備運動信息進行緩存。其中，該設備運動傳感器可以是加速度傳感器，或陀螺儀，等等。該設備運動信息可以包括該設備在三維空間上的移位、該設備的旋轉參數(shù)，等等。例如，該設備運動信息包括由加速度傳感器檢測到的該動作識別設備在采集視頻巾貞時的加速度參數(shù)（ax, ay, az)，其中，ax為該動作識別設備在X方向上的加速度數(shù)值，ay為在y方向上的加速度數(shù)值，az為在z方向上的加速度數(shù)值；或包括陀螺儀檢測到的該動作識別設備在采集視頻幀時的坐標參數(shù)（rx，ry， rz)，其中，rx為該動作識別設備在X方向上的陀螺儀數(shù)值，ry為在y方向上的陀螺儀數(shù)值，rz為在z方向上的陀螺儀數(shù) 值；或包括二者的結合，但本發(fā)明實施例不限于此。
[0059] 可選地，該動作識別設備可以在一開始確定目標背景幀的時候就把該Μ個靜態(tài)視頻幀的設備運動信息考慮在內；可選地，作為另一實施例，該動作識別設備也可以只有當該 Μ個靜態(tài)視頻幀中無法選取連續(xù)L個背景候選幀時，才將該Μ個靜態(tài)視頻幀的設備運動信息納入考慮范圍，即該Μ個靜態(tài)視頻幀構成的（Μ-1)個相鄰幀中不存在連續(xù)（L-1)個相鄰幀的幀差不超過第二預設閾值的情況下，才根據(jù)該Μ個靜態(tài)視頻幀的設備運動信息，確定該候選背景幀，但本發(fā)明實施例不限于此。
[0060] 該動作識別設備可以根據(jù)該Μ個靜態(tài)視頻幀的設備運動信息，通過多種方式確定該目標背景幀?？蛇x地，如圖4所示，S132b，根據(jù)該Μ個靜態(tài)視頻幀的設備運動信息，確定該目標背景幀，包括：
[0061] S132bl，根據(jù)第一靜態(tài)視頻幀的設備運動信息和第二靜態(tài)視頻幀的設備運動信息，確定第一設備相對運動值，該Μ個靜態(tài)視頻幀包括該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀，該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀構成第一相鄰幀；
[0062] S132b2,當該第一設備相對運動值大于零且小于第一運動補償閾值時，對該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀中的其中一幀進行運動補償；
[0063] S132b3,根據(jù)該運動補償后的該第一相鄰巾貞，確定該第一相鄰巾貞的巾貞差；
[0064] S132b4,根據(jù)該第一相鄰幀的幀差，確定該目標背景幀。
[0065] 其中，該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀可以是該Μ個靜態(tài)視頻幀中包括的任意相鄰幀，該動作識別設備可以通過S132bl、S132b2、S132b3和S132b4這一流程確定該Μ個靜態(tài)視頻幀構成的（M-1)個相鄰幀的幀差。具體地，在S132bl中，該動作識別設備可以對該第一靜態(tài)視頻幀和第二靜態(tài)視頻幀的設備運動信息進行處理，來確定該動作識別設備在采集該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀之間的相對運動情況，以該設備運動傳感器為陀螺儀為例，該第一靜態(tài)視頻幀的設備運動信息為（rxl，ryl，rzl)，該第一靜態(tài)視頻幀的設備運動信息為（rx2, ry2, rz2)，該第一設備相對運動值R12可以由下式確定：R12=| | (rx2, ry2, rz2) - (rxl, ryl, rzl) | |，其中 " | | | | " 為距離計算函數(shù)，且不限于采用絕對值距離、均方距離等。例如，R12=|rx2-rxl | + |ry2 - ryl | + |rz2 - rzl |,或 R12=(rx2_rxl)2+(ry2 - ryl)2+(rz2 - rzl)2,等等，但本發(fā)明實施例不限于此。
[0066] 可選地，當該第一設備相對運動值為0時，表示該動作識別設備在采集該第一靜態(tài)視頻幀和采集該第二靜態(tài)視頻幀之間未發(fā)生相對運動，則該動作識別設備可以直接確定該第一靜態(tài)視頻幀和該第二視頻幀的幀差；可選地，當該第一設備相對運動值大于零且小于第一補償閾值時，該動作識別設備可以根據(jù)該相對運動值對該第一靜態(tài)視頻幀或該第二靜態(tài)視頻幀進行運動補償，使得在確定幀差時采用的該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀的對應像素點為實際上對應的像素點，并根據(jù)該第二靜態(tài)視頻幀和經過運動補償后的該第一靜態(tài)視頻幀，或根據(jù)該第一靜態(tài)視頻幀和經過運動補償后的第二靜態(tài)視頻幀，來確定該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀的幀差，從而提高動作預測的能力和精度；可選地，當該第一設備相對運動值大于該第一補償閾值時，該動作識別設備可以確定其在采集該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀的過程中相對運動太劇烈，并認為該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀并不適合用作候選背景幀，因此將其舍棄，并進一步從該Μ個靜態(tài)視頻幀的其它靜態(tài)視頻幀中選取該候選背景幀；或認為該Μ個靜態(tài)視頻幀不適合用于確定目標背景幀，并再次選取Μ個靜態(tài)視頻幀重復上述操作。其中，該第一運動補償閾值可以根據(jù)設備運動傳感器的敏感程度來確定，但本發(fā)明實施例不限于此。
[0067] 可選地，作為另一實施例，該動作識別設備也可以在識別該目標動作時考慮該動作視頻幀序列中的視頻幀的設備運動信息。相應地，如圖5所示，S130或S133中的識別該動作視頻巾貞序列中的目標動作，包括：
[0068] S133a，確定該動作視頻幀序列中的視頻幀的設備運動信息；
[0069] S133b，根據(jù)該動作視頻幀序列中的視頻幀的設備運動信息，識別該目標動作。
[0070] 可選地，作為另一實施例，如圖6所示，S133b，根據(jù)該動作視頻幀序列中的視頻幀的設備運動信息，識別該目標動作，包括：
[0071] S133bl，根據(jù)該動作視頻幀序列包括的第一視頻幀的設備運動信息和該目標背景幀的設備運動信息，確定第二設備相對運動值；
[0072] S133b2,當該第二設備相對運動值大于第二運動補償閾值時，對該第一視頻幀和該目標背景幀中的其中一幀進行運動補償；
[0073] S133b3,根據(jù)該其中一幀進行運動補償后的該第一視頻幀和該目標背景幀，確定該第一視頻幀中的前景信息；
[0074] S133b4,根據(jù)該第一視頻幀中的前景信息，識別該目標動作。
[0075] 其中，該第一視頻幀可以是該動作視頻幀序列中包括的任意視頻幀，該動作識別設備可以通過S133bl、S133b2、S133b3和S133b4這一流程確定該動作視頻幀序列中的每個視頻幀的前景信息。具體地，在S133bl中，該動作識別設備可以根據(jù)該第一視頻幀的設備運動信息，確定該動作識別設備在采集該目標背景幀和該第一視頻幀之間的相對運動情況，以該設備運動傳感器為陀螺儀為例，該第一視頻幀的設備運動信息為（rxl，ryl，rzl)，該目標背景幀的設備運動信息為（rxO, ryO, rzO)，該第二設備相對運動值R1可以由下式確定：Rl= | | (rxl, ryl, rzl) - (rxO, ryO, rzO) I I，其中" I I I I "為距離計算函數(shù)，且不限于采用絕對值距離、均方距離等。例如，Rl= I rxl - rxO | +1 ryl - ryO | +1 rzl - rzO |，*Rl=(rxl-rx0)2+(ryl -ry0)2+(rzl -rzO)2,等等，但本發(fā)明實施例不限于此。
[0076] 其中，該第二運動補償閾值可以根據(jù)設備運動傳感器的敏感程度來確定，一般地，該第二運動補償閾值可以是大于或等于零的小數(shù)，但本發(fā)明實施例不限于此?？蛇x地，如果該設備運動傳感器很敏感，微小的設備運動都能在該設備運動傳感器采集到的參數(shù)中體現(xiàn)。那么當該第二設備相對運動值小于第二補償閾值時，表示該動作識別設備在采集該目標背景幀和采集該第一視頻幀之間未發(fā)生明顯相對運動，則該動作識別設備可以直接確定該第一視頻幀的前景信息，例如，將該第一視頻幀中的任一像素點的像素減去在該目標背景幀中與該任一像素點對應的像素點的像素；可選地，當該第二設備相對運動值大于該第二補償閾值時，該動作識別設備可以根據(jù)該相對運動程度對該第一視頻幀或該目標背景幀進行運動補償，使得在確定前景信息時采用的該第一視頻幀和該目標背景幀的對應像素點為實際上對應的像素點，并根據(jù)該第一靜態(tài)視頻幀和經過運動補償后的該目標背景幀，或根據(jù)該目標背景幀和經過運動補償后的第一視頻幀，來確定該第一視頻幀的前景信息，從而提高動作預測的能力和精度，但本發(fā)明實施例不限于此。
[0077] 可選地，該動作識別設備還可以設置第三運動補償閾值，并且只有當該第二設備相對運動值大于該第二運動補償閾值且小于該第三運動補償閾值時，才對該第一視頻幀或該目標背景幀進行運動補償；而當該第二設備相對運動值大于該第三運動補償閾值時，將該第一視頻幀丟棄。其中，該第三運動補償閾值可以大于該第一補償閾值，也可以與該第一補償閾值相等，但本發(fā)明實施例不限于此。
[0078] 可選地，該設備識別設備還可以進一步通過邊界連通、圖像腐蝕等操作來完善該動作視頻幀序列中的一個或多個動作視頻幀的前景信息，本發(fā)明實施例不限于此。
[0079] 因此，根據(jù)本發(fā)明實施例的識別動作的方法，通過視覺傳感器和動作傳感器共同識別動作，且由動作傳感器檢測到觸發(fā)動作來啟動動作識別過程，從而能夠為動作識別提供更為精確的背景和前景確定機會，提高對動作識別的識別能力和識別精度；此外，由于只有在動作傳感器檢測到觸發(fā)動作時，動作識別設備才會啟動動作識別過程，從而能夠降低由于一直進行動作識別而造成的資源消耗，提高用戶體驗。進一步地，本發(fā)明實施例通過設備運動傳感器檢測設備在采集視頻幀的過程中的運動信息，從而能夠降低由于設備運動而造成的運動識別的識別誤差，提高動作識別的精度和穩(wěn)定性。
[0080] 下面將結合具體例子對本發(fā)明實施例提供的識別動作的方法做更詳細的說明。圖 7是本發(fā)明實施例的確定目標背景幀的方法200的示意性流程圖。在本實施例中，動作識別設備將視覺傳感器實時采集到的視頻幀緩存，并為視頻幀設置動作標識和設備運動參數(shù)，其中，將沒有動作發(fā)生的視頻幀的動作標識設置為H)，而有動作發(fā)生的視頻幀的動作標識設置為F1。假設該動作識別設備已經獲取了動作視頻幀序列。如圖7所示，該方法200包括：
[0081] S210,該動作識別設備獲取Μ個靜態(tài)視頻幀；
[0082] 其中，Μ可以為大于2的預設整數(shù)，該Μ個靜態(tài)視頻幀的動作標識均為R)，且該Μ 個靜態(tài)視頻幀的采集時間可以與該動作視頻幀序列的采集時間不超過第一預設閾值。
[0083] S220,該動作識別設備分別確定該Μ個靜態(tài)視頻幀構成的（Μ-1)個相鄰幀的幀差；
[0084] S230,該動作識別設備確定該（Μ-1)個相鄰幀中是否存在連續(xù)（L-1)個相鄰幀的幀差低于第二預設閾值；
[0085] 其中，該L可以為大于2且小于Μ的預設整數(shù)，當存在（L-1)個相鄰幀的幀差低于第二預設閾值時，該動作識別設備執(zhí)行S280,該確定目標背景幀的方法200結束；否則，該動作識別設備執(zhí)行S240。
[0086] S240,該動作識別設備分別確定該（Μ-1)個相鄰幀的設備相對運動值；
[0087] S250,該動作識別設備確定該（Μ-1)個相鄰幀中的第i個相鄰幀的設備相對運動值是否超過第一運動補償閾值，i=l，2,…，（M-1);
[0088] 當該第i個相鄰幀的設備相對運動值超過該第一補償閾值時，該動作識別設備執(zhí) 行S290,并且該動作識別設備可以另外選取Μ個靜態(tài)視頻幀重復上述流程；否則，該動作識別設備執(zhí)行S260。
[0089] S260,對該第i個相鄰幀進行運動補償，并確定該運動補償后的第i個相鄰幀的幀差；
[0090] 該動作識別設備分別對該（M-ι)個相鄰幀分別重復步驟S250和S260,從而獲取經過運動補償后的（M-1)個相鄰幀。
[0091] S270，該動作識別設備確定該運動補償后的（M-ι)個相鄰幀中是否存在連續(xù) (L-1)個相鄰幀的幀差低于第二預設閾值；
[0092] 當存在（L-1)個相鄰幀的幀差低于第二預設閾值時，該動作識別設備執(zhí)行S280，該確定目標背景幀的方法200結束；否則，該動作識別設備執(zhí)行S290。
[0093] S280,該動作識別設備確定L個候選背景幀，并根據(jù)該L個候選背景幀確定目標背景中貞；
[0094] S290,該動作識別設備確定該Μ個靜態(tài)視頻幀中無合適的目標背景幀。
[0095] 因此，根據(jù)本發(fā)明實施例的識別動作的方法，通過視覺傳感器和動作傳感器共同識別動作，且只有在動作傳感器檢測到視頻幀中存在動作時，視覺傳感器才會啟動動作識另IJ，從而能夠降低由視覺傳感器一直進行動作識別而造成的資源消耗，并且由于動作傳感器獲得了動作發(fā)生的時間點，因此能夠為動作識別提供更為精確的背景和前景確定機會，從而提高對動作識別的識別能力和識別精度，提高了用戶體驗。進一步地，本發(fā)明實施例通過設備運動傳感器檢測設備在采集視頻幀的過程中的運動信息，從而能夠降低由于設備運動而造成的運動識別的識別誤差，提高動作識別的精度和穩(wěn)定性。
[0096] 應注意，圖7的這個例子是為了幫助本領域技術人員更好地理解本發(fā)明實施例，而非要限制本發(fā)明實施例的范圍。本領域技術人員根據(jù)所給出的圖7的例子，顯然可以進行各種等價的修改或變化，這樣的修改或變化也落入本發(fā)明實施例的范圍內。
[0097] 應理解，上述各過程的序號的大小并不意味著執(zhí)行順序的先后，各過程的執(zhí)行順序應以其功能和內在邏輯確定，而不應對本發(fā)明實施例的實施過程構成任何限定。
[0098] 上文中結合圖1至圖7,詳細描述了根據(jù)本發(fā)明實施例的識別動作的方法，下面將結合圖8至圖13,描述根據(jù)本發(fā)明實施例的動作識別設備。
[0099] 圖8示出了根據(jù)本發(fā)明實施例的動作識別設備300的示意性框圖，如圖8所示，該動作識別設備300包括：
[0100] 確定模塊310,用于根據(jù)動作傳感器檢測到動作的發(fā)生，確定視覺傳感器采集到的當前視頻巾貞中包括動作；
[0101] 獲取模塊320,用于獲取包括該確定模塊310確定包括動作的該當前視頻幀的動作視頻幀序列；
[0102] 識別模塊330,用于識別該獲取模塊320獲取的該動作視頻幀序列中的目標動作。
[0103] 因此，根據(jù)本發(fā)明實施例的動作識別設備，通過視覺傳感器和動作傳感器共同識別動作，且由動作傳感器檢測到觸發(fā)動作來啟動動作識別過程，從而能夠為動作識別提供更為精確的背景和前景確定機會，提高對動作識別的識別能力和識別精度；此外，由于只有在動作傳感器檢測到觸發(fā)動作時，動作識別設備才會啟動動作識別過程，從而能夠降低由于一直進行動作識別而造成的資源消耗，提高用戶體驗。
[0104] 可選地，如圖9所示，該識別模塊330包括：
[0105] 獲取單元331，用于獲取Μ個靜態(tài)視頻幀，該Μ個靜態(tài)視頻幀與該動作視頻幀序列的間隔采集時間不超過第一預設閾值，Μ為大于一的整數(shù)；
[0106] 第一確定單元332,用于根據(jù)該獲取單元331獲取的該Μ個靜態(tài)視頻幀，確定該動作視頻幀序列的目標背景幀；
[0107] 第一識別單元333,用于根據(jù)該第一確定單元332確定的該目標背景幀，識別該動作視頻幀序列中的目標動作。
[0108] 可選地，作為另一實施例，該第一確定單元332具體用于確定該Μ個靜態(tài)視頻幀的設備運動信息，該靜態(tài)視頻幀的設備運動信息用于表示動作識別設備在采集該靜態(tài)視頻幀時的運動狀態(tài)，以及根據(jù)該Μ個靜態(tài)視頻幀的設備運動信息，確定該目標背景幀。
[0109] 可選地，作為另一實施例，如圖10所示，該第一確定單元332包括：
[0110] 第一確定子單元332a，用于根據(jù)第一靜態(tài)視頻幀的設備運動信息和第二靜態(tài)視頻幀的設備運動信息，確定第一設備相對運動值，該Μ個靜態(tài)視頻幀包括該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀，該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀構成第一相鄰幀；
[0111] 運動補償子單元332b，用于當該第一確定子單元332a確定的該第一設備相對運動值大于零且小于第一運動補償閾值時，對該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀中的其中一幀進行運動補償；
[0112] 第二確定子單元332c，用于根據(jù)該運動補償子單元332b進行運動補償后的該第一相鄰幀，確定該第一相鄰幀的幀差；
[0113] 第三確定子單元332d，用于根據(jù)該第二確定子單元332c確定的該第一相鄰幀的幀差，確定該目標背景幀。
[0114] 可選地，作為另一實施例，如圖11所示，該識別模塊330還包括：
[0115] 第二確定單元334,用于確定該動作視頻幀序列中的視頻幀的設備運動信息，該視頻幀的設備運動信息用于表示動作識別設備在采集該視頻幀時的運動狀態(tài)；
[0116] 第二識別單元335,用于根據(jù)該第二確定單元334確定的該動作視頻幀序列中的視頻幀的設備運動信息，識別該目標動作。
[0117] 可選地，作為另一實施例，該第二識別單元335還用于根據(jù)該第二確定單元334確定的該動作視頻幀序列中的視頻幀的設備運動信息和該第一確定單元332確定的該目標背景幀，識別該目標動作。
[0118] 可選地，作為另一實施例，如圖12所示，該第二識別單元335包括：
[0119] 第一確定子單元335a，用于根據(jù)該動作視頻幀序列包括的第一視頻幀的設備運動信息和該目標背景幀的設備運動信息，確定第二設備相對運動值；
[0120] 運動補償子單元335b，用于當該第一確定子單元335a確定的該第二設備相對運動值大于第二運動補償閾值時，對該第一視頻幀和該目標背景幀中的其中一幀進行運動補償；
[0121] 第二確定子單元335c，用于根據(jù)該運動補償子單元335b對其中一幀進行運動補償后的該第一視頻幀和該目標背景幀，確定該第一視頻幀中的前景信息；
[0122] 識別子單元335d，用于根據(jù)該第二確定子單元335c確定的該第一視頻幀中的前景信息，識別該目標動作。
[0123] 根據(jù)本發(fā)明實施例的動作識別設備300可對應于根據(jù)本發(fā)明實施例的識別動作中的動作識別設備，并且動作識別設備300中的各個模塊的上述和其它操作和/或功能分別為了實現(xiàn)圖1至圖7中的各個方法的相應流程，為了簡潔，在此不再贅述。
[0124] 因此，根據(jù)本發(fā)明實施例的動作識別設備，通過視覺傳感器和動作傳感器共同識別動作，且只有在動作傳感器檢測到視頻幀中存在動作時，視覺傳感器才會啟動動作識別，從而能夠降低由視覺傳感器一直進行動作識別而造成的資源消耗，并且由于動作傳感器獲得了動作發(fā)生的時間點，因此能夠為動作識別提供更為精確的背景和前景確定機會，從而提高對動作識別的識別能力和識別精度，提高了用戶體驗。進一步地，本發(fā)明實施例通過設備運動傳感器檢測設備在采集視頻幀的過程中的運動信息，從而能夠降低由于設備運動而造成的運動識別的識別誤差，提高動作識別的精度和穩(wěn)定性。
[0125] 圖13示出了根據(jù)本發(fā)明另一實施例的動作識別設備400的示意性框圖，如圖13 所示，該動作識別設備300包括：處理器410、存儲器420、視覺傳感器430、動作傳感器440 和總線系統(tǒng)450。該視覺傳感器430用于采集視覺畫面，該動作傳感器440用于檢測在動作檢測區(qū)域內是否有動作發(fā)生。其中，處理器410、存儲器420、視覺傳感器430和動作傳感器440通過總線系統(tǒng)450相連，該存儲器420用于存儲指令，該處理器410通過該總線系統(tǒng)450,調用該存儲器420中存儲的該指令，用于：根據(jù)動作傳感器440檢測到動作的發(fā)生，確定視覺傳感器采集到的當前視頻巾貞中包括動作；獲取包括該當前視頻巾貞的動作視頻巾貞序列；以及識別該動作視頻幀序列中的目標動作。
[0126] 因此，根據(jù)本發(fā)明實施例的動作識別設備，通過視覺傳感器和動作傳感器共同識別動作，且由動作傳感器檢測到觸發(fā)動作來啟動動作識別過程，從而能夠為動作識別提供更為精確的背景和前景確定機會，提高對動作識別的識別能力和識別精度；此外，由于只有在動作傳感器檢測到觸發(fā)動作時，動作識別設備才會啟動動作識別過程，從而能夠降低由于一直進行動作識別而造成的資源消耗，提高用戶體驗。
[0127] 應理解，在本發(fā)明實施例中，該處理器410可以是中央處理單元（Central Processing Unit，簡稱為"CPU")，該處理器410還可以是其他通用處理器、數(shù)字信號處理器（DSP)、專用集成電路（ASIC)、現(xiàn)成可編程門陣列（FPGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件等。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。
[0128] 該存儲器420可以包括只讀存儲器和隨機存取存儲器，并向處理器410提供指令和數(shù)據(jù)。存儲器420的一部分還可以包括非易失性隨機存取存儲器。例如，存儲器420還可以存儲設備類型的信息。
[0129] 該視覺傳感器430可以是普通攝像頭、或紅外攝像頭、或深度攝像頭，等等；該動作傳感器440可以為下列傳感器中的一種或多種：紅外感應傳感器、超聲距離傳感器、電磁場感應傳感器和光線傳感器，等等，但本發(fā)明實施例不限于此。
[0130] 該總線系統(tǒng)450除包括數(shù)據(jù)總線之外，還可以包括電源總線、控制總線和狀態(tài)信號總線等。但是為了清楚說明起見，在圖中將各種總線都標為總線系統(tǒng)450。
[0131] 在實現(xiàn)過程中，上述方法的各步驟可以通過處理器410中的硬件的集成邏輯電路或者軟件形式的指令完成。結合本發(fā)明實施例所公開的方法的步驟可以直接體現(xiàn)為硬件處理器執(zhí)行完成，或者用處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機存儲器，閃存、只讀存儲器，可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領域成熟的存儲介質中。該存儲介質位于存儲器420,處理器410讀取存儲器420中的信息，結合其硬件完成上述方法的步驟。為避免重復，這里不再詳細描述。
[0132] 可選地，該處理器410具體用于獲取Μ個靜態(tài)視頻幀，該Μ個靜態(tài)視頻幀與該動作視頻幀序列的間隔采集時間不超過第一預設閾值，Μ為大于一的整數(shù)；根據(jù)該Μ個靜態(tài)視頻幀，確定該動作視頻幀序列的目標背景幀；以及根據(jù)該目標背景幀，識別該動作視頻幀序列中的目標動作。
[0133] 可選地，作為另一實施例，如圖13所示，該動作識別設備400還包括設備運動傳感器460,該設備運動傳感器460用于檢測該動作識別設備在采集視頻幀的過程中的運動狀態(tài)，其可以是加速度傳感器，或陀螺儀，等等，但本發(fā)明實施例不限于此。
[0134] 相應地，該處理器410具體用于確定該Μ個靜態(tài)視頻幀的設備運動信息，該靜態(tài)視頻幀的設備運動信息用于表示動作識別設備在采集該靜態(tài)視頻幀時的運動狀態(tài)，以及根據(jù) 該Μ個靜態(tài)視頻幀的設備運動信息，確定該目標背景幀。
[0135] 可選地，作為另一實施例，該處理器410具體用于確定根據(jù)第一靜態(tài)視頻幀的設備運動信息和第二靜態(tài)視頻幀的設備運動信息，確定第一設備相對運動值，該Μ個靜態(tài)視頻幀包括該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀，該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀構成第一相鄰巾貞；當該第一設備相對運動值大于零且小于第一運動補償閾值時，對該第一靜態(tài)視頻幀和該第二靜態(tài)視頻幀中的其中一幀進行運動補償；根據(jù)該第一相鄰幀，確定該第一相鄰巾貞的巾貞差；以及根據(jù)該第一相鄰巾貞的巾貞差，確定該目標背景中貞。
[0136] 可選地，作為另一實施例，該處理器410還用于確定該動作視頻幀序列中的視頻幀的設備運動信息，該視頻幀的設備運動信息用于表示動作識別設備在采集該視頻幀時的運動狀態(tài)；以及根據(jù)該動作視頻幀序列中的視頻幀的設備運動信息，識別該目標動作。
[0137] 可選地，作為另一實施例，該處理器410具體用于根據(jù)該動作視頻幀序列包括的第一視頻幀的設備運動信息和該目標背景幀的設備運動信息，確定第二設備相對運動值；當該第二設備相對運動值大于第二運動補償閾值時，對該第一視頻幀和該目標背景幀中的其中一幀進行運動補償；根據(jù)該對其中一幀進行運動補償后的該第一視頻幀和該目標背景幀，確定該第一視頻幀中的前景信息；以及根據(jù)該第一視頻幀中的前景信息，識別該目標動作。
[0138] 根據(jù)本發(fā)明實施例的動作識別設備400可對應于根據(jù)本發(fā)明實施例的識別動作中的動作識別設備，并且動作識別設備400中的各個模塊的上述和其它操作和/或功能分別為了實現(xiàn)圖1至圖7中的各個方法的相應流程，為了簡潔，在此不再贅述。
[0139] 因此，根據(jù)本發(fā)明實施例的動作識別設備，通過視覺傳感器和動作傳感器共同識別動作，且只有在動作傳感器檢測到視頻幀中存在動作時，視覺傳感器才會啟動動作識別，從而能夠降低由視覺傳感器一直進行動作識別而造成的資源消耗，并且由于動作傳感器獲得了動作發(fā)生的時間點，因此能夠為動作識別提供更為精確的背景和前景確定機會，從而提高對動作識別的識別能力和識別精度，提高了用戶體驗。進一步地，本發(fā)明實施例通過設備運動傳感器檢測設備在采集視頻幀的過程中的運動信息，從而能夠降低由于設備運動而造成的運動識別的識別誤差，提高動作識別的精度和穩(wěn)定性。
[0140] 應理解，在本發(fā)明實施例中，術語"和/或"僅僅是一種描述關聯(lián)對象的關聯(lián)關系，表示可以存在三種關系。例如，Α和/或Β，可以表示：單獨存在Α，同時存在Α和Β，單獨存在B這三種情況。另外，本文中字符"/"，一般表示前后關聯(lián)對象是一種"或"的關系。
[0141] 本領域普通技術人員可以意識到，結合本文中所公開的實施例中描述的各方法步驟和單元，能夠以電子硬件、計算機軟件或者二者的結合來實現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經按照功能一般性地描述了各實施例的步驟及組成。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術方案的特定應用和設計約束條件。本領域普通技術人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應認為超出本發(fā)明的范圍。
[0142] 所屬領域的技術人員可以清楚地了解到，為了描述的方便和簡潔，上述描述的系統(tǒng)、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。
[0143] 在本申請所提供的幾個實施例中，應該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口、裝置或單元的間接耦合或通信連接，也可以是電的，機械的或其它的形式連接。
[0144] 所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本發(fā)明實施例方案的目的。
[0145] 另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以是兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。
[0146] 所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中?；谶@樣的理解，本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分，或者該技術方案的全部或部分可以以軟件產品的形式體現(xiàn)出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等）執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：U盤、移動硬盤、只讀存儲器（Read-Only Memory, 簡稱為"ROM")、隨機存取存儲器（Random Access Memory，簡稱為"RAM")、磁碟或者光盤等各種可以存儲程序代碼的介質。
[0147] 以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本【技術領域】的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到各種等效的修改或替換，這些修改或替換都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應以權利要求的保護范圍為準。
【權利要求】
1. 一種識別動作的方法，其特征在于，包括：根據(jù)動作傳感器檢測到動作的發(fā)生，確定視覺傳感器采集到的當前視頻幀中包括動作；獲取包括所述當前視頻巾貞的動作視頻巾貞序列；識別所述動作視頻幀序列中的目標動作。
2. 根據(jù)權利要求1所述的方法，其特征在于，所述識別所述動作視頻幀序列中的目標動作，包括：獲取Μ個靜態(tài)視頻幀，所述Μ個靜態(tài)視頻幀與所述動作視頻幀序列的間隔采集時間不超過第一預設閾值，Μ為大于一的整數(shù)；根據(jù)所述Μ個靜態(tài)視頻幀，確定所述動作視頻幀序列的目標背景幀；根據(jù)所述目標背景幀，識別所述動作視頻幀序列中的目標動作。
3. 根據(jù)權利要求2所述的方法，其特征在于，所述根據(jù)所述Μ個靜態(tài)視頻幀，確定所述動作視頻幀序列的目標背景幀，包括：確定所述Μ個靜態(tài)視頻幀的設備運動信息，所述靜態(tài)視頻幀的設備運動信息用于表示動作識別設備在采集所述靜態(tài)視頻幀時的運動狀態(tài)；根據(jù)所述Μ個靜態(tài)視頻幀的設備運動信息，確定所述目標背景幀。
4. 根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述Μ個靜態(tài)視頻幀的設備運動信息，確定所述目標背景幀，包括：根據(jù)第一靜態(tài)視頻幀的設備運動信息和第二靜態(tài)視頻幀的設備運動信息，確定第一設備相對運動值，所述Μ個靜態(tài)視頻幀包括所述第一靜態(tài)視頻幀和所述第二靜態(tài)視頻幀，所述第一靜態(tài)視頻幀和所述第二靜態(tài)視頻幀構成第一相鄰幀；當所述第一設備相對運動值大于零且小于第一運動補償閾值時，對所述第一靜態(tài)視頻幀和所述第二靜態(tài)視頻幀中的其中一幀進行運動補償；根據(jù)所述運動補償后的所述第一相鄰幀，確定所述第一相鄰幀的幀差；根據(jù)所述第一相鄰幀的幀差，確定所述目標背景幀。
5. 根據(jù)權利要求1至4中任一項所述的方法，其特征在于，所述識別所述動作視頻幀序列中的目標動作，包括：確定所述動作視頻幀序列中的視頻幀的設備運動信息，所述視頻幀的設備運動信息用于表示動作識別設備在采集所述視頻幀時的運動狀態(tài)；根據(jù)所述動作視頻幀序列中的視頻幀的設備運動信息，識別所述目標動作。
6. 根據(jù)權利要求5所述的方法，其特征在于，所述根據(jù)所述動作視頻幀序列中的視頻幀的設備運動信息，識別所述目標動作，包括：根據(jù)所述動作視頻幀序列包括的第一視頻幀的設備運動信息和所述目標背景幀的設備運動信息，確定第二設備相對運動值；當所述第二設備相對運動值大于第二運動補償閾值時，對所述第一視頻幀和所述目標背景幀中的其中一幀進行運動補償；根據(jù)所述其中一幀進行運動補償后的所述第一視頻幀和所述目標背景幀，確定所述第一視頻幀中的前景信息；根據(jù)所述第一視頻幀中的前景信息，識別所述目標動作。
7. -種動作識別設備，其特征在于，包括：確定模塊，用于根據(jù)動作傳感器檢測到動作的發(fā)生，確定視覺傳感器采集到的當前視頻中貞中包括動作；獲取模塊，用于獲取包括所述確定模塊確定包括動作的所述當前視頻幀的動作視頻幀序列；識別模塊，用于識別所述獲取模塊獲取的所述動作視頻幀序列中的目標動作。
8. 根據(jù)權利要求7所述的動作識別設備，其特征在于，所述識別模塊包括：獲取單元，用于獲取Μ個靜態(tài)視頻幀，所述Μ個靜態(tài)視頻幀與所述動作視頻幀序列的間隔采集時間不超過第一預設閾值，Μ為大于一的整數(shù)；第一確定單元，用于根據(jù)所述獲取單元獲取的所述Μ個靜態(tài)視頻幀，確定所述動作視頻幀序列的目標背景幀；第一識別單元，用于根據(jù)所述第一確定單元確定的所述目標背景幀，識別所述動作視頻幀序列中的目標動作。
9. 根據(jù)權利要求8所述的動作識別設備，其特征在于，所述第一確定單元具體用于確定所述Μ個靜態(tài)視頻幀的設備運動信息，所述靜態(tài)視頻幀的設備運動信息用于表示動作識別設備在采集所述靜態(tài)視頻幀時的運動狀態(tài)，以及根據(jù)所述Μ個靜態(tài)視頻幀的設備運動信息，確定所述目標背景幀。
10. 根據(jù)權利要求9所述的動作識別設備，其特征在于，所述第一確定單元包括：第一確定子單元，用于根據(jù)第一靜態(tài)視頻幀的設備運動信息和第二靜態(tài)視頻幀的設備運動信息，確定第一設備相對運動值，所述Μ個靜態(tài)視頻幀包括所述第一靜態(tài)視頻幀和所述第二靜態(tài)視頻幀，所述第一靜態(tài)視頻幀和所述第二靜態(tài)視頻幀構成第一相鄰幀；運動補償子單元，用于當所述第一確定子單元確定的所述第一設備相對運動值大于零且小于第一運動補償閾值時，對所述第一靜態(tài)視頻巾貞和所述第二靜態(tài)視頻巾貞中的其中一中貞進行運動補償；第二確定子單元，用于根據(jù)所述運動補償子單元進行運動補償后的所述第一相鄰幀，確定所述第一相鄰幀的幀差；第三確定子單元，用于根據(jù)所述第二確定子單元確定的所述第一相鄰幀的幀差，確定所述目標背景幀。
11. 根據(jù)權利要求7至10中任一項所述的動作識別設備，其特征在于，所述識別模塊還包括：第二確定單元，用于確定所述動作視頻幀序列中的視頻幀的設備運動信息，所述視頻幀的設備運動信息用于表示動作識別設備在采集所述視頻幀時的運動狀態(tài)；第二識別單元，用于根據(jù)所述第二確定單元確定的所述動作視頻幀序列中的視頻幀的設備運動信息，識別所述目標動作。
12. 根據(jù)權利要求11所述的動作識別設備，其特征在于，所述第二識別單元包括：第一確定子單元，用于根據(jù)所述動作視頻幀序列包括的第一視頻幀的設備運動信息和所述目標背景幀的設備運動信息，確定第二設備相對運動值；運動補償子單元，用于當所述第一確定子單元確定的所述第二設備相對運動值大于第二運動補償閾值時，對所述第一視頻幀和所述目標背景幀中的其中一幀進行運動補償；第二確定子單元，用于根據(jù)所述運動補償子單元對其中一幀進行運動補償后的所述第一視頻幀和所述目標背景幀，確定所述第一視頻幀中的前景信息；識別子單元，用于根據(jù)所述第二確定子單元確定的所述第一視頻幀中的前景信息，識別所述目標動作。
【文檔編號】G06K9/00GK104112112SQ201310137272
【公開日】2014年10月22日申請日期:2013年4月19日優(yōu)先權日:2013年4月19日
【發(fā)明者】廉士國, 宋星光, 胡偉申請人:華為技術有限公司

完整全部詳細技術資料下載