體感交互裝置以及體感交互方法
【專利摘要】本發(fā)明公開了一種體感交互裝置以及體感交互方法，體感交互裝置包括：至少一個圖像采集單元、處理單元以及至少一個投影單元，至少一個圖像采集單元與至少一個投影單元均分別與處理單元電路連接，圖像采集單元用于采集圖像信息；處理單元用于對圖像信息進行識別，根據(jù)識別結(jié)果獲取對應的體感交互動作指令，根據(jù)體感交互動作指令對待顯示的應用信息進行處理，并將處理后的應用信息發(fā)送至至少一個所述投影單元；投影單元用于對處理后的應用信息進行投影顯示。通過上述方式，體感交互裝置的圖像信號采集、處理以及顯示功能均集成在同一個設備體感交互裝置上，使體感交互技術(shù)不在局限于有限的空間內(nèi)，有效的提高了體感交互設備的可移動性。
【專利說明】
體感交互裝置以及體感交互方法
技術(shù)領域
[0001]本發(fā)明涉及智能終端技術(shù)領域，特別是涉及一種體感交互裝置以及體感交互方法。
【背景技術(shù)】
[0002]體感游戲是通過自身的身體動作來操作游戲，相較于傳統(tǒng)的通過鍵盤、鼠標以及有線手柄等的游戲，體感游戲不再是手指操作運動，身體的運動量和娛樂性都得到了很大的提高，因此，體感游戲得到了很好的發(fā)展。
[0003]現(xiàn)有的體感游戲一般都是采用深度相機與處理設備如智能電視或計算機等智能終端設備相結(jié)合的方式來實現(xiàn)，即通過深度相機獲取到的目標深度圖像，通過有線或無線的方式傳輸?shù)教幚碓O備，二者相互配合來實現(xiàn)對體感動作的識別。
[0004]然而，現(xiàn)有的體感交互系統(tǒng)或設備本身體積或規(guī)模相對較大，也可能根據(jù)需要還另外添加其他多種其他的輔助設備，因此，一般情況下，體感交互操作在特定的環(huán)境或空間內(nèi)進行，如在安裝電視的客廳或裝配有電腦的書房進行，可移動性差。

【發(fā)明內(nèi)容】

[0005]本發(fā)明主要解決的技術(shù)問題是提供一種體感交互裝置以及體感交互方法，能夠有效提高體感交互系統(tǒng)的可移動性。
[0006]為解決上述技術(shù)問題，本發(fā)明采用的一個技術(shù)方案是:提供一種體感交互裝置，
[0007]所述體感交互裝置包括:至少一個圖像采集單元、處理單元以及至少一個投影單元，所述至少一個圖像采集單元與所述至少一個投影單元均分別與所述處理單元電路連接，
[0008]所述圖像采集單元用于采集圖像信息；
[0009]所述處理單元用于對所述圖像信息進行識別，根據(jù)識別結(jié)果獲取對應的體感交互動作指令，根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理，并將處理后的應用信息發(fā)送至至少一個所述投影單元；
[0010]所述投影單元對所述處理后的應用信息進行投影顯示。
[0011]其中，所述體感交互裝置包括多個所述圖像采集單元，多個所述圖像采集單元分別位于所述體感交互裝置的不同方位，用于采集目標體感對象的多個圖像信息；
[0012]所述處理單元具體用于分別對所述多個圖像信息進行識別，根據(jù)識別結(jié)果分別獲取對應的多個體感交互動作指令，根據(jù)所述多個體感交互動作指令對待顯示的應用信息進行分別處理，以得到多個處理后的應用信息，并將多個處理后的應用信息發(fā)送至所述投影單元。
[0013]其中，所述體感交互裝置包括一個所述投影單元，
[0014]所述投影單元具體用于按照多個不同方位的所述圖像采集單元的預設優(yōu)先級別順序，對所述多個處理后的應用信息進行投影顯示。
[0015]其中，所述體感交互裝置包括數(shù)量與所述圖像采集單元的相同的多個投影單元，或包括一個具有與所述圖像采集單元的數(shù)量相同投影區(qū)域的投影單元，每一個所述投影單元或投影區(qū)域分別對所述多個處理后的應用信息進行投影顯示。
[0016]其中，所述體感交互裝置包括一個所述圖像采集單元，以及多個所述投影單元或一個具有多個投影區(qū)域的投影單元，所述多個投影單元或投影區(qū)域用于分別對所述處理后的應用信息進行投影顯示。
[0017]其中，所述圖像采集單元具體用于向目標區(qū)域投射特定編碼的圖像，獲取所述目標區(qū)域內(nèi)目標體感對象的有效的RGB圖像以及紅外編碼圖像，并根據(jù)所述RGB圖像以及所述紅外編碼圖像合成所述圖像信息。
[0018]其中，所述圖像采集單元進一步用于通過按照預定加權(quán)比例對所所述RGB圖像以及所述紅外編碼圖像進行插值匹配后得到所述圖像信息。
[0019]其中，所述圖像采集單元包括紅外投影設備、RGB攝像機和紅外攝像機，所述投影單元包括投影鏡頭。
[0020]其中，所述體感交互裝置還包括網(wǎng)絡連接單元，所述網(wǎng)絡連接單元與所述處理單元電路連接，用于與網(wǎng)絡服務器無線連接，以響應所述處理單元的指令并通過所述網(wǎng)絡服務器下載應用或進行遠程體感交互。
[0021]為解決上述技術(shù)問題，本發(fā)明采用的另一個技術(shù)方案是:提供一種體感交互方法，
[0022]所述體感交互方法包括如下步驟:
[0023]體感交互裝置通過至少一個圖像采集單元采集圖像信息；
[0024]對所述圖像信息進行識別，并根據(jù)識別結(jié)果獲取對應的體感交互動作指令；
[0025]根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理，得到處理后的應用信息;
[0026]將所述處理后的應用信息通過至少一個投影單元進行投影顯示。
[0027]本發(fā)明的有益效果是:區(qū)別于現(xiàn)有技術(shù)的情況，本實施方式的體感交互裝置包括分別與處理單元電路連接的至少一個圖像采集單元以及至少一個投影單元，圖像采集單元采集圖像信息后，將該圖像信息發(fā)送至處理單元，處理單元對該圖像信息進行識別，根據(jù)識別結(jié)果獲取對應的體感交互動作指令，根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理后，將處理后的應用信息發(fā)送至該至少一個投影單元進行投影顯示。通過上述方式，體感交互裝置的圖像信號采集、處理以及顯示功能均集成在同一個設備體感交互裝置上，使體感交互技術(shù)不在局限于有限的空間內(nèi)，有效的提高了體感交互設備的可移動性。另外，通過投影的方式的進行顯示，也使體感交互設備從體積上更加輕便，顯示范圍相對于現(xiàn)有的有限的顯示設備更加廣泛，應用領域也得到有效的擴展。
【附圖說明】
[0028]圖1是本發(fā)明體感交互裝置第一實施方式的結(jié)構(gòu)示意圖；
[0029]圖2是本發(fā)明體感交互裝置第二實施方式的結(jié)構(gòu)示意圖；
[0030]圖3A是本發(fā)明體感交互裝置第三實施方式的結(jié)構(gòu)示意圖；
[0031 ]圖3B是本發(fā)明體感交互裝置第四實施方式的結(jié)構(gòu)示意圖；
[0032]圖4是本發(fā)明體感交互裝置第五實施方式的結(jié)構(gòu)示意圖；
[0033]圖5是本發(fā)明體感交互裝置第六實施方式的結(jié)構(gòu)示意圖；
[0034]圖6是本發(fā)明體感交互裝置第七實施方式的結(jié)構(gòu)示意圖；
[0035]圖7是本發(fā)明體感交互方法一實施方式的流程示意圖；
[0036]圖8是本發(fā)明體感交互方法另一實施方式的流程示意圖。
【具體實施方式】
[0037]為了實現(xiàn)體感交互系統(tǒng)的可移動性，本實施方式提供一種交互裝置，其中，該體感交互裝置包括圖像采集單元、處理單元以及投影單元，圖像采集單元與投影單元分別與處理單元電路連接。其中，本實施方式的圖像采集單元可以為一個也可以為多個，投影單元可以為一個也可以為多個。
[0038]具體地，體感交互裝置為了實現(xiàn)投影方式的體感交互操作，首先確定本次投影操作所需要的圖像采集單元以及投影單元的數(shù)量，如體感交互裝置包括一個圖像采集單元或2個圖像采集單元或者多個體感采集單元，以及包括一個投影單元或多個投影單元。并根據(jù)圖像采集單元以及投影單元的數(shù)量確定本次體感交互的投影類型，其中，該投影類型包括一個圖像采集單元對應多個投影單元的的模式類型，多個圖像采集單元對應一個投影單元的類型，多個圖像采集單元對應多個投影單元的類型中的至少一種。
[0039]在其他實施方式中，一個投影單元也可以通過設置多個投影區(qū)域來實現(xiàn)同時投影多個圖像的操作，在此不做限定。
[0040]在一個具體的實施方式中，如圖1，本實施方式的體感交互裝置包括一個圖像采集單元101以及一個投影單元103，圖像采集單元101與投影單元103分別與處理單元102連接。
[0041]其中，該圖像處理單元101用于采集圖像信息。具體地，為了清楚說明其工作方式，如圖2所示，圖2是圖1體感交互裝置一實施方式的細化結(jié)構(gòu)示意圖。在本實施方式中，所述圖像采集單元201包括依次連接的紅外投影設備2011，RGB攝像機2012以及紅外攝像頭2013ο
[0042]體感交互裝置進入工作狀態(tài)后，首先確定圖像采集單元201的目標區(qū)域，即該圖像采集單元的有效采集范圍。在確定該目標區(qū)域后，紅外投射設備2011向該目標區(qū)域投射經(jīng)過特定編碼的圖像，如一些經(jīng)過特定編碼的光斑等圖像，確定目標體感對象，RGB攝像機2012以及紅外攝像機2013再分別對該目標區(qū)域進行攝像，得到目標體感對象的RGB圖像以及帶有紅外編碼的紅外編碼圖像，利用算法如結(jié)構(gòu)光算法對紅外編碼圖像進行處理后得到目標體感對象的深度圖像，將該深度圖像和RGB圖像進行融合后得到3D的彩色-深度(RGB-D)圖像彳g息。
[0043]具體地，RGB攝像機2012以及紅外攝像機2013是根據(jù)其二者的相對位置，并按照預定加權(quán)比例對所所述RGB圖像以及所述紅外編碼圖像進行插值匹配后得到該圖像信息。其中，該圖像信息中包括3D深度信息以及彩色信息。
[0044]在另一個實施方式中，體感交互裝置也可以通過時間飛行法TOF得到目標體感對象的深度圖像，將該深度圖像和通過RGB攝像頭采集的RGB圖像進行融合后得到3D的彩色-深度(RGB-D)圖像信息。在其他實施方式中，也可以通過其他方法，只要能夠得到目標體感對象的是深度圖像都屬于本發(fā)明的包含的范圍，在此不做限定。
[0045]在另一個實施方式中，如果目標區(qū)域內(nèi)的目標體感對象多于一個，此時體感交互裝置201可根據(jù)獲取先后順序確定目標體感對象的圖像信息的順序或哪個為需要執(zhí)行的有效圖像信息。在其他實施方式中，也可以通過其他方式來確定，如按照預先設定的方位優(yōu)先級別來確定，如位于目標區(qū)域中間的目標體感對象的優(yōu)先級別高于位于目標區(qū)域左邊的目標體感對象，位于左邊的目標體感對象的優(yōu)先級別高于該目標區(qū)域右邊的目標體感對象，還可以通過語音或特定的體感動作來確定有效的目標體感對象或目標體感對象的執(zhí)行順序等，在此不做限定，只要根據(jù)一定規(guī)則確定目標體感對象或其優(yōu)先級別或采集圖像信息順序的方式都屬于本申請保護的范圍。
[0046]例如，在通過該體感交互裝置進行會議時，一個圖像采集單元可采集位于同一方位的多個工作人員的圖像信息，或通過多個圖像采集單元同時采集位于不同方位的多個工作人員圖像信息，實現(xiàn)多方位的對該會議內(nèi)容的控制。
[0047]進一步參閱圖2，圖像采集單元201在獲取到有效的圖像信息后，將該圖像信息發(fā)送至處理單元202，處理單元202首先對該圖像信息進行識別，如對該圖像信息進行有效信息的鑒別，包括對有效姿勢或動作進行識別，如用戶左右擺動左右胳膊或肩膀到角度等，在此不做限定。處理單元202再根據(jù)識別結(jié)果確定當前圖像信息對應的體感交互動作指令。
[0048]具體地，處理單元202根據(jù)其存儲的轉(zhuǎn)換參數(shù)將所述識別結(jié)果轉(zhuǎn)換成與該投影設備203對應的體感交互動作指令。其中，該轉(zhuǎn)化參數(shù)包括參考圖像數(shù)據(jù)以及體感交互裝置內(nèi)部參數(shù)數(shù)據(jù)等。
[0049]處理單元202再根據(jù)該體感交互動作指令對待顯示的應用信息進行處理，并將處理后的應用信息發(fā)送至投影單元203。
[0050]其中，該應用信息包括體感游戲、體感遠程控制程序、會議信息、電影播放等應用中的至少一種。處理單元202根據(jù)該體感交互動作指令確定該應用信息的下一個動作或下一個畫面信息，并將包含下一個畫面信息的處理后的應用信息發(fā)送至投影單元203。
[0051]投影單元203用于對該處理后的應用信息進行投影顯示。具體地，如圖2所示，投影單元203通過投影鏡頭2031將該處理后的應用信息進行投影到幕布或者投影墻上顯示，在此不做限定。
[0052]在另一個具體的實施方式中，如圖3A所示，體感交互裝置包括一個圖像采集單元301以及一個具有多個投影區(qū)域的投影單元303，在另一個實施方式中，該具有多個投影區(qū)域的投影單元303也可以通過多個投影單元303來代替，如圖3B所示，在此不做限定。以圖3A為例，該圖像采集單元301以及該投影單元303分別與處理單元302電路連接。
[0053]與上述任意實施方式相比，在本實施方式中，圖像采集單元301在采集到目標體感對象的圖像信息后，處理單元302在根據(jù)該一個圖像采集單元301采集的圖像信息獲取到對應的體感交互動作指令，根據(jù)該體感交互動作指令對待顯示的應用信息進行處理，并將處理后的應用信息發(fā)送至投影單元303時，投影單元303通過該多個投影區(qū)域分別對該處理后的應用信息進行顯示。
[0054]在另一個具體的實施方式中，如圖4所示，本實施方式的體感交互裝置包括多個圖像采集單元401，其中，該多個圖像采集單元401分別位于該體感交互裝置的不同方位。本實施方式中以包括三個圖像采集單元401為例來說明，其中，該三個該圖像采集單元401分別位于該體感交互裝置的正前方，左側(cè)和右側(cè)。需要說明的是，此處的三個圖像采集單元401并非限制。
[0055]如圖4所示，該三個不同方位的圖像采集單元401分別采集其各自目標區(qū)域內(nèi)的目標體感對象的圖像信息，并均將各自采集到的目標體感對象的圖像信息發(fā)送至處理單元402。處理單元402對該多個圖像信息分別進行識別，并根據(jù)識別結(jié)果分別獲取對應的多個體感交互動作指令，再根據(jù)該多個體感交互動作指令對待顯示的應用信息進行處理后得到多個處理后的應用信息，并將該多個處理后的應用信息發(fā)送至投影單元403。
[0056]在本實施方式中，該多個處理后的應用信息通過一個投影單元403進行投影顯示，具體地，該投影單元403通過其投影鏡頭按照多個不同方位的所述圖像采集單元401的優(yōu)先級別順序，對該多個處理后的應用信息依次進行投影。如當分別位于該體感交互裝置的正前方，左側(cè)和右側(cè)的三個圖像采集單元401的優(yōu)先級別依次降低時，投影單元403首先對該正前方的圖像采集單元401對應的處理后的應用信息進行投影顯示，再對左側(cè)的圖像采集單元401對應的處理后的應用信息進行投影顯示，最后再對右側(cè)的圖像采集單元401對應的處理后的應用信息進行投影顯示。投影單元403還可以通過語音或者特定的體感動作對該多個圖像采集單元對應的處理后的應用信息進行處理或者設置優(yōu)先級別，在此不做限定。
[0057]需要說明的是，在其他實施方式中，投影單元403也可根據(jù)其他預先設定的規(guī)則依序?qū)υ摱鄠€處理后的應用信息進行投影顯示，在此不做限定。
[0058]在另一個實施方式中，如圖5所示，本實施方式的體感交互裝置與圖4所示的體感交互裝置的區(qū)別在于，本實施方式的體感交互裝置包括數(shù)量與圖像采集單元501相同的多個投影單元503，在另一個實施方式中，該多個投影單元503也可以通過一個具有與該圖像采集單元501數(shù)量相同投影區(qū)域的投影單元503，即每一個投影單元503或投影單元503的每一個投影區(qū)域?qū)粋€圖像采集單元501，每一個投影單元503或投影單元503的每一個投影區(qū)域分別對各自對應的處理后的應用信息進行投影顯示。在此不做限定。
[0059]在另一個實施方式中結(jié)合上述任一實施方式，如圖6所示，本實施方式的體感交互裝置除了包括至少一個圖像采集單元601、處理單元602以及投影單元603之外，還包括網(wǎng)絡連接單元604，該網(wǎng)絡連接單元604與處理單元602電路連接，用于通過無線與網(wǎng)絡服務器連接，以響應該處理單元的指令，并通過該網(wǎng)絡服務器下載應用、更新應用或進行遠程體感交互。
[0060]具體地，在其中的一個實施方式中，體感交互裝置也可通過該網(wǎng)絡服務器與其他遠程設備相連接，利用該網(wǎng)絡服務器進行通過體感交互動作指令控制的實時的圖片或視頻的傳輸，以及通信如聊天等網(wǎng)絡交互。
[0061]在其中的另一個實施方式中，體感交互裝置還可通過該網(wǎng)絡服務器下載器所存儲的應用信息或軟件程序新版本或新插件，即通過該網(wǎng)絡服務器及時對應用、系統(tǒng)或程序進行更新。
[0062]在其中的另一個實施方式中，體感交互裝置還可通過該網(wǎng)絡服務器同時實現(xiàn)多個處理后的應用信息同時傳輸或遠程顯示。在此不做限定。
[0063]在上述任一實施方式中，該體感交互裝置還包括存儲單元，該存儲單元用于存儲各應用程序信息，該體感交互裝置的特征數(shù)據(jù)、處理單元在運行過程中產(chǎn)生的計算運行數(shù)據(jù)，以及上層應用數(shù)據(jù)以及其他數(shù)據(jù)信息等，在此不做限定。
[0064]在上述任一實施方式中，該體感交互裝置還包括音頻控制單元，該音頻控制單元可在圖像采集裝置采集圖像信息的同時對目標體感對象的音頻信號進行采集，并通過處理單元進行處理后，將該音頻信號轉(zhuǎn)換為控制指令，并通過該控制指令對待處理的應用信息進行控制?；蛘邔⒃摬杉蟮囊纛l信號通處理單元處理后，在投影單元進行投影時同步進行播放，或在處理后的應用信息進行網(wǎng)絡傳輸時，與該處理后的應用信息一同被發(fā)送至接收端，在此不做限定。
[0065]在上述任一實施方式中，該體感交互裝置的一個或多個圖像采集單元，一個或多個投影單元的位置，可以根據(jù)需要實時進行調(diào)整位置，在此不做限定。
[0066]區(qū)別于現(xiàn)有技術(shù)，本發(fā)明的體感交互裝置包括分別與處理單元電路連接的至少一個圖像采集單元以及至少一個投影單元，圖像采集單元采集圖像信息后，將該圖像信息發(fā)送至處理單元，處理單元對該圖像信息進行識別，根據(jù)識別結(jié)果獲取對應的體感交互動作指令，根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理后，將處理后的應用信息發(fā)送至該至少一個投影單元進行投影顯示。通過上述方式，體感交互裝置的圖像信號采集、處理以及顯示功能均集成在同一個設備體感交互裝置上，使體感交互技術(shù)不在局限于有限的空間內(nèi)，有效的提高了體感交互設備的可移動性。另外，通過投影的方式的進行顯示，也使體感交互設備從體積上更加輕便，顯示范圍相對于現(xiàn)有的有限的顯示設備更加廣泛，應用領域也得到有效的擴展。
[0067]另外，本發(fā)明的體感交互裝置的圖像采集單元可擴展到多個，也同時或依次采集不同方位的目標體感對象的圖像信息，能夠有效實現(xiàn)多個目標體感對象對同一應用的體感控制，為用戶特別是范圍較大的場合的多個用戶實現(xiàn)體感控制提供方便。
[0068]另外，本發(fā)明的體感交互裝置的投影單元或投影單元的投射區(qū)域可擴展為多個，同時或依序?qū)σ粋€或多個目標體感對象對應的處理后的應用信息進行投影顯示，能夠有效實現(xiàn)一個應用信息的多方位顯示或多個不同的應用信息同時顯示，為觀看者特別是數(shù)量較大的觀看者提供更加清晰時效的多方位體感交互控制體驗。
[0069]另外，本發(fā)明的體感交互裝置還可以與網(wǎng)絡服務器進行無線連接，通過該網(wǎng)絡服務器實現(xiàn)應用下載、應用更新以及遠程體感交互，通過該網(wǎng)絡服務器實時的對圖片或視頻進行傳輸，實現(xiàn)網(wǎng)絡通信等。還可以通過該網(wǎng)絡服務器實現(xiàn)多個遠程設備同時操控，進一步提高用戶體驗以及降低操作成本與時間。
[0070]參閱圖7，圖7是本發(fā)明體感交互方法一實施方式的流程示意圖。如圖7所示，本實施方式的體感交互方法包括如下步驟:
[0071]701:體感交互裝置通過至少一個圖像采集單元采集圖像信息。
[0072]為了實現(xiàn)體感交互系統(tǒng)的可移動性，體感交互裝置首先確定本次投影類型。具體地，體感交互裝置首先確定本次投影操作所需要的圖像采集單元以及投影單元的數(shù)量，再根據(jù)圖像采集單元以及投影單元的數(shù)量確定本次體感交互的投影類型，其中，該投影類型包括一個圖像采集單元對應多個投影單元的的模式類型，多個圖像采集單元對應一個投影單元的類型，多個圖像采集單元對應多個投影單元的類型中的至少一種。
[0073]在其他實施方式中，一個投影單元也可以通過設置多個投影區(qū)域來實現(xiàn)同時投影多個圖像的操作，在此不做限定。
[0074]當該體感交互裝置包括多個圖像采集單元時，該該多個圖像采集單元分別位于該體感交互裝置的不同方位。
[0075]其中，該體感交互裝置的一個或多個圖像采集單元，一個或多個投影單元的位置，可以根據(jù)需要實時進行調(diào)整位置，在此不做限定。
[0076]具體地，體感交互裝置在確定投影類型后，根據(jù)該類型確定的一個或多個圖像采集單元對其各自的目標區(qū)域即有效采集范圍內(nèi)的目標采集對象的圖像信息進行采集。
[0077]其中，在其中的一個實施方式中，圖像采集單元可通過其紅外投射設備向該目標區(qū)域投射經(jīng)過特定編碼的圖像，如一些經(jīng)過特定編碼的光斑等圖像，確定目標體感對象，再通過其RGB攝像機以及紅外攝像機分別對該目標區(qū)域進行攝像，得到目標體感對象的RGB圖像以及帶有紅外編碼的紅外編碼圖像，利用算法如結(jié)構(gòu)光算法對紅外編碼圖像進行處理后得到目標體感對象的深度圖像，將該深度圖像和RGB圖像進行融合后得到3D的彩色-深度(RGB-D)圖像信息。
[0078]具體地，體感交互裝置根據(jù)RGB攝像機以及紅外攝像機的相對位置，并按照預定加權(quán)比例對所所述RGB圖像以及所述紅外編碼圖像進行插值匹配后得到該圖像信息。其中，該圖像信息中包括3D深度信息以及彩色信息。
[0079]在另一個實施方式中，體感交互裝置也可以通過時間飛行法TOF得到目標體感對象的深度圖像，將該深度圖像和通過RGB攝像頭采集的RGB圖像進行融合后得到3D的彩色-深度(RGB-D)圖像信息。在其他實施方式中，也可以通過其他方法，只要能夠得到目標體感對象的是深度圖像都屬于本發(fā)明的包含的范圍，在此不做限定。
[0080]在另一個實施方式中，如果目標區(qū)域內(nèi)的目標體感對象多于一個，體感交互裝置可根據(jù)獲取先后順序確定目標體感對象的圖像信息的順序或哪個為需要執(zhí)行的有效圖像信息。在其他實施方式中，也可以通過其他方式來確定，如按照預先設定的方位優(yōu)先級別來確定，如位于目標區(qū)域中間的目標體感對象的優(yōu)先級別高于位于目標區(qū)域左邊的目標體感對象，位于左邊的目標體感對象的優(yōu)先級別高于該目標區(qū)域右邊的目標體感對象，還可以通過語音或特定的體感動作來確定有效的目標體感對象或目標體感對象的執(zhí)行順序等，在此不做限定，只要根據(jù)一定規(guī)則確定目標體感對象或其優(yōu)先級別或采集圖像信息順序的方式都屬于本申請保護的范圍。
[0081]例如，在通過該體感交互裝置進行會議時，一個圖像采集單元可采集位于同一方位的多個工作人員的圖像信息，或通過多個圖像采集單元同時采集位于不同方位的多個工作人員圖像信息，實現(xiàn)多方位的對該會議內(nèi)容的控制。
[0082]702:對所述圖像信息進行識別，并根據(jù)識別結(jié)果獲取對應的體感交互動作指令。
[0083]具體地，體感交互裝置可通過其處理單元對其至少一個圖像采集單元采集到的圖形信息進行識別，如對該圖像信息進行有效信息的鑒別，包括對有效姿勢或動作進行識別，如用戶左右擺動左右胳膊或肩膀到角度等。再根據(jù)識別結(jié)果確定當前圖像信息對應的體感交互動作指令。
[0084]如果體感交互裝置包括多個圖像采集單元時，體感交互裝置通過其處理單元對該多個圖像信息分別進行識別，并根據(jù)識別結(jié)果分別獲取對應的多個體感交互動作指令。
[0085]其中，該體感交互裝置根據(jù)其存儲的轉(zhuǎn)換參數(shù)將所述識別結(jié)果轉(zhuǎn)換成與該體感交互裝置投射單元對應的體感交互動作指令。其中，該轉(zhuǎn)化參數(shù)包括參考圖像數(shù)據(jù)以及體感交互裝置內(nèi)部參數(shù)數(shù)據(jù)等。
[0086]703:根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理，得到處理后的應用?目息。
[0087]其中，該應用信息包括體感游戲、體感遠程控制程序、會議信息、電影播放等應用中的至少一種。例如，體感交互裝置通過其處理單元根據(jù)該體感交互動作指令確定該應用信息的下一個動作或下一個畫面信息。
[0088]在圖像采集單元為多個，即識別結(jié)果為多個時，體感交互裝置分別對該多個識別結(jié)果獲取其對應的多個體感交互動作指令，再根據(jù)該多個體感交互動作指令對待顯示的應用信息進行處理后得到多個處理后的應用信息。
[0089]704:將所述處理后的應用信息通過至少一個投影單元進行投影顯示。
[0090]具體地，體感交互裝置在得到至少一個處理后的應用信息后，將該處理后的應用信息進行投影到幕布或者投影墻上顯示。具體地，可通過其投影單元的投影鏡頭來實現(xiàn)。
[0091]在其中的一個實施方式中，體感交互裝置包括一個圖像采集單元以及一個具有多個投影區(qū)域的投影單元或多個投影單元時，體感交互裝置在得到該圖像采集單元采集的圖像信息對應的處理后的應用信息后，將該處理后的應用信息通過該多個投影區(qū)域或多個投影單元分別進行顯示。
[0092]在其中的一個實施方式中，體感交互裝置包括多個位于不同方位的圖像采集單元以及一個投影單元或投影區(qū)域時，體感交互裝置在得到該多個圖像采集單元采集的圖像信息對應的多個處理后的應用信息后，通過其投影單元的投影鏡頭按照多個不同方位的圖像采集單元的優(yōu)先級別順序，對該多個處理后的應用信息依次進行投影。如當分別位于該體感交互裝置的正前方，左側(cè)和右側(cè)的三個圖像采集單元的優(yōu)先級別依次降低時，首先對該正前方的圖像采集單元對應的處理后的應用信息進行投影顯示，再對左側(cè)的圖像采集單元對應的處理后的應用信息進行投影顯示，最后再對右側(cè)的圖像采集單元對應的處理后的應用信息進行投影顯示。還可以通過語音或者特定的體感動作對該多個圖像采集單元對應的處理后的應用信息進行處理或者設置優(yōu)先級別，在此不做限定。
[0093]需要說明的是，在其他實施方式中，體感交互裝置也可根據(jù)其他預先設定的規(guī)則依序?qū)υ摱鄠€處理后的應用信息進行投影顯示，在此不做限定。
[0094]在其中的一個實施方式中，當體感交互裝置包括多個位于不同方位的圖像采集單元以及數(shù)量與圖像采集單元相同的多個投影單元或一個具有與該圖像采集單元數(shù)量相等投影區(qū)域的投影單元，即每一個投影單元或投影單元的每一個投影區(qū)域?qū)粋€圖像采集單元時，每一個投影單元或投影單元的每一個投影區(qū)域分別將其各自對應的處理后的應用信息進行投影顯示。
[0095]在另一個實施方式中，如圖8所示，圖8是本發(fā)明體感交互方法另一實施方式的流程示意圖。本實施方式與上一個實施方式的體感交互方法的區(qū)別在于，
[0096]在步驟803:根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理，得到處理后的應用信息的步驟之后，還包括如下步驟:
[0097]804:將所述處理后的應用信息通過網(wǎng)絡服務器實時傳送至遠程設備進行顯示。
[0098]具體地，體感交互裝置可通過該網(wǎng)絡服務器與其他遠程設備相連接，利用該網(wǎng)絡服務器進行通過體感交互動作指令控制的實時的圖片或視頻的傳輸，以及通信如聊天等網(wǎng)絡交互。
[0099]在另一個實施方式中，體感交互裝置還可通過該網(wǎng)絡服務器同時實現(xiàn)多個處理后的應用信息同時傳輸或遠程顯示。
[0100]在另一個實施方式中，體感交互裝置還可通過該網(wǎng)絡服務器下載器所存儲的應用信息或軟件程序新版本或新插件，即通過該網(wǎng)絡服務器及時對應用、系統(tǒng)或程序進行更新。
[0101]在其他實施方式中，該體感交互裝置在對圖像信息進行采集的過程中還可以對目標體感對象的音頻信號進行采集，并通過處理單元進行處理后，在投影單元進行投影時同步進行播放，或在處理后的應用信息進行網(wǎng)絡傳輸時，與該處理后的應用信息一同被發(fā)送至接收端，在此不做限定。另外，在其他實施方式中，體感交互裝置還可以通過處理單元對音頻信號進行處理后，將該音頻信號轉(zhuǎn)換為控制指令，并通過該控制指令對待處理的應用信息進行控制。在此不做限定。
[0102]區(qū)別于現(xiàn)有技術(shù)，本發(fā)明的體感交互裝置采集圖像信息后，對該圖像信息進行識另IJ，根據(jù)識別結(jié)果獲取對應的體感交互動作指令，根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理后，將處理后的應用信息發(fā)送至該至少一個投影單元進行投影顯示。通過上述方式，體感交互裝置的圖像信號采集、處理以及顯示功能均集成在同一個設備體感交互裝置上，使體感交互技術(shù)不在局限于有限的空間內(nèi)，有效的提高了體感交互設備的可移動性。另外，通過投影的方式的進行顯示，也使體感交互設備從體積上更加輕便，顯示范圍相對于現(xiàn)有的有限的顯示設備更加廣泛，應用領域也得到有效的擴展。
[0103]另外，本發(fā)明的體感交互裝置的圖像采集單元可擴展到多個，也同時或依次采集不同方位的目標體感對象的圖像信息，能夠有效實現(xiàn)多個目標體感對象對同一應用的體感控制，為用戶特別是范圍較大的場合的多個用戶實現(xiàn)體感控制提供方便。
[0104]另外，本發(fā)明的體感交互裝置的投影單元或投影單元的投射區(qū)域可擴展為多個，同時或依序?qū)σ粋€或多個目標體感對象對應的處理后的應用信息進行投影顯示，能夠有效實現(xiàn)一個應用信息的多方位顯示或多個不同的應用信息同時顯示，為觀看者特別是數(shù)量較大的觀看者提供更加清晰時效的多方位體感交互控制體驗。
[0105]另外，本發(fā)明的體感交互裝置還可以與網(wǎng)絡服務器進行無線連接，通過該網(wǎng)絡服務器實現(xiàn)應用下載、應用更新以及遠程體感交互，通過該網(wǎng)絡服務器實時的對圖片或視頻進行傳輸，實現(xiàn)網(wǎng)絡通信等。還可以通過該網(wǎng)絡服務器實現(xiàn)多個遠程設備同時操控，進一步提高用戶體驗以及降低操作成本與時間。
[0106]以上所述僅為本發(fā)明的實施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運用在其他相關(guān)的技術(shù)領域，均同理包括在本發(fā)明的專利保護范圍內(nèi)。
【主權(quán)項】
1.一種體感交互裝置，其特征在于，所述體感交互裝置包括:至少一個圖像采集單元、處理單元以及至少一個投影單元，所述至少一個圖像采集單元與所述至少一個投影單元均分別與所述處理單元電路連接， 所述圖像采集單元用于采集圖像信息； 所述處理單元用于對所述圖像信息進行識別，根據(jù)識別結(jié)果獲取對應的體感交互動作指令，根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理，并將處理后的應用信息發(fā)送至至少一個所述投影單元； 所述投影單元用于對所述處理后的應用信息進行投影顯示。2.根據(jù)權(quán)利要求1所述的體感交互裝置，其特征在于，所述體感交互裝置包括多個所述圖像采集單元，多個所述圖像采集單元分別位于所述體感交互裝置的不同方位，用于采集各自目標區(qū)域內(nèi)目標體感對象的圖像信息； 所述處理單元具體用于分別對多個所述圖像信息進行識別，根據(jù)識別結(jié)果分別獲取對應的多個體感交互動作指令，根據(jù)所述多個體感交互動作指令對待顯示的應用信息進行分別處理，以得到多個處理后的應用信息，并將多個處理后的應用信息發(fā)送至所述投影單元。3.根據(jù)權(quán)利要求2所述的體感交互裝置，其特征在于，所述體感交互裝置包括一個所述投影單元， 所述投影單元具體用于按照多個不同方位的所述圖像采集單元的預設優(yōu)先級別順序，對所述多個處理后的應用信息進行投影顯示。4.根據(jù)權(quán)利要求2所述的體感交互裝置，其特征在于，所述體感交互裝置包括數(shù)量與所述圖像采集單元相同的多個投影單元，或包括一個具有與所述圖像采集單元的數(shù)量相同投影區(qū)域的投影單元，每一個所述投影單元或投影區(qū)域分別對所述多個處理后的應用信息進行投影顯示。5.根據(jù)權(quán)利要求1所述的體感交互裝置，其特征在于，所述體感交互裝置包括一個所述圖像采集單元，以及多個所述投影單元或一個具有多個投影區(qū)域的投影單元，所述多個投影單元或投影區(qū)域用于分別對所述處理后的應用信息進行投影顯示。6.根據(jù)權(quán)利要求1?5任一項權(quán)利要求所述的體感交互裝置，其特征在于，所述圖像采集單元具體用于向目標區(qū)域投射特定編碼的圖像，獲取所述目標區(qū)域內(nèi)目標體感對象的有效的RGB圖像以及紅外編碼圖像，并根據(jù)所述RGB圖像以及所述紅外編碼圖像合成所述圖像?目息O7.根據(jù)權(quán)利要求6所述的體感交互裝置，其特征在于，所述圖像采集單元進一步用于通過按照預定加權(quán)比例對所所述RGB圖像以及所述紅外編碼圖像進行插值匹配后得到所述圖像信息。8.根據(jù)權(quán)利要求6所述的體感交互裝置，其特征在于，所述圖像采集單元包括紅外投影設備、RGB攝像機和紅外攝像機，所述投影單元包括投影鏡頭。9.根據(jù)權(quán)利要求1?5任一項所述的體感交互裝置，所述體感交互裝置還包括網(wǎng)絡連接單元，所述網(wǎng)絡連接單元與所述處理單元電路連接，用于與網(wǎng)絡服務器無線連接，以響應所述處理單元的指令并通過所述網(wǎng)絡服務器下載應用或進行遠程體感交互。10.一種體感交互方法，其特征在于，所述體感交互方法包括如下步驟: 體感交互裝置通過至少一個圖像采集單元采集圖像信息；對所述圖像信息進行識別，并根據(jù)識別結(jié)果獲取對應的體感交互動作指令；根據(jù)所述體感交互動作指令對待顯示的應用信息進行處理，得到處理后的應用信息；將所述處理后的應用信息通過至少一個投影單元進行投影顯示。
【文檔編號】G06F3/01GK106095098SQ201610409608
【公開日】2016年11月9日
【申請日】2016年6月7日
【發(fā)明人】黃源浩, 肖振中, 劉龍, 許星
【申請人】深圳奧比中光科技有限公司