使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法和裝置，其中該方法是應(yīng)用在一電子裝置，且該方法包含以下步驟：使用該電子裝置中多個(gè)運(yùn)動(dòng)傳感器來(lái)分別得到對(duì)應(yīng)到該多個(gè)運(yùn)動(dòng)傳感器的感測(cè)數(shù)據(jù)，該感測(cè)數(shù)據(jù)是基于該電子裝置的一裝置坐標(biāo)系統(tǒng)所量測(cè)的，其中該多個(gè)運(yùn)動(dòng)傳感器包含多個(gè)慣性運(yùn)動(dòng)傳感器；以及基于該電子裝置的一使用者的一全域坐標(biāo)系統(tǒng)來(lái)轉(zhuǎn)換至少一部分的感測(cè)數(shù)據(jù)與感測(cè)數(shù)據(jù)的衍生數(shù)據(jù)以產(chǎn)生一轉(zhuǎn)換后數(shù)據(jù)來(lái)進(jìn)行一傳感器融合，并基于該全域坐標(biāo)系統(tǒng)來(lái)進(jìn)行運(yùn)動(dòng)感測(cè)來(lái)識(shí)別使用者的運(yùn)動(dòng)。本發(fā)明可以方便使用者控制電子產(chǎn)品以獲得正確的運(yùn)動(dòng)識(shí)別結(jié)果。
【專(zhuān)利說(shuō)明】使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種可攜式電子裝置的運(yùn)動(dòng)識(shí)別，尤其是一種使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法和裝置。
【背景技術(shù)】
[0002]在先前技術(shù)中，傳統(tǒng)的運(yùn)動(dòng)識(shí)別方法似乎并無(wú)法具有足夠的執(zhí)行細(xì)節(jié)，因此，當(dāng)使用這些傳統(tǒng)運(yùn)動(dòng)識(shí)別方法會(huì)有許多問(wèn)題產(chǎn)生。舉例來(lái)說(shuō)，參考圖1與圖2所示的運(yùn)動(dòng)，圖1描述了往右側(cè)的晃動(dòng)具有移動(dòng)以及繞著“-z”軸的轉(zhuǎn)動(dòng)，圖2描述了往右側(cè)的晃動(dòng)具有移動(dòng)、繞著“-z”軸的轉(zhuǎn)動(dòng)以及繞著“+y”軸的翻轉(zhuǎn)，當(dāng)只有使用重力傳感器(G-sensor)來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別時(shí)，線性加速度與重力加速度之間的改變并無(wú)法被解耦合。具體來(lái)說(shuō)，參考圖3所示為對(duì)應(yīng)圖1及圖2的重力傳感器的數(shù)據(jù)曲線(加速度數(shù)據(jù)ax、ay、az分別對(duì)應(yīng)到三個(gè)軸)，在圖3的上半圖與下半圖中，雖然這兩個(gè)運(yùn)動(dòng)具有相同的方法以及相同的移動(dòng)量，但是這兩個(gè)運(yùn)動(dòng)都沒(méi)有辦法根據(jù)重力傳感器來(lái)識(shí)別。在另外一個(gè)例子中，關(guān)于圖2所示的運(yùn)動(dòng)，當(dāng)只有使用陀螺儀傳感器來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別時(shí)，移動(dòng)的部分并無(wú)法被偵測(cè)到，而只能偵測(cè)到相對(duì)角度。在另外一個(gè)例子中，關(guān)于圖2所示的運(yùn)動(dòng)，當(dāng)只有使用磁傳感器來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別時(shí)，移動(dòng)的部分并無(wú)法被偵測(cè)到，且也無(wú)法量測(cè)到全域坐標(biāo)系統(tǒng)(global coordinate)的任何角度改變。如上所述，需要提供一種新的方法來(lái)提供運(yùn)動(dòng)識(shí)別中足夠的執(zhí)行細(xì)節(jié)。

【發(fā)明內(nèi)容】

[0003]因此，本發(fā)明的目的之一在于公開(kāi)一種使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法和裝置，以解決上述的問(wèn)題。
[0004]本發(fā)明的另一個(gè)目的在于公開(kāi)一種使用運(yùn)動(dòng)傳感器融合用來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法和裝置，來(lái)方便使用者控制電子產(chǎn)品以獲得正確的運(yùn)動(dòng)識(shí)別結(jié)果。
[0005]根據(jù)本發(fā)明一實(shí)施例，公開(kāi)一種使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法，該方法應(yīng)用在一電子裝置，且該方法包含以下步驟:使用該電子裝置中多個(gè)運(yùn)動(dòng)傳感器來(lái)分別得到對(duì)應(yīng)到該多個(gè)運(yùn)動(dòng)傳感器的感測(cè)數(shù)據(jù)，該感測(cè)數(shù)據(jù)是基于該電子裝置的一裝置坐標(biāo)系統(tǒng)所量測(cè)的，其中該多個(gè)運(yùn)動(dòng)傳感器包含多個(gè)慣性運(yùn)動(dòng)傳感器；以及基于該電子裝置的一使用者的一全域坐標(biāo)系統(tǒng)來(lái)轉(zhuǎn)換至少一部分的感測(cè)數(shù)據(jù)與感測(cè)數(shù)據(jù)的衍生數(shù)據(jù)以產(chǎn)生一轉(zhuǎn)換后數(shù)據(jù)來(lái)進(jìn)行一傳感器融合，并基于該全域坐標(biāo)系統(tǒng)來(lái)進(jìn)行運(yùn)動(dòng)感測(cè)來(lái)識(shí)別使用者的運(yùn)動(dòng)。
[0006]根據(jù)本發(fā)明一實(shí)施例，公開(kāi)一種使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的裝置，該裝置包含一電子裝置的至少一部分且可用來(lái)執(zhí)行上述的方法。
[0007]本發(fā)明的上述方法、裝置的一個(gè)優(yōu)點(diǎn)在于可以達(dá)到高準(zhǔn)確性的運(yùn)動(dòng)識(shí)別，因此在可以獲得高準(zhǔn)確性的運(yùn)動(dòng)識(shí)別結(jié)果的情形下，使用者可以更簡(jiǎn)單的使用及控制該電子產(chǎn)品。此外，上述方法、裝置可以允許使用者使用預(yù)設(shè)手勢(shì)或是使用者定義手勢(shì)來(lái)移動(dòng)該電子裝置，而不需要使用多個(gè)手指滑動(dòng)步驟來(lái)致能一特定應(yīng)用程序(例如導(dǎo)航應(yīng)用程序)?！緦?zhuān)利附圖】

【附圖說(shuō)明】
[0008]圖1描述了往右側(cè)的晃動(dòng)具有移動(dòng)以及繞著“-Z”軸的轉(zhuǎn)動(dòng)。
[0009]圖2描述了往右側(cè)的晃動(dòng)具有移動(dòng)、繞著“-Z”軸的轉(zhuǎn)動(dòng)以及繞著“+y”軸的翻轉(zhuǎn)。
[0010]圖3所示為對(duì)應(yīng)圖1及圖2的重力傳感器的數(shù)據(jù)曲線，其中圖3的上半圖與下半圖分別對(duì)應(yīng)到圖1及圖2所示的運(yùn)動(dòng)。
[0011]圖4為本發(fā)明第一實(shí)施例使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的裝置示意圖。
[0012]圖5是圖4中裝置的一控制方案的示意圖。
[0013]圖6描述了有關(guān)于圖4所述實(shí)施例的方法中該電子裝置的使用者的全域坐標(biāo)系統(tǒng)及裝置坐標(biāo)系統(tǒng)的示意圖。
[0014]圖7描述了在使用者作出相同運(yùn)動(dòng)的情形下重力傳感器輸出的一些數(shù)據(jù)曲線，這些數(shù)據(jù)曲線分別對(duì)應(yīng)圖6所述實(shí)施例中該電子裝置的不同傾斜角度。
[0015]圖8根據(jù)本發(fā)明一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0016]圖9為使用全域坐標(biāo)系統(tǒng)的坐標(biāo)定義來(lái)描述圖6的實(shí)施例的示意圖，且圖9描述了相關(guān)的轉(zhuǎn)動(dòng)角、俯仰角、及偏航角。
[0017]圖10根據(jù)本發(fā)明一實(shí)施例描述了圖4所述的實(shí)施例的使用傳感器融合算法來(lái)獲得線性加速度以及轉(zhuǎn)動(dòng)角度的示意圖。
[0018]圖11根據(jù)本發(fā)明一實(shí)施例描述了使用者的運(yùn)動(dòng)及物體坐標(biāo)系統(tǒng)與全域坐標(biāo)系統(tǒng)之間的關(guān)系的不意圖。
[0019]圖12根據(jù)本發(fā)明一實(shí)施例描述了本發(fā)明在全域坐標(biāo)系統(tǒng)下實(shí)現(xiàn)運(yùn)動(dòng)偵測(cè)的示意圖。
[0020]圖13根據(jù)本發(fā)明另一實(shí)施例描述了本發(fā)明參考全域坐標(biāo)系統(tǒng)所產(chǎn)生的一些運(yùn)動(dòng)的示意圖。
[0021]圖14描述了與圖13在不同的情形下所作出的相同的動(dòng)作的示意圖。
[0022]圖15根據(jù)本發(fā)明另一實(shí)施例描述了本發(fā)明參考全域坐標(biāo)系統(tǒng)所產(chǎn)生的一些運(yùn)動(dòng)的示意圖。
[0023]圖16描述了與圖15在不同的情形下所作出的相同的動(dòng)作的示意圖。
[0024]圖17根據(jù)本發(fā)明一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0025]圖18根據(jù)本發(fā)明一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0026]圖19根據(jù)本發(fā)明一實(shí)施例描述了本發(fā)明中關(guān)于多個(gè)運(yùn)動(dòng)與一使用者定義運(yùn)動(dòng)識(shí)別數(shù)據(jù)庫(kù)中的運(yùn)動(dòng)數(shù)據(jù)的示意圖。
[0027]圖20描述了圖19實(shí)施例中所提及的運(yùn)動(dòng)所對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)與圖4所示的至少一數(shù)據(jù)庫(kù)中相關(guān)的宏函數(shù)之間的關(guān)系。
[0028]圖21根據(jù)本發(fā)明另一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0029]圖22根據(jù)本發(fā)明另一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0030]圖23根據(jù)本發(fā)明一實(shí)施例描述了圖21中一步驟的細(xì)節(jié)操作。
[0031]圖24根據(jù)圖23的實(shí)施例描述了圖21中一步驟的細(xì)節(jié)操作。
[0032]圖25根據(jù)圖23的實(shí)施例描述了圖21中一步驟的一些細(xì)節(jié)操作。
[0033]圖26根據(jù)本發(fā)明一實(shí)施例描述了圖22所示的流程圖中的一些細(xì)節(jié)操作。[0034]圖27根據(jù)本發(fā)明的一實(shí)施例描述了多個(gè)手指觸碰以致能一特定應(yīng)用程序的示意圖。
[0035]圖28根據(jù)本發(fā)明的一實(shí)施例描述了包含致能全球定位系統(tǒng)功能的多步驟功能的操作細(xì)節(jié)。
[0036]圖29根據(jù)本發(fā)明的另一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0037]圖30根據(jù)本發(fā)明的另一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0038]圖31根據(jù)本發(fā)明的另一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0039]圖32根據(jù)本發(fā)明的另一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖。
[0040]圖33根據(jù)本發(fā)明的一實(shí)施例描述了圖4所述的實(shí)施例的方法中關(guān)于通過(guò)單一 /多個(gè)筆畫(huà)的符號(hào)的運(yùn)動(dòng)識(shí)別來(lái)偵測(cè)軌跡的示意圖。
[0041]圖34根據(jù)圖33所示的實(shí)施例描述了一個(gè)具有俯仰角及偏航角改變的手寫(xiě)運(yùn)動(dòng)，其中具有俯仰角及偏航角改變的手寫(xiě)運(yùn)動(dòng)關(guān)聯(lián)于時(shí)間且投影在全域坐標(biāo)系統(tǒng)中的XZ平面。
[0042]圖35根據(jù)圖33所示的實(shí)施例描述了球坐標(biāo)與直角坐標(biāo)的轉(zhuǎn)換的示意圖。
[0043]圖36根據(jù)本發(fā)明一實(shí)施例描述了圖33所示實(shí)施例的單一 /多個(gè)筆畫(huà)運(yùn)動(dòng)識(shí)別中對(duì)應(yīng)于投影在全域坐標(biāo)系統(tǒng)的XZ平面上的軌跡資料擷取的示意圖。
[0044]圖37根據(jù)本發(fā)明一實(shí)施例描述了圖33所示實(shí)施例的單一 /多個(gè)筆畫(huà)運(yùn)動(dòng)識(shí)別中對(duì)應(yīng)于投影在全域坐標(biāo)系統(tǒng)的XY平面上的軌跡資料擷取的示意圖。
[0045]圖38根據(jù)本發(fā)明一實(shí)施例描述了圖33所示實(shí)施例的單一 /多個(gè)筆畫(huà)運(yùn)動(dòng)識(shí)別中使用者所書(shū)寫(xiě)的一些符號(hào)及的這些符號(hào)的筆畫(huà)數(shù)量的示意圖。
[0046]圖39根據(jù)本發(fā)明一實(shí)施例描述了圖33所示實(shí)施例的單一 /多個(gè)筆畫(huà)運(yùn)動(dòng)識(shí)別的流程圖。
[0047]圖40根據(jù)本發(fā)明一實(shí)施例描述了圖33所示實(shí)施例的單一 /多個(gè)筆畫(huà)運(yùn)動(dòng)識(shí)別的流程圖。
[0048]其中，附圖標(biāo)記說(shuō)明如下:
[0049]100裝置
[0050]110處理模塊
[0051]120識(shí)別模塊
[0052]130運(yùn)動(dòng)感測(cè)模塊
[0053]140內(nèi)存模塊
[0054]150非運(yùn)動(dòng)感測(cè)模塊
[0055]160鍵盤(pán)模塊
[0056]170顯示模塊
[0057]200、300、400、500A、500B、610、流程圖
[0058]620、630、640、700、800
[0059]210、220、230、240、310、320、步驟
[0060]330、340、350、360、410、420、
[0061]430、440、450、460、470、510、
[0062]520、530、560、570、580、511、512、[0063]513、514、515、516、517、518、
[0064]521、522、523、524、525、560-1、
[0065]581、582、583、584、585、611、612、
[0066]613、614、615、616、617、618、
[0067]619、621、622、623、624、625、
[0068]631>632>633>634>635>636>
[0069]637、638、641、642、643、644、
[0070]645、710、720、730、740、750、
[0071]760、770、810、820、830、840、
[0072]850、860、870
【具體實(shí)施方式】
[0073]請(qǐng)參考圖4，圖4為根據(jù)本發(fā)明第一實(shí)施例的使用運(yùn)動(dòng)傳感器融合用來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的裝置100的示意圖，其中裝置100包含了一電子裝置的至少一部分。舉例來(lái)說(shuō)，裝置100可以是上述電子裝置的全部，即圖4的裝置100可以視為一手提裝置，但這只是作為說(shuō)明之用，而并非是本發(fā)明的限制條件。在另一個(gè)例子中，裝置100可以包含上述電子裝置的一部分，特別是裝置100可以是電子裝置中的一控制電路，例如一集成電路。電子裝置可以是一移動(dòng)電話(huà)(例如多功能移動(dòng)電話(huà))、一移動(dòng)計(jì)算機(jī)(例如一平板計(jì)算機(jī))、或是一個(gè)人數(shù)字助理(Personal Digital Assistant, PDA)。
[0074]如圖4所示，裝置100可包含一處理模塊110及一識(shí)別模塊120，這兩者可以經(jīng)由包含一處理器(例如至少一中央處理器(Central Processing Unit, CPU))的處理電路分別執(zhí)行程序模塊(例如軟件模塊)中的多個(gè)程序指令來(lái)實(shí)現(xiàn)。舉例來(lái)說(shuō)，程序模塊可以經(jīng)由包含多個(gè)程序指令的一計(jì)算機(jī)程序產(chǎn)品來(lái)提供，其中該計(jì)算機(jī)程序產(chǎn)品在實(shí)作上可以是儲(chǔ)存有多個(gè)程序指令的非暫存性的計(jì)算機(jī)可讀媒體(例如一軟盤(pán)或是一光盤(pán)(CompactDisk-Read Only Memory，CD-ROM))。裝置100另外可以包含一運(yùn)動(dòng)感測(cè)模塊130、作為一儲(chǔ)存模塊的一內(nèi)存模塊140、一非運(yùn)動(dòng)感測(cè)模塊150、一鍵盤(pán)模塊160、以及一顯示模塊170，此夕卜，運(yùn)動(dòng)感測(cè)模塊130可以包含設(shè)置于電子裝置中的多個(gè)運(yùn)動(dòng)傳感器(例如加速度傳感器、陀螺儀傳感器、及/或磁傳感器)，其中該多個(gè)運(yùn)動(dòng)傳感器典型上包含多個(gè)慣性運(yùn)動(dòng)傳感器；內(nèi)存模塊140包含至少一個(gè)用來(lái)儲(chǔ)存在進(jìn)行運(yùn)動(dòng)識(shí)別操作時(shí)的任何型式的最終數(shù)據(jù)、原始數(shù)據(jù)及中間數(shù)據(jù)的一數(shù)據(jù)庫(kù)，特別地，內(nèi)存模塊140可以由一非揮發(fā)性?xún)?nèi)存(例如一閃存)來(lái)實(shí)現(xiàn)，其中上述作為該儲(chǔ)存模塊的內(nèi)存模塊140被安排來(lái)儲(chǔ)存該數(shù)據(jù)庫(kù)中用來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的信息；此外，非運(yùn)動(dòng)感測(cè)模塊150可包含至少一射頻(Radio Frequency(RF))傳感器、一相機(jī)傳感器、及一麥克風(fēng)傳感器，其中鍵盤(pán)模塊160可包含用來(lái)控制該電子裝置的一些按鍵及/或按鈕，且顯示模塊170可以是一觸碰感應(yīng)式顯示屏幕(亦即觸控式屏幕)。
[0075]在本實(shí)施例中，該處理器用來(lái)執(zhí)行上述的多個(gè)程序指令以進(jìn)行使用運(yùn)動(dòng)傳感器融合用來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法，其中該方法可包含以下步驟:使用設(shè)置于該電子裝置中的多個(gè)運(yùn)動(dòng)傳感器來(lái)獲得分別對(duì)應(yīng)至該多個(gè)運(yùn)動(dòng)傳感器的感測(cè)數(shù)據(jù)，該些感測(cè)數(shù)據(jù)是基于該電子裝置中的一裝置坐標(biāo)系統(tǒng)(device coordinate system)或是物體坐標(biāo)系統(tǒng)(bodycoordinate system)所量測(cè)的；以及基于該電子裝置的一使用者的一全域坐標(biāo)系統(tǒng)來(lái)轉(zhuǎn)換至少一部分的感測(cè)數(shù)據(jù)與感測(cè)數(shù)據(jù)的衍生數(shù)據(jù)以產(chǎn)生一轉(zhuǎn)換后數(shù)據(jù)，并通過(guò)上述的數(shù)據(jù)庫(kù)的幫助，以基于該全域坐標(biāo)系統(tǒng)來(lái)進(jìn)行運(yùn)動(dòng)感測(cè)來(lái)識(shí)別使用者的運(yùn)動(dòng)。
[0076]舉例來(lái)說(shuō)，該多個(gè)運(yùn)動(dòng)傳感器包含至少一加速度傳感器(亦即至少一重力傳感器)及至少一轉(zhuǎn)動(dòng)傳感器(例如一陀螺儀傳感器)，例如三個(gè)加速度傳感器及三個(gè)轉(zhuǎn)動(dòng)傳感器，且該傳感器融合可包含使用上述的至少一加速度傳感器及至少一轉(zhuǎn)動(dòng)傳感器所完成的六軸傳感器融合。針對(duì)上述的六軸傳感器融合的實(shí)現(xiàn)細(xì)節(jié)，請(qǐng)參考美國(guó)專(zhuān)利申請(qǐng)案號(hào)12/943，934的相關(guān)說(shuō)明內(nèi)容。
[0077]舉另一個(gè)例子來(lái)說(shuō)，該多個(gè)運(yùn)動(dòng)傳感器包含至少一加速度傳感器(亦即至少一重力傳感器)、至少一轉(zhuǎn)動(dòng)傳感器(例如一陀螺儀傳感器)及至少一磁力儀(例如一磁傳感器)，且該傳感器融合可包含使用上述的至少一加速度傳感器、至少一轉(zhuǎn)動(dòng)傳感器及至少一磁力儀所完成的九軸傳感器融合。針對(duì)上述的九軸傳感器融合的實(shí)現(xiàn)細(xì)節(jié)，請(qǐng)參考美國(guó)專(zhuān)利申請(qǐng)案號(hào)13/072，794的相關(guān)說(shuō)明內(nèi)容。
[0078]實(shí)作上，上述執(zhí)行該數(shù)據(jù)庫(kù)中至少一部分?jǐn)?shù)據(jù)的方法有許多種，舉例來(lái)說(shuō)，該數(shù)據(jù)庫(kù)的實(shí)現(xiàn)細(xì)節(jié)可參考美國(guó)專(zhuān)利申請(qǐng)案號(hào)13/164，790的相關(guān)說(shuō)明內(nèi)容。
[0079]根據(jù)圖1所示范例的一變化，該處理器根據(jù)基于裝置坐標(biāo)系統(tǒng)的感測(cè)數(shù)據(jù)來(lái)進(jìn)行感測(cè)融合以得到運(yùn)動(dòng)數(shù)據(jù)，并獲得該電子裝置的方向，例如獲得該電子裝置基于全域坐標(biāo)系統(tǒng)的方向，其中基于裝置坐標(biāo)系統(tǒng)的感測(cè)數(shù)據(jù)包含基于裝置坐標(biāo)系統(tǒng)的線性加速度。此夕卜，該處理器可根據(jù)全域坐標(biāo)系統(tǒng)的方向來(lái)轉(zhuǎn)換基于裝置坐標(biāo)系統(tǒng)的感測(cè)數(shù)據(jù)來(lái)產(chǎn)生至少一部分的轉(zhuǎn)換后數(shù)據(jù)，其中上述至少一部分的轉(zhuǎn)換后數(shù)據(jù)包含基于全域坐標(biāo)系統(tǒng)的線性加速度，且基于全域坐標(biāo)系統(tǒng)的線性加速度以及基于全域坐標(biāo)系統(tǒng)的方向分別被使用來(lái)感測(cè)該電子裝置在三軸空間(three-dimensional (3D) space)的線性移動(dòng)與轉(zhuǎn)動(dòng)運(yùn)動(dòng)。特別地，根據(jù)基于全域坐標(biāo)系統(tǒng)的轉(zhuǎn)換后數(shù)據(jù)，該處理器可進(jìn)行運(yùn)動(dòng)識(shí)別以及識(shí)別使用者在三軸空間的運(yùn)動(dòng)，以及識(shí)別使用者在三軸空間所畫(huà)的至少一符號(hào)。舉例來(lái)說(shuō)，該處理器可通過(guò)映射(map)轉(zhuǎn)換后數(shù)據(jù)至三軸空間中的至少一預(yù)定平面(predetermined plane)以獲得該至少一預(yù)定平面上的多個(gè)軌跡，其中該至少一預(yù)定平面平行于全域坐標(biāo)系統(tǒng)中三個(gè)軸中的兩個(gè)軸，且全域坐標(biāo)系統(tǒng)中的三個(gè)軸是互相垂直的。當(dāng)該數(shù)據(jù)庫(kù)是一預(yù)設(shè)(pre-built)數(shù)據(jù)庫(kù)的情形下，該預(yù)設(shè)數(shù)據(jù)庫(kù)可以被用來(lái)進(jìn)行符號(hào)識(shí)別，且允許使用者使用可識(shí)別且有意義符號(hào)的畫(huà)線規(guī)則，而不需要使用者先建立數(shù)據(jù)庫(kù)。上述內(nèi)容僅用來(lái)作為一范例說(shuō)明，而并非是本發(fā)明的限制，在本實(shí)施例的其它變化中，該處理器可上述使用者在三軸空間所畫(huà)的至少一符號(hào)加載至一符號(hào)識(shí)別軟件模塊，以供進(jìn)行符號(hào)識(shí)別。
[0080]根據(jù)本實(shí)施例的一些變化，上述基于全域坐標(biāo)系統(tǒng)的方向包含該電子裝置的一轉(zhuǎn)動(dòng)角(roll angle)、一俯仰角(pitch angle)及一偏航角(yaw angle),且當(dāng)開(kāi)始進(jìn)行符號(hào)識(shí)別的時(shí)候，該處理器可通過(guò)重新設(shè)定該電子裝置的該偏航角為一預(yù)定值，例如零或是任何固定值，來(lái)將該偏航角與使用者對(duì)齊。舉例來(lái)說(shuō)，當(dāng)偵測(cè)到該電子裝置的一按鈕被按壓時(shí)，該處理器觸發(fā)以重新設(shè)定該該電子裝置的該偏航角為該預(yù)定值；于另一個(gè)例子中，當(dāng)偵測(cè)到對(duì)應(yīng)到運(yùn)動(dòng)開(kāi)始的力量存在時(shí)，該處理器觸發(fā)以重新設(shè)定該該電子裝置的該偏航角為該預(yù)定值。
[0081]根據(jù)圖1所示范例的一些變化，該數(shù)據(jù)庫(kù)包含一使用者定義的手勢(shì)數(shù)據(jù)庫(kù)，允許使用者訓(xùn)練該使用者定義的手勢(shì)數(shù)據(jù)庫(kù)以定義使用者在移動(dòng)該電子裝置時(shí)的多種不同的手勢(shì)，且該使用者定義的手勢(shì)數(shù)據(jù)庫(kù)被用來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別及觸發(fā)對(duì)應(yīng)于從進(jìn)行運(yùn)動(dòng)識(shí)別所得到的識(shí)別結(jié)果的一操作。舉例來(lái)說(shuō)，根據(jù)基于全域坐標(biāo)系統(tǒng)的轉(zhuǎn)換后數(shù)據(jù)，該該處理器可進(jìn)行運(yùn)動(dòng)識(shí)別以獲得用來(lái)表示使用者在三軸空間的運(yùn)動(dòng)的至少一運(yùn)動(dòng)識(shí)別結(jié)果，其中當(dāng)獲得至少一運(yùn)動(dòng)識(shí)別結(jié)果時(shí)，該處理器觸發(fā)對(duì)應(yīng)于至少一運(yùn)動(dòng)識(shí)別結(jié)果的至少一使用者定義宏程序。特別地，在具有該使用者定義的手勢(shì)數(shù)據(jù)庫(kù)的情形下，該處理器允許使用者訓(xùn)練該使用者定義的手勢(shì)數(shù)據(jù)庫(kù)以定義使用者在移動(dòng)該電子裝置時(shí)的多種不同的手勢(shì)，其中該使用者定義的手勢(shì)數(shù)據(jù)庫(kù)被用來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別及觸發(fā)對(duì)應(yīng)于至少一運(yùn)動(dòng)識(shí)別結(jié)果的使用者定義宏程序。
[0082]圖5是圖4中有關(guān)于裝置100的一控制方案的一個(gè)實(shí)施例的示意圖，其中該控制方案是基于上述手提裝置上的安卓平臺(tái)(Android’ s platform)所作的例子。在本范例中，上述包含多個(gè)用來(lái)被中央處理器執(zhí)行的程序指令的程序模塊可包含一些應(yīng)用程序、一些中間程序、及至少一核心驅(qū)動(dòng)程序，其中該些應(yīng)用程序可包含至少一瀏覽器、至少一電子郵件應(yīng)用程序、至少一通話(huà)應(yīng)用程序、一地圖應(yīng)用程序、一回家應(yīng)用程序；此外，該些中間程序可包含至少一應(yīng)用程序架構(gòu)，其中至少一應(yīng)用程序架構(gòu)可以包含用來(lái)進(jìn)行六軸感測(cè)融合以及/或是九軸感測(cè)融合的至少一六軸或是九軸感測(cè)融合模塊，且也可以包含一運(yùn)動(dòng)識(shí)別模塊(特別可以為圖4的識(shí)別模塊120)，其中運(yùn)動(dòng)識(shí)別中的一些算法可以由該些應(yīng)用程序所呼叫的應(yīng)用程序接口(Application Programming Interface, API)來(lái)提供。實(shí)作上，除了該處理器，該手提裝置(特別可以是裝置100)可包含其它型式的硬件，例如重力傳感器、陀螺儀傳感器、磁傳感器、至少一觸控屏幕、至少一相機(jī)、一無(wú)線網(wǎng)絡(luò)(WirelessFidelity (W1-Fi))模塊、一全球定位系統(tǒng)(Global Positioning System (GPS)>一藍(lán)牙(Bluetooth)模塊，及其它的模塊。
[0083]運(yùn)動(dòng)識(shí)別應(yīng)用中基于六軸/九軸感測(cè)融合的移動(dòng)與轉(zhuǎn)動(dòng)參數(shù)
[0084]圖6描述了有關(guān)于圖4所述的方法中該電子裝置的使用者的全域坐標(biāo)系統(tǒng)及裝置坐標(biāo)系統(tǒng)(或是物體坐標(biāo)系統(tǒng))的示意圖。如圖6所示,全域坐標(biāo)系統(tǒng)(亦即x-y-z坐標(biāo)系統(tǒng)，其中三個(gè)軸X、1、z是互相垂直的)在三軸空間中是維持固定的，而裝置坐標(biāo)系統(tǒng)(亦即xa-ya-za坐標(biāo)系統(tǒng),其中三個(gè)軸xa、ya、za是互相垂直的)則是在該電子裝置上是維持固定的。
[0085]圖7描述了在使用者作出相同運(yùn)動(dòng)的情形下重力傳感器輸出的一些數(shù)據(jù)曲線，這些數(shù)據(jù)曲線對(duì)應(yīng)圖6中向右移動(dòng)的運(yùn)動(dòng)，且分別對(duì)應(yīng)圖6中該電子裝置的不同傾斜角度，其中圖7中左側(cè)、中間、右側(cè)的三個(gè)數(shù)據(jù)曲線分別對(duì)應(yīng)圖6左側(cè)、中間、右側(cè)的三個(gè)具有不同傾斜角度的電子裝置。圖7中左側(cè)、中間、右側(cè)的三個(gè)數(shù)據(jù)曲線中的任何一個(gè)都包含有分別對(duì)應(yīng)于裝置坐標(biāo)系統(tǒng)中三個(gè)軸xa、ya、za的三個(gè)加速度資料az、ay、az的曲線,如圖7所示，圖6所示的三個(gè)連續(xù)狀態(tài)的運(yùn)動(dòng)會(huì)分別導(dǎo)致感測(cè)訊號(hào)響應(yīng)，舉例來(lái)說(shuō)，參考圖7左側(cè)的的數(shù)據(jù)曲線，加速度數(shù)據(jù)ax可為非零的值、加速度資料ay維持在零、而加速度資料az則維持在一固定值；在另外一個(gè)例子中，參考圖7中間的數(shù)據(jù)曲線，加速度數(shù)據(jù)ax與az可為非零的值，且加速度資料ay維持在零；在另外一個(gè)例子中，參考圖7右側(cè)的數(shù)據(jù)曲線，加速度數(shù)據(jù)az可為非零的值、加速度資料ay維持在零、而加速度資料ax則維持在一固定值。因此，重力傳感器所感測(cè)到的加速度(特別是只根據(jù)裝置坐標(biāo)系統(tǒng))會(huì)隨著不同的傾斜角度而改變，而為了得到三軸空間中物體移動(dòng)的完整移動(dòng)量測(cè)，需要獲得物體的移動(dòng)參數(shù)以及轉(zhuǎn)動(dòng)參數(shù)。通過(guò)進(jìn)行六軸感測(cè)融合以及/或是九軸感測(cè)融合，便可以得到這些信息。
[0086]請(qǐng)參考圖8，圖8根據(jù)本發(fā)明一實(shí)施例描述了圖4所述的實(shí)施例的方法的流程圖200。
[0087]在步驟210中，該處理器從該多個(gè)運(yùn)動(dòng)傳感器中偵測(cè)多個(gè)運(yùn)動(dòng)輸入，其中該些運(yùn)動(dòng)輸入可包含運(yùn)動(dòng)的加速度數(shù)據(jù)ax、ay、az。
[0088]在步驟220中，該處理器使用傳感器融合(例如六軸感測(cè)融合以及/或是九軸感測(cè)融合)來(lái)獲得基于物體坐標(biāo)(特別是物體坐標(biāo)系統(tǒng))的移動(dòng)與轉(zhuǎn)動(dòng)參數(shù)。
[0089]在步驟230中，該處理器將移動(dòng)與轉(zhuǎn)動(dòng)參數(shù)轉(zhuǎn)換為基于全域坐標(biāo)系統(tǒng)的移動(dòng)與轉(zhuǎn)動(dòng)參數(shù)。
[0090]在步驟240中，該處理器使用基于全域坐標(biāo)系統(tǒng)的移動(dòng)與轉(zhuǎn)動(dòng)參數(shù)進(jìn)行運(yùn)動(dòng)識(shí)別操作。
[0091]在本實(shí)施例中，移動(dòng)參數(shù)可以通過(guò)使用傳感器融合以根據(jù)該些運(yùn)動(dòng)傳感器的資料輸出來(lái)計(jì)算出來(lái)，因此，可以獲得基于全域坐標(biāo)系統(tǒng)的線性加速度；此外，轉(zhuǎn)動(dòng)參數(shù)可以通過(guò)使用傳感器融合以根據(jù)該些運(yùn)動(dòng)傳感器的資料輸出來(lái)計(jì)算出來(lái)，因此可以獲得該電子裝置在方向上的轉(zhuǎn)動(dòng)角、俯仰角及偏航角。需要注意的是，這兩組參數(shù)(亦即移動(dòng)參數(shù)與轉(zhuǎn)動(dòng)參數(shù))可以合并作為基本運(yùn)動(dòng)輸入，以供運(yùn)動(dòng)識(shí)別。
[0092]圖9為使用全域坐標(biāo)系統(tǒng)的坐標(biāo)定義來(lái)描述圖6的實(shí)施例的示意圖，其中圖9描述了轉(zhuǎn)動(dòng)角(Φ)、俯仰角(Θ)、及偏航角(Ψ)。圖4的實(shí)施例中所描述的使用傳感器融合算法來(lái)獲得的方向信息可以使用轉(zhuǎn)動(dòng)角(Φ)、俯仰角(Θ)、及偏航角(Ψ)來(lái)表示，其中全域坐標(biāo)系統(tǒng)中“+X”軸、“+y”軸、及“+z”軸的方向的定義可以參考圖9，且可以用來(lái)定義關(guān)于全域坐標(biāo)系統(tǒng)的轉(zhuǎn)動(dòng)角(Φ)、俯仰角(Θ)、及偏航角(Ψ)。
[0093]圖10根據(jù)本發(fā)明一實(shí)施例描述了圖4所述的實(shí)施例的使用傳感器融合算法來(lái)獲得線性加速度以及轉(zhuǎn)動(dòng)角度的示意圖。Xg-Yg-Zg坐標(biāo)系統(tǒng)可以是圖6所示的實(shí)施例中的全域坐標(biāo)系統(tǒng),需注意的是，圖10左側(cè)的重力向量g的三個(gè)分量gx、gy、gz可以被表示為時(shí)間t的函數(shù)，例如圖10左下方的函數(shù)8!￡(0、8^0、&(0。參考圖10的右側(cè)所示，運(yùn)動(dòng)感測(cè)模塊130基于裝置坐標(biāo)系統(tǒng)所量測(cè)到的加速度可以被表示為函數(shù)ax(t)、ay(t)、az(t)(亦即向量[ax (t)，ay (t)，az (t)])，且該電子裝置基于裝置坐標(biāo)系統(tǒng)的線性加速度可以被表示為函數(shù)aLx(t)、aLy(t)、aLz(t)(亦即向量[aLx(t), aLy(t), aLz(t)] )0在本實(shí)施例中，該處理器根據(jù)圖10左下方的函數(shù)gx(t)、gy(t)、gz(t)來(lái)將運(yùn)動(dòng)感測(cè)模塊130基于裝置坐標(biāo)系統(tǒng)所量測(cè)到的加速度(亦即向量[ax (t)，ay (t)，az (t)])轉(zhuǎn)換為該電子裝置基于裝置坐標(biāo)系統(tǒng)的線性加速度(亦即向量[aLx(t), aLy(t), aLz(t)] )o
[0094]特別地，該電子裝置的方向信息中的轉(zhuǎn)動(dòng)角、俯仰角、及偏航角是基于全域坐標(biāo)系統(tǒng)來(lái)計(jì)算的，且方向信息中的轉(zhuǎn)動(dòng)角、俯仰角、及偏航角中的至少一部分可以被用來(lái)計(jì)算該電子裝置(例如上述提及的移動(dòng)電話(huà))基于裝置坐標(biāo)系統(tǒng)(或是物體坐標(biāo)系統(tǒng))的線性加速度，其中在圖10左下方的函數(shù)gx(t)、gy(t)、gz(t)中，函數(shù)gy(t)、gz(t)是取決于轉(zhuǎn)動(dòng)角，而函數(shù)gX (t)、gy (t)、gz (t)則取決于俯仰角。
[0095]實(shí)作上，基于全域坐標(biāo)系統(tǒng)的線性加速度可以通過(guò)坐標(biāo)轉(zhuǎn)換關(guān)系來(lái)計(jì)算出來(lái)，其中坐標(biāo)轉(zhuǎn)換關(guān)系可以使用一轉(zhuǎn)換矩陣[r]3x3來(lái)表示，且基于全域坐標(biāo)系統(tǒng)的線性加速度，例
如具有三個(gè)分量 aGLOBALx ⑴、 aGLOBALy(t) >aGL0BALz(t)的向量(亦即向量[aGLOBALx ⑴，aGLOBALy(t)，aGWB^(t)])，會(huì)等于該電子裝置基于裝置坐標(biāo)系統(tǒng)的線性加速度(例如具有三個(gè)分量(t)、aLy(t),aLz(t)的向量(亦即向量[I⑴，aly⑴，I⑴])乘上轉(zhuǎn)換矩陣[RJ3x30亦即線性加速度的轉(zhuǎn)換可以經(jīng)由以下的公式來(lái)進(jìn)行:
[0096]aGL0BAL(t)=aL(t)*[R]3x3;
[0097]其中轉(zhuǎn)換矩陣[R]3x3可以是轉(zhuǎn)動(dòng)角(Φ)、俯仰角(Θ)、及偏航角(Ψ)的函數(shù)f(o, Θ，Ψ)，特別地，轉(zhuǎn)換矩陣[R]3x3可以被表示如下:
[0098]
【權(quán)利要求】
1.一種使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的方法，應(yīng)用在一電子裝置，其特征在于，包含有: 使用該電子裝置中多個(gè)運(yùn)動(dòng)傳感器來(lái)分別得到對(duì)應(yīng)到該多個(gè)運(yùn)動(dòng)傳感器的感測(cè)數(shù)據(jù)，該感測(cè)數(shù)據(jù)是基于該電子裝置的一裝置坐標(biāo)系統(tǒng)所量測(cè)的，其中該多個(gè)運(yùn)動(dòng)傳感器包含多個(gè)慣性運(yùn)動(dòng)傳感器；以及 基于該電子裝置的一使用者的一全域坐標(biāo)系統(tǒng)來(lái)轉(zhuǎn)換至少一部分的感測(cè)數(shù)據(jù)與感測(cè)數(shù)據(jù)的衍生數(shù)據(jù)以產(chǎn)生一轉(zhuǎn)換后數(shù)據(jù)來(lái)進(jìn)行一傳感器融合，并基于該全域坐標(biāo)系統(tǒng)來(lái)進(jìn)行運(yùn)動(dòng)感測(cè)來(lái)識(shí)別使用者的運(yùn)動(dòng)。
2.如權(quán)利要求1所述的方法，其特征在于，該多個(gè)運(yùn)動(dòng)傳感器包含至少一加速度傳感器及至少一轉(zhuǎn)動(dòng)傳感器，且該傳感器融合包含使用該至少一加速度傳感器及該至少一轉(zhuǎn)動(dòng)傳感器所完成的六軸傳感器融合，或該多個(gè)運(yùn)動(dòng)傳感器包含至少一加速度傳感器、至少一轉(zhuǎn)動(dòng)傳感器、及至少一磁力儀，且該傳感器融合包含使用該至少一加速度傳感器、該至少一轉(zhuǎn)動(dòng)傳感器及該至少一磁力儀所完成的九軸傳感器融合。
3.如權(quán)利要求1所述的方 法，其特征在于，根據(jù)該感測(cè)數(shù)據(jù)來(lái)進(jìn)行該傳感器融合的步驟包含有: 根據(jù)該感測(cè)數(shù)據(jù)來(lái)進(jìn)行該傳感器融合以得到基于該裝置坐標(biāo)系統(tǒng)的運(yùn)動(dòng)數(shù)據(jù)，且得到該電子裝置基于該全域坐標(biāo)系統(tǒng)的一方向，其中基于裝該置坐標(biāo)系統(tǒng)的該感測(cè)數(shù)據(jù)包含基于該裝置坐標(biāo)系統(tǒng)的線性加速度；以及 根據(jù)基于該全域坐標(biāo)系統(tǒng)的該方向來(lái)轉(zhuǎn)換基于該裝置坐標(biāo)系統(tǒng)的該感測(cè)數(shù)據(jù)以產(chǎn)生至少一部分的該轉(zhuǎn)換后數(shù)據(jù)，其中該至少一部分的該轉(zhuǎn)換后數(shù)據(jù)包含基于該全域坐標(biāo)系統(tǒng)的線性加速度； 其中基于該全域坐標(biāo)系統(tǒng)的線性加速度以及基于該全域坐標(biāo)系統(tǒng)的該方向被用來(lái)感測(cè)該電子裝置在三軸空間的線性移動(dòng)與轉(zhuǎn)動(dòng)運(yùn)動(dòng)。
4.如權(quán)利要求3所述的方法，其特征在于，還包含: 根據(jù)基于該全域坐標(biāo)系統(tǒng)的該轉(zhuǎn)換后數(shù)據(jù)，進(jìn)行運(yùn)動(dòng)識(shí)別以識(shí)別使用者在三軸空間的運(yùn)動(dòng)，以及識(shí)別使用者在三軸空間所畫(huà)的至少一符號(hào)；以及 通過(guò)映射轉(zhuǎn)換后數(shù)據(jù)至三軸空間中的至少一預(yù)定平面來(lái)獲得該至少一預(yù)定平面上的多個(gè)軌跡以進(jìn)行符號(hào)識(shí)別，其中該至少一預(yù)定平面平行于該全域坐標(biāo)系統(tǒng)中三個(gè)軸中的兩個(gè)軸，且該全域坐標(biāo)系統(tǒng)中的三個(gè)軸彼此垂直。
5.如權(quán)利要求4所述的方法，其特征在于，還包含: 在該電子裝置中提供一預(yù)設(shè)數(shù)據(jù)庫(kù)以被用來(lái)進(jìn)行符號(hào)識(shí)別，且允許使用者使用可識(shí)別且有意義符號(hào)的畫(huà)線規(guī)則，而不需要使用者先建立數(shù)據(jù)庫(kù)。
6.如權(quán)利要求4所述的方法，其特征在于，還包含: 將使用者在三軸空間所畫(huà)出的該至少一符號(hào)加載到一符號(hào)識(shí)別模塊，以進(jìn)行符號(hào)識(shí)別。
7.如權(quán)利要求4所述的方法,其特征在于,基于該全域坐標(biāo)系統(tǒng)的該方向包含該電子裝置的一轉(zhuǎn)動(dòng)角、一俯仰角、及一偏航角，且該方法還包含: 當(dāng)開(kāi)始進(jìn)行符號(hào)識(shí)別時(shí)，通過(guò)重新設(shè)定該電子裝置的該偏航角為一預(yù)定值，來(lái)將該偏航角與使用者對(duì)齊；以及當(dāng)偵測(cè)到該電子裝置的一按鈕被按壓時(shí)或當(dāng)偵測(cè)到對(duì)應(yīng)到運(yùn)動(dòng)開(kāi)始的力量存在時(shí)，觸發(fā)重新設(shè)定該電子裝置的該偏航角為該預(yù)定值。
8.如權(quán)利要求4所述的方法,其特征在于，基于該全域坐標(biāo)系統(tǒng)的該方向包含該電子裝置的一轉(zhuǎn)動(dòng)角、一俯仰角、及一偏航角，且該方法還包含: 根據(jù)一個(gè)或多個(gè)俯仰角及偏航角的改變來(lái)進(jìn)行球坐標(biāo)與直角坐標(biāo)的轉(zhuǎn)換以產(chǎn)生三軸空間中的多個(gè)點(diǎn)的數(shù)據(jù)； 根據(jù)一個(gè)或多個(gè)俯仰角及轉(zhuǎn)動(dòng)角的改變來(lái)進(jìn)行球坐標(biāo)與直角坐標(biāo)的轉(zhuǎn)換以產(chǎn)生三軸空間中的多個(gè)點(diǎn)的數(shù)據(jù)；以及 根據(jù)一個(gè)或多個(gè)轉(zhuǎn)動(dòng)角及偏航角的改變來(lái)進(jìn)行球坐標(biāo)與直角坐標(biāo)的轉(zhuǎn)換以產(chǎn)生三軸空間中的多個(gè)點(diǎn)的數(shù)據(jù)。
9.如權(quán)利要求3所述的方法，其特征在于，還包含: 根據(jù)基于該全域坐標(biāo)系統(tǒng)的該轉(zhuǎn)換后數(shù)據(jù)來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別以得到用來(lái)表示使用者在三軸空間的運(yùn)動(dòng)的至少一運(yùn)動(dòng)識(shí)別結(jié)果。
10.一種使用運(yùn)動(dòng)傳感器融合來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別的裝置，該裝置包含一電子裝置的至少一部分可用來(lái)執(zhí)行上述權(quán)利要求1~9任一權(quán)利要求所述的方法。
【文檔編號(hào)】G06F3/01GK103984407SQ201410043619
【公開(kāi)日】2014年8月13日 申請(qǐng)日期:2014年1月29日 優(yōu)先權(quán)日:2013年2月8日
【發(fā)明者】葉舟, 劉順男, 呂英閣, 李金龍 申請(qǐng)人:英屬維京群島商速位互動(dòng)股份有限公司