空中書寫處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本申請涉及信息處理技術(shù)領(lǐng)域，特別涉及一種空中書寫處理方法及裝置。
【背景技術(shù)】
[0002]目前，例如手機(jī)、電腦等終端設(shè)備已經(jīng)支持了手寫輸入功能。用戶可以使用手指或手寫筆(或操作筆)在這些終端設(shè)備的觸摸屏上手動地輸入想要輸入的內(nèi)容，終端能夠通過觸摸屏上感應(yīng)到的軌跡，來進(jìn)行識別。但是，這種方式必須依賴?yán)缬|摸屏這種輸入介質(zhì)才能完成。
[0003]隨著科學(xué)技術(shù)的不斷進(jìn)步，一種有別于上述傳統(tǒng)手寫方式的空中手寫方式已經(jīng)應(yīng)運(yùn)而生?？罩惺謱?，顧名思義，就是終端設(shè)備能夠獲取到用戶使用手指或手寫筆在不碰觸顯示屏的前提下書寫的軌跡信息，并進(jìn)行識別。通過空中手寫，用戶可以遠(yuǎn)距離向終端設(shè)備中輸入內(nèi)容。
[0004]現(xiàn)有技術(shù)中提出了一種基于Kinect的空中手寫方法，其中，Kinect是一種3D (三維)體感攝影機(jī)，具有即時(shí)動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、和社群互動等功能。該方法主要包括如下步驟:
[0005]步驟1、利用Kinect捕捉視頻信息；
[0006]步驟2、分析處理并分割視頻信息，分割得到每一幀圖像里面用戶的手部；
[0007]步驟3、對分割出來的手部進(jìn)行指尖定位并且視為字符的一系列離散節(jié)點(diǎn)，完成一個(gè)字符的手寫后，將這些節(jié)點(diǎn)拼接起來重構(gòu)得到恢復(fù)的字符筆畫，它被輸入到一個(gè)字符識別引擎從而輸出候選字；并且，對分割出來的手部提取形態(tài)特征，這些特征被用來作為手勢檢測的依據(jù)，一旦檢測到指定的手勢動作，系統(tǒng)將做出相應(yīng)的響應(yīng)操作。
[0008]上述基于Kinect的空中手寫方法存在以下問題:
[0009](I)用戶需要使用特定手勢五指張開變?yōu)閱沃?，來?biāo)示一個(gè)字符輸入的開始，以及使用特定手勢單指變?yōu)槲逯笍堥_，來標(biāo)示一個(gè)字符輸入的結(jié)束，使用不便。
[0010](2)重構(gòu)得到的軌跡無法斷筆，這使得在根據(jù)該軌跡進(jìn)行識別時(shí)，對于某些有”(點(diǎn))的字符，例如，i，j等，識別正確率不高。

【發(fā)明內(nèi)容】

[0011]本申請?zhí)峁┝艘环N空中書寫處理方法及裝置，旨在解決現(xiàn)有技術(shù)中存在的上述問題至少之一。
[0012]本申請的技術(shù)方案如下:
[0013]一方面，提供了一種空中書寫處理方法，包括:
[0014]獲取對應(yīng)于用戶空中書寫過程中書寫部件的運(yùn)動軌跡的一系列節(jié)點(diǎn)；
[0015]獲取書寫部件的運(yùn)動信息，根據(jù)運(yùn)動信息，從一系列節(jié)點(diǎn)中，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的起點(diǎn)，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的終點(diǎn)；
[0016]對書寫軌跡點(diǎn)集進(jìn)行識別，顯示識別結(jié)果。
[0017]另一方面，還提供了一種空中書寫處理裝置，包括:
[0018]獲取模塊，用于獲取對應(yīng)于用戶空中書寫過程中書寫部件的運(yùn)動軌跡的一系列節(jié)點(diǎn)；還用于獲取書寫部件的運(yùn)動信息；
[0019]選擇模塊，用于根據(jù)獲取模塊獲取到的運(yùn)動信息，從一系列節(jié)點(diǎn)中，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的起點(diǎn)，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的終點(diǎn)；
[0020]識別模塊，用于對書寫軌跡點(diǎn)集進(jìn)行識別，得到識別結(jié)果；
[0021]顯示模塊，用于顯示識別模塊得到的識別結(jié)果。
[0022]本申請的以上技術(shù)方案中，獲取對應(yīng)于用戶空中書寫過程中書寫部件的運(yùn)動軌跡的一系列節(jié)點(diǎn)，獲取書寫部件的運(yùn)動信息，根據(jù)該運(yùn)動信息，從一系列節(jié)點(diǎn)中，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的起點(diǎn)，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的終點(diǎn)，然后，對書寫軌跡點(diǎn)集進(jìn)行識別，顯示識別結(jié)果。從而，通過分析書寫部件的運(yùn)動信息，能夠自動地選擇出書寫軌跡點(diǎn)集的起點(diǎn)和終點(diǎn)，無需用戶使用特定手勢標(biāo)示書寫開始和結(jié)束，使得用戶的書寫更加方便和自然。
【附圖說明】
[0023]圖1是本申請實(shí)施例一的XYZ坐標(biāo)系的示意圖；
[0024]圖2是本申請實(shí)施例一的空中書寫處理方法的流程圖；
[0025]圖3是本申請實(shí)施例一的消除空中書寫起始時(shí)由于用戶抬手產(chǎn)生的冗余軌跡的過程示意圖；
[0026]圖4是本申請實(shí)施例一的空中書寫帶有”筆畫的字符時(shí)實(shí)現(xiàn)斷筆的一種情況下的過程示意圖；
[0027]圖5是本申請實(shí)施例一的空中書寫帶有”筆畫的字符時(shí)實(shí)現(xiàn)斷筆的另一種情況下的過程示意圖；
[0028]圖6是本申請實(shí)施例一的各種編輯命令對應(yīng)的手勢、名稱和操作定義的示意圖；
[0029]圖7是本申請實(shí)施例一的上一次的識別結(jié)果正確時(shí)，用戶連續(xù)書寫的過程示意圖；
[0030]圖8是本申請實(shí)施例一的從上一次的識別結(jié)果中刪除部分字符的過程示意圖；
[0031]圖9是本申請實(shí)施例一的向上一次的識別結(jié)果中插入至少一個(gè)字符的過程示意圖；
[0032]圖10是本申請實(shí)施例一的將上一次的識別結(jié)果中的部分字符替換為其他字符的過程示意圖；
[0033]圖11是本申請實(shí)施例一的確認(rèn)上一次的識別結(jié)果正確的示意圖；
[0034]圖12是本申請實(shí)施例一的當(dāng)上一次的識別結(jié)果有多個(gè)候選項(xiàng)，且這些候選項(xiàng)需要至少兩頁顯示時(shí)，用戶通過翻頁命令實(shí)現(xiàn)向前/后翻一頁的過程示意圖；
[0035]圖13是本申請實(shí)施例一的當(dāng)上一次的識別結(jié)果有多個(gè)候選項(xiàng)時(shí)，用戶通過選擇命令選擇對應(yīng)的候選項(xiàng)的過程示意圖；
[0036]圖14是本申請實(shí)施例二的空中書寫處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0037]為了解決現(xiàn)有技術(shù)中存在的用戶需要使用特定手勢標(biāo)示一個(gè)字符輸入的開始和結(jié)束，使用不便的問題，以及，重構(gòu)得到的軌跡無法斷筆，使得在根據(jù)該軌跡進(jìn)行識別時(shí)，對于某些有”(點(diǎn))的字符，識別正確率不高的問題，本申請以下實(shí)施例中提供了一種空中書寫處理方法，以及一種可以應(yīng)用該方法的裝置。
[0038]本申請以下實(shí)施例中，定義了如圖1所示的XYZ坐標(biāo)系，XYZ坐標(biāo)系中的XY平面與顯示屏(執(zhí)行實(shí)施例一的方法的裝置，或?qū)嵤├械目罩袝鴮懱幚硌b置的顯示屏)位于同一水平面，X軸位于顯示屏的水平方向，Y軸位于顯示屏的豎直方向，Y軸正方向指向顯示屏的下邊沿，Z軸與XY平面垂直。
[0039]實(shí)施例一
[0040]如圖2所示，本申請實(shí)施例的空中書寫處理方法包括以下步驟:
[0041]步驟S102，獲取對應(yīng)于用戶空中書寫過程中書寫部件的運(yùn)動軌跡的一系列節(jié)點(diǎn)；
[0042]其中，書寫部件可以是用戶的手部或書寫筆等。
[0043]具體的，當(dāng)書寫部件是用戶的手部時(shí)，實(shí)現(xiàn)步驟S102的方法可以包括以下步驟:
[0044]步驟S1021:獲取用戶空中書寫過程的深度圖視頻；
[0045]其中，可以利用深度圖像傳感器或攝像設(shè)備獲取深度圖視頻。深度圖(D印th Map)是指場景中各點(diǎn)相對于深度圖像傳感器或攝像設(shè)備的距離，即深度圖中的每一個(gè)像素值表示場景中某一點(diǎn)與深度圖像傳感器或攝像設(shè)備之間的距離。
[0046]步驟S1022，依次從深度圖視頻中的每一幀圖像中分割得到用戶的手部，定位手部上的預(yù)定點(diǎn)的位置，得到一系列節(jié)點(diǎn)。
[0047]其中，由于視頻是由按照時(shí)間先后順序排列的多個(gè)圖像組成，因此，本步驟S1022中依次對深度圖視頻中的各個(gè)圖像進(jìn)行處理。
[0048]具體的，從任一個(gè)圖像中分割得到用戶的手部，定位手部上的預(yù)定點(diǎn)的位置的方法包括以下步驟11-13:
[0049]步驟11:對圖像中的背景進(jìn)行建模，并利用背景和人體(即用戶)的運(yùn)動信息將圖像中的人體分割出來；
[0050]步驟12:利用機(jī)器學(xué)習(xí)的方法從分割出的人體中找出手部；
[0051]具體的，對人體的運(yùn)動區(qū)域點(diǎn)進(jìn)行采樣，利用隨機(jī)森林算法判斷采樣點(diǎn)是否屬于手部，最終找到所有屬于手部的采樣點(diǎn)。
[0052]步驟13:對所有屬于手部的采樣點(diǎn)進(jìn)行mean-shift (均值漂移)聚類算法，找出手部上的預(yù)定點(diǎn)。
[0053]其中，預(yù)定點(diǎn)可以是手心點(diǎn)或指尖點(diǎn)等。當(dāng)預(yù)定點(diǎn)采用手心點(diǎn)時(shí)，定位手部上的手心點(diǎn)的位置時(shí)的定位結(jié)果最準(zhǔn)確，且穩(wěn)定性最好。
[0054]步驟S104，獲取書寫部件的運(yùn)動信息，根據(jù)該運(yùn)動信息，從一系列節(jié)點(diǎn)中，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的起點(diǎn)，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的終點(diǎn)；
[0055]步驟S106，對書寫軌跡點(diǎn)集進(jìn)行識別，顯示識別結(jié)果。
[0056]在步驟S106中，對書寫軌跡點(diǎn)集進(jìn)行平滑處理，并投影到與顯示屏位于同一水平面的XY平面，之后，一方面，將處理后的書寫軌跡點(diǎn)集送入識別引擎進(jìn)行書寫軌跡識別，并顯示識別結(jié)果，另一方面，連接處理后的書寫軌跡點(diǎn)集得到書寫軌跡，并反饋給用戶觀看，使用戶能明確地知道自己的書寫狀態(tài)以及書寫結(jié)果。
[0057]本申請上述實(shí)施例的技術(shù)方案中，獲取對應(yīng)于用戶空中書寫過程中書寫部件的運(yùn)動軌跡的一系列節(jié)點(diǎn)，獲取書寫部件的運(yùn)動信息，根據(jù)該運(yùn)動信息，從一系列節(jié)點(diǎn)中，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的起點(diǎn)，選擇一個(gè)節(jié)點(diǎn)作為書寫軌跡點(diǎn)集的終點(diǎn)，然后，對書寫軌跡點(diǎn)集進(jìn)行識別，顯示識別結(jié)果。從而，通過分析書寫部件的運(yùn)動信息，能夠自動地選擇出書寫軌跡點(diǎn)集的起點(diǎn)和終點(diǎn)，無需用戶使用特定手勢標(biāo)示書寫開始和結(jié)束，使得用戶的書寫更加方便和自然。
[0058]其中