手寫文件檢索裝置、方法以及記錄介質(zhì)的制作方法
【專利摘要】本發(fā)明的實(shí)施形態(tài)關(guān)于手寫文件檢索裝置、方法以及記錄介質(zhì)。提供即使作為檢索對象的筆畫數(shù)增加，也可以防止處理時間和存儲量增加的手寫文件檢索裝置、方法以及記錄介質(zhì)。根據(jù)實(shí)施形態(tài)，具備獲取部、分類部、特征提取部、檢索部。獲取部獲取包含筆跡數(shù)據(jù)的手寫文件。分類部將所述手寫文件分類為多個區(qū)域。特征提取部根據(jù)所述分類結(jié)果，提取顯示所述區(qū)域的特征的特征量。檢索部根據(jù)所述特征量執(zhí)行檢索。
【專利說明】手寫文件檢索裝置、方法以及記錄介質(zhì)
[0001]本申請以日本專利申請2012-121305 (申請日:2012/5/28)為基礎(chǔ)，從該申請享受優(yōu)先利益。本申請通過參照該申請,包含該申請的全部內(nèi)容。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明的實(shí)施形態(tài)關(guān)于手寫文件檢索裝置、方法以及記錄介質(zhì)。
【背景技術(shù)】
[0003]已知有從數(shù)據(jù)庫中檢索與用戶輸入或指定的手寫查詢對象(夕二 U —)相似或匹配的手寫文件的文件檢索裝置。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的課題是提供即使作為檢索對象的筆畫數(shù)增加，也可以防止處理時間和存儲量增加的手寫文件檢索裝置、方法以及記錄介質(zhì)。
[0005]根據(jù)實(shí)施形態(tài)，具備獲取部、分類部、特征提取部、檢索部。獲取部獲取包含筆跡數(shù)據(jù)得手寫文件。分類部將上述手寫文件分類為多個區(qū)域。特征提取部根據(jù)上述分類結(jié)果，提取表示上述區(qū)域特征的特征量。檢索部根據(jù)所述特征量執(zhí)行檢索。
[0006]根據(jù)上述構(gòu)成的裝置，即使作為檢索對象的筆畫數(shù)增加，也可以防止處理時間和存儲量增加。
【專利附圖】

【附圖說明】
[0007]圖1是顯示本實(shí)施形態(tài)涉及的手寫文件檢索裝置的構(gòu)成例的圖。
[0008]圖2是顯示本實(shí)施形態(tài)涉及的手寫文件檢索裝置的處理例的流程圖。
[0009]圖3是顯示墨跡數(shù)據(jù)的格式一例的圖。
[0010]圖4是用于說明筆畫數(shù)據(jù)輸入的圖。
[0011]圖5是用于說明筆畫數(shù)據(jù)分類的圖。
[0012]圖6是用于說明筆畫數(shù)據(jù)分類的圖。
[0013]圖7是用于說明筆畫數(shù)據(jù)分類的圖。
[0014]圖8是顯示分類部一例的圖。
[0015]圖9是用于說明分類例的圖。
[0016]圖10是用于說明分類例的圖。
[0017]圖11是顯示檢索結(jié)果顯示的一例的圖。
[0018]圖12是用于說明各種輸入方法的圖。
[0019]圖13是用于說明硬件構(gòu)成例的圖。
[0020]圖14是用于說明有網(wǎng)絡(luò)的構(gòu)成例的圖。
【具體實(shí)施方式】[0021]以下參照附圖詳細(xì)說明本發(fā)明的實(shí)施形態(tài)涉及的手寫文件檢索裝置。另外，以下的實(shí)施形態(tài)中，對于賦予了相同編號的部分執(zhí)行同樣動作，省略重復(fù)說明。
[0022]本實(shí)施形態(tài)中，從預(yù)先書寫的(例如大量的)手寫文件中，以用戶手寫的(含筆跡數(shù)據(jù))手寫文件列作為查詢對象，執(zhí)行檢索。用戶指定文件的方法可使用任意方法。例如，可以通過用戶實(shí)際手寫文件而指定查詢對象。也可通過將預(yù)先準(zhǔn)備的筆畫列模板配置于布局上而由用戶書寫文件。也可以由用戶從已有的手寫文件中選擇用作查詢對象的文件。也可以是它們的組合。
[0023]此外，本實(shí)施形態(tài)中，查詢對象與手寫文件的相似度判定使用手寫文件的布局。另夕卜，筆畫指的是手寫輸入的筆畫，表示筆等從接觸輸入面到離開為止的軌跡。
[0024]此外，本實(shí)施形態(tài)中，將含有與查詢對象相似或匹配的布局的手寫文件作為檢索
結(jié)果呈示。
[0025]圖1顯示的是本實(shí)施形態(tài)的手寫文件檢索裝置的構(gòu)成例。如圖1所示，本實(shí)施形態(tài)的手寫文件檢索裝置，具備獲取部1、分類部2、特征提取部5、檢索部7、結(jié)果顯示部8、墨跡數(shù)據(jù)數(shù)據(jù)庫(墨跡數(shù)據(jù)DB) 11、特征量數(shù)據(jù)庫(特征量DB) 12。
[0026]墨跡數(shù)據(jù)DBll存儲將筆畫以文件為單位匯總的墨跡數(shù)據(jù)。
[0027]特征量DB12存儲基于該文件分類為多個區(qū)域的結(jié)果的特征量。此處，此處，區(qū)域指的是例如，圖形區(qū)域、表區(qū)域、文字區(qū)域、行區(qū)塊、文字區(qū)塊等，詳細(xì)后述。
[0028]獲取部I用于獲取用作查詢對象的手寫字符串。
[0029]此處，主要說明獲取用戶書寫的筆畫的情況。另外，該手寫輸入的方法可使用在觸摸屏上用筆輸入的方法、在觸摸屏上用手指輸入的方法、在觸摸板上用手指輸入的方法、操作鼠標(biāo)輸入的方法、用電子筆的方法等各種方法。
[0030]用戶書寫的筆畫組(墨跡數(shù)據(jù))，例如，在用戶結(jié)束書寫文件時或保存時等作為墨跡數(shù)據(jù)DBll被存儲。墨跡數(shù)據(jù)是用于以文件為單位等存儲筆畫組的數(shù)據(jù)構(gòu)造。
[0031]分類部2將手寫文件(墨跡數(shù)據(jù))分類為多個區(qū)域，提取分類信息，執(zhí)行分類處理。分類信息詳細(xì)后述，但它是從手寫文件得到的可以指定各個區(qū)域的信息。
[0032]特征提取部5從分類部2得到的分類信息中提取記述有該文件的(關(guān)于多個區(qū)域的)特征的特征量。
[0033]檢索部7使用提取的特征量算出文件間的相似度，檢索相似的文件。
[0034]結(jié)果顯不部8不出檢索結(jié)果。
[0035]圖2顯示本實(shí)施形態(tài)的手寫文件檢索裝置的處理的一例。
[0036]步驟SI中，獲取部I獲取用作查詢對象的手寫文件(手寫筆畫列)。
[0037]步驟S2中，分類部2對于該獲取的手寫文件提取分類信息(執(zhí)行分類處理)。
[0038]步驟S3中，特征提取部5基于該分類處理的結(jié)果，對于該獲取的手寫文件執(zhí)行特征提取處理。
[0039]步驟S4中，檢索部7根據(jù)特征提取部5得到的特征量，執(zhí)行檢索。
[0040]步驟S5中，結(jié)果顯示部8顯示檢索部7得到的檢索結(jié)果。
[0041]接著，參照圖3說明墨跡數(shù)據(jù)的數(shù)據(jù)構(gòu)造以及筆畫數(shù)據(jù)的數(shù)據(jù)構(gòu)造。
[0042]通常，在規(guī)定的時點(diǎn)(例如一定周期)，筆畫軌跡上的點(diǎn)會被抽樣。因此，筆畫表現(xiàn)為抽樣點(diǎn)的系列。[0043]圖3 (b)的例中，I個筆畫(B卩，I筆)的筆畫構(gòu)造表現(xiàn)為筆移動的平面上的坐標(biāo)值的集合(點(diǎn)構(gòu)造)，具體來說，I個筆畫是含有:顯示形成該筆畫的點(diǎn)的個數(shù)的“點(diǎn)總數(shù)”、“開始時刻”、“外接圖形”、與點(diǎn)總數(shù)相當(dāng)?shù)膫€數(shù)的“點(diǎn)構(gòu)造”的排列的構(gòu)造體。此處，開始時刻表示該筆畫中筆接觸到輸入面開始書寫的時刻。外接圖形表示文件平面上對于該筆畫軌跡的外接圖形(優(yōu)選為文件平面上內(nèi)包該筆畫的最小面積的矩形)。
[0044]點(diǎn)的構(gòu)造可依存于輸入設(shè)備得到。圖3 (C)的例中，I點(diǎn)的構(gòu)造是具有該抽樣點(diǎn)的坐標(biāo)值X、y、筆壓以及距初期點(diǎn)(例如上述的“開始時刻”)的時間差這4個值的構(gòu)造體。
[0045]另外，坐標(biāo)為文件平面的坐標(biāo)系，可通過左上角為原點(diǎn)、越往右下角值越大的正值來表現(xiàn)。
[0046]此外，輸入設(shè)備無法獲取筆壓或者即使可以獲取筆壓但之后的處理不使用筆壓時，可以省去圖3 (c)的筆壓或在筆壓處標(biāo)記顯示無效的數(shù)據(jù)。
[0047]另外，圖3 (b)、(c)的例中，可在筆畫構(gòu)造的各個點(diǎn)構(gòu)造區(qū)域記載坐標(biāo)值x，y等的實(shí)際數(shù)據(jù)，或者也可將筆畫構(gòu)造的數(shù)據(jù)與點(diǎn)構(gòu)造的數(shù)據(jù)分別管理，在筆畫構(gòu)造中各個點(diǎn)構(gòu)造的區(qū)域記載對應(yīng)的點(diǎn)構(gòu)造的鏈接信息。
[0048]圖4顯示的是獲取的筆畫例。此處，以筆畫內(nèi)的樣本點(diǎn)的抽樣周期固定的情況為例進(jìn)行說明。圖4 (a)顯示抽樣出的點(diǎn)的坐標(biāo)，圖4 (b)將時間連續(xù)的點(diǎn)構(gòu)造線性插補(bǔ)并顯示。抽樣點(diǎn)的坐標(biāo)間隔不同是由于筆速的差異。抽樣點(diǎn)數(shù)可因各個筆畫而異。
[0049]圖3 (a)的例中，墨跡數(shù)據(jù)的數(shù)據(jù)構(gòu)造，是包含有顯示該文件全部區(qū)域所含筆畫構(gòu)造個數(shù)的“筆畫總數(shù)”、與筆畫總數(shù)相當(dāng)?shù)膫€數(shù)的“筆畫構(gòu)造”的排列的構(gòu)造體。
[0050]另外，圖3 (a)、(b)的例中，墨跡數(shù)據(jù)構(gòu)造中的各個筆畫構(gòu)造的區(qū)域，既可以記載圖3 (b)的數(shù)據(jù)，或者也可以將墨跡數(shù)據(jù)構(gòu)造的數(shù)據(jù)與圖3 (b)的筆畫的數(shù)據(jù)構(gòu)造分別管理，在墨跡數(shù)據(jù)構(gòu)造中的各個筆畫的數(shù)據(jù)構(gòu)造區(qū)域記載對于對應(yīng)的圖3 (b)的數(shù)據(jù)的鏈接信息。
[0051]用戶使用輸入設(shè)備書寫的筆畫數(shù)據(jù)，通過例如圖3所示的墨跡數(shù)據(jù)構(gòu)造在存儲器上展開。墨跡數(shù)據(jù)例如作為文件保存等情況下，作為墨跡數(shù)據(jù)DBll存儲。
[0052]另外，存儲多個文件時，可將用于識別這些文件的文件ID與各墨跡數(shù)據(jù)對應(yīng)保存。此外，為了識別各個筆畫，也可對各筆畫構(gòu)造付與筆畫ID。
[0053]接著，說明分類部2。
[0054]分類部2，是對于存儲的一個手寫文件(墨跡數(shù)據(jù))，根據(jù)文件平面上的筆畫位置關(guān)系和屬性分類為多個區(qū)域，執(zhí)行分類處理。
[0055]此處，參照圖5?圖7說明分類的為多個區(qū)域的例子。
[0056]例如，手寫文件首先分類為文字區(qū)域、文字區(qū)域以外的區(qū)域。優(yōu)選如圖5所示，手寫文件大體分類為3個區(qū)域，即，“文字區(qū)域”、“圖形區(qū)域”、“表區(qū)域”的單位。
[0057]各個“文字區(qū)域”的內(nèi)包區(qū)域還可分類為多個區(qū)域。例如，如圖5所示，“文字區(qū)域”可分類為“段落區(qū)塊”，“段落區(qū)塊”可分類為“行區(qū)塊”。此外，也可如圖6所示，“行區(qū)塊”可分類為“單詞區(qū)塊”，“單詞區(qū)塊”可分類為“文字區(qū)塊”。此外，還可如圖7所示，“文字區(qū)塊”可分類為有“部首區(qū)塊”。這些全部使用時，存在8種區(qū)域，也可僅從中適當(dāng)選擇一部分使用。
[0058]接著，參照圖8說明分類處理的例子。圖8是分類部2的內(nèi)部功能區(qū)塊或內(nèi)部處理的構(gòu)成例。
[0059]首先，將手寫文件分類為文字區(qū)域、圖形區(qū)域、表區(qū)域的單位(區(qū)域分類部或區(qū)域分類處理21)。
[0060]例如，為了判定各筆畫屬于文字、圖形、表中的哪一個，可以使用預(yù)先已學(xué)習(xí)的識別器，算出筆畫的似然性，為了結(jié)合文件平面上的空間距離和連續(xù)性，以馬爾可夫隨機(jī)場(Markov random field ;MRF)表現(xiàn),通過推定分離最佳區(qū)域,將區(qū)域分割為文字區(qū)域、圖形區(qū)域、表區(qū)域(例如，參照 “X.-D.Zhou, C.-L.Liu, S.0uiniou, E.Anquetil, "Text/Non-textInk Stroke Classification in Japanese Handwriting Based on Markov RandomFields〃ICDAR’ 07Proceedings of the Ninth International Conference on DocumentAnalysis and Recognition, vol.1, pp 377-381，2007，，)。
[0061]另外，文字區(qū)域、圖形區(qū)域、表區(qū)域的分類不限于上述方法。
[0062]將手寫文件分類為文字區(qū)域、圖形區(qū)域、表區(qū)域后，對于文字區(qū)域，分類為更詳細(xì)的區(qū)域。
[0063]首先，本實(shí)施形態(tài)中，分類行區(qū)塊的區(qū)域(行區(qū)塊分類部或行區(qū)塊分類處理22)。
[0064]各筆畫數(shù)據(jù)中，由于含有書寫時間信息，例如，關(guān)于按書寫順序排序的筆畫列，連續(xù)筆畫的外接矩形間的距離不足閾值的話，可判定為屬于同一行區(qū)塊，在閾值以上的話，可判定為屬于不同行區(qū)塊。
[0065]
【權(quán)利要求】
1.一種手寫文件檢索裝置，其特征在于，具備: 獲取包含筆跡數(shù)據(jù)的手寫文件的獲取部； 將所述手寫文件分類為多個區(qū)域的分類部； 根據(jù)所述分類結(jié)果，提取示出所述區(qū)域的特征的特征量的特征提取部；以及 根據(jù)所述特征量執(zhí)行檢索的檢索部。
2.根據(jù)權(quán)利要求1所述的手寫文件檢索裝置，其特征在于，所述分類部將所述手寫文件分類為文字區(qū)域和文字區(qū)域以外的區(qū)域。
3.根據(jù)權(quán)利要求1所述的手寫文件檢索裝置，其特征在于，所述分類部將所述手寫文件分類為文字區(qū)域、圖形區(qū)域和表區(qū)域。
4.根據(jù)權(quán)利要求2或3所述的手寫文件檢索裝置，其特征在于，所述分類部進(jìn)一步將所述文字區(qū)域分類為段落區(qū)塊、行區(qū)塊、單詞區(qū)塊、文字區(qū)塊以及部首區(qū)塊這些階層中的一部分或全部。
5.根據(jù)權(quán)利要求2?4中任意一項(xiàng)所述的手寫文件檢索裝置，其特征在于，所述特征量包含表示所述區(qū)域種類的區(qū)域標(biāo)簽與該區(qū)域數(shù)據(jù)的組合。
6.根據(jù)權(quán)利要求1所述的手寫文件檢索裝置，其特征在于，所述獲取部以筆畫為單位獲取手與字符串。
7.根據(jù)權(quán)利要求1所述的手寫文件檢索裝置，其特征在于，所述獲取部從預(yù)先存儲的手寫字符串中獲取含有用戶指定的字符串的文件。
8.根據(jù)權(quán)利要求1所述的手寫文件檢索裝置，其特征在于，所述檢索部檢索與對應(yīng)各個所述區(qū)域預(yù)先準(zhǔn)備的模板組相似的手寫文件。
9.根據(jù)權(quán)利要求1?8中任意一項(xiàng)所述的手寫文件檢索裝置，其特征在于，還含有顯示所述檢索部的檢索結(jié)果的顯示部。
10.一種手寫文件檢索方法，其是手寫文件檢索裝置的手寫文件檢索方法，其特征在于，含有: 獲取包含筆跡數(shù)據(jù)的手寫文件的步驟； 將所述手寫文件分類為多個區(qū)域的步驟； 根據(jù)所述分類結(jié)果，提取示出所述區(qū)域的特征的特征量的步驟；以及 根據(jù)所述特征量執(zhí)行檢索的步驟。
11.一種存儲介質(zhì)，其特征在于，存儲有令計(jì)算機(jī)發(fā)揮以下部件的功能的程序:獲取包含筆跡數(shù)據(jù)的手寫文件的獲取部； 將所述手寫文件分類為多個區(qū)域的分類部； 根據(jù)所述分類結(jié)果，提取示出所述區(qū)域的特征的特征量的特征提取部；以及 根據(jù)所述特征量執(zhí)行檢索的檢索部。
【文檔編號】G06F17/30GK103455527SQ201210348155
【公開日】2013年12月18日 申請日期:2012年9月18日 優(yōu)先權(quán)日:2012年5月28日
【發(fā)明者】柴田智行, 登內(nèi)洋次郎, 井本和范, 山內(nèi)康晉 申請人:株式會社東芝