專利名稱：用于可視文本解釋的電子裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及語言翻譯的領(lǐng)域，以及更具體的說，涉及可視文本解釋的領(lǐng)域。
背景技術(shù)：
包括攝像機(jī)的便攜式電子設(shè)備日益流行，并且其他常規(guī)裝置也包括掃描功能。光學(xué)字符識(shí)別(OCR)功能也變得家喻戶曉，可以提供上述裝置所捕獲圖像的文本解釋。然而，當(dāng)文本包括詞匯列表或單個(gè)詞匯時(shí)，在上述裝置中由諸如語言翻譯器或膳食指導(dǎo)(dietary guidance)工具之類的應(yīng)用程序使用這種經(jīng)“OCR”的文本可能是有缺陷的，并且上述裝置顯示的結(jié)果可能是不通行的翻譯、錯(cuò)誤的翻譯或以難于理解的形式表示。之所以產(chǎn)生錯(cuò)誤結(jié)果，是由于用戶沒有輸入附加的信息，一兩個(gè)詞匯的短語很容易被應(yīng)用程序錯(cuò)誤解釋。當(dāng)輸出格式與輸入格式之間沒有多少關(guān)系時(shí)，結(jié)果是難于理解的。


本發(fā)明通過示例的形式說明，并且不局限于相應(yīng)附圖，在附圖中，相同的附圖標(biāo)記表示相同的組件，以及其中圖1是根據(jù)本發(fā)明某些實(shí)施例的在用于可視文本解釋的電子裝置中采用的方法的一些步驟的流程圖；圖2是根據(jù)本發(fā)明某些實(shí)施例的提供示例菜單片段的圖像；圖3是根據(jù)本發(fā)明某些實(shí)施例的示例性領(lǐng)域配置的框圖；圖4是根據(jù)本發(fā)明某些實(shí)施例的示例性結(jié)構(gòu)化領(lǐng)域信息的框圖；圖5是根據(jù)本發(fā)明某些實(shí)施例，提供在電子裝置的顯示器上示例性翻譯菜單片段的表示；圖6是根據(jù)本發(fā)明某些實(shí)施例，提供在電子裝置的顯示器上示例性捕獲菜單片段的表示；圖7是根據(jù)本發(fā)明某些實(shí)施例，執(zhí)行文本解釋的電子裝置的框圖。
本領(lǐng)域技術(shù)人員能理解，附圖中的組件用于簡單清楚的表示并不一定按比例描繪。例如，附圖中某些部件的尺度相比于其他組件是夸大的，以利于幫助理解本發(fā)明實(shí)施例。
具體實(shí)施例方式
本發(fā)明簡化了用戶和用于可視文本解釋的電子裝置之間的交互并改進(jìn)可視文本解釋的質(zhì)量。
在詳細(xì)描述根據(jù)本發(fā)明用于可視文本解釋的特定裝置和方法之前，應(yīng)該理解本發(fā)明主要存在于涉及可視文本解釋的方法步驟和裝置部件的組合中。因此，以合適的方式在圖中用常規(guī)符號(hào)表示裝置組件和方法步驟，只表示那些有助于理解本發(fā)明的特定細(xì)節(jié)，從而不使那些本領(lǐng)域普通技術(shù)人員很容易理解的細(xì)節(jié)妨礙對(duì)本說明的理解。
在本文檔中，諸如第一和第二、頂(部)和底(部)等的相關(guān)術(shù)語只用于區(qū)別一個(gè)實(shí)體或操作與另一個(gè)實(shí)體或操作而要求或隱含所述實(shí)體和操作之間的任何實(shí)際關(guān)系或順序。術(shù)語“包含”、“包括”或其任何其他變化用于覆蓋非排他的包括，因此包括組件列表的處理、方法、項(xiàng)目或設(shè)備不是只包括那些組件，而是還可包括沒有明顯列出的或所述處理、方法、項(xiàng)目或設(shè)備固有的那些組件。在“包括”之后列出的組件并不是僅限于此，并不排除包括組件的處理、方法、項(xiàng)目或設(shè)備中存在其他類似的組件。
如本文檔中使用的“集合”表示非空集合(即，包括至少一個(gè)成員)。如這里使用的另一個(gè)術(shù)語“另一個(gè)”用于表示至少第二個(gè)或更多。如這里使用的術(shù)語“包括”和/或“具有”用于表示包含。如這里使用的術(shù)語“程序”用于表示指定在計(jì)算機(jī)系統(tǒng)上執(zhí)行的指令序列?！俺绦颉被颉坝?jì)算機(jī)程序”包括子例程、函數(shù)、過程、對(duì)象方法、對(duì)象實(shí)現(xiàn)、可執(zhí)行應(yīng)用程序、applet、servlet、源代碼、對(duì)象代碼、共享庫/動(dòng)態(tài)安裝庫或者指定在計(jì)算機(jī)系統(tǒng)上執(zhí)行的其他指令序列。
現(xiàn)在參考圖1，流程圖表示根據(jù)本發(fā)明某些實(shí)施例的在用于可視文本解釋的電子設(shè)備中使用的一些方法步驟。在步驟105，捕獲包括文本信息的圖像，文本信息中具有按捕獲配置組織的捕獲詞匯。該圖像可以通過用來幫助執(zhí)行可視文本解釋的電子裝置來捕獲。所述電子裝置可以是能捕獲攝可視文本的任何類型的電子裝置，其中兩個(gè)示例是具有攝像機(jī)或掃描功能的手機(jī)和個(gè)人數(shù)字助理。
“捕獲詞匯(captured word)”是指由用戶識(shí)別的或由電子裝置調(diào)用的光學(xué)字符識(shí)別(OCR)程序識(shí)別的作為詞匯的字母組合?！安东@配置(captured arrangement)”是指捕獲詞匯及捕獲詞匯的方向、格式和位置關(guān)系，并通常包括諸如MicrosoftWord之類的文字處理程序中可用的任何格式選項(xiàng)以及其他特性。例如，“方向”是指如詞匯或詞匯組合中字母的水平、垂直、或?qū)蔷€對(duì)齊等方面?！案袷健卑ㄖT如字體大小、字體加粗、字體下劃線、字體陰影、字體顏色、字體輪廓等的字體格式方面，并也包括諸如邊框、背景色或分離或隔離詞匯與另一個(gè)詞匯或詞匯組合或互相分離詞匯組合的星號(hào)行的詞匯或短語分割設(shè)備，并包括在詞匯或短語中使用特殊字符或字符配置。詞匯中特殊字符或字符配置的示例包括但不限制于使用貨幣指示符(例如，$)或字母數(shù)字組合(例如，“tspn”)?！拔恢藐P(guān)系”是指諸如詞匯或詞匯組參照另一詞匯或詞匯組的中心對(duì)齊，例如左對(duì)齊或右對(duì)齊或居中，或者詞匯或詞匯組參照在其上呈現(xiàn)的介質(zhì)的對(duì)齊。介質(zhì)可以是紙張、或電子裝置可以從其捕獲詞匯和它們的配置的任何介質(zhì)，例如塑性菜單頁、新聞?dòng)∷⑵坊螂娮语@示器。
參考圖2，示出了根據(jù)本發(fā)明某些實(shí)施例提供示例菜單片斷200的圖像。該圖表示已由電子裝置拍攝的圖像。如上所述，該圖像包括具有按捕獲配置組織的捕獲詞匯的文本信息。菜單片段包括菜單列表標(biāo)題205；兩款菜品名210、240；兩款菜品價(jià)格215、245；以及兩款菜品成分列表220、250。
再次參考圖1，在步驟110執(zhí)行對(duì)部分圖像的光學(xué)字符識(shí)別，以形成按照捕獲配置安排的識(shí)別詞匯的集合。所述部分可以是整幅圖像或小于整幅圖像(例如，排除藝術(shù)頁邊框)。OCR可以在該電子裝置內(nèi)執(zhí)行，可替換地，把捕獲圖像傳送(諸如無線傳送)給另一裝置，因此在另外某些系統(tǒng)或環(huán)境中執(zhí)行，這樣可能更實(shí)際。在一些實(shí)施例中，所識(shí)別的詞匯可簡單的被確定為特定字符串序列(即，空格之間、或空格與句號(hào)之間出現(xiàn)的字符串、或數(shù)字后的美元符號(hào)、逗號(hào)和句號(hào)等)。在其他實(shí)施例中，可使用特定語言的綜合字典將字母串轉(zhuǎn)換為經(jīng)過驗(yàn)證在該綜合字典中發(fā)現(xiàn)的識(shí)別的詞匯。根據(jù)本發(fā)明，OCR操作不僅包括將字母組合成詞匯集合的過程，而且包括確定捕獲配置的過程。例如，在圖2的示例中，菜單列表名稱205的下劃線、較大字體大小和相對(duì)位置；菜單項(xiàng)210、240的字體大小和相對(duì)位置；菜品價(jià)格215、245采用美圓符結(jié)合數(shù)字值以及相對(duì)位置；連接菜單項(xiàng)210、240至菜品價(jià)格215、245的點(diǎn)線以及菜品成分列表220、250的相對(duì)位置至少形成詞匯捕獲配置的一部分。
在步驟115選擇最可能領(lǐng)域(domain)用于分析所識(shí)別詞匯集合的捕獲配置。該最有可能的領(lǐng)域從多個(gè)所支持領(lǐng)域的定義集合中選擇。完成上述目的有許多種方式。在一個(gè)方案中，在步驟S105之前選擇最可能的領(lǐng)域，諸如通過與用戶和電子裝置環(huán)境的多模式交互，并在一些實(shí)施例中能在不使用捕獲配置的情況下完成。例如，用戶選擇唯一確定領(lǐng)域的應(yīng)用。示例是在與電子裝置用戶交互的兩三步中選擇的“菜單翻譯”以及“英法菜單翻譯”。在另一示例中，電子裝置可以已經(jīng)在語言翻譯模式中操作并且用戶可以拍攝諸如“Lou’Pizza”之類的商業(yè)符號(hào)的圖像，啟動(dòng)電子裝置的菜單翻譯程序。在另一示例中，氣味檢測器可以確定在其中使用電子裝置的最有可能的特定環(huán)境(例如，面包店)。因此，在許多這些示例中，步驟115可在步驟105或步驟110之前發(fā)生。在一些實(shí)施例中，可使用組織詞匯集合的捕獲配置，使用或不使用電子裝置用戶的附加輸入，以選擇最可能的領(lǐng)域。例如，當(dāng)電子裝置用于捕獲部分證券行情表時(shí)，識(shí)別詞匯集合的捕獲配置是足夠唯一的，因此電子裝置可以選擇最可能的領(lǐng)域是證券行情表，而不使用用于詞匯識(shí)別的綜合詞典。在該示例中，捕獲配置可涉及識(shí)別在滿足特定標(biāo)準(zhǔn)的數(shù)字字母之前和之后的大寫三個(gè)字符字母序列(例如，至大寫字母序列右邊的十進(jìn)制數(shù)、行中字母字符的最大數(shù)等)。這是模式匹配的示例。另一方面，采用綜合詞典識(shí)別的詞匯，諸如圖2中的“Menu”可能是足夠唯一的，電子裝置可以選擇最可能的領(lǐng)域，而不使用捕獲配置的其他方面，諸如相對(duì)詞匯位置。
在另一示例中，通過使用領(lǐng)域字典，來使用捕獲配置幫助或完全完成最可能領(lǐng)域的選擇，所述領(lǐng)域字典把詞匯集合與所支持領(lǐng)域集合中的每個(gè)領(lǐng)域相關(guān)聯(lián)。在其中與每個(gè)領(lǐng)域相關(guān)聯(lián)的詞匯集合包括一個(gè)以上詞匯的情況下，例如，所識(shí)別詞匯與每個(gè)詞匯集合的匹配度量可用于選擇最可能領(lǐng)域。如下面更詳細(xì)的描述，領(lǐng)域可包括領(lǐng)域配置集合，并且可使用所有領(lǐng)域的配置，通過搜索準(zhǔn)確的或最接近的配置來確定最可能領(lǐng)域。在另一示例中，電子裝置獲取的地理位置信息，輸入到電子裝置中存儲(chǔ)的領(lǐng)域位置數(shù)據(jù)庫，由此選擇最可能領(lǐng)域。例如，GPS接收器可以是電子裝置的一部分并提供零售公司數(shù)據(jù)庫(或大型零售公司中的位置)使用的地理信息，所述公司的每個(gè)涉及特定領(lǐng)域、或用戶可以從中選擇最可能領(lǐng)域的較小的領(lǐng)域列表。
對(duì)于從中選擇最可能領(lǐng)域的領(lǐng)域集合，其中的每個(gè)領(lǐng)域包括相關(guān)的領(lǐng)域配置集合(set of domain arrangement)，用于形成特征結(jié)構(gòu)的結(jié)構(gòu)化集合，已近似匹配捕獲配置。
可以理解，自動(dòng)選擇最可能領(lǐng)域可涉及將統(tǒng)計(jì)不確定性指定給被測試的領(lǐng)域配置，并從分級(jí)的可能領(lǐng)域配置的集合中選擇領(lǐng)域。例如，當(dāng)諸如識(shí)別的詞匯、模式、聲音、命令等的捕獲配置中的項(xiàng)被識(shí)別時(shí)具有屬于它們的統(tǒng)計(jì)不確定性，并且統(tǒng)計(jì)不確定性也可指定給捕獲配置與領(lǐng)域配置匹配程度的度量?？梢院喜⑦@樣的不確定性以產(chǎn)生配置的整體不確定性。
參考圖3，表示根據(jù)本發(fā)明某些實(shí)施例的示例性領(lǐng)域配置300的框圖。領(lǐng)域配置300包括兩種類型化的特征結(jié)構(gòu)以及用于該類型化特征結(jié)構(gòu)的關(guān)系規(guī)則。一般而言，領(lǐng)域配置可包括任何數(shù)量的類型化特征結(jié)構(gòu)和用于它們的關(guān)系規(guī)則，下文將所述的類型化特征結(jié)構(gòu)簡單的稱為特征結(jié)構(gòu)。一般而言，領(lǐng)域配置中使用的特征結(jié)構(gòu)可包括大量特征和關(guān)系規(guī)則。論述特征結(jié)構(gòu)和關(guān)系規(guī)則的著作的一個(gè)示例是《Implementing Typed Feature Structure Grammars》，Ann Copestake著，CLSI出版社，Stanford，CA，2002，一些相關(guān)方面在章節(jié)3.3中描述。
如連接特征結(jié)構(gòu)的線和箭頭所示，在本示例中的兩類特征結(jié)構(gòu)是菜單列表標(biāo)題特征結(jié)構(gòu)305和按層次結(jié)構(gòu)到為菜單列表標(biāo)題特征結(jié)構(gòu)305的一個(gè)或多個(gè)菜單項(xiàng)特征結(jié)構(gòu)310。示例中所示的特征結(jié)構(gòu)305、310每個(gè)都包括名稱和一些其他特征。在上面參考圖2描述的示例中對(duì)菜單項(xiàng)有用的特征是價(jià)格、說明、類型和相對(duì)位置。某些特征會(huì)被識(shí)別為必要的，而其他是可選的。某些特征結(jié)構(gòu)是可選的。這方面沒有在圖3中示出，但是例如菜單列表標(biāo)題特征集合305中的“名稱”是必要的，而相對(duì)位置不是必要的。在某些領(lǐng)域中，必要的相對(duì)位置會(huì)由領(lǐng)域配置中設(shè)置的特征結(jié)構(gòu)的層次表示(如線和箭頭所示)，因此，在討論的示例中，“相對(duì)位置”不必是領(lǐng)域中特征結(jié)構(gòu)的項(xiàng)。特征結(jié)構(gòu)中的某些特征可具有相關(guān)值的集合，用于與識(shí)別詞匯集合的捕獲配置中的項(xiàng)目匹配。例如，用于菜單標(biāo)題的特征結(jié)構(gòu)305中的特征“名稱”會(huì)具有與識(shí)別詞匯匹配的諸如“甜點(diǎn)”、“主食”、“沙拉”之類的可接受標(biāo)題名稱的集合(圖3中未示出)。
再看圖1，在步驟120，根據(jù)領(lǐng)域配置的集合形成特征結(jié)構(gòu)的結(jié)構(gòu)化集合。特征結(jié)構(gòu)的結(jié)構(gòu)化集合基本上匹配所識(shí)別詞匯的捕獲配置。這可這樣來實(shí)現(xiàn)，把所識(shí)別詞匯及捕獲配置與相關(guān)領(lǐng)域配置集合中領(lǐng)域配置的特征結(jié)構(gòu)做比較以尋找最接近的匹配或多個(gè)最接近的匹配。在一個(gè)示例中，這可通過對(duì)每個(gè)領(lǐng)域配置形成權(quán)重值來實(shí)現(xiàn)，準(zhǔn)確匹配領(lǐng)域配置特征結(jié)構(gòu)的必要特征的捕獲特征具有較高權(quán)重，對(duì)于其中捕獲的特征部分匹配必要特征的情況或者捕獲特征匹配非必要特征的情況具有較低權(quán)重。也能使用其他權(quán)重配置。在某些實(shí)施例中，領(lǐng)域配置是非常不同的并具有足夠的互斥必要特征，因此如果通過其中之一發(fā)現(xiàn)捕獲配置與某些部分的匹配，則對(duì)于捕獲配置的該部分，搜索結(jié)束。
當(dāng)已經(jīng)發(fā)現(xiàn)近似匹配該捕獲配置的一個(gè)或多個(gè)領(lǐng)域配置時(shí)，它們可用于形成特征結(jié)構(gòu)的結(jié)構(gòu)化集合。在許多情況下，可以從一個(gè)領(lǐng)域配置形成結(jié)構(gòu)化集合。
再次參考圖1，根據(jù)特征結(jié)構(gòu)的結(jié)構(gòu)化集合將所識(shí)別詞匯集合組織成結(jié)構(gòu)化領(lǐng)域信息。換句話說，所識(shí)別詞匯已被輸入到領(lǐng)域配置集合的特征結(jié)構(gòu)的特定實(shí)例。捕獲配置的某些方面可能沒有包括在特征結(jié)構(gòu)中存儲(chǔ)的信息中，即使它們對(duì)于確定最可能領(lǐng)域或形成特征結(jié)構(gòu)的結(jié)構(gòu)化集合是重要的。例如，在特征結(jié)構(gòu)中存儲(chǔ)字體顏色或字體下劃線是不必要的。
參考圖4，表示根據(jù)本發(fā)明某些實(shí)施例的示例性結(jié)構(gòu)化領(lǐng)域信息400的框圖。在該示例中的結(jié)構(gòu)化領(lǐng)域信息400是通過從圖像200捕獲的識(shí)別詞匯的配置中得到的(圖2)。在該示例中，特征結(jié)構(gòu)的結(jié)構(gòu)化集合只包括一個(gè)領(lǐng)域配置300，用于將所識(shí)別詞匯的集合組織成結(jié)構(gòu)化領(lǐng)域信息400，該結(jié)構(gòu)化領(lǐng)域信息400包括實(shí)例化菜單標(biāo)題特征結(jié)構(gòu)405和兩個(gè)實(shí)例化item_one_price_with_desc特征結(jié)構(gòu)410。實(shí)例化特征結(jié)構(gòu)被給予唯一識(shí)別號(hào)(ID)用于明確參照，并且ID號(hào)用于定義特征結(jié)構(gòu)中所述的特征的相對(duì)位置。例如，圖4中的項(xiàng)目特征結(jié)構(gòu)410具有值為“Below 45”的位置特征，表示它位于圖4中具有ID 45的特征結(jié)構(gòu)405下面，405是標(biāo)題特征結(jié)構(gòu)。
再次參考圖1，結(jié)構(gòu)化領(lǐng)域信息可用于專用于特定領(lǐng)域的應(yīng)用程序。這表示作為該應(yīng)用程序輸入而提供的信息包括領(lǐng)域類型和結(jié)構(gòu)化領(lǐng)域信息，或根據(jù)領(lǐng)域類型和所提供的結(jié)構(gòu)化領(lǐng)域信息來選擇應(yīng)用程序。然后，應(yīng)用程序處理結(jié)構(gòu)化領(lǐng)域信息，并通常將信息呈現(xiàn)給與捕獲信息有關(guān)的用戶?？梢灾皇窃谀軌蚝线m地接受并使用結(jié)構(gòu)化領(lǐng)域信息的方面，應(yīng)用程序是專用于特定領(lǐng)域的，但進(jìn)一步在它如何使用結(jié)構(gòu)化領(lǐng)域信息方面是專用于特定領(lǐng)域的。
參考圖5，表示根據(jù)本發(fā)明某些實(shí)施例，在電子裝置的顯示器500上繪制示例性翻譯菜單片段的表示。該繪制表示在英法菜單翻譯應(yīng)用程序的控制下正在電子裝置的顯示器上表示的圖像。響應(yīng)在步驟125產(chǎn)生的示例性結(jié)構(gòu)化領(lǐng)域信息400，產(chǎn)生專用于特定領(lǐng)域的本應(yīng)用程序示例產(chǎn)生的圖像(圖1)。該示例性應(yīng)用程序接收結(jié)構(gòu)化領(lǐng)域信息、使用專用于特定領(lǐng)域的英法菜單機(jī)器翻譯器，以將詞匯翻譯成法語，并按外觀類似于(并由其導(dǎo)出)捕獲配置的配置來呈現(xiàn)翻譯的信息。該類似性可用于改善諸如字體顏色、背景色之類的特征，但可能不需要這樣做。一般而言，較大的相似性提供較好的用戶體驗(yàn)。
應(yīng)該理解，使用特定領(lǐng)域的英法菜單翻譯字典(是特定領(lǐng)域機(jī)器翻譯器的一個(gè)示例)比起一般英法菜單機(jī)器翻譯器會(huì)提供較好的(并較小的)翻譯。在圖5所示的示例中，例如，“red peppers”已被譯為“法式菜中常用的胡椒粉”，而不是“有顏色的胡椒粉”，后者是由一種通用英法機(jī)器翻譯器轉(zhuǎn)換器產(chǎn)生的翻譯結(jié)果。
在該示例中，可對(duì)母語是法語以及不能熟練理解英語的用戶，使用其所熟悉的法語術(shù)語來呈現(xiàn)自然配置中的菜單。
在本發(fā)明的某些實(shí)施例中，特定領(lǐng)域機(jī)器翻譯器可將第一語言中使用的圖標(biāo)翻譯成不同的第二語言中的不同圖標(biāo)，但是會(huì)更好向熟悉第二語言的人表達(dá)信息。例如，亞洲國家中的停止(STOP)符號(hào)可能具有與北美所常用的不同外觀或圖標(biāo)，因此有必要進(jìn)行替換。對(duì)于交通信號(hào)標(biāo)志之外的圖標(biāo)需要也是顯然的，隨著全球因特網(wǎng)使用的繼續(xù)擴(kuò)展，這種需求會(huì)減少。
上述參考圖5的特定領(lǐng)域應(yīng)用會(huì)進(jìn)一步提供有價(jià)值的特征。例如，所述申請(qǐng)可以使用多模態(tài)對(duì)話管理器(multimodal dialog manager)允許用戶按翻譯的語言(在本示例中是法語)選擇所需的項(xiàng)目(或更完整菜單中的若干所需食物)，然后，該應(yīng)用程序可以諸如使用捕獲圖像200的表示上疊加的箭頭來標(biāo)識(shí)在捕獲圖像200的顯示表示上的那些項(xiàng)目，因此使得用戶通過把所選擇的項(xiàng)目指給餐館服務(wù)員來表達(dá)捕獲圖像，使得互相不理解對(duì)方語言的兩個(gè)用戶之間以非常自然的方式進(jìn)行明確的交流?；蛘撸梢允褂秒娮友b置的語音合成輸出功能將捕獲詞匯表達(dá)給餐館服務(wù)員。在相關(guān)例子中，餐館服務(wù)員可以通過手指推薦項(xiàng)來指出英文菜單上的推薦菜單項(xiàng)，然后講法語的用戶會(huì)使用捕獲(英語)配置顯示上的表示選擇(例如通過使用正常字處理選擇命令)用于專門翻譯成法語，使用顯示器或話音合成器來表達(dá)。
參照?qǐng)D6，根據(jù)本發(fā)明某些實(shí)施例在電子裝置的顯示器605上繪制示例性捕獲菜單片段的表示。該繪制表示在專用于飲食領(lǐng)域的應(yīng)用程序的控制下電子裝置的顯示器上表示的圖像。注意在此例子中，作為參考圖5描述的示例中，在顯示器605上呈現(xiàn)的捕獲詞匯的配置非常類似于捕獲配置。在本示例中的應(yīng)用程序使用在菜單項(xiàng)特征結(jié)構(gòu)中的信息以及過去已獲取的其他信息，諸如用戶曾選擇食譜類型和用戶最近所點(diǎn)過的食物，向用戶進(jìn)行基于食譜的推薦，這通過圖標(biāo)610、615和文本620來反映。然后應(yīng)用程序請(qǐng)求用戶進(jìn)行另一個(gè)選擇625。在另一個(gè)例子中，該應(yīng)用程序根據(jù)用戶飲食的類型確定選擇的菜單項(xiàng)或認(rèn)為對(duì)用戶重要的特定營養(yǎng)內(nèi)容，并且應(yīng)用程序?qū)I養(yǎng)內(nèi)容與菜單項(xiàng)并列，按與捕獲配置非常類似的配置顯示在顯示器605上。
特定領(lǐng)域應(yīng)用的其他示例是運(yùn)輸調(diào)度應(yīng)用、商業(yè)卡應(yīng)用和比賽應(yīng)用。運(yùn)輸應(yīng)用可根據(jù)用戶輸入或用戶喜好的數(shù)據(jù)存儲(chǔ)來確定線路標(biāo)準(zhǔn)，根據(jù)線路標(biāo)準(zhǔn)由運(yùn)輸調(diào)度選擇一個(gè)或多個(gè)線路段，并在電子裝置的顯示器上顯示一個(gè)或多個(gè)線路段。商業(yè)卡應(yīng)用可根據(jù)結(jié)構(gòu)化領(lǐng)域信息將商業(yè)卡的部分信息存儲(chǔ)在聯(lián)系數(shù)據(jù)庫中。裝置可以另外存儲(chǔ)當(dāng)輸入卡時(shí)的時(shí)間和位置，并由用戶使用多模式用戶接口標(biāo)注項(xiàng)目。
比賽應(yīng)用可根據(jù)從比賽安排的結(jié)構(gòu)化領(lǐng)域信息和電子裝置中的其他數(shù)據(jù)(諸如用戶選擇的標(biāo)準(zhǔn))識(shí)別比賽的預(yù)期領(lǐng)先者，并向用戶表示一個(gè)或多個(gè)預(yù)期的領(lǐng)先者。
參考圖7，表示根據(jù)本發(fā)明某些實(shí)施例，執(zhí)行文本解釋的電子裝置700的框圖。電子裝置700可包含包括處理器705、零個(gè)或多個(gè)環(huán)境輸入裝置710、一個(gè)或多個(gè)用戶輸入裝置715，以及存儲(chǔ)器720。這些組件可以是常規(guī)硬件裝置，但也不必一定是。電子裝置700中的其他組件和應(yīng)用程序中的一些例子是電調(diào)節(jié)組件、操作系統(tǒng)和無線通信組件。應(yīng)用程序725-760被存儲(chǔ)在存儲(chǔ)器720中并包括常規(guī)例程但也包括指定提供這里上述功能的軟件指令(應(yīng)用、函數(shù)、程序、servlet、applet等)。更具體的，捕獲函數(shù)725與包括在環(huán)境輸入設(shè)備710中包括的攝像機(jī)共同操作以捕獲詞匯和詞匯的配置，如參考圖1、步驟105、和說明書中其他地方所述。OCR應(yīng)用程序730可提供常規(guī)光學(xué)字符識(shí)別函數(shù)和唯一相關(guān)函數(shù)以定義捕獲配置，如參考圖1、步驟110和說明書中其他地方所述。特定領(lǐng)域應(yīng)用程序735可提供如參考圖1、步驟115和說明書中其他地方所述的唯一函數(shù)。配置形成應(yīng)用程序740可提供如參考圖1、步驟125和說明書中其他地方所述的唯一函數(shù)。信息組織應(yīng)用程序740可提供如參考圖1、步驟125和說明書中其他地方所述的唯一函數(shù)。特定領(lǐng)域應(yīng)用程序750-760表示如參考圖1、步驟130和說明書中其他地方所述的多個(gè)特定領(lǐng)域的應(yīng)用程序。
在本發(fā)明的某些實(shí)施例中，從稱為語言獨(dú)立領(lǐng)域的領(lǐng)域集合中選擇領(lǐng)域。獨(dú)立于領(lǐng)域的語言示例是菜單點(diǎn)菜、運(yùn)輸調(diào)度、比賽得分和商場購物券。單個(gè)語言翻譯模式或者是電子裝置中預(yù)定的，或者是例如通過電子裝置的用戶從多個(gè)可能翻譯模式中選擇。然后該方法通過選擇語言獨(dú)立領(lǐng)域之一來執(zhí)行步驟115(圖1)并包括使用第二語言的特定領(lǐng)域機(jī)器翻譯器將結(jié)構(gòu)化領(lǐng)域信息翻譯成第二語言的翻譯詞匯的步驟，并使用捕獲配置可視呈現(xiàn)翻譯詞匯。在這些實(shí)施例中，該方法進(jìn)一步包括識(shí)別翻譯詞匯的用戶所選部分，并呈現(xiàn)對(duì)應(yīng)于翻譯詞匯的用戶選擇部分的捕獲詞匯的對(duì)應(yīng)部分的步驟。
可以理解，上述的裝置和方法支持將機(jī)器翻譯定制到小的領(lǐng)域，以提高翻譯的可靠性，并且通過識(shí)別作為小領(lǐng)域的領(lǐng)域，并通過提供特定領(lǐng)域的語義“標(biāo)記(tag)”(例如，特征結(jié)構(gòu)的特征)提供在機(jī)器翻譯中的詞義消歧的手段。可以進(jìn)一步理解，使用例如鍵盤或麥克風(fēng)的用戶輸入和/或使用諸如攝像機(jī)、麥克風(fēng)、GPS裝置、或氣味識(shí)別器裝置的環(huán)境輸入和/或關(guān)于用戶最近操作和選擇的歷史信息以多模式形式完成領(lǐng)域的確定。
應(yīng)該理解，這里所述的文本解釋裝置和方法包括一個(gè)或多個(gè)常規(guī)處理器和在電子裝置中操作的唯一存儲(chǔ)程序指令，所述電子裝置也包括用戶和環(huán)境輸入/輸出組件。唯一存儲(chǔ)程序指令結(jié)合特定處理器電路控制一個(gè)或多個(gè)處理器實(shí)施一些、大多數(shù)、或這里所述電子裝置的所有功能。非處理器的電路包括但不限制于無線電接收器、無線電傳送器、信號(hào)驅(qū)動(dòng)器、時(shí)鐘電路、電源電路、用戶輸入裝置、用戶輸出裝置以及環(huán)境輸入裝置。因此，這些功能會(huì)被解釋為方法步驟以執(zhí)行文本解釋?；蛘撸恍┗蛩泄δ芸梢杂蓻]有存儲(chǔ)程序指令的狀態(tài)機(jī)實(shí)施，其中每個(gè)功能或特定功能的某些組合被實(shí)現(xiàn)成定制邏輯。當(dāng)然，可以使用兩種方式的組合。因此，用于這些功能的方法和裝置已在這里說明。
在上述說明中，本發(fā)明和其優(yōu)點(diǎn)以及優(yōu)勢已參考特定實(shí)施例描述。然而，本領(lǐng)域技術(shù)人員可以理解，在不偏離權(quán)利要求書所述范圍的情況下可以進(jìn)行各種修改和變化。因此，說明書和附圖被認(rèn)為是示例性的而不是限制性的，以及所有修改都包括在本發(fā)明的范圍中?？梢鹑魏蝺?yōu)勢、優(yōu)點(diǎn)或出現(xiàn)解決方案或變的更加清楚的優(yōu)勢、優(yōu)點(diǎn)、解決問題的方案以及任何組件都不是任何或所有權(quán)利要求的重要的、必須的或本質(zhì)特征或組件。
權(quán)利要求
1.一種在電子裝置中使用的用于可視文本解釋的方法，包括捕獲包括文本信息的圖像，所述文本信息具有按捕獲配置組織的捕獲詞匯；在部分圖像中執(zhí)行光學(xué)字符識(shí)別(OCR)，用于形成按所述捕獲配置組織的識(shí)別詞匯集合；從多個(gè)領(lǐng)域中選擇最可能領(lǐng)域，每個(gè)領(lǐng)域具有相關(guān)聯(lián)的領(lǐng)域配置集合，每個(gè)領(lǐng)域配置包括特征結(jié)構(gòu)和關(guān)系規(guī)則的集合；根據(jù)與該捕獲配置基本匹配的領(lǐng)域配置集合形成特征結(jié)構(gòu)的結(jié)構(gòu)化集合；根據(jù)所述特征結(jié)構(gòu)的結(jié)構(gòu)化集合，將所述識(shí)別詞匯集合組織成結(jié)構(gòu)化領(lǐng)域信息；以及在專用于該領(lǐng)域的應(yīng)用程序中使用所述結(jié)構(gòu)化領(lǐng)域信息。
2.根據(jù)權(quán)利要求1所述的方法，其中所述捕獲詞匯是屬于第一語言，并且其中使用所述結(jié)構(gòu)化領(lǐng)域信息包括使用第二語言的特定領(lǐng)域機(jī)器翻譯器，將所述結(jié)構(gòu)化領(lǐng)域信息翻譯成該第二語言的翻譯詞匯；使用所述捕獲配置按可視方式呈現(xiàn)所述翻譯詞匯。
3.根據(jù)權(quán)利要求2所述的方法，其中所述特定領(lǐng)域機(jī)器翻譯器包括圖標(biāo)翻譯，并且其中，當(dāng)該圖像包括圖標(biāo)時(shí)，翻譯包括采用該第二語言的特定領(lǐng)域機(jī)器翻譯器將該圖標(biāo)翻譯成翻譯圖標(biāo)，所述翻譯圖標(biāo)至少包括翻譯圖像和翻譯詞匯之一，并且其中的呈現(xiàn)包括使用所述捕獲配置來呈現(xiàn)所述翻譯詞匯和翻譯圖標(biāo)。
4.根據(jù)權(quán)利要求2所述的方法，其中使用所述結(jié)構(gòu)化領(lǐng)域信息進(jìn)一步包括識(shí)別所述翻譯詞匯的用戶選擇部分；以及呈現(xiàn)對(duì)應(yīng)于所述翻譯詞匯的用戶選擇部分的所述捕獲詞匯的對(duì)應(yīng)部分。
5.根據(jù)權(quán)利要求1所述的方法，其中使用所述結(jié)構(gòu)化領(lǐng)域信息進(jìn)一步包括識(shí)別所述捕獲配置的用戶選擇部分；使用第二語言的特定領(lǐng)域機(jī)器翻譯器，將所述結(jié)構(gòu)化領(lǐng)域信息的對(duì)應(yīng)部分翻譯成該第二語言的翻譯詞匯；以及使用該結(jié)構(gòu)化配置呈現(xiàn)該對(duì)應(yīng)部分的該翻譯詞匯。
6.根據(jù)權(quán)利要求1所述的方法，其中，至少部分地利用一個(gè)或多個(gè)來自用戶的輸入來選擇所述最可能領(lǐng)域。
7.根據(jù)權(quán)利要求1所述的方法，其中，至少部分地使用領(lǐng)域字典和來自所述識(shí)別詞匯集合的一個(gè)或多個(gè)詞匯來選擇所述最可能領(lǐng)域。
8.根據(jù)權(quán)利要求1所述的方法，其中，使用該電子裝置獲取的地理位置信息和在該電子裝置中存儲(chǔ)的領(lǐng)域位置數(shù)據(jù)庫來選擇所述最可能領(lǐng)域。
9.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括從特定領(lǐng)域應(yīng)用程序集合中選擇所述專用于該領(lǐng)域的應(yīng)用程序。
10.一種用于可視文本解釋的電子裝置，包括捕獲裝置，用于捕獲包括文本信息的圖像，所述文本信息具有按捕獲配置組織的捕獲詞匯；光學(xué)字符識(shí)別裝置，在部分圖像中執(zhí)行光學(xué)字符識(shí)別(OCR)，用于形成按所述捕獲配置組織的識(shí)別詞匯集合；領(lǐng)域確定裝置，從多個(gè)領(lǐng)域中選擇最可能領(lǐng)域，每個(gè)領(lǐng)域具有相關(guān)聯(lián)的領(lǐng)域配置集合，每個(gè)領(lǐng)域配置包括特征結(jié)構(gòu)和關(guān)系規(guī)則的集合；結(jié)構(gòu)形成裝置，根據(jù)與所述捕獲配置基本匹配的領(lǐng)域配置集合形成特征結(jié)構(gòu)的結(jié)構(gòu)化集合；信息組織裝置，根據(jù)該特征結(jié)構(gòu)的結(jié)構(gòu)化集合，將所述識(shí)別詞匯集合組織成結(jié)構(gòu)化領(lǐng)域信息；以及多個(gè)特定領(lǐng)域應(yīng)用程序，從中選擇一個(gè)來使用所述結(jié)構(gòu)化領(lǐng)域信息。
全文摘要
一種電子裝置(700)捕獲包括文本信息的圖像(105、725)，所述文本信息具有按捕獲配置組織的捕獲詞匯。該電子裝置在部分圖像中執(zhí)行光學(xué)字符識(shí)別(OCR)(110，730)用于形成按捕獲配置組織的識(shí)別詞匯集合。所述電子裝置從多個(gè)領(lǐng)域中選擇最可能領(lǐng)域(115，735)，每個(gè)領(lǐng)域具有相關(guān)聯(lián)的領(lǐng)域配置集合，每個(gè)領(lǐng)域配置包括特征結(jié)構(gòu)和關(guān)系規(guī)則的集合。所述電子裝置根據(jù)基本匹配該捕獲配置的領(lǐng)域配置集合形成特征結(jié)構(gòu)的結(jié)構(gòu)化集合(120，740)。所述電子裝置根據(jù)該特征結(jié)構(gòu)的結(jié)構(gòu)化集合，將所述識(shí)別詞匯集合組織成結(jié)構(gòu)化領(lǐng)域信息(125，745)。所述電子裝置在專用于特定領(lǐng)域的應(yīng)用程序(750－760)中使用結(jié)構(gòu)化領(lǐng)域信息(130)。
文檔編號(hào)G06K9/00GK101044494SQ200580035839
公開日2007年9月26日 申請(qǐng)日期2005年10月5日 優(yōu)先權(quán)日2004年10月20日
發(fā)明者哈里·M·布里斯 申請(qǐng)人:摩托羅拉公司