基于正交圖像準(zhǔn)確地提取信息的制作方法
【專利摘要】在信息提取技術(shù)期間，可以通過由電子設(shè)備執(zhí)行的應(yīng)用程序(諸如軟件應(yīng)用程序)指示所述電子設(shè)備的用戶使用被集成到電子設(shè)備中的成像傳感器，來以不同取向(其對于用戶是已知的)獲取文件上目標(biāo)位置的圖像。在所述用戶已經(jīng)拍攝第一圖像之后并且在所述用戶拍攝所述電子設(shè)備(以及從而成像傳感器)的不同取向中的第二圖像之前，所述電子設(shè)備捕獲所述文件的多個圖像。然后，所述電子設(shè)備存儲所述圖像與關(guān)聯(lián)的時間戳。而且，在用戶已經(jīng)拍攝所述第二圖像之后，所述電子設(shè)備分析所述第一圖像、所述第二圖像和至少所述圖像的子集其中的一個或多個，以提取接近于所述文件上的目標(biāo)位置的信息。
【專利說明】基于正交圖像準(zhǔn)確地提取信息

【技術(shù)領(lǐng)域】
[0001]本公開涉及用于捕獲文件的多個圖像并且準(zhǔn)確地從圖像中提取信息的技術(shù)。

【背景技術(shù)】
[0002]具有集成的成像傳感器的數(shù)字相機(jī)和蜂窩電話的廣泛應(yīng)用已經(jīng)導(dǎo)致數(shù)字?jǐn)z影和關(guān)聯(lián)的利用獲取的圖像中的信息的軟件應(yīng)用程序的顯著增加。例如，在用戶使用數(shù)字相機(jī)或蜂窩電話(他們有時均被稱為‘電子設(shè)備’)捕獲文件(諸如金融文件)的圖像之后，在電子設(shè)備上執(zhí)行的軟件應(yīng)用程序(諸如金融軟件應(yīng)用程序)可以使用光學(xué)字符識別從圖像中提取信息。然后，至少在原則上，金融軟件應(yīng)用程序可以使用提取的信息來填充表格中的字段或者來執(zhí)行金融計(jì)算。
[0003]然而，在實(shí)踐中，從圖像中提取有用信息(特別是用于與軟件應(yīng)用程序一起使用的那些信息)的能力常常受圖像質(zhì)量的限制。例如，取決于圖像質(zhì)量，在使用光學(xué)字符識別提取信息時可能發(fā)生錯誤。這些錯誤可能使得對于軟件應(yīng)用程序(諸如金融軟件應(yīng)用程序)而言隨后使用提取的信息更困難(如果并非不可能的話)。
[0004]因此，在獲取圖像之后，用戶可能需要執(zhí)行獲取后操作，諸如:編輯圖像以剪裁感興趣的區(qū)域；糾正發(fā)生在提取的信息中的任何錯誤；以及，如果圖像是模糊的或感興趣的區(qū)域沒有被捕獲到，則重復(fù)圖像捕獲和/或獲取后操作一次或多次。執(zhí)行圖像捕獲和/或獲取后操作一次是耗時的，更不用說多次執(zhí)行，并且可能因此限制用戶獲取圖像或使用利用圖像中信息的軟件應(yīng)用程序的意愿。


【發(fā)明內(nèi)容】

[0005]本公開的實(shí)施例涉及從文件中提取信息的電子設(shè)備。在操作期間，所述電子設(shè)備(或者在電子設(shè)備上執(zhí)行的應(yīng)用程序)向用戶提供指令，以使用被集成到電子設(shè)備中的成像設(shè)備在成像設(shè)備處于第一取向時獲取文件上的目標(biāo)位置的第一圖像，以及使用成像設(shè)備在成像設(shè)備處于第二取向時獲取目標(biāo)位置的第二圖像。在其中用戶激活了與成像設(shè)備關(guān)聯(lián)的圖像激活機(jī)制(諸如用于激活成像傳感器的物理按鈕或虛擬圖標(biāo))并且捕獲第一圖像的第一實(shí)例之后，并且在其中用戶激活圖像激活機(jī)制并且捕獲第二圖像的第二實(shí)例之前，電子設(shè)備捕獲文件的多個圖像。然后，電子設(shè)備存儲圖像與關(guān)聯(lián)的時間戳。而且，電子設(shè)備接收指示用戶激活圖像激活機(jī)制的第二實(shí)例的信號。響應(yīng)于信號，電子設(shè)備分析第一圖像、第二圖像和至少圖像的子集中的一個或多個以提取接近于文件上目標(biāo)位置的信息。
[0006]注意，圖像可以與由被集成到電子設(shè)備中的傳感器所提供的空間位置信息存儲在一起。例如，傳感器可以包含加速計(jì)和陀螺儀之一。因此，空間位置信息可以包含位置信息和/或取向信息。此外，圖像可以在基于空間位置信息的圖像捕獲率下被捕獲。
[0007]在一些實(shí)施例中，所述電子設(shè)備基于與文件上的目標(biāo)位置關(guān)聯(lián)的預(yù)定義的信息格式識別所述分析中的錯誤。而且，電子設(shè)備可以基于至少圖像的子集執(zhí)行對識別的錯誤的錯誤糾正。注意，在錯誤糾正期間給定圖像的貢獻(xiàn)可以基于對應(yīng)權(quán)重，并且權(quán)重可以基于以下兩者之間的差異中的至少一個:與給定圖像關(guān)聯(lián)的時間戳與參考時間戳；與給定圖像關(guān)聯(lián)的空間位置信息與參考空間位置信息；和/或從圖像中提取的信息之間的差異。
[0008]此外，多個圖像可以在用戶沒有激活圖像激活機(jī)制的情況下被捕獲。另外地，分析可以包含光學(xué)字符識別，文件可以包含金融文件(諸如:發(fā)票、賬單和/或金融媒介)，和/或應(yīng)用程序可以包含金融應(yīng)用程序。
[0009]在一些實(shí)施例中，電子設(shè)備在執(zhí)行分析之后擦除一個或多個圖像。
[0010]注意，第一取向與第二取向之間的角度差可以近似是90°。
[0011]另一實(shí)施例提供了包括由電子設(shè)備執(zhí)行的操作中的至少一些的方法。
[0012]另一實(shí)施例提供了用于與電子設(shè)備一起使用的計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品包含用于至少一些由電子設(shè)備執(zhí)行的操作的指令。

【專利附圖】

【附圖說明】
[0013]圖1是圖示根據(jù)本公開實(shí)施例的用于提取信息的方法的流程圖。
[0014]圖2是圖示依照本公開實(shí)施例的使用文件的多個圖像的圖1的方法的附圖。
[0015]圖3是圖示依照本公開實(shí)施例的執(zhí)行圖1的方法的電子設(shè)備的框圖。
[0016]圖4是圖示依照本公開實(shí)施例的用于與圖3的電子設(shè)備一起使用的數(shù)據(jù)結(jié)構(gòu)的框圖。
[0017]注意，貫穿附圖同樣的附圖標(biāo)記指的是對應(yīng)部分。而且，相同部分的多個實(shí)例由通過破折號與實(shí)例編號分離的共同前綴指出。

【具體實(shí)施方式】
[0018]描述了電子設(shè)備、用于提取信息的技術(shù)和用于與電子設(shè)備一起使用的計(jì)算機(jī)程序產(chǎn)品(例如軟件)的實(shí)施例。在該信息提取技術(shù)期間，電子設(shè)備的用戶可以受由電子設(shè)備執(zhí)行的應(yīng)用程序(諸如軟件應(yīng)用程序)指示以使用被集成到電子設(shè)備中的成像傳感器來以不同取向(其對于用戶可以是已知的，所以用戶不必學(xué)習(xí)任何新的術(shù)語)獲取文件上的目標(biāo)位置的圖像。例如，用戶可以被指示使用蜂窩電話的相機(jī)拍攝發(fā)票上的字段的照片。在用戶已經(jīng)拍攝第一圖像之后并且在用戶以電子設(shè)備(以及從而成像傳感器)的不同取向拍攝第二圖像之前，電子設(shè)備捕獲文件的多個圖像。然后，電子設(shè)備存儲所述圖像與關(guān)聯(lián)的時間戳(其可以由系統(tǒng)時鐘指定)。而且，在用戶已經(jīng)拍攝第二圖像之后，電子設(shè)備分析第一圖像、第二圖像和至少圖像的子集中的一個或多個以提取接近于文件上目標(biāo)位置的信息。
[0019]通過便于信息的準(zhǔn)確提取，信息提取技術(shù)可以簡化成像傳感器、應(yīng)用程序并因而電子設(shè)備的使用。在此過程中，信息提取技術(shù)可以大幅改善在使用應(yīng)用程序和電子設(shè)備時的用戶體驗(yàn)，由此增加客戶滿意度以及應(yīng)用程序和電子設(shè)備的銷售。
[0020]在隨后的討論中，用戶可以包含:個體(例如現(xiàn)有客戶、新客戶、服務(wù)提供者、供應(yīng)商、承包商等)、組織、企業(yè)和/或政府機(jī)構(gòu)。此外，‘企業(yè)’應(yīng)當(dāng)被理解成包含:營利性公司、非營利性公司、組織、個體團(tuán)體、獨(dú)資、政府機(jī)構(gòu)、合伙等。
[0021]現(xiàn)在我們描述信息提取技術(shù)的實(shí)施例，其可以由電子設(shè)備(諸如圖3中的電子設(shè)備300)執(zhí)行。圖1呈現(xiàn)了圖示用于提取信息的方法100的流程圖。在操作期間，電子設(shè)備(或者在電子設(shè)備上執(zhí)行的應(yīng)用程序)提供指令給用戶以在成像設(shè)備處于第一取向時使用其被集成到電子設(shè)備中的成像設(shè)備獲取文件上的目標(biāo)位置的第一圖像，并且以在成像設(shè)備處于第二取向時使用成像設(shè)備獲取目標(biāo)位置的第二圖像(操作110)。例如，文件可以包含金融文件(諸如:發(fā)票、薪資單、賬單、W-2表格和/或金融媒介)，和/或應(yīng)用程序可以包含金融應(yīng)用程序。因此，目標(biāo)位置可以包含具有以下內(nèi)容的字段:賬號、到期金額和/或到期日。注意，第一取向與第二取向之間的角度差可以近似是90°。例如，第一取向可以是豎向并且第二取向可以是橫向(或反之亦然)。
[0022]在其中用戶激活其與成像設(shè)備關(guān)聯(lián)的圖像激活機(jī)制(諸如用于激活成像傳感器的物理按鈕或虛擬圖標(biāo))并且捕獲第一圖像的第一實(shí)例之后，并且在其中用戶激活圖像激活機(jī)制并且捕獲第二圖像的第二實(shí)例之前，電子設(shè)備捕獲文件的多個圖像(操作112)。這些圖像可以在用戶沒有激活圖像激活機(jī)制的情況下被捕獲(從而圖像可以在用戶未知的情況下被獲取)。
[0023]然后，電子設(shè)備存儲圖像與關(guān)聯(lián)的時間戳(操作114)。例如，圖像和時間戳可以被存儲在計(jì)算機(jī)可讀存儲器中。注意，圖像可以與空間位置信息存儲在一起，所述空間位置信息由集成到電子設(shè)備中的傳感器提供。例如，傳感器可以包含加速計(jì)和陀螺儀之一。因此，空間位置信息可以包含坐標(biāo)系中的位置和取向，諸如X、y和Z以及關(guān)聯(lián)的角度θ、α、Y等，和/或沿著一個或多個軸的加速度。此外，圖像可以在基于空間位置信息的圖像捕獲率下被捕獲。特別地，在空間位置信息正變化時(即在感興趣的點(diǎn)或成像傳感器的視圖的字段中心正改變時)，圖像捕獲率可以是近似不變的。然而，在一些實(shí)施例中，圖像捕獲率在空間位置信息正快速變化時(即在感興趣的點(diǎn)或成像傳感器的視圖的字段中心正改變時)是較大的，并且在空間位置信息是近似穩(wěn)定的時可以是較小的。因而，圖像捕獲率可以被動態(tài)地調(diào)整。
[0024]注意，當(dāng)在預(yù)定義的持續(xù)時間期間空間位置信息保持在預(yù)定義的范圍內(nèi)(例如在
0.5-2s期間，電子設(shè)備的空間位置中的改變小于5-10% )時，空間位置信息可以被認(rèn)為近似穩(wěn)定的。替代地或另外地，在對應(yīng)于成像設(shè)備焦距的聚焦水平(或曝光設(shè)置)是穩(wěn)定的時，例如在預(yù)定義持續(xù)時間期間聚焦水平保持在預(yù)定義的范圍內(nèi)(諸如在l_2s期間在準(zhǔn)確聚焦的5-10%內(nèi))時，近似的穩(wěn)定性可以發(fā)生。
[0025]隨后，電子設(shè)備接收指示用戶激活圖像激活機(jī)制的第二實(shí)例的信號(操作116)(即用戶已經(jīng)獲取第二圖像)。響應(yīng)于信號，電子設(shè)備分析第一圖像、第二圖像和至少圖像的子集中的一個或多個以提取接近于文件上目標(biāo)位置的信息(操作118)。例如，分析可以涉及光學(xué)字符識別。
[0026]在一些實(shí)施例中，例如基于與文件上的目標(biāo)位置關(guān)聯(lián)的預(yù)定義信息格式，電子設(shè)備可選地識別分析中的錯誤(操作120)。而且，基于至少圖像的子集，電子設(shè)備可以可選地執(zhí)行對識別的錯誤的錯誤糾正(操作122)。注意，在錯誤糾正期間給定圖像的貢獻(xiàn)可以基于對應(yīng)權(quán)重。如下面參照圖2進(jìn)一步描述的，權(quán)重可以基于以下兩者之間的差異中的至少一個:與給定圖像關(guān)聯(lián)的時間戳與參考時間戳(諸如在第一圖像或第二圖像被獲取時的參考時間戳)；與給定圖像關(guān)聯(lián)的空間位置信息與參考空間位置信息(諸如在第一圖像或第二圖像被獲取時的參考空間位置信息)；和/或從圖像中提取的信息之間的差異。例如，在差異較小時權(quán)重可以是較大的。
[0027]此外，在一些實(shí)施例中，分析可選地基于先前從其它文件中提取的歷史信息。例如，如果相似的信息先前已經(jīng)從文件的另一實(shí)例中被提取，那么該先前提取的信息可以在分析期間被用于識別和/或糾正錯誤(多個錯誤)。從而，如果文件是薪資單，從先前的薪資單中提取的雇主名稱可以被用于糾正在從當(dāng)前薪資單中對雇主名稱的提取期間發(fā)生的錯誤。
[0028]在一些實(shí)施例中，在執(zhí)行分析之后電子設(shè)備可選地擦除一個或多個圖像(操作124)。
[0029]在方法100的一些實(shí)施例中，可以存在更多或更少的操作。而且，可以改變操作的順序，和/或兩個或多個操作可以被組合到單個操作中。
[0030]通過捕獲和使用多個圖像來提取接近于文件上的目標(biāo)位置的信息，信息提取技術(shù)可以將提取的信息的準(zhǔn)確性提高50%，并且可以將完成過程所需要的時間降低67%。特別地，信息提取技術(shù)可以導(dǎo)致比取決于蜂窩式電話的任意移動的方式更規(guī)則的圖像角度采樣(諸如在近似2.3秒內(nèi)在15-20幀/秒的發(fā)生率下獲取的46個圖像，其可能需要用戶從橫向到豎向取向旋轉(zhuǎn)蜂窩式電話)。因此，信息提取技術(shù)可以大幅改善在使用應(yīng)用程序和電子設(shè)備時的用戶體驗(yàn)。
[0031]在示例性實(shí)施例中，在數(shù)字相機(jī)的取向或角度正在改變的同時，信息提取技術(shù)利用數(shù)字相機(jī)和蜂窩電話中的成像傳感器的能力來獲取目標(biāo)位置的多個圖像?？梢栽跊]有用戶動作的情況下(即在用戶激活或按下與通常被用于拍攝照片的成像傳感器關(guān)聯(lián)的物理按鈕、虛擬圖標(biāo)或者圖像激活機(jī)制之前)，獲取這些圖像。特別地，隨著用戶正將成像傳感器指向文件上的目標(biāo)位置(諸如發(fā)票或支票中的字段)并且正在兩個不同取向之間旋轉(zhuǎn)成像傳感器，多個圖像可以被獲取。在一些實(shí)施例中，產(chǎn)生的圖像可以被呈現(xiàn)給對圖像質(zhì)量提供反饋的用戶。如果一個或多個圖像是模糊的或者在目標(biāo)位置處的期望信息不存在(例如如果信息不被包含在圖像中)，可以重新獲取圖像。
[0032]隨后，在至少一些圖像中的信息可以使用光學(xué)字符識別被提取，并且提取的信息然后可以由諸如遠(yuǎn)程支票存款應(yīng)用程序或所得稅收軟件之類的金融軟件應(yīng)用程序使用。為了便于該分析，在圖像被獲取時，可以調(diào)整與成像傳感器關(guān)聯(lián)的取景器或圖像捕獲區(qū)(如由應(yīng)用程序指定的)。例如，取景器或圖像捕獲區(qū)可以基于與給定的目標(biāo)位置關(guān)聯(lián)的字段的尺寸進(jìn)行調(diào)整。這個字段可以被預(yù)定義，以使得與給定的目標(biāo)位置關(guān)聯(lián)的期望信息被捕獲在對應(yīng)圖像中。例如，如果給定的目標(biāo)位置是賬號，字段可以是包含賬號的矩形框或區(qū)域，并且取景器或圖像捕獲區(qū)可以據(jù)此調(diào)整以使得賬號被包含在至少一些圖像中。然而，如果目標(biāo)位置是地址，取景器可以顯示更大的正方形以涵蓋典型地址字段中的三行或四條行。結(jié)合獲取多個圖像，取景器的這種調(diào)整可以改善提取的信息的準(zhǔn)確性，并且從而可以大幅增加在使用應(yīng)用程序時的用戶滿意度。
[0033]在應(yīng)用程序的操作期間，在電子設(shè)備上執(zhí)行的應(yīng)用程序可以在電子設(shè)備的屏幕或顯示器上顯示或呈現(xiàn)取景器。響應(yīng)于來自應(yīng)用程序的用于以第一取向獲取第一圖像和以第二取向獲取第二圖像的指令，諸如顯示在屏幕上的文字提示或消息，用戶可以將成像傳感器指向目標(biāo)位置或感興趣的區(qū)域(例如賬號)，并且該區(qū)域可以被顯示在屏幕上的取景器中。在用戶已經(jīng)激活圖像激活機(jī)制并且已經(jīng)獲取第一圖像之后，并且在用戶將電子設(shè)備旋轉(zhuǎn)到第二取向的同時(即在用戶已經(jīng)第二次激活圖像激活機(jī)制以獲取第二圖像之前)，應(yīng)用程序和/或電子設(shè)備可以提供信號給成像傳感器，該成像傳感器然后拍攝感興趣的區(qū)域的多張照片的成像傳感器，所述多張照片中的每張均可以具有關(guān)聯(lián)的時間戳和/或空間位置信息(諸如與集成在電子設(shè)備中的傳感器(例如加速計(jì)和/或陀螺儀)關(guān)聯(lián)的空間位置信息)。注意，成像傳感器的圖像捕獲率可以基于空間位置信息。例如，在空間位置信息正變化時，圖像捕獲率可以是近似不變的。然而，在一些實(shí)施例中，圖像捕獲率在空間位置信息正變化時可以是較大的，并且在空間位置信息是近似穩(wěn)定的時可以是較小的。
[0034]在一些實(shí)施例中，即使環(huán)境光足以獲取圖像，應(yīng)用程序還可以激活集成的閃光燈或燈光，以增加焦距和/或圖像的質(zhì)量。因而，基于對應(yīng)于成像傳感器焦距的聚焦水平，閃光燈可以由應(yīng)用程序和/或電子設(shè)備有選擇性觸發(fā)。這可以使隨后對圖像中信息的提取更簡單和/或更準(zhǔn)確。
[0035]在示例實(shí)施例中，客戶(約翰)使用應(yīng)用程序來支付帳單。在約翰接收到實(shí)際賬單時，他可以激活他蜂窩式電話上的應(yīng)用程序(其有時被稱為‘捷通’(Flashpay))。響應(yīng)于所顯示的、用于以豎向取向獲取第一圖像并且以橫向取向獲取第二圖像的指令，約翰可以把賬單上的賬號置于示出在蜂窩式電話的屏幕上的取景器中的中心，并且可以按下物理按鈕或虛擬圖標(biāo)(以及更一般地圖像激活機(jī)制)以捕獲第一圖像。在約翰執(zhí)行該操作之后，并且在他從豎向取向到橫向取向旋轉(zhuǎn)蜂窩式電話的同時，捷通可以隨著蜂窩式電話(并且因而成像傳感器)的取向改變，指示或信號通知成像傳感器拍攝多張、不同的照片或者獲取該區(qū)域的多個不同的圖像。如果約翰慣用左手，這些圖像可以在90°與0°之間的取向下(對應(yīng)于順時針旋轉(zhuǎn))被獲取。替代地，如果約翰慣用右手，這些圖像可以在90°與180°之間的取向下(對應(yīng)于逆時針旋轉(zhuǎn))被獲取。
[0036]注意，成像傳感器的圖像捕獲或采樣率可以基于空間位置信息。例如，在空間位置信息正變化時(即在約翰正旋轉(zhuǎn)蜂窩式電話的同時)圖像捕獲率可以是近似不變的。替代地，在空間位置信息正變化時圖像捕獲率可以是較大的，并且在空間位置信息是近似穩(wěn)定的時可以是較小的(從而，幀或圖像捕獲率可以基于空間位置信息被動態(tài)地調(diào)整)。特別地，圖像捕獲率可以隨著角速度線性變化，從在1° /s的速度下的2幀/秒到在7.5° /s的速度下的15幀/秒。如先前注意到的，捷通還可以基于聚焦水平啟用或禁用閃光燈。
[0037]在圖像已經(jīng)被獲取并且約翰通過按下物理按鈕或虛擬圖標(biāo)(以及更一般地，圖像激活機(jī)制)捕獲第二圖像之后，捷通可以使用光學(xué)字符識別來處理圖像。例如，通過組合從一些或所有圖像中掃描的文本(以及更一般地，提取的信息)(這可以利用相對時間戳、圖像的空間位置信息與目標(biāo)位置的空間位置信息之間的相對差異、圖像的感興趣的點(diǎn)距離目標(biāo)位置的相對距離和/或歷史數(shù)據(jù))，捷通可以以高確定性預(yù)測出正確的結(jié)果。
[0038]在信息被提取之后，捷通可以向約翰示出產(chǎn)生的文本。如果他覺得這不是所需要的數(shù)據(jù)，約翰可以將成像傳感器重新指向?qū)ο?，這將導(dǎo)致另一系列的圖像被獲取。而且，約翰可以針對賬單上的其它目標(biāo)位置重復(fù)前述操作，諸如對應(yīng)于以下內(nèi)容的目標(biāo)位置:開賬單人的地址、賬單到期日和帳單金額。一旦捷通已經(jīng)處理了圖像，它可以具有支付賬單所需要的所有信息。
[0039]注意，在前面的示例中約翰不必拍攝整個賬單的照片，并且他不必發(fā)送圖像以用于遠(yuǎn)程處理。反而，通過獲取多個圖像，他的蜂窩式電話能夠執(zhí)行光學(xué)字符識別以提取期望的信息。
[0040]現(xiàn)在我們更詳細(xì)地描述使用獲取的圖像對信息的提取。圖2是示出使用文件的多個圖像210的方法100(圖1)的附圖200。在用戶被指示將成像傳感器指向目標(biāo)位置并且已經(jīng)獲取第一圖像(但是仍沒有獲得第二圖像)之后，成像傳感器可以獲取圖像。圖像捕獲率在第一圖像被獲取的時間與第二圖像被獲取的時間之間可以是近似不變的。然而，在一些實(shí)施例中，對于最接近于用于第一圖像和/或第二圖像的時間戳和/或空間位置信息的時間戳和/或空間位置信息，圖像捕獲率可以是最高的。而且，對于距離用于第一圖像和/或第二圖像的時間戳和/或空間位置信息最遠(yuǎn)的時間戳和/或空間位置信息，圖像捕獲率可以是較低的。例如，對于作為在豎向取向與橫向取向之間的中間的45°取向，圖像捕獲率可以是較低的。替代地或另外地，在空間位置和/或電子設(shè)備的焦距是近似穩(wěn)定的時，例如在用戶正獲取第一圖像和第二圖像時，圖像捕獲率可以是較高的。注意，圖像210各自可以具有關(guān)聯(lián)的時間戳212和/或空間位置信息214 (諸如來自加速計(jì)的線性位置和/或來自陀螺儀的角位置)其中之一。
[0041]在用戶激活圖像激活機(jī)制并且捕獲第一圖像和/或第二圖像時，用于目標(biāo)位置的一個或多個參考時間戳和/或參考空間位置信息可以被存儲。使用這種參考信息，電子設(shè)備中的提取模塊(諸如光學(xué)字符識別引擎或模塊)可以使用光學(xué)字符識別，從至少一些獲取的圖像210(其在一平面中以不同角度下被拍攝)中提取信息。在這個過程中，與圖像210關(guān)聯(lián)的、相對于一個或多個參考時間戳和/或參考空間位置信息的時間戳212和/或空間位置信息214可以被用于確定哪些圖像210可能是所提取的信息的最好的源(即其可以準(zhǔn)確提供提取的彳目息)。
[0042]例如，如果來自給定圖像的提取的信息不同于來自其它圖像的提取的信息，錯誤可以被預(yù)測并且來自時間上和/或空間上鄰近于給定圖像(或者參考時間戳和/或參考空間位置信息)的圖像的提取的信息可以被用于確定正確的結(jié)果。特別地，可以使用具有在第一圖像或第二圖像的參考時間戳的時間間隔內(nèi)(諸如在近似0.5s內(nèi))的關(guān)聯(lián)的時間戳的圖像。(因而，可以使用在前面的時間和/或隨后的時間處的圖像。)此外，接近目標(biāo)位置的圖像(即具有的空間位置信息類似于第一圖像或第二圖像的參考空間位置信息的圖像)在分析中可以具有較大的權(quán)重(以及因而具有較大的貢獻(xiàn))。從而，如果目標(biāo)位置是在56°的角度處，分析中的對應(yīng)權(quán)重可以在56°處是I，并且可以在100°或12°處線性減小到0.1。替代地，在用于第一圖像或第二圖像的參考空間位置信息的45°內(nèi)的圖像可以分別被用于糾正第一圖像或第二圖像中的錯誤。
[0043]此外，歷史數(shù)據(jù)可被用于確定是否先前存在匹配(即是否正確的信息先前被提取或者是已知的)。如果是的話，先前的匹配可以被用于識別和/或糾正在提取的信息中的錯誤。
[0044]如在圖2中示出的，如果在目標(biāo)位置處的信息是“PG&E”并且從一個圖像中產(chǎn)生的光學(xué)字符識別是“PGSE”以及從其它鄰近圖像中產(chǎn)生的是“PG&E”，存在高可能性的是，正確的結(jié)果是“PG&E”。該結(jié)果還可以根據(jù)存儲的歷史數(shù)據(jù)來驗(yàn)證。然而，如果該結(jié)果是第一次被提取，那么它可以被添加到歷史數(shù)據(jù)以用于將來參考。通過這種方式，信息提取技術(shù)可以促進(jìn)隨著時間的推移可以被用于改善提取的信息的準(zhǔn)確性的數(shù)據(jù)結(jié)構(gòu)的建立。
[0045]因此，通過使用來自多個圖像的提取的信息，提取的信息的準(zhǔn)確性可以被改善。特別地，信息提取技術(shù)可以檢測光學(xué)字符識別或人為錯誤，并且做出糾正。例如，“5”可能已經(jīng)被錯誤地提取為“S”、“8”或“B”。然而，通過使用多個圖像和/或歷史的信息，這一錯誤可以被識別和糾正。
[0046]注意，盡管可以獲取多個圖像210，但是因?yàn)?對于給定目標(biāo)位置)用戶僅僅按下圖像激活機(jī)制兩次，所以用戶可能認(rèn)為僅僅兩個圖像已經(jīng)被獲取。因此，由信息提取技術(shù)提供的改善的性能可能對于用戶來說是令人吃驚的，這可以使用戶感到愉快并且增加他們的滿意度。
[0047]圖3呈現(xiàn)了示出執(zhí)行方法100 (圖1)的電子設(shè)備300的框圖。電子設(shè)備300包含一個或多個處理單元或處理器310、通信接口 312、用戶接口 314以及將這些部件連接在一起的一條或多條信號線322。注意，一個或多個處理器310可以支持并行處理和/或多線程操作，通信接口 312可以具有持久的通信連接，并且一條或多條信號線322可以構(gòu)成通信總線。而且，用戶接口 314可以包含:顯示器316、鍵盤318和/或諸如鼠標(biāo)之類的指示器320。
[0048]電子設(shè)備300中的存儲器324可以包含易失性存儲器和/或非易失性存儲器。更具體地，存儲器324可以包含:R0M、RAM、EPR0M、EEPR0M、閃速存儲器、一個或多個智能卡、一個或多個磁盤存儲設(shè)備和/或一個或多個光學(xué)存儲設(shè)備。存儲器324可以存儲操作系統(tǒng)326，所述操作系統(tǒng)326包含用于處理用于執(zhí)行依賴于硬件的任務(wù)的各種基本系統(tǒng)服務(wù)的程序(或指令集)。存儲器324還可以將程序(或指令集)存儲在通信模塊328中。這些通信程序可以被用于與一個或多個計(jì)算機(jī)和/或服務(wù)器(包含相對于電子設(shè)備300遠(yuǎn)程定位的計(jì)算機(jī)和/或服務(wù)器)進(jìn)行通信。
[0049]存儲器324還可以包含多個程序模塊(或指令集)，其包含:金融應(yīng)用程序330(或指令集)、圖像獲取模塊332 (或指令集)、提取模塊334 (或指令集)和/或加密模塊336 (或指令集)。注意，這些程序模塊(或指令集)中的一個或多個可以構(gòu)成計(jì)算機(jī)程序機(jī)制。
[0050]在方法100 (圖1)期間，金融應(yīng)用程序330 (以及更一般地，任意的軟件應(yīng)用程序)可以基于用戶命令來開始。例如，用戶可以通過點(diǎn)擊鍵盤318中的物理按鈕或者與金融應(yīng)用程序330關(guān)聯(lián)的、顯示在顯示器316上的虛擬圖標(biāo)，來開始金融應(yīng)用程序330。
[0051]然后，金融應(yīng)用程序330提供信息338 (諸如指令)給用戶以將被集成到電子設(shè)備300中的成像傳感器308指向文件342上的目標(biāo)位置340之一，并且以讓用戶使用成像傳感器308以對應(yīng)取向348獲取第一圖像344和第二圖像346。例如，金融應(yīng)用程序330可以將信息呈現(xiàn)在顯示器316上。
[0052]在用戶已經(jīng)獲取第一圖像344(通過激活觸發(fā)成像傳感器308的圖像捕獲的圖像激活機(jī)制)之后并且在用戶已經(jīng)獲取第二圖像346之前，圖像獲取模塊332可以將信號傳送給成像傳感器308以獲取圖像350。圖像350各自可以具有關(guān)聯(lián)的時間戳352和/或空間位置信息354(其可以由例如被集成在電子設(shè)備300中的加速計(jì)和/或陀螺儀的空間傳感器306提供)其中之一。注意，這些圖像可以在沒有由用戶進(jìn)行的明確動作的情況下(諸如在用戶沒有激活與成像傳感器308關(guān)聯(lián)的圖像激活機(jī)制的情況下)被獲取。然后，圖像獲取模塊332可以將圖像350、時間戳352和/或空間位置信息354存儲在存儲器324中。
[0053]注意，在成像傳感器308被指向目標(biāo)位置340之一，并且用戶激活與成像傳感器308關(guān)聯(lián)的圖像激活機(jī)制并且獲取第一圖像344和/或第二圖像346時，圖像獲取模塊332可以存儲參考信息356 (諸如一個或多個參考時間戳和/或參考空間位置信息)。
[0054]在用戶已經(jīng)獲取第二圖像346 (通過激活圖像激活機(jī)制)之后，提取模塊334可以分析第一圖像344、第二圖像346和圖像350中的至少一些以提取接近于文件342上目標(biāo)位置340之一的信息358。例如，提取的信息358使用光學(xué)字符識別來提取。注意，在分析期間第一圖像344、第二圖像346和圖像350的貢獻(xiàn)可以由與第一圖像344、第二圖像346和圖像350關(guān)聯(lián)的權(quán)重360來指定。這些權(quán)重可以基于第一圖像344、第二圖像346和圖像350中的給定圖像與目標(biāo)位置340之一(例如如由參考信息356指定的)之間的空間和/或時間距離。替代地，權(quán)重360可以基于從給定圖像與其它圖像中提取的信息358之間的差異。
[0055]在一些實(shí)施例中，分析基于先前從一個或多個其它文件364中提取的歷史信息362。例如，如果相似的信息先前已經(jīng)從文件的另一實(shí)例中被提取，那么該先前提取的信息可以在分析期間被使用。
[0056]歷史信息以及關(guān)于文件、圖像、感興趣的點(diǎn)和/或曝光設(shè)置的信息可以被包含在數(shù)據(jù)結(jié)構(gòu)中。這被示出在圖4中，圖4呈現(xiàn)了其包含與信息提取技術(shù)關(guān)聯(lián)的圖像信息410的數(shù)據(jù)結(jié)構(gòu)400。特別地，圖像信息410-1包含:時間戳412-1、文件414-1和/或提取的信息 416-1。
[0057]返回參照圖3，在信息358被提取之后，提取模塊334可以可選地擦除第一圖像344、第二圖像346、圖像350、時間戳352、空間位置信息354和/或參考信息356。另外地，提取的信息358可以隨后由金融應(yīng)用程序330使用。例如，金融應(yīng)用程序330可以使用提取的信息358來執(zhí)行金融計(jì)算和/或完成金融表格(諸如所得稅申報(bào)表)。
[0058]因?yàn)殡娮釉O(shè)備300中的信息本質(zhì)上可能是機(jī)密的，在一些實(shí)施例中，存儲在存儲器324中的數(shù)據(jù)中的至少一些和/或使用通信模塊328傳送的數(shù)據(jù)中的至少一些使用加密模塊336被加密。
[0059]在存儲器324中的各種模塊中的指令可以以以下語言被實(shí)現(xiàn):高級的程序式語言、面向?qū)ο蟮木幊陶Z言和/或以匯編或機(jī)器語言。注意，編程語言可以被編譯或解譯(例如可配置或被配置)以由一個或多個處理器310來執(zhí)行。
[0060]雖然電子設(shè)備300被圖示為具有許多離散項(xiàng)，圖3旨在于對可以被呈現(xiàn)在電子設(shè)備300中的各種特征的功能性描述，而不是對本文中描述的實(shí)施例的結(jié)構(gòu)示意。在實(shí)踐中，并且如由本領(lǐng)域普通技術(shù)人員意識到的，電子設(shè)備300的功能可以被分布在大量的服務(wù)器或計(jì)算機(jī)之上，各種組的服務(wù)器或計(jì)算機(jī)執(zhí)行特定的功能子集。在一些實(shí)施例中，電子設(shè)備300的一些或所有功能可以被實(shí)現(xiàn)在一個或多個專用集成電路(ASIC)和/或一個或多個數(shù)字信號處理器(DSP)中。
[0061]電子設(shè)備300可以包含有能力操縱計(jì)算機(jī)可讀數(shù)據(jù)或者通過網(wǎng)絡(luò)在兩個或多個計(jì)算系統(tǒng)之間傳送這些數(shù)據(jù)的各種各樣的設(shè)備之一，所述設(shè)備包括:個人電腦、膝上型電腦、平板電腦、大型電腦、便攜式電子設(shè)備(諸如蜂窩式電話或PDA)、數(shù)字相機(jī)、服務(wù)器和/或客戶端計(jì)算機(jī)(在客戶端服務(wù)器架構(gòu)中)。而且，電子設(shè)備300可以有能力經(jīng)由諸如因特網(wǎng)(Internet)、萬維網(wǎng)(WWW)、局域網(wǎng)、蜂窩式電話網(wǎng)絡(luò)、LAN、WAN、MAN、或者網(wǎng)絡(luò)的組合、或者使得計(jì)算系統(tǒng)之間的通信能夠進(jìn)行的其它技術(shù)之類的網(wǎng)絡(luò)進(jìn)行通信。
[0062]在一些實(shí)施例中，在存儲器324中的一個或多個模塊(諸如圖像獲取模塊332)可以與金融應(yīng)用程序330關(guān)聯(lián)和/或被包含在金融應(yīng)用程序330中。該金融應(yīng)用程序可以包含:Quicken? 和 / 或 TurboTax?(來自 Intuit, Inc., of Mountain View, California)、Microsoft Money?(來自 Microsoft Corporat1n, of Redmond，Washington)、SplashMoney?(來自 SplashDataj Inc.，of Los Gatos, CA)、Mvelopes?(來自 In2M，Inc.，ofDraper，Utah)、和 / 或諸如 Gnucash?、PLCash?、Budget?(來自 Snowmint CreativeSolut1ns, LLCj of St.Paul, Minnesota)之類的開源應(yīng)用程序、和/或能夠處理金融信息的其它計(jì)劃軟件。
[0063]而且，金融應(yīng)用程序330可以包含:QuickBooks?(來自 Intuit，Inc., of MountainView，California)、Peachtree?(來自 The Sage Group PLCj of Newcastle Upon Tyne, theUnited Kingdom)、Peachtree Complete?(來自 The Sage Group PLCj of NewcastleUpon Tyne, the United Kingdom)、MYOB Business Essentials?(來自 MYOB US, Inc., ofRockawayj New Jersey)、NetSuite Small Business Accounting?(來自 NetSuite，Inc.，ofSan Mateo，California)、Cougar Mountain?(來自 Cougar Mountain Software, ofBoise，Idaho)、Microsoft Office Accounting?(來自 Microsoft Corporat1n, ofRedmond, Washington)、Simply Accounting? (來自 The Sage Group PLCj of NewcastleUpon Tyne, the United Kingdom)、CYMA IV Accounting?(來自 CYMA Systems，Inc.，ofTempe，Arizona)、DacEasy?(來自 Sage Software SB, Inc., of Lawrencevillej Georgia) ΛMicrosoft Money?(來自 Microsoft Corporat1n, of Redmond, Washington) Λ Tally.ERP(來自Tally Solut1ns, Ltd., of Bangalore, India)和/或有能力處理工資信息的其它工資或會計(jì)軟件。
[0064]電子設(shè)備300可以包含更少的部件或者更多的部件。而且，兩個或多個部件可以被組合到單個部件中，和/或一個或多個部件的位置可以被改變。如本領(lǐng)域中已知的，在一些實(shí)施例中，電子設(shè)備300的功能可以更多地在硬件中并且更少地在軟件中被實(shí)現(xiàn)，或者更少地在硬件中并且更多地在軟件中被實(shí)現(xiàn)。
[0065]前述描述旨在使得本領(lǐng)域任何技術(shù)人員能夠做出并且使用公開內(nèi)容，并且被提供在特定應(yīng)用及其要求的上下文中。而且，對本公開實(shí)施例的前述描述已經(jīng)僅僅為了說明和描述的目的被呈現(xiàn)。它們并非旨在窮舉或者將本公開限制于所公開的形式。因而，許多修改和變化將對于本領(lǐng)域技術(shù)從業(yè)者來說將是顯而易見的，并且本文中定義的一般原理可以被應(yīng)用于其它實(shí)施例和應(yīng)用，而不脫離本公開的精神和范圍。另外地，前述實(shí)施例的討論并非旨在限制本公開。從而，本公開并非旨在被局限于所示出的實(shí)施例，而是要符合與本文中公開的原理和特征一致的最廣范圍。
【權(quán)利要求】
1.一種用于從文件中提取信息的電子設(shè)備實(shí)現(xiàn)的方法，包括: 向用戶提供指令以使用被集成到所述電子設(shè)備中的成像設(shè)備在所述成像設(shè)備處于第一取向時獲取所述文件上的目標(biāo)位置的第一圖像，以及使用所述成像設(shè)備在所述成像設(shè)備處于第二取向時獲取所述目標(biāo)位置的第二圖像； 在其中所述用戶激活與所述成像設(shè)備關(guān)聯(lián)的圖像激活機(jī)制并且捕獲所述第一圖像的第一實(shí)例之后，以及在其中所述用戶激活所述圖像激活機(jī)制并且捕獲所述第二圖像的第二實(shí)例之前，捕獲所述文件的多個圖像； 存儲所述圖像與關(guān)聯(lián)的時間戳； 接收指示所述用戶激活所述圖像激活機(jī)制的所述第二實(shí)例的信號；以及 響應(yīng)于所述信號，分析所述第一圖像、所述第二圖像和至少所述圖像的子集其中的一個或多個以提取接近于所述文件上的所述目標(biāo)位置的所述信息。
2.根據(jù)權(quán)利要求1所述的方法，其中所述圖像進(jìn)一步與由被集成到所述電子設(shè)備中的傳感器所提供的空間位置信息存儲在一起。
3.根據(jù)權(quán)利要求2所述的方法，其中所述傳感器包括加速計(jì)和陀螺儀其中之一。
4.根據(jù)權(quán)利要求2所述的方法，其中所述圖像以基于所述空間位置信息的圖像捕獲率被捕獲。
5.根據(jù)權(quán)利要求2所述的方法，其中所述空間位置信息包括位置信息和取向信息。
6.根據(jù)權(quán)利要求1所述的方法，其中所述方法進(jìn)一步包括基于與所述文件上的所述目標(biāo)位置關(guān)聯(lián)的預(yù)定義的信息格式識別所述分析中的錯誤。
7.根據(jù)權(quán)利要求6所述的方法，其中所述方法進(jìn)一步包括基于至少所述圖像的所述子集，執(zhí)行對識別的所述錯誤的錯誤糾正； 其中在所述錯誤糾正期間所述圖像中的給定圖像的貢獻(xiàn)基于對應(yīng)的權(quán)重；以及 其中所述權(quán)重基于以下兩者之間的差異中的至少一個:與所述給定圖像關(guān)聯(lián)的時間戳與參考時間戳；以及與所述給定圖像關(guān)聯(lián)的空間位置信息與參考空間位置信息。
8.根據(jù)權(quán)利要求1所述的方法，其中所述多個圖像在所述用戶沒有激活所述圖像激活機(jī)制的情況下被捕獲。
9.根據(jù)權(quán)利要求1所述的方法，其中所述分析包含光學(xué)字符識別。
10.根據(jù)權(quán)利要求1所述的方法，其中所述方法進(jìn)一步包括在執(zhí)行所述分析之后擦除所述一個或多個圖像。
11.根據(jù)權(quán)利要求1所述的方法，其中所述第一取向與所述第二取向之間的角度差近似是90°。
12.一種用于與電子設(shè)備結(jié)合使用的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括非臨時性計(jì)算機(jī)可讀存儲介質(zhì)和嵌入在其中的計(jì)算機(jī)程序機(jī)制，以促進(jìn)從文件中對信息的提取，所述計(jì)算機(jī)程序機(jī)制包含: 用于向用戶提供指令以使用被集成到所述電子設(shè)備中的成像設(shè)備在所述成像設(shè)備處于第一取向時獲取所述文件上的目標(biāo)位置的第一圖像，以及使用所述成像設(shè)備在所述成像設(shè)備處于第二取向時獲取所述目標(biāo)位置的第二圖像的指令； 用于確定其中所述用戶激活與所述成像設(shè)備關(guān)聯(lián)的圖像激活機(jī)制并且捕獲所述第一圖像的第一實(shí)例已經(jīng)發(fā)生，以及其中所述用戶激活所述圖像激活機(jī)制并且捕獲所述第二圖像的第二實(shí)例還沒有發(fā)生的指令； 在所述第一實(shí)例之后并且在所述第二實(shí)例之前，用于捕獲所述文件的多個圖像的指令； 用于存儲所述圖像與關(guān)聯(lián)的時間戳的指令； 用于接收指示所述用戶激活所述圖像激活機(jī)制的所述第二實(shí)例的信號的指令；以及 響應(yīng)于所述信號，用于分析所述第一圖像、所述第二圖像和至少所述圖像的子集其中的一個或多個以提取接近于所述文件上的所述目標(biāo)位置的所述信息的指令。
13.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述圖像進(jìn)一步與由被集成到所述電子設(shè)備中的傳感器所提供的空間位置信息存儲在一起。
14.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)程序產(chǎn)品，其中所述傳感器包含加速計(jì)和陀螺儀其中之一。
15.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)程序產(chǎn)品，其中所述圖像在基于所述空間位置信息的圖像捕獲率下被捕獲。
16.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)程序產(chǎn)品，其中所述空間位置信息包括位置信息和取向信息。
17.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)程序機(jī)制進(jìn)一步包括用于基于與所述文件上的所述目標(biāo)位置關(guān)聯(lián)的預(yù)定義的信息格式識別所述分析中的錯誤的指令。
18.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)程序機(jī)制進(jìn)一步包括用于基于至少所述圖像的所述子集執(zhí)行對識別的所述錯誤的錯誤糾正的指令； 其中在所述錯誤糾正期間所述圖像中的給定圖像的貢獻(xiàn)基于對應(yīng)的權(quán)重；以及 其中所述權(quán)重基于以下兩者之間的差異中的至少一個:與所述給定圖像關(guān)聯(lián)的時間戳與參考時間戳；以及與所述給定圖像關(guān)聯(lián)的空間位置信息與參考空間位置信息。
19.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述多個圖像在所述用戶沒有激活所述圖像激活機(jī)制的情況下被捕獲。
20.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述分析包含光學(xué)字符識別。
21.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)程序機(jī)制進(jìn)一步包含用于在執(zhí)行所述分析之后擦除所述一個或多個圖像的指令。
22.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述第一取向與所述第二取向之間的角度差近似是90°。
23.—種電子設(shè)備,包括: 處理器； 存儲器；以及 程序模塊，其中所述程序模塊被存儲在所述存儲器中并且可配置成由所述處理器執(zhí)行以促進(jìn)從文件中提取信息，所述程序模塊包括: 用于向用戶提供指令以使用被集成到所述電子設(shè)備中的成像設(shè)備在所述成像設(shè)備處于第一取向時獲取所述文件上的目標(biāo)位置的第一圖像，以及使用所述成像設(shè)備在所述成像設(shè)備處于第二取向時獲取所述目標(biāo)位置的第二圖像的指令； 用于確定其中所述用戶激活與所述成像設(shè)備關(guān)聯(lián)的圖像激活機(jī)制并且捕獲所述第一圖像的第一實(shí)例已經(jīng)發(fā)生，以及其中所述用戶激活所述圖像激活機(jī)制并且捕獲所述第二圖像的第二實(shí)例還沒有發(fā)生的指令； 在所述第一實(shí)例之后并且在所述第二實(shí)例之前，用于捕獲所述文件的多個圖像的指令； 用于存儲所述圖像與關(guān)聯(lián)的時間戳的指令； 用于接收指示所述用戶激活所述圖像激活機(jī)制的所述第二實(shí)例的信號的指令；以及響應(yīng)于所述信號，用于分析所述第一圖像、所述第二圖像和至少所述圖像的子集其中的一個或多個以提取接近于所述文件上所述目標(biāo)位置的所述信息的指令。
【文檔編號】H04N5/262GK104205806SQ201280071687
【公開日】2014年12月10日 申請日期:2012年4月18日 優(yōu)先權(quán)日:2012年3月22日
【發(fā)明者】S·H·瑪達(dá)尼, S·加甘納特汗 申請人:因特偉特公司