圖像處理終端以及圖像處理系統(tǒng)的制作方法【專利摘要】本發(fā)明提供圖像處理終端、圖像處理系統(tǒng)及圖像處理終端的控制程序，即使在存在很多在被攝體的實際影像上重疊的制造擴張現(xiàn)實感的影像目標即空氣標簽的情況下，也能夠恰當?shù)剡x擇空氣標簽。在圖像處理終端中，在攝影被攝體中包括特定的代碼的情況下，從服務器獲取與該代碼關聯(lián)地存儲在數(shù)據(jù)庫內的應對被攝體補充的多個電子補充信息。圖像處理部將與各電子補充信息對應的各空氣標簽重疊在實時顯示的被攝體而顯示于顯示部上的被攝體內的各對應位置?；诒粩z體內的特定部位的、被攝體上的由用戶的指尖進行的指示動作，圖像處理部通過圖像解析確定指尖在顯示部上的位置，推斷被攝體內的特定部位，僅使各空氣標簽中的與特定部位對應的空氣標簽顯示于顯示部上。【專利說明】圖像處理終端以及圖像處理系統(tǒng)【
技術領域：
】[0001]本發(fā)明涉及在能夠在產生擴張現(xiàn)實感的同時進行圖像的處理的圖像處理終端中能夠顯示經由網絡從服務器上的數(shù)據(jù)庫獲取的信息的圖像處理終端以及圖像處理系統(tǒng)?！?br>背景技術：
】[0002]近年來，在以智能手機、平板終端等為首的能夠進行圖像的處理的圖像處理終端的領域中，熱烈研究了盡可能削減終端側中的保持數(shù)據(jù)量，從服務器上的數(shù)據(jù)庫獲取各種信息，并將所獲取的信息顯示于終端上的技術。作為使用這樣的技術來謀求文檔檢索的容易化的技術，有例如下述專利文獻I。[0003]另外，在下述專利文獻2中記載了在紙介質等印刷物上配置二維條形碼戳，并通過圖像處理終端對該戳進行掃描而用于文檔認證的技術。[0004]進而，在下述專利文獻3中記載了與如下虛擬影像顯示系統(tǒng)有關的技術，在該虛擬影像顯示系統(tǒng)中，與通過攝像部攝影的實際影像對應地，從影像目標存儲部讀出影像目標并將它們重疊，并將其結果生成的虛擬影像進行顯示，從而制造擴張現(xiàn)實感。[0005]專利文獻1:日本特開2007-264992號公報[0006]專利文獻2:日本特開2009-230748號公報[0007]專利文獻3:日本特開2009-301350號公報【
發(fā)明內容】[0008]發(fā)明所要解決的課題[0009]在智能手機、平板終端等圖像處理終端中，多數(shù)情況下設置有CMOS圖像傳感器等照相機功能?？紤]使用該照相機功能，對紙介質的印刷物等特定的被攝體進行攝影，與所攝影的被攝體的實際影像對應地，將影像目標(在本申請中稱為空氣標簽(airtag))重疊到實際影像，將其結果生成的虛擬影像顯示于圖像處理終端的顯示部，從而制造擴張現(xiàn)實感。[0010]作為該空氣標簽的使用例，考慮如下:一邊通過圖像處理終端對例如各種設備的操作手冊等印刷物進行攝影，一邊在其顯示部中與印刷物的實時圖像一起重疊地顯示空氣標簽。在該情況下，能夠根據(jù)實時地在顯示部中顯示的該印刷物中的特定部位(例如特定的單詞、特定的圖等)，將與該特定部位關聯(lián)的應補充的電子性的信息(例如說明單詞的幫助的信息、圖的更詳細結構、設備動作狀態(tài)的動畫的信息等，以下稱為電子補充信息)的項目名作為空氣標簽重疊地表示。[0011]具體而言，通過利用圖像解析技術，由圖像處理終端對預先印刷在印刷物中的二維碼等進行解析，確定該印刷物，在存在與該印刷物預先關聯(lián)起來的電子補充信息的情況下，能夠讀出該電子補充信息，在顯示部上，在電子補充信息內指定的印刷物的特定部位的附近，配置空氣標簽。而且，作為該空氣標簽，考慮以在漫畫等中經常使用的所謂對白框的形狀對電子補充信息的內容的項目名進行文字顯示等。而且，用戶能夠在具有觸摸屏功能的顯示部中對所顯示的空氣標簽進行觸摸等來使電子補充信息顯示于顯示部中。[0012]此處，考慮將上述電子補充信息保存于能夠經由網絡連接到圖像處理終端的服務器上的數(shù)據(jù)庫內而不是保存于圖像處理終端內，根據(jù)需要，用戶操作圖像處理終端而調出上述電子補充信息。這樣，如果不在圖像處理終端側積蓄電子補充信息，而在能夠經由網絡連接的服務器上的數(shù)據(jù)庫側存儲電子補充信息，則圖像處理終端的存儲容量小也可以，而且能夠在服務器側單一地進行電子補充信息的更新。[0013]但是，在能夠顯示上述空氣標簽的圖像處理終端中，如果在顯示部中顯示有很多空氣標簽，則有可能引起在觸摸屏顯示部上會錯誤地觸摸鄰接的空氣標簽等難以選擇空氣標簽的情況。特別是，在智能手機等顯示部沒那么大的圖像處理終端的情況下，該問題變得顯著。[0014]本發(fā)明是鑒于上述事情而完成的，其目的在于提供一種圖像處理終端、圖像處理系統(tǒng)、以及圖像處理終端的控制程序，即使在存在很多空氣標簽的情況下，也能夠恰當?shù)剡x擇空氣標簽。[0015]用于解決課題的手段[0016]本發(fā)明的圖像處理終端，具備對被攝體進行攝影的攝影部、以及顯示由該攝影部攝影的被攝體的圖像的顯示部，其特征在于，該圖像處理終端具有:電子補充信息獲取部，獲取電子補充信息，該電子補充信息是應該對由所述攝影部攝影的被攝體補充的電子性的信息；電子補充信息顯示控制部，將空氣標簽重疊在所述被攝體的圖像而顯示于所述顯示部中，所述空氣標簽是與由所述電子補充信息獲取部獲取的所述電子補充信息對應的影像目標；以及圖像解析部，解析由所述攝影部攝影的被攝體的圖像，在所述顯示部顯示多個所述空氣標簽時由所述攝影部攝影了由所述圖像處理終端的用戶的指尖進行的所述被攝體的特定部位的指示動作的情況下，所述圖像解析部通過圖像解析來確定由所述攝影部與所述被攝體一起攝影的所述指尖的位置，推斷由所述指尖指示的所述被攝體內的所述特定部位，所述顯示部僅顯示多個所述空氣標簽中的、與由所述圖像解析部推斷的所述特定部位對應起來的空氣標簽。[0017]另外，作為本發(fā)明的其它結構的圖像處理終端，具備對被攝體進行攝影的攝影部、以及顯示由該攝影部攝影的被攝體的圖像的顯示部，其特征在于，該圖像處理終端具有:電子補充信息獲取部，獲取電子補充信息，該電子補充信息是應該對由所述攝影部攝影的被攝體補充的電子性的信息；電子補充信息顯示控制部，將空氣標簽重疊在所述被攝體的圖像而顯示于所述顯示部中，所述空氣標簽是與由所述電子補充信息獲取部獲取的所述電子補充信息對應的影像目標；以及圖像解析部，解析由所述攝影部攝影的被攝體的圖像，在所述顯示部顯示多個所述空氣標簽時被執(zhí)行了針對由所述攝影部攝影的所述被攝體的特定部位的放大攝影或者接近攝影的情況下，所述圖像解析部推斷由所述攝影部進行了所述放大攝影或者接近攝影的所述被攝體內的所述特定部位，所述顯示部僅顯示多個所述空氣標簽中的、與由所述圖像解析部推斷的所述特定部位對應起來的空氣標簽。[0018]也可以是，在這些圖像處理終端中，所述特定的代碼被賦予到所述被攝體，[0019]所述圖像解析部通過對由所述攝影部攝影的所述被攝體進行圖像解析，抽出該被攝體上的所述特定的代碼。[0020]另外，在上述圖像處理終端中，在進行了特定部位的指示動作之后，解除與特定部位對應起來的空氣標簽以外的其它多個空氣標簽的顯示，僅顯示與特定部位對應起來的空氣標簽，從而用戶預先掌握與被攝體關聯(lián)起來的多個電子補充信息的整體，同時，另一方面，在希望訪問所需的電子補充信息時，不會受到其它多余的電子補充信息的顯示的影響。[0021]另外，也可以是，在上述圖像處理終端中，所述電子補充信息顯示控制部重疊所述空氣標簽的所述被攝體的圖像可以是由所述攝影部攝影的所述被攝體的實時圖像，所述電子補充信息顯示控制部重疊所述空氣標簽的所述被攝體的圖像也可以是基于所述被攝體的電子化數(shù)據(jù)的圖像。進而，也可以能夠從所述被攝體的實時圖像或者電子化數(shù)據(jù)中的某一個選擇重疊所述空氣標簽的所述被攝體的圖像。[0022]另外，在上述圖像處理終端中，還具備網絡接口，該網絡接口經由網絡與服務器進行通信，所述服務器具有與確定所述被攝體的特定的代碼關聯(lián)地存儲了所述被攝體的所述電子補充信息的數(shù)據(jù)庫，并且，通過該網絡接口，將確定由所述攝影部攝影的所述被攝體的特定的代碼發(fā)送到所述服務器，并且從所述服務器接收所述被攝體的所述電子補充信息，從而所述電子補充信息獲取部獲取所述電子補充信息。[0023]本發(fā)明的圖像處理系統(tǒng)是上述某一個圖像處理終端和服務器能夠經由網絡連接的圖像處理系統(tǒng)，其特征在于，所述服務器具有與確定所述被攝體的特定的代碼關聯(lián)地存儲了所述被攝體的所述電子補充信息的數(shù)據(jù)庫，在所述圖像處理終端中，將確定由所述攝影部攝影的所述被攝體的特定的代碼發(fā)送到所述服務器，并且從所述服務器接收所述被攝體的所述電子補充信息，從而所述電子補充信息獲取部獲取所述電子補充信息。[0024]發(fā)明的效果[0025]根據(jù)本發(fā)明，通過對并非在顯示部中顯示的圖像上而是在被攝體上用指尖直接指示的動作進行攝影，從而確定被攝體內的特定部位，僅選擇與該被攝體一起顯示在顯示部中的多個空氣標簽中的、與特定部位對應起來的空氣標簽，并顯示于顯示部上。因此，相比于針對在顯示部上顯示的圖像用指尖進行指示的情況，能夠擴大其能夠指示的區(qū)域范圍，所以空氣標簽的選擇變得容易，所以即使在存在很多空氣標簽的情況下，也能夠恰當?shù)剡x擇空氣標簽。[0026]另外，根據(jù)本發(fā)明，通過向被攝體內的特定部位的放大攝影或者接近攝影，確定被攝體內的特定部位，僅選擇與該被攝體一起顯示在顯示部中的多個空氣標簽中的、與特定部位對應起來的空氣標簽，并顯示于顯示部上。因此，僅通過使特定部位擴大的攝影動作就能夠指示，所以空氣標簽的選擇變得容易，所以即使在存在很多空氣標簽的情況下，也能夠恰當?shù)剡x擇空氣標簽。[0027]通過設為能夠通過圖像解析來抽出被賦予在被攝體的特定的代碼，從而能夠容易地進行圖像處理終端中的被攝體的確定。另外，通過將重疊空氣標簽的被攝體的圖像設為實時圖像，從而能夠在與用戶的喜好相配的被攝體的位置顯示空氣標簽。另外，通過將重疊空氣標簽的被攝體的圖像設為基于電子化數(shù)據(jù)的圖像，從而能夠防止由用戶造成的手抖動等所致的顯示部上的圖像的位置模糊。[0028]進而，通過設為在經由網絡進行通信的服務器的數(shù)據(jù)庫中存儲電子補充信息，從而根據(jù)需要，用戶操作圖像處理終端，就能夠調出被攝體的電子補充信息。因此，無需在圖像處理終端中積蓄電子補充信息，圖像處理終端的存儲容量小也可以，而且能夠在服務器側單一地進行電子補充信息的更新。【專利附圖】【附圖說明】[0029]圖1是示出實施方式I的圖像處理系統(tǒng)的結構例的圖。[0030]圖2是示出圖像處理終端100的詳細結構的框圖。[0031]圖3是示出被攝體麗與電子補充信息的關聯(lián)的圖。[0032]圖4是示出在圖像處理終端100中顯示的空氣標簽的例子的圖。[0033]圖5是示出通過圖像處理終端100和服務器300進行的處理的流程圖。[0034]圖6是示出在顯示部101中實時顯示的被攝體MN上重疊地顯示了空氣標簽的狀態(tài)的圖。[0035]圖7是從多個空氣標簽指示特定的空氣標簽的情況下的、與電子補充信息的顯示有關的狀態(tài)轉變圖。[0036]圖8是示出實施方式2的圖像處理系統(tǒng)中的、通過圖像處理終端100和服務器300進行的處理的流程圖。[0037]符號說明[0038]100:圖像處理終端；101:顯示部；102:攝影部；103:圖像處理部；103a:圖像解析部；103b:電子補充信息顯示控制部；103c:電子補充信息獲取部；103d:手指檢測用數(shù)據(jù)；104:網絡接口；200:網絡；300:服務器；301:數(shù)據(jù)庫；MN:被攝體；ESa、ESb、ESd:電子補充信息；CD:代碼；FG:指尖；PTa?PTc:可顯示空氣標簽的部位；ATa:空氣標簽?！揪唧w實施方式】[0039]<實施方式1>[0040]本實施方式是如下圖像處理系統(tǒng)以及圖像處理方法:基于由圖像處理終端的用戶進行的、并非在顯示部上而是在被攝體上用指尖指示被攝體內的特定部位的動作，圖像處理部通過圖像解析而確定指尖在顯示部上的位置，推斷被攝體內的特定部位，僅使多個空氣標簽中的、與特定部位對應起來的空氣標簽顯示于顯示部上。[0041]圖1是示出本實施方式的圖像處理系統(tǒng)的結構例的圖。該圖像處理系統(tǒng)具備:以智能手機、平板終端等為首的、能夠進行圖像的處理的便攜信息設備即圖像處理終端100；作為通信網的網絡200，該通信網可以是LAN(LocalAreaNetwork，局域網)那樣的封閉網絡或者因特網等開放網絡中的任意一種；以及以圖像處理終端100為客戶端的服務器300。[0042]圖像處理終端100能夠經由無線LAN接入點201連接到網絡200。而且，進而，圖像處理終端100能夠經由網絡200連接到服務器300。另外，服務器300具有數(shù)據(jù)庫301。[0043]圖2是示出圖像處理終端100的詳細結構的框圖。圖像處理終端100由液晶顯示器、有機EL(ElectroLuminescence,電致發(fā)光)顯示器等構成，包括:具有觸摸屏功能的顯不部101;由CMOS(ComplementaryMetalOxideSemiconductor,互補性金屬氧化物半導體)圖像傳感器照相機、CCD(ChargeCoupledDevice,電荷稱合器件)圖像傳感器照相機等構成的攝影部102;對于應在顯示部101中顯示的圖像以及通過攝影部102攝影的圖像進行圖像處理的圖像處理部103;以及作為用于與網絡200連接的接口的網絡接口104。另夕卜，在圖2中，為了簡化說明，省略了在圖像處理終端100與網絡200之間配置的無線LAN接入點201的顯示。[0044]本實施方式的圖像處理終端100能夠使用攝影部102，對在圖1中表示為“原稿”的、紙介質的印刷物等被攝體MN進行攝影，使通過攝影部102攝影的被攝體MN實時地顯示于顯示部101。然后，圖像處理終端100的圖像處理部103能夠與所攝影的被攝體MN的實際影像對應地，將作為影像目標的空氣標簽重疊于實際影像上，使其結果生成的虛擬影像顯示于顯示部101，從而制造擴張現(xiàn)實感。[0045]作為空氣標簽的使用例，考慮以下。即，當被攝體MN是例如各種設備的操作手冊等印刷物的情況下，考慮一邊通過攝影部102對被攝體MN進行攝影，一邊在顯示部101中與作為印刷物的被攝體MN的實時圖像一起、或者與被攝體MN的電子化數(shù)據(jù)(例如通過對被攝體MN預先進行掃描而得到的F1DF(PortableDocumentFormat,便攜式文件格式)數(shù)據(jù)、JPEG(JointPhotographicExpertsGroup,聯(lián)合圖像專家組)數(shù)據(jù)等)一起，重疊地顯示空氣標簽。在該情況下，圖像處理部103能夠與在顯示部101上顯示的該印刷物中的特定部位(例如特定的單詞、特定的圖等)相應地，將與該特定部位關聯(lián)的、應該對被攝體MN補充的電子性的信息即電子補充信息(例如，說明單詞的幫助的信息、圖的更詳細結構、設備動作狀態(tài)的動畫的信息等)的項目名作為空氣標簽而重疊地表示。[0046]此處，上述電子補充信息不限于在圖像處理終端100內保存的信息，也可以是在能夠經由網絡200連接到圖像處理終端100的服務器300上的數(shù)據(jù)庫301內與被攝體麗的電子化數(shù)據(jù)一起保存的信息。由此，用戶根據(jù)需要操作圖像處理終端100，從而能夠調出上述電子補充信息以及被攝體MN的電子化數(shù)據(jù)。這樣，在圖像處理終端100側不積蓄電子補充信息，而是在服務器300上的數(shù)據(jù)庫301側存儲了電子補充信息的情況下，圖像處理終端的存儲容量小也可以，而且能夠在服務器300側單一地進行電子補充信息的更新。另外，以下，舉出電子補充信息被存儲在服務器300上的數(shù)據(jù)庫301中的例子進行說明。[0047]圖3是示出被攝體MN與電子補充信息的關聯(lián)的圖。在此，示出如下例子:例如被攝體麗是由4頁構成的文檔A，對文檔A的第I頁MNa關聯(lián)起來了電子補充信息ESa，對第2頁MNb關聯(lián)起來了電子補充信息ESb，對第4頁關聯(lián)起來了電子補充信息ESd。另外，在該例子中，在文檔A的第3頁MNc中，不存在對應的電子補充信息。[0048]在圖3中，作為電子補充信息ESa的例子,不出了:表不文檔A的第I頁的ID信息I(記載為AAAAAAA);表示紙張的尺寸的尺寸信息2；以及區(qū)段電子補充信息3a?3c，該區(qū)段電子補充信息3a?3c表示在文檔A的第I頁內的哪個位置(例如，該頁中的從后述原點位置起的相對位置)記載什么樣的標題(項目名)的空氣標簽、補充信息的內容是什么(例如設備動作狀態(tài)的圖形的動畫、聲音信息等)。該區(qū)段電子補充信息3a?3c的各個分別與在顯示部101中顯示的空氣標簽的各個對應。[0049]圖4是示出在圖像處理終端100中顯示的空氣標簽的例子的圖。在圖4中，對文檔A的第I頁MNa，預先通過印刷或封貼來賦予了與表示文檔A的第I頁的ID信息I對應的二維碼等特定的代碼CD。該特定的代碼CD表示了表示文檔A的第I頁的ID信息I。而且，在該文檔A的第I頁MNa中，包括可顯示空氣標簽的部位PTa?PTc，該可顯示空氣標簽的部位PTa?PTc是能夠顯示與區(qū)段電子補充信息3a?3c分別對應的空氣標簽的部位。另外，在圖4中，只有與可顯示空氣標簽的部位PTa對應的空氣標簽Ata顯示在圖像處理終端100的顯示部101上。[0050]在顯示部101上，在由區(qū)段電子補充信息3a內的位置信息指定的位置，配置有空氣標簽ATa。而且，作為該空氣標簽ATa，以在漫畫等中經常使用的所謂對白框的形狀，文字顯示了電子補充信息的內容的項目名(此處作為例子記載為“有補充信息”)。[0051]圖5是示出通過圖像處理終端100和服務器300進行的處理的流程圖。[0052]首先，用戶操作圖像處理終端100，從而本實施方式的應用程序啟動(步驟SI)。接下來，進行被攝體麗的攝影(步驟S2)。[0053]此處，圖像處理部103具有圖像解析部103a、電子補充信息顯示控制部103b、電子補充信息獲取部103c以及手指檢測用數(shù)據(jù)103d。[0054]圖像解析部103a通過公知的圖像解析技術，判斷在所攝影的被攝體MN中是否包括二維碼等特定的代碼CD。在包括特定的代碼CD的情況下，圖像解析部103a確定特定的代碼CD所表示的內容(此處是表示文檔A的第I頁的ID信息I)(步驟S3)。然后，電子補充信息獲取部103c如果從圖像解析部103a接收到將該特定的代碼CD用作關鍵字而獲取的ID信息1，則從網絡接口104通過網絡200發(fā)送到服務器300(步驟S4)。由此，圖像處理終端100針對服務器300上的數(shù)據(jù)庫301，要求與表示該特定的代碼CD所表示的文檔A的第I頁的ID信息I關聯(lián)地存儲在數(shù)據(jù)庫301內的、與文檔A的第I頁MNa有關的電子補充信息ESa、以及文檔A的第I頁MNa的電子化數(shù)據(jù)。[0055]服務器300如果接收到從圖像處理終端100發(fā)送的ID信息I(步驟S5)，則在數(shù)據(jù)庫301中檢索與ID信息I一致的電子化數(shù)據(jù)以及電子補充信息(步驟S6)，如果有一致的信息，則向圖像處理終端100發(fā)送這些信息(步驟S7)。由此，接收網絡接口104從服務器300接收到的電子化數(shù)據(jù)以及電子補充信息，電子補充信息獲取部103c能夠獲取文檔A的第I頁MNa的電子化數(shù)據(jù)以及電子補充信息(步驟S8)。另外，也可以是，服務器300未從數(shù)據(jù)庫301內檢索到電子化數(shù)據(jù)以及電子補充信息的情況下，通知不能檢索的意思的錯誤信息等被發(fā)送到圖像處理終端100，通過圖像處理終端100顯示錯誤消息。[0056]圖像解析部103a通過公知的圖像解析技術，判斷所攝影的文檔A的第I頁MNa的紙張區(qū)段、以及該紙張的朝向。然后，根據(jù)該判斷，確定文檔A的第I頁MNa的原點位置(例如紙張的左上的頂點)(步驟S9)。接下來，電子補充信息顯示控制部103b根據(jù)包含在電子補充信息中的各個區(qū)段電子補充信息所包含的位置信息，確認相對于在步驟9中確定的原點位置的相對位置。由此，電子補充信息顯示控制部103b識別在顯示部101中顯示的被攝體MN上的、與從電子補充信息得到的區(qū)段電子補充信息分別對應的所有空氣標簽的顯示位置，并將這些全部空氣標簽顯示為在該被攝體MN的圖像上的各顯示位置重疊(步驟10)。[0057]S卩，在對圖4的文檔A的第I頁MNa進行了攝影的情況下，電子補充信息顯示控制部103b根據(jù)基于該電子補充信息的區(qū)段電子補充信息3a?3c分別包含的位置信息(參照圖3)，確定相對于在步驟9中確定的原點位置的相對位置。由此，電子補充信息顯示控制部103b確定在顯示部101上顯示的文檔A的第I頁MNa內的、可顯示空氣標簽的部位PTa?PTc，在可顯示空氣標簽的部位PTa?PTc的各個中，顯示基于區(qū)段電子補充信息3a?3c各自的標題(項目名)的空氣標簽。[0058]另外，關于該空氣標簽的顯示，還能夠在顯示部101中實時顯示的文檔A的第I頁MNa上重疊地顯示空氣標簽，或者，還能夠在電子補充信息獲取部103c所獲取的、文檔A的第I頁MNa的電子化數(shù)據(jù)上重疊地顯示空氣標簽。[0059]圖6是示出在顯示部101中實時顯示的被攝體MN上重疊地顯示了空氣標簽的狀態(tài)的圖。在圖6(a)中，示出如下狀態(tài):圖像處理終端100以及服務器300進行基于上述步驟I?步驟10的各動作，由此在圖像處理終端100的顯示部101中顯示了多個空氣標簽。[0060]如在發(fā)明所要解決的課題部分中所指出那樣，如果如圖6Ca)所示在顯示部101中顯示有很多空氣標簽，則有可能引起在觸摸屏顯示部上會錯誤地觸摸鄰接的空氣標簽等難以選擇空氣標簽的情況。[0061]因此，在本實施方式中，如圖4所示，關于被攝體MNa內的可顯示空氣標簽的部位PTa?PTc中的、應使電子補充信息顯示的部位的指示，并非在顯示部101上而是在被攝體MNa上由圖像處理終端100的用戶用用戶的指尖FG進行指示。然后，基于該指示動作，圖像處理部103的圖像解析部103a—邊使用手指檢測用數(shù)據(jù)103d，一邊通過圖像解析來確定指尖FG在顯示部101上的位置，推斷被攝體MNa內的空氣標簽顯示部位PTa?PTc中的哪一個被指示，僅將多個空氣標簽中的、與用指尖FG指示的特定部位即空氣標簽顯示部位PTa對應起來的空氣標簽ATa顯示于顯示部101上。[0062]S卩，如圖5的流程圖那樣，在步驟10中，圖像處理終端100在顯示了可顯示空氣標簽的部位PTa?PTc各自的空氣標簽ATa?ATc全部時，在圖像解析部103a中，檢測是否通過攝影部102對用戶的指尖FG進行了攝影(步驟S11)。此時，如果用戶在對被攝體MNa進行攝影的攝影部102的視角內用自身的指尖FG指示被攝體MNa上卿印刷物上)的、可顯示空氣標簽的部位PTa?PTc中的某一個部位，則攝影部102對用戶在被攝體MNa上指示的指尖FG進行攝影。由此，圖像解析部103a檢測通過攝影部102對在被攝體MNa上指示的用戶的指尖FG進行了攝影(在步驟Sll中“是”)，所以確定用戶指示的指尖FG在被攝體MNa上的位置(步驟S12)。[0063]此時，圖像解析部103a使用手指檢測用數(shù)據(jù)103d來進行公知的圖像解析，確定用戶指示的指尖在顯示部101上的位置。另外，在手指檢測用數(shù)據(jù)103d中，包括與指尖的顏色(一般是膚色)和印刷物的顏色(一般是白色)之間的對比度有關的圖像解析用顏色數(shù)據(jù)或與指尖的形狀有關的圖像解析用形狀數(shù)據(jù)等、與指尖的圖像檢測有關的公知的數(shù)據(jù)。然后，將該指尖FG的位置變換為被攝體MN上的二維坐標。另外，在使得在上述步驟Sll?S12的動作中確定指尖FG指定的位置時，也可以設為在例如根據(jù)上述手指檢測用數(shù)據(jù)103b檢測出的指尖FG超過規(guī)定時間地處于一定距離的范圍內的情況下確定。[0064]接下來，電子補充信息顯示控制部103b將與變換后的坐標最接近的、被攝體MNa內的空氣標簽顯示部位PTa?PTc的某一個推斷為為了顯示空氣標簽而指示的特定部位(步驟S13)。然后，電子補充信息顯示控制部103b僅將多個空氣標簽中的、與在步驟S13中推斷出的特定部位對應起來的空氣標簽顯示于顯示部101上(步驟S14)。表示該狀態(tài)的圖是圖4的右端的圖、以及圖6(b)。[0065]之后，電子補充信息顯示控制部103b將與對應于特定部位的空氣標簽關聯(lián)起來的電子補充信息的內容(例如設備動作狀態(tài)的動畫的信息等)顯示于顯示部101中。[0066]圖7是從多個空氣標簽中指示特定的空氣標簽的情況下的、與電子補充信息的顯示有關的狀態(tài)轉變圖。從上述應用程序的啟動開始，在與各可顯示空氣標簽的部位PTa?PTc對應的、顯示部101上的各個位置顯示有各個空氣標簽的狀態(tài)是狀態(tài)STl。[0067]如果從該狀態(tài)STl用指尖進行空氣標簽的確定，則轉移到僅顯示所指定的空氣標簽的狀態(tài)ST2。另外，在狀態(tài)ST2下，用戶將指尖FG從被攝體MN離開而指尖FG未被顯示于顯示部101中的情況、或者采取了指尖FG未靜止而猶豫那樣的行動的情況等下，也可以暫且解除所確定的空氣標簽的顯示，從狀態(tài)ST2返回到狀態(tài)ST1。然后，在用戶重新通過指尖FG指示了其它空氣標簽的情況下，再次轉移到狀態(tài)ST2。[0068]在狀態(tài)ST2下，當用戶在被攝體麗上指示了特定部位的狀態(tài)下進行了雙擊動作(在紙張上快速將指尖上下移動兩次的動作)的情況下，圖像解析部103a—邊使用手指檢測用數(shù)據(jù)103d—邊通過公知的圖像解析來識別該動作，轉移到在實時顯示的被攝體MN上重疊地顯示電子補充信息的內容的狀態(tài)ST3。[0069]當進入到狀態(tài)ST3時，電子補充信息顯示控制部103b解除所指定的空氣標簽的顯示，在實時顯示的被攝體MN上重疊地覆蓋顯示與該空氣標簽對應的電子補充信息的內容(例如，說明單詞的幫助的信息、圖的更詳細結構、設備動作狀態(tài)的動畫的信息等)。然后，如果電子補充信息的內容的顯示結束、或者如果由用戶指示了電子補充信息的內容的顯示的強制結束(例如進行捏合(pinchin)動作(在紙張上使兩根指尖從離開的狀態(tài)轉移到接近的狀態(tài)的動作)等)，則返回到狀態(tài)ST2。[0070]在狀態(tài)ST3下，在實時顯示的被攝體麗上重疊地覆蓋顯示了電子補充信息的內容，但還考慮在實時顯示的被攝體MN中由于手抖動等而看不清楚的情況。在該情況下，在狀態(tài)ST2下，用戶也可以在被攝體MN上指示了特定部位的狀態(tài)下，使用兩根手指進行撐開(pinchout)動作(在紙張上使兩根指尖從接近的狀態(tài)轉移到離開的狀態(tài)的動作)。在進行了該撐開動作的情況下，圖像解析部103a—邊使用手指檢測用數(shù)據(jù)103d—邊通過公知的圖像解析來識別該動作，轉移到在被攝體麗的電子化數(shù)據(jù)上重疊地顯示電子補充信息的內容的狀態(tài)ST4。[0071]當進入到狀態(tài)ST4時，電子補充信息顯示控制部103b解除所指定的空氣標簽的顯示，結束實際影像的實時顯示，在預先從數(shù)據(jù)庫301調出的被攝體MN的電子化數(shù)據(jù)(例如通過對被攝體MN預先進行掃描而得到的PDF數(shù)據(jù)、JPEG數(shù)據(jù)等)上重疊地覆蓋顯示與該空氣標簽對應的電子補充信息的內容(例如，說明單詞的幫助的信息、圖的更詳細結構、設備動作狀態(tài)的動畫的信息等)。如果這樣使用被攝體MN的電子化數(shù)據(jù)覆蓋顯示電子補充信息的內容，則沒有手抖動等的問題，能夠在顯示部101中清楚地顯示被攝體MN。然后，如果電子補充信息的內容的顯示結束、或者如果由用戶指示了電子補充信息的內容的顯示的強制結束(例如進行捏合動作等)，則返回到狀態(tài)ST2。[0072]在上述中，示出了如下例子:在由圖像處理終端100的用戶用指尖FG進行的指示動作之前，圖像處理部103的電子補充信息顯示控制部103b使可顯示的多個空氣標簽全部顯示于顯示部101上(用圖4的例子而言，相當于在與可顯示空氣標簽的部位PTa?PTc對應的顯示部101上的各個位置顯示了各個空氣標簽全部的狀態(tài)。另外，更直接而言是圖6Ca)的狀態(tài))。[0073]在該情況下，由于顯示有全部空氣標簽，所以用戶能夠預先掌握與被攝體MN關聯(lián)起來的多個電子補充信息的整體。[0074]如果從該狀態(tài)由圖像處理終端100的用戶用指尖FG進行了指示動作，則電子補充信息顯示控制部103b也可以僅關于所確定的空氣標簽，變更文字尺寸或者變更顏色等來對所確定的空氣標簽進行強調顯示。[0075]然后，電子補充信息顯示控制部103b解除所確定的空氣標簽以外的其它多個空氣標簽的顯示，僅顯示所確定的空氣標簽即可(表示該狀態(tài)的圖是圖4的右端的圖、以及圖6(b))。這樣，如果進行在顯示了多個空氣標簽的整體之后僅顯示所確定的空氣標簽這樣的處理，則在希望訪問所需的電子補充信息時，用戶不會受到其它多余的電子補充信息的顯示的影響。[0076]另一方面，本發(fā)明并不排除如下情況:在由圖像處理終端100的用戶用指尖FG進行的指示動作之前，圖像處理部103的電子補充信息顯示控制部103b并未將可顯示的多個空氣標簽全部顯示于顯示部101上。[0077]在圖像解析部103a確定特定的代碼CD，將該特定的代碼CD用作關鍵字，電子補充信息獲取部103c從數(shù)據(jù)庫301獲取電子補充信息、以及被攝體的MN的電子化數(shù)據(jù)的信息的階段中，當然能夠將多個空氣標簽的整體顯示于顯示部101中。但是，在該情況下，還考慮如下:如圖6Ca)的狀態(tài)那樣空氣標簽被過多地顯示，從而很容易對用戶帶來混亂。[0078]因此，在該情況下，也可以不使可顯示的多個空氣標簽全部顯示于顯示部101上，而是在由用戶在被攝體MN上用指尖FG進行了指示動作的情況下，僅顯示與所確定的部位對應起來的空氣標簽。由此，能夠通過簡單的顯示畫面，進行必要的最小限度的空氣標簽顯/Jnο[0079]根據(jù)本實施方式的圖像處理系統(tǒng)以及圖像處理方法，基于由圖像處理終端100的用戶進行的、并非在顯示部101上而是在被攝體MN上用指尖FG指示被攝體MN內的特定部位的動作，圖像處理部103通過圖像解析來確定指尖FG在顯示部101上的位置，推斷被攝體MN內的特定部位，僅將多個空氣標簽中的、與特定部位對應起來的空氣標簽顯示于顯示部101上。因此，能夠實現(xiàn)如下圖像處理系統(tǒng)以及圖像處理方法:空氣標簽的選擇不會困難，即使在存在很多空氣標簽的情況下，也能夠恰當?shù)剡x擇空氣標簽。[0080]另外，根據(jù)本實施方式的圖像處理系統(tǒng)以及圖像處理方法，也可以在用指尖FG進行了指示動作之后，解除與特定部位對應起來的空氣標簽以外的其它多個空氣標簽的顯示，僅顯示與特定部位對應起來的空氣標簽。在該情況下，用戶預先掌握與被攝體MN關聯(lián)起來的多個電子補充信息的整體，同時，另一方面，在希望訪問所需的電子補充信息時，不會受到其它多余的電子補充信息的顯示的影響。[0081]〈實施方式2>[0082]本實施方式是實施方式I的圖像處理系統(tǒng)以及圖像處理方法的變形例，是如下圖像處理系統(tǒng)以及圖像處理方法:不是基于通過用戶的指尖指示被攝體內的特定部位的動作，而是基于由圖像處理終端100的用戶進行的、放大(zoomup)到在顯示部101上顯示的被攝體MN內的特定部位的動作、或者使攝影部102接近被攝體MN內的特定部位的動作，圖像處理部103推斷被攝體MN內的特定部位，僅將多個空氣標簽中的、與特定部位對應起來的空氣標簽顯示于顯示部101上。[0083]圖8是示出本實施方式的圖像處理系統(tǒng)以及圖像處理方法中的、通過圖像處理終端100和服務器300進行的處理的流程圖。其中，關于步驟SI?S10，與實施方式I的圖像處理系統(tǒng)以及圖像處理方法的圖5的流程完全相同，所以省略說明。[0084]如在發(fā)明所要解決的課題部分中所指出那樣，如果如圖6Ca)所示在顯示部101中顯示有很多空氣標簽，則有可能引起在觸摸屏顯示部上會錯誤地觸摸鄰接的空氣標簽等難以選擇空氣標簽的情況。[0085]因此，在本實施方式中，如以下那樣進行被攝體麗內的可顯示空氣標簽的部位PTa?PTc中的、應顯示電子補充信息的部位的指示。即，讓圖像處理終端100的用戶進行如下動作:放大到在顯示部101上顯示的被攝體MN內的特定部位從而僅使一個可顯示空氣標簽的部位進入顯示部101的顯示區(qū)域內的動作、或者使攝影部102接近被攝體MN內的特定部位從而僅使一個可顯示空氣標簽的部位進入攝影部102的視角內的動作。此時，圖像處理終端100在圖像解析部103a中，探測是否由該用戶進行了放大動作或者接近攝影動作(步驟Slla)。然后，圖像解析部103a當探測到由用戶進行的放大動作或者接近攝影動作時(在步驟Ila中“是”)，推斷被作為放大或者接近攝影的對象的被攝體MN內的特定部位的位置(步驟S12a)，僅使多個空氣標簽中的、與特定部位對應起來的空氣標簽顯示于顯示部101上(步驟S13)。[0086]在通過上述動作僅使與特定部位對應的空氣標簽顯示時，已經在步驟S9中，圖像解析部103a通過公知的圖像解析技術，判斷所攝影的被攝體MN的紙張區(qū)段、以及該紙張的朝向，根據(jù)該判斷，已經確定了被攝體MN的原點(例如紙張的左上的頂點)。因此，在用戶操作圖像處理終端100而進行了放大到在顯示部101上顯示的被攝體MN內的特定部位的動作的情況、或者進行了使攝影部102接近被攝體MN內的特定部位的動作的情況下，能夠通過公知的圖像處理技術，計算放大后或者攝影部102接近后的、在顯示部101中顯示的部位的坐標。[0087]通過該計算，圖像解析部103a將其位置變換為被攝體MN上的二維坐標。接下來，電子補充信息顯示控制部103b將與變換后的坐標最接近的、被攝體MN內的空氣標簽顯示部位PTa?PTc中的某一個推斷為所指示的特定部位。然后，電子補充信息顯示控制部103b僅使多個空氣標簽中的、與特定部位對應起來的空氣標簽顯示于顯示部101上。表示該狀態(tài)的圖是圖4的右端的圖、以及圖6(b)。[0088]另外，在本實施方式中，由于不進行指尖的檢測，所以在圖2的圖像處理終端100的結構中，不需要手指檢測用數(shù)據(jù)103d。[0089]另外，在確定空氣標簽時，也可以伴隨放大到在顯示部101上顯示的被攝體MN內的特定部位的動作或者使攝影部102接近被攝體MN內的特定部位的動作來使空氣標簽內的顯示項目名的文字尺寸逐漸變大，和/或伴隨從在顯示部101上顯示的被攝體MN內的特定部位進行縮小的動作或者使攝影部102從被攝體MN內的特定部位離開的動作來使空氣標簽內的顯示項目名的文字尺寸逐漸變小等，與放大動作或者攝影部102的接近動作聯(lián)動地變更空氣標簽的顯示樣式。[0090]另外，也可以在空氣標簽確定之后使電子補充信息顯示為文字信息的情況下，進而，伴隨進一步放大到在顯示部101上顯示的被攝體MN內的特定部位的動作或者使攝影部102進一步接近被攝體MN內的特定部位的動作來使電子補充信息的文字尺寸逐漸增大或使顯示文字數(shù)增多，和/或伴隨從在顯示部101上顯示的被攝體MN內的特定部位進行縮小的動作或者使攝影部102從被攝體MN內的特定部位離開的動作來使電子補充信息的文字尺寸逐漸變小或使顯示文字數(shù)變少等，與放大動作或者攝影部102的接近動作聯(lián)動地變更電子補充信息的顯不樣式。[0091]關于其它點，與實施方式I的圖像處理系統(tǒng)以及圖像處理方法相同，所以省略說明。[0092]根據(jù)本實施方式的圖像處理系統(tǒng)以及圖像處理方法，基于由圖像處理終端100的用戶進行的、放大到在顯示部101上顯示的被攝體MN內的特定部位的動作、或者使攝影部102接近被攝體MN內的特定部位的動作，圖像處理部103推斷被攝體MN內的特定部位，僅使多個空氣標簽中的、與特定部位對應起來的空氣標簽顯示于顯示部101上。因此，能夠實現(xiàn)如下圖像處理系統(tǒng)以及圖像處理方法:空氣標簽的選擇不會困難，即使在存在很多空氣標簽的情況下，也能夠恰當?shù)剡x擇空氣標簽。[0093]<其它>[0094]在上述中，說明了作為圖像處理系統(tǒng)以及圖像處理方法的實施方式，但本發(fā)明不限于此。本發(fā)明還包括用于使由各種計算機實現(xiàn)的所謂圖像處理終端執(zhí)行上述各實施方式記載的圖像處理方法的各步驟的程序(應用程序)。由此，能夠提供實現(xiàn)即使在存在很多空氣標簽的情況下也能夠恰當?shù)剡x擇空氣標簽的圖像處理方法的程序?！緳嗬蟆?.一種圖像處理終端，具備對被攝體進行攝影的攝影部、以及顯示由該攝影部攝影的被攝體的圖像的顯示部，該圖像處理終端的特征在于，具有:電子補充信息獲取部，獲取電子補充信息，該電子補充信息是應該對由所述攝影部攝影的被攝體補充的電子性的信息；電子補充信息顯示控制部，將空氣標簽重疊在所述被攝體的圖像而顯示于所述顯示部中，所述空氣標簽是與由所述電子補充信息獲取部獲取的所述電子補充信息對應的影像目標；以及圖像解析部，解析由所述攝影部攝影的被攝體的圖像，在所述顯示部顯示多個所述空氣標簽時由所述攝影部攝影了由所述圖像處理終端的用戶的指尖進行的所述被攝體的特定部位的指示動作的情況下，所述圖像解析部通過圖像解析來確定由所述攝影部與所述被攝體一起攝影的所述指尖的位置，推斷由所述指尖指示的所述被攝體內的所述特定部位，所述顯示部僅顯示多個所述空氣標簽中的、與由所述圖像解析部推斷的所述特定部位對應起來的空氣標簽。2.一種圖像處理終端，具備對被攝體進行攝影的攝影部、以及顯示由該攝影部攝影的被攝體的圖像的顯示部，該圖像處理終端的特征在于，具有:電子補充信息獲取部，獲取電子補充信息，該電子補充信息是應該對由所述攝影部攝影的被攝體補充的電子性的信息；電子補充信息顯示控制部，將空氣標簽重疊在所述被攝體的圖像而顯示于所述顯示部中，所述空氣標簽是與由所述電子補充信息獲取部獲取的所述電子補充信息對應的影像目標；以及圖像解析部，解析由所述攝影部攝影的被攝體的圖像，在所述顯示部顯示多個所述空氣標簽時被執(zhí)行了針對由所述攝影部攝影的所述被攝體的特定部位的放大攝影或者接近攝影的情況下，所述圖像解析部推斷由所述攝影部進行了所述放大攝影或者接近攝影的所述被攝體內的所述特定部位，所述顯示部僅顯示多個所述空氣標簽中的、與由所述圖像解析部推斷的所述特定部位對應起來的空氣標簽。3.根據(jù)權利要求1或者2所述的圖像處理終端，其特征在于，特定的代碼被賦予到所述被攝體，所述圖像解析部通過對由所述攝影部攝影的所述被攝體進行圖像解析，抽出該被攝體上的所述特定的代碼。4.根據(jù)權利要求1~3中的任意一項所述的圖像處理終端，其特征在于，所述電子補充信息顯示控制部重疊所述空氣標簽的所述被攝體的圖像是由所述攝影部攝影的所述被攝體的實時圖像。5.根據(jù)權利要求1~3中的任意一項所述的圖像處理終端，其特征在于，所述電子補充信息顯示控制部重疊所述空氣標簽的所述被攝體的圖像是基于所述被攝體的電子化數(shù)據(jù)的圖像。6.根據(jù)權利要求1~5中的任意一項所述的圖像處理終端，其特征在于，還具備網絡接口，該網絡接口經由網絡與服務器進行通信，所述服務器具有與確定所述被攝體的特定的代碼關聯(lián)地存儲了所述被攝體的所述電子補充信息的數(shù)據(jù)庫，并且，通過該網絡接口，將確定由所述攝影部攝影的所述被攝體的特定的代碼發(fā)送到所述服務器，并且從所述服務器接收所述被攝體的所述電子補充信息，從而所述電子補充信息獲取部獲取所述電子補充信息。7.根據(jù)權利要求1~6中的任意一項所述的圖像處理終端，其特征在于，所述圖像解析部在確定了所述被攝體的原點位置之后，通過從所述原點位置起的相對坐標確定與所述空氣標簽對應起來的所述特定部位的坐標位置。8.根據(jù)權利要求1~7中的任意一項所述的圖像處理終端，其特征在于，在通過所述圖像解析部識別了由用戶進行的所述被攝體上的雙擊動作時，所述電子補充信息顯示控制部使所述空氣標簽重疊在所述被攝體的圖像而顯示于所述顯示部中。9.根據(jù)權利要求1~7中的任意一項所述的圖像處理終端，其特征在于，在通過所述圖像解析部識別了由用戶進行的所述被攝體上的撐開動作時，所述電子補充信息顯示控制部使所述空氣標簽重疊在所述被攝體的圖像而顯示于所述顯示部中。10.根據(jù)權利要求1~9中的任意一項所述的圖像處理終端，其特征在于，所述顯示部對與由所述圖像解析部推斷的所述特定部位對應起來的空氣標簽進行強調顯示。11.一種圖像處理系統(tǒng)，在該圖像處理系統(tǒng)中，權利要求1~10中的任意一項所述的圖像處理終端和服務器能夠經由網絡連接，該圖像處理系統(tǒng)的特征在于，所述服務器具有與確定所述被攝體的特定的代碼關聯(lián)地存儲了所述被攝體的所述電子補充信息的數(shù)據(jù)庫，在所述圖像處理終端中，將確定由所述攝影部攝影的所述被攝體的特定的代碼發(fā)送到所述服務器，并且從所述服務器接收所述被攝體的所述電子補充信息，從而所述電子補充信息獲取部獲取所述電子補充信息?！疚臋n編號】G06F3/14GK103888695SQ201310695949【公開日】2014年6月25日申請日期:2013年12月18日優(yōu)先權日:2012年12月19日【發(fā)明者】澤柳一美,友野和明,高橋健一,松原賢士,谷口陽介申請人:柯尼卡美能達株式會社