本申請是申請?zhí)枮?01110405446.9、申請日為2011年12月8日、發(fā)明名稱為“圖像處理裝置、圖像處理系統(tǒng)和圖像處理方法”的發(fā)明專利申請的分案申請。

本發(fā)明涉及便攜式信息終端、圖像處理方法和計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

例如，數(shù)字?jǐn)z像頭、設(shè)置有攝像頭的蜂窩電話等包括攝像頭和顯示器，并且通過使用攝像頭進(jìn)行攝像所取得的圖像顯示在顯示器上(例如，參見日本未審專利申請公開no.2002-354082)。

在顯示通過對對象攝像所取得的圖像的情況下，要呈現(xiàn)的對象的信息限于已經(jīng)執(zhí)行了攝像的區(qū)域。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的一方面，提供了一種具有攝像部的便攜式信息終端，包括接收單元和顯示控制單元。所述接收單元接收利用與對象的圖像數(shù)據(jù)相關(guān)聯(lián)的信息而生成且不包括在由所述攝像部所攝像的圖像中的附加信息，所述對象的圖像數(shù)據(jù)存儲在與所述便攜式信息終端不同的服務(wù)器中。所述顯示控制單元在對象圖像上疊加地顯示所述附加信息。

根據(jù)本發(fā)明的另一方面，提供了一種圖像處理方法，所述圖像處理方法包括：取得攝像圖像；識別在所述攝像圖像中被攝像的對象；取得與識別出的對象相關(guān)聯(lián)地存儲的關(guān)于所述對象的附加信息；以及在對象圖像上疊加地顯示所述附加信息。

根據(jù)本發(fā)明的又一方面，提供了一種存儲有程序的計(jì)算機(jī)可讀存儲介質(zhì)，所述程序使計(jì)算機(jī)執(zhí)行處理，所述處理包括：取得攝像圖像；識別在所述攝像圖像中被攝像的對象；取得與識別出的對象相關(guān)聯(lián)地存儲的關(guān)于所述對象的附加信息；以及在對象圖像上疊加地顯示所述附加信息。

發(fā)明效果

根據(jù)在以上方面中描述的發(fā)明，關(guān)于對象的附加信息顯示在便攜式信息終端的顯示器上。

附圖說明

將基于下面的圖詳細(xì)地描述本發(fā)明的示例性實(shí)施方式，在附圖中：

圖1a和圖1b是示出根據(jù)本發(fā)明的示例性實(shí)施方式的便攜式信息終端的示例的外觀視圖；

圖2a、圖2b和圖2c示出要安裝在便攜式信息終端的攝像頭部上的紅外攝像頭適配器的示例；

圖3a、圖3b和圖3c是示出紅外攝像頭適配器安裝在便攜式信息終端上的情況的示例的外觀視圖；

圖4示出對象的示例；

圖5示出在對象的表面上形成的編碼圖案的示例；

圖6是便攜式信息終端的功能框圖；

圖7示出對象數(shù)據(jù)表的示例；

圖8示出附加信息表的示例；

圖9是示出由便攜式信息終端執(zhí)行的處理的流程圖；

圖10示出顯示圖像的示例；

圖11示出顯示圖像的示例；以及

圖12示出顯示圖像的示例。

具體實(shí)施方式

下面參照附圖描述本發(fā)明的示例性實(shí)施方式。在該示例性實(shí)施方式中，將說明根據(jù)示例性實(shí)施方式的圖像處理裝置應(yīng)用于具有攝像功能和顯示功能的便攜式信息終端的示例。

圖1a和圖1b是示出根據(jù)該示例性實(shí)施方式的便攜式信息終端100的示例的外觀視圖。圖1a是便攜式信息終端100的頂視圖。圖1b是便攜式信息終端100的仰視圖。如圖1a和圖1b所示，便攜式信息終端100包括觸摸板102和設(shè)置在觸摸板102的底側(cè)上的攝像頭104。

圖2a、圖2b和圖2c示出要安裝在便攜式信息終端100的攝像頭104上的紅外攝像頭適配器110的示例。圖2a是紅外攝像頭適配器110的頂視圖，圖2b是紅外攝像頭適配器110的側(cè)視圖，而圖2c是沿圖2a的線iic-iic截取的紅外攝像頭適配器110的截面圖。

如圖2a、圖2b和圖2c所示，紅外攝像頭適配器110包括紅外發(fā)光二極管(led)112、阻擋除紅外光以外的其他光的濾光器114、和特寫透鏡116。按照紅外攝像頭適配器110的特寫透鏡116面對便攜式信息終端100的攝像頭104的方式，紅外攝像頭適配器110安裝在便攜式信息終端100上。紅外led112的狀態(tài)由設(shè)置在紅外攝像頭適配器110上的開關(guān)118在發(fā)光狀態(tài)和非發(fā)光狀態(tài)之間切換。在紅外led112處于發(fā)光狀態(tài)的情況下，設(shè)置在開關(guān)118中的led被控制為發(fā)光。

圖3a、圖3b和圖3c是示出紅外攝像頭適配器110安裝在便攜式信息終端100上的情況的示例的外觀視圖。圖3a、圖3b和圖3c分別是安裝了紅外攝像頭適配器110的便攜式信息終端100的頂視圖、仰視圖和側(cè)視圖。

圖4示出使用設(shè)置在便攜式信息終端100中的攝像頭104被攝像對象200的示例。在該示例性實(shí)施方式中，對象200是紙介質(zhì)，并在對象200的表面上執(zhí)行了印刷，如圖4所示。

此外，在對象200上使用紅外吸收材料來形成編碼圖案202(點(diǎn)代碼)，在編碼圖案202中對與對象200中的位置對應(yīng)的位置信息進(jìn)行編碼，如圖5所示。

圖5示出在對象200的表面上形成的編碼圖案202的示例。如圖5所示，每個編碼圖案202是由非常小的點(diǎn)組成的二維代碼，并且通過對每個預(yù)定單位區(qū)域形成的多個點(diǎn)進(jìn)行排列，對數(shù)據(jù)進(jìn)行編碼。例如，針對編碼圖案202可以采用在日本待審專利公開no.261059中描述的技術(shù)。待編碼為編碼圖案202的數(shù)據(jù)沒有特別限制，只要數(shù)據(jù)是識別對象200并識別對象200中的位置的信息(例如，在對象200上的識別信息和在對象200中的位置信息)。

圖6是根據(jù)該示例性實(shí)施方式的便攜式信息終端100的功能框圖。如圖6所示，便攜式信息終端100包括存儲單元150、攝像單元152、攝像圖像取得單元154、解碼單元156、對象識別單元158、攝像區(qū)域識別單元160、對象旋轉(zhuǎn)角度識別單元162、對象圖像信息取得單元164、顯示區(qū)域設(shè)置單元166、顯示圖像生成單元168、控制單元170、顯示單元172、和輸入單元174。

當(dāng)包括諸如中央處理單元(cpu)的控制部、諸如存儲器的存儲部、向外部設(shè)備發(fā)送數(shù)據(jù)以及從外部設(shè)備接收數(shù)據(jù)的通信部、諸如攝像頭的攝像部、諸如觸摸板102的輸入/顯示部等的計(jì)算機(jī)讀取并執(zhí)行存儲在計(jì)算機(jī)可讀信息存儲介質(zhì)中的程序時，可以實(shí)現(xiàn)設(shè)置在便攜式信息終端100中的各個單元的功能。程序可以通過諸如光盤、磁盤、磁帶、磁-光盤、或閃存或者經(jīng)由諸如因特網(wǎng)的數(shù)據(jù)通信網(wǎng)絡(luò)提供給便攜式信息終端100(例如，作為計(jì)算機(jī))。

存儲單元150存儲數(shù)據(jù)和程序并還用作工作存儲器。例如，圖7中示出的對象數(shù)據(jù)表存儲在存儲單元150中。如圖7所示，用于識別對象的對象id、對象尺寸的尺寸信息(例如，縱向和橫向長度等)、用于識別對象的圖像數(shù)據(jù)的對象圖像數(shù)據(jù)id、和對象圖像數(shù)據(jù)的分辨率(例如，垂直和水平像素的數(shù)量等)存儲在對象數(shù)據(jù)表中。此外，對象圖像數(shù)據(jù)存儲在存儲單元150中。對象圖像數(shù)據(jù)可以包括基于對象圖像數(shù)據(jù)附加地顯示在對象圖像上的附加信息。例如，附加信息是例如鏈接信息或注釋信息。在對象圖像中的顯示位置由附加信息限定。

圖8示出附加信息表的示例，附加信息表描述了對象和附加信息之間的對應(yīng)關(guān)系。如圖8所示，對象圖像數(shù)據(jù)id、附加信息id、附加信息的細(xì)節(jié)(例如，鏈接信息)和要顯示附加信息的位置(在對象圖像中的顯示位置)存儲在附加信息表中。在附加信息表中描述的對應(yīng)關(guān)系可以包括在對象圖像數(shù)據(jù)中或單獨(dú)添加到對象圖像數(shù)據(jù)。在選擇與對象圖像一起顯示的附加信息的情況下，基于附加信息的詳情執(zhí)行處理。例如，在附加信息表示鏈接的情況下，執(zhí)行用于訪問該鏈接的處理。在附加信息表示執(zhí)行數(shù)據(jù)(音頻數(shù)據(jù)等)的途徑(pass)的情況下，執(zhí)行用于再現(xiàn)由該途徑所指示的執(zhí)行數(shù)據(jù)的處理。

攝像單元152使用設(shè)置在便攜式信息終端100中的攝像頭104，對對象進(jìn)行攝像。例如，攝像單元152可以利用安裝了紅外攝像頭適配器110的便攜式信息終端100的攝像頭104，對以紅外吸收油墨印刷在對象表面上的編碼圖案進(jìn)行攝像。

攝像圖像取得單元154取得由攝像單元152所攝像的圖像。例如，攝像圖像取得單元154可以取得對印刷在對象表面上的編碼圖案進(jìn)行攝像所取得的攝像圖像。

解碼單元156對攝像圖像取得單元154所取得的攝像圖像中所包含的編碼圖案進(jìn)行解碼。例如，解碼單元156可以從攝像圖像順序提取各具有預(yù)定尺寸的單位區(qū)域，識別所提取的單位區(qū)域中所包含的多個點(diǎn)的配置，并基于識別出的配置取得在編碼圖案中所編碼的數(shù)據(jù)。例如，被編碼的數(shù)據(jù)可以包括對象id和在對象中的位置信息。

基于由解碼單元156對編碼圖案進(jìn)行解碼所取得的結(jié)果，對象識別單元158識別攝像圖像取得單元154所取得的攝像圖像中的被攝像對象。例如，在編碼圖案包含對象id的情況下，對象識別單元158可以基于編碼圖案中包含的對象id，來識別對象。在攝像圖像中的預(yù)定區(qū)域中包含對象的識別信息的情況下，對預(yù)定區(qū)域執(zhí)行掃描，使得可以取得該對象的識別信息。

攝像區(qū)域識別單元160識別攝像圖像取得單元154所取得的攝像圖像中被攝像對象的區(qū)域。例如，基于解碼單元156解碼出的在對象中的位置信息，攝像區(qū)域識別單元160可以識別在攝像圖像中被攝像對象的區(qū)域。

基于攝像圖像取得單元154所取得的攝像圖像，對象旋轉(zhuǎn)角度識別單元162識別在攝像圖像中被攝像對象的旋轉(zhuǎn)角度。繞三個軸(x軸、y軸和z軸)中各軸的旋轉(zhuǎn)角度可以被定義為對象的旋轉(zhuǎn)角度。例如，對象旋轉(zhuǎn)角度識別單元162可以基于攝像圖像中所包含的編碼圖案的垂直和水平方向上的伸縮比以及自編碼圖案的豎直位置的旋轉(zhuǎn)角度，來計(jì)算對象的旋轉(zhuǎn)角度。

對象圖像信息取得單元164取得對象識別單元158識別出的對象的圖像信息。例如，對象圖像信息取得單元164可以參照存儲單元150中與對象識別單元158識別出的對象id相關(guān)聯(lián)地存儲的對象圖像id，并基于對象圖像id取得存儲在存儲單元150中的對象圖像數(shù)據(jù)。

顯示區(qū)域設(shè)置單元166基于對象圖像信息取得單元164取得的對象的圖像信息，設(shè)置要顯示對象圖像的區(qū)域(顯示區(qū)域)。例如，基于攝像區(qū)域識別單元160識別出的對象區(qū)域，顯示區(qū)域設(shè)置單元166可以設(shè)置與對象區(qū)域相對應(yīng)的顯示區(qū)域。顯示區(qū)域設(shè)置單元166可以設(shè)置與攝像區(qū)域識別單元160識別的對象區(qū)域相對應(yīng)并與便攜式信息終端100的觸摸板102的尺寸相對應(yīng)的顯示區(qū)域。

顯示圖像生成單元168基于由對象圖像信息取得單元164取得的對象的圖像信息、由顯示區(qū)域設(shè)置單元166設(shè)置的顯示區(qū)域和由對象旋轉(zhuǎn)角度識別單元162識別的對象旋轉(zhuǎn)角度，來生成顯示圖像。例如，顯示圖像生成單元168可以通過以下方式來生成顯示圖像：根據(jù)對象圖像信息取得單元164取得的對象的圖像信息，提取由顯示區(qū)域設(shè)置單元166設(shè)置的顯示區(qū)域中的圖像，并且基于對象旋轉(zhuǎn)角度識別單元162識別出的對象旋轉(zhuǎn)角度對提取的圖像執(zhí)行圖像處理。

控制單元170控制便攜式信息終端100的各單元。例如，控制單元170可以控制顯示單元172來顯示由顯示圖像生成單元168生成的顯示圖像。

顯示單元172由例如觸摸板102來實(shí)現(xiàn)，并在控制單元170的控制下顯示圖像。例如，顯示單元172可以顯示由顯示圖像生成單元168生成的顯示圖像。

輸入單元174由例如觸摸板102來實(shí)現(xiàn)，并接收來自用戶的操作指令。

將參照圖9中示出的流程圖，通過具體示例來說明便攜式信息終端100執(zhí)行的處理。

如圖9所示，便攜式信息終端100通過對對象100進(jìn)行攝像來取得攝像圖像(步驟s1)，并從取得的攝像圖像中提取對對象的編碼圖案進(jìn)行了攝像對象的圖像區(qū)域(步驟s2)。

便攜式信息終端100對步驟s2中提取的圖像區(qū)域中所包含的編碼圖案進(jìn)行解碼(步驟s3)，并基于解碼數(shù)據(jù)來識別對象、對象的攝像區(qū)域和對象旋轉(zhuǎn)角度(步驟s4)。

便攜式信息終端100取得步驟s4識別出的對象的圖像信息(步驟s5)，并設(shè)置要顯示的所取得的對象的圖像信息的顯示區(qū)域(步驟s6)。便攜式信息終端100基于在步驟s5取得的對象的圖像信息、在步驟s6設(shè)置的顯示區(qū)域以及在步驟s4識別的對象旋轉(zhuǎn)角度，來生成顯示圖像(步驟s7)，并顯示生成的顯示圖像(步驟s8)。

圖10示出由便攜式信息終端100顯示的顯示圖像的示例。在圖10中示出的顯示圖像包括附加信息(鏈接)和作為對象圖像的顯示區(qū)域而被選擇的部分。

當(dāng)例如接收在觸摸板102上顯示的圖像的移動、放大/縮小或旋轉(zhuǎn)的操作的指令時(步驟s9中的“是”)，便攜式信息終端100基于所接收的操作指令，更新顯示區(qū)域(步驟s10)。接著，便攜式信息終端100基于更新后的顯示區(qū)域生成顯示圖像(步驟s7)，并顯示生成的顯示圖像(步驟s8)。

圖11示出了在接收了顯示圖像平行布置的操作指令(例如，拖曳操作)后更新和顯示的顯示圖像的示例。

當(dāng)選擇顯示圖像中的鏈接時(步驟s11中為“是”)，便攜式信息終端100基于該鏈接執(zhí)行處理(步驟s12)。圖12示出了當(dāng)選擇了鏈接時更新后的顯示圖像的示例。在圖12示出的示例中，當(dāng)選擇了鏈接時顯示基于鏈接的注釋信息。

當(dāng)便攜式信息終端100確定處理未結(jié)束時(步驟s13中為“否”)，處理返回到步驟s9。當(dāng)便攜式信息終端100確定處理要結(jié)束時(步驟s13中為“是”)，處理結(jié)束。

上面已經(jīng)描述了便攜式信息終端100執(zhí)行的處理的示例。上面描述的便攜式信息終端100識別攝像圖像中的被攝像對象，取得預(yù)先與識別的對象相關(guān)聯(lián)地存儲的圖像信息，并基于取得的圖像信息顯示對象。因而，攝像圖像中未包含的附加信息也可以被呈現(xiàn)。此外，由于根據(jù)來自用戶的操作指令更新要顯示對象圖像的區(qū)域，也可以顯示當(dāng)顯示攝像圖像時不可見的部分。

本發(fā)明不限于上述示例性實(shí)施方式。例如，在便攜式信息終端100中，可以選擇性地執(zhí)行基于攝像圖像的顯示和基于對象圖像的顯示。

在上述示例性實(shí)施方式中，已經(jīng)說明了根據(jù)示例性實(shí)施方式的圖像處理裝置應(yīng)用于包括攝像部和顯示部的便攜式信息終端100的示例。但是，圖像處理裝置可以應(yīng)用于不包括攝像部或顯示部的裝置。此外，在上述示例性實(shí)施方式中，紅外攝像頭適配器110安裝在便攜式信息終端100的攝像頭上，使得可以取得紅外圖像。但是，替代攝像頭104，可以設(shè)置紅外攝像頭。

在上述示例性實(shí)施方式中，已經(jīng)說明在便攜式信息終端100中存儲有對象的圖像信息的示例。但是，可以在與便攜式信息終端100不同的服務(wù)器中存儲對象的圖像信息，并在該情況下，便攜式信息終端100可以從服務(wù)器取得對象的圖像信息。這里，服務(wù)器可以執(zhí)行從便攜式信息終端100取得攝像圖像到生成顯示圖像的處理或者這些處理中的僅一部分。

在上述示例性實(shí)施方式中，由顯示區(qū)域設(shè)置單元166設(shè)置的對象圖像的顯示區(qū)域不限于與攝像圖像中所包含的對象區(qū)域相對應(yīng)的區(qū)域?？梢曰趯ο蠛捅銛y式信息終端100之間的距離、便攜式信息終端100和用戶之間的位置關(guān)系等，設(shè)置顯示區(qū)域。

對本發(fā)明示例性實(shí)施方式的前述描述是為了例示和描述的目的而提供的。其并非旨在窮舉或者將本發(fā)明限于所公開的確切形式。顯然，許多變型和修改對于本領(lǐng)域技術(shù)人員是顯而易見的。選擇并描述這些實(shí)施方式是為了最好地說明本發(fā)明的原理及其實(shí)際應(yīng)用，從而使得本領(lǐng)域其他技術(shù)人員能夠理解本發(fā)明的適用于所構(gòu)想特定用途的各種實(shí)施方式和各種變型。旨在由所附權(quán)利要求書及其等同物來限定本發(fā)明的范圍。