本實(shí)施方式中，識(shí)別單元16識(shí)別標(biāo)記物。例如，識(shí)別單元16使用識(shí)別模板來識(shí)別標(biāo)記物，在該模板中給出了標(biāo)記物的形狀以進(jìn)行模板匹配。
[0094]此外，識(shí)別單元16獲得對(duì)參考對(duì)象進(jìn)行標(biāo)識(shí)的標(biāo)識(shí)信息。例如，獲得標(biāo)記物ID?；诶缗c標(biāo)記物對(duì)應(yīng)的圖像區(qū)域內(nèi)的亮度信息來進(jìn)行標(biāo)記物ID的讀取。例如，當(dāng)標(biāo)記物呈四邊形時(shí)，識(shí)別單元16判定通過對(duì)被識(shí)別為標(biāo)記物的四邊形圖像區(qū)域進(jìn)行分割而獲得的每個(gè)區(qū)域是按預(yù)定順序的“ I”還是“0”，從而將通過判定而獲得的信息的列設(shè)置為標(biāo)記物ID，其中，亮度不小于預(yù)定值的區(qū)域是“1”，亮度小于預(yù)定值的區(qū)域是“O”。
[0095]另外，例如，在四邊形框中對(duì)亮度不小于預(yù)定值的區(qū)域和亮度小于預(yù)定值的區(qū)域的放置也可以形成一定圖案，以使識(shí)別單元16使用與該圖案對(duì)應(yīng)的標(biāo)記物ID。此外，還可以事先建立用作標(biāo)記物ID的數(shù)值范圍，以當(dāng)讀取的標(biāo)記物ID不在該數(shù)值范圍內(nèi)時(shí)判定標(biāo)記物ID未被讀取。
[0096]接著，識(shí)別單元16基于參考對(duì)象的照片來計(jì)算參考對(duì)象的位置坐標(biāo)和旋轉(zhuǎn)坐標(biāo)。參考對(duì)象的位置坐標(biāo)和旋轉(zhuǎn)坐標(biāo)是照相機(jī)坐標(biāo)系中的值。此外，識(shí)別單元16基于參考對(duì)象的位置坐標(biāo)和旋轉(zhuǎn)坐標(biāo)來生成變換矩陣M。在上文中已經(jīng)對(duì)基于參考對(duì)象的位置坐標(biāo)和旋轉(zhuǎn)坐標(biāo)來生成變換矩陣M的詳情進(jìn)行了描述。
[0097]引導(dǎo)執(zhí)行單元17生成引導(dǎo)信息，通過該引導(dǎo)信息能夠知曉基于輸入圖像中的參考對(duì)象的照片而估計(jì)的第一成像條件與事先指定的第二成像條件之間的差異。例如，引導(dǎo)執(zhí)行單元17基于輸入圖像中的參考對(duì)象的照片來估計(jì)輸入圖像的成像位置。接著，引導(dǎo)執(zhí)行單元17計(jì)算在成像條件信息中設(shè)置的適當(dāng)成像位置與輸入圖像的成像位置之間的差異。接著，引導(dǎo)執(zhí)行單元17生成引導(dǎo)信息以繪制指示消除差異的方向箭頭。還可以根據(jù)差異的幅度來調(diào)整箭頭的長(zhǎng)度等。
[0098]此處描述了估計(jì)作為成像條件之一的成像位置的方法。作為第一方法，使用由識(shí)別單元16計(jì)算的參考對(duì)象的位置(Xcl，Ycl, Zcl)。參考對(duì)象的位置(Xcl，Ycl, Zcl)是照相機(jī)坐標(biāo)系中的參考對(duì)象的位置，其中，照相機(jī)的焦點(diǎn)是原點(diǎn)。
[0099]如圖3所示，當(dāng)參考對(duì)象在照相機(jī)坐標(biāo)系中的位置是(Xcl，Ycl，Zcl)時(shí)，與此相反，照相機(jī)的焦點(diǎn)在以參考對(duì)象的中心為原點(diǎn)的標(biāo)記物坐標(biāo)系中的位置變成了(-Xcl,-Ycl,-Zcl)。也就是說，引導(dǎo)執(zhí)行單兀17可以將(-Xcl,-Ycl,-Zcl)估計(jì)為標(biāo)記物坐標(biāo)系中的成像位置(照相機(jī)的焦點(diǎn)的位置)。
[0100]作為第二方法，使用了由識(shí)別單元16生成的變換矩陣M。具體而言，引導(dǎo)執(zhí)行單元17由從標(biāo)記物坐標(biāo)系到照相機(jī)坐標(biāo)系的變換矩陣M的逆矩陣M-1與列向量Ac (Xe, Yc, Zc, I)的乘積來獲得列向量Am(Xm，Ym, Zm, I)。具體而言，引導(dǎo)執(zhí)行單元17由下式3獲得列向量Am (Xm, Ym, Zm, I)。
[0101]Am = IVT1.Ac (式 3)
[0102]當(dāng)認(rèn)為成像位置與照相機(jī)坐標(biāo)系中的原點(diǎn)近似匹配時(shí)，成像位置是(0，0，0)。因此，通過將列向量(0，0，0，I)替換成Ac，引導(dǎo)執(zhí)行單元17可以由式3獲得照相機(jī)坐標(biāo)系中的原點(diǎn)對(duì)應(yīng)于標(biāo)記物坐標(biāo)系中的哪個(gè)點(diǎn)。也就是說，引導(dǎo)執(zhí)行單元17可以估計(jì)標(biāo)記物坐標(biāo)系中的成像位置。
[0103]接著，描述了作為成像條件之一的成像方向。引導(dǎo)執(zhí)行單元17可以基于由識(shí)別單元16計(jì)算的參考對(duì)象的旋轉(zhuǎn)坐標(biāo)(Plc，Qlc，Rlc)將輸入圖像的成像方向估計(jì)為(_Plc, _Qlc, _Rlc)。
[0104]同上，引導(dǎo)執(zhí)行單元17可以估計(jì)輸入圖像的成像條件。在下文中，假設(shè)輸入圖像的成像位置是(Xcm, Ycm, Zcm)。例如，(Xcm, Ycm, Zcm)是(-Xcl,-Ycl,-Zcl)。假設(shè)包括在成像條件信息中的成像位置是(Xcon,Ycon,Zcon)。假設(shè)輸入圖像的成像方向是(Pcm,Qcm,Rem)。例如，(Pcm, Qcm, Rcm)是(-Pel,-Qcl,-Rcl)。假設(shè)包括在成像條件信息中的成像方向是(Peon, Qcon, Rcon)。
[0105]接著，引導(dǎo)執(zhí)行單元17計(jì)算輸入圖像的成像條件與包括在成像條件信息中的成像條件之間的差異。當(dāng)只采用成像位置和成像方向中的任何一個(gè)作為成像條件時(shí)，只針對(duì)成像位置或者成像方向來計(jì)算差異。
[0106]例如，引導(dǎo)執(zhí)行單元17針對(duì)標(biāo)記物坐標(biāo)系中的每個(gè)坐標(biāo)值計(jì)算差異(Xcon-Xcm, Ycon-Ycm, Zcon-Zcm)。當(dāng)X軸上的差異的值為正值時(shí)，引導(dǎo)執(zhí)行單元17生成指示左方向的箭頭，即朝著平行于包括在信息處理設(shè)備I中的顯示單元13(顯示器)的平面。當(dāng)X軸上的差異的值為負(fù)值時(shí)，引導(dǎo)執(zhí)行單元17生成指示右方向的箭頭。
[0107]當(dāng)Y軸上的差異的值為正值時(shí)，引導(dǎo)執(zhí)行單元17生成指示向上方向的箭頭，即朝著平行于包括在信息處理設(shè)備I中的顯示單元13 (顯示器)的平面。當(dāng)Y軸上的差異的值為負(fù)值時(shí)，引導(dǎo)執(zhí)行單元17生成指示向下方向的箭頭。
[0108]當(dāng)Z軸上的差異的值為正值時(shí)，引導(dǎo)執(zhí)行單元17生成指示向前方向的箭頭，即朝著與包括在信息處理設(shè)備I中的顯示單元13 (顯示器)垂直的平面。當(dāng)Z軸上的差異的值為負(fù)值時(shí)，引導(dǎo)執(zhí)行單元17生成指示向后方向的箭頭。
[0109]此外，引導(dǎo)執(zhí)行單元17還可以生成提示改變成像條件的聲音來代替箭頭作為引導(dǎo)信息。例如，當(dāng)X軸上的差異的值為正值時(shí)，引導(dǎo)執(zhí)行單元17生成“向左移動(dòng)”的聲音。在這種情況下，這樣生成的引導(dǎo)信息是從例如聲音輸出單兀(未不出)(如揚(yáng)聲器)輸出的。
[0110]此外，引導(dǎo)執(zhí)行單元17計(jì)算輸入圖像的旋轉(zhuǎn)坐標(biāo)(Pcm, Qcm, Rcm)與在成像條件信息中設(shè)置的關(guān)于每個(gè)旋轉(zhuǎn)軸的適當(dāng)旋轉(zhuǎn)坐標(biāo)(Peon, Qcon, Rcon)之間的同樣在成像方向上的差異。接著，引導(dǎo)執(zhí)行單元17根據(jù)旋轉(zhuǎn)坐標(biāo)的差異來生成提示使信息處理設(shè)備旋轉(zhuǎn)的引導(dǎo)信息。例如，當(dāng)Pcon-Pcm的值為正時(shí)，因?yàn)镻lc指示關(guān)于Xe軸的旋轉(zhuǎn)角度，所以引導(dǎo)執(zhí)行單元17生成引導(dǎo)信息，以使得信息處理設(shè)備I關(guān)于構(gòu)成平行于照相機(jī)的成像裝置平面的平面的坐標(biāo)軸逆時(shí)針旋轉(zhuǎn)。
[0111]此外，當(dāng)差異變得不超過閾值時(shí)，引導(dǎo)執(zhí)行單元17獲得存儲(chǔ)圖像。例如，當(dāng)差異變得不超過閾值時(shí)，引導(dǎo)執(zhí)行單元17將輸入圖像作為存儲(chǔ)圖像存儲(chǔ)在存儲(chǔ)單元14中。此外，引導(dǎo)執(zhí)行單元17還可以經(jīng)由顯示單元13向用戶輸出結(jié)束正在觀察的成像處理的消息。
[0112]可替換地，當(dāng)差異變得不超過閾值時(shí)，引導(dǎo)執(zhí)行單元17還可以請(qǐng)求操作者按下確定按鈕以經(jīng)由顯示單元13在成像位置處對(duì)觀察對(duì)象成像。接著，引導(dǎo)執(zhí)行單元17從成像單元12獲得圖像并且將該圖像作為存儲(chǔ)圖像存儲(chǔ)在存儲(chǔ)單元14中。
[0113]引導(dǎo)執(zhí)行單元17將存儲(chǔ)圖像的圖像數(shù)據(jù)與成像的時(shí)間和日期進(jìn)行關(guān)聯(lián)并且將關(guān)聯(lián)后的內(nèi)容存儲(chǔ)在存儲(chǔ)單元14中。此外，引導(dǎo)執(zhí)行單元17還可以將標(biāo)記物ID和指示存儲(chǔ)圖像的成像條件的信息存儲(chǔ)在存儲(chǔ)單元14中。
[0114]接著，圖像生成單元I8生成待顯示在顯示單元13上的圖像。例如，圖像生成單元18生成通過將AR內(nèi)容疊加顯示在拍攝圖像上而獲得的合成圖像?；谟勺R(shí)別單元16輸出的變換矩陣M以及由通信單元11從管理設(shè)備2獲得的內(nèi)容信息和模板信息來生成合成圖像。
[0115]圖像生成單元18基于由引導(dǎo)執(zhí)行單元17生成的引導(dǎo)信息來生成圖像以顯示引導(dǎo)信息。例如，圖像生成單元18將引導(dǎo)顯示合成在拍攝圖像上。圖像生成單元18還可以將引導(dǎo)顯示合成在包括AR對(duì)象的投影圖像的合成圖像上。
[0116]接著，對(duì)存儲(chǔ)在存儲(chǔ)單元14中的各種類型的信息進(jìn)行描述。假設(shè)將模板信息、內(nèi)容信息以及成像條件信息從管理設(shè)備2提供到信息處理設(shè)備I。接著，將這樣提供的各種類型的信息存儲(chǔ)在存儲(chǔ)單元14中。
[0117]圖10示出了模板信息表。模板信息表存儲(chǔ)對(duì)每個(gè)模板進(jìn)行定義的模板信息，模板被應(yīng)用作為AR對(duì)象的模型數(shù)據(jù)。模板信息包括模板的標(biāo)識(shí)信息(模板ID)、構(gòu)成模板的每個(gè)頂點(diǎn)的坐標(biāo)信息T21以及構(gòu)成模板的每個(gè)平面的配置信息T22 (頂點(diǎn)順序和紋理ID的規(guī)格)。
[0118]頂點(diǎn)順序指示構(gòu)成平面的頂點(diǎn)的順序。紋理ID指示描繪在平面上的紋理的標(biāo)識(shí)信息。模板的參考點(diǎn)是例如第O個(gè)頂點(diǎn)。通過模板信息表中指示的信息來建立三維模型的形狀和圖案。
[0119]圖11不出了內(nèi)容信息表。內(nèi)容信息表存儲(chǔ)關(guān)于AR內(nèi)容的內(nèi)容信息。在內(nèi)容信息表中存儲(chǔ)了 AR內(nèi)容的內(nèi)容ID、標(biāo)記物坐標(biāo)系中的參考點(diǎn)的位置坐標(biāo)(Xm, Ym, Zm)、標(biāo)記物坐標(biāo)系中的旋轉(zhuǎn)坐標(biāo)(Pm，Qm, Rm)、使用AR模板作為參考的放大率D (Jx，Jy, Jz)、AR模板的模板ID、標(biāo)記物ID以及附加信息。
[0120]當(dāng)圖像生成單元18生成AR對(duì)象E的投影圖像時(shí)，基于內(nèi)容信息(位置、方向以及大小)來調(diào)整圖10中示出的AR模板。換言之，通過設(shè)置由內(nèi)容信息表管理的信息來對(duì)AR對(duì)象E的位置、姿勢(shì)以及大小進(jìn)行規(guī)定。附加信息是添加到AR對(duì)象E的信息。作為附加信息，使用了文本、對(duì)網(wǎng)頁和文件的訪問信息等。
[0121]例如，圖11中示出的具有內(nèi)容ID “Cl”的AR內(nèi)容用每個(gè)頂點(diǎn)來進(jìn)行配置，該頂點(diǎn)通過將定義為AR模板“Tl”的每個(gè)頂點(diǎn)坐標(biāo)在Xm, Ym, Zm各個(gè)方向上放大或者縮小、按旋轉(zhuǎn)坐標(biāo)(Pml，Qml, Rml)進(jìn)行旋轉(zhuǎn)以及根據(jù)位置坐標(biāo)(Xml，Yml, Zml)進(jìn)行平移而獲得。AR內(nèi)容還將附加信息描繪在構(gòu)成AR對(duì)象E的平面上。
[0122]接著，圖12示出了成像條件信息表。成像條件信息表存儲(chǔ)當(dāng)對(duì)觀察對(duì)象進(jìn)行成像時(shí)關(guān)于待參考的成像條件的成像條件信息。在成像條件信息表中存儲(chǔ)了標(biāo)記物ID、關(guān)于成像位置的成像條件(Xcon, Ycon, Zcon)以及關(guān)于成像方向的成像條件(Peon, Qcon, Rcon)。
[0123]成像條件可以是由管理員事先設(shè)置的信息，也可以是最初拍攝的觀察對(duì)象的圖像的成像位置和成像方向。例如，如圖7A所示，假設(shè)操作者發(fā)現(xiàn)存在裂縫304并且拍攝圖像300。此時(shí)，基于圖像300中的標(biāo)記物306 (參考對(duì)象)的照片來生成待參考的成像條件。生成成像條件的方法與當(dāng)引導(dǎo)執(zhí)行單元17估計(jì)輸入圖像的成像位置時(shí)的計(jì)算方法類似。
[0124]接著，描述對(duì)存儲(chǔ)圖像進(jìn)行存儲(chǔ)的存儲(chǔ)圖像表。圖13示出了存儲(chǔ)圖像表。存儲(chǔ)圖像表將標(biāo)記物ID、圖像數(shù)據(jù)、成像的時(shí)間和日期以及存儲(chǔ)圖像被拍攝的成像條件以關(guān)聯(lián)的方式存儲(chǔ)。在圖13的示例中，成像位置和成像方向作為成像條件而被存儲(chǔ)。圖像數(shù)據(jù)還可以是指示圖像數(shù)據(jù)存儲(chǔ)位置的信息，而不是圖像數(shù)據(jù)本身。
[0125]接著，對(duì)根據(jù)第一實(shí)施方式的管理設(shè)備2的功能配置進(jìn)行描述。圖14是管理設(shè)備的功能框圖。管理設(shè)備2具有通信單元21、控制單元22以及存儲(chǔ)單元23。通信單元21是與另一計(jì)算機(jī)進(jìn)行通信的處理單元。例如，通信單元21與信息處理設(shè)備I進(jìn)行通信。
[0126]控制單元22是控制整個(gè)管理設(shè)備2的各種類型的處理的處理單元。例如，控制單元22根據(jù)來自信息處理設(shè)備I的請(qǐng)求從存儲(chǔ)單元23中讀取內(nèi)容信息、模板信息以及成像條件信息。該請(qǐng)求包括由信息處理設(shè)備I識(shí)別的參考對(duì)象的標(biāo)識(shí)信息(標(biāo)記物ID)。具體而言，控制單元22從存儲(chǔ)單元23中讀取與標(biāo)識(shí)信息對(duì)應(yīng)的內(nèi)容信息和成像條件信息。從存儲(chǔ)單元23中還一起讀取了應(yīng)用到內(nèi)容的模板的模板信息。
[0127]接著，控制單元22控制通信單元21并且對(duì)讀取到信息處理設(shè)備I的各種類型的信息進(jìn)行發(fā)送。另外，當(dāng)經(jīng)由通信單元21從信息