引導(dǎo)方法和信息處理設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本實施方式中公開的技術(shù)涉及當(dāng)拍攝供觀察的圖像時進行引導(dǎo)。
【背景技術(shù)】
[0002]為了便于維護與管理服務(wù)，存在將多個圖像數(shù)據(jù)項進行疊加以生成一個靜態(tài)圖像的顯示設(shè)備(例如，日本公開特許公報第2001-14316號)。顯示設(shè)備在生成靜態(tài)圖像時評估每個圖像的絕對位置和多個圖像數(shù)據(jù)項之間的相對位置以使得該位置相互對應(yīng)。在將攝像機引導(dǎo)到預(yù)定方向之后，安裝有攝像機的汽車沿著對象行進，由此收集多個圖像數(shù)據(jù)項。在針對建筑物、道路、橋梁等的維護與管理服務(wù)中，該顯示設(shè)備意在將如通過道路的橋梁、斜坡等結(jié)構(gòu)作為一個靜態(tài)圖像來進行管理。

【發(fā)明內(nèi)容】

[0003]技術(shù)問題
[0004]在檢查服務(wù)等中，將在不同鐘表時間拍攝的對象的多個圖像進行比較。在這種情況下，優(yōu)選的是從近似相同的位置拍攝該多個圖像以準(zhǔn)確和方便地進行比較。
[0005]于是，例如，考慮將照相機在物理上進行固定的方法以從大約相同的位置處拍攝多個圖像。然而，當(dāng)有多個成像對象時，必須針對每個成像對象來設(shè)置照相機。
[0006]另外，當(dāng)日本公開特許公報第2001-14316號中公開的顯示設(shè)備合成靜態(tài)圖像時，通過由操作者將攝像機引導(dǎo)到預(yù)定方向來收集要成為合成的來源的多個圖像數(shù)據(jù)項。然而，因為攝像機的方向由操作者的判斷來決定，所以合成的靜態(tài)圖像不一定是適合用于比較的靜態(tài)圖像。
[0007]于是，為了觀察特定對象隨時間的變化，本實施方式中公開的技術(shù)的目的是在特定成像條件下拍攝對象的圖像。
[0008]問題的解決方案
[0009]根據(jù)本發(fā)明的一個方面，由計算機執(zhí)行的引導(dǎo)方法包括:獲取第一圖像的數(shù)據(jù)；在第一圖像的數(shù)據(jù)中檢測與參考對象對應(yīng)的參考圖像數(shù)據(jù)；基于第一圖像中的參考對象的外觀來計算第一條件，該第一條件指示當(dāng)?shù)谝粓D像被拍攝時成像設(shè)備的操作條件；以及針對待拍攝的第二圖像，輸出引導(dǎo)信息，該引導(dǎo)信息指示如何調(diào)整第一條件以與參考條件匹配，該參考條件對應(yīng)于在參考條件下拍攝的參考圖像中的參考對象的外觀。
【附圖說明】
[0010]圖1A和圖1B示出了在不同的鐘表時間對同一觀察對象拍攝的兩個圖像；
[0011]圖2是合成圖像的示意圖；
[0012]圖3示出了照相機坐標(biāo)系與標(biāo)記物坐標(biāo)系之間的關(guān)系；
[0013]圖4示出了 AR對象E在照相機坐標(biāo)系和在標(biāo)記物坐標(biāo)系中的示例；
[0014]圖5示出了從標(biāo)記物坐標(biāo)系到照相機坐標(biāo)系的變換矩陣M以及變換矩陣M中的旋轉(zhuǎn)矩陣R ；
[0015]圖6示出了旋轉(zhuǎn)矩陣R1、旋轉(zhuǎn)矩陣R2以及旋轉(zhuǎn)矩陣R3 ；
[0016]圖7A和圖7B示出了在不同的成像條件下拍攝的圖像；
[0017]圖8是根據(jù)第一實施方式的系統(tǒng)配置圖；
[0018]圖9是根據(jù)第一實施方式的信息處理設(shè)備的功能框圖；
[0019]圖10不出了模板信息表；
[0020]圖11示出了內(nèi)容信息表；
[0021]圖12示出了成像條件信息表；
[0022]圖13示出了存儲圖像表；
[0023]圖14是管理設(shè)備的功能框圖；
[0024]圖15示出了根據(jù)第一實施方式的引導(dǎo)處理的流程圖；
[0025]圖16是包括引導(dǎo)顯示的合成圖像的示例；
[0026]圖17A和圖17B示出了根據(jù)第二實施方式的引導(dǎo)顯示；
[0027]圖18是根據(jù)第二實施方式的信息處理設(shè)備的功能框圖；
[0028]圖19示出了第二實施方式中的成像條件信息表；
[0029]圖20示出了根據(jù)第二實施方式的引導(dǎo)處理的流程圖；
[0030]圖21示出了第一變型中的成像條件信息表；
[0031]圖22是描繪了用戶的移動軌跡的地圖數(shù)據(jù)的示意圖；
[0032]圖23是每個實施方式中的信息處理設(shè)備的硬件配置示例；
[0033]圖24示出了在計算機1000中運行的程序的配置示例；以及
[0034]圖25是管理設(shè)備的硬件配置示例。
【具體實施方式】
[0035]下面對本公開內(nèi)容的詳細實施方式進行描述?？梢栽谂c處理內(nèi)容不矛盾的情況下將下述每個實施方式進行適當(dāng)?shù)睾喜ⅰＯ旅婊诟綀D對每個實施方式進行描述。
[0036]首先，對在檢查服務(wù)和維護與管理服務(wù)中觀察在特定對象中隨時間變化的活動進行描述。在下文中，將待觀察的對象稱為觀察對象。圖1A和圖1B示出了在不同鐘表時間對同一觀察對象拍攝的兩個圖像。
[0037]圖1A和圖1B是在針對這兩個圖像中的每個圖像的成像條件不同的情況下拍攝管道中裂縫(作為同一觀察對象)所獲得的圖像。本實施方式中的成像條件是成像位置和成像方向。成像位置是照相機的位置。成像方向是拍攝圖像時照相機的光軸的方向。
[0038]具體而言，圖1A中的圖像100包括管道102中存在的裂縫104，圖1B中的圖像106包括管道108中存在的裂縫110。當(dāng)假設(shè)圖像106是在圖像100之后拍攝的時，進行觀察的操作者難以從本質(zhì)上知曉裂縫110的大小和位置是否與裂縫104的狀態(tài)不同。實際上，管道102和管道108是相同的對象，并且裂縫104和裂縫110也是相同的對象。
[0039]如果圖像106是在與拍攝圖像100時的成像條件類似的成像條件下拍攝的圖像，則操作者能夠僅通過從視覺上將圖像100與圖像106進行比較來確認裂縫104是否有變化。雖然也考慮通過圖像處理將圖像100和圖像106變換成容易進行比較的圖像，但是這就必須引進圖像處理技術(shù)。
[0040]同時，目前為了提高各種服務(wù)(如檢查服務(wù)和維護與管理服務(wù))的效率而引進增強現(xiàn)實(AR)技術(shù)的情況越來越多。AR技術(shù)虛擬地設(shè)置與實空間對應(yīng)的三維虛擬空間并且將三維對象的模型數(shù)據(jù)放置在該虛擬空間中。接著，AR技術(shù)將放置了模型數(shù)據(jù)的虛擬空間疊加在由照相機拍攝的拍攝圖像上，由此生成將從特定視點(照相機位置)察看到的模型數(shù)據(jù)疊加顯示在實空間中的拍攝圖像上的合成圖像。也就是說，瀏覽合成圖像的用戶可以通過顯示有合成圖像的顯示器而識別到在實空間中不存在的模型數(shù)據(jù)仿佛在實空間中存在一樣。
[0041]以這種方式，根據(jù)AR技術(shù)，通過人類感知(如視覺)而收集的信息得以延伸。例如，當(dāng)模型數(shù)據(jù)指示關(guān)于實空間中存在的對象的描述信息、關(guān)于活動的內(nèi)容的指令信息、喚起注意力的信息等時，用戶可以理解該信息。
[0042]圖2是合成圖像的示意圖。合成圖像200包括實空間中存在的管道202和裂縫204以及實空間中不存在的AR對象E。管道202和裂縫204分別對應(yīng)于圖1A中的管道102和裂縫104。AR對象E是放置在虛擬空間中的三維模型數(shù)據(jù)。合成圖像200還包括實空間中存在的標(biāo)記物M。稍后將對標(biāo)記物M與AR技術(shù)之間的關(guān)系進行描述。
[0043]當(dāng)AR技術(shù)被應(yīng)用于檢查服務(wù)時，檢查服務(wù)的操作者瀏覽合成圖像200，由此能夠理解在管道202中的特定位置處存在裂縫204。也就是說，與操作者直接察看實空間的情況相比，操作者可以容易地理解裂縫204的存在。以這種方式，AR技術(shù)作為用于共享情報材料和活動內(nèi)容的工具而被引進，由此促進設(shè)施中的檢查活動等的效率。
[0044]接著，對圖2中的標(biāo)記物M進行描述。為了將AR對象E顯示在圖2中的裂縫204的位置處，必須將存在有裂縫204的實空間與放置了 AR對象E的虛擬空間之間的位置關(guān)系進行關(guān)聯(lián)。標(biāo)記物M被用于將實空間與虛擬空間之間的位置關(guān)系進行關(guān)聯(lián)。
[0045]放置了 AR對象E的虛擬空間是使用標(biāo)記物M作為參考的三維空間。也就是說，在AR對象中設(shè)置了相對于標(biāo)記物的放置位置和放置姿勢。同時，因為標(biāo)記物M也存在于實空間中，所以當(dāng)從拍攝了實空間的拍攝圖像中識別出標(biāo)記物M時，虛擬空間和實空間經(jīng)由標(biāo)記物M而被關(guān)聯(lián)。在AR技術(shù)中，作為虛擬空間的參考的對象(如標(biāo)記物M)被稱為參考對象。
[0046]也就是說，當(dāng)AR對象被放置在虛擬空間中時，基于包括在由照相機拍攝的拍攝圖像中的參考對象的外觀(照片)來獲得實空間中的照相機與參考對象之間的位置關(guān)系。接著，使用實空間中存在的作為參考的參考對象以及實空間中的照相機與參考對象之間的位置關(guān)系，通過虛擬空間中的坐標(biāo)來獲得與實空間對應(yīng)的三維虛擬空間中的AR對象與照相機的各自點的坐標(biāo)之間的位置關(guān)系?；谠撐恢藐P(guān)系來確定當(dāng)由虛擬空間中的照相機對參考對象進行成像時所獲得的AR對象的照片。接著，AR對象的照片通過疊加在拍攝圖像上來顯示。
[0047]下面，詳細描述對AR對象的照片進行計算以生成合成圖像的方法。圖3示出了照相機坐標(biāo)系與標(biāo)記物坐標(biāo)系之間的關(guān)系。圖3中例示的標(biāo)記物M呈正方形并且事先按一定大小(例如，每條邊的長度是5cm等)來建立。雖然圖3中示出的標(biāo)記物M呈正方形，但是基于通過從多個視點中的任何視點進行拍攝而獲得的照片，能夠在形狀上區(qū)別與照相機的相對位置和方向的另一對象也可以用被作參考對象。
[0048]用(Xe，Yc, Zc)來三維地配置照相機坐標(biāo)系，并且將例如照相機的焦點假設(shè)為原點(原點Oc)。例如，照相機坐標(biāo)系中的Xc-Yc平面是平行于照相機的成像裝置的平面，Zc軸是垂直于成像裝置平面的軸。
[0049]用(Xm, Ym, Zm)來三維地配置標(biāo)記物坐標(biāo)系，并且將例如標(biāo)記物M的中心假設(shè)為原點(原點Om)。例如,標(biāo)記物坐標(biāo)系中的Xm-Ym平面是平行于標(biāo)記物M的平面,Zm軸垂直于標(biāo)記物M的平面。原點Om在照相機坐標(biāo)系中被表示成坐標(biāo)Vlc (Xlc, Ylc, Zlc)。在標(biāo)記物坐標(biāo)系中配置的空間是虛擬空間。
[0050]標(biāo)記物坐標(biāo)系(Xm，Ym, Zm)相對于照相機坐標(biāo)系(Xe，Yc, Zc)的旋轉(zhuǎn)角度被表示成旋轉(zhuǎn)坐標(biāo)Glc (Pic, Qlc, Rlc)。Plc是關(guān)于Xe軸的旋轉(zhuǎn)角度，Qlc是關(guān)于Yc軸的旋轉(zhuǎn)角度，Rlc是關(guān)于Zc軸的旋轉(zhuǎn)角度。因為圖3中例示的標(biāo)記物坐標(biāo)系僅關(guān)于Ym軸旋轉(zhuǎn)，所以Plc和Rlc為O?；趯⒕哂幸阎螤畹膮⒖紝ο笤诮?jīng)處理的拍攝圖像中被成像為哪種類型的照片來計算各旋轉(zhuǎn)角度。
[0051]圖4示出了照相機坐標(biāo)系和標(biāo)記物坐標(biāo)系中的AR對象E的示例。圖4中示出的AR對象E是呈氣球形的對象并且在該氣球中包括文本數(shù)據(jù)“有裂縫！ ”。
[0052]AR對象E的氣球的尖端處的黑點指示AR對象E的參考點。假設(shè)標(biāo)記物坐標(biāo)系中的參考點的坐標(biāo)是V2m(X2m，Y2m, Z2m)。此外，通過旋轉(zhuǎn)坐標(biāo)G2m(P2m，Q2m, R2m)來建立AR對象E的方向，并且通過放大率D (Jx，Jy, Jz)建立AR對象E的大小。AR對象E的旋轉(zhuǎn)坐標(biāo)G2m指示將AR對象在相對于標(biāo)記物坐標(biāo)系旋轉(zhuǎn)的狀態(tài)放置成什么程度。例如，當(dāng)G2m是(O, O, O)時，AR對象是平行于標(biāo)記物M而顯示的AR對象。
[0053]構(gòu)成AR對象E的每個點的坐標(biāo)是基于參考點的坐標(biāo)V2m、旋轉(zhuǎn)坐標(biāo)G2m以及放大率D通過對定義數(shù)據(jù)(AR模板)中定義的各個點的坐標(biāo)進行調(diào)整而獲得的坐標(biāo)，其中所述定義數(shù)據(jù)(AR模板)是AR對象E的原型。
[0054]在AR模板中，每個點的坐標(biāo)被定義成以(0，O, O)作為參考點的坐標(biāo)。因此，當(dāng)采用AR模板的AR對象E的參考點V2m被設(shè)置時，構(gòu)成AR模板的每個點的坐標(biāo)基于坐標(biāo)V2m而被平行地移動。
[0055]此外，包括在AR模板中的每個坐標(biāo)基于設(shè)置的旋轉(zhuǎn)坐標(biāo)G2m而被旋轉(zhuǎn)并且以放大率D放大或縮小。也就是說，圖4中的AR對象E示出了定