專利名稱：信息處理裝置、信息處理方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理裝置、信息處理方法以及程序。
背 景技術(shù)(第一方面)以往參觀設(shè)施 和エ廠等吋，大多是參觀者觀看實(shí)際的設(shè)施和設(shè)備，或觀看事先準(zhǔn)備的展示板或影像。對(duì)此，例如，在專利文獻(xiàn)I中提出了隨著參觀者的移動(dòng)，將當(dāng)前場(chǎng)景中的要素信息，與由攜帯的終端等拍攝的實(shí)景圖像重疊顯示的方案。(第二方面)在エ廠和工程現(xiàn)場(chǎng)等，在有操作員進(jìn)行操作的危險(xiǎn)場(chǎng)所，通過噴涂等標(biāo)識(shí)危險(xiǎn)區(qū)域，或豎立標(biāo)志牌。由于這些危險(xiǎn)場(chǎng)所的標(biāo)志(危險(xiǎn)場(chǎng)所標(biāo)志)是固定的，因此通常要在可能發(fā)生危險(xiǎn)的范圍內(nèi)無遺漏地加以標(biāo)識(shí)或豎立標(biāo)志牌。另外，作為危險(xiǎn)場(chǎng)所，有總是危險(xiǎn)的情形，和在時(shí)間上僅某ー特定時(shí)期危險(xiǎn)的情形。例如，エ廠內(nèi)進(jìn)行吊裝操作的場(chǎng)所，僅在起重機(jī)工作吋，吊裝物下方為危險(xiǎn)場(chǎng)所。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :日本發(fā)明專利公開第2004-102835號(hào)公報(bào)專利文獻(xiàn)2 :日本發(fā)明專利公開第2002-7703號(hào)公報(bào)

發(fā)明內(nèi)容
本發(fā)明所要解決的問題(第一方面)根據(jù)設(shè)施和エ廠的情況，有存在危險(xiǎn)，不能讓參觀者靠近設(shè)備的情形。還有即便是接近了設(shè)備也不能看到設(shè)備內(nèi)部的情形。例如，及時(shí)將專利文獻(xiàn)I中的技術(shù)應(yīng)用于參觀設(shè)施和エ廠，但只能看到設(shè)備的名稱等的虛擬圖像，參觀者沒有身臨其境的感覺。另外，在エ廠，有時(shí)需要通過模擬來預(yù)測(cè)設(shè)備的工作狀況，但模擬結(jié)果只不過以ニ維剖面圖顯示在計(jì)算機(jī)終端的畫面。因此，操作者不容易把握模擬結(jié)果。本發(fā)明鑒于以上問題，其第一目的在于，身臨其境地向設(shè)施和エ廠的參觀者以及操作員展示設(shè)備等的工作狀況和模擬結(jié)果。(第二方面)以往對(duì)固定式的吊裝工具懸臂梁等做危險(xiǎn)場(chǎng)所標(biāo)識(shí)時(shí)，例如，將吊裝工具的懸臂梁的可動(dòng)范圍整體看作危險(xiǎn)場(chǎng)所，在地面上做出危險(xiǎn)場(chǎng)所標(biāo)識(shí)(標(biāo)識(shí)陰影等)。因此，現(xiàn)有的危險(xiǎn)場(chǎng)所標(biāo)識(shí)將危險(xiǎn)場(chǎng)所范圍確定得過大，導(dǎo)致危險(xiǎn)場(chǎng)所不明確。另外，現(xiàn)有的危險(xiǎn)場(chǎng)所標(biāo)識(shí)會(huì)由于受到粉塵和油分等污染而看不見標(biāo)識(shí)，被污染后需要清掃和再噴涂等維護(hù)。另ー方面，以往對(duì)移動(dòng)式起重車等做危險(xiǎn)場(chǎng)所標(biāo)識(shí)吋，由于使用場(chǎng)所不固定，因而在起重車上標(biāo)識(shí)“禁止進(jìn)入半徑IOm以內(nèi)”等，但不能目視到危險(xiǎn)場(chǎng)所，危險(xiǎn)場(chǎng)所不明確。另夕卜，還有用錐筒等以實(shí)物阻擋禁止入內(nèi)的情形，但其準(zhǔn)備工作繁瑣。本發(fā)明鑒于以上問題，其第二目的在于，在危險(xiǎn)場(chǎng)所隨時(shí)間變化的情形下，更準(zhǔn)確地告知危險(xiǎn)的場(chǎng)所。解決上述課題的技術(shù)手段(第一方面)本發(fā)明的信息處理裝置具有拍攝圖像輸入單元，其輸入由拍攝裝置拍攝的設(shè)備的拍攝圖像；測(cè)量信息輸入單元，其從設(shè)置于所述設(shè)備的傳感器輸入由所述傳感器測(cè)量的測(cè)量信息；制作単元，其根據(jù)由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像；和顯示控制単元，其將由所述制作単元生成的虛擬圖像和由所述拍攝圖像輸入單元輸入的拍攝圖像重疊顯示于顯示裝置。 根據(jù)上述構(gòu)成，能夠身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況。信息處理裝置例如對(duì)應(yīng)于后述的AR服務(wù)器。另外，本發(fā)明的信息處理裝置具有測(cè)量信息輸入單元，其從設(shè)置于設(shè)備的傳感器輸入由所述傳感器測(cè)量的測(cè)量信息；制作単元，其根據(jù)由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像；和顯示控制単元，其將由所述制作単元制作的虛擬圖像，疊加于透過顯示裝置顯示的所述設(shè)備而進(jìn)行顯示。根據(jù)上述構(gòu)成，能夠身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況。信息處理裝置，例如對(duì)應(yīng)于后述的AR服務(wù)器。(第二方面)本發(fā)明的信息提供裝置具有顯示部，能與存儲(chǔ)部通信連接，并且包括讀取單元，其讀取存儲(chǔ)在所述存儲(chǔ)部中的、表示危險(xiǎn)目標(biāo)在各狀態(tài)下的危險(xiǎn)范圍的危險(xiǎn)范圍信息，和表示所述危險(xiǎn)目標(biāo)的位置的危險(xiǎn)目標(biāo)位置信息；位置信息取得単元，其取得裝置位置信息，所述裝置位置信息是根據(jù)位置檢測(cè)裝置檢測(cè)的表示該信息提供裝置的位置的信息計(jì)算得到的；方位信息取得単元，其取得方位信息，所述方位信息是根據(jù)方位檢測(cè)裝置檢測(cè)的表示該信息提供裝置的方位的信息計(jì)算得到的；姿態(tài)信息取得単元，其取得姿態(tài)信息，所述姿態(tài)信息是根據(jù)姿態(tài)檢測(cè)裝置檢測(cè)的表示該信息提供裝置的姿態(tài)的信息計(jì)算得到的；確定單元，其根據(jù)由所述位置信息取得単元取得的裝置位置信息、由所述方位信息取得単元取得的方位信息、由所述姿態(tài)信息取得単元取得的姿態(tài)信息、以及預(yù)先規(guī)定的該信息提供裝置的視野信息，確定該信息提供裝置的視野；和顯示控制単元，其根據(jù)所述裝置位置信息、所述方位信息、所述姿態(tài)信息、以及由所述讀取單元讀取的危險(xiǎn)范圍信息和危險(xiǎn)目標(biāo)位置信息，確定在所述視野內(nèi)包含的危險(xiǎn)目標(biāo)，對(duì)于所確定的危險(xiǎn)目標(biāo)，生成危險(xiǎn)范圍圖像，并顯示于所述顯示部。例如，在此，“讀取単元”對(duì)應(yīng)于后述的讀取部1055?！拔恢眯畔⑷〉脜g元”對(duì)應(yīng)于后述的測(cè)量部1040?！胺轿恍畔⑷〉脜g元”對(duì)應(yīng)于后述的方位信息取得部1045。“姿態(tài)信息取得単元”對(duì)應(yīng)于后述的姿態(tài)信息取得部1050?！按_定単元”對(duì)應(yīng)于后述的視野確定部1060?！帮@示控制單元”對(duì)應(yīng)于后述的顯示控制部1065。本發(fā)明的效果(第一方面)
根據(jù)本發(fā)明，能夠身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況。(第二方面)另外，根據(jù)本發(fā)明，在危險(xiǎn)場(chǎng)所隨時(shí)間變化的情形下，能更準(zhǔn)確的告知危險(xiǎn)的場(chǎng)所。


圖I表不實(shí)施方式I的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。圖2表示AR服務(wù)器的硬件結(jié)構(gòu)的ー個(gè)例子。
圖3表示實(shí)施方式I的AR服務(wù)器的軟件結(jié)構(gòu)的ー個(gè)例子。圖4表示實(shí)施方式I中虛擬圖像和拍攝圖像重疊顯示的一個(gè)例子(第一方面)。圖5表示實(shí)施方式I中虛擬圖像和拍攝圖像重疊顯示的一個(gè)例子(第二方面)。圖6表示實(shí)施方式I中虛擬圖像和拍攝圖像重疊顯示的一個(gè)例子(第三方面)。圖7表示實(shí)施方式I中AR服務(wù)器進(jìn)行顯示控制處理的一個(gè)例子的流程圖。圖8表不實(shí)施方式2的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。圖9表示實(shí)施方式2中AR服務(wù)器的軟件結(jié)構(gòu)的ー個(gè)例子。圖10表示實(shí)施方式2中虛擬圖像和拍攝圖像重疊顯示的一個(gè)例子(第一方面)。圖11表示實(shí)施方式2中AR服務(wù)器進(jìn)行顯示控制處理的一個(gè)例子的流程圖。圖12是表示實(shí)施方式3的AR服務(wù)器的顯示控制處理的一個(gè)例子的流程圖。圖13A表示以每個(gè)顯示圖層顯示設(shè)備的一個(gè)例子(第一方面)。圖13B表示以每個(gè)顯示圖層顯示設(shè)備的一個(gè)例子(第二方面)。圖13C表示以每個(gè)顯示圖層顯示設(shè)備的一個(gè)例子(第三方面)。圖13D表示以每個(gè)顯示圖層顯示設(shè)備的一個(gè)例子(第四方面)。圖14表不實(shí)施方式5的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。圖15表示實(shí)施方式5的AR服務(wù)器的軟件結(jié)構(gòu)的ー個(gè)例子。圖16表示實(shí)施方式5中AR服務(wù)器進(jìn)行顯示控制處理的一個(gè)例子的流程圖。圖17表示實(shí)施方式6的操作輔助系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。圖18表示實(shí)施方式6的操作輔助系統(tǒng)的軟件結(jié)構(gòu)的ー個(gè)例子。圖19表示實(shí)施方式6中操作輔助系統(tǒng)進(jìn)行處理的一個(gè)例子的流程圖。圖20表示實(shí)施方式7的操作輔助系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。圖21表不設(shè)備標(biāo)記對(duì)應(yīng)表的一個(gè)例子。圖22表不設(shè)備利用狀況表的一個(gè)例子。圖23表示帶攝像機(jī)的HMD的軟件結(jié)構(gòu)的ー個(gè)例子。圖24表示實(shí)施方式7中操作輔助系統(tǒng)進(jìn)行處理的一個(gè)例子的流程圖。圖25表示實(shí)施方式7的操作輔助系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。圖26表不信息提供系統(tǒng)的結(jié)構(gòu)的ー個(gè)例子。圖27表示AR提供裝置的硬件結(jié)構(gòu)的ー個(gè)例子。圖28表示AR提供裝置的功能結(jié)構(gòu)的ー個(gè)例子。圖29表示信息處理裝置的硬件結(jié)構(gòu)的ー個(gè)例子。圖30表不保存關(guān)于危險(xiǎn)物的信息的表的ー個(gè)例子。
圖31表不保存關(guān)于危險(xiǎn)物的信息的表的ー個(gè)例子。圖32表示工作狀態(tài)設(shè)定處理的一個(gè)例子的流程圖。圖33表示工作狀態(tài)設(shè)定處理的一個(gè)例子的流程圖。圖34表示位置信息設(shè)定處理的ー個(gè)例子的流程圖。圖35表示顯示處理的ー個(gè)例子的流程圖。圖36表示AR視野的ー個(gè)例子。圖37A表不顯不三維增強(qiáng)圖像時(shí)的一個(gè)例子。 圖37B表示顯示ニ維增強(qiáng)圖像時(shí)的ー個(gè)例子。圖37C表不顯不增強(qiáng)圖像時(shí)的一個(gè)例子。圖37D表示顯示增強(qiáng)圖像時(shí)的ー個(gè)例子。圖38表示顯示處理的ー個(gè)例子的流程圖。圖39表示危險(xiǎn)物接近時(shí)的顯示的ー個(gè)例子。圖40表示顯示處理的ー個(gè)例子的流程圖。圖41表不保存關(guān)于危險(xiǎn)物的信息的表的ー個(gè)例子。圖42表示顯示處理的ー個(gè)例子的流程圖。
具體實(shí)施例方式以下，根據(jù)

本發(fā)明的具體實(shí)施方式
。<實(shí)施方式1>圖I表示實(shí)施方式I的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)。如圖I所示，設(shè)備引導(dǎo)系統(tǒng)中，AR (Augmented Reality)服務(wù)器I、攝像機(jī)2、傳感器3丨 35、顯示裝置4通過網(wǎng)絡(luò)連接。AR服務(wù)器I從攝像機(jī)2輸入由攝像機(jī)2拍攝的エ廠內(nèi)的設(shè)備(在圖I的例中為高爐)的拍攝圖像。作為本實(shí)施方式及以下的實(shí)施方式中的エ廠設(shè)備的ー個(gè)例子，以煉鐵廠的設(shè)備為例進(jìn)行說明。但這不限定本實(shí)施方式及以下實(shí)施方式。AR服務(wù)器I從傳感器S1 35輸入由傳感器S1 35測(cè)量的測(cè)量信息(例如，高爐內(nèi)部溫度信息等)。圖I中，表示出5個(gè)傳感器，但本實(shí)施方式不限定于此，可以比5個(gè)少，也可以比5個(gè)多。另外，本實(shí)施方式中，傳感器3設(shè)置在設(shè)備的外部和內(nèi)部，但例如，根據(jù)設(shè)備的情況，可以僅設(shè)置在設(shè)備內(nèi)部，也可以僅設(shè)置在設(shè)備外部。例如，對(duì)于高爐來說，傳感器3設(shè)置在高爐的外部和內(nèi)部。在后述的轉(zhuǎn)爐的情況下，傳感器3設(shè)置在轉(zhuǎn)爐的內(nèi)部。在后述的連鑄機(jī)的情況下，傳感器3設(shè)置在連鑄機(jī)的外部。另外，傳感器不限于測(cè)量溫度信息的溫度傳感器，例如，也可以是測(cè)量氣壓信息的氣壓傳感器，或者測(cè)量壓力信息的壓カ傳感器，測(cè)量氣體種類和濃度的氣體傳感器等。傳感器1 35可以是相同種類的傳感器(如溫度傳感器等)，也可以是不同種類的傳感器(如，溫度傳感器、氣體傳感器、壓カ傳感器等)。以下為了簡(jiǎn)化說明，除非特別說明，將上述多個(gè)傳感器簡(jiǎn)稱為傳感器。AR服務(wù)器I進(jìn)行如下控制，即，根據(jù)輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像，將生成的虛擬圖像和從攝像機(jī)2輸入的拍攝圖像重疊顯示于顯示裝置4。エ廠參觀者通過觀看顯示裝置4就可以身臨其境地了解由于危險(xiǎn)而禁止進(jìn)入的區(qū)域內(nèi)的設(shè)備的工作狀況和設(shè)備內(nèi)部的工作狀況等。圖2表示AR服務(wù)器I的硬件結(jié)構(gòu)。
如圖2所示，AR服務(wù)器I的硬件結(jié)構(gòu)包括CPUlI、存儲(chǔ)裝置12、通信裝置13。CPUll根據(jù)存儲(chǔ)在存儲(chǔ)裝置12中的程序控制AR服務(wù)器I執(zhí)行處理等。存儲(chǔ)裝置12存儲(chǔ)在程序和CPUll執(zhí)行處理時(shí)所要利用的數(shù)據(jù)。通信裝置13控制AR服務(wù)器I與其他裝置(例如，傳感器3、攝像機(jī)2或顯示裝置4等)之間的通信。CPUll通過根據(jù)程序執(zhí)行處理，實(shí)現(xiàn)下述軟件的結(jié)構(gòu)和下述流程圖的相關(guān)處理。圖3表不實(shí)施方式I的AR服務(wù)器I軟件結(jié)構(gòu)。如圖3所示，AR服務(wù)器I的軟件結(jié)構(gòu)包括拍攝圖像輸入部21、測(cè)量信息輸入部22、制作部23、顯示控制部24。 拍攝圖像輸入部21從攝像機(jī)2接收并輸入由攝像機(jī)2拍攝的エ廠內(nèi)設(shè)備的拍攝圖像。測(cè)量信息輸入部22從傳感器S1 35接收并輸入由傳感器S1 35測(cè)量的測(cè)量信
O制作部23根據(jù)由測(cè)量信息輸入部22輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部狀況的虛擬圖像。例如，制作部23從測(cè)量信息輸入部22接收測(cè)量信息，并從測(cè)量信息輸入部22接收表示是在哪個(gè)設(shè)備測(cè)得的該測(cè)量信息的設(shè)備信息。制作部23，根據(jù)接收到的設(shè)備信息，判定設(shè)備信息所示設(shè)備是否是為生成設(shè)備內(nèi)部的虛擬圖像而設(shè)定的設(shè)備。在設(shè)備信息所示設(shè)備是為生成設(shè)備內(nèi)部的虛擬圖像而設(shè)定的設(shè)備時(shí)，制作部23根據(jù)上述設(shè)備信息，從存儲(chǔ)裝置12等中選擇與所述設(shè)備信息關(guān)聯(lián)的設(shè)備內(nèi)估計(jì)模型(設(shè)備內(nèi)估計(jì)數(shù)學(xué)模型公式)。具體來說，在存儲(chǔ)裝置12等中，例如將高爐和高爐內(nèi)估計(jì)模型相關(guān)聯(lián)并加以存儲(chǔ)。在存儲(chǔ)裝置12等中，例如還將轉(zhuǎn)爐和轉(zhuǎn)爐內(nèi)估計(jì)模型相關(guān)聯(lián)并加以存儲(chǔ)。當(dāng)設(shè)備信息所指的設(shè)備表示高爐時(shí)，制作部23從存儲(chǔ)裝置12等選擇與高爐關(guān)聯(lián)的高爐內(nèi)估計(jì)模型。接著，制作部23將由測(cè)量信息輸入部22輸入的測(cè)量信息代入到所選擇的高爐內(nèi)估計(jì)模型中，估計(jì)高爐內(nèi)的狀況，生成表示高爐內(nèi)狀況的虛擬圖像。需要注意，各估計(jì)模型只不過作為理論模型存儲(chǔ)于存儲(chǔ)裝置12，例如，根據(jù)由傳感器S1 35測(cè)量的測(cè)量信息再次計(jì)算，生成接近于實(shí)際狀態(tài)的虛擬圖像。因此，雖然數(shù)學(xué)模型公式為優(yōu)選對(duì)象，更也可以預(yù)先根據(jù)數(shù)學(xué)模型公式生成計(jì)算機(jī)圖形，并通過改變參數(shù)而變更顯示。具體來說，根據(jù)高爐內(nèi)原材料的投入量，做高度方向上的調(diào)整，或是在后述的轉(zhuǎn)爐的例子中，根據(jù)傳感器的測(cè)量值變更爐內(nèi)熔鋼的表面位置?；蛘?，也可以在高爐內(nèi)估計(jì)模型中使用傳感器I 35測(cè)量的溫度信息，生成實(shí)際溫度分布的虛擬圖像。顯示控制部24進(jìn)行如下控制，即，將由制作部23生成的表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像，和由拍攝圖像輸入部21輸入的所述設(shè)備的拍攝圖像重疊顯示于顯示裝置4 (參照?qǐng)D4-圖6)。圖4表示實(shí)施方式I中重疊顯示虛擬圖像和拍攝圖像的一個(gè)例子(第一方面)。在圖4中表示重疊顯示高爐的拍攝圖像，和根據(jù)高爐內(nèi)部的溫度信息生成的高爐內(nèi)部的虛擬圖像的ー個(gè)例子。圖5表示實(shí)施方式I中重疊顯示虛擬圖像和拍攝圖像的一個(gè)例子(第二方面)。在圖5中表示重疊顯示轉(zhuǎn)爐的拍攝圖像，和根據(jù)轉(zhuǎn)爐內(nèi)部的溫度信息生成的轉(zhuǎn)爐內(nèi)部的虛擬圖像的ー個(gè)例子。
圖6表示實(shí)施方式I中重疊顯示虛擬圖像和拍攝圖像的一個(gè)例子(第三方面)。在圖6中表示重疊顯示在連鑄機(jī)和連鑄機(jī)之間通過的熔融狀態(tài)鋼的拍攝圖像，和根據(jù)連鑄機(jī)外部的溫度信息生成的通過連鑄機(jī)的熔融狀態(tài)的鋼固化的虛擬圖像的ー個(gè)例子。圖7是表示實(shí)施方式I的AR服務(wù)器I的顯示控制處理的一個(gè)例子的流程圖。在步驟SlO中，拍攝圖像輸入部21從攝像機(jī)2接收并輸入由攝像機(jī)2拍攝的エ廠內(nèi)的設(shè)備的拍攝圖像。在步驟Sll中，測(cè)量信息輸入部22從傳感器S1 35接收并輸入由傳感器S1 35測(cè)量的測(cè)量信息。在步驟S12中，制作部23根據(jù)在步驟Sll中輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部狀況的虛擬圖像。在步驟S13中，顯示控制部24進(jìn)行控制，將在步驟S12生成的設(shè)備外部或內(nèi)部狀況的虛擬圖像和在步驟SlO輸入的所述設(shè)備的拍攝圖像重疊顯示于顯示裝置4。在步驟S14中，例如，顯示控制部24根據(jù)是否從顯示裝置4等接收到顯示結(jié)束的信息等，判定是否結(jié)束圖7所示的處理。在顯示控制部24判定為結(jié)束處理時(shí)，則結(jié)束如圖7所示的處理，在判定為不結(jié)束處理時(shí)，則返回步驟SlO進(jìn)行處理。在由攝像機(jī)2進(jìn)彳丁拍攝時(shí)，拍攝圖像輸入部21可以一直從攝像機(jī)2接收并輸入拍攝圖像。同樣，在由傳感器S1 35進(jìn)行測(cè)量時(shí)，測(cè)量信息輸入部22可以一直從傳感器S1 35接收并輸入測(cè)量信息。以下的實(shí)施方式也相同。利用上述結(jié)構(gòu)，AR服務(wù)器I進(jìn)行控制，以根據(jù)實(shí)時(shí)輸入的測(cè)量信息生成虛擬圖像，將虛擬圖像與實(shí)時(shí)輸入的拍攝圖像重疊并顯示于顯示裝置4。根據(jù)本實(shí)施方式，可以身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況。特別是，不是像現(xiàn)有技術(shù)那樣總是播放影像，而是可以顯示正處于工作狀態(tài)的設(shè)備的狀況，所以能夠提供現(xiàn)有技術(shù)中沒有的身臨其境的感覺。〈實(shí)施方式2>圖8表示實(shí)施方式2的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)。如圖8所示，與實(shí)施方式I的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)相比，實(shí)施方式2的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)還包含了操作服務(wù)器5。操作服務(wù)器5向エ廠內(nèi)的設(shè)備發(fā)送控制信息。上述設(shè)備根據(jù)上述控制信息進(jìn)行處理。例如，在設(shè)備為高爐時(shí)，操作服務(wù)器5向高爐發(fā)送以下信息，S卩，用于指示投入燒結(jié)礦等的燒結(jié)礦等投入指示信息；指示投入例如焦炭等材料的焦炭投入指示信息；指示吹入還原氣的還原氣吹入指示信息；指示從出鐵ロ出鐵的出鐵指示信息等。控制信號(hào)不只限于此，在設(shè)備為轉(zhuǎn)爐的情況下，還包括，指示從轉(zhuǎn)爐上部吹入氧氣的氧氣吹入指示信息；指示從轉(zhuǎn)爐下部吹入氧氣、燃料氣體及碳酸氣、非活性氣體等各種吹入指示信息等。在將爐體傾斜裝入鐵屑，或在吹煉后再次傾斜爐體將熔鋼注入鋼包的操作中，還有指示將爐體傾斜的指示信息等。設(shè)備為連鑄機(jī)吋，還有加壓或減壓的壓力指示信息
坐寸οAR服務(wù)器I輸入從操作服務(wù)器5發(fā)送給設(shè)備的控制信息。AR服務(wù)器I進(jìn)行控制，以根據(jù)輸入的控制信息和輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像，將生成的虛擬圖像和從攝像機(jī)2輸入的拍攝圖像重疊并顯示于顯示裝置4。、
エ廠的參觀者通過觀看顯示裝置4，可以身臨其境地了解因危險(xiǎn)而禁止進(jìn)入的區(qū)域中的設(shè)備的工作狀況和設(shè)備內(nèi)部的工作狀況。圖9表示實(shí)施方式2的AR服務(wù)器I的軟件結(jié)構(gòu)。如圖9所示，與實(shí)施方式I的軟件結(jié)構(gòu)相比，實(shí)施方式2的AR服務(wù)器I的軟件結(jié)構(gòu)還包括控制信息輸入部25?？刂菩畔⑤斎氩?5從操作服務(wù)器5接收并輸入從操作服務(wù)器5發(fā)送給設(shè)備的控制信息。制作部23，根據(jù)由測(cè)量信息輸入部22輸入的測(cè)量信息，和由控制信息輸入部25輸入的控制信息，生成表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像。例如，如實(shí)施方式I所示，制作部23將測(cè)量信息代入到對(duì)應(yīng)設(shè)備的設(shè)備內(nèi)估計(jì)模型中，估計(jì)設(shè)備內(nèi)的狀況，生成基于估計(jì)結(jié)果的虛擬圖像?！?br> 同時(shí)，例如，在控制信息為焦炭投入指示信息時(shí)，制作部23根據(jù)控制信息，在上述虛擬圖像中追加表示在設(shè)備內(nèi)投入焦炭的情形的圖像，得到表示最終設(shè)備內(nèi)部狀況的虛擬圖像。圖10表示實(shí)施方式2中重疊顯示虛擬圖像和拍攝圖像示的例子(第一方面)。圖10表示根據(jù)高爐的拍攝圖像、高爐內(nèi)部溫度信息、及高爐內(nèi)焦炭投入指示信息生成的、重疊顯示高爐內(nèi)部和在高爐內(nèi)投入焦炭的虛擬圖像的例子。根據(jù)本實(shí)施方式，制作部23不僅根據(jù)測(cè)量信息，還根據(jù)控制信息生成虛擬圖像，因此可以生成更具身臨其境感的虛擬圖像。特別是轉(zhuǎn)爐，由于在爐體傾斜時(shí)，重疊顯示的虛擬圖像也隨著該動(dòng)作變化，更增添了身臨其境感。圖11是表示實(shí)施方式2的AR服務(wù)器I的顯示控制處理的例子的流程圖。在步驟S20中，拍攝圖像輸入部21從攝像機(jī)2接收并輸入由攝像機(jī)2拍攝的エ廠內(nèi)的設(shè)備的拍攝圖像。在步驟S21中，測(cè)量信息輸入部22從傳感器S1 35接收并輸入由傳感器S1 35測(cè)量的測(cè)量信息。在步驟S22中，控制信息輸入部25從操作服務(wù)器5接收并輸入控制信息。另外，每當(dāng)從操作服務(wù)器5向設(shè)備發(fā)送控制信息時(shí)，控制信息輸入部25輸入控制信息。在步驟S23中，制作部23根據(jù)在步驟S21中輸入的測(cè)量信息，和在步驟S22中輸入的控制信息生成表示設(shè)備外部或內(nèi)部狀況的虛擬圖像。在步驟S24中，顯示控制部24進(jìn)行控制，以將在步驟S23中生成的表示設(shè)備外部或內(nèi)部狀況的虛擬圖像，和在步驟20中輸入的上述設(shè)備的拍攝圖像重疊顯示于顯示裝置4。在步驟S25中，例如，顯示控制部24根據(jù)是否從顯示裝置4等接收到顯示結(jié)束的信息等，判定是否結(jié)束圖11所示的處理。顯示控制部24在判定為結(jié)束處理時(shí)，則結(jié)束圖11所示的處理結(jié)束，在判定為不結(jié)束處理吋，則返回步驟S20進(jìn)行處理。根據(jù)本實(shí)施方式，可以更加身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況?！磳?shí)施方式3>根據(jù)エ廠的情況，有時(shí)設(shè)備全年無休連續(xù)運(yùn)轉(zhuǎn)，有時(shí)因需要維護(hù)和清潔設(shè)備停止運(yùn)轉(zhuǎn)。在本實(shí)施方式中說明，即使在設(shè)備停止運(yùn)轉(zhuǎn)的情形下，仍然可以身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的運(yùn)轉(zhuǎn)狀況的方法。這里，如不特殊說明，本實(shí)施方式的系統(tǒng)結(jié)構(gòu)和軟件結(jié)構(gòu)等與實(shí)施方式I的結(jié)構(gòu)相同。本實(shí)施方式的制作部23根據(jù)從測(cè)量信息輸入部22輸入的測(cè)量信息，判定設(shè)備是否正在工作，如判斷設(shè)備正在工作，則根據(jù)測(cè)量信息生成虛擬圖像，如判斷設(shè)備為未工作，則根據(jù)理論值或到此前的測(cè)量信息的平均值等從存儲(chǔ)裝置12等取得預(yù)先生成的虛擬圖像。例如，制作部23從測(cè)量信息輸入部22接收測(cè)量信息，并從測(cè)量信息輸入部22接收表示該測(cè)量信息是在哪個(gè)設(shè)備測(cè)得的設(shè)備信息。制作部23，根據(jù)接收到的設(shè)備信息，從存儲(chǔ)裝置12等取得與設(shè)備信息關(guān)聯(lián)的預(yù)先生成的虛擬圖像。
圖12是表示實(shí)施方式3的AR服務(wù)器I中顯示控制處理的例子的流程圖。在步驟S30中,拍攝圖像輸入部21從攝像機(jī)2接收并輸入攝像機(jī)2拍攝的エ廠內(nèi)設(shè)備的拍攝圖像。在步驟S31中，測(cè)量信息輸入部22從傳感器S1 35接收并輸入傳感器S1 35測(cè)
量的測(cè)量信息。在步驟S32中，制作部23根據(jù)從測(cè)量信息輸入部22輸入的測(cè)量信息，判定設(shè)備是否正在工作。例如，當(dāng)測(cè)量信息不在預(yù)定范圍內(nèi)時(shí)，制作部23判定設(shè)備未工作。在判定設(shè)備正在工作時(shí)，制作部23進(jìn)行步驟S33的處理，在判定設(shè)備未工作時(shí)，制作部23進(jìn)行步驟34的處理。在步驟S33中，制作部23根據(jù)在步驟S31中輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像。另ー方面，在步驟S34中，制作部23從存儲(chǔ)裝置12等取得與設(shè)備相應(yīng)的、根據(jù)理論值等預(yù)先生成的表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像。在步驟S35中，顯示控制部24進(jìn)行控制，以將在步驟S33中生成的或是在步驟S34中取得的表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像，和在步驟S30中輸入的上述設(shè)備的拍攝
圖像重疊顯示于顯示裝置4。在步驟S36中，例如，顯示控制部24根據(jù)是否從顯示裝置4等接收到顯示結(jié)束的信息等，判定是否結(jié)束圖12所示的處理。顯示控制部24在判定為結(jié)束處理時(shí)，則結(jié)束圖12所示的處理，在判定為不結(jié)束處理吋，則返回步驟S30進(jìn)行處理。以上，根據(jù)本實(shí)施方式，設(shè)備工作時(shí)，通過將根據(jù)測(cè)量信息生成的虛擬圖像與設(shè)備的拍攝圖像重疊顯示，能夠身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況。另夕卜，根據(jù)本實(shí)施方式，在設(shè)備未工作時(shí)，通過將根據(jù)理論值或此前的測(cè)量信息的平均值生成的虛擬圖像與設(shè)備的拍攝圖像重疊顯示，能夠身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況。這里設(shè)定本實(shí)施方式的系統(tǒng)結(jié)構(gòu)和軟件結(jié)構(gòu)等與實(shí)施方式I的結(jié)構(gòu)相同，但是，也可以與實(shí)施方式2的結(jié)構(gòu)相同，此時(shí)，制作部23根據(jù)測(cè)量信息和/或控制信息，判定設(shè)備是否在工作。例如，當(dāng)測(cè)量信息不在規(guī)定的范圍內(nèi)，以及/或者，當(dāng)在一定期間從操作服務(wù)器5沒有傳送控制信息到設(shè)備時(shí)，可以判定設(shè)備沒有處于工作中。〈實(shí)施方式4>
顯示控制部24可以根據(jù)參觀者在顯示裝置4上的畫面操作等，將針對(duì)每個(gè)設(shè)備設(shè)定的顯示圖層發(fā)送到顯示裝置4。圖13A 圖13D表示以每個(gè)顯示圖層顯示設(shè)備的例子。圖13A表示高爐的外觀。圖13B表示高爐內(nèi)部的耐火磚。圖13C表示高爐內(nèi)的鐵礦石和焦炭的情形。圖13D表示高爐的剖面。在顯示裝置4請(qǐng)求如圖13A或圖13B所示的顯示圖層時(shí)，顯示控制部24控制從存儲(chǔ)裝置12取得預(yù)先生成的顯示圖層的虛擬圖像，將取得的顯示圖層的虛擬圖像和由拍攝圖像輸入部21輸入的拍攝圖像重疊顯示于顯示裝置4。根據(jù)本實(shí)施方式，根據(jù)參觀者的要求等，將以各種顯示圖層表示設(shè)備等的工作狀況的虛擬圖像與設(shè)備的拍攝圖像重疊顯示，由此可以更加身臨其境地、詳細(xì)地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況。〈實(shí)施方式5> 圖14表示實(shí)施方式5的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。如圖14所示，與實(shí)施方式I的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)相比，實(shí)施方式5的設(shè)備引導(dǎo)系統(tǒng)的系統(tǒng)結(jié)構(gòu)不包括攝像機(jī)2。例如，本實(shí)施方式的顯示裝置4是貼于窗體的透視型的液晶薄膜。AR服務(wù)器I從傳感器S1 35輸入由傳感器S1 35測(cè)量的測(cè)量信息(例如，高爐內(nèi)部的溫度信息等)。AR服務(wù)器I進(jìn)行控制，以根據(jù)輸入的測(cè)量信息生成表示設(shè)備外部或內(nèi)部狀況的虛擬圖像，并將生成的虛擬圖像與透過設(shè)置有顯示裝置4的視窗所看見的設(shè)備重疊顯示。圖15表示實(shí)施方式5的AR服務(wù)器I的軟件結(jié)構(gòu)的ー個(gè)例子。如圖15所示，AR服務(wù)器I的軟件結(jié)構(gòu)包括，測(cè)量信息輸入部22、制作部23、顯示控制部24。測(cè)量信息輸入部22從傳感器S1 35接收并輸入由傳感器S1 35測(cè)量的測(cè)量信
O制作部23根據(jù)測(cè)量信息輸入部22輸入的測(cè)量信息生成表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像。顯示控制部24進(jìn)行控制，將由制作部23生成的表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像與透過設(shè)置有顯示裝置4的窗體看見的設(shè)備重疊并顯示。圖16是表示實(shí)施方式5的AR服務(wù)器I的顯示控制處理的的一個(gè)例子的流程圖。在步驟S40中，測(cè)量信息輸入部22從傳感器S1 35接收并輸入由傳感器S1 35測(cè)量的測(cè)量信息。在步驟S41中，制作部23根據(jù)步驟S40輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部狀況的虛擬圖像。在步驟S42中，顯示控制部24進(jìn)行控制，將在步驟S41中生成的表示設(shè)備外部或內(nèi)部狀況的虛擬圖像與透過設(shè)置有顯示裝置4的窗體看見的設(shè)備重疊顯示。在步驟S43中，例如，顯示控制部24，根據(jù)是否從顯示裝置4等接收到顯示結(jié)束的信息等，判定是否結(jié)束如圖16所示的處理。在顯示控制部24判定為結(jié)束處理時(shí)，則結(jié)束如圖16所示的處理，在判定為不結(jié)束處理時(shí)，則返回步驟S40進(jìn)行處理。以上，根據(jù)本實(shí)施方式，也可以身臨其境地向設(shè)施和エ廠的參觀者展示設(shè)備等的工作狀況。
〈實(shí)施方式6>即使在計(jì)算機(jī)控制全盛的現(xiàn)今的時(shí)代，煉鐵廠內(nèi)，經(jīng)常還是由操作者根據(jù)從高爐的監(jiān)視窗ロ觀察到的生鐵的顏色或根據(jù)從轉(zhuǎn)爐ロ噴射出的火焰等預(yù)測(cè)高爐和轉(zhuǎn)爐內(nèi)部的狀況，并根據(jù)與此時(shí)的狀況相應(yīng)的操作者的判斷來進(jìn)行エ廠設(shè)備的控制。但是，此判斷所需熟練度，并非易事，在操作者不能適當(dāng)判斷的情況下，可能招致エ廠設(shè)備所生產(chǎn)的產(chǎn)品質(zhì)量下降。因此，在本實(shí)施方式中，在根據(jù)操作者的判斷對(duì)エ廠設(shè)備進(jìn)行控制時(shí)的操作輔助系統(tǒng)進(jìn)行說明，該系統(tǒng)模擬進(jìn)行控制時(shí)エ廠設(shè)備的狀況(例如高爐和轉(zhuǎn)爐的內(nèi)部狀況)如何，將模擬結(jié)果以三維圖像的形式顯示給操作者。在實(shí)施方式I 5的設(shè)備引導(dǎo)系統(tǒng)中，根據(jù)測(cè)量信息和控制信息生成表示當(dāng)前設(shè) 備內(nèi)部的狀況的三維虛擬圖像，顯示給參觀者。但是，在實(shí)施方式6的操作輔助系統(tǒng)中，除測(cè)量信息外，還根據(jù)表示此后要進(jìn)行的控制內(nèi)容的信息(預(yù)定控制信息)，通過模擬來預(yù)測(cè)如果進(jìn)行該控制，設(shè)備內(nèi)部的狀況如何變化，并將其預(yù)測(cè)結(jié)果顯示給操作者。操作者觀看該預(yù)測(cè)結(jié)果，最終判斷實(shí)際上進(jìn)行怎樣的控制。以下，關(guān)于本實(shí)施方式的操作輔助系統(tǒng)，進(jìn)ー步進(jìn)行詳細(xì)說明。圖17表示實(shí)施方式6的操作輔助系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。如圖17所示，在操作輔助系統(tǒng)中，將服務(wù)器101，連接帶攝像機(jī)的HMD102(以下，簡(jiǎn)稱為HMD102)，傳感器IOS1 1035通過無線網(wǎng)絡(luò)連接。圖18表示實(shí)施方式6的操作輔助系統(tǒng)的軟件結(jié)構(gòu)。與實(shí)施方式I的AR服務(wù)器I的軟件結(jié)構(gòu)相比，本實(shí)施方式的操作輔助系統(tǒng)的軟件結(jié)構(gòu)還包含預(yù)定控制信息輸入部26。本實(shí)施方式中，軟件功能分散于服務(wù)器101和HMD102。服務(wù)器101的軟件結(jié)構(gòu)包含測(cè)量信息輸入部22、預(yù)定控制信息輸入部26、模擬部27。HMD102具有攝像機(jī)和作圖功能，軟件結(jié)構(gòu)包含拍攝圖像輸入部21和作圖/顯示控制部28。本實(shí)施方式中，雖然軟件功能分散于服務(wù)器101和HMD102,但也可與實(shí)施方式I ー樣,使服務(wù)器101具備全部功能,或者，也可以是使HMDlO具備全部功能，對(duì)此沒有特別的限定。首先說明服務(wù)器101的功能。測(cè)量信息輸入部22從傳感器S1 35測(cè)量接收由傳感器S1 35測(cè)量的測(cè)量信息作為輸入數(shù)據(jù)。此時(shí)，傳感器S1 35通過無線網(wǎng)絡(luò)服務(wù)器101發(fā)送測(cè)量信息。預(yù)定控制信息輸入部26接收由操作者輸入的預(yù)定控制信息作為輸入數(shù)據(jù)。與控制信息相同，預(yù)定控制信息除了有燒結(jié)礦等投入指示信息、焦炭投入指示信息、還原劑吹入指示信息和出鐵指示信息外，還有氧氣、空氣或各種氣體的吹入指示、以及壓力指示信息。操作者可通過與服務(wù)器相連的輸入裝置輸入預(yù)定控制信息，也可以通過便攜式終端遠(yuǎn)程輸入預(yù)定控制信息。模擬部27根據(jù)由測(cè)量信息輸入部22接收的測(cè)量信息，和由預(yù)定控制信息輸入部26接收的預(yù)定控制信息，模擬在執(zhí)行由預(yù)定控制信息所表示的內(nèi)容的控制時(shí)設(shè)備外部或內(nèi)部的狀況。例如，模擬部27將測(cè)量信息(高爐的當(dāng)前溫度等)和預(yù)定控制信息(表示經(jīng)各送風(fēng)ロ吹入氧氣及空氣的吹入量的吹入指示信息)代入到與設(shè)備相應(yīng)的設(shè)備內(nèi)估計(jì)模型，對(duì)設(shè)備內(nèi)的狀況進(jìn)行數(shù)值分析，輸出表示其結(jié)果的數(shù)值數(shù)據(jù)。
作為利用設(shè)備內(nèi)估計(jì)模型的技術(shù)，例如，在日本發(fā)明專利公開平8-295910號(hào)公報(bào)等中，公開了導(dǎo)入將爐內(nèi)狀態(tài)模型化的數(shù)學(xué)公式模型來模擬高爐的動(dòng)作的技木。利用該技術(shù)，能夠得到爐內(nèi)的三維坐標(biāo)中的各點(diǎn)的溫度和壓カ等數(shù)據(jù)。其次說明HMD102的功能。拍攝圖像輸入部21作為輸入數(shù)據(jù)接收由HMD102中的攝像機(jī)拍攝的エ廠內(nèi)設(shè)備的拍攝圖像。作圖·顯示控制部28接收由模擬部27得到的表示模擬結(jié)果的數(shù)值數(shù)據(jù)，根據(jù)該數(shù)值數(shù)據(jù)繪制三維虛擬圖像。并且，作圖·顯示控制部28進(jìn)行控制，將繪制的表示對(duì)設(shè)備外部或內(nèi)部的狀況模擬的結(jié)果的三維虛擬圖像，和由拍攝圖像輸入部21輸入的上述設(shè)備 的拍攝圖像重疊顯示于HMD102的顯示裝置。此時(shí)，服務(wù)器101通過無線網(wǎng)絡(luò)將表示模擬結(jié)果的數(shù)值數(shù)據(jù)發(fā)送給HMD102。圖19是表示實(shí)施方式6的操作輔助系統(tǒng)中處理的ー個(gè)例子的流程圖。在步驟S50中，拍攝圖像輸入部21接收由HMD102的攝像機(jī)拍攝的エ廠內(nèi)設(shè)備的拍攝圖像，作為輸入數(shù)據(jù)。在步驟S51中，測(cè)量信息輸入部22接收由傳感器S1 35測(cè)量的測(cè)量信息，作為輸入數(shù)據(jù)。在步驟S52中，預(yù)定控制信息輸入部26接收由操作者輸入的預(yù)定控制信息。在步驟S53中，模擬部27根據(jù)在步驟S51中輸入的測(cè)量信息和在步驟S52中輸入的預(yù)定控制信息，執(zhí)行對(duì)設(shè)備外部或內(nèi)部狀況進(jìn)行估計(jì)的模擬，輸出表示模擬結(jié)果的數(shù)值數(shù)據(jù)。并且，作圖·顯示控制部28根據(jù)表示模擬結(jié)果的數(shù)值數(shù)據(jù)生成三維虛擬圖像。在步驟S54中，作圖·顯示控制部28進(jìn)行控制，將在步驟S53中生成的表示對(duì)設(shè)備外部或內(nèi)部的狀況模擬結(jié)果的三維虛擬圖像，和在步驟S50中輸入的上述設(shè)備的拍攝圖像重疊顯示于HMD102的顯示器(顯示裝置)。在步驟S55中，例如，作圖 顯示控制部28根據(jù)是否從HMD102等接收到顯示結(jié)束的信息等，判定是否結(jié)束圖19所示的處理。在作圖 顯示控制部28判定為結(jié)束處理時(shí)，則結(jié)束圖19所示的處理，在判定為不結(jié)束處理時(shí)，則返回步驟S50進(jìn)行處理。以下，以將表示經(jīng)各送風(fēng)ロ吹入氧氣、空氣的吹入量的吹入指示信息用作預(yù)定控制信息的情形為例，更具體地說明將由作圖 顯示控制部28生成的三維虛擬圖像與拍攝圖像重疊顯示的處理。在大型高爐中，在本體的下部設(shè)置了 30 40處將空氣送入爐內(nèi)的送風(fēng)ロ，如果送風(fēng)ロ的送入量不同，則各送風(fēng)ロ周邊的溫度分布也各不相同。因此，對(duì)各送風(fēng)ロ分配識(shí)別用的ID (以下，簡(jiǎn)稱送風(fēng)ロ ID)，在模擬部27執(zhí)行模擬時(shí)，作為預(yù)定控制信息，指定送風(fēng)ロ ID并輸入表示氧氣、空氣的吹入量的吹入指示信息。由此，便輸入了與各送風(fēng)ロ相應(yīng)的、表示三維坐標(biāo)中各點(diǎn)的吹入量的數(shù)據(jù)。將基于由傳感器得到的測(cè)量信息的計(jì)算值輸入，作為高爐內(nèi)的三維坐標(biāo)的各點(diǎn)的溫度數(shù)據(jù)的初始值。模擬部27將輸入的預(yù)定控制信息和測(cè)量信息作為初始條件，根據(jù)表示高爐內(nèi)的狀態(tài)的數(shù)學(xué)公式模型，進(jìn)行流體的運(yùn)動(dòng)方程式和熱傳導(dǎo)法方程式的數(shù)值分析，從而計(jì)算出經(jīng)過一定時(shí)間后，高爐內(nèi)三維坐標(biāo)中各點(diǎn)處的各種數(shù)值數(shù)據(jù)(溫度數(shù)據(jù)、速度數(shù)據(jù)、壓カ數(shù)據(jù)等)。
作圖 顯示控制部28從模擬部27接收表示模擬結(jié)果的高爐內(nèi)三維坐標(biāo)上各點(diǎn)處的數(shù)值數(shù)據(jù)，根據(jù)接收的數(shù)值數(shù)據(jù)生成表示模擬結(jié)果(溫度分布、速度分布、壓カ分布等)的三維虛擬圖像。進(jìn)而，作圖·顯示控制部28在將生成的三維虛擬圖像和拍攝圖像重疊顯示時(shí)，例如，根據(jù)HMD102上的攝像機(jī)拍攝的高爐的圖像，識(shí)別用戶正觀看的部分的方位和角度。具體來說，由于HMD102上的攝像機(jī)所拍攝的高爐的圖像，與用戶的視野范圍內(nèi)捕捉到的高爐的圖像大致相同，因此預(yù)先將從各種角度、方位拍攝高爐的圖像存儲(chǔ)在HMD102內(nèi)的存儲(chǔ)器中，通過對(duì)HMD102的攝像機(jī)拍攝的圖像和存儲(chǔ)在存儲(chǔ)器內(nèi)的圖像進(jìn)行匹配，從而識(shí)別用戶正觀看的部分的方位、角度。然后，作圖·顯示控制部28根據(jù)識(shí)別的方位、角度，控制顯示給操作者的表示模擬結(jié)果的三維虛擬圖像的方向。而且，操作者也可以通過輸入裝置自己操作調(diào)整三維虛擬圖像的方向，對(duì)此沒有特別限定。 根據(jù)上述結(jié)構(gòu)，操作者可以根據(jù)模擬的結(jié)果提前確認(rèn)，自己之后所要進(jìn)行的控制會(huì)使高爐或轉(zhuǎn)爐內(nèi)的溫度分布及壓カ分布成為何種狀況。由此，例如，若高爐內(nèi)的模擬結(jié)果顯示溫度分布良好，則操作者可進(jìn)行預(yù)定的控制，若模擬結(jié)果顯示溫度分布不良，則操作者可再次研究控制內(nèi)容，選擇適當(dāng)?shù)牟僮?。因此，即便是?jīng)驗(yàn)少的操作者也可以使要求熟練度的高爐等エ廠設(shè)備的良好運(yùn)轉(zhuǎn)。而且，由于內(nèi)部的溫度分布等以三維的虛擬圖像與實(shí)際的高爐或轉(zhuǎn)爐重疊而進(jìn)行顯示，因此操作者可以直觀掌握設(shè)備內(nèi)部的狀況，并能夠快速且正確地了解模擬結(jié)果是否良好。在本實(shí)施方式中，以使用帶有攝像機(jī)的非透視型的HMD102的情形為例進(jìn)行了說明，但也可以適用實(shí)施方式5的結(jié)構(gòu)，通過使用透視型的HMD，而不含有攝像機(jī)。S卩，HMD不具有拍攝圖像輸入部21，作圖·顯示控制部28進(jìn)行控制，將所生成的三維虛擬圖像疊加于從HMD實(shí)際觀看到的設(shè)備并顯示。此時(shí)，如果在HMD上配備了 GPS及加速度傳感器，則HMD可識(shí)別用戶從何方位、角度觀看設(shè)備。而且，預(yù)先定義了模擬所用的三維坐標(biāo)與實(shí)際的設(shè)備的方位之間的關(guān)系。由此，即使在不具有攝像機(jī)的HMD的情形下，也可根據(jù)識(shí)別出的方位、角度，對(duì)用于向操作者顯示的表示模擬結(jié)果的三維虛擬圖像的方向進(jìn)行控制，疊加于從透視型的HMD觀看到的設(shè)備進(jìn)行顯示。<實(shí)施方式7>在煉鐵廠，將從高爐里出來的熔鐵裝入混鐵車(魚雷車)等搬運(yùn)到煉鋼車間，保持溶解狀態(tài)裝入煉鋼爐。因此，對(duì)于混鐵車，也可將其作為車間設(shè)備的一部分，與實(shí)施方式I相同，生成表示內(nèi)部狀況的虛擬圖像，與混鐵車重疊顯示，而向操作員顯示。即，可以從傳感器獲取混鐵車的內(nèi)部、表面的溫度、壓カ等測(cè)量信息，使用該測(cè)量信息并根據(jù)與混鐵車關(guān)聯(lián)的設(shè)備內(nèi)估計(jì)模型，生成表示溫度分布等的虛擬圖像，將該虛擬圖像與實(shí)際的混鐵車重疊顯不O在本實(shí)施方式中，還可以表示與由混鐵車搬運(yùn)的熔鐵相應(yīng)的訂貨編號(hào)。下面進(jìn)ー步詳細(xì)說明本實(shí)施方式的操作輔助系統(tǒng)。圖20表示實(shí)施方式7的操作輔助系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。如圖20所示，操作輔助系統(tǒng)中，服務(wù)器101，帶有攝像機(jī)的HMD102 (以下，簡(jiǎn)稱HMD102)和傳感器KM1 1045通過無線網(wǎng)絡(luò)連接。在實(shí)施方式7中，在HMD102中執(zhí)行實(shí)施方式I中由AR服務(wù)器執(zhí)行的各種處理。下面詳細(xì)說明HMD102的功能。HMD102獲取由一體配置于本機(jī)的攝像機(jī)拍攝的エ廠內(nèi)設(shè)備(圖20的例中為混鐵車)的拍攝圖像。HMD102還通過無線網(wǎng)絡(luò)等獲取由傳感器KM1-KM5測(cè)量的測(cè)量信息(例如，混鐵車內(nèi)部的溫度信息等)。本實(shí)施方式中，在エ廠內(nèi)的設(shè)備上貼附用于識(shí)別エ廠內(nèi)各設(shè)備的標(biāo)記，HMD102可通過配置于本機(jī)的攝像機(jī)識(shí)別各標(biāo)記來識(shí)別各設(shè)備。具體來說，HMD102，在本機(jī)的存儲(chǔ)器中保存用于識(shí)別各設(shè)備的設(shè)備ID和與各標(biāo)記相應(yīng)的圖21所示的設(shè)備標(biāo)記對(duì)應(yīng)表，通過由攝像機(jī)識(shí)別標(biāo)識(shí)，從設(shè)備標(biāo)記對(duì)應(yīng)表中讀出與各標(biāo)記對(duì)應(yīng)的設(shè)備ID，從而識(shí)別各設(shè)備。圖21表示設(shè)備標(biāo)記對(duì)應(yīng)表的例子。HMD102進(jìn)行控制，根據(jù)獲取的測(cè)量信息生成表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像，并將生成的虛擬圖像與由攝像機(jī)拍攝的拍攝圖像重疊顯示于裝備于本機(jī)的顯示器(顯示裝置)。
·
本實(shí)施方式的特征為，HMD102根據(jù)設(shè)備ID生成表示分配給設(shè)備內(nèi)的產(chǎn)品的訂貨編號(hào)的虛擬圖像，將生成的訂貨編號(hào)的虛擬圖像與由攝像機(jī)拍攝的設(shè)備的拍攝圖像重疊顯示于本機(jī)的顯示裝置。下面對(duì)此詳細(xì)說明。本實(shí)施方式中，服務(wù)器101保存將用于識(shí)別各設(shè)備的設(shè)備ID和訂貨編號(hào)相關(guān)聯(lián)的圖22所示的設(shè)備利用狀況表。在向エ廠內(nèi)的制造管理系統(tǒng)登記數(shù)據(jù)時(shí)等，由操作者更新該設(shè)備利用狀況表。例如，在開始利用高爐制造生鐵的作業(yè)時(shí)，操作者向制造管理系統(tǒng)輸入分配給在該高爐中制造的生鐵的訂貨編號(hào)，由此，更新上述設(shè)備利用狀況表。即，本實(shí)施方式中，服務(wù)器101與如圖2所示的AR服務(wù)器I不同，其存儲(chǔ)制造管理系統(tǒng)的數(shù)據(jù)。圖22表示設(shè)備利用狀況表的例子。HMD102的硬件結(jié)構(gòu)與如圖2所示的AR服務(wù)器I相同，包括CPU、存儲(chǔ)裝置(存儲(chǔ)器)、通信裝置。CPU根據(jù)在存儲(chǔ)裝置中的程序和數(shù)據(jù)，執(zhí)行控制HMD102的處理等，由此實(shí)現(xiàn)基于下述軟件結(jié)構(gòu)和流程圖的處理。圖23表示帶有攝像機(jī)的HMD的軟件結(jié)構(gòu)。如圖23所示，HMD102的軟件結(jié)構(gòu)包括拍攝圖像輸入部21、測(cè)量信息輸入部22、確定處理部29、制作部23、顯示控制部24。拍攝圖像輸入部21接收由配置于HMD102的攝像機(jī)拍攝的エ廠內(nèi)設(shè)備的拍攝圖像，作為輸入數(shù)據(jù)。測(cè)量信息輸入部22從傳感器S1 35接收由傳感器S1 35測(cè)量的測(cè)量信息，作為輸入數(shù)據(jù)。確定處理部29確定與各設(shè)備內(nèi)的產(chǎn)品對(duì)應(yīng)的訂貨編號(hào)。具體來說，確定處理部29從上述設(shè)備標(biāo)記對(duì)應(yīng)表中讀取與攝像機(jī)捕捉的貼于エ廠內(nèi)設(shè)備的標(biāo)記對(duì)應(yīng)的設(shè)備ID。圖20所示的例子中，在配置于本機(jī)的攝像機(jī)捕捉到貼于混鐵車A的標(biāo)記A和貼于混鐵車B的標(biāo)記B時(shí)，確定處理部29分別從設(shè)備標(biāo)記對(duì)應(yīng)表讀取與標(biāo)記對(duì)應(yīng)的設(shè)備ID，并識(shí)別貼有標(biāo)記A的設(shè)備為混鐵車A，貼有標(biāo)記B的設(shè)備為混鐵車B。確定處理部29從上述設(shè)備利用狀況表中讀取各設(shè)備ID所對(duì)應(yīng)的訂貨編號(hào)，確定與各設(shè)備內(nèi)的產(chǎn)品等對(duì)應(yīng)的訂貨編號(hào)。圖20所示的例子中，在識(shí)別了混鐵車A和混鐵車B后，確定處理部29分別從設(shè)備利用狀況表讀取與設(shè)備ID對(duì)應(yīng)的產(chǎn)品ID，確定混鐵車A的產(chǎn)品ID為“ABC123”，搬運(yùn)“EDF456”的生鐵，混鐵車B的產(chǎn)品ID為“G123”，搬運(yùn)“X456”的生鐵。制作部23根據(jù)由測(cè)量信息輸入部22輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部狀況的虛擬圖像。另外，制作部23還生成表示由確定處理部29確定的訂貨編號(hào)的虛擬圖像。顯示控制部24進(jìn)行控制，將由制作部23生成的表示設(shè)備外部或內(nèi)部狀況的虛擬圖像和由拍攝圖像輸入部21輸入的上述設(shè)備的拍攝圖像重疊顯示于HMD102的顯示裝置。另外，顯示控制部24進(jìn)行控制，將由制作部23生成的表示訂貨編號(hào)的虛擬圖像和由拍攝圖像輸入部21輸入上述設(shè)備的拍攝圖像重疊顯示于HMD102的顯示裝置。圖20表示在HMD102中利用顯示控制部24，將由制作部23生成的表示訂貨編號(hào)的虛擬圖像和由攝像機(jī)拍攝的混鐵車的圖像重疊的情形。 在圖20中雖未示出將表示設(shè)備外部或內(nèi)部狀況的虛擬圖像重疊顯示的例子，但是，可以用實(shí)施方式4的結(jié)構(gòu)通過切換顯示圖層來顯示。另外，在圖20所示的例子中說明了為識(shí)別エ廠設(shè)備而使用標(biāo)記的結(jié)構(gòu)，但也可以代替標(biāo)記，利用RFID等無線IC標(biāo)簽識(shí)別エ廠設(shè)備。S卩，也可以，HMD102具有無線IC標(biāo)簽讀取功能，對(duì)各設(shè)備附加存儲(chǔ)各設(shè)備ID的無線IC標(biāo)簽，從中直接讀取設(shè)備ID，對(duì)此沒有特別限定。圖24是表示實(shí)施方式7的操作輔助系統(tǒng)中進(jìn)行處理的一個(gè)例子的流程圖。在步驟S60中，拍攝圖像輸入部21接收并輸入由配置于HMD102的攝像機(jī)拍攝的エ廠內(nèi)設(shè)備的拍攝圖像。在步驟S61中，測(cè)量信息輸入部22從傳感器S1 35接收并輸入由傳感器S1 35測(cè)量的測(cè)量信息。在步驟S62中，確定處理部29根據(jù)由配置于HMD102的攝像機(jī)捕捉到的標(biāo)記，確定各設(shè)備的設(shè)備ID，并根據(jù)所確定的設(shè)備ID，確定在各設(shè)備中保管的產(chǎn)品等的訂貨編號(hào)。在步驟S63中，制作部23根據(jù)在步驟S61中輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部狀況的三維虛擬圖像。另外，制作部23根據(jù)在步驟S62中確定的訂貨編號(hào)，生成表示訂貨編號(hào)的虛擬圖像。在步驟S64中，顯示控制部24進(jìn)行控制，將在步驟S63中生成的表示設(shè)備外部或內(nèi)部狀況的三維虛擬圖像，與在步驟S60中輸入的上述設(shè)備的拍攝圖像重疊顯示于顯示裝置4。另外，顯示控制部24進(jìn)行控制，將在步驟S63中生成的表示訂貨編號(hào)的虛擬圖像，與在步驟S60中輸入的所述設(shè)備的拍攝圖像重疊顯示于顯示裝置4。在步驟S65中，例如，顯示控制部24根據(jù)是否從顯示裝置4等接收到顯示結(jié)束的信息等，判定是否結(jié)束圖24所示的處理。在顯示控制部24判定為結(jié)束處理時(shí)，則結(jié)束圖24所示的處理，在判定不結(jié)束處理吋，則返回步驟S60進(jìn)行處理。本實(shí)施方式不僅僅適用于エ廠的設(shè)備，也適用于等待發(fā)貨的產(chǎn)品。此時(shí)，由于不需要對(duì)表示設(shè)備內(nèi)部或外部的情形的虛擬圖像進(jìn)行重疊顯示，因此可以跳過S61，并在S63中不進(jìn)行生成表示設(shè)備內(nèi)部或外部的情形的虛擬圖像的處理，對(duì)此沒有特別限定。圖25表示實(shí)施方式7的操作輔助系統(tǒng)的系統(tǒng)結(jié)構(gòu)的ー個(gè)例子。在圖25中表示在等待發(fā)貨的線圈狀標(biāo)識(shí)上顯示訂貨編號(hào)的例子。在該例中，對(duì)等待發(fā)貨的線圈狀標(biāo)識(shí)附加標(biāo)記IOS1 1053，并利用HMD102捕捉該標(biāo)記，由此能夠獲取各線圈狀標(biāo)識(shí)的訂貨編號(hào)，詳細(xì)的處理內(nèi)容，與圖20中說明的例子相同，在此省略說明。圖25所示的例子，除了顯示訂貨編號(hào)外，還利用AR顯示裝載順序說明書。此時(shí)，操作者預(yù)先在服務(wù)器101中登記有關(guān)裝載順序的信息(利用訂貨編號(hào)定義的裝載順序等的信息)。在確定處理部29確定產(chǎn)品的訂貨編號(hào)時(shí)，讀取在服務(wù)器101中登記的與裝載順序相關(guān)信息，制作部23生成表示裝載順序說明書的虛擬圖像。由此，由于能夠快速掌握與設(shè)備內(nèi)收容的產(chǎn)品、半成品或材料等對(duì)應(yīng)的訂貨編號(hào)及裝載順序，因此操作員只需觀看エ廠內(nèi)的設(shè)備和產(chǎn)品，就可以順利地進(jìn)行發(fā)貨的準(zhǔn)備、輸送到下一個(gè)エ序的作業(yè)，并可防止作業(yè)發(fā)生錯(cuò)誤。在本實(shí)施方式中也說明了使用帶有攝像機(jī)的非透視型HMD102的情形的例子，但也可以適用實(shí)施方式5的結(jié)構(gòu)，使用透過型的HMD，而不包括攝像機(jī)。此時(shí)，在HMD中不具備拍攝圖像輸入部21，所以要進(jìn)行將制作部23生成的三維虛擬圖像疊加于通過HMD實(shí)際觀察到的設(shè)備并顯示的控制。以上，對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行了詳細(xì)敘述，但是本發(fā)明不限定與上述特定的實(shí)施方式，可以在權(quán)利要求中記載的本發(fā)明的要點(diǎn)的范圍內(nèi)做各種變形、變更。例如，在上述實(shí)施方式中說明了對(duì)內(nèi)部難以看到的煉鐵廠的高爐或轉(zhuǎn)爐等的設(shè)備內(nèi)部狀況進(jìn)行顯示的例子。然而，上述各實(shí)施方式也可適用于食品制造、化學(xué)·藥品制造等，在透明容器內(nèi)取用液體或粉末的設(shè)備。在將上述各實(shí)施方式適用于這樣的設(shè)備時(shí)，可以使參觀者直接看正在投入的液體或粉末，可以以標(biāo)簽等顯示方式重疊顯示該液體或粉末的屬性(材料名、溫度、粘度、酸度、酒精度、一次的投入量等)。這樣，可以ー邊觀看實(shí)時(shí)的運(yùn)轉(zhuǎn)狀況，一邊通過標(biāo)簽信息得到更具體的信息，井向參觀者提供更容易理解的參觀服務(wù)。在上述實(shí)施方式中，說明了所謂非透視型的顯示器和透視型的顯示器的例子，但是，本發(fā)明也可適用于非透視型的投影儀和透視型的投影儀。例如，可以不用顯示裝置4，而使用佩戴在參觀者頭部等的具有眼鏡型顯示部的顯示裝置。另外，例如，AR服務(wù)器I在對(duì)拍攝圖像和虛擬圖像重疊顯示時(shí)，進(jìn)行拍攝圖像和虛擬圖像的坐標(biāo)匹配。坐標(biāo)匹配的方法例如有，在設(shè)備上預(yù)先配置固定標(biāo)記，根據(jù)由攝像機(jī)2拍攝的圖像中的固定標(biāo)記，進(jìn)行拍攝圖像和虛擬圖像的坐標(biāo)匹配。另外，使用佩戴在參觀者頭部等的具有眼鏡型顯示部的顯示裝置吋，AR服務(wù)器I根據(jù)到顯示裝置的位置信息、方向信息等，估計(jì)參觀者在觀看何處，并進(jìn)行坐標(biāo)匹配以與估計(jì)的位置相符?？梢詫?duì)上述實(shí)施方式任意組合而實(shí)施。上述AR服務(wù)器I為計(jì)算機(jī)的ー個(gè)例子。〈實(shí)施方式8>圖26表示本實(shí)施方式的信息提供系統(tǒng)的結(jié)構(gòu)的ー個(gè)例子。信息提供系統(tǒng)具有AR提供裝置1000和信息處理裝置200。AR提供裝置1000和信息處理裝置200通過網(wǎng)絡(luò)連接，
可以相互通信。AR提供裝置1000是信息提供裝置(計(jì)算機(jī))的ー個(gè)例子，其可以是HMD (HeadMounted Display :頭戴式顯示器)等，將由AR提供裝置1000生成的圖像(計(jì)算機(jī)圖形圖像)顯示在與通過AR提供裝置1000感知的現(xiàn)實(shí)空間相符的位置，由此提供增強(qiáng)的現(xiàn)實(shí)感(AR Augmented Reality :增強(qiáng)現(xiàn)實(shí))。例如，AR提供裝置1000將表示起重車300的危險(xiǎn)范圍的危險(xiǎn)范圍圖像310重疊于現(xiàn)實(shí)空間的起重車300進(jìn)行顯示。例如，信息處理裝置200為服務(wù)器計(jì)算機(jī)，其管理與起重車300等危險(xiǎn)物(危險(xiǎn)目標(biāo)的ー個(gè)例子)相關(guān)的各種信息。在此，危險(xiǎn)目標(biāo)不限于危險(xiǎn)物本身，還包含任意的多個(gè)危險(xiǎn)物頻繁通過的道路等危險(xiǎn)場(chǎng)所和空間。圖27表示AR提供裝置1000的硬件結(jié)構(gòu)的ー個(gè)例子。AR提供裝置1000包括控制裝置1005、存儲(chǔ)裝置1010、通信裝置1015、顯示裝置1020、方位檢測(cè)裝置1025、姿態(tài)檢測(cè)裝置1030、以及拍攝裝置1035?？刂蒲b置1005例如為CPU (Central Processing Unit :中央處理器)，根據(jù)需要從存儲(chǔ)裝置1010讀取程序，并執(zhí)行程序。通過執(zhí)行程序，實(shí)現(xiàn)AR提供裝置1000的后述功能，和后述的流程圖中的處理。存儲(chǔ)裝置1010 為 ROM (Read Only Memory :只讀存儲(chǔ)器)、RAM (Random AccessMemory :隨機(jī)存儲(chǔ)區(qū))、HD (Hard Disk :硬盤)等，其存儲(chǔ)各種信息。具體來說，存儲(chǔ)裝置IOlO(ROM)用于存儲(chǔ)在AR提供裝置1000接通電源時(shí)最初要讀取的程序等。存儲(chǔ)裝置IOlO(RAM)起到AR提供裝置1000的主存儲(chǔ)器的功能。存儲(chǔ)裝置IOlO(HD)存儲(chǔ)程序以外由控制裝置1005計(jì)算的數(shù)值數(shù)據(jù)等。并且，AR提供裝置1000也可以從⑶-ROM等記錄介質(zhì)獲取存儲(chǔ)在存儲(chǔ)裝置1010中的各種信息，或通過網(wǎng)絡(luò)等下載。通信裝置1015以有線或無線的方式與信息處理裝置200通信，獲取與危險(xiǎn)物相關(guān)的各種信息。另外，通信裝置1015與作為位置檢測(cè)裝置的一個(gè)例子的衛(wèi)星通信，獲取軌道信息。顯示裝置1020為顯示部的ー個(gè)例子，可以是透視型液晶顯示器等，其顯示各種圖像。方位檢測(cè)裝置1025例如為電子羅盤，其檢測(cè)微弱的地磁(例如前后方向的地磁和左右方向的地磁)，根據(jù)地磁強(qiáng)度計(jì)算北方朝向，并計(jì)算出AR提供裝置1000的方位(方位
信息)。姿態(tài)檢測(cè)裝置1030例如為陀螺儀傳感器，檢測(cè)物體的角速度，通過對(duì)角速度積分等，計(jì)算出角度(AR提供裝置1000的姿態(tài)(姿態(tài)信息))。拍攝裝置1035拍攝現(xiàn)實(shí)空間。AR提供裝置1000的硬件結(jié)構(gòu)不限于此。例如，可以不采用方位檢測(cè)裝置1025和姿態(tài)檢測(cè)裝置1030，而采用將方位檢測(cè)裝置1025和姿態(tài)檢測(cè)裝置1030的功能一體化的方位姿態(tài)檢測(cè)裝置。圖28表示AR提供裝置1000的功能結(jié)構(gòu)的ー個(gè)例子。AR提供裝置1000包含測(cè)量部1040、方位信息取得部1045、姿態(tài)信息取得部1050、獲取部1055、視野確定部1060、顯示控制部1065以及影像取得部1070。測(cè)量部1040是位置信息獲取單元的ー個(gè)例子，其根據(jù)由通信裝置1015從衛(wèi)星獲取的軌道信息，測(cè)量(計(jì)算得到)表示AR提供裝置1000的當(dāng)前位置的信息(作為裝置位置信息的一個(gè)例子的AR位置信息)。方位信息取得部1045獲取由方位檢測(cè)裝置1025計(jì)算的方位信息。方位信息取得部1045也可以從方位檢測(cè)裝置1025接收地磁等的檢測(cè)信息來計(jì)算方位信息。姿態(tài)信息取得部1050獲取由姿態(tài)檢測(cè)裝置1030計(jì)算的姿態(tài)信息。姿態(tài)信息取得部1050也可以從姿態(tài)檢測(cè)裝置1030接收角速度等的檢測(cè)信息來計(jì)算姿態(tài)信息。、
從保存在信息處理裝置200的后述的存儲(chǔ)裝置280里，獲取部1055從存放有用于生成表示危險(xiǎn)物危險(xiǎn)范圍的危險(xiǎn)范圍圖像的信息的表中(后述的位置固定對(duì)象表、后述的移動(dòng)對(duì)象表等)，獲取(讀取)需要的信息作為與危險(xiǎn)物相關(guān)的各種信息。視野確定部1060根據(jù)由方位信息取得部1045取得的方位信息，和由姿態(tài)信息取得部1050取得的姿態(tài)信息，確定(推算)佩戴著AR提供裝置1000的用戶的視野。顯示控制部1065根據(jù)由方位信息取得部1045取得的方位信息、由姿態(tài)信息取得部1050取得的姿態(tài)信息、以及獲取部1055獲取的信息，生成增強(qiáng)圖像，并顯示于顯示裝置1020。此時(shí)，顯示控制部1065進(jìn)行坐標(biāo)校對(duì)，以使增強(qiáng)圖像與現(xiàn)實(shí)空間的危險(xiǎn)物匹配并顯示于顯示裝置1020。為正確地進(jìn)行現(xiàn)實(shí)空間與顯示空間(虛擬空間)之間的坐標(biāo)校對(duì)(幾何位置校準(zhǔn))，需要使生成虛擬空間的增強(qiáng)圖像的參數(shù)(內(nèi)部參數(shù)和外部參數(shù))與顯示裝置1020的 參數(shù)一致。由于顯示裝置1020的內(nèi)部參數(shù)已知，因此幾何位置匹配的問題歸結(jié)為求得顯示裝置1020的外部參數(shù)(即，AR提供裝置1000的位置和姿態(tài))。在此，為了求AR提供裝置1000的位置和姿態(tài)，可以適當(dāng)組合方位檢測(cè)裝置1025 (磁場(chǎng)傳感器)、姿態(tài)檢測(cè)裝置1030 (陀螺儀傳感器)、控制裝置1005 (GPS)、以及顯示裝置1020，采用各種方法。換言之，可分類為，利用傳感器測(cè)量的結(jié)果(AR位置信息、方位信息以及姿態(tài)信息)的方法；利用由顯示裝置1020拍攝的圖像的方法；將顯示裝置1020與傳感器組合以修正位置匹配的偏差的方法。本實(shí)施方式中對(duì)以下方法進(jìn)行說明，即，在事先校準(zhǔn)顯示裝置1020的內(nèi)部參數(shù)(焦距、鏡頭變形、縱橫比等)的前提下，顯示控制部1050采用取得測(cè)量到的AR提供裝置1000的AR位置信息、方位信息以及姿態(tài)信息，求出表示虛擬環(huán)境的虛擬坐標(biāo)系與預(yù)先設(shè)定的現(xiàn)實(shí)空間的基準(zhǔn)坐標(biāo)系之間的幾何變換矩陣(與虛擬坐標(biāo)系和基準(zhǔn)坐標(biāo)系之間的變換相對(duì)應(yīng)的變換信息)。如上所述，顯示控制部1065可以利用例如所拍攝的圖像中的某些標(biāo)志實(shí)時(shí)推算顯示裝置1020的外部參數(shù)(位置和姿態(tài))，由此求得幾何變換矩陣。此時(shí)，作為用于推算AR提供裝置1000的位置和姿態(tài)的標(biāo)志，可使用故意附加上的標(biāo)記等的標(biāo)志，可以使用輪廓信息、亮度邊緣、特征點(diǎn)等的自然特征。影像取得部1070取得由拍攝裝置1035拍攝的現(xiàn)實(shí)空間的影像數(shù)據(jù)。圖29表示信息處理裝置200的硬件結(jié)構(gòu)的ー個(gè)例子。信息處理裝置200包括控制裝置275、存儲(chǔ)裝置280、通信裝置285、顯示裝置290和輸入裝置295?？刂蒲b置275例如為CPU (Central Processing Unit)，其根據(jù)需要從存儲(chǔ)裝置280讀取程序，并執(zhí)行程序。通過執(zhí)行程序，實(shí)現(xiàn)信息處理裝置200的后述功能，和后述流程圖中的處理。存儲(chǔ)裝置280為存儲(chǔ)部的一個(gè)例子，可以為ROM (Read Only Memeory)、RAM (RandomAccess Memory)、HD(Hard Disk)等，其存儲(chǔ)各種信息。進(jìn)ー步詳細(xì)說明，存儲(chǔ)裝置IOlO(ROM)用于存儲(chǔ)信息處理裝置200接通電源時(shí)最初要讀取的程序等。存儲(chǔ)裝置280 (RAM)起到信息處理裝置200的主存儲(chǔ)器的功能。存儲(chǔ)裝置280 (HD)存儲(chǔ)程序以外由控制裝置275計(jì)算的數(shù)值數(shù)據(jù)等。并且，信息處理裝置200也可以從⑶-ROM等記錄介質(zhì)獲取存儲(chǔ)在存儲(chǔ)裝置280中的各種信息，或通過網(wǎng)絡(luò)下載。通信裝置285與用于檢測(cè)危險(xiǎn)物正在工作的狀態(tài)(工作狀態(tài))的工作狀態(tài)檢測(cè)傳感器通信，從工作狀態(tài)檢測(cè)傳感器取得表示危險(xiǎn)物當(dāng)前位置的信息(作為危險(xiǎn)目標(biāo)位置信息的例子的危險(xiǎn)物位置信息)。顯示裝置290為液晶顯示器等，其顯示各種信息。輸入裝置295為用戶操作的鍵盤和鼠標(biāo)等，其用于向信息處理裝置200輸入各種信息。
圖30是保存有關(guān)危險(xiǎn)物的信息的表的一個(gè)例子(固定位置對(duì)象表210)。固定位置對(duì)象表210中包括危險(xiǎn)物ID、危險(xiǎn)物名稱、危險(xiǎn)種類、基準(zhǔn)位置、狀態(tài)、各狀態(tài)下的危險(xiǎn)范圍、現(xiàn)狀信息。除現(xiàn)狀信息以外，各種信息例如由管理者通過輸入裝置295等設(shè)定。關(guān)于現(xiàn)狀信息的設(shè)定在后面進(jìn)行說明。危險(xiǎn)物ID信息為用于識(shí)別危險(xiǎn)物的識(shí)別信息。危險(xiǎn)物名稱信息為表示危險(xiǎn)物的名稱的信息。危險(xiǎn)物種類的信息為表示不同危險(xiǎn)物的危險(xiǎn)種類的信息?；鶞?zhǔn)位置信息是表示設(shè)置危險(xiǎn)物的位置(緯度和經(jīng)度)的信息(設(shè)置位置信息)。并且，設(shè)置位置信息是表示被固定的危險(xiǎn)物的位置的信息，表示危險(xiǎn)物的當(dāng)前位置，因此與危險(xiǎn)物信息等同。另外，設(shè)置位置信息也用于確定表示危險(xiǎn)范圍圖像的位置的信息(顯示位置信息)。在此，例如，對(duì)維度“35. 354417”，經(jīng)度“139. 867623”的位置信息，位置信息表示為“35. 354417，139. 867623”。本實(shí)施方式中，為說明方便，認(rèn)為危險(xiǎn)物的高度為“O”。狀態(tài)信息是用于識(shí)別危險(xiǎn)物的工作狀態(tài)的信息(狀態(tài)識(shí)別信息)。在圖30中示出兩種狀態(tài)識(shí)別信息。第一種是，根據(jù)當(dāng)前時(shí)刻，為識(shí)別危險(xiǎn)物是否在工作的狀態(tài)識(shí)別信息(“9:00 17:00”、工作中等)。第二種是，根據(jù)危險(xiǎn)物工作時(shí)(工作中)的狀態(tài)，識(shí)別危險(xiǎn)物正以何種狀態(tài)工作的狀態(tài)識(shí)別信息(完全工作、僅東側(cè)工作等)。各狀態(tài)下的危險(xiǎn)范圍信息是危險(xiǎn)范圍信息的ー個(gè)例子，是表示與危險(xiǎn)物的狀態(tài)相應(yīng)的危險(xiǎn)范圍的信息?，F(xiàn)狀信息是表示危險(xiǎn)物是否在工作的信息。本實(shí)施方式中，危險(xiǎn)物正在工作時(shí)，通過信息處理裝置200，設(shè)定為“〇”，危險(xiǎn)物不工作吋，不進(jìn)行任何設(shè)定(被清除)。圖31是表示保存與危險(xiǎn)物相關(guān)的信息的表的例子(移動(dòng)對(duì)象表220)。移動(dòng)對(duì)象表220中包括危險(xiǎn)物ID、危險(xiǎn)物名稱、危險(xiǎn)物種類、測(cè)位基準(zhǔn)、狀態(tài)、各狀態(tài)下的危險(xiǎn)范圍、現(xiàn)狀、當(dāng)前位置信息。除現(xiàn)狀的信息和當(dāng)前位置信息外，各種信息例如由管理者通過輸入裝置295等設(shè)定。關(guān)于現(xiàn)狀信息和當(dāng)前位置信息在后面進(jìn)行說明。測(cè)位基準(zhǔn)信息為用于顯示危險(xiǎn)范圍圖像位置的信息(顯示位置信息)。當(dāng)前位置信息為表示危險(xiǎn)物當(dāng)前的位置的信息(危險(xiǎn)物位置信息)。這里，省略與圖30所示的相同的項(xiàng)目的說明。在本實(shí)施方式中，與危險(xiǎn)物相關(guān)的信息以表的形式、且對(duì)應(yīng)于危險(xiǎn)物的種類(是固定危險(xiǎn)物還是移動(dòng)危險(xiǎn)物)保存在多個(gè)表中，但不限于這樣的結(jié)構(gòu)。例如，可以將與危險(xiǎn)物相關(guān)的信息保存為ー個(gè)或者多個(gè)文件。另外，例如，也可以將與危險(xiǎn)物相關(guān)的信息保存為
ー個(gè)表。圖32表示作為信息處理裝置200的一個(gè)例子的工作狀態(tài)設(shè)定部對(duì)“現(xiàn)狀”進(jìn)行設(shè)定的處理(工作狀態(tài)設(shè)定處理)的一個(gè)例子的流程圖。
圖32所示的流程圖中的處理每隔一定間隔(例如，I分鐘)進(jìn)行一次。首先，工作狀態(tài)設(shè)定部獲取當(dāng)前時(shí)刻(步驟S105)。其次，工作狀態(tài)設(shè)定部從存儲(chǔ)裝置280讀出與危險(xiǎn)物相關(guān)的信息(步驟SI 10)。再次，工作狀態(tài)設(shè)定部，根據(jù)當(dāng)前時(shí)刻和與危險(xiǎn)物相關(guān)的信息，對(duì)“現(xiàn)狀”進(jìn)行設(shè)定(步驟SI 15)，工作狀態(tài)設(shè)定處理結(jié)束。具體來說，工作狀態(tài)設(shè)定部依次讀出與危險(xiǎn)物相關(guān)的信息，在狀態(tài)信息是用于根據(jù)當(dāng)前時(shí)刻識(shí)別危險(xiǎn)物是否在工作的狀態(tài)識(shí)別信息(時(shí)間帯)時(shí)，判定當(dāng)前時(shí)刻是否包含在此時(shí)間帶內(nèi)。此時(shí)，如果工作狀態(tài)設(shè)定部判定當(dāng)前時(shí)刻包含在此時(shí)間帶內(nèi)，則設(shè)定“現(xiàn)狀”為“O”。另ー方面，如果工作狀態(tài)設(shè)定部判定當(dāng)前時(shí)刻不包含在此時(shí)間帶內(nèi)，則清除“現(xiàn)狀”。在此，舉例說明當(dāng)前時(shí)刻為“15:00”時(shí)，進(jìn)行如圖32所示的流程圖的處理的情形。
·
首先，在步驟S105中，工作狀態(tài)設(shè)定部獲取當(dāng)前時(shí)刻“ 15:00”。其次，在步驟SllO中，工作狀態(tài)設(shè)定部從固定位置對(duì)象表210和移動(dòng)對(duì)象表220中讀出狀態(tài)信息。再次，在步驟S115中，工作狀態(tài)設(shè)定部一件一件地設(shè)定與狀態(tài)信息相應(yīng)的“現(xiàn)狀”，例如，在讀出的狀態(tài)信息為時(shí)間帶“ 9:00 17:00 ”時(shí)，判定當(dāng)前時(shí)刻“ 15:00 ”是否包含在時(shí)間帶“9:00 17:00”內(nèi)。另外，工作狀態(tài)設(shè)定部判定當(dāng)前時(shí)刻“ 15:00”包含在時(shí)間帶“9:00 17:00”內(nèi)時(shí)，則設(shè)定與狀態(tài)信息(時(shí)間帶“9:00 17:00”)相應(yīng)的“現(xiàn)狀”為“〇”。設(shè)定“現(xiàn)狀”的處理不限于上述處理。例如，也可以用ー下處理取代步驟S105 步驟SI 15的處理，S卩，工作狀態(tài)設(shè)定部通過工作狀態(tài)檢測(cè)傳感器接收表示危險(xiǎn)物是否在エ作的信息，判定實(shí)際上危險(xiǎn)物是否在工作，當(dāng)判斷危險(xiǎn)物在工作時(shí)，設(shè)定“現(xiàn)狀”為“〇”，當(dāng)判斷危險(xiǎn)物未在工作吋，則進(jìn)行清除“現(xiàn)狀”。圖33表示工作狀態(tài)設(shè)定部對(duì)“現(xiàn)狀”進(jìn)行設(shè)定的處理(工作狀態(tài)設(shè)定處理)ー個(gè)例子的流程圖，其中工作狀態(tài)設(shè)定部是信息處理裝置200的功能的ー個(gè)例子。當(dāng)從工作狀態(tài)傳感器接收到危險(xiǎn)物狀態(tài)信息吋，進(jìn)行圖33所示的流程圖的處理。首先，工作狀態(tài)設(shè)定部從工作狀態(tài)檢測(cè)傳感器接收危險(xiǎn)物狀態(tài)信息(步驟S120)。危險(xiǎn)物狀態(tài)信息中包含了危險(xiǎn)物ID信息、和表示危險(xiǎn)物工作狀態(tài)的信息(工作狀態(tài)信息)。例如，作為工作狀態(tài)信息設(shè)定危險(xiǎn)物不工作時(shí)為“O”;危險(xiǎn)物以第I種狀態(tài)工作時(shí)為“I”;危險(xiǎn)物以第2種狀態(tài)工作時(shí)為“2”等。其次，工作狀態(tài)設(shè)定部從存儲(chǔ)裝置280讀出與危險(xiǎn)物相關(guān)的信息(步驟S125)。具體來說，工作狀態(tài)設(shè)定部讀出在危險(xiǎn)物狀態(tài)信息中對(duì)應(yīng)于危險(xiǎn)物ID信息的與危險(xiǎn)物相關(guān)的信息。再次，根據(jù)接收的危險(xiǎn)物狀態(tài)信息和與危險(xiǎn)物相關(guān)的信息，工作狀態(tài)設(shè)定部對(duì)“現(xiàn)狀”進(jìn)行設(shè)定(步驟S130)，工作狀態(tài)設(shè)定處理結(jié)束。具體來說，工作狀態(tài)設(shè)定部，在根據(jù)讀出的與危險(xiǎn)物相關(guān)的信息，確定危險(xiǎn)物狀態(tài)信息中的與工作狀態(tài)信息對(duì)應(yīng)的“狀態(tài)”吋，將與所確定的“狀態(tài)”相應(yīng)的“現(xiàn)狀”設(shè)定為“ O ”。另ー方面，工作狀態(tài)設(shè)定部在不能確定時(shí)(工作狀態(tài)信息表示危險(xiǎn)物未在工作時(shí))，則清除讀出的全部“現(xiàn)狀”。
在此舉例說明，在從檢測(cè)危險(xiǎn)物ID “001”的工作狀態(tài)的工作狀態(tài)傳感器，接收到危險(xiǎn)物狀態(tài)信息(危險(xiǎn)物ID “001”，工作狀態(tài)信息“2”)吋，進(jìn)行圖33所示流程圖的處理。首先，在步驟S120中，工作狀態(tài)設(shè)定部，從用于檢測(cè)危險(xiǎn)物ID “001”的危險(xiǎn)物“起重機(jī)”的工作狀態(tài)的工作狀態(tài)檢測(cè)傳感器，接收危險(xiǎn)物狀態(tài)信息。其次，在步驟S125中，工作狀態(tài)設(shè)定部從固定位置對(duì)象表210和移動(dòng)對(duì)象表220，讀出對(duì)應(yīng)于危險(xiǎn)物ID “001”的狀態(tài)“完全工作”和“僅東側(cè)工作”。在本實(shí)施方式中，狀態(tài)“完全工作”作為第一種形態(tài)下的工作，規(guī)定為“ I” ;狀態(tài)“僅東側(cè)工作”作為第二種形態(tài)下的工作，規(guī)定為“2”。再次，在步驟S130中，工作狀態(tài)設(shè)定部根據(jù)讀出的狀態(tài)“完全工作I”和“僅東側(cè)工作2”，確定危險(xiǎn)物狀態(tài)信息中的與工作形態(tài)信息“2”對(duì)應(yīng)的狀態(tài)“僅東側(cè)工作”，并將與所確定的狀態(tài)“僅東側(cè)工作”對(duì)應(yīng)的“現(xiàn)狀”設(shè)定為“〇”。 圖34表示位置信息設(shè)定部對(duì)危險(xiǎn)物的現(xiàn)在的位置信息進(jìn)行設(shè)定的處理(位置信息設(shè)定處理)的一個(gè)例子的流程圖，其中，位置信息設(shè)定部為信息處理裝置200的功能的一個(gè)例子。首先，位置信息設(shè)定部從用于測(cè)量危險(xiǎn)物位置的測(cè)量器(或設(shè)有測(cè)量器的危險(xiǎn)物)接收危險(xiǎn)物確定信息(步驟S135)。在危險(xiǎn)物確定信息中，包含危險(xiǎn)物的當(dāng)前位置信息(危險(xiǎn)物位置信息)和危險(xiǎn)物ID信息。這里，也可以不使用危險(xiǎn)物位置信息，而是接收用于計(jì)算危險(xiǎn)物位置信息的軌道信息等，并由位置信息設(shè)定部計(jì)算危險(xiǎn)物位置信息。其次，位置信息設(shè)定部根據(jù)接收到的危險(xiǎn)物位置信息和與危險(xiǎn)物相關(guān)的信息，設(shè)定(更新)“當(dāng)前位置”(步驟S140)，位置信息設(shè)定處理結(jié)束。例如，在步驟S140中，當(dāng)位置信息設(shè)定部接收到包含危險(xiǎn)物ID “010”、危險(xiǎn)物位置信息“35. 355187，139. 874618”的危險(xiǎn)物確定信息時(shí)，參照固定位置對(duì)象表210和移動(dòng)對(duì)象表220，在與危險(xiǎn)物ID “010”對(duì)應(yīng)的“當(dāng)前位置”，設(shè)定危險(xiǎn)物位置信息“ 35. 355187，139. 874618”。圖35是由AR提供裝置1000的各功能進(jìn)行的顯示處理的ー個(gè)例子的流程圖。在用于識(shí)別是否利用AR功能的模式(AR模式)為ON時(shí)，重復(fù)進(jìn)行顯示處理。這里，用戶通過按下切換AR模式的開關(guān)，來切換AR模式的0N/0FF (開/關(guān))。首先，在步驟S145中，獲取部1055從信息處理裝置200，由固定位置對(duì)象表210和移動(dòng)對(duì)象表220獲取(提取)現(xiàn)狀為“〇”的目標(biāo)數(shù)據(jù)。并且，在從固定位置對(duì)象表210中提取的目標(biāo)數(shù)據(jù)中包含危險(xiǎn)物ID、基準(zhǔn)位置、以及各狀態(tài)下危險(xiǎn)范圍的信息。并且，在從固定位置對(duì)象表210中提取的目標(biāo)數(shù)據(jù)中包含危險(xiǎn)物ID、基準(zhǔn)位置、以及各狀態(tài)下危險(xiǎn)范圍、當(dāng)前位置的信息。在本實(shí)施方式中，如圖30和圖31所示，讀取到4個(gè)現(xiàn)狀為“〇”的目標(biāo)數(shù)據(jù)。例如，根據(jù)危險(xiǎn)物ID “001”的狀態(tài)“2 (僅東側(cè)工作)”，讀取確定的目標(biāo)的數(shù)據(jù)，該目標(biāo)數(shù)據(jù)中包含危險(xiǎn)物ID “001”、基準(zhǔn)位置“35. 355187,139. 874618”、以及各狀態(tài)下危險(xiǎn)范圍“半徑15m，高度 20m，方位 O。 180?！?。其次，在步驟S150中，影像取得部1070獲取由拍攝裝置1035拍攝的現(xiàn)實(shí)空間的
影像數(shù)據(jù)。其次，在步驟S155中，測(cè)量部1040通過通信裝置1015從衛(wèi)星獲取軌道信息，井根據(jù)該信息測(cè)量表示AR提供裝置1000當(dāng)前位置的信息(AR位置的信息)。其次，在步驟S160中，方向確定部(方位信息取得部1045和姿態(tài)信息取得部1050)確定AR提供裝置1000的方向(方位和姿態(tài))。即，方位信息取得部1045獲取方位檢測(cè)裝置1025計(jì)算的方位信息，姿態(tài)信息取得部1050獲取姿態(tài)檢測(cè)裝置1030計(jì)算的姿態(tài)信息。其次，在步驟S165中，視野確定部1060根據(jù)測(cè)量結(jié)果(在步驟S150和步驟S155中獲取的信息)等，確定佩戴著顯示裝置1020的用戶的AR視野。在此，圖36表示用戶400的AR視野U的例子。在本實(shí)施方式中，由于設(shè)定危險(xiǎn)物 的高度為“ 0”，因此將AR視野定為平面(ニ維)的。但是，當(dāng)在危險(xiǎn)物位置信息中加入高度信息時(shí)，也可以將AR視野定位為立體(三維)的。另外，在本實(shí)施方式中，作為用戶400的視野，例如預(yù)先設(shè)定左右方向160° (加入高度信息時(shí)，例如上下方向120° )范圍的信息(視野信息)，并保存在存儲(chǔ)裝置1010中。例如，視野確定部1060將以AR位置信息410為基準(zhǔn)預(yù)先設(shè)定的范圍(例如，半徑100m)內(nèi)，以方位信息420為中心的視野，確定為AR視野U。其次，在步驟S170中，顯示控制部1065根據(jù)影像數(shù)據(jù)、測(cè)量結(jié)果和目標(biāo)數(shù)據(jù)，生成包含在AR視野中的危險(xiǎn)物的危險(xiǎn)范圍圖像(增強(qiáng)圖像)。具體來說，首先，當(dāng)目標(biāo)數(shù)據(jù)中的危險(xiǎn)物位置信息包含在AR視野中吋，顯示控制部1065確定危險(xiǎn)物位置信息所指位置上的危險(xiǎn)物包含于AR視野。例如，在圖36中，由于危險(xiǎn)物位置信息430包含于AR視野U，因此確定危險(xiǎn)物位置信息430所指位置上的危險(xiǎn)物包含于AR視野U。另外，由于危險(xiǎn)物位置信息440不包含于AR視野U，因此確定危險(xiǎn)物位置信息440所指位置上的危險(xiǎn)物不包含于AR視野U。然后，顯示控制部1065根據(jù)AR位置信息、方位信息和姿態(tài)信息求得幾何變換矩陣。此時(shí)，在危險(xiǎn)物固定的情形下，顯示控制部1065根據(jù)基準(zhǔn)坐標(biāo)系中危險(xiǎn)物位置信息的坐標(biāo)，計(jì)算與所確定的危險(xiǎn)物相應(yīng)的各狀態(tài)下危險(xiǎn)范圍的坐標(biāo)(范圍坐標(biāo))，對(duì)計(jì)算的范圍坐標(biāo)適用幾何變換矩陣，生成危險(xiǎn)范圍圖像(增強(qiáng)圖像)。另ー方面，在危險(xiǎn)物移動(dòng)時(shí)，顯示控制部1065分析影像數(shù)據(jù)(構(gòu)成影像數(shù)據(jù)的圖像數(shù)據(jù))，確定附加在該危險(xiǎn)物上的表示測(cè)位基準(zhǔn)的標(biāo)記在基準(zhǔn)坐標(biāo)系中的坐標(biāo)，以該坐標(biāo)為起點(diǎn)，計(jì)算各狀態(tài)下的危險(xiǎn)范圍的危險(xiǎn)范圍坐標(biāo)，對(duì)計(jì)算的范圍坐標(biāo)適用幾何變換矩陣而生成增強(qiáng)圖像。生成增強(qiáng)圖像的方法不僅限于上述結(jié)構(gòu)。例如，顯示控制部1065也可以根據(jù)影像數(shù)據(jù)計(jì)算虛擬坐標(biāo)系中與危險(xiǎn)物位置信息相應(yīng)的點(diǎn)和對(duì)應(yīng)于AR位置信息的點(diǎn)，根據(jù)這些點(diǎn)的距離(相對(duì)距離)，以及在基準(zhǔn)坐標(biāo)中危險(xiǎn)物位置信息和AR位置信息之間的距離(絕對(duì)距離)計(jì)算倍率，生成增強(qiáng)圖像。此時(shí)，在危險(xiǎn)物固定的情形下，顯示控制部1065對(duì)與危險(xiǎn)物相應(yīng)的各狀態(tài)下危險(xiǎn)范圍乘以倍率，生成增強(qiáng)圖像。另ー方面，在危險(xiǎn)物移動(dòng)時(shí)，顯示控制部1065分析影像數(shù)據(jù)(構(gòu)成影像數(shù)據(jù)的圖像數(shù)據(jù))，確定附加在該危險(xiǎn)物上的表示測(cè)位基準(zhǔn)的標(biāo)記在基準(zhǔn)坐標(biāo)系中的坐標(biāo)，對(duì)所確定的坐標(biāo)適用幾何變換矩陣，計(jì)算虛擬坐標(biāo)系中的坐標(biāo)(顯示坐標(biāo))，以該顯示坐標(biāo)為基點(diǎn)，對(duì)與危險(xiǎn)物相應(yīng)的各狀態(tài)下危險(xiǎn)范圍乘以倍率，生成增強(qiáng)圖像。在步驟S175中，顯示控制部1065對(duì)顯示裝置1020進(jìn)行透過控制(使其可觀看到危險(xiǎn)物)，并顯示增強(qiáng)圖像，以使增強(qiáng)圖像與現(xiàn)實(shí)空間的危險(xiǎn)物重疊。在此，顯示控制部1065在確定AR視野中有多個(gè)危險(xiǎn)物時(shí)，生成各個(gè)危險(xiǎn)物的增強(qiáng)圖像并顯示。顯示控制部1065也可以將生成的增強(qiáng)圖像疊加于影像數(shù)據(jù)并顯示于顯示裝置 1020。顯示增強(qiáng)圖像的方法不僅限于以上所述結(jié)構(gòu)。例如，也可以根據(jù)危險(xiǎn)物ID從信息處理裝置200取得預(yù)先登記的用于確定危險(xiǎn)物的信息(特征量等)，顯示控制部1065利用特征量等對(duì)影像數(shù)據(jù)進(jìn)行識(shí)別處理而確定危險(xiǎn)物，在已確定的危險(xiǎn)物的坐標(biāo)處顯示危險(xiǎn)范圍圖像(增強(qiáng)圖像)。根據(jù)此結(jié)構(gòu)，可以將顯示增強(qiáng)圖像的位置相對(duì)現(xiàn)實(shí)空間修正到更恰當(dāng)?shù)奈恢谩?
圖37A是危險(xiǎn)物固定時(shí)的顯不例，表不將增強(qiáng)圖像510置加于起重機(jī)(危險(xiǎn)物ID “001”，狀態(tài)“僅東側(cè)工作”)500進(jìn)行顯示。在該例中，由于在各狀態(tài)下的危險(xiǎn)范圍中，高度設(shè)定為“20m”，因此顯示立體的(三維的)增強(qiáng)圖像510。此外，高度設(shè)定為“0m”吋，則顯示平面(ニ維的)增強(qiáng)圖像。圖37B的例子中，顯示ニ維的增強(qiáng)圖像520。圖37C是危險(xiǎn)物移動(dòng)時(shí)的顯示例，將增強(qiáng)圖像610疊加于附有顯示測(cè)位基準(zhǔn)的標(biāo)記620的起重機(jī)(危險(xiǎn)物ID “011”，狀態(tài)“移動(dòng)”)而進(jìn)行顯示。本實(shí)施方式說明了生成并顯示危險(xiǎn)范圍圖像的結(jié)構(gòu)，但不限于此。例如，可以設(shè)置對(duì)是否利用安全顯示功能進(jìn)行識(shí)別的模式(安全顯示模式)，在安全顯示為ON吋，顯示控制部1065在危險(xiǎn)范圍圖像上,或者取代危險(xiǎn)范圍圖像，在顯示裝置1020上顯示與安全相關(guān)的圖像(安全通道圖像，或者安全地帯圖像)。例如，顯示控制部1065分析危險(xiǎn)范圍圖像，確定不是危險(xiǎn)范圍圖像的部分(未設(shè)定為危險(xiǎn)范圍的范圍)為安全范圍，生成表示安全范圍的圖像(安全地帯的圖像)。另外，例如，顯示控制部1065根據(jù)預(yù)先設(shè)定的表示エ廠出ロ位置的位置信息和AR位置信息，計(jì)算安全通道，生成表示所計(jì)算的安全通道的圖像。圖37D為顯示與安全相關(guān)的圖像的例子(安全通道圖像700)。用戶通過按下切換安全顯示模式的按鈕(圖上沒顯示)，切換安全顯示模式的ON/OFF。在步驟S180中，顯示控制部1065判斷是否中止顯示。此時(shí)，AR模式為ON時(shí)，顯示控制部1065判斷不中止顯示，繼續(xù)進(jìn)行步驟S145的處理。另ー方面，當(dāng)AR模式為OFF時(shí)，顯示控制部1065判斷為中顯示，則結(jié)束顯示處理。圖38是AR提供裝置1000中利用各功能進(jìn)行顯示處理的一個(gè)例子的流程圖。該顯示處理接著步驟S175的處理后進(jìn)行，或者是替代步驟S170和步驟S175的處理。首先，獲取部1055,從信息處理裝置200獲取運(yùn)行計(jì)劃信息,該運(yùn)行計(jì)劃信息作為移動(dòng)預(yù)定信息，表示危險(xiǎn)物預(yù)定的移動(dòng)(步驟S185)。運(yùn)行計(jì)劃信息包含表示危險(xiǎn)物預(yù)定運(yùn)行的位置的運(yùn)行位置信息、和表示其時(shí)刻的運(yùn)行時(shí)刻信息。其次，在步驟S190中，顯示控制部1065確定危險(xiǎn)預(yù)定范圍。具體來說，顯示控制部1065確定以危險(xiǎn)物位置信息為中心預(yù)先確定的范圍(例如，半徑50m的圓的內(nèi)側(cè))為危險(xiǎn)預(yù)定范圍。
其次，在步驟S195中，顯示控制部1065，根據(jù)獲取的運(yùn)行計(jì)劃信息和當(dāng)前時(shí)刻，判定危險(xiǎn)物是否進(jìn)入危險(xiǎn)預(yù)定范圍。具體來說，顯示控制部1065從運(yùn)行計(jì)劃信息中獲取從當(dāng)前時(shí)刻起一定的時(shí)間內(nèi)(例如，5分鐘以內(nèi))的運(yùn)行位置信息，判定所獲取的運(yùn)行位置信息是否包含在危險(xiǎn)預(yù)定范圍內(nèi)。此時(shí)，顯示控制部1065在判定為包含在內(nèi)(危險(xiǎn)物進(jìn)入危險(xiǎn)預(yù)定范圍)吋，繼續(xù)進(jìn)行步驟S200的處理。另ー方面，在判定為不包含在內(nèi)(危險(xiǎn)物沒有進(jìn)入危險(xiǎn)預(yù)定范圍)吋，結(jié)束顯示處理。當(dāng)危險(xiǎn)物位置信息處在AR視野內(nèi)吋，顯示控制部1065判定不包含在內(nèi)。在步驟S200中，顯示控制部1065在顯示裝置1020上顯示表示危險(xiǎn)物正在接近的圖像。具體來說，顯示控制部1065根據(jù)獲取的運(yùn)行預(yù)定位置和測(cè)量結(jié)果，確定危險(xiǎn)物正在接近的方向，在顯示裝置1020上顯示用于通知危險(xiǎn)物正從所確定的方向接近的圖像。圖39是表示危險(xiǎn)物(AGV :Automatic Guided Vehicle,無人搬運(yùn)車)正在從用戶的左側(cè)接近的例子(警告顯示圖像800)。
雖然顯示控制部1065判定危險(xiǎn)物是否進(jìn)入危險(xiǎn)預(yù)定范圍，但不限定于此形態(tài)。例如，也可以根據(jù)當(dāng)前時(shí)亥|J、運(yùn)行計(jì)劃信息及測(cè)量結(jié)果，判定危險(xiǎn)物是否正在接近AR提供裝置 1000?！磳?shí)施方式9>實(shí)施方式8中，AR提供裝置1000具有拍攝裝置1035，實(shí)施方式9的AR提供裝置1000的特征是不具有拍攝裝置1035。以下，說明與實(shí)施方式8不同的主要結(jié)構(gòu)。圖40是AR提供裝置1000中利用各功能進(jìn)行顯示處理的一個(gè)例子的流程圖。對(duì)于與實(shí)施方式8的圖35所示處理相同的處理，使用相同的符號(hào)，并省略說明。由于AR提供裝置1000不具有拍攝裝置1035，因此不進(jìn)行如圖35所示的步驟S150的處理。在步驟S305中，顯示控制部1065根據(jù)測(cè)量結(jié)果和目標(biāo)數(shù)據(jù)，生成包含在AR視野中的危險(xiǎn)物的危險(xiǎn)范圍圖像(增強(qiáng)圖像)。具體來說，首先，顯示控制部1065在目標(biāo)數(shù)據(jù)中的危險(xiǎn)物位置信息包含在AR視野內(nèi)時(shí)，確定危險(xiǎn)物位置信息所指位置上的危險(xiǎn)物為包含在AR視野中的危險(xiǎn)物。顯示控制部1065根據(jù)AR位置信息、方位信息、以及姿態(tài)信息，求得幾何變換矩陣。顯示控制部1065根據(jù)危險(xiǎn)物位置信息的坐標(biāo)，計(jì)算在基準(zhǔn)坐標(biāo)系下，與該危險(xiǎn)物對(duì)應(yīng)的各狀態(tài)下危險(xiǎn)范圍的范圍坐標(biāo)，對(duì)該算出的范圍坐標(biāo)適用幾何變換矩陣，生成增強(qiáng)圖像。實(shí)施方式8中，根據(jù)危險(xiǎn)物是否固定采用不同的生成增強(qiáng)圖像的方法，但是在實(shí)施方式9中，由于不能拍攝標(biāo)記，因此無論危險(xiǎn)物是否固定，都通過上述方法生成增強(qiáng)圖像。<其他實(shí)施方式>上述AR提供裝置從信息處理裝置獲取與危險(xiǎn)物相關(guān)的信息，生成增強(qiáng)圖像，但不限定于此。例如，AR提供裝置在存儲(chǔ)裝置1010中存儲(chǔ)用于確定危險(xiǎn)物的信息(特征量，危險(xiǎn)物的圖像數(shù)據(jù)等)，分析由拍攝裝置1035拍攝的影像數(shù)據(jù)，通過識(shí)別處理確定包含在影像數(shù)據(jù)中的危險(xiǎn)物，當(dāng)判斷所確定的危險(xiǎn)物正在反復(fù)動(dòng)作(旋轉(zhuǎn)運(yùn)動(dòng)、往復(fù)運(yùn)動(dòng)等)吋，設(shè)想所確定的危險(xiǎn)物的危險(xiǎn)范圍，生成危險(xiǎn)范圍圖像(增強(qiáng)圖像)。另外，作為AR提供裝置，可以采用各種各樣的形態(tài)。例如，可以采用攜帶終端型的AR提供裝置。此時(shí)，可采用非透視型的液晶顯示器來取代透視型液晶顯示器。例如，可以采用將增強(qiáng)圖像與光學(xué)方式透過映出的現(xiàn)實(shí)空間的目標(biāo)物合成顯示的平視顯示器(headupdisplay)型AR提供裝置。另外，上述實(shí)施方式中，AR提供裝置1000和信息處理裝置200具有各自的功能，但也可以由ー個(gè)裝置實(shí)現(xiàn)，或者不是由AR提供裝置1000，而是由信息處理裝置200來生成增強(qiáng)圖像，即，可以由與本實(shí)施方式中描述的裝置不同的裝置來實(shí)現(xiàn)同樣的功能。以上所述實(shí)施方式中，作為固定的危險(xiǎn)物，例舉了起重機(jī)、氣體管道、車床，但不僅限于此。例如，危險(xiǎn)物也可以是傳送電カ的送電線。此時(shí)，當(dāng)電壓達(dá)到規(guī)定值(規(guī)定電壓)時(shí)，工作狀態(tài)檢測(cè)傳感器檢測(cè)其(危險(xiǎn)物)正在工作。例如，危險(xiǎn)物也可以是輸送流體的配管。此時(shí)，當(dāng)流體的溫度達(dá)到規(guī)定值(規(guī)定溫度)時(shí)工作狀態(tài)檢測(cè)傳感器檢測(cè)其正在工作。例如，危險(xiǎn)物也可以是驅(qū)動(dòng)砂輪旋轉(zhuǎn)來研磨エ件的面的磨床。此時(shí)，工作狀態(tài)檢測(cè)傳感器檢測(cè)工作狀態(tài)信號(hào)、動(dòng)作預(yù)定信號(hào)，來檢測(cè)其正在工作。另外，上述實(shí)施方式中，當(dāng)危險(xiǎn)物被AR提供裝置1000識(shí)別吋，生成該危險(xiǎn)物的危險(xiǎn)范圍的增強(qiáng)圖像并進(jìn)行顯示，但是未必要對(duì)AR提供裝置1000識(shí)別的全部危險(xiǎn)物生成并 顯示危險(xiǎn)范圍的增強(qiáng)圖像。例如，當(dāng)在AR提供裝置1000的視野中捕捉到多個(gè)危險(xiǎn)物時(shí)，如果對(duì)全部危險(xiǎn)物都提示危險(xiǎn)范圍，可能會(huì)使用戶搞不清應(yīng)該注意何處。具體來說，對(duì)于當(dāng)前相對(duì)不會(huì)給用戶帶來危險(xiǎn)的遠(yuǎn)處的危險(xiǎn)物，沒必要生成并提示危險(xiǎn)范圍的增強(qiáng)圖像。如果對(duì)于這些幾乎不具有危險(xiǎn)性的危險(xiǎn)物也提示增強(qiáng)圖像，則用戶可能會(huì)漏掉本應(yīng)注意的近處危險(xiǎn)物增強(qiáng)圖像。因此，可以僅對(duì)當(dāng)前有必要顯示的危險(xiǎn)范圍的危險(xiǎn)物，向用戶顯示表示其危險(xiǎn)范圍的增強(qiáng)圖像。對(duì)此在下面做具體說明。該結(jié)構(gòu)中，AR提供裝置1000，例如，僅在用戶的位置距離危險(xiǎn)物規(guī)定距離以下(預(yù)定的閾值以下)吋，為用戶生成危險(xiǎn)物危險(xiǎn)范圍的增強(qiáng)圖像。圖41是保存有關(guān)危險(xiǎn)物的信息的表的一個(gè)例子(固定位置對(duì)象表910)。與圖30所不的表相比,如圖41所不的表增加了顯示條件的項(xiàng)目。在使用固定位置對(duì)象表910時(shí)，例如，由于危險(xiǎn)物ID “001”的起重機(jī)的顯示條件為30m以內(nèi)，AR提供裝置1000僅在距危險(xiǎn)物ID “001”的起重機(jī)距離在30m以內(nèi)時(shí)生成増強(qiáng)圖像并顯示給用戶。其他項(xiàng)目與圖30所示的表相同，說明省略。圖42是顯示處理的一個(gè)例子的流程圖。與圖35所示的流程圖相比，如圖42所示的流程圖增加了判定AR提供裝置1000與危險(xiǎn)物之間的距離的步驟S405。在步驟S405中，當(dāng)確定AR視野內(nèi)的危險(xiǎn)物吋，顯示控制裝置1065取得距該危險(xiǎn)物的距離。顯示控制部1065可根據(jù)表示AR提供裝置1000當(dāng)前位置的信息(AR位置信息)和圖41所示危險(xiǎn)物的基準(zhǔn)位置計(jì)算AR提供裝置1000與危險(xiǎn)物之間的距離?；蛘撸贏R提供裝置1000設(shè)置測(cè)量部，測(cè)量部向目標(biāo)危險(xiǎn)物發(fā)射激光，測(cè)量部根據(jù)發(fā)射的激光被危險(xiǎn)物反射回測(cè)量部的時(shí)間計(jì)算距離。步驟S405以外的步驟與圖35所示的流程圖相同，說明省略。顯示控制部1065從固定位置對(duì)象表910中讀出作為表示條件而保存的距離，與到危險(xiǎn)物的距離的測(cè)量結(jié)果進(jìn)行比較。當(dāng)?shù)轿ｋU(xiǎn)物的距離的測(cè)量結(jié)果滿足保存在固定位置對(duì)象表910中的表示條件時(shí)，轉(zhuǎn)到步驟S170進(jìn)行處理。例如，在危險(xiǎn)物ID “001”起重機(jī)的情形下，顯示控制部1065確定AR視野中的起重機(jī)，獲取到起重機(jī)的距離。顯示控制部1065從固定位置對(duì)象表讀取與危險(xiǎn)物ID “001”的起重機(jī)對(duì)應(yīng)的顯示條件“30m以內(nèi)”。并且，顯示控制部1065判定獲取的到起重機(jī)的距離是否滿足顯示條件的“30m以內(nèi)”。判定的結(jié)果，如果是在30m以內(nèi)吋，進(jìn)入步驟S170進(jìn)行處理，顯示控制部1065對(duì)危險(xiǎn)物生成表示危險(xiǎn)范圍增強(qiáng)圖像，并疊加顯示。另ー方面，如果超過30m，則返回到S145進(jìn)行處理。上述例子中說明了在圖30所示的固定位置對(duì)象表中增加顯示條件的項(xiàng)目的情形，但也可以在圖31所示移動(dòng)對(duì)象表中增加顯示條件的項(xiàng)目，從而可以針對(duì)移動(dòng)的危險(xiǎn)物使用圖42所示的流程圖，但沒有特別限定。上述實(shí)施方式中，是向作業(yè)員顯示與危險(xiǎn)物相關(guān)的信息等，但也可以向操作員以外的巡回于作業(yè)現(xiàn)場(chǎng)的安保人員提供與危險(xiǎn)物相關(guān)的信息，對(duì)此沒有特別限定。
根據(jù)上述實(shí)施方式，在危險(xiǎn)場(chǎng)所隨時(shí)間變化的情況下，可以更準(zhǔn)確地告知危險(xiǎn)場(chǎng)所。以上，對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行了詳細(xì)的敘述，但是本發(fā)明不限定于這些特定的實(shí)施方式，可在權(quán)利要求記載的本發(fā)明的要點(diǎn)范圍內(nèi)，做各種各樣的變形·變更。以上所述實(shí)施方式可以任意組合并予以實(shí)施。產(chǎn)業(yè)上的利用可能性適用于對(duì)設(shè)備等的工作狀況向設(shè)施和エ廠的參觀者進(jìn)行AR顯示的技木。適用于在危險(xiǎn)場(chǎng)所隨時(shí)間變化的情況下，對(duì)危險(xiǎn)場(chǎng)所進(jìn)行AR顯示的技木。
權(quán)利要求
1.ー種信息處理裝置，其特征在于，包括 拍攝圖像輸入單元，其輸入由拍攝裝置拍攝的設(shè)備的拍攝圖像； 測(cè)量信息輸入單元，其從設(shè)置于所述設(shè)備的傳感器輸入由所述傳感器測(cè)量的測(cè)量信息； 制作単元，其根據(jù)由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像；和 顯示控制単元，其將由所述制作単元生成的虛擬圖像和由所述拍攝圖像輸入單元輸入的拍攝圖像重疊顯示于顯示裝置。
2.ー種信息處理裝置，其特征在于，包括 測(cè)量信息輸入單元，其從設(shè)置于設(shè)備的傳感器輸入由所述傳感器測(cè)量的測(cè)量信息； 制作単元，其根據(jù)由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像；和 顯示控制単元，其將由所述制作単元制作的虛擬圖像，疊加于透過顯示裝置顯示的所述設(shè)備而進(jìn)行顯示。
3.根據(jù)權(quán)利要求I所述的信息處理裝置，具特征在干， 還具有控制信息輸入單元，其輸入從對(duì)所述設(shè)備進(jìn)行控制的控制裝置向所述設(shè)備發(fā)送的控制信息， 所述制作単元根據(jù)由所述控制信息輸入單元輸入的所述控制信息，和由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像。
4.根據(jù)權(quán)利要求I所述的信息處理裝置，其特征在于，還具有， 預(yù)定控制信息輸入單元，其輸入表示對(duì)所述設(shè)備預(yù)定進(jìn)行的控制內(nèi)容的預(yù)定控制信息；和 模擬單元，其根據(jù)由所述預(yù)定控制信息輸入單元輸入的預(yù)定控制信息，和由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息進(jìn)行模擬，估計(jì)在進(jìn)行基于所述預(yù)定控制信息的控制時(shí)，所述設(shè)備外部或內(nèi)部的狀況， 所述制作単元，根據(jù)表示所述模擬的結(jié)果的數(shù)值數(shù)據(jù)，生成表示所述模擬的結(jié)果的三維虛擬圖像。
5.根據(jù)權(quán)利要求I所述的信息處理裝置，其特征在干， 還具有確定單元，其確定與所述設(shè)備內(nèi)的產(chǎn)品相應(yīng)的訂貨編號(hào)， 所述制作単元生成表示由確定單元確定的訂貨編號(hào)的虛擬圖像。
6.根據(jù)權(quán)利要求2所述的信息處理裝置，其特征在干， 還具有控制信息輸入單元，其輸入從對(duì)所述設(shè)備進(jìn)行控制的控制裝置向所述設(shè)備發(fā)送的控制信息， 所述制作単元根據(jù)由所述控制信息輸入單元輸入的所述控制信息，和由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像。
7.根據(jù)權(quán)利要求2所述的信息處理裝置，其特征在于，還具有， 預(yù)定控制信息輸入單元，其輸入表示對(duì)所述設(shè)備預(yù)定進(jìn)行的控制內(nèi)容的預(yù)定控制信息；和 模擬單元，其根據(jù)由所述預(yù)定控制信息輸入單元輸入的預(yù)定控制信息，和由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息進(jìn)行模擬，估計(jì)在進(jìn)行基于所述預(yù)定控制信息的控制時(shí)，所述設(shè)備外部或內(nèi)部的狀況， 所述制作単元，根據(jù)表示所述模擬的結(jié)果的數(shù)值數(shù)據(jù)，生成表示所述模擬的結(jié)果的三維虛擬圖像。
8.根據(jù)權(quán)利要求2所述的信息處理裝置，其特征在干， 還具有確定單元，其確定與所述設(shè)備內(nèi)的產(chǎn)品相應(yīng)的訂貨編號(hào)， 所述制作単元生成表示由確定單元確定的訂貨編號(hào)的虛擬圖像。
9.根據(jù)權(quán)利要求I所述的信息處理裝置，其特征在干， 所述制作単元，在所述設(shè)備工作時(shí)，根據(jù)由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像， 所述的顯示控制單元，在所述設(shè)備工作時(shí)，將由所述制作単元生成的虛擬圖像，和由所述拍攝圖像輸入單元輸入的拍攝圖像重疊顯示于顯示裝置；在所述設(shè)備未工作時(shí)，將預(yù)先生成的虛擬圖像，和由所述拍攝圖像輸入單元輸入的拍攝圖像重疊顯示于顯示裝置。
10.根據(jù)權(quán)利要求2所述的信息處理裝置，其特征在干， 所述制作単元，在所述設(shè)備工作時(shí)，根據(jù)由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像， 所述顯示控制單元，在所述設(shè)備工作時(shí)，將由所述制作単元生成的虛擬圖像，疊加于透過顯示裝置顯示的所述設(shè)備而進(jìn)行顯示，在所述設(shè)備未工作時(shí)，將預(yù)先生成的虛擬圖像，疊加于透過顯示裝置顯示的所述設(shè)備而進(jìn)行顯示。
11.根據(jù)權(quán)利要求3所述的信息處理裝置，其特征在干， 所述設(shè)備是煉鐵廠內(nèi)的設(shè)備， 所述傳感器是所述設(shè)備內(nèi)部或外部的多個(gè)溫度傳感器，或氣壓傳感器，或壓カ傳感器， 所述控制信息是向所述設(shè)備內(nèi)吹入氧氣或氣體，或者向所述設(shè)備內(nèi)投入材料的信息。
12.ー種信息處理裝置執(zhí)行的信息處理方法，其特征在于，包括 拍攝圖像輸入步驟，輸入拍攝裝置拍攝的設(shè)備的拍攝圖像； 測(cè)量信息輸入步驟，從設(shè)置于所述設(shè)備的傳感器輸入所述傳感器測(cè)量的測(cè)量信息；制作步驟，根據(jù)在所述測(cè)量信息輸入步驟輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像；和 顯示控制步驟，將在所述制作步驟生成的虛擬圖像，與在所述拍攝圖像輸入步驟輸入的拍攝圖像重疊顯示于顯示裝置。
13.ー種信息處理裝置執(zhí)行的信息處理方法，其特征在于，包括 測(cè)量信息輸入步驟，從設(shè)置于設(shè)備的傳感器輸入所述傳感器測(cè)量的測(cè)量信息； 制作步驟，根據(jù)在所述測(cè)量信息輸入步驟輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像；和 顯示控制步驟，將在所述制作步驟生成的虛擬圖像，疊加于透過顯示裝置顯示的所述設(shè)備而進(jìn)行顯示。
14.ー種程序，其特征在于，使計(jì)算機(jī)執(zhí)行如下単元的功能 拍攝圖像輸入單元，其輸入由拍攝裝置拍攝的設(shè)備的拍攝圖像； 測(cè)量信息輸入單元，其從設(shè)置于所述設(shè)備的傳感器輸入由所述傳感器測(cè)量的測(cè)量信息； 制作単元，其根據(jù)由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像；以及 顯示控制単元，其將由所述制作単元生成的虛擬圖像，與由所述拍攝圖像輸入單元輸入的拍攝圖像重疊顯示于顯示裝置。
15.ー種程序，其特征在于，使計(jì)算機(jī)執(zhí)行如下単元的功能 測(cè)量信息輸入單元，其從設(shè)置于設(shè)備的傳感器輸入由所述傳感器測(cè)量的測(cè)量信息；制作単元，根據(jù)由所述測(cè)量信息輸入單元輸入的所述測(cè)量信息，生成表示所述設(shè)備外部或內(nèi)部的狀況的虛擬圖像；以及 顯示控制単元，其將由所述制作単元生成的虛擬圖像，疊加于透過顯示裝置顯示的所述設(shè)備而進(jìn)行顯示。
16.一種信息提供裝置，其具有顯示部，并能夠與存儲(chǔ)部通信連接，其特征在于，包括 讀取單元，其讀取存儲(chǔ)在所述存儲(chǔ)部中的、表示危險(xiǎn)目標(biāo)在各狀態(tài)下的危險(xiǎn)范圍的危險(xiǎn)范圍信息，和表示所述危險(xiǎn)目標(biāo)的位置的危險(xiǎn)目標(biāo)位置信息； 位置信息取得単元，其取得裝置位置信息，所述裝置位置信息是根據(jù)位置檢測(cè)裝置檢測(cè)的表示該信息提供裝置的位置的信息計(jì)算得到的； 方位信息取得単元，其取得方位信息，所述方位信息是根據(jù)方位檢測(cè)裝置檢測(cè)的表示該信息提供裝置的方位的信息計(jì)算得到的； 姿態(tài)信息取得単元，其取得姿態(tài)信息，所述姿態(tài)信息是根據(jù)姿態(tài)檢測(cè)裝置檢測(cè)的表示該信息提供裝置的姿態(tài)的信息計(jì)算得到的； 確定單元，其根據(jù)由所述位置信息取得単元取得的裝置位置信息、由所述方位信息取得単元取得的方位信息、由所述姿態(tài)信息取得単元取得的姿態(tài)信息、以及預(yù)先規(guī)定的該信息提供裝置的視野信息，確定該信息提供裝置的視野；和 顯示控制単元，其根據(jù)所述裝置位置信息、所述方位信息、所述姿態(tài)信息、以及由所述讀取單元讀取的危險(xiǎn)范圍信息和危險(xiǎn)目標(biāo)位置信息，確定在所述視野內(nèi)包含的危險(xiǎn)目標(biāo)，對(duì)于所確定的危險(xiǎn)目標(biāo)，生成危險(xiǎn)范圍圖像，并顯示于所述顯示部。
17.根據(jù)權(quán)利要求16所述的信息提供裝置，其特征在干， 所述顯示控制單元根據(jù)所述裝置位置信息、所述方位信息、及所述姿態(tài)信息，計(jì)算與現(xiàn)實(shí)空間坐標(biāo)系和顯示空間坐標(biāo)系之間的變換對(duì)應(yīng)的變換信息，根據(jù)現(xiàn)實(shí)空間坐標(biāo)系中的所述危險(xiǎn)目標(biāo)位置信息的坐標(biāo)，計(jì)算與所述危險(xiǎn)范圍信息相應(yīng)的范圍坐標(biāo)，將所述變換信息應(yīng)用于該計(jì)算的范圍坐標(biāo)，生成所述危險(xiǎn)范圍圖像。
18.根據(jù)權(quán)利要求16所述的信息提供裝置，其特征在干， 還具有輸入單元，其輸入由拍攝裝置拍攝的影像， 所述顯示控制單元，分析由所述輸入單元輸入的影像，計(jì)算與現(xiàn)實(shí)空間坐標(biāo)系和顯示空間坐標(biāo)系之間的變換對(duì)應(yīng)的變換信息，根據(jù)現(xiàn)實(shí)空間坐標(biāo)系中的所述危險(xiǎn)目標(biāo)位置信息的坐標(biāo)，計(jì)算與所述危險(xiǎn)范圍信息相應(yīng)的范圍坐標(biāo)，將所述變換信息應(yīng)用于該計(jì)算的范圍坐標(biāo)，生成所述危險(xiǎn)范圍圖像。
19.根據(jù)權(quán)利要求16所述的信息提供裝置，其特征在干， 還具有輸入單元，其輸入由拍攝裝置拍攝的影像，所述顯示控制單元，分析由所述輸入單元輸入的影像，計(jì)算與現(xiàn)實(shí)空間坐標(biāo)系和顯示空間坐標(biāo)系之間的變換對(duì)應(yīng)的變換信息，并確定附加于所述已確定的危險(xiǎn)目標(biāo)、表示基準(zhǔn)位置的標(biāo)記在現(xiàn)實(shí)空間坐標(biāo)系中的坐標(biāo)，以該確定的坐標(biāo)為起點(diǎn)，計(jì)算與所述危險(xiǎn)范圍信息相應(yīng)的范圍坐標(biāo)，將所述變換信息應(yīng)用于計(jì)算出的范圍坐標(biāo)，生成所述危險(xiǎn)范圍圖像。
20.根據(jù)權(quán)利要求17所述的信息提供裝置，其特征在干， 所述顯示控制單元對(duì)所述顯示部進(jìn)行透過控制，使可透過所述顯示部看到所述危險(xiǎn)目標(biāo)，并顯示所述危險(xiǎn)范圍圖像。
21.權(quán)利要求18所述的信息提供裝置，其特征在干， 所述顯示控制單元，將所述危險(xiǎn)范圍圖像與由所述輸入單元輸入的影像重疊而進(jìn)行顯示。
22.根據(jù)權(quán)利要求16所述的信息提供裝置，其特征在干， 所述讀取単元還讀取存儲(chǔ)在所述存儲(chǔ)部中的、表示所述危險(xiǎn)目標(biāo)移動(dòng)計(jì)劃的移動(dòng)預(yù)定信息， 所述顯示控制單元在判斷所述危險(xiǎn)目標(biāo)不在所述視野范圍內(nèi)的情形下，當(dāng)根據(jù)由所述讀取單元讀取的移動(dòng)預(yù)定信息、所述裝置位置信息、以及當(dāng)前時(shí)刻，判斷所述危險(xiǎn)目標(biāo)正在接近該信息提供裝置時(shí)，生成告知所述危險(xiǎn)目標(biāo)產(chǎn)生的危險(xiǎn)的圖像，并顯示于所述顯示部。
23.根據(jù)權(quán)利要求16所述的信息提供裝置，其特征在干， 所述顯示控制單元在對(duì)多個(gè)危險(xiǎn)目標(biāo)生成危險(xiǎn)范圍圖像時(shí)，對(duì)于所述多個(gè)危險(xiǎn)目標(biāo)的每ー個(gè)都生成危險(xiǎn)范圍圖像，分析生成的多個(gè)危險(xiǎn)范圍圖像，確定所述多個(gè)危險(xiǎn)目標(biāo)產(chǎn)生的危險(xiǎn)波及不到的安全地帯或安全通道，生成表示所確定的安全地帯或安全通道的圖像，顯示于所述顯示部。
24.根據(jù)權(quán)利要求16所述的信息提供裝置，其特征在干， 所述顯示控制單元生成平面或立體的所述危險(xiǎn)范圍圖像。
25.根據(jù)權(quán)利要求16所述的信息提供裝置，其特征在干， 所述顯示控制單元，在距所述危險(xiǎn)目標(biāo)的距離為預(yù)設(shè)閾值以下時(shí)，生成所述危險(xiǎn)范圍圖像，并顯示于所述顯示部。
26.ー種具有顯示部，并能夠與存儲(chǔ)部通信連接的信息提供裝置執(zhí)行的信息提供方法，其特征在于，包括 讀取步驟，讀取存儲(chǔ)在所述存儲(chǔ)部中的、表示危險(xiǎn)目標(biāo)在各狀態(tài)下的危險(xiǎn)范圍的危險(xiǎn)范圍信息，和表示所述危險(xiǎn)目標(biāo)的位置的危險(xiǎn)目標(biāo)位置信息； 位置信息取得步驟，取得裝置位置信息，所述裝置位置信息是根據(jù)位置檢測(cè)裝置檢測(cè)的表示所述信息提供裝置的位置的信息計(jì)算得到的； 方位信息取得步驟，取得方位信息，所述方位信息是根據(jù)方位檢測(cè)裝置檢測(cè)的表示所述信息提供裝置的方位的信息計(jì)算得到的； 姿態(tài)信息取得步驟，取得姿態(tài)信息，所述姿態(tài)信息是根據(jù)姿態(tài)檢測(cè)裝置檢測(cè)的表示所述信息提供裝置的姿態(tài)的信息計(jì)算得到的； 確定步驟，根據(jù)在所述位置信息取得步驟取得的裝置位置信息、在所述方位信息取得步驟取得的方位信息、在所述姿態(tài)信息取得步驟取得的姿態(tài)信息、以及預(yù)先規(guī)定的所述信息提供裝置的視野信息，確定所述信息提供裝置的視野；和顯示控制步驟，根據(jù)所述裝置位置信息、所述方位信息、所述姿態(tài)信息、以及在所述讀取步驟讀取的危險(xiǎn)范圍信息和危險(xiǎn)目標(biāo)位置信息，確定在所述視野內(nèi)包含的危險(xiǎn)目標(biāo)，對(duì)于所確定的危險(xiǎn)目標(biāo)，生成危險(xiǎn)范圍圖像，并顯示于所述顯示部。
27.ー種程序，其特征在于，使具有顯示部，并能夠與存儲(chǔ)部通信連接的計(jì)算機(jī)執(zhí)行如下単元的功能 讀取單元，其讀取存儲(chǔ)在所述存儲(chǔ)部中的、表示危險(xiǎn)目標(biāo)在各狀態(tài)下的危險(xiǎn)范圍的危險(xiǎn)范圍信息，和表示所述危險(xiǎn)目標(biāo)的位置的危險(xiǎn)目標(biāo)位置信息； 位置信息取得単元，其取得裝置位置信息，所述裝置位置信息是根據(jù)位置檢測(cè)裝置檢測(cè)的表示該信息提供裝置的位置的信息計(jì)算得到的； 方位信息取得単元，其取得方位信息，所述方位信息是根據(jù)方位檢測(cè)裝置檢測(cè)的表示該信息提供裝置的方位的信息計(jì)算得到的； 姿態(tài)信息取得単元，其取得姿態(tài)信息，所述姿態(tài)信息是根據(jù)姿態(tài)檢測(cè)裝置檢測(cè)的表示該信息提供裝置的姿態(tài)的信息計(jì)算得到的； 確定單元，其根據(jù)由所述位置信息取得単元取得的裝置位置信息、由所述方位信息取得単元取得的方位信息、由所述姿態(tài)信息取得単元取得的姿態(tài)信息、以及預(yù)先規(guī)定的該信息提供裝置的視野信息，確定該信息提供裝置的視野；和 顯示控制単元，其根據(jù)所述裝置位置信息、所述方位信息、所述姿態(tài)信息、以及由所述讀取單元讀取的危險(xiǎn)范圍信息和危險(xiǎn)目標(biāo)位置信息，確定在所述視野內(nèi)包含的危險(xiǎn)目標(biāo)，對(duì)于所確定的危險(xiǎn)目標(biāo)，生成危險(xiǎn)范圍圖像，并顯示于所述顯示部。
全文摘要
本發(fā)明涉及一種信息處理裝置，具有拍攝圖像輸入單元，其輸入由拍攝裝置(2)拍攝的設(shè)備的拍攝圖像；測(cè)量信息輸入單元，其輸入由設(shè)置于設(shè)備的傳感器測(cè)量的測(cè)量信息；制作單元，其根據(jù)由測(cè)量信息輸入單元輸入的測(cè)量信息，生成表示設(shè)備外部或內(nèi)部的狀況的虛擬圖像；顯示控制單元，其將由制作單元生成的虛擬圖像與由拍攝圖像輸入單元輸入的拍攝圖像重疊顯示于顯示裝置(4)。
文檔編號(hào)G06F3/048GK102667881SQ201180004325
公開日2012年9月12日 申請(qǐng)日期2011年3月29日 優(yōu)先權(quán)日2010年3月30日
發(fā)明者岡本武藏, 屜尾和宏, 庵原升, 橫山甲, 櫻井新 申請(qǐng)人:新日鐵系統(tǒng)集成株式會(huì)社