本發(fā)明涉及用于推定包括視覺(jué)傳感器的系統(tǒng)的動(dòng)作的模擬裝置以及模擬方法。

背景技術(shù)：

在工廠自動(dòng)化(FA：Factory Automation)領(lǐng)域中，使用視覺(jué)傳感器的自動(dòng)控制技術(shù)被廣泛的利用。例如，通過(guò)對(duì)工件等的對(duì)象物進(jìn)行拍攝并對(duì)該拍攝的圖像執(zhí)行圖形匹配等的圖像測(cè)量處理，實(shí)現(xiàn)用于操作各種的控制設(shè)備的自動(dòng)化處理。

在使用這樣的視覺(jué)傳感器的情況下，為了將視覺(jué)傳感器的測(cè)量結(jié)果向控制裝置輸出，需要進(jìn)行校準(zhǔn)。例如，日本特開(kāi)2007-017424號(hào)公報(bào)(專利文獻(xiàn)1)公開(kāi)了如下技術(shù)，即，一邊測(cè)量裝載于XYθ工作臺(tái)的工件上的基準(zhǔn)標(biāo)記，一邊自動(dòng)地進(jìn)行位置校正。

但是，在上述那樣的自動(dòng)控制技術(shù)的對(duì)象的系統(tǒng)的設(shè)計(jì)或檢討等階段，需要預(yù)先評(píng)價(jià)系統(tǒng)整體的性能。針對(duì)這樣的需求，假想地構(gòu)筑系統(tǒng)來(lái)實(shí)現(xiàn)模擬動(dòng)作的技術(shù)。例如，日本特開(kāi)2013-191128號(hào)公報(bào)(專利文獻(xiàn)2)公開(kāi)了進(jìn)行包含與假想拍攝部對(duì)應(yīng)的實(shí)際空間的視覺(jué)傳感器的機(jī)械系統(tǒng)的綜合模擬的技術(shù)。在專利文獻(xiàn)2公開(kāi)的技術(shù)中，通過(guò)聯(lián)合3D模擬器與視覺(jué)傳感器模擬器，假想地生成各時(shí)刻的3D空間內(nèi)的工件的拍攝圖像。在專利文獻(xiàn)2公開(kāi)的技術(shù)中，假想地拍攝配置于規(guī)定校準(zhǔn)位置的樣品對(duì)象來(lái)執(zhí)行校準(zhǔn)。

日本特開(kāi)2015-136770號(hào)公報(bào)(專利文獻(xiàn)3)公開(kāi)了如下技術(shù)，與專利文獻(xiàn)2相同，通過(guò)在假想空間內(nèi)規(guī)定機(jī)械手、視覺(jué)傳感器、對(duì)象物的三維模型，并且利用視覺(jué)傳感器假想地拍攝對(duì)象物，來(lái)生成對(duì)象物的計(jì)算機(jī)圖形圖像。在專利文獻(xiàn)3公開(kāi)的技術(shù)中，通過(guò)計(jì)算出機(jī)械手坐標(biāo)系與傳感器坐標(biāo)系之間的位置關(guān)系，而不進(jìn)行機(jī)械手與視覺(jué)傳感器相關(guān)聯(lián)的校準(zhǔn)。

專利文獻(xiàn)1：日本特開(kāi)2007-017424號(hào)公報(bào)

專利文獻(xiàn)2：日本特開(kāi)2013-191128號(hào)公報(bào)

專利文獻(xiàn)3：日本特開(kāi)2015-136770號(hào)公報(bào)

在上述的專利文獻(xiàn)2以及專利文獻(xiàn)3公開(kāi)的技術(shù)中，需要對(duì)工件或?qū)ο笪镱A(yù)先定義。因此，例如，在檢討現(xiàn)有的系統(tǒng)等的改造的情況、檢討現(xiàn)有的系統(tǒng)的替換等的情況下，包括工件都需要模型化。

因此，在工件等的圖像數(shù)據(jù)預(yù)先存在的情況下，期望高效地實(shí)現(xiàn)模擬的結(jié)構(gòu)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一個(gè)技術(shù)方案，提供一種推定包括視覺(jué)傳感器的系統(tǒng)的動(dòng)作的模擬裝置。模擬裝置包括：構(gòu)筑機(jī)構(gòu)，其用于在三維假想空間內(nèi)假想地構(gòu)筑模擬對(duì)象的系統(tǒng)；測(cè)量機(jī)構(gòu)，其通過(guò)對(duì)預(yù)先獲取的圖像數(shù)據(jù)進(jìn)行由視覺(jué)傳感器執(zhí)行的圖像測(cè)量處理，輸出測(cè)量結(jié)果；接受機(jī)構(gòu)，其接受視覺(jué)傳感器的拍攝區(qū)域的設(shè)定，所述視覺(jué)傳感器的拍攝區(qū)域與構(gòu)筑的系統(tǒng)相關(guān)聯(lián)；計(jì)算機(jī)構(gòu)，其基于構(gòu)筑的系統(tǒng)與設(shè)定的拍攝區(qū)域之間的相對(duì)位置關(guān)系計(jì)算出變換參數(shù)；執(zhí)行機(jī)構(gòu)，其將通過(guò)變換參數(shù)變換由測(cè)量機(jī)構(gòu)生成的測(cè)量結(jié)果所得到的結(jié)果作為輸入，并按照與系統(tǒng)相關(guān)聯(lián)的控制程序執(zhí)行控制運(yùn)算。

優(yōu)選地，構(gòu)筑的系統(tǒng)包括根據(jù)控制運(yùn)算的結(jié)果進(jìn)行動(dòng)作的機(jī)械手，變換參數(shù)是將作為測(cè)量結(jié)果輸出的攝像頭坐標(biāo)系的坐標(biāo)值變換為定義機(jī)械手的動(dòng)作的機(jī)械手坐標(biāo)系坐標(biāo)值的參數(shù)。

優(yōu)選地，模擬裝置還具有再現(xiàn)機(jī)構(gòu)，該再現(xiàn)機(jī)構(gòu)使用由執(zhí)行機(jī)構(gòu)輸出的涉及控制運(yùn)算的時(shí)間序列數(shù)據(jù)，再現(xiàn)構(gòu)筑的系統(tǒng)的動(dòng)作。在本說(shuō)明書(shū)中“再現(xiàn)”是指，模擬裝置進(jìn)行在假想空間所構(gòu)筑的系統(tǒng)的運(yùn)算而使系統(tǒng)假想地動(dòng)作。“再現(xiàn)”包括模擬。

更優(yōu)選地，圖像測(cè)量處理包括基于預(yù)先登記的圖像圖形來(lái)識(shí)別工件的處理，再現(xiàn)機(jī)構(gòu)將由測(cè)量機(jī)構(gòu)識(shí)別而存在的各個(gè)工件顯示在構(gòu)筑的系統(tǒng)上，并且伴隨著時(shí)間的經(jīng)過(guò)更新各個(gè)工件的位置。

更優(yōu)選地，再現(xiàn)機(jī)構(gòu)將經(jīng)過(guò)圖像測(cè)量處理所得的工件的坐標(biāo)值變換為定義構(gòu)筑的系統(tǒng)的世界坐標(biāo)系的坐標(biāo)值，并將各個(gè)工件顯示在構(gòu)筑的系統(tǒng)上。

更優(yōu)選地，計(jì)算機(jī)構(gòu)計(jì)算構(gòu)筑的系統(tǒng)中使工件移動(dòng)的裝置的單位移動(dòng)量與構(gòu)筑的系統(tǒng)中的工件的移動(dòng)速度的換算系數(shù)。

更優(yōu)選地，圖像測(cè)量處理包括判斷被輸入的圖像數(shù)據(jù)是否適合預(yù)先登記的條件的處理，再現(xiàn)機(jī)構(gòu)附加用于表示在構(gòu)筑的系統(tǒng)上所顯示的各個(gè)工件是否適合預(yù)先登記的條件的信息。

優(yōu)選地，再現(xiàn)機(jī)構(gòu)將測(cè)量機(jī)構(gòu)的測(cè)量結(jié)果與構(gòu)筑的系統(tǒng)的動(dòng)作一同，在輸出該測(cè)量結(jié)果的時(shí)刻相對(duì)應(yīng)地輸出。

更優(yōu)選地，再現(xiàn)機(jī)構(gòu)一同輸出測(cè)量機(jī)構(gòu)的測(cè)量結(jié)果和該測(cè)量結(jié)果的對(duì)象的圖像數(shù)據(jù)。

本發(fā)明的其他技術(shù)方案提供一種模擬方法，由計(jì)算機(jī)來(lái)執(zhí)行，該模擬方法用于推定包括視覺(jué)傳感器的系統(tǒng)的動(dòng)作。模擬方法包括：用于在三維假想空間內(nèi)假想地構(gòu)筑模擬對(duì)象的系統(tǒng)的步驟；通過(guò)對(duì)預(yù)先獲取的圖像數(shù)據(jù)進(jìn)行由視覺(jué)傳感器執(zhí)行的圖像測(cè)量處理，輸出測(cè)量結(jié)果的步驟；接受視覺(jué)傳感器的拍攝區(qū)域的設(shè)定的步驟，其中，所述視覺(jué)傳感器的拍攝區(qū)域與構(gòu)筑的系統(tǒng)相關(guān)聯(lián)；基于構(gòu)筑的系統(tǒng)與設(shè)定的拍攝區(qū)域之間的相對(duì)位置關(guān)系計(jì)算出變換參數(shù)的步驟；將由變換參數(shù)變換測(cè)量結(jié)果所得到的結(jié)果作為輸入，并按照與系統(tǒng)相關(guān)聯(lián)的控制程序執(zhí)行控制運(yùn)算的步驟。

根據(jù)本發(fā)明，在工件等的圖像數(shù)據(jù)預(yù)先存在的情況下，能夠高效地實(shí)現(xiàn)模擬。

附圖說(shuō)明

圖1是表示成為本實(shí)施方式的模擬裝置中的模擬的前提的系統(tǒng)結(jié)構(gòu)例的示意圖。

圖2是表示對(duì)圖1所示的制造系統(tǒng)添加新的機(jī)械手的制造系統(tǒng)的結(jié)構(gòu)例的示意圖。

圖3是用于說(shuō)明使用了本實(shí)施方式的模擬裝置的模擬方法的示意圖。

圖4是表示本實(shí)施方式的模擬裝置的硬件結(jié)構(gòu)的示意圖。

圖5是表示本實(shí)施方式的模擬裝置的功能結(jié)構(gòu)的一個(gè)例子示意圖。

圖6是表示本實(shí)施方式的模擬裝置的功能結(jié)構(gòu)的變形例的示意圖。

圖7是表示使用了本實(shí)施方式的模擬裝置的模擬的處理順序的流程圖。

圖8是表示本實(shí)施方式的模擬裝置提供的系統(tǒng)模型的構(gòu)筑的用戶界面畫(huà)面的一個(gè)例子的圖。

圖9是用于說(shuō)明由本實(shí)施方式的模擬裝置提供的三維假想空間內(nèi)定義的坐標(biāo)系的示意圖。

圖10是表示對(duì)本實(shí)施方式的模擬裝置提供的系統(tǒng)模型設(shè)定拍攝區(qū)域的用戶界面畫(huà)面的一個(gè)例子圖。

圖11是表示本實(shí)施方式的模擬裝置的視覺(jué)傳感器模擬器的測(cè)量結(jié)果的一個(gè)例子的圖。

圖12是表示本實(shí)施方式的模擬裝置提供的三維假想空間內(nèi)定義的拍攝區(qū)域的攝像頭坐標(biāo)系以及基準(zhǔn)坐標(biāo)系的關(guān)系例的示意圖。

圖13是表示本實(shí)施方式的模擬裝置中的校準(zhǔn)參數(shù)的計(jì)算順序的流程圖。

圖14是用于說(shuō)明圖13所示的校準(zhǔn)參數(shù)的計(jì)算順序的步驟S81中的處理內(nèi)容的示意圖。

圖15是用于說(shuō)明圖13所示的校準(zhǔn)參數(shù)的計(jì)算順序的步驟S82中的處理內(nèi)容的示意圖。

圖16是用于說(shuō)明本實(shí)施方式的模擬裝置中的每個(gè)脈沖的移動(dòng)量的計(jì)算順序的示意圖。

圖17是表示再現(xiàn)本實(shí)施方式的模擬裝置提供的系統(tǒng)的動(dòng)作的用戶界面畫(huà)面的一個(gè)例子的圖。

圖18是用于說(shuō)明與本實(shí)施方式的模擬裝置中的攝像頭坐標(biāo)系相對(duì)應(yīng)的工件的姿勢(shì)的顯示方式的圖。

圖19是表示再現(xiàn)本實(shí)施方式的模擬裝置提供的系統(tǒng)的動(dòng)作的用戶界面畫(huà)面的其他例子的圖。

圖20是用于說(shuō)明圖19所示的用戶界面畫(huà)面中的顯示時(shí)刻的圖。

圖21是表示再現(xiàn)本實(shí)施方式的模擬裝置提供的系統(tǒng)的動(dòng)作的用戶界面畫(huà)面的另一其他例子的圖。

其中，附圖標(biāo)記說(shuō)明如下：

1、2 制造系統(tǒng)

100 模擬裝置

102 處理器

104 主存儲(chǔ)器

106 輸入部

108 顯示部

110 網(wǎng)絡(luò)接口

112 光驅(qū)

114 光盤

116 通信接口

118 內(nèi)部總線

120 硬盤

122 操作系統(tǒng)(OS)

124 模擬程序

140 圖像數(shù)據(jù)群

150 視覺(jué)傳感器模擬器

152 設(shè)定參數(shù)

160 控制模擬器

162 控制程序

170 再現(xiàn)模塊

172 三維設(shè)計(jì)數(shù)據(jù)

180 用戶界面模塊

182 模型構(gòu)筑模塊

184 拍攝區(qū)域設(shè)定接受模塊

186 校準(zhǔn)參數(shù)計(jì)算模塊

200 控制裝置

202 網(wǎng)絡(luò)

210、311、313 機(jī)械手

220 視覺(jué)傳感器

222 拍攝部

230、301、302 傳送帶

232、350、352、354 工件

234 驅(qū)動(dòng)輥

236 編碼器

303 傳送帶坐標(biāo)系

312 機(jī)械手坐標(biāo)系

320 世界坐標(biāo)系

330 拍攝區(qū)域

360 測(cè)量結(jié)果

具體實(shí)施方式

一邊參照附圖，一邊詳細(xì)地說(shuō)明本發(fā)明的實(shí)施方式。此外，對(duì)圖中的同一或相當(dāng)部分標(biāo)注同一附圖標(biāo)記，并省略其說(shuō)明。

＜A.概要＞

本實(shí)施方式的模擬裝置用于推定包括視覺(jué)傳感器的系統(tǒng)的動(dòng)作。更具體地說(shuō)，本實(shí)施方式的模擬裝置能夠使用由拍攝部實(shí)際拍攝的圖像數(shù)據(jù)來(lái)推定與該拍攝部的拍攝獨(dú)立的系統(tǒng)的動(dòng)作等。在下面的說(shuō)明中，將包含一個(gè)或多個(gè)裝置的制造系統(tǒng)等作為模擬對(duì)象，但并不限定于此，也能夠應(yīng)用于任意的系統(tǒng)。

首先，對(duì)本實(shí)施方式的模擬裝置中的模擬的概要進(jìn)行說(shuō)明。

圖1是表示本實(shí)施方式的模擬裝置中的模擬的前提的系統(tǒng)結(jié)構(gòu)例的示意圖。參照?qǐng)D1，作為一個(gè)例子，在制造系統(tǒng)1中，利用機(jī)械手210把持在傳送帶230上連續(xù)地被運(yùn)送的工件232并運(yùn)送至規(guī)定位置進(jìn)行配置。利用這樣的機(jī)械手210的把持、運(yùn)送、配置的一系列動(dòng)作也稱為“拾取和放置動(dòng)作”。在利用機(jī)械手210的拾取和放置動(dòng)作中，通過(guò)利用拍攝部222對(duì)設(shè)置于傳送帶230的一部分的拍攝區(qū)域進(jìn)行拍攝，并且視覺(jué)傳感器220對(duì)由拍攝部222的拍攝所獲得的圖像數(shù)據(jù)進(jìn)行圖像測(cè)量處理等的圖像測(cè)量處理，來(lái)獲取包括工件232的位置以及朝向等信息的測(cè)量結(jié)果。并且，控制裝置200基于來(lái)自視覺(jué)傳感器220的測(cè)量結(jié)果執(zhí)行預(yù)定的控制邏輯，從而生成針對(duì)機(jī)械手210的控制指令。在生成針對(duì)機(jī)械手210的控制指令時(shí)，控制裝置200參照機(jī)械手210的狀態(tài)值和來(lái)自與用于驅(qū)動(dòng)傳送帶230的驅(qū)動(dòng)輥234結(jié)合的編碼器236的編碼值?？刂蒲b置200以及視覺(jué)傳感器220經(jīng)由網(wǎng)絡(luò)202可數(shù)據(jù)通信地連接，來(lái)自視覺(jué)傳感器220的測(cè)量結(jié)果經(jīng)由網(wǎng)絡(luò)202向控制裝置200傳送。典型地，作為控制裝置200使用了可編程控制器(下面，稱為“PLC”)。

在圖1所示的制造系統(tǒng)1中，存在如下情況，即，例如，提高傳送帶230的移動(dòng)速度并且添加機(jī)械手210來(lái)想要檢討處理能力是否充分。

圖2是表示對(duì)圖1所示的制造系統(tǒng)1添加新的機(jī)械手210的制造系統(tǒng)2的結(jié)構(gòu)例的示意圖。如圖2所示，能夠?qū)嶋H添加機(jī)械手210來(lái)驗(yàn)證制造系統(tǒng)1的處理能力最好，但因成本或時(shí)間的制約，不能進(jìn)行這樣的驗(yàn)證的情況較多。即，存在更簡(jiǎn)單地推定伴隨著圖2所示那樣的設(shè)備添加的系統(tǒng)的變化的需求。

針對(duì)這樣的需求，本實(shí)施方式的模擬裝置在三維假想空間內(nèi)假想地構(gòu)筑模擬對(duì)象的系統(tǒng)，并且，通過(guò)使實(shí)際拍攝的圖像數(shù)據(jù)與該假想地構(gòu)筑的系統(tǒng)相融合，實(shí)現(xiàn)更加高效的模擬。

圖3是用于說(shuō)明使用了本實(shí)施方式的模擬裝置的模擬方法的示意圖。參照?qǐng)D3，模擬裝置將模擬對(duì)象的制造系統(tǒng)2整體模型化，并且將由拍攝部222的拍攝所獲取的圖像數(shù)據(jù)賦予該模型。即，在制造系統(tǒng)1的模型中利用實(shí)際拍攝的圖像數(shù)據(jù)。

通過(guò)采用這樣的結(jié)構(gòu)，既能夠反映實(shí)際的制造系統(tǒng)的狀態(tài)，又能夠模擬任意的制造系統(tǒng)的性能。

此外，作為“實(shí)際拍攝的圖像數(shù)據(jù)”，并不限定于圖1以及圖2所示那樣的在改良前的制造系統(tǒng)1中所拍攝的圖像，也能夠使用在任意的系統(tǒng)以及狀況中所拍攝的圖像。即，若是包括模擬的對(duì)象物(典型地為工件232)的時(shí)間變化的信息的數(shù)據(jù)，則可以使用任何數(shù)據(jù)。

作為“圖像數(shù)據(jù)”，可以是動(dòng)態(tài)圖像數(shù)據(jù)，也可以是按時(shí)間序列排列的多個(gè)靜態(tài)圖像數(shù)據(jù)。此外，通過(guò)合適地調(diào)整動(dòng)態(tài)圖像數(shù)據(jù)的播放速度或多個(gè)靜態(tài)圖像數(shù)據(jù)的更新速度，也能夠調(diào)整成為控制對(duì)象的工件的時(shí)間變化(即，移動(dòng)速度)。這樣，通過(guò)調(diào)整賦予系統(tǒng)的模型的圖像數(shù)據(jù)，也能夠利用模擬求得控制對(duì)象的時(shí)間變化的最佳值等。

而且，作為多個(gè)靜態(tài)圖像，不僅是實(shí)際連續(xù)地拍攝的圖像，也可以通過(guò)將在不同場(chǎng)景所拍攝的多個(gè)圖像合適地排列而變?yōu)殡S時(shí)間變化的數(shù)據(jù)來(lái)當(dāng)作動(dòng)態(tài)圖像數(shù)據(jù)。在該情況下，生成的多個(gè)圖像之間沒(méi)有重疊，而且事實(shí)上也不存在這種問(wèn)題。

＜B.模擬裝置的硬件結(jié)構(gòu)＞

接著，對(duì)本實(shí)施方式的模擬裝置100的硬件結(jié)構(gòu)進(jìn)行說(shuō)明。典型地，本實(shí)施方式的模擬裝置100通過(guò)一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行程序來(lái)實(shí)現(xiàn)。

圖4是表示本實(shí)施方式的模擬裝置100的硬件結(jié)構(gòu)的示意圖。參照?qǐng)D4，作為一個(gè)例子，模擬裝置100包括以通用的計(jì)算機(jī)體系結(jié)構(gòu)為標(biāo)準(zhǔn)構(gòu)成的計(jì)算機(jī)。模擬裝置100包括處理器102、主存儲(chǔ)器104、輸入部106、顯示部108、網(wǎng)絡(luò)接口110、硬盤(HDD：Hard Disk Drive)120、光驅(qū)112、通信接口116。上述部件經(jīng)由內(nèi)部總線118相互可通信地連接。

處理器102通過(guò)將存儲(chǔ)于硬盤120的程序在主存儲(chǔ)器104中展開(kāi)執(zhí)行，實(shí)現(xiàn)后述那樣的功能以及處理。主存儲(chǔ)器104由揮發(fā)性存儲(chǔ)器構(gòu)成，作為利用處理器102執(zhí)行程序所必需的工件存儲(chǔ)器發(fā)揮作用。

典型地，輸入部106包括鍵盤、鼠標(biāo)、觸摸面板、觸摸板等，接受來(lái)自用戶的操作。顯示部108包括顯示器、指示器等，對(duì)用戶提示各種信息。

網(wǎng)絡(luò)接口110在伺服裝置等外部設(shè)備之間經(jīng)由網(wǎng)絡(luò)交換數(shù)據(jù)。光驅(qū)112從光盤114等讀取存儲(chǔ)于其中的各種程序，并安裝于硬盤120。通信接口116包括例如USB(Universal Serial Bus)等通信接口，在與輔助存儲(chǔ)裝置等外部設(shè)備之間經(jīng)由本地通信交換數(shù)據(jù)。

硬盤120為了作為操作系統(tǒng)(OS：Operating System)122以及模擬程序124等的模擬裝置發(fā)揮作用，存儲(chǔ)必要的程序，并且也存儲(chǔ)用于模擬的預(yù)先獲取的圖像數(shù)據(jù)群140。

圖4示出了經(jīng)由光驅(qū)112將必要的程序安裝于模擬裝置100的結(jié)構(gòu)例，但并不限定于此，也可以從網(wǎng)絡(luò)上的伺服裝置等下載。

這樣，在使用通用的計(jì)算機(jī)實(shí)現(xiàn)的情況下，除了用于提供本實(shí)施方式的功能的程序以外，還可以安裝有用于提供計(jì)算機(jī)的基本功能的操作系統(tǒng)(OS：Operating System)。在該情況下，本實(shí)施方式的模擬程序也可以是如下程序，即，將作為OS的一部分所提供的程序模塊中的必要的模塊按照規(guī)定的順序和/或時(shí)刻調(diào)出來(lái)執(zhí)行處理。即，就本實(shí)施方式的程序而言，也存在不包括上述那樣的模塊而與OS協(xié)作來(lái)執(zhí)行處理的情況。因此，作為本實(shí)施方式的程序也可以是不包括這樣的一部分的模塊的方式。

另外，本實(shí)施方式的程序也可以是編入為其他程序的一部分的程序。在該情況下，程序自身不具有包含于上述那樣組合的其他程序的模塊，而是與該其他程序協(xié)作來(lái)執(zhí)行處理。即，作為本實(shí)施方式的模擬程序，也可以是編入這樣的其他程序的方式。

另外，圖4示出了由通用的計(jì)算機(jī)實(shí)現(xiàn)模擬裝置100的例子，但并不限定于此，也可以使用專用電路(例如，ASIC(Application Specific Integrated Circuit)等)來(lái)實(shí)現(xiàn)其全部或一部分。而且，也可以由外部裝置來(lái)承擔(dān)一部分的處理。

＜C.模擬裝置的功能結(jié)構(gòu)＞

接著，對(duì)本實(shí)施方式的模擬裝置的功能結(jié)構(gòu)進(jìn)行說(shuō)明。

(c1：基本的結(jié)構(gòu)例)

圖5是表示本實(shí)施方式的模擬裝置的功能結(jié)構(gòu)的一個(gè)例子的示意圖。參照?qǐng)D5，模擬裝置100作為軟件功能包括視覺(jué)傳感器模擬器150、控制模擬器160、再現(xiàn)模塊170、用戶界面模塊180。典型地，上述功能模塊群通過(guò)處理器102執(zhí)行模擬程序124(均參照?qǐng)D4)來(lái)實(shí)現(xiàn)。

視覺(jué)傳感器模擬器150通過(guò)對(duì)預(yù)先獲取的圖像數(shù)據(jù)進(jìn)行由視覺(jué)傳感器220(參照?qǐng)D1～圖3)執(zhí)行的圖像測(cè)量處理來(lái)輸出測(cè)量結(jié)果。即，視覺(jué)傳感器模擬器150是模擬視覺(jué)傳感器220中的處理的模塊，對(duì)預(yù)先獲取的圖像數(shù)據(jù)群140執(zhí)行各種圖像測(cè)量處理。視覺(jué)傳感器模擬器150中的圖像測(cè)量處理按照預(yù)先設(shè)定的設(shè)定參數(shù)152來(lái)執(zhí)行。由視覺(jué)傳感器模擬器150中的圖像測(cè)量處理所得的測(cè)量結(jié)果向控制模擬器160輸出。即，執(zhí)行相當(dāng)于圖1～圖3所示的制造系統(tǒng)中的經(jīng)由網(wǎng)絡(luò)202從視覺(jué)傳感器220向控制裝置200傳送測(cè)量結(jié)果的處理。

控制模擬器160是模擬控制裝置200(參照?qǐng)D1～圖3)中的處理的模塊，按照預(yù)先制作的控制程序162執(zhí)行控制運(yùn)算(順序指令、動(dòng)作指令、各種功能指令等)?？刂颇M器160中的控制運(yùn)算的輸入以及輸出作為時(shí)間序列數(shù)據(jù)向再現(xiàn)模塊170輸出。

再現(xiàn)模塊170使用由控制模擬器160輸出的涉及控制運(yùn)算的時(shí)間序列數(shù)據(jù)，再現(xiàn)構(gòu)筑的系統(tǒng)的動(dòng)作。更具體地說(shuō)，再現(xiàn)模塊170基于作為定義文件的三維設(shè)計(jì)數(shù)據(jù)172使在三維假想空間內(nèi)假想地構(gòu)筑的系統(tǒng)視覺(jué)化，并且基于來(lái)自控制模擬器160的時(shí)間序列數(shù)據(jù)，再現(xiàn)系統(tǒng)中的工件或機(jī)械手的時(shí)間變化等。這樣，再現(xiàn)模塊170將模擬結(jié)果的時(shí)間變化以動(dòng)畫(huà)的狀態(tài)顯示在模擬裝置100的顯示部108(圖4)上。

用戶界面模塊180提供關(guān)于設(shè)定參數(shù)152、控制程序162以及三維設(shè)計(jì)數(shù)據(jù)172的用于支援用戶的設(shè)定、制作的操作畫(huà)面等。另外，在利用再現(xiàn)模塊170顯示模擬結(jié)果時(shí)，用戶界面模塊180也提供必要的用戶界面。

更具體地說(shuō)，用戶界面模塊180包括模型構(gòu)筑模塊182、拍攝區(qū)域設(shè)定接受模塊184、校準(zhǔn)參數(shù)計(jì)算模塊186。

模型構(gòu)筑模塊182在三維假想空間內(nèi)假想地構(gòu)筑模擬對(duì)象的系統(tǒng)。更具體地說(shuō)，模型構(gòu)筑模塊182提供用于顯示三維假想空間并且在該三維假想空間內(nèi)構(gòu)筑模擬對(duì)象的系統(tǒng)的設(shè)定及操作畫(huà)面。

拍攝區(qū)域設(shè)定接受模塊184接受視覺(jué)傳感器220的拍攝區(qū)域的設(shè)定，所述視覺(jué)傳感器220的拍攝區(qū)域與構(gòu)筑的系統(tǒng)相關(guān)聯(lián)。更具體地說(shuō)，拍攝區(qū)域設(shè)定接受模塊184根據(jù)用戶對(duì)三維假想空間內(nèi)所表示的模擬對(duì)象的系統(tǒng)的操作來(lái)確定拍攝區(qū)域的范圍。此外，優(yōu)選地，疊加于模擬對(duì)象的系統(tǒng)中來(lái)接受拍攝區(qū)域的范圍設(shè)定。

校準(zhǔn)參數(shù)計(jì)算模塊186基于構(gòu)筑的系統(tǒng)與設(shè)定的拍攝區(qū)域之間的相對(duì)位置關(guān)系，來(lái)計(jì)算用于將來(lái)自視覺(jué)傳感器模擬器150的測(cè)量結(jié)果變換為控制模擬器160中的控制運(yùn)算的輸入值的變換參數(shù)?？刂颇M器160將通過(guò)變換參數(shù)對(duì)由視覺(jué)傳感器模擬器150所生成的測(cè)量結(jié)果進(jìn)行變換所得到的結(jié)果作為輸入，來(lái)按照與系統(tǒng)相關(guān)聯(lián)的控制程序執(zhí)行控制運(yùn)算。

此外，在圖5中示出了再現(xiàn)模塊170使用由控制模擬器160輸出的時(shí)間序列數(shù)據(jù)再現(xiàn)構(gòu)筑的系統(tǒng)的動(dòng)作的結(jié)構(gòu)例，但作為模擬裝置100，再現(xiàn)模塊170不是必需的。例如，也可以將由控制模擬器160輸出的時(shí)間序列數(shù)據(jù)向外部裝置或外部應(yīng)用輸出，由該外部裝置或外部應(yīng)用再現(xiàn)系統(tǒng)的動(dòng)作?；蛘?，再現(xiàn)模塊170也可以只生成用于再現(xiàn)系統(tǒng)的動(dòng)作的動(dòng)態(tài)圖像數(shù)據(jù)并存儲(chǔ)于任意的存儲(chǔ)介質(zhì)，由其他應(yīng)用播放該動(dòng)態(tài)圖像數(shù)據(jù)。

(c2：變形例)

圖6是表示本實(shí)施方式的模擬裝置的功能結(jié)構(gòu)的變形例的示意圖。參照?qǐng)D6，模擬裝置100A作為軟件功能包括視覺(jué)傳感器模擬器150A、控制模擬器160、再現(xiàn)模塊170、用戶界面模塊180A。與圖5所示的模擬裝置100相比較，校準(zhǔn)參數(shù)計(jì)算模塊186未安裝于用戶界面模塊180A，而是安裝于視覺(jué)傳感器模擬器150A。除此之外的結(jié)構(gòu)相同，因此，不重復(fù)詳細(xì)的說(shuō)明。

從圖5以及圖6可以推測(cè)出，校準(zhǔn)參數(shù)計(jì)算模塊186是計(jì)算用于將來(lái)自視覺(jué)傳感器模擬器150的測(cè)量結(jié)果變換為控制模擬器160中的控制運(yùn)算的輸入值的變換參數(shù)的功能模塊，可以作為任一功能模塊的一部分進(jìn)行安裝，或者，也可以作為獨(dú)立的功能模塊進(jìn)行安裝。

＜D.處理順序＞

接著，對(duì)使用了本實(shí)施方式的模擬裝置100的模擬的處理順序進(jìn)行說(shuō)明。

圖7是表示使用了本實(shí)施方式的模擬裝置100的模擬的處理順序的流程圖。參照?qǐng)D7，首先，模擬裝置100接受系統(tǒng)模型的設(shè)定(步驟S2)。系統(tǒng)模型的設(shè)定包括構(gòu)成系統(tǒng)的各個(gè)裝置的配置位置、動(dòng)作速度等的設(shè)定。基于系統(tǒng)模型的設(shè)定，模擬裝置100在三維假想空間內(nèi)假想地構(gòu)筑模擬對(duì)象的系統(tǒng)。

模擬裝置100接受設(shè)定于系統(tǒng)模型內(nèi)的視覺(jué)傳感器的拍攝區(qū)域(步驟S4)。即，模擬裝置100接受視覺(jué)傳感器的拍攝區(qū)域的設(shè)定，所述視覺(jué)傳感器的拍攝區(qū)域與構(gòu)筑的系統(tǒng)相關(guān)聯(lián)。

接著，模擬裝置100接受用于控制系統(tǒng)模型的控制程序(步驟S6)。該控制程序是與系統(tǒng)相關(guān)聯(lián)的程序，由控制模擬器160來(lái)執(zhí)行。

之后，模擬裝置100基于構(gòu)筑的系統(tǒng)與設(shè)定的拍攝區(qū)域之間的相對(duì)位置關(guān)系，來(lái)計(jì)算用于將測(cè)量結(jié)果變換為控制運(yùn)算的輸入值的變換參數(shù)即校準(zhǔn)參數(shù)。更具體地說(shuō)，模擬裝置100基于設(shè)定的拍攝區(qū)域的范圍，來(lái)計(jì)算用于在視覺(jué)傳感器模擬器150中的坐標(biāo)系、系統(tǒng)模型中的傳送帶的坐標(biāo)系、系統(tǒng)模型中的機(jī)械手的坐標(biāo)系之間相互地變換視覺(jué)傳感器模擬器150的測(cè)量結(jié)果的校準(zhǔn)參數(shù)(步驟S8)。

另外，模擬裝置100接受視覺(jué)傳感器模擬器150中應(yīng)執(zhí)行的圖像測(cè)量處理的內(nèi)容設(shè)定(步驟S10)。

通過(guò)上面的處理，完成用于進(jìn)行模擬的設(shè)定。

在指示開(kāi)始模擬時(shí)，模擬裝置100(圖5所示的視覺(jué)傳感器模擬器150)以讀取預(yù)先獲取的圖像數(shù)據(jù)群140中的被指定的圖像數(shù)據(jù)并由視覺(jué)傳感器220執(zhí)行的方式，執(zhí)行所指定的圖像測(cè)量處理(步驟S12)。接著，模擬裝置100(圖5所示的控制模擬器160)基于由圖像測(cè)量處理輸出的測(cè)量結(jié)果，并按照控制程序執(zhí)行控制運(yùn)算(步驟S14)。此時(shí)，模擬裝置100將利用校準(zhǔn)參數(shù)(變換參數(shù))對(duì)所生成的測(cè)量結(jié)果進(jìn)行變換所得到的結(jié)果作為輸入，并按照與系統(tǒng)相關(guān)聯(lián)的控制程序執(zhí)行控制運(yùn)算。

模擬裝置100將由該控制運(yùn)算的執(zhí)行所計(jì)算出的各個(gè)值與時(shí)間信息相關(guān)聯(lián)地保存(步驟S16)。模擬裝置100判斷預(yù)先獲取的圖像數(shù)據(jù)群140中的被指定的全部的圖像數(shù)據(jù)的讀取是否已完成(步驟S18)。若被指定的全部的圖像數(shù)據(jù)的讀取未完成(在步驟S18中為NO的情況下)，反復(fù)進(jìn)行步驟S12以下的處理。

相對(duì)于此，若被指定的全部的圖像數(shù)據(jù)的讀取已完成(在步驟S18中為YES的情況下)，模擬裝置100使用在步驟S16中依次保存的時(shí)間序列數(shù)據(jù)，再現(xiàn)系統(tǒng)模型的動(dòng)作(步驟S20)。模擬裝置100能夠根據(jù)用戶操作合適地變更再現(xiàn)的系統(tǒng)模型的動(dòng)作的時(shí)間間隔以及更新間隔等。

通過(guò)上面那樣的處理順序，能夠評(píng)價(jià)系統(tǒng)模型中的生產(chǎn)節(jié)拍、性能。

此外，在預(yù)先獲取的圖像數(shù)據(jù)群140的時(shí)長(zhǎng)或幀數(shù)不足以進(jìn)行模擬的情況下，也可以反復(fù)輸入圖像數(shù)據(jù)群140。即，在步驟S18中，在被指定的全部的圖像數(shù)據(jù)的讀取完成時(shí)，也可以返回至最先的圖像數(shù)據(jù)反復(fù)進(jìn)行輸入。并且，在預(yù)先指定的時(shí)間或預(yù)先指定的幀數(shù)的模擬完成的時(shí)刻，也可以結(jié)束模擬。即，作為模擬的結(jié)束條件，除了上述那樣的圖像數(shù)據(jù)的讀取完成以外，還能夠設(shè)定任意的條件。

＜E.系統(tǒng)模型的構(gòu)筑＞

接著，對(duì)模擬對(duì)象的系統(tǒng)模型的構(gòu)筑處理進(jìn)行說(shuō)明。系統(tǒng)模型的構(gòu)筑處理主要是由模型構(gòu)筑模塊182(圖5)所提供的功能，與上述的圖7所示的系統(tǒng)模型的設(shè)定的接受(步驟S2)相對(duì)應(yīng)。

用戶也可以在模擬裝置100提供的編輯畫(huà)面中，直接構(gòu)筑成為模擬對(duì)象的系統(tǒng)模型，也可以通過(guò)讀取預(yù)先制作的設(shè)計(jì)數(shù)據(jù)(CAD(Computer Aided Design)數(shù)據(jù)等)來(lái)構(gòu)筑系統(tǒng)模型。而且，也能夠在讀取過(guò)去制作的系統(tǒng)模型的數(shù)據(jù)并進(jìn)行編輯的基礎(chǔ)上來(lái)使用。

即，在本實(shí)施方式的模擬裝置100中，模型系統(tǒng)的構(gòu)筑能夠采取任意的方法。

圖8是表示本實(shí)施方式的模擬裝置100提供的系統(tǒng)模型的構(gòu)筑的用戶界面畫(huà)面的一個(gè)例子的圖。為了便于說(shuō)明，圖8示出了進(jìn)行簡(jiǎn)單的拾取和放置動(dòng)作的系統(tǒng)模型。

更具體地說(shuō)，在圖8所示的用戶界面畫(huà)面中，在三維假想空間300內(nèi)，兩條傳送帶301以及302相互平行地配置。兩個(gè)機(jī)械手311以及313對(duì)應(yīng)于傳送帶302的規(guī)定位置配置。在該系統(tǒng)模型中假設(shè)成如下的應(yīng)用系統(tǒng)，即，利用傳送帶301從紙面左側(cè)向紙面右側(cè)運(yùn)送工件，機(jī)械手311以及13拾取成為對(duì)象的工件并放置于傳送帶302上。這樣，圖8所示的系統(tǒng)模型包括傳送帶以及機(jī)械手。機(jī)械手根據(jù)控制模擬器160中的控制運(yùn)算的結(jié)果進(jìn)行動(dòng)作。

在圖8所示的用戶界面畫(huà)面中，能夠從任意方向渲染三維假想空間300內(nèi)的對(duì)象。即，用戶界面畫(huà)面所描繪的視點(diǎn)可以由用戶任意變更。

在此，對(duì)圖8所示的系統(tǒng)模型中的坐標(biāo)系進(jìn)行說(shuō)明。圖9是用于說(shuō)明在由本實(shí)施方式的模擬裝置100提供的三維假想空間內(nèi)定義的坐標(biāo)系的示意圖。

參照?qǐng)D9，三維假想空間300內(nèi)的X、Y、Z軸定義為世界坐標(biāo)系320。世界坐標(biāo)系320相當(dāng)于用于定義系統(tǒng)模型的各個(gè)部分的位置的作為基準(zhǔn)的坐標(biāo)系。

另一方面，為了進(jìn)行在傳送帶301以及302上被運(yùn)送的工件的跟蹤等，在控制裝置(圖5所示的控制模擬器160)中，定義將傳送帶301以及302的初始位置作為原點(diǎn)的傳送帶坐標(biāo)系303。傳送帶坐標(biāo)系303是關(guān)于系統(tǒng)模型中的傳送帶的坐標(biāo)系，將傳送帶301以及302的運(yùn)送方向、與運(yùn)送方向正交的方向、與傳送帶301以及302的運(yùn)送表面正交的方向這三個(gè)方向作為各個(gè)軸。

而且，也可以分別獨(dú)立地定義用于分別控制機(jī)械手311以及313的機(jī)械手坐標(biāo)系312以及314。機(jī)械手坐標(biāo)系312以及314是關(guān)于系統(tǒng)模型中的機(jī)械手311以及313的坐標(biāo)系，將機(jī)械手311以及313的固定架的中心作為原點(diǎn)。機(jī)械手坐標(biāo)系312以及314從機(jī)械手控制器來(lái)看，用于控制機(jī)械手311以及313的動(dòng)作。

而且，在機(jī)械手311以及313的頂端安裝有把持用的夾具等的情況下，還可以定義將機(jī)械手311以及313的頂端作為原點(diǎn)的工具坐標(biāo)系。

＜F.拍攝區(qū)域的設(shè)定以及校準(zhǔn)參數(shù)的計(jì)算＞

接著，對(duì)系統(tǒng)模型所設(shè)定的拍攝區(qū)域以及根據(jù)拍攝區(qū)域計(jì)算出的校準(zhǔn)參數(shù)進(jìn)行說(shuō)明。為了有效地將由實(shí)際的拍攝所獲取的圖像數(shù)據(jù)群140和系統(tǒng)模型中的模擬相結(jié)合，本實(shí)施方式的模擬裝置100具有如下功能，即，基于針對(duì)系統(tǒng)模型所設(shè)定的拍攝區(qū)域自動(dòng)地計(jì)算出必要的校準(zhǔn)參數(shù)。

即，在本實(shí)施方式的模擬裝置100中，用戶也可以針對(duì)構(gòu)筑的系統(tǒng)模型只設(shè)定用于拍攝向視覺(jué)傳感器輸入的圖像數(shù)據(jù)的拍攝部222的拍攝區(qū)域。此外，自動(dòng)地計(jì)算出校準(zhǔn)參數(shù)的功能是任意的結(jié)構(gòu)，可以是與模擬裝置100不同的裝置，或由用戶來(lái)設(shè)定。

(f1：拍攝區(qū)域的設(shè)定)

圖10是表示針對(duì)本實(shí)施方式的模擬裝置100提供的系統(tǒng)模型設(shè)定拍攝區(qū)域的用戶界面畫(huà)面的一個(gè)例子的圖。參照?qǐng)D10，用戶通過(guò)鼠標(biāo)操作等對(duì)構(gòu)筑的系統(tǒng)模型設(shè)定拍攝區(qū)域330。在此，將拍攝區(qū)域330的各個(gè)頂點(diǎn)的坐標(biāo)值設(shè)為(Xa，Ya，Za)、(Xb，Yb，Zb)、(Xc，Yc，Zc)、(Xd，Yd，Zd)。

圖11是表示本實(shí)施方式的模擬裝置100的視覺(jué)傳感器模擬器150的測(cè)量結(jié)果的一個(gè)例子的圖。參照?qǐng)D11，模擬視覺(jué)傳感器220的視覺(jué)傳感器模擬器150針對(duì)像素的集合體即圖像數(shù)據(jù)進(jìn)行圖像測(cè)量處理，因此，該測(cè)量結(jié)果利用像素值進(jìn)行定義。圖11是表示與預(yù)先登記的圖像圖形之間的圖形匹配的結(jié)果例的圖。圖像數(shù)據(jù)內(nèi)的兩個(gè)對(duì)象與登記的圖像圖形一致，(x1、y1、θ1)以及(x2、y2、θ2)作為測(cè)量結(jié)果輸出。該測(cè)量結(jié)果包括與登記的圖像圖形一致的對(duì)象存在的位置(全為像素值)和距登記的圖像圖形的旋轉(zhuǎn)角(姿勢(shì))。

為了使這樣的作為圖像數(shù)據(jù)內(nèi)的坐標(biāo)值輸出的測(cè)量結(jié)果適合于在三維假想空間內(nèi)構(gòu)筑的系統(tǒng)模型，本實(shí)施方式的模擬裝置100使用校準(zhǔn)參數(shù)來(lái)變換其他坐標(biāo)系中的值。

在下面的說(shuō)明中，將定義圖11所示的圖像數(shù)據(jù)上的坐標(biāo)值的坐標(biāo)系稱為“攝像頭坐標(biāo)系”。若能夠進(jìn)行模擬，則可以從攝像頭坐標(biāo)系變換為任一坐標(biāo)系(世界坐標(biāo)系或機(jī)械手坐標(biāo)系)，但在下面的說(shuō)明中，作為典型例，對(duì)變換為機(jī)械手坐標(biāo)系的值的情況進(jìn)行說(shuō)明。即，在下面的說(shuō)明中，將機(jī)械手坐標(biāo)系指定為基準(zhǔn)的坐標(biāo)系，將攝像頭坐標(biāo)系的值變換為機(jī)械手坐標(biāo)系的值。并且，利用機(jī)械手坐標(biāo)系計(jì)算出工件的位置以及姿勢(shì)。

在本實(shí)施方式的模擬裝置100中，校準(zhǔn)參數(shù)包括下面所示的系數(shù)A～F。系數(shù)A～F相當(dāng)于用于將視覺(jué)傳感器模擬器150的測(cè)量結(jié)果變換為控制模擬器160中的控制運(yùn)算的輸入值的變換參數(shù)。即，變換參數(shù)(系數(shù)A～F)是將作為測(cè)量結(jié)果輸出的攝像頭坐標(biāo)系的坐標(biāo)值變換為定義機(jī)械手的動(dòng)作的基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值的參數(shù)。

按照下面的變換式，由攝像頭坐標(biāo)系的坐標(biāo)值(x、y)計(jì)算出機(jī)械手坐標(biāo)系的坐標(biāo)值(X、Y)。此外，在一般的視覺(jué)傳感器中，由于在高度方向(Z軸方向)上無(wú)法檢測(cè)，因此，在攝像頭坐標(biāo)系中，也可以不存在Z軸。

X＝A·x+B·y+C

Y＝D·x+E·y+F

如上所述，本實(shí)施方式的模擬裝置100基于在三維假想空間內(nèi)構(gòu)筑的系統(tǒng)與設(shè)定的拍攝區(qū)域之間的相對(duì)位置關(guān)系來(lái)計(jì)算出變換參數(shù)。

(f2：系數(shù)A～F的計(jì)算)

校準(zhǔn)參數(shù)中的系數(shù)A～F是從攝像頭坐標(biāo)系變換為基準(zhǔn)坐標(biāo)系所需的參數(shù)。系數(shù)A～F基于在三維假想空間內(nèi)設(shè)定的攝像頭坐標(biāo)系以及基準(zhǔn)坐標(biāo)系的信息進(jìn)行計(jì)算。

圖12是表示在本實(shí)施方式的模擬裝置100提供的三維假想空間內(nèi)定義的拍攝區(qū)域的攝像頭坐標(biāo)系以及基準(zhǔn)坐標(biāo)系的關(guān)系例的示意圖。

參照?qǐng)D12，首先，針對(duì)拍攝區(qū)域330的各個(gè)頂點(diǎn)c1、c2、c3、c4，計(jì)算出攝像頭坐標(biāo)系的坐標(biāo)值以及基準(zhǔn)坐標(biāo)系的坐標(biāo)值。在圖12所示的例子中，攝像頭坐標(biāo)系中的各個(gè)頂點(diǎn)c1、c2、c3、c4的坐標(biāo)值的計(jì)算如下。此外，單位全為像素。

c1＝(0，0)

c2＝(640，0)

c3＝(640，480)

c4＝(0，480)

與此相對(duì)，在基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)中，計(jì)算如下。此外，單位全為mm。

c1＝(-250，-30)

c2＝(-100，-30)

c3＝(-100，-130)

c4＝(-250，-130)

針對(duì)上述相同絕對(duì)坐標(biāo)的四個(gè)點(diǎn)，通過(guò)由兩個(gè)坐標(biāo)系計(jì)算出各自的坐標(biāo)值，能夠按照下面的順序計(jì)算出用于坐標(biāo)變換的參數(shù)即系數(shù)A～F。

本實(shí)施方式的模擬裝置100提供的三維假想空間定義為世界坐標(biāo)系。因此，一旦將攝像頭坐標(biāo)系以及基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值變換為世界坐標(biāo)系的坐標(biāo)值，就能夠計(jì)算出校準(zhǔn)參數(shù)即系數(shù)A～F。

但是，并不限定于下面那樣的順序，也可以由上述的兩個(gè)坐標(biāo)值組計(jì)算出用于相互變換的參數(shù)。

圖13是表示本實(shí)施方式的模擬裝置100中的校準(zhǔn)參數(shù)的計(jì)算順序的流程圖。參照?qǐng)D13，模擬裝置100將拍攝區(qū)域330的各個(gè)頂點(diǎn)的坐標(biāo)值變換為世界坐標(biāo)系的坐標(biāo)值(步驟S81)。接著，模擬裝置100計(jì)算出用于將世界坐標(biāo)系變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的參數(shù)(步驟S82)。模擬裝置100使用在步驟S82中計(jì)算出的參數(shù)，將拍攝區(qū)域330的攝像頭坐標(biāo)系的各個(gè)頂點(diǎn)的坐標(biāo)值變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值(步驟S83)。

最終，模擬裝置100計(jì)算出校準(zhǔn)參數(shù)(系數(shù)A～F)(步驟S84)。

下面，說(shuō)明圖13的各個(gè)步驟中的詳細(xì)處理。

(1)將拍攝區(qū)域330的各個(gè)頂點(diǎn)的坐標(biāo)值變換為世界坐標(biāo)系的坐標(biāo)值(步驟S81)

圖14是用于說(shuō)明圖13所示的校準(zhǔn)參數(shù)的計(jì)算順序的步驟S81中的處理內(nèi)容的示意圖。參照?qǐng)D14，以與拍攝區(qū)域330的原點(diǎn)相同的位置以及角度設(shè)定放大率1的對(duì)象BOX。接著，確定與攝像頭原點(diǎn)相關(guān)的任意四個(gè)點(diǎn)。

在對(duì)拍攝區(qū)域330的各個(gè)頂點(diǎn)Oc、Ac、Bc、Cc進(jìn)行檢討時(shí)，將拍攝區(qū)域330的長(zhǎng)度設(shè)為L(zhǎng)，將寬度設(shè)為W，與對(duì)象BOX相關(guān)的頂點(diǎn)Oc、Ac、Bc、Cc的各個(gè)局部坐標(biāo)值的計(jì)算如下。

Oc＝(0，0，0)

Ac＝(L，0，0)

Bc＝(L，W，0)

Cc＝(0，W，0)

在此，頂點(diǎn)Oc與放大率1的對(duì)象BOX的中心坐標(biāo)一致。若放大率1的對(duì)象BOX設(shè)為與攝像頭坐標(biāo)值完全相同的坐標(biāo)系，則能夠由對(duì)象BOX的旋轉(zhuǎn)矩陣以及平行移動(dòng)矩陣計(jì)算出各個(gè)頂點(diǎn)Oc、Ac、Bc、Cc的世界坐標(biāo)系的坐標(biāo)值。

更具體地說(shuō)，若將各個(gè)頂點(diǎn)Oc、Ac、Bc、Cc的世界坐標(biāo)系的坐標(biāo)值分別設(shè)為WOc、WAc、WBc、WCc，則各個(gè)坐標(biāo)值的計(jì)算如下。在此，R是放大率1的對(duì)象BOX的旋轉(zhuǎn)矩陣，M是平行移動(dòng)矩陣。

WOc＝R×Oc+M

WAc＝R×Ac+M

WBc＝R×Bc+M

WCc＝R×Cc+M

(2)用于將世界坐標(biāo)系變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的參數(shù)的計(jì)算(步驟S82)

計(jì)算出用于將在上述的步驟S81中計(jì)算出的坐標(biāo)值WOc、WAc、WBc、WCc變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值的參數(shù)。

圖15是用于說(shuō)明圖13所示的校準(zhǔn)參數(shù)的計(jì)算順序的步驟S82中的處理內(nèi)容的示意圖。參照?qǐng)D15，與上述的(1)相同，在與基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)相同的坐標(biāo)系中設(shè)定放大率1的對(duì)象BOX，來(lái)確定任意的四個(gè)點(diǎn)。

圖15中的各個(gè)點(diǎn)Or、Ar、Br、Cr是拍攝區(qū)域的任意四個(gè)點(diǎn)。點(diǎn)Or與放大率1的對(duì)象BOX的中心坐標(biāo)一致。若放大率1的對(duì)象BOX設(shè)為與基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)完全相同的坐標(biāo)系，則能夠由對(duì)象BOX的旋轉(zhuǎn)矩陣和平行移動(dòng)矩陣計(jì)算出各個(gè)點(diǎn)Or、Ar、Br、Cr的世界坐標(biāo)系的坐標(biāo)值。

更具體地說(shuō)，若將各個(gè)點(diǎn)Or、Ar、Br、Cr的世界坐標(biāo)系的坐標(biāo)值分別設(shè)為WOr、WAr、WBr、WCr，則各個(gè)坐標(biāo)值的計(jì)算如下。在此，R是放大率1的對(duì)象BOX的旋轉(zhuǎn)矩陣，M是平行移動(dòng)矩陣。

WOr＝R×Or+MWAr＝R×Ar+M

WBr＝R×Br+MWCr＝R×Cr+M

通過(guò)上述的(1)以及(2)的計(jì)算處理，計(jì)算出以基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)為基準(zhǔn)的各個(gè)點(diǎn)Or、Ar、Br、Cr的坐標(biāo)值和以世界坐標(biāo)系的原點(diǎn)為基準(zhǔn)的各個(gè)點(diǎn)的坐標(biāo)值。使用這些坐標(biāo)值能夠計(jì)算出用于從世界坐標(biāo)系變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的參數(shù)。即，能夠計(jì)算出滿足下面的變換式的系數(shù)a、b、c、d、e、f。

(基準(zhǔn)坐標(biāo)系的X)＝(世界坐標(biāo)系的X)×a+(世界坐標(biāo)系的Y)×b+c

(基準(zhǔn)坐標(biāo)系的Y)＝(世界坐標(biāo)系的Y)×d+(世界坐標(biāo)系的Y)×e+f

(3)將攝像頭坐標(biāo)系的各個(gè)頂點(diǎn)的坐標(biāo)值變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值(步驟S83)。

使用由上述的(2)的計(jì)算處理所確定的系數(shù)a～f，分別將WOc、WAc、WBc、WCc變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值MOc、MAc、MBc、MCc。

(4)校準(zhǔn)參數(shù)(系數(shù)A～F)的計(jì)算(步驟S84)。

若分別將頂點(diǎn)Oc、Ac、Bc、Cc的攝像頭坐標(biāo)系的坐標(biāo)值設(shè)為COc、CAc、CBc、CC，則各個(gè)坐標(biāo)值的計(jì)算如下。在此，CV是用戶設(shè)定的攝像頭拍攝圖像的縱側(cè)的析像度，CH為橫側(cè)的析像度。

COc＝(0，0，0)

CAc＝(CH，0，0)

CBc＝(CH，CV，0)

CCc＝(0，CV，0)

使用上述四個(gè)坐標(biāo)值和基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值MOc、MAc、MBc、MCc，能夠計(jì)算出校準(zhǔn)參數(shù)(系數(shù)A～F)。即，能夠計(jì)算出滿足下面的變換式的系數(shù)A、B、C、D、E、F。

(基準(zhǔn)坐標(biāo)系的X)＝(攝像頭坐標(biāo)系的X)×A+(攝像頭坐標(biāo)系的Y)×B+C

(基準(zhǔn)坐標(biāo)系的Y)＝(攝像頭坐標(biāo)系的X)×D+(攝像頭坐標(biāo)系的Y)×E+F

由上面的計(jì)算處理所確定的系數(shù)A～F作為校準(zhǔn)參數(shù)輸出。

(f3：每個(gè)脈沖的移動(dòng)量的計(jì)算)

作為校準(zhǔn)參數(shù)，除了上述的系數(shù)A～F以外，還可以包括在構(gòu)筑的系統(tǒng)中使工件移動(dòng)的裝置(傳送帶230)的單位移動(dòng)量與構(gòu)筑的系統(tǒng)中的工件的移動(dòng)速度的換算系數(shù)。該換算系數(shù)包括關(guān)于傳送帶230的單位移動(dòng)量(典型地，來(lái)自編碼器236的每個(gè)脈沖)的工件的X軸方向的移動(dòng)量以及Y軸方向的移動(dòng)量。

在再現(xiàn)構(gòu)筑的系統(tǒng)的動(dòng)作的情況下，上述的移動(dòng)量用于計(jì)算工件的時(shí)間變化。即，包含于校準(zhǔn)參數(shù)的每個(gè)脈沖的移動(dòng)量需要基于來(lái)自編碼器236的編碼值來(lái)計(jì)算出工件的各個(gè)時(shí)刻的位置。本實(shí)施方式的模擬裝置100通過(guò)用于計(jì)算出相對(duì)于基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的傳送帶的傾斜以及移動(dòng)量的變換系數(shù)，計(jì)算出每個(gè)脈沖的移動(dòng)量。

圖16是用于說(shuō)明本實(shí)施方式的模擬裝置100中的每個(gè)脈沖的移動(dòng)量的計(jì)算順序的示意圖。圖16是表示以世界坐標(biāo)系額Z軸為中心使傳送帶以及機(jī)械手旋轉(zhuǎn)時(shí)的例子的圖。若使傳送帶以Z軸為中心只旋轉(zhuǎn)旋轉(zhuǎn)角θ且使機(jī)械手以Z軸為中心只旋轉(zhuǎn)旋轉(zhuǎn)角α，則每個(gè)脈沖的移動(dòng)量的計(jì)算如下。在此，1是傳送帶行進(jìn)方向的每個(gè)脈沖的移動(dòng)量。

每個(gè)脈沖的X軸方向的移動(dòng)量(X)＝1×cos(θ-α)

每個(gè)脈沖的Y軸方向的移動(dòng)量(Y)＝1×sin(θ-α)

這樣，針對(duì)傳送帶行進(jìn)方向的每個(gè)脈沖的移動(dòng)量，通過(guò)應(yīng)用(θ-α)能夠計(jì)算出每個(gè)脈沖的移動(dòng)量。

在圖16中，為了便于說(shuō)明，示出了只以世界坐標(biāo)系的Z軸為中心使傳送帶以及機(jī)械手旋轉(zhuǎn)的例子，但在實(shí)際的系統(tǒng)模型中，不僅以Z軸為中心，還存在以X軸以及Y軸為中心旋轉(zhuǎn)的情況。因此，考慮各個(gè)軸的旋轉(zhuǎn)角，以下面的方式進(jìn)行計(jì)算。

在實(shí)際的系統(tǒng)模型中，一般為，例如，傳送帶設(shè)定為，以世界坐標(biāo)系的X軸為中心傾斜旋轉(zhuǎn)角θx、以Y軸為中心傾斜旋轉(zhuǎn)角θy、以Z軸為中心傾斜旋轉(zhuǎn)角θz。另外，機(jī)械手設(shè)定為，以世界坐標(biāo)系的X軸為中心傾斜旋轉(zhuǎn)角αx、以Y軸為中心傾斜旋轉(zhuǎn)角αy、以Z軸為中心傾斜旋轉(zhuǎn)角αz。

首先，針對(duì)3×3的單位矩陣，通過(guò)以X軸為中心旋轉(zhuǎn)(θx-αx)、以Y軸為中心旋轉(zhuǎn)(θy-αy)、以Z軸為中心旋轉(zhuǎn)(θz-αz)，來(lái)制作旋轉(zhuǎn)矩陣。

相對(duì)于傳送帶的行進(jìn)方向的每個(gè)脈沖的移動(dòng)量1能夠由初始設(shè)定值獲取，因此，如下面所述，通過(guò)使旋轉(zhuǎn)矩陣與系統(tǒng)模型的局部坐標(biāo)軸(1，0，0)相乘計(jì)算出的坐標(biāo)值X以及Y分別相當(dāng)于每個(gè)脈沖的X軸方向的移動(dòng)量(X)以及每個(gè)脈沖的Y軸方向的移動(dòng)量(Y)。在此，移動(dòng)量的單位為mm。

移動(dòng)量(x，y，z)＝旋轉(zhuǎn)矩陣×(1，0，0)

每個(gè)脈沖的X軸方向的移動(dòng)量(X)＝移動(dòng)量(x)[mm]

每個(gè)脈沖的Y軸方向的移動(dòng)量(Y)＝移動(dòng)量(y)[mm]

由上面的計(jì)算處理所確定的每個(gè)脈沖的X軸方向的移動(dòng)量(X)以及每個(gè)脈沖的Y軸方向的移動(dòng)量(Y)作為校準(zhǔn)參數(shù)被計(jì)算出。

＜G.模擬結(jié)果的顯示＞

接著，說(shuō)明模擬結(jié)果的顯示處理。模擬結(jié)果的顯示處理即再現(xiàn)系統(tǒng)模型的動(dòng)作的處理主要是由再現(xiàn)模塊170(圖5)提供的功能，與上述的圖7所示的系統(tǒng)模型的設(shè)定的接受(步驟S20)相對(duì)應(yīng)。

圖17是表示再現(xiàn)本實(shí)施方式的模擬裝置100提供的系統(tǒng)的動(dòng)作的用戶界面畫(huà)面的一個(gè)例子的圖。參照?qǐng)D17，基于將視覺(jué)傳感器模擬器150的測(cè)量結(jié)果作為輸入的控制運(yùn)算的結(jié)果，再現(xiàn)構(gòu)筑的系統(tǒng)的動(dòng)作。即，基于由控制模擬器160中的控制運(yùn)算所計(jì)算出的控制指令，機(jī)械手311以及313依次更新其位置以及姿勢(shì)。由此，能夠觀察機(jī)械手311以及313的動(dòng)作。

另外，在用戶界面畫(huà)面中，基于由視覺(jué)傳感器模擬器150識(shí)別的工件的信息，在構(gòu)筑的系統(tǒng)模型上顯示工件350。在該系統(tǒng)模型上顯示工件350包括在構(gòu)筑的系統(tǒng)的視覺(jué)傳感器的拍攝區(qū)域內(nèi)根據(jù)被識(shí)別的位置配置工件350。工件350顯示為，根據(jù)傳送帶301以及303的移動(dòng)而移動(dòng)。另外，根據(jù)機(jī)械手311以及313的拾取和放置動(dòng)作，其位置也變化。這樣，在由視覺(jué)傳感器模擬器150執(zhí)行的圖像測(cè)量處理包括基于預(yù)先登記的圖像圖形識(shí)別工件的處理的情況下，再現(xiàn)模塊170也可以使由視覺(jué)傳感器模擬器150識(shí)別而存在的各個(gè)工件顯示在構(gòu)筑的系統(tǒng)上，并且伴隨著時(shí)間的經(jīng)過(guò)而更新各個(gè)工件的位置。

通過(guò)對(duì)這樣的工件350跟蹤顯示，用戶能夠更加容易地識(shí)別構(gòu)筑的系統(tǒng)的動(dòng)作。

在圖17所示的用戶界面畫(huà)面中，能夠從任意方向渲染三維假想空間內(nèi)的對(duì)象。即，用戶界面畫(huà)面中所描繪的視點(diǎn)可以由用戶任意地變更。另外，也能夠任意地指定再現(xiàn)的時(shí)間寬度以及再現(xiàn)速度等。

＜H.工件的顯示位置以及姿勢(shì)＞

在此，對(duì)用于實(shí)現(xiàn)圖17所示的工件的跟蹤顯示的處理進(jìn)行說(shuō)明。即，對(duì)工件的顯示位置以及姿勢(shì)的計(jì)算順序進(jìn)行說(shuō)明。

從視覺(jué)傳感器模擬器150輸出的測(cè)量結(jié)果(包括被識(shí)別的工件的位置)變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值并輸入至控制模擬器160。另一方面，系統(tǒng)模型按照三維假想空間300內(nèi)的世界坐標(biāo)系設(shè)定，因此，在再現(xiàn)構(gòu)筑的系統(tǒng)的動(dòng)作的情況下，將基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值變換為世界坐標(biāo)系的坐標(biāo)值。即，再現(xiàn)模塊170將由視覺(jué)傳感器模擬器150中的圖像測(cè)量處理所得的工件的坐標(biāo)值變換為定義構(gòu)筑的系統(tǒng)的世界坐標(biāo)系的坐標(biāo)值，并將各個(gè)工件顯示在構(gòu)筑的系統(tǒng)上。

用于將基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值變換為世界坐標(biāo)系的坐標(biāo)值的參數(shù)能夠利用與上述那樣的用于將攝像頭坐標(biāo)系的坐標(biāo)值變換為基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值的參數(shù)的計(jì)算相同的順序進(jìn)行計(jì)算。

具體地說(shuō)，首先，針對(duì)關(guān)于基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的任意四個(gè)點(diǎn)，分別計(jì)算出基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值和世界坐標(biāo)系的坐標(biāo)值。并且，通過(guò)上述的坐標(biāo)值組，能夠計(jì)算出用于將基準(zhǔn)坐標(biāo)系(機(jī)械手坐標(biāo)系)的坐標(biāo)值變換為世界坐標(biāo)系的坐標(biāo)值的系數(shù)A1、B1、C1、D1、E1、F1。使用上述的用于變換的系數(shù)，若將由視覺(jué)傳感器模擬器150所檢測(cè)的工件的坐標(biāo)值設(shè)為x，y，則輸入控制模擬器160時(shí)的初始顯示位置能夠以下面的方式計(jì)算出。

工件的初始顯示位置(X)＝A1×x+B1×y+C1

工件的初始顯示位置(Y)＝D1×x+E1×y+F1

在采用圖5所示的功能結(jié)構(gòu)的模擬裝置100中，拍攝工件而生成圖像數(shù)據(jù)，并利用視覺(jué)傳感器模擬器150對(duì)該圖像數(shù)據(jù)進(jìn)行圖像測(cè)量處理，在測(cè)量結(jié)果輸入至控制模擬器160為止的期間，也會(huì)產(chǎn)生一定程度的延時(shí)。另一方面，由于工件由傳送帶運(yùn)送，因此，也需要修正該延時(shí)期間移動(dòng)的距離。

在從獲取工件的圖像數(shù)據(jù)到計(jì)算出工件的坐標(biāo)值的期間，作為計(jì)算出工件移動(dòng)的距離的方法的一個(gè)例子，采用了評(píng)價(jià)來(lái)自編碼器236(圖1)的編碼值的差的方法。如上所述，由于預(yù)先計(jì)算出每個(gè)脈沖的移動(dòng)量，因此，能夠通過(guò)各個(gè)時(shí)刻與拍攝時(shí)之間的編碼值的差計(jì)算出移動(dòng)距離。即，若將目前時(shí)刻的編碼值設(shè)為Ec、將拍攝時(shí)的編碼值設(shè)為Et、將傳送帶的局部坐標(biāo)系的變換系數(shù)設(shè)為C，則在初始顯示工件之后，在傳送帶的局部坐標(biāo)系的X軸方向上，加上下面的修正距離。

修正距離＝(Ec-Et)×C

并且，在初始顯示以后，各個(gè)工件的顯示位置根據(jù)編碼值的變化依次被更新。通過(guò)這樣的顯示位置的更新處理，能夠再現(xiàn)工件在傳送帶上流動(dòng)的情況。

圖18是用于說(shuō)明與本實(shí)施方式的模擬裝置100中的攝像頭坐標(biāo)系相對(duì)應(yīng)的工件的姿勢(shì)的顯示方式的圖。參照?qǐng)D18，與針對(duì)圖像數(shù)據(jù)的攝像頭坐標(biāo)系的設(shè)定相依存，包含于從視覺(jué)傳感器模擬器150輸出的測(cè)量結(jié)果的工件的旋轉(zhuǎn)角(姿勢(shì))反映于三維假想空間內(nèi)的工件上。

＜I.顯示例＞

也可以在再現(xiàn)圖17所示的系統(tǒng)的動(dòng)作的用戶界面上同時(shí)顯示附加的信息。下面，對(duì)顯示附加的信息的例子進(jìn)行說(shuō)明。

(i1：顯示例1)

圖19是表示再現(xiàn)本實(shí)施方式的模擬裝置100提供的系統(tǒng)的動(dòng)作的用戶界面畫(huà)面的其他例子的圖。在圖19所示的用戶界面畫(huà)面中，與圖17所示的用戶界面畫(huà)面相比較，包括用于由視覺(jué)傳感器模擬器150所執(zhí)行的圖像測(cè)量處理的輸入圖像的測(cè)量結(jié)果360被顯示。測(cè)量結(jié)果360與系統(tǒng)的動(dòng)作的再現(xiàn)結(jié)合來(lái)顯示。即，再現(xiàn)模塊170將視覺(jué)傳感器模擬器150的測(cè)量結(jié)果與構(gòu)筑的系統(tǒng)的動(dòng)作一同，在輸出該測(cè)量結(jié)果的時(shí)刻相對(duì)應(yīng)地輸出。此時(shí)，也可以同時(shí)輸出視覺(jué)傳感器模擬器150的測(cè)量結(jié)果與該測(cè)量結(jié)果的對(duì)象的圖像數(shù)據(jù)。在該情況下，也可以在圖像數(shù)據(jù)上重疊顯示測(cè)量結(jié)果，也可以排列顯示輸入圖像數(shù)據(jù)和測(cè)量結(jié)果。

圖20是用于說(shuō)明圖19所示的用戶界面畫(huà)面中的顯示時(shí)刻的圖。參照?qǐng)D20，通過(guò)圖像數(shù)據(jù)被周期性地向視覺(jué)傳感器模擬器150輸入并執(zhí)行圖像測(cè)量處理，輸出圖像測(cè)量結(jié)果。例如，與圖像測(cè)量結(jié)果的輸出時(shí)刻相對(duì)應(yīng)，圖19所示的測(cè)量結(jié)果360被更新。除了與模擬的執(zhí)行并行來(lái)再現(xiàn)上述結(jié)果的情況以外，也可以在模擬的執(zhí)行完成后再現(xiàn)該結(jié)果。在該情況下，也可以在圖20所示的時(shí)刻依次切換圖像數(shù)據(jù)進(jìn)行顯示。

通過(guò)將這樣的測(cè)量結(jié)果360的顯示及更新時(shí)刻與系統(tǒng)的動(dòng)作相對(duì)應(yīng)，能夠容易追究具有某種問(wèn)題的情況的原因，從而能夠更準(zhǔn)確地評(píng)價(jià)系統(tǒng)模型中的生產(chǎn)節(jié)拍、性能。

(i2：顯示例2)

圖21是表示再現(xiàn)本實(shí)施方式的模擬裝置100提供的系統(tǒng)的動(dòng)作的用戶界面畫(huà)面的另一其他例子的圖。在圖21所示的用戶界面畫(huà)面中，與圖17所示的用戶界面畫(huà)面相比較，三維假想空間內(nèi)顯示的各個(gè)工件付加有表示相對(duì)應(yīng)的圖像測(cè)量處理的結(jié)果的信息。

作為該附加的信息，在圖像測(cè)量處理中，可以包括是否與預(yù)先登記的合格品的條件一致那樣的信息。例如，也可以利用不同的顯示方式假想地顯示判斷為合格品的工件352和判斷為不合格品的工件354。

即，在由視覺(jué)傳感器模擬器150所執(zhí)行的圖像測(cè)量處理包括判斷被輸入圖像數(shù)據(jù)是否適合預(yù)先登記的條件的處理的情況下，再現(xiàn)模塊170也可以附加有表示在構(gòu)筑的系統(tǒng)上所顯示的各個(gè)工件是否適合預(yù)先登記的條件的信息。

通過(guò)采用這樣的顯示方式，能夠容易追究具有某種問(wèn)題的情況的原因，從而能夠更準(zhǔn)確地評(píng)價(jià)系統(tǒng)模型中的生產(chǎn)節(jié)拍、性能。

＜J.利點(diǎn)＞

根據(jù)本實(shí)施方式的模擬裝置100，在工件等的圖像數(shù)據(jù)預(yù)先存在的情況下，基于該現(xiàn)有的信息，既能夠進(jìn)一步減少用于進(jìn)行必要的設(shè)定的時(shí)間，又能夠更準(zhǔn)確地評(píng)價(jià)對(duì)象的系統(tǒng)的性能等。

本次公開(kāi)的實(shí)施方式在所有方面均為例示，并不用于限制。本發(fā)明的范圍不是由上述說(shuō)明而是由權(quán)利要求的范圍示出，旨在包含與權(quán)利要求的范圍均等的含義以及范圍內(nèi)的全部變更。