本發(fā)明涉及一種單元控制器，將具有多臺(tái)通過程序進(jìn)行動(dòng)作的工業(yè)機(jī)械的生產(chǎn)系統(tǒng)的動(dòng)作進(jìn)行最佳化。

背景技術(shù)：

目前在具有多個(gè)工業(yè)用機(jī)器人或cnc機(jī)床等工業(yè)機(jī)械的生成系統(tǒng)中，提倡實(shí)現(xiàn)系統(tǒng)整體高速化的各種技術(shù)。例如日本專利第3946753號(hào)公報(bào)中記載以下的機(jī)器人程序評(píng)價(jià)/修正方法，即具備通過計(jì)算機(jī)的仿真計(jì)算用于驅(qū)動(dòng)機(jī)器人的動(dòng)作部分的電動(dòng)機(jī)的負(fù)荷，并且按照時(shí)間序列關(guān)聯(lián)存儲(chǔ)針對(duì)電動(dòng)機(jī)的指令速度以及指令加速度和電動(dòng)機(jī)負(fù)荷、通過評(píng)價(jià)函數(shù)評(píng)價(jià)電動(dòng)機(jī)負(fù)荷是否超過容許值。

另外，日本特開平08-187648號(hào)公報(bào)中公開一種生產(chǎn)線管理系統(tǒng)，其具備自分布型的多個(gè)單元控制器、如果經(jīng)由通信電路與各個(gè)單元控制器連接則指示管理?xiàng)l件的管理裝置，進(jìn)一步記載了在管理裝置中設(shè)置虛擬工廠單元和管理?xiàng)l件指示單元，上述虛擬工廠單元使用仿真了由各個(gè)單元控制器控制的實(shí)際設(shè)備單元后的可編程的單元模型，仿真由實(shí)際設(shè)備生產(chǎn)的產(chǎn)品制造程序，而上述管理?xiàng)l件指示單元經(jīng)由通信電路將在虛擬工廠得到的管理?xiàng)l件下載到各個(gè)單元控制器。

如果生產(chǎn)系統(tǒng)為復(fù)雜或較大規(guī)模，則經(jīng)由i/o等的機(jī)器人與制造機(jī)械之間的數(shù)據(jù)通信量巨大，難以判斷生產(chǎn)系統(tǒng)的哪個(gè)結(jié)構(gòu)要素成為在將系統(tǒng)整體處理高速化的基礎(chǔ)上的瓶頸。另外，即使發(fā)現(xiàn)成為主要瓶頸的結(jié)構(gòu)要素，如果這是由于該結(jié)構(gòu)要素的性能上的極限引起的話，則該瓶頸不能夠改善，需要找另外的瓶頸。重復(fù)這樣的步驟來改善系統(tǒng)會(huì)需要很多的時(shí)間。

日本專利第3946753號(hào)公報(bào)中記載的技術(shù)被認(rèn)為是通過計(jì)算機(jī)的仿真來評(píng)價(jià)機(jī)器人電動(dòng)機(jī)的負(fù)荷，由此最佳地修正機(jī)器人程序。但是在該方法中，雖然能夠單獨(dú)將機(jī)器人高速化，但是根據(jù)生產(chǎn)系統(tǒng)的結(jié)構(gòu)，機(jī)器人單獨(dú)的高速化不一定有助于系統(tǒng)整體的高速化。

另外，日本特開平08-187648號(hào)公報(bào)中記載的技術(shù)為，虛擬構(gòu)筑生產(chǎn)線，組合生產(chǎn)基本要素進(jìn)行仿真，為了循環(huán)時(shí)間成為最小而組合各個(gè)生產(chǎn)基本要素。但是在日本特開平08-187648號(hào)公報(bào)的方法中，雖然組合了生產(chǎn)基本要素，但是沒有涉及機(jī)器人等各個(gè)基本要素自身的高速化，因此作為生產(chǎn)線整體的高速化還有極限。

技術(shù)實(shí)現(xiàn)要素：

因此本發(fā)明的目的在于提供一種單元控制器，能夠?qū)⒕哂卸嗯_(tái)通過動(dòng)作程序進(jìn)行動(dòng)作的工業(yè)機(jī)械的生產(chǎn)系統(tǒng)的動(dòng)作適當(dāng)?shù)剡M(jìn)行最佳化。

為了達(dá)到上述目的，本申請(qǐng)的發(fā)明為單元控制器，管理一種具有多臺(tái)通過動(dòng)作程序進(jìn)行動(dòng)作的工業(yè)機(jī)械的生產(chǎn)系統(tǒng)，該單元控制器具備：系統(tǒng)運(yùn)轉(zhuǎn)信息分析器，其根據(jù)經(jīng)由網(wǎng)絡(luò)從上述工業(yè)機(jī)械接收到的生產(chǎn)系統(tǒng)的時(shí)間序列的運(yùn)轉(zhuǎn)信息，來分析對(duì)上述生產(chǎn)系統(tǒng)整體的生產(chǎn)節(jié)拍時(shí)間產(chǎn)生不良影響的部分；狀態(tài)量分析器，其根據(jù)包括檢測(cè)上述工業(yè)機(jī)械的狀態(tài)的傳感器數(shù)據(jù)的狀態(tài)量來分析上述工業(yè)機(jī)械的各自的動(dòng)作的余量；程序改良器，其根據(jù)從上述狀態(tài)量分析器輸出的余量自動(dòng)進(jìn)行上述動(dòng)作程序的速度或加速度的改良；以及仿真器，其為了確認(rèn)上述動(dòng)作程序的改良結(jié)果，執(zhí)行上述生產(chǎn)系統(tǒng)的動(dòng)作仿真。

上述工業(yè)機(jī)械的狀態(tài)量能夠包括搭載到上述工業(yè)機(jī)械上的電動(dòng)機(jī)速度、加速度、加加速度、電流、溫度以及來自電動(dòng)機(jī)速度指令的跟蹤誤差中的任意一個(gè)或多個(gè)的組合。

上述單元控制器可以具備顯示器，該顯示器顯示上述系統(tǒng)運(yùn)轉(zhuǎn)信息分析器以及上述狀態(tài)量分析器的分析結(jié)果、上述程序改良器的修正結(jié)果。

此時(shí)，上述仿真器能夠?qū)νㄟ^將功能追加到工業(yè)機(jī)械而得到的上述生產(chǎn)系統(tǒng)整體的生產(chǎn)節(jié)拍時(shí)間的改善效果進(jìn)行仿真，該仿真的結(jié)果能夠顯示在上述顯示器或通過網(wǎng)絡(luò)與上述單元控制器連接的云服務(wù)器上。

上述單元控制器還可以具備以下功能：將上述系統(tǒng)運(yùn)轉(zhuǎn)信息分析器以及上述狀態(tài)量分析器的分析結(jié)果、上述程序改良器的修正結(jié)果發(fā)送給通過網(wǎng)絡(luò)與上述單元控制器連接的云服務(wù)器。

上述單元控制器還可以具備根據(jù)上述系統(tǒng)運(yùn)轉(zhuǎn)信息分析器以及上述狀態(tài)量分析器的輸出來學(xué)習(xí)動(dòng)作程序的修正方法的機(jī)械學(xué)習(xí)器，上述機(jī)械學(xué)習(xí)器能夠?qū)⑴c上述生產(chǎn)系統(tǒng)的生產(chǎn)節(jié)拍時(shí)間對(duì)應(yīng)的回報(bào)賦予所選擇的行為從而進(jìn)行強(qiáng)化學(xué)習(xí)。

附圖說明

通過參照附圖說明以下優(yōu)選的實(shí)施方式，能夠更加明確本發(fā)明的上述或其他目的、特征以及優(yōu)點(diǎn)。

圖1是表示包括本發(fā)明一個(gè)實(shí)施方式的單元控制器和多個(gè)工業(yè)機(jī)械的生產(chǎn)系統(tǒng)的概略結(jié)構(gòu)的功能框圖。

圖2是表示圖1所示的單元控制器的系統(tǒng)運(yùn)轉(zhuǎn)信息分析器的分析結(jié)果一例的圖。

圖3是表示圖1所示的單元控制器的系統(tǒng)運(yùn)轉(zhuǎn)信息分析器的分析結(jié)果其他一例的圖。

圖4是表示通過圖1所示的單元控制器的狀態(tài)量分析器進(jìn)行評(píng)價(jià)的狀態(tài)量的時(shí)間變化一例的圖。

具體實(shí)施方式

圖1是表示本發(fā)明一個(gè)實(shí)施方式的生產(chǎn)系統(tǒng)12的概略結(jié)構(gòu)的功能框圖，上述生產(chǎn)系統(tǒng)12包括單元控制器11和通過單元控制器11管理的多臺(tái)工業(yè)機(jī)械。單元控制器11具有：系統(tǒng)運(yùn)轉(zhuǎn)信息分析器21，其根據(jù)經(jīng)由網(wǎng)絡(luò)從通過動(dòng)作程序進(jìn)行動(dòng)作的多個(gè)(圖示例中為4個(gè))工業(yè)機(jī)械31接收到的生產(chǎn)系統(tǒng)12的時(shí)間序列的運(yùn)轉(zhuǎn)信息(動(dòng)作信息)來分析對(duì)生產(chǎn)系統(tǒng)12整體的生產(chǎn)節(jié)拍時(shí)間產(chǎn)生不良影響的部分；狀態(tài)量分析器22，其根據(jù)包括檢測(cè)工業(yè)機(jī)械31的狀態(tài)的傳感器數(shù)據(jù)的狀態(tài)量來分析工業(yè)機(jī)械31各自的動(dòng)作的余量；程序改良器23，其根據(jù)從狀態(tài)量分析器22輸出的余量來自動(dòng)進(jìn)行動(dòng)作程序的速度或加速度的修正(改良)；以及仿真器24，其為了確認(rèn)程序改良器23進(jìn)行的動(dòng)作程序的改良結(jié)果而執(zhí)行生產(chǎn)系統(tǒng)12的動(dòng)作仿真。

另外，在本實(shí)施方式中，作為能夠通過程序變更動(dòng)作的工業(yè)機(jī)械31列舉有工業(yè)用機(jī)器人、cnc機(jī)床、制造機(jī)械。

作為單元控制器11，例如能夠使用工業(yè)用pc(個(gè)人計(jì)算機(jī))，其優(yōu)選與工業(yè)機(jī)械31的控制裝置(未圖示)分開設(shè)置。單元控制器11是獨(dú)立的硬件，從而不需要使機(jī)器人、制造機(jī)械或者控制它們的控制裝置具有過剩的計(jì)算能力能夠降低生產(chǎn)系統(tǒng)的成本。另外，一旦將生產(chǎn)系統(tǒng)12最佳化之后能夠不使用單元控制器11而使生產(chǎn)系統(tǒng)12動(dòng)作，所以能夠?qū)卧刂破?1用于其他系統(tǒng)的高速化而使其有效使用。但是，單元控制器11能夠作為處理器等一體地嵌入工業(yè)機(jī)械31的控制裝置內(nèi)。

系統(tǒng)運(yùn)轉(zhuǎn)信息分析器21從每個(gè)工業(yè)機(jī)械31接收時(shí)間序列的運(yùn)轉(zhuǎn)信息，根據(jù)接收到的運(yùn)轉(zhuǎn)信息、從工件向生產(chǎn)系統(tǒng)12輸入到輸出的時(shí)間日程，來分析在將生產(chǎn)系統(tǒng)12高速化基礎(chǔ)上的瓶頸。另外，時(shí)間序列的運(yùn)轉(zhuǎn)信息是與時(shí)間序列關(guān)聯(lián)的多個(gè)產(chǎn)業(yè)機(jī)械的i/o信息、驅(qū)動(dòng)時(shí)間信息等。

圖2表示系統(tǒng)運(yùn)轉(zhuǎn)信息分析器12的分析結(jié)果的一例。詳細(xì)地說，圖2以時(shí)間序列表示在將第一工件(工件1)投入生產(chǎn)系統(tǒng)，一系列的制造工程結(jié)束后被排出之前，機(jī)器人a～d以及制造機(jī)械a、b進(jìn)行運(yùn)轉(zhuǎn)的時(shí)間。另外，圖2中，實(shí)線表示機(jī)器人或制造機(jī)械的動(dòng)作時(shí)間，虛線表示工件沒有做任何的作業(yè)而滯留的時(shí)間。

從圖2可知，在機(jī)器人a針對(duì)工件1的作業(yè)(動(dòng)作)結(jié)束時(shí)第二工件(工件2)被投入到生產(chǎn)系統(tǒng)12的情況下，產(chǎn)生工件2滯留的時(shí)間段直到機(jī)器人b針對(duì)工件1的作業(yè)結(jié)束為止。因此這種情況下，為了改善生產(chǎn)系統(tǒng)12的生產(chǎn)節(jié)拍時(shí)間，需要改善機(jī)器人b的作業(yè)速度。

圖3是表示系統(tǒng)運(yùn)轉(zhuǎn)信息分析器21的分析結(jié)果的其他例子。詳細(xì)地說，圖3以時(shí)間序列表示由機(jī)器人b和機(jī)器人c一邊交換工件或信號(hào)，一邊實(shí)質(zhì)進(jìn)行一個(gè)作業(yè)的情況。另外，圖3中，實(shí)線表示機(jī)器人或制造機(jī)械的動(dòng)作時(shí)間，虛線表示機(jī)器人或制造機(jī)械的等待時(shí)間，箭頭線表示機(jī)器人之間或機(jī)器人與制造機(jī)械之間的同步定時(shí)。

機(jī)器人b和機(jī)器人c分別進(jìn)行預(yù)定的作業(yè)，但是在需要兩個(gè)機(jī)器人同步的定時(shí)，會(huì)產(chǎn)生一方機(jī)器人等待另一方機(jī)器人的時(shí)間。在這種情況下為了實(shí)現(xiàn)系統(tǒng)的高速化，需要分析哪個(gè)機(jī)器人到需要同步的定時(shí)為止所需要的動(dòng)作時(shí)間較長(zhǎng)，針對(duì)該較長(zhǎng)一方的機(jī)器人的相應(yīng)程序部分尋求速度的改善。

例如圖3中，為了縮短或消除機(jī)器人c的等待時(shí)間t1，在機(jī)器人b的動(dòng)作時(shí)間m1，使機(jī)器人b的動(dòng)作速度上升的措施是有效的。相反，即使縮短機(jī)器人c的動(dòng)作時(shí)間m2，對(duì)縮短或消除機(jī)器人b的等待時(shí)間也沒有作用。另外，為了縮短或消除機(jī)器人b的等待時(shí)間t2，在機(jī)器人c的動(dòng)作時(shí)間m3，使機(jī)器人c的動(dòng)作速度上升的措施是有效的。相反，即使縮短機(jī)器人b的動(dòng)作時(shí)間m4，對(duì)縮短或消除機(jī)器人b的等待時(shí)間也沒有作用。

這樣，通過進(jìn)行生產(chǎn)系統(tǒng)12整體的分析，對(duì)系統(tǒng)整體的生產(chǎn)節(jié)拍時(shí)間產(chǎn)生不良影響的部分變得明確，能夠判斷為了生產(chǎn)系統(tǒng)12的高效化(高速化)改良哪部分是有效的。

狀態(tài)量分析器22關(guān)于通過系統(tǒng)運(yùn)轉(zhuǎn)信息分析器21進(jìn)行分析的高速化所需要的動(dòng)作程序部分而收集/分析工業(yè)機(jī)械31的狀態(tài)量，并計(jì)算高速化的余量。這里，作為狀態(tài)量分析器22從工業(yè)機(jī)械31收集的狀態(tài)量，例如列舉有裝備/搭載到工業(yè)機(jī)械31上的電動(dòng)機(jī)速度、加速度、加加速度、轉(zhuǎn)矩、電流、溫度以及來自電動(dòng)機(jī)速度指令的跟蹤誤差等。另外，也可以組合這些狀態(tài)量而導(dǎo)入(例如，根據(jù)電動(dòng)機(jī)的加速度和加加速度來推算振動(dòng)量)新的狀態(tài)量。這些狀態(tài)量與時(shí)間序列關(guān)聯(lián)地被收集。

圖4是表示通過狀態(tài)量分析器22進(jìn)行評(píng)價(jià)的狀態(tài)量的時(shí)間變化的具體例。如圖4所示，能夠針對(duì)各個(gè)狀態(tài)量設(shè)定閾值(例如上限值s1以及下限值s2)，當(dāng)沒有超過該閾值時(shí)，關(guān)于該狀態(tài)量有余量，能夠判斷為能夠高速化。例如，通過電動(dòng)機(jī)的規(guī)格決定電動(dòng)機(jī)速度的閾值，但是當(dāng)電動(dòng)機(jī)速度沒有達(dá)到該閾值(上限值)時(shí)，能夠判斷為電動(dòng)機(jī)速度還存在高速化的余地。另外，在根據(jù)加速度推定振動(dòng)時(shí)，如果振動(dòng)相對(duì)于閾值(上限值)有余量，則能夠判斷為還存在增加加速度的余地。這樣，能夠通過取得各個(gè)狀態(tài)量的時(shí)間序列數(shù)據(jù)來判定速度、加速度、加加速度等是否有余量。

以下說明根據(jù)狀態(tài)量的余量(與閾值之間的差)來實(shí)現(xiàn)生產(chǎn)系統(tǒng)12的高速化的具體例子。首先，狀態(tài)量分析器22計(jì)算圖4所示的各個(gè)狀態(tài)量的時(shí)間序列數(shù)據(jù)的時(shí)間積分，對(duì)各個(gè)狀態(tài)量求出余量(或其移動(dòng)平均值)大的時(shí)間段。例如圖4中，能夠判斷為在電動(dòng)機(jī)速度大致為零的時(shí)間段t3，電動(dòng)機(jī)速度的余量比較大。

接著，程序改良器23根據(jù)從狀態(tài)量分析器22的分析結(jié)果得到的用于高速化的余量(或移動(dòng)平均值)大的時(shí)間段相關(guān)的信息來選擇與該時(shí)間段對(duì)應(yīng)的程序部分，對(duì)該程序部分自動(dòng)進(jìn)行用于高速化的修正。具體地說，對(duì)該程序部分所包括的動(dòng)作指令語句進(jìn)行增加速度指令值或加速度指令值等的修正。

此時(shí)，為了確認(rèn)作為程序修正的結(jié)果而得到的工業(yè)機(jī)械的生產(chǎn)節(jié)拍時(shí)間和動(dòng)作速度等狀態(tài)量的變化，能夠使用仿真器24。仿真器24根據(jù)從程序改良器23得到的改良后的動(dòng)作程序，計(jì)算此時(shí)的工業(yè)機(jī)械的狀態(tài)量(例如電動(dòng)機(jī)速度或加速度等)。根據(jù)需要將該狀態(tài)量再次輸入到狀態(tài)量分析器22，再次將該輸出發(fā)送給程序改良器23，由此能夠反復(fù)地改善動(dòng)作程序。另外，當(dāng)通過仿真器24計(jì)算出的工業(yè)機(jī)械的狀態(tài)量在反復(fù)處理過程中超過圖4所示的閾值的范圍時(shí)，不采用該動(dòng)作程序而結(jié)束該部分的程序改良。

這樣生成的改良后的程序從程序改良器23發(fā)送給各個(gè)工業(yè)機(jī)械31(或其控制裝置)，自動(dòng)更新各個(gè)工業(yè)機(jī)械的動(dòng)作程序。另外，可以以預(yù)定的周期定期地進(jìn)行該更新，也可以在用戶指定的定時(shí)進(jìn)行該更新。另外，也可以不自動(dòng)適用動(dòng)作程序的改良而使用顯示器25對(duì)用戶進(jìn)行提示，在得到用戶的認(rèn)可后進(jìn)行適用。另外，顯示器25也能夠顯示系統(tǒng)運(yùn)轉(zhuǎn)信息分析器21以及狀態(tài)量分析器22的分析結(jié)果和程序改良器23的修正結(jié)果。

如圖1所示，在單元控制器11得到的信息也能夠發(fā)送給單元控制器11的上位的云服務(wù)器41。而且，通過網(wǎng)絡(luò)連接云服務(wù)器41和多個(gè)單元控制器，由此能夠統(tǒng)一地處理多個(gè)單元控制器相關(guān)的信息，能夠?qū)τ啥鄠€(gè)單元構(gòu)成的生成系統(tǒng)整體進(jìn)行最佳化。

另外，用戶也能夠從外部網(wǎng)絡(luò)參照云服務(wù)器41的信息。這樣，能夠遠(yuǎn)程地判斷、操作動(dòng)作改良的狀況或改良程序的適用判斷等。另外，也能夠在工業(yè)設(shè)備生產(chǎn)商或系統(tǒng)集成商公開云服務(wù)器41的信息。這樣，能夠由生產(chǎn)商進(jìn)行生產(chǎn)系統(tǒng)的運(yùn)轉(zhuǎn)檢查、生產(chǎn)系統(tǒng)的診斷、改善提案，也能夠進(jìn)一步實(shí)現(xiàn)生產(chǎn)系統(tǒng)的高效化。

有時(shí)至少一個(gè)工業(yè)機(jī)械31中包括追加用于動(dòng)作高速化的功能的軟件選項(xiàng)。這種情況下，仿真器24對(duì)于在追加了新軟件選項(xiàng)的情況下得到的效果、更具體地說是包括工業(yè)機(jī)械31的生產(chǎn)系統(tǒng)12整體的生產(chǎn)節(jié)拍時(shí)間的改善效果進(jìn)行仿真，能夠?qū)⒃摲抡娴慕Y(jié)果顯示在顯示器25或云服務(wù)器41中來對(duì)用戶進(jìn)行提示。這樣，用戶能夠容易地判斷對(duì)于追加導(dǎo)入軟件選項(xiàng)的費(fèi)用效果。

實(shí)際上有時(shí)不限于以一定間隔向生產(chǎn)系統(tǒng)12投入第一工件(工件1)。另外，如圖2例示那樣，為了使在工件1和工件2有無滯留不同，即使以相同的時(shí)間間隔投入了工件的情況下，成為瓶頸的地方也會(huì)根據(jù)工件而不同。這種情況下，能夠記錄多次投入工件的結(jié)果和程序改良內(nèi)容，并適用統(tǒng)計(jì)上最有效的改良。

在上述實(shí)施方式中，說明了修正工業(yè)機(jī)械的動(dòng)作程序來高速化的例子，但是關(guān)于不影響生產(chǎn)系統(tǒng)的生產(chǎn)節(jié)拍時(shí)間的部分，也能夠使工業(yè)機(jī)械的動(dòng)作低速化。這樣，能夠得到使工業(yè)機(jī)械長(zhǎng)壽命、降低消耗功率以及噪音、抑制過熱等效果。這樣，在生產(chǎn)系統(tǒng)中通過適當(dāng)混合高速化的部分和低速化的部分，能夠?qū)崿F(xiàn)作為生產(chǎn)系統(tǒng)整體的動(dòng)作最佳化。

如圖1所示，單元控制器11可以具有機(jī)械學(xué)習(xí)器26，機(jī)械學(xué)習(xí)器26根據(jù)系統(tǒng)運(yùn)轉(zhuǎn)信息分析器21以及狀態(tài)量分析器22的輸出來進(jìn)行用于得到修正后的動(dòng)作程序的強(qiáng)化學(xué)習(xí)，將其結(jié)果發(fā)送給仿真器24。

作為機(jī)械學(xué)習(xí)器26進(jìn)行的強(qiáng)化學(xué)習(xí)方法的一例，說明使用q學(xué)習(xí)進(jìn)行學(xué)習(xí)的情況。q學(xué)習(xí)是在某個(gè)環(huán)境狀態(tài)s下學(xué)習(xí)選擇行為a的價(jià)值q(s、a)的方法。即，在某個(gè)狀態(tài)s時(shí)，選擇價(jià)值q(s、a)的最高行為a作為最佳的行為即可。但是，最初關(guān)于狀態(tài)s和行為a的組合，完全不知道價(jià)值q(s、a)的準(zhǔn)確值。因此，智能體(行為主體)選擇某個(gè)狀態(tài)s下的各種行為a，針對(duì)此時(shí)的行為a賦予回報(bào)。這樣，智能體學(xué)習(xí)更良好的行為的選擇、即準(zhǔn)確的價(jià)值q(s、a)。

在將q學(xué)習(xí)適用于本實(shí)施方式而進(jìn)行學(xué)習(xí)時(shí)，狀態(tài)量s由系統(tǒng)運(yùn)轉(zhuǎn)信息分析器21的輸出和狀態(tài)量分析器22的輸出而構(gòu)成。行為a是對(duì)動(dòng)作程序的改良命令，例如在將稱為z的值增加到程序名x的第y行時(shí)，能夠表示為將x、y、z作為分量的向量。使得賦予回報(bào)地重復(fù)學(xué)習(xí)由該s和a構(gòu)成的價(jià)值函數(shù)q。例如當(dāng)生產(chǎn)節(jié)拍時(shí)間短時(shí)對(duì)選擇出的行為賦予正回報(bào)，另一方面，當(dāng)針對(duì)狀態(tài)量的閾值的超過量較大時(shí)對(duì)選擇出的行為賦予負(fù)回報(bào)，從而能夠一邊滿足狀態(tài)量的限制，一邊學(xué)習(xí)生產(chǎn)節(jié)拍時(shí)間短的最佳的動(dòng)作。

進(jìn)一步，想要使行為的結(jié)果、將來得到的回報(bào)的合計(jì)最大化，所以最終以q(s、a)＝e[σ(γt)rt]為目標(biāo)。這里e表示期待值，t表示時(shí)刻，γ表示后述的被稱為折扣率的參數(shù)、rt表示時(shí)刻t的回報(bào)、σ表示時(shí)刻t的合計(jì)。該公式中的期待值是作為根據(jù)最佳的行為狀態(tài)發(fā)生變化時(shí)所采取的值，因?yàn)椴磺宄撝担砸贿吽褜ひ贿厡W(xué)習(xí)。例如能夠用以下的公式(1)表示這樣的價(jià)值q(s、a)的更新式。

在上述公式(1)中，st表示時(shí)刻t的環(huán)境的狀態(tài)，at表示時(shí)刻t的行為。根據(jù)行為a，狀態(tài)變化為st+1。rt+1表示通過該狀態(tài)的變化得到的回報(bào)。另外，被賦予了“max”的項(xiàng)是在狀態(tài)st+1下將γ與選擇了此時(shí)了解到的q值最高的行為a時(shí)的q值相乘后得到的。這里，γ是0<γ≤1的參數(shù)，被稱為折扣率。另外，α是學(xué)習(xí)系數(shù)，設(shè)為0<α≤1的范圍。

如上所述，機(jī)械學(xué)習(xí)器26根據(jù)系統(tǒng)運(yùn)轉(zhuǎn)信息分析器21以及狀態(tài)量分析器22的輸出來學(xué)習(xí)動(dòng)作程序的修正方法，具體地說，將與生產(chǎn)系統(tǒng)12的生產(chǎn)節(jié)拍時(shí)間對(duì)應(yīng)的回報(bào)賦予所選擇的行為，從而進(jìn)行強(qiáng)化學(xué)習(xí)。一般機(jī)械學(xué)習(xí)需要很多的試行次數(shù)，但是本實(shí)施方式中能夠不使實(shí)際設(shè)備進(jìn)行動(dòng)作而通過仿真器24進(jìn)行生產(chǎn)節(jié)拍時(shí)間的仿真，因此能夠高速地計(jì)算回報(bào)，能夠高速地推進(jìn)學(xué)習(xí)。

根據(jù)本發(fā)明，從能夠通過程序變更動(dòng)作的多臺(tái)工業(yè)機(jī)械接收運(yùn)轉(zhuǎn)信息，分析生產(chǎn)系統(tǒng)的瓶頸，并根據(jù)該分析結(jié)果來提取與生產(chǎn)系統(tǒng)的高速化有關(guān)的動(dòng)作程序部分，能夠自動(dòng)修正動(dòng)作程序的相應(yīng)部分，所以能夠較佳地使生產(chǎn)系統(tǒng)高速化。