本發(fā)明涉及控制制造單元的單元控制裝置、以及對制造單元中的多個制造機(jī)械的運(yùn)轉(zhuǎn)狀況進(jìn)行管理的生產(chǎn)系統(tǒng)。

背景技術(shù)：

在機(jī)械工場中，通過機(jī)床和機(jī)器人等多個制造機(jī)械來構(gòu)筑制造單元、例如生產(chǎn)線。在使用這樣的制造單元來制造制品的情況下，若制造單元中的制造機(jī)械的運(yùn)轉(zhuǎn)率低下則制品的生產(chǎn)量也減少。因此，當(dāng)在制造單元的制造機(jī)械發(fā)生了故障時，作業(yè)員需要查明制造機(jī)械故障的發(fā)生要因，盡可能快地使制造機(jī)械恢復(fù)。但是，存在如下問題：在作業(yè)員并非熟練人員時，需要花費(fèi)時間來找出針對制造機(jī)械的故障的適當(dāng)?shù)奶幹梅椒ǎ虼?，使得制造機(jī)械的恢復(fù)延遲。

因此，日本專利第2934026號公報公開了如下生產(chǎn)系統(tǒng)：一邊參照各制造機(jī)械的運(yùn)轉(zhuǎn)數(shù)據(jù)一邊確定異常的制造機(jī)械，推論出針對異常的制造機(jī)械的處置方法，通過該推論結(jié)果進(jìn)行自動修正。

此外，日本專利第4873267號公報公開了如下生產(chǎn)系統(tǒng)：在停止制造機(jī)械時對目前為止的制造機(jī)械的狀態(tài)進(jìn)行解析而分類為多種類型，對應(yīng)于各類型將確定制造機(jī)械的狀態(tài)的信息顯示于畫面上。

日本專利第5436460號公報公開了具有示教部、和程序庫的生產(chǎn)系統(tǒng)，所述示教部根據(jù)對作為制造機(jī)械的機(jī)器人的示教操作歷史記錄，將發(fā)生錯誤狀態(tài)的機(jī)器人的恢復(fù)作業(yè)自動示教給機(jī)器人，所述程序庫對該恢復(fù)作業(yè)的內(nèi)容進(jìn)行保存。

然而，日本專利第2934026號公報所公開的生產(chǎn)系統(tǒng)不具有如下功能：將制造機(jī)械發(fā)生異常時的對該異常的處置方法作為數(shù)據(jù)進(jìn)行儲存、更新。因此，在日本專利第2934026號公報所公開的生產(chǎn)系統(tǒng)中，存在如下問題：即使發(fā)生與過去所發(fā)生的異常同樣的異常，也需要再次推論對該異常的處置方法。

在日本專利第4873267號公報所公開的生產(chǎn)系統(tǒng)中，只是將確定制造機(jī)械停止時的狀態(tài)的信息提示給作業(yè)員，而不具有將針對該停止的制造機(jī)械的故障所實施的恢復(fù)作業(yè)內(nèi)容進(jìn)行存儲以及輸出的功能。因此，存在如下問題：作業(yè)員在難以找出針對所提示的制造機(jī)械的狀態(tài)進(jìn)行處置的方法時，使得制造機(jī)械的恢復(fù)延遲。

此外，在日本專利第5436460號公報所公開的生產(chǎn)系統(tǒng)中，設(shè)想了作業(yè)員未介入的環(huán)境，而不具有如下功能：將制造機(jī)械發(fā)生錯誤狀態(tài)時最適合于該錯誤狀態(tài)的恢復(fù)作業(yè)內(nèi)容提示給作業(yè)員。因此，日本專利第5436460號公報所公開的生產(chǎn)系統(tǒng)存在如下情況：在作業(yè)員必需的作業(yè)中，有時發(fā)生制造機(jī)械的恢復(fù)延遲。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種單元控制裝置以及生產(chǎn)系統(tǒng)，能夠使作業(yè)員容易地取得在制造單元的制造機(jī)械停止時最適合于該制造機(jī)械的恢復(fù)作業(yè)內(nèi)容。

根據(jù)本發(fā)明的第一方式，提供一種單元控制裝置，以能夠相互通信的方式與具有數(shù)據(jù)庫的上位計算機(jī)連接，來控制包含多個制造機(jī)械的制造單元，

所述單元控制裝置具有：多個傳感器，其分別對多個制造機(jī)械的狀態(tài)進(jìn)行檢測；

狀態(tài)存儲部，其將由各傳感器檢測出的各制造機(jī)械的狀態(tài)進(jìn)行存儲；

停止信息取得部，其從存儲于狀態(tài)存儲部的各制造機(jī)械的狀態(tài)信息取得各制造機(jī)械的停止信息；

輸入部，其在各制造機(jī)械停止時輸入恢復(fù)作業(yè)信息；

恢復(fù)作業(yè)信息存儲部，其將由輸入部輸入的各制造機(jī)械的恢復(fù)作業(yè)信息進(jìn)行存儲；以及

相關(guān)數(shù)據(jù)生成部，其生成針對每個所述制造機(jī)械而將由停止信息取得部取得的停止信息與存儲于恢復(fù)作業(yè)信息存儲部的恢復(fù)作業(yè)信息相互關(guān)聯(lián)起來而得的相關(guān)數(shù)據(jù)，并發(fā)送給數(shù)據(jù)庫。

根據(jù)本發(fā)明的第二方式，提供一種單元控制裝置，其在上述第一方式的單元控制裝置基礎(chǔ)上進(jìn)一步具有：

恢復(fù)作業(yè)信息讀出部，其對應(yīng)于由停止信息取得部取得的停止信息，從數(shù)據(jù)庫讀出對應(yīng)于該停止信息的恢復(fù)作業(yè)信息；以及

輸出部，其輸出由恢復(fù)作業(yè)信息讀出部讀出的恢復(fù)作業(yè)信息。

根據(jù)本發(fā)明的第三方式，提供一種單元控制裝置，其在上述第一方式或第二方式的單元控制裝置基礎(chǔ)上，

相關(guān)數(shù)據(jù)生成部包含：學(xué)習(xí)器，其將各制造機(jī)械的警報發(fā)生率或者運(yùn)轉(zhuǎn)率作為回報來學(xué)習(xí)相關(guān)數(shù)據(jù)。

根據(jù)本發(fā)明的第四方式，提供一種單元控制裝置，其在上述第一方式～第三方式中的某一方式的單元控制裝置基礎(chǔ)上進(jìn)一步具有：

數(shù)據(jù)判別部，其將從輸入部輸入到恢復(fù)作業(yè)信息存儲部的恢復(fù)作業(yè)信息與蓄積于數(shù)據(jù)庫的多個相關(guān)數(shù)據(jù)進(jìn)行比較，

數(shù)據(jù)判別部，在從蓄積于數(shù)據(jù)庫的多個相關(guān)數(shù)據(jù)中發(fā)現(xiàn)與輸入到恢復(fù)作業(yè)信息存儲部的恢復(fù)作業(yè)信息類似的恢復(fù)作業(yè)信息時，將該類似的恢復(fù)作業(yè)信息和與該恢復(fù)作業(yè)信息關(guān)聯(lián)的停止信息輸出給輸出部。

根據(jù)本發(fā)明的第五方式，提供一種單元控制裝置，其在上述第一方式～第三方式中的某一方式的單元控制裝置基礎(chǔ)上，還具有：數(shù)據(jù)判別部，其將存儲于狀態(tài)存儲部的各制造機(jī)械的狀態(tài)信息與蓄積于數(shù)據(jù)庫的多個相關(guān)數(shù)據(jù)進(jìn)行比較，

數(shù)據(jù)判別部構(gòu)成為：在從蓄積于數(shù)據(jù)庫的多個相關(guān)數(shù)據(jù)中發(fā)現(xiàn)與存儲于狀態(tài)存儲部的各制造機(jī)械的狀態(tài)信息類似的停止信息時，將該類似的停止信息和與該停止信息關(guān)聯(lián)的恢復(fù)作業(yè)信息輸出給輸出部。

根據(jù)本發(fā)明的第六方式，提供一種單元控制裝置，其在上述第四方式的單元控制裝置基礎(chǔ)上，

數(shù)據(jù)判別部包含：學(xué)習(xí)器，其將各制造機(jī)械的警報發(fā)生率或者運(yùn)轉(zhuǎn)率作為回報，對判別數(shù)據(jù)庫中的各相關(guān)數(shù)據(jù)所包含的恢復(fù)作業(yè)信息、和輸入到恢復(fù)作業(yè)信息存儲部的恢復(fù)作業(yè)信息間的類似性的基準(zhǔn)進(jìn)行學(xué)習(xí)。

根據(jù)本發(fā)明的第七方式，提供一種單元控制裝置，其在上述第一方式的單元控制裝置基礎(chǔ)上，

數(shù)據(jù)判別部包含：學(xué)習(xí)器，其將各制造機(jī)械的警報發(fā)生率或者運(yùn)轉(zhuǎn)率作為回報，對判別數(shù)據(jù)庫中的各相關(guān)數(shù)據(jù)所包含的停止信息、和存儲于狀態(tài)存儲部的各制造機(jī)械的狀態(tài)信息之間的類似性的基準(zhǔn)進(jìn)行學(xué)習(xí)。

根據(jù)本發(fā)明的第八方式，提供一種單元控制裝置，其在上述第三、第六或者第七方式的單元控制裝置基礎(chǔ)上，還具有：

制造實績信息存儲部，其將各制造機(jī)械的制造實績信息進(jìn)行存儲；以及

計算部，其根據(jù)存儲于制造實績信息存儲部的各制造機(jī)械的制造實績信息中計算出各制造機(jī)械的警報發(fā)生率或者運(yùn)轉(zhuǎn)率。

根據(jù)本發(fā)明的第九方式，提供一種對多個制造機(jī)械的運(yùn)轉(zhuǎn)狀況進(jìn)行管理的生產(chǎn)系統(tǒng)，所述生產(chǎn)系統(tǒng)具有：上述第一方式～第八方式中的某一單元控制裝置，其對包含多個制造機(jī)械的至少一個制造單元進(jìn)行控制；以及

具有數(shù)據(jù)庫的上位計算機(jī)，其能夠相互通信地與單元控制裝置連接。

附圖說明

根據(jù)附圖所示的本發(fā)明的典型性的實施方式的詳細(xì)說明，能夠進(jìn)一步明確本發(fā)明的這些目的、特征以及優(yōu)點(diǎn)和其他目的、特征以及優(yōu)點(diǎn)。

圖1是表示一個實施方式的生產(chǎn)系統(tǒng)的結(jié)構(gòu)的框圖。

圖2是表示通過圖1所示的相關(guān)數(shù)據(jù)生成部而生成且儲存于上位計算機(jī)的數(shù)據(jù)庫的相關(guān)數(shù)據(jù)的結(jié)構(gòu)例的圖。

圖3是表示相關(guān)數(shù)據(jù)的另一方式的圖。

圖4是表示生成由制造機(jī)械的停止信息和恢復(fù)作業(yè)信息構(gòu)成的相關(guān)數(shù)據(jù)并存儲于上位計算機(jī)的數(shù)據(jù)庫的處理過程的流程圖。

圖5是表示從上位計算機(jī)的數(shù)據(jù)庫讀出并提示對應(yīng)于制造機(jī)械的停止信息的恢復(fù)作業(yè)信息的處理過程的流程圖。

圖6是表示圖1所示的生產(chǎn)系統(tǒng)的第一變形例的結(jié)構(gòu)的框圖。

圖7是表示圖1所示的生產(chǎn)系統(tǒng)的第二變形例的結(jié)構(gòu)的框圖。

圖8是表示圖1所示的生產(chǎn)系統(tǒng)的第三變形例的結(jié)構(gòu)的框圖。

圖9是表示神經(jīng)元模型的示意圖。

圖10是表示三層神經(jīng)網(wǎng)絡(luò)模型的示意圖。

具體實施方式

接下來，參照附圖對本發(fā)明的實施方式進(jìn)行說明。在以下的附圖中，對同樣的部件標(biāo)注同樣的參照符號。為了便于理解，這些附圖可以適當(dāng)變更比例尺。此外，附圖所示的方式是用于實施本發(fā)明的一個示例，本發(fā)明并非限定于圖示的方式。

圖1是表示本發(fā)明的一個實施方式的生產(chǎn)系統(tǒng)的結(jié)構(gòu)的框圖。

參照圖1，生產(chǎn)系統(tǒng)10具有：至少一個制造單元11、控制制造單元11的單元控制裝置12、以及具有數(shù)據(jù)庫的上位計算機(jī)(主計算機(jī))13。

制造單元11配置于制造制品的工場。與此相對地，單元控制裝置12以及上位計算機(jī)13配置于與工場不同的建筑內(nèi)。例如，單元控制裝置12也可以配置于配置有制造單元11的工場的場地內(nèi)的其他建筑內(nèi)。該情況下，優(yōu)選的是，制造單元11與制造控制裝置12經(jīng)由通信裝置18例如互聯(lián)網(wǎng)的網(wǎng)絡(luò)能夠通信地相互連接。

上位計算機(jī)13例如也可以配置于遠(yuǎn)離工場的辦公室。該情況下，優(yōu)選的是，單元控制裝置12與上位計算機(jī)13經(jīng)由通信裝置17例如互聯(lián)網(wǎng)的網(wǎng)絡(luò)能夠通信地相互連接。另外，對于本實施方式的上位計算機(jī)13，優(yōu)選的是，在上述的辦公室中使用對多個制造單元11或者各制造機(jī)械的運(yùn)轉(zhuǎn)狀況進(jìn)行管理的生產(chǎn)計劃裝置的計算機(jī)。

制造單元11是將制造制品的多個制造機(jī)械靈活地組合而得的集合。本實施方式的制造單元11如圖1所示包含第一制造機(jī)械14、第二制造機(jī)械15、以及第三制造機(jī)械16，但是制造單元11中的制造機(jī)械的數(shù)量沒有限定。此外，制造單元11可以是某個工件通過被多個制造機(jī)械依次處理而成為最終的制品的生產(chǎn)線?；蛘?，制造單元11也可以是這樣的生產(chǎn)線：將通過兩個以上的制造機(jī)械各自處理而得的兩個以上的工件(部件)在制造工序的過程中通過另一個制造機(jī)械進(jìn)行組合，由此完成最終的制品。此外，在本申請發(fā)明中，也可以將通過兩個以上的制造單元11而處理而得的兩個以上的工件進(jìn)行組合，從而完成最終的制品。

制造機(jī)械14～16的每一個例如是nc機(jī)床或者工業(yè)用機(jī)器人。當(dāng)然，本發(fā)明所使用的各制造機(jī)械不限定于nc機(jī)床或者工業(yè)用機(jī)器人。作為各制造機(jī)械，例如也可以是plc、輸送機(jī)、計測器、實驗裝置、壓力機(jī)、壓入機(jī)、印刷機(jī)、壓鑄機(jī)、注射成型機(jī)、食品機(jī)械、包裝機(jī)、焊接機(jī)、洗凈機(jī)、涂裝機(jī)、組裝裝置、實裝機(jī)、木工機(jī)械、密封裝置、或者切斷機(jī)等。

此外，優(yōu)選的是，所述的單元控制裝置12以及制造機(jī)械14～16分別使用計算機(jī)系統(tǒng)(未圖示)而構(gòu)成，所述計算機(jī)系統(tǒng)具有經(jīng)由總線而相互連接的rom、ram等存儲器、cpu以及通信控制部。通過這些通信控制部來控制在單元控制裝置12與制造機(jī)械14～16各自之間的數(shù)據(jù)的交換。此外，優(yōu)選的是，關(guān)于單元控制裝置12以及制造機(jī)械14～16各自的功能和動作，通過各cpu來執(zhí)行各自具有的rom中存儲的程序來實現(xiàn)。

并且，對單元控制裝置12的結(jié)構(gòu)進(jìn)行詳細(xì)敘述。

如圖1所示，單元控制裝置12具有：傳感器19、狀態(tài)存儲部20、停止信息取得部21、輸入部22、恢復(fù)作業(yè)信息存儲部23、相關(guān)數(shù)據(jù)生成部24、恢復(fù)作業(yè)信息讀出部25、以及輸出部26。以下，依次對這些結(jié)構(gòu)要素的功能進(jìn)行說明。

傳感器19設(shè)置于制造機(jī)械14～16的每一個中，按預(yù)定時間來對運(yùn)轉(zhuǎn)中的制造機(jī)械14～16各自的狀態(tài)進(jìn)行檢測。狀態(tài)存儲部20將由各傳感器19按預(yù)定時間檢測出的制造機(jī)械14～16各自的狀態(tài)依次進(jìn)行存儲。另外，優(yōu)選的是，在每一臺制造機(jī)械中設(shè)置多個傳感器19以便能夠?qū)χ圃鞕C(jī)械14～16的每一個的各種狀態(tài)進(jìn)行檢測。并且，優(yōu)選的是，單元控制裝置12構(gòu)成為：能夠同時對來自配置于各制造機(jī)械的傳感器19的狀態(tài)信息進(jìn)行處理。

停止信息取得部21從依次存儲于狀態(tài)存儲部20的制造機(jī)械14～16的每一個的狀態(tài)信息中取得各制造機(jī)械的停止信息。并且，停止信息取得部21在取得了所述的停止信息之后發(fā)送給相關(guān)數(shù)據(jù)生成部24。

作為所述的狀態(tài)信息，例如在制造機(jī)械14～16是機(jī)器人的情況下，列舉出向驅(qū)動機(jī)器人的臂部的電動機(jī)供給的電流值、安裝于該電動機(jī)的位置檢測器的輸出等相關(guān)的信息。該情況下，停止信息是包含機(jī)器人因故障而停止時的電動機(jī)電流值的降低、位置檢測器的輸出異常等的多個狀態(tài)信息的信息組。并且，優(yōu)選的是，這樣的停止信息中不僅包含制造機(jī)械停止的時刻的制造機(jī)械的狀態(tài)信息，還包含從制造機(jī)械的停止時刻追溯的預(yù)定期間的制造機(jī)械的狀態(tài)信息。由此，能夠?qū)⒅圃鞕C(jī)械因故障而停止時的預(yù)兆狀態(tài)也包含于停止信息中。

輸入部22具有如下功能：將表示針對各制造機(jī)械14～16的基于故障的停止所實施的恢復(fù)作業(yè)內(nèi)容的恢復(fù)作業(yè)信息輸入到單元控制裝置12。另外，恢復(fù)作業(yè)信息例如是恢復(fù)作業(yè)內(nèi)容的一覽表的作業(yè)代碼?；謴?fù)作業(yè)內(nèi)容的一覽表是將多個不同的恢復(fù)作業(yè)內(nèi)容與作業(yè)代碼對應(yīng)起來記載的表，所述作業(yè)代碼由表示各個恢復(fù)作業(yè)內(nèi)容的多位數(shù)字構(gòu)成。將鍵盤或觸摸面板等用于輸入這樣的作業(yè)代碼的輸入部22。此外，輸入部22也可以設(shè)置于制造機(jī)械14～16的每一個。該情況下，優(yōu)選的是，將進(jìn)行機(jī)器人的示教作業(yè)的示教操作盤、和nc機(jī)床的控制盤等用作輸入部22。

恢復(fù)作業(yè)信息存儲部23一邊存儲由輸入部22輸入的恢復(fù)作業(yè)信息，并一邊將其發(fā)送給相關(guān)數(shù)據(jù)生成部24。相關(guān)數(shù)據(jù)生成部24針對制造機(jī)械14～16的每一個，生成將由停止信息取得部21取得的停止信息和存儲于恢復(fù)作業(yè)信息存儲部23的恢復(fù)作業(yè)信息相互關(guān)聯(lián)起來而得的相關(guān)數(shù)據(jù)。

并且，優(yōu)選的是，在生成所述的相關(guān)數(shù)據(jù)時，將制造機(jī)械的識別信息(id)、從停止信息取得部21發(fā)送的停止信息、緊接著該停止信息從恢復(fù)作業(yè)信息存儲部23發(fā)送的恢復(fù)作業(yè)信息相互對應(yīng)。或者，也可以是，相關(guān)數(shù)據(jù)生成部24如后述的第一變形例(參照圖6)那樣，一邊通過學(xué)習(xí)器27來學(xué)習(xí)所述的相關(guān)數(shù)據(jù)一邊生成相關(guān)數(shù)據(jù)。以上述方式生成的相關(guān)數(shù)據(jù)從相關(guān)數(shù)據(jù)生成部24發(fā)送至上位計算機(jī)13，儲存于上位計算機(jī)13的數(shù)據(jù)庫。

恢復(fù)作業(yè)信息讀出部25從所述的上位計算機(jī)13的數(shù)據(jù)庫讀出與由停止信息取得部21取得的停止信息對應(yīng)的恢復(fù)作業(yè)信息。輸出部26將由恢復(fù)作業(yè)信息讀出部25讀出的恢復(fù)作業(yè)信息連同與由停止信息取得部21取得的停止信息一起輸出。作為輸出部26，使用了顯示與恢復(fù)作業(yè)信息對應(yīng)的恢復(fù)作業(yè)內(nèi)容的顯示裝置、和將對應(yīng)于恢復(fù)作業(yè)信息的恢復(fù)作業(yè)內(nèi)容印刷到紙等薄板上的印刷裝置等。此外，輸出部26也可以設(shè)置于制造機(jī)械14～16的每一個中。

這里，圖2示出了如上所述地通過相關(guān)數(shù)據(jù)生成部24生成且儲存于上位計算機(jī)13的數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)的結(jié)構(gòu)例。如圖2所示，通過按制造機(jī)械id而將各制造機(jī)械的停止信息與恢復(fù)作業(yè)信息相互關(guān)聯(lián)起來而生成相關(guān)數(shù)據(jù)。這樣的相關(guān)數(shù)據(jù)由圖2所示的數(shù)據(jù)表格結(jié)構(gòu)構(gòu)成，在數(shù)據(jù)表格的各行中，制造機(jī)械id與停止信息以及恢復(fù)作業(yè)信息相互對應(yīng)。

具體來說，制造機(jī)械14～16的每一個的識別號碼(例如wf0005、rd002、sf011)被寫入到圖2所示的相關(guān)數(shù)據(jù)中的制造機(jī)械id的表格中?！皐f005”是作為輸送機(jī)器人的第一制造機(jī)械14的識別號碼?！皉d002”是作為鉆孔加工機(jī)器人的第二制造機(jī)械15的識別號碼?！皊f011”是作為螺紋緊固(擰螺紋)機(jī)器人的第三制造機(jī)械16的識別號碼。

然后，在圖2所示的相關(guān)數(shù)據(jù)中的停止信息的表格中寫入包含多個狀態(tài)信息的信息組或者數(shù)據(jù)列，所述多個狀態(tài)信息表示由各制造機(jī)械中的多個傳感器19檢測出的多個狀態(tài)(狀態(tài)1、狀態(tài)2、…)。并且，圖2所示的相關(guān)數(shù)據(jù)中的恢復(fù)作業(yè)信息的表格中寫入包含多個恢復(fù)作業(yè)信息的信息組或者數(shù)據(jù)列，所述多個恢復(fù)作業(yè)信息表示恢復(fù)各制造機(jī)械時所實施的多個恢復(fù)作業(yè)(作業(yè)1、作業(yè)2、…)。例如，在具有制造機(jī)械id“wf005”的輸送機(jī)器人的情況下，停止信息是包含電動機(jī)電流的降低、位置檢測器的輸出異常等多個狀態(tài)信息的信息組。并且，對應(yīng)于該停止作業(yè)的恢復(fù)作業(yè)信息是包含工件取出、力覺傳感器調(diào)整等多個恢復(fù)作業(yè)信息的信息組。也就是說，在上述“wf005”的輸送機(jī)器人的情況下，作為輸送機(jī)器人的停止信息，同時取得表示電動機(jī)電流的降低狀態(tài)(狀態(tài)1)的狀態(tài)信息、以及表示位置檢測器的輸出異常狀態(tài)(狀態(tài)2)的狀態(tài)信息等。根據(jù)這些停止信息，作業(yè)員實施工件取出、力覺傳感器調(diào)整等多個恢復(fù)作業(yè)(作業(yè)1、作業(yè)2等)，將分別表示這些恢復(fù)作業(yè)的多個恢復(fù)作業(yè)信息全部輸入到輸入部22。因此，在圖2所示的停止信息的表格中寫入有表示所述的狀態(tài)1、狀態(tài)2等的多個狀態(tài)信息。并且，在圖2所示的恢復(fù)作業(yè)信息的表格中寫入有表示所述的作業(yè)1、作業(yè)2等的多個恢復(fù)作業(yè)信息。

此外，在圖3中示出了相關(guān)數(shù)據(jù)的另一方式。從各制造機(jī)械的狀態(tài)中提取出能夠變?yōu)橥Ｖ沟臓顟B(tài)(停止?fàn)顟B(tài))，將各自的要因、與實際的恢復(fù)作業(yè)關(guān)聯(lián)起來。只要是該方式，在特定的制造機(jī)械中產(chǎn)生的停止?fàn)顟B(tài)和恢復(fù)作業(yè)也能夠應(yīng)用于不同的生產(chǎn)線的不同機(jī)械。

另外，在圖2中，停止信息所包含的各狀態(tài)信息通過語言而被寫入，但是優(yōu)選的是，代替語言，例如寫入由多位數(shù)字構(gòu)成的錯誤代碼，所述多位數(shù)字表示制造機(jī)械中可引起的各種狀態(tài)。此外，關(guān)于恢復(fù)作業(yè)信息，優(yōu)選的是，代替圖2所記載的語言，寫入由通過所述的輸入部22輸入的多位數(shù)字構(gòu)成的作業(yè)代碼。

接下來，對本實施方式的單元控制裝置12的特征性動作進(jìn)行說明。

在本實施方式的單元控制裝置12中，存在如上所述地將由停止信息與恢復(fù)作業(yè)信息構(gòu)成的相關(guān)數(shù)據(jù)儲存于上位計算機(jī)13的數(shù)據(jù)庫的動作。參照圖1以及圖4對該動作進(jìn)行說明。

圖4是表示生成由所述的停止信息和恢復(fù)作業(yè)信息構(gòu)成的相關(guān)數(shù)據(jù)并存儲于上位計算機(jī)13的數(shù)據(jù)庫的處理過程的流程圖。

單元控制裝置12對制造單元11中的制造機(jī)械14～16進(jìn)行控制而開始制品的制造。這樣的制品制造過程中，一邊通過傳感器19按預(yù)定時間來檢測制造機(jī)械14～16的每一個的狀態(tài)，一邊依次存儲于狀態(tài)存儲部20(步驟s11)。

接下來，停止信息取得部21從依次存儲于狀態(tài)存儲部20的制造機(jī)械14～16的每一個的狀態(tài)信息中，實時檢測某個制造機(jī)械的因故障造成的停止(步驟s12)。例如，通過搭載于某個制造機(jī)械的傳感器19的輸出比預(yù)定值低，由此檢測出該制造機(jī)械的因故障造成的停止。與此相伴地，停止信息取得部21從依次存儲于狀態(tài)存儲部20的制造機(jī)械14～16的每一個的狀態(tài)信息中，取得因故障而停止的制造機(jī)械的停止信息(步驟s13)。

接下來，判斷恢復(fù)作業(yè)信息是否已從輸入部22輸入到恢復(fù)作業(yè)信息存儲部23(步驟s14)。在步驟s14中判斷為輸入了恢復(fù)作業(yè)信息之前不向下一步驟轉(zhuǎn)移。因此，優(yōu)選的是，在如上所述地停止信息取得部21取得了制造機(jī)械的停止信息后，單元控制裝置12通過光源裝置或音源裝置將是恢復(fù)作業(yè)信息的輸入等待的主旨報知給外部。

若在上述步驟s14中判斷為輸入了恢復(fù)作業(yè)信息，則相關(guān)數(shù)據(jù)生成部24生成相關(guān)數(shù)據(jù)(步驟s15)。該相關(guān)數(shù)據(jù)是將停止的制造機(jī)械的識別信息、如上所述取得的停止信息、以及輸入的恢復(fù)作業(yè)信息相互關(guān)聯(lián)起來的數(shù)據(jù)集。接下來，相關(guān)數(shù)據(jù)生成部24將所述的相關(guān)數(shù)據(jù)發(fā)送給上位計算機(jī)13而存儲于上位計算機(jī)13的數(shù)據(jù)庫(步驟s16)。

之后，在步驟s17中，判斷是否存在對單元控制裝置12的停止指令。當(dāng)存在停止指令時，生成以及存儲上述的相關(guān)數(shù)據(jù)的處理結(jié)束。另一方面，當(dāng)不存在停止指令時，從步驟s17返回到步驟s11，再次進(jìn)行步驟s11～步驟s16的處理。通過重復(fù)以上的處理，所述的相關(guān)數(shù)據(jù)被儲存于上位計算機(jī)13的數(shù)據(jù)庫中。

此外，在本實施方式的單元控制裝置12中，還存在如下動作：在取得了所述的停止信息時，從上位計算機(jī)13的數(shù)據(jù)庫讀出對應(yīng)于該停止信息的恢復(fù)作業(yè)信息并提示給作業(yè)員。參照圖1以及圖5對該動作進(jìn)行說明。

圖5是表示從上位計算機(jī)13的數(shù)據(jù)庫讀出并提示對應(yīng)于所述的停止信息的恢復(fù)作業(yè)信息的處理過程的流程圖。

圖5所示的步驟s21～步驟s23與所述的圖4的步驟s11～步驟s13相同。因此，通過進(jìn)行步驟s21至步驟s23，取得因故障而停止的制造機(jī)械的停止信息。

之后，恢復(fù)作業(yè)信息讀出部25從所述的上位計算機(jī)13的數(shù)據(jù)庫中讀出與在步驟s23中取得的停止信息對應(yīng)的恢復(fù)作業(yè)信息(步驟s24)。接下來，輸出部26將通過恢復(fù)作業(yè)信息讀出部25讀出的恢復(fù)作業(yè)信息輸出(步驟s25)。在輸出部26中，停止的制造機(jī)械的停止信息和與其對應(yīng)的恢復(fù)作業(yè)信息例如被印刷在紙上或者顯示于畫面上。另外，上述的步驟s24～步驟s25的處理也可以在所述的圖4的步驟s13與步驟s14之間進(jìn)行。

之后，在步驟s26中，判斷是否存在對單元控制裝置12的停止指令。當(dāng)存在停止指令時，通過輸出部26輸出上述那樣的恢復(fù)作業(yè)信息的處理結(jié)束。另一方面，當(dāng)不存在停止指令時，從步驟s26返回到步驟s21，再次進(jìn)行步驟s21～步驟s26的處理。

如以上所說明那樣，本實施方式的單元控制裝置12構(gòu)成為：生成相關(guān)數(shù)據(jù)，所述相關(guān)數(shù)據(jù)為按制造機(jī)械將表示因故障而停止的制造機(jī)械的狀態(tài)的停止信息、和該制造機(jī)械的恢復(fù)作業(yè)信息關(guān)聯(lián)起來而得的數(shù)據(jù)。并且，每當(dāng)生成所述那樣的相關(guān)數(shù)據(jù)時，發(fā)送并儲存于上位計算機(jī)13的數(shù)據(jù)庫。因此，在某個制造機(jī)械因故障而停止時，作業(yè)員能夠從上位計算機(jī)13的數(shù)據(jù)庫中取得恢復(fù)作業(yè)信息，所述恢復(fù)作業(yè)信息表示針對該制造機(jī)械的停止在過去所實施的恢復(fù)作業(yè)內(nèi)容。也就是說，本實施方式的單元控制裝置12能夠使作業(yè)員容易地取得最適合于制造單元11的各制造機(jī)械的停止信息的恢復(fù)作業(yè)內(nèi)容。

特別是，在本實施方式的單元控制裝置12中，在取得制造機(jī)械的停止信息時，從上位計算機(jī)13的數(shù)據(jù)庫中讀出與該制造機(jī)械的停止信息對應(yīng)的恢復(fù)作業(yè)信息并輸出給輸出部26。由此，作業(yè)員尤其是熟練度低的人員能夠迅速地取得針對停止的制造機(jī)械的恢復(fù)作業(yè)內(nèi)容，且能夠適當(dāng)?shù)貙嵤┗謴?fù)作業(yè)。

接下來，對所述的單元控制裝置12的第一變形例進(jìn)行說明。圖6是表示圖1所示的單元控制裝置12的第一變形例的結(jié)構(gòu)的框圖。

如圖6所示，相對于圖1所示的單元控制裝置12，第一變形例的單元控制裝置12a還具有：學(xué)習(xí)器27、制造實績信息存儲部28、以及計算部29。以下，依次對這些結(jié)構(gòu)要素的功能進(jìn)行說明。

在圖6所示的單元控制裝置12a中，學(xué)習(xí)器27設(shè)置于相關(guān)數(shù)據(jù)生成部24中。學(xué)習(xí)器27將各制造機(jī)械14～16的警報發(fā)生率或者運(yùn)轉(zhuǎn)率作為回報，對由所述的相關(guān)數(shù)據(jù)生成部24生成的相關(guān)數(shù)據(jù)進(jìn)行學(xué)習(xí)。

具體來說，在針對因故障而停止的制造機(jī)械進(jìn)行了恢復(fù)作業(yè)之后，學(xué)習(xí)器27取得該制造機(jī)械在恢復(fù)之后經(jīng)過預(yù)定時間為止的警報發(fā)生率或者運(yùn)轉(zhuǎn)率。取得的警報發(fā)生率越小，或者運(yùn)轉(zhuǎn)率越大，能夠判斷為針對該制造機(jī)械的恢復(fù)作業(yè)是適當(dāng)?shù)?。因此，學(xué)習(xí)器27針對由所述的停止信息和恢復(fù)作業(yè)信息構(gòu)成的相關(guān)數(shù)據(jù)給予與制造機(jī)械的警報發(fā)生率或者運(yùn)轉(zhuǎn)率對應(yīng)的回報，從而實施相關(guān)數(shù)據(jù)的最佳化。

使用制造實績信息存儲部28以及計算部29來取得上述的警報發(fā)生率或者運(yùn)轉(zhuǎn)率。即，制造實績信息存儲部28將按照來自單元控制裝置12a的控制指令而運(yùn)轉(zhuǎn)的制造機(jī)械14～16的每一個的制造實績信息進(jìn)行存儲。計算部29根據(jù)存儲于制造實績信息存儲部28的制造實績信息，來計算各制作機(jī)械14～16的警報發(fā)生率或者運(yùn)轉(zhuǎn)率。

上述的制造實績信息是為了進(jìn)行由制造單元11制造的制品的品質(zhì)管理、工序管理等而使用的信息。例如，作為制造實績信息，列舉出：制造過程中的制造機(jī)械中的電動機(jī)的電流值、制造所需的時間、制造過程中發(fā)生的警報信息、在制造中使用的程序和參數(shù)值、在制造中使用的工具的識別號碼、制造過程中的周圍溫度、制造后通過測定器測定出的制造誤差等。

在本實施方式中，制造機(jī)械名稱、制造時間、工件處理數(shù)、警報件數(shù)等包含于制造實績信息。在制造機(jī)械名稱中，使用對制造機(jī)械固有的識別號碼。制造時間是該制造機(jī)械進(jìn)行工件的處理所需的時間。工件處理數(shù)是由該制造機(jī)械處理的工件的數(shù)量。警報件數(shù)是制造機(jī)械的工件的處理中所發(fā)生的警報次數(shù)。另外，為了報知各制造機(jī)械的異常，在警報中使用設(shè)置于各制造機(jī)械的音源和光源等的輸出。

在計算部29中例如以如下方式來計算警報發(fā)生率。通過將警報件數(shù)除以制造時間或者制造單元11中的制造機(jī)械的數(shù)量，能夠求出警報發(fā)生率。此外，也可以是將因警報的發(fā)生使得制造機(jī)械停止的時間除以該制造機(jī)械的原本應(yīng)該運(yùn)轉(zhuǎn)的時間而得的值，作為警報發(fā)生率?；蛘撸部梢詫⒁蚓瘓蟮陌l(fā)生使得制造機(jī)械停止的時間直接視為警報發(fā)生率。這樣的警報發(fā)生率的計算方法是一個示例，本發(fā)明不限于此。并且，在計算部29中，也可以不使用所述的警報發(fā)生率，而計算出運(yùn)轉(zhuǎn)率。通過將制造機(jī)械實際運(yùn)轉(zhuǎn)的時間除以該制造機(jī)械的原本應(yīng)該運(yùn)轉(zhuǎn)的時間，來求出運(yùn)轉(zhuǎn)率。

根據(jù)上述那樣的第一變形例，能夠通過學(xué)習(xí)器27來對儲存于上位計算機(jī)13的數(shù)據(jù)庫的相關(guān)數(shù)據(jù)中的、各制造機(jī)械的停止信息與恢復(fù)作業(yè)信息的關(guān)聯(lián)性進(jìn)行強(qiáng)化。

另外，作為上述的狀態(tài)存儲部20、恢復(fù)作業(yè)信息存儲部23、以及制造實績信息存儲部28，例如能夠使用ram(randomaccessmemory：隨機(jī)存取存儲器)這樣的存儲器裝置。或者，在狀態(tài)存儲部20、恢復(fù)作業(yè)信息存儲部23、以及制造實績信息存儲部28中能夠使用硬盤等固定磁盤裝置、或者軟盤、光盤等可移動的存儲裝置等。

并且，對所述的單元控制裝置12的第二變形例進(jìn)行說明。圖7是表示圖1所示的單元控制裝置的第二變形例的結(jié)構(gòu)的框圖。

如圖7所示，相對于圖6所示的單元控制裝置12a，第二變形例的單元控制裝置12b還具有數(shù)據(jù)判別部30以及學(xué)習(xí)器31。以下，依次對這些結(jié)構(gòu)要素的功能進(jìn)行說明。

數(shù)據(jù)判別部30將從輸入部22輸入到恢復(fù)作業(yè)信息存儲部23的恢復(fù)作業(yè)信息，與如上所述地儲存于上位計算器13的數(shù)據(jù)庫的多個相關(guān)數(shù)據(jù)進(jìn)行比較。并且，數(shù)據(jù)判別部30在從數(shù)據(jù)庫中的多個相關(guān)數(shù)據(jù)中發(fā)現(xiàn)了類似于所輸入的恢復(fù)作業(yè)信息的恢復(fù)作業(yè)信息時，將該類似的恢復(fù)作業(yè)信息和與其關(guān)聯(lián)的停止信息輸出給輸出部26。此時，優(yōu)選的是，恢復(fù)作業(yè)信息以及停止信息在輸出部26中被印刷在紙上，或者顯示于畫面上，從而提示給作業(yè)員。

在這樣的第二變形例的單元控制裝置12b中，作業(yè)員預(yù)測針對停止的制造機(jī)械的恢復(fù)作業(yè)內(nèi)容，將表示該恢復(fù)作業(yè)內(nèi)容的恢復(fù)作業(yè)信息從輸入部22輸入到恢復(fù)作業(yè)信息存儲部23。在類似于輸入的恢復(fù)作業(yè)信息的恢復(fù)作業(yè)信息存在于上位計算機(jī)13的數(shù)據(jù)庫中時，通過輸出部26而輸出該類似的恢復(fù)作業(yè)信息和與其關(guān)聯(lián)的停止信息。由此，作業(yè)員能夠知曉針對制造機(jī)械的哪一種停止?fàn)顟B(tài)實施了與預(yù)測出的恢復(fù)作業(yè)內(nèi)容類似的恢復(fù)作業(yè)信息。換言之，關(guān)于第二變形例的單元控制裝置12b，能夠使作業(yè)員理解預(yù)測出的恢復(fù)作業(yè)內(nèi)容針對當(dāng)前發(fā)生的制造機(jī)械的停止?fàn)顟B(tài)是否適當(dāng)。此外，作業(yè)員從產(chǎn)生了與預(yù)測出的恢復(fù)作業(yè)內(nèi)容類似的恢復(fù)作業(yè)信息的制造機(jī)械的停止信息中，易于預(yù)測出更適當(dāng)?shù)幕謴?fù)作業(yè)內(nèi)容。

并且，對所述的單元控制裝置12的第三變形例進(jìn)行說明。圖8是表示圖1所示的單元控制裝置的第三變形例的結(jié)構(gòu)的框圖。

如圖8所示，相對于圖6所示的單元控制裝置12a，第三變形例的單元控制裝置12c以與所述的第二變形例同樣的方式還具有數(shù)據(jù)判別部30以及學(xué)習(xí)器31。但是，如下所述，這些結(jié)構(gòu)要素的功能與所述的第二變形例不同。

如圖8所示，數(shù)據(jù)判別部30將通過停止信息取得部21從狀態(tài)存儲部20取得的停止信息與如上所述儲存于上位計算機(jī)13的數(shù)據(jù)庫的多個相關(guān)數(shù)據(jù)進(jìn)行比較。并且，數(shù)據(jù)判別部30從數(shù)據(jù)庫中的多個相關(guān)數(shù)據(jù)中發(fā)現(xiàn)與所取得的停止信息類似的停止信息，并將該類似的停止信息輸出給輸出部26。此外，數(shù)據(jù)判別部30從所述的數(shù)據(jù)庫調(diào)用與該類似的停止信息關(guān)聯(lián)的恢復(fù)作業(yè)信息，輸出給輸出部26。此時，優(yōu)選的是，恢復(fù)作業(yè)信息以及停止信息在輸出部26中被印刷于紙上或者顯示于畫面上，由此來向作業(yè)員提示。此外，在實際的停止發(fā)生之前，發(fā)現(xiàn)類似的停止信息，即，可以預(yù)知停止。

在這樣的第三變形例的單元控制裝置12c中，能夠根據(jù)狀態(tài)存儲部20內(nèi)的制造機(jī)械的狀態(tài)信息，判別類似于停止信息的狀態(tài)。能夠使用該類似的停止信息，從上位計算機(jī)13的數(shù)據(jù)庫中讀出與該類似的停止信息關(guān)聯(lián)的恢復(fù)作業(yè)信息。此外，類似的停止信息和與其關(guān)聯(lián)的恢復(fù)作業(yè)信息分別通過輸出部26而被輸出。由此，作業(yè)員能夠知曉制造機(jī)械類似于特定的停止信息的狀態(tài)，也就是停止的前兆。換言之，第三變形例的單元控制裝置12c能夠從制造機(jī)械的狀態(tài)預(yù)知可能發(fā)生的機(jī)械的停止。此外，作業(yè)員通過預(yù)知預(yù)測出的停止信息，能夠預(yù)防停止、進(jìn)行恢復(fù)作業(yè)的準(zhǔn)備等。

但是，當(dāng)在所述的第二變形例以及第三變形例中各數(shù)據(jù)判別部30中的類似的判別精度降低時，輸出與作業(yè)員預(yù)測出的恢復(fù)作業(yè)內(nèi)容大不相同的恢復(fù)作業(yè)內(nèi)容所關(guān)聯(lián)的停止信息。該情況下，作業(yè)員有可能誤解為預(yù)測出的恢復(fù)作業(yè)內(nèi)容是適當(dāng)?shù)?。因此，?yōu)選的是，在所述的各數(shù)據(jù)判別部30中設(shè)置有學(xué)習(xí)器31。即，優(yōu)選的是，第二變形例的單元控制裝置12c中的學(xué)習(xí)器31構(gòu)成為：對判別所述的數(shù)據(jù)庫中的各相關(guān)數(shù)據(jù)所包含的恢復(fù)作業(yè)信息、與輸入到恢復(fù)作業(yè)信息存儲部23的恢復(fù)作業(yè)信息之間的類似性的基準(zhǔn)進(jìn)行學(xué)習(xí)。另一方面，優(yōu)選的是，第三變形例的單元控制裝置12c中的學(xué)習(xí)器31構(gòu)成為：對判別所述的數(shù)據(jù)庫中的各相關(guān)數(shù)據(jù)所包含的停止信息、與輸入到狀態(tài)存儲部20的制造機(jī)械的狀態(tài)信息之間的類似性的基準(zhǔn)進(jìn)行學(xué)習(xí)。特別是，這些學(xué)習(xí)器31將各制造機(jī)械14～16的警報發(fā)生率或者運(yùn)轉(zhuǎn)率作為回報，來學(xué)習(xí)所述那樣的類似性的判別基準(zhǔn)，例如數(shù)據(jù)的一致率。

具體來說，在如上所述地作業(yè)員通過預(yù)測出的恢復(fù)作業(yè)內(nèi)容而使制造機(jī)械恢復(fù)之后，學(xué)習(xí)器31取得該制造機(jī)械從恢復(fù)起直到經(jīng)過預(yù)定時間為止的警報發(fā)生率或者運(yùn)轉(zhuǎn)率。取得的警報發(fā)生率越小，或者運(yùn)轉(zhuǎn)率越大，能夠判斷為該預(yù)測出的恢復(fù)作業(yè)內(nèi)容是適當(dāng)?shù)?。因此，學(xué)習(xí)器31針對所述的類似性的判別基準(zhǔn)，例如數(shù)據(jù)的一致率給予與制造機(jī)械的警報發(fā)生率或者運(yùn)轉(zhuǎn)率對應(yīng)的回報，由此學(xué)習(xí)最適合于數(shù)據(jù)判別部30的類似性判別的基準(zhǔn)。另外，優(yōu)選的是，與所述的第一變形例同樣地，使用制造實績信息存儲部28以及計算部29來取得上述的警報發(fā)生率或者運(yùn)轉(zhuǎn)率。

如上所述，在第二變形例的單元控制裝置12b以及第三變形例的單元控制裝置12c中，通過將學(xué)習(xí)器31設(shè)置于數(shù)據(jù)判別部30，來實現(xiàn)數(shù)據(jù)判別部30中的類似的判別基準(zhǔn)的最佳化。

并且，對上述的學(xué)習(xí)器27、31(以下，稱為機(jī)械學(xué)習(xí)裝置)進(jìn)行詳細(xì)說明。機(jī)械學(xué)習(xí)裝置具有如下功能：通過解析而從輸入到裝置的數(shù)據(jù)集合中提取出其中有用的規(guī)則和知識表現(xiàn)、判斷基準(zhǔn)等，輸出其判斷結(jié)果，并且進(jìn)行知識學(xué)習(xí)。該方法是多種多樣的，但是大致分類為“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“強(qiáng)化學(xué)習(xí)”。并且，在實現(xiàn)這些方法的基礎(chǔ)上，存在對特征量本身的提取進(jìn)行學(xué)習(xí)的、稱為“深度學(xué)習(xí)”的方法。

所謂“有教師學(xué)習(xí)”是通過將某種輸入與結(jié)果(標(biāo)簽，label)的數(shù)據(jù)組大量地給予到機(jī)械學(xué)習(xí)裝置，來學(xué)習(xí)這些數(shù)據(jù)集(dataset)中的特征，能夠歸納性地獲得從輸入推定出結(jié)果的模型即其相關(guān)性。能夠使用后述的神經(jīng)網(wǎng)絡(luò)等算法來實現(xiàn)。

所謂“無教師學(xué)習(xí)”是如下方法：通過只將輸入數(shù)據(jù)大量地給予到機(jī)械學(xué)習(xí)裝置，學(xué)習(xí)輸入數(shù)據(jù)進(jìn)行了怎樣的分布，即使不給予對應(yīng)的教師輸出數(shù)據(jù)，也能通過針對輸入數(shù)據(jù)進(jìn)行壓縮、分類、整形等的裝置進(jìn)行學(xué)習(xí)。能夠?qū)⒋嬖谟谶@些數(shù)據(jù)集中的特征聚類于相似者之間等。使用該結(jié)果來設(shè)定某個基準(zhǔn)而進(jìn)行使其為最佳的這樣的輸出分配，由此，能夠?qū)崿F(xiàn)預(yù)測輸出。此外，作為“無教師學(xué)習(xí)”和“有教師學(xué)習(xí)”中間的問題設(shè)定而被稱為“半有教師學(xué)習(xí)”，其對應(yīng)于如下情況：僅存在一部分輸入和輸出的數(shù)據(jù)組，除此之外僅有輸入的數(shù)據(jù)。

以如下方式來設(shè)定強(qiáng)化學(xué)習(xí)的問題。

·機(jī)械學(xué)習(xí)裝置觀測環(huán)境的狀態(tài)，決定行為。

·環(huán)境按照某種規(guī)則進(jìn)行變化，并且自身行為有時也對環(huán)境賦予變化。

·每次進(jìn)行行為時反饋回來回報信號。

·想要最大化的是到將來的(折扣)回報的總和。

·從完全不知道行為引起的結(jié)果或者只是不完全知道的狀態(tài)起，開始學(xué)習(xí)。以機(jī)械學(xué)習(xí)裝置實際動作開始，能夠作為數(shù)據(jù)而獲得其結(jié)果。也就是說，需要一邊試錯一邊探索最佳的行為。

·可以將例如模仿人類動作這樣事前學(xué)習(xí)(上述的稱為有教師學(xué)習(xí)、逆強(qiáng)化學(xué)習(xí)這樣的技術(shù))了的狀態(tài)設(shè)為初始狀態(tài)，來從較好的開始點(diǎn)起開始學(xué)習(xí)。

所謂“強(qiáng)化學(xué)習(xí)”是不僅進(jìn)行判定和分類，還學(xué)習(xí)行為，由此在行為給予環(huán)境的相互作用的基礎(chǔ)上學(xué)習(xí)適當(dāng)?shù)男袨?，即，用于使將來獲得的回報最大化的學(xué)習(xí)方法。在本實施方式中，其表示能夠獲得對未來造成影響的行為。例如，以q學(xué)習(xí)的情況繼續(xù)說明，但是并非局限于此。

q學(xué)習(xí)是在某種環(huán)境狀態(tài)s下學(xué)習(xí)選擇行為a的價值q(s、a)的方法。也就是說，在某種狀態(tài)s時，將價值q(s、a)最高的行為a選擇為最佳行為。但是，最開始對于狀態(tài)s與行為a的組合，完全不知道價值q(s、a)的正確值。因此，智能體(行為主體)在某種狀態(tài)s下選擇各種各樣的行為a，并針對當(dāng)時的行為a給予回報。由此，智能體不斷學(xué)習(xí)更好的行為選擇，即學(xué)習(xí)正確的價值q(s、a)。

行為的結(jié)果是想要使到將來獲得的回報的總和最大化，所以目標(biāo)是最終成為q(s、a)＝e[σγ^trt](按最佳行為而改變狀態(tài)時得到期望值。當(dāng)然，由于不知道期望值，因此不得不一邊探索一邊學(xué)習(xí))。這樣的價值q(s、a)的更新式例如可以通過如下式來表示。

這里，st表示時刻t的環(huán)境狀態(tài)，at表示時刻t的行為。通過行為at，狀態(tài)變化為st+1。rt+1表示通過該狀態(tài)的變化而得到的回報。此外，帶有max的項是：在狀態(tài)st+1下，將γ乘以選擇出當(dāng)時知道的q值最高的行為a時的q值而得的值。γ是0＜γ≤1的參數(shù)，被稱為折扣率。α是學(xué)習(xí)系數(shù)，設(shè)α的范圍為0＜α≤1。

該式表示如下方法：根據(jù)試行at的結(jié)果而反饋回來的回報rt+1，更新狀態(tài)st下的行為at的評價值q(st、at)。表示了：若基于回報rt+1+行為a的下一狀態(tài)的最佳行為maxa的評價值q(st+1、maxat+1)比狀態(tài)s下的行為a的評價值q(st、at)大，則增大q(st、at)，反之，如果小，則減小q(st、at)。也就是說，使某種狀態(tài)下的某種行為價值，接近于在作為結(jié)果即時反饋回來的回報和基于該行為的下一狀態(tài)下的最佳的行為價值。

q(s、a)在計算機(jī)上的表現(xiàn)方法有以下方法：針對所有的狀態(tài)行為對(s、a)，將其值保存為表格(行為價值表)的方法、以及準(zhǔn)備對q(s、a)進(jìn)行近似的這樣的函數(shù)的方法。在后者的方法中，可以通過隨機(jī)梯度下降法等方法來調(diào)整近似函數(shù)的參數(shù)來實現(xiàn)上述的更新式。作為近似函數(shù)，可以使用后述的神經(jīng)網(wǎng)絡(luò)。

作為有教師學(xué)習(xí)、無教師學(xué)習(xí)以及強(qiáng)化學(xué)習(xí)中的價值函數(shù)的近似算法，可以使用神經(jīng)網(wǎng)絡(luò)。例如由實現(xiàn)模擬了圖9所示那樣的神經(jīng)元模型的神經(jīng)網(wǎng)絡(luò)的運(yùn)算裝置以及存儲器等來構(gòu)成神經(jīng)網(wǎng)絡(luò)。圖9是表示神經(jīng)元模型的示意圖。

如圖9所示，神經(jīng)元輸出針對多個輸入x(這里，作為一個示例，輸入x1～輸入x3)的輸出y。對各輸入x1～x3乘以與該輸入x對應(yīng)的權(quán)值w(w1～w3)。由此，神經(jīng)元輸出由如下式表現(xiàn)的輸出y。另外，輸入x、輸出y以及權(quán)值w都是向量。

這里，θ是偏置，fk是激活函數(shù)。

接下來，參照圖10對具有組合了上述的神經(jīng)元而得的三層權(quán)值的神經(jīng)網(wǎng)絡(luò)進(jìn)行說明。圖10是表示具有d1～d3的三層權(quán)值的神經(jīng)網(wǎng)絡(luò)的示意圖。

如圖10所示，從神經(jīng)元網(wǎng)絡(luò)的左側(cè)輸入多個輸入x(這里作為一例是輸入x1～輸入x3)，從右側(cè)輸出結(jié)果y(這里作為一例，結(jié)果y1～結(jié)果y3)。

具體來說，輸入x1～輸入x3乘以對應(yīng)的權(quán)值而被輸入到三個神經(jīng)元n11～n13的每一個。與這些輸入相乘的權(quán)值統(tǒng)一標(biāo)記為w1。

神經(jīng)元n11～n13分別輸出z11～z13。這些z11～z13可以被統(tǒng)一標(biāo)記為特征向量z1，看作是提取出輸入向量的特征量而得的向量。該特征向量z1是權(quán)值w1與權(quán)值w2之間的特征向量。

z11～z13乘以對應(yīng)的權(quán)值而被輸入到兩個神經(jīng)元n21、n22的每一個。與這些特征向量相乘的權(quán)值被統(tǒng)一標(biāo)記為w2。

神經(jīng)元n21、n22分別輸出z21、z22。其被統(tǒng)一標(biāo)記為特征向量z2。該特征向量z2是權(quán)值w2與權(quán)值w3之間的特征向量。

特征向量z21、z22乘以對應(yīng)的權(quán)值而被輸入到三個神經(jīng)元n31～n33的每一個。與這些特征向量相乘的權(quán)值被統(tǒng)一標(biāo)記為w3。

最后，神經(jīng)元n31～n33分別輸出結(jié)果y1～結(jié)果y3。

在神經(jīng)網(wǎng)絡(luò)的動作中有學(xué)習(xí)模式和價值預(yù)測模式，在學(xué)習(xí)模式中使用學(xué)習(xí)數(shù)據(jù)集來學(xué)習(xí)權(quán)值w，在預(yù)測模式中使用其參數(shù)進(jìn)行加工機(jī)的行為判斷(為了方便而寫為預(yù)測，但是也可以是檢測、分類、推論等多種多樣的任務(wù))。

可以是在預(yù)測模式下對實際運(yùn)行加工機(jī)而獲得的數(shù)據(jù)進(jìn)行即時學(xué)習(xí)，并反映到下一行為中(在線學(xué)習(xí))，也可以是使用預(yù)先收集好的數(shù)據(jù)組來進(jìn)行匯總學(xué)習(xí)，以后一直用該參數(shù)進(jìn)行檢測模式(批量學(xué)習(xí))。也可以是中間性的，每當(dāng)積攢了某種程度數(shù)據(jù)時，就可以插入學(xué)習(xí)模式。

可以通過誤差反傳播法(誤差反向傳播法：backpropagation)來學(xué)習(xí)權(quán)值w1～w3。誤差信息從右側(cè)進(jìn)入流向左側(cè)。誤差反傳播法是如下方法：針對各神經(jīng)元，調(diào)整(學(xué)習(xí))各自的權(quán)值，使得輸入了輸入x時的輸出y與真實的輸出y(教師)之間的差值減小。

這樣的神經(jīng)網(wǎng)絡(luò)還可以在三層以上進(jìn)一步增加層(稱為深層學(xué)習(xí))?？梢噪A段性地進(jìn)行輸入的特征提取，僅從教師數(shù)據(jù)自動地獲得用于反饋(回歸)結(jié)果的運(yùn)算裝置。

另外，在圖6所示的學(xué)習(xí)器27、圖7以及圖8所示的學(xué)習(xí)器31中，分別采用了作為機(jī)械學(xué)習(xí)方法的一種的強(qiáng)化學(xué)習(xí)，例如采用了q學(xué)習(xí)。當(dāng)然，適合于各學(xué)習(xí)器27、31的機(jī)械學(xué)習(xí)方法不局限于q學(xué)習(xí)。例如在將有教師學(xué)習(xí)應(yīng)用于各學(xué)習(xí)器27、31時，價值函數(shù)對應(yīng)于學(xué)習(xí)模型、回報對應(yīng)于誤差。

以上，使用典型的實施方式說明了本發(fā)明，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)了解在不脫離本發(fā)明的范圍的情況下能夠?qū)ι鲜龅膶嵤┓绞竭M(jìn)行變更以及各種其他的變更、省略、追加。

發(fā)明效果

根據(jù)上述的第一方式以及第九方式，在制造單元的制造機(jī)械停止時將最適合于該制造機(jī)械的恢復(fù)作業(yè)內(nèi)容的信息進(jìn)行存儲，更新為最佳形態(tài)，由此，能夠使作業(yè)員容易地取得恢復(fù)作業(yè)。并且，根據(jù)上述第二方式，作業(yè)員特別是熟練度低的人員能夠迅速且適當(dāng)?shù)貙嵤┽槍νＶ沟闹圃鞕C(jī)械的恢復(fù)作業(yè)。

并且，根據(jù)上述的第三方式以及第八方式，能夠通過學(xué)習(xí)器來對儲存于上位計算機(jī)的數(shù)據(jù)庫的相關(guān)數(shù)據(jù)中的、各制造機(jī)械的停止信息和恢復(fù)作業(yè)信息之間的關(guān)聯(lián)性進(jìn)行強(qiáng)化。

此外，根據(jù)上述的第四方式，作業(yè)員能夠根據(jù)所輸出的相關(guān)數(shù)據(jù)所包含的恢復(fù)作業(yè)信息和與此對應(yīng)的制造機(jī)械的停止信息，確認(rèn)預(yù)測出的恢復(fù)作業(yè)內(nèi)容是否是適合于制造機(jī)械的恢復(fù)的作業(yè)。

此外，根據(jù)上述的第五方式，作業(yè)員能夠根據(jù)制造機(jī)械的停止信息和與此類似的制造機(jī)械的停止信息，事先預(yù)知機(jī)械的停止，能夠為恢復(fù)作業(yè)做準(zhǔn)備。

并且，根據(jù)上述的第六方式以及第七方式，通過將學(xué)習(xí)器設(shè)置于數(shù)據(jù)判別部，實現(xiàn)了數(shù)據(jù)判別部中的類似的判別基準(zhǔn)的最佳化。