本發(fā)明涉及一種電動(dòng)機(jī)驅(qū)動(dòng)裝置，特別涉及一種具備風(fēng)扇電動(dòng)機(jī)的預(yù)防性維護(hù)功能的電動(dòng)機(jī)驅(qū)動(dòng)裝置。

背景技術(shù)：

以往，在具備電動(dòng)機(jī)驅(qū)動(dòng)裝置以及向電動(dòng)機(jī)驅(qū)動(dòng)裝置輸出指令的數(shù)值控制裝置的數(shù)值控制系統(tǒng)中，為了對(duì)設(shè)置于電動(dòng)機(jī)驅(qū)動(dòng)裝置的發(fā)熱部件進(jìn)行冷卻而使用風(fēng)扇電動(dòng)機(jī)。當(dāng)風(fēng)扇電動(dòng)機(jī)發(fā)生異常時(shí)，存在以下?lián)鷳n：由于部件發(fā)熱等，電動(dòng)機(jī)驅(qū)動(dòng)裝置發(fā)生故障。因此，作為其對(duì)策，已知如下一種裝置：在風(fēng)扇電動(dòng)機(jī)的轉(zhuǎn)速變?yōu)橐?guī)定值以下的情況下輸出警告(例如，日本特開(kāi)2007-200092號(hào)公報(bào)。以下稱為“專利文獻(xiàn)1”。)。

簡(jiǎn)單說(shuō)明專利文獻(xiàn)1所記載的以往的數(shù)值控制系統(tǒng)。在第一存儲(chǔ)部中，作為用于判斷是否輸出警告的基準(zhǔn)值而存儲(chǔ)有第一基準(zhǔn)值以及比第一基準(zhǔn)值大的第二基準(zhǔn)值。在比較部的比較結(jié)果是各個(gè)檢測(cè)值大于第一基準(zhǔn)值且為第二基準(zhǔn)值以下時(shí)，顯示部顯示為“警告”，在比較部的比較結(jié)果是各個(gè)檢測(cè)值大于第二基準(zhǔn)值時(shí)，顯示部顯示為“故障”。根據(jù)這種結(jié)構(gòu)，操作者能夠?qū)⒓榷ǖ牡谝换鶞?zhǔn)值和第二基準(zhǔn)值作為判定基準(zhǔn)，來(lái)個(gè)別地預(yù)測(cè)多個(gè)風(fēng)扇電動(dòng)機(jī)的異常，并個(gè)別地確認(rèn)發(fā)生了異常。

然而，在以往技術(shù)中，上述的第一基準(zhǔn)值和第二基準(zhǔn)值等規(guī)定值是預(yù)先決定的。因此，存在以下問(wèn)題：無(wú)法在與風(fēng)扇電動(dòng)機(jī)的驅(qū)動(dòng)環(huán)境的變化相應(yīng)的最佳時(shí)機(jī)更換風(fēng)扇電動(dòng)機(jī)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種監(jiān)視風(fēng)扇電動(dòng)機(jī)的轉(zhuǎn)速的推移來(lái)預(yù)測(cè)風(fēng)扇電動(dòng)機(jī)的故障并輸出警告的電動(dòng)機(jī)驅(qū)動(dòng)裝置。

本發(fā)明的一個(gè)實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置具備機(jī)器學(xué)習(xí)器，該電動(dòng)機(jī)驅(qū)動(dòng)裝置具有：風(fēng)扇電動(dòng)機(jī)；以及警報(bào)輸出部，其通知風(fēng)扇電動(dòng)機(jī)的更換時(shí)期，其中，機(jī)器學(xué)習(xí)器具有：狀態(tài)觀測(cè)部，其觀測(cè)風(fēng)扇電動(dòng)機(jī)的轉(zhuǎn)速；獎(jiǎng)勵(lì)(日語(yǔ)：報(bào)酬)計(jì)算部，其根據(jù)警報(bào)輸出部輸出警報(bào)的時(shí)期以及風(fēng)扇電動(dòng)機(jī)實(shí)際發(fā)生故障的時(shí)期來(lái)計(jì)算獎(jiǎng)勵(lì)；人工智能，其基于狀態(tài)觀測(cè)部中的觀測(cè)結(jié)果以及獎(jiǎng)勵(lì)計(jì)算部中的獎(jiǎng)勵(lì)來(lái)判斷行動(dòng)的價(jià)值；以及意思決定部，其基于人工智能中的判斷結(jié)果來(lái)決定是否從警報(bào)輸出部輸出警報(bào)。

附圖說(shuō)明

通過(guò)與附圖相關(guān)聯(lián)的以下的實(shí)施方式的說(shuō)明，本發(fā)明的目的、特征以及優(yōu)點(diǎn)會(huì)變得更進(jìn)一步明確。在該附圖中，

圖1是本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置的結(jié)構(gòu)圖，

圖2是用于說(shuō)明使用本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置來(lái)根據(jù)多個(gè)過(guò)去的轉(zhuǎn)速的推移和故障的數(shù)據(jù)預(yù)想今后的轉(zhuǎn)速的推移的方法的曲線圖，

圖3是表示在本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置的機(jī)器學(xué)習(xí)器中使用的神經(jīng)元的模型的示意圖，

圖4是表示在本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置的機(jī)器學(xué)習(xí)器中使用的3層神經(jīng)網(wǎng)絡(luò)模型的示意圖，以及

圖5是用于說(shuō)明本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置的動(dòng)作過(guò)程的流程圖。

具體實(shí)施方式

下面，參照附圖來(lái)說(shuō)明本發(fā)明所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置。

圖1是本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置的結(jié)構(gòu)圖。本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置100具備機(jī)器學(xué)習(xí)器(智能體(agent))10和風(fēng)扇電動(dòng)機(jī)控制部(環(huán)境)20。機(jī)器學(xué)習(xí)器10具備狀態(tài)觀測(cè)部1、獎(jiǎng)勵(lì)計(jì)算部2、人工智能(學(xué)習(xí)部)3以及意思決定部4。風(fēng)扇電動(dòng)機(jī)控制部20具備風(fēng)扇電動(dòng)機(jī)21以及通知風(fēng)扇電動(dòng)機(jī)21的更換時(shí)期的警報(bào)輸出部22。

狀態(tài)觀測(cè)部1觀測(cè)風(fēng)扇電動(dòng)機(jī)21的旋轉(zhuǎn)速度、即每單位時(shí)間的轉(zhuǎn)速(以下僅稱為“轉(zhuǎn)速”)。圖2是用于說(shuō)明使用本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置來(lái)根據(jù)多個(gè)過(guò)去的轉(zhuǎn)速的推移和故障的數(shù)據(jù)預(yù)想今后的轉(zhuǎn)速的推移的方法的曲線圖。

圖2的上側(cè)的2個(gè)曲線圖表示作為狀態(tài)觀測(cè)部1觀測(cè)出的過(guò)去的數(shù)據(jù)的、風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速的推移(時(shí)間性變化)。例如，在數(shù)據(jù)no.1中示出了以下例子：從時(shí)刻0[sec]到時(shí)刻t1[sec]大致以額定轉(zhuǎn)速進(jìn)行旋轉(zhuǎn)，但是從時(shí)刻t1[sec]起轉(zhuǎn)速開(kāi)始減少，在時(shí)刻t2[sec]旋轉(zhuǎn)停止。同樣地，在數(shù)據(jù)no.2中示出了以下例子：從時(shí)刻0[sec]到時(shí)刻t3[sec]大致以額定轉(zhuǎn)速進(jìn)行旋轉(zhuǎn)，但是從時(shí)刻t3[sec]起轉(zhuǎn)速開(kāi)始減少，在時(shí)刻t4[sec]旋轉(zhuǎn)停止。此外，圖2中示出了2個(gè)數(shù)據(jù)作為過(guò)去的數(shù)據(jù)，但是過(guò)去的數(shù)據(jù)也可以是3個(gè)以上。

警報(bào)輸出部22按照風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速的推移來(lái)輸出通知風(fēng)扇電動(dòng)機(jī)21的更換時(shí)期的警報(bào)。例如，警報(bào)輸出部22可以在風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速低于額定轉(zhuǎn)速的x[％]的情況下輸出警報(bào)?；蛘撸瘓?bào)輸出部22也可以在風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速低于規(guī)定的轉(zhuǎn)速y[min^-1]的情況下輸出警報(bào)?；蛘?，警報(bào)輸出部22還可以在風(fēng)扇電動(dòng)機(jī)21開(kāi)始旋轉(zhuǎn)起的經(jīng)過(guò)時(shí)間超過(guò)規(guī)定的時(shí)間z[hour]的情況下輸出警報(bào)。但是，這些例子是一例，也可以基于其它基準(zhǔn)來(lái)輸出警報(bào)。

獎(jiǎng)勵(lì)計(jì)算部2根據(jù)警報(bào)輸出部22輸出警報(bào)的時(shí)期以及風(fēng)扇電動(dòng)機(jī)實(shí)際發(fā)生故障的時(shí)期來(lái)計(jì)算獎(jiǎng)勵(lì)?？梢允牵瑥妮敵鼍瘓?bào)到風(fēng)扇電動(dòng)機(jī)實(shí)際發(fā)生故障的時(shí)間越短，獎(jiǎng)勵(lì)計(jì)算部2計(jì)算出越高的獎(jiǎng)勵(lì)。另外，也可以是，在未輸出警報(bào)、風(fēng)扇電動(dòng)機(jī)21未發(fā)生故障而繼續(xù)旋轉(zhuǎn)的情況下，獎(jiǎng)勵(lì)計(jì)算部2計(jì)算出高的獎(jiǎng)勵(lì)。并且，還可以是，在輸出警報(bào)之前風(fēng)扇電動(dòng)機(jī)21發(fā)生了故障的情況下，獎(jiǎng)勵(lì)計(jì)算部2計(jì)算出低的獎(jiǎng)勵(lì)。

人工智能(學(xué)習(xí)部)3能夠基于狀態(tài)觀測(cè)部1所觀測(cè)出的風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速等觀測(cè)結(jié)果以及獎(jiǎng)勵(lì)計(jì)算部2中的獎(jiǎng)勵(lì)來(lái)判斷行動(dòng)的價(jià)值。另外，也可以是，狀態(tài)觀測(cè)部1還觀測(cè)電動(dòng)機(jī)驅(qū)動(dòng)裝置100的周?chē)鷾囟?，人工智?將周?chē)鷾囟纫布{入考慮范圍來(lái)判斷行動(dòng)的價(jià)值。或者，也可以是，狀態(tài)觀測(cè)部1還觀測(cè)風(fēng)扇電動(dòng)機(jī)21的消耗電流，人工智能3將消耗電流也納入考慮范圍來(lái)判斷行動(dòng)的價(jià)值?；蛘撸部梢允?，狀態(tài)觀測(cè)部1還觀測(cè)電源接通時(shí)和電源斷開(kāi)時(shí)的風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速的推移變化，人工智能3將轉(zhuǎn)速的推移變化也納入考慮范圍來(lái)判斷行動(dòng)的價(jià)值。

優(yōu)選的是，人工智能3利用多層結(jié)構(gòu)對(duì)狀態(tài)觀測(cè)部1觀測(cè)出的狀態(tài)變量進(jìn)行運(yùn)算，實(shí)時(shí)地更新用于判斷行動(dòng)的價(jià)值的行動(dòng)價(jià)值表。在此，作為利用多層結(jié)構(gòu)對(duì)狀態(tài)變量進(jìn)行運(yùn)算的方法，例如能夠使用如圖4所示的多層神經(jīng)網(wǎng)絡(luò)。

意思決定部4基于人工智能3中的判斷結(jié)果來(lái)決定是否從警報(bào)輸出部22輸出警報(bào)。意思決定部4根據(jù)過(guò)去的轉(zhuǎn)速的推移和故障的數(shù)據(jù)，來(lái)學(xué)習(xí)到發(fā)生故障(旋轉(zhuǎn)停止)為止的時(shí)間，預(yù)想今后的轉(zhuǎn)速的推移，來(lái)判斷是否輸出警報(bào)。例如，如圖2所示，基于數(shù)據(jù)no.1和數(shù)據(jù)no.2來(lái)判斷是否應(yīng)該在時(shí)刻t5[sec]輸出警報(bào)。之后，風(fēng)扇電動(dòng)機(jī)21在時(shí)刻t6[sec]停止旋轉(zhuǎn)(故障)、或者未故障而繼續(xù)旋轉(zhuǎn)。在判斷為在時(shí)刻t5[sec]輸出警報(bào)的情況下，從輸出警報(bào)到風(fēng)扇電動(dòng)機(jī)21實(shí)際發(fā)生故障的時(shí)間越短，獎(jiǎng)勵(lì)計(jì)算部2計(jì)算出越高的獎(jiǎng)勵(lì)。在判斷為在時(shí)刻t5[sec]不輸出警報(bào)的情況下，若風(fēng)扇電動(dòng)機(jī)21未發(fā)生故障而繼續(xù)旋轉(zhuǎn)，則計(jì)算出高的獎(jiǎng)勵(lì)。另外，若在警報(bào)輸出部22輸出警報(bào)之前風(fēng)扇電動(dòng)機(jī)21發(fā)生了故障，則計(jì)算出低的獎(jiǎng)勵(lì)。意思決定部4也可以輸出到風(fēng)扇電動(dòng)機(jī)21發(fā)生故障為止的時(shí)間。

在此，詳細(xì)說(shuō)明圖1所示的機(jī)器學(xué)習(xí)器10。機(jī)器學(xué)習(xí)器10具有以下功能：通過(guò)分析來(lái)從輸入到裝置的數(shù)據(jù)的集合提取其中有用的規(guī)則、知識(shí)表述、判斷基準(zhǔn)等，輸出其判斷結(jié)果，并且進(jìn)行知識(shí)的學(xué)習(xí)。其手法各種各樣，但大致分為“有監(jiān)督學(xué)習(xí)”、“無(wú)監(jiān)督學(xué)習(xí)”以及“強(qiáng)化學(xué)習(xí)”。并且，存在以下被稱為“深度學(xué)習(xí)”的手法：在實(shí)現(xiàn)上述手法的基礎(chǔ)上，對(duì)特征量本身的提取進(jìn)行學(xué)習(xí)。

在“有監(jiān)督學(xué)習(xí)”中，向?qū)W習(xí)裝置(機(jī)器學(xué)習(xí)器)大量提供某個(gè)輸入與結(jié)果(標(biāo)簽，label)的數(shù)據(jù)組，由此能夠?qū)W習(xí)這些數(shù)據(jù)組所具有的特征，從而歸納性地獲得根據(jù)輸入來(lái)估計(jì)結(jié)果的模型、即輸入與結(jié)果的相關(guān)性。在本實(shí)施方式中，能夠在決定風(fēng)扇電動(dòng)機(jī)21的更換時(shí)期時(shí)使用風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速等狀態(tài)觀測(cè)部1中的觀測(cè)結(jié)果以及獎(jiǎng)勵(lì)計(jì)算部2中的獎(jiǎng)勵(lì)。能夠使用后述的神經(jīng)網(wǎng)絡(luò)等算法來(lái)實(shí)現(xiàn)上述學(xué)習(xí)。

“無(wú)監(jiān)督學(xué)習(xí)”是指以下手法：僅將輸入數(shù)據(jù)大量提供給學(xué)習(xí)裝置(機(jī)器學(xué)習(xí)器)，由此學(xué)習(xí)輸入數(shù)據(jù)是如何分布的，即使不提供對(duì)應(yīng)的監(jiān)督輸出數(shù)據(jù)也學(xué)習(xí)對(duì)輸入數(shù)據(jù)進(jìn)行壓縮、分類(lèi)、整形等的裝置。能夠?qū)⑦@些數(shù)據(jù)組所具有的特征在相似者之間進(jìn)行聚類(lèi)分析等。使用該結(jié)果來(lái)進(jìn)行設(shè)置某種基準(zhǔn)并使其最優(yōu)化那樣的輸出分配，由此能夠?qū)崿F(xiàn)輸出的預(yù)測(cè)。另外，作為“無(wú)監(jiān)督學(xué)習(xí)”與“有監(jiān)督學(xué)習(xí)”的中間性的問(wèn)題設(shè)定，還存在被稱為“半監(jiān)督學(xué)習(xí)”的手法，在僅部分存在輸入與輸出的數(shù)據(jù)組、除此以外是僅有輸入的數(shù)據(jù)的情況下符合這種情況。在本實(shí)施方式中，通過(guò)無(wú)監(jiān)督學(xué)習(xí)來(lái)利用不使風(fēng)扇電動(dòng)機(jī)實(shí)際進(jìn)行動(dòng)作也能夠獲取的數(shù)據(jù)，從而能夠高效地進(jìn)行學(xué)習(xí)。

如下那樣設(shè)定強(qiáng)化學(xué)習(xí)的問(wèn)題。

·風(fēng)扇電動(dòng)機(jī)控制部20觀測(cè)環(huán)境的狀態(tài)，決定行動(dòng)。

·環(huán)境按照某種規(guī)則發(fā)生變化，并且也存在自己的行動(dòng)使環(huán)境發(fā)生變化的情況。

·在每次行動(dòng)時(shí)都有獎(jiǎng)勵(lì)信號(hào)返回來(lái)。

·想要最大化的是涉及將來(lái)的(折扣)獎(jiǎng)勵(lì)的總和。

·從完全不知道或者只是不完全地知道行動(dòng)所引起的結(jié)果的狀態(tài)開(kāi)始學(xué)習(xí)。風(fēng)扇電動(dòng)機(jī)控制部20使風(fēng)扇電動(dòng)機(jī)21實(shí)際動(dòng)作才能夠得到其結(jié)果來(lái)作為數(shù)據(jù)。也就是說(shuō)，需要一邊反復(fù)試驗(yàn)一邊探索最佳的行動(dòng)。

·也能夠?qū)⑷缒７氯说膭?dòng)作那樣進(jìn)行了事先學(xué)習(xí)(前述的有監(jiān)督學(xué)習(xí)、逆向強(qiáng)化學(xué)習(xí)之類(lèi)的手法)的狀態(tài)作為初始狀態(tài)，來(lái)從好的開(kāi)始地點(diǎn)開(kāi)始學(xué)習(xí)。

“強(qiáng)化學(xué)習(xí)”是指以下方法：不僅學(xué)習(xí)判定、分類(lèi)，還學(xué)習(xí)行動(dòng)，由此基于行動(dòng)與環(huán)境相互給與的相互作用來(lái)學(xué)習(xí)適當(dāng)?shù)男袆?dòng)、即為了使將來(lái)得到的獎(jiǎng)勵(lì)最大而進(jìn)行學(xué)習(xí)。這表示在本實(shí)施方式中能夠獲得對(duì)未來(lái)產(chǎn)生影響那樣的行動(dòng)。例如，以q學(xué)習(xí)的情況來(lái)繼續(xù)說(shuō)明，但是不限于此。

q學(xué)習(xí)是以下方法：學(xué)習(xí)在某種環(huán)境狀態(tài)s下選擇行動(dòng)a的價(jià)值q(s，a)。也就是說(shuō)，在某種狀態(tài)s時(shí)，只要將價(jià)值q(s，a)最高的行動(dòng)a選作最佳的行動(dòng)即可。但是，最初，關(guān)于狀態(tài)s與行動(dòng)a的組合，完全不知道價(jià)值q(s，a)的正確的值。因此，智能體(行動(dòng)主體)在某種狀態(tài)s下選擇各種行動(dòng)a，并對(duì)此時(shí)的行動(dòng)a給與獎(jiǎng)勵(lì)。由此，智能體逐漸學(xué)習(xí)更好的行動(dòng)的選擇、即正確的價(jià)值q(s，a)。

行動(dòng)的結(jié)果是想要使涉及將來(lái)地得到的獎(jiǎng)勵(lì)的總和最大化。因此，最終目標(biāo)是使得q(s，a)＝e[σγ^trt](獎(jiǎng)勵(lì)的折扣期待值。γ：折扣率)(在按照最佳的行動(dòng)發(fā)生狀態(tài)變化時(shí)取期待值。當(dāng)然，尚不知道該期待值，因此必須一邊探索一邊學(xué)習(xí))。例如能夠通過(guò)下式來(lái)表示這種價(jià)值q(s，a)的更新式。

在此，st表示時(shí)刻t下的環(huán)境的狀態(tài)，at表示時(shí)刻t下的行動(dòng)。通過(guò)行動(dòng)at，狀態(tài)變化為st+1。rt+1表示通過(guò)該狀態(tài)的變化而得到的獎(jiǎng)勵(lì)。另外，帶有max的項(xiàng)為在狀態(tài)st+1下將選擇當(dāng)時(shí)知道的q值最高的行動(dòng)a時(shí)的q值與γ相乘而得到的項(xiàng)。γ是0<γ≤1的參數(shù)，被稱為折扣率。α是學(xué)習(xí)系數(shù)，設(shè)為0<α≤1的范圍。

該式表示了以下方法：基于作為實(shí)驗(yàn)at的結(jié)果而返回來(lái)的獎(jiǎng)勵(lì)rt+1，來(lái)對(duì)狀態(tài)st下的行動(dòng)at的評(píng)價(jià)值q(st，at)進(jìn)行更新。示出了以下情況：與狀態(tài)s下的行動(dòng)a的評(píng)價(jià)值q(st，at)相比，如果基于獎(jiǎng)勵(lì)rt+1+行動(dòng)a的下一個(gè)狀態(tài)下的最好的行動(dòng)maxa的評(píng)價(jià)值q(st+1，maxat+1)大，則使q(st，at)變大，相反地，如果基于獎(jiǎng)勵(lì)rt+1+行動(dòng)a的下一個(gè)狀態(tài)下的最好的行動(dòng)maxa的評(píng)價(jià)值q(st+1，maxat+1)小，則使q(st，at)也變小。也就是說(shuō)，使某種狀態(tài)下的某種行動(dòng)的價(jià)值接近基于作為結(jié)果而即時(shí)返回的獎(jiǎng)勵(lì)以及該行動(dòng)的、下一個(gè)狀態(tài)下的最好的行動(dòng)的價(jià)值。

q(s，a)在計(jì)算機(jī)上的表達(dá)方法包括以下方法：針對(duì)全部狀態(tài)行動(dòng)對(duì)(s，a)，將評(píng)價(jià)值q保持為表(行動(dòng)價(jià)值表)；以及準(zhǔn)備對(duì)q(s，a)進(jìn)行近似那樣的函數(shù)。在后者的方法中，能夠通過(guò)利用隨機(jī)梯度下降法等手法逐漸調(diào)整近似函數(shù)的參數(shù)來(lái)實(shí)現(xiàn)前述的更新式。作為近似函數(shù)，能夠使用后述的神經(jīng)網(wǎng)絡(luò)。

作為有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)以及強(qiáng)化學(xué)習(xí)中的價(jià)值函數(shù)的近似算法，能夠使用神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)例如由實(shí)現(xiàn)對(duì)如圖3所示的神經(jīng)元的模型進(jìn)行模仿的神經(jīng)網(wǎng)絡(luò)的運(yùn)算裝置和存儲(chǔ)器等構(gòu)成。

如圖3所示，神經(jīng)元輸出針對(duì)多個(gè)輸入x(在此作為一例，輸入x1～輸入x3)的輸出y。對(duì)各輸入x1～x3賦予與該輸入x對(duì)應(yīng)的權(quán)重w(w1～w3)。由此，神經(jīng)元輸出通過(guò)下式表達(dá)的輸出y。此外，輸入x、輸出y以及權(quán)重w均是矢量。

在此，θ是偏置，fk是激活函數(shù)。

接著，參照?qǐng)D4來(lái)說(shuō)明將上述的神經(jīng)元進(jìn)行組合而得到的具有3層權(quán)重的神經(jīng)網(wǎng)絡(luò)。圖4是表示具有d1～d3這3層權(quán)重的神經(jīng)網(wǎng)絡(luò)的示意圖。

如圖4所示，從神經(jīng)網(wǎng)絡(luò)的左側(cè)輸入多個(gè)輸入x(在此作為一例，輸入x1～輸入x3)，從右側(cè)輸出結(jié)果y(在此作為一例，結(jié)果y1～結(jié)果y3)。

具體地說(shuō)，輸入x1～輸入x3被賦予與3個(gè)神經(jīng)元n11～n13分別對(duì)應(yīng)的權(quán)重后被分別輸入到3個(gè)神經(jīng)元n11～n13。對(duì)這些輸入賦予的權(quán)重被統(tǒng)一標(biāo)記為w1。

神經(jīng)元n11～n13分別輸出z11～z13。這些z11～z13被統(tǒng)一標(biāo)記為特征矢量z1，能夠視為提取了輸入矢量的特征量的矢量。該特征矢量z1是權(quán)重w1與權(quán)重w2之間的特征矢量。

z11～z13被賦予與2個(gè)神經(jīng)元n21、n22分別對(duì)應(yīng)的權(quán)重后被分別輸入到2個(gè)神經(jīng)元n21、n22。對(duì)這些特征矢量賦予的權(quán)重被統(tǒng)一標(biāo)記為w2。

神經(jīng)元n21、n22分別輸出z21、z22。它們被統(tǒng)一標(biāo)記為特征矢量z2。該特征矢量z2是權(quán)重w2與權(quán)重w3之間的特征矢量。

特征矢量z21、z22被賦予與3個(gè)神經(jīng)元n31～n33分別對(duì)應(yīng)的權(quán)重后被分別輸入到3個(gè)神經(jīng)元n31～n33。對(duì)這些特征矢量賦予的權(quán)重被統(tǒng)一標(biāo)記為w3。

最后，神經(jīng)元n31～n33分別輸出結(jié)果y1～結(jié)果y3。

神經(jīng)網(wǎng)絡(luò)的動(dòng)作中存在學(xué)習(xí)模式和價(jià)值預(yù)測(cè)模式，在學(xué)習(xí)模式下使用學(xué)習(xí)數(shù)據(jù)組來(lái)學(xué)習(xí)權(quán)重w，使用該參數(shù)來(lái)在預(yù)測(cè)模式下進(jìn)行風(fēng)扇電動(dòng)機(jī)的行動(dòng)判斷(為了方便而寫(xiě)為預(yù)測(cè)，但是能夠進(jìn)行檢測(cè)、分類(lèi)、推斷等各種任務(wù))。

也能夠在預(yù)測(cè)模式下即時(shí)學(xué)習(xí)使風(fēng)扇電動(dòng)機(jī)實(shí)際動(dòng)作而得到的數(shù)據(jù)，使該數(shù)據(jù)反映到下一次行動(dòng)中(在線學(xué)習(xí))。另外，也能夠進(jìn)行使用預(yù)先收集到的數(shù)據(jù)群來(lái)進(jìn)行總結(jié)的學(xué)習(xí)，以后一直以該參數(shù)進(jìn)行探測(cè)模式(批量學(xué)習(xí))。也能夠折衷地每當(dāng)數(shù)據(jù)積攢到某種程度就插入學(xué)習(xí)模式。

能夠通過(guò)誤差反向傳播法(backpropagation)來(lái)學(xué)習(xí)權(quán)重w1～w3。誤差的信息從右側(cè)進(jìn)入而流向左側(cè)。誤差反向傳播法是以下手法：針對(duì)各神經(jīng)元，以減小輸入了輸入x時(shí)的輸出y與真正的輸出y(監(jiān)督)之差的方式調(diào)整(學(xué)習(xí))各個(gè)權(quán)重。

這種神經(jīng)網(wǎng)絡(luò)也能夠在3層以上進(jìn)一步增加層(被稱為深度學(xué)習(xí))。能夠僅根據(jù)監(jiān)督數(shù)據(jù)來(lái)自動(dòng)獲得運(yùn)算裝置，該運(yùn)算裝置階段性地進(jìn)行輸入的特征提取，并將結(jié)果進(jìn)行回歸。

因此，本實(shí)施方式的機(jī)器學(xué)習(xí)器10如圖1所示那樣具備狀態(tài)觀測(cè)部1、人工智能3以及意思決定部4，以實(shí)施上述的q學(xué)習(xí)。但是，本發(fā)明中應(yīng)用的機(jī)器學(xué)習(xí)方法不限定于q學(xué)習(xí)。例如，在應(yīng)用有監(jiān)督學(xué)習(xí)的情況下，價(jià)值函數(shù)與學(xué)習(xí)模型對(duì)應(yīng)，獎(jiǎng)勵(lì)與誤差對(duì)應(yīng)。

如圖1所示，風(fēng)扇電動(dòng)機(jī)控制部20的狀態(tài)包括通過(guò)行動(dòng)而間接地變化的狀態(tài)以及通過(guò)行動(dòng)而直接地變化的狀態(tài)。通過(guò)行動(dòng)而間接地變化的狀態(tài)包括風(fēng)扇電動(dòng)機(jī)的轉(zhuǎn)速。通過(guò)行動(dòng)而直接地變化的狀態(tài)包括更換還是不更換風(fēng)扇電動(dòng)機(jī)這樣的信息。

人工智能3基于更新式和獎(jiǎng)勵(lì)，從行動(dòng)價(jià)值表中對(duì)當(dāng)前的狀態(tài)變量以及與能夠采取的行動(dòng)對(duì)應(yīng)的行動(dòng)價(jià)值進(jìn)行更新。

也可以構(gòu)成為：機(jī)器學(xué)習(xí)器10經(jīng)由網(wǎng)絡(luò)而與風(fēng)扇電動(dòng)機(jī)控制部20連接，狀態(tài)觀測(cè)部1經(jīng)由網(wǎng)絡(luò)來(lái)獲取當(dāng)前的狀態(tài)變量。另外，優(yōu)選的是，機(jī)器學(xué)習(xí)器10存在于云服務(wù)器。

另外，在圖1所示的例子中，示出了使用通過(guò)自己的機(jī)器學(xué)習(xí)器的人工智能進(jìn)行更新后的行動(dòng)價(jià)值表來(lái)更新自己的行動(dòng)價(jià)值表的例子，但是不限于這種例子。即，也可以使用通過(guò)與自己的機(jī)器學(xué)習(xí)器不同的其它機(jī)器學(xué)習(xí)器的人工智能進(jìn)行更新后的行動(dòng)價(jià)值表來(lái)更新自己的行動(dòng)價(jià)值表。例如，也可以還具有在多個(gè)電動(dòng)機(jī)驅(qū)動(dòng)裝置之間交換數(shù)據(jù)的數(shù)據(jù)交換部，將其它電動(dòng)機(jī)驅(qū)動(dòng)裝置的機(jī)器學(xué)習(xí)器中的學(xué)習(xí)內(nèi)容運(yùn)用到自身的機(jī)器學(xué)習(xí)器的學(xué)習(xí)中。

接著，說(shuō)明本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置的動(dòng)作。圖5中示出了用于說(shuō)明本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置的動(dòng)作過(guò)程的流程圖。

首先，在步驟s101中，利用狀態(tài)觀測(cè)部1觀測(cè)風(fēng)扇電動(dòng)機(jī)21的各種狀態(tài)。即，狀態(tài)觀測(cè)部1觀測(cè)風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速、溫度等。

接著，在步驟s102中，獎(jiǎng)勵(lì)計(jì)算部2根據(jù)觀測(cè)出的狀態(tài)來(lái)計(jì)算獎(jiǎng)勵(lì)。例如，從輸出警報(bào)到風(fēng)扇電動(dòng)機(jī)實(shí)際發(fā)生故障的時(shí)間越短，獎(jiǎng)勵(lì)計(jì)算部2計(jì)算出越高的獎(jiǎng)勵(lì)，在未輸出警報(bào)、風(fēng)扇電動(dòng)機(jī)21未發(fā)生故障而繼續(xù)旋轉(zhuǎn)的情況下，獎(jiǎng)勵(lì)計(jì)算部2計(jì)算出高的獎(jiǎng)勵(lì)，在輸出警報(bào)之前風(fēng)扇電動(dòng)機(jī)21發(fā)生了故障的情況下，獎(jiǎng)勵(lì)計(jì)算部2計(jì)算出低的獎(jiǎng)勵(lì)。

接著，在步驟s103中，人工智能3根據(jù)獎(jiǎng)勵(lì)以及狀態(tài)觀測(cè)部1所觀測(cè)出的狀態(tài)來(lái)學(xué)習(xí)行動(dòng)價(jià)值。具體地說(shuō)，基于狀態(tài)觀測(cè)部1所觀測(cè)出的風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速以及獎(jiǎng)勵(lì)計(jì)算部2中的獎(jiǎng)勵(lì)來(lái)判斷行動(dòng)的價(jià)值。在狀態(tài)觀測(cè)部1還觀測(cè)電動(dòng)機(jī)驅(qū)動(dòng)裝置100的周?chē)鷾囟鹊那闆r下，人工智能3也可以除了風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速以外將周?chē)鷾囟纫布{入考慮范圍來(lái)判斷行動(dòng)的價(jià)值。另外，在狀態(tài)觀測(cè)部1還觀測(cè)風(fēng)扇電動(dòng)機(jī)21的消耗電流的情況下，人工智能3也可以除了風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速以外將消耗電流也納入考慮范圍來(lái)判斷行動(dòng)的價(jià)值。另外，在狀態(tài)觀測(cè)部1還觀測(cè)風(fēng)扇電動(dòng)機(jī)21的電源接通時(shí)和電源斷開(kāi)時(shí)的風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速的變化的情況下，人工智能3也可以除了風(fēng)扇電動(dòng)機(jī)21的轉(zhuǎn)速以外將轉(zhuǎn)速的變化也納入考慮范圍來(lái)判斷行動(dòng)的價(jià)值。

接著，在步驟s104中，意思決定部4基于狀態(tài)和行動(dòng)價(jià)值來(lái)決定最佳的參數(shù)(行動(dòng))。例如，意思決定部4基于人工智能3中的判斷結(jié)果來(lái)決定是否從警報(bào)輸出部22輸出警報(bào)。

接著，在步驟s105中，根據(jù)參數(shù)(行動(dòng))而狀態(tài)發(fā)生變化。即，風(fēng)扇電動(dòng)機(jī)控制部20決定更換還是不更換風(fēng)扇電動(dòng)機(jī)21。

如以上所說(shuō)明的那樣，根據(jù)本發(fā)明的實(shí)施例所涉及的電動(dòng)機(jī)驅(qū)動(dòng)裝置，能夠在最佳的時(shí)機(jī)更換風(fēng)扇電動(dòng)機(jī)，即使在根據(jù)風(fēng)扇電動(dòng)機(jī)的周?chē)鷾囟?、消耗電流等而到發(fā)生故障為止的時(shí)間改變的情況下，也能夠適當(dāng)?shù)剌敵鼍妗?/p>