本發(fā)明涉及一種學(xué)習(xí)與針對(duì)用于電動(dòng)機(jī)控制的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量相關(guān)聯(lián)的條件的機(jī)械學(xué)習(xí)裝置及方法以及具備該機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置。

背景技術(shù)：

機(jī)床等機(jī)械的進(jìn)給軸的進(jìn)給順滑性，能夠根據(jù)針對(duì)電動(dòng)機(jī)轉(zhuǎn)子的位置指令與由用于使進(jìn)給軸動(dòng)作的電動(dòng)機(jī)和其附帶的各種儀器組成的進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差即誤差量來(lái)定量掌握，例如機(jī)械的進(jìn)給軸的進(jìn)給順滑性越惡化，誤差量就越大。在此，在進(jìn)給機(jī)構(gòu)部的實(shí)際位置中，包含在應(yīng)用全閉環(huán)控制時(shí)通過(guò)外部傳感器(線位移傳感器)取得的加工部的實(shí)際位置、以及在應(yīng)用半閉環(huán)控制時(shí)通過(guò)設(shè)置在電動(dòng)機(jī)上的脈沖編碼器取得的轉(zhuǎn)子的實(shí)際位置。

機(jī)械的進(jìn)給軸的進(jìn)給順滑性惡化的主要原因有多種。例如，具有在轉(zhuǎn)子中產(chǎn)生的齒槽轉(zhuǎn)矩或電動(dòng)機(jī)的轉(zhuǎn)子旋轉(zhuǎn)方向的差異這樣的電動(dòng)機(jī)引起的原因、在電動(dòng)機(jī)的控制中使用的動(dòng)作程序或轉(zhuǎn)矩指令的大小這樣的電動(dòng)機(jī)控制裝置引起的原因等。又或者，將電動(dòng)機(jī)作為驅(qū)動(dòng)源的機(jī)床中的工件加工條件、機(jī)床在加工時(shí)的切削負(fù)荷的大小、機(jī)床的溫度、在具有多個(gè)驅(qū)動(dòng)軸的機(jī)床中由各驅(qū)動(dòng)軸動(dòng)作所產(chǎn)生的振動(dòng)等，也是機(jī)械的進(jìn)給軸的進(jìn)給順滑性惡化的主要原因。

例如，因?yàn)獒槍?duì)電動(dòng)機(jī)的電角的每轉(zhuǎn)一周，產(chǎn)生一次轉(zhuǎn)矩脈動(dòng)，所以由轉(zhuǎn)矩脈動(dòng)引起的進(jìn)給的順滑性惡化具有周期性。

以往，對(duì)于由轉(zhuǎn)矩脈動(dòng)引起的具有周期性的進(jìn)給的順滑性惡化，通過(guò)對(duì)轉(zhuǎn)矩脈動(dòng)預(yù)先補(bǔ)償反相位的修正量來(lái)降低。圖11說(shuō)明基于與轉(zhuǎn)矩脈動(dòng)對(duì)應(yīng)的反相位的修正量的補(bǔ)償。在圖11中，通過(guò)實(shí)線來(lái)表示在轉(zhuǎn)子中產(chǎn)生的轉(zhuǎn)矩脈動(dòng)，通過(guò)虛線來(lái)表示轉(zhuǎn)矩脈動(dòng)修正量，通過(guò)點(diǎn)劃線來(lái)表示基于與轉(zhuǎn)矩脈動(dòng)對(duì)應(yīng)的轉(zhuǎn)矩脈動(dòng)修正量的補(bǔ)償后波形。對(duì)于轉(zhuǎn)子中產(chǎn)生的轉(zhuǎn)矩脈動(dòng)，能夠通過(guò)將反相位的轉(zhuǎn)矩脈動(dòng)修正量預(yù)先與轉(zhuǎn)矩指令重疊來(lái)消除轉(zhuǎn)矩脈動(dòng)，并能夠由此減少進(jìn)給的順滑性惡化。

另外，例如日本特開平7-284286號(hào)公報(bào)中記載的那樣，為了減少由轉(zhuǎn)矩脈動(dòng)產(chǎn)生的進(jìn)給的順滑性惡化，在具備速度環(huán)修正器的速度環(huán)中，通過(guò)補(bǔ)償轉(zhuǎn)矩變化相當(dāng)量來(lái)修正轉(zhuǎn)矩命令。

如上所述，因?yàn)橛赊D(zhuǎn)矩脈動(dòng)引起的進(jìn)給的順滑性惡化具有周期性，所以容易生成用于減少進(jìn)給的順滑性惡化的、相對(duì)于轉(zhuǎn)矩脈動(dòng)為反相位的修正量。然而，以電動(dòng)機(jī)為驅(qū)動(dòng)源的機(jī)床中的工件加工條件、該機(jī)床加工時(shí)的切削負(fù)荷的大小、機(jī)床的溫度、在具有多個(gè)驅(qū)動(dòng)軸的機(jī)床中由各驅(qū)動(dòng)軸動(dòng)作所產(chǎn)生的振動(dòng)等引起的進(jìn)給的順滑性惡化雖然具有某種程度的再現(xiàn)性，但是沒有周期性。圖12舉例說(shuō)明沒有周期性的誤差量。對(duì)于沒有周期性的誤差量，無(wú)法像由轉(zhuǎn)矩脈動(dòng)引起的誤差量那樣通過(guò)反相位的修正量進(jìn)行修正。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問(wèn)題，本發(fā)明的目的在于提供一種能夠容易地將針對(duì)電動(dòng)機(jī)的轉(zhuǎn)子位置指令與進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差即誤差量進(jìn)行最小化的機(jī)械學(xué)習(xí)裝置及方法、以及具備該機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置。

為了實(shí)現(xiàn)上述目的，一種學(xué)習(xí)與針對(duì)電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量相關(guān)聯(lián)的條件的機(jī)械學(xué)習(xí)裝置，其具備：狀態(tài)觀測(cè)部，其觀測(cè)由針對(duì)通過(guò)電動(dòng)機(jī)控制裝置驅(qū)動(dòng)控制的電動(dòng)機(jī)的轉(zhuǎn)子的位置指令與進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差即誤差量相關(guān)的數(shù)據(jù)、電動(dòng)機(jī)控制裝置的動(dòng)作程序、電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令、具有電動(dòng)機(jī)控制裝置的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)、具有電動(dòng)機(jī)控制裝置的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)中的至少一個(gè)構(gòu)成的狀態(tài)變量；學(xué)習(xí)部，其根據(jù)由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與用于修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量相關(guān)聯(lián)的條件。

在這里，機(jī)床的狀態(tài)也可以包含機(jī)床的溫度、機(jī)床的振動(dòng)中的至少一個(gè)。

另外，學(xué)習(xí)部也可以具備：回報(bào)計(jì)算部，其基于誤差量來(lái)計(jì)算回報(bào)；函數(shù)更新部，其基于狀態(tài)變量以及回報(bào)來(lái)更新用于計(jì)算修正量的函數(shù)。

另外，回報(bào)計(jì)算部也可以在誤差量比在當(dāng)前的誤差量之前由狀態(tài)觀測(cè)部觀測(cè)到的誤差量小時(shí)增加回報(bào)，在誤差量比在當(dāng)前的誤差量之前由狀態(tài)觀測(cè)部觀測(cè)到的誤差量大時(shí)減少回報(bào)。

另外，回報(bào)計(jì)算部也可以在誤差量為規(guī)定范圍內(nèi)時(shí)增加回報(bào)，在誤差量為規(guī)定范圍外時(shí)減少回報(bào)。

另外，函數(shù)更新部也可以基于狀態(tài)變量以及回報(bào)，按照神經(jīng)網(wǎng)絡(luò)模型來(lái)更新用于計(jì)算修正量的函數(shù)。

另外，學(xué)習(xí)部也可以具備：誤差計(jì)算部，其基于誤差量來(lái)計(jì)算誤差；學(xué)習(xí)模型更新部，其基于狀態(tài)變量以及誤差來(lái)更新用于計(jì)算修正量的學(xué)習(xí)模型。

另外，學(xué)習(xí)部也可以構(gòu)成為根據(jù)針對(duì)多個(gè)電動(dòng)機(jī)控制裝置取得的訓(xùn)練數(shù)據(jù)集來(lái)學(xué)習(xí)上述條件。

另外，具備了上述的機(jī)械學(xué)習(xí)裝置的電動(dòng)控制裝置進(jìn)一步具備：意圖決定部，其基于學(xué)習(xí)部根據(jù)訓(xùn)練數(shù)據(jù)集學(xué)習(xí)而得的結(jié)果，對(duì)當(dāng)前的狀態(tài)變量的輸入進(jìn)行應(yīng)答來(lái)決定修正量；修正部，其使用意圖決定部所決定的修正量來(lái)修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令；電動(dòng)機(jī)電力供給部，其基于通過(guò)修正部修正后的指令，向電動(dòng)機(jī)供給驅(qū)動(dòng)電力；位置檢測(cè)部，其檢測(cè)進(jìn)給機(jī)構(gòu)部的實(shí)際位置；誤差量測(cè)定部，其測(cè)定針對(duì)轉(zhuǎn)子的位置指令與實(shí)際位置之間的誤差即誤差量。

另外，學(xué)習(xí)與針對(duì)電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量相關(guān)聯(lián)的條件的機(jī)械學(xué)習(xí)方法，具備如下步驟：狀態(tài)觀測(cè)步驟，觀測(cè)由針對(duì)通過(guò)電動(dòng)機(jī)控制裝置驅(qū)動(dòng)控制的電動(dòng)機(jī)的轉(zhuǎn)子的位置指令與進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差即誤差量相關(guān)的數(shù)據(jù)、電動(dòng)機(jī)控制裝置的動(dòng)作程序、電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令、具有電動(dòng)機(jī)控制裝置的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)、具有電動(dòng)機(jī)控制裝置的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)中的至少一個(gè)構(gòu)成的狀態(tài)變量；學(xué)習(xí)步驟，根據(jù)由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與用于修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量相關(guān)聯(lián)的條件。

附圖說(shuō)明

通過(guò)參照以下的附圖，能夠更加明確地理解本發(fā)明。

圖1是實(shí)施例的機(jī)械學(xué)習(xí)裝置的原理框圖。

圖2是簡(jiǎn)要表示電動(dòng)機(jī)控制裝置內(nèi)的驅(qū)動(dòng)指令生成部的結(jié)構(gòu)的框圖。

圖3是表示實(shí)施例的機(jī)械學(xué)習(xí)方法的動(dòng)作流程的流程圖。

圖4是實(shí)施例的應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的原理框圖。

圖5是表示實(shí)施例的應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)方法的動(dòng)作流程的流程圖。

圖6是表示實(shí)施例的具備應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置的原理框圖。

圖7是表示實(shí)施例的具備應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置的動(dòng)作流程的流程圖。

圖8是表示神經(jīng)元的模型的示意圖。

圖9是表示具有D1～D3的三層權(quán)值的神經(jīng)網(wǎng)絡(luò)的示意圖。

圖10是表示實(shí)施例的具備應(yīng)用了有教師學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置的原理框圖。

圖11說(shuō)明基于與轉(zhuǎn)矩脈動(dòng)對(duì)應(yīng)對(duì)的反相位的修正量的補(bǔ)償。

圖12舉例說(shuō)明無(wú)周期性的誤差量。

具體實(shí)施方式

以下，參照附圖對(duì)將機(jī)械的進(jìn)給軸的進(jìn)給順滑性最佳化的機(jī)械學(xué)習(xí)裝置及方法以及具備該機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置進(jìn)行說(shuō)明。然而，本發(fā)明希望被理解為并不限定于附圖或以下所說(shuō)明的實(shí)施方式。

圖1是實(shí)施例的機(jī)械學(xué)習(xí)裝置的原理框圖。以下，在不同的附圖中賦予了相同參照符號(hào)的內(nèi)容意味著是具有相同功能的結(jié)構(gòu)要素。

實(shí)施例的機(jī)械學(xué)習(xí)裝置1構(gòu)成為學(xué)習(xí)針對(duì)電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量。

機(jī)械學(xué)習(xí)裝置1具備狀態(tài)觀測(cè)部11和學(xué)習(xí)部12。

狀態(tài)觀測(cè)部11觀測(cè)由針對(duì)電動(dòng)機(jī)控制裝置驅(qū)動(dòng)控制的電動(dòng)機(jī)的轉(zhuǎn)子的位置指令與進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差即誤差量相關(guān)的數(shù)據(jù)、電動(dòng)機(jī)控制裝置的動(dòng)作程序、電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令、具有電動(dòng)機(jī)控制裝置的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)、具有電動(dòng)機(jī)控制裝置的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)中的至少一個(gè)構(gòu)成的狀態(tài)變量。在這里，進(jìn)給機(jī)構(gòu)部由用于使進(jìn)給軸動(dòng)作的電動(dòng)機(jī)和其附帶的各種儀表組成。在進(jìn)給機(jī)構(gòu)部的實(shí)際位置中，包含在應(yīng)用全閉環(huán)控制時(shí)通過(guò)外部傳感器(線位移傳感器)取得的加工部的實(shí)際位置、以及在應(yīng)用半閉環(huán)控制時(shí)通過(guò)設(shè)置在電動(dòng)機(jī)上的脈沖編碼器取得的轉(zhuǎn)子的實(shí)際位置。

與通過(guò)狀態(tài)觀測(cè)部11作為狀態(tài)變量而觀測(cè)的轉(zhuǎn)子的位置指令和進(jìn)給機(jī)構(gòu)部的誤差即誤差量相關(guān)的數(shù)據(jù)，作為存儲(chǔ)在電動(dòng)機(jī)控制裝置中的動(dòng)作程序的內(nèi)部數(shù)據(jù)進(jìn)行利用，從電動(dòng)機(jī)控制裝置取得。從電動(dòng)機(jī)控制裝置還取得電動(dòng)機(jī)控制裝置的動(dòng)作程序、以及電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令。另外，從機(jī)床取得具有電動(dòng)機(jī)控制裝置的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)、具有電動(dòng)機(jī)控制裝置的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)。在這里，機(jī)床的狀態(tài)包含機(jī)床的溫度、機(jī)床的振動(dòng)中的至少一個(gè)。從設(shè)置在機(jī)床內(nèi)的任意位置的溫度傳感器取得機(jī)床的溫度相關(guān)的數(shù)據(jù)。從設(shè)置在機(jī)床內(nèi)的任意位置的振動(dòng)傳感器取得機(jī)床的振動(dòng)相關(guān)的數(shù)據(jù)。

學(xué)習(xí)部12根據(jù)由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集來(lái)學(xué)習(xí)與用于修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量相關(guān)聯(lián)的條件。此外，也可以在多個(gè)電動(dòng)機(jī)控制裝置的情況下取得訓(xùn)練數(shù)據(jù)集，此時(shí)，學(xué)習(xí)部12根據(jù)針對(duì)多個(gè)電動(dòng)機(jī)控制裝置生成的訓(xùn)練數(shù)據(jù)集來(lái)學(xué)習(xí)將誤差量最小化的修正量。此外，學(xué)習(xí)部12也可以基于與具備該學(xué)習(xí)部12的機(jī)械學(xué)習(xí)裝置1不同的機(jī)械學(xué)習(xí)裝置內(nèi)的學(xué)習(xí)部學(xué)習(xí)的結(jié)果，來(lái)學(xué)習(xí)用于修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量。

在這里，參照?qǐng)D2來(lái)說(shuō)明電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令。圖2是簡(jiǎn)要表示電動(dòng)機(jī)控制裝置內(nèi)的驅(qū)動(dòng)指令生成部的結(jié)構(gòu)的框圖。

驅(qū)動(dòng)指令生成部50由位置控制環(huán)、速度控制環(huán)以及電流控制環(huán)構(gòu)成，所述驅(qū)動(dòng)指令生成部50生成控制逆變換器的驅(qū)動(dòng)指令，所述逆變換器供給用于驅(qū)動(dòng)作為機(jī)床的驅(qū)動(dòng)源使用的交流電動(dòng)機(jī)的驅(qū)動(dòng)電力。在位置控制環(huán)中，基于安裝在三相交流電動(dòng)機(jī)300上的位置檢測(cè)部16檢測(cè)出的三相交流電動(dòng)機(jī)300的轉(zhuǎn)子實(shí)際位置相關(guān)的信息(位置反饋值)和位置指令制作部(未圖示)制作的位置指令，通過(guò)速度指令生成部213制作速度指令。在速度控制環(huán)中，基于安裝在三相交流電動(dòng)機(jī)300上的速度檢測(cè)部18檢測(cè)出的三相交流電動(dòng)機(jī)300的轉(zhuǎn)子速度相關(guān)的信息(速度反饋值)和速度指令生成部213制作的速度指令，通過(guò)電流指令生成部212制作電流指令。在電流控制環(huán)中，基于電流檢測(cè)部19檢測(cè)出的從電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器向三相交流電動(dòng)機(jī)300流入的電流相關(guān)的信息(電流反饋值)和電流指令生成部212制作的電流指令值，使用電流控制部211來(lái)制作用于控制電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器的電力轉(zhuǎn)換動(dòng)作的驅(qū)動(dòng)指令(例如PWM控制信號(hào))。電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器例如是通過(guò)設(shè)置在內(nèi)部的開關(guān)元件的開關(guān)動(dòng)作將直流電力轉(zhuǎn)換為交流電力的電動(dòng)機(jī)電力供給用的逆變器，根據(jù)接收到的驅(qū)動(dòng)指令，控制電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器內(nèi)的開關(guān)元件的開關(guān)動(dòng)作，由此控制將直流電力轉(zhuǎn)換為三相交流電動(dòng)機(jī)300的驅(qū)動(dòng)用交流電力的轉(zhuǎn)換動(dòng)作。三相交流電動(dòng)機(jī)300將從電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器輸出的交流電力作為驅(qū)動(dòng)電力來(lái)進(jìn)行動(dòng)作，所以如果控制從電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器輸出的交流電力，則能夠驅(qū)動(dòng)控制三相交流電動(dòng)機(jī)300的速度、轉(zhuǎn)矩或者轉(zhuǎn)子的位置。通過(guò)驅(qū)動(dòng)三相交流電動(dòng)機(jī)300來(lái)驅(qū)動(dòng)機(jī)床的可動(dòng)部。

這樣，作為電動(dòng)機(jī)控制裝置中的指令，存在位置指令、速度指令以及電流指令。通過(guò)學(xué)習(xí)部12學(xué)習(xí)的修正量用于修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令。

圖3是表示實(shí)施例的機(jī)械學(xué)習(xí)方法的動(dòng)作流程的流程圖。學(xué)習(xí)與針對(duì)電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量相關(guān)聯(lián)的條件的機(jī)械學(xué)習(xí)方法具備狀態(tài)觀測(cè)步驟S101、學(xué)習(xí)步驟S102。

狀態(tài)觀測(cè)步驟S101通過(guò)狀態(tài)觀測(cè)部11來(lái)執(zhí)行，即，觀測(cè)由針對(duì)電動(dòng)機(jī)控制裝置驅(qū)動(dòng)控制的電動(dòng)機(jī)的轉(zhuǎn)子的位置指令和轉(zhuǎn)子的實(shí)際位置之間的誤差即誤差量相關(guān)的數(shù)據(jù)、電動(dòng)機(jī)控制裝置的動(dòng)作程序、電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令、具有電動(dòng)機(jī)控制裝置的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)、具有電動(dòng)機(jī)控制裝置的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)中的至少一個(gè)構(gòu)成的狀態(tài)變量。

學(xué)習(xí)步驟S102通過(guò)學(xué)習(xí)部12來(lái)執(zhí)行，即，根據(jù)由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集來(lái)學(xué)習(xí)與用于修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量相關(guān)聯(lián)的條件。

學(xué)習(xí)部12使用的學(xué)習(xí)算法可以使用任意的算法。機(jī)械學(xué)習(xí)裝置1具有從輸入到裝置中的數(shù)據(jù)的集合，通過(guò)分析來(lái)提取其中有用的規(guī)則或知識(shí)表現(xiàn)、判斷基準(zhǔn)等，輸出其判斷結(jié)果，并且進(jìn)行知識(shí)學(xué)習(xí)的功能。該方法多種多樣，但是大體上分為“有教師學(xué)習(xí)”、“無(wú)教師學(xué)習(xí)”、“強(qiáng)化學(xué)習(xí)”。并且，在實(shí)現(xiàn)這些方法方面，具有學(xué)習(xí)特征量本身的提取的、被稱為“深層學(xué)習(xí)(深度學(xué)習(xí)：Deep Learning)”的方法。此外，這些機(jī)械學(xué)習(xí)(機(jī)械學(xué)習(xí)裝置1)例如通過(guò)應(yīng)用GPGPU(General-Purpose computing on Graphics Processing Units通用計(jì)算圖形處理器)或大規(guī)模PC集群等來(lái)實(shí)現(xiàn)。

以下，作為一個(gè)例子，參照?qǐng)D4以及圖5來(lái)說(shuō)明使用了強(qiáng)化學(xué)習(xí)的情況?！坝薪處煂W(xué)習(xí)”、“無(wú)教師學(xué)習(xí)”等如后所述。

圖4是實(shí)施例的應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的原理框圖。學(xué)習(xí)部12具備回報(bào)計(jì)算部21和函數(shù)更新部22。此外，因?yàn)榛貓?bào)計(jì)算部21以及函數(shù)更新部22以外的結(jié)構(gòu)要素與圖1所示的結(jié)構(gòu)要素相同，所以對(duì)相同的結(jié)構(gòu)要素賦予相同的符號(hào)，并省略該結(jié)構(gòu)要素的詳細(xì)說(shuō)明。

回報(bào)計(jì)算部21基于由針對(duì)電動(dòng)機(jī)控制裝置驅(qū)動(dòng)控制的電動(dòng)機(jī)的轉(zhuǎn)子的位置指令與轉(zhuǎn)子的實(shí)際位置之間的誤差即誤差量來(lái)計(jì)算回報(bào)?；貓?bào)計(jì)算部21理解為誤差量越小，用于修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量帶來(lái)越好的影響，從而賦予高回報(bào)。例如，回報(bào)計(jì)算部21在狀態(tài)觀測(cè)部11觀測(cè)到的誤差量比在當(dāng)前的誤差量之前由狀態(tài)觀測(cè)部11觀測(cè)到的誤差量小時(shí)增加回報(bào)、大時(shí)減少回報(bào)即可。另外，例如回報(bào)計(jì)算部21也可以在狀態(tài)觀測(cè)部11觀測(cè)到的誤差量為規(guī)定范圍內(nèi)時(shí)增加回報(bào)、為規(guī)定范圍外時(shí)減少回報(bào)。在這里，規(guī)定范圍由操作員考慮電動(dòng)機(jī)或機(jī)床的制造成本或使用環(huán)境等各種因素來(lái)適當(dāng)設(shè)定即可。

函數(shù)更新部22基于狀態(tài)觀測(cè)部11觀測(cè)到的狀態(tài)變量以及回報(bào)計(jì)算部21計(jì)算出的回報(bào)，來(lái)更新用于計(jì)算使用在修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令中的修正量的函數(shù)(行為價(jià)值表)。

學(xué)習(xí)部12也可以通過(guò)多層結(jié)構(gòu)來(lái)運(yùn)算狀態(tài)觀測(cè)部11觀測(cè)到的狀態(tài)變量，并實(shí)時(shí)更新函數(shù)(行為價(jià)值表)。例如，函數(shù)更新部22也可以基于狀態(tài)觀測(cè)部11觀測(cè)到的狀態(tài)變量以及回報(bào)計(jì)算部21計(jì)算出的回報(bào)，根據(jù)神經(jīng)網(wǎng)絡(luò)模型來(lái)更新用于計(jì)算使用在修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令中的修正量的函數(shù)。在這里，作為通過(guò)多層結(jié)構(gòu)運(yùn)算狀態(tài)變量的方法，例如能夠使用后述的圖9所示那樣的多層神經(jīng)網(wǎng)絡(luò)。

圖5是表示實(shí)施例的應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)方法的動(dòng)作流程的流程圖。

首先，在狀態(tài)觀測(cè)步驟S101中，狀態(tài)觀測(cè)部11觀測(cè)由針對(duì)電動(dòng)機(jī)控制裝置驅(qū)動(dòng)控制的電動(dòng)機(jī)的轉(zhuǎn)子的位置指令和進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差即誤差量相關(guān)的數(shù)據(jù)、電動(dòng)機(jī)控制裝置的動(dòng)作程序、電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令、具有電動(dòng)機(jī)控制裝置的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)、具有電動(dòng)機(jī)控制裝置的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)中的至少一個(gè)構(gòu)成的狀態(tài)變量。

其次，在回報(bào)計(jì)算步驟S102-1中，回報(bào)計(jì)算部21基于針對(duì)由電動(dòng)機(jī)控制裝置驅(qū)動(dòng)控制的電動(dòng)機(jī)的轉(zhuǎn)子的位置指令與進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差即誤差量來(lái)計(jì)算回報(bào)。

然后，在函數(shù)更新步驟S102-2中，函數(shù)更新部22基于狀態(tài)觀測(cè)部11觀測(cè)到的狀態(tài)變量以及回報(bào)計(jì)算部21計(jì)算出的回報(bào)，來(lái)更新用于計(jì)算使用在修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令中的修正量的函數(shù)(行為價(jià)值表)。

接下來(lái)，對(duì)具備上述機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置進(jìn)行說(shuō)明。

圖6是表示實(shí)施例的、具備應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置的原理框圖。在這里，對(duì)在機(jī)床內(nèi)設(shè)置電動(dòng)控制裝置100，并通過(guò)電動(dòng)控制裝置100來(lái)控制作為機(jī)床驅(qū)動(dòng)軸的驅(qū)動(dòng)源的三相交流電動(dòng)機(jī)300的情況進(jìn)行說(shuō)明。

實(shí)施例的電動(dòng)機(jī)控制裝置具備上述的機(jī)械學(xué)習(xí)裝置1、意圖決定部13、修正部14、電動(dòng)機(jī)電力供給部15、位置檢測(cè)部16、誤差量測(cè)定部17、溫度測(cè)定部31和振動(dòng)測(cè)定部32。此外，在圖6中，對(duì)圖2所示的速度檢測(cè)部以及電流檢測(cè)部省略了圖示。此外，如上所述，在進(jìn)給機(jī)構(gòu)部的實(shí)際位置中，包含在應(yīng)用全閉環(huán)控制時(shí)通過(guò)外部傳感器(線位移傳感器)取得的加工部的實(shí)際位置、以及在應(yīng)用半閉環(huán)控制時(shí)通過(guò)設(shè)置在電動(dòng)機(jī)上的脈沖編碼器取得的轉(zhuǎn)子的實(shí)際位置，在圖6中，作為進(jìn)給機(jī)構(gòu)部的實(shí)際位置，使用由設(shè)置在電動(dòng)機(jī)300上的位置檢測(cè)部16(脈沖編碼器)檢測(cè)的電動(dòng)機(jī)300的轉(zhuǎn)子實(shí)際位置。

電動(dòng)機(jī)電力供給部15基于驅(qū)動(dòng)指令生成部50中生成的驅(qū)動(dòng)指令來(lái)向電動(dòng)機(jī)300供給驅(qū)動(dòng)電力。電動(dòng)機(jī)電力供給部15例如由如下部分組成：將從交流電源側(cè)供給的交流電力轉(zhuǎn)換為直流電力來(lái)輸出到DC鏈路的整流器、與DC鏈路相連接，并將DC鏈路中的直流電路轉(zhuǎn)換為交流電力來(lái)供給到三相交流電動(dòng)機(jī)300的逆變換器(逆變器)。不特別限定使用的整流器的實(shí)施方式，例如有二極管整流器、或者PWM控制方式的整流器等。另外，對(duì)于逆變換器也不特別限定實(shí)施方式，一般為可在交直流雙方向轉(zhuǎn)換的電力轉(zhuǎn)換器，例如有PWM逆變器。PWM逆變器由開關(guān)元件以及與其反向并聯(lián)連接的二極管的橋電路組成，基于驅(qū)動(dòng)指令生成部50中生成的驅(qū)動(dòng)指令來(lái)對(duì)開關(guān)元件的開關(guān)動(dòng)作進(jìn)行PWM控制。即，電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器，基于從驅(qū)動(dòng)指令生成部50接收到的驅(qū)動(dòng)指令使內(nèi)部的開關(guān)元件進(jìn)行開關(guān)動(dòng)作，將從DC鏈路側(cè)供給的直流電力轉(zhuǎn)換為用于驅(qū)動(dòng)三相交流電動(dòng)機(jī)300的期望電壓以及期望頻率的三相交流電力。由此，三相交流電動(dòng)機(jī)300基于供給的電壓可變以及頻率可變的三相交流電力來(lái)進(jìn)行動(dòng)作。另外，在三相交流電動(dòng)機(jī)300的減速時(shí)產(chǎn)生再生電力，此時(shí)，基于從驅(qū)動(dòng)指令生成部50接收到的電動(dòng)機(jī)驅(qū)動(dòng)指令，將由三相交流電動(dòng)機(jī)300產(chǎn)生的交流再生電力轉(zhuǎn)換為直流電力并返回DC鏈路。

位置檢測(cè)部16檢測(cè)三相交流電動(dòng)機(jī)300的轉(zhuǎn)子實(shí)際位置，其由設(shè)置在三相交流電動(dòng)機(jī)300中的脈沖編碼器組成。

誤差量測(cè)定部17測(cè)定從驅(qū)動(dòng)指令生成部50取得的針對(duì)三相交流電動(dòng)機(jī)300的轉(zhuǎn)子的位置指令與位置檢測(cè)部16檢測(cè)出的實(shí)際位置之間的誤差即誤差量。向機(jī)械學(xué)習(xí)裝置1內(nèi)的狀態(tài)觀測(cè)部11輸入與誤差量測(cè)定部17測(cè)定到的誤差量相關(guān)的數(shù)據(jù)。

溫度測(cè)定部31是在設(shè)置電動(dòng)機(jī)控制裝置100的機(jī)床電動(dòng)機(jī)內(nèi)的任意位置設(shè)置的溫度傳感器，測(cè)定機(jī)床的溫度。溫度測(cè)定部31也可以設(shè)置在機(jī)床內(nèi)的多個(gè)位置并測(cè)定該多個(gè)位置的溫度。向機(jī)械學(xué)習(xí)裝置1內(nèi)的狀態(tài)觀測(cè)部11輸入與溫度測(cè)定部31測(cè)定到的機(jī)床溫度相關(guān)的數(shù)據(jù)。

振動(dòng)測(cè)定部32是在設(shè)置電動(dòng)機(jī)控制裝置100的機(jī)床內(nèi)的任意位置設(shè)置的振動(dòng)傳感器，測(cè)定機(jī)床內(nèi)產(chǎn)生的振動(dòng)。振動(dòng)測(cè)定部32也可以設(shè)置在機(jī)床內(nèi)的多個(gè)位置并測(cè)定該多個(gè)位置的溫度。向機(jī)械學(xué)習(xí)裝置1內(nèi)的狀態(tài)觀測(cè)部11輸入與振動(dòng)測(cè)定部32測(cè)定到的機(jī)床振動(dòng)相關(guān)的數(shù)據(jù)。

如上所述，電動(dòng)機(jī)控制裝置100內(nèi)的機(jī)械學(xué)習(xí)裝置1具備狀態(tài)觀測(cè)部11和學(xué)習(xí)部12。

狀態(tài)觀測(cè)部11觀測(cè)由誤差量測(cè)定部17測(cè)定到的誤差量相關(guān)的數(shù)據(jù)、電動(dòng)機(jī)控制裝置100的動(dòng)作程序、從驅(qū)動(dòng)指令生成部50取得的電動(dòng)機(jī)控制裝置100中的位置指令、速度指令以及電流指令中的某一個(gè)指令、設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)、設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)構(gòu)成的狀態(tài)變量。觀測(cè)到的狀態(tài)變量作為訓(xùn)練數(shù)據(jù)集被用于學(xué)習(xí)部12中的學(xué)習(xí)。此外，在這里將設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)設(shè)為由溫度測(cè)定部31測(cè)定到的機(jī)床的溫度相關(guān)的數(shù)據(jù)、以及由振動(dòng)測(cè)定部32測(cè)定到的機(jī)床的振動(dòng)相關(guān)的數(shù)據(jù)，但是也可以使用除此之外的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)作為狀態(tài)變量。另外，電動(dòng)機(jī)控制裝置100的動(dòng)作程序可以從總括控制電動(dòng)機(jī)控制裝置100的動(dòng)作的控制部(未圖示)取得。另外，設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)也可以從總括控制電動(dòng)機(jī)控制裝置100的動(dòng)作的控制部(未圖示)取得，又或者也可以由操作員經(jīng)由輸入裝置(未圖示)來(lái)輸入。

學(xué)習(xí)部12內(nèi)的回報(bào)計(jì)算部21基于由狀態(tài)觀測(cè)部11觀測(cè)到的誤差量來(lái)計(jì)算回報(bào)。例如，回報(bào)計(jì)算部21可以在狀態(tài)觀測(cè)部11觀測(cè)到的誤差量比在當(dāng)前的誤差量之前由狀態(tài)觀測(cè)部11觀測(cè)到的誤差量小時(shí)增加回報(bào)，大時(shí)減少回報(bào)。另外，例如回報(bào)計(jì)算部21也可以在狀態(tài)觀測(cè)部11觀測(cè)到的誤差量為規(guī)定范圍內(nèi)時(shí)增加回報(bào)，為規(guī)定范圍外時(shí)減少回報(bào)。

學(xué)習(xí)部12內(nèi)的函數(shù)更新部22基于狀態(tài)觀測(cè)部11觀測(cè)到的狀態(tài)變量以及回報(bào)計(jì)算部21計(jì)算出的回報(bào)，來(lái)更新用于計(jì)算在修正電動(dòng)機(jī)控制裝置100中的位置指令、速度指令以及電流指令中的某一個(gè)指令時(shí)使用的修正量的函數(shù)(行為價(jià)值表)。

意圖決定部13基于學(xué)習(xí)部12根據(jù)訓(xùn)練數(shù)據(jù)集學(xué)習(xí)的結(jié)果，對(duì)當(dāng)前狀態(tài)變量的輸入進(jìn)行應(yīng)答，來(lái)決定用于修正電動(dòng)機(jī)控制裝置100中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量。在本實(shí)施例中，以作為學(xué)習(xí)算法使用了強(qiáng)化學(xué)習(xí)為例，所以基于由學(xué)習(xí)部12內(nèi)的回報(bào)計(jì)算部21計(jì)算出的回報(bào)，學(xué)習(xí)部12內(nèi)的函數(shù)更新部22更新用于計(jì)算在修正電動(dòng)機(jī)控制裝置100中的位置指令、速度指令以及電流指令中的某一個(gè)指令時(shí)使用的修正量的函數(shù)，意圖決定部13基于更新后的函數(shù)，選擇得到最多回報(bào)的修正量。

修正部14使用意圖決定部13決定的修正量來(lái)修正電動(dòng)機(jī)控制裝置100中的位置指令、速度指令以及電流指令中的某一個(gè)指令。通過(guò)修正量修正的指令可以是位置指令、速度指令以及電流指令中的任意一個(gè)。

驅(qū)動(dòng)指令生成部50基于修正后的指令(位置指令、速度指令以及電流指令中的某一個(gè))，生成用于控制電動(dòng)機(jī)電力供給部15向三相交流電動(dòng)機(jī)300的電力供給的驅(qū)動(dòng)指令。電動(dòng)機(jī)控制裝置100內(nèi)的驅(qū)動(dòng)指令生成部50的結(jié)構(gòu)如圖2所示。即，驅(qū)動(dòng)指令生成部50由位置控制環(huán)、速度控制環(huán)以及電流控制環(huán)構(gòu)成。在位置控制環(huán)中，基于安裝在三相交流電動(dòng)機(jī)300上的位置檢測(cè)部16檢測(cè)出的三相交流電動(dòng)機(jī)300的轉(zhuǎn)子實(shí)際位置相關(guān)的信息(位置反饋值)和位置指令制作部(未圖示)制作的位置指令，來(lái)通過(guò)速度指令生成部213制作速度指令。在速度控制環(huán)中，基于安裝在三相交流電動(dòng)機(jī)300上的速度檢測(cè)部18檢測(cè)出的三相交流電動(dòng)機(jī)300的轉(zhuǎn)子速度相關(guān)的信息(速度反饋值)和速度指令生成部213制作的速度指令，來(lái)通過(guò)電流指令生成部212制作電流指令。在電流控制環(huán)中，基于電流檢測(cè)部19檢測(cè)出的從電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器向三相交流電動(dòng)機(jī)300流入的電流相關(guān)的信息(電流反饋值)和電流指令生成部212制作的電流指令值，使用電流控制部211來(lái)制作用于驅(qū)動(dòng)電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器的驅(qū)動(dòng)指令(例如PWM控制信號(hào))。如上所述，電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器例如是通過(guò)在內(nèi)部設(shè)置的開關(guān)元件的開關(guān)動(dòng)作將直流電力轉(zhuǎn)換為交流電力的電動(dòng)機(jī)電力供給用的PWM逆變器，根據(jù)接收到的驅(qū)動(dòng)指令，控制電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器內(nèi)的開關(guān)元件的開關(guān)動(dòng)作，由此控制將直流電力轉(zhuǎn)換為三相交流電動(dòng)機(jī)300的驅(qū)動(dòng)用的交流電力的轉(zhuǎn)換動(dòng)作。三相交流電動(dòng)機(jī)300將從電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器輸出的交流電力作為驅(qū)動(dòng)電力來(lái)進(jìn)行動(dòng)作，所以如果控制從電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器輸出的交流電力，則能夠?qū)θ嘟涣麟妱?dòng)機(jī)300的速度、轉(zhuǎn)矩或轉(zhuǎn)子的位置進(jìn)行驅(qū)動(dòng)控制。通過(guò)驅(qū)動(dòng)三相交流電動(dòng)機(jī)300來(lái)驅(qū)動(dòng)機(jī)床的驅(qū)動(dòng)軸。

圖7是表示實(shí)施例的具備應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置的動(dòng)作流程的流程圖。

一般在強(qiáng)化學(xué)習(xí)中隨機(jī)地選擇行為的初始值。在實(shí)施例的步驟S201中，隨機(jī)選擇作為行為的指令(位置指令、速度指令以及電流指令中的某一個(gè))對(duì)應(yīng)的修正量。

在步驟S202中，驅(qū)動(dòng)指令生成部50基于使用設(shè)定的修正量修正后的指令(位置指令、速度指令以及電流指令中的某一個(gè))，使用三相交流電動(dòng)機(jī)300的動(dòng)作程序、電動(dòng)機(jī)電力供給部15的三相交流電動(dòng)機(jī)300側(cè)的交流電流或交流電壓以及/或三相交流電動(dòng)機(jī)300的旋轉(zhuǎn)速度等，來(lái)生成用于控制三相交流電動(dòng)機(jī)300的速度、轉(zhuǎn)矩或轉(zhuǎn)子的位置的驅(qū)動(dòng)指令。由此，電動(dòng)機(jī)電力供給部15進(jìn)行將交流電力轉(zhuǎn)換為直流電力的動(dòng)力運(yùn)行動(dòng)作(正變換動(dòng)作)以及將直流電力轉(zhuǎn)換為交流電力的再生動(dòng)作(逆變換動(dòng)作)，三相交流電動(dòng)機(jī)300通過(guò)供給的交流驅(qū)動(dòng)電力進(jìn)行驅(qū)動(dòng)。在此期間，位置檢測(cè)部16檢測(cè)三相交流電動(dòng)機(jī)300的轉(zhuǎn)子實(shí)際位置，誤差量測(cè)定部17測(cè)定從驅(qū)動(dòng)指令生成部50取得的針對(duì)三相交流電動(dòng)機(jī)300的轉(zhuǎn)子的位置指令與位置檢測(cè)部16檢測(cè)到的實(shí)際位置之間的誤差即誤差量，速度檢測(cè)部18檢測(cè)三相交流電動(dòng)機(jī)300的轉(zhuǎn)子速度，電流檢測(cè)部19檢測(cè)從電動(dòng)機(jī)電力供給部15內(nèi)的逆變換器向三相交流電動(dòng)機(jī)300流入的電流。另外，溫度測(cè)定部31測(cè)定設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床的溫度，振動(dòng)測(cè)定部32測(cè)定設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床內(nèi)產(chǎn)生的振動(dòng)。

在步驟S203中，狀態(tài)觀測(cè)部11觀測(cè)由誤差量測(cè)定部17測(cè)定到的誤差量相關(guān)的數(shù)據(jù)、電動(dòng)機(jī)控制裝置100的動(dòng)作程序、從驅(qū)動(dòng)指令生成部50取得的電動(dòng)機(jī)控制裝置100中的位置指令、速度指令以及電流指令中的某一個(gè)指令、設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床中的工件加工條件相關(guān)的數(shù)據(jù)、設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床的狀態(tài)相關(guān)的數(shù)據(jù)構(gòu)成的狀態(tài)變量。

在步驟S204中，狀態(tài)觀測(cè)部11基于誤差量相關(guān)的數(shù)據(jù)，辨別該誤差量是否在規(guī)定范圍α內(nèi)。當(dāng)狀態(tài)觀測(cè)部11判定為誤差量在規(guī)定范圍α內(nèi)時(shí)，在步驟S205中回報(bào)計(jì)算部21增加回報(bào)。另一方面，當(dāng)狀態(tài)觀測(cè)部11判定為誤差量在規(guī)定范圍α外時(shí)，在步驟S206中回報(bào)計(jì)算部21減少回報(bào)。此外，在圖7所示的例子中，回報(bào)計(jì)算部21在誤差量在規(guī)定范圍α內(nèi)時(shí)增加回報(bào)，在規(guī)定范圍α外時(shí)減少回報(bào)，但是作為代替其的例子，回報(bào)計(jì)算部21也可以在誤差量比在當(dāng)前的誤差量之前由狀態(tài)觀測(cè)部11觀測(cè)到的誤差量小時(shí)增加回報(bào)，大時(shí)減少回報(bào)。

在步驟S207中，函數(shù)更新部22基于狀態(tài)觀測(cè)部11觀測(cè)到的狀態(tài)變量以及回報(bào)計(jì)算部21計(jì)算出的回報(bào)，來(lái)更新用于計(jì)算在修正電動(dòng)機(jī)控制裝置100中的位置指令、速度指令以及電流指令中的某一個(gè)指令時(shí)使用的修正量的函數(shù)。

接著在步驟S208中，意圖決定部13基于在步驟S207中更新的函數(shù)來(lái)選擇得到最多回報(bào)的修正量。此后，返回到步驟S202，在此之后，重復(fù)執(zhí)行步驟S202～S208的處理。因此，機(jī)械學(xué)習(xí)裝置1學(xué)習(xí)能夠?qū)⒄`差量最小化的修正量。此外，也可以從多個(gè)電動(dòng)機(jī)控制裝置100取得訓(xùn)練數(shù)據(jù)集，此時(shí)，學(xué)習(xí)部12根據(jù)針對(duì)多個(gè)電動(dòng)機(jī)控制裝置100取得的訓(xùn)練數(shù)據(jù)集，重復(fù)執(zhí)行步驟S201～S208的處理，并學(xué)習(xí)修正量。在針對(duì)多個(gè)電動(dòng)機(jī)控制裝置100取得了訓(xùn)練數(shù)據(jù)集時(shí)，機(jī)械學(xué)習(xí)裝置1的學(xué)習(xí)精度提高。

其次，對(duì)機(jī)械學(xué)習(xí)裝置1進(jìn)行更詳細(xì)的說(shuō)明。機(jī)械學(xué)習(xí)裝置1具有從輸入裝置中的數(shù)據(jù)的集合，通過(guò)分析而提取其中有用的規(guī)則或知識(shí)表現(xiàn)、判斷基準(zhǔn)等，輸出其判斷結(jié)果，并且進(jìn)行知識(shí)的學(xué)習(xí)的功能。如上所述，作為機(jī)械學(xué)習(xí)裝置1的學(xué)習(xí)算法，大致分為“有教師學(xué)習(xí)”、“無(wú)教師學(xué)習(xí)”、“強(qiáng)化學(xué)習(xí)”。并且，在實(shí)現(xiàn)這些方法的方面，具有學(xué)習(xí)特征量本身的提取的、被稱為“深層學(xué)習(xí)”的方法。此外，這些機(jī)械學(xué)習(xí)(機(jī)械學(xué)習(xí)裝置1)例如通過(guò)應(yīng)用GPGPU(General-Purpose computing on Graphics Processing Units通用計(jì)算圖形處理器)或大規(guī)模PC集群等來(lái)實(shí)現(xiàn)。

“有教師學(xué)習(xí)”是指通過(guò)大量地向機(jī)械學(xué)習(xí)裝置1賦予某個(gè)輸入和結(jié)果(標(biāo)簽)的數(shù)據(jù)的組，來(lái)學(xué)習(xí)這些數(shù)據(jù)集所具有的特征，并歸納性地獲得從輸入推定結(jié)果的模型，即其關(guān)系性。在本實(shí)施方式中應(yīng)用該有教師學(xué)習(xí)時(shí)，能夠使用在計(jì)算用于修正電動(dòng)機(jī)控制裝置中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量的部分等中。能夠使用后述的神經(jīng)網(wǎng)絡(luò)等算法來(lái)實(shí)現(xiàn)。

“無(wú)教師學(xué)習(xí)”是指通過(guò)大量地向?qū)W習(xí)裝置1僅賦予輸入數(shù)據(jù)，來(lái)學(xué)習(xí)輸入數(shù)據(jù)是怎樣分布的，即使不賦予對(duì)應(yīng)的教師輸出數(shù)據(jù)，也學(xué)習(xí)對(duì)輸入數(shù)據(jù)進(jìn)行壓縮、分類、整形等的裝置的方法。例如，能夠?qū)@些數(shù)據(jù)集所具有的特征的相似特征彼此進(jìn)行聚類等。通過(guò)使用該結(jié)果，設(shè)置某種基準(zhǔn)來(lái)進(jìn)行使其為最佳的輸出的分配，能夠?qū)崿F(xiàn)輸出的預(yù)測(cè)。

另外，作為“無(wú)教師學(xué)習(xí)”和“有教師學(xué)習(xí)”的中間性的問(wèn)題設(shè)定，具有被稱為“半有教師學(xué)習(xí)”的方法，其相當(dāng)于只一部分地存在輸入和輸出的數(shù)據(jù)的組，除此之外僅為輸入的數(shù)據(jù)的情況。在本實(shí)施方式中，能夠通過(guò)無(wú)教師學(xué)習(xí)來(lái)利用不實(shí)際使電動(dòng)機(jī)驅(qū)動(dòng)裝置動(dòng)作也能夠取得的數(shù)據(jù)(例如模擬的數(shù)據(jù))，并有效地進(jìn)行學(xué)習(xí)。

首先，對(duì)將機(jī)械學(xué)習(xí)裝置1的學(xué)習(xí)算法設(shè)為強(qiáng)化學(xué)習(xí)的例子進(jìn)行說(shuō)明。

考慮如下，作為強(qiáng)化學(xué)習(xí)的問(wèn)題設(shè)定。

·電動(dòng)機(jī)驅(qū)動(dòng)裝置觀測(cè)環(huán)境的狀態(tài)，并決定行為。

·環(huán)境根據(jù)某種規(guī)則進(jìn)行變化，并且自己的行為有時(shí)也對(duì)環(huán)境賦予變化。

·每當(dāng)發(fā)生行為時(shí)返回回報(bào)信號(hào)。

·期望最大化的是將來(lái)的(折扣)回報(bào)的合計(jì)。

·從完全不知道、或不完全知道行為引起的結(jié)果的狀態(tài)開始學(xué)習(xí)。即，電動(dòng)機(jī)驅(qū)動(dòng)裝置最初進(jìn)行實(shí)際動(dòng)作，能夠?qū)⑵浣Y(jié)果作為數(shù)據(jù)來(lái)得到。即，需要一邊嘗試一邊探索最佳的行為。

·也可以將以模仿人類的動(dòng)作的方式進(jìn)行事先學(xué)習(xí)(上述的有教師學(xué)習(xí)、或稱為逆強(qiáng)化學(xué)習(xí)的方法)后的狀態(tài)作為初始狀態(tài)，從好的開始地點(diǎn)開始學(xué)習(xí)。

在這里，“強(qiáng)化學(xué)習(xí)”是指不僅通過(guò)判定和分類，還通過(guò)學(xué)習(xí)行為，進(jìn)行將行為賦予環(huán)境的相互作用作為基礎(chǔ)來(lái)學(xué)習(xí)適當(dāng)?shù)男袨?，即用于把將?lái)得到的回報(bào)變?yōu)樽畲蟮膶W(xué)習(xí)的方法。這種情況在本實(shí)施方式中，表示能夠獲得將轉(zhuǎn)子位置指令與進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差最小化(將誤差量最小化)這樣的，對(duì)未來(lái)產(chǎn)生影響的行為。例如雖然在Q學(xué)習(xí)的情況下繼續(xù)進(jìn)行說(shuō)明，但是并不限定于此。

Q學(xué)習(xí)是在某種環(huán)境狀態(tài)s下學(xué)習(xí)選擇行為a的價(jià)值Q(s、a)的方法。即，在某種狀態(tài)s時(shí)，選擇價(jià)值Q(s、a)最高的行為a作為最佳的行為即可。但是，最初對(duì)于狀態(tài)s和行為a的組合，完全不知道價(jià)值Q(s、a)的正確值。在這里，智能體(行為主體)在某種狀態(tài)s下選擇各種行為a，并針對(duì)此時(shí)的行為a賦予回報(bào)。由此，智能體學(xué)習(xí)更好的行為的選擇，即正確的價(jià)值Q(s、a)。

并且，行為的結(jié)果，期望將來(lái)得到的回報(bào)的合計(jì)最大化，所以最終的目標(biāo)是Q(s，a)＝E[Σγ^tr_t]。在這里，假定根據(jù)最佳的行為發(fā)生了狀態(tài)變化時(shí)，取得期待值，因?yàn)椴恢榔诖担砸贿吿剿饕贿厡W(xué)習(xí)。這樣的價(jià)值Q(s、a)的更新式，例如能夠通過(guò)式1來(lái)表示。

在上述的式1中，s_t表示時(shí)刻t的環(huán)境狀態(tài)，a_t表示時(shí)刻t的行為。通過(guò)行為a_t，狀態(tài)變化為s_t+1。r_t+1表示由該狀態(tài)的變化而得到的回報(bào)。另外，帶有max的項(xiàng)是在狀態(tài)s_t+1下，在選擇了此時(shí)了解的Q值最高的行為a時(shí)的Q值乘以γ而得的項(xiàng)。γ是0＜γ≤1的參數(shù)，被稱為折扣率。α是學(xué)習(xí)系數(shù)，范圍是0＜α≤1。

式1表示基于試行a_t的結(jié)果所返回的回報(bào)r_t+1，更新狀態(tài)s_t中的行為a_t的評(píng)價(jià)值Q(s_t、a_t)的方法。表示與狀態(tài)s中的行為a的評(píng)價(jià)值Q(s_t、a_t)相比，如果基于回報(bào)r_t+1+行為a的下一個(gè)狀態(tài)中的最佳的行為max a的評(píng)價(jià)值Q(s_t+1、max a_t+1)更大，則Q(s_t、a_t)增大，反之，若Q(s_t+1、max a_t+1)更小，則Q(s_t、a_t)也減小的情況。即，將某種狀態(tài)中的某種行為的價(jià)值接近作為結(jié)果而立即返回的回報(bào)、和該行為導(dǎo)致的下一個(gè)狀態(tài)中的最佳的行為價(jià)值。

在這里，Q(s、a)在計(jì)算機(jī)上的表現(xiàn)方法，具有針對(duì)全部的狀態(tài)行為對(duì)(s、a)，將其值作為表(行為價(jià)值表)進(jìn)行保持的方法、以及準(zhǔn)備對(duì)Q(s、a)進(jìn)行近似的函數(shù)的方法。在后者的方法中，上述的更新式能夠通過(guò)使用隨機(jī)梯度下降法等方法調(diào)整近似函數(shù)的參數(shù)來(lái)實(shí)現(xiàn)。作為近似函數(shù)，能夠使用后述的神經(jīng)網(wǎng)絡(luò)。

另外，作為有教師學(xué)習(xí)、無(wú)教師學(xué)習(xí)以及強(qiáng)化學(xué)習(xí)中的價(jià)值函數(shù)的近似算法，能夠使用神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)例如由實(shí)現(xiàn)模擬圖8所示那樣的神經(jīng)元模型的神經(jīng)網(wǎng)絡(luò)的運(yùn)算裝置以及存儲(chǔ)器等構(gòu)成。圖8是表示神經(jīng)元模型的示意圖。

如圖8所示的那樣，神經(jīng)元輸出與多個(gè)輸入x(在圖8中作為一個(gè)例子，輸入x1～輸入x3)對(duì)應(yīng)的輸出y。對(duì)各輸入x1～x3乘以與該輸入x對(duì)應(yīng)的權(quán)值w(w1～w3)。由此，神經(jīng)元輸出式2表現(xiàn)的輸出y。此外，輸入x、輸出y以及權(quán)值w全是矢量。另外，在下述式2中，θ為偏置，f_k為激活函數(shù)。

其次，參照?qǐng)D9對(duì)組合了上述神經(jīng)元的具有三層權(quán)值的神經(jīng)網(wǎng)絡(luò)進(jìn)行說(shuō)明。圖9是表示具有D1～D3的三層權(quán)值的神經(jīng)網(wǎng)絡(luò)的示意圖。

如圖9所示的那樣，從神經(jīng)網(wǎng)絡(luò)的左側(cè)輸入多個(gè)輸入x(在此作為一個(gè)例子，輸入x1～輸入x3)，從右側(cè)輸出結(jié)果y(在此作為一個(gè)例子，結(jié)果y1～結(jié)果y3)。

具體來(lái)說(shuō)，輸入x1～輸入x3針對(duì)三個(gè)神經(jīng)元N11～N13的每個(gè)乘以相對(duì)應(yīng)的權(quán)值來(lái)進(jìn)行輸入。將與這些輸入相乘的權(quán)值統(tǒng)一標(biāo)記為w1。

神經(jīng)元N11～N13分別輸出z11～z13。在圖9中，將這些z11～z13統(tǒng)一標(biāo)記為特征矢量z1，能夠視為提取了輸入矢量的特征量的矢量。該特征矢量z1是權(quán)值w1和權(quán)值w2之間的特征矢量。z11～z13針對(duì)兩個(gè)神經(jīng)元N21、N22的每個(gè)乘以相對(duì)應(yīng)的權(quán)值來(lái)進(jìn)行輸入。將與這些特征矢量相乘的權(quán)值統(tǒng)一標(biāo)記為w2。

神經(jīng)元N21、N22分別輸出z21、z22。在圖9中，將這些z21、z22統(tǒng)一標(biāo)記為特征矢量z2。該特征矢量z2是權(quán)值w2和權(quán)值w3之間的特征矢量。特征矢量z21、z22針對(duì)三個(gè)神經(jīng)元N31～N33的每個(gè)乘以相對(duì)應(yīng)的權(quán)值來(lái)進(jìn)行輸入。將與這些特征矢量相乘的權(quán)值統(tǒng)一標(biāo)記為w3。

最后，神經(jīng)元N31～N33分別輸出結(jié)果y1～結(jié)果y3。

在神經(jīng)網(wǎng)絡(luò)的動(dòng)作中，具有學(xué)習(xí)模式和價(jià)值預(yù)測(cè)模式。例如，在學(xué)習(xí)模式中，使用學(xué)習(xí)數(shù)據(jù)集來(lái)學(xué)習(xí)權(quán)值w，使用該參數(shù)在預(yù)測(cè)模式中進(jìn)行電動(dòng)機(jī)驅(qū)動(dòng)裝置的行為判斷。此外，為了方便，預(yù)測(cè)和描述的當(dāng)然可能是檢測(cè)、分類、推論等多種任務(wù)。

在這里，在預(yù)測(cè)模式中，可以即時(shí)學(xué)習(xí)實(shí)際運(yùn)行電動(dòng)機(jī)驅(qū)動(dòng)裝置來(lái)得到的數(shù)據(jù)，并反映到下次行為中(在線學(xué)習(xí))，也可以使用預(yù)先收集的數(shù)據(jù)群來(lái)進(jìn)行匯總學(xué)習(xí)，以后一直使用該參數(shù)進(jìn)行檢測(cè)模式(批量學(xué)習(xí))?；蛘?，也能夠?yàn)槠渲虚g性的，在積累了一定程度數(shù)據(jù)時(shí)插入學(xué)習(xí)模式。

另外，權(quán)值w1～w3能夠通過(guò)誤差逆向傳播法(反向傳播：Back Propagation)進(jìn)行學(xué)習(xí)。誤差的信息從右側(cè)進(jìn)入，向左側(cè)流動(dòng)。誤差逆向傳播法是對(duì)于各神經(jīng)元調(diào)整(學(xué)習(xí))各自的權(quán)值，使得輸入了輸入x時(shí)的輸出y和真實(shí)的輸出y(教師)之間的差變小的方法。

這樣的神經(jīng)網(wǎng)絡(luò)，也可以在三層以上進(jìn)一步增加層(稱為深層學(xué)習(xí))。能夠只從教師數(shù)據(jù)自動(dòng)的獲得階段性的進(jìn)行輸入的特征提取，并返回結(jié)果的運(yùn)算裝置。

因此，本實(shí)施方式的機(jī)械學(xué)習(xí)裝置1為了實(shí)施上述的Q學(xué)習(xí)，例如圖6所示的那樣具備狀態(tài)觀測(cè)部11、學(xué)習(xí)部12以及意圖決定部13。但是，應(yīng)用于本發(fā)明的機(jī)械學(xué)習(xí)方法如上所述并不限定于Q學(xué)習(xí)。即，可以應(yīng)用能夠在機(jī)械學(xué)習(xí)裝置中使用的方法、即“有教師學(xué)習(xí)”、“無(wú)教師學(xué)習(xí)”、“半有教師學(xué)習(xí)”以及“強(qiáng)化學(xué)習(xí)”等各種各樣的方法。此外，這些機(jī)械學(xué)習(xí)(機(jī)械學(xué)習(xí)裝置1)例如能夠通過(guò)應(yīng)用GPGPU或大規(guī)模PC集群等來(lái)實(shí)現(xiàn)。例如在應(yīng)用有教師學(xué)習(xí)時(shí)，價(jià)值函數(shù)與學(xué)習(xí)模型相對(duì)應(yīng)，回報(bào)與誤差相對(duì)應(yīng)。此外，也能夠?qū)⑹褂蒙鲜錾窠?jīng)網(wǎng)絡(luò)近似出函數(shù)用作該行為價(jià)值表，這在s以及a的信息量巨大時(shí)特別有效。

接下來(lái)，以將機(jī)械學(xué)習(xí)裝置1的學(xué)習(xí)算法設(shè)為有教師學(xué)習(xí)為例進(jìn)行說(shuō)明。

圖10是表示實(shí)施例的具備應(yīng)用了有教師學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置的原理框圖。通過(guò)圖10與上述的圖6相比較能夠知道，具備圖10所示的具備應(yīng)用了有教師學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置的電動(dòng)機(jī)驅(qū)動(dòng)裝置，相對(duì)于圖6所示的具備應(yīng)用了Q學(xué)習(xí)(強(qiáng)化學(xué)習(xí))的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置，進(jìn)一步具備結(jié)果(標(biāo)簽)提供部40。另外，圖10中的機(jī)械學(xué)習(xí)裝置1具備狀態(tài)觀測(cè)部11、包含誤差計(jì)算部23以及學(xué)習(xí)模型更新部24的學(xué)習(xí)部41、以及意圖決定部42。

在圖10所示的具備應(yīng)用了有教師學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置中，誤差計(jì)算部23以及學(xué)習(xí)模型更新部24分別與圖6所示的應(yīng)用了Q學(xué)習(xí)的電動(dòng)機(jī)控制裝置中的回報(bào)計(jì)算部21以及函數(shù)更新部22相對(duì)應(yīng)。但是，在誤差計(jì)算部23中輸入了來(lái)自結(jié)果提供部40的結(jié)果(標(biāo)簽)。此外，其他的結(jié)構(gòu)與上述的圖6相同，省略其說(shuō)明。另外，在圖10中，對(duì)圖2所示的速度檢測(cè)部以及電流檢測(cè)部省略了圖示。

結(jié)果提供部40向?qū)W習(xí)部41的誤差計(jì)算部23提供(輸入)帶標(biāo)簽的數(shù)據(jù)(結(jié)果)，誤差計(jì)算部23收取來(lái)自狀態(tài)觀測(cè)部11的信號(hào)，并且收取來(lái)自結(jié)果提供部40的帶標(biāo)簽的數(shù)據(jù)來(lái)進(jìn)行誤差計(jì)算，并且，學(xué)習(xí)模型更新部24進(jìn)行學(xué)習(xí)模型的更新。在這里，結(jié)果提供部40例如在電動(dòng)機(jī)控制裝置100的處理相同時(shí)，例如能夠保持到驅(qū)動(dòng)電動(dòng)機(jī)控制裝置100的預(yù)定日的前日為止得到的帶標(biāo)簽的數(shù)據(jù)，并在該預(yù)定日向誤差計(jì)算部23提供在結(jié)果提供部40中保持的帶標(biāo)簽的數(shù)據(jù)。

或者，能夠?qū)⑼ㄟ^(guò)在電動(dòng)機(jī)控制裝置100的外部進(jìn)行的模擬等得到的數(shù)據(jù)、或者其他電動(dòng)機(jī)控制裝置的帶標(biāo)簽的數(shù)據(jù)通過(guò)存儲(chǔ)器卡或通信線路向該電動(dòng)機(jī)控制裝置100的誤差計(jì)算部23提供。并且，也能夠由閃速存儲(chǔ)器(Flash Memory)等非易失性存儲(chǔ)器構(gòu)成結(jié)果提供部40，將結(jié)果提供部(非易失性存儲(chǔ)器)40內(nèi)置在學(xué)習(xí)部41中，并將該結(jié)果提供部40中保持的帶標(biāo)簽的數(shù)據(jù)直接使用在學(xué)習(xí)部41中。

圖10所示的電動(dòng)機(jī)控制裝置100中具備的機(jī)械學(xué)習(xí)裝置1的動(dòng)作，為了將轉(zhuǎn)子位置指令與進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差最小化(將誤差量最小化)，并取得用于修正電動(dòng)機(jī)控制裝置100中的位置指令、速度指令以及電流指令中的某一個(gè)指令的修正量，例如，誤差計(jì)算部23根據(jù)從結(jié)果提供部40輸入的結(jié)果，基于狀態(tài)變量引起的誤差量來(lái)計(jì)算誤差，并更新學(xué)習(xí)模型更新部24中的學(xué)習(xí)模型。

此外，作為本發(fā)明中的機(jī)械學(xué)習(xí)裝置1，并不限定于應(yīng)用上述的強(qiáng)化學(xué)習(xí)(例如Q學(xué)習(xí))或有教師學(xué)習(xí)，也能夠應(yīng)用各種各樣的機(jī)械學(xué)習(xí)的算法。

上述的狀態(tài)觀測(cè)部11、學(xué)習(xí)部12、41以及意圖決定部13、42例如可以由軟件程序形式來(lái)構(gòu)筑，或者也可以由各種電子電路和軟件程序的組合來(lái)構(gòu)筑。例如在將它們由軟件程序形式來(lái)構(gòu)筑時(shí)，能夠通過(guò)根據(jù)該軟件程序來(lái)運(yùn)行電動(dòng)機(jī)控制裝置100內(nèi)的運(yùn)算處理裝置來(lái)實(shí)現(xiàn)上述各部的功能。又或者，也可以將具備狀態(tài)觀測(cè)部11以及學(xué)習(xí)部12、41的機(jī)械學(xué)習(xí)裝置1作為寫入了實(shí)現(xiàn)各部的功能的軟件程序的半導(dǎo)體集成電路來(lái)實(shí)現(xiàn)。又或者，不僅是具備狀態(tài)觀測(cè)部11以及學(xué)習(xí)部12、41的機(jī)械學(xué)習(xí)裝置1，包含意圖決定部13、42的形式，也可以實(shí)現(xiàn)寫入了實(shí)現(xiàn)各部的功能的軟件程序的半導(dǎo)體集成電路。另外，對(duì)于修正部14以及驅(qū)動(dòng)指令生成部50，與一般的電動(dòng)機(jī)控制裝置一樣，例如可以由軟件程序形式來(lái)構(gòu)筑，或者也可以由各種電子電路和軟件程序的組合來(lái)構(gòu)筑。

另外，本發(fā)明的機(jī)械學(xué)習(xí)處理使用如下數(shù)據(jù)來(lái)執(zhí)行：電動(dòng)機(jī)控制裝置100為了三相交流電動(dòng)機(jī)300的驅(qū)動(dòng)控制而通過(guò)原本具備的誤差量測(cè)定部17取得的誤差量相關(guān)的數(shù)據(jù)、由溫度測(cè)定部31測(cè)定的設(shè)置了電動(dòng)控制裝置100的機(jī)床內(nèi)的溫度相關(guān)的數(shù)據(jù)、由振動(dòng)測(cè)定部32測(cè)定的設(shè)置了電動(dòng)機(jī)控制裝置100的機(jī)床內(nèi)產(chǎn)生的振動(dòng)相關(guān)的數(shù)據(jù)，因此不需要如現(xiàn)有技術(shù)那樣設(shè)置新的硬件裝置，所以能夠后裝到既有的電動(dòng)機(jī)控制裝置上來(lái)應(yīng)用。此時(shí)，在該既有的電動(dòng)機(jī)控制裝置中裝入寫入了實(shí)現(xiàn)機(jī)械學(xué)習(xí)裝置1和意圖決定部13、42的各部的功能的軟件程序的半導(dǎo)體集成電路，或者在該既有的電動(dòng)機(jī)控制裝置內(nèi)的運(yùn)算處理裝置中追加安裝實(shí)現(xiàn)機(jī)械學(xué)習(xí)裝置1和意圖決定部13、42的各部的功能的軟件程序自身即可。另外，也可以將關(guān)于某個(gè)電動(dòng)機(jī)控制裝置學(xué)習(xí)了修正量的機(jī)械學(xué)習(xí)裝置1安裝在與之不同的其他電動(dòng)機(jī)驅(qū)動(dòng)裝置上，關(guān)于該其他電動(dòng)機(jī)控制裝置，再次學(xué)習(xí)修正量來(lái)進(jìn)行更新。

根據(jù)本發(fā)明，能夠?qū)崿F(xiàn)可以容易地將針對(duì)電動(dòng)機(jī)的轉(zhuǎn)子位置指令與進(jìn)給機(jī)構(gòu)部的實(shí)際位置之間的誤差即誤差量最小化的機(jī)械學(xué)習(xí)裝置及方法以及具備該機(jī)械學(xué)習(xí)裝置的電動(dòng)機(jī)控制裝置。

根據(jù)本發(fā)明，能夠在電動(dòng)機(jī)控制裝置運(yùn)行的狀態(tài)下，結(jié)合將電動(dòng)機(jī)作為驅(qū)動(dòng)源的機(jī)床中的工件加工條件、該機(jī)床的加工時(shí)的切削負(fù)荷的大小、機(jī)床的溫度、在具有多個(gè)驅(qū)動(dòng)軸的機(jī)床中由各驅(qū)動(dòng)軸動(dòng)作而產(chǎn)生的振動(dòng)等，機(jī)械學(xué)習(xí)裝置自我學(xué)習(xí)并調(diào)整將轉(zhuǎn)子位置指令與轉(zhuǎn)子實(shí)際位置之間的誤差即誤差量最小化的針對(duì)指令的修正量，所以即使周圍環(huán)境發(fā)生變動(dòng)，也能夠?qū)崟r(shí)變更各修正量，并能夠?qū)⒄`差量可靠地最小化。