本發(fā)明屬于動(dòng)態(tài)資源優(yōu)化技術(shù)領(lǐng)域，具體涉及一種基于馬爾科夫決策過程的動(dòng)態(tài)資源優(yōu)化方法。

背景技術(shù)：

在當(dāng)前全球化制造環(huán)境下，復(fù)雜產(chǎn)品研制往往需要調(diào)度不同地域、不同種類、不同特點(diǎn)的企業(yè)資源來完成。云制造是借助于信息網(wǎng)絡(luò)的支持，通過整合社會(huì)制造資源和能力把地理上分散的、能力互補(bǔ)的企業(yè)資源連接起來，實(shí)現(xiàn)分散制造資源的共享、集成和協(xié)同工作，合作完成復(fù)雜產(chǎn)品的設(shè)計(jì)、制造、裝配，以及銷售和服務(wù)整個(gè)生命周期，在更好的響應(yīng)市場(chǎng)需求的同時(shí)，獲取最大的利益。

在云制造環(huán)境下制造資源包含了企業(yè)完成產(chǎn)品整個(gè)生命周期所有生產(chǎn)活動(dòng)的各種物理元素，存在種類繁雜、形態(tài)異構(gòu)、地理分散等特點(diǎn)，精確調(diào)控云制造資源和制造能力，構(gòu)造整體服務(wù)質(zhì)量最優(yōu)、集群協(xié)作能力最高的云制造資源組合，成為云制造順利開展的關(guān)鍵。

云制造資源組合優(yōu)選模型和求解機(jī)制的優(yōu)劣將直接影響到產(chǎn)品研制質(zhì)量以及研制過程能否得以安全、順利的進(jìn)行，而云制造的特點(diǎn)決定了產(chǎn)品研制過程中制造資源選擇充滿了不確定因素，當(dāng)前關(guān)于制造資源優(yōu)化配置的研究大多只考慮時(shí)間、成本、質(zhì)量和資源評(píng)價(jià)等幾方面的問題，沒有充分考慮產(chǎn)品研制過程不確定性對(duì)云制造資源選擇的影響：即產(chǎn)品研制存在失敗的可能，這不僅使得產(chǎn)品研制過程充滿了風(fēng)險(xiǎn)，也會(huì)對(duì)產(chǎn)品研制成本和研制周期產(chǎn)生極大的影響。

因此，如何實(shí)現(xiàn)產(chǎn)品研制過程不確定性影響下云制造資源的動(dòng)態(tài)優(yōu)化選擇，仍是一個(gè)急需要解決的技術(shù)難題。

馬爾可夫決策過程是基于馬爾可夫過程理論的隨機(jī)動(dòng)態(tài)系統(tǒng)最優(yōu)決策過程，它的特性是在已知目前狀態(tài)的條件下，它未來的演變不依賴于它以往的演變，即在決策過程中決策者周期地或連續(xù)地觀察具有馬爾可夫性的隨機(jī)動(dòng)態(tài)系統(tǒng)，序貫地進(jìn)行決策。目前，馬爾可夫決策過程已廣泛應(yīng)用于自然科學(xué)與工程技術(shù)的眾多領(lǐng)域，尤其在預(yù)測(cè)技術(shù)上得到了大量實(shí)踐與推廣。

技術(shù)實(shí)現(xiàn)要素：

(一)要解決的技術(shù)問題

本發(fā)明要解決的技術(shù)問題是：如何提供一種基于馬爾科夫決策過程的動(dòng)態(tài)資源優(yōu)化方法，試圖將云制造環(huán)境下動(dòng)態(tài)資源優(yōu)化配置問題看作是一種馬爾科夫決策過程，利用交叉熵算法對(duì)動(dòng)態(tài)資源進(jìn)行優(yōu)化求解。

(二)技術(shù)方案

為解決上述技術(shù)問題，本發(fā)明提供一種基于馬爾科夫決策過程的動(dòng)態(tài)資源優(yōu)化方法，其基于動(dòng)態(tài)資源優(yōu)化系統(tǒng)來實(shí)施，該動(dòng)態(tài)資源優(yōu)化系統(tǒng)包括：復(fù)雜產(chǎn)品任務(wù)分解模塊、研制能力網(wǎng)絡(luò)構(gòu)建模塊、動(dòng)態(tài)資源選擇決策模塊以及交叉熵求解模塊；

步驟S1：根據(jù)復(fù)雜產(chǎn)品的性能要求、結(jié)構(gòu)要求和精度要求，通過復(fù)雜產(chǎn)品任務(wù)分解模塊對(duì)總?cè)蝿?wù)F進(jìn)行分解，形成n個(gè)研制子任務(wù)，即F＝{f_i|i＝1,2,…,n}，其中f_i表示研制過程中的第i個(gè)子任務(wù)；

步驟S2：根據(jù)各個(gè)研制子任務(wù)對(duì)云制造資源的需求，通過研制能力網(wǎng)絡(luò)構(gòu)建模塊建立由跨地域企業(yè)研制能力資源組成的動(dòng)態(tài)的復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)；所述研制能力網(wǎng)絡(luò)構(gòu)建模塊包括：企業(yè)研制能力分解器、能力資源池構(gòu)建器、能力網(wǎng)絡(luò)構(gòu)建器；

該步驟S2包括如下子步驟：

步驟S201：通過企業(yè)研制能力分解器將云制造環(huán)境下跨地域的企業(yè)制造資源進(jìn)行虛擬化，將企業(yè)研制能力統(tǒng)一表達(dá)為企業(yè)研制能力單元c_ij＝{lov(c_ij),f_i,j}；其中，lov(c_ij)為針對(duì)某一子任務(wù)f_i，對(duì)于企業(yè)j而言，其完成該任務(wù)的研制能力等級(jí)，其大小反映了完成研制任務(wù)的預(yù)期水平；

步驟S202：在步驟S201的基礎(chǔ)上，針對(duì)某一子任務(wù)fi，根據(jù)跨地域的企業(yè)制造資源中企業(yè)的數(shù)量，重復(fù)若干次步驟S201，進(jìn)而通過能力資源池構(gòu)建器建立虛擬的企業(yè)研制能力資源池CP(i)＝{c_i1,c_i2,,…,c_ij}，i＝1～n；

步驟S203：根據(jù)相鄰子任務(wù)之間的順序關(guān)系，能力網(wǎng)絡(luò)構(gòu)建器建立企業(yè)研制能力資源池之間的順序關(guān)系，以及分處于相鄰兩個(gè)企業(yè)研制能力資源池中各個(gè)企業(yè)研制能力單元之間的關(guān)聯(lián)關(guān)系，從而形成動(dòng)態(tài)的復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)；

步驟S3：基于復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)，動(dòng)態(tài)資源選擇決策模塊根據(jù)馬爾科夫決策方法獲取動(dòng)態(tài)資源分配策略；該步驟S3包括如下步驟：

步驟S301：在復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)圖中，在每個(gè)子任務(wù)研制過程中，就某一個(gè)時(shí)刻t(t＝0,1,2,…)設(shè)置為僅可分配一個(gè)企業(yè)研制能力單元c_ij滿足其對(duì)應(yīng)的研制需求；

步驟S302：將時(shí)刻t所對(duì)應(yīng)的當(dāng)前子任務(wù)研制階段作為時(shí)刻t對(duì)應(yīng)的任務(wù)狀態(tài)，則總?cè)蝿?wù)F的任務(wù)狀態(tài)空間可表示為S＝{S_t,t≥0}＝{f₁,f₂,…,f_n}；

步驟S303：針對(duì)某一時(shí)刻t，其對(duì)應(yīng)的子任務(wù)為子任務(wù)f_i，則其任務(wù)狀態(tài)為S_t＝f_i，定義該時(shí)刻t對(duì)應(yīng)的企業(yè)研制能力單元以θ_ij概率成功完成研制子任務(wù)f_i，則下一時(shí)刻t+1進(jìn)入下一子任務(wù)f_i+1的企業(yè)研制能力單元分配階段，時(shí)刻t+1的任務(wù)狀態(tài)為S_t+1＝f_i+1；

以1-θ_ij表示未完成研制任務(wù)f_i的概率，即任務(wù)研制失敗，則下一時(shí)刻t+1的任務(wù)狀態(tài)與時(shí)刻t的狀態(tài)相同，即S_t+1＝S_t＝f_i；其中，概率θ_ij與研制能力等級(jí)lov(c_ij)的關(guān)系式為：θ_ij＝lov(c_ij)/10；

步驟S304：對(duì)于某一子任務(wù)f_i在時(shí)刻t所分配的企業(yè)研制能力單元而言，無論是否完成研制任務(wù)均會(huì)發(fā)生大小為的研制費(fèi)用；

步驟S305：設(shè)定S_t＝f_n為目標(biāo)狀態(tài)，亦即是最終狀態(tài)；

步驟S306：從任務(wù)起始時(shí)刻0到任務(wù)完成時(shí)刻t為止，企業(yè)研制能力單元分配過程可由馬爾科夫過程的一個(gè)歷史來描述：

步驟S307：根據(jù)步驟S306的歷史描述H_t，獲取在歷史H_t條件下分配企業(yè)研制能力單元的概率集即動(dòng)態(tài)資源分配策略；

步驟S308：設(shè)定γ為從需求狀態(tài)S₀＝f₁首次到達(dá)最終狀態(tài)S_t＝f_n時(shí)分配的企業(yè)研制能力單元的研制次數(shù)，將從時(shí)刻0到時(shí)刻γ所分配的全部企業(yè)研制能力單元定義為一個(gè)研制能力序列

步驟S309：云制造環(huán)境下動(dòng)態(tài)資源調(diào)度優(yōu)化配置問題可以描述為尋求一個(gè)最優(yōu)選擇策略使得研制期望費(fèi)用Z(X)最??；其中，E_π表示相對(duì)于概率密度π求期望；

步驟S4：采用交叉熵求解模塊對(duì)動(dòng)態(tài)資源分配策略進(jìn)行優(yōu)化輸出；該步驟S4包括如下步驟：

步驟S401：針對(duì)動(dòng)態(tài)資源分配策略π，進(jìn)行初始化操作，使動(dòng)態(tài)資源分配策略π中每一個(gè)企業(yè)研制能力單元被分配的概率相同，即初始化后，企業(yè)研制能力單元被分配的過程是隨機(jī)過程，從而將動(dòng)態(tài)資源分配策略π表征為所有元素?cái)?shù)值相同且每一列元素?cái)?shù)值之和為1的初始轉(zhuǎn)移矩陣P；

步驟S402：在總?cè)蝿?wù)F對(duì)應(yīng)的復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)中隨機(jī)選取一個(gè)企業(yè)研制能力單元作為起點(diǎn)，鑒于子任務(wù)數(shù)量為n，則基于初始轉(zhuǎn)移矩陣P經(jīng)過n步不同的狀態(tài)隨機(jī)轉(zhuǎn)移可生成一條路徑X₁,X₂,…,X_n，由于狀態(tài)轉(zhuǎn)移過程是隨機(jī)的，由此可獲取N條路徑，計(jì)算每條路徑X_i的費(fèi)用Z(X_i)；

步驟S403：將研制費(fèi)用Z(X_i)由小到大進(jìn)行排序：

Z(X_i)₍₁₎≤Z(X_i)₍₂₎≤…≤Z(X_i)_(N)，則它的分位值ρ為

步驟S404：根據(jù)獲取的分位值利用拉格朗日乘子法計(jì)算得到第一概率轉(zhuǎn)移矩陣P'，其中，第一概率轉(zhuǎn)移矩陣P'中的元素p_ij'表示為：

其中，p_ij'表示研制子任務(wù)i時(shí)，分配的能力研制單元為j的概率；

表示在N條路徑中，對(duì)于研制費(fèi)用不高于γ的路徑，在研制子任務(wù)i時(shí)，分配能力研制單元的次數(shù)；

表示對(duì)于N條路徑中，對(duì)于研制費(fèi)用不高于γ的路徑，在研制子任務(wù)i時(shí)，分配能力研制單元為j的次數(shù)；

步驟S405：根據(jù)第一概率轉(zhuǎn)移矩陣P'及初始轉(zhuǎn)移矩陣P，采用平滑技術(shù)修正，得到第二概率轉(zhuǎn)移矩陣P″＝α·P'+(1-α)·P，其中α為平滑參數(shù)；

步驟S406：對(duì)初始轉(zhuǎn)移矩陣P進(jìn)行重新賦值，將第二概率轉(zhuǎn)移矩陣P″賦值給初始轉(zhuǎn)移矩陣P；

步驟S407：重復(fù)步驟S402到步驟S406，直到對(duì)于某個(gè)給定的迭代次數(shù)d，出現(xiàn)對(duì)于不同的初始轉(zhuǎn)移矩陣P，均使得從需求狀態(tài)S₀＝f₁首次到達(dá)最終狀態(tài)S_t＝f_n時(shí)，研制費(fèi)用Z(X_i)的分位值為止；

步驟S408：當(dāng)步驟S407的條件出現(xiàn)時(shí)，視為最優(yōu)選擇策略出現(xiàn)，將當(dāng)前的初始轉(zhuǎn)移矩陣P作為最優(yōu)選擇策略輸出，即可得到復(fù)雜產(chǎn)品云制造環(huán)境下動(dòng)態(tài)資源最優(yōu)資源組合。

(三)有益效果

與現(xiàn)有技術(shù)相比較，本發(fā)明提供一種基于馬爾科夫決策過程的動(dòng)態(tài)資源優(yōu)化方法，打破了傳統(tǒng)的制造資源選擇方法，將云制造環(huán)境下多個(gè)研制任務(wù)精確調(diào)控云制造資源問題抽象為一個(gè)馬爾科夫決策選擇過程，實(shí)現(xiàn)了研制過程不確定性對(duì)資源選擇的數(shù)學(xué)建模；以研制期望費(fèi)用為目標(biāo)函數(shù)，采用交叉熵方法進(jìn)行計(jì)算，將組合優(yōu)化問題轉(zhuǎn)換為關(guān)聯(lián)隨機(jī)優(yōu)化問題，得到云制造資源最優(yōu)選擇概率，實(shí)現(xiàn)復(fù)雜產(chǎn)品協(xié)同研制工作中制造資源的合理調(diào)度和高效利用，有效的降低了產(chǎn)品研制風(fēng)險(xiǎn)和制造成本。

附圖說明

圖1為復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)。

圖2為馬爾科夫決策過程的動(dòng)態(tài)資源選擇決策示意圖。

圖3為優(yōu)化選擇策略和隨機(jī)選擇策略研制成本比較示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、內(nèi)容、和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。

為解決上述技術(shù)問題，本發(fā)明提供一種基于馬爾科夫決策過程的動(dòng)態(tài)資源優(yōu)化方法，如圖1-圖3所示，其基于動(dòng)態(tài)資源優(yōu)化系統(tǒng)來實(shí)施，該動(dòng)態(tài)資源優(yōu)化系統(tǒng)包括：復(fù)雜產(chǎn)品任務(wù)分解模塊、研制能力網(wǎng)絡(luò)構(gòu)建模塊、動(dòng)態(tài)資源選擇決策模塊以及交叉熵求解模塊；

步驟S1：根據(jù)復(fù)雜產(chǎn)品的性能要求、結(jié)構(gòu)要求和精度要求，通過復(fù)雜產(chǎn)品任務(wù)分解模塊對(duì)總?cè)蝿?wù)F進(jìn)行分解，形成n個(gè)研制子任務(wù)，即F＝{f_i|i＝1,2,…,n}，其中f_i表示研制過程中的第i個(gè)子任務(wù)；

步驟S2：根據(jù)各個(gè)研制子任務(wù)對(duì)云制造資源的需求，通過研制能力網(wǎng)絡(luò)構(gòu)建模塊建立由跨地域企業(yè)研制能力資源組成的動(dòng)態(tài)的復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)；所述研制能力網(wǎng)絡(luò)構(gòu)建模塊包括：企業(yè)研制能力分解器、能力資源池構(gòu)建器、能力網(wǎng)絡(luò)構(gòu)建器；

該步驟S2包括如下子步驟：

步驟S201：通過企業(yè)研制能力分解器將云制造環(huán)境下跨地域的企業(yè)制造資源進(jìn)行虛擬化，將企業(yè)研制能力統(tǒng)一表達(dá)為企業(yè)研制能力單元c_ij＝{lov(c_ij),f_i,j}；其中，lov(c_ij)為針對(duì)某一子任務(wù)f_i，對(duì)于企業(yè)j而言，其完成該任務(wù)的研制能力等級(jí)，其大小反映了完成研制任務(wù)的預(yù)期水平；

步驟S202：在步驟S201的基礎(chǔ)上，針對(duì)某一子任務(wù)f_i，根據(jù)跨地域的企業(yè)制造資源中企業(yè)的數(shù)量，重復(fù)若干次步驟S201，進(jìn)而通過能力資源池構(gòu)建器建立虛擬的企業(yè)研制能力資源池CP(i)＝{c_i1,c_i2,,…,c_ij}，i＝1～n；

步驟S203：根據(jù)相鄰子任務(wù)之間的順序關(guān)系，能力網(wǎng)絡(luò)構(gòu)建器建立企業(yè)研制能力資源池之間的順序關(guān)系，以及分處于相鄰兩個(gè)企業(yè)研制能力資源池中各個(gè)企業(yè)研制能力單元之間的關(guān)聯(lián)關(guān)系(即，某一企業(yè)研制能力資源池中某一企業(yè)研制能力單元與相鄰企業(yè)研制能力資源池中任一企業(yè)研制能力單元的關(guān)聯(lián)關(guān)系)，從而形成動(dòng)態(tài)的復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)；

步驟S3：基于復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)，動(dòng)態(tài)資源選擇決策模塊根據(jù)馬爾科夫決策方法獲取動(dòng)態(tài)資源分配策略；該步驟S3包括如下步驟：

步驟S301：在復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)圖中，在每個(gè)子任務(wù)研制過程中，就某一個(gè)時(shí)刻t(t＝0,1,2,…)設(shè)置為僅可分配一個(gè)企業(yè)研制能力單元c_ij滿足其對(duì)應(yīng)的研制需求；

步驟S302：將時(shí)刻t所對(duì)應(yīng)的當(dāng)前子任務(wù)研制階段作為時(shí)刻t對(duì)應(yīng)的任務(wù)狀態(tài)，則總?cè)蝿?wù)F的任務(wù)狀態(tài)空間可表示為S＝{S_t,t≥0}＝{f₁,f₂,…,f_n}；

步驟S303：針對(duì)某一時(shí)刻t，其對(duì)應(yīng)的子任務(wù)為子任務(wù)f_i，則其任務(wù)狀態(tài)為S_t＝f_i，定義該時(shí)刻t對(duì)應(yīng)的企業(yè)研制能力單元以θ_ij概率成功完成研制子任務(wù)f_i，則下一時(shí)刻t+1進(jìn)入下一子任務(wù)f_i+1的企業(yè)研制能力單元分配階段，時(shí)刻t+1的任務(wù)狀態(tài)為S_t+1＝f_i+1；

以1-θ_ij表示未完成研制任務(wù)f_i的概率，即任務(wù)研制失敗，則下一時(shí)刻t+1的任務(wù)狀態(tài)與時(shí)刻t的狀態(tài)相同，即S_t+1＝S_t＝f_i；其中，概率θ_ij與研制能力等級(jí)lov(c_ij)的關(guān)系式為：θ_ij＝lov(c_ij)/10；

步驟S304：對(duì)于某一子任務(wù)f_i在時(shí)刻t所分配的企業(yè)研制能力單元而言，無論是否完成研制任務(wù)均會(huì)發(fā)生大小為的研制費(fèi)用；

步驟S305：設(shè)定S_t＝f_n為目標(biāo)狀態(tài)，亦即是最終狀態(tài)；

步驟S306：從任務(wù)起始時(shí)刻0到任務(wù)完成時(shí)刻t為止，企業(yè)研制能力單元分配過程可由馬爾科夫過程的一個(gè)歷史來描述：

步驟S307：根據(jù)步驟S306的歷史描述H_t，獲取在歷史H_t條件下分配企業(yè)研制能力單元的概率集即動(dòng)態(tài)資源分配策略；

步驟S308：設(shè)定γ為從需求狀態(tài)S₀＝f₁首次到達(dá)最終狀態(tài)S_t＝f_n時(shí)分配的企業(yè)研制能力單元的研制次數(shù)，將從時(shí)刻0到時(shí)刻γ所分配的全部企業(yè)研制能力單元定義為一個(gè)研制能力序列

步驟S309：云制造環(huán)境下動(dòng)態(tài)資源調(diào)度優(yōu)化配置問題可以描述為尋求一個(gè)最優(yōu)選擇策略使得研制期望費(fèi)用Z(X)最??；其中，E_π表示相對(duì)于概率密度π求期望；

步驟S4：采用交叉熵求解模塊對(duì)動(dòng)態(tài)資源分配策略進(jìn)行優(yōu)化輸出；該步驟S4包括如下步驟：

步驟S401：針對(duì)動(dòng)態(tài)資源分配策略π，進(jìn)行初始化操作，使動(dòng)態(tài)資源分配策略π中每一個(gè)企業(yè)研制能力單元被分配的概率相同，即初始化后，企業(yè)研制能力單元被分配的過程是隨機(jī)過程，從而將動(dòng)態(tài)資源分配策略π表征為所有元素?cái)?shù)值相同且每一列元素?cái)?shù)值之和為1的初始轉(zhuǎn)移矩陣P；

步驟S402：在總?cè)蝿?wù)F對(duì)應(yīng)的復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)中隨機(jī)選取一個(gè)企業(yè)研制能力單元作為起點(diǎn)，鑒于子任務(wù)數(shù)量為n，則基于初始轉(zhuǎn)移矩陣P經(jīng)過n步不同的狀態(tài)隨機(jī)轉(zhuǎn)移可生成一條路徑X₁,X₂,…,X_n，由于狀態(tài)轉(zhuǎn)移過程是隨機(jī)的，由此可獲取N條路徑，計(jì)算每條路徑X_i的費(fèi)用Z(X_i)；

步驟S403：將研制費(fèi)用Z(X_i)由小到大進(jìn)行排序：

Z(X_i)₍₁₎≤Z(X_i)₍₂₎≤…≤Z(X_i)_(N)，則它的分位值ρ為

步驟S404：根據(jù)獲取的分位值利用拉格朗日乘子法計(jì)算得到第一概率轉(zhuǎn)移矩陣P'，其中，第一概率轉(zhuǎn)移矩陣P'中的元素p_ij'表示為：

其中，p_ij'表示研制子任務(wù)i時(shí)，分配的能力研制單元為j的概率；

表示在N條路徑中，對(duì)于研制費(fèi)用不高于γ的路徑，在研制子任務(wù)i時(shí)，分配能力研制單元的次數(shù)；

表示對(duì)于N條路徑中，對(duì)于研制費(fèi)用不高于γ的路徑，在研制子任務(wù)i時(shí)，分配能力研制單元為j的次數(shù)；

步驟S405：根據(jù)第一概率轉(zhuǎn)移矩陣P'及初始轉(zhuǎn)移矩陣P，采用平滑技術(shù)修正，得到第二概率轉(zhuǎn)移矩陣P″＝α·P'+(1-α)·P，其中α為平滑參數(shù)；

步驟S406：對(duì)初始轉(zhuǎn)移矩陣P進(jìn)行重新賦值，將第二概率轉(zhuǎn)移矩陣P″賦值給初始轉(zhuǎn)移矩陣P；

步驟S407：重復(fù)步驟S402到步驟S406，直到對(duì)于某個(gè)給定的迭代次數(shù)d，出現(xiàn)對(duì)于不同的初始轉(zhuǎn)移矩陣P，均使得從需求狀態(tài)S₀＝f₁首次到達(dá)最終狀態(tài)S_t＝f_n時(shí)，研制費(fèi)用Z(X_i)的分位值為止；

步驟S408：當(dāng)步驟S407的條件出現(xiàn)時(shí)，視為最優(yōu)選擇策略出現(xiàn)，將當(dāng)前的初始轉(zhuǎn)移矩陣P作為最優(yōu)選擇策略輸出，即可得到復(fù)雜產(chǎn)品云制造環(huán)境下動(dòng)態(tài)資源最優(yōu)資源組合。

實(shí)施例

本實(shí)施例根據(jù)復(fù)雜產(chǎn)品任務(wù)分解模型對(duì)任務(wù)F進(jìn)行任務(wù)分解，形成的任務(wù)集合：F＝{f_i|i＝1,2,…,8}。

將云制造環(huán)境下跨地域的企業(yè)制造資源進(jìn)行虛擬化和服務(wù)化，企業(yè)研制能力單元表達(dá)為c_ij＝{lov(c_ij),f_i,j}，其中j＝1,2,…5。

建立虛擬的企業(yè)研制能力資源池：CP(1)＝{c₁₁,c₁₂,c₁₃,c₁₄,c₁₅}，CP(2)＝{c₂₁,c₂₂,c₂₃,c₂₄,c₂₅},CP(3)＝{c₃₁,c₃₂,c₃₃,c₃₄,c₃₅},CP(4)＝{c₄₁,c₄₂,c₄₃,c₄₄,c₄₅},CP(5)＝{c₅₁,c₅₂,c₅₃,c₅₄,c₅₅},CP(6)＝{c₆₁,c₆₂,c₆₃,c₆₄,c₆₅},CP(7)＝{c₇₁,c₇₂,c₇₃,c₇₄,c₇₅},CP(8)＝{c₈₁,c₈₂,c₈₃,c₈₄,c₈₅}

為了便于描述，將云制造環(huán)境下所有企業(yè)研制能力單元c_ij對(duì)應(yīng)的研制能力單元等級(jí)lov(c_ij)和研制成本采用集合進(jìn)行表示，表1為研制能力單元等級(jí)集合LOV＝{lov(c_ij)|i＝8,j＝5}，表2為研制成本集合C_S＝{C_s(c_ij)|i＝8,j＝5}，其中，lov(c_ij)和C_S(c_ij)由預(yù)設(shè)的值給出。

表1研制能力單元等級(jí)集合LOV為：

表2研制成本集合C_S為：

為每一個(gè)子任務(wù)分配一個(gè)候選研制能力資源池，形成復(fù)雜產(chǎn)品研制能力網(wǎng)絡(luò)，如圖1所示。

基于馬爾科夫決策過程的動(dòng)態(tài)資源選擇決策示意圖如圖2所示，其中θ_ij表示研制能力單元c_ij成功完成研制任務(wù)f_i的概率；1-θ_ij表示未完成研制任務(wù)f_i的概率，即當(dāng)前階段產(chǎn)品研制失敗。其中概率θ與研制能力等級(jí)lov(c_ij)的關(guān)系式為：θ_ij＝lov(c_ij)/10。表3為任務(wù)f₁～f₈研制成功概率θi_j的集合，即θ＝{θ_ij|i＝8,j＝5}。

表3研制任務(wù)成功概率θ_ij的集合為：

在本實(shí)施例中，采用交叉熵算法對(duì)動(dòng)態(tài)資源選擇決策模型進(jìn)行優(yōu)化。

生成初始轉(zhuǎn)移矩陣P，使轉(zhuǎn)移矩陣每個(gè)研制能力單元被選擇的概率相等，即

令N＝5000，ρ＝0.16，α＝0.5，d＝10時(shí)，用交叉熵方法對(duì)基于馬爾科夫決策過程動(dòng)態(tài)資源選擇策略進(jìn)行優(yōu)化。經(jīng)迭代計(jì)算46次后得到最低研制成本2132，其中最優(yōu)選擇概率為

因此，本實(shí)例中研制子任務(wù)f₁～f₈基于馬爾科夫決策過程的動(dòng)態(tài)資源優(yōu)化選擇策略為c₁₄,c₂₂,c₃₃,c₄₄,c₅₃,c₆₄,c₇₁,c₈₅。

將優(yōu)化選擇策略和隨機(jī)選擇策略分別進(jìn)行模擬運(yùn)算，運(yùn)行10次后兩種選擇策略的研制成本如圖3所示，10次模擬中優(yōu)化選擇策略平均研制成本為3113，隨機(jī)選擇策略平均研制成本為3610.9。模擬結(jié)果表明，采用優(yōu)化選擇策略平均研制成本低于隨機(jī)選擇策略的平均成本。但需要說明的是，模擬過程中并不能保證模擬過程中每次研制成本都比隨機(jī)選擇策略小，因?yàn)槊恳淮窝兄颇芰卧芊裢瓿扇蝿?wù)都具有隨機(jī)性，這種隨機(jī)性對(duì)研制成本有很大影響，因此，通過比較平均研制成本減小了這種隨機(jī)性的影響。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變形，這些改進(jìn)和變形也應(yīng)視為本發(fā)明的保護(hù)范圍。