本發(fā)明屬于算法測試，尤其涉及一種基于數(shù)據(jù)回放的工業(yè)算法實(shí)時(shí)測試方法及系統(tǒng)。

背景技術(shù)：

1、隨著工業(yè)技術(shù)的不斷發(fā)展，智能制造、化工生產(chǎn)、冶金工業(yè)、交通與物流、建筑與基礎(chǔ)設(shè)施等工業(yè)領(lǐng)域中算法的智能化程度越來越高，針對各種算法的測試驗(yàn)證越來越重要，而在傳統(tǒng)基準(zhǔn)測試中，算法的驗(yàn)證只能離線進(jìn)行，難以實(shí)時(shí)監(jiān)測和分析數(shù)據(jù)，無法很好地適應(yīng)工業(yè)需求變化，而且隨著時(shí)間推移，設(shè)備性能可能發(fā)生退化，故障類型也可能改變，導(dǎo)致算法的測試結(jié)果出現(xiàn)誤差。為了應(yīng)對這一挑戰(zhàn)，急需一種工業(yè)算法的實(shí)時(shí)測試方法及系統(tǒng)，以在實(shí)時(shí)運(yùn)行算法的同時(shí)，對算法進(jìn)行有效、準(zhǔn)確的驗(yàn)證，對工業(yè)算法在實(shí)時(shí)環(huán)境中的綜合性能進(jìn)行全面評價(jià)，為工業(yè)智能化提供有效支持。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是傳統(tǒng)工業(yè)算法測試不具備實(shí)時(shí)性以及工業(yè)算法實(shí)時(shí)測試如何保證評分合理性和數(shù)據(jù)集的真實(shí)性、多樣性的問題，克服以上背景技術(shù)中提到的不足和缺陷，提供一種基于數(shù)據(jù)回放的工業(yè)算法實(shí)時(shí)測試方法及系統(tǒng)。

2、為解決上述技術(shù)問題，本發(fā)明提出一種基于數(shù)據(jù)回放的工業(yè)算法實(shí)時(shí)測試方法，包括以下步驟：

3、s1：采集現(xiàn)場數(shù)據(jù)集，獲得原始數(shù)據(jù)集，對原始數(shù)據(jù)集進(jìn)行預(yù)處理，獲得模擬數(shù)據(jù)集；

4、s2：利用模擬數(shù)據(jù)集運(yùn)行用戶上傳的待測算法，實(shí)時(shí)獲取用戶上傳的待測算法的運(yùn)行結(jié)果，對用戶上傳的待測算法進(jìn)行評估，實(shí)時(shí)計(jì)算用戶上傳的待測算法的算法評分；

5、s3：在保持s2不斷實(shí)時(shí)運(yùn)行的同時(shí)，再次采集特定時(shí)間長度的現(xiàn)場數(shù)據(jù)，獲得新的原始數(shù)據(jù)集，對新的原始數(shù)據(jù)集進(jìn)行預(yù)處理，基于聚類分析、信息熵計(jì)算對預(yù)處理后的新的原始數(shù)據(jù)集進(jìn)行篩選得到更新數(shù)據(jù)集，將更新數(shù)據(jù)集插入模擬數(shù)據(jù)集以對模擬數(shù)據(jù)集進(jìn)行熱更新；；

6、s4：對熱更新后的模擬數(shù)據(jù)集進(jìn)行判斷，若滿足設(shè)定的停止條件，則以最后一次計(jì)算獲得的的算法評分為最終算法評分，若不滿足條件，則重復(fù)s3，直至模擬數(shù)據(jù)集滿足停止條件，以最后一次計(jì)算獲得的用戶算法評分為最終算法評分。

7、優(yōu)選地，所述對用戶上傳的待測算法進(jìn)行評估，實(shí)時(shí)計(jì)算用戶上傳的待測算法的算法評分，包括：

8、對用戶上傳的待測算法的性能指標(biāo)、復(fù)雜度指標(biāo)、穩(wěn)定性指標(biāo)的得分及權(quán)重進(jìn)行計(jì)算；

9、計(jì)算用戶上傳的待測算法的算法評分score現(xiàn)場錄波回放：

10、score現(xiàn)場錄波回放＝wperformance·scoreperformance+wcomplexity·scorecomplexity+wruntime·scoreruntime??(1)；

11、其中，wperformance、wcomplexity、wruntime分別為性能指標(biāo)、復(fù)雜度指標(biāo)和穩(wěn)定性指標(biāo)的權(quán)重，scoreperformance、scorecomplexity、scoreruntime分別為性能指標(biāo)、復(fù)雜度指標(biāo)、穩(wěn)定性指標(biāo)的得分。

12、優(yōu)選地，所述性能指標(biāo)包括至少一個(gè)性能參數(shù)；

13、性能指標(biāo)得分scoreperformance的計(jì)算公式如下：

14、

15、其中，pi表示第i個(gè)性能參數(shù)，wpi表示第i個(gè)性能參數(shù)的權(quán)重，n為性能參數(shù)的數(shù)量。

16、優(yōu)選地，所述復(fù)雜度指標(biāo)包括：

17、時(shí)間復(fù)雜度，空間復(fù)雜度；

18、復(fù)雜度指標(biāo)得分scorecomplexity的計(jì)算公式如下：

19、scorecomplexity＝wspace·scorespace+wtime·scoretime?(3)；

20、

21、其中，wspace、wtime為空間復(fù)雜度和時(shí)間復(fù)雜度對應(yīng)的權(quán)重，scorespace、scoretime分別為空間復(fù)雜度得分和時(shí)間復(fù)雜度得分，t表示當(dāng)前算法的時(shí)間復(fù)雜度，tmax表示允許的最大時(shí)間復(fù)雜度，s表示當(dāng)前算法的空間復(fù)雜度，smax表示允許的最大空間復(fù)雜度。

22、優(yōu)選地，所述穩(wěn)定性指標(biāo)包括：

23、算法穩(wěn)定運(yùn)行時(shí)間；

24、穩(wěn)定性指標(biāo)得分scoreruntime計(jì)算如下：

25、

26、其中，β為分?jǐn)?shù)衰減速度的調(diào)整參數(shù)。

27、優(yōu)選地，s3所述基于聚類分析、信息熵計(jì)算對預(yù)處理后的新的原始數(shù)據(jù)集進(jìn)行篩選得到更新數(shù)據(jù)集，包括：

28、s31：對預(yù)處理后的新的原始數(shù)據(jù)集進(jìn)行聚類分析，獲取聚類分析中心點(diǎn)：

29、對預(yù)處理后的新的原始數(shù)據(jù)集隨機(jī)選擇k個(gè)初始聚類分析中心點(diǎn)；

30、分配數(shù)據(jù)點(diǎn)，將每個(gè)數(shù)據(jù)點(diǎn)根據(jù)距離分配給其最近的中心點(diǎn)形成的簇；

31、通過重新計(jì)算每個(gè)簇中所有數(shù)據(jù)點(diǎn)的均值，更新聚類分析中心點(diǎn)，簇中所有數(shù)據(jù)點(diǎn)的均值計(jì)算如式(6)：

32、

33、其中，μi是第i個(gè)簇的中心點(diǎn)，ci是第i個(gè)簇的所有數(shù)據(jù)點(diǎn)，xj是數(shù)據(jù)點(diǎn)；

34、重復(fù)進(jìn)行分配數(shù)據(jù)點(diǎn)和更新聚類分析中心點(diǎn)，直到聚類分析中心點(diǎn)不再發(fā)生變化或達(dá)到指定的迭代次數(shù)；

35、s32：計(jì)算預(yù)處理后的新的原始數(shù)據(jù)集的信息熵和信息增益，信息熵計(jì)算如下：

36、

37、其中，h(d)是數(shù)據(jù)集d的信息熵，pi是類別i的概率；

38、信息增益計(jì)算如下：

39、ig(d,xj)＝h(d)-h(d\{xj})?(8)；

40、其中，ig(d,xj)是樣本xj對數(shù)據(jù)集d的信息增益，h(d\{xj})是去除樣本xj后數(shù)據(jù)集的條件熵，pi′是類別i'的概率；

41、根據(jù)計(jì)算得到的信息增益，找到不同類別數(shù)據(jù)中信息增益較大的樣本點(diǎn)；

42、s33：將s32和s33中得到的聚類分析的中心點(diǎn)、信息增益較大的樣本點(diǎn)，與模擬數(shù)據(jù)集進(jìn)行對比，計(jì)算樣本之間的向量相似度，刪除已有工況或向量相似度高的樣本，以剩余樣本組成更新數(shù)據(jù)集。

43、基于一個(gè)總的發(fā)明構(gòu)思，本發(fā)明還提供一種基于數(shù)據(jù)回放的工業(yè)算法實(shí)時(shí)測試系統(tǒng)，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述方法的步驟。

44、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

45、本發(fā)明通過現(xiàn)場數(shù)據(jù)回放的方式進(jìn)行算法實(shí)時(shí)驗(yàn)證與評估，從而模擬該算法模型在工業(yè)環(huán)境下的運(yùn)行情況，使得用戶可以對算法進(jìn)行實(shí)時(shí)驗(yàn)證，同時(shí)采集實(shí)時(shí)數(shù)據(jù)，監(jiān)測設(shè)備性能變化，利用基于聚類分析和信息增益的提取具有豐富性和代表性的典型數(shù)據(jù)并對算法驗(yàn)證過程中所用的模擬數(shù)據(jù)集進(jìn)行熱更新，使得數(shù)據(jù)集能夠反映最新的現(xiàn)場情況和算法的性能變化，此外還構(gòu)建了算法性能、復(fù)雜度等評估指標(biāo)，從準(zhǔn)確性、穩(wěn)定性、復(fù)雜度等方面綜合評價(jià)不同用戶的算法，從而了實(shí)現(xiàn)了對算法實(shí)時(shí)監(jiān)控和分析的效果，并保證了算法評價(jià)的公平性和有效性。本發(fā)明提供的基于數(shù)據(jù)回放的故障診斷算法實(shí)時(shí)測試方法可廣泛應(yīng)用于智能制造、化工生產(chǎn)、冶金工業(yè)、交通與物流、建筑與基礎(chǔ)設(shè)施等工業(yè)領(lǐng)域，對軟測量、健康監(jiān)測、故障診斷、過程優(yōu)化等算法進(jìn)行測試、評價(jià)。