本發(fā)明涉及通信領(lǐng)域，尤其涉及一種處理能力評(píng)估方法及裝置。

背景技術(shù)：

隨著科學(xué)技術(shù)和互聯(lián)網(wǎng)的發(fā)展，現(xiàn)代社會(huì)的信息量迅速增長(zhǎng)，這些信息里積累著大規(guī)模的數(shù)據(jù)，這些數(shù)據(jù)中將會(huì)有部分?jǐn)?shù)據(jù)存儲(chǔ)在云平臺(tái)中或借助云平臺(tái)進(jìn)行處理。借助Hadoop用戶可以在不了解分布式底層細(xì)節(jié)的情況下，通過(guò)編寫(xiě)分布式并行程序，并將其運(yùn)行在由成百上千個(gè)節(jié)點(diǎn)組成的大規(guī)模計(jì)算機(jī)集群上，以高效地存儲(chǔ)、管理和分析這些存儲(chǔ)在云平臺(tái)中的數(shù)據(jù)。

Hadoop是一個(gè)開(kāi)源的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件架構(gòu)，其最底部是一個(gè)分布式文件系統(tǒng)，通過(guò)采用分布式存儲(chǔ)方式來(lái)進(jìn)行海量數(shù)據(jù)存儲(chǔ)，以提高數(shù)據(jù)的讀寫(xiě)速度，并擴(kuò)大存儲(chǔ)容量，分布式文件系統(tǒng)的上一層是映射簡(jiǎn)化(MapReduce)引擎，它主要通過(guò)Map和Reduce這兩個(gè)步驟對(duì)分布式文件系統(tǒng)中的海量數(shù)據(jù)進(jìn)行并行處理，以保證分析和處理數(shù)據(jù)的高效性。正是由于Hadoop突出的優(yōu)勢(shì)，其在許多領(lǐng)域中被廣泛應(yīng)用，但是在應(yīng)用的過(guò)程中，一些問(wèn)題也隨之產(chǎn)生，其中之一是企業(yè)為了能夠方便的制定出購(gòu)置計(jì)劃并合理的進(jìn)行計(jì)算資源分配，必須在搭建大規(guī)模計(jì)算機(jī)集群之前，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行準(zhǔn)確的評(píng)估，但是，在評(píng)估大規(guī)模計(jì)算機(jī)集群的處理能力時(shí)，往往會(huì)遇到以下問(wèn)題：

首先，在對(duì)大規(guī)模計(jì)算機(jī)集群進(jìn)行評(píng)估時(shí)，需要將應(yīng)用部署在大規(guī)模計(jì)算機(jī)集群上，但是由于計(jì)算機(jī)集群的規(guī)模較大(數(shù)百甚至上千個(gè)節(jié)點(diǎn))，導(dǎo)致難以找到一個(gè)可供評(píng)估的大規(guī)模計(jì)算機(jī)集群，另外，若直接在生產(chǎn)系統(tǒng)上進(jìn)行評(píng)估，則會(huì)影響生產(chǎn)系統(tǒng)的正常運(yùn)行，甚至給生產(chǎn)系統(tǒng)帶來(lái)災(zāi)難，因此，無(wú)法找到合適的大規(guī)模計(jì)算機(jī)集群進(jìn)行全系統(tǒng)的處理能力評(píng)估。

其次，即使找到合適的大規(guī)模計(jì)算機(jī)集群，在這由數(shù)百甚至上千個(gè)節(jié)點(diǎn)組成的計(jì)算機(jī)集群上進(jìn)行全系統(tǒng)的處理能力評(píng)估，花費(fèi)的時(shí)間會(huì)很長(zhǎng)， 且能耗會(huì)很大，導(dǎo)致了評(píng)估成本的增加。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種處理能力評(píng)估方法及裝置，在節(jié)省評(píng)估成本的前提下，實(shí)現(xiàn)了對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估。

為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：

本發(fā)明的第一方面，提供一種處理能力評(píng)估方法，包括：

采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)；

根據(jù)所述運(yùn)行參數(shù)獲取性能推演模型；

獲取所述小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息；

根據(jù)所述小規(guī)模計(jì)算機(jī)集群的配置信息、所述大規(guī)模計(jì)算機(jī)集群的配置信息和所述性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到所述大規(guī)模計(jì)算機(jī)集群的處理能力；

其中，所述小規(guī)模計(jì)算機(jī)集群的配置信息包括：組成所述小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)a，所述小規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量x；所述大規(guī)模計(jì)算機(jī)集群的配置信息包括：組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)b，所述大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量y；所述a和所述b均為正整數(shù)，且所述a小于所述b，且組成所述小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)與組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)的配置參數(shù)相同。

結(jié)合第一方面，在一種可能的實(shí)現(xiàn)方式中，所述運(yùn)行參數(shù)包括：第一實(shí)際執(zhí)行時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行映射Map操作的實(shí)際執(zhí)行時(shí)間；第二實(shí)際執(zhí)行時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行化簡(jiǎn)Reduce操作的實(shí)際執(zhí)行時(shí)間；第一中央處理器CPU利用率，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Map操作時(shí)的CPU利用率；第二CPU利用率，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Reduce操作時(shí)的CPU利用率；第一輸入/輸出I/O等待時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Map操作時(shí)的I/O等待時(shí)間；第二I/O等待時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Reduce操作時(shí)的I/O等待時(shí)間；

所述根據(jù)所述運(yùn)行參數(shù)獲取性能推演模型，包括：

根據(jù)所述第一CPU利用率和所述第二CPU利用率獲取所述應(yīng)用的總 任務(wù)量；

根據(jù)所述應(yīng)用的總?cè)蝿?wù)量和第一I/O等待比率，獲取第一理論執(zhí)行時(shí)間；其中，所述第一I/O等待比率等于所述第一I/O等待時(shí)間與所述第一實(shí)際執(zhí)行時(shí)間的比值，所述第一理論執(zhí)行時(shí)間為所述小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Map操作的理論執(zhí)行時(shí)間；

根據(jù)所述應(yīng)用的總?cè)蝿?wù)量和第二I/O等待比率，獲取第二理論執(zhí)行時(shí)間；其中，所述第二I/O等待比率等于所述第二I/O等待時(shí)間與所述第二實(shí)際執(zhí)行時(shí)間的比值，所述第二理論執(zhí)行時(shí)間為所述小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Reduce操作的理論執(zhí)行時(shí)間；

根據(jù)所述第一實(shí)際執(zhí)行時(shí)間獲取第三理論執(zhí)行時(shí)間，所述第三理論執(zhí)行時(shí)間為所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Map操作的理論執(zhí)行時(shí)間；

根據(jù)所述第二實(shí)際執(zhí)行時(shí)間獲取第四理論執(zhí)行時(shí)間，所述第四理論執(zhí)行時(shí)間為所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Reduce操作的理論執(zhí)行時(shí)間；

根據(jù)所述第一理論執(zhí)行時(shí)間、所述第二理論執(zhí)行時(shí)間、所述第三理論執(zhí)行時(shí)間、所述第四理論執(zhí)行時(shí)間、所述第一實(shí)際執(zhí)行時(shí)間和所述第二實(shí)際執(zhí)行時(shí)間，獲取所述性能推演模型。

結(jié)合第一方面和上述可能的實(shí)現(xiàn)方式，在另一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述第一實(shí)際執(zhí)行時(shí)間獲取第三理論執(zhí)行時(shí)間，包括：

獲取第一拓展系數(shù)；

根據(jù)所述第一拓展系數(shù)和所述第一實(shí)際執(zhí)行時(shí)間，獲取所述第三理論執(zhí)行時(shí)間；

其中，所述第一拓展系數(shù)＝(a÷b)×(y÷x)；

所述第一拓展系數(shù)、所述第一實(shí)際執(zhí)行時(shí)間和所述第三理論執(zhí)行時(shí)間之間滿足以下條件：第三理論執(zhí)行時(shí)間＝第一實(shí)際執(zhí)行時(shí)間×第一拓展系數(shù)。

結(jié)合第一方面和上述可能的實(shí)現(xiàn)方式，在另一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述第二實(shí)際執(zhí)行時(shí)間獲取第四理論執(zhí)行時(shí)間，包括：

獲取第二拓展系數(shù)；

根據(jù)所述第二拓展系數(shù)和所述第二實(shí)際執(zhí)行時(shí)間，獲取所述第四理論執(zhí)行時(shí)間；

其中，所述第二拓展系數(shù)＝(C(D(y))÷C(D(x)))×(a÷b)，D()為執(zhí)行Map操作時(shí)輸入數(shù)據(jù)量和輸出數(shù)據(jù)量的關(guān)系函數(shù)，C()為執(zhí)行Reduce操作時(shí)的算法復(fù)雜度；

所述第二拓展系數(shù)、所述第二實(shí)際執(zhí)行時(shí)間和所述第四理論執(zhí)行時(shí)間之間滿足以下條件：第四理論時(shí)間＝第二實(shí)際執(zhí)行時(shí)間×第二拓展系數(shù)。

結(jié)合第一方面和上述可能的實(shí)現(xiàn)方式，在另一種可能的實(shí)現(xiàn)方式中，所述推演模型為：

(第三理論執(zhí)行時(shí)間÷第一理論執(zhí)行時(shí)間)×第一實(shí)際執(zhí)行時(shí)間+(第四理論執(zhí)行時(shí)間÷第二理論執(zhí)行時(shí)間)×第二實(shí)際執(zhí)行時(shí)間。

結(jié)合第一方面和上述可能的實(shí)現(xiàn)方式，在另一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述小規(guī)模計(jì)算機(jī)集群的配置信息、所述大規(guī)模計(jì)算機(jī)集群的配置信息和所述性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到所述大規(guī)模計(jì)算機(jī)集群的處理能力，包括：

根據(jù)所述a、所述x、所述b、所述y和所述性能推演模型，獲取所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間；

根據(jù)所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間，獲取所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間；

根據(jù)所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間和所述y，獲取所述大規(guī)模計(jì)算機(jī)集群的處理能力。

本發(fā)明的第二方面，提供一種處理能力評(píng)估裝置，包括：

采集單元，用于采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)；

第一獲取單元，用于根據(jù)所述采集單元采集到的所述運(yùn)行參數(shù)獲取性能推演模型；

第二獲取單元，用于獲取所述小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息；

評(píng)估單元，用于根據(jù)所述第二獲取單元獲取到的所述小規(guī)模計(jì)算機(jī)集群的配置信息、所述大規(guī)模計(jì)算機(jī)集群的配置信息和所述第一獲取單元獲取到的所述性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以 得到所述大規(guī)模計(jì)算機(jī)集群的處理能力；

其中，所述小規(guī)模計(jì)算機(jī)集群的配置信息包括：組成所述小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)a，所述小規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量x；所述大規(guī)模計(jì)算機(jī)集群的配置信息包括：組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)b，所述大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量y；所述a和所述b均為正整數(shù)，且所述a小于所述b，且組成所述小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)與組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)的配置參數(shù)相同。

結(jié)合第二方面，在一種可能的實(shí)現(xiàn)方式中，所述運(yùn)行參數(shù)包括：第一實(shí)際執(zhí)行時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行映射Map操作的實(shí)際執(zhí)行時(shí)間；第二實(shí)際執(zhí)行時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行化簡(jiǎn)Reduce操作的實(shí)際執(zhí)行時(shí)間；第一中央處理器CPU利用率，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Map操作時(shí)的CPU利用率；第二CPU利用率，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Reduce操作時(shí)的CPU利用率；第一輸入/輸出I/O等待時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Map操作時(shí)的I/O等待時(shí)間；第二I/O等待時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Reduce操作時(shí)的I/O等待時(shí)間；

所述第一獲取單元，包括：

第一獲取模塊，用于根據(jù)所述第一CPU利用率和所述第二CPU利用率獲取所述應(yīng)用的總?cè)蝿?wù)量；

第二獲取模塊，用于根據(jù)所述第一獲取模塊獲取到的所述應(yīng)用的總?cè)蝿?wù)量和第一I/O等待比率，獲取第一理論執(zhí)行時(shí)間，根據(jù)所述第一獲取模塊獲取到的所述應(yīng)用的總?cè)蝿?wù)量和第二I/O等待比率，獲取第二理論執(zhí)行時(shí)間；其中，所述第一I/O等待比率等于所述第一I/O等待時(shí)間與所述第一實(shí)際執(zhí)行時(shí)間的比值，所述第一理論執(zhí)行時(shí)間為所述小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Map操作的理論執(zhí)行時(shí)間，所述第二I/O等待比率等于所述第二I/O等待時(shí)間與所述第二實(shí)際執(zhí)行時(shí)間的比值，所述第二理論執(zhí)行時(shí)間為所述小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Reduce操作的理論執(zhí)行時(shí)間；

第三獲取模塊，用于根據(jù)所述第一實(shí)際執(zhí)行時(shí)間獲取第三理論執(zhí)行時(shí)間，根據(jù)所述第二實(shí)際執(zhí)行時(shí)間獲取第四理論執(zhí)行時(shí)間；其中，所述第三 理論執(zhí)行時(shí)間為所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Map操作的理論執(zhí)行時(shí)間，所述第四理論執(zhí)行時(shí)間為所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Reduce操作的理論執(zhí)行時(shí)間；

第四獲取模塊，用于根據(jù)所述第二獲取模塊獲取到的所述第一理論執(zhí)行時(shí)間和所述第二理論執(zhí)行時(shí)間，所述第三獲取模塊獲取到的所述第三理論執(zhí)行時(shí)間和所述第四理論執(zhí)行時(shí)間，以及所述第一實(shí)際執(zhí)行時(shí)間和所述第二實(shí)際執(zhí)行時(shí)間，獲取所述性能推演模型。

結(jié)合第二方面和上述可能的實(shí)現(xiàn)方式，在另一種可能的實(shí)現(xiàn)方式中，所述第三獲取模塊，具體用于：

獲取第一拓展系數(shù)；

根據(jù)所述第一拓展系數(shù)和所述第一實(shí)際執(zhí)行時(shí)間，獲取所述第三理論執(zhí)行時(shí)間；

其中，所述第一拓展系數(shù)＝(a÷b)×(y÷x)；

所述第一拓展系數(shù)、所述第一實(shí)際執(zhí)行時(shí)間和所述第三理論執(zhí)行時(shí)間之間滿足以下條件：第三理論執(zhí)行時(shí)間＝第一實(shí)際執(zhí)行時(shí)間×第一拓展系數(shù)。

結(jié)合第二方面和上述可能的實(shí)現(xiàn)方式，在另一種可能的實(shí)現(xiàn)方式中，所述第三獲取模塊，具體用于：

獲取第二拓展系數(shù)；

根據(jù)所述第二拓展系數(shù)和所述第二實(shí)際執(zhí)行時(shí)間，獲取所述第四理論執(zhí)行時(shí)間；

其中，所述第二拓展系數(shù)＝(C(D(y))÷C(D(x)))×(a÷b)，D()為執(zhí)行Map操作時(shí)輸入數(shù)據(jù)量和輸出數(shù)據(jù)量的關(guān)系函數(shù)，C()為執(zhí)行Reduce操作時(shí)的算法復(fù)雜度；

所述第二拓展系數(shù)、所述第二實(shí)際執(zhí)行時(shí)間和所述第四理論執(zhí)行時(shí)間之間滿足以下條件：第四理論時(shí)間＝第二實(shí)際執(zhí)行時(shí)間×第二拓展系數(shù)。

結(jié)合第二方面和上述可能的實(shí)現(xiàn)方式，在另一種可能的實(shí)現(xiàn)方式中，所述推演模型為：

(第三理論執(zhí)行時(shí)間÷第一理論執(zhí)行時(shí)間)×第一實(shí)際執(zhí)行時(shí)間+(第四理論執(zhí)行時(shí)間÷第二理論執(zhí)行時(shí)間)×第二實(shí)際執(zhí)行時(shí)間。

結(jié)合第二方面和上述可能的實(shí)現(xiàn)方式，在另一種可能的實(shí)現(xiàn)方式中，所述評(píng)估單元，具體用于：

根據(jù)所述a、所述x、所述b、所述y和所述性能推演模型，獲取所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間；

根據(jù)所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間，獲取所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間；

根據(jù)所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間和所述y，獲取所述大規(guī)模計(jì)算機(jī)集群的處理能力。

本發(fā)明提供的處理能力評(píng)估方法及裝置，首先采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)，并根據(jù)采集到的運(yùn)行參數(shù)獲取性能推演模型，然后獲取小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息，最后根據(jù)小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到大規(guī)模計(jì)算機(jī)集群的處理能力，使得在進(jìn)行大規(guī)模計(jì)算機(jī)集群的處理能力評(píng)估時(shí)，無(wú)需尋找到合適的大規(guī)模計(jì)算機(jī)集群，且無(wú)需在找到的合適的大規(guī)模計(jì)算機(jī)集群上進(jìn)行實(shí)際的操作，而是直接通過(guò)將大規(guī)模計(jì)算機(jī)集群的配置信息代入根據(jù)采集到的同構(gòu)小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)獲取到的性能推演模型，實(shí)現(xiàn)對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估，從而在節(jié)省評(píng)估成本的前提下，實(shí)現(xiàn)了對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明一實(shí)施例提供的一種處理能力評(píng)估方法流程圖；

圖2為本發(fā)明另一實(shí)施例提供的一種處理能力評(píng)估方法流程圖；

圖3為本發(fā)明另一實(shí)施例提供的一種處理能力評(píng)估裝置組成示意圖；

圖4為本發(fā)明另一實(shí)施例提供的另一種處理能力評(píng)估裝置組成示意圖；

圖5為本發(fā)明另一實(shí)施例提供的一種處理能力評(píng)估裝置組成示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明一實(shí)施例提供一種處理能力評(píng)估方法，如圖1所示，該方法可以包括：

101、采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)。

具體的，當(dāng)需要對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估時(shí)，首先，構(gòu)建一個(gè)小規(guī)模計(jì)算機(jī)集群，且組成該小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)與組成大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)的配置參數(shù)相同，然后在構(gòu)建的小規(guī)模計(jì)算機(jī)集群上運(yùn)行應(yīng)用，并在應(yīng)用運(yùn)行時(shí)，處理能力評(píng)估裝置采集該小規(guī)模計(jì)算機(jī)集群運(yùn)行該應(yīng)用時(shí)的運(yùn)行參數(shù)。

102、根據(jù)運(yùn)行參數(shù)獲取性能推演模型。

其中，在處理能力評(píng)估裝置采集到小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)之后，可以根據(jù)采集到的運(yùn)行參數(shù)獲取性能推演模型，以根據(jù)該性能推演模型實(shí)現(xiàn)對(duì)大規(guī)模計(jì)算機(jī)集群的處理性能的評(píng)估。

103、獲取小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息。

其中，小規(guī)模計(jì)算機(jī)集群的配置信息包括：組成小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)a，小規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量x；大規(guī)模計(jì)算機(jī)集群的配置信息包括：組成大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)b，大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量y；a和b均為正整數(shù)，且a小于b。

104、根據(jù)小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到大規(guī)模計(jì)算機(jī)集群的處理能力。

其中，在處理能力評(píng)估裝置獲取到小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型之后，便可以將小規(guī)模計(jì)算機(jī) 集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息代入性能推演模型中，以對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，進(jìn)而得到大規(guī)模計(jì)算機(jī)集群的處理能力。

本發(fā)明提供的處理能力評(píng)估方法，首先采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)，并根據(jù)采集到的運(yùn)行參數(shù)獲取性能推演模型，然后獲取小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息，最后根據(jù)小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到大規(guī)模計(jì)算機(jī)集群的處理能力，使得在進(jìn)行大規(guī)模計(jì)算機(jī)集群的處理能力評(píng)估時(shí)，無(wú)需尋找到合適的大規(guī)模計(jì)算機(jī)集群，且無(wú)需在找到的合適的大規(guī)模計(jì)算機(jī)集群上進(jìn)行實(shí)際的操作，而是直接通過(guò)將大規(guī)模計(jì)算機(jī)集群的配置信息代入根據(jù)采集到的同構(gòu)小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)獲取到的性能推演模型，實(shí)現(xiàn)對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估，從而在節(jié)省評(píng)估成本的前提下，實(shí)現(xiàn)了對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估。

本發(fā)明另一實(shí)施例提供一種處理能力評(píng)估方法，如圖2所示，以MapReduce計(jì)算機(jī)集群為例對(duì)本發(fā)明實(shí)施例提供的處理能力評(píng)估方法的具體過(guò)程進(jìn)行說(shuō)明，該方法可以包括：

201、采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)。

具體的，當(dāng)需要對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估時(shí)，首先，構(gòu)建一個(gè)小規(guī)模計(jì)算機(jī)集群，且組成該小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)與組成大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)的配置參數(shù)相同，然后在構(gòu)建的小規(guī)模計(jì)算機(jī)集群上運(yùn)行應(yīng)用，并在應(yīng)用運(yùn)行時(shí)，處理能力評(píng)估裝置采集該小規(guī)模計(jì)算機(jī)集群運(yùn)行該應(yīng)用時(shí)的運(yùn)行參數(shù)。

其中，節(jié)點(diǎn)的配置參數(shù)指的是軟件配置，如操作系統(tǒng)版本，hadoop版本，hadoop配置參數(shù)等。

具體的，該運(yùn)行參數(shù)可以包括：第一實(shí)際執(zhí)行時(shí)間、第二實(shí)際執(zhí)行時(shí)間、第一中央處理器(英文：Central Processing Unit，簡(jiǎn)稱：CPU)利用率、第二CPU利用率、第一輸入/輸出(英文：input/output，簡(jiǎn)稱：I/O)等待時(shí)間、第二I/O等待時(shí)間。

其中，第一實(shí)際執(zhí)行時(shí)間為小規(guī)模計(jì)算機(jī)集群執(zhí)行Map操作的實(shí)際 執(zhí)行時(shí)間；第二實(shí)際執(zhí)行時(shí)間為小規(guī)模計(jì)算機(jī)集群執(zhí)行Reduce操作的實(shí)際執(zhí)行時(shí)間；第一CPU利用率為小規(guī)模計(jì)算機(jī)集群執(zhí)行Map操作時(shí)的CPU利用率；第二CPU利用率為小規(guī)模計(jì)算機(jī)集群執(zhí)行Reduce操作時(shí)的CPU利用率；第一I/O等待時(shí)間為小規(guī)模計(jì)算機(jī)集群執(zhí)行Map操作時(shí)的I/O等待時(shí)間；第二I/O等待時(shí)間為小規(guī)模計(jì)算機(jī)集群執(zhí)行Reduce操作時(shí)的I/O等待時(shí)間。

202、獲取小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息。

其中，小規(guī)模計(jì)算機(jī)集群的配置信息包括：組成小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)a，小規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量x。大規(guī)模計(jì)算機(jī)集群的配置信息包括：組成大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)b，大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量y。a和b均為正整數(shù)，且a小于b。

在處理能力評(píng)估裝置采集到小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)之后，可以根據(jù)采集到的運(yùn)行參數(shù)獲取性能推演模型，具體的可以包括以下步驟203-步驟208：

203、根據(jù)第一CPU利用率和第二CPU利用率獲取應(yīng)用的總?cè)蝿?wù)量。

其中，處理能力評(píng)估裝置根據(jù)采集到的第一CPU利用率和第二CPU利用率，獲得運(yùn)行應(yīng)用時(shí)該小規(guī)模計(jì)算機(jī)集群的CPU利用率曲線，然后通過(guò)對(duì)獲得到CPU利用率曲線進(jìn)行積分，便可以獲取到應(yīng)用的總?cè)蝿?wù)量。

204、根據(jù)應(yīng)用的總?cè)蝿?wù)量和第一I/O等待比率，獲取第一理論執(zhí)行時(shí)間。

其中，第一I/O等待比率等于第一I/O等待時(shí)間與第一實(shí)際執(zhí)行時(shí)間的比值，第一理論執(zhí)行時(shí)間為小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)(單任務(wù)指的是在小規(guī)模計(jì)算機(jī)集群運(yùn)行的應(yīng)用中僅包含一個(gè)任務(wù))時(shí)執(zhí)行Map操作的理論執(zhí)行時(shí)間。在處理能力評(píng)估裝置獲取到應(yīng)用的總?cè)蝿?wù)量之后，可以根據(jù)應(yīng)用的總?cè)蝿?wù)量和第一I/O等待比率獲取小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Map操作的理論執(zhí)行時(shí)間，即獲取第一理論執(zhí)行時(shí)間。

在本發(fā)明實(shí)施例中，處理能力評(píng)估裝置根據(jù)應(yīng)用的總?cè)蝿?wù)量和第一I/O等待比率獲取第一理論執(zhí)行時(shí)間具體的可以是：首先，處理能力評(píng)估裝置獲取第一I/O等待比率(第一I/O等待比率等于第一I/O等待時(shí)間與 第一實(shí)際執(zhí)行時(shí)間的比值)，然后，用應(yīng)用的總?cè)蝿?wù)量除以1與第一I/O等待比率的差值，計(jì)算出的結(jié)果便是小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Map操作的理論執(zhí)行時(shí)間，即第一理論執(zhí)行時(shí)間。

205、根據(jù)應(yīng)用的總?cè)蝿?wù)量和第二I/O等待比率，獲取第二理論執(zhí)行時(shí)間。

其中，第二I/O等待比率等于第二I/O等待時(shí)間與第二實(shí)際執(zhí)行時(shí)間的比值，第二理論執(zhí)行時(shí)間為小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Reduce操作的理論執(zhí)行時(shí)間。在處理能力評(píng)估裝置獲取到應(yīng)用的總?cè)蝿?wù)量之后，可以根據(jù)應(yīng)用的總?cè)蝿?wù)量和第二I/O等待比率獲取為小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Reduce操作的理論執(zhí)行時(shí)間，即獲取第二理論執(zhí)行時(shí)間。

在本發(fā)明實(shí)施例中，處理能力評(píng)估裝置根據(jù)應(yīng)用的總?cè)蝿?wù)量和第二I/O等待比率獲取第二理論執(zhí)行時(shí)間具體的可以是：首先，處理能力評(píng)估裝置獲取第二I/O等待比率(第二I/O等待比率等于第二I/O等待時(shí)間與第二實(shí)際執(zhí)行時(shí)間的比值)，然后，用應(yīng)用的總?cè)蝿?wù)量除以1與第二I/O等待比率的差值，計(jì)算出的結(jié)果便是小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Reduce操作的理論執(zhí)行時(shí)間，即第二理論執(zhí)行時(shí)間。

需要說(shuō)明的是，在本發(fā)明實(shí)施例中，步驟204和步驟205的執(zhí)行沒(méi)有先后順序，也就是說(shuō)，可以先執(zhí)行步驟204，再執(zhí)行步驟205，也可以先執(zhí)行步驟205，再執(zhí)行步驟204，當(dāng)然，還可以同時(shí)執(zhí)行步驟204和步驟205，本發(fā)明實(shí)施例在此對(duì)步驟204和步驟205的執(zhí)行順序不做具體限制，可以根據(jù)實(shí)際應(yīng)用場(chǎng)景的需求進(jìn)行選擇和設(shè)置。

206、根據(jù)第一實(shí)際執(zhí)行時(shí)間獲取第三理論執(zhí)行時(shí)間。

其中，第三理論執(zhí)行時(shí)間為大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Map操作的理論執(zhí)行時(shí)間。處理能力評(píng)估裝置可以根據(jù)采集到的第一實(shí)際執(zhí)行時(shí)間獲取大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Map操作的理論執(zhí)行時(shí)間，即獲取第三理論執(zhí)行時(shí)間。

在本發(fā)明實(shí)施例中，處理能力評(píng)估裝置根據(jù)第一實(shí)際執(zhí)行時(shí)間獲取第三理論執(zhí)行時(shí)間具體的可以是：

首先，處理能力評(píng)估裝置獲取第一拓展系數(shù)。

其中，由于在通過(guò)每個(gè)Map操作進(jìn)行數(shù)據(jù)處理時(shí)，處理的數(shù)據(jù)量和算法不會(huì)因計(jì)算機(jī)集群中包含的節(jié)點(diǎn)數(shù)量和待處理數(shù)據(jù)量的增加而改變，且通過(guò)每個(gè)Map操作進(jìn)行數(shù)據(jù)處理時(shí)，其對(duì)系統(tǒng)資源的需求也是基本相同的，計(jì)算機(jī)集群中包含的節(jié)點(diǎn)數(shù)量的多少和待處理數(shù)據(jù)量的大小影響的僅僅是Map操作的總數(shù)量的變化，因此需設(shè)置一個(gè)擴(kuò)展系數(shù)來(lái)對(duì)節(jié)點(diǎn)數(shù)量和待處理數(shù)據(jù)量的變化進(jìn)行調(diào)整，該拓展系數(shù)即為第一拓展系數(shù)，且第一拓展系數(shù)＝(a÷b)×(y÷x)，a為組成小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)，b為組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)，x為小規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量，y為大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量。

然后，處理能力評(píng)估裝置根據(jù)第一拓展系數(shù)和第一實(shí)際執(zhí)行時(shí)間，獲取第三理論執(zhí)行時(shí)間。

其中，第一拓展系數(shù)、第一實(shí)際執(zhí)行時(shí)間和第三理論執(zhí)行時(shí)間之間滿足以下條件：第三理論執(zhí)行時(shí)間＝第一實(shí)際執(zhí)行時(shí)間×第一拓展系數(shù)。

207、根據(jù)第二實(shí)際執(zhí)行時(shí)間獲取第四理論執(zhí)行時(shí)間。

其中，第四理論執(zhí)行時(shí)間為大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Reduce操作的理論執(zhí)行時(shí)間。處理能力評(píng)估裝置可以根據(jù)采集到的第二實(shí)際執(zhí)行時(shí)間獲取大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Reduce操作的理論執(zhí)行時(shí)間，即獲取第四理論執(zhí)行時(shí)間。

在本發(fā)明實(shí)施例中，處理能力評(píng)估裝置根據(jù)第二實(shí)際執(zhí)行時(shí)間獲取第四理論執(zhí)行時(shí)間具體的可以是：

首先，處理能力評(píng)估裝置獲取第二拓展系數(shù)。

其中，眾所周知，Reduce操作的輸入數(shù)據(jù)集是由Map操作產(chǎn)生的，計(jì)算機(jī)集群中包含的節(jié)點(diǎn)數(shù)量和待處理數(shù)據(jù)量的增加會(huì)導(dǎo)致Reduce操作的復(fù)雜度增加，因此需設(shè)置另一個(gè)擴(kuò)展系數(shù)來(lái)對(duì)節(jié)點(diǎn)數(shù)量和待處理數(shù)據(jù)量的變化進(jìn)行調(diào)整，且該擴(kuò)展系數(shù)中需輸入一些先驗(yàn)知識(shí)，具體的該拓展系數(shù)即為第二拓展系數(shù)，且第二拓展系數(shù)＝(C(D(y))÷C(D(x)))×(a÷b)，D()為執(zhí)行Map操作時(shí)輸入數(shù)據(jù)量和輸出數(shù)據(jù)量的關(guān)系函數(shù)，C()為執(zhí)行Reduce操作時(shí)的算法復(fù)雜度。

然后，處理能力評(píng)估裝置根據(jù)第二拓展系數(shù)和第二實(shí)際執(zhí)行時(shí)間，獲取第四理論執(zhí)行時(shí)間。

其中，第二拓展系數(shù)、第二實(shí)際執(zhí)行時(shí)間和第四理論執(zhí)行時(shí)間之間滿足以下條件：第四理論時(shí)間＝第二實(shí)際執(zhí)行時(shí)間×第二拓展系數(shù)。

需要說(shuō)明的是，在本發(fā)明實(shí)施例中，步驟206和步驟207的執(zhí)行沒(méi)有先后順序，也就是說(shuō)，可以先執(zhí)行步驟206，再執(zhí)行步驟207，也可以先執(zhí)行步驟207，再執(zhí)行步驟206，當(dāng)然，還可以同時(shí)執(zhí)行步驟206和步驟207，本發(fā)明實(shí)施例在此對(duì)步驟206和步驟207的執(zhí)行順序不做具體限制，可以根據(jù)實(shí)際應(yīng)用場(chǎng)景的需求進(jìn)行選擇和設(shè)置。

208、根據(jù)第一理論執(zhí)行時(shí)間、第二理論執(zhí)行時(shí)間、第三理論執(zhí)行時(shí)間、第四理論執(zhí)行時(shí)間、第一實(shí)際執(zhí)行時(shí)間和第二實(shí)際執(zhí)行時(shí)間，獲取性能推演模型。

其中，在處理能力評(píng)估裝置獲取到第一理論執(zhí)行時(shí)間、第二理論執(zhí)行時(shí)間、第三理論執(zhí)行時(shí)間、第四理論執(zhí)行時(shí)間之后，便可以根據(jù)第一理論執(zhí)行時(shí)間、第二理論執(zhí)行時(shí)間、第三理論執(zhí)行時(shí)間、第四理論執(zhí)行時(shí)間、第一實(shí)際執(zhí)行時(shí)間和第二實(shí)際執(zhí)行時(shí)間，獲取性能推演模型，且考慮到單任務(wù)的理性情況下，計(jì)算機(jī)集群的資源完全為該任務(wù)所占用，因此該性能推演模型為：(第三理論執(zhí)行時(shí)間÷第一理論執(zhí)行時(shí)間)×第一實(shí)際執(zhí)行時(shí)間+(第四理論執(zhí)行時(shí)間÷第二理論執(zhí)行時(shí)間)×第二實(shí)際執(zhí)行時(shí)間。

在本發(fā)明實(shí)施例中，在處理能力評(píng)估裝置獲取到小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型之后，便可以根據(jù)小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到大規(guī)模計(jì)算機(jī)集群的處理能力，具體的可以包括以下步驟209-步驟211：

209、根據(jù)a、x、b、y和性能推演模型，獲取大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間。

其中，將組成小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)a，小規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量x，組成大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)b，大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量y代入性能推演模型，便可以獲得大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間。

210、根據(jù)大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間，獲取大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間。

其中，由于在大規(guī)模計(jì)算機(jī)集群的實(shí)際使用過(guò)程中，絕大部分的應(yīng)用場(chǎng)景都是多任務(wù)并存的，因此，假設(shè)在大規(guī)模計(jì)算機(jī)集群運(yùn)行時(shí)其他任務(wù)CPU利用率之和隨時(shí)間變化的函數(shù)為U(t)，則單任務(wù)的實(shí)際CPU利用率為1-U(t)，這樣對(duì)單任務(wù)的實(shí)際CPU利用率進(jìn)行積分，便可以得到大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間。如，大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間為T(mén)，那么可以得到方程：

$T=\underset{0}{\overset{T}{\∫}}(1-U\left(t\right))\×\mathrm{tdt}$

解上述方程，t即為計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間。

211、根據(jù)大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間和y，獲取大規(guī)模計(jì)算機(jī)集群的處理能力。

其中，在處理能力評(píng)估裝置獲取到大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間之后，便可以根據(jù)大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間和大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量y計(jì)算得到大規(guī)模計(jì)算機(jī)集群的處理能力。

其中，大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間、y和大規(guī)模計(jì)算機(jī)集群的處理能力滿足以下條件：

大規(guī)模計(jì)算機(jī)集群的處理能力＝y(tǒng)÷大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間。

為了便于本領(lǐng)域技術(shù)人員的理解，本發(fā)明實(shí)施例在此對(duì)本發(fā)明的具體實(shí)施例過(guò)程進(jìn)行舉例說(shuō)明。

例如，大規(guī)模計(jì)算機(jī)集群由1000個(gè)節(jié)點(diǎn)組成，需對(duì)該大規(guī)模計(jì)算機(jī)集群?jiǎn)为?dú)運(yùn)行1000TB(其中，1TB＝1024GB)的排序應(yīng)用的處理能力進(jìn)行評(píng)估。

首先，構(gòu)建一個(gè)小規(guī)模計(jì)算機(jī)集群，該小規(guī)模計(jì)算機(jī)集群由5個(gè)節(jié)點(diǎn)組成，且組成該小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)與組成大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)的配置參數(shù)相同，并將待處理數(shù)據(jù)集大小為0.2TB的排序應(yīng)用在構(gòu)建的小規(guī)模計(jì)算機(jī)集群上運(yùn)行。

然后，采用本發(fā)明提供的實(shí)現(xiàn)方式，具體的過(guò)程如下：

利用數(shù)據(jù)收集工具采集該小規(guī)模計(jì)算機(jī)集群運(yùn)行該應(yīng)用時(shí)的運(yùn)行參數(shù)。假設(shè)，小規(guī)模計(jì)算機(jī)集群執(zhí)行Map操作的實(shí)際執(zhí)行時(shí)間，即第一實(shí) 際執(zhí)行時(shí)間為240s，小規(guī)模計(jì)算機(jī)集群執(zhí)行Reduce操作的實(shí)際執(zhí)行時(shí)間，即第二實(shí)際執(zhí)行時(shí)間為200s。

并根據(jù)采集到的小規(guī)模計(jì)算機(jī)集群執(zhí)行Map操作時(shí)的CPU利用率，小規(guī)模計(jì)算機(jī)集群執(zhí)行Reduce操作時(shí)的CPU利用率，小規(guī)模計(jì)算機(jī)集群執(zhí)行Map操作時(shí)的I/O等待時(shí)間，小規(guī)模計(jì)算機(jī)集群執(zhí)行Reduce操作時(shí)的I/O等待時(shí)間，利用積分方式求得小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Map操作的理論執(zhí)行時(shí)間，即第一理論執(zhí)行時(shí)間為200s，小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Reduce操作的理論執(zhí)行時(shí)間，即第二理論執(zhí)行時(shí)間為150s。

根據(jù)第一實(shí)際執(zhí)行時(shí)間獲取大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Map操作的理論執(zhí)行時(shí)間，即第三理論執(zhí)行時(shí)間。

其中，第一拓展系數(shù)＝(1000TB÷0.2TB)×(5÷1000)＝25，那么第三理論時(shí)間＝240s×25＝6000s。

根據(jù)第二實(shí)際執(zhí)行時(shí)間獲取大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行Reduce操作的理論執(zhí)行時(shí)間，即第四理論執(zhí)行時(shí)間。

其中，執(zhí)行Map操作時(shí)輸入數(shù)據(jù)量和輸出數(shù)據(jù)量的關(guān)系函數(shù)為：輸出＝輸入；執(zhí)行Reduce操作時(shí)的算法復(fù)雜度為n×log(n)，第二拓展系數(shù)＝{[1000TB×log(1000TB)]÷[0.2TB×log(0.2TB)]}×(5÷1000)＝65，那么，第四理論執(zhí)行時(shí)間＝200s×65＝13000s。

根據(jù)第一理論執(zhí)行時(shí)間、第二理論執(zhí)行時(shí)間、第三理論執(zhí)行時(shí)間、第四理論執(zhí)行時(shí)間、第一實(shí)際執(zhí)行時(shí)間和第二實(shí)際執(zhí)行時(shí)間便可以計(jì)算得到大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間＝(6000÷200)×240+(13000÷150)×200＝24533s。

由于該大規(guī)模計(jì)算機(jī)集群是單獨(dú)運(yùn)行排序應(yīng)用的，因此其他任務(wù)CPU利用率之和隨時(shí)間變化的函數(shù)為U(t)＝0，那么可以得到大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間＝大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間＝24533s，此時(shí)，便可以計(jì)算出該大規(guī)模計(jì)算機(jī)集群的處理能力為：1000TB×1024÷24533＝42GB/s。

進(jìn)一步的，在評(píng)估出大規(guī)模計(jì)算機(jī)集群的處理能力之后，還可以根據(jù)獲取到的大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行計(jì)算機(jī)集群的性能優(yōu)化，例如 根據(jù)獲取到的大規(guī)模計(jì)算機(jī)集群的處理能力調(diào)整系統(tǒng)的硬件部署，根據(jù)獲取到的大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行任務(wù)的分配等等。

需要說(shuō)明的是，本發(fā)明實(shí)施例中僅是以MapReduce計(jì)算機(jī)集群為例對(duì)本發(fā)明實(shí)施例提供的大規(guī)模計(jì)算機(jī)集群的處理能力評(píng)估方法的具體過(guò)程進(jìn)行說(shuō)明的，對(duì)于類似MapReduce計(jì)算機(jī)集群，如，具備水平擴(kuò)展容易，計(jì)算階段性明顯，不同節(jié)點(diǎn)執(zhí)行的任務(wù)類似特點(diǎn)的計(jì)算機(jī)集群，也可以采用本發(fā)明實(shí)施例提供的處理能力評(píng)估方法進(jìn)行性能預(yù)測(cè)與分析。

本發(fā)明提供的處理能力評(píng)估方法，首先采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)，并根據(jù)采集到的運(yùn)行參數(shù)獲取性能推演模型，然后獲取小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息，最后根據(jù)小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到大規(guī)模計(jì)算機(jī)集群的處理能力，使得在進(jìn)行大規(guī)模計(jì)算機(jī)集群的處理能力評(píng)估時(shí)，無(wú)需尋找到合適的大規(guī)模計(jì)算機(jī)集群，且無(wú)需在找到的合適的大規(guī)模計(jì)算機(jī)集群上進(jìn)行實(shí)際的操作，而是直接通過(guò)將大規(guī)模計(jì)算機(jī)集群的配置信息代入根據(jù)采集到的同構(gòu)小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)獲取到的性能推演模型，實(shí)現(xiàn)對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估，從而在節(jié)省評(píng)估成本的前提下，實(shí)現(xiàn)了對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估。

并且，本發(fā)明實(shí)施例利用MapReduce框架本身的性質(zhì)進(jìn)行處理能力的評(píng)估，降低了大規(guī)模計(jì)算機(jī)集群處理能力評(píng)估的復(fù)雜性，且本發(fā)明實(shí)施例適用于運(yùn)行各種類型應(yīng)用的大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估，并且采用本發(fā)明能夠較為準(zhǔn)確的評(píng)估出大規(guī)模計(jì)算機(jī)集群的處理能力。

本發(fā)明另一實(shí)施例提供一種處理能力評(píng)估裝置，如圖3所示，該裝置可以包括：采集單元31、第一獲取單元32、第二獲取單元33、評(píng)估單元34。

采集單元31，用于采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)。

第一獲取單元32，用于根據(jù)所述采集單元31采集到的所述運(yùn)行參數(shù)獲取性能推演模型。

第二獲取單元33，用于獲取所述小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息。

評(píng)估單元34，用于根據(jù)所述第二獲取單元33獲取到的所述小規(guī)模計(jì)算機(jī)集群的配置信息、所述大規(guī)模計(jì)算機(jī)集群的配置信息和所述第一獲取單元32獲取到的所述性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到所述大規(guī)模計(jì)算機(jī)集群的處理能力。

其中，所述小規(guī)模計(jì)算機(jī)集群的配置信息包括：組成所述小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)a，所述小規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量x；所述大規(guī)模計(jì)算機(jī)集群的配置信息包括：組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)b，所述大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量y；所述a和所述b均為正整數(shù)，且所述a小于所述b，且組成所述小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)與組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)的配置參數(shù)相同。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述運(yùn)行參數(shù)包括：第一實(shí)際執(zhí)行時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行映射Map操作的實(shí)際執(zhí)行時(shí)間；第二實(shí)際執(zhí)行時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行化簡(jiǎn)Reduce操作的實(shí)際執(zhí)行時(shí)間；第一中央處理器CPU利用率，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Map操作時(shí)的CPU利用率；第二CPU利用率，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Reduce操作時(shí)的CPU利用率；第一輸入/輸出I/O等待時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Map操作時(shí)的I/O等待時(shí)間；第二I/O等待時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Reduce操作時(shí)的I/O等待時(shí)間。

如圖4所示，所述第一獲取單元32可以包括：第一獲取模塊321、第二獲取模塊322、第三獲取模塊323、第四獲取模塊324。

第一獲取模塊321，用于根據(jù)所述第一CPU利用率和所述第二CPU利用率獲取所述應(yīng)用的總?cè)蝿?wù)量。

第二獲取模塊322，用于根據(jù)所述第一獲取模塊321獲取到的所述應(yīng)用的總?cè)蝿?wù)量和第一I/O等待比率，獲取第一理論執(zhí)行時(shí)間，根據(jù)所述第一獲取模塊321獲取到的所述應(yīng)用的總?cè)蝿?wù)量和第二I/O等待比率，獲取第二理論執(zhí)行時(shí)間；其中，所述第一I/O等待比率等于所述第一I/O等待時(shí)間與所述第一實(shí)際執(zhí)行時(shí)間的比值，所述第一理論執(zhí)行時(shí)間為所述小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Map操作的理論執(zhí)行時(shí)間，所述第二I/O等待比率等于所述第二I/O等待時(shí)間與所述第二實(shí)際執(zhí)行時(shí)間的比 值，所述第二理論執(zhí)行時(shí)間為所述小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Reduce操作的理論執(zhí)行時(shí)間。

第三獲取模塊323，用于根據(jù)所述第一實(shí)際執(zhí)行時(shí)間獲取第三理論執(zhí)行時(shí)間，根據(jù)所述第二實(shí)際執(zhí)行時(shí)間獲取第四理論執(zhí)行時(shí)間；其中，所述第三理論執(zhí)行時(shí)間為所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Map操作的理論執(zhí)行時(shí)間，所述第四理論執(zhí)行時(shí)間為所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Reduce操作的理論執(zhí)行時(shí)間。

第四獲取模塊324，用于根據(jù)所述第二獲取模塊322獲取到的所述第一理論執(zhí)行時(shí)間和所述第二理論執(zhí)行時(shí)間，所述第三獲取模塊323獲取到的所述第三理論執(zhí)行時(shí)間和所述第四理論執(zhí)行時(shí)間，以及所述第一實(shí)際執(zhí)行時(shí)間和所述第二實(shí)際執(zhí)行時(shí)間，獲取所述性能推演模型。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述第三獲取模塊323，具體用于獲取第一拓展系數(shù)，根據(jù)所述第一拓展系數(shù)和所述第一實(shí)際執(zhí)行時(shí)間，獲取所述第三理論執(zhí)行時(shí)間。

其中，所述第一拓展系數(shù)＝(a÷b)×(y÷x)。

所述第一拓展系數(shù)、所述第一實(shí)際執(zhí)行時(shí)間和所述第三理論執(zhí)行時(shí)間之間滿足以下條件：第三理論執(zhí)行時(shí)間＝第一實(shí)際執(zhí)行時(shí)間×第一拓展系數(shù)。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述第三獲取模塊323，具體用于獲取第二拓展系數(shù)，根據(jù)所述第二拓展系數(shù)和所述第二實(shí)際執(zhí)行時(shí)間，獲取所述第四理論執(zhí)行時(shí)間。

其中，所述第二拓展系數(shù)＝(C(D(y))÷C(D(x)))×(a÷b)，D()為執(zhí)行Map操作時(shí)輸入數(shù)據(jù)量和輸出數(shù)據(jù)量的關(guān)系函數(shù)，C()為執(zhí)行Reduce操作時(shí)的算法復(fù)雜度。

所述第二拓展系數(shù)、所述第二實(shí)際執(zhí)行時(shí)間和所述第四理論執(zhí)行時(shí)間之間滿足以下條件：第四理論時(shí)間＝第二實(shí)際執(zhí)行時(shí)間×第二拓展系數(shù)。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述推演模型為：(第三理論執(zhí)行時(shí)間÷第一理論執(zhí)行時(shí)間)×第一實(shí)際執(zhí)行時(shí)間+(第四理論執(zhí)行時(shí)間÷第二理論執(zhí)行時(shí)間)×第二實(shí)際執(zhí)行時(shí)間。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述評(píng)估單元34，具體用于根據(jù)所 述a、所述x、所述b、所述y和所述性能推演模型，獲取所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間，根據(jù)所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間，獲取所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間，根據(jù)所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間和所述y，獲取所述大規(guī)模計(jì)算機(jī)集群的處理能力。

需要說(shuō)明的是，本發(fā)明實(shí)施例提供的處理能力評(píng)估裝置中各功能模塊的具體工作過(guò)程可以參考方法實(shí)施例中對(duì)應(yīng)過(guò)程的具體描述，本發(fā)明實(shí)施例在此不再詳細(xì)贅述。

本發(fā)明實(shí)施例提供的處理能力評(píng)估裝置，首先采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)，并根據(jù)采集到的運(yùn)行參數(shù)獲取性能推演模型，然后獲取小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息，最后根據(jù)小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到大規(guī)模計(jì)算機(jī)集群的處理能力，使得在進(jìn)行大規(guī)模計(jì)算機(jī)集群的處理能力評(píng)估時(shí)，無(wú)需尋找到合適的大規(guī)模計(jì)算機(jī)集群，且無(wú)需在找到的合適的大規(guī)模計(jì)算機(jī)集群上進(jìn)行實(shí)際的操作，而是直接通過(guò)將大規(guī)模計(jì)算機(jī)集群的配置信息代入根據(jù)采集到的同構(gòu)小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)獲取到的性能推演模型，實(shí)現(xiàn)對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估，從而在節(jié)省評(píng)估成本的前提下，實(shí)現(xiàn)了對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估。

并且，本發(fā)明實(shí)施例利用MapReduce框架本身的性質(zhì)進(jìn)行處理能力的評(píng)估，降低了大規(guī)模計(jì)算機(jī)集群處理能力評(píng)估的復(fù)雜性，且本發(fā)明實(shí)施例適用于運(yùn)行各種類型應(yīng)用的大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估，并且采用本發(fā)明能夠較為準(zhǔn)確的評(píng)估出大規(guī)模計(jì)算機(jī)集群的處理能力。

本發(fā)明另一實(shí)施例提供一種處理能力評(píng)估裝置，如圖5所示，包括：至少一個(gè)處理器41、存儲(chǔ)器42、通信接口43和總線44，該至少一個(gè)處理器41、存儲(chǔ)器42和通信接口43通過(guò)總線44連接并完成相互間的通信，其中：

所述總線44可以是工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(英文：Industry Standard Architecture，簡(jiǎn)稱：ISA)總線、外部設(shè)備互連(英文：Peripheral Component Interconnect，簡(jiǎn)稱：PCI)總線或擴(kuò)展工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(英 文：Extended Industry Standard Architecture，簡(jiǎn)稱：EISA)總線等。該總線44可以分為地址總線、數(shù)據(jù)總線、控制總線等。為便于表示，圖5中僅用一條粗線表示，但并不表示僅有一根總線或一種類型的總線。

所述存儲(chǔ)器42用于存儲(chǔ)可執(zhí)行程序代碼，該程序代碼包括計(jì)算機(jī)操作指令。存儲(chǔ)器42可能包含高速RAM存儲(chǔ)器，也可能還包括非易失性存儲(chǔ)器(non-volatile memory)，例如至少一個(gè)磁盤(pán)存儲(chǔ)器。

所述處理器41可能是一個(gè)CPU，或者是特定集成電路(英文：Application Specific Integrated Circuit，簡(jiǎn)稱：ASIC)，或者是被配置成實(shí)施本發(fā)明實(shí)施例的一個(gè)或多個(gè)集成電路。

所述通信接口43，主要用于實(shí)現(xiàn)本實(shí)施例的設(shè)備之間的通信。

所述處理器41，用于執(zhí)行所述存儲(chǔ)器42中存儲(chǔ)的可執(zhí)行程序代碼，具體的用于執(zhí)行以下操作：

所述處理器41，用于采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)；根據(jù)所述運(yùn)行參數(shù)獲取性能推演模型；獲取所述小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息；根據(jù)所述小規(guī)模計(jì)算機(jī)集群的配置信息、所述大規(guī)模計(jì)算機(jī)集群的配置信息和所述性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到所述大規(guī)模計(jì)算機(jī)集群的處理能力。

其中，所述小規(guī)模計(jì)算機(jī)集群的配置信息包括：組成所述小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)a，所述小規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量x；所述大規(guī)模計(jì)算機(jī)集群的配置信息包括：組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)數(shù)b，所述大規(guī)模計(jì)算機(jī)集群的待處理數(shù)據(jù)量y；所述a和所述b均為正整數(shù)，且所述a小于所述b，且組成所述小規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)與組成所述大規(guī)模計(jì)算機(jī)集群的節(jié)點(diǎn)的配置參數(shù)相同。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述運(yùn)行參數(shù)包括：第一實(shí)際執(zhí)行時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行映射Map操作的實(shí)際執(zhí)行時(shí)間；第二實(shí)際執(zhí)行時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行化簡(jiǎn)Reduce操作的實(shí)際執(zhí)行時(shí)間；第一中央處理器CPU利用率，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Map操作時(shí)的CPU利用率；第二CPU利用率，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Reduce操作時(shí)的CPU利用率；第一輸入/輸出I/O等待時(shí) 間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Map操作時(shí)的I/O等待時(shí)間；第二I/O等待時(shí)間，為所述小規(guī)模計(jì)算機(jī)集群執(zhí)行所述Reduce操作時(shí)的I/O等待時(shí)間。

所述處理器41，具體用于根據(jù)所述第一CPU利用率和所述第二CPU利用率獲取所述應(yīng)用的總?cè)蝿?wù)量；根據(jù)所述應(yīng)用的總?cè)蝿?wù)量和第一I/O等待比率，獲取第一理論執(zhí)行時(shí)間，所述第一I/O等待比率等于所述第一I/O等待時(shí)間與所述第一實(shí)際執(zhí)行時(shí)間的比值，所述第一理論執(zhí)行時(shí)間為所述小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Map操作的理論執(zhí)行時(shí)間；根據(jù)所述應(yīng)用的總?cè)蝿?wù)量和第二I/O等待比率，獲取第二理論執(zhí)行時(shí)間，所述第二I/O等待比率等于所述第二I/O等待時(shí)間與所述第二實(shí)際執(zhí)行時(shí)間的比值，所述第二理論執(zhí)行時(shí)間為所述小規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Reduce操作的理論執(zhí)行時(shí)間；根據(jù)所述第一實(shí)際執(zhí)行時(shí)間獲取第三理論執(zhí)行時(shí)間，所述第三理論執(zhí)行時(shí)間為所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Map操作的理論執(zhí)行時(shí)間；根據(jù)所述第二實(shí)際執(zhí)行時(shí)間獲取第四理論執(zhí)行時(shí)間，所述第四理論執(zhí)行時(shí)間為所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)執(zhí)行所述Reduce操作的理論執(zhí)行時(shí)間；根據(jù)所述第一理論執(zhí)行時(shí)間、所述第二理論執(zhí)行時(shí)間、所述第三理論執(zhí)行時(shí)間、所述第四理論執(zhí)行時(shí)間、所述第一實(shí)際執(zhí)行時(shí)間和所述第二實(shí)際執(zhí)行時(shí)間，獲取所述性能推演模型。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述處理器41，具體用于獲取第一拓展系數(shù)；根據(jù)所述第一拓展系數(shù)和所述第一實(shí)際執(zhí)行時(shí)間，獲取所述第三理論執(zhí)行時(shí)間。

其中，所述第一拓展系數(shù)＝(a÷b)×(y÷x)。

所述第一拓展系數(shù)、所述第一實(shí)際執(zhí)行時(shí)間和所述第三理論執(zhí)行時(shí)間之間滿足以下條件：第三理論執(zhí)行時(shí)間＝第一實(shí)際執(zhí)行時(shí)間×第一拓展系數(shù)。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述處理器41，具體用于獲取第二拓展系數(shù)；根據(jù)所述第二拓展系數(shù)和所述第二實(shí)際執(zhí)行時(shí)間，獲取所述第四理論執(zhí)行時(shí)間。

其中，所述第二拓展系數(shù)＝(C(D(y))÷C(D(x)))×(a÷b)，D() 為執(zhí)行Map操作時(shí)輸入數(shù)據(jù)量和輸出數(shù)據(jù)量的關(guān)系函數(shù)，C()為執(zhí)行Reduce操作時(shí)的算法復(fù)雜度。

所述第二拓展系數(shù)、所述第二實(shí)際執(zhí)行時(shí)間和所述第四理論執(zhí)行時(shí)間之間滿足以下條件：第四理論時(shí)間＝第二實(shí)際執(zhí)行時(shí)間×第二拓展系數(shù)。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述推演模型為：(第三理論執(zhí)行時(shí)間÷第一理論執(zhí)行時(shí)間)×第一實(shí)際執(zhí)行時(shí)間+(第四理論執(zhí)行時(shí)間÷第二理論執(zhí)行時(shí)間)×第二實(shí)際執(zhí)行時(shí)間。

在本發(fā)明實(shí)施例中，進(jìn)一步的，所述處理器41，具體用于根據(jù)所述a、所述x、所述b、所述y和所述性能推演模型，獲取所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間；根據(jù)所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的理論執(zhí)行時(shí)間，獲取所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間；根據(jù)所述大規(guī)模計(jì)算機(jī)集群運(yùn)行單任務(wù)時(shí)的實(shí)際執(zhí)行時(shí)間和所述y，獲取所述大規(guī)模計(jì)算機(jī)集群的處理能力。

需要說(shuō)明的是，本發(fā)明實(shí)施例提供的處理能力評(píng)估裝置中各功能模塊的具體工作過(guò)程可以參考方法實(shí)施例中對(duì)應(yīng)過(guò)程的具體描述，本發(fā)明實(shí)施例在此不再詳細(xì)贅述。

本發(fā)明實(shí)施例提供的處理能力評(píng)估裝置，首先采集小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)，并根據(jù)采集到的運(yùn)行參數(shù)獲取性能推演模型，然后獲取小規(guī)模計(jì)算機(jī)集群的配置信息和大規(guī)模計(jì)算機(jī)集群的配置信息，最后根據(jù)小規(guī)模計(jì)算機(jī)集群的配置信息、大規(guī)模計(jì)算機(jī)集群的配置信息和性能推演模型，對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力進(jìn)行評(píng)估，以得到大規(guī)模計(jì)算機(jī)集群的處理能力，使得在進(jìn)行大規(guī)模計(jì)算機(jī)集群的處理能力評(píng)估時(shí)，無(wú)需尋找到合適的大規(guī)模計(jì)算機(jī)集群，且無(wú)需在找到的合適的大規(guī)模計(jì)算機(jī)集群上進(jìn)行實(shí)際的操作，而是直接通過(guò)將大規(guī)模計(jì)算機(jī)集群的配置信息代入根據(jù)采集到的同構(gòu)小規(guī)模計(jì)算機(jī)集群運(yùn)行應(yīng)用時(shí)的運(yùn)行參數(shù)獲取到的性能推演模型，實(shí)現(xiàn)對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估，從而在節(jié)省評(píng)估成本的前提下，實(shí)現(xiàn)了對(duì)大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估。

并且，本發(fā)明實(shí)施例利用MapReduce框架本身的性質(zhì)進(jìn)行處理能力的評(píng)估，降低了大規(guī)模計(jì)算機(jī)集群處理能力評(píng)估的復(fù)雜性，且本發(fā)明實(shí)施例適用于運(yùn)行各種類型應(yīng)用的大規(guī)模計(jì)算機(jī)集群的處理能力的評(píng)估，并且 采用本發(fā)明能夠較為準(zhǔn)確的評(píng)估出大規(guī)模計(jì)算機(jī)集群的處理能力。

通過(guò)以上的實(shí)施方式的描述，所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，僅以上述各功能模塊的劃分進(jìn)行舉例說(shuō)明，實(shí)際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能模塊完成，即將裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的裝置和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述模塊或單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)裝置，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是一個(gè)物理單元或多個(gè)物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)不同地方。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一個(gè)設(shè)備(可以是單片機(jī)，芯片等)或處理器(processor)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器(英文：Read-Only Memory，簡(jiǎn)稱：ROM)、隨機(jī)存取存儲(chǔ)器(英文：Random Access Memory，簡(jiǎn)稱：RAM)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。