實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0022]本發(fā)明實施例提供了一種計算任務分配的方法，應用于包含有至少一個計算節(jié)點的集群，如圖1所示，上述方法包括:
[0023]步驟101、獲取計算節(jié)點的計算資源。
[0024]其中，計算資源包括計算節(jié)點的CPU(中央處理器)的內核數及計算節(jié)點的空閑內存的大小。
[0025]具體的，計算任務分配的裝置在獲取了集群中某個計算節(jié)點的計算資源時，可以向此計算節(jié)點發(fā)送計算資源請求消息，計算節(jié)點在接收到計算資源請求消息后，可以將自身中包含的CPU的內核數，及空閑的內存的大小作為計算資源發(fā)送至計算任務分配的裝置。這樣，計算任務分配的裝置就可以獲取到此計算節(jié)點的計算資源。
[0026]需要說明的是，在本發(fā)明實施例中，計算任務分配的裝置需要為集群中的每個計算節(jié)點確定出每個計算節(jié)點的計算任務的個數，因此，本發(fā)明實施例中的步驟是對于一個計算節(jié)點而言的，而集群中的每個計算節(jié)點均可以通過本發(fā)明實施例中的步驟進行計算任務的分配。也就是說，對于集群中的任一個計算節(jié)點可以利用本發(fā)明實施例記錄的各個步驟實現(xiàn)計算任務的分配。
[0027]示例性的，在Hadoop集群中，包含有三個計算節(jié)點為計算節(jié)點a，計算節(jié)點b及計算節(jié)點C。此時，計算任務分配的裝置在需要獲取Hadoop集群中的計算節(jié)點a，計算節(jié)點b及計算節(jié)點c各個計算節(jié)點的計算資源時，可以向Hadoop集群中的計算節(jié)點a，計算節(jié)點b及計算節(jié)點C分別發(fā)送計算資源請求消息。此時，假設計算節(jié)點a中的CPU的內核數為4，剩余內存為IGb，計算節(jié)點b中的CPU的內核數為8，剩余內存為IGb，計算節(jié)點c中的CPU的內核數為8，剩余內存為0.8Gb。此時，計算節(jié)點a，計算節(jié)點b及計算節(jié)點c在接收到計算任務分配的裝置發(fā)送的計算資源請求消息后，分別將自身的CHJ的內核數，及空閑的內存的大小作為計算資源發(fā)送至計算任務分配的裝置。此時，計算任務分配的裝置可以獲取到計算節(jié)點a的計算資源，計算節(jié)點b的計算資源及計算節(jié)點c的計算資源。
[0028]步驟12、根據計算節(jié)點的計算資源中的CPU的內核數，確定計算節(jié)點的計算任務的個數m。
[0029]其中，m為計算節(jié)點的計算任務的個數。
[0030]具體的，計算任務分配的裝置在獲取了計算節(jié)點的計算資源后，可以根據計算資源中的CPU內核數，確定計算節(jié)點的不同組件需處理的計算任務的個數，進而可以確定出計算節(jié)點的計算任務的個數m。
[0031 ] 需要說明的是，在計算節(jié)點中包含有map組件及reduce組件，并且，計算節(jié)點通常通過map組件及reduce組件進行計算任務的計算處理過程。因此，在確定計算節(jié)點的計算任務個數時，即為確定計算節(jié)點的map組件的計算任務個數及reduce組件的計算任務個數。
[0032]進一步的，根據計算節(jié)點的計算資源中的CPU的內核數，確定計算節(jié)點的計算任務的個數m包括:根據計算節(jié)點的計算資源中的CPU的內核數，確定計算節(jié)點的map組件的計算任務的個數為計算節(jié)點的計算資源中的C P U的內核數;計算節(jié)點的r e d u c e組件的計算任務的個數為計算節(jié)點的計算資源中的CPU的內核數的二分之一。
[0033]具體的，為了充分利用計算節(jié)點的CPU的資源，可以將計算節(jié)點的map組件的計算任務的個數確定為計算節(jié)點的計算資源中的C P U的內核數。為了計算節(jié)點的m a P組件與reduce組件間的協(xié)同合作，且保證map組件與reduce組件間的工作性能最優(yōu)，可以將計算節(jié)點的reduce組件的計算任務的個數確定為計算節(jié)點的計算資源中的CPU的內核數的二分之一。即為，map組件中的計算任務的個數是reduce組中的計算任務的個數的兩倍，此時可以是計算節(jié)點的處理效率達到最優(yōu)。
[0034]需要說明的是，在本發(fā)明實施例中，也可將計算節(jié)點的map組件的計算任務的個數確定為其他值，且此值不能超過計算節(jié)點的CPU的內核數。reduce組的計算任務的個數也可以確定為其他值，且此值不能超過計算節(jié)點的CHJ的內核數，并且，map組件中的計算任務的個數可以不是reduce組中的計算任務的個數的兩倍，本發(fā)明對此不做限制。
[0035]如上例所述，計算任務分配的裝置在獲取了計算節(jié)點a，計算節(jié)點b及計算節(jié)點c的計算資源后，可以將計算節(jié)點a的map組件的計算任務的個數確定為4個，計算節(jié)點a的reduce組件的計算任務的個數確定為2個，S卩為確定出計算節(jié)點a的計算任務為6個。將計算節(jié)點b的map組件的計算任務的個數確定為8個，計算節(jié)點b的reduce組件的計算任務的個數確定為4個，S卩為確定出計算節(jié)點b的計算任務為12個。將計算節(jié)點c的map組件的計算任務的個數確定為8個，計算節(jié)點c的reduce組件的計算任務的個數確定為4個，S卩為確定出計算節(jié)點c的計算任務為12個。
[0036]步驟103、根據計算節(jié)點的計算任務的個數m，確定計算節(jié)點的m個計算任務所需的內存，并確定計算節(jié)點的空閑內存是否滿足計算節(jié)點的m個計算任務所需的內存。
[0037]具體的，計算任務分配的裝置在確定出計算節(jié)點的計算任務的個數m后，可以根據計算節(jié)點中各個組件的計算任務的個數，及各個組件的每個計算任務所需的內存大小，確定出計算節(jié)點的m個計算任務所需的內存。計算任務分配的裝置在確定出計算節(jié)點的m個計算任務所需的內存后，可以將計算節(jié)點中空閑的內存的大小與m個計算任務所需的內存的大小進行比對，進而可以確定出在計算節(jié)點中，空閑的內存是否可以滿足m個計算任務需要使用的內存。
[0038]在計算任務分配的裝置將計算節(jié)點中空閑的內存的大小與m個計算任務所需的內存的大小進行比對時，在確定出空閑的內存的大小不小于m個計算任務所需的內存的大小時，說明計算節(jié)點可以為m個計算任務提供其所需的內存，此時可以確定出計算節(jié)點的空閑內存滿足計算節(jié)點的m個計算任務所需的內存。在確定出空閑的內存大小小于m個計算任務所需的內存的大小時，說明計算節(jié)點不可以為m個計算任務提供其所需的內存，此時可以確定出計算節(jié)點的空閑內存不滿足計算節(jié)點的m個計算任務所需的內存。
[0039]進一步的，計算任務分配的裝置在確定出map組件的計算任務的個數及reduce組件的計算任務的個數后，可以通過公式:m個計算任務的所需內存=mi*map組件的一個計算任務的內存大小+m2*reduce組件的一個計算任務的內存大小，計算出計算節(jié)點的m個計算任務所需的內存。
[°04°] 其中，mi為map組件的計算任務的個數，m2為reduce組件的計算任務的個數。
[0041]進一步的，根據計算節(jié)點的計算任務的個數m，確定計算節(jié)點的m個計算任務所需的內存包括:根據計算節(jié)點的計算任務的個數m，利用初始化內存管理函數，確定計算節(jié)點的m個計算任務所需的內存。
[0042]進一步的，初始化內存管理函數為在；[11；[1:丨31丨26]\^1]1(^7]\&11^861116111:()函數，此時，計算任務分配的裝置可以根據計算節(jié)點的計算任務的個數m，利用initializeMemoryManagement()函數，確定出計算節(jié)點的m個計算任務所需的內存。即為，將計算節(jié)點的各個組件的計算任務的個數輸入至initializeMemoryManagementO函數中，initial izeMemoryManagement ()函數可以計算出計算節(jié)點的各個組件的計算任務所需的內存的大小。
[0043]如上例所述，計算任務分配的裝置在確定出計算節(jié)點a，計算節(jié)點b及計算節(jié)點c的計算任務個數后，可以根據計算節(jié)點a的map組件的計算任務的個數4及map組件中每個計算任務的所需的內存，確定出計算節(jié)點a的map組件的4個計算任務所需的內存，并可以根據計算節(jié)點a的reduce組件的計算任務的個數2及reduce組件中每個計算任務的所需的內存，確定出計算節(jié)點