元303確定計(jì)算節(jié)點(diǎn)的空閑內(nèi)存滿(mǎn)足計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，為計(jì)算節(jié)點(diǎn)分配m個(gè)計(jì)算任務(wù)。
[0075]進(jìn)一步的，處理單元303，還用于在計(jì)算節(jié)點(diǎn)的空閑內(nèi)存不滿(mǎn)足計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，則根據(jù)計(jì)算任務(wù)的調(diào)整策略，更新計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，并重新執(zhí)行根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，確定計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存，并確定計(jì)算節(jié)點(diǎn)的空閑內(nèi)存是否滿(mǎn)足計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存。
[0076]其中，計(jì)算任務(wù)的調(diào)整策略是預(yù)先設(shè)置的，用于減少計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)。
[0077]進(jìn)一步的，計(jì)算任務(wù)的調(diào)整策略包括:計(jì)算節(jié)點(diǎn)的map組件的計(jì)算任務(wù)的個(gè)數(shù)及reduce組件的計(jì)算任務(wù)的個(gè)數(shù)按預(yù)設(shè)比例減少。
[0078]本發(fā)明實(shí)施例提供了一種計(jì)算任務(wù)分配的裝置，應(yīng)用于包含有至少一個(gè)計(jì)算節(jié)點(diǎn)的集群，包括:獲取計(jì)算節(jié)點(diǎn)的計(jì)算資源;計(jì)算資源包括計(jì)算節(jié)點(diǎn)的中央處理器CPU的內(nèi)核數(shù)及計(jì)算節(jié)點(diǎn)的空閑內(nèi)存的大小;根據(jù)計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CHJ的內(nèi)核數(shù)，確定計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m; m為計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù);根據(jù)計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，確定計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存，并確定計(jì)算節(jié)點(diǎn)的空閑內(nèi)存是否滿(mǎn)足計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存;在計(jì)算節(jié)點(diǎn)的空閑內(nèi)存滿(mǎn)足計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，為計(jì)算節(jié)點(diǎn)分配m個(gè)計(jì)算任務(wù)。這樣，計(jì)算任務(wù)分配的裝置在對(duì)計(jì)算節(jié)點(diǎn)分配計(jì)算任務(wù)時(shí)，先獲取計(jì)算節(jié)點(diǎn)的計(jì)算資源，根據(jù)計(jì)算資源的CPU的內(nèi)核數(shù)為此計(jì)算節(jié)點(diǎn)分配m個(gè)計(jì)算任務(wù)，并進(jìn)一步確定m個(gè)計(jì)算任務(wù)所需的內(nèi)存，確定計(jì)算節(jié)點(diǎn)中空閑的內(nèi)存是否滿(mǎn)足m個(gè)計(jì)算任務(wù)所需的內(nèi)存，在計(jì)算節(jié)點(diǎn)的空閑內(nèi)存可以滿(mǎn)足m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，說(shuō)明計(jì)算節(jié)點(diǎn)可以向m個(gè)計(jì)算任務(wù)提供所需的內(nèi)存，這樣，可以為計(jì)算節(jié)點(diǎn)分配m個(gè)計(jì)算任務(wù)。也就是說(shuō)，在本發(fā)明中，計(jì)算任務(wù)分配的裝置可以根據(jù)每個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算資源，為每個(gè)計(jì)算節(jié)點(diǎn)分配計(jì)算任務(wù)，這樣在Hadoop集群中，不同的計(jì)算節(jié)點(diǎn)分配到的計(jì)算任務(wù)的個(gè)數(shù)不同，可以充分利用各個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算能力，從而實(shí)現(xiàn)了通過(guò)根據(jù)各個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算能力為其分配計(jì)算任務(wù)，實(shí)現(xiàn)充分利用各個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算能力，提高Hadoop集群的計(jì)算任務(wù)的處理效率的目的。
[0079]最后應(yīng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種計(jì)算任務(wù)分配的方法，其特征在于，應(yīng)用于包含有至少一個(gè)計(jì)算節(jié)點(diǎn)的集群，所述方法包括: 獲取計(jì)算節(jié)點(diǎn)的計(jì)算資源;所述計(jì)算資源包括所述計(jì)算節(jié)點(diǎn)的中央處理器C P U的內(nèi)核數(shù)及所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存的大小； 根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)，確定所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m ； m為所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)； 根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，確定所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存，并確定所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存是否滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存； 在所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，為所述計(jì)算節(jié)點(diǎn)分配m個(gè)計(jì)算任務(wù)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括: 在所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存不滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，則根據(jù)計(jì)算任務(wù)的調(diào)整策略，更新所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，并重新執(zhí)行根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，確定所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存，并確定所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存是否滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存;所述計(jì)算任務(wù)的調(diào)整策略是預(yù)先設(shè)置的，用于減少計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)，確定所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m包括: 根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)，確定所述計(jì)算節(jié)點(diǎn)的映射map組件的計(jì)算任務(wù)的個(gè)數(shù)為所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)；所述計(jì)算節(jié)點(diǎn)的歸約reduce組件的計(jì)算任務(wù)的個(gè)數(shù)為所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)的二分之一。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述計(jì)算任務(wù)的調(diào)整策略包括:所述計(jì)算節(jié)點(diǎn)的map組件的計(jì)算任務(wù)的個(gè)數(shù)及reduce組件的計(jì)算任務(wù)的個(gè)數(shù)按預(yù)設(shè)比例減少。5.根據(jù)權(quán)利要求根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，確定所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存包括: 根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，利用初始化內(nèi)存管理函數(shù)，確定所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存。6.一種計(jì)算任務(wù)分配的裝置，其特征在于，應(yīng)用于包含有至少一個(gè)計(jì)算節(jié)點(diǎn)的集群，所述計(jì)算任務(wù)分配的裝置包括: 獲取單元，用于獲取計(jì)算節(jié)點(diǎn)的計(jì)算資源;所述計(jì)算資源包括所述計(jì)算節(jié)點(diǎn)的中央處理器CPU的內(nèi)核數(shù)及所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存的大??； 確定單元，用于根據(jù)所述獲取單元獲取的所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)，確定所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m; m為所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)； 處理單元，用于根據(jù)所述確定單元確定的所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，確定所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存，并確定所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存是否滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存； 分配單元，還用于在所述處理單元確定所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，為所述計(jì)算節(jié)點(diǎn)分配m個(gè)計(jì)算任務(wù)。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于， 所述處理單元，還用于在所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存不滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，則根據(jù)計(jì)算任務(wù)的調(diào)整策略，更新所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，并重新執(zhí)行根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，確定所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存，并確定所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存是否滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存；所述計(jì)算任務(wù)的調(diào)整策略是預(yù)先設(shè)置的，用于減少計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于， 所述確定單元，具體用于根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)，確定所述計(jì)算節(jié)點(diǎn)的映射map組件的計(jì)算任務(wù)的個(gè)數(shù)為所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù);所述計(jì)算節(jié)點(diǎn)的歸約reduce組件的計(jì)算任務(wù)的個(gè)數(shù)為所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)的二分之一。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于， 所述計(jì)算任務(wù)的調(diào)整策略包括:所述計(jì)算節(jié)點(diǎn)的map組件的計(jì)算任務(wù)的個(gè)數(shù)及reduce組件的計(jì)算任務(wù)的個(gè)數(shù)按預(yù)設(shè)比例減少。10.根據(jù)權(quán)利要求8所述的裝置，其特征在于， 所述處理單元，具體用于根據(jù)所述確定單元確定的所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，利用初始化內(nèi)存管理函數(shù)，確定所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存。
【專(zhuān)利摘要】本發(fā)明實(shí)施例提供了一種計(jì)算任務(wù)分配的方法及裝置，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，用以提高Hadoop集群的計(jì)算任務(wù)的處理效率的目的。所述方法包括：獲取計(jì)算節(jié)點(diǎn)的計(jì)算資源；所述計(jì)算資源包括所述計(jì)算節(jié)點(diǎn)的中央處理器CPU的內(nèi)核數(shù)及所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存的大??；根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算資源中的CPU的內(nèi)核數(shù)，確定所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m；m為所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)；根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算任務(wù)的個(gè)數(shù)m，確定所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存，并確定所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存是否滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存；在所述計(jì)算節(jié)點(diǎn)的空閑內(nèi)存滿(mǎn)足所述計(jì)算節(jié)點(diǎn)的m個(gè)計(jì)算任務(wù)所需的內(nèi)存時(shí)，為所述計(jì)算節(jié)點(diǎn)分配m個(gè)計(jì)算任務(wù)。
【IPC分類(lèi)】G06F9/50
【公開(kāi)號(hào)】CN105607955
【申請(qǐng)?zhí)枴緾N201510975513
【發(fā)明人】郭美思
【申請(qǐng)人】浪潮集團(tuán)有限公司
【公開(kāi)日】2016年5月25日
【申請(qǐng)日】2015年12月23日