任務(wù)處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信領(lǐng)域，具體而言，涉及任務(wù)處理方法及裝置。
【背景技術(shù)】
[0002]隨著信息時(shí)代的發(fā)展，出現(xiàn)了越來越多的計(jì)算難題，如流體動(dòng)力學(xué)、碰撞模擬、地震處理、圖形比對(duì)、金融建模、天氣模擬以及復(fù)雜的價(jià)格建模都需要大量計(jì)算資源。相關(guān)技術(shù)中的高性能計(jì)算(HPC)方案，都是采用大規(guī)模集群實(shí)現(xiàn)科學(xué)計(jì)算，其主要考慮增強(qiáng)單節(jié)點(diǎn)性能、增加系統(tǒng)中節(jié)點(diǎn)數(shù)量以及提高計(jì)算任務(wù)的并行化程度來追求性能提升。
[0003]相關(guān)技術(shù)中，高性能集群的內(nèi)部集群計(jì)算軟件只針對(duì)單個(gè)節(jié)點(diǎn)能力調(diào)度，沒有考慮網(wǎng)絡(luò)資源限制對(duì)高性能計(jì)算的實(shí)際影響。這種實(shí)際組網(wǎng)條件下，不同計(jì)算任務(wù)之間，不同用戶之間，稍有不慎即形成網(wǎng)絡(luò)帶寬的無序惡性競(jìng)爭(zhēng)，形成瓶頸。
[0004]在相關(guān)技術(shù)中，現(xiàn)有的高性能計(jì)算，對(duì)內(nèi)部網(wǎng)絡(luò)和數(shù)據(jù)存儲(chǔ)的沒有要求。但是在實(shí)際應(yīng)用中，高性能計(jì)算系統(tǒng)性能無法達(dá)到要求往往不是由于計(jì)算資源的限制，而是由于網(wǎng)絡(luò)、存儲(chǔ)資源的不合理劃分形成的訪問瓶頸。例如在節(jié)點(diǎn)數(shù)量眾多，內(nèi)部通過多級(jí)網(wǎng)絡(luò)互聯(lián)的復(fù)雜條件下，面對(duì)系統(tǒng)中因?yàn)橛脩舨僮髟蚪?jīng)常出現(xiàn)的突發(fā)大流量的磁盤和網(wǎng)絡(luò)操作，并不能很好的適應(yīng)網(wǎng)絡(luò)資源實(shí)際情況的變化，很大程度影響了高性能計(jì)算集群系統(tǒng)的穩(wěn)定性和效率。
[0005]針對(duì)相關(guān)技術(shù)中，由于網(wǎng)絡(luò)、存儲(chǔ)資源的不合理劃分造成計(jì)算集群系統(tǒng)的穩(wěn)定性和效率不聞的問題，目如尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供了一種任務(wù)處理方法及裝置，以至少解決網(wǎng)絡(luò)、存儲(chǔ)資源的不合理劃分造成計(jì)算集群系統(tǒng)的穩(wěn)定性和效率不高的問題。
[0007]根據(jù)本發(fā)明的一個(gè)方面，提供了一種任務(wù)處理方法，包括:規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑，其中，所述集群是至少根據(jù)任務(wù)確定的用于執(zhí)行所述任務(wù)的集群，所述集群包括多個(gè)節(jié)點(diǎn)；將所述連通路徑的信息發(fā)送給所述集群中的承擔(dān)交換功能的節(jié)點(diǎn)以構(gòu)建所述集群網(wǎng)絡(luò)，其中，所述承擔(dān)交換功能的節(jié)點(diǎn)是所述多個(gè)節(jié)點(diǎn)中的用于根據(jù)接收到的所述連通路徑的信息轉(zhuǎn)發(fā)數(shù)據(jù)的節(jié)點(diǎn)。
[0008]優(yōu)選地，至少根據(jù)任務(wù)確定執(zhí)行所述任務(wù)的集群包括:至少根據(jù)所述任務(wù)以及網(wǎng)絡(luò)的負(fù)荷確定執(zhí)行所述任務(wù)的集群。
[0009]優(yōu)選地，在構(gòu)建所述集群網(wǎng)絡(luò)之后，所述方法還包括:根據(jù)所述集群的情況變化重新規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑；將重新規(guī)劃的連通路徑的信息發(fā)送給所述集群中的承擔(dān)交換功能的節(jié)點(diǎn)。
[0010]優(yōu)選地，在根據(jù)所述集群的情況變化重新規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑之后，所述方法還包括:發(fā)送撤銷原連通路徑的信息的指示，其中，所述承擔(dān)交換功能的節(jié)點(diǎn)根據(jù)所述指示對(duì)于撤銷的原連通路徑的信息匹配的報(bào)文進(jìn)行緩存，在接收到重新規(guī)劃的連通路徑的信息之后，重新開啟緩存報(bào)文的轉(zhuǎn)發(fā)；所述承擔(dān)交換功能的節(jié)點(diǎn)在未收到重新規(guī)劃的連通路徑的信息的情況下，刪除緩存的報(bào)文或者上報(bào)未收到重新規(guī)劃的連通路徑的信肩、O
[0011]優(yōu)選地，根據(jù)所述集群的情況變化重新規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑包括以下至少之一:確定所述集群中的節(jié)點(diǎn)的負(fù)荷，并將所述集群的節(jié)點(diǎn)的負(fù)荷作為權(quán)值重新規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑；根據(jù)所述集群中的節(jié)點(diǎn)的負(fù)荷確定需要下電或者上電的一個(gè)或者多個(gè)節(jié)點(diǎn)；根據(jù)下電或者上電之后的所述集群中的節(jié)點(diǎn)重新規(guī)劃連通路徑。
[0012]優(yōu)選地，所述承擔(dān)交換功能的節(jié)點(diǎn)確定自身的網(wǎng)絡(luò)負(fù)荷超過閾值，則根據(jù)任務(wù)的優(yōu)先級(jí)進(jìn)行流量控制。
[0013]優(yōu)選地，所述集群中的節(jié)點(diǎn)包括以下類型的至少之一:多個(gè)計(jì)算節(jié)點(diǎn)、多個(gè)存儲(chǔ)節(jié)點(diǎn)、多個(gè)計(jì)存節(jié)點(diǎn)、多個(gè)交換節(jié)點(diǎn)，其中，所述計(jì)算節(jié)點(diǎn)用于執(zhí)行運(yùn)算功能，或者，用于執(zhí)行運(yùn)算功能和承擔(dān)交換功能；所述存儲(chǔ)節(jié)點(diǎn)用于執(zhí)行數(shù)據(jù)存儲(chǔ)功能，所述計(jì)存節(jié)點(diǎn)用于執(zhí)行用于執(zhí)行運(yùn)算功能和數(shù)據(jù)存儲(chǔ)功能，或者，用于執(zhí)行運(yùn)算功能、數(shù)據(jù)存儲(chǔ)功能和承擔(dān)交換功倉泛。
[0014]優(yōu)選的，所述計(jì)存節(jié)點(diǎn)通過智能網(wǎng)卡和/或虛擬交換機(jī)實(shí)現(xiàn)所述交換節(jié)點(diǎn)的功倉泛。
[0015]優(yōu)選地，所述連通路徑的信息通過流表的方式發(fā)送。
[0016]優(yōu)選地，所述方法還包括:在任務(wù)完成后，對(duì)所述流表控制的網(wǎng)絡(luò)資源進(jìn)行回收。
[0017]根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種任務(wù)處理裝置，其特征在于包括:規(guī)劃模塊，用于規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑，其中，所述集群是至少根據(jù)任務(wù)確定的用于執(zhí)行所述任務(wù)的集群，所述集群包括多個(gè)節(jié)點(diǎn)；發(fā)送模塊，用于將所述連通路徑的信息發(fā)送給所述集群中的承擔(dān)交換功能的節(jié)點(diǎn)以構(gòu)建所述集群網(wǎng)絡(luò)，其中，所述承擔(dān)交換功能的節(jié)點(diǎn)是所述多個(gè)節(jié)點(diǎn)中的用于根據(jù)接收到的所述連通路徑的信息轉(zhuǎn)發(fā)數(shù)據(jù)的節(jié)點(diǎn)。
[0018]優(yōu)選地，所述規(guī)劃模塊用于至少根據(jù)所述任務(wù)以及網(wǎng)絡(luò)的負(fù)荷確定執(zhí)行所述任務(wù)的集群。
[0019]優(yōu)選地，所述規(guī)劃模塊，還用于根據(jù)所述集群的情況變化重新規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑；所述發(fā)送模塊，還用于將重新規(guī)劃的連通路徑的信息發(fā)送給所述集群中的承擔(dān)交換功能的節(jié)點(diǎn)。
[0020]優(yōu)選地，所述發(fā)送模塊還用于發(fā)送撤銷原連通路徑的信息的指示，其中，所述承擔(dān)交換功能的節(jié)點(diǎn)根據(jù)所述指示對(duì)于撤銷的原連通路徑的信息匹配的報(bào)文進(jìn)行緩存，在接收到重新規(guī)劃的連通路徑的信息之后，重新開啟緩存報(bào)文的轉(zhuǎn)發(fā)；以及所述承擔(dān)交換功能的節(jié)點(diǎn)在未收到重新規(guī)劃的連通路徑的信息的情況下，刪除緩存的報(bào)文或者上報(bào)未收到重新規(guī)劃的連通路徑的信息。
[0021]優(yōu)選地，所述規(guī)劃模塊還用于確定所述集群中的節(jié)點(diǎn)的負(fù)荷，并將所述集群的節(jié)點(diǎn)的負(fù)荷作為權(quán)值重新規(guī)劃所述集群中的節(jié)點(diǎn)的連通路徑；所述規(guī)劃模塊還用于根據(jù)所述集群中的節(jié)點(diǎn)的負(fù)荷確定需要下電或者上電的一個(gè)或者多個(gè)節(jié)點(diǎn)；根據(jù)下電或者上電之后的所述集群中的節(jié)點(diǎn)重新規(guī)劃連通路徑。
[0022]優(yōu)選地，所述承擔(dān)交換功能的節(jié)點(diǎn)用于在確定自身的網(wǎng)絡(luò)負(fù)荷超過閾值時(shí)，則根據(jù)任務(wù)的優(yōu)先級(jí)進(jìn)行流量控制。
[0023]優(yōu)選地，所述集群中的節(jié)點(diǎn)包括以下類型的至少之一:多個(gè)計(jì)算節(jié)點(diǎn)、多個(gè)存儲(chǔ)節(jié)點(diǎn)、多個(gè)計(jì)存節(jié)點(diǎn)、多個(gè)交換節(jié)點(diǎn)，其中，所述計(jì)算節(jié)點(diǎn)用于執(zhí)行運(yùn)算功能，或者，用于執(zhí)行運(yùn)算功能和承擔(dān)交換功能；所述存儲(chǔ)節(jié)點(diǎn)用于執(zhí)行數(shù)據(jù)存儲(chǔ)功能；所述計(jì)存節(jié)點(diǎn)用于執(zhí)行用于執(zhí)行運(yùn)算功能和數(shù)據(jù)存儲(chǔ)功能，或者，用于執(zhí)行運(yùn)算功能、數(shù)據(jù)存儲(chǔ)功能和承擔(dān)交換功倉泛。
[0024]優(yōu)選地，所述承擔(dān)交換功能的節(jié)點(diǎn)獨(dú)立于所述集群中的其他類型的節(jié)點(diǎn)，和/或，所述承擔(dān)交換功能的節(jié)點(diǎn)的功能由所述集群中的其他類型的節(jié)點(diǎn)來實(shí)現(xiàn)。
[0025]優(yōu)選的，所述計(jì)存節(jié)點(diǎn)通過智能網(wǎng)卡和/或虛擬交換機(jī)實(shí)現(xiàn)所述交換節(jié)點(diǎn)的功倉泛。
[0026]優(yōu)選地，所述連通路徑的信息通過流表的方式發(fā)送。
[0027]優(yōu)選地，所述裝置還包括:回收模塊，用于在任務(wù)完成后，對(duì)所述流表控制的網(wǎng)絡(luò)資源進(jìn)行回收。
[0028]通過本發(fā)明，采用規(guī)劃該集群中的節(jié)點(diǎn)的連通路徑，其中，所述集群是至少根據(jù)任務(wù)確定的用于執(zhí)行所述任務(wù)的集群，所述集群包括多個(gè)節(jié)點(diǎn)；將該連通路徑的信息發(fā)送給該集群中的承擔(dān)交換功能的節(jié)點(diǎn)以構(gòu)建該集群網(wǎng)絡(luò)，其中，該承擔(dān)交換功能的節(jié)點(diǎn)是該多個(gè)節(jié)點(diǎn)中的用于根據(jù)接收到的該連通路徑的信息轉(zhuǎn)發(fā)數(shù)據(jù)的節(jié)點(diǎn)，解決了網(wǎng)絡(luò)、存儲(chǔ)資源的不合理劃分造成計(jì)算集群系統(tǒng)的穩(wěn)定性和效率不高的問題，提高了網(wǎng)絡(luò)資源的利用率。
【附圖說明】
[0029]此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中:
[0030]圖1是根據(jù)本發(fā)明實(shí)施例的任務(wù)處理方法的流程圖；
[0031]圖2是根據(jù)本發(fā)明實(shí)施例的任務(wù)處理裝置的結(jié)構(gòu)框圖一；
[0032]圖3是根據(jù)本發(fā)明實(shí)施例的任務(wù)處理裝置的結(jié)構(gòu)框圖二 ；
[0033]圖4是根據(jù)本發(fā)明優(yōu)選實(shí)施例的應(yīng)用SDN技術(shù)的高性能計(jì)算集群的網(wǎng)絡(luò)結(jié)構(gòu)示意圖；
[0034]圖5是根據(jù)本發(fā)明優(yōu)選實(shí)施例的智能網(wǎng)卡數(shù)據(jù)轉(zhuǎn)發(fā)的示意圖；