專利名稱：分布式并行計(jì)算平臺(tái)系統(tǒng)及其計(jì)算任務(wù)分配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電力系統(tǒng)的信息處理領(lǐng)域，尤其涉及一種分布式并行計(jì)算平 臺(tái)系統(tǒng)及其計(jì)算任務(wù)分配方法。
背景技術(shù)：
隨著電力系統(tǒng)自動(dòng)化水平的不斷提高，網(wǎng)絡(luò)規(guī)模越來越大，網(wǎng)絡(luò)結(jié)構(gòu)變 得更加復(fù)雜，傳統(tǒng)的單機(jī)計(jì)算模式和集中數(shù)據(jù)處理方式必然會(huì)遇到硬件計(jì)算 能力的瓶頸。
在電力計(jì)算問題解決中，電力計(jì)算通常包括暫態(tài)穩(wěn)定計(jì)算、快速故障篩 選、斷面極限計(jì)算、短路故障掃描計(jì)算等。在不同的計(jì)算模式中，計(jì)算本身 也具有的不同的優(yōu)先級(jí)和時(shí)間要求，可以將之歸為在線計(jì)算和離線計(jì)算模式。
在線運(yùn)行模式通常要求實(shí)現(xiàn)連續(xù)的基本安全穩(wěn)定分析計(jì)算，具有較高的穩(wěn)定 性和運(yùn)行效率，同時(shí)也具備周期性、連續(xù)性、可靠性等特點(diǎn)。離線計(jì)算模式 提供全面的安全穩(wěn)定分析計(jì)算功能，大多數(shù)處在人工研究修改界面，提交計(jì) 算后離線分析、研究和維護(hù)等，在時(shí)間性上對(duì)計(jì)算的實(shí)時(shí)性要求不高。
由此，針對(duì)電力企業(yè)不同的計(jì)算模式和要求，不僅要通過分布式并行計(jì) 算來解決單機(jī)性能瓶頸問題，還要提出合適的任務(wù)動(dòng)態(tài)調(diào)度和資源分配的策 略和方法，來提高分布式并行平臺(tái)系統(tǒng)的計(jì)算問題解決速度和充分有效利用 現(xiàn)有的計(jì)算機(jī)器資源。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例的目的在于提供一種分布式并行計(jì)算平臺(tái)系統(tǒng)及其計(jì)算任 務(wù)分配方法，使得分布式并行計(jì)算平臺(tái)系統(tǒng)可以區(qū)分在線計(jì)算和離線計(jì)算兩種不同的計(jì)算模式，對(duì)多個(gè)計(jì)算任務(wù)請(qǐng)求進(jìn)行有效調(diào)度，同時(shí)對(duì)現(xiàn)有資源進(jìn) 行合理分配，這樣可以滿足不同計(jì)算模式的特性和要求，也可以充分利用計(jì) 算資源，并力求在任務(wù)調(diào)度和資源分配之間達(dá)成一個(gè)合理的折衷，從而一方 面力求并行計(jì)算實(shí)時(shí)高效，另一方面也要保證計(jì)算資源的充分利用。 本發(fā)明實(shí)施例提供一種分布式并行計(jì)算平臺(tái)系統(tǒng)，該系統(tǒng)包括 pcp，用于接收在線和離線計(jì)算輸入文件，形成在線和離線任務(wù)分配方案； 在線調(diào)度服務(wù)器，用于接收pcp下發(fā)的在線計(jì)算輸入文件和在線任務(wù)分 配方案，將在線任務(wù)計(jì)算結(jié)果匯總并返回給pcp;
離線調(diào)度服務(wù)器，用于接收pcp下發(fā)的在線和離線計(jì)算輸入文件與在線 和離線分配方案并轉(zhuǎn)發(fā)至離線計(jì)算節(jié)點(diǎn)，將離線任務(wù)計(jì)算結(jié)果匯總并返回給 pcp,將在線任務(wù)計(jì)算結(jié)果傳送給在線調(diào)度服務(wù)器；
在線計(jì)算節(jié)點(diǎn)，用于接收在線調(diào)度服務(wù)器轉(zhuǎn)發(fā)的在線計(jì)算任務(wù)輸入文件 和在線任務(wù)分配方案，只進(jìn)行在線計(jì)算并將在線計(jì)算結(jié)果返回給在線調(diào)度服 務(wù)器；以及
離線計(jì)算節(jié)點(diǎn)，用于接收離線調(diào)度服務(wù)器轉(zhuǎn)發(fā)的在線和離線計(jì)算輸入文 件與在線和離線分配方案，進(jìn)行在線計(jì)算和離線計(jì)算，并將在線和離線計(jì)算 結(jié)果返回給離線調(diào)度服務(wù)器。
本發(fā)明實(shí)施例還提供一種分布式并行計(jì)算平臺(tái)的計(jì)算任務(wù)分配方法，所 述分布式計(jì)算平臺(tái)包括pcp、在線調(diào)度服務(wù)器、離線調(diào)度服務(wù)器、在線計(jì)算節(jié) 點(diǎn)和離線計(jì)算節(jié)點(diǎn)；該方法包括以下步驟
pcp接收在線計(jì)算任務(wù)和離線計(jì)算任務(wù)，并制定在線計(jì)算任務(wù)分配總表和 離線任務(wù)分配總表；
pcp將發(fā)送在線計(jì)算任務(wù)分配總表和在線計(jì)算數(shù)據(jù)給在線調(diào)度服務(wù)器，將 離線計(jì)算任務(wù)分配總表和離線計(jì)算數(shù)據(jù)，以及在線計(jì)算任務(wù)分配總表和在線 計(jì)算數(shù)據(jù)發(fā)送離線調(diào)度服務(wù)器；
在線調(diào)度服務(wù)器將在線計(jì)算任務(wù)分配總表和在線計(jì)算數(shù)據(jù)傳送給在線計(jì)算節(jié)點(diǎn)；
離線調(diào)度服務(wù)器離線計(jì)算任務(wù)分配總表和離線計(jì)算數(shù)據(jù)，以及在線計(jì)算
任務(wù)分配總表和在線計(jì)算數(shù)據(jù)傳送給離線計(jì)算節(jié)點(diǎn)；
在線計(jì)算節(jié)點(diǎn)和離線計(jì)算節(jié)點(diǎn)接收到任務(wù)總表后開始計(jì)算，計(jì)算完畢后
將各自的計(jì)算結(jié)果分別返回給在線調(diào)度服務(wù)器和離線調(diào)度服務(wù)器；
離線調(diào)度服務(wù)器將在線任務(wù)計(jì)算結(jié)果返回至在線調(diào)度服務(wù)器；以及 在線調(diào)度服務(wù)器和離線調(diào)度服務(wù)器分別匯總所述在線任務(wù)計(jì)算結(jié)果和離 線任務(wù)計(jì)算結(jié)果后返回給PCP。
本發(fā)明提供的分布式并行計(jì)算平臺(tái)系統(tǒng)，通過基于網(wǎng)絡(luò)技術(shù)的多機(jī)并行 計(jì)算環(huán)境，將各種異構(gòu)的計(jì)算資源通過網(wǎng)絡(luò)聯(lián)接起來，共同完成計(jì)算問題。 分布式并行計(jì)算平臺(tái)系統(tǒng)一方面能夠允許多個(gè)計(jì)算問題任務(wù)同時(shí)請(qǐng)求，并依 據(jù)一定的準(zhǔn)則從多個(gè)任務(wù)請(qǐng)求中的選擇一個(gè)或多個(gè)分發(fā)到多機(jī)上完成計(jì)算； 另一方面從多機(jī)資源中動(dòng)態(tài)選擇一個(gè)或多個(gè)合適的計(jì)算機(jī)器資源參與計(jì)算或 服務(wù)，保證計(jì)算問題快速高效的解決，所以任務(wù)的動(dòng)態(tài)調(diào)度和資源匹配是構(gòu) 建分布式并行計(jì)算平臺(tái)系統(tǒng)的關(guān)鍵部分。
本發(fā)明提供的分布式并行計(jì)算平臺(tái)系統(tǒng)的任務(wù)分配方法，針對(duì)不同的計(jì) 算模式提出不同的任務(wù)動(dòng)態(tài)調(diào)度和資源分配的策略和方法。這里動(dòng)態(tài)分配內(nèi) 容涵蓋計(jì)算任務(wù)調(diào)度和計(jì)算資源分配。
計(jì)算任務(wù)調(diào)度是依據(jù)一定的準(zhǔn)則選擇請(qǐng)求任務(wù)隊(duì)列中的一個(gè)或多個(gè)請(qǐng)求 任務(wù)分發(fā)到計(jì)算資源節(jié)點(diǎn)上開始計(jì)算，任務(wù)選擇必須釆取靈活的任務(wù)調(diào)度策 略。分布式計(jì)算平臺(tái)系統(tǒng)在任務(wù)調(diào)度策略上，可根據(jù)不同的并行計(jì)算需求選 擇恰當(dāng)?shù)膭?dòng)態(tài)調(diào)度策略，優(yōu)化不同情境下計(jì)算各階段的任務(wù)請(qǐng)求、數(shù)據(jù)交換 和事件通信，最大可能地降低交換數(shù)據(jù)的總量和頻度，提高系統(tǒng)的通信效率， 提高系統(tǒng)的整體并行計(jì)算的速度。
計(jì)算資源分配是如何從多個(gè)計(jì)算節(jié)點(diǎn)資源動(dòng)態(tài)選擇合適的一個(gè)或多個(gè)資 源參與計(jì)算或服務(wù)，從而保證節(jié)點(diǎn)資源高效利用。在線運(yùn)行模式特點(diǎn)要求必須提供資源預(yù)留從而提供保證服務(wù)質(zhì)量的分布式并行計(jì)算服務(wù)，并在預(yù)留資 源的基礎(chǔ)上對(duì)在線任務(wù)進(jìn)行有效的動(dòng)態(tài)調(diào)度和資源合理匹配，從而避免資源
的競(jìng)爭(zhēng)和周期內(nèi)枯竭，保證滿足在線系統(tǒng)7X24小時(shí)數(shù)據(jù)即來即算的連續(xù)計(jì)
算要求。離線研究模式在時(shí)間性上對(duì)計(jì)算的實(shí)時(shí)性要求不高，可以使用不同 的策略在對(duì)用戶任務(wù)進(jìn)行動(dòng)態(tài)調(diào)度，從而滿足多用戶提交任務(wù)，結(jié)果回收查 看的計(jì)算效率相對(duì)良好性。另一方面，在資源匹配上，預(yù)留資源之外的資源 構(gòu)成動(dòng)態(tài)資源池，其首先滿足離線計(jì)算的資源請(qǐng)求，也具備對(duì)在線計(jì)算實(shí)現(xiàn) 協(xié)同預(yù)留和協(xié)同分配功能，在在線計(jì)算任務(wù)負(fù)載繁重、離線計(jì)算任務(wù)負(fù)載較 輕的情況下，動(dòng)態(tài)資源池中的計(jì)算節(jié)點(diǎn)資源可以靈活的參與或退出在線計(jì)算。


此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部
分，并不構(gòu)成對(duì)本發(fā)明的限定。在附圖中
圖1為本發(fā)明一實(shí)施例分布式并行計(jì)算平臺(tái)系統(tǒng)的結(jié)構(gòu)示意圖。
圖2為說明本發(fā)明一實(shí)施例分布式并行計(jì)算平臺(tái)系統(tǒng)和外部系統(tǒng)關(guān)系的
結(jié)構(gòu)示意圖。
圖3為本發(fā)明一實(shí)施例的分布式并行計(jì)算平臺(tái)系統(tǒng)的計(jì)算任務(wù)分配方法
的流程圖。
圖4為本發(fā)明一實(shí)施例的分布式并行計(jì)算平臺(tái)系統(tǒng)的計(jì)算任務(wù)分配方法
中在線任務(wù)分配的流程圖。
圖5為本發(fā)明一實(shí)施例的分布式并行計(jì)算平臺(tái)系統(tǒng)的計(jì)算任務(wù)分配方法 中另一在線任務(wù)分配的流程圖。
圖6為本發(fā)明一實(shí)施例的分布式并行計(jì)算平臺(tái)系統(tǒng)的計(jì)算任務(wù)分配方法 中離線任務(wù)分配的流程圖。
具體實(shí)施例方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí) 施例和附圖，對(duì)本發(fā)明實(shí)施例做進(jìn)一步詳細(xì)說明。在此，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，但并不作為對(duì)本發(fā)明的限定。
本發(fā)明實(shí)施例提供一種分布式并行計(jì)算平臺(tái)系統(tǒng)及其計(jì)算任務(wù)分配方
法。以下參照附圖對(duì)本發(fā)明實(shí)施例進(jìn)行詳細(xì)說明。 實(shí)施例一
下面參照?qǐng)D1和圖2，詳細(xì)描述根據(jù)本發(fā)明的分布式并行計(jì)算平臺(tái)系統(tǒng)。
該系統(tǒng)包括
PCP(PSASP Dynamic Security Analysis Common Port， PSASP在線動(dòng)態(tài) 安全評(píng)估分析通用接口)接收在線或離線計(jì)算任務(wù)提交并形成任務(wù)分配方 案，任務(wù)分配方案即哪個(gè)計(jì)算節(jié)點(diǎn)接收哪些任務(wù)計(jì)算，然后將任務(wù)分配方案 和任務(wù)輸入文件轉(zhuǎn)發(fā)給調(diào)度服務(wù)器。另外PCP也是分布式并行計(jì)算平臺(tái)系統(tǒng) 對(duì)外圍系統(tǒng)的網(wǎng)關(guān)或代理。
在線調(diào)度服務(wù)器接收PCP下發(fā)的在線計(jì)算任務(wù)輸入文件和分配方案并 轉(zhuǎn)發(fā)(組播)至在線計(jì)算節(jié)點(diǎn)，在計(jì)算節(jié)點(diǎn)計(jì)算完畢后將在線任務(wù)計(jì)算結(jié)果 匯總并返回給PCP。
離線調(diào)度服務(wù)器接收PCP下發(fā)的在線和離線計(jì)算輸入文件和分配方案
并轉(zhuǎn)發(fā)至離線計(jì)算節(jié)點(diǎn)，在離線計(jì)算節(jié)點(diǎn)計(jì)算完畢后將離線任務(wù)計(jì)算結(jié)果匯
總并返回給PCP，將在線任務(wù)計(jì)算結(jié)果返回給在線調(diào)度服務(wù)器。
在線計(jì)算節(jié)點(diǎn)只參與在線計(jì)算任務(wù)并將計(jì)算結(jié)果返回給在線調(diào)度服務(wù)
BE益。
離線計(jì)算節(jié)點(diǎn)參與在線計(jì)算任務(wù)和離線計(jì)算任務(wù)，并將計(jì)算結(jié)果返回 給離線調(diào)度服務(wù)器。
PCP是上層資源中介者，具備所有計(jì)算節(jié)點(diǎn)資源的統(tǒng)一視圖，在每個(gè)自治 域(在線域和離線域)內(nèi)實(shí)現(xiàn)資源自治和自理的前提下，可以對(duì)所有資源的進(jìn) 行統(tǒng)一分配。當(dāng)離線計(jì)算節(jié)點(diǎn)參與在線計(jì)算時(shí)，PCP是動(dòng)態(tài)資源池中離線調(diào)度 服務(wù)器和離線計(jì)算節(jié)點(diǎn)參與在線業(yè)務(wù)邏輯流的中介和協(xié)調(diào)者，在線業(yè)務(wù)邏輯
流中的在線計(jì)算控制指令、計(jì)算數(shù)據(jù)、控制數(shù)據(jù)從PCP轉(zhuǎn)發(fā)或源發(fā)，業(yè)務(wù)邏輯流中的計(jì)算結(jié)果數(shù)據(jù)經(jīng)離線調(diào)度服務(wù)器回收并轉(zhuǎn)發(fā)至在線調(diào)度服務(wù)器處 "落地"并進(jìn)行匯總。PCP也是平臺(tái)系統(tǒng)對(duì)外部系統(tǒng)的前端網(wǎng)關(guān)，外部系統(tǒng)包 括資源的請(qǐng)求者，任務(wù)的提交者、第三方的應(yīng)用系統(tǒng)等，例如DCP和離線任務(wù) 提交端，如圖2所示。DCP (Dynamic Case Preparation,動(dòng)態(tài)任務(wù)準(zhǔn)備系統(tǒng)) 作為外部系統(tǒng)和PCP進(jìn)行交互，準(zhǔn)備在線計(jì)算設(shè)置和輸入文件，通過FTP向 PCP提交在線計(jì)算任務(wù)。離線任務(wù)提交端向PCP提交離線計(jì)算任務(wù)。PCP將所 有的請(qǐng)求匯總，并將資源請(qǐng)求的命令和數(shù)據(jù)通過組播分發(fā)給在線和離線調(diào)度 服務(wù)器，在線計(jì)算的結(jié)果通過在線調(diào)度服務(wù)器完成收集和匯總并形成在線結(jié) 果集，離線計(jì)算的結(jié)果通過離線調(diào)度服務(wù)器完成收集和匯總從而形成離線結(jié) 果集，這些結(jié)果集以文件的形式通過PCP向外部系統(tǒng)轉(zhuǎn)發(fā)。
在線調(diào)度服務(wù)器和離線調(diào)度服務(wù)器為下層資源中介者，對(duì)本域內(nèi)資源進(jìn) 行管理、控制并對(duì)下層計(jì)算資源節(jié)點(diǎn)返回的結(jié)果進(jìn)行回收和匯總。
在線計(jì)算節(jié)點(diǎn)和離線計(jì)算節(jié)點(diǎn)包括機(jī)群或刀片服務(wù)器等節(jié)點(diǎn)，節(jié)點(diǎn)的硬 件資源包括計(jì)算機(jī)硬件資源，例如處理器、存儲(chǔ)器、硬盤以及其他計(jì)算機(jī)設(shè) 施，節(jié)點(diǎn)的軟件資源包括系統(tǒng)軟件、應(yīng)用程序、數(shù)據(jù)、計(jì)算程序等，其中計(jì) 算程序包括暫態(tài)穩(wěn)定計(jì)算、快速故障篩選、斷面極限計(jì)算、短路故障掃描計(jì) 算程序等。在線計(jì)算節(jié)點(diǎn)為在線計(jì)算專用，保證能提供服務(wù)質(zhì)量有保障的計(jì) 算服務(wù)，離線計(jì)算節(jié)點(diǎn)則可為在線和離線計(jì)算共用。利用人工預(yù)先手工配置、 或計(jì)算節(jié)點(diǎn)自動(dòng)向資源池中的調(diào)度服務(wù)器進(jìn)行注冊(cè)、或調(diào)度服務(wù)器節(jié)點(diǎn)主動(dòng) 發(fā)現(xiàn)計(jì)算資源等機(jī)制將可用的計(jì)算節(jié)點(diǎn)資源歸為在線計(jì)算節(jié)點(diǎn)和離線計(jì)算節(jié) 點(diǎn)。
調(diào)度服務(wù)器都可以將調(diào)度分配的權(quán)利上交給上層管理節(jié)點(diǎn)PCP進(jìn)行控制， 這樣所有的計(jì)算資源請(qǐng)求可以在PCP處匯集，PCP對(duì)所有的請(qǐng)求就可以完成集 中控制、統(tǒng)一分配， 一方面可以保證在線計(jì)算的服務(wù)質(zhì)量，另一方面動(dòng)態(tài)分 配池中節(jié)點(diǎn)可以動(dòng)態(tài)加入或退出在線計(jì)算，從而充分利用動(dòng)態(tài)分配池中的計(jì) 算資源。在由在線調(diào)度服務(wù)器和在線計(jì)算節(jié)點(diǎn)組成的預(yù)留資源池中，通常每一周期只允許提交一批在線計(jì)算任務(wù)，平臺(tái)處理完上一批在線計(jì)算任務(wù)后方 可接收下一批在線計(jì)算請(qǐng)求，或者下一批在線計(jì)算請(qǐng)求到來可以立即中止上 一批正在計(jì)算的在線任務(wù)，從而滿足在線實(shí)時(shí)計(jì)算的特點(diǎn)。在由離線調(diào)度服 務(wù)器和離線計(jì)算節(jié)點(diǎn)組成的動(dòng)態(tài)資源池中，離線調(diào)度服務(wù)器可以選擇多種動(dòng) 態(tài)調(diào)度策略對(duì)計(jì)算請(qǐng)求進(jìn)行任務(wù)調(diào)度，包括先來先服務(wù)法、輪轉(zhuǎn)法、加權(quán)輪 轉(zhuǎn)法、按優(yōu)先級(jí)調(diào)度等。其中，先來先服務(wù)策略是指調(diào)度服務(wù)器按照任務(wù)提 交的先后次序進(jìn)行調(diào)度。加權(quán)先來先服務(wù)策略是指調(diào)度服務(wù)器通過比較請(qǐng)求 任務(wù)權(quán)值大小，對(duì)從高到低權(quán)值請(qǐng)求中的任務(wù)按照任務(wù)提交的先后次序進(jìn)行 調(diào)度。輪轉(zhuǎn)法是指在一個(gè)請(qǐng)求隊(duì)列里，隊(duì)列的每個(gè)請(qǐng)求都具有相同的地位， 輪轉(zhuǎn)法簡(jiǎn)單的在這組請(qǐng)求中(N個(gè))順序輪轉(zhuǎn)選擇。輪轉(zhuǎn)法的活動(dòng)是可預(yù)知的， 每個(gè)請(qǐng)求中的任務(wù)被選擇執(zhí)行的機(jī)會(huì)是1/N。加權(quán)輪轉(zhuǎn)法是指在一個(gè)請(qǐng)求隊(duì)列 里，隊(duì)列的每個(gè)請(qǐng)求都具有不同的權(quán)值，輪轉(zhuǎn)法按照權(quán)值的大小簡(jiǎn)單的在這 組請(qǐng)求中(N個(gè))順序輪轉(zhuǎn)選擇。高權(quán)值的請(qǐng)求中的任務(wù)被選擇執(zhí)行的機(jī)會(huì)大于 低權(quán)值的請(qǐng)求。按優(yōu)先級(jí)調(diào)度是指請(qǐng)求優(yōu)先級(jí)可根據(jù)具體的應(yīng)用情況進(jìn)行定 義。在將不同優(yōu)先級(jí)的請(qǐng)求分流到不同的優(yōu)先級(jí)隊(duì)列中后，需釆用合理的隊(duì) 列調(diào)度算法來保證優(yōu)先的任務(wù)先發(fā)送，也就是需要對(duì)隊(duì)列進(jìn)行優(yōu)先級(jí)調(diào)度。
外部系統(tǒng)(DCP和離線任務(wù)提交端)、PCP、調(diào)度服務(wù)器和計(jì)算節(jié)點(diǎn)資源構(gòu) 成分層次、直線型的控制和數(shù)據(jù)信息流動(dòng)路徑。外部系統(tǒng)向資源中介者(PCP 和調(diào)度服務(wù)器)提出計(jì)算請(qǐng)求，資源中介者為用戶尋找合適的計(jì)算節(jié)點(diǎn)資源并 驅(qū)動(dòng)計(jì)算節(jié)點(diǎn)開始工作，計(jì)算節(jié)點(diǎn)計(jì)算的結(jié)果仍然是通過資源中介者從下到 上返回給計(jì)算請(qǐng)求者或結(jié)果需求者。
實(shí)施例二
下面參照?qǐng)D3-6，詳細(xì)描述根據(jù)本發(fā)明的動(dòng)態(tài)計(jì)算分配方法。如圖3所示，
該方法包括
PCP接收在線計(jì)算任務(wù)和離線計(jì)算任務(wù)，將接收到的計(jì)算任務(wù)在資源中進(jìn) 行匹配，制定在線計(jì)算任務(wù)分配總表和離線任務(wù)分配總表；PCP向在線調(diào)度服務(wù)器發(fā)送在線計(jì)算任務(wù)分配總表和在線計(jì)算數(shù)據(jù)，向離 線調(diào)度服務(wù)器發(fā)送離線計(jì)算任務(wù)分配總表和離線計(jì)算數(shù)據(jù)，以及在線計(jì)算任 務(wù)分配總表和在線計(jì)算數(shù)據(jù)；
在線調(diào)度服務(wù)器向在線計(jì)算節(jié)點(diǎn)傳送在線計(jì)算任務(wù)分配總表和在線計(jì)算
數(shù)據(jù)；
離線調(diào)度服務(wù)器向離線計(jì)算節(jié)點(diǎn)傳送離線計(jì)算任務(wù)分配總表和離線計(jì)算 數(shù)據(jù)，以及在線計(jì)算任務(wù)分配總表和在線計(jì)算數(shù)據(jù)；
在線計(jì)算節(jié)點(diǎn)和離線計(jì)算節(jié)點(diǎn)接收到任務(wù)總表后分割并過濾出與自身節(jié) 點(diǎn)相關(guān)的分配任務(wù)后立即開始計(jì)算，計(jì)算完畢后將計(jì)算結(jié)果分別返回給在線 調(diào)度服務(wù)器和離線調(diào)度服務(wù)器；
離線調(diào)度服務(wù)器將在線任務(wù)計(jì)算結(jié)果返回至在線調(diào)度服務(wù)器；以及
在線調(diào)度服務(wù)器和離線調(diào)度服務(wù)器分別匯總在線任務(wù)計(jì)算結(jié)果和離線任 務(wù)計(jì)算結(jié)果后返回給PCP。
PCP進(jìn)行資源匹配時(shí)采用的資源匹配原則是按順序最佳滿足法，也就是按 照資源的排列順序，依次向節(jié)點(diǎn)分配與其CPU核個(gè)數(shù)相等的任務(wù)數(shù)。若任務(wù) 數(shù)大于所有的可用資源節(jié)點(diǎn)的CPU核總數(shù)，在順序最佳滿足法的基礎(chǔ)上進(jìn)行 輪轉(zhuǎn)分配，按順序每個(gè)節(jié)點(diǎn)額外增加一個(gè)任務(wù)，本輪分配不完，進(jìn)入下一輪 額外輪轉(zhuǎn)分配，直到所有任務(wù)在可用資源中分配完畢為止。
下面參照?qǐng)D4，詳細(xì)描述根據(jù)本發(fā)明的動(dòng)態(tài)計(jì)算分配方法中，通過在線調(diào) 度服務(wù)器進(jìn)行在線計(jì)算分配的情況，包括-
DCP通知PCP在線計(jì)算輸入文件準(zhǔn)備完畢；
PCP從FTP上下載在線計(jì)算輸入文件，并形成在線計(jì)算任務(wù)分配方案； PCP向在線調(diào)度服務(wù)器發(fā)送在線計(jì)算輸入文件和在線任務(wù)分配方案； 在線調(diào)度服務(wù)器將在線計(jì)算輸入文件和在線任務(wù)分配方案轉(zhuǎn)發(fā)給在線計(jì) 算節(jié)點(diǎn)；
在線計(jì)算節(jié)點(diǎn)根據(jù)在線任務(wù)分配方案使用在線計(jì)算輸入文件觸發(fā)計(jì)算進(jìn)程開始計(jì)算，計(jì)算完畢后將計(jì)算結(jié)果返回給在線調(diào)度服務(wù)器；
在線調(diào)度服務(wù)器將在線任務(wù)計(jì)算結(jié)果匯總后返回給PCP; PCP將匯總在線結(jié)果上傳給FTP并通知DCP全部在線計(jì)算完畢。 下面參照?qǐng)D5詳細(xì)描述根據(jù)本發(fā)明的動(dòng)態(tài)計(jì)算分配方法中，通過離線調(diào) 度服務(wù)器進(jìn)行在線計(jì)算分配的情況，包括 DCP通知PCP在線計(jì)算輸入文件準(zhǔn)備完畢；
PCP從FTP上下載在線計(jì)算輸入文件，并形成在線計(jì)算任務(wù)分配方案； PCP向離線調(diào)度服務(wù)器發(fā)送在線計(jì)算輸入文件和在線任務(wù)分配方案； 離線調(diào)度服務(wù)器將在線計(jì)算輸入文件和在線任務(wù)分配方案轉(zhuǎn)發(fā)給離線計(jì) 算節(jié)點(diǎn)；
離線計(jì)算節(jié)點(diǎn)根據(jù)在線任務(wù)分配方案使用在線計(jì)算輸入文件觸發(fā)計(jì)算進(jìn) 程開始計(jì)算，計(jì)算完畢后將計(jì)算結(jié)果返回給離線調(diào)度服務(wù)器；
離線調(diào)度服務(wù)器將在線任務(wù)計(jì)算結(jié)果傳送給在線調(diào)度服務(wù)器；， 在線調(diào)度服務(wù)器將在線任務(wù)計(jì)算結(jié)果匯總后返回給PCP; PCP將匯總在線結(jié)果上傳給FTP并通知DCP全部在線計(jì)算完畢。 下面參照?qǐng)D6，詳細(xì)描述根據(jù)本發(fā)明的動(dòng)態(tài)計(jì)算分配方法中，通過離線調(diào)
度服務(wù)器進(jìn)行離線計(jì)算分配的情況，包括
離線任務(wù)提交端通知PCP離線計(jì)算輸入文件準(zhǔn)備完畢；
PCP從FTP上下載離線輸入文件，并形成離線計(jì)算任務(wù)分配方案；
PCP向離線調(diào)度服務(wù)器發(fā)送離線輸入文件和離線任務(wù)分配方案；
離線調(diào)度服務(wù)器將離線輸入文件和離線任務(wù)分配方案轉(zhuǎn)發(fā)給離線計(jì)算節(jié)
點(diǎn)；
離線計(jì)算節(jié)點(diǎn)根據(jù)離線任務(wù)分配方案使用離線計(jì)算輸入文件觸發(fā)計(jì)算進(jìn) 程開始計(jì)算，計(jì)算完畢后對(duì)離線輸入文件進(jìn)行計(jì)算，然后將離線任務(wù)計(jì)算結(jié) 果返回給離線調(diào)度服務(wù)器；
離線調(diào)度服務(wù)器將離線任務(wù)計(jì)算結(jié)果匯總后返回給PCP;PCP將匯總離線結(jié)果上傳給FTP并通知DCP全部離線計(jì)算完畢。
通過上面對(duì)專利中提出的分布式計(jì)算平臺(tái)中任務(wù)調(diào)度和資源匹配方法進(jìn) 行詳細(xì)解釋和說明，從中可以概括出方法具備的特點(diǎn)。
第一個(gè)特點(diǎn)是動(dòng)態(tài)性，計(jì)算節(jié)點(diǎn)資源可自由地隨時(shí)加入和離開平臺(tái)系統(tǒng)， 節(jié)點(diǎn)資源的可用狀態(tài)、服務(wù)能力、負(fù)載等都隨時(shí)間而動(dòng)態(tài)變化，節(jié)點(diǎn)上的計(jì) 算任務(wù)個(gè)數(shù)、計(jì)算時(shí)間和性質(zhì)也隨時(shí)間變化而變化。
第二個(gè)特點(diǎn)是自治性，可每個(gè)資源池要實(shí)現(xiàn)資源自治和管理，每個(gè)資源 池都有對(duì)應(yīng)的資源調(diào)度管理服務(wù)器對(duì)其進(jìn)行管理、控制、資源的有效調(diào)度和 分配等。
第三個(gè)特點(diǎn)是二分性，動(dòng)態(tài)資源池除滿足本域的離線計(jì)算需要外，還可 以動(dòng)態(tài)加入到在線計(jì)算域，但其節(jié)點(diǎn)本身需要離線調(diào)度管理服務(wù)器進(jìn)行管理， 包括在線任務(wù)的分配和在線任務(wù)計(jì)算結(jié)果的回收等，節(jié)點(diǎn)資源的分配通過
PCP(動(dòng)態(tài)計(jì)算節(jié)點(diǎn)分配與外接系統(tǒng))在在線和離線調(diào)度管理服務(wù)器之間進(jìn)行 協(xié)調(diào)。
分布式并行計(jì)算平臺(tái)作為計(jì)算問題的解決方案，由于采用了多種任務(wù)動(dòng) 態(tài)分配策略和高效的資源匹配方法，可以為任務(wù)提出者或第三方系統(tǒng)提供高 效快速的并行計(jì)算和結(jié)果回收、匯總、管理、存儲(chǔ)等功能。動(dòng)態(tài)分配方法能 夠?qū)崿F(xiàn)靈活調(diào)度，集中管理、統(tǒng)一調(diào)度、協(xié)調(diào)分配、按需分配，所以為基于 該分布式并行計(jì)算平臺(tái)之上的應(yīng)用系統(tǒng)的整體穩(wěn)定和高效運(yùn)行提供了優(yōu)秀的 并行計(jì)算基礎(chǔ)平臺(tái)。
以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了 進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已， 并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任 何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1. 一種分布式并行計(jì)算平臺(tái)系統(tǒng)，該系統(tǒng)包括PCP，用于接收在線和離線計(jì)算輸入文件，形成在線和離線任務(wù)分配方案；在線調(diào)度服務(wù)器，用于接收所述PCP下發(fā)的所述在線計(jì)算輸入文件和在線任務(wù)分配方案，將在線任務(wù)計(jì)算結(jié)果匯總并返回給所述PCP；離線調(diào)度服務(wù)器，用于接收所述PCP下發(fā)的所述在線和離線計(jì)算輸入文件與在線和離線分配方案并轉(zhuǎn)發(fā)至離線計(jì)算節(jié)點(diǎn)，將離線任務(wù)計(jì)算結(jié)果匯總并返回給所述PCP，將在線任務(wù)計(jì)算結(jié)果傳送給所述在線調(diào)度服務(wù)器；在線計(jì)算節(jié)點(diǎn)，用于接收所述在線調(diào)度服務(wù)器轉(zhuǎn)發(fā)的所述在線計(jì)算任務(wù)輸入文件和在線任務(wù)分配方案，只進(jìn)行在線計(jì)算并將在線計(jì)算結(jié)果返回給所述在線調(diào)度服務(wù)器；以及離線計(jì)算節(jié)點(diǎn)，用于接收所述離線調(diào)度服務(wù)器轉(zhuǎn)發(fā)的所述在線和離線計(jì)算輸入文件與在線和離線分配方案，進(jìn)行在線計(jì)算和離線計(jì)算，并將在線和離線計(jì)算結(jié)果返回給所述離線調(diào)度服務(wù)器。
2、 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于所述在線調(diào)度服務(wù)器當(dāng)前 僅接收一個(gè)在線計(jì)算請(qǐng)求，處理完上一批在線計(jì)算任務(wù)后方可接收下一批在 線計(jì)算請(qǐng)求，或者下一批在線計(jì)算請(qǐng)求到來可以立即中止上一批正在計(jì)算的在線任務(wù)。
3、 根據(jù)權(quán)利要求l所述的系統(tǒng)，其特征在于所述離線調(diào)度服務(wù)器釆用 以下方式調(diào)度，先服務(wù)法、輪轉(zhuǎn)法、加權(quán)輪轉(zhuǎn)法或按優(yōu)先級(jí)調(diào)度。
4、 一種分布式并行計(jì)算平臺(tái)的計(jì)算任務(wù)分配方法，所述分布式并行計(jì)算 平臺(tái)包括pcp、在線調(diào)度服務(wù)器、離線調(diào)度服務(wù)器、在線計(jì)算節(jié)點(diǎn)和離線計(jì)算 節(jié)點(diǎn)。該方法包括以下步驟-所述pcp接收在線計(jì)算任務(wù)和離線計(jì)算任務(wù)，并制定在線計(jì)算任務(wù)分配 總表和離線任務(wù)分配總表；所述pcp將發(fā)送所述在線計(jì)算任務(wù)分配總表和在線計(jì)算數(shù)據(jù)給在線調(diào)度 服務(wù)器，將所述離線計(jì)算任務(wù)分配總表和離線計(jì)算數(shù)據(jù)，以及所述在線計(jì)算 任務(wù)分配總表和在線計(jì)算數(shù)據(jù)發(fā)送離線調(diào)度服務(wù)器；所述在線調(diào)度服務(wù)器將所述在線計(jì)算任務(wù)分配總表和在線計(jì)算數(shù)據(jù)傳送給在線計(jì)算節(jié)點(diǎn)；所述離線調(diào)度服務(wù)器所述離線計(jì)算任務(wù)分配總表和離線計(jì)算數(shù)據(jù)，以及 所述在線計(jì)算任務(wù)分配總表和在線計(jì)算數(shù)據(jù)傳送給離線計(jì)算節(jié)點(diǎn)；所述在線計(jì)算節(jié)點(diǎn)和離線計(jì)算節(jié)點(diǎn)接收到所述任務(wù)總表后開始計(jì)算，計(jì) 算完畢后將各自的計(jì)算結(jié)果分別返回給所述在線調(diào)度服務(wù)器和所述離線調(diào)度 服務(wù)器；所述離線調(diào)度服務(wù)器將所述在線任務(wù)計(jì)算結(jié)果返回至所述在線調(diào)度服務(wù) 器；以及所述在線調(diào)度服務(wù)器和所述離線調(diào)度服務(wù)器分別匯總所述在線任務(wù)計(jì)算 結(jié)果和所述離線任務(wù)計(jì)算結(jié)果后返回給所述pcp。
5、 根據(jù)權(quán)利要求4所述的方法，其特征在于所述在線計(jì)算節(jié)點(diǎn)和離線 計(jì)算節(jié)點(diǎn)接收到所述任務(wù)總表后分割并過濾出與自身節(jié)點(diǎn)相關(guān)的分配任務(wù)后 立艮.卩開始計(jì)算。
6、 根據(jù)權(quán)利要求4所述的方法，其特征在于所述pcp制定在線計(jì)算任 務(wù)分配總表和離線任務(wù)分配總表時(shí)，對(duì)計(jì)算節(jié)點(diǎn)釆用按順序最佳滿足法的分 配原則。
7、 根據(jù)權(quán)利要求6所述的方法，其特征在于所述pcp制定在線計(jì)算任務(wù)分配總表和離線任務(wù)分配總表時(shí)，對(duì)計(jì)算節(jié)點(diǎn)進(jìn)一步采取輪轉(zhuǎn)分配的分配 方式。
全文摘要
本發(fā)明提供一種分布式并行計(jì)算平臺(tái)系統(tǒng)及其計(jì)算任務(wù)分配方法。該系統(tǒng)包括PCP，接收計(jì)算輸入文件，形成在線和離線任務(wù)分配方案；在線調(diào)度服務(wù)器，接收在線計(jì)算輸入文件及其任務(wù)分配方案并轉(zhuǎn)發(fā)至在線計(jì)算節(jié)點(diǎn)，將在線任務(wù)計(jì)算結(jié)果匯總并返回給PCP；離線調(diào)度服務(wù)器，在線和離線計(jì)算輸入文件及其分配方案并轉(zhuǎn)發(fā)至離線計(jì)算節(jié)點(diǎn)，將離線任務(wù)計(jì)算結(jié)果匯總并返回給PCP，將在線任務(wù)計(jì)算結(jié)果傳送給在線調(diào)度服務(wù)器；在線計(jì)算節(jié)點(diǎn)，只進(jìn)行在線計(jì)算；以及離線計(jì)算節(jié)點(diǎn)，進(jìn)行在線計(jì)算和離線計(jì)算。本發(fā)明一方面可以實(shí)現(xiàn)在線計(jì)算實(shí)時(shí)高效，另一方面也要保證計(jì)算資源的充分利用。
文檔編號(hào)G06F9/46GK101441580SQ20081023910
公開日2009年5月27日 申請(qǐng)日期2008年12月9日 優(yōu)先權(quán)日2008年12月9日
發(fā)明者嚴(yán)劍鋒, 于之虹, 寧文元, 哲 張, 張雪軒, 許曉菲, 旭 謝, 勇 陳 申請(qǐng)人:華北電網(wǎng)有限公司;中國(guó)電力科學(xué)研究院