專利名稱：一種服務于多網(wǎng)格接入的集群任務調(diào)度管理器的制作方法
技術領域：
本發(fā)明涉及一種服務于多網(wǎng)格接入的集群任務調(diào)度管理器，屬接入網(wǎng)格后的計算 機集群調(diào)度管理技術領域。
背景技術：
高性能計算機的發(fā)展趨勢正從傳統(tǒng)的專用超級計算機平臺轉變到低成本且通用、 松耦合、由單一或者多個處理器的計算機或者工作站構成的集群系統(tǒng)。這種集群系統(tǒng)有很 多的優(yōu)勢，包括可以按照給定的任務建造平臺，以適應較大型的應用程序和工作負荷等。很 多單位因為科研與工作的需要而購買或者研制了高性能計算集群系統(tǒng)，而且購買了相關的 在集群上使用的系統(tǒng)軟件與應用軟件。但這些單位在集群的管理與維護上都面對著一個的 問題，就是集群的資源利用率的問題。作為一個單位而言，它不可能每天都有大量的運算任 務讓集群去計算。而且好多購買集群的單位也不是計算機專業(yè)研究單位，只是用集群來為 其做科研計算或者工程計算等。因此，在集群系統(tǒng)的使用上，集群的利用率非常低，但每天 用在集群上的開銷是一種很大的浪費，集群系統(tǒng)每天是開機運行狀態(tài)，但CPU、內(nèi)存、硬盤、 網(wǎng)格等的利用率卻很低。而另一方面，一個單位上的集群的計算能力在某些時候，不能保證任務的性能需 求，但這種情況又不是很多，如果就因為這種個別情況，而再去花大量的經(jīng)費去購買新的集 群系統(tǒng)，也會增大科研的成本，造成科研經(jīng)費的緊張，同時，對集群的效率而言也很低。而通 過網(wǎng)格技術，可以把分布在不同地點的、不同單位的、不同計算節(jié)點的各種計算和信息服務 資源，例如計算能力、存儲能力和信息服務能力，整合為一個單一的(虛擬的)系統(tǒng)。大規(guī) 模高性能計算需求以及計算機和網(wǎng)絡技術的發(fā)展促進了計算網(wǎng)格的誕生，充分利用已有資 源更好地為用戶服務，甚至求解人類不曾或者很難解決的問題。在單位的集群系統(tǒng)，比較空 閑時，可以將這部分空閑資源共享到網(wǎng)格中去，當自己的資源緊張時，可以通過網(wǎng)格獲取更 多的可用資源，實現(xiàn)資源的動態(tài)高效利用。因為很多網(wǎng)格是服務于某一項科研工作的需要的專用網(wǎng)格，因此，一臺集群系統(tǒng) 可能要接入到多個網(wǎng)格系統(tǒng)中，即多網(wǎng)格接入。多網(wǎng)格接入一方面，使集群系統(tǒng)的性能得到 了更好的發(fā)揮，同時，也會使得本單位從不同的網(wǎng)格中獲取了現(xiàn)多的有用資源。但多網(wǎng)格接 入也會給集群系統(tǒng)的任務與資源管理帶來了很多的問題。集群上現(xiàn)有的任務與資源管理系 統(tǒng)與方法已經(jīng)不能滿足多網(wǎng)格接入以后的任務調(diào)度與管理需求，因此，需要有新的能夠滿 足在多網(wǎng)格接入的條件下的任務調(diào)度與管理系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的是，為了使集群在多網(wǎng)格接入時，能夠及時而高效地為每個網(wǎng)格上 的任務分配集群資源，同時有效地管理好集群上的每個任務，本發(fā)明公開了一個服務于多 網(wǎng)格接入的集群任務調(diào)度管理器，使網(wǎng)格用戶與集群用戶對集群系統(tǒng)上的資源的利用與任 務的管理更加靈活與方便。
本發(fā)明的技術方案是，所述服務于多網(wǎng)格接入的集群任務調(diào)度管理器包括任務分 類與任務優(yōu)先級劃分策略、本地任務的資源預約占用策略和任務的調(diào)度與資源分配策略。任務分類與任務優(yōu)先級劃分策略任務首先分為本地提交任務LT與網(wǎng)格提交任務GT。其中GT又根據(jù)集群接入的網(wǎng) 格的不同分為某網(wǎng)格的GT(Gl)、GT (G2)、……、GT (GN)。任務的優(yōu)先級P為Pu > PGT(G1) > PGT(G2) >……>PCT_。當集群系統(tǒng)內(nèi)的本地用戶通過集群本地任務管理系統(tǒng)向集群提交任 務時，則該任務為本地提交任務LT，如果該用戶通過網(wǎng)格來提交該任務時，則如果該任務向 集群申請資源時，被認為是該網(wǎng)格的任務GT。本地任務的資源預約占用策略本地任務LT為了能確保在任務提交時能夠及時獲得集群上的資源，可以對集群 資源進行預約占用，預約占用的有效期為時間Tp。預約占用的作用范圍只針對于網(wǎng)格任務， 即當用戶為本地任務LT預約占用資源Rp以后，該資源Rp在預約占用時間有效期內(nèi)，網(wǎng)格 任務無法使用該資源，但其它本地任務LT’可以使用該資源RP。用戶提交預約占用請求時， 提交的信息包括任務所需要的資源信息集合(一般包括集群節(jié)點數(shù)量、計算核數(shù)、所需 軟件工具、存儲空間大小等)、預約有效期(該時間<TP)、預約用戶信息(用ID、預約提交 時間等)。預約占用請求提交成功以后，如果當前的集群中的空閑資源能夠滿足用戶的資源 預約占用需求，則預約占用管理器給用戶立即返回預約成功消息，并為用戶保留好預約的 資源。如果當前沒有滿足預約條件的資源，則預約占用管理器將暫存該預約請求，每當集群 上資源有變化時，就進行預約占用請求，直到在預約請求時間有效期內(nèi)，如果預約成功，向 用戶返回預約成功消息，否則，在預約占用有效時間截止時返回預約失敗的信息。任務的調(diào)度與資源分配策略假設初始時，沒有任務提交，當有新的任務提交時，轉第0步。第0步任務調(diào)度管理器的任務接收端口接收所有提交請求任務，并將其交給任 務接收器，任務接收器將任務進行接收，如果在某一時刻，同時有來自不同的網(wǎng)格的任務同 時提交，則需要根據(jù)每個任務優(yōu)先級將這些任務按優(yōu)先級高低進行排隊，首先對優(yōu)先級最 高的任務進行調(diào)度與資源分配。第一步從提交任務隊列出取出一個任務Tk，查看其所需要的資源，從集群的空閑 資源管理器中尋找滿足其需求的資源，如果滿足其資源需求，則轉第二步，否則轉第三步。第二步如果該任務是本地任務LT，則為其分配資源，并更新當前集群空閑資源 庫，轉第XX步；否則，該任務為網(wǎng)格提交任務GT，先為其預約好其所需要的資源，并更新當 前集群空閑資源庫，并確認該任務是否要提交到該集群，如果確認提交，轉第四步，否則轉 第五步。第三步確認該任務是否需要加入該集群的等待再次提交任務隊列Qw ？如果確認 加入Qw，轉第六步；否則，取消該任務的提交，轉第七步。第四步將該任務交由任務狀態(tài)管理器來監(jiān)控任務的提交狀態(tài)，并由任務提交管 理器負責對該任務在集群上進行提交，轉第七步。第五步回收為該任務預留的資源，并更新當前集群空閑資源庫，轉第七步。第六步根據(jù)該任務的優(yōu)先級確定任務要插入到Qw中的位置。 的排隊策略如下 對于相同優(yōu)先級的任務，提交時間在先的排在隊列的前面；對于不同優(yōu)先級的任務，則高優(yōu)先級的任務排在低優(yōu)先級的任務的前面。轉第七步。第七步查看當前提交任務隊列是否為空，如果該隊列為空，則轉第八步，否則，指 向隊列的下一個任務，轉第一步。第八步查看當前有無空閑資源變化，如果空閑資源發(fā)生變化，則查看是Qw否為 空，如果Qw為空，則等待新任務到來，在新的任務到來之后，轉第一步；如果Qw不為空，則轉 第九步。第九步從Qw中取出當前指針指向的任務，為其匹配空閑資源，如果匹配成功，則 提交該任務，轉第十步。如果資源匹配不成功，則指針指向Qw中下一個任務，并轉第九步。第十步確認Qw是否為空，如果Qw為空，則等待新任務提交或者空閑資源發(fā)生變 化，轉第十一步。如果Qw不為空，則指針指向Qw中下一個任務，并轉第九步。第十一步如果是有新的任務提交，則轉第0步，如果是空閑資源發(fā)生變化，則轉 第八步。通過對本地提交的任務LT設立高的優(yōu)先級，保證了本地任務對集群的資源的優(yōu) 先使用權，在本地任務不多，集群資源空閑時，向網(wǎng)格任務開放。同時，如果本地的用戶想使 用網(wǎng)格上的其它的網(wǎng)格資源節(jié)點的資源，則可以通過向該網(wǎng)格的portal提交任務，并由該 網(wǎng)格的任務調(diào)度器將此任務調(diào)到對應的網(wǎng)格資源節(jié)點上。本發(fā)明與現(xiàn)有技術比較的有益效果是，本發(fā)明提出的服務于多網(wǎng)格接入的集群任 務調(diào)度管理器，不僅可以充分保證本地任務對集群資源的充分利用，而且能夠靈活的控制 整個集群上的資源對網(wǎng)格任務的動態(tài)開放與退出，充分提高了集群資源的使用效率，使集 群系統(tǒng)的任務調(diào)度與管理更加靈活與方便。


圖1是實現(xiàn)該任務調(diào)度管理器的系統(tǒng)功能結構圖；圖2是任務隊列管理模塊功能結構圖；圖3是任務狀態(tài)監(jiān)控管理功能結構圖；圖4是集群資源管理功能結構圖；圖中圖號1為用戶管理系統(tǒng)模塊；2為網(wǎng)絡任務接口管理模塊；3為任務隊列管 理器；4為本地任務接口管理模塊；5為任務狀態(tài)監(jiān)控器；6為調(diào)度器；7為預約占用管理器； 8為任務提交控制管理器；9為資源回收器；10為資源管理器；21為任務排隊決策策略；22 為任務排隊決策策略；31為任務狀態(tài)信息服務；32為任務狀態(tài)切換管理；33為分類任務狀 態(tài)管理；41為資源分類信息管理；42為空閑資源管理；43為預約占用資源管理；44為占用 資源管理；45為異常資源管理；46為資源信息服務管理。
具體實施例方式本發(fā)明具體實施方式
如圖1、圖2、圖3和圖4所示。本發(fā)明方法的實現(xiàn)對硬件環(huán)境為集群系統(tǒng)，軟件環(huán)境為多核處理器集群管理平 臺，實現(xiàn)本發(fā)明所用的語言工具沒有特別要求，C語言、C++語言、Java語言等都能實現(xiàn)。對 操作系統(tǒng)平臺也沒有特別要求，Microsoft Windows系統(tǒng)、各種Linux系統(tǒng)、UNIX系統(tǒng)等都 可以做為操作系統(tǒng)運行平臺，該發(fā)明可以開發(fā)成圖形界面形式，也可以開發(fā)成非圖形界面形式。圖1是實現(xiàn)該任務資源分配方法的功能結構圖，主要包括以下功能模塊(1)用戶管理系統(tǒng)模塊，如圖1中的1所示。該功能模塊主要是對集群系統(tǒng)上的提 交任務的用戶的認證與管理，通過該用戶管理系統(tǒng)來注冊與審核用戶，用戶被集群系統(tǒng)認 證以后，可以直接通過集群本地任務管理系統(tǒng)向集群提交任務，用戶被某接入網(wǎng)格認證以 后可以通過該網(wǎng)格任務管理系統(tǒng)向網(wǎng)格提交任務。(2)網(wǎng)格任務接口管理模塊，如圖1中的2所示。該功能模塊負責與網(wǎng)格任務管 理系統(tǒng)的任務進行信息交互，將網(wǎng)格提交的網(wǎng)格任務接收后，對網(wǎng)格任務格式進行轉換，轉 換為集群任務管理系統(tǒng)所要求的任務格式，并將任務傳送給任務隊列管理器(如圖1中的 3所示)。集群系統(tǒng)每接入一個網(wǎng)格，便對應生成一個網(wǎng)格任務接口。(3)本地任務接口管理模塊，如圖1中的4所示。該功能模塊負責與本地任務管理 系統(tǒng)的任務進行信息交互，將本地提交的集群任務接收后，將任務傳送給任務隊列管理器 (如圖1中的3所示)。集群系統(tǒng)中只需要一個本地任務接口。(4)任務隊列管理模塊，如圖1中的3所示。該功能模塊負責對提交的各種任務進 行調(diào)度前的排序隊列管理，主要包括待處理任務隊列Qs與等待再次提交任務隊列Qw。圖2為任務隊列管理模塊功能結構圖，隊列Qs主要保存的是從本地任務接口與網(wǎng) 格任務接口所提交過來的任務，如果同是時刻(例如在同一秒內(nèi))有多個任務從不同的接 口提交過來，將根據(jù)排隊決策策略，對任務進行排隊。圖2中的22所示的排隊決策策略為 則根據(jù)其所在的接口的任務的優(yōu)先級，對這些任務按優(yōu)先級高低進行排序；對于不是同時 提交的，則按提交時間先后排序。如果Qs為空，表明當前沒有正在提交的任務，且以前提交 的任務都已經(jīng)被調(diào)度器(圖1中的6所示)進行了調(diào)度處理。隊列Qw主要保存的是當前集群資源不能滿足需求而需要在岳面的適當時刻(如 有新的空閑資源出現(xiàn)時)再次向集群系統(tǒng)提交的任務序列。在圖2中21所示的排隊決策 策略為(1)本地任務LT優(yōu)先于網(wǎng)格任務GT ； (2)任務同優(yōu)先級時，以提交時間先后為序； (3)網(wǎng)格任務以優(yōu)先級為主序，提交時間為次序。當隊列Qw為空時，表明沒有等待再次提交 的任務。(5)任務狀態(tài)監(jiān)控管理模塊，如圖1中的5所示。該功能模塊負責監(jiān)控提交到集群 上的各個任務的生命周期狀態(tài)，并負責任務切換管理以及任務狀態(tài)信息服務。圖3為任務 狀態(tài)監(jiān)控管理功能結構圖，任務管理主要管理如下任務狀態(tài)隊列正在提交任務隊列、正在 運行任務隊列、故障任務隊列、運行結束任務隊列等。任務狀態(tài)切換管理(圖3中32)主要 是根據(jù)任務的不同的狀態(tài)之間切換過程，通知相應的功能模塊。如由正在提交狀態(tài)變?yōu)檎?在運行狀態(tài)時，生成任務提交成功的消息，并傳送給調(diào)度器(如圖1中的6所示)。當任務 由正在運行狀態(tài)變?yōu)檫\行結束狀態(tài)時，生成任務運行完成的消息，傳送給調(diào)度器，并通知資 源回收器收回該任務所占用資源。任務狀態(tài)信息服務(圖3中31)主要是負責處理任務信 息狀態(tài)的查詢請求，根據(jù)其查詢請求，為其提供相對應的任務當前狀態(tài)信息。分類任務狀態(tài) 管理(圖3中的33)主要是負責對所接入的某個網(wǎng)格的任務狀態(tài)信息服務管理，如當前網(wǎng) 格A的運行任務等。(6)預約占用管理模塊，如圖1中的7所示。該功能模塊負責處理由本地用戶提交 的資源預占用請求，根據(jù)用戶所請求的資源，查看當前的資源情況，如果當前空閑資源能滿足該資源需求，則進行資源預約占用標記處理，對網(wǎng)格任務而言，整個集群系統(tǒng)的可用資源 將是全部資源減去預約占用資源，但對其它本地任務，預約占用資源無效。如果當前沒有滿 足預約占用要求的資源，則預約占用管理模塊會保存預約請求，在資源發(fā)生變化時，繼續(xù)進 行預約占用，當有效期結束時，還沒有預約成功，則表示此次預約占用失敗。(7)任務提交控制管理模塊，如圖1中的8所示。當調(diào)度器為提交任務找到滿足其 需求的資源，并且確認提交時，交由該模塊進行提交，該模塊為每個要提交的任務開辟一個 線程來處理任務提交。如果任務提交成功，則通知任務狀態(tài)監(jiān)控管理模塊任務提交成功，并 生成該任務的詳細信息。如果任務在提交中出現(xiàn)了問題，任務提交沒有成功，則通知調(diào)度器 任務提交不成功，并通知資源回收器收回該任務占用的資源。(8)資源回收器管理模塊，如圖1中的9所示。該功能模塊主要是負責對資源的 回收與管理。在以下情況發(fā)生時，回收相應的任務資源①任務運行結束；②任務提交未成 功；③任務取消，包括正在運行的任務被取消與預約占用資源被用戶取消；④任務自身異 常中斷而退出；⑤故障資源的恢復正常。資源回收器將這些回收的資源設置為空閑資源，并 加入空閑資源集合中。(9)資源管理器模塊，如圖1中的10所示。該功能模塊主要負責對整個集群統(tǒng)的 各種有效的資源管理與資源信息服務。圖4為集群資源管理功能結構圖，主要包括①資 源分類信息管理；②空閑資源管理；③預約占用資源管理；④占用資源管理；⑤異常資源管 理；⑥資源信息服務管理等。①資源分類信息管理(圖4中41)。對集群上的各種資源進行資源分類，進行資源 分類的主要依據(jù)是網(wǎng)格的硬件系統(tǒng)、操作系統(tǒng)、軟件系統(tǒng)等。在集群系統(tǒng)中，資源一般主要 包括計算節(jié)點、CPU、計算核、內(nèi)存資源、存儲資源、通信資源、應用軟件資源、編程資源等。②空閑資源管理(圖4中42)。對集群上的各種空閑資源的統(tǒng)計與管理，將空閑資 源信息提供給調(diào)度器。同時，將資源回收器回收的資源加入到對應的空閑資源種類集合中， 當有資源被占用與預約占用時，將相應的空閑資源數(shù)目減少。③預約占用資源管理(圖4中43)。對由本地用戶的預約占用成功的資源數(shù)目進 行管理，這些資源數(shù)目對網(wǎng)格任務是不可用資源，當在預約占用有效期內(nèi)，用戶從本地提交 任務成功，則將該預約占用資源轉為占用資源，如果在預約占用有效期內(nèi)沒有提交任務成 功，則在預約占用到期時，將該預約占用資源由資源回收器收回。④占用資源管理(圖4中44)。對已經(jīng)在運行的任務所占用的管理，將該資源信息 提供給調(diào)度器，并管理這些被占用資源上的具體資源信息與分類，當有新任務提交時，將其 所占用的資源加入到占用資源集合中，當有任務運行完成、任務取消或者運行異常而退出 時，將其所占用的資源從占用資源集合中去除。⑤異常資源管理(圖4中45)。當有資源出現(xiàn)異?；蛘呒耗彻?jié)點關機時，將這些 資源信息加入到異常資源集合中，并提供異常情況類型信息。⑥資源信息服務管理(圖4中46)。為管理員與用戶提供當前的集群上的信息資 源情況，包括當前空閑資源種類與數(shù)量、集群可提供的資源信息、當前資源占用信息、當前 關機資源信息、當前故障或者異常資源信息、當前預約占用資源信息等。(11)任務調(diào)度器模塊，如圖1中的6所示。該功能模塊是實現(xiàn)本發(fā)明方法的核心 功能模塊，它與其它各功能模塊進行交互。當任務提交隊列不為空時，從中取出任務，按本發(fā)明所提出的調(diào)度方法將該任務調(diào)度到對應的資源節(jié)點上。當調(diào)度器確認一個任務將要提 交時，啟動任務提交功能模塊開始任務的正式提交，如果任務提交成功，則由調(diào)度器向用戶 返回任務提交成功信息，如果提交失敗，向用戶返回提交失敗信息，并通知資源回收器收回 該任務占用資源。只要Qw或Qs不為空，調(diào)度器持續(xù)在資源信息變化或者有新的任務提交時 為任務在集群中匹配合適資源。 通過對本地提交的任務LT設立高的優(yōu)先級，保證了本地任務對集群的資源的優(yōu) 先使用權，通過預約占用策略，保證在本地任務對資源有很大需求時，在預約占用時間有效 期內(nèi)，網(wǎng)格方面的任務不能與本地任務爭用集群資源。本發(fā)明的實施方案中的各個功能模 塊易于用各種編程語言實現(xiàn)，也易于在各種操作系統(tǒng)平臺上去實現(xiàn)與運行。本發(fā)明提出的 服務于多網(wǎng)格接入的集群任務調(diào)度管理器，不僅可以充分保證本地任務對集群資源的充分 利用，而且能夠靈活的控制整個集群上的資源對網(wǎng)格任務的動態(tài)開放與退出，充分提高了 集群資源的使用效率，使集群系統(tǒng)的任務調(diào)度與管理更加靈活與方便。
權利要求
一種服務于多網(wǎng)格接入的集群任務調(diào)度管理器，其特征在于所述服務于多網(wǎng)格接入的集群任務調(diào)度管理器包括任務分類與任務優(yōu)先級劃分策略、本地任務的資源預約占用策略和任務的調(diào)度與資源分配策略。
2.根據(jù)權利要求1所述的一種服務于多網(wǎng)格接入的集群任務調(diào)度管理器，其特征在 于，所述任務分類與任務優(yōu)先級劃分策略為任務首先為分本地提交任務LT與網(wǎng)格提交任務GT ；其中GT又根據(jù)集群接入的網(wǎng)格的 不同分為某網(wǎng)格的GT(Gl)、GT (G2)、……、GT (GN)；任務的優(yōu)先級P為Pur > PGT(G1) > PGTfe2) >……> PCT_ ；當集群系統(tǒng)內(nèi)的本地用戶通過集群本地任務管理系統(tǒng)向集群提交任務時，則該任務為 本地提交任務LT，如果該用戶通過網(wǎng)格來提交該任務時，則如果該任務向集群申請資源時， 被認為是該網(wǎng)格的任務GT。
3.根據(jù)權利要求1所述的一種服務于多網(wǎng)格接入的集群任務調(diào)度管理器，其特征在 于，所述本地任務的資源預約占用策略為本地任務LT為了能確保在任務提交時能夠及時獲得集群上的資源，可以對集群資源 進行預約占用，預約占用的有效期為時間Tp ；預約占用的作用范圍只針對于網(wǎng)格任務，即當用戶為本地任務LT預約占用資源Rp以 后，該資源Rp在預約占用時間有效期內(nèi)，網(wǎng)格任務無法使用該資源，但其它本地任務LT’可 以使用該資源RP;用戶提交預約占用請求時，提交的信息包括任務所需要的資源信息集合、預約有效 期、預約用戶信息；預約占用請求提交成功以后，如果當前的集群中的空閑資源能夠滿足用戶的資源預 約占用需求，則預約占用管理器給用戶立即返回預約成功消息，并為用戶保留好預約的資 源；如果當前沒有滿足預約條件的資源，則預約占用管理器將暫存該預約請求，每當集群 上資源有變化時，就進行預約占用請求，直到在預約請求時間有效期內(nèi)，如果預約成功，向 用戶返回預約成功消息，否則，在預約占用有效時間截止時返回預約失敗的信息。
4.根據(jù)權利要求1所述的一種服務于多網(wǎng)格接入的集群任務調(diào)度管理器，其特征在 于，所述任務的調(diào)度與資源分配策略為假設初始時，沒有任務提交，當有新的任務提交時，轉第0步；第0步任務調(diào)度管理器的任務接收端口接收所有提交請求任務，并將其交給任務接 收器，任務接收器將任務進行接收，如果在某一時刻，同時有來自不同的網(wǎng)格的任務同時提 交，則需要根據(jù)每個任務優(yōu)先級將這些任務按優(yōu)先級高低進行排隊，首先對優(yōu)先級最高的 任務進行調(diào)度與資源分配；第1步從提交任務隊列出取出一個任務TK，查看其所需要的資源，從集群的空閑資源 管理器中尋找滿足其需求的資源，如果滿足其資源需求，則轉第2步，否則轉第3步；第2步如果該任務是本地任務LT，則為其分配資源，并更新當前集群空閑資源庫，轉 第4步；否則，該任務為網(wǎng)格提交任務GT，先為其預約好其所需要的資源，并更新當前集群 空閑資源庫，并確認該任務是否要提交到該集群，如果確認提交，轉第4步，否則轉第5步；第3步確認該任務是否需要加入該集群的等待再次提交任務隊列Qw，如果確認加入Qw，轉第6步；否則，取消該任務的提交，轉第7步；第4步將該任務交由任務狀態(tài)管理器來監(jiān)控任務的提交狀態(tài)，并由任務提交管理器 負責對該任務在集群上進行提交，轉第7步；第5步回收為該任務預留的資源，并更新當前集群空閑資源庫，轉第7步； 第6步根據(jù)該任務的優(yōu)先級確定任務要插入到Qw中的位置；QW的排隊策略如下 對于相同優(yōu)先級的任務，提交時間在先的排在隊列的前面； 對于不同優(yōu)先級的任務，則高優(yōu)先級的任務排在低優(yōu)先級的任務的前面，轉第7步； 第7步查看當前提交任務隊列是否為空，如果該隊列為空，則轉第8步；否則，指向隊 列的下一個任務，轉第1步；第8步查看當前有無空閑資源變化，如果空閑資源發(fā)生變化，則查看是Qw否為空， 如果Qw為空，則等待新任務到來，在新的任務到來之后，轉第1步；如果 不為空，則轉 第9步；第9步從Qw中取出當前指針指向的任務，為其匹配空閑資源， 如果匹配成功，則提交該任務，轉第10步；如果資源匹配不成功，則指針指向Qw中下一 個任務，并轉第9步；第10步確認Qw是否為空，如果Qw為空，則等待新任務提交或者空閑資源發(fā)生變化，轉第11步； 如果Qw不為空，則指針指向Qw中下一個任務，并轉第9步；第11步如果是有新的任務提交，則轉第0步，如果是空閑資源發(fā)生變化，則轉第8步。
全文摘要
本發(fā)明公開了一種服務于多網(wǎng)格接入的集群任務調(diào)度管理器。將集群系統(tǒng)上的任務分為本地任務與網(wǎng)格任務，并將網(wǎng)格任務細分為是哪個網(wǎng)格上的任務。對任務進行優(yōu)先級分類，以確保在同時提交任務時，根據(jù)任務優(yōu)先級確定先為哪個任務分配集群資源。同時，采用本地任務預約占用資源策略來保證本地任務對資源有很大需求時，在預約占用時間有效期內(nèi)，來自網(wǎng)格方面的任務不能與本地任務爭用集群資源。在此基礎上提出任務調(diào)度與資源分配策略算法，保證及時有效地為任務分配所需的資源。此發(fā)明使得集群的任務調(diào)度與管理能夠適應集群同時接入多個網(wǎng)格系統(tǒng)，充分提高了集群資源的使用效率，使集群系統(tǒng)的任務調(diào)度與管理更加靈活與方便。
文檔編號H04L12/24GK101958808SQ20101051041
公開日2011年1月26日 申請日期2010年10月18日 優(yōu)先權日2010年10月18日
發(fā)明者劉美香, 劉覺夫, 柴亞輝, 涂春萍, 謝昕, 趙海霞 申請人:華東交通大學