專利名稱：一種網(wǎng)格資源管理系統(tǒng)及管理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于網(wǎng)絡(luò)與信息技術(shù)領(lǐng)域，涉及一種網(wǎng)格資源管理系統(tǒng)，尤其涉及一種基于WSRF 與語義網(wǎng)技術(shù)的網(wǎng)格資源管理系統(tǒng)，此外，本發(fā)明還涉及上述管理系統(tǒng)的管理方法。
背景技術(shù)：
網(wǎng)格利用高速因特網(wǎng)把分布于不同地理位置的計算機(jī)、數(shù)據(jù)庫、存儲器和軟件等資源連 成整體，就像一臺超級計算機(jī)一樣為用戶提供一體化信息服務(wù)。網(wǎng)格技術(shù)充分實現(xiàn)了資源共 享，具有成本低、效率高、使用更加方便等優(yōu)點(diǎn)。由于網(wǎng)格自身環(huán)境中的資源特點(diǎn)使得網(wǎng)格
環(huán)境下的資源管理成為一個很有挑戰(zhàn)性的問題。如何在大規(guī)模資源共享環(huán)境中進(jìn)行資源定位， 特別是在網(wǎng)格資源和用戶規(guī)模巨大、資源具有異質(zhì)性且屬性多樣、資源所有者的資源管理策 略又各不相同的情況下，網(wǎng)格資源發(fā)現(xiàn)問題面臨更加多的困難；同時，由于網(wǎng)格環(huán)境下資源 缺乏統(tǒng)一的命名機(jī)制，部分資源屬性又經(jīng)常性的變化(如CPU負(fù)載、可用空間大小甚至是軟 件類型)，部分資源可能主動或由于錯誤退出網(wǎng)格環(huán)境，更增添了資源發(fā)現(xiàn)的復(fù)雜度。
正是由于上述實際情況，在交通網(wǎng)格環(huán)境中資源具有較強(qiáng)的分布性，異構(gòu)性和動態(tài)性的 條件下，尋找一種可以適應(yīng)交通網(wǎng)格環(huán)境的資源管理模型成為必然。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于WSRF與語義網(wǎng)技術(shù)的網(wǎng)格資源管理系統(tǒng)。 為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案
一種網(wǎng)格資源管理系統(tǒng)，該系統(tǒng)包括網(wǎng)格頂層的應(yīng)用程序?qū)?、網(wǎng)格底層的監(jiān)控管理軟件 層；所述系統(tǒng)還包括Web服務(wù)層、訪問中間件層；應(yīng)用程序?qū)印eb服務(wù)層、訪問中間件層、 監(jiān)控管理軟件層依次連接；Web服務(wù)層用于提供網(wǎng)格資源發(fā)現(xiàn)服務(wù)、網(wǎng)格資源歷史狀態(tài)服務(wù)、 及網(wǎng)格資源調(diào)度服務(wù)；對應(yīng)的包括網(wǎng)格資源發(fā)現(xiàn)模塊、網(wǎng)格資源歷史狀態(tài)模塊、及網(wǎng)格資源 調(diào)度模塊；訪問中間件層提供一與平臺無關(guān)的資源管理接口，用于實現(xiàn)網(wǎng)格底層監(jiān)控管理軟 件層與Web服務(wù)層的數(shù)據(jù)訪問。
作為本發(fā)明的一種優(yōu)選方案，所述網(wǎng)格系統(tǒng)中的所有資源均以虛擬組織的形式進(jìn)行管理，
在每個虛擬組織內(nèi)部存在一個或多個集中式的資源注冊結(jié)構(gòu)，即存在中心服務(wù)器存儲共享資 源信息，所有可用資源信息被聚集在該中心服務(wù)器上。單中心服務(wù)器間模型采用分布式資源發(fā)現(xiàn)形式。
作為本發(fā)明的一種優(yōu)選方案，所述資源按資源所有者、或/和資源類型、或/和資源性質(zhì) 或/和管理策略標(biāo)準(zhǔn)分組;組與組之間則通過中心服務(wù)器采用P2P的資源定位方式連接入網(wǎng)格， 以適應(yīng)大規(guī)模的動態(tài)網(wǎng)格環(huán)境。
作為本發(fā)明的一種優(yōu)選方案，所述網(wǎng)格資源發(fā)現(xiàn)模塊包括查詢服務(wù)單元、通知服務(wù)單元、
語義査詢單元；所述査詢服務(wù)單元、通知服務(wù)單元分別與語義查詢單元連接；査詢服務(wù)單元、 通知服務(wù)單元連接Web服務(wù)層，語義査詢單元連接訪問中間件層。
利用上述的網(wǎng)格資源管理系統(tǒng)進(jìn)行網(wǎng)格資源管理方法，所述方法包括語義查詢步驟
步驟1A、獲取從網(wǎng)格資源狀態(tài)采集軟件收集的信息；
步驟1B、依據(jù)步驟1A所獲取的信息類型，將不同的信息內(nèi)容轉(zhuǎn)換成相應(yīng)的語義數(shù)據(jù)； 步驟1C、將步驟1B得到的所有語義數(shù)據(jù)保存在語義倉庫中，并提供相應(yīng)的基本語義査詢 接口；
步驟1D、將復(fù)雜的語義査詢包裝成簡單的査詢接口，簡化語義數(shù)據(jù)的査詢過程； 步驟1E、提供對語義數(shù)據(jù)變化的通知預(yù)訂功能； 步驟1F、提供對網(wǎng)格資源歷史數(shù)據(jù)的査詢功能；
步驟1G、依據(jù)步驟1C所保存的網(wǎng)格資源語義信息作出網(wǎng)格資源調(diào)度決定進(jìn)行網(wǎng)格資源的 調(diào)度工作。
作為本發(fā)明的一種優(yōu)選方案，所述網(wǎng)格資源管理方法包括語義信息轉(zhuǎn)化步驟，該步驟根 據(jù)獲取信息的不同信息格式(如XML格式，純文本格式，二進(jìn)制格式等)和不同信息源類型 (如數(shù)據(jù)庫，文件等)組裝成不同的數(shù)據(jù)源插件，對不同的原始數(shù)據(jù)進(jìn)行語義數(shù)據(jù)的提煉; 所述語義信息轉(zhuǎn)化步驟包括
步驟2A、選擇不同的信息格式和不同的數(shù)據(jù)源組裝成數(shù)據(jù)源插件； 步驟2B、利用數(shù)據(jù)源插件將相應(yīng)的數(shù)據(jù)源數(shù)據(jù)提煉成語義數(shù)據(jù)； 步驟2C、將提煉出的語義數(shù)據(jù)保存至語義查詢服務(wù)的語義倉庫中。 作為本發(fā)明的一種優(yōu)選方案，所述網(wǎng)格資源管理方法包括語義數(shù)據(jù)變化的通知預(yù)訂步驟，
該步驟提供給用戶注冊數(shù)據(jù)變化通知的功能，從而避免了用戶為了獲得所關(guān)心的數(shù)據(jù)狀態(tài)的
變化而反復(fù)査詢的情況；所述語義數(shù)據(jù)變化的通知預(yù)訂步驟包括 步驟3A、用戶定制所關(guān)心的數(shù)據(jù)狀態(tài)變更通知； 步驟3B、通知服務(wù)告知語義査詢服務(wù)在數(shù)據(jù)狀態(tài)變更時通知自己； 步驟3C、語義査詢服務(wù)在通知服務(wù)所關(guān)心的資源發(fā)生變化時通知通知服務(wù)；步驟3D、通知服務(wù)再通知用戶其所關(guān)心的資源狀態(tài)已發(fā)生變化。
作為本發(fā)明的一種優(yōu)選方案，所述網(wǎng)格資源管理方法包括網(wǎng)絡(luò)資源調(diào)度步驟，該步驟利 用語義査詢服務(wù)中所保存的網(wǎng)格資源狀態(tài)信息進(jìn)行網(wǎng)格任務(wù)調(diào)度決策，并完成調(diào)度工作；所 述網(wǎng)絡(luò)資源調(diào)度步驟包括
步驟4A、用戶將任務(wù)提交給網(wǎng)格資源調(diào)度服務(wù)；
步驟4B、網(wǎng)格資源服務(wù)根據(jù)用戶對任務(wù)資源的要求在語義數(shù)據(jù)査詢服務(wù)中查找符合要求 的資源列表；
步驟4C、在符合要求的資源列表中根據(jù)特定的資源調(diào)度算法進(jìn)行資源調(diào)度決策； 步驟4D、將網(wǎng)格任務(wù)調(diào)度至資源調(diào)度決策所選擇出的資源上； ' 作為本發(fā)明的一種優(yōu)選方案，所述網(wǎng)格資源管理方法包括網(wǎng)絡(luò)資源調(diào)度步驟，具體包括: 網(wǎng)格任務(wù)管理程序調(diào)用任務(wù)調(diào)度服務(wù)的任務(wù)調(diào)度接口將具體的計算任務(wù)分配給計算節(jié)
點(diǎn)；
任務(wù)調(diào)度服務(wù)根據(jù)實際的任務(wù)調(diào)度請求，查詢語義查詢服務(wù)，以確定該具體任務(wù)所需的
資源時候已經(jīng)就緒；
當(dāng)任務(wù)所需資源就緒后，任務(wù)調(diào)度服務(wù)調(diào)用訪問中間層的任務(wù)調(diào)度接口； 相應(yīng)的任務(wù)調(diào)度接口調(diào)用實際的本地任務(wù)調(diào)度程序完成任務(wù)的調(diào)度和運(yùn)行； 在任務(wù)運(yùn)行期間，本地任務(wù)調(diào)度程序通過訪問中間層的任務(wù)調(diào)度接口和任務(wù)調(diào)度服務(wù)與
最終發(fā)起任務(wù)分配的網(wǎng)格資源調(diào)度模塊進(jìn)行通訊，以告知網(wǎng)格資源調(diào)度模塊任務(wù)的具體執(zhí)行
情況所述網(wǎng)格資源調(diào)度模塊可以隨時通過調(diào)用任務(wù)調(diào)度服務(wù)的相應(yīng)接口中止或者掛起任務(wù)的
執(zhí)行過程。
本發(fā)明的有益效果在于本發(fā)明網(wǎng)格資源管理系統(tǒng)通過設(shè)置統(tǒng)一的管理接口，能適應(yīng)交 通網(wǎng)格中大量動態(tài)資源的發(fā)現(xiàn)和管理工作。


圖1為本發(fā)明基于WSRF的網(wǎng)格資源管理系統(tǒng)的組成示意圖。
圖2為整體資源組織結(jié)構(gòu)圖。
圖3為語義查詢服務(wù)的流程圖。
圖4為査詢服務(wù)的流程圖。
圖5為通知服務(wù)的流程圖。圖6為資源日志服務(wù)請求步驟的流程圖。
圖7為訪問中間層數(shù)據(jù)源插件步驟的流程圖。
圖8為虛擬組織內(nèi)資源節(jié)點(diǎn)注冊流程圖。
圖9為中心服務(wù)器注冊過程流程圖。
圖IO為中心服務(wù)器注冊過程流程圖。
圖ll為資源査詢過程流程圖。
圖12為任務(wù)調(diào)度過程流程圖。
圖13為虛擬資源節(jié)點(diǎn)下的任務(wù)調(diào)度過程流程圖。
具體實施例方式
下面結(jié)合附圖詳細(xì)說明本發(fā)明的優(yōu)選實施例。
請參閱圖l，本發(fā)明揭示了一種網(wǎng)格資源管理系統(tǒng)，該系統(tǒng)包括網(wǎng)格頂層的應(yīng)用程序?qū)印?網(wǎng)格底層的監(jiān)控管理軟件層(如Ganglia、 Hawkeye、任務(wù)調(diào)度器等)；所述系統(tǒng)還包括Web 服務(wù)層、訪問中間件層；應(yīng)用程序?qū)?、Web服務(wù)層、訪問中間件層、監(jiān)控管理軟件層依次連 接。
Web服務(wù)層用于提供網(wǎng)格資源發(fā)現(xiàn)服務(wù)、網(wǎng)格資源歷史狀態(tài)服務(wù)、及網(wǎng)格資源調(diào)度服務(wù)； 對應(yīng)的包括網(wǎng)格資源發(fā)現(xiàn)模塊、網(wǎng)格資源歷史狀態(tài)模塊、及網(wǎng)格資源調(diào)度模塊。所述網(wǎng)格資 源發(fā)現(xiàn)模塊包括査詢服務(wù)單元、通知服務(wù)單元、語義査詢單元；所述査詢服務(wù)單元、通知服 務(wù)單元分別與語義査詢單元連接；査詢服務(wù)單元、通知服務(wù)單元連接Web服務(wù)層，語義査詢 單元連接訪問中間件層。
訪問中間層是該系統(tǒng)中負(fù)責(zé)網(wǎng)格底層監(jiān)控管理軟件與模型核心組件實現(xiàn)數(shù)據(jù)訪問的關(guān)鍵 部分。由于網(wǎng)格資源的多樣性和復(fù)雜性， 一個成功的資源管理系統(tǒng)需要收集和發(fā)布多種資源 屬性，訪問中間層可以提供一套統(tǒng)一的且又平臺無關(guān)資源管理接口，使網(wǎng)格資源管理系統(tǒng)方 便的采集網(wǎng)格底層監(jiān)控管理軟件所產(chǎn)生的網(wǎng)格資源狀態(tài)信息成為可能。
請參閱圖2，在整個基于WSRF的網(wǎng)格資源管理系統(tǒng)中，資源采取了集中式與分布式相結(jié) 合的資源組織形式。所述網(wǎng)格系統(tǒng)中的所有資源均以虛擬組織(Virtual Organization, V0) 的形式進(jìn)行管理，在每個虛擬組織內(nèi)部存在一個或多個集中式的資源注冊結(jié)構(gòu)，即存在中心 服務(wù)器存儲共享資源信息，所有可用資源信息被聚集在該中心服務(wù)器上。單中心服務(wù)器間模 型采用分布式資源發(fā)現(xiàn)形式。所述資源按資源所有者、或/和資源類型、或/和資源性質(zhì)或/和管理策略標(biāo)準(zhǔn)分組；組與組之間則通過中心服務(wù)器采用P2P的資源定位方式連接入網(wǎng)格，以 適應(yīng)大規(guī)模的動態(tài)網(wǎng)格環(huán)境。整體資源組織結(jié)構(gòu)如圖2所示，圖中標(biāo)記為C的節(jié)點(diǎn)是虛擬組 織中作為中心服務(wù)器的資源節(jié)點(diǎn)。
以下介紹本系統(tǒng)涉及的服務(wù)及步驟。 (1)語義査詢服務(wù)
語義査詢服務(wù)是整個基于WSRF的網(wǎng)格資源管理系統(tǒng)的核心服務(wù)，在系統(tǒng)中起到承上啟下 的關(guān)鍵作用。由于網(wǎng)格資源類型的多樣性和復(fù)雜性， 一個成功的網(wǎng)格資源發(fā)現(xiàn)模型需要收集 和發(fā)布多種資源屬性，需要理解各類網(wǎng)格資源組織結(jié)構(gòu)，然而網(wǎng)格的動態(tài)性決定了網(wǎng)格的底 層資源組織結(jié)構(gòu)是多變的，這就使得網(wǎng)格資源管理系統(tǒng)的通用性與該模型對網(wǎng)格資源組織結(jié) 構(gòu)的適應(yīng)能力成為一對不可調(diào)和的矛盾。
造成這對矛盾的主要原因是，網(wǎng)格管理系統(tǒng)需要了解網(wǎng)格底層結(jié)構(gòu)，而這種了解大大減 少了網(wǎng)格資源管理系統(tǒng)的通用性。當(dāng)需要網(wǎng)格資源管理系統(tǒng)回答諸如"當(dāng)用戶執(zhí)行某個任務(wù) 時，請告訴我那些網(wǎng)格節(jié)點(diǎn)會參與該任務(wù)的執(zhí)行"之類的問題時，這對矛盾顯的尤為突出。 如果使用目前的技術(shù)(比如關(guān)系型數(shù)據(jù)庫，普通的網(wǎng)格管理系統(tǒng))去回答這類問題，用戶 需要編寫大量的代碼來使得網(wǎng)格資源管理系統(tǒng)明白網(wǎng)格的底層結(jié)構(gòu)，比如網(wǎng)格中各個節(jié)點(diǎn) 的類型、網(wǎng)格節(jié)點(diǎn)的層次關(guān)系(誰是誰的父節(jié)點(diǎn))、各個網(wǎng)格節(jié)點(diǎn)的技術(shù)參數(shù)和狀態(tài)、任務(wù)是 如何在網(wǎng)格環(huán)境中傳遞的。但這樣會使得網(wǎng)格資源管理系統(tǒng)成為一個只能工作在特定網(wǎng)格環(huán) 境中的定制的系統(tǒng)。當(dāng)網(wǎng)格環(huán)境發(fā)生改變時，用戶不得不從新修改代碼，從新編譯程序。如 果該網(wǎng)格管理系統(tǒng)被部署在很多網(wǎng)格節(jié)點(diǎn)上，那用戶還需要進(jìn)行繁瑣而有容易產(chǎn)生錯誤的系 統(tǒng)部署工作。
如果使用語義網(wǎng)技術(shù)，網(wǎng)格資源管理系統(tǒng)可以變得更"輕"，即網(wǎng)格資源管理系統(tǒng)本身并 不需要了解網(wǎng)格的具體底層結(jié)構(gòu)，而將這類本來需要寫在程序中的"語義"放到數(shù)據(jù)中。也 就是說網(wǎng)格資源管理系統(tǒng)通過讀取語義數(shù)據(jù)，理解語義數(shù)據(jù)中的含義，從而了解網(wǎng)格的底層 結(jié)構(gòu)。使用這種方法，如果網(wǎng)格底層結(jié)構(gòu)發(fā)生改變時，用戶只需要一次性的改變數(shù)據(jù)，而不 用從新修改，編譯和部署新的系統(tǒng)。
本文所提出的基于WSRF的網(wǎng)格資源管理系統(tǒng)中的語義査詢服務(wù)主要包括兩個子模塊語 義査詢接口和語義數(shù)據(jù)庫，如圖3。
語義數(shù)據(jù)庫主要用來接受和保存訪問中間層收集并提煉出的語義數(shù)據(jù)。語義數(shù)據(jù)庫中所 有數(shù)據(jù)均以三元組形式保存在內(nèi)存中，同時語義數(shù)據(jù)庫提供數(shù)據(jù)的修改接口，方便動態(tài)數(shù)據(jù)(如CPU利用率、空閑內(nèi)存數(shù)等)的實時修改。
語義查詢接口主要負(fù)責(zé)與語義査詢服務(wù)的上層服務(wù)進(jìn)行交互，將語義數(shù)據(jù)庫中的語義數(shù) 據(jù)作為源數(shù)據(jù)，運(yùn)行上層服務(wù)所提供的SPARQL，并將查詢結(jié)果整理后返回。
(2) 查詢服務(wù)
語義査詢服務(wù)雖然提供非常強(qiáng)大的語義查詢能力，但是卻需要使用者熟悉SPARQL和語義 數(shù)據(jù)的具體內(nèi)容，這對普通使用者來說是一個不小的挑戰(zhàn)，同時也會降低上層網(wǎng)格應(yīng)用程序 的通用性。為了解決這個問題，本文提出的基于WSRF的網(wǎng)格資源管理系統(tǒng)特別在語義査詢服 務(wù)上層提供了一組查詢服務(wù)。該組服務(wù)包裝了網(wǎng)格資源管理中的常用查詢(如資源狀態(tài)査 詢、資源結(jié)構(gòu)查詢等)，從而避免了上層網(wǎng)格應(yīng)用程序使用相對較為復(fù)雜的SPARQL進(jìn)行常用 的數(shù)據(jù)查詢。
由于所需支持査詢的多樣性，査詢服務(wù)包括了一組提供不同子查詢功能的子服務(wù)。目前 本文所提出的模型只提供了資源狀態(tài)查詢服務(wù)(Resource Status Service)和資源圖形査 詢月艮務(wù)(Resource Graph Finder Service)兩類o
一次典型的查詢服務(wù)使用過程如圖4示
.首先，上層網(wǎng)格應(yīng)用程序調(diào)用査詢服務(wù)接口。比如如果用戶需要知道某個VO的具體資源
組織形式(例如資源的隸屬關(guān)系、資源的類型和資源的基本信息)，該用戶就需要調(diào)用查詢
服務(wù)中的資源圖形查詢服務(wù)，同時提供相應(yīng)的參數(shù)。資源圖形查詢服務(wù)在收到用戶請求后會
將該請求轉(zhuǎn)換成相應(yīng)的SPARQL再提交給語義査詢服務(wù)查詢，并將語義査詢服務(wù)返回的結(jié)果整 理成接口約定的返回格式返回給用戶。
(3) 通知服務(wù)
資源通知服務(wù)是本文所提出的基于WSRF的網(wǎng)格資源管理系統(tǒng)中的一個輔助Web服務(wù)。該 服務(wù)利用Web Service Notification規(guī)范所提供的事件通知機(jī)制，為上層網(wǎng)格應(yīng)用程序提供 基于條件的網(wǎng)格資源狀態(tài)提醒服務(wù)。
由于網(wǎng)格資源的動態(tài)性，在每次任務(wù)調(diào)度過程中，無法保證所需資源在任務(wù)調(diào)度時是可 使用的。在沒有通知服務(wù)的情況下，用戶可能需要自己定期查詢所需資源狀態(tài)(如圖5(a)所 示)，直到感興趣的資源就緒為止，這么做首先會增加用戶端的工作量，其次這種方法會增加 網(wǎng)格信息服務(wù)的請求流量，從而嚴(yán)重影響網(wǎng)格信息服務(wù)的效率。
使用通知服務(wù)后，用戶不需要頻繁的向語義査詢服務(wù)或查詢服務(wù)請求資源狀態(tài)信息(如圖5(b)所示)。用戶只需要向通知服務(wù)發(fā)送一個訂閱(subscribe)請求，并給出條件。語義 査詢服務(wù)在每次資源狀態(tài)發(fā)生改變時都會告知通知服務(wù)，通知服務(wù)在收到語義査詢服務(wù)的資 源狀態(tài)改變的消息后，會自動判斷用戶訂閱的通知條件是否滿足，如果條件被滿足，通知服 務(wù)會通知用戶所需資源已經(jīng)可用。
(4)資源日志服務(wù)
資源日志服務(wù)是基于WSRF的網(wǎng)格資源管理系統(tǒng)所提供的第二類服務(wù)類型。改功能相對獨(dú) 立于其他主要的Web服務(wù)，也不是每個網(wǎng)格節(jié)點(diǎn)所必須部署的Web服務(wù)。該服務(wù)主要提供對 網(wǎng)格資源的歷史信息的査詢和數(shù)據(jù)統(tǒng)計功能， 一般主要部署在主要的網(wǎng)格節(jié)點(diǎn)上(如中心 服務(wù)器)，從而方便資源使用者或網(wǎng)格管理員對該資源節(jié)點(diǎn)的歷史數(shù)據(jù)進(jìn)行査詢、分析和參考。
資源日志服務(wù)主要利用訪問中間層所提供的數(shù)據(jù)庫訪問接口對保存在數(shù)據(jù)庫中的網(wǎng)格狀 態(tài)歷史信息進(jìn)行分析和挖掘，并以圖形，表格等方式返回給上層網(wǎng)格應(yīng)用程序(如圖6)。該 服務(wù)所依賴的歷史數(shù)據(jù)主要是在訪問中間層收集提煉語義查詢服務(wù)所需數(shù)據(jù)時保存入數(shù)據(jù)庫 的。
(5)訪問中間層
訪問中間層是本文所提出的基于WSRF的網(wǎng)格資源管理系統(tǒng)中負(fù)責(zé)網(wǎng)格底層監(jiān)控管理軟件 與模型核心組件實現(xiàn)數(shù)據(jù)訪問的關(guān)鍵部分。由于網(wǎng)格資源的多樣性和復(fù)雜性， 一個成功的資 源管理系統(tǒng)需要收集和發(fā)布多種資源屬性，訪問中間層可以提供一套統(tǒng)一的且又平臺無關(guān)資 源管理接口，使網(wǎng)格資源管理系統(tǒng)方便的采集網(wǎng)格底層監(jiān)控管理軟件所產(chǎn)生的網(wǎng)格資源狀態(tài) 信息成為可能。
訪問中間層解決網(wǎng)格底層數(shù)據(jù)異構(gòu)性的主要方式是使用數(shù)據(jù)源插件技術(shù)。該技術(shù)主要通 過一套統(tǒng)一的接口框架以及大量的符合框架規(guī)范的數(shù)據(jù)源插件構(gòu)成模型的訪問中間層。 圖7顯示的是兩個網(wǎng)格中間層數(shù)據(jù)源插件
數(shù)據(jù)源l (Data source 1)在網(wǎng)格中間層中有自己對應(yīng)的數(shù)據(jù)源插件1 (Data Source 1 Plug-in),該數(shù)據(jù)源插件定期向數(shù)據(jù)源1請求數(shù)據(jù)并將返回數(shù)據(jù)轉(zhuǎn)換成語義數(shù)據(jù)提交給語義 査詢服務(wù)(3.1)，同時由于網(wǎng)格資源日志服務(wù)的需要，數(shù)據(jù)源插件1還將該部分信息保存入 數(shù)據(jù)庫。數(shù)據(jù)源2(Data Source 1)的數(shù)據(jù)不需要在數(shù)據(jù)庫中保存，所以數(shù)據(jù)插件2(Data Source 2 Plug-in)在從數(shù)據(jù)源2中獲得有用信息后僅將該信息轉(zhuǎn)換成語義數(shù)據(jù)提交給語義查詢服務(wù)(3.2)。
除了為上層語義査詢服務(wù)提供數(shù)據(jù)支持外，訪問中間層還為資源日志服務(wù)提供訪問底層 數(shù)據(jù)庫的接口以及調(diào)用本地網(wǎng)格資源調(diào)度程序的接口。
總之，訪問中間層是本文所提出模型中確保網(wǎng)格底層數(shù)據(jù)無關(guān)性的關(guān)鍵模塊，也是上層 Web服務(wù)正常運(yùn)行的保障。
(6)網(wǎng)格資源發(fā)現(xiàn)
由于在基于WSRF的網(wǎng)格資源管理系統(tǒng)中使用了集中式和分布式相結(jié)合的資源發(fā)現(xiàn)機(jī)制， 資源節(jié)點(diǎn)加入和離開網(wǎng)格環(huán)境也就存在著兩種情況。
當(dāng)某虛擬組織內(nèi)的資源節(jié)點(diǎn)需要加入網(wǎng)格環(huán)境時，資源節(jié)點(diǎn)根據(jù)管理員手工配置的資源 節(jié)點(diǎn)層次關(guān)系向其上層節(jié)點(diǎn)發(fā)送更新自己及其下層節(jié)點(diǎn)的資源狀態(tài)請求。每次狀態(tài)更新都有 生命周期，因而每個資源節(jié)點(diǎn)都需要不斷的定期更新在其上層節(jié)點(diǎn)中的自己的狀態(tài)信息。當(dāng) 節(jié)點(diǎn)發(fā)生斷電或系統(tǒng)崩潰時，該節(jié)點(diǎn)的信息將因無法得到更新而很快過期。若節(jié)點(diǎn)需要主動 離開網(wǎng)格環(huán)境時，節(jié)點(diǎn)也可以主動向其上層節(jié)點(diǎn)發(fā)送離開消息，提示上層節(jié)點(diǎn)取消自己的狀 態(tài)信息。虛擬組織內(nèi)資源節(jié)點(diǎn)的注冊流程圖如圖8。
當(dāng)某個中心服務(wù)器或者某組集中式管理的資源需要加入網(wǎng)格環(huán)境時，模型采用一種在點(diǎn) 對點(diǎn)系統(tǒng)中經(jīng)常使用的軟狀態(tài)協(xié)議，中心服務(wù)器使用該協(xié)議加入網(wǎng)格環(huán)境。具體步驟如圖9 所^: 1、 V02中心服務(wù)器聯(lián)系全局注冊服務(wù)器；2、全局注冊服務(wù)器返回現(xiàn)有點(diǎn)對點(diǎn)網(wǎng)絡(luò)中已 注冊的V01中心服務(wù)器地址；3、 V02中心服務(wù)器向V01中心服務(wù)器發(fā)送加入點(diǎn)對點(diǎn)網(wǎng)絡(luò)請求； 4、 V01中心服務(wù)器在收到請求后將該節(jié)點(diǎn)地址加入自己的鄰居列表中，并發(fā)送確認(rèn)消息；5、 V02中心服務(wù)器在接受到確認(rèn)消息后將V01中心服務(wù)器地址也加入到自己的鄰居列表中，至此 完成點(diǎn)對點(diǎn)網(wǎng)絡(luò)的加入工作。
點(diǎn)對點(diǎn)網(wǎng)絡(luò)中的各節(jié)點(diǎn)也需要定期發(fā)送在線通知至自己鄰居列表中的其他節(jié)點(diǎn)，從而不 斷更新他們各自的鄰居列表，如果收到不在鄰居列表中的節(jié)點(diǎn)的信息，該陌生節(jié)點(diǎn)也會被加 入到鄰居列表中。同樣的，當(dāng)某中心服務(wù)器由于故障或者需要主動退出網(wǎng)格環(huán)境時，只需要 停止發(fā)送在線通知即可離開網(wǎng)格環(huán)境。圖IO為中心服務(wù)器的注冊流程圖。
基于WSRF的網(wǎng)格資源管理系統(tǒng)的資源査詢過程也體現(xiàn)了集中式與分布式相結(jié)合的特點(diǎn)。 當(dāng)一個資源查詢請求產(chǎn)生后，請求會被傳遞至各組織內(nèi)的中心服務(wù)器，中心服務(wù)器將首先在 自己的網(wǎng)格資源中査詢所要找的資源，如果找到所請求資源，則將查詢結(jié)果返回給查詢節(jié)點(diǎn)， 一次查詢結(jié)束，如圖ll (1)所示。如果中心服務(wù)器找不到所查詢的資源或者達(dá)不到所要求的查詢數(shù)量，它將會將査詢請求 按照特定的請求傳遞策略(本模型中采用了 Adriana lamnitchi與Ian Foster所提出的基于 經(jīng)驗的隨機(jī)請求傳遞策略，其他分布式的請求傳遞策略也可以使用)發(fā)送至其他中心服務(wù)器 上，直到找到查詢資源。査詢結(jié)果首先會返回發(fā)起P2P資源査詢的中心服務(wù)器，再由其將結(jié) 果傳給査詢節(jié)點(diǎn)， 一次査詢結(jié)束。查詢過程如圖11 (2)所示。
中心服務(wù)器上的査詢過程偽碼如下
輸入査詢條件集C，所需資源最小數(shù)量N
輸出查詢結(jié)果集R BEGIN 在本組資源中査找符合條件C的資源集Rlocal; IF找到本地符合條件C的資源且n(Rloca1)^ N THEN R=Rlocal; ELSE R=Rlocal; 根據(jù)傳遞策略發(fā)送查詢條件C，并等待返回結(jié)果資源集Rp2p: IF超時或未找到THEN ELSE R二及wU及p2。 ENDIF ENDIF 返回R; ENDBEGIN
(7〉網(wǎng)格資源調(diào)度
由于網(wǎng)格環(huán)境的異構(gòu)性，在網(wǎng)格環(huán)境中也存在著異構(gòu)的網(wǎng)格任務(wù)調(diào)度程序。在基于WSRF 的網(wǎng)格資源管理系統(tǒng)中的任務(wù)調(diào)度服務(wù)主要提供一種統(tǒng)一的網(wǎng)格任務(wù)的調(diào)度接口，從而屏蔽 由于本地任務(wù)調(diào)度程序的異構(gòu)性所造成的網(wǎng)格任務(wù)調(diào)度困難。具體的做法是，使用訪問中間層的任務(wù)調(diào)度接口包裝本地任務(wù)調(diào)度程序，由訪問中問層 的《壬務(wù)調(diào)度接口代理實際的本地任務(wù)調(diào)度程序接受實際的任務(wù)調(diào)度請求，并同時負(fù)責(zé)將任務(wù) 的實際執(zhí)行情況返回給上層組件。而任務(wù)調(diào)度服務(wù)則負(fù)責(zé)對訪問中間層的任務(wù)調(diào)度接口進(jìn)行 再次包裝，使之能夠以Web服務(wù)的形式公開，方便其他網(wǎng)格應(yīng)用程序調(diào)用。
一次典型的網(wǎng)格任務(wù)調(diào)度過程如圖12所示
,1、網(wǎng)格任務(wù)管理程序調(diào)用任務(wù)調(diào)度服務(wù)的任務(wù)調(diào)度接口將具體的計算任務(wù)分配給計算節(jié)
點(diǎn)；
2、 任務(wù)調(diào)度服務(wù)根據(jù)實際的任務(wù)調(diào)度請求，査詢語義查詢服務(wù)，以確定該具體任務(wù)所需 的資源時候已經(jīng)就緒；
3、 當(dāng)任務(wù)所需資源就緒后，任務(wù)調(diào)度服務(wù)調(diào)用訪問中間層的任務(wù)調(diào)度接口；
4、 相應(yīng)的任務(wù)調(diào)度接口調(diào)用實際的本地任務(wù)調(diào)度程序完成任務(wù)的調(diào)度和運(yùn)行；
5、 6、 7、在任務(wù)運(yùn)行期間，本地任務(wù)調(diào)度程序通過訪問中間層的任務(wù)調(diào)度接口和任務(wù)調(diào) 度服務(wù)與最終發(fā)起任務(wù)分配的網(wǎng)格任務(wù)管理系統(tǒng)進(jìn)行通訊，以告知后者任務(wù)的具體執(zhí)行情況， 后者也可以隨時通過調(diào)用任務(wù)調(diào)度服務(wù)的相應(yīng)接口中止或者掛起任務(wù)的執(zhí)行過程。
本文所提出模型的組織結(jié)構(gòu)是集中式與分布式相結(jié)合的網(wǎng)格資源組織形式。在通過資源 發(fā)現(xiàn)過程找到所需要的網(wǎng)格資源后，任務(wù)調(diào)度程序的調(diào)度過程也體現(xiàn)了集中式與分布式相結(jié) 合這一特點(diǎn)。在模型中每個VO采用了虛擬資源節(jié)點(diǎn)的方法進(jìn)行資源的組織和管理，對于每個 子樹的根節(jié)點(diǎn)，其所有子節(jié)點(diǎn)均被認(rèn)為是自己的資源，每個資源也就相應(yīng)的有了各自的任務(wù) 調(diào)度程序，這種虛擬資源節(jié)點(diǎn)方法也大大方便了任務(wù)的調(diào)度過程。
如圖13所示，在任務(wù)調(diào)度程序發(fā)現(xiàn)所需的網(wǎng)格資源后，具體的任務(wù)調(diào)度請求首先被發(fā)送 到VO的中心服務(wù)器上，由于使用虛擬資源節(jié)點(diǎn)方法，中心服務(wù)器會將資源所在子樹的根節(jié)點(diǎn) 的任務(wù)調(diào)度服務(wù)作為"本地任務(wù)調(diào)度程序"調(diào)用，以此類推直至實際資源的本地任務(wù)調(diào)度程 序被調(diào)用為止，從而完成一次任務(wù)調(diào)度。任務(wù)的具體執(zhí)行情況也會使用相應(yīng)的逆過程回溯至 任務(wù)調(diào)度的發(fā)起者。
綜上所述，本發(fā)明的有益效果如下
(1) 利用Web服務(wù)資源框架實現(xiàn)了有狀態(tài)的網(wǎng)格資源管理服務(wù)。
(2) 利用語義網(wǎng)技術(shù)提高了網(wǎng)格資源管理服務(wù)的通用性。
(3) 利用集中式與分布式相結(jié)合的方式提高了在大量資源狀況下網(wǎng)格資源發(fā)現(xiàn)的效率。
(4) 利用虛擬資源節(jié)點(diǎn)技術(shù)實現(xiàn)了利用Web服務(wù)調(diào)度網(wǎng)格任務(wù)的功能。.以上實施例僅用以說明而非限制本發(fā)明的技術(shù)方案。不脫離本發(fā)明精神和范圍的任何修 改或局部替換，均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1. 一種網(wǎng)格資源管理系統(tǒng)，該系統(tǒng)包括網(wǎng)格頂層的應(yīng)用程序?qū)?、網(wǎng)格底層的監(jiān)控管理軟件層；其特征在于所述系統(tǒng)還包括Web服務(wù)層、訪問中間件層；應(yīng)用程序?qū)?、Web服務(wù)層、訪問中間件層、監(jiān)控管理軟件層依次連接；Web服務(wù)層用于提供網(wǎng)格資源發(fā)現(xiàn)服務(wù)、網(wǎng)格資源歷史狀態(tài)服務(wù)、及網(wǎng)格資源調(diào)度服務(wù)；對應(yīng)的包括網(wǎng)格資源發(fā)現(xiàn)模塊、網(wǎng)格資源歷史狀態(tài)模塊、及網(wǎng)格資源調(diào)度模塊；訪問中間件層提供一與平臺無關(guān)的資源管理接口，用于實現(xiàn)網(wǎng)格底層監(jiān)控管理軟件層與Web服務(wù)層的數(shù)據(jù)訪問。
2、 根據(jù)權(quán)利要求l所述的網(wǎng)格資源管理系統(tǒng)，其特征在于所述網(wǎng)格系統(tǒng)中的所有資源 均以虛擬組織的形式進(jìn)行管理，在每個虛擬組織內(nèi)部存在一個或多個集中式的資源注 冊結(jié)構(gòu)，即存在中心服務(wù)器存儲共享資源信息，所有可用資源信息被聚集在該中心服 務(wù)器上。
3、 根據(jù)權(quán)利要求2所述的網(wǎng)格資源管理系統(tǒng)，其特征在于單中心服務(wù)器間模型采用分 布式資源發(fā)現(xiàn)形式。
4、 根據(jù)權(quán)利要求2所述的網(wǎng)格資源管理系統(tǒng)，其特征在于所述資源按資源所有者、或/和資源類型、或/和資源性質(zhì)或/和管理策略標(biāo)準(zhǔn)分組；組與組之間則通過中心服務(wù)器采用P2P的資源定位方式連接入網(wǎng)格，以適應(yīng)大規(guī)模的動態(tài)網(wǎng)格環(huán)境。
5、 根據(jù)權(quán)利要求l所述的網(wǎng)格資源管理系統(tǒng)，其特征在于所述網(wǎng)格資源發(fā)現(xiàn)模塊包括 查詢服務(wù)單元、通知服務(wù)單元、語義查詢單元；所述査詢服務(wù)單元、通知服務(wù)單元分 別與語義查詢單元連接；査詢服務(wù)單元、通知服務(wù)單元連接Web服務(wù)層，語義査詢單 元連接訪問中間件層。
6、 利用權(quán)利要求l所述的網(wǎng)格資源管理系統(tǒng)進(jìn)行網(wǎng)格資源管理方法，其特征在于所述 方法包括語義査詢步驟步驟1A、獲取從網(wǎng)格資源狀態(tài)采集軟件收集的信息；步驟1B、依據(jù)步驟1A所獲取的信息類型，將不同的信息內(nèi)容轉(zhuǎn)換成相應(yīng)的語義 數(shù)據(jù)；步驟1C、將步驟1B得到的所有語義數(shù)據(jù)保存在語義倉庫中，并提供相應(yīng)的基本 語義查詢接口；步驟1D、將復(fù)雜的語義查詢包裝成簡單的査詢接口，簡化語義數(shù)據(jù)的査詢過程； 步驟1E、提供對語義數(shù)據(jù)變化的通知預(yù)訂功能；步驟1F、提供對網(wǎng)格資源歷史數(shù)據(jù)的査詢功能；步驟1G、依據(jù)步驟1C所保存的網(wǎng)格資源語義信息作出網(wǎng)格資源調(diào)度決定進(jìn)行網(wǎng) 格資源的調(diào)度工作。
7、 依據(jù)權(quán)利要求6所述的網(wǎng)格資源管理方法，其特征在于所述網(wǎng)格資源管理方法包括 語義信息轉(zhuǎn)化步驟，該步驟根據(jù)獲取信息的不同信息格式(如XML格式，純文本格 式，二進(jìn)制格式等)和不同信息源類型(如數(shù)據(jù)庫，文件等)組裝成不同的數(shù)據(jù)源 插件，對不同的原始數(shù)據(jù)進(jìn)行語義數(shù)據(jù)的提煉；所述語義信息轉(zhuǎn)化步驟包括步驟2A、選擇不同的信息格式和不同的數(shù)據(jù)源組裝成數(shù)據(jù)源插件； 步驟2B、利用數(shù)據(jù)源插件將相應(yīng)的數(shù)據(jù)源數(shù)據(jù)提煉成語義數(shù)據(jù)； 步驟2C、將提煉出的語義數(shù)據(jù)保存至語義査詢服務(wù)的語義倉庫中。
8、 依據(jù)權(quán)利要求6所述的網(wǎng)格資源管理方法，其特征在于所述網(wǎng)格資源管理方法包括語義數(shù)據(jù)變化的通知預(yù)訂步驟，該步驟提供給用戶注冊數(shù)據(jù)變化通知的功能，從而避免了用戶為了獲得所關(guān)心的數(shù)據(jù)狀態(tài)的變化而反復(fù)査詢的情況；所述語義數(shù)據(jù)變化的通知預(yù)訂步驟包括步驟3A、用戶定制所關(guān)心的數(shù)據(jù)狀態(tài)變更通知；步驟3B、通知服務(wù)告知語義查詢服務(wù)在數(shù)據(jù)狀態(tài)變更時通知自己；步驟3C、語義查詢服務(wù)在通知服務(wù)所關(guān)心的資源發(fā)生變化時通知通知服務(wù)；步驟3D、通知服務(wù)再通知用戶其所關(guān)心的資源狀態(tài)已發(fā)生變化。
9、 依據(jù)權(quán)利要求6所述的網(wǎng)格資源管理方法，其特征在于所述網(wǎng)格資源管理方法包括 網(wǎng)絡(luò)資源調(diào)度步驟，該步驟利用語義査詢服務(wù)中所保存的網(wǎng)格資源狀態(tài)信息進(jìn)行網(wǎng)格 任務(wù)調(diào)度決策，并完成調(diào)度工作；所述網(wǎng)絡(luò)資源調(diào)度步驟包括步驟4A、用戶將任務(wù)提交給網(wǎng)格資源調(diào)度服務(wù)；步驟4B、網(wǎng)格資源服務(wù)根據(jù)用戶對任務(wù)資源的要求在語義數(shù)據(jù)査詢服務(wù)中査找符 合要求的資源列表；步驟4C、在符合要求的資源列表中根據(jù)特定的資源調(diào)度算法進(jìn)行資源調(diào)度決策； 步驟4D、將網(wǎng)格任務(wù)調(diào)度至資源調(diào)度決策所選擇出的資源上。
10、 根據(jù)權(quán)利要求6或7或8或9所述的網(wǎng)格資源管理方法，其特征在于所述網(wǎng)格 資源管理方法包括網(wǎng)絡(luò)資源調(diào)度步驟，具體包括網(wǎng)格任務(wù)管理程序調(diào)用任務(wù)調(diào)度服務(wù)的任務(wù)調(diào)度接口將具體的計算任務(wù)分配給計算節(jié)點(diǎn)；任務(wù)調(diào)度服務(wù)根據(jù)實際的任務(wù)調(diào)度請求，査詢語義査詢服務(wù)，以確定該具體任務(wù)所需的資源時候已經(jīng)就緒；當(dāng)任務(wù)所需資源就緒后，任務(wù)調(diào)度服務(wù)調(diào)用訪問中間層的任務(wù)調(diào)度接口； 相應(yīng)的任務(wù)調(diào)度接口調(diào)用實際的本地任務(wù)調(diào)度程序完成任務(wù)的調(diào)度和運(yùn)行； 在任務(wù)運(yùn)行期間，本地任務(wù)調(diào)度程序通過訪問中間層的任務(wù)調(diào)度接口和任務(wù)調(diào)度服務(wù)與最終發(fā)起任務(wù)分配的網(wǎng)格資源調(diào)度模塊進(jìn)行通訊，以告知網(wǎng)格資源調(diào)度模塊任務(wù)的具體執(zhí)行情況所述網(wǎng)格資源調(diào)度模塊可以隨時通過調(diào)用任務(wù)調(diào)度服務(wù)的相應(yīng)接口中止或者掛起任務(wù)的執(zhí)行過程。
全文摘要
本發(fā)明揭示了一種網(wǎng)格資源管理系統(tǒng)，該系統(tǒng)包括網(wǎng)格頂層的應(yīng)用程序?qū)?、網(wǎng)格底層的監(jiān)控管理軟件層；所述系統(tǒng)還包括Web服務(wù)層、訪問中間件層；應(yīng)用程序?qū)印eb服務(wù)層、訪問中間件層、監(jiān)控管理軟件層依次連接；Web服務(wù)層用于提供網(wǎng)格資源發(fā)現(xiàn)服務(wù)、網(wǎng)格資源歷史狀態(tài)服務(wù)、及網(wǎng)格資源調(diào)度服務(wù)；對應(yīng)的包括網(wǎng)格資源發(fā)現(xiàn)模塊、網(wǎng)格資源歷史狀態(tài)模塊、及網(wǎng)格資源調(diào)度模塊；訪問中間件層提供一與平臺無關(guān)的資源管理接口，用于實現(xiàn)網(wǎng)格底層監(jiān)控管理軟件層與Web服務(wù)層的數(shù)據(jù)訪問。本發(fā)明網(wǎng)格資源管理系統(tǒng)通過設(shè)置統(tǒng)一的管理接口，能適應(yīng)交通網(wǎng)格中大量動態(tài)資源的發(fā)現(xiàn)和管理工作。
文檔編號H04L29/06GK101291337SQ20081003836
公開日2008年10月22日 申請日期2008年5月30日 優(yōu)先權(quán)日2008年5月30日
發(fā)明者洋 周, 鈺 方, 曾國蓀, 苗奪謙, 蔣昌俊, 閆春鋼, 陳閎中 申請人:同濟(jì)大學(xué)