專利名稱：一種基于多智能主體的層次式云端計算模型構(gòu)建方法
技術(shù)領(lǐng)域：
本發(fā)明是一種用于基于互聯(lián)網(wǎng)的網(wǎng)絡(luò)計算環(huán)境中，采用多智能主體來實(shí)現(xiàn)層次式
云端計算系統(tǒng)的構(gòu)建方法。屬于分布式計算、計算機(jī)網(wǎng)絡(luò)、信息系統(tǒng)等信息技術(shù)類應(yīng)用領(lǐng) 域。
背景技術(shù)：
隨著互聯(lián)網(wǎng)技術(shù)的廣泛應(yīng)用，涌現(xiàn)出云計算(Cloud Computing)等一系列新型的 網(wǎng)絡(luò)計算技術(shù)、平臺和應(yīng)用系統(tǒng)，已逐步成為具有典型性的網(wǎng)絡(luò)計算模式，基于充分利用網(wǎng) 絡(luò)化計算與存儲資源，更好地整合互聯(lián)網(wǎng)和不同設(shè)備上的信息和應(yīng)用，把所有的計算、存儲 資源連結(jié)在一起，實(shí)現(xiàn)最大范圍的協(xié)作與資源分享，達(dá)成高效率、低成本計算目標(biāo)，按需求 解各類復(fù)雜的用戶問題。其中云計算平臺的易編程、高容錯、方便擴(kuò)展等特性，使得處理超 大規(guī)模數(shù)據(jù)的分布式計算成為現(xiàn)實(shí)。在谷歌、亞馬遜、雅虎等公司，云計算已被廣泛用于包 括數(shù)據(jù)挖掘在內(nèi)的大規(guī)模數(shù)據(jù)處理工作。 目前的云計算應(yīng)用系統(tǒng)雖然也傾向于利用廉價計算和存儲設(shè)備來提供各種服務(wù)，
但是都簡單認(rèn)為網(wǎng)絡(luò)終端節(jié)點(diǎn)(用戶所有)僅僅是服務(wù)的消費(fèi)者，對于終端節(jié)點(diǎn)所蘊(yùn)含的
各種可利用的潛在資源考慮并不足夠。事實(shí)上，終端節(jié)點(diǎn)本身也擁有各種計算、存儲甚至信
息資源，且常常處于閑置狀態(tài)，接入互聯(lián)網(wǎng)的海量終端節(jié)點(diǎn)所擁有的海量資源被浪費(fèi)了。 智能主體是存在于某一環(huán)境中的實(shí)體，具有自主性、主動性、反應(yīng)性、社會性、智能
性等擬人特征，能根據(jù)具有的知識信念以及周圍發(fā)生的事件進(jìn)行感知、推理、規(guī)劃、通信，并
反作用于環(huán)境。 多智能主體系統(tǒng)是多個智能主體所組成的系統(tǒng)，強(qiáng)調(diào)了智能主體社會性特征。多 智能主體之間彼此在邏輯上相互獨(dú)立，通過共享知識、任務(wù)和中間結(jié)果，協(xié)同在工作中形成 問題的解決方案，如圖l所示，同組(或?qū)?或不同組的多個智能主體之間都可以進(jìn)行交 互。因此，智能主體之間的交互過程不是簡單地交換數(shù)據(jù)，而是參與某種社會行為，具體表 現(xiàn)在以下三個方面 參協(xié)調(diào)具有不同目標(biāo)的多個智能主體對其目標(biāo)、資源等進(jìn)行合理安排，以規(guī)劃各 自行為，最大限度地實(shí)現(xiàn)各自目標(biāo)。
參協(xié)作多個智能主體通過協(xié)調(diào)各自行為，合作完成共同目標(biāo)。 參協(xié)商多個智能主體借助通信，交換各自目標(biāo)，直到多智能主體的目標(biāo)一致或不 能達(dá)成協(xié)作。 引入智能主體和多智能主體技術(shù)的目的是為了自然構(gòu)建出能夠較好的反應(yīng)資源 和節(jié)點(diǎn)行為，從而充分地控制和協(xié)調(diào)各節(jié)點(diǎn)所擁有的資源，理性的代理節(jié)點(diǎn)及其擁有的資 源來參與和完成分布式計算環(huán)境中的各項(xiàng)任務(wù)。 在網(wǎng)絡(luò)與分布式環(huán)境下，每個智能主體是獨(dú)立自主的，能作用于自身和環(huán)境，能操 縱環(huán)境的部分表示，能對環(huán)境的變化作出反映，更重要的是能與其它智能主體通信、交互， 彼此協(xié)同工作，共同完成任務(wù)。在多智能主體系統(tǒng)中，智能主體不是孤立存在的，智能主體的資源和能力都是有限的，多個智能主體在交互時，需要考慮如何在多個可能的行為策略 之間作出合理的選擇。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的目的是提出一種基于多智能主體的層次式云端計算模型的構(gòu) 建方法，從宏觀上將單一的"云計算"模型，擴(kuò)展為層次式"云端計算"模型，該模型充分考 慮和挖掘了終端節(jié)點(diǎn)所蘊(yùn)含的各種可利用的潛在資源。 技術(shù)方案本發(fā)明提出一種基于多智能主體的層次式云端計算模型的構(gòu)建方法， 主要思想是按照節(jié)點(diǎn)的類型將云端計算環(huán)境進(jìn)行分層，引入多智能主體思想和技術(shù)，利用 智能主體作為各計算節(jié)點(diǎn)行為和資源的代表，實(shí)現(xiàn)將作業(yè)分割成各種層次的任務(wù)動態(tài)、有 序地部署到核心節(jié)點(diǎn)、一般服務(wù)器節(jié)點(diǎn)和終端節(jié)點(diǎn)上，以達(dá)到資源利用最大化的目標(biāo)。
—、基于多智能主體的層次式云端計算模型 在基于互聯(lián)網(wǎng)的云端計算環(huán)境中，聚合的各種資源(計算、存儲、數(shù)據(jù)等)并不僅 僅來自于服務(wù)器節(jié)點(diǎn)，云端計算環(huán)境中的每個"端"節(jié)點(diǎn)可以一邊獲取服務(wù)和資源， 一邊也 利用自身的計算存儲等能力提供服務(wù)。但是，不同于可以穩(wěn)定運(yùn)行的高性能服務(wù)器節(jié)點(diǎn)
(核心節(jié)點(diǎn)， 一般是并行計算設(shè)備，可穩(wěn)定地不間斷運(yùn)行)，也不同于系統(tǒng)可直接集中管理 控制的集群服務(wù)器節(jié)點(diǎn)(節(jié)點(diǎn)失效可及時更換)，大量的終端節(jié)點(diǎn)可以動態(tài)地、隨機(jī)地加入 和退出云計算環(huán)境。 由于終端節(jié)點(diǎn)本身也擁有資源，因此當(dāng)終端節(jié)點(diǎn)加入云計算環(huán)境時，也有可能貢 獻(xiàn)自身閑置的資源和提供服務(wù)，但這種行為顯然是不可靠，服務(wù)質(zhì)量當(dāng)然難以保障的。即便 如此，由于終端節(jié)點(diǎn)的數(shù)量往往是巨大的(甚至以百萬臺計)，因此以冗余來提高性能是可 能的。 因此層次式云端計算模型可由穩(wěn)定的云核心、次穩(wěn)定的云內(nèi)層和不穩(wěn)定的云外層 構(gòu)成。即云核心層由核心節(jié)點(diǎn)構(gòu)成，云內(nèi)層由集群服務(wù)器節(jié)點(diǎn)構(gòu)成，云外層由終端節(jié)點(diǎn)構(gòu) 成，如圖2所示。 在由終端節(jié)點(diǎn)構(gòu)成的云外層中，也存在著兩種節(jié)點(diǎn)，如圖3所示一種是長時間穩(wěn) 定在線、積極提供服務(wù)的可信賴的終端節(jié)點(diǎn)；一種是具有很強(qiáng)隨機(jī)性，甚至體現(xiàn)為一種"不 負(fù)責(zé)任"特征的終端節(jié)點(diǎn)，即不可信賴。這兩類節(jié)點(diǎn)也有可能動態(tài)交換，出現(xiàn)如圖3所示的 "對流"情形。 顯然，為了提高系統(tǒng)運(yùn)行的穩(wěn)定度，必須有一套激勵機(jī)制促使終端節(jié)點(diǎn)能夠穩(wěn)定、 誠實(shí)地貢獻(xiàn)資源和協(xié)同工作，即促成節(jié)點(diǎn)從不可信賴的終端節(jié)點(diǎn)層流向可信賴的終端節(jié)點(diǎn)層。 采用多智能主體技術(shù)來構(gòu)建層次式云端計算模型，即在每個節(jié)點(diǎn)上構(gòu)建智能主體 與智能主體運(yùn)行平臺。這意味著采用一組分散的、松散耦合的智能主體在分布式的云端計 算環(huán)境下實(shí)現(xiàn)群體間高效率地相互協(xié)作、聯(lián)合求解，解決多種協(xié)作策略、方案、意見下的沖 突和矛盾，從而模擬人類社會組織機(jī)構(gòu)與社會群體來解決各種問題。 駐留于核心節(jié)點(diǎn)、集群服務(wù)器節(jié)點(diǎn)和終端節(jié)點(diǎn)上的智能主體顯然有較大的差異，
盡管如此，仍然可以抽象定義出通用的云端計算環(huán)境中的智能主體模型。 云端計算環(huán)境中的智能主體(CloudAgent，簡稱為cAgent)模型可被定義為一個7元組 cAgent = (ID， layer, role， capability, state, policy, credit)
上式表明cAgent由身份標(biāo)識ID、歸屬層次layer、角色role、能力c即ability、狀 態(tài)state、自身策略policy和可信值credit7個部分組成。ID是用來標(biāo)識網(wǎng)絡(luò)中的唯一 cAgent，由于云端計算環(huán)境中的一個節(jié)點(diǎn)上可能駐留多個cAgent，因此，該ID可用節(jié)點(diǎn)標(biāo) 識與本地cAgent序列號聯(lián)合構(gòu)成。 歸屬層次layer標(biāo)明cAgent所駐節(jié)點(diǎn)是屬于云核心層、云內(nèi)層還是云外層。在云 端計算環(huán)境中，角色role包含了以下幾種系統(tǒng)管理員、用戶、作業(yè)分割者、任務(wù)調(diào)度者和 任務(wù)執(zhí)行者。為了增強(qiáng)系統(tǒng)穩(wěn)定性，常常還需要備份角色，例如系統(tǒng)管理員常常會有其影 子系統(tǒng)管理員，在系統(tǒng)管理員發(fā)生宕機(jī)等系統(tǒng)狀況，可以不間斷維持系統(tǒng)正常運(yùn)行。能力 c即ability主要指節(jié)點(diǎn)所擁有并可共享的各種資源，包括中央處理器、內(nèi)存等計算資源，也 包括硬盤等存儲資源，還包括程序、文件、數(shù)據(jù)等軟件資源。狀態(tài)state指出了節(jié)點(diǎn)當(dāng)前的 工作狀態(tài)(如"忙"或"閑")、資源共享的當(dāng)前情況和歷史信息等。策略policy是節(jié)點(diǎn)根 據(jù)自身情況(如狀態(tài)state和能力c即ability信息)以及意愿設(shè)置的相關(guān)策略，決定了節(jié) 點(diǎn)在當(dāng)前任務(wù)來臨時所作出的決策。可信值credit標(biāo)明了節(jié)點(diǎn)可被信賴的程度，重點(diǎn)針對 云外層中的節(jié)點(diǎn)，影響節(jié)點(diǎn)在可信賴的終端節(jié)點(diǎn)層和不可信賴的終端節(jié)點(diǎn)層之間的對流。
二、基于多智能主體的層次式云端計算模型的工作流程 基于多智能主體的層次式云端計算模型將云計算環(huán)境中的節(jié)點(diǎn)分成了多個層次， 構(gòu)成一種井然有序的拓?fù)浣Y(jié)構(gòu)。當(dāng)某一項(xiàng)任務(wù)來臨時，基于多智能主體的層次式云端計算 模型會將作業(yè)(Job)合理分割成若干個任務(wù)(Task)，然后有序部署到合適的節(jié)點(diǎn)上，并達(dá) 到高性價比的目標(biāo)，下面將詳細(xì)描述工作實(shí)現(xiàn)流程。
1 、 cAgent角色分配 為了便于控制和管理網(wǎng)絡(luò)系統(tǒng)以及提高系統(tǒng)運(yùn)作的效率，網(wǎng)絡(luò)的拓?fù)鋺?yīng)趨于"扁 平化"為宜。在分布式的云端計算環(huán)境中，多個節(jié)點(diǎn)及其cAgent的角色分為系統(tǒng)管理員、 用戶、作業(yè)分割者、任務(wù)調(diào)度者和任務(wù)執(zhí)行者。 基于高性能的云核心層節(jié)點(diǎn)的cAgent —般充當(dāng)系統(tǒng)管理員的角色，管理整個云 端計算環(huán)境中的節(jié)點(diǎn)情況和資源分布情況。當(dāng)云內(nèi)層和云外層節(jié)點(diǎn)首次加入云端計算環(huán)境 時，需在系統(tǒng)管理員處進(jìn)行注冊；系統(tǒng)管理員將負(fù)責(zé)維護(hù)和更新節(jié)點(diǎn)和資源目錄數(shù)據(jù)庫，以 掌握全局情況。當(dāng)節(jié)點(diǎn)再次登錄時，將由系統(tǒng)管理員負(fù)責(zé)驗(yàn)證其身份，并更新其相關(guān)信息 (在資源等情況有所變更的時候)；各節(jié)點(diǎn)上的cAgent將通過其通信模塊每隔一定時間持 續(xù)向系統(tǒng)管理員發(fā)送"心跳"信息，以讓系統(tǒng)管理員掌握其當(dāng)前是否在線的情況，以及監(jiān)視 當(dāng)前任務(wù)的承擔(dān)情況。 云核心層節(jié)點(diǎn)上的cAgent還將充當(dāng)作業(yè)分割者的角色。當(dāng)用戶向系統(tǒng)提交一項(xiàng) 作業(yè)時，作業(yè)分割者將作業(yè)分解成一個個可相對獨(dú)立執(zhí)行的任務(wù)(即任務(wù)之間盡量是松散 耦合)，并將任務(wù)進(jìn)行封裝，并在本地維護(hù)任務(wù)的執(zhí)行序列，原因是任務(wù)之間可能有先后關(guān) 聯(lián)。 云核心層節(jié)點(diǎn)上的cAgent還將充當(dāng)任務(wù)調(diào)度者的角色，即將任務(wù)調(diào)度到合適的
節(jié)點(diǎn)上運(yùn)行。所謂合適的節(jié)點(diǎn)是指擁有的資源符合要求且愿意承擔(dān)任務(wù)的節(jié)點(diǎn)。 云內(nèi)層和云外層節(jié)點(diǎn)將充當(dāng)任務(wù)執(zhí)行者的角色，是實(shí)際任務(wù)的承擔(dān)者。云核心層
6節(jié)點(diǎn)因?yàn)椴粎⑴c實(shí)際的任務(wù)，從而降低其工作量，避免成為性能瓶頸。
2、作業(yè)分割與任務(wù)分配 基于云核心層節(jié)點(diǎn)的系統(tǒng)管理員在接受到用戶提交的若干作業(yè)請求時，首先會將 作業(yè)按照作業(yè)的需求、作業(yè)的提交者身份、作業(yè)的工作量等相關(guān)信息設(shè)定作業(yè)的優(yōu)先級，然 后將該作業(yè)加入到相應(yīng)的等待隊(duì)列中，在此云核心層節(jié)點(diǎn)起到了作業(yè)調(diào)度程序的作用。
作業(yè)分割者會分析每個作業(yè)的執(zhí)行流程和結(jié)構(gòu)，然后根據(jù)作業(yè)的情況將作業(yè)分割 成若干個任務(wù)。作業(yè)分割與任務(wù)分配是決定系統(tǒng)效率的關(guān)鍵，不合理的作業(yè)分割與任務(wù)分 配，可能會導(dǎo)致網(wǎng)絡(luò)流量增加、某些任務(wù)服務(wù)器負(fù)載過重效率下降。 任務(wù)之間有重要性的差異，顯然重要性高的任務(wù)應(yīng)該安排在可直接控制的云內(nèi)層 節(jié)點(diǎn)上。但是由于云內(nèi)層節(jié)點(diǎn)的數(shù)量與云外層的節(jié)點(diǎn)數(shù)量相比較少，作業(yè)中大量的瑣碎任 務(wù)應(yīng)該安排到云外層的節(jié)點(diǎn)上完成。云外層的節(jié)點(diǎn)大都是接入互聯(lián)網(wǎng)的個人電腦節(jié)點(diǎn)，擁 有相對弱的計算能力和存儲資源，而且不能保證全部資源的投入，因此分配到云外層完成 的每個任務(wù)的工作量應(yīng)相對較少為宜。
3、性能提高方法 在云端計算這樣動態(tài)、分布式的計算環(huán)境中聯(lián)合不同類型、不同所有者的節(jié)點(diǎn)來 合作完成某一次大規(guī)模計算任務(wù)，要想達(dá)到比采用單個大型機(jī)更高的效能和性價比，就需 要重點(diǎn)考慮系統(tǒng)的效率和魯棒性等問題。具體而言就是要提高系統(tǒng)的吞吐量、作業(yè)響應(yīng)時 間和完成作業(yè)成功率，并降低網(wǎng)絡(luò)流量和取得負(fù)載平衡，最終達(dá)到提高整個系統(tǒng)服務(wù)質(zhì)量 的目標(biāo)。 由于云核心層節(jié)點(diǎn)擔(dān)任了系統(tǒng)管理員、作業(yè)分割者、任務(wù)調(diào)度者的重要角色，因此 為了避免核心層節(jié)點(diǎn)成為系統(tǒng)的單一失效點(diǎn)，必須設(shè)置相應(yīng)的影子核心節(jié)點(diǎn)作為核心層節(jié) 點(diǎn)的后備節(jié)點(diǎn)，保存了核心層節(jié)點(diǎn)上所有信息，當(dāng)核心層節(jié)點(diǎn)上的信息發(fā)生變化影子核心 節(jié)點(diǎn)上的信息也會實(shí)時更新。如果當(dāng)前核心層節(jié)點(diǎn)宕機(jī)，影子核心節(jié)點(diǎn)可以立刻頂替當(dāng)前 節(jié)點(diǎn)并選擇自己的影子節(jié)點(diǎn)。云核心層節(jié)點(diǎn)與影子核心節(jié)點(diǎn)之間必須了解彼此當(dāng)前的情 況，可以通過互相定時發(fā)送"心跳信息"來確認(rèn)彼此當(dāng)前是否在線的信息，如圖4所示。
作業(yè)分割者將某一次事務(wù)分為重要任務(wù)和一般任務(wù)，目的是重要的任務(wù)交給性能 高的節(jié)點(diǎn)來完成， 一般任務(wù)交給低性能的節(jié)點(diǎn)來完成，并通過冗余機(jī)制來進(jìn)一步提高系統(tǒng) 完成任務(wù)的成功率。這里存在一個問題，即如果任務(wù)之間耦合緊密，這些任務(wù)之間相互依 賴，需要進(jìn)行消息傳遞，協(xié)作關(guān)系頻繁或復(fù)雜，因此并不適宜交由多個節(jié)點(diǎn)來完成。
相對重要的任務(wù)，可傾向于分配至相對穩(wěn)定的云內(nèi)層節(jié)點(diǎn)上，為了節(jié)省資源耗費(fèi)， 在任務(wù)調(diào)度者初次將任務(wù)分配至云內(nèi)層節(jié)點(diǎn)時，并不需要對任務(wù)進(jìn)行備份。但是云內(nèi)層節(jié) 點(diǎn)作為任務(wù)執(zhí)行者還是需要向系統(tǒng)管理員發(fā)送"心跳信息"以匯報當(dāng)前工作狀態(tài)，當(dāng)完成某 一項(xiàng)任務(wù)時，將結(jié)果及時返回至云核心層節(jié)點(diǎn)，或是根據(jù)任務(wù)調(diào)度者指示，將結(jié)果發(fā)送給另 一個(或一群)任務(wù)執(zhí)行者作為輸入。如果某一個云內(nèi)層節(jié)點(diǎn)任務(wù)調(diào)度者未能在規(guī)定期限 內(nèi)完成任務(wù)或是失效，任務(wù)調(diào)度者將立刻將任務(wù)調(diào)度到另一個云內(nèi)層節(jié)點(diǎn)予以執(zhí)行。為了 能夠兼顧系統(tǒng)的機(jī)動能力，即當(dāng)某一項(xiàng)作業(yè)來臨時，有足夠的云內(nèi)層節(jié)點(diǎn)可以來承擔(dān)重要 的任務(wù)，還可通過資源預(yù)留或區(qū)分服務(wù)等方式來保留相應(yīng)的資源。 為了盡可能減輕云內(nèi)層節(jié)點(diǎn)的負(fù)擔(dān)，應(yīng)該將繁重、瑣碎的作業(yè)進(jìn)行分割為計算量 小的任務(wù)并分配至云外層節(jié)點(diǎn)來執(zhí)行。要提高被分配至云外層節(jié)點(diǎn)來執(zhí)行的任務(wù)的成功率，并確保任務(wù)能夠在規(guī)定的時間內(nèi)提交結(jié)果，不能采用云內(nèi)層節(jié)點(diǎn)的"心跳"機(jī)制，因?yàn)閿?shù)
量龐大的云外層節(jié)點(diǎn)都向系統(tǒng)管理員發(fā)送周期心跳信息將會帶來大量額外的網(wǎng)絡(luò)通信負(fù)
擔(dān)。因此要提高云外層節(jié)點(diǎn)來執(zhí)行的任務(wù)的成功率可以通過以下兩個策略 (1)優(yōu)先選擇可信賴的節(jié)點(diǎn)來擔(dān)任任務(wù)執(zhí)行者； (2)通過冗余節(jié)點(diǎn)來擔(dān)任同一個任務(wù)的多個任務(wù)執(zhí)行者。 通過增加一定的冗余度，即選取多個云外層節(jié)點(diǎn)來同時來執(zhí)行同一任務(wù)，或是采 用待定備份的方式，以降低因?yàn)槟骋粋€任務(wù)的未實(shí)現(xiàn)而導(dǎo)致整體任務(wù)無法達(dá)成的概率。具 體的步驟是 步驟1將任務(wù)發(fā)送至多個端節(jié)點(diǎn)上，進(jìn)行執(zhí)行； 步驟2當(dāng)偵聽到第l個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，先暫停，繼續(xù)等待第2個完 成任務(wù)的節(jié)點(diǎn)提交的結(jié)果； 步驟3當(dāng)偵聽到第2個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，將結(jié)果與第1個完成任務(wù) 的節(jié)點(diǎn)提交的結(jié)果進(jìn)行比對； 步驟4如果相同則采用該結(jié)果，如果不同，繼續(xù)等待第3個完成任務(wù)的節(jié)點(diǎn)提交的 結(jié)果； 步驟5當(dāng)偵聽到第3個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，將結(jié)果分別與第1個和第 2個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果進(jìn)行比對； 步驟6采用與之相同的那個結(jié)果，如果不同，則回到"步驟5"反復(fù)運(yùn)行，直到找到 相同的值為止。 有益效果一種基于多智能主體的層次式云端計算模型構(gòu)建方法達(dá)到了以下的有 益效果 (1)資源利用最大化實(shí)現(xiàn)將各種層次的任務(wù)有序地部署到核心節(jié)點(diǎn)、一般服務(wù) 器節(jié)點(diǎn)和終端節(jié)點(diǎn)上，以達(dá)到資源利用最大化的目標(biāo)。 (2)系統(tǒng)運(yùn)行穩(wěn)定性利用影子核心節(jié)點(diǎn)來提供云核心層的穩(wěn)定性，利用巨大數(shù) 量終端節(jié)點(diǎn)，以冗余來提高云外層系統(tǒng)運(yùn)行的穩(wěn)定性。 (3)任務(wù)分配的合理性任務(wù)之間有重要性的差異，重要性高的任務(wù)安排在可直 接控制的云內(nèi)層節(jié)點(diǎn)上，作業(yè)中大量的瑣碎任務(wù)安排到云外層的節(jié)點(diǎn)上完成。


圖1是多智能主體示意圖。 圖2是層次式云端計算模型示意圖。 圖3是云外層中按可信賴程度劃分的兩個層次示意圖。 圖4是云核心層節(jié)點(diǎn)與影子節(jié)點(diǎn)的聯(lián)系示意圖。 圖5是cAgent架構(gòu)與內(nèi)部模塊示意圖。
具體實(shí)施例方式
可在內(nèi)聯(lián)網(wǎng)條件下來構(gòu)建層次式云端計算系統(tǒng)的實(shí)驗(yàn)室環(huán)境。利用高性能塔式服 務(wù)器節(jié)點(diǎn)作為云核心層節(jié)點(diǎn)事實(shí)上充當(dāng)系統(tǒng)管理員、作業(yè)分割者、任務(wù)調(diào)度者的重要角色， 及管理包括自身在內(nèi)的所有計算節(jié)點(diǎn)，并負(fù)責(zé)接受、分解、部署任務(wù)以及將結(jié)果進(jìn)行匯總；利用一般性能的塔式服務(wù)器作為云內(nèi)層節(jié)點(diǎn)；利用多臺個人電腦作為云外層節(jié)點(diǎn)。構(gòu)建層次式云端計算軟件應(yīng)用系統(tǒng)時可選擇Linux(內(nèi)核版本2. 6. 30)作為操作系統(tǒng)，Java開發(fā)工具包選擇JDK (Java Developer' s Kit, Java開發(fā)工具包，版本1. 6)，云計算基礎(chǔ)平臺選擇Hadoop平臺(版本0. 20)，智能主體平臺采用IKV++公司的Grasshopper,開發(fā)語言選用Java,開發(fā)工具采用Eclipse 3.3。 依據(jù)上述的基于多智能主體的層次式云端計算模型，在Hadoop平臺構(gòu)建的基本云計算環(huán)境中，可利用Java語言及其開發(fā)工具Eclipse并基于Grassho卯er智能主體開發(fā)與運(yùn)行平臺構(gòu)建可以具體構(gòu)建出如圖5所示的cAgent。
1、基于多智能主體的層次式云端計算模型 采用多智能主體技術(shù)來構(gòu)建層次式云端計算模型，模型由穩(wěn)定的云核心、次穩(wěn)定的云內(nèi)層和不穩(wěn)定的云外層構(gòu)成，即云核心層由核心節(jié)點(diǎn)構(gòu)成，云內(nèi)層由集群服務(wù)器節(jié)點(diǎn)構(gòu)成，云外層由終端節(jié)點(diǎn)構(gòu)成。在每個節(jié)點(diǎn)上構(gòu)建智能主體與智能主體運(yùn)行平臺。駐留于核心節(jié)點(diǎn)、集群服務(wù)器節(jié)點(diǎn)和終端節(jié)點(diǎn)上的智能主體可以定義出通用的云端計算環(huán)境中的智能主體模型。云端計算環(huán)境中的智能主體(CloudAgent，簡稱為cAgent)模型被定義為一個7元組 cAgent = (ID， layer, role， capability, state, policy, credit)
cAgent由身份標(biāo)識ID、歸屬層次layer、角色role、能力c即ability、狀態(tài)state、自身策略policy和可信值credit 7個部分組成。ID是用來標(biāo)識網(wǎng)絡(luò)中的唯一 cAgent，由于云端計算環(huán)境中的一個節(jié)點(diǎn)上也可能駐留多個cAgent，因此，該ID可用節(jié)點(diǎn)標(biāo)識與本地cAgent序列號聯(lián)合構(gòu)成。 歸屬層次layer標(biāo)明cAgent所駐節(jié)點(diǎn)是屬于云核心層、云內(nèi)層還是云外層。在云端計算環(huán)境中，角色role包含了以下幾種系統(tǒng)管理員、用戶、作業(yè)分割者、任務(wù)調(diào)度者和任務(wù)執(zhí)行者。為了增強(qiáng)系統(tǒng)穩(wěn)定性，常常還需要備份角色，例如系統(tǒng)管理員常常會有其影子系統(tǒng)管理員，在系統(tǒng)管理員發(fā)生宕機(jī)等系統(tǒng)狀況，可以不間斷維持系統(tǒng)正常運(yùn)行。能力c即ability主要指節(jié)點(diǎn)所擁有并可共享的各種資源，包括中央處理器、內(nèi)存等計算資源，也包括硬盤等存儲資源，還包括程序、文件、數(shù)據(jù)等軟件資源。狀態(tài)state指出了節(jié)點(diǎn)當(dāng)前的工作狀態(tài)(如"忙"或"閑")、資源共享的當(dāng)前情況和歷史信息等。策略policy是節(jié)點(diǎn)根據(jù)自身情況(如狀態(tài)state和能力c即ability信息)以及意愿設(shè)置的相關(guān)策略，決定了節(jié)點(diǎn)在當(dāng)前任務(wù)來臨時所作出的決策?？尚胖礳redit標(biāo)明了節(jié)點(diǎn)可被信賴的程度。
基于多智能主體的層次式云端計算模型的工作流程是將云計算環(huán)境中的節(jié)點(diǎn)分成了多個層次。當(dāng)某一項(xiàng)任務(wù)來臨時，需將作業(yè)進(jìn)行合理分割成若干個任務(wù)，然后有序部署到合適的節(jié)點(diǎn)上。 2、基于多智能主體的層次式云端計算模型的工作流程為
(1) cAgent角色分配 在分布式的云端計算環(huán)境中，多個節(jié)點(diǎn)及其cAgent的角色分為系統(tǒng)管理員、用戶、作業(yè)分割者、任務(wù)調(diào)度者和任務(wù)執(zhí)行者。 基于高性能的云核心層節(jié)點(diǎn)的cAgent充當(dāng)系統(tǒng)管理員的角色，管理整個云端計算環(huán)境中的節(jié)點(diǎn)情況和資源分布情況。當(dāng)云內(nèi)層和云外層節(jié)點(diǎn)首次加入云端計算環(huán)境時，需在系統(tǒng)管理員處進(jìn)行注冊；系統(tǒng)管理員將負(fù)責(zé)維護(hù)和更新節(jié)點(diǎn)和資源目錄數(shù)據(jù)庫，以掌
9握全局情況。當(dāng)節(jié)點(diǎn)再次登錄時，將由系統(tǒng)管理員負(fù)責(zé)驗(yàn)證其身份，并更新其相關(guān)信息(在 資源等情況有所變更的時候)；各節(jié)點(diǎn)上的cAgent將通過其通信模塊每隔一定時間持續(xù)向 系統(tǒng)管理員發(fā)送"心跳"信息，以讓系統(tǒng)管理員掌握其當(dāng)前是否在線的情況，以及監(jiān)視當(dāng)前 任務(wù)的承擔(dān)情況。 云核心層節(jié)點(diǎn)上的cAgent還將充當(dāng)作業(yè)分割者的角色。當(dāng)用戶向系統(tǒng)提交一項(xiàng) 作業(yè)時，作業(yè)分割者將作業(yè)分解成一個個可相對獨(dú)立執(zhí)行的任務(wù)(即任務(wù)之間盡量是松散 耦合)，并將任務(wù)進(jìn)行封裝，并在本地維護(hù)任務(wù)的執(zhí)行序列，原因是任務(wù)之間可能有先后關(guān) 聯(lián)。 云核心層節(jié)點(diǎn)上的cAgent還將充當(dāng)任務(wù)調(diào)度者任務(wù)調(diào)度者的角色，即將任務(wù)調(diào) 度到合適的節(jié)點(diǎn)上運(yùn)行。所謂合適的節(jié)點(diǎn)是指擁有的資源符合要求且愿意承擔(dān)任務(wù)的節(jié) 點(diǎn)。 云內(nèi)層和云外層節(jié)點(diǎn)將充當(dāng)任務(wù)執(zhí)行者的角色，是實(shí)際任務(wù)的承擔(dān)者。云核心層
節(jié)點(diǎn)因?yàn)椴粎⑴c實(shí)際的任務(wù)，從而降低其工作量，避免成為性能瓶頸。
(2)作業(yè)分割與任務(wù)分配 基于云核心層節(jié)點(diǎn)的系統(tǒng)管理員在接受到用戶提交的若干作業(yè)請求時，首先會將 作業(yè)按照作業(yè)的需求、作業(yè)的提交者身份、作業(yè)的工作量等相關(guān)信息設(shè)定作業(yè)的優(yōu)先級，然 后將該作業(yè)加入到相應(yīng)的等待隊(duì)列中，在此系統(tǒng)管理員起到了作業(yè)調(diào)度程序的作用。作業(yè) 分割者會分析每個作業(yè)的執(zhí)行流程和結(jié)構(gòu)，然后根據(jù)作業(yè)的情況將作業(yè)進(jìn)行分割成若干個 任務(wù)。任務(wù)之間有重要性的差異，重要性高的任務(wù)應(yīng)該安排在可直接控制的云內(nèi)層節(jié)點(diǎn)上， 作業(yè)中大量的瑣碎任務(wù)安排到云外層的節(jié)點(diǎn)上完成，并通過冗余機(jī)制來提高系統(tǒng)完成任務(wù) 的成功率。
(3)性能提高方法 設(shè)置相應(yīng)的影子核心節(jié)點(diǎn)作為核心層節(jié)點(diǎn)的后備節(jié)點(diǎn)，保存了核心層節(jié)點(diǎn)上所有 信息，當(dāng)核心層節(jié)點(diǎn)上的信息發(fā)生變化影子核心節(jié)點(diǎn)上的信息也會實(shí)時更新。如果當(dāng)前核 心層節(jié)點(diǎn)宕機(jī)，影子核心節(jié)點(diǎn)可以立刻頂替當(dāng)前節(jié)點(diǎn)并選擇自己的影子節(jié)點(diǎn)。云核心層節(jié) 點(diǎn)與影子核心節(jié)點(diǎn)之間必須了解彼此當(dāng)前的情況，可以通過互相定時發(fā)送"心跳信息"來確 認(rèn)彼此當(dāng)前是否在線的信息。 在任務(wù)調(diào)度者初次將任務(wù)分配至云內(nèi)層節(jié)點(diǎn)時，不對任務(wù)進(jìn)行備份。但是云內(nèi)層 節(jié)點(diǎn)作為任務(wù)執(zhí)行者還是需要向系統(tǒng)管理員發(fā)送"心跳信息"以匯報當(dāng)前工作狀態(tài)，當(dāng)完成 某一項(xiàng)任務(wù)時，可以將結(jié)果及時返回至云核心層節(jié)點(diǎn)，也可以根據(jù)任務(wù)調(diào)度者指示，將結(jié)果 發(fā)送給另一個或一群任務(wù)執(zhí)行者作為輸入。如果某一個云內(nèi)層節(jié)點(diǎn)任務(wù)調(diào)度者未能在規(guī)定 期限內(nèi)完成任務(wù)或是失效，任務(wù)調(diào)度者立刻將任務(wù)調(diào)度到另一個云內(nèi)層節(jié)點(diǎn)予以執(zhí)行。
將繁重、瑣碎的作業(yè)分割為計算量小的任務(wù)并分配至云外層節(jié)點(diǎn)來執(zhí)行。通過增 加一定的冗余度，即選取多個云外層節(jié)點(diǎn)來同時來執(zhí)行同一任務(wù)，或是采用待定備份的方 式，以降低因?yàn)槟骋粋€任務(wù)的未實(shí)現(xiàn)而導(dǎo)致整體任務(wù)無法達(dá)成的概率。
具體的步驟是 步驟1將任務(wù)發(fā)送至多個端節(jié)點(diǎn)上，進(jìn)行執(zhí)行； 步驟2當(dāng)偵聽到第l個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，先暫停，繼續(xù)等待第2個完 成任務(wù)的節(jié)點(diǎn)提交的結(jié)果；
10
步驟3當(dāng)偵聽到第2個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，將結(jié)果與第1個完成任務(wù) 的節(jié)點(diǎn)提交的結(jié)果進(jìn)行比對； 步驟4如果相同則采用該結(jié)果，如果不同，繼續(xù)等待第3個完成任務(wù)的節(jié)點(diǎn)提交的 結(jié)果； 步驟5當(dāng)偵聽到第3個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，將結(jié)果分別與第1個和第 2個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果進(jìn)行比對； 步驟6采用與之相同的那個結(jié)果，如果不同，則回到"步驟5"反復(fù)運(yùn)行，直到找到 相同的值為止。
權(quán)利要求
一種基于多智能主體的層次式云端計算模型構(gòu)建方法，其特征在于采用多智能主體技術(shù)來構(gòu)建層次式云端計算模型，模型由穩(wěn)定的云核心、次穩(wěn)定的云內(nèi)層和不穩(wěn)定的云外層構(gòu)成，即云核心層由核心節(jié)點(diǎn)構(gòu)成，云內(nèi)層由集群服務(wù)器節(jié)點(diǎn)構(gòu)成，云外層由終端節(jié)點(diǎn)構(gòu)成；在每個節(jié)點(diǎn)上構(gòu)建智能主體與智能主體運(yùn)行平臺；駐留于核心節(jié)點(diǎn)、集群服務(wù)器節(jié)點(diǎn)和終端節(jié)點(diǎn)上的智能主體可以定義出通用的云端計算環(huán)境中的智能主體模型，云端計算環(huán)境中的智能主體cAgent模型可被定義為一個7元組cAgent＝(ID，layer，role，capability，state，policy，credit)cAgent由身份標(biāo)識ID、歸屬層次layer、角色role、能力capability、狀態(tài)state、自身策略policy和可信值credit 7個部分組成，ID是用來標(biāo)識網(wǎng)絡(luò)中的唯一cAgent，由于云端計算環(huán)境中的一個節(jié)點(diǎn)上也可能駐留多個cAgent，該ID可用節(jié)點(diǎn)標(biāo)識與本地cAgent序列號聯(lián)合構(gòu)成，歸屬層次layer標(biāo)明cAgent所駐節(jié)點(diǎn)是屬于云核心層、云內(nèi)層還是云外層；在云端計算環(huán)境中，角色role包含了以下幾種系統(tǒng)管理員、用戶、作業(yè)分割者、任務(wù)調(diào)度者和任務(wù)執(zhí)行者；為了增強(qiáng)系統(tǒng)穩(wěn)定性，常常還需要備份角色，為系統(tǒng)管理員配置影子系統(tǒng)管理員，在系統(tǒng)管理員發(fā)生宕機(jī)等系統(tǒng)狀況，可以不間斷維持系統(tǒng)正常運(yùn)行；能力capability主要指節(jié)點(diǎn)所擁有并可共享的各種資源，包括計算資源、存儲資源和軟件資源；狀態(tài)state指出了節(jié)點(diǎn)當(dāng)前“忙”或“閑”的工作狀態(tài)、資源共享的當(dāng)前情況和歷史信息；策略policy是節(jié)點(diǎn)根據(jù)自身的狀態(tài)state和能力capability信息以及意愿設(shè)置的相關(guān)策略，決定了節(jié)點(diǎn)在當(dāng)前任務(wù)來臨時所作出的決策；可信值credit標(biāo)明了節(jié)點(diǎn)可被信賴的程度；基于多智能主體的層次式云端計算模型是將云計算環(huán)境中的節(jié)點(diǎn)分成了多個層次；當(dāng)某一項(xiàng)任務(wù)來臨時，需將作業(yè)合理分割成若干個任務(wù)，然后有序部署到合適的節(jié)點(diǎn)上。
2. 根據(jù)權(quán)利要求1所述的一種基于多智能主體的層次式云端計算模型構(gòu)建方法，其特 征在于所述的層次式云端計算模型為1) cAgent角色分配在分布式的云端計算環(huán)境中，多個節(jié)點(diǎn)及其cAgent的角色分為系統(tǒng)管理員、用戶、作 業(yè)分割者、任務(wù)調(diào)度者和任務(wù)執(zhí)行者，基于高性能的云核心層節(jié)點(diǎn)的cAgent充當(dāng)系統(tǒng)管理員的角色，管理整個云端計算環(huán) 境中的節(jié)點(diǎn)情況和資源分布情況，當(dāng)云內(nèi)層和云外層節(jié)點(diǎn)首次加入云端計算環(huán)境時，需在 系統(tǒng)管理員處進(jìn)行注冊；系統(tǒng)管理員將負(fù)責(zé)維護(hù)和更新節(jié)點(diǎn)和資源目錄數(shù)據(jù)庫，以掌握全 局情況。當(dāng)節(jié)點(diǎn)再次登錄時，將由系統(tǒng)管理員負(fù)責(zé)驗(yàn)證其身份，并在資源情況有所變更的時 候更新其相關(guān)信息；各節(jié)點(diǎn)上的cAgent將通過其通信模塊每隔一定時間持續(xù)向系統(tǒng)管理 員發(fā)送"心跳"信息，以讓系統(tǒng)管理員掌握其當(dāng)前是否在線的情況，以及監(jiān)視當(dāng)前任務(wù)的承 擔(dān)情況，云核心層節(jié)點(diǎn)上的cAgent還將充當(dāng)作業(yè)分割者的角色，當(dāng)用戶向系統(tǒng)提交一項(xiàng)作業(yè) 時，作業(yè)分割者將作業(yè)分解成一個個可相對獨(dú)立執(zhí)行的任務(wù)，并將任務(wù)進(jìn)行封裝，并在本地 維護(hù)任務(wù)的執(zhí)行序列，原因是任務(wù)之間可能有先后關(guān)聯(lián)，云核心層節(jié)點(diǎn)上的cAgent還將充當(dāng)任務(wù)調(diào)度者任務(wù)調(diào)度者的角色，即將任務(wù)調(diào)度到 合適的節(jié)點(diǎn)上運(yùn)行，所謂合適的節(jié)點(diǎn)是指擁有的資源符合要求且愿意承擔(dān)任務(wù)的節(jié)點(diǎn)，云內(nèi)層和云外層節(jié)點(diǎn)將充當(dāng)任務(wù)執(zhí)行者的角色，是實(shí)際任務(wù)的承擔(dān)者，云核心層節(jié)點(diǎn)因?yàn)椴粎⑴c實(shí)際的任務(wù)，從而降低其工作量，避免成為性能瓶頸，2) 作業(yè)分割與任務(wù)分配基于云核心層節(jié)點(diǎn)的系統(tǒng)管理員在接受到用戶提交的若干作業(yè)請求時，首先會將作 業(yè)按照作業(yè)的需求、作業(yè)的提交者身份、作業(yè)的工作量等相關(guān)信息設(shè)定作業(yè)的優(yōu)先級，然后 將該作業(yè)加入到相應(yīng)的等待隊(duì)列中，在此系統(tǒng)管理員起到了作業(yè)調(diào)度程序的作用。作業(yè)分 割者會分析每個作業(yè)的執(zhí)行流程和結(jié)構(gòu)，然后根據(jù)作業(yè)的情況將作業(yè)進(jìn)行分割成若干個任 務(wù)，任務(wù)之間有重要性的差異，重要性高的任務(wù)應(yīng)該安排在可直接控制的云內(nèi)層節(jié)點(diǎn)上，作 業(yè)中大量的瑣碎任務(wù)安排到云外層的節(jié)點(diǎn)上完成，并通過冗余機(jī)制來提高系統(tǒng)完成任務(wù)的 成功率，3) 性能提高方法設(shè)置相應(yīng)的影子核心節(jié)點(diǎn)作為核心層節(jié)點(diǎn)的后備節(jié)點(diǎn)，保存了核心層節(jié)點(diǎn)上所有信 息，當(dāng)核心層節(jié)點(diǎn)上的信息發(fā)生變化影子核心節(jié)點(diǎn)上的信息也會實(shí)時更新，如果當(dāng)前核心 層節(jié)點(diǎn)宕機(jī)，影子核心節(jié)點(diǎn)可以立刻頂替當(dāng)前節(jié)點(diǎn)并選擇自己的影子節(jié)點(diǎn)，云核心層節(jié)點(diǎn) 與影子核心節(jié)點(diǎn)之間必須了解彼此當(dāng)前的情況，可以通過互相定時發(fā)送"心跳信息"來確認(rèn) 彼此當(dāng)前是否在線的信息，在任務(wù)調(diào)度者初次將任務(wù)分配至云內(nèi)層節(jié)點(diǎn)時，不對任務(wù)進(jìn)行備份，但是云內(nèi)層節(jié)點(diǎn) 作為任務(wù)執(zhí)行者還是需要向系統(tǒng)管理員發(fā)送"心跳信息"以匯報當(dāng)前工作狀態(tài)，當(dāng)完成某一 項(xiàng)任務(wù)時，將結(jié)果及時返回至云核心層節(jié)點(diǎn)，或是根據(jù)任務(wù)調(diào)度者指示，將結(jié)果發(fā)送給另一 個或一群任務(wù)執(zhí)行者作為輸入；如果某一個云內(nèi)層節(jié)點(diǎn)任務(wù)調(diào)度者未能在規(guī)定期限內(nèi)完成 任務(wù)或是失效，任務(wù)調(diào)度者立刻將任務(wù)調(diào)度到另一個云內(nèi)層節(jié)點(diǎn)予以執(zhí)行，將繁重、瑣碎的作業(yè)進(jìn)行分割為計算量小的任務(wù)并分配至云外層節(jié)點(diǎn)來執(zhí)行。通過增 加一定的冗余度，即選取多個云外層節(jié)點(diǎn)來同時來執(zhí)行同一任務(wù)，或是采用待定備份的方 式，以降低因?yàn)槟骋粋€任務(wù)的未實(shí)現(xiàn)而導(dǎo)致整體任務(wù)無法達(dá)成的概率，具體的步驟是步驟1將任務(wù)發(fā)送至多個端節(jié)點(diǎn)上，進(jìn)行執(zhí)行；步驟2當(dāng)偵聽到第1個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，先暫停，繼續(xù)等待第2個完成任 務(wù)的節(jié)點(diǎn)提交的結(jié)果；步驟3當(dāng)偵聽到第2個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，將結(jié)果與第1個完成任務(wù)的節(jié) 點(diǎn)提交的結(jié)果進(jìn)行比對；步驟4如果相同則采用該結(jié)果，如果不同，繼續(xù)等待第3個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果；步驟5當(dāng)偵聽到第3個完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果時，將結(jié)果分別與第1個和第2個 完成任務(wù)的節(jié)點(diǎn)提交的結(jié)果進(jìn)行比對；步驟6采用與之相同的那個結(jié)果，如果不同，則回到"步驟5"反復(fù)運(yùn)行，直到找到相同 的值為止。
全文摘要
本發(fā)明提出一種基于多智能主體的層次式云端計算模型構(gòu)建方法，按照節(jié)點(diǎn)的類型將云端計算環(huán)境進(jìn)行分層，模型由穩(wěn)定的云核心、次穩(wěn)定的云內(nèi)層和不穩(wěn)定的云外層構(gòu)成，即云核心層由核心節(jié)點(diǎn)構(gòu)成，云內(nèi)層由集群服務(wù)器節(jié)點(diǎn)構(gòu)成，云外層由終端節(jié)點(diǎn)構(gòu)成。目前的云計算應(yīng)用系統(tǒng)對于終端節(jié)點(diǎn)所蘊(yùn)含的各種可利用的潛在資源考慮并不足夠，浪費(fèi)了接入互聯(lián)網(wǎng)的海量終端節(jié)點(diǎn)所擁有的海量資源。本發(fā)明引入多智能主體思想和技術(shù)，利用智能主體作為各計算節(jié)點(diǎn)行為和資源的代表，實(shí)現(xiàn)將作業(yè)分割成各種層次的任務(wù)動態(tài)、有序地部署到核心節(jié)點(diǎn)、一般服務(wù)器節(jié)點(diǎn)和終端節(jié)點(diǎn)上，以達(dá)到資源利用最大化的目標(biāo)。
文檔編號H04L29/08GK101719931SQ200910232489
公開日2010年6月2日 申請日期2009年11月27日 優(yōu)先權(quán)日2009年11月27日
發(fā)明者張旻, 張登銀, 徐小龍, 楊庚, 熊婧夷, 程春玲, 章韻, 陳丹偉 申請人:南京郵電大學(xué)