本發(fā)明涉及數(shù)據(jù)通信及處理技術(shù)領(lǐng)域，特別是指一種面向異構(gòu)資源的多維調(diào)度系統(tǒng)。

背景技術(shù)：

近幾年，科學(xué)家和學(xué)者在跨域資源調(diào)度方面進(jìn)行了大量的研究，目的是提高資源的利用率、避免造成資源浪費、提高資源的管理和應(yīng)用效率。通常資源池中包括計算資源、存儲資源、網(wǎng)絡(luò)資源等多種資源，各種資源的硬件及軟件都涉及多個廠家多種產(chǎn)品。通過資源調(diào)度管理技術(shù)，能夠兼容各種資源和設(shè)備，對包括虛擬化后的計算資源、分布式存儲資源以及傳統(tǒng)的物理機資源、磁盤陣列資源、網(wǎng)絡(luò)資源以及他們之下的物理設(shè)備、第三方軟件、用戶的私有應(yīng)用軟件等進(jìn)行統(tǒng)一調(diào)度、管理、監(jiān)控。此外，資源管理還使得資源池上的各種應(yīng)用平臺，能夠按照需要靈活地申請或釋放資源，統(tǒng)一管理調(diào)度，按需分配。

目前的調(diào)度方法要么是提供虛機資源的虛擬化和調(diào)度，要么是提供容器資源，無法實現(xiàn)面向異構(gòu)資源的多維度調(diào)度，并同時提供虛擬主機和容器資源。傳統(tǒng)虛擬化技術(shù)解決了基于資源需求驅(qū)動的單資源池的資源調(diào)度問題。這種模式較為粗放，不能從應(yīng)用角度解決應(yīng)用的實際資源需求，也不能在更大資源規(guī)模上實現(xiàn)分布式資源調(diào)度。因此，在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在以下具體技術(shù)難點：虛擬資源無法在運行時進(jìn)行調(diào)度和重新劃分、不同類型的應(yīng)用框架資源難以共享和資源調(diào)度局限于單個集群或者數(shù)據(jù)中心等問題。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提出一種面向異構(gòu)資源的多維調(diào)度系統(tǒng)，能夠優(yōu)化資源配置以及調(diào)度結(jié)構(gòu)，進(jìn)而提高異構(gòu)資源調(diào)度的效率和效果。

基于上述目的本發(fā)明提供的一種面向異構(gòu)資源的多維調(diào)度系統(tǒng)，包括：集群管理模塊、容器管理模塊、資源統(tǒng)調(diào)模塊、硬件抽象模塊、關(guān)系數(shù)據(jù)庫以及組件通信模塊；所述資源統(tǒng)調(diào)模塊分別與集群管理模塊、容器管理模塊、硬件抽象模塊、關(guān)系數(shù)據(jù)庫、組件通信模塊連接。

所述資源統(tǒng)調(diào)模塊包括集群資源分配組件、主機資源管理組件；且所述集群資源分配組件用于管理接入集群的各個二級調(diào)度框架和主機資源管理組件，并將主機資源管理組件上的資源按照預(yù)設(shè)的策略分配給二級調(diào)度框架；所述主機資源管理組件用于接收并執(zhí)行來自集群資源分配組件的命令、管理節(jié)點上的容器任務(wù)，并為各個容器分配資源。

所述集群管理模塊用于管理系統(tǒng)中的集群資源；所述容器管理模塊用于管理系統(tǒng)中的容器資源；所述硬件抽象模塊用于為系統(tǒng)提供硬件支撐，包括物理服務(wù)器和虛擬服務(wù)器；所述組件通信模塊用于為系統(tǒng)提供通信。

可選的，所述集群資源分配組件采用master-slave主從結(jié)構(gòu)，其中，master的守護進(jìn)程為第一級調(diào)度，用于管理集群中所有服務(wù)器節(jié)點上運行的slave守護進(jìn)程；任務(wù)調(diào)度器為第二級調(diào)度。

可選的，主master服務(wù)器節(jié)點用于協(xié)調(diào)所有從slave服務(wù)器節(jié)點，并確定每個服務(wù)器節(jié)點的可用資源，聚合跨服務(wù)器節(jié)點的所有可用計算資源，然后向注冊到master的二級調(diào)度框架發(fā)出資源邀約；

所述二級調(diào)度框架根據(jù)應(yīng)用程序的需求，選擇接受或拒絕來自master的資源邀約；若接受邀約，則master將協(xié)調(diào)二級調(diào)度框架和slave，調(diào)度參與節(jié)點上的任務(wù)，并在容器中執(zhí)行該任務(wù)，使多種類型的任務(wù)在同一個節(jié)點上同時運行。

可選的，所述二級調(diào)度框架包括資源調(diào)度器和執(zhí)行器進(jìn)程，其中，所述執(zhí)行器運行在每個服務(wù)器節(jié)點上；所述資源調(diào)度器用于與不同類型的二級調(diào)度框架進(jìn)行通信。

可選的，所述資源調(diào)度器采用數(shù)據(jù)一致性組件，用于防止集群資源分配組件出現(xiàn)單點故障。

可選的，所述資源統(tǒng)調(diào)模塊還包括：

框架管理組件，用于管理系統(tǒng)的二層調(diào)度框架；所述二層調(diào)度框架包括資源統(tǒng)調(diào)模塊中的一級調(diào)度框架和容器管理模塊中的二級調(diào)度框架，且所述二級調(diào)度框架用于調(diào)度和管理不同類型的容器任務(wù)；所述一級調(diào)度框架和所述二級調(diào)度框架均需要向所述框架管理組件注冊，且所述一級調(diào)度框架向注冊的二級框架提供資源供給。

可選的，所述一級調(diào)度框架采用rdf算法為接入的不同二級調(diào)度框架分配資源。

可選的，所述集群資源分配組件為一級調(diào)度框架中的master，所述主機資源管理組件為一級調(diào)度框架中的slave；所述主機資源管理組件定期向所述集群資源分配組件匯報本機資源使用情況，若所述集群資源分配組件在預(yù)設(shè)的時間閾值內(nèi)沒有收到所述主機資源管理組件的匯報，則剔除該服務(wù)器節(jié)點的資源。

可選的，所述集群資源分配組件具備過濾器機制和撤銷機制；所述過濾器機制是指集群資源分配組件和二級調(diào)度框架通信時，如果某些框架總是拒絕資源供給，則只向二級調(diào)度框架發(fā)送符合資源要求的資源供給；所述撤銷機制是指如果某個二級調(diào)度框架在一定時間內(nèi)沒有為分配的資源返回對應(yīng)的容器任務(wù)，則要自動回收其資源量，并將這些資源分配給其他框架。

可選的，所述資源統(tǒng)調(diào)模塊還包括：

集群資源監(jiān)控組件，用于采集集群資源的監(jiān)控信息；

容器沙盒，用于為容器資源隔離提供底層支撐；

容器執(zhí)行器，用于與容器調(diào)度配合，容器調(diào)度指定具體的容器運行任務(wù)到計算節(jié)點，由容器執(zhí)行器負(fù)責(zé)與容器后臺服務(wù)通信，實現(xiàn)對容器的創(chuàng)建、停止、刪除操作；

容器狀態(tài)監(jiān)控組件，用于采集主機上的容器狀態(tài)監(jiān)控信息；

高可用服務(wù)組件，用于為系統(tǒng)中有高可用要求的組件提供一致性服務(wù)。

從上面所述可以看出，本發(fā)明提供的面向異構(gòu)資源的多維調(diào)度系統(tǒng)，通過將資源調(diào)度設(shè)計為兩級調(diào)度架構(gòu)，使得調(diào)度系統(tǒng)能夠調(diào)度多種類型任務(wù)；實現(xiàn)了分布式計算框架的集群資源管理、資源調(diào)度框架的調(diào)度算法以及二級框架管理等功能。其中，以資源統(tǒng)調(diào)層中的集群資源分配組件作為核心組件，對集群資源進(jìn)行統(tǒng)一調(diào)度和管理。因此，本申請所述的面向異構(gòu)資源的多維調(diào)度系統(tǒng)能夠優(yōu)化資源配置以及調(diào)度結(jié)構(gòu)，進(jìn)而提高異構(gòu)資源調(diào)度的效率和效果。

附圖說明

圖1為本發(fā)明提供的面向異構(gòu)資源的多維調(diào)度系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明提供的集群資源調(diào)度架構(gòu)設(shè)計圖；

圖3為本發(fā)明提供的resourceoffer(資源供給)調(diào)度架構(gòu)圖；

圖4為本發(fā)明提供的資源統(tǒng)調(diào)層結(jié)構(gòu)示意圖；

圖5為本發(fā)明提供的云操作系統(tǒng)資源調(diào)度框架架構(gòu)示意圖；

圖6為本發(fā)明提供的資源調(diào)度框架調(diào)用時序圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。

需要說明的是，本發(fā)明實施例中所有使用“第一”和“第二”的表述均是為了區(qū)分兩個相同名稱非相同的實體或者非相同的參量，可見“第一”“第二”僅為了表述的方便，不應(yīng)理解為對本發(fā)明實施例的限定，后續(xù)實施例對此不再一一說明。

在企業(yè)的應(yīng)用云化實踐中，常常要求建設(shè)覆蓋全種類計算資源的私有云基礎(chǔ)設(shè)施。但是基于企業(yè)級應(yīng)用具有的典型特征，使得對計算資源提供了苛刻的要求。特征如下：(1)應(yīng)用供應(yīng)商眾多、技術(shù)架構(gòu)不統(tǒng)一；由此導(dǎo)致應(yīng)用系統(tǒng)很難步調(diào)一致的進(jìn)行云化應(yīng)用的改造，企業(yè)信息化體系中集中式、分布式、松耦合、緊耦合的應(yīng)用系統(tǒng)會長期共存。(2)企業(yè)級應(yīng)用的需求復(fù)雜，難以用一種資源來滿足所有服務(wù)與組件的資源需求。另外，很多應(yīng)用開發(fā)和部署依然采用傳統(tǒng)的方式，即軟件和其運行環(huán)境強綁定。軟件嚴(yán)重依賴底層的硬件性能，不同的應(yīng)用直接資源基本不能共享。豎井化的建設(shè)隨處可見，應(yīng)用和平臺的耦合非常嚴(yán)重，系統(tǒng)云化程度低又造成了資源利用率低，結(jié)果導(dǎo)致長期總體tco(totalcostofownership)的失控。

因此，對于企業(yè)級數(shù)據(jù)中心，為了簡化管理，提高資源效率，設(shè)計一種覆蓋全種類計算資源的異構(gòu)資源調(diào)度引擎作為數(shù)據(jù)中心操作系統(tǒng)就成為企業(yè)信息化基礎(chǔ)設(shè)施的核心。具體要求可以并行調(diào)度power計算資源、x86物理服務(wù)器資源、kvm虛擬主機、商業(yè)虛擬主機、容器等所有企業(yè)應(yīng)用的資源需求。分布式計算框架從傳統(tǒng)的集中式計算框架發(fā)展而來，因此在概念上與傳統(tǒng)計算也有清晰的類比關(guān)系。分布式計算框架分為以下幾個層面，包括資源的調(diào)度、業(yè)務(wù)的編排和應(yīng)用的封裝。本發(fā)明通過研究基于應(yīng)用需求驅(qū)動的分布式跨域計算框架，實現(xiàn)資源根據(jù)應(yīng)用運行狀態(tài)按需調(diào)整、統(tǒng)一適配的分布式框架實現(xiàn)資源共享和高效的跨域資源調(diào)度。依托openstack、docker和mesos等開源技術(shù)進(jìn)行企業(yè)級增強和自主研發(fā)。通過對數(shù)據(jù)中心混合資源(服務(wù)器、磁盤陣列、網(wǎng)絡(luò)設(shè)備等物理資源和虛擬機、容器等虛擬資源)的標(biāo)準(zhǔn)化封裝和分布式調(diào)度，為業(yè)務(wù)應(yīng)用提供“多合一”的it運行環(huán)境，實現(xiàn)基礎(chǔ)資源的統(tǒng)一管理、彈性調(diào)配。本發(fā)明具有如下重要意義：

(1)資源根據(jù)應(yīng)用運行狀態(tài)按需調(diào)整。例如：隨著公司承載的應(yīng)用越來越多樣化，特別是大數(shù)據(jù)這種消耗資源大，或者潮汐性明顯的分布式應(yīng)用，資源的彈性擴縮需求強烈。雖然依賴虛擬化等技術(shù)能夠進(jìn)行底層資源重新規(guī)劃，但無法在應(yīng)用運行過程中進(jìn)行資源調(diào)動，只能等待所有任務(wù)完成之后重新切分部署。應(yīng)用的資源劃分基本是按照資源峰值進(jìn)行估算，同時結(jié)合運行時觀察的數(shù)據(jù)，定期進(jìn)行調(diào)整。隨著公司互聯(lián)網(wǎng)應(yīng)用的增多，部分業(yè)務(wù)的資源需求呈現(xiàn)明顯波峰波谷，間或出現(xiàn)突發(fā)性增長，傳統(tǒng)估算方法造成巨大的資源浪費。通過研究基于應(yīng)用需求驅(qū)動的分布式跨域計算框架，能夠?qū)崿F(xiàn)應(yīng)用運行狀態(tài)下的資源再分配，在統(tǒng)一適配的分布式框架下實現(xiàn)資源共享，避免資源浪費，降低使用成本。

(2)統(tǒng)一適配的分布式框架實現(xiàn)資源共享。通過研究統(tǒng)一適配的分布式框架，使得多種應(yīng)用框架能夠進(jìn)行資源共享，打破多種應(yīng)用框架在云上形成資源豎井，實現(xiàn)資源利用率的提升，降低資源使用成本，避免資源浪費。同時，統(tǒng)一適配的分布式框架也能對未來新建應(yīng)用系統(tǒng)的應(yīng)用框架設(shè)計提供指導(dǎo)作用，使得計算類型不同的多種應(yīng)用之間更好的進(jìn)行資源共享，支撐基礎(chǔ)資源的更快速靈活交付，推動基礎(chǔ)資源供應(yīng)由按需配置向按需供應(yīng)轉(zhuǎn)變。

(3)高效的跨域資源調(diào)度。公司目前的應(yīng)用調(diào)度框架針對的是單個集群或數(shù)據(jù)中心設(shè)計，所以這個的局限性也阻礙了跨數(shù)據(jù)中心調(diào)度的實現(xiàn)。通過研究基于應(yīng)用需求驅(qū)動的分布式跨域計算框架，調(diào)動全局資源，實現(xiàn)應(yīng)用的就近訪問。

參照圖1所示，為本發(fā)明提供的面向異構(gòu)資源的多維調(diào)度系統(tǒng)的結(jié)構(gòu)示意圖。所述面向異構(gòu)資源的多維調(diào)度系統(tǒng)包括：集群管理模塊、容器管理模塊、資源統(tǒng)調(diào)模塊、硬件抽象模塊、關(guān)系數(shù)據(jù)庫以及組件通信模塊；所述資源統(tǒng)調(diào)模塊分別與集群管理模塊、容器管理模塊、硬件抽象模塊、關(guān)系數(shù)據(jù)庫、組件通信模塊連接；所述資源統(tǒng)調(diào)模塊包括集群資源分配組件、主機資源管理組件；且所述集群資源分配組件用于管理接入集群的各個二級調(diào)度框架和主機資源管理組件，并將主機資源管理組件上的資源按照預(yù)設(shè)的策略分配給二級調(diào)度框架；所述主機資源管理組件用于接收并執(zhí)行來自集群資源分配組件的命令、管理節(jié)點上的容器任務(wù)，并為各個容器分配資源；所述集群管理模塊用于管理系統(tǒng)中的集群資源；所述容器管理模塊用于管理系統(tǒng)中的容器資源；所述硬件抽象模塊用于為系統(tǒng)提供硬件支撐，包括物理服務(wù)器和虛擬服務(wù)器；所述組件通信模塊用于為系統(tǒng)提供通信。

由上述實施例可知，本發(fā)明提供的面向異構(gòu)資源的多維調(diào)度系統(tǒng)，通過將資源調(diào)度設(shè)計為兩級調(diào)度架構(gòu)，使得調(diào)度系統(tǒng)能夠調(diào)度多種類型任務(wù)；實現(xiàn)了分布式計算框架的集群資源管理、資源調(diào)度框架的調(diào)度算法以及二級框架管理等功能。其中，以資源統(tǒng)調(diào)層中的集群資源分配組件作為核心組件，對集群資源進(jìn)行統(tǒng)一調(diào)度和管理。因此，本申請所述的面向異構(gòu)資源的多維調(diào)度系統(tǒng)能夠優(yōu)化資源配置以及調(diào)度結(jié)構(gòu)，進(jìn)而提高異構(gòu)資源調(diào)度的效率和效果。

可選的，參照圖2所示，為集群資源調(diào)度架構(gòu)設(shè)計圖。如圖所述，資源統(tǒng)調(diào)層由兩個核心組件組成，分別是集群資源分配組件(master)，主機資源管理組件(slave)。也即，使得所述集群資源分配組件采用master-slave主從結(jié)構(gòu)，其中，master的守護進(jìn)程為第一級調(diào)度，用于管理集群中所有服務(wù)器節(jié)點上運行的slave守護進(jìn)程；任務(wù)調(diào)度器為第二級調(diào)度。所述集群由物理服務(wù)器或虛擬服務(wù)器組成，用于運行應(yīng)用程序的任務(wù)?？蛇x的，第二級調(diào)度由被稱作framework的任務(wù)調(diào)度器組成。其中，應(yīng)用調(diào)度器和任務(wù)調(diào)度器作為容器的管理和調(diào)度核心，在集群資源分配組件之上，將集群資源分配給相應(yīng)的應(yīng)用、定時任務(wù)和一次性任務(wù)。集群資源分配組件能夠很好的適應(yīng)容器，同時云操作系統(tǒng)的功能組件自身都通過數(shù)據(jù)一致性組件進(jìn)行高可用部署，以確保系統(tǒng)本身的可靠。

進(jìn)一步，主master服務(wù)器節(jié)點用于協(xié)調(diào)所有從slave服務(wù)器節(jié)點，并確定每個服務(wù)器節(jié)點的可用資源，聚合計算跨服務(wù)器節(jié)點的所有可用資源，然后向注冊到master的二級調(diào)度框架發(fā)出資源邀約；所述二級調(diào)度框架根據(jù)應(yīng)用程序的需求，選擇接受或拒絕來自master的資源邀約；若接受邀約，則master將協(xié)調(diào)二級調(diào)度框架和slave，調(diào)度參與節(jié)點上的任務(wù)，并在容器中執(zhí)行該任務(wù)，使多種類型的任務(wù)在同一個節(jié)點上同時運行。其中，任務(wù)包括web應(yīng)用和大數(shù)據(jù)應(yīng)用。所述二級調(diào)度框架作為master的客戶端。

可選的，所述二級調(diào)度框架包括資源調(diào)度器(scheduler)和執(zhí)行器(executor)進(jìn)程，其中，所述執(zhí)行器運行在每個服務(wù)器節(jié)點上；所述資源調(diào)度器用于與不同類型的二級調(diào)度框架進(jìn)行通信。且每種二級框架由相應(yīng)的應(yīng)用集群管理。進(jìn)一步，所述資源調(diào)度器采用數(shù)據(jù)一致性組件，用于防止集群資源分配組件出現(xiàn)單點故障。

可選的，參照圖3所示，為本發(fā)明提供的resourceoffer(資源供給)調(diào)度架構(gòu)圖。所述集群資源分配組件是整個系統(tǒng)的核心，負(fù)責(zé)管理接入集群的各個二級調(diào)度框架和主機資源管理組件，并將主機資源管理組件上的資源按照resourceoffer策略分配給二級調(diào)度框架。

可選的，任務(wù)調(diào)度作為核心部件，主要負(fù)責(zé)將各個主機資源管理組件上資源分配給各個二級調(diào)度任務(wù)，常見的調(diào)度機制有fifo，fairscheduler，capacityscheduler，quincy，condor等。

參照圖4所示，為本發(fā)明提供的資源統(tǒng)調(diào)層結(jié)構(gòu)示意圖。也即，本申請中資源統(tǒng)調(diào)模塊對應(yīng)的資源統(tǒng)調(diào)層結(jié)構(gòu)采用兩級調(diào)度模式，利用主節(jié)點管理各類調(diào)度任務(wù)以及從節(jié)點的任務(wù)處理。具體的，所述資源統(tǒng)調(diào)模塊還包括：框架管理組件，用于管理系統(tǒng)的二層調(diào)度框架；所述二層調(diào)度框架包括資源統(tǒng)調(diào)模塊中的一級調(diào)度框架和容器管理模塊中的二級調(diào)度框架，且所述二級調(diào)度框架用于調(diào)度和管理不同類型的容器任務(wù)；所述一級調(diào)度框架和所述二級調(diào)度框架均需要向所述框架管理組件注冊，且所述一級調(diào)度框架向注冊的二級框架提供資源供給。由于采用兩級調(diào)度結(jié)構(gòu)，資源統(tǒng)調(diào)層負(fù)責(zé)集群資源的管理和調(diào)度，包含了一級調(diào)度框架，而容器管理層負(fù)責(zé)應(yīng)用容器的管理和調(diào)度，容器管理層中的應(yīng)用容器調(diào)度組件和任務(wù)容器調(diào)度組件都屬于二級調(diào)度框架，每種二級調(diào)度框架分別調(diào)度和管理不同類型的容器任務(wù)，這些框架都需要向框架管理組件注冊，一級調(diào)度框架會向注冊的二級調(diào)度框架提供資源供給。通過框架管理組件管理二級調(diào)度框架的狀態(tài)、注冊時間以及框架的資源申請量；通過一級調(diào)度框架api，實現(xiàn)針對不同的任務(wù)類型的二級調(diào)度框架，例如長服務(wù)任務(wù)調(diào)度框架、周期性任務(wù)調(diào)度框架、hadoop任務(wù)調(diào)度框架、spark任務(wù)調(diào)度框架等?？蛇x的，在接入多種二級調(diào)度框架時，一級調(diào)度框架采用rdf算法為這些框架分配資源，實現(xiàn)多種類型任務(wù)的統(tǒng)一資源分配和調(diào)度，做到資源的混合部署和充分利用。

在進(jìn)一步的實施例中，集群資源分配組件屬于一級調(diào)度框架，主要用于調(diào)度集群資源。集群資源分配組件為一級調(diào)度框架的master，從slave獲得主機資源使用情況，形成集群總體資源，以資源供給的形式向二級調(diào)度框架提供資源。主機資源管理組件屬于一級調(diào)度框架中的slave，定期向master匯報本機的資源使用情況，如果master一定時間內(nèi)收不到slave的匯報，則認(rèn)為該節(jié)點丟失，并剔除該節(jié)點的資源?？蛇x的，集群資源分配組件采用最大-最小公平分配策略。此外，可選的，集群資源分配組件可以根據(jù)需要設(shè)置過濾器機制和撤銷機制。其中，過濾器機制是指集群資源分配組件和二級調(diào)度框架通信時，如果有些框架總是拒絕資源供給，那么由于額外的通信開銷會使得調(diào)度性能低效，為避免不必要的通信，通過過濾器機制只向二級調(diào)度框架發(fā)送符合資源要求的資源供給；撤銷機制是指如果某個二級調(diào)度框架在一定時間內(nèi)沒有為分配的資源返回對應(yīng)的容器任務(wù)，則要自動回收其資源量，并將這些資源分配給其他框架。進(jìn)一步，集群資源分配組件通過高可用服務(wù)組件實現(xiàn)高可用，避免單點故障造成的系統(tǒng)失效。

在本發(fā)明一些可選的實施例中，所述資源統(tǒng)調(diào)模塊還包括：集群資源監(jiān)控組件，用于采集集群資源的監(jiān)控信息；其中，所述監(jiān)控信息主要包括兩部分，一部分是集群組件狀態(tài)信息，另一部分是集群資源的使用量。該集群資源監(jiān)控組件采集信息，通過分布式通信組件傳輸給集群管理模塊，用于實現(xiàn)系統(tǒng)前端的管理需求?？蛇x的，該集群資源監(jiān)控組件采用輕量級設(shè)計，不允許過多占用主機資源，為主機提供更大余量。

容器沙盒，用于為容器資源隔離提供底層支撐；其中，容器沙盒直接調(diào)用操作系統(tǒng)cgroup服務(wù)，為容器分配cpu、內(nèi)存等資源，同時在指定目錄下創(chuàng)建以容器id為名的子目錄，用于存放容器運行過程中所產(chǎn)生的數(shù)據(jù)。該目錄作為容器的持久化數(shù)據(jù)，即使容器停止也會繼續(xù)保留，只要在徹底刪除容器時，才會刪除該目錄及目錄中的數(shù)據(jù)。

容器執(zhí)行器，用于與容器調(diào)度配合，容器調(diào)度指定具體的容器運行任務(wù)到計算節(jié)點，由容器執(zhí)行器負(fù)責(zé)與容器后臺服務(wù)通信，實現(xiàn)對容器的創(chuàng)建、停止、刪除等操作；且容器執(zhí)行器需要參考容器后臺服務(wù)api，相當(dāng)于容器調(diào)度和容器后臺服務(wù)之間的橋梁。容器運行過程中，容器執(zhí)行器獲取到容器狀態(tài)信息以及容器服務(wù)日志，收集并上報給集群管理節(jié)點。

容器狀態(tài)監(jiān)控組件，用于采集主機上的容器狀態(tài)監(jiān)控信息；其中，所述監(jiān)控信息主要包括兩部分，一部分是容器的運行狀態(tài)，另一部分是容器的資源使用量。容器狀態(tài)監(jiān)控組件采集信息，通過分布式通信組件傳輸給集群管理組件，用于實現(xiàn)系統(tǒng)前端的管理需求?？蛇x的，容器狀態(tài)監(jiān)控組件需采用輕量級設(shè)計，不允許過多占用主機資源。

高可用服務(wù)組件，用于為系統(tǒng)中有高可用要求的組件提供一致性服務(wù)。高可用服務(wù)組件通過選舉機制產(chǎn)生leader，某節(jié)點獲得選票過半數(shù)可成為leader，其他節(jié)點以follower形式跟隨，因此，部署高可用服務(wù)組件時，以奇數(shù)節(jié)點進(jìn)行部署，以保證有某一個或幾個節(jié)點宕機后，能夠通過選舉產(chǎn)生新的leader。容器管理模塊的高可用服務(wù)組件主要用于確保資源統(tǒng)調(diào)層組件的高可用。

參照圖5所示，為本發(fā)明提供的云操作系統(tǒng)資源調(diào)度框架架構(gòu)示意圖。資源調(diào)度框架用于進(jìn)行虛擬化和容器異構(gòu)資源調(diào)度。資源調(diào)度框架支持dockerswarm、apachemesos、googlekubernetes三種coes(containerorchestrationengine，容器編排引擎)。云操作系統(tǒng)通過插件方式基于資源調(diào)度框架進(jìn)行擴展，添加對coe的支持，通過資源調(diào)度框架界面實現(xiàn)對異構(gòu)資源容器進(jìn)行管理。資源調(diào)度框架包括兩個子模塊：資源調(diào)度框架api和資源調(diào)度框架conductor，其中，資源調(diào)度框架api負(fù)責(zé)接收restapi請求；conductor負(fù)責(zé)與資源編排系統(tǒng)及coe交互，創(chuàng)建容器集群。進(jìn)一步，參照圖6所示，為本發(fā)明提供的資源調(diào)度框架調(diào)用時序圖，由圖可知，用戶能夠通過資源調(diào)度框架創(chuàng)建所需的容器集群和容器應(yīng)用。

由此，通過云操系統(tǒng)的資源調(diào)度框架實現(xiàn)容器編排集群管理，終端用戶通過命令行或界面，通過資源調(diào)度框架快速創(chuàng)建出容器編排集群，并能獲取集群狀態(tài)，部署成功后，可動態(tài)調(diào)整集群大小，新增slave節(jié)點數(shù)量，可刪除集群。通過資源調(diào)度框架和資源編排系統(tǒng)對容器應(yīng)用管理，用戶在創(chuàng)建出的編排集群之上通過資源編排系統(tǒng)+coe創(chuàng)建容器應(yīng)用。實現(xiàn)容器應(yīng)用自動擴縮功能：用戶可對容器應(yīng)用設(shè)置閾值，如cpu/內(nèi)存使用率等，coe系統(tǒng)對應(yīng)用狀態(tài)進(jìn)行監(jiān)測，達(dá)到閾值后，coe自動創(chuàng)建出更多數(shù)量的應(yīng)用實例。同時容器coe集群節(jié)點自動擴縮。用戶可設(shè)置閾值，如集群容器/節(jié)點數(shù)量比等，可根據(jù)設(shè)定的條件，動態(tài)資源調(diào)度調(diào)整coe節(jié)點規(guī)模。

此外，資源調(diào)度框架在安全方面通過在云操作系統(tǒng)已有的多租戶網(wǎng)絡(luò)隔離以及其它現(xiàn)有安全機制之上，用戶可以用安全的方式去訪問容器管理restapi，進(jìn)行集群管理和容器管理。資源調(diào)度框架對容器持久化數(shù)據(jù)進(jìn)行管理，實現(xiàn)容器刪除后數(shù)據(jù)將被刪除，用戶可使用持久化存儲機制來保存數(shù)據(jù)、重用數(shù)據(jù)以及在不同容器之間共享數(shù)據(jù)，可利用云操作系統(tǒng)已有的豐富的塊存儲接口，把云操作系統(tǒng)的塊數(shù)據(jù)管理能力用于容器持久化數(shù)據(jù)。資源調(diào)度框架調(diào)度云操作系統(tǒng)網(wǎng)絡(luò)提供給容器網(wǎng)絡(luò)保證連通，保證用戶可靈活自定義和管理容器網(wǎng)絡(luò)拓?fù)?，可把云平臺下已有的sdn等基礎(chǔ)設(shè)施應(yīng)用到容器。

綜上可知，本發(fā)明涉及一種面向異構(gòu)資源的多為調(diào)度算法框架設(shè)計，通過任務(wù)之間進(jìn)行資源隔離，減少資源爭搶。任務(wù)分配調(diào)度時結(jié)合資源分配，各個任務(wù)分配合理的資源，充分利用系統(tǒng)資源，減少資源利用不充分的問題。資源調(diào)度結(jié)合優(yōu)先級，優(yōu)先級高的分配更多的資源。提高全系統(tǒng)的資源利用率。各個子系統(tǒng)，存在不同時期，對資源需求不一樣的情況，平滑系統(tǒng)資源的利用。支持動態(tài)調(diào)整切分資源，增強系統(tǒng)擴展性。系統(tǒng)對資源的規(guī)劃很難一次性準(zhǔn)確，通過分級調(diào)度和運行時資源調(diào)度，實現(xiàn)了動態(tài)擴展，提高了資源的靈活性。

因此，本發(fā)明的關(guān)鍵點和保護點在于：(1)采用分布式資源調(diào)度：為虛擬機、大數(shù)據(jù)集群、數(shù)據(jù)庫集群、容器集群按需調(diào)度資源，支撐集群的按需擴展。(2)實現(xiàn)動態(tài)任務(wù)調(diào)度：采用任務(wù)調(diào)度器實現(xiàn)自動化容器調(diào)度、應(yīng)用管理、動態(tài)部署應(yīng)用和服務(wù)，并提供應(yīng)用運行監(jiān)控。(3)實現(xiàn)彈性擴展：提供物理集群、虛擬主機、虛擬硬盤、網(wǎng)絡(luò)等資源的在線彈性調(diào)整。(4)實現(xiàn)在線遷移：采用高性能分布式存儲，實現(xiàn)虛擬主機的安全熱遷移，保證業(yè)務(wù)不中斷。(5)實現(xiàn)跨數(shù)據(jù)中心管理：支持不同數(shù)據(jù)中心的云資源統(tǒng)一管理，可根據(jù)應(yīng)用需求進(jìn)行分區(qū)域運行。

所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：以上任何實施例的討論僅為示例性的，并非旨在暗示本公開的范圍(包括權(quán)利要求)被限于這些例子；在本發(fā)明的思路下，以上實施例或者不同實施例中的技術(shù)特征之間也可以進(jìn)行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡明它們沒有在細(xì)節(jié)中提供。

另外，為簡化說明和討論，并且為了不會使本發(fā)明難以理解，在所提供的附圖中可以示出或可以不示出與集成電路(ic)芯片和其它部件的公知的電源/接地連接。此外，可以以框圖的形式示出裝置，以便避免使本發(fā)明難以理解，并且這也考慮了以下事實，即關(guān)于這些框圖裝置的實施方式的細(xì)節(jié)是高度取決于將要實施本發(fā)明的平臺的(即，這些細(xì)節(jié)應(yīng)當(dāng)完全處于本領(lǐng)域技術(shù)人員的理解范圍內(nèi))。在闡述了具體細(xì)節(jié)(例如，電路)以描述本發(fā)明的示例性實施例的情況下，對本領(lǐng)域技術(shù)人員來說顯而易見的是，可以在沒有這些具體細(xì)節(jié)的情況下或者這些具體細(xì)節(jié)有變化的情況下實施本發(fā)明。因此，這些描述應(yīng)被認(rèn)為是說明性的而不是限制性的。

盡管已經(jīng)結(jié)合了本發(fā)明的具體實施例對本發(fā)明進(jìn)行了描述，但是根據(jù)前面的描述，這些實施例的很多替換、修改和變型對本領(lǐng)域普通技術(shù)人員來說將是顯而易見的。例如，其它存儲器架構(gòu)(例如，動態(tài)ram(dram))可以使用所討論的實施例。

本發(fā)明的實施例旨在涵蓋落入所附權(quán)利要求的寬泛范圍之內(nèi)的所有這樣的替換、修改和變型。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。