本發(fā)明涉及云計(jì)算領(lǐng)域，具體涉及一種云計(jì)算環(huán)境下基于虛擬機(jī)的數(shù)據(jù)處理方法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)技術(shù)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展,越來越多的人使用互聯(lián)網(wǎng)來獲取信息、購物和娛樂一,網(wǎng)絡(luò)數(shù)據(jù)量和用戶請(qǐng)求數(shù)出現(xiàn)了爆發(fā)式的增長,對(duì)服務(wù)器計(jì)算和處理能力提出了更高的要求,使它們?cè)诤侠斫邮芸蛻舳苏?qǐng)求的基礎(chǔ)上又要在最短的時(shí)間內(nèi)做出應(yīng)答響應(yīng),以提高用戶體驗(yàn)度。根據(jù)易觀國際提供的數(shù)據(jù)國內(nèi)電子商務(wù)公司淘寶網(wǎng)目前每天的活躍數(shù)據(jù)量超過50tb,有4億條產(chǎn)品訊息和2億多注冊(cè)用戶在上面活動(dòng),每天的訪問量超過4000萬,互聯(lián)網(wǎng)巨頭谷歌每天需處理9100萬次查詢,一年平均要在數(shù)據(jù)庫保存33萬億條用戶的查詢記錄。如此巨大的數(shù)據(jù)量和訪問請(qǐng)求,就迫切需要具備快速響應(yīng)能力、高可用性、高擴(kuò)展性。易于管理的服務(wù)器來提高網(wǎng)絡(luò)吞吐量和及時(shí)響應(yīng)用戶請(qǐng)求的能力。
為保證用戶響應(yīng)時(shí)間,提高服務(wù)質(zhì)量,勢必需要對(duì)服務(wù)器的軟硬件進(jìn)行升級(jí),這時(shí)面臨著兩種選擇:一種是提高單個(gè)服務(wù)器的配置,如增加服務(wù)器內(nèi)存和存儲(chǔ)量,使用處理速度更快的cpu等提高性能,但是這種選擇是治標(biāo)不治本,設(shè)備升級(jí)遠(yuǎn)遠(yuǎn)跟不上用戶訪問量增加的速度,而且每次硬件升級(jí)都會(huì)面臨著數(shù)據(jù)的遷移以及可靠性和穩(wěn)定性方面的風(fēng)險(xiǎn),從經(jīng)濟(jì)上來說,升級(jí)設(shè)備的代價(jià)也比較高,一般用戶承擔(dān)不起；另一種做法則是將多臺(tái)服務(wù)器連接成一個(gè)整體,通過網(wǎng)絡(luò)和分布式技術(shù)共享資源以實(shí)現(xiàn)用戶請(qǐng)求和計(jì)算任務(wù)的并行高效處理。
在這種情況下,就產(chǎn)生了一種新的計(jì)算模式一云計(jì)算。云計(jì)算是在分布式計(jì)算、并行處理和網(wǎng)格計(jì)算的基礎(chǔ)上發(fā)展起來的一種新興的計(jì)算模式。云計(jì)算將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算能力、存儲(chǔ)空間和各種軟件服務(wù)。云計(jì)算平臺(tái)上的各類服務(wù)器通過協(xié)作的方式完成特定的任務(wù)。
由于云計(jì)算平臺(tái)上應(yīng)用和用戶需求的多樣性以及服務(wù)器節(jié)點(diǎn)的資源異構(gòu)性會(huì)出現(xiàn)系統(tǒng)中節(jié)點(diǎn)負(fù)載不均衡的情況,導(dǎo)致一部分節(jié)點(diǎn)的負(fù)載過重資源不夠用,而另一些節(jié)點(diǎn)則負(fù)載過輕處于空閑狀態(tài)。因此如何通過合適的負(fù)載均衡算法來協(xié)調(diào)服務(wù)器之間的負(fù)載以提高云計(jì)算平臺(tái)資源利用率和系統(tǒng)性能成為目前云計(jì)算領(lǐng)域研究的一大關(guān)鍵問題。在云計(jì)算環(huán)境下往往包含有成千上萬的數(shù)據(jù)(包括各種任務(wù)和資源),如果采用傳統(tǒng)的負(fù)載均衡算法將會(huì)對(duì)算法的復(fù)雜性和有效性提出極大的挑戰(zhàn)。
技術(shù)實(shí)現(xiàn)要素：
至少部分的解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出一種云計(jì)算環(huán)境下基于虛擬機(jī)的數(shù)據(jù)處理方法，所述方法包括：
(1)調(diào)度處理器接收用戶的虛擬機(jī)任務(wù)請(qǐng)求，調(diào)度處理器根據(jù)當(dāng)前各個(gè)數(shù)據(jù)中心的負(fù)載狀態(tài)，將虛擬機(jī)任務(wù)請(qǐng)求轉(zhuǎn)發(fā)給某一個(gè)數(shù)據(jù)中心；云計(jì)算環(huán)境中包含若干個(gè)數(shù)據(jù)中心，每個(gè)數(shù)據(jù)中心由若干個(gè)物理機(jī)組成；每個(gè)物理機(jī)中包括若干個(gè)虛擬機(jī)；
(2)數(shù)據(jù)中心在接到虛擬機(jī)任務(wù)請(qǐng)求之后，為該虛擬機(jī)任務(wù)請(qǐng)求找到一臺(tái)物理機(jī)，將分配結(jié)果返回給調(diào)度處理器；
(3)調(diào)度處理器接收數(shù)據(jù)中心發(fā)來的虛擬機(jī)任務(wù)請(qǐng)求分配結(jié)果，并發(fā)送給用戶；
其中，步驟(1)中所述調(diào)度處理器根據(jù)當(dāng)前各個(gè)數(shù)據(jù)中心的負(fù)載狀態(tài)，將虛擬機(jī)任務(wù)請(qǐng)求轉(zhuǎn)發(fā)給某一個(gè)數(shù)據(jù)中心，具體包括：
調(diào)度處理器計(jì)算每個(gè)數(shù)據(jù)中心的資源負(fù)載值(xd1,…,xdi…,xdn)，按照該值由小到大的順序?yàn)閿?shù)據(jù)中心排隊(duì)；其中，xdi表示第i個(gè)數(shù)據(jù)中心的資源負(fù)載值，n表示所述云資源環(huán)境下的數(shù)據(jù)中心個(gè)數(shù)；
選擇數(shù)據(jù)中心隊(duì)列中的第一個(gè)數(shù)據(jù)中心，將虛擬機(jī)任務(wù)請(qǐng)求轉(zhuǎn)發(fā)到所述第一個(gè)數(shù)據(jù)中心；
所述第一個(gè)數(shù)據(jù)中心根據(jù)虛擬機(jī)任務(wù)請(qǐng)求，為用戶分配物理機(jī)；若分配物理機(jī)失敗，則將所述虛擬機(jī)任務(wù)請(qǐng)求轉(zhuǎn)發(fā)到所述數(shù)據(jù)中心隊(duì)列中的下一個(gè)數(shù)據(jù)中心，在下一個(gè)數(shù)據(jù)中心中為用戶分配物理機(jī)，直至分配物理機(jī)成功或者所有數(shù)據(jù)中心分配物理機(jī)失??；
更新分配到虛擬機(jī)任務(wù)的物理機(jī)的剩余資源。
所述的云計(jì)算環(huán)境下基于虛擬機(jī)的數(shù)據(jù)處理方法，還進(jìn)一步包括：
對(duì)數(shù)據(jù)中心物理機(jī)當(dāng)前時(shí)刻t的下一時(shí)刻t+1的資源負(fù)載情況進(jìn)行預(yù)估；
根據(jù)物理機(jī)物理機(jī)當(dāng)前時(shí)刻t的資源負(fù)載和下一時(shí)刻t+1的資源負(fù)載，選擇需要遷出虛擬機(jī)的物理機(jī)以及所遷出虛擬機(jī)待遷入的物理機(jī)。
優(yōu)選的，所述對(duì)數(shù)據(jù)中心物理機(jī)當(dāng)前時(shí)刻t的下一時(shí)刻t+1的資源負(fù)載情況進(jìn)行預(yù)估，具體包括：
w(t+1)＝μw(t)+δw(t-1)+ωw(t-2)，其中w(t+1)、w(t)、w(t-1)、w(t-2)分別表示時(shí)刻t+1、t、t-1、t-2時(shí)物理機(jī)的資源負(fù)載，μ、δ、ω為權(quán)值。
優(yōu)選的，μ、δ、ω分別取值0.5、0.3、0.2。
優(yōu)選的，所述選擇需要遷出虛擬機(jī)的物理機(jī)，具體包括：
當(dāng)物理機(jī)發(fā)生過載情況時(shí)和低載情況時(shí)，根據(jù)當(dāng)前狀態(tài)將該物理機(jī)上的部分或全部虛擬機(jī)遷移到其它物理機(jī)上運(yùn)行。
優(yōu)選的，當(dāng)物理機(jī)處于過載狀態(tài)時(shí)，將虛擬機(jī)按時(shí)刻t+1預(yù)估資源負(fù)載量進(jìn)行降序排列，選擇未來資源負(fù)載排名前列的虛擬機(jī)進(jìn)行遷出，同時(shí)，使得當(dāng)前物理機(jī)能夠滿足剩下的虛擬機(jī)的時(shí)刻t+1時(shí)的資源需求；
當(dāng)物理機(jī)處于低載狀態(tài)時(shí)，將所有虛擬機(jī)都遷移出當(dāng)前物理機(jī)。
優(yōu)選的，所述物理機(jī)過載情況包括cpu利用率大于80％，所述物理機(jī)低載情況包括cpu利用率小于20％。
優(yōu)選的，所述選擇所遷出虛擬機(jī)待遷入的物理機(jī)，具體包括：
根據(jù)需要遷入的虛擬機(jī)的資源需求與數(shù)據(jù)中心中所有物理機(jī)的資源信息，從中選取用于安置遷移虛擬機(jī)的物理機(jī)。
優(yōu)選的，選擇策略是對(duì)所有滿足虛擬機(jī)資源分配要求的物理機(jī)預(yù)估其時(shí)刻t+1工作負(fù)載，根據(jù)預(yù)估情況劃分資源需求縮減隊(duì)列和資源需求擴(kuò)大隊(duì)列，通過進(jìn)一步篩選確定目的物理機(jī)，具體步驟包括：
(a)計(jì)算各物理機(jī)上的資源需求伸縮量，其值為當(dāng)前物理機(jī)上所有虛擬機(jī)時(shí)刻t+1的工作負(fù)載預(yù)估總量減去當(dāng)前時(shí)刻工作負(fù)載總量，它反應(yīng)了虛擬機(jī)資源需求的變化趨勢；
(b)通過物理機(jī)資源總量減去當(dāng)前時(shí)刻資源負(fù)載總量來計(jì)算未分配資源量，篩選出未分配資源量與資源需求伸縮量之間的差值即預(yù)計(jì)剩余資源量大于零的物理機(jī)列表，形成候選物理機(jī)列表；
(c)如果資源需求伸縮量為負(fù)值，則加入資源需求縮小隊(duì)列，并計(jì)算剩余資源量與資源伸縮量的差值以降序排列。若為正值，則加入資源需求擴(kuò)大隊(duì)列，計(jì)算資源需求伸縮量與剩余資源量的比值作為安全調(diào)度因子，并依據(jù)該因子數(shù)值將隊(duì)列按升序排列，如果一方隊(duì)列為空，則直接選擇另一方排位第一的物理機(jī)機(jī)做為待遷入的物理機(jī)，若都不為空，則進(jìn)一步比較兩個(gè)隊(duì)列的首位物理機(jī)，選擇其中一個(gè)作為待遷入的物理機(jī)。
優(yōu)選的，所述對(duì)數(shù)據(jù)中心物理機(jī)當(dāng)前時(shí)刻t的下一時(shí)刻t+1的資源負(fù)載情況進(jìn)行預(yù)估，進(jìn)一步包括：
統(tǒng)計(jì)當(dāng)前物理機(jī)上用戶信息；
使用啟發(fā)式方法或k-鄰近算法對(duì)用戶在下一時(shí)刻t+1的所需資源u(t+1)進(jìn)行預(yù)估,取u(t+1)和w(t+1)中值較大的作為下一時(shí)刻t+1當(dāng)前物理機(jī)的資源負(fù)載值。
本發(fā)明提出了云計(jì)算環(huán)境下基于虛擬機(jī)的數(shù)據(jù)處理方法，提高了資源利用效率、減少任務(wù)處理時(shí)間。
附圖說明
圖1為本發(fā)明一種云計(jì)算環(huán)境下基于虛擬機(jī)的數(shù)據(jù)處理方法的流程圖；
具體實(shí)施方式
下面將結(jié)合本發(fā)明的附圖，對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述。這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本發(fā)明相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。
參見圖1，本發(fā)明提出了一種云計(jì)算環(huán)境下基于虛擬機(jī)的數(shù)據(jù)處理方法，所述方法包括：
(1)調(diào)度處理器接收用戶的虛擬機(jī)任務(wù)請(qǐng)求，調(diào)度處理器根據(jù)當(dāng)前各個(gè)數(shù)據(jù)中心的負(fù)載狀態(tài)，將虛擬機(jī)任務(wù)請(qǐng)求轉(zhuǎn)發(fā)給某一個(gè)數(shù)據(jù)中心；云計(jì)算環(huán)境中包含若干個(gè)數(shù)據(jù)中心，每個(gè)數(shù)據(jù)中心由若干個(gè)物理機(jī)組成；每個(gè)物理機(jī)中包括若干個(gè)虛擬機(jī)；
(2)數(shù)據(jù)中心在接到虛擬機(jī)任務(wù)請(qǐng)求之后，為該虛擬機(jī)任務(wù)請(qǐng)求找到一臺(tái)物理機(jī)，將分配結(jié)果返回給調(diào)度處理器；
(3)調(diào)度處理器接收數(shù)據(jù)中心發(fā)來的虛擬機(jī)任務(wù)請(qǐng)求分配結(jié)果，并發(fā)送給用戶。
調(diào)度處理器還用于接收數(shù)據(jù)中心發(fā)來的資源更新信息，并更新資源信息庫；當(dāng)某個(gè)數(shù)據(jù)中心的信息發(fā)生改變時(shí)，數(shù)據(jù)中心會(huì)給調(diào)度處理器發(fā)來更新后的信息，調(diào)度處理器收到之后，更新自身的數(shù)據(jù)庫，保持與數(shù)據(jù)中心數(shù)據(jù)庫的一致性，以便在分配虛擬機(jī)任務(wù)請(qǐng)求時(shí)使用。
調(diào)度處理器還用于管理數(shù)據(jù)中心，包括數(shù)據(jù)中心的注冊(cè)和刪除；當(dāng)有新的數(shù)據(jù)中心需要加入到該云計(jì)算環(huán)境時(shí)，需要在調(diào)度處理器注冊(cè)，將該數(shù)據(jù)中心的信息加入到調(diào)度處理器的數(shù)據(jù)庫；當(dāng)有數(shù)據(jù)中心需要?jiǎng)h除時(shí)，在調(diào)度處理器的數(shù)據(jù)庫將該數(shù)據(jù)中心的相應(yīng)信息刪除。
用戶提交的虛擬機(jī)任務(wù)請(qǐng)求包括虛擬機(jī)使用的開始時(shí)間、結(jié)束時(shí)間、虛擬機(jī)的類型。
步驟(1)中所述調(diào)度處理器根據(jù)當(dāng)前各個(gè)數(shù)據(jù)中心的負(fù)載狀態(tài)，將虛擬機(jī)任務(wù)請(qǐng)求轉(zhuǎn)發(fā)給某一個(gè)數(shù)據(jù)中心，具體包括：
調(diào)度處理器計(jì)算每個(gè)數(shù)據(jù)中心的資源負(fù)載值(xd1,…,xdi…,xdn)，按照該值由小到大的順序?yàn)閿?shù)據(jù)中心排隊(duì)；其中，xdi表示第i個(gè)數(shù)據(jù)中心的資源負(fù)載值，n表示所述云資源環(huán)境下的數(shù)據(jù)中心個(gè)數(shù)；
選擇數(shù)據(jù)中心隊(duì)列中的第一個(gè)數(shù)據(jù)中心，將虛擬機(jī)任務(wù)請(qǐng)求轉(zhuǎn)發(fā)到所述第一個(gè)數(shù)據(jù)中心；
所述第一個(gè)數(shù)據(jù)中心根據(jù)虛擬機(jī)任務(wù)請(qǐng)求，為用戶分配物理機(jī)；若分配物理機(jī)失敗，則將所述虛擬機(jī)任務(wù)請(qǐng)求轉(zhuǎn)發(fā)到所述數(shù)據(jù)中心隊(duì)列中的下一個(gè)數(shù)據(jù)中心，在下一個(gè)數(shù)據(jù)中心中為用戶分配物理機(jī)，直至分配物理機(jī)成功或者所有數(shù)據(jù)中心分配物理機(jī)失??；
更新分配到虛擬機(jī)任務(wù)的物理機(jī)的剩余資源。
所述調(diào)度處理器計(jì)算每個(gè)數(shù)據(jù)中心的資源負(fù)載值(xd1,…,xdi…,xdn)，具體包括：
vcpuj、vmemj、vstorj分別表示數(shù)據(jù)中心di中虛擬機(jī)j所需要的cpu大小、內(nèi)存大小、存儲(chǔ)大小，m表示數(shù)據(jù)中心di所包含的所有虛擬機(jī)的數(shù)量。
所述第一個(gè)數(shù)據(jù)中心根據(jù)虛擬機(jī)任務(wù)請(qǐng)求，為用戶分配物理機(jī)，其一實(shí)施例包括：
首先根據(jù)用戶請(qǐng)求的虛擬機(jī)類型將物理機(jī)按該類型的利用率升序排列，所述虛擬機(jī)類型包括cpu類型、內(nèi)存類型、存儲(chǔ)類型；
根據(jù)該類型的利用率將物理機(jī)劃分成多個(gè)區(qū)間，每個(gè)區(qū)間的大小可以動(dòng)態(tài)設(shè)置，然后找出利用率最低的物理機(jī)所在的區(qū)間的所有物理機(jī)，將虛擬機(jī)任務(wù)試分配在該區(qū)間的所有物理機(jī)上，分別計(jì)算該區(qū)間物理機(jī)分配虛擬機(jī)任務(wù)后每個(gè)物理機(jī)的cpu利用率，內(nèi)存利用率，存儲(chǔ)利用率三者的方差，得到每個(gè)物理機(jī)的負(fù)載均衡值；
選取負(fù)載均衡值最低的物理機(jī)開始分配虛擬機(jī)，只要分配該虛擬機(jī)任務(wù)后該物理機(jī)的容量沒有超過閾值，則成功分配，否則取下一個(gè)負(fù)載均衡值次小的物理機(jī)進(jìn)行分配，如果該區(qū)間所有物理機(jī)都不能分配，則取出下一個(gè)區(qū)間的物理機(jī)進(jìn)行分配，直到分配成功為止。
把物理機(jī)劃分成多個(gè)區(qū)間，每個(gè)區(qū)間的大小可以動(dòng)態(tài)設(shè)置，每次都從利用率最小的物理機(jī)所在區(qū)間進(jìn)行分配，這樣能保證先將任務(wù)分配給利用率小的物理機(jī)，保證整個(gè)數(shù)據(jù)中心比較均衡。同時(shí)每次只從一個(gè)區(qū)間中尋找物理機(jī)大大的減少了算法的運(yùn)行時(shí)間。
所述計(jì)算該區(qū)間物理機(jī)分配虛擬機(jī)任務(wù)后每個(gè)物理機(jī)的cpu利用率，內(nèi)存利用率，存儲(chǔ)利用率三者的方差，得到每個(gè)物理機(jī)的負(fù)載均衡值，具體包括：
cb＝(avg-cpu_u)2+(avg-mem_u)2+(avg-stor_u)2,
avg＝(cpu_u+mem_u+stor_u)/3
其中，cb表示物理機(jī)的負(fù)載均衡值，cpu_u、mem_u、stor_u分別表示物理機(jī)的cpu利用率、內(nèi)存利用率、存儲(chǔ)利用率，avg表示物理機(jī)的cpu利用率、內(nèi)存利用率、存儲(chǔ)利用率的平均值。
所述第一個(gè)數(shù)據(jù)中心根據(jù)虛擬機(jī)任務(wù)請(qǐng)求，為用戶分配物理機(jī)，其又一實(shí)施例包括：
計(jì)算一個(gè)時(shí)間窗口t內(nèi)所述第一個(gè)數(shù)據(jù)中心所接收到的所有虛擬機(jī)任務(wù)和該數(shù)據(jù)中心中所有物理機(jī)之間的資源負(fù)載矩陣；
根據(jù)所述資源負(fù)載矩陣為所述一個(gè)時(shí)間窗口t內(nèi)所述第一個(gè)數(shù)據(jù)中心所接收到的所有虛擬機(jī)任務(wù)分配物理機(jī)。
所述計(jì)算一個(gè)時(shí)間窗口t內(nèi)所述第一個(gè)數(shù)據(jù)中心所接收到的所有虛擬機(jī)任務(wù)和該數(shù)據(jù)中心中所有物理機(jī)之間的資源負(fù)載矩陣，具備包括：
計(jì)算一個(gè)時(shí)間窗口t內(nèi)所述第一個(gè)數(shù)據(jù)中心所接收到的所有虛擬機(jī)任務(wù)中的每個(gè)虛擬機(jī)任務(wù)相對(duì)該數(shù)據(jù)中心中所有物理機(jī)中每個(gè)物理機(jī)的資源負(fù)載vij，
其中，vij表示一個(gè)時(shí)間窗口t內(nèi)所述第一個(gè)數(shù)據(jù)中心所接收到的所有虛擬機(jī)任務(wù)中的第i個(gè)虛擬機(jī)任務(wù)相對(duì)該數(shù)據(jù)中心中對(duì)j個(gè)物理機(jī)的資源負(fù)載，
α、β、γ分別cpu資源負(fù)載權(quán)值、內(nèi)存資源負(fù)載權(quán)值、存儲(chǔ)資源負(fù)載權(quán)值，在一實(shí)施例中，α、β、γ分別取值0.5、0.3、0.2；
所述資源負(fù)載矩陣表示為：
所述矩陣表示在一個(gè)時(shí)間窗口t內(nèi)有m個(gè)可用的物理機(jī)，有n個(gè)需要被調(diào)度的虛擬機(jī)任務(wù)請(qǐng)求，vij代表第i個(gè)任務(wù)在第j個(gè)物理機(jī)上的負(fù)載值v。
所述根據(jù)所述資源負(fù)載矩陣為所述一個(gè)時(shí)間窗口t內(nèi)所述第一個(gè)數(shù)據(jù)中心所接收到的所有虛擬機(jī)任務(wù)分配物理機(jī)，具體包括：
找出每個(gè)虛擬機(jī)任務(wù)的最小v值vi，即針對(duì)矩陣的每一行，找出每一行的最小值；
vi＝min{vi1,vi2,…,vim}；
然后，找出這些最小值中的最大值vmax，
vmax＝max{v1,v2,…,vn}；
找出vmax所在的任務(wù)i，該任務(wù)就是第一個(gè)將要被分配的任務(wù)，它將被調(diào)度到該任務(wù)所在行的vij是
vmax的下j所代表的第j個(gè)物理機(jī)上；隨后刪除任務(wù)i在矩陣中的那一行，并更新矩陣中的其它任務(wù)在第j個(gè)節(jié)點(diǎn)上的l值，即都加上vmax(這是因?yàn)槠渌蝿?wù)如果要在第j個(gè)物理機(jī)上執(zhí)行需要等待任務(wù)i執(zhí)行，故它們的l值要加上vmax)；矩陣更新完畢后進(jìn)行下一個(gè)任務(wù)調(diào)度的計(jì)算，重復(fù)以上過程，并最終確定了所有任務(wù)的調(diào)度順序和調(diào)度去向。
本發(fā)明提出的一種云計(jì)算環(huán)境下基于虛擬機(jī)的數(shù)據(jù)處理方法，還進(jìn)一步包括：
對(duì)數(shù)據(jù)中心物理機(jī)當(dāng)前時(shí)刻t的下一時(shí)刻t+1的資源負(fù)載情況進(jìn)行預(yù)估；
根據(jù)物理機(jī)物理機(jī)當(dāng)前時(shí)刻t的資源負(fù)載和下一時(shí)刻t+1的資源負(fù)載，選擇需要遷出虛擬機(jī)的物理機(jī)以及所遷出虛擬機(jī)待遷入的物理機(jī)。
所述對(duì)數(shù)據(jù)中心物理機(jī)當(dāng)前時(shí)刻t的下一時(shí)刻t+1的資源負(fù)載情況進(jìn)行預(yù)估，具體包括：
w(t+1)＝μw(t)+δw(t-1)+ωw(t-2)，其中w(t+1)、w(t)、w(t-1)、w(t-2)分別表示時(shí)刻t+1、t、t-1、t-2時(shí)物理機(jī)的資源負(fù)載，μ、δ、ω為權(quán)值，在一實(shí)施例中分別取值0.5、0.3、0.2。
所述選擇需要遷出虛擬機(jī)的物理機(jī)，具體包括：
當(dāng)物理機(jī)發(fā)生過載情況時(shí)和低載情況時(shí)，根據(jù)當(dāng)前狀態(tài)將該物理機(jī)上的部分或全部虛擬機(jī)遷移到其它物理機(jī)上運(yùn)行。
當(dāng)物理機(jī)處于過載狀態(tài)時(shí)，將虛擬機(jī)按時(shí)刻t+1預(yù)估資源負(fù)載量進(jìn)行降序排列，選擇未來資源負(fù)載排名前列的虛擬機(jī)進(jìn)行遷出，同時(shí)，使得當(dāng)前物理機(jī)能夠滿足剩下的虛擬機(jī)的時(shí)刻t+1時(shí)的資源需求；
當(dāng)物理機(jī)處于低載狀態(tài)時(shí)，將所有虛擬機(jī)都遷移出當(dāng)前物理機(jī)。
所述物理機(jī)過載情況包括cpu利用率大于80％，所述物理機(jī)低載情況包括cpu利用率小于20％
所述選擇所遷出虛擬機(jī)待遷入的物理機(jī)，具體包括：
根據(jù)需要遷入的虛擬機(jī)的資源需求與數(shù)據(jù)中心中所有物理機(jī)的資源信息，從中選取用于安置遷移虛擬機(jī)的物理機(jī)。
選擇策略是對(duì)所有滿足虛擬機(jī)資源分配要求的物理機(jī)預(yù)估其時(shí)刻t+1工作負(fù)載，根據(jù)預(yù)估情況劃分資源需求縮減隊(duì)列和資源需求擴(kuò)大隊(duì)列，通過進(jìn)一步篩選確定目的物理機(jī)，具體步驟包括：
(a)計(jì)算各物理機(jī)上的資源需求伸縮量，其值為當(dāng)前物理機(jī)上所有虛擬機(jī)時(shí)刻t+1的工作負(fù)載預(yù)估總量減去當(dāng)前時(shí)刻工作負(fù)載總量，它反應(yīng)了虛擬機(jī)資源需求的變化趨勢；
(b)通過物理機(jī)資源總量減去當(dāng)前時(shí)刻資源負(fù)載總量來計(jì)算未分配資源量，篩選出未分配資源量與資源需求伸縮量之間的差值即預(yù)計(jì)剩余資源量大于零的物理機(jī)列表，形成候選物理機(jī)列表；
(c)如果資源需求伸縮量為負(fù)值，則加入資源需求縮小隊(duì)列，并計(jì)算剩余資源量與資源伸縮量的差值以降序排列。若為正值，則加入資源需求擴(kuò)大隊(duì)列，計(jì)算資源需求伸縮量與剩余資源量的比值作為安全調(diào)度因子，并依據(jù)該因子數(shù)值將隊(duì)列按升序排列，如果一方隊(duì)列為空，則直接選擇另一方排位第一的物理機(jī)機(jī)做為待遷入的物理機(jī)，若都不為空，則進(jìn)一步比較兩個(gè)隊(duì)列的首位物理機(jī)，選擇其中一個(gè)作為待遷入的物理機(jī)。
基于資源負(fù)載預(yù)估的主動(dòng)控制是一種前饋控制，通過預(yù)估系統(tǒng)的未來工作負(fù)載情況來預(yù)先分析物理機(jī)發(fā)生過載或低載的可能性，并根據(jù)算法進(jìn)行虛擬機(jī)整合，保證系統(tǒng)處于最優(yōu)狀態(tài)?；趯?shí)際系統(tǒng)狀態(tài)信息的被動(dòng)控制是一種反饋控制，通過監(jiān)測單元等系統(tǒng)組件收集各虛擬機(jī)運(yùn)行過程中使用資源的實(shí)時(shí)信息以及數(shù)據(jù)中心、物理機(jī)的狀態(tài)信息作為反饋，重新調(diào)整虛擬機(jī)在物理機(jī)上的部署。
通過預(yù)估技術(shù)提前獲知資源負(fù)載的波動(dòng)情況，可以讓調(diào)度器部分更加從容地實(shí)施虛擬機(jī)遷移策略，起到有針對(duì)性地提前預(yù)防作用；又可以通過反饋技術(shù)獲知調(diào)度策略的實(shí)際執(zhí)行情況，對(duì)處于過載或低載狀態(tài)的物理主機(jī)實(shí)施虛擬機(jī)遷移操作，起到實(shí)時(shí)地糾正控制作用。
所述對(duì)數(shù)據(jù)中心物理機(jī)當(dāng)前時(shí)刻t的下一時(shí)刻t+1的資源負(fù)載情況進(jìn)行預(yù)估，進(jìn)一步包括：
統(tǒng)計(jì)當(dāng)前物理機(jī)上用戶信息；
使用啟發(fā)式方法或k-鄰近算法對(duì)用戶在下一時(shí)刻t+1的所需資源u(t+1)進(jìn)行預(yù)估,取u(t+1)和w(t+1)中值較大的作為下一時(shí)刻t+1當(dāng)前物理機(jī)的資源負(fù)載值。
本發(fā)明提出了云計(jì)算環(huán)境下基于虛擬機(jī)的數(shù)據(jù)處理方法，提高了資源利用效率、減少任務(wù)處理時(shí)間。
本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的發(fā)明后，將容易想到本發(fā)明的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本發(fā)明的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本發(fā)明的一般性原理并包括本發(fā)明未公開的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。
應(yīng)當(dāng)理解的是，本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本發(fā)明的范圍僅由所附的權(quán)利要求來限制。