一種網(wǎng)絡(luò)感知的虛擬機(jī)鏡像存儲(chǔ)系統(tǒng)及讀寫請(qǐng)求處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于云計(jì)算與虛擬化技術(shù)領(lǐng)域，更具體地，設(shè)及一種網(wǎng)絡(luò)感知的虛擬機(jī)鏡 像存儲(chǔ)系統(tǒng)及方法。
【背景技術(shù)】
[0002] 在云平臺(tái)中用戶可W通過(guò)租賃虛擬機(jī)的方式來(lái)使用計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源，虛 擬機(jī)鏡像作為存放虛擬機(jī)數(shù)據(jù)的容器，直接影響虛擬機(jī)的讀寫性能，因此在云平臺(tái)中，高效 的虛擬機(jī)鏡像存儲(chǔ)尤為關(guān)鍵。
[0003] 傳統(tǒng)的虛擬機(jī)鏡像存儲(chǔ)分為=類：后端集中式存儲(chǔ)，后端集中式存儲(chǔ)+計(jì)算節(jié)點(diǎn) 單機(jī)緩存，后端集中式存儲(chǔ)+計(jì)算節(jié)點(diǎn)間協(xié)作式緩存；后端集中式存儲(chǔ)，通常采用專用的共 享存儲(chǔ)服務(wù)器作為虛擬機(jī)鏡像倉(cāng)庫(kù)，不同計(jì)算節(jié)點(diǎn)上的虛擬機(jī)可直接遠(yuǎn)程訪問(wèn)到所需的鏡 像，或采用將存儲(chǔ)服務(wù)器中的鏡像文件分發(fā)到計(jì)算節(jié)點(diǎn)本地后再使用的方式；該種方式管 理簡(jiǎn)便，但隨著數(shù)據(jù)中屯、或云平臺(tái)的規(guī)模擴(kuò)大，后端集中式存儲(chǔ)很容易成為I/O瓶頸。
[0004] 后端集中式存儲(chǔ)+計(jì)算節(jié)點(diǎn)單機(jī)緩存的方式，為了減少訪問(wèn)后端集中式存儲(chǔ)的次 數(shù)，采用在計(jì)算節(jié)點(diǎn)本地磁盤中添加緩存的方式，緩存后端存儲(chǔ)中的熱點(diǎn)數(shù)據(jù)；該種方式比 起后端集中式存儲(chǔ)效率大大提高，但由于單節(jié)點(diǎn)上的磁盤空間很有限，隨著虛擬機(jī)種類的 增加，大小受限的本地緩存通常不能發(fā)揮出很好的性能。
[0005] 后端集中式存儲(chǔ)+計(jì)算節(jié)點(diǎn)間協(xié)作式緩存的方式允許某一計(jì)算節(jié)點(diǎn)上的虛擬機(jī) 訪問(wèn)其他計(jì)算節(jié)點(diǎn)磁盤緩存中的數(shù)據(jù)，所有計(jì)算節(jié)點(diǎn)的緩存組成了一個(gè)大的分布式存儲(chǔ) 池，使得虛擬機(jī)讀寫的緩存命中率大大提升；但由于虛擬機(jī)訪問(wèn)其他計(jì)算節(jié)點(diǎn)中的緩存時(shí) 依賴于節(jié)點(diǎn)間的網(wǎng)絡(luò)，而虛擬機(jī)間通信或?qū)ν夥?wù)也依賴于該套網(wǎng)絡(luò)，因此訪問(wèn)虛擬機(jī)鏡 像所產(chǎn)生的網(wǎng)絡(luò)流量和虛擬機(jī)通信所產(chǎn)生的網(wǎng)絡(luò)流量處于競(jìng)爭(zhēng)關(guān)系，彼此相互影響；如果 存放熱點(diǎn)鏡像數(shù)據(jù)的計(jì)算節(jié)點(diǎn)恰好是虛擬機(jī)間通信密集的節(jié)點(diǎn)，那么該節(jié)點(diǎn)將會(huì)成為瓶 頸，使得虛擬機(jī)鏡像存儲(chǔ)系統(tǒng)的性能大大降低，甚至退化到跟沒(méi)有緩存時(shí)的情況一樣。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)的W上缺陷或改進(jìn)需求，本發(fā)明提供了一種網(wǎng)絡(luò)感知的虛擬機(jī)鏡像 存儲(chǔ)系統(tǒng)，其目的在于通過(guò)監(jiān)控?cái)?shù)據(jù)中屯、里的網(wǎng)絡(luò)流量，使遠(yuǎn)程的鏡像訪問(wèn)請(qǐng)求避開網(wǎng)絡(luò) 擁塞的計(jì)算節(jié)點(diǎn)和鏈路，即網(wǎng)絡(luò)負(fù)載高的節(jié)點(diǎn)處理較少的鏡像訪問(wèn)請(qǐng)求，而網(wǎng)絡(luò)負(fù)載較低 的節(jié)點(diǎn)處理較多的鏡像訪問(wèn)請(qǐng)求，從而均衡數(shù)據(jù)中屯、的網(wǎng)絡(luò)負(fù)載，由此解決現(xiàn)有虛擬機(jī)鏡 像存儲(chǔ)方法中存在的鏡像訪問(wèn)與虛擬機(jī)間通信的干擾問(wèn)題，進(jìn)而提高虛擬機(jī)讀寫效率。
[0007] 為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種網(wǎng)絡(luò)感知的虛擬機(jī)鏡像存 儲(chǔ)系統(tǒng)，該存儲(chǔ)系統(tǒng)基于私有緩存和公有緩存兩級(jí)緩存構(gòu)架，私有緩存為第一級(jí)緩存，公有 緩存為第二級(jí)緩存；系統(tǒng)包括私有緩存管理模塊、公有緩存管理模塊、網(wǎng)絡(luò)監(jiān)控模塊、決策 模塊和動(dòng)態(tài)尋址模塊；私有緩存管理模塊、公有緩存管理模塊、網(wǎng)絡(luò)監(jiān)控模塊和動(dòng)態(tài)尋址模 塊位于計(jì)算節(jié)點(diǎn)；決策模塊位于管理節(jié)點(diǎn)；
[000引其中，私有緩存管理模塊用于管理計(jì)算節(jié)點(diǎn)中的私有緩存；根據(jù)虛擬機(jī)發(fā)出的讀 寫請(qǐng)求對(duì)私有緩存進(jìn)行讀寫，完成私有緩存中的數(shù)據(jù)替換；并在私有緩存未命中的情況下 將虛擬機(jī)發(fā)出的讀寫請(qǐng)求傳遞給動(dòng)態(tài)尋址模塊；
[0009] 公有緩存模塊用于管理計(jì)算節(jié)點(diǎn)中的公有緩存，根據(jù)動(dòng)態(tài)尋址模塊轉(zhuǎn)發(fā)的虛擬機(jī) 發(fā)出的讀寫請(qǐng)求，對(duì)公有緩存進(jìn)行讀寫，完成公有緩存中的數(shù)據(jù)塊替換；
[0010] 網(wǎng)絡(luò)監(jiān)控模塊用于監(jiān)控各個(gè)計(jì)算節(jié)點(diǎn)上的網(wǎng)絡(luò)負(fù)載，并將網(wǎng)絡(luò)負(fù)載信息發(fā)送給決 策模塊；
[0011] 決策模塊用于根據(jù)收集到的網(wǎng)絡(luò)負(fù)載信息制定每個(gè)計(jì)算節(jié)點(diǎn)的請(qǐng)求轉(zhuǎn)發(fā)規(guī)則；
[0012] 動(dòng)態(tài)尋址模塊用于接收訪問(wèn)私有緩存未命中的讀寫請(qǐng)求，W及從其他動(dòng)態(tài)尋址模 塊轉(zhuǎn)發(fā)過(guò)來(lái)的讀寫請(qǐng)求，并根據(jù)決策模塊傳來(lái)的請(qǐng)求轉(zhuǎn)發(fā)規(guī)則將讀寫請(qǐng)求轉(zhuǎn)發(fā)到相應(yīng)的目 的節(jié)點(diǎn)中的其他動(dòng)態(tài)尋址模塊；
[0013] 其中，存儲(chǔ)系統(tǒng)所基于的私有緩存位于計(jì)算節(jié)點(diǎn)本地磁盤，鏡像數(shù)據(jù)在私有緩存 中W文件的方式進(jìn)行存儲(chǔ)；私有緩存中的數(shù)據(jù)僅能被一臺(tái)虛擬機(jī)所訪問(wèn)，其內(nèi)容為每臺(tái)虛 擬機(jī)所獨(dú)享；
[0014]當(dāng)且僅當(dāng)私有緩存使用空間超過(guò)配額時(shí)，執(zhí)行私有緩存替換策略，將一部分?jǐn)?shù)據(jù) 導(dǎo)入到后端存儲(chǔ)中；任何的緩存替換策略均適用于私有緩存；配額可根據(jù)磁盤使用狀況配 置；
[0015] 存儲(chǔ)系統(tǒng)所基于的公有緩存位于計(jì)算節(jié)點(diǎn)本地磁盤，鏡像數(shù)據(jù)在公有緩存中W鏡 像塊的方式進(jìn)行存儲(chǔ)；每個(gè)公有緩存可被任意一臺(tái)虛擬機(jī)所訪問(wèn)，其內(nèi)容為所有虛擬機(jī)所 共享；通過(guò)公有緩存可W實(shí)現(xiàn)鏡像在各個(gè)計(jì)算節(jié)點(diǎn)間的存儲(chǔ)和訪問(wèn)；
[0016] 公有緩存處理的請(qǐng)求全部為讀請(qǐng)求，虛擬機(jī)寫入的新數(shù)據(jù)不會(huì)存放于公有緩存； 公有緩存的大小可根據(jù)磁盤使用情況設(shè)定，任何的緩存替換策略均適用于公有緩存。
[0017] 按照本發(fā)明的另一方面，提供了一種基于網(wǎng)絡(luò)感知的虛擬機(jī)鏡像存儲(chǔ)系統(tǒng)的讀寫 請(qǐng)求處理方法，具體如下：
[001引 （1)虛擬機(jī)向存儲(chǔ)系統(tǒng)發(fā)出讀寫請(qǐng)求；
[0019] (2)判斷請(qǐng)求類型，若為讀請(qǐng)求則執(zhí)行步驟（3)，否則執(zhí)行步驟（4);
[0020] (3)按照動(dòng)態(tài)的虛擬機(jī)鏡像尋址方式查詢并讀取相應(yīng)數(shù)據(jù)，并將數(shù)據(jù)返回至虛擬 機(jī)；
[002U (4)在寫入前，判斷寫請(qǐng)求是否命中私有緩存；若是，則將相應(yīng)數(shù)據(jù)寫入私有緩 存，并返回成功狀態(tài)；若否，則執(zhí)行寫時(shí)復(fù)制（Copy-0n-Write，COW)操作，按照步驟（3)讀取 請(qǐng)求的上下文數(shù)據(jù)。
[0022] 優(yōu)選地，步驟（3)所述的動(dòng)態(tài)的虛擬機(jī)鏡像尋址方法具體如下：
[0023] (3. 1)根據(jù)讀寫請(qǐng)求中包含的待訪問(wèn)鏡像編號(hào)與偏移量地址信息，查找當(dāng)前節(jié)點(diǎn) 上的私有緩存；
[0024] (3.。判斷讀寫請(qǐng)求是否命中私有緩存，若是，則返回所查詢到的數(shù)據(jù)；若否，則 進(jìn)入步驟化3);
[0025] (3.3)將鏡像編號(hào)和偏移量信息轉(zhuǎn)換為一個(gè)字符串，將該字符串定義為請(qǐng)求編 號(hào)；
[0026] (3. 4)將請(qǐng)求編號(hào)作為哈希鍵，采用一致性哈希算法獲取該請(qǐng)求對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)， 根據(jù)讀寫請(qǐng)求轉(zhuǎn)發(fā)規(guī)則將請(qǐng)求編號(hào)轉(zhuǎn)發(fā)到目的節(jié)點(diǎn)；由于請(qǐng)求轉(zhuǎn)發(fā)規(guī)則會(huì)隨當(dāng)前網(wǎng)絡(luò)負(fù)載 狀況變化而變化，因此該步驟為實(shí)現(xiàn)網(wǎng)絡(luò)感知的讀寫請(qǐng)求處理的關(guān)鍵步驟；其中，一致性哈 希算法是用于解決在動(dòng)態(tài)網(wǎng)絡(luò)拓?fù)渲写鎯?chǔ)和查詢數(shù)據(jù)的一種哈希算法，其良好的擴(kuò)展性常 用于解決負(fù)載均衡問(wèn)題；
[0027] (3. 5)根據(jù)接收到的讀寫請(qǐng)求與目標(biāo)節(jié)點(diǎn)中的請(qǐng)求編號(hào)轉(zhuǎn)換表，將讀寫請(qǐng)求對(duì)應(yīng) 的請(qǐng)求編號(hào)轉(zhuǎn)換為目標(biāo)鏡像塊編號(hào)；
[002引其中，目標(biāo)鏡像塊編號(hào)是鏡像塊內(nèi)容經(jīng)過(guò)MD5哈希運(yùn)算后產(chǎn)生的值，相同內(nèi)容的 鏡像塊具有相同的目標(biāo)鏡像塊編號(hào)；請(qǐng)求編號(hào)和目標(biāo)鏡像塊編號(hào)是當(dāng)鏡像模板注冊(cè)到系統(tǒng) 后進(jìn)行計(jì)算，并填充到請(qǐng)求編號(hào)轉(zhuǎn)換表中，尋址過(guò)程中無(wú)需進(jìn)行額外計(jì)算；模板鏡像從系統(tǒng) 中刪除后需清除各個(gè)計(jì)算節(jié)點(diǎn)中請(qǐng)求編號(hào)轉(zhuǎn)換表中相關(guān)內(nèi)容；為了提高查詢效率，可將請(qǐng) 求編號(hào)轉(zhuǎn)換表W鍵值對(duì)的方式放入內(nèi)存中；其中MD5哈希為一種消息摘要算法，常用于對(duì) 數(shù)據(jù)進(jìn)行校驗(yàn)，確保數(shù)據(jù)的完整性；鏡像塊MD5值相同則表明鏡像塊的內(nèi)容相同；
[0029] (3.6)根據(jù)目標(biāo)鏡像塊編號(hào)查詢?cè)摼幪?hào)是否命中共有緩存；若是，返回所查詢的 數(shù)據(jù)；若否，則查詢模板鏡像中對(duì)應(yīng)的鏡像塊，獲取所請(qǐng)求的數(shù)據(jù)。