專利名稱：一種云環(huán)境下存儲參數(shù)的配置方法
技術領域：
本發(fā)明涉及一種云環(huán)境下存儲參數(shù)的配置方法，屬于計算機數(shù)據(jù)處理技術領域。
背景技術：
通常系統(tǒng)中有大量參數(shù)控制內(nèi)存分布，I/O優(yōu)化，查詢效率，并行等行為，包括普通用戶和系統(tǒng)調優(yōu)專家在內(nèi)的系統(tǒng)使用者需要花費大量精力和時間將參數(shù)配置調到較優(yōu)。同時，長久以來提升系統(tǒng)管理能力的研究很大程度忽略了系統(tǒng)性能優(yōu)化方面的問題，而這其實是個很難解決的問題。針對數(shù)據(jù)庫系統(tǒng)的調優(yōu)配置問題，S. Duan, V. Thummala,和S. Babu于2009年秋天發(fā)表論文 “Tuning Database Configuration Parameters with iTuned”,介紹了首個使用 預定義實驗進行數(shù)據(jù)庫參數(shù)調優(yōu)的實用工具iTuned。其通過設計好的實驗積極引入合適的數(shù)據(jù)以找到高影響力、高性能的配置參數(shù)，在產(chǎn)品型數(shù)據(jù)庫上支持在線實驗，幾乎不會給數(shù)據(jù)庫增加額外負載，并且在不同數(shù)據(jù)庫系統(tǒng)之間具有很好的移植性。其使用已執(zhí)行實驗的數(shù)據(jù)預測候選試驗的可用性，不對潛在響應曲面形狀做出假設，因而可以處理從簡單到復雜的各種表面。通過引入一系列的特性以減少調優(yōu)時間，使其更易擴展到更多參數(shù)的配置中去。其中包括可快速消除對性能影響較小參數(shù)配置的敏感度分析算法，并行計劃與并行實驗執(zhí)行，低可用性實驗的提前終止，工作負載的壓縮等等。其次還可針對不同負載類型，數(shù)據(jù)規(guī)模，數(shù)據(jù)庫種類，參數(shù)數(shù)量進行評估。但iTuned只支持傳統(tǒng)關系型數(shù)據(jù)庫上的配置調優(yōu)，無法對云環(huán)境中的存儲提供參數(shù)配置，而且缺乏一個方便普通用戶使用的存儲服務部署及集群性能監(jiān)控手段。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種云環(huán)境下存儲參數(shù)的配置方法，針對卡珊德拉(以下稱為Cassandra)云存儲系統(tǒng)，設計一種新的配置方法，以方便普通用戶使用存儲服務部署，對系統(tǒng)內(nèi)計算機的性能實現(xiàn)可靠、高效的監(jiān)控。本發(fā)明提出的種云環(huán)境下存儲參數(shù)的配置方法，包括以下步驟(I)用戶從系統(tǒng)界面輸入需優(yōu)化配置的工作負載參數(shù)，包括工作負載類型、事務處理速度和數(shù)據(jù)量大??；(2)用戶從卡珊德拉云存儲系統(tǒng)參數(shù)列表中，指定本次優(yōu)化配置所需的啟動參數(shù)和運行參數(shù)；(3)啟動云環(huán)境存儲的所有計算機，使計算機根據(jù)用戶輸入的需優(yōu)化配置的工作負載參數(shù)，分別在用戶指定的本次優(yōu)化配置所需的啟動參數(shù)和運行參數(shù)下運行；(4)根據(jù)用戶指定的云存儲性能指標，分別從每臺計算機上獲取與上述啟動參數(shù)和運行參數(shù)相應的計算機存云儲性能指標，將啟動參數(shù)、運行參數(shù)和相應的計算機云存儲性能指標組成一條原始運行數(shù)據(jù)；(5)對上述每條原始運行數(shù)據(jù)進行格式化處理，得到一個訓練數(shù)據(jù)集；
(6)根據(jù)上述訓練數(shù)據(jù)集，生成一個假設空間，將卡珊德拉云存儲系統(tǒng)參數(shù)列表中的啟動參數(shù)和運行參數(shù)依次輸入假設空間，得到與卡珊德拉云存儲系統(tǒng)啟動參數(shù)和運行參數(shù)相對應的計算機存儲性能指標；(7)從上述步驟(6)的多個計算機存儲性能指標中選擇最優(yōu)量，將與該最優(yōu)量相對應的卡珊德拉云存儲系統(tǒng)的啟動參數(shù)和運行參數(shù)值返回給用戶，用于云環(huán)境下存儲參數(shù)的配置。本發(fā)明提出的云環(huán)境下存儲參數(shù)的配置方法，其優(yōu)點是I、本發(fā)明提出的云環(huán)境下存儲參數(shù)的配置方法，操作人員可以根據(jù)指定的負載參數(shù)以及關注的計算機云存儲性能指標，獲得一組或者幾組較優(yōu)云存儲配置參數(shù)，并且，隨著用戶提供的訓練時間的提升，即可獲得更優(yōu)的配置參數(shù)組合。2、本發(fā)明的配置方法，具有一個可視化操作管理平臺，用戶可以在不了解Linux 命令和云存儲執(zhí)行命令的基礎上，完成云存儲系統(tǒng)的管理配置。3、本發(fā)明提出的云環(huán)境下存儲參數(shù)的配置方法，即時可視化監(jiān)控啟動云環(huán)境存儲的所有計算機當前性能指標，對啟動云環(huán)境存儲的所有計算機整體性能以及各計算機的性能指標給予圖表等可視化界面即時展示，直觀便捷。


圖I是本發(fā)明提出的云環(huán)境下存儲參數(shù)的配置方法的流程框圖。
具體實施例方式本分明提出的云環(huán)境下存儲參數(shù)的配置方法，其流程框圖如圖I所示，包括以下步驟(I)用戶從系統(tǒng)界面輸入需優(yōu)化配置的工作負載參數(shù)，包括工作負載類型、事務處理速度和數(shù)據(jù)量大??；其中工作負載類型表示工作負載是只讀負載，只寫負載，或者讀寫負載所占比例的大小，事務處理速度即Transaction Per Second,簡稱TPS,代表每秒操作云存儲系統(tǒng)的事務個數(shù)。(2)用戶從卡珊德拉云存儲系統(tǒng)的參數(shù)列表中，指定本次優(yōu)化配置所需的啟動參數(shù)和運行參數(shù)；卡珊德拉云存儲系統(tǒng)的參數(shù)列表格式如下表I卡珊德拉云存儲系統(tǒng)的啟動參數(shù)列表
參數(shù)名默認值變化范圍
最大消息長度16(0,64]
結構化傳輸包大小15(0,64]
列索引大小64(0,256]
遠程過程調用時間限制10000(0，100000]
權利要求
1.一種云環(huán)境下存儲參數(shù)的配置方法，其特征在于該方法包括以下步驟 (1)用戶從系統(tǒng)界面輸入需優(yōu)化配置的工作負載參數(shù)，包括工作負載類型、事務處理速度和數(shù)據(jù)量大??； (2)用戶從卡珊德拉云存儲系統(tǒng)參數(shù)列表中，指定本次優(yōu)化配置所需的啟動參數(shù)和運行參數(shù)； (3)啟動云環(huán)境存儲的所有計算機，使計算機根據(jù)用戶輸入的需優(yōu)化配置的工作負載參數(shù)，分別在用戶指定的本次優(yōu)化配置所需的啟動參數(shù)和運行參數(shù)下運行； (4)根據(jù)用戶指定的云存儲性能指標，分別從每臺計算機上獲取與上述啟動參數(shù)和運行參數(shù)相應的計算機云存儲性能指標，將啟動參數(shù)、運行參數(shù)和相應的計算機云存儲性能指標組成一條原始運行數(shù)據(jù)； (5)對上述每條原始運行數(shù)據(jù)進行格式化處理，得到一個訓練數(shù)據(jù)集； (6)根據(jù)上述訓練數(shù)據(jù)集，生成一個假設空間，將卡珊德拉云存儲系統(tǒng)參數(shù)列表中的啟動參數(shù)和運行參數(shù)依次輸入假設空間，得到與卡珊德拉云存儲系統(tǒng)啟動參數(shù)和運行參數(shù)相對應的多個計算機存儲性能指標； (7)從上述步驟(6)的多個計算機存儲性能指標中選擇最優(yōu)量，將與該最優(yōu)量相對應的卡珊德拉云存儲系統(tǒng)的啟動參數(shù)和運行參數(shù)值返回給用戶，用于云環(huán)境下存儲參數(shù)的配置。
全文摘要
本發(fā)明涉及一種云環(huán)境下存儲參數(shù)的配置方法，屬于計算機數(shù)據(jù)處理技術領域。首先用戶從系統(tǒng)界面輸入需優(yōu)化配置的工作負載參數(shù)，從卡珊德拉云存儲系統(tǒng)參數(shù)列表中，指定本次優(yōu)化配置所需的啟動參數(shù)和運行參數(shù)；啟動云環(huán)境存儲的所有計算機，在指定啟動參數(shù)和運行參數(shù)下運行；從每臺計算機上獲取計算機存云儲性能指標，將啟動參數(shù)、運行參數(shù)和相應的計算機云存儲性能指標組成一條原始運行數(shù)據(jù)，經(jīng)格式化處理后得到訓練數(shù)據(jù)集，將啟動參數(shù)和運行參數(shù)輸入生成的假設空間，得到計算機存儲性能指標，選擇相應的最優(yōu)啟動參數(shù)和運行參數(shù)值返回給用戶。使用本方法，操作人員可根據(jù)負載參數(shù)及計算機云存儲性能指標，獲得一組或者幾組較優(yōu)云存儲配置參數(shù)。
文檔編號H04L29/08GK102724298SQ20121016676
公開日2012年10月10日 申請日期2012年5月25日 優(yōu)先權日2012年5月25日
發(fā)明者丁貴廣, 劉丹, 朱妤晴, 王建民 申請人:清華大學