專利名稱：面向智能電網(wǎng)的數(shù)據(jù)密集型云存儲(chǔ)模型的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于電力系統(tǒng)信息通信技術(shù)領(lǐng)域，涉及一種面向智能電網(wǎng)海量數(shù)據(jù)環(huán)境下的存儲(chǔ)方法，該方法可以解決“大數(shù)據(jù)”存儲(chǔ)問(wèn)題，實(shí)現(xiàn)多個(gè)數(shù)據(jù)中心的負(fù)載均衡。
背景技術(shù)：
目前，云存儲(chǔ)發(fā)展呈現(xiàn)分布式數(shù)據(jù)密集型趨勢(shì)，廣泛應(yīng)用于天文學(xué)、物理學(xué)和生物信息學(xué)領(lǐng)域，這類應(yīng)用的部署和執(zhí)行所涉及的TB，甚至PB級(jí)的數(shù)據(jù)往往存儲(chǔ)于分布式的數(shù)據(jù)中心，需要多數(shù)據(jù)中心的有機(jī)協(xié)同，因此，跨數(shù)據(jù)中心的數(shù)據(jù)有效分布具有極其重要的作用一方面，云環(huán)境下的應(yīng)用所需的數(shù)據(jù)集通常位于多個(gè)數(shù)據(jù)中心，數(shù)據(jù)中心間的數(shù)據(jù)傳輸無(wú)可避免，需要考慮網(wǎng)絡(luò)帶寬資源和傳輸?shù)臅r(shí)間開(kāi)銷；另一方面，分布式環(huán)境下的數(shù)據(jù)依賴性能夠有效地提高數(shù)據(jù)管理和使用的效率，需要設(shè)計(jì)合理的數(shù)據(jù)分布策略來(lái)保持?jǐn)?shù)據(jù)間的依賴關(guān)系。此外，數(shù)據(jù)中心內(nèi)的數(shù)據(jù)分布方案對(duì)于提升存儲(chǔ)系統(tǒng)的可靠性和可用性也具有重要的作用，針對(duì)當(dāng)前廣泛應(yīng)用的SAN存儲(chǔ)網(wǎng)絡(luò)，系統(tǒng)的可擴(kuò)展性是提升整體性能的首要因素，因此有必要對(duì)不同的數(shù)據(jù)分布模式進(jìn)行量化分析，兼顧數(shù)據(jù)的均勻分布和全局的負(fù)載均衡。隨著電網(wǎng)建設(shè)規(guī)模的不斷擴(kuò)大，數(shù)字化電網(wǎng)、數(shù)字化變電站等研究應(yīng)用的不斷深入，系統(tǒng)面對(duì)的采集點(diǎn)越來(lái)越多。一個(gè)中等規(guī)模地區(qū)的采集量可以達(dá)到2萬(wàn)至10萬(wàn)，而一個(gè)大型地調(diào)未來(lái)可能面臨50-100萬(wàn)的數(shù)據(jù)采集規(guī)模，一年的數(shù)據(jù)存儲(chǔ)規(guī)模將從目前的GB 級(jí)轉(zhuǎn)向TB級(jí)；此外，隨著調(diào)度自動(dòng)化水平的不斷提高，提出了實(shí)時(shí)運(yùn)行數(shù)據(jù)不采用周期性采樣存儲(chǔ)而是按照實(shí)際時(shí)間序列連續(xù)存儲(chǔ)的更高的要求，以滿足更多的應(yīng)用需求，這也將導(dǎo)致數(shù)據(jù)存儲(chǔ)規(guī)模數(shù)十倍的增長(zhǎng)，同時(shí)，歷史數(shù)據(jù)的存儲(chǔ)組織策略以及查詢檢索策略也將變得相當(dāng)復(fù)雜。如此海量規(guī)模的電力信息能否實(shí)現(xiàn)有效存儲(chǔ)并進(jìn)行高效處理將是一個(gè)很大的問(wèn)題。常見(jiàn)的數(shù)據(jù)密集型管理策略主要針對(duì)分布式環(huán)境下的大規(guī)模數(shù)據(jù)建模和基礎(chǔ)設(shè)施服務(wù)展開(kāi)研究，例如面向角色的數(shù)據(jù)建模方法，可用于網(wǎng)格環(huán)境下的數(shù)據(jù)建模，并使用數(shù)據(jù)網(wǎng)格來(lái)對(duì)數(shù)據(jù)進(jìn)行管理；基于P2P模式的分布式數(shù)據(jù)建模方法，采用流程定義語(yǔ)言表示其數(shù)據(jù)流，實(shí)現(xiàn)分布存儲(chǔ)資源中海量數(shù)據(jù)集的訪問(wèn)、移動(dòng)和修改。然而，現(xiàn)有的系統(tǒng)的數(shù)據(jù)管理策略沒(méi)有關(guān)注數(shù)據(jù)的存放分布和數(shù)據(jù)間依賴性的分析，因此無(wú)法減少數(shù)據(jù)遷移所帶來(lái)的時(shí)間開(kāi)銷和提升整體執(zhí)行效率。

發(fā)明內(nèi)容
本發(fā)明結(jié)合智能電網(wǎng)的數(shù)據(jù)特性，通過(guò)分析云計(jì)算環(huán)境下存儲(chǔ)應(yīng)用系統(tǒng)的特點(diǎn)， 在全面分析數(shù)據(jù)傳輸次數(shù)、數(shù)據(jù)集大小以及數(shù)據(jù)中心間網(wǎng)絡(luò)帶寬等因素的基礎(chǔ)上，通過(guò)聚類分析、依賴性分析和哈希算法對(duì)多數(shù)據(jù)中心的數(shù)據(jù)集分布進(jìn)行統(tǒng)籌規(guī)劃，并引入系統(tǒng)執(zhí)行效能的代價(jià)函數(shù)對(duì)數(shù)據(jù)分布方案進(jìn)行評(píng)價(jià)和調(diào)整，從而在降低系統(tǒng)開(kāi)銷的同時(shí)最大限度地兼顧數(shù)據(jù)集間的依賴關(guān)系。為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提出的云存儲(chǔ)模型包括多數(shù)據(jù)中心的數(shù)據(jù)分布和數(shù)據(jù)中心內(nèi)的數(shù)據(jù)存儲(chǔ)兩個(gè)方面。針對(duì)多數(shù)據(jù)中心的數(shù)據(jù)分布問(wèn)題，將智能電網(wǎng)信息平臺(tái)表示為扁平化的多個(gè)分布式數(shù)據(jù)中心，在此基礎(chǔ)上對(duì)數(shù)據(jù)和工作流分別建模，在引入數(shù)據(jù)集聚類分析的同時(shí)設(shè)計(jì)了兩階段的數(shù)據(jù)分布方法第一階段基于K均值分析對(duì)數(shù)據(jù)進(jìn)行迭代計(jì)算，生成初始分類；第二階段詳細(xì)分析數(shù)據(jù)中心間的隸屬關(guān)系引入數(shù)據(jù)傳輸?shù)臅r(shí)間開(kāi)銷評(píng)估，形成數(shù)據(jù)集的最優(yōu)分布。針對(duì)數(shù)據(jù)中心內(nèi)的數(shù)據(jù)存儲(chǔ)問(wèn)題，遵循存儲(chǔ)同構(gòu)原則進(jìn)行存儲(chǔ)設(shè)備的邏輯劃分，圍繞數(shù)據(jù)存儲(chǔ)的有效性和擴(kuò)展性進(jìn)行分析，實(shí)現(xiàn)系統(tǒng)中不同磁盤間數(shù)據(jù)的動(dòng)態(tài)分布。本發(fā)明的有益效果在于，該數(shù)據(jù)存儲(chǔ)模型完全通過(guò)自主設(shè)計(jì)來(lái)實(shí)現(xiàn)數(shù)據(jù)分布和通信算法，克服了傳統(tǒng)存儲(chǔ)模型在靈活性和實(shí)用性上的弊端，使得該存儲(chǔ)方法能夠有效降低多數(shù)據(jù)中心間的數(shù)據(jù)流動(dòng)開(kāi)銷，以及充分利用數(shù)據(jù)中心內(nèi)的存儲(chǔ)資源，將有非常廣闊的應(yīng)用前景。


圖1是數(shù)據(jù)分布的實(shí)現(xiàn)框圖。圖2是數(shù)據(jù)存儲(chǔ)的磁盤劃分示意圖。
具體實(shí)施例方式(1) 多數(shù)據(jù)中心云存儲(chǔ)模型
智能電網(wǎng)建設(shè)要求貫通智能電網(wǎng)發(fā)電、輸電、變電、配電、用電、調(diào)度六大環(huán)節(jié)，實(shí)現(xiàn)信息的全面采集、流暢傳輸和高效處理，支撐電力流、信息流、業(yè)務(wù)流的高度一體化，適應(yīng)海量信息的可靠存儲(chǔ)和管理，提升數(shù)據(jù)使用效能。本發(fā)明將智能電網(wǎng)信息處理抽象成工作流和數(shù)據(jù)流，結(jié)合云存儲(chǔ)下數(shù)據(jù)分布的相關(guān)概念進(jìn)行建模，包括數(shù)據(jù)模型、應(yīng)用模型和依賴關(guān)系等。智能電網(wǎng)信息平臺(tái)可以表示為扁平化的多個(gè)分布式數(shù)據(jù)中心組成的集合C=IC1,C2，… CJ，其中Ci表示第i個(gè)數(shù)據(jù)中心。由于云計(jì)算的數(shù)據(jù)類型具有復(fù)雜性和多樣性特點(diǎn)，因此本發(fā)明屏蔽了智能電網(wǎng)環(huán)境下數(shù)據(jù)的結(jié)構(gòu)特性，數(shù)據(jù)被視為數(shù)據(jù)密集型應(yīng)用環(huán)境下面向多任務(wù)的數(shù)據(jù)集。定義數(shù)據(jù)流關(guān)聯(lián)的數(shù)據(jù)集的全集為D，相應(yīng)工作流的任務(wù)集為T=IT1, T2,… TJ。對(duì)于任意的數(shù)據(jù)集diD，定義描述數(shù)據(jù)集屬性的二元組為<Ti，Si>，其中Ti表示調(diào)用數(shù)據(jù)集Cli的所有任務(wù)的集合，Si是數(shù)據(jù)集屯的大小。對(duì)任意的數(shù)據(jù)集對(duì)屯和…，相應(yīng)的依賴
關(guān)系定義為
權(quán)利要求
1.面向智能電網(wǎng)的數(shù)據(jù)密集型云存儲(chǔ)模型，其特征在于針對(duì)智能電網(wǎng)海量數(shù)據(jù)存儲(chǔ)需求，設(shè)計(jì)了兩階段的數(shù)據(jù)分布策略，在分布策略中引入聚類分析和數(shù)據(jù)依賴關(guān)系計(jì)算，實(shí)現(xiàn)數(shù)據(jù)在多數(shù)據(jù)中心的優(yōu)化配置，從而在智能電網(wǎng)數(shù)據(jù)密集型工作流環(huán)境下，以最小化數(shù)據(jù)傳輸開(kāi)銷為目標(biāo)在移動(dòng)計(jì)算和移動(dòng)數(shù)據(jù)這兩個(gè)環(huán)節(jié)作出平衡。
2.根據(jù)權(quán)利要求1所述的面向智能電網(wǎng)的數(shù)據(jù)密集型云存儲(chǔ)模型，其特征在于該存儲(chǔ)架構(gòu)下數(shù)據(jù)集平均分布于不同的磁盤；在物理磁盤增加或刪除的情況下，最小化物理磁盤變化所導(dǎo)致的數(shù)據(jù)重新分布的開(kāi)銷。
全文摘要
面向智能電網(wǎng)的數(shù)據(jù)密集型云存儲(chǔ)模型。為充分利用計(jì)算存儲(chǔ)資源，滿足智能電網(wǎng)大規(guī)模數(shù)據(jù)可靠存儲(chǔ)和高效處理的實(shí)際需求，提出了基于云計(jì)算的數(shù)據(jù)密集型存儲(chǔ)方法，該方法將數(shù)據(jù)集映射成數(shù)據(jù)空間的點(diǎn)集，并設(shè)計(jì)了二階段分類過(guò)程，第一階段基于傳統(tǒng)的K均值算法實(shí)現(xiàn)點(diǎn)集的初始分類，第二階段針對(duì)各數(shù)據(jù)集與初始聚類的隸屬關(guān)系，引入數(shù)據(jù)遷移的代價(jià)函數(shù)，對(duì)初始分類進(jìn)行調(diào)節(jié)，實(shí)現(xiàn)數(shù)據(jù)集到數(shù)據(jù)中心的布局方案。實(shí)驗(yàn)結(jié)構(gòu)表明，該算法能夠有效地提高數(shù)據(jù)存取效率和兼顧全局負(fù)載均衡。
文檔編號(hào)G06F3/06GK102523300SQ20111043652
公開(kāi)日2012年6月27日 申請(qǐng)日期2011年12月23日 優(yōu)先權(quán)日2011年12月23日
發(fā)明者丁杰, 吳軍民, 周愛(ài)華, 奚后瑋, 朱力鵬, 韓海韻 申請(qǐng)人:國(guó)網(wǎng)電力科學(xué)研究院